JP2008131498A - 映像処理装置 - Google Patents

Abstract

【課題】フレームバッファを介さずに、各映像処理部からの映像を合成処理することができ、映像入力から表示までの遅延を低減し、リアルタイム性を向上させることができる映像処理装置を提供する。
【解決手段】３入力映像処理システム１００の映像処理メインチップ１１０は、記憶装置１１７〜１１９のフレームバッファに蓄積された映像データを、表示部１１４のライン周波数に合わせてライン単位で読み出すとともに、映像処理サブチップ１１１，１１２により処理された映像データをライン単位で集め、集めた映像データと自身が処理した映像データとをライン単位で合成処理して表示部１１４に出力し、映像処理サブチップ１１１，１１２は、映像処理メインチップ１１０に対し、処理した映像データをライン単位で転送する。
【選択図】図１

Description

本発明は、映像処理装置に係り、例えば、カメラなどから取り込んだ映像を複数の映像処理チップを用いて映像処理する映像処理装置に関する。

複数の入力映像の処理を行う映像処理システムを構成する場合、映像入力数分の映像取り込み機能及び映像処理機能を有するチップを用いることでシステムを構成することができる。

例えば、特許文献１には、画枠からはみ出すと推定されるはみ出し部分を推定するカメラ動き推定部と、はみ出し部分を記憶する画像蓄積メモリと、複数のはみ出し部分を合成して画像を創造する画像合成部とを備え、放送された映像の空間をより広げて認識する映像処理装置が開示されている。

また、特許文献２には、データ転送方式で使用されていないバス幅の一部を活用して、メモリ容量の低減および単位時間当たりの転送データ量を増大を図る映像処理システムが開示されている。

図１５は、２入力映像を扱う映像処理システムを示すブロック図である。

図１５において、映像処理システム１０は、２つの映像源部１１，１２（映像源部<１>，<２>）、映像処理チップ１３、表示部１４、ＣＰＵ１５、記憶装置１６，１７（記憶装置<１>，<２>）、及びバス１８を備えて構成される。

映像処理チップ１３は、２つの映像入力部２１，２２、２つの映像の処理ができる映像処理部２３、及び映像出力部２４から構成され、映像処理チップ１３は、２つの入力映像の取り込み及び処理を行う。

映像入力数が異なるシステムを構成する場合、それぞれの映像入力数に対応できる各種のチップを用意する必要がある。しかし、各種チップ全てを開発することが日程的又は費用的に困難である場合、スケーラブルにシステムを構成することはできない。また、映像入力数が多い映像処理システムでは、多数の映像の取り込み機能を搭載する必要があり、さらに映像処理負荷も増大するため、１つの映像処理チップで全ての映像取り込み及び映像処理を行うことが困難である。

一方、複数の映像処理チップで処理を分散し、それぞれのチップで処理した映像を合成する場合、それぞれのチップからの映像を一旦フレームバッファに格納してから映像を合成して表示するため、映像入力から表示するまでの遅延が大きくなり、リアルタイム性に欠けているという問題がある。

図１６は、４つの入力映像を対応する４入力映像処理システムの一例を示すブロック図である。

図１６において、４入力映像処理システム３０は、４つの映像源部３１〜３４（映像源部<１>〜<４>）、映像処理チップ４１，４２、映像合成チップ４３、表示部４４、ＣＰＵ４５、記憶装置４６〜４９（記憶装置<１>〜<４>）、及びバス５０を備えて構成される。

映像合成チップ４３は、２つの映像入力部５１，５２、２つの映像の処理ができる映像合成部５３、及び映像出力部５４から構成される。

映像処理チップ４１，４２は、図１５の映像処理チップ１３と同一構成である。

図１６に示す映像処理システムは、２個の２入力映像対応の映像処理チップ４１，４２を用いて４入力映像対応の映像処理システムを構成する。

映像源部３１と映像源部３２からの映像を映像処理チップ４１で取り込み、処理する。また、映像源部３３と映像源部３４からの映像を映像処理チップ４２で取り込み、処理する。そして、映像合成チップ４３では、それぞれの映像処理チップ４１，４２で処理した映像を合成して表示する。映像処理チップ４１と映像処理チップ４２からの出力映像を合成し表示するまでの動作は次のようになる。

図１７は、図１６の４入力映像処理システム３０の映像処理チップ<１>と映像処理チップ<２>からの出力映像を合成し表示するまでの動作を説明する図であり、図１７中、(1)〜(5)に示す矢印は、データの流れを示している。

(1)映像データの取り込み〜(2)映像データの処理〜(3)映像データの取り込み
まず、映像処理チップ<１>からの出力映像を映像入力部５１（図１６）でキャプチャし、キャプチャしたデータを記憶装置<４>にあるフレームバッファに格納する。同じように映像処理チップ<２>からの出力映像を映像入力部５２（図１６）でキャプチャし、データを記憶装置<４>にあるフレームバッファに格納する。

(4)映像合成処理
そして、映像合成部５３では、上記フレームバッファに格納した２つの映像データを読み出し、それらを合成し、合成したデータを記憶装置<４>にある出力フレームバッファに書き戻す。

(5)表示処理
映像出力部５４では、記憶装置<４>の出力フレームバッファに格納された映像データを読み出し、表示部４４に出力する。

上記(3)では、各映像処理チップ<１><２>から非同期でかつフレーム単位で映像合成チップにデータを転送するため、各映像処理チップ<１><２>からの合成処理を行う前に各映像処理チップ<１><２>からのデータを、一旦、記憶装置<４>にあるフレームバッファに保存することが必要になる。

このように、映像処理チップ<１>と映像処理チップ<２>からの出力映像を取り込みから、合成、そして表示するまで、映像を２回に亘ってフレームバッファに介する必要がある。
特開２００４−８８４７４号公報 特開２００２−２２９９３３号公報

しかしながら、このような従来の映像処理システムにあっては、入力映像の処理を複数チップで行い、そして各映像処理チップで処理した映像を合成する構成を有するシステムでは、システム全体の処理遅延が大きくなり、リアルタイム性に欠けるという問題がある。

すなわち、映像入力数や映像処理負荷に合わせスケーラブルに映像処理システムを構成できる手段が必要である。しかし、複数の入力映像の処理は、負荷が大きく、１チップで処理することが困難である。一方、複数のチップで処理を分散し、それぞれのチップで処理した映像を合成する場合、それぞれのチップからの映像を一旦フレームバッファに格納してから映像を合成して表示するため、映像入力から表示するまでの遅延が大きくなり、リアルタイム性に欠ける。

本発明は、かかる点に鑑みてなされたものであり、フレームバッファを介さずに、各映像処理部からの映像を合成処理することができ、映像入力から表示までの遅延を低減し、リアルタイム性を向上させることができる映像処理装置を提供することを目的とする。

また、本発明は、映像入力数や映像処理負荷などに合わせてスケーラブルにシステムを構築することができる映像処理装置を提供することを目的とする。

本発明の映像処理装置は、フレーム単位の画像からなる映像を供給する１又は複数の映像源と、前記映像源からの映像を処理する複数の映像処理部と、入力映像の一画面を蓄積するフレームバッファを有する記憶部と、前記映像処理部により画像処理された画像データを表示する表示部とを備える映像処理装置であって、前記映像処理部は、前記フレームバッファに蓄積された映像データを、前記表示部のライン周波数に合わせてライン単位で読み出すとともに、前記ライン単位で合成処理して前記表示部に出力する第１の映像処理部と、前記合成処理を行わない第２の映像処理部とからなり、前記第１及び第２の映像処理部は、前記表示部のライン周波数に合わせて映像をライン単位で転送するデータ転送手段を備える構成を採る。

本発明によれば、映像のライン単位転送機能を有する複数の映像処理チップを用いて入力映像の処理を分散し、それぞれのチップで処理した映像をライン単位でメインチップに転送し、メインチップでライン単位の合成をして出力するため、フレームバッファを介さずに複数チップからの映像の合成処理を行うことができ、映像入力から表示するまでの遅延を低減し、リアルタイム性を向上させることができる。

また、映像のライン単位転送機能を有する映像処理チップを用いるため、映像入力数や映像処理負荷などに合わせてスケーラブルにシステムを構築することができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る映像処理システムの構成を示すブロック図である。本実施の形態は、１つの映像処理メインチップと複数の映像処理サブチップを用いた３入力映像処理システムに適用した例である。

図１において、３入力映像処理システム１００は、映像源部１０１（映像源部<１>）、映像源部１０２（映像源部<２>）、映像源部１０３（映像源部<３>）、ライン単位転送機能及びライン単位合成処理機能を有する映像処理メインチップ１１０、ライン単位転送機能を有する映像処理サブチップ１１１（映像処理サブチップ<１>）、ライン単位転送機能を有する映像処理サブチップ１１２（映像処理サブチップ<２>）、ライン伝送路１１３、表示部１１４、ＣＰＵ１１５、記憶装置１１６（記憶装置<１>）、記憶装置１１７（記憶装置<２>）、記憶装置１１８（記憶装置<３>）、記憶装置１１９（記憶装置<４>）、及びバス１２０を備えて構成される。

また、３入力映像処理システム１００のうち、映像源部１０１（映像源部<１>）、映像源部１０２（映像源部<２>）、映像処理メインチップ１１０、映像処理サブチップ１１１（映像処理サブチップ<１>）、ライン伝送路１１３、表示部１１４、ＣＰＵ１１５、記憶装置１１６〜１１８（記憶装置<１>〜<３>）及びバス１２０は、２入力映像処理システム１００Ａを構成する。また、図示は省略するが、３入力映像処理システム１００のうち、映像源部１０２（映像源部<２>）、映像処理サブチップ１１１（映像処理サブチップ<１>）及び記憶装置１１８（記憶装置<３>）に代えて、映像源部１０３（映像源部<３>）、映像処理サブチップ１１２（映像処理サブチップ<２>）及び記憶装置１１９（記憶装置<４>）を備える構成の２入力映像処理システム１００Ｂでもよく、２入力映像処理システム１００Ａと同様の機能を有する。

映像処理メインチップ１１０及び映像処理サブチップ１１１，１１２は、映像入力の取り込み、映像処理、グラフィック処理を行う映像処理チップであり、ライン単位転送機能を持つ。映像処理サブチップ１１１，１１２は、ライン転送の送信処理部１２７（図３）を有し、映像処理メインチップ１１０は、ライン転送の受信処理部１２４（図２）とライン単位合成処理部１２５（図２）を有する。詳細については、図２及び図３により後述する。

映像処理メインチップ１１０は、他チップから映像又はグラフィックの１ライン分のデータ（以下、ラインデータという）を要求し、ラインデータを集め、集めたラインデータをライン単位で合成する。

映像処理サブチップ１１１，１１２は、他チップからのラインデータ転送要求に対しての応答を行い、要求した指定のラインデータを送信する。

ライン伝送路１１３は、例えばライン転送バスであり、ライン転送バスは、ＭＯＤＥ信号、ＤＡＴＡ信号、及びＶＡＬＩＤ信号バスから構成される。ＭＯＤＥ信号バスは、チップセレクトモードや、ラインナンバー転送モード、映像データ転送モードなど、映像処理サブチップに転送類を通知するためのもので、常に映像処理メインチップがこのバス権を持つ。ＤＡＴＡ信号バスは、チップセレックトデータや、ラインナンバーデータ、映像データなどを転送するためのバスである。ＶＡＬＩＤ信号バスは、ＤＡＴＡバスに転送されているデータが有効かどうかを送り側から受け取り側に通知するためのものである。

３入力映像処理システム１００は、映像の取り込み、取り込んだ映像の処理、グラフィック処理、映像とグラフィックとの合成処理、処理した映像又はグラフィックス又は映像とグラフィックを表示系に出力する映像処理システムである。例えば、映像の取り込み、取り込んだ映像の歪み補正の処理、フィルタリング処理、映像の色輝度補正処理、視点変換処理、カメラ間の重なる映像の合成処理、カメラから取り込んだ映像を解析し障害物や人間、道路の白線などを検出することを目的とする映像解析処理、車絵の描画、ガイドライン描画、文字描画、設定画面描画、メニューボタン描画などのグラフィック処理、映像とグラフィックとの合成処理、処理した映像又はグラフィックス又は映像とグラフィックを表示系に出力する。

３入力映像処理システム１００は、表示部１１４の表示のライン周波数に合わせて異なるチップ間でそれぞれ作成した映像をライン単位で転送しメインチップに集めて、合成して表示することを特徴とする。

図１では、３入力映像処理システム１００は、複数の映像入力を１つの映像処理メインチップ１１０と２つの映像処理サブチップ１１１，１１２に分けて処理する。具体的には、３入力映像処理システム１００は、複数の映像入力をライン単位転送機能が搭載された複数の映像処理チップに分けて取り込む工程と、各映像処理チップで映像処理及びグラフィック処理を行う工程と、各映像処理チップで処理した映像やグラフィック、又は映像とグラフィックとの合成データをライン単位で集めてライン合成を行う工程と、合成したラインデータを表示系に出力する工程とを有する。

上記ライン単位転送機能として、各映像処理チップで処理した映像の合成処理を行う映像処理チップ（映像処理メインチップ）が映像処理メインチップ以外の映像処理チップ又はグラフィック処理チップ（映像処理サブチップ）に対しチップセレクト信号又はリクエスト信号や、ライン番号情報を与え、選択された映像処理サブチップがライン番号に対応したラインデータを転送する方法を用いる。

あるいは、上記ライン単位転送機能として、映像処理メインチップが映像処理サブチップに対しチップセレクト信号又はリクエスト信号や、ライン番号情報、さらに合成に必要な有効データ範囲情報を与え、選択された映像処理サブチップがライン番号に対応した有効なデータだけを転送する方法を用いる。

図２は、上記映像処理メインチップ１１０の構成を示す図である。

図２において、映像処理メインチップ１１０は、映像入力部１２１、映像処理部１２２、グラフィック処理部１２３、ライン転送の受信処理部１２４、ライン単位合成処理部１２５、及び映像出力部１２６を備えて構成される。

映像入力部１２１は、１つ又は複数の入力映像をキャプチャし、キャプチャしたデータを指定の入力フレームバッファに格納する。

映像処理部１２２は、指定のフレームバッファから映像データを読み出し、画素合成及び画素の並べ替えなどの映像処理を行うとともに、処理したデータを指定のバッファに格納する。

グラフィック処理部１２３は、グラフィックの描画処理、グラフィックの映像重畳処理、及び処理データの指定のバッファへの格納処理を行う。

ライン転送の受信処理部１２４は、他チップへのラインデータ要求、他チップから送信されたラインデータの受信、ラインデータを送信した他チップに対する応答の発行、及び受信したラインデータを指定のバッファへの格納を行う。

ライン単位合成処理部１２５は、指定の複数のラインバッファに格納されたラインデータの読み出し、指定の複数ラインデータを指定の順番で合成処理するとともに、合成したデータを指定のラインバッファに格納する。

映像出力部１２６は、指定したバッファに格納された映像データを読み出し、出力する。

図３は、映像処理サブチップ１１１の構成を示す図である。映像処理サブチップ１１１（映像処理サブチップ<１>）と映像処理サブチップ１１２（映像処理サブチップ<２>）とは、同一構成を採るため、映像処理サブチップ１１１を代表して示す。図２と同一構成部分には同一番号を付して説明を省略する。

図３において、映像処理サブチップ１１１は、映像入力部１２１、映像処理部１２２、グラフィック処理部１２３、及びライン転送の送信処理部１２７を備えて構成される。

ライン転送の送信処理部１２７は、他チップからのラインデータの要求に対する応答、他チップから要求された指定のラインデータを指定のフレームバッファ又はラインバッファからの読み込み、他チップから要求された指定のラインデータを送信する。

以下、上述のように構成された映像処理システムの動作について説明する。

３入力映像処理システム１００は、２入力映像処理システム１００Ａと図示しない２入力映像処理システム１００Ｂとに分けられ、２入力映像処理システム１００Ａ及び２入力映像処理システム１００Ｂの動作が、３入力映像処理システム１００の基本動作となる。動作説明の簡略化のため、映像処理サブチップ１１１（映像処理サブチップ<１>）及び映像処理サブチップ１１２（映像処理サブチップ<２>）は、単に映像処理サブチップ<１>及び映像処理サブチップ<２>と記載する。

〔２入力映像処理システム１００Ａの全体動作〕
図４は、３入力映像処理システム１００を構成する２入力映像処理システム１００Ａの動作を説明する図であり、図４（ａ）は２入力映像処理システム１００Ａの全体図を、図４（ｂ）はライン処理後のフレームバッファの動作例を示す。本実施の形態の映像処理システムは、異なるチップ間でそれぞれ作成した映像をライン単位で転送しメインチップに集めて合成することを特徴としており、図４はライン単位処理イメージを表している。図４中、(1)〜(4)に示す矢印は、データの流れを示している。

[映像データの取り込み]
映像処理メインチップ１１０と映像処理サブチップ<１>及び映像処理サブチップ<２>間は、ラインデータ転送ができるようにライン伝送路１１３により接続されている。映像処理メインチップ１１０は、映像源部１０１（映像源部<１>）からの映像を取り込み、記憶装置１１７（記憶装置<２>）にある入力フレームバッファに格納する。ここでは、図４（ａ）の(1)に示すように映像源部<１>からの映像を記憶装置<２>にある入力フレームバッファ１１７ａに格納する。

[映像データの処理]
次に、記憶装置<２>の入力フレームバッファ１１７ａに格納した映像データに対して、ＣＰＵ１１５が指定した映像処理を行ったり、ＣＰＵ１１５が指定したグラフィック処理を行ったり、グラフィックデータと映像データとの合成処理を行ったりする処理を行い、処理したデータを記憶装置<２>にある出力フレームバッファ１１７ｂに格納する。ここでは、図４（ａ）の(2)に示すように入力フレームバッファ１１７ａに格納した映像データを、処理して記憶装置<２>にある出力フレームバッファ１１７ｂに格納する。

上記は、映像源部<１>からの映像データを映像処理メインチップ１１０が取り込んで記憶装置<２>の入力フレームバッファ１１７ａに一旦格納し、この入力フレームバッファ１１７ａに格納した映像データを映像処理等して記憶装置<２>の出力フレームバッファ１１７ｂに保持する動作である。

同様の動作が、映像源部<２>と映像処理サブチップ<１>間、及び映像源部<３>と映像処理サブチップ<２>間でも実施される。図４の２入力映像処理システム１００Ａは、映像源部<２>と映像処理サブチップ<１>の動作を代表して示しており、映像源部<２>と映像処理サブチップ<１>は、前記映像源部<１>と映像処理メインチップ１１０と同様に、映像源部<２>からの映像に対して記憶装置<３>を用いて、上述した映像源部<１>と映像処理メインチップ１１０と同様な処理を行う。すなわち、映像源部<２>からの映像データを映像処理サブチップ<１>が取り込んで記憶装置<３>の入力フレームバッファ１１８ａに一旦格納し、この入力フレームバッファ１１８ａに格納した映像データを映像処理等して記憶装置<３>の出力フレームバッファ１１８ｂに保持する。

[ライン単位映像読み出し及びライン単位合成処理]
１．ライン単位映像読み出し
映像処理メインチップ１１０は、ＣＰＵ１１５が指定したライン合成処理パラメータ（どのような順番で合成すればよいかを示すパラメータ、合成領域又は合成のブレンド率などのパラメータなど）を基に、映像処理サブチップ<１>と映像処理サブチップ<２>に対しラインデータを要求する。それに対し図４（ａ）の(3)に示すように、映像処理サブチップ<１>及び映像処理サブチップ<２>は、映像処理メインチップ１１０が要求したラインデータを、記憶装置１１７（記憶装置<２>）及び記憶装置１１８（記憶装置<３>）にあるそれぞれの出力フレームバッファ１１７ｂ，１１８ｂから、対応したラインデータを読み出し、映像処理メインチップ１１０に送信する。

図４（ｂ）は２入力映像処理システム１００Ａの記憶装置１１８（記憶装置<３>）の出力フレームバッファ１１８ｂの構成の一例を示す図である。図４（ｂ）に示すように、出力フレームバッファ１１８ｂは、４８０ライン×８００ピクセルの記憶領域を有し、ライン単位でデータを格納する。このように、出力フレームバッファ１１７ｂ，１１８ｂには、処理後のデータがライン単位で格納される。

２．及びライン単位合成処理
次に、映像処理メインチップ１１０は、各映像処理サブチップ<１><２>からライン単位で送信されたラインデータと映像処理メインチップ１１０自身が処理したラインデータとを指定の順番及びブレンド率で合成処理を行い、処理したデータを複数のラインバッファまたは、合成後用のフレームバッファに格納する。ライン単位合成処理部１２５は、表示部１１４のライン周波数に同期させたライン単位で、ライン単位合成処理を行う。図４の例では、ライン単位合成処理部１２５は、記憶装置<２>の出力フレームバッファ１１７ｂからライン単位で送信されたラインｎデータ１３０と、記憶装置<３>の出力フレームバッファ１１８ｂからライン単位で送信されたラインｎデータ１３１とをライン単位で合成処理し、合成処理後のラインｎデータ１３２を自身のフレームバッファにライン単位で格納する。

[表示処理]
ライン単位合成処理部１２５は、各映像処理サブチップ<１><２>からライン単位で転送されたラインデータを合成したあと、合成後用のフレームバッファに格納する。そして、図４（ａ）の(4)に示すように、映像出力部１２６（図２）は、合成後用のフレームバッファに格納された合成処理後のラインｎデータ１３２を読み出し、表示部１１４に直接、ライン単位で送信する。表示部１１４に送信されるラインｎデータ１３２は、表示部１１４のライン周波数に同期させたライン単位で合成処理されたデータであるため、表示部１１４は、送信されたラインデータをそのまま表示可能である。

図５は、ライン単位合成処理部１２５と表示部１１４の同期化を説明する図である。

図５（ａ）に示すように、表示部１１４は、垂直同期によりフレーム周期の同期をとり、水平同期によりデータライン表示の同期をとる。図５では、垂直同期の立下りを受けた水平同期により１フレームのライン０表示を開始し、以下、水平同期ごとにライン１表示，…，ライン４７９表示を行い、垂直同期の立上がりで1フレームのライン表示を終える。

図５（ｂ）に示すように、２入力映像処理システム１００Ａは、図５（ａ）に示す表示部１１４のライン周波数に同期させたライン単位のデータ転送、及びライン単位合成処理を行う。具体的には、３入力映像処理システム１００は、表示部１１４の垂直同期及び水平同期に合わせて、ライン単位で映像処理メインチップ１１０からのラインデータを取り出すとともに、映像処理サブチップ<１><２>からのラインデータを取り出す。そして、ライン単位合成処理部１２５は、表示部１１４のライン周波数に同期させたライン単位で合成処理を行った上で、映像出力部１２６は、合成処理後のラインｎデータ１３２を、表示部１１４にライン単位で送信する（図５の矢印参照）。

以上の動作は、図示しない２入力映像処理システム１００Ｂについても同様であり、２入力映像処理システム１００Ａと２入力映像処理システム１００Ｂの動作を組み合わせた３入力映像処理システム１００についても同様である。

次に、映像処理メインチップ１１０及び映像処理サブチップ１１１，１１２の動作について具体的に説明する。

〔映像処理メインチップ１１０の動作〕
映像処理メインチップ１１０の一連の動作の流れは次のようになる。

図２に示すように、入力映像は映像入力部１２１によりキャプチャされ、データが外部にある入力フレームバッファ（例えば、図４の入力フレームバッファ１１７ａ，１１８ａ）に格納される。そして、映像処理パラメータ（元の映像に対して、どのような処理を行うのかなどのパラメータ）を基に、映像処理部１２２は入力フレームバッファに格納されるデータを読み出し、処理を行い、処理した映像を出力フレームバッファ（例えば、図４の出力フレームバッファ１１７ｂ，１１８ｂ）に格納する。そしてライン単位合成を行うために、ライン転送の受信処理部１２４は、他の映像処理チップ（例えば、図４の映像処理サブチップ１１１）へラインデータを要求し、返ってくるラインデータを指定のラインバッファに格納する。

ライン単位合成処理部１２５は、格納されたラインデータとメインチップ自身で処理したデータとを合成し、出力する。

このように、映像処理メインチップ１１０では、ライン転送の受信処理部１２４とライン単位合成処理部１２５を設けることによって、他映像処理チップとのライン単位データの要求・受信ができ、ライン単位合成を行うことが可能になる。

なお、図２に示す映像処理メインチップ１１０は、映像入力部１２１と映像処理部１２２とグラフィック処理部１２３を有するが、これらの処理部のどれか一つと、ライン転送の受信処理部１２４と、ライン単位合成処理部１２５と、映像出力部１２６とで構成されるものでもよく、ライン転送の受信処理部１２４と、ライン単位合成処理部１２５と、映像出力部１２６とで構成されるものでもよい。

〔映像処理サブチップ１１１，１１２の動作〕
映像処理サブチップ１１１，１１２の一連の動作の流れは次のようになる。

図３に示すように、入力映像は映像入力部１２１でキャプチャされ、データが入力フレームバッファ（例えば、図４の入力フレームバッファ１１８ａ）に格納される。そして、映像処理パラメータを基に、映像処理部１２２は入力フレームバッファに格納されるデータを読み出し、処理を行い、処理した映像を出力フレームバッファ（例えば、図４の出力フレームバッファ１１８ｂ）に格納する。そして、ライン転送の送信処理部１２７では、映像処理メインチップ１１０からの要求に対し、指定のラインデータを出力フレームバッファから読み出し、映像処理メインチップ１１０に送信する。

このように、映像処理サブチップ１１１，１１２では、ライン転送の送信処理部１２７を設けることによって、他映像処理チップに要求された指定のラインデータを送信することができる。

なお、図３に示す映像処理サブチップ１１１では、映像入力部１２１と映像処理部１２２とグラフィック処理部１２３を有するが、これらの処理部のどれか一つと、ライン転送の送信処理部１２７とで構成されるものであってもよい。

以上のように、本実施の形態によれば、３入力映像処理システム１００は、フレーム単位の画像からなる映像を供給する映像源部１０１〜１０３（映像源部<１>〜<３>）と、表示部１１４のライン周波数に合わせて映像をライン単位で転送するデータ転送手段有し、映像源部１０１〜１０３からの映像を処理する映像処理メインチップ１１０及び映像処理サブチップ１１１，１１２（映像処理サブチップ<１><２>）と、入力映像の一画面を蓄積するフレームバッファを有する記憶装置１１６〜１１９（記憶装置<１>〜<４>）と、映像処理メインチップ１１０により画像処理された画像データを表示する表示部１１４とを備え、映像処理メインチップ１１０は、記憶装置１１７〜１１９のフレームバッファに蓄積された映像データを、表示部１１４のライン周波数に合わせてライン単位で読み出すとともに、映像処理サブチップ１１１，１１２により処理された映像データをライン単位で集め、集めた映像データと自身が処理した映像データとをライン単位で合成処理して表示部１１４に出力し、映像処理サブチップ１１１，１１２は、映像処理メインチップ１１０に対し、処理した映像データをライン単位で転送する構成としたので、各映像処理チップからの合成処理を行う前に各映像処理チップからのデータをフレームバッファに保存することなく、フレームバッファを介さずに映像の合成処理を行うことができる。これにより、映像入力から表示するまでの遅延を低減することができ、リアルタイム性を向上させることができる。また、映像のライン単位転送機能を有する映像処理チップを用いることで、映像入力数や映像処理負荷などに合わせてスケーラブルにシステムを構築することができる。

このように、３入力映像処理システム１００の映像処理メインチップ１１０は、各映像処理チップ<１><２>からライン単位で合成対象のラインデータを転送してもらい、それらのラインデータを合成したあと直接、表示部１１４に渡すことが可能になる。従来例では、各映像処理チップから非同期でかつフレーム単位で映像合成チップにデータを転送するため、各映像処理チップからの合成処理を行う前に各映像処理チップからのデータを一旦記憶装置部４にあるフレームバッファに保存することが必要になっていた。これに対して、本実施の形態では、表示部１１４のライン周波数に同期させたライン単位のデータ転送、及びライン単位合成処理であるため、フレームバッファを介する必要がない。すなわち、各映像処理チップ<１><２>からの映像をライン単位で転送し、ライン単位で合成することにより、各映像処理チップからの映像を一旦入力フレームバッファに格納しなくても合成できる。したがって、各映像処理チップ<１><２>からの映像を一旦入力フレームバッファに格納してから合成処理を行う従来の方法に比べ、より少ない遅延で合成処理ができる効果がある。

さらに、映像処理メインチップ１１０からサブチップへのラインデータ要求、サブチップからのラインデータ転送、ラインデータ合成そして表示部１１４への出力など、上述した一連の動作を表示部１１４のライン表示の周波数に同期させることで、合成後用のフレームバッファを介さずに表示部１１４に合成したデータを直接出力することが可能になり、さらに遅延を抑えることができる。

なお、本実施の形態では、３入力映像処理システム構成を示しているが、例えば、映像処理メインチップ１１０と１つのサブチップで２入力映像処理システムを構成したり、映像処理メインチップ１１０と３つのサブチップを用いて４入力映像処理システムを構成したりし、映像入力数や、映像処理負荷、グラフィック処理負荷などに合わせてスケーラブルにシステムを構成することができる。

また、図１において、各映像処理メインチップ１１０及びサブチップが１つの映像入力対応の映像処理チップになっているが、複数映像入力対応の映像処理チップや、グラフィック処理機能だけを有する映像処理チップを用いることもできる。また、複数の映像処理チップに加え、ライン単位転送機能を搭載したグラフィック処理チップを用いてもよい。

（実施の形態２）
図６は、本発明の実施の形態２に係る映像処理システムの構成を示すブロック図である。本実施の形態は、１つの映像処理メインサブ共用チップと複数の映像処理サブチップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図１と同一構成部分には同一符号を付して重複箇所の説明を省略する。

図６において、３入力映像処理システム２００は、映像源部１０１〜１０３（映像源部<１>〜<３>）、ライン単位転送機能及びライン単位合成処理機能を有する映像処理メインサブ共用チップ２１０、ライン単位転送機能を有する映像処理サブチップ１１１（映像処理サブチップ<１>）、ライン単位転送機能を有する映像処理サブチップ１１２（映像処理サブチップ<２>）、ライン伝送路１１３、表示部１１４、ＣＰＵ１１５、記憶装置１１６〜１１９（記憶装置<１>〜<４>）、及びバス１２０を備えて構成される。

また、３入力映像処理システム２００のうち、映像源部１０１（映像源部<１>）、映像源部１０２（映像源部<２>）、映像処理メインサブ共用チップ２１０、映像処理サブチップ１１１（映像処理サブチップ<１>）、ライン伝送路１１３、表示部１１４、ＣＰＵ１１５、記憶装置１１６〜１１８（記憶装置<１>〜<３>）及びバス１２０は、２入力映像処理システム２００Ａを構成する。

映像処理メインサブ共用チップ２１０は、映像処理メインチップ及び映像処理サブチップの両方の機能を持つ。映像処理メインチップとしての機能は、他映像処理チップから映像のラインデータを要求し、ラインデータを集め、集めたラインデータを合成する機能である。一方、映像処理サブチップとしての機能は、他映像処理チップからのラインデータ転送要求に対しての応答を行い、要求した指定のラインデータを送信する機能である。

図７は、上記映像処理メインサブ共用チップ２１０の構成を示す図である。図２及び図３と同一構成部分には同一符号を付している。

図７において、映像処理メインサブ共用チップ２１０は、映像入力部１２１、映像処理部１２２、グラフィック処理部１２３、ライン転送の受信処理部１２４、ライン単位合成処理部１２５、映像出力部１２６、及びライン転送の送信処理部１２７を備えて構成される。

映像処理メインサブ共用チップ２１０は、映像処理メインチップとして動作する場合は、実施の形態１の映像処理メインチップ１１０と同様の動作となり、また、映像処理サブチップとして動作するときは、映像処理サブチップ１１１，１１２と動作となる。また、映像処理メインチップと映像処理サブチップとして同時に動作することも可能である。

以下、上述のように構成された映像処理システムの動作について説明する。基本的な動作は、実施の形態１と同様である。

ここでは、映像処理メインサブ共用チップ２１０を映像処理メインチップとし、映像処理サブチップ１１１及び映像処理サブチップ１１２を、映像処理サブチップ<１>及び映像処理サブチップ<２>とする。また、映像処理メインサブ共用チップ２１０（いま、映像処理メインチップ）と映像処理サブチップ<１><２>間は、ラインデータ転送ができるようにライン伝送路１１３で接続されている。

映像処理メインサブ共用チップ２１０（以下、本実施の形態では映像処理メインチップと呼ぶ）は、映像源部１０１（映像源部<１>）からの映像を取り込み、記憶装置１１７（記憶装置<２>）にある入力フレームバッファに格納する。

次に、格納した映像データに対しＣＰＵ１１５が指定した映像処理、指定したグラフィック処理、及びグラフィックデータと映像データとの合成処理を行う。そして、処理したデータを記憶装置１１７（記憶装置<２>）にある出力フレームバッファに格納する。映像処理サブチップ<１>及び映像処理サブチップ<２>でも映像源部１０２（映像源部<２>）及び映像源部１０３（映像源部<３>）からの映像に対し記憶装置１１８（記憶装置<３>）及び記憶装置１１９（記憶装置<４>）を用いて同様な処理を行う。

映像処理メインチップは、ＣＰＵ１１５が指定した順番で映像処理サブチップ<１>と映像処理サブチップ<２>に対しラインデータを要求する。それに対し映像処理サブチップ<１>及び映像処理サブチップ<２>は、映像処理メインチップが要求したラインデータを記憶装置１１８（記憶装置<３>）及び記憶装置１１９（記憶装置<４>）にあるそれぞれの出力フレームバッファから対応したラインデータを読み出し、映像処理メインチップに送信する。次に、映像処理メインチップでは、各映像処理サブチップ<１><２>から送信されたラインデータと映像処理メインチップ自身が処理した映像データを指定の順番及びブレンド率で合成を行い、処理したデータを表示部１１４へ出力する。

映像処理メインチップから映像処理サブチップ<１><２>へのラインデータ要求、映像処理サブチップからのラインデータ転送、ラインデータ合成そして表示部１１４への出力の上記の一連動作を表示部のライン表示の周波数に同期させることで、フレームバッファを介さずに表示部１１４に合成したデータを直接又は複数のラインバッファを介すだけで出力することが可能になる。これにより、各映像処理チップで映像の合成処理にかかる遅延を抑えることができ、システムのリアルタイム性を向上させることができる。

このように、映像処理メインサブ共用チップ２１０は、映像処理メインチップとしての機能及び映像処理サブチップとしての機能を有するため、一種類の映像処理チップを用意するだけでスケーラブルにシステムを構成することができる。例えば、２カメラ入力対応の映像処理メインサブ共用チップを作ることで、同じチップを２個用いて４カメラ入力対応の映像処理システムを構成することが可能になる。

本実施の形態によれば、実施の形態１と同様の効果を得ることができることに加え、映像処理メインサブ共用チップ２１０を用いることで、本映像処理システム２００が１つ独立したシステムと動作させることができるだけでなく、他の映像処理システムのサブシステムとして動作させることができる。

なお、映像処理メインサブ共用チップ２１０は、映像入力部１２１と映像処理部１２２とグラフィック処理部１２３を有するが、これらの処理部のどれか一つと、ライン転送の受信処理部１２４と、ライン転送の送信処理部１２７と、ライン単位合成処理部１２５と、映像出力部１２６とで構成されるものであってもよい。

また、本実施の形態では、３入力映像処理システムとしてのシステム構成を示しているが、例えば、映像処理メインチップと１つの映像処理サブチップで２入力映像処理システムを構成したり、映像処理メインチップと３つの映像処理サブチップを用いて４入力映像処理システムを構成したりすることで、映像入力数や、映像処理負荷、グラフィック処理負荷などにあわせてスケーラブルにシステムを構成することができる。

また、映像処理メインサブ共用チップ２１０及び映像処理サブチップ１１１，１１２が１つの映像入力対応の映像処理チップになっているが、複数映像入力対応の映像処理チップや、グラフィック処理機能だけを有する映像処理チップを用いることもできる。

（実施の形態３）
図８は、本発明の実施の形態３に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図６と同一構成部分には同一符号を付して重複箇所の説明を省略する。

図８において、３入力映像処理システム３００は、映像源部１０１〜１０３（映像源部<１>〜<３>）、ライン単位転送機能及びライン単位合成処理機能を有する映像処理メインサブ共用チップ３１１〜３１３（映像処理メインサブ共用チップ<１>〜<３>）、ライン伝送路１１３、表示部１１４、ＣＰＵ１１５、記憶装置１１６〜１１９（記憶装置<１>〜<４>）、及びバス１２０を備えて構成される。

また、３入力映像処理システム３００のうち、映像源部１０１（映像源部<１>）、映像源部１０２（映像源部<２>）、映像処理メインサブ共用チップ３１１（映像処理メインサブ共用チップ<１>）、映像処理メインサブ共用チップ３１２（映像処理メインサブ共用チップ<２>）、ライン伝送路１１３、表示部１１４、ＣＰＵ１１５、記憶装置１１６〜１１８（記憶装置<１>〜<３>）及びバス１２０は、２入力映像処理システム３００Ａを構成する。

映像処理メインサブ共用チップ３１１〜３１３（映像処理メインサブ共用チップ<１>〜<３>）は、図７の映像処理メインサブ共用チップ２１０と同一構成であり、映像処理メインチップ及び映像処理サブチップの両方の機能を持つ。映像処理メインチップとしての機能は、他映像処理チップから映像のラインデータを要求し、ラインデータを集め、集めたラインデータを合成する機能である。一方、映像処理サブチップとしての機能は、他映像処理チップからのラインデータ転送要求に対しての応答を行い、要求した指定のラインデータを送信する機能である。

以下、上述のように構成された映像処理システムの動作について説明する。基本的な動作は、実施の形態１，２と同様である。

ここでは、映像処理メインサブ共用チップ３１１を映像処理メインチップとし、映像処理メインサブ共用チップ３１２及び映像処理メインサブ共用チップ３１３を映像処理サブチップ<１>と映像処理サブチップ<２>とする。また、映像処理メインチップと映像処理サブチップ間はラインデータ転送ができるようにライン伝送路１１３接続されている。映像処理メインチップは映像源部<１>からの映像を取り込み、記憶装置１１７（記憶装置<２>）にある入力フレームバッファに格納する。

次に、格納した映像データに対しＣＰＵ１１５が指定した映像処理、指定したグラフィック処理、及びグラフィックデータと映像データとの合成処理を行い、処理したデータを記憶装置１１７（記憶装置<２>）にある出力フレームバッファに格納する。映像処理サブチップ<１>及び映像処理サブチップ<２>でも映像源部１０２（映像源部<２>）及び映像源部１０３（映像源部<３>）からの映像に対し記憶装置１１８（記憶装置<３>）及び記憶装置１１９（記憶装置<４>）を用いて同様な処理を行う。そして、映像処理メインチップは、ＣＰＵ１１５が指定した順番で映像処理サブチップ<１>と映像処理サブチップ<２>に対しラインデータを要求する。それに対し映像処理サブチップ<１>及び映像処理サブチップ<２>は、映像処理メインチップが要求したラインデータを記憶装置１１８（記憶装置<３>）及び記憶装置１１９（記憶装置<４>）にあるそれぞれの出力フレームバッファから対応したラインデータを読み出し、映像処理メインチップに送信する。

映像処理メインチップは、各映像処理サブチップ<１><２>から送信されたラインデータ及び映像処理メインチップ自身が処理した映像データを指定の順番又は指定のブレンド率で合成し表示部１１４への出力を行う。映像処理メインチップから映像処理サブチップへのラインデータ要求、映像処理サブチップからのラインデータ転送、ラインデータ合成そして表示部１１４への出力の上記の一連動作を表示部１１４のライン表示のライン周波数に同期させることで、フレームバッファを介さずに表示部に合成したデータを直接又は複数のラインバッファを介在させるだけで出力することが可能になり、各映像処理サブチップからの映像合成にかかる遅延を抑えることができる。

本実施の形態によれば、映像処理メインサブ共用チップ３１１〜３１３を用いているので、映像処理メインチップ及び映像処理サブチップとして、同一の映像処理チップをスケーラブルに使用することが可能である。そのため、一種類の映像処理チップを開発するだけで様々な映像処理システムの構成に対応することが可能になり、デバイス開発効率の面からもメリットが大きい。

さらに、映像処理メインチップと映像処理サブチップが映像処理メインサブ共用チップで構成されているため、映像処理メインチップと映像処理サブチップの入れ替えなどが可能になり、例えば、各映像処理チップを表示部１１４に接続し、あるときは映像処理サブチップとして動作し、あるときは映像処理メインチップとして動作し表示部に出力することができる。

なお、本実施の形態では、３入力映像処理システムとしてのシステム構成を示しているが、例えば、映像処理メインチップと１つの映像処理サブチップで２入力映像処理システムを構成したり、映像処理メインチップと３つの映像処理サブチップを用いて４入力映像処理システムを構成したりすることで、映像入力数や、映像処理負荷、グラフィック処理負荷などにあわせてスケーラブルにシステムを構成することができる。

また、各映像処理メインサブ共用チップが１つの映像入力対応のチップになっているが、複数映像入力対応の映像処理メインサブ共用チップや、グラフィック処理機能だけを有する映像処理メインサブ共用チップを用いることもできる。

（実施の形態４）
図９は、本発明の実施の形態４に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた階層型映像処理システムの適用例である。本実施の形態の説明にあたり図８と同一構成部分には同一符号を付して重複箇所の説明を省略する。

図９において、５入力映像処理システム４００は、映像源部１０１〜１０５（映像源部<１>〜<５>）、ライン単位転送機能及びライン単位合成処理機能を有する映像処理メインサブ共用チップ３１１〜３１５（映像処理メインサブ共用チップ<１>〜<５>）、ライン伝送路１１３、表示部１１４、ＣＰＵ１１５、記憶装置１１６〜１１９，４２０，４２１（記憶装置<１>〜<５>）、及びバス１２０を備えて構成される。

以下、上述のように構成された映像処理システムの動作について説明する。基本的な動作は、実施の形態３と同様である。

ここでは、映像処理メインサブ共用チップ３１１を映像処理メインチップとし、また映像処理メインサブ共用チップ３１２及び映像処理メインサブ共用チップ３１４を映像処理メインサブ共用チップ３１１の映像処理サブチップ<１>と映像処理サブチップ<２>とする。さらに、映像処理メインサブ共用チップ３１３を映像処理メインサブ共用チップ３１２の映像処理サブチップとし、映像処理メインサブ共用チップ３１５を映像処理メインサブ共用チップ３１４の映像処理サブチップとし、それぞれサブ映像処理サブチップ<１>とサブ映像処理サブチップ<２>と呼ぶ。

映像処理メインチップと映像処理サブチップ<１>〜<５>間、又は映像処理サブチップとサブ映像処理サブチップ間はラインデータ転送ができるようにライン伝送路１１３で接続されている。映像処理メインチップは、映像源部１０１（映像源部<１>）からの映像を取り込み、記憶装置１１７（記憶装置<２>）にある入力フレームバッファに格納する。そして、格納した映像データに対しＣＰＵ１１５が指定した映像処理、指定したグラフィック処理、及びグラフィックデータと映像データとの合成処理を行い、処理したデータを記憶装置１１７（記憶装置<２>）にある出力フレームバッファに格納する。

映像処理サブチップ<１>、映像処理サブチップ<２>、サブ映像処理サブチップ<３>、及びサブ映像処理サブチップ<４>でも映像源部１０２（映像源部<２>）、映像源部１０４（映像源部<４>）、映像源部１０３（映像源部<３>）、及び映像源部１０５（映像源部<５>）からのそれぞれの映像に対し記憶装置１１８（記憶装置<３>）、記憶装置４２０（記憶装置<５>）、記憶装置１１９（記憶装置<４>）及び記憶装置４２１（記憶装置<６>）を用いて同様な処理を行う。

映像処理メインチップは、ＣＰＵ１１５が指定した順番で映像処理サブチップ<１>と映像処理サブチップ<２>に対しラインデータを要求する。そして、映像処理サブチップが対応するラインデータを映像処理メインチップに送信する。次に、映像処理メインチップは各映像処理サブチップから送信されたラインデータと映像処理メインチップ自身が処理したラインデータとを指定の順番で合成を行い、処理したデータを表示部へ出力する。

一方、映像処理サブチップとサブ映像処理サブチップとの間には、まず映像処理サブチップからサブ映像処理サブチップに対し指定した順番でラインデータを要求する。サブ映像処理サブチップは、映像処理メインチップが要求したラインデータを出力フレームバッファから読み出し送信する。

次に、映像処理サブチップでは、各サブ映像処理サブチップからのラインデータと映像処理サブチップ自身が処理した映像データを合成し、一旦ラインバッファに格納するか、直接映像処理メインチップに送信する。映像処理サブチップからサブ映像処理サブチップへのデータ要求、サブ映像処理サブチップから映像処理サブチップへのラインデータ転送、映像処理サブチップでの各サブ映像処理サブチップからのラインデータの合成処理一連動作、及び映像処理メインチップから映像処理サブチップへのラインデータ要求、サブ映像処理サブチップから映像処理メインチップへのラインデータ転送、映像処理メインチップでの各映像処理サブチップからのラインデータの合成処理そして表示部１１４への出力の一連動作を表示部１１４のライン表示の周波数に同期させる。これにより、フレームバッファを介さずに全チップからの映像を合成することが可能になり、映像合成にかかる遅延を抑えることができる。

このように、本実施の形態によれば、システム階層化を行う場合も、ライン転送機能を用いることで映像入力から映像出力するまでの遅延を極端に小さくすることができる。因みに、従来システムを階層化してシステムを構成しようとする場合、その分だけさらにフレームバッファを介す回数が増え、システム全体の遅延が増大していた。本実施の形態では、システム階層化を行う場合の映像入力から映像出力するまでの遅延を格段に低減することができる。

なお、本実施の形態では、５入力階層映像処理システムとしてのシステム構成を示しているが、映像入力数や、映像処理負荷、グラフィック処理負荷などに合わせて階層を増減することでスケーラブルにシステムを構成することができる。このような構成を用いることで、多入力映像に対応する映像処理システムを構成することができる。

また、各映像処理メインサブ共用チップが１つの映像入力対応の映像処理チップになっているが、複数映像入力対応の映像処理チップや、グラフィック処理機能だけを有する映像処理チップを用いることもできる。

（実施の形態５）
図１０は、本発明の実施の形態５に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図６と同一構成部分には同一符号を付して重複箇所の説明を省略する。

図１０において、映像処理システム５００は、映像源部１０１（映像源部<１>）、ライン単位転送機能及びライン単位合成処理機能を有する映像処理メインサブ共用チップ３１１，３１２（映像処理メインサブ共用チップ<１>，<２>）、ライン伝送路１１３、表示部１１４、ＣＰＵ１１５、記憶装置１１６〜１１８（記憶装置<１>〜<３>）、及びバス１２０を備えて構成される。

以下、上述のように構成された映像処理システムの動作について説明する。

ここでは、映像処理メインサブ共用チップ３１１を映像処理メインチップとし、映像処理メインサブ共用チップ３１２を映像処理サブチップとする。また、映像処理メインチップと映像処理サブチップ間はラインデータ転送ができるようにライン伝送路１１３で接続されている。

映像処理メインチップは、映像源部１０１（映像源部<１>）からの映像を取り込み、記憶装置１１７（記憶装置<２>）にある入力フレームバッファに格納する。次に、格納した映像データに対しＣＰＵ１１５が指定した映像処理、指定したグラフィック処理、及びグラフィックデータと映像データとの合成処理を行い、処理したデータを記憶装置１１７（記憶装置<２>）にある出力フレームバッファに格納する。

映像処理サブチップも映像源部１０１（映像源部<１>）からの映像に対し記憶装置１１８（記憶装置<３>）を用いて同様な処理を行う。そして、映像処理メインチップは、映像処理サブチップに対しラインデータを要求する。それに対し映像処理サブチップが要求したラインデータを記憶装置１１８（記憶装置<３>）にある出力フレームメモリから対応したラインデータを読み出し、映像処理メインチップに送信する。

映像処理メインチップでは、映像処理サブチップから送信されたラインデータと映像処理メインチップ自身で処理したデータを合成、比較して表示部１１４への出力を行う。

映像処理システム５００によれば、例えば、画面（処理領域）の上半分が映像処理メインチップで処理し、下半分が映像処理サブチップで処理させることができる。そうすると、一つのチップで全画面を処理させる場合に比べ、各映像処理チップの処理負荷が半分になり、例えば、画面のサイズ（又は映像の解像度）を二倍にしても二つのチップで処理可能である。このように、１つの映像入力の処理を複数の映像処理チップに取り込み、複数の映像処理チップで負荷を分散して行うことで、より高解像度の入力映像及び高精細な表示出力の対応ができる。

次に、１つの映像入力に対し、２つのチップを同じ映像処理をさせる場合についての応用を説明する。

ここで、映像処理メインチップと映像処理サブチップが同じチップ、つまり同じ処理機能を有するものとする。映像処理メインチップと映像処理サブチップが同じ入力映像に対し同じ処理をさせる場合、各映像処理チップが処理した映像が同じになる。これを利用して、映像処理メインチップが処理結果を表示部１１４に出力する前に、映像処理サブチップに対し、ラインデータを要求し、そして一ライン毎に映像処理メインチップの処理結果と映像処理サブチップの処理結果が同じかどうかの比較・確認を行うことで、誤表示を避けることができ、より信頼性の高い映像処理システムを実現できる。例えば、車の運転を支援するための車載カメラ映像システムに、本映像処理システム５００を用いることでシステムの誤動作などによる誤表示を避けることができ、安全性の向上に有効である。

また、一つのカメラ入力映像を複数の映像処理チップに取り込み、各映像処理チップで同一処理により同一映像を生成し、各映像処理チップで生成した映像を比較などの処理を行うことで、システム誤動作などによる誤表示などを防ぐことができ、システムの信頼性を向上させることができる。

また、一つのカメラ入力映像を複数の映像処理チップに取り込み、それぞれのチップで同じ映像処理を行わせ、処理結果をライン単位でメインチップに転送し、映像処理メインチップでそれぞれの映像処理結果を比較することも可能である。

（実施の形態６）
図１１は、本発明の実施の形態６に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図８と同一構成部分には同一符号を付して重複箇所の説明を省略する。

図１１において、３入力映像処理システム６００は、映像源部１０１〜１０３（映像源部<１>〜<３>）、ライン単位転送機能及びライン単位合成処理機能を有する映像処理メインサブ共用チップ３１１〜３１３（映像処理メインサブ共用チップ<１>〜<３>）、ライン伝送路１１３、同期信号伝送路６１０、表示部１１４、ＣＰＵ１１５、記憶装置１１６〜１１９（記憶装置<１>〜<４>）、及びバス１２０を備えて構成される。

また、３入力映像処理システム６００のうち、映像源部１０１（映像源部<１>）、映像源部１０２（映像源部<２>）、映像処理メインサブ共用チップ３１１（映像処理メインサブ共用チップ<１>）、映像処理メインサブ共用チップ３１２（映像処理メインサブ共用チップ<２>）、ライン伝送路１１３、同期信号伝送路６１０、表示部１１４、ＣＰＵ１１５、記憶装置１１６〜１１８（記憶装置<１>〜<３>）及びバス１２０は、２入力映像処理システム６００Ａを構成する。

同期信号伝送路６１０は、映像処理メインチップが映像処理サブチップに対し処理同期信号を与える伝送路である。処理同期信号として、表示の水平同期及び垂直同期が挙げられる。

以下、上述のように構成された映像処理システムの動作について説明する。

ここでは、映像処理メインサブ共用チップ３１１を映像処理メインチップとし、映像処理メインサブ共用チップ３１２及び映像処理メインサブ共用チップ３１３を映像処理サブチップ<１>と映像処理サブチップ<２>とする。また、映像処理メインチップと映像処理サブチップ間はラインデータ転送ができるようにライン伝送路１１３で接続されている。

本実施の形態は、映像処理メインチップが映像処理サブチップに対して同期信号伝送路６１０を介して処理同期信号を与える。前記各実施の形態では、各映像処理チップの映像処理が非同期のため処理した映像を、一旦各映像処理チップにある出力フレームバッファに書き戻し、そして、チップ間のラインデータやり取りはこのフレームバッファのデータを読み出し映像処理メインチップに転送することでチップ間の処理の位相差を無くす必要があった。

本実施の形態に係る映像処理システムでは、映像処理メインチップが映像処理サブチップに対し、処理同期信号を与え、映像処理メインチップも映像処理サブチップも水平同期（表示のライン周波数）に合わせてライン単位の映像処理を行うようにする。これにより、映像処理メインチップと映像処理サブチップが、常に同番号ラインの処理を行うようにすることができ、各映像処理チップで生成したラインデータを直接集めて合成することが可能になる。したがって、本実施の形態では、前記各実施の形態に係る映像処理システムに比べ、出力フレームバッファを介さずに合成するラインデータのやり取りができるため、映像の取り込みから表示出力するまでの遅延をさらに小さくすることができ、システムのリアルタイム性を格段に高めることができる。

また、各映像処理チップでは出力フレームメモリへの処理した映像の書込み及び読み出し動作がなくなるため、記憶装置へのアクセスを低減し、映像処理などのシステム全体のパフォーマンスを向上させることができる。

特に、各映像処理チップに対し、ライン周波数などの同期信号を与え、全ての映像処理チップの処理を同期化することで、出力フレームバッファを介さずに画面合成処理を行うことができる。

このように、本実施の形態では、映像処理メインチップから映像処理サブチップに対して、同期信号を渡して、それぞれの映像処理チップでライン単位に同期化して映像処理を行い、映像処理メインチップに転送し、映像処理メインチップで合成して表示している。この場合、映像処理メインチップに格納された各ラインのデータ領域情報から各映像処理サブチップの転送領域情報を抽出し、各映像処理チップに転送を要求し、合成に必要な有効データだけを映像処理メインチップに転送し、合成して表示する態様でもよい。また、各映像処理チップに格納された各ラインのデータ領域情報を基に、合成に必要な有効データだけを映像処理メインチップに転送し、合成して表示する態様でもよい。

（実施の形態７）
図１２は、本発明の実施の形態７に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図１０と同一構成部分には同一符号を付して重複箇所の説明を省略する。

図１２において、映像処理システム７００は、映像源部１０１（映像源部<１>）、ライン単位転送機能及びライン単位合成処理機能を有する映像処理メインサブ共用チップ３１１，３１２（映像処理メインサブ共用チップ<１>，<２>）、ライン伝送路１１３、同期信号伝送路７１０、表示部１１４、ＣＰＵ１１５、記憶装置１１６〜１１８（記憶装置<１>〜<３>）、及びバス１２０を備えて構成される。

同期信号伝送路７１０は、映像処理メインチップが映像処理サブチップに対し処理同期信号を与える伝送路である。処理同期信号として、表示の水平同期及び垂直同期が挙げられる。

以下、上述のように構成された映像処理システムの動作について説明する。

ここでは、映像処理メインサブ共用チップ３１１を映像処理メインチップとし、映像処理メインサブ共用チップ３１２を映像処理サブチップとする。また、映像処理メインチップと映像処理サブチップ間はラインデータ転送ができるようにライン伝送路１１３で接続されている。さらに、映像処理メインチップが映像処理サブチップに対し同期信号伝送路７１０を介して処理同期信号を与える。

映像処理メインチップが映像処理サブチップに対し、処理同期信号を与えることにより映像処理メインチップと映像処理サブチップのライン単位処理を同期化することができる。すなわち、映像処理メインチップと映像処理サブチップが、常に同番号ラインの処理を行う。本実施の形態では、１つの映像源部<１>からの映像を映像処理メインチップと映像処理サブチップがキャプチャ、入力フレームバッファに格納し、そして映像処理メインチップと映像処理サブチップで負荷を分散して処理を行う。

図１３は、画面横方向に映像処理分割を行う場合の一例を示す図であり、図１３（ａ）（ｂ）は映像処理メインチップ処理領域及び映像処理サブチップ処理領域を、図１３（ｃ）は映像処理メインチップによる合成後のイメージを示す。

図１４は、画面縦方向に映像処理分割を行う場合の一例を示す図であり、図１４（ａ）（ｂ）は映像処理メインチップ処理領域及び映像処理サブチップ処理領域を、図１４（ｃ）は映像処理メインチップによる合成後のイメージを示す。

例えば、図１３（ａ）（ｂ）に示すように、映像処理メインチップと映像処理サブチップの処理領域を画面水平方向に分割し、画面上半分を映像処理メインチップ、画面下半分を映像処理サブチップで処理させる。そうすると、上述したように映像処理メインチップと映像処理サブチップが常に同じラインの処理を行うため、上半分のラインを処理するとき、映像処理メインチップがそれぞれのラインに対し１ライン分の処理を行うとともに、映像処理サブチップがこのとき休むことになる。同様に、画面下半分を処理するとき、今度は映像処理サブチップがそれぞれのラインに対し、１ライン分の処理を行うとともに、映像処理メインチップが休むことになる。したがって、チップ間の処理を同期化する場合、図１３に示すような画面横方向に映像処理分割による処理負荷の分散の仕方では、システムのパフォーマンスを向上させることができない。

そこで、本実施の形態では、図１４に示すように、映像処理メインチップと映像処理サブチップの処理領域を画面垂直方向に分割し、画面左半分を映像処理メインチップ、画面右半分を映像処理サブチップで処理を行わせる。そうすると、画面全体のライン毎の処理負荷が映像処理メインチップと映像処理サブチップで効率的に分散され、システムのパフォーマンスを向上させることができる。

〔ライン転送の具体例１〕
図１２において、映像処理システム７００は、一つの映像源部<１>からの映像の処理を映像処理メインチップと映像処理サブチップで行う。ここで、映像処理メインチップで処理される領域は画面左半分とし、映像処理サブチップで処理される領域は画面右半分とする。ＣＰＵ１１５が映像処理メインチップに対し左画面半分の映像処理パラメータと合成処理パラメータを与え、映像処理サブチップに対し右半分の映像処理パラメータを与える。映像処理パラメータには、どの画面領域を処理すればよいのか、元映像のどのピクセルのデータを使えばよいのかなどの情報が入っている。また、ライン合成処理パラメータには、どのようなブレンド率で合成を行えばよいのか、どの映像処理サブチップのラインデータのどのピクセルのデータを使うのかなどの情報が入っている。

映像処理メインチップ及び映像処理サブチップでは、それぞれに与えられた映像処理パラメータを基に映像処理を行う。そして、映像処理メインチップでは、パラメータを基に合成処理を行うが、映像処理メインチップが合成処理パラメータの情報から、映像処理サブチップに対し、ラインのどの領域が有効データであるかを抽出し、映像処理サブチップにラインデータを要求するとき、抽出したラインの有効領域情報も映像処理サブチップに与える。本例では、ラインの右半分が有効データであることを映像処理サブチップに発信する。映像処理サブチップが映像処理メインチップからのライン有効領域情報を基に有効データだけ（右半分のラインデータ）を映像処理メインチップに転送する。

このように、映像処理メインチップが映像処理サブチップに対して、ライン有効領域情報を与えながらラインデータを要求することで、映像処理メインチップと映像処理サブチップ間の無駄なデータの転送を無くし、効率な転送を行うことができる。映像処理サブチップの個数が多いシステムにおいてはこの方法は特に有用である。

〔ライン転送の具体例２〕
図１２において、映像処理システム７００は、一つの映像源部<１>からの映像の処理を映像処理メインチップと映像処理サブチップで行う。ここで、映像処理メインチップで処理される領域は画面左半分とし、映像処理サブチップで処理される領域は画面右半分とする。ＣＰＵ１１５が映像処理メインチップに対し左画面半分の映像処理パラメータと合成処理パラメータを与え、また、映像処理サブチップに対し、右画面半分の映像処理パラメータとライン転送処理パラメータを与える。ライン転送処理パラメータは、指定のラインに対しどの領域が有効データであるかの情報が入っている。

映像処理メインチップ及び映像処理サブチップでは、それぞれに与えられた映像処理パラメータを基に映像処理を行う。そして、ライン単位合成処理部１２５では、映像処理メインチップが映像処理サブチップに対しラインデータを要求する。映像処理サブチップが、与えられたライン転送情報パラメータを元に対応する有効データを転送する。このように、映像処理サブチップにライン転送情報パラメータを持たせることで、映像処理メインチップと映像処理サブチップ間の無駄なデータの転送を無くし、効率な転送を行うことができる。映像処理サブチップの個数が多いシステムにおいてはこの方法は有用である。

この方法は、上記具体例１に比べ、映像処理メインチップから映像処理サブチップに対しライン有効領域情報を転送する必要がないため、その分だけ転送効率が上がる効果がある。

また、一つのカメラ入力映像を複数の映像処理チップに取り込み、画面の垂直方向に分割して映像処理をそれぞれの映像処理チップで行い、１ライン処理負荷を分散して、それぞれ分割された領域のみ映像処理メインチップに転送し、映像処理メインチップで合成して表示する態様でもよい。

以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。

また、本実施の形態では映像処理システムという名称を用いたが、これは説明の便宜上であり、映像処理装置、映像処理方法等であってもよいことは勿論である。

さらに、上記映像処理システムを構成する各回路部、例えば映像源部の種類、数及び接続方法などは前述した実施の形態に限られない。

本発明に係る映像処理装置は、映像のライン単位転送機能を有する複数の映像処理チップを用いることで、スケーラブルに映像処理システムを構成することができるので、映像処理システム機能・ニーズの多彩化や高性能化に対応するのに有用である。また、ライン単位転送を用いることでフレームバッファを介さずに複数チップからの映像の合成処理を行うことができるので、リアルタイム性が求められる映像処理システム（例えば、機能や性能の進化が早い車載カメラＥＣＵシステムなど）に有用である。

本発明の実施の形態１に係る映像処理システムの構成を示すブロック図 上記実施の形態１に係る映像処理システムの映像処理メインチップの構成を示す図 上記実施の形態１に係る映像処理システムの映像処理サブチップの構成を示す図 上記実施の形態１に係る映像処理システムを構成する２入力映像処理システムの動作を説明する図 上記実施の形態１に係る映像処理システムのライン単位合成処理部と表示部の同期化を説明する図 本発明の実施の形態２に係る映像処理システムの構成を示すブロック図 本発明の実施の形態２に係る映像処理システムの映像処理メインサブ共用チップの構成を示す図 本発明の実施の形態３に係る映像処理システムの構成を示すブロック図 本発明の実施の形態４に係る映像処理システムの構成を示すブロック図 本発明の実施の形態５に係る映像処理システムの構成を示すブロック図 本発明の実施の形態６に係る映像処理システムの構成を示すブロック図 本発明の実施の形態７に係る映像処理システムの構成を示すブロック図 上記実施の形態７に係る映像処理システムの画面横方向に映像処理分割を行う場合の一例を示す図 上記実施の形態７に係る映像処理システムの画面縦方向に映像処理分割を行う場合の一例を示す図 従来の２入力映像を扱う映像処理システムを示すブロック図 従来の４入力映像処理システムの一例を示すブロック図 従来の４入力映像処理システムの出力映像を合成し表示するまでの動作を説明する図

符号の説明

１００，２００，３００，６００ ３入力映像処理システム
１００Ａ，２００Ａ，３００Ａ，６００Ａ ２入力映像処理システム
１０１〜１０５ 映像源部
１１０ 映像処理メインチップ
１１１，１１２ 映像処理サブチップ
１１３ ライン伝送路
１１４ 表示部
１１５ ＣＰＵ
１１６〜１１９，４２０，４２１ 記憶装置
１２０ バス
１２１ 映像入力部
１２２ 映像処理部
１２３ グラフィック処理部
１２４ ライン転送の受信処理部
１２５ ライン単位合成処理部
１２６ 映像出力部
１２７ ライン転送の送信処理部
２１０，３１１〜３１５ 映像処理メインサブ共用チップ
４００ ５入力映像処理システム
５００，７００ 映像処理システム
６１０，７１０ 同期信号伝送路

Claims (9)

1. フレーム単位の画像からなる映像を供給する１又は複数の映像源と、
   前記映像源からの映像を処理する複数の映像処理部と、
   入力映像の一画面を蓄積するフレームバッファを有する記憶部と、
   前記映像処理部により画像処理された画像データを表示する表示部とを備える映像処理装置であって、
   前記映像処理部は、前記フレームバッファに蓄積された映像データを、前記表示部のライン周波数に合わせてライン単位で読み出すとともに、前記ライン単位で合成処理して前記表示部に出力する第１の映像処理部と、
   前記合成処理を行わない第２の映像処理部とからなり、
   前記第１及び第２の映像処理部は、前記表示部のライン周波数に合わせて映像をライン単位で転送するデータ転送手段
   を備えることを特徴とする映像処理装置。
2. 前記第１の映像処理部は、前記第２の映像処理部により処理された映像データを前記ライン単位で集め、集めた映像データを前記ライン単位で合成処理して前記表示部に出力することを特徴とする請求項１記載の映像処理装置。
3. 前記第２の映像処理部は、前記第１の映像処理部に対し、処理した映像データを前記ライン単位で送ることを特徴とする請求項１記載の映像処理装置。
4. 前記第１の映像処理部が、前記第２の映像処理部に対して同期信号を与える同期化手段を備え、前記第１の映像処理部による映像処理と前記第２の映像処理部による映像処理とを前記ライン単位で同期化させることを特徴とする請求項１記載の映像処理装置。
5. 前記同期信号は、前記表示部の水平同期信号及び垂直同期信号であることを特徴とする請求項４記載の映像処理装置。
6. 前記複数の映像処理部は、前記複数の映像源に各々対応しており、前記複数の映像処理部は、前記各映像源からの入力映像をそれぞれ取り込んで映像を処理することを特徴とする請求項１記載の映像処理装置。
7. 前記複数の映像処理部は、前記一つの映像源からの入力映像を取り込み、前記一つの映像源から取り込んだ映像データを分散処理することを特徴とする請求項１記載の映像処理装置。
8. 前記第１の映像処理部は、映像処理メインチップからなり、前記第２の映像処理部は、映像処理サブチップからからなることを特徴とする請求項１乃至請求項４のいずれかに記載の映像処理装置。
9. 前記第１及び第２の映像処理部は、前記ライン単位合成処理を行う映像処理メインサブ共用チップからなることを特徴とする請求項１乃至請求項４のいずれかに記載の映像処理装置。

Images