JP2008131498A - 映像処理装置 - Google Patents
映像処理装置 Download PDFInfo
- Publication number
- JP2008131498A JP2008131498A JP2006316151A JP2006316151A JP2008131498A JP 2008131498 A JP2008131498 A JP 2008131498A JP 2006316151 A JP2006316151 A JP 2006316151A JP 2006316151 A JP2006316151 A JP 2006316151A JP 2008131498 A JP2008131498 A JP 2008131498A
- Authority
- JP
- Japan
- Prior art keywords
- video
- video processing
- chip
- processing
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】フレームバッファを介さずに、各映像処理部からの映像を合成処理することができ、映像入力から表示までの遅延を低減し、リアルタイム性を向上させることができる映像処理装置を提供する。
【解決手段】3入力映像処理システム100の映像処理メインチップ110は、記憶装置117〜119のフレームバッファに蓄積された映像データを、表示部114のライン周波数に合わせてライン単位で読み出すとともに、映像処理サブチップ111,112により処理された映像データをライン単位で集め、集めた映像データと自身が処理した映像データとをライン単位で合成処理して表示部114に出力し、映像処理サブチップ111,112は、映像処理メインチップ110に対し、処理した映像データをライン単位で転送する。
【選択図】図1
【解決手段】3入力映像処理システム100の映像処理メインチップ110は、記憶装置117〜119のフレームバッファに蓄積された映像データを、表示部114のライン周波数に合わせてライン単位で読み出すとともに、映像処理サブチップ111,112により処理された映像データをライン単位で集め、集めた映像データと自身が処理した映像データとをライン単位で合成処理して表示部114に出力し、映像処理サブチップ111,112は、映像処理メインチップ110に対し、処理した映像データをライン単位で転送する。
【選択図】図1
Description
本発明は、映像処理装置に係り、例えば、カメラなどから取り込んだ映像を複数の映像処理チップを用いて映像処理する映像処理装置に関する。
複数の入力映像の処理を行う映像処理システムを構成する場合、映像入力数分の映像取り込み機能及び映像処理機能を有するチップを用いることでシステムを構成することができる。
例えば、特許文献1には、画枠からはみ出すと推定されるはみ出し部分を推定するカメラ動き推定部と、はみ出し部分を記憶する画像蓄積メモリと、複数のはみ出し部分を合成して画像を創造する画像合成部とを備え、放送された映像の空間をより広げて認識する映像処理装置が開示されている。
また、特許文献2には、データ転送方式で使用されていないバス幅の一部を活用して、メモリ容量の低減および単位時間当たりの転送データ量を増大を図る映像処理システムが開示されている。
図15は、2入力映像を扱う映像処理システムを示すブロック図である。
図15において、映像処理システム10は、2つの映像源部11,12(映像源部<1>,<2>)、映像処理チップ13、表示部14、CPU15、記憶装置16,17(記憶装置<1>,<2>)、及びバス18を備えて構成される。
映像処理チップ13は、2つの映像入力部21,22、2つの映像の処理ができる映像処理部23、及び映像出力部24から構成され、映像処理チップ13は、2つの入力映像の取り込み及び処理を行う。
映像入力数が異なるシステムを構成する場合、それぞれの映像入力数に対応できる各種のチップを用意する必要がある。しかし、各種チップ全てを開発することが日程的又は費用的に困難である場合、スケーラブルにシステムを構成することはできない。また、映像入力数が多い映像処理システムでは、多数の映像の取り込み機能を搭載する必要があり、さらに映像処理負荷も増大するため、1つの映像処理チップで全ての映像取り込み及び映像処理を行うことが困難である。
一方、複数の映像処理チップで処理を分散し、それぞれのチップで処理した映像を合成する場合、それぞれのチップからの映像を一旦フレームバッファに格納してから映像を合成して表示するため、映像入力から表示するまでの遅延が大きくなり、リアルタイム性に欠けているという問題がある。
図16は、4つの入力映像を対応する4入力映像処理システムの一例を示すブロック図である。
図16において、4入力映像処理システム30は、4つの映像源部31〜34(映像源部<1>〜<4>)、映像処理チップ41,42、映像合成チップ43、表示部44、CPU45、記憶装置46〜49(記憶装置<1>〜<4>)、及びバス50を備えて構成される。
映像合成チップ43は、2つの映像入力部51,52、2つの映像の処理ができる映像合成部53、及び映像出力部54から構成される。
映像処理チップ41,42は、図15の映像処理チップ13と同一構成である。
図16に示す映像処理システムは、2個の2入力映像対応の映像処理チップ41,42を用いて4入力映像対応の映像処理システムを構成する。
映像源部31と映像源部32からの映像を映像処理チップ41で取り込み、処理する。また、映像源部33と映像源部34からの映像を映像処理チップ42で取り込み、処理する。そして、映像合成チップ43では、それぞれの映像処理チップ41,42で処理した映像を合成して表示する。映像処理チップ41と映像処理チップ42からの出力映像を合成し表示するまでの動作は次のようになる。
図17は、図16の4入力映像処理システム30の映像処理チップ<1>と映像処理チップ<2>からの出力映像を合成し表示するまでの動作を説明する図であり、図17中、(1)〜(5)に示す矢印は、データの流れを示している。
(1)映像データの取り込み〜(2)映像データの処理〜(3)映像データの取り込み
まず、映像処理チップ<1>からの出力映像を映像入力部51(図16)でキャプチャし、キャプチャしたデータを記憶装置<4>にあるフレームバッファに格納する。同じように映像処理チップ<2>からの出力映像を映像入力部52(図16)でキャプチャし、データを記憶装置<4>にあるフレームバッファに格納する。
まず、映像処理チップ<1>からの出力映像を映像入力部51(図16)でキャプチャし、キャプチャしたデータを記憶装置<4>にあるフレームバッファに格納する。同じように映像処理チップ<2>からの出力映像を映像入力部52(図16)でキャプチャし、データを記憶装置<4>にあるフレームバッファに格納する。
(4)映像合成処理
そして、映像合成部53では、上記フレームバッファに格納した2つの映像データを読み出し、それらを合成し、合成したデータを記憶装置<4>にある出力フレームバッファに書き戻す。
そして、映像合成部53では、上記フレームバッファに格納した2つの映像データを読み出し、それらを合成し、合成したデータを記憶装置<4>にある出力フレームバッファに書き戻す。
(5)表示処理
映像出力部54では、記憶装置<4>の出力フレームバッファに格納された映像データを読み出し、表示部44に出力する。
映像出力部54では、記憶装置<4>の出力フレームバッファに格納された映像データを読み出し、表示部44に出力する。
上記(3)では、各映像処理チップ<1><2>から非同期でかつフレーム単位で映像合成チップにデータを転送するため、各映像処理チップ<1><2>からの合成処理を行う前に各映像処理チップ<1><2>からのデータを、一旦、記憶装置<4>にあるフレームバッファに保存することが必要になる。
このように、映像処理チップ<1>と映像処理チップ<2>からの出力映像を取り込みから、合成、そして表示するまで、映像を2回に亘ってフレームバッファに介する必要がある。
特開2004−88474号公報
特開2002−229933号公報
しかしながら、このような従来の映像処理システムにあっては、入力映像の処理を複数チップで行い、そして各映像処理チップで処理した映像を合成する構成を有するシステムでは、システム全体の処理遅延が大きくなり、リアルタイム性に欠けるという問題がある。
すなわち、映像入力数や映像処理負荷に合わせスケーラブルに映像処理システムを構成できる手段が必要である。しかし、複数の入力映像の処理は、負荷が大きく、1チップで処理することが困難である。一方、複数のチップで処理を分散し、それぞれのチップで処理した映像を合成する場合、それぞれのチップからの映像を一旦フレームバッファに格納してから映像を合成して表示するため、映像入力から表示するまでの遅延が大きくなり、リアルタイム性に欠ける。
本発明は、かかる点に鑑みてなされたものであり、フレームバッファを介さずに、各映像処理部からの映像を合成処理することができ、映像入力から表示までの遅延を低減し、リアルタイム性を向上させることができる映像処理装置を提供することを目的とする。
また、本発明は、映像入力数や映像処理負荷などに合わせてスケーラブルにシステムを構築することができる映像処理装置を提供することを目的とする。
本発明の映像処理装置は、フレーム単位の画像からなる映像を供給する1又は複数の映像源と、前記映像源からの映像を処理する複数の映像処理部と、入力映像の一画面を蓄積するフレームバッファを有する記憶部と、前記映像処理部により画像処理された画像データを表示する表示部とを備える映像処理装置であって、前記映像処理部は、前記フレームバッファに蓄積された映像データを、前記表示部のライン周波数に合わせてライン単位で読み出すとともに、前記ライン単位で合成処理して前記表示部に出力する第1の映像処理部と、前記合成処理を行わない第2の映像処理部とからなり、前記第1及び第2の映像処理部は、前記表示部のライン周波数に合わせて映像をライン単位で転送するデータ転送手段を備える構成を採る。
本発明によれば、映像のライン単位転送機能を有する複数の映像処理チップを用いて入力映像の処理を分散し、それぞれのチップで処理した映像をライン単位でメインチップに転送し、メインチップでライン単位の合成をして出力するため、フレームバッファを介さずに複数チップからの映像の合成処理を行うことができ、映像入力から表示するまでの遅延を低減し、リアルタイム性を向上させることができる。
また、映像のライン単位転送機能を有する映像処理チップを用いるため、映像入力数や映像処理負荷などに合わせてスケーラブルにシステムを構築することができる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る映像処理システムの構成を示すブロック図である。本実施の形態は、1つの映像処理メインチップと複数の映像処理サブチップを用いた3入力映像処理システムに適用した例である。
図1は、本発明の実施の形態1に係る映像処理システムの構成を示すブロック図である。本実施の形態は、1つの映像処理メインチップと複数の映像処理サブチップを用いた3入力映像処理システムに適用した例である。
図1において、3入力映像処理システム100は、映像源部101(映像源部<1>)、映像源部102(映像源部<2>)、映像源部103(映像源部<3>)、ライン単位転送機能及びライン単位合成処理機能を有する映像処理メインチップ110、ライン単位転送機能を有する映像処理サブチップ111(映像処理サブチップ<1>)、ライン単位転送機能を有する映像処理サブチップ112(映像処理サブチップ<2>)、ライン伝送路113、表示部114、CPU115、記憶装置116(記憶装置<1>)、記憶装置117(記憶装置<2>)、記憶装置118(記憶装置<3>)、記憶装置119(記憶装置<4>)、及びバス120を備えて構成される。
また、3入力映像処理システム100のうち、映像源部101(映像源部<1>)、映像源部102(映像源部<2>)、映像処理メインチップ110、映像処理サブチップ111(映像処理サブチップ<1>)、ライン伝送路113、表示部114、CPU115、記憶装置116〜118(記憶装置<1>〜<3>)及びバス120は、2入力映像処理システム100Aを構成する。また、図示は省略するが、3入力映像処理システム100のうち、映像源部102(映像源部<2>)、映像処理サブチップ111(映像処理サブチップ<1>)及び記憶装置118(記憶装置<3>)に代えて、映像源部103(映像源部<3>)、映像処理サブチップ112(映像処理サブチップ<2>)及び記憶装置119(記憶装置<4>)を備える構成の2入力映像処理システム100Bでもよく、2入力映像処理システム100Aと同様の機能を有する。
映像処理メインチップ110及び映像処理サブチップ111,112は、映像入力の取り込み、映像処理、グラフィック処理を行う映像処理チップであり、ライン単位転送機能を持つ。映像処理サブチップ111,112は、ライン転送の送信処理部127(図3)を有し、映像処理メインチップ110は、ライン転送の受信処理部124(図2)とライン単位合成処理部125(図2)を有する。詳細については、図2及び図3により後述する。
映像処理メインチップ110は、他チップから映像又はグラフィックの1ライン分のデータ(以下、ラインデータという)を要求し、ラインデータを集め、集めたラインデータをライン単位で合成する。
映像処理サブチップ111,112は、他チップからのラインデータ転送要求に対しての応答を行い、要求した指定のラインデータを送信する。
ライン伝送路113は、例えばライン転送バスであり、ライン転送バスは、MODE信号、DATA信号、及びVALID信号バスから構成される。MODE信号バスは、チップセレクトモードや、ラインナンバー転送モード、映像データ転送モードなど、映像処理サブチップに転送類を通知するためのもので、常に映像処理メインチップがこのバス権を持つ。DATA信号バスは、チップセレックトデータや、ラインナンバーデータ、映像データなどを転送するためのバスである。VALID信号バスは、DATAバスに転送されているデータが有効かどうかを送り側から受け取り側に通知するためのものである。
3入力映像処理システム100は、映像の取り込み、取り込んだ映像の処理、グラフィック処理、映像とグラフィックとの合成処理、処理した映像又はグラフィックス又は映像とグラフィックを表示系に出力する映像処理システムである。例えば、映像の取り込み、取り込んだ映像の歪み補正の処理、フィルタリング処理、映像の色輝度補正処理、視点変換処理、カメラ間の重なる映像の合成処理、カメラから取り込んだ映像を解析し障害物や人間、道路の白線などを検出することを目的とする映像解析処理、車絵の描画、ガイドライン描画、文字描画、設定画面描画、メニューボタン描画などのグラフィック処理、映像とグラフィックとの合成処理、処理した映像又はグラフィックス又は映像とグラフィックを表示系に出力する。
3入力映像処理システム100は、表示部114の表示のライン周波数に合わせて異なるチップ間でそれぞれ作成した映像をライン単位で転送しメインチップに集めて、合成して表示することを特徴とする。
図1では、3入力映像処理システム100は、複数の映像入力を1つの映像処理メインチップ110と2つの映像処理サブチップ111,112に分けて処理する。具体的には、3入力映像処理システム100は、複数の映像入力をライン単位転送機能が搭載された複数の映像処理チップに分けて取り込む工程と、各映像処理チップで映像処理及びグラフィック処理を行う工程と、各映像処理チップで処理した映像やグラフィック、又は映像とグラフィックとの合成データをライン単位で集めてライン合成を行う工程と、合成したラインデータを表示系に出力する工程とを有する。
上記ライン単位転送機能として、各映像処理チップで処理した映像の合成処理を行う映像処理チップ(映像処理メインチップ)が映像処理メインチップ以外の映像処理チップ又はグラフィック処理チップ(映像処理サブチップ)に対しチップセレクト信号又はリクエスト信号や、ライン番号情報を与え、選択された映像処理サブチップがライン番号に対応したラインデータを転送する方法を用いる。
あるいは、上記ライン単位転送機能として、映像処理メインチップが映像処理サブチップに対しチップセレクト信号又はリクエスト信号や、ライン番号情報、さらに合成に必要な有効データ範囲情報を与え、選択された映像処理サブチップがライン番号に対応した有効なデータだけを転送する方法を用いる。
図2は、上記映像処理メインチップ110の構成を示す図である。
図2において、映像処理メインチップ110は、映像入力部121、映像処理部122、グラフィック処理部123、ライン転送の受信処理部124、ライン単位合成処理部125、及び映像出力部126を備えて構成される。
映像入力部121は、1つ又は複数の入力映像をキャプチャし、キャプチャしたデータを指定の入力フレームバッファに格納する。
映像処理部122は、指定のフレームバッファから映像データを読み出し、画素合成及び画素の並べ替えなどの映像処理を行うとともに、処理したデータを指定のバッファに格納する。
グラフィック処理部123は、グラフィックの描画処理、グラフィックの映像重畳処理、及び処理データの指定のバッファへの格納処理を行う。
ライン転送の受信処理部124は、他チップへのラインデータ要求、他チップから送信されたラインデータの受信、ラインデータを送信した他チップに対する応答の発行、及び受信したラインデータを指定のバッファへの格納を行う。
ライン単位合成処理部125は、指定の複数のラインバッファに格納されたラインデータの読み出し、指定の複数ラインデータを指定の順番で合成処理するとともに、合成したデータを指定のラインバッファに格納する。
映像出力部126は、指定したバッファに格納された映像データを読み出し、出力する。
図3は、映像処理サブチップ111の構成を示す図である。映像処理サブチップ111(映像処理サブチップ<1>)と映像処理サブチップ112(映像処理サブチップ<2>)とは、同一構成を採るため、映像処理サブチップ111を代表して示す。図2と同一構成部分には同一番号を付して説明を省略する。
図3において、映像処理サブチップ111は、映像入力部121、映像処理部122、グラフィック処理部123、及びライン転送の送信処理部127を備えて構成される。
ライン転送の送信処理部127は、他チップからのラインデータの要求に対する応答、他チップから要求された指定のラインデータを指定のフレームバッファ又はラインバッファからの読み込み、他チップから要求された指定のラインデータを送信する。
以下、上述のように構成された映像処理システムの動作について説明する。
3入力映像処理システム100は、2入力映像処理システム100Aと図示しない2入力映像処理システム100Bとに分けられ、2入力映像処理システム100A及び2入力映像処理システム100Bの動作が、3入力映像処理システム100の基本動作となる。動作説明の簡略化のため、映像処理サブチップ111(映像処理サブチップ<1>)及び映像処理サブチップ112(映像処理サブチップ<2>)は、単に映像処理サブチップ<1>及び映像処理サブチップ<2>と記載する。
〔2入力映像処理システム100Aの全体動作〕
図4は、3入力映像処理システム100を構成する2入力映像処理システム100Aの動作を説明する図であり、図4(a)は2入力映像処理システム100Aの全体図を、図4(b)はライン処理後のフレームバッファの動作例を示す。本実施の形態の映像処理システムは、異なるチップ間でそれぞれ作成した映像をライン単位で転送しメインチップに集めて合成することを特徴としており、図4はライン単位処理イメージを表している。図4中、(1)〜(4)に示す矢印は、データの流れを示している。
図4は、3入力映像処理システム100を構成する2入力映像処理システム100Aの動作を説明する図であり、図4(a)は2入力映像処理システム100Aの全体図を、図4(b)はライン処理後のフレームバッファの動作例を示す。本実施の形態の映像処理システムは、異なるチップ間でそれぞれ作成した映像をライン単位で転送しメインチップに集めて合成することを特徴としており、図4はライン単位処理イメージを表している。図4中、(1)〜(4)に示す矢印は、データの流れを示している。
[映像データの取り込み]
映像処理メインチップ110と映像処理サブチップ<1>及び映像処理サブチップ<2>間は、ラインデータ転送ができるようにライン伝送路113により接続されている。映像処理メインチップ110は、映像源部101(映像源部<1>)からの映像を取り込み、記憶装置117(記憶装置<2>)にある入力フレームバッファに格納する。ここでは、図4(a)の(1)に示すように映像源部<1>からの映像を記憶装置<2>にある入力フレームバッファ117aに格納する。
映像処理メインチップ110と映像処理サブチップ<1>及び映像処理サブチップ<2>間は、ラインデータ転送ができるようにライン伝送路113により接続されている。映像処理メインチップ110は、映像源部101(映像源部<1>)からの映像を取り込み、記憶装置117(記憶装置<2>)にある入力フレームバッファに格納する。ここでは、図4(a)の(1)に示すように映像源部<1>からの映像を記憶装置<2>にある入力フレームバッファ117aに格納する。
[映像データの処理]
次に、記憶装置<2>の入力フレームバッファ117aに格納した映像データに対して、CPU115が指定した映像処理を行ったり、CPU115が指定したグラフィック処理を行ったり、グラフィックデータと映像データとの合成処理を行ったりする処理を行い、処理したデータを記憶装置<2>にある出力フレームバッファ117bに格納する。ここでは、図4(a)の(2)に示すように入力フレームバッファ117aに格納した映像データを、処理して記憶装置<2>にある出力フレームバッファ117bに格納する。
次に、記憶装置<2>の入力フレームバッファ117aに格納した映像データに対して、CPU115が指定した映像処理を行ったり、CPU115が指定したグラフィック処理を行ったり、グラフィックデータと映像データとの合成処理を行ったりする処理を行い、処理したデータを記憶装置<2>にある出力フレームバッファ117bに格納する。ここでは、図4(a)の(2)に示すように入力フレームバッファ117aに格納した映像データを、処理して記憶装置<2>にある出力フレームバッファ117bに格納する。
上記は、映像源部<1>からの映像データを映像処理メインチップ110が取り込んで記憶装置<2>の入力フレームバッファ117aに一旦格納し、この入力フレームバッファ117aに格納した映像データを映像処理等して記憶装置<2>の出力フレームバッファ117bに保持する動作である。
同様の動作が、映像源部<2>と映像処理サブチップ<1>間、及び映像源部<3>と映像処理サブチップ<2>間でも実施される。図4の2入力映像処理システム100Aは、映像源部<2>と映像処理サブチップ<1>の動作を代表して示しており、映像源部<2>と映像処理サブチップ<1>は、前記映像源部<1>と映像処理メインチップ110と同様に、映像源部<2>からの映像に対して記憶装置<3>を用いて、上述した映像源部<1>と映像処理メインチップ110と同様な処理を行う。すなわち、映像源部<2>からの映像データを映像処理サブチップ<1>が取り込んで記憶装置<3>の入力フレームバッファ118aに一旦格納し、この入力フレームバッファ118aに格納した映像データを映像処理等して記憶装置<3>の出力フレームバッファ118bに保持する。
[ライン単位映像読み出し及びライン単位合成処理]
1.ライン単位映像読み出し
映像処理メインチップ110は、CPU115が指定したライン合成処理パラメータ(どのような順番で合成すればよいかを示すパラメータ、合成領域又は合成のブレンド率などのパラメータなど)を基に、映像処理サブチップ<1>と映像処理サブチップ<2>に対しラインデータを要求する。それに対し図4(a)の(3)に示すように、映像処理サブチップ<1>及び映像処理サブチップ<2>は、映像処理メインチップ110が要求したラインデータを、記憶装置117(記憶装置<2>)及び記憶装置118(記憶装置<3>)にあるそれぞれの出力フレームバッファ117b,118bから、対応したラインデータを読み出し、映像処理メインチップ110に送信する。
1.ライン単位映像読み出し
映像処理メインチップ110は、CPU115が指定したライン合成処理パラメータ(どのような順番で合成すればよいかを示すパラメータ、合成領域又は合成のブレンド率などのパラメータなど)を基に、映像処理サブチップ<1>と映像処理サブチップ<2>に対しラインデータを要求する。それに対し図4(a)の(3)に示すように、映像処理サブチップ<1>及び映像処理サブチップ<2>は、映像処理メインチップ110が要求したラインデータを、記憶装置117(記憶装置<2>)及び記憶装置118(記憶装置<3>)にあるそれぞれの出力フレームバッファ117b,118bから、対応したラインデータを読み出し、映像処理メインチップ110に送信する。
図4(b)は2入力映像処理システム100Aの記憶装置118(記憶装置<3>)の出力フレームバッファ118bの構成の一例を示す図である。図4(b)に示すように、出力フレームバッファ118bは、480ライン×800ピクセルの記憶領域を有し、ライン単位でデータを格納する。このように、出力フレームバッファ117b,118bには、処理後のデータがライン単位で格納される。
2.及びライン単位合成処理
次に、映像処理メインチップ110は、各映像処理サブチップ<1><2>からライン単位で送信されたラインデータと映像処理メインチップ110自身が処理したラインデータとを指定の順番及びブレンド率で合成処理を行い、処理したデータを複数のラインバッファまたは、合成後用のフレームバッファに格納する。ライン単位合成処理部125は、表示部114のライン周波数に同期させたライン単位で、ライン単位合成処理を行う。図4の例では、ライン単位合成処理部125は、記憶装置<2>の出力フレームバッファ117bからライン単位で送信されたラインnデータ130と、記憶装置<3>の出力フレームバッファ118bからライン単位で送信されたラインnデータ131とをライン単位で合成処理し、合成処理後のラインnデータ132を自身のフレームバッファにライン単位で格納する。
次に、映像処理メインチップ110は、各映像処理サブチップ<1><2>からライン単位で送信されたラインデータと映像処理メインチップ110自身が処理したラインデータとを指定の順番及びブレンド率で合成処理を行い、処理したデータを複数のラインバッファまたは、合成後用のフレームバッファに格納する。ライン単位合成処理部125は、表示部114のライン周波数に同期させたライン単位で、ライン単位合成処理を行う。図4の例では、ライン単位合成処理部125は、記憶装置<2>の出力フレームバッファ117bからライン単位で送信されたラインnデータ130と、記憶装置<3>の出力フレームバッファ118bからライン単位で送信されたラインnデータ131とをライン単位で合成処理し、合成処理後のラインnデータ132を自身のフレームバッファにライン単位で格納する。
[表示処理]
ライン単位合成処理部125は、各映像処理サブチップ<1><2>からライン単位で転送されたラインデータを合成したあと、合成後用のフレームバッファに格納する。そして、図4(a)の(4)に示すように、映像出力部126(図2)は、合成後用のフレームバッファに格納された合成処理後のラインnデータ132を読み出し、表示部114に直接、ライン単位で送信する。表示部114に送信されるラインnデータ132は、表示部114のライン周波数に同期させたライン単位で合成処理されたデータであるため、表示部114は、送信されたラインデータをそのまま表示可能である。
ライン単位合成処理部125は、各映像処理サブチップ<1><2>からライン単位で転送されたラインデータを合成したあと、合成後用のフレームバッファに格納する。そして、図4(a)の(4)に示すように、映像出力部126(図2)は、合成後用のフレームバッファに格納された合成処理後のラインnデータ132を読み出し、表示部114に直接、ライン単位で送信する。表示部114に送信されるラインnデータ132は、表示部114のライン周波数に同期させたライン単位で合成処理されたデータであるため、表示部114は、送信されたラインデータをそのまま表示可能である。
図5は、ライン単位合成処理部125と表示部114の同期化を説明する図である。
図5(a)に示すように、表示部114は、垂直同期によりフレーム周期の同期をとり、水平同期によりデータライン表示の同期をとる。図5では、垂直同期の立下りを受けた水平同期により1フレームのライン0表示を開始し、以下、水平同期ごとにライン1表示,…,ライン479表示を行い、垂直同期の立上がりで1フレームのライン表示を終える。
図5(b)に示すように、2入力映像処理システム100Aは、図5(a)に示す表示部114のライン周波数に同期させたライン単位のデータ転送、及びライン単位合成処理を行う。具体的には、3入力映像処理システム100は、表示部114の垂直同期及び水平同期に合わせて、ライン単位で映像処理メインチップ110からのラインデータを取り出すとともに、映像処理サブチップ<1><2>からのラインデータを取り出す。そして、ライン単位合成処理部125は、表示部114のライン周波数に同期させたライン単位で合成処理を行った上で、映像出力部126は、合成処理後のラインnデータ132を、表示部114にライン単位で送信する(図5の矢印参照)。
以上の動作は、図示しない2入力映像処理システム100Bについても同様であり、2入力映像処理システム100Aと2入力映像処理システム100Bの動作を組み合わせた3入力映像処理システム100についても同様である。
次に、映像処理メインチップ110及び映像処理サブチップ111,112の動作について具体的に説明する。
〔映像処理メインチップ110の動作〕
映像処理メインチップ110の一連の動作の流れは次のようになる。
映像処理メインチップ110の一連の動作の流れは次のようになる。
図2に示すように、入力映像は映像入力部121によりキャプチャされ、データが外部にある入力フレームバッファ(例えば、図4の入力フレームバッファ117a,118a)に格納される。そして、映像処理パラメータ(元の映像に対して、どのような処理を行うのかなどのパラメータ)を基に、映像処理部122は入力フレームバッファに格納されるデータを読み出し、処理を行い、処理した映像を出力フレームバッファ(例えば、図4の出力フレームバッファ117b,118b)に格納する。そしてライン単位合成を行うために、ライン転送の受信処理部124は、他の映像処理チップ(例えば、図4の映像処理サブチップ111)へラインデータを要求し、返ってくるラインデータを指定のラインバッファに格納する。
ライン単位合成処理部125は、格納されたラインデータとメインチップ自身で処理したデータとを合成し、出力する。
このように、映像処理メインチップ110では、ライン転送の受信処理部124とライン単位合成処理部125を設けることによって、他映像処理チップとのライン単位データの要求・受信ができ、ライン単位合成を行うことが可能になる。
なお、図2に示す映像処理メインチップ110は、映像入力部121と映像処理部122とグラフィック処理部123を有するが、これらの処理部のどれか一つと、ライン転送の受信処理部124と、ライン単位合成処理部125と、映像出力部126とで構成されるものでもよく、ライン転送の受信処理部124と、ライン単位合成処理部125と、映像出力部126とで構成されるものでもよい。
〔映像処理サブチップ111,112の動作〕
映像処理サブチップ111,112の一連の動作の流れは次のようになる。
映像処理サブチップ111,112の一連の動作の流れは次のようになる。
図3に示すように、入力映像は映像入力部121でキャプチャされ、データが入力フレームバッファ(例えば、図4の入力フレームバッファ118a)に格納される。そして、映像処理パラメータを基に、映像処理部122は入力フレームバッファに格納されるデータを読み出し、処理を行い、処理した映像を出力フレームバッファ(例えば、図4の出力フレームバッファ118b)に格納する。そして、ライン転送の送信処理部127では、映像処理メインチップ110からの要求に対し、指定のラインデータを出力フレームバッファから読み出し、映像処理メインチップ110に送信する。
このように、映像処理サブチップ111,112では、ライン転送の送信処理部127を設けることによって、他映像処理チップに要求された指定のラインデータを送信することができる。
なお、図3に示す映像処理サブチップ111では、映像入力部121と映像処理部122とグラフィック処理部123を有するが、これらの処理部のどれか一つと、ライン転送の送信処理部127とで構成されるものであってもよい。
以上のように、本実施の形態によれば、3入力映像処理システム100は、フレーム単位の画像からなる映像を供給する映像源部101〜103(映像源部<1>〜<3>)と、表示部114のライン周波数に合わせて映像をライン単位で転送するデータ転送手段有し、映像源部101〜103からの映像を処理する映像処理メインチップ110及び映像処理サブチップ111,112(映像処理サブチップ<1><2>)と、入力映像の一画面を蓄積するフレームバッファを有する記憶装置116〜119(記憶装置<1>〜<4>)と、映像処理メインチップ110により画像処理された画像データを表示する表示部114とを備え、映像処理メインチップ110は、記憶装置117〜119のフレームバッファに蓄積された映像データを、表示部114のライン周波数に合わせてライン単位で読み出すとともに、映像処理サブチップ111,112により処理された映像データをライン単位で集め、集めた映像データと自身が処理した映像データとをライン単位で合成処理して表示部114に出力し、映像処理サブチップ111,112は、映像処理メインチップ110に対し、処理した映像データをライン単位で転送する構成としたので、各映像処理チップからの合成処理を行う前に各映像処理チップからのデータをフレームバッファに保存することなく、フレームバッファを介さずに映像の合成処理を行うことができる。これにより、映像入力から表示するまでの遅延を低減することができ、リアルタイム性を向上させることができる。また、映像のライン単位転送機能を有する映像処理チップを用いることで、映像入力数や映像処理負荷などに合わせてスケーラブルにシステムを構築することができる。
このように、3入力映像処理システム100の映像処理メインチップ110は、各映像処理チップ<1><2>からライン単位で合成対象のラインデータを転送してもらい、それらのラインデータを合成したあと直接、表示部114に渡すことが可能になる。従来例では、各映像処理チップから非同期でかつフレーム単位で映像合成チップにデータを転送するため、各映像処理チップからの合成処理を行う前に各映像処理チップからのデータを一旦記憶装置部4にあるフレームバッファに保存することが必要になっていた。これに対して、本実施の形態では、表示部114のライン周波数に同期させたライン単位のデータ転送、及びライン単位合成処理であるため、フレームバッファを介する必要がない。すなわち、各映像処理チップ<1><2>からの映像をライン単位で転送し、ライン単位で合成することにより、各映像処理チップからの映像を一旦入力フレームバッファに格納しなくても合成できる。したがって、各映像処理チップ<1><2>からの映像を一旦入力フレームバッファに格納してから合成処理を行う従来の方法に比べ、より少ない遅延で合成処理ができる効果がある。
さらに、映像処理メインチップ110からサブチップへのラインデータ要求、サブチップからのラインデータ転送、ラインデータ合成そして表示部114への出力など、上述した一連の動作を表示部114のライン表示の周波数に同期させることで、合成後用のフレームバッファを介さずに表示部114に合成したデータを直接出力することが可能になり、さらに遅延を抑えることができる。
なお、本実施の形態では、3入力映像処理システム構成を示しているが、例えば、映像処理メインチップ110と1つのサブチップで2入力映像処理システムを構成したり、映像処理メインチップ110と3つのサブチップを用いて4入力映像処理システムを構成したりし、映像入力数や、映像処理負荷、グラフィック処理負荷などに合わせてスケーラブルにシステムを構成することができる。
また、図1において、各映像処理メインチップ110及びサブチップが1つの映像入力対応の映像処理チップになっているが、複数映像入力対応の映像処理チップや、グラフィック処理機能だけを有する映像処理チップを用いることもできる。また、複数の映像処理チップに加え、ライン単位転送機能を搭載したグラフィック処理チップを用いてもよい。
(実施の形態2)
図6は、本発明の実施の形態2に係る映像処理システムの構成を示すブロック図である。本実施の形態は、1つの映像処理メインサブ共用チップと複数の映像処理サブチップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図1と同一構成部分には同一符号を付して重複箇所の説明を省略する。
図6は、本発明の実施の形態2に係る映像処理システムの構成を示すブロック図である。本実施の形態は、1つの映像処理メインサブ共用チップと複数の映像処理サブチップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図1と同一構成部分には同一符号を付して重複箇所の説明を省略する。
図6において、3入力映像処理システム200は、映像源部101〜103(映像源部<1>〜<3>)、ライン単位転送機能及びライン単位合成処理機能を有する映像処理メインサブ共用チップ210、ライン単位転送機能を有する映像処理サブチップ111(映像処理サブチップ<1>)、ライン単位転送機能を有する映像処理サブチップ112(映像処理サブチップ<2>)、ライン伝送路113、表示部114、CPU115、記憶装置116〜119(記憶装置<1>〜<4>)、及びバス120を備えて構成される。
また、3入力映像処理システム200のうち、映像源部101(映像源部<1>)、映像源部102(映像源部<2>)、映像処理メインサブ共用チップ210、映像処理サブチップ111(映像処理サブチップ<1>)、ライン伝送路113、表示部114、CPU115、記憶装置116〜118(記憶装置<1>〜<3>)及びバス120は、2入力映像処理システム200Aを構成する。
映像処理メインサブ共用チップ210は、映像処理メインチップ及び映像処理サブチップの両方の機能を持つ。映像処理メインチップとしての機能は、他映像処理チップから映像のラインデータを要求し、ラインデータを集め、集めたラインデータを合成する機能である。一方、映像処理サブチップとしての機能は、他映像処理チップからのラインデータ転送要求に対しての応答を行い、要求した指定のラインデータを送信する機能である。
図7は、上記映像処理メインサブ共用チップ210の構成を示す図である。図2及び図3と同一構成部分には同一符号を付している。
図7において、映像処理メインサブ共用チップ210は、映像入力部121、映像処理部122、グラフィック処理部123、ライン転送の受信処理部124、ライン単位合成処理部125、映像出力部126、及びライン転送の送信処理部127を備えて構成される。
映像処理メインサブ共用チップ210は、映像処理メインチップとして動作する場合は、実施の形態1の映像処理メインチップ110と同様の動作となり、また、映像処理サブチップとして動作するときは、映像処理サブチップ111,112と動作となる。また、映像処理メインチップと映像処理サブチップとして同時に動作することも可能である。
以下、上述のように構成された映像処理システムの動作について説明する。基本的な動作は、実施の形態1と同様である。
ここでは、映像処理メインサブ共用チップ210を映像処理メインチップとし、映像処理サブチップ111及び映像処理サブチップ112を、映像処理サブチップ<1>及び映像処理サブチップ<2>とする。また、映像処理メインサブ共用チップ210(いま、映像処理メインチップ)と映像処理サブチップ<1><2>間は、ラインデータ転送ができるようにライン伝送路113で接続されている。
映像処理メインサブ共用チップ210(以下、本実施の形態では映像処理メインチップと呼ぶ)は、映像源部101(映像源部<1>)からの映像を取り込み、記憶装置117(記憶装置<2>)にある入力フレームバッファに格納する。
次に、格納した映像データに対しCPU115が指定した映像処理、指定したグラフィック処理、及びグラフィックデータと映像データとの合成処理を行う。そして、処理したデータを記憶装置117(記憶装置<2>)にある出力フレームバッファに格納する。映像処理サブチップ<1>及び映像処理サブチップ<2>でも映像源部102(映像源部<2>)及び映像源部103(映像源部<3>)からの映像に対し記憶装置118(記憶装置<3>)及び記憶装置119(記憶装置<4>)を用いて同様な処理を行う。
映像処理メインチップは、CPU115が指定した順番で映像処理サブチップ<1>と映像処理サブチップ<2>に対しラインデータを要求する。それに対し映像処理サブチップ<1>及び映像処理サブチップ<2>は、映像処理メインチップが要求したラインデータを記憶装置118(記憶装置<3>)及び記憶装置119(記憶装置<4>)にあるそれぞれの出力フレームバッファから対応したラインデータを読み出し、映像処理メインチップに送信する。次に、映像処理メインチップでは、各映像処理サブチップ<1><2>から送信されたラインデータと映像処理メインチップ自身が処理した映像データを指定の順番及びブレンド率で合成を行い、処理したデータを表示部114へ出力する。
映像処理メインチップから映像処理サブチップ<1><2>へのラインデータ要求、映像処理サブチップからのラインデータ転送、ラインデータ合成そして表示部114への出力の上記の一連動作を表示部のライン表示の周波数に同期させることで、フレームバッファを介さずに表示部114に合成したデータを直接又は複数のラインバッファを介すだけで出力することが可能になる。これにより、各映像処理チップで映像の合成処理にかかる遅延を抑えることができ、システムのリアルタイム性を向上させることができる。
このように、映像処理メインサブ共用チップ210は、映像処理メインチップとしての機能及び映像処理サブチップとしての機能を有するため、一種類の映像処理チップを用意するだけでスケーラブルにシステムを構成することができる。例えば、2カメラ入力対応の映像処理メインサブ共用チップを作ることで、同じチップを2個用いて4カメラ入力対応の映像処理システムを構成することが可能になる。
本実施の形態によれば、実施の形態1と同様の効果を得ることができることに加え、映像処理メインサブ共用チップ210を用いることで、本映像処理システム200が1つ独立したシステムと動作させることができるだけでなく、他の映像処理システムのサブシステムとして動作させることができる。
なお、映像処理メインサブ共用チップ210は、映像入力部121と映像処理部122とグラフィック処理部123を有するが、これらの処理部のどれか一つと、ライン転送の受信処理部124と、ライン転送の送信処理部127と、ライン単位合成処理部125と、映像出力部126とで構成されるものであってもよい。
また、本実施の形態では、3入力映像処理システムとしてのシステム構成を示しているが、例えば、映像処理メインチップと1つの映像処理サブチップで2入力映像処理システムを構成したり、映像処理メインチップと3つの映像処理サブチップを用いて4入力映像処理システムを構成したりすることで、映像入力数や、映像処理負荷、グラフィック処理負荷などにあわせてスケーラブルにシステムを構成することができる。
また、映像処理メインサブ共用チップ210及び映像処理サブチップ111,112が1つの映像入力対応の映像処理チップになっているが、複数映像入力対応の映像処理チップや、グラフィック処理機能だけを有する映像処理チップを用いることもできる。
(実施の形態3)
図8は、本発明の実施の形態3に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図6と同一構成部分には同一符号を付して重複箇所の説明を省略する。
図8は、本発明の実施の形態3に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図6と同一構成部分には同一符号を付して重複箇所の説明を省略する。
図8において、3入力映像処理システム300は、映像源部101〜103(映像源部<1>〜<3>)、ライン単位転送機能及びライン単位合成処理機能を有する映像処理メインサブ共用チップ311〜313(映像処理メインサブ共用チップ<1>〜<3>)、ライン伝送路113、表示部114、CPU115、記憶装置116〜119(記憶装置<1>〜<4>)、及びバス120を備えて構成される。
また、3入力映像処理システム300のうち、映像源部101(映像源部<1>)、映像源部102(映像源部<2>)、映像処理メインサブ共用チップ311(映像処理メインサブ共用チップ<1>)、映像処理メインサブ共用チップ312(映像処理メインサブ共用チップ<2>)、ライン伝送路113、表示部114、CPU115、記憶装置116〜118(記憶装置<1>〜<3>)及びバス120は、2入力映像処理システム300Aを構成する。
映像処理メインサブ共用チップ311〜313(映像処理メインサブ共用チップ<1>〜<3>)は、図7の映像処理メインサブ共用チップ210と同一構成であり、映像処理メインチップ及び映像処理サブチップの両方の機能を持つ。映像処理メインチップとしての機能は、他映像処理チップから映像のラインデータを要求し、ラインデータを集め、集めたラインデータを合成する機能である。一方、映像処理サブチップとしての機能は、他映像処理チップからのラインデータ転送要求に対しての応答を行い、要求した指定のラインデータを送信する機能である。
以下、上述のように構成された映像処理システムの動作について説明する。基本的な動作は、実施の形態1,2と同様である。
ここでは、映像処理メインサブ共用チップ311を映像処理メインチップとし、映像処理メインサブ共用チップ312及び映像処理メインサブ共用チップ313を映像処理サブチップ<1>と映像処理サブチップ<2>とする。また、映像処理メインチップと映像処理サブチップ間はラインデータ転送ができるようにライン伝送路113接続されている。映像処理メインチップは映像源部<1>からの映像を取り込み、記憶装置117(記憶装置<2>)にある入力フレームバッファに格納する。
次に、格納した映像データに対しCPU115が指定した映像処理、指定したグラフィック処理、及びグラフィックデータと映像データとの合成処理を行い、処理したデータを記憶装置117(記憶装置<2>)にある出力フレームバッファに格納する。映像処理サブチップ<1>及び映像処理サブチップ<2>でも映像源部102(映像源部<2>)及び映像源部103(映像源部<3>)からの映像に対し記憶装置118(記憶装置<3>)及び記憶装置119(記憶装置<4>)を用いて同様な処理を行う。そして、映像処理メインチップは、CPU115が指定した順番で映像処理サブチップ<1>と映像処理サブチップ<2>に対しラインデータを要求する。それに対し映像処理サブチップ<1>及び映像処理サブチップ<2>は、映像処理メインチップが要求したラインデータを記憶装置118(記憶装置<3>)及び記憶装置119(記憶装置<4>)にあるそれぞれの出力フレームバッファから対応したラインデータを読み出し、映像処理メインチップに送信する。
映像処理メインチップは、各映像処理サブチップ<1><2>から送信されたラインデータ及び映像処理メインチップ自身が処理した映像データを指定の順番又は指定のブレンド率で合成し表示部114への出力を行う。映像処理メインチップから映像処理サブチップへのラインデータ要求、映像処理サブチップからのラインデータ転送、ラインデータ合成そして表示部114への出力の上記の一連動作を表示部114のライン表示のライン周波数に同期させることで、フレームバッファを介さずに表示部に合成したデータを直接又は複数のラインバッファを介在させるだけで出力することが可能になり、各映像処理サブチップからの映像合成にかかる遅延を抑えることができる。
本実施の形態によれば、映像処理メインサブ共用チップ311〜313を用いているので、映像処理メインチップ及び映像処理サブチップとして、同一の映像処理チップをスケーラブルに使用することが可能である。そのため、一種類の映像処理チップを開発するだけで様々な映像処理システムの構成に対応することが可能になり、デバイス開発効率の面からもメリットが大きい。
さらに、映像処理メインチップと映像処理サブチップが映像処理メインサブ共用チップで構成されているため、映像処理メインチップと映像処理サブチップの入れ替えなどが可能になり、例えば、各映像処理チップを表示部114に接続し、あるときは映像処理サブチップとして動作し、あるときは映像処理メインチップとして動作し表示部に出力することができる。
なお、本実施の形態では、3入力映像処理システムとしてのシステム構成を示しているが、例えば、映像処理メインチップと1つの映像処理サブチップで2入力映像処理システムを構成したり、映像処理メインチップと3つの映像処理サブチップを用いて4入力映像処理システムを構成したりすることで、映像入力数や、映像処理負荷、グラフィック処理負荷などにあわせてスケーラブルにシステムを構成することができる。
また、各映像処理メインサブ共用チップが1つの映像入力対応のチップになっているが、複数映像入力対応の映像処理メインサブ共用チップや、グラフィック処理機能だけを有する映像処理メインサブ共用チップを用いることもできる。
(実施の形態4)
図9は、本発明の実施の形態4に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた階層型映像処理システムの適用例である。本実施の形態の説明にあたり図8と同一構成部分には同一符号を付して重複箇所の説明を省略する。
図9は、本発明の実施の形態4に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた階層型映像処理システムの適用例である。本実施の形態の説明にあたり図8と同一構成部分には同一符号を付して重複箇所の説明を省略する。
図9において、5入力映像処理システム400は、映像源部101〜105(映像源部<1>〜<5>)、ライン単位転送機能及びライン単位合成処理機能を有する映像処理メインサブ共用チップ311〜315(映像処理メインサブ共用チップ<1>〜<5>)、ライン伝送路113、表示部114、CPU115、記憶装置116〜119,420,421(記憶装置<1>〜<5>)、及びバス120を備えて構成される。
以下、上述のように構成された映像処理システムの動作について説明する。基本的な動作は、実施の形態3と同様である。
ここでは、映像処理メインサブ共用チップ311を映像処理メインチップとし、また映像処理メインサブ共用チップ312及び映像処理メインサブ共用チップ314を映像処理メインサブ共用チップ311の映像処理サブチップ<1>と映像処理サブチップ<2>とする。さらに、映像処理メインサブ共用チップ313を映像処理メインサブ共用チップ312の映像処理サブチップとし、映像処理メインサブ共用チップ315を映像処理メインサブ共用チップ314の映像処理サブチップとし、それぞれサブ映像処理サブチップ<1>とサブ映像処理サブチップ<2>と呼ぶ。
映像処理メインチップと映像処理サブチップ<1>〜<5>間、又は映像処理サブチップとサブ映像処理サブチップ間はラインデータ転送ができるようにライン伝送路113で接続されている。映像処理メインチップは、映像源部101(映像源部<1>)からの映像を取り込み、記憶装置117(記憶装置<2>)にある入力フレームバッファに格納する。そして、格納した映像データに対しCPU115が指定した映像処理、指定したグラフィック処理、及びグラフィックデータと映像データとの合成処理を行い、処理したデータを記憶装置117(記憶装置<2>)にある出力フレームバッファに格納する。
映像処理サブチップ<1>、映像処理サブチップ<2>、サブ映像処理サブチップ<3>、及びサブ映像処理サブチップ<4>でも映像源部102(映像源部<2>)、映像源部104(映像源部<4>)、映像源部103(映像源部<3>)、及び映像源部105(映像源部<5>)からのそれぞれの映像に対し記憶装置118(記憶装置<3>)、記憶装置420(記憶装置<5>)、記憶装置119(記憶装置<4>)及び記憶装置421(記憶装置<6>)を用いて同様な処理を行う。
映像処理メインチップは、CPU115が指定した順番で映像処理サブチップ<1>と映像処理サブチップ<2>に対しラインデータを要求する。そして、映像処理サブチップが対応するラインデータを映像処理メインチップに送信する。次に、映像処理メインチップは各映像処理サブチップから送信されたラインデータと映像処理メインチップ自身が処理したラインデータとを指定の順番で合成を行い、処理したデータを表示部へ出力する。
一方、映像処理サブチップとサブ映像処理サブチップとの間には、まず映像処理サブチップからサブ映像処理サブチップに対し指定した順番でラインデータを要求する。サブ映像処理サブチップは、映像処理メインチップが要求したラインデータを出力フレームバッファから読み出し送信する。
次に、映像処理サブチップでは、各サブ映像処理サブチップからのラインデータと映像処理サブチップ自身が処理した映像データを合成し、一旦ラインバッファに格納するか、直接映像処理メインチップに送信する。映像処理サブチップからサブ映像処理サブチップへのデータ要求、サブ映像処理サブチップから映像処理サブチップへのラインデータ転送、映像処理サブチップでの各サブ映像処理サブチップからのラインデータの合成処理一連動作、及び映像処理メインチップから映像処理サブチップへのラインデータ要求、サブ映像処理サブチップから映像処理メインチップへのラインデータ転送、映像処理メインチップでの各映像処理サブチップからのラインデータの合成処理そして表示部114への出力の一連動作を表示部114のライン表示の周波数に同期させる。これにより、フレームバッファを介さずに全チップからの映像を合成することが可能になり、映像合成にかかる遅延を抑えることができる。
このように、本実施の形態によれば、システム階層化を行う場合も、ライン転送機能を用いることで映像入力から映像出力するまでの遅延を極端に小さくすることができる。因みに、従来システムを階層化してシステムを構成しようとする場合、その分だけさらにフレームバッファを介す回数が増え、システム全体の遅延が増大していた。本実施の形態では、システム階層化を行う場合の映像入力から映像出力するまでの遅延を格段に低減することができる。
なお、本実施の形態では、5入力階層映像処理システムとしてのシステム構成を示しているが、映像入力数や、映像処理負荷、グラフィック処理負荷などに合わせて階層を増減することでスケーラブルにシステムを構成することができる。このような構成を用いることで、多入力映像に対応する映像処理システムを構成することができる。
また、各映像処理メインサブ共用チップが1つの映像入力対応の映像処理チップになっているが、複数映像入力対応の映像処理チップや、グラフィック処理機能だけを有する映像処理チップを用いることもできる。
(実施の形態5)
図10は、本発明の実施の形態5に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図6と同一構成部分には同一符号を付して重複箇所の説明を省略する。
図10は、本発明の実施の形態5に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図6と同一構成部分には同一符号を付して重複箇所の説明を省略する。
図10において、映像処理システム500は、映像源部101(映像源部<1>)、ライン単位転送機能及びライン単位合成処理機能を有する映像処理メインサブ共用チップ311,312(映像処理メインサブ共用チップ<1>,<2>)、ライン伝送路113、表示部114、CPU115、記憶装置116〜118(記憶装置<1>〜<3>)、及びバス120を備えて構成される。
以下、上述のように構成された映像処理システムの動作について説明する。
ここでは、映像処理メインサブ共用チップ311を映像処理メインチップとし、映像処理メインサブ共用チップ312を映像処理サブチップとする。また、映像処理メインチップと映像処理サブチップ間はラインデータ転送ができるようにライン伝送路113で接続されている。
映像処理メインチップは、映像源部101(映像源部<1>)からの映像を取り込み、記憶装置117(記憶装置<2>)にある入力フレームバッファに格納する。次に、格納した映像データに対しCPU115が指定した映像処理、指定したグラフィック処理、及びグラフィックデータと映像データとの合成処理を行い、処理したデータを記憶装置117(記憶装置<2>)にある出力フレームバッファに格納する。
映像処理サブチップも映像源部101(映像源部<1>)からの映像に対し記憶装置118(記憶装置<3>)を用いて同様な処理を行う。そして、映像処理メインチップは、映像処理サブチップに対しラインデータを要求する。それに対し映像処理サブチップが要求したラインデータを記憶装置118(記憶装置<3>)にある出力フレームメモリから対応したラインデータを読み出し、映像処理メインチップに送信する。
映像処理メインチップでは、映像処理サブチップから送信されたラインデータと映像処理メインチップ自身で処理したデータを合成、比較して表示部114への出力を行う。
映像処理システム500によれば、例えば、画面(処理領域)の上半分が映像処理メインチップで処理し、下半分が映像処理サブチップで処理させることができる。そうすると、一つのチップで全画面を処理させる場合に比べ、各映像処理チップの処理負荷が半分になり、例えば、画面のサイズ(又は映像の解像度)を二倍にしても二つのチップで処理可能である。このように、1つの映像入力の処理を複数の映像処理チップに取り込み、複数の映像処理チップで負荷を分散して行うことで、より高解像度の入力映像及び高精細な表示出力の対応ができる。
次に、1つの映像入力に対し、2つのチップを同じ映像処理をさせる場合についての応用を説明する。
ここで、映像処理メインチップと映像処理サブチップが同じチップ、つまり同じ処理機能を有するものとする。映像処理メインチップと映像処理サブチップが同じ入力映像に対し同じ処理をさせる場合、各映像処理チップが処理した映像が同じになる。これを利用して、映像処理メインチップが処理結果を表示部114に出力する前に、映像処理サブチップに対し、ラインデータを要求し、そして一ライン毎に映像処理メインチップの処理結果と映像処理サブチップの処理結果が同じかどうかの比較・確認を行うことで、誤表示を避けることができ、より信頼性の高い映像処理システムを実現できる。例えば、車の運転を支援するための車載カメラ映像システムに、本映像処理システム500を用いることでシステムの誤動作などによる誤表示を避けることができ、安全性の向上に有効である。
また、一つのカメラ入力映像を複数の映像処理チップに取り込み、各映像処理チップで同一処理により同一映像を生成し、各映像処理チップで生成した映像を比較などの処理を行うことで、システム誤動作などによる誤表示などを防ぐことができ、システムの信頼性を向上させることができる。
また、一つのカメラ入力映像を複数の映像処理チップに取り込み、それぞれのチップで同じ映像処理を行わせ、処理結果をライン単位でメインチップに転送し、映像処理メインチップでそれぞれの映像処理結果を比較することも可能である。
(実施の形態6)
図11は、本発明の実施の形態6に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図8と同一構成部分には同一符号を付して重複箇所の説明を省略する。
図11は、本発明の実施の形態6に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図8と同一構成部分には同一符号を付して重複箇所の説明を省略する。
図11において、3入力映像処理システム600は、映像源部101〜103(映像源部<1>〜<3>)、ライン単位転送機能及びライン単位合成処理機能を有する映像処理メインサブ共用チップ311〜313(映像処理メインサブ共用チップ<1>〜<3>)、ライン伝送路113、同期信号伝送路610、表示部114、CPU115、記憶装置116〜119(記憶装置<1>〜<4>)、及びバス120を備えて構成される。
また、3入力映像処理システム600のうち、映像源部101(映像源部<1>)、映像源部102(映像源部<2>)、映像処理メインサブ共用チップ311(映像処理メインサブ共用チップ<1>)、映像処理メインサブ共用チップ312(映像処理メインサブ共用チップ<2>)、ライン伝送路113、同期信号伝送路610、表示部114、CPU115、記憶装置116〜118(記憶装置<1>〜<3>)及びバス120は、2入力映像処理システム600Aを構成する。
同期信号伝送路610は、映像処理メインチップが映像処理サブチップに対し処理同期信号を与える伝送路である。処理同期信号として、表示の水平同期及び垂直同期が挙げられる。
以下、上述のように構成された映像処理システムの動作について説明する。
ここでは、映像処理メインサブ共用チップ311を映像処理メインチップとし、映像処理メインサブ共用チップ312及び映像処理メインサブ共用チップ313を映像処理サブチップ<1>と映像処理サブチップ<2>とする。また、映像処理メインチップと映像処理サブチップ間はラインデータ転送ができるようにライン伝送路113で接続されている。
本実施の形態は、映像処理メインチップが映像処理サブチップに対して同期信号伝送路610を介して処理同期信号を与える。前記各実施の形態では、各映像処理チップの映像処理が非同期のため処理した映像を、一旦各映像処理チップにある出力フレームバッファに書き戻し、そして、チップ間のラインデータやり取りはこのフレームバッファのデータを読み出し映像処理メインチップに転送することでチップ間の処理の位相差を無くす必要があった。
本実施の形態に係る映像処理システムでは、映像処理メインチップが映像処理サブチップに対し、処理同期信号を与え、映像処理メインチップも映像処理サブチップも水平同期(表示のライン周波数)に合わせてライン単位の映像処理を行うようにする。これにより、映像処理メインチップと映像処理サブチップが、常に同番号ラインの処理を行うようにすることができ、各映像処理チップで生成したラインデータを直接集めて合成することが可能になる。したがって、本実施の形態では、前記各実施の形態に係る映像処理システムに比べ、出力フレームバッファを介さずに合成するラインデータのやり取りができるため、映像の取り込みから表示出力するまでの遅延をさらに小さくすることができ、システムのリアルタイム性を格段に高めることができる。
また、各映像処理チップでは出力フレームメモリへの処理した映像の書込み及び読み出し動作がなくなるため、記憶装置へのアクセスを低減し、映像処理などのシステム全体のパフォーマンスを向上させることができる。
特に、各映像処理チップに対し、ライン周波数などの同期信号を与え、全ての映像処理チップの処理を同期化することで、出力フレームバッファを介さずに画面合成処理を行うことができる。
このように、本実施の形態では、映像処理メインチップから映像処理サブチップに対して、同期信号を渡して、それぞれの映像処理チップでライン単位に同期化して映像処理を行い、映像処理メインチップに転送し、映像処理メインチップで合成して表示している。この場合、映像処理メインチップに格納された各ラインのデータ領域情報から各映像処理サブチップの転送領域情報を抽出し、各映像処理チップに転送を要求し、合成に必要な有効データだけを映像処理メインチップに転送し、合成して表示する態様でもよい。また、各映像処理チップに格納された各ラインのデータ領域情報を基に、合成に必要な有効データだけを映像処理メインチップに転送し、合成して表示する態様でもよい。
(実施の形態7)
図12は、本発明の実施の形態7に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図10と同一構成部分には同一符号を付して重複箇所の説明を省略する。
図12は、本発明の実施の形態7に係る映像処理システムの構成を示すブロック図である。本実施の形態は、複数の映像処理メインサブ共用チップを用いた映像処理システムの適用例である。本実施の形態の説明にあたり図10と同一構成部分には同一符号を付して重複箇所の説明を省略する。
図12において、映像処理システム700は、映像源部101(映像源部<1>)、ライン単位転送機能及びライン単位合成処理機能を有する映像処理メインサブ共用チップ311,312(映像処理メインサブ共用チップ<1>,<2>)、ライン伝送路113、同期信号伝送路710、表示部114、CPU115、記憶装置116〜118(記憶装置<1>〜<3>)、及びバス120を備えて構成される。
同期信号伝送路710は、映像処理メインチップが映像処理サブチップに対し処理同期信号を与える伝送路である。処理同期信号として、表示の水平同期及び垂直同期が挙げられる。
以下、上述のように構成された映像処理システムの動作について説明する。
ここでは、映像処理メインサブ共用チップ311を映像処理メインチップとし、映像処理メインサブ共用チップ312を映像処理サブチップとする。また、映像処理メインチップと映像処理サブチップ間はラインデータ転送ができるようにライン伝送路113で接続されている。さらに、映像処理メインチップが映像処理サブチップに対し同期信号伝送路710を介して処理同期信号を与える。
映像処理メインチップが映像処理サブチップに対し、処理同期信号を与えることにより映像処理メインチップと映像処理サブチップのライン単位処理を同期化することができる。すなわち、映像処理メインチップと映像処理サブチップが、常に同番号ラインの処理を行う。本実施の形態では、1つの映像源部<1>からの映像を映像処理メインチップと映像処理サブチップがキャプチャ、入力フレームバッファに格納し、そして映像処理メインチップと映像処理サブチップで負荷を分散して処理を行う。
図13は、画面横方向に映像処理分割を行う場合の一例を示す図であり、図13(a)(b)は映像処理メインチップ処理領域及び映像処理サブチップ処理領域を、図13(c)は映像処理メインチップによる合成後のイメージを示す。
図14は、画面縦方向に映像処理分割を行う場合の一例を示す図であり、図14(a)(b)は映像処理メインチップ処理領域及び映像処理サブチップ処理領域を、図14(c)は映像処理メインチップによる合成後のイメージを示す。
例えば、図13(a)(b)に示すように、映像処理メインチップと映像処理サブチップの処理領域を画面水平方向に分割し、画面上半分を映像処理メインチップ、画面下半分を映像処理サブチップで処理させる。そうすると、上述したように映像処理メインチップと映像処理サブチップが常に同じラインの処理を行うため、上半分のラインを処理するとき、映像処理メインチップがそれぞれのラインに対し1ライン分の処理を行うとともに、映像処理サブチップがこのとき休むことになる。同様に、画面下半分を処理するとき、今度は映像処理サブチップがそれぞれのラインに対し、1ライン分の処理を行うとともに、映像処理メインチップが休むことになる。したがって、チップ間の処理を同期化する場合、図13に示すような画面横方向に映像処理分割による処理負荷の分散の仕方では、システムのパフォーマンスを向上させることができない。
そこで、本実施の形態では、図14に示すように、映像処理メインチップと映像処理サブチップの処理領域を画面垂直方向に分割し、画面左半分を映像処理メインチップ、画面右半分を映像処理サブチップで処理を行わせる。そうすると、画面全体のライン毎の処理負荷が映像処理メインチップと映像処理サブチップで効率的に分散され、システムのパフォーマンスを向上させることができる。
〔ライン転送の具体例1〕
図12において、映像処理システム700は、一つの映像源部<1>からの映像の処理を映像処理メインチップと映像処理サブチップで行う。ここで、映像処理メインチップで処理される領域は画面左半分とし、映像処理サブチップで処理される領域は画面右半分とする。CPU115が映像処理メインチップに対し左画面半分の映像処理パラメータと合成処理パラメータを与え、映像処理サブチップに対し右半分の映像処理パラメータを与える。映像処理パラメータには、どの画面領域を処理すればよいのか、元映像のどのピクセルのデータを使えばよいのかなどの情報が入っている。また、ライン合成処理パラメータには、どのようなブレンド率で合成を行えばよいのか、どの映像処理サブチップのラインデータのどのピクセルのデータを使うのかなどの情報が入っている。
図12において、映像処理システム700は、一つの映像源部<1>からの映像の処理を映像処理メインチップと映像処理サブチップで行う。ここで、映像処理メインチップで処理される領域は画面左半分とし、映像処理サブチップで処理される領域は画面右半分とする。CPU115が映像処理メインチップに対し左画面半分の映像処理パラメータと合成処理パラメータを与え、映像処理サブチップに対し右半分の映像処理パラメータを与える。映像処理パラメータには、どの画面領域を処理すればよいのか、元映像のどのピクセルのデータを使えばよいのかなどの情報が入っている。また、ライン合成処理パラメータには、どのようなブレンド率で合成を行えばよいのか、どの映像処理サブチップのラインデータのどのピクセルのデータを使うのかなどの情報が入っている。
映像処理メインチップ及び映像処理サブチップでは、それぞれに与えられた映像処理パラメータを基に映像処理を行う。そして、映像処理メインチップでは、パラメータを基に合成処理を行うが、映像処理メインチップが合成処理パラメータの情報から、映像処理サブチップに対し、ラインのどの領域が有効データであるかを抽出し、映像処理サブチップにラインデータを要求するとき、抽出したラインの有効領域情報も映像処理サブチップに与える。本例では、ラインの右半分が有効データであることを映像処理サブチップに発信する。映像処理サブチップが映像処理メインチップからのライン有効領域情報を基に有効データだけ(右半分のラインデータ)を映像処理メインチップに転送する。
このように、映像処理メインチップが映像処理サブチップに対して、ライン有効領域情報を与えながらラインデータを要求することで、映像処理メインチップと映像処理サブチップ間の無駄なデータの転送を無くし、効率な転送を行うことができる。映像処理サブチップの個数が多いシステムにおいてはこの方法は特に有用である。
〔ライン転送の具体例2〕
図12において、映像処理システム700は、一つの映像源部<1>からの映像の処理を映像処理メインチップと映像処理サブチップで行う。ここで、映像処理メインチップで処理される領域は画面左半分とし、映像処理サブチップで処理される領域は画面右半分とする。CPU115が映像処理メインチップに対し左画面半分の映像処理パラメータと合成処理パラメータを与え、また、映像処理サブチップに対し、右画面半分の映像処理パラメータとライン転送処理パラメータを与える。ライン転送処理パラメータは、指定のラインに対しどの領域が有効データであるかの情報が入っている。
図12において、映像処理システム700は、一つの映像源部<1>からの映像の処理を映像処理メインチップと映像処理サブチップで行う。ここで、映像処理メインチップで処理される領域は画面左半分とし、映像処理サブチップで処理される領域は画面右半分とする。CPU115が映像処理メインチップに対し左画面半分の映像処理パラメータと合成処理パラメータを与え、また、映像処理サブチップに対し、右画面半分の映像処理パラメータとライン転送処理パラメータを与える。ライン転送処理パラメータは、指定のラインに対しどの領域が有効データであるかの情報が入っている。
映像処理メインチップ及び映像処理サブチップでは、それぞれに与えられた映像処理パラメータを基に映像処理を行う。そして、ライン単位合成処理部125では、映像処理メインチップが映像処理サブチップに対しラインデータを要求する。映像処理サブチップが、与えられたライン転送情報パラメータを元に対応する有効データを転送する。このように、映像処理サブチップにライン転送情報パラメータを持たせることで、映像処理メインチップと映像処理サブチップ間の無駄なデータの転送を無くし、効率な転送を行うことができる。映像処理サブチップの個数が多いシステムにおいてはこの方法は有用である。
この方法は、上記具体例1に比べ、映像処理メインチップから映像処理サブチップに対しライン有効領域情報を転送する必要がないため、その分だけ転送効率が上がる効果がある。
また、一つのカメラ入力映像を複数の映像処理チップに取り込み、画面の垂直方向に分割して映像処理をそれぞれの映像処理チップで行い、1ライン処理負荷を分散して、それぞれ分割された領域のみ映像処理メインチップに転送し、映像処理メインチップで合成して表示する態様でもよい。
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
また、本実施の形態では映像処理システムという名称を用いたが、これは説明の便宜上であり、映像処理装置、映像処理方法等であってもよいことは勿論である。
さらに、上記映像処理システムを構成する各回路部、例えば映像源部の種類、数及び接続方法などは前述した実施の形態に限られない。
本発明に係る映像処理装置は、映像のライン単位転送機能を有する複数の映像処理チップを用いることで、スケーラブルに映像処理システムを構成することができるので、映像処理システム機能・ニーズの多彩化や高性能化に対応するのに有用である。また、ライン単位転送を用いることでフレームバッファを介さずに複数チップからの映像の合成処理を行うことができるので、リアルタイム性が求められる映像処理システム(例えば、機能や性能の進化が早い車載カメラECUシステムなど)に有用である。
100,200,300,600 3入力映像処理システム
100A,200A,300A,600A 2入力映像処理システム
101〜105 映像源部
110 映像処理メインチップ
111,112 映像処理サブチップ
113 ライン伝送路
114 表示部
115 CPU
116〜119,420,421 記憶装置
120 バス
121 映像入力部
122 映像処理部
123 グラフィック処理部
124 ライン転送の受信処理部
125 ライン単位合成処理部
126 映像出力部
127 ライン転送の送信処理部
210,311〜315 映像処理メインサブ共用チップ
400 5入力映像処理システム
500,700 映像処理システム
610,710 同期信号伝送路
100A,200A,300A,600A 2入力映像処理システム
101〜105 映像源部
110 映像処理メインチップ
111,112 映像処理サブチップ
113 ライン伝送路
114 表示部
115 CPU
116〜119,420,421 記憶装置
120 バス
121 映像入力部
122 映像処理部
123 グラフィック処理部
124 ライン転送の受信処理部
125 ライン単位合成処理部
126 映像出力部
127 ライン転送の送信処理部
210,311〜315 映像処理メインサブ共用チップ
400 5入力映像処理システム
500,700 映像処理システム
610,710 同期信号伝送路
Claims (9)
- フレーム単位の画像からなる映像を供給する1又は複数の映像源と、
前記映像源からの映像を処理する複数の映像処理部と、
入力映像の一画面を蓄積するフレームバッファを有する記憶部と、
前記映像処理部により画像処理された画像データを表示する表示部とを備える映像処理装置であって、
前記映像処理部は、前記フレームバッファに蓄積された映像データを、前記表示部のライン周波数に合わせてライン単位で読み出すとともに、前記ライン単位で合成処理して前記表示部に出力する第1の映像処理部と、
前記合成処理を行わない第2の映像処理部とからなり、
前記第1及び第2の映像処理部は、前記表示部のライン周波数に合わせて映像をライン単位で転送するデータ転送手段
を備えることを特徴とする映像処理装置。 - 前記第1の映像処理部は、前記第2の映像処理部により処理された映像データを前記ライン単位で集め、集めた映像データを前記ライン単位で合成処理して前記表示部に出力することを特徴とする請求項1記載の映像処理装置。
- 前記第2の映像処理部は、前記第1の映像処理部に対し、処理した映像データを前記ライン単位で送ることを特徴とする請求項1記載の映像処理装置。
- 前記第1の映像処理部が、前記第2の映像処理部に対して同期信号を与える同期化手段を備え、前記第1の映像処理部による映像処理と前記第2の映像処理部による映像処理とを前記ライン単位で同期化させることを特徴とする請求項1記載の映像処理装置。
- 前記同期信号は、前記表示部の水平同期信号及び垂直同期信号であることを特徴とする請求項4記載の映像処理装置。
- 前記複数の映像処理部は、前記複数の映像源に各々対応しており、前記複数の映像処理部は、前記各映像源からの入力映像をそれぞれ取り込んで映像を処理することを特徴とする請求項1記載の映像処理装置。
- 前記複数の映像処理部は、前記一つの映像源からの入力映像を取り込み、前記一つの映像源から取り込んだ映像データを分散処理することを特徴とする請求項1記載の映像処理装置。
- 前記第1の映像処理部は、映像処理メインチップからなり、前記第2の映像処理部は、映像処理サブチップからからなることを特徴とする請求項1乃至請求項4のいずれかに記載の映像処理装置。
- 前記第1及び第2の映像処理部は、前記ライン単位合成処理を行う映像処理メインサブ共用チップからなることを特徴とする請求項1乃至請求項4のいずれかに記載の映像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006316151A JP2008131498A (ja) | 2006-11-22 | 2006-11-22 | 映像処理装置 |
US11/942,928 US20080151115A1 (en) | 2006-11-22 | 2007-11-20 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006316151A JP2008131498A (ja) | 2006-11-22 | 2006-11-22 | 映像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008131498A true JP2008131498A (ja) | 2008-06-05 |
Family
ID=39542224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006316151A Pending JP2008131498A (ja) | 2006-11-22 | 2006-11-22 | 映像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20080151115A1 (ja) |
JP (1) | JP2008131498A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015109592A (ja) * | 2013-12-05 | 2015-06-11 | 三菱電機株式会社 | 画像合成装置及び画像合成プログラム |
US10783717B2 (en) | 2016-07-13 | 2020-09-22 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three-dimensional (3D) image |
US11178345B2 (en) | 2018-03-09 | 2021-11-16 | Panasonic Intellectual Property Management Co., Ltd. | Vehicle-mounted device |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009253579A (ja) * | 2008-04-04 | 2009-10-29 | Panasonic Corp | 撮像装置、画像処理装置及び画像処理方法並びに画像処理プログラム |
JP2010239362A (ja) * | 2009-03-31 | 2010-10-21 | Panasonic Corp | 画像処理装置及びその画像処理方法 |
JP6230258B2 (ja) * | 2013-04-19 | 2017-11-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US9613444B2 (en) * | 2013-04-26 | 2017-04-04 | Panasonic Corporation | Information input display device and information input display method |
KR102061869B1 (ko) * | 2013-08-21 | 2020-02-11 | 삼성전자주식회사 | 전자 장치 및 영상 표시 방법 |
KR102459917B1 (ko) | 2015-02-23 | 2022-10-27 | 삼성전자주식회사 | 이미지 신호 프로세서와 이를 포함하는 장치들 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4631588A (en) * | 1985-02-11 | 1986-12-23 | Ncr Corporation | Apparatus and its method for the simultaneous presentation of computer generated graphics and television video signals |
US4783704A (en) * | 1986-12-10 | 1988-11-08 | Eastman Kodak Company | Skip-field video recorder with high temporal sampling rate |
JPH06161368A (ja) * | 1992-11-19 | 1994-06-07 | Sony Corp | 画像作成装置 |
DE69733233T2 (de) * | 1996-09-11 | 2006-01-19 | Canon K.K. | Bildverarbeitung zur dreidimensionalen Wiedergabe von Bilddaten auf der Anzeige eines Bildaufnahmegeräts |
JP4576071B2 (ja) * | 2001-07-02 | 2010-11-04 | パナソニックシステムネットワークス株式会社 | ネットワーク画像処理装置および監視装置並びにその方法 |
KR100886308B1 (ko) * | 2001-08-17 | 2009-03-04 | 마이크론 테크놀로지, 인크 | 고체 상태 이미저의 판독 속도를 증가시키는 이미징 시스템, 이미징 시스템의 동작 방법 및 홀로그래픽 메모리 시스템 |
JP3840471B2 (ja) * | 2003-12-24 | 2006-11-01 | 松下電器産業株式会社 | 原稿読取装置及びこれを備えた画像形成装置 |
US7652703B2 (en) * | 2004-07-12 | 2010-01-26 | Micron Technology, Inc. | Dual panel pixel readout in an imager |
JP4723313B2 (ja) * | 2005-08-24 | 2011-07-13 | パナソニック株式会社 | 画像処理装置 |
-
2006
- 2006-11-22 JP JP2006316151A patent/JP2008131498A/ja active Pending
-
2007
- 2007-11-20 US US11/942,928 patent/US20080151115A1/en not_active Abandoned
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015109592A (ja) * | 2013-12-05 | 2015-06-11 | 三菱電機株式会社 | 画像合成装置及び画像合成プログラム |
US10783717B2 (en) | 2016-07-13 | 2020-09-22 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three-dimensional (3D) image |
US11282289B2 (en) | 2016-07-13 | 2022-03-22 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three-dimensional (3D) image |
US11727659B2 (en) | 2016-07-13 | 2023-08-15 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three-dimensional (3D) image |
US11178345B2 (en) | 2018-03-09 | 2021-11-16 | Panasonic Intellectual Property Management Co., Ltd. | Vehicle-mounted device |
US11363216B2 (en) | 2018-03-09 | 2022-06-14 | Panasonic Intellectual Property Management Co., Ltd. | Vehicle-mounted device |
Also Published As
Publication number | Publication date |
---|---|
US20080151115A1 (en) | 2008-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008131498A (ja) | 映像処理装置 | |
JP2008042315A (ja) | カメラ制御装置およびカメラ制御システム | |
WO2012079453A1 (zh) | 视频数据处理系统及方法、cpu、gpu和视频监控系统 | |
JP2007536825A5 (ja) | ||
US8774539B2 (en) | Encoder, decoder, encoder system, decoder system, transmission adapter, encoding method, decoding method, and imaging apparatus | |
JP6412263B2 (ja) | 中継映像とライブ表示映像の分離方法及び装置 | |
US20060170762A1 (en) | Video composition apparatus, video composition method and video composition program | |
JP2006180340A (ja) | 映像信号処理装置とその方法及び車載カメラシステム | |
JP2021140458A (ja) | 画像生成システム、その制御方法及びプログラム。 | |
JP2009141456A (ja) | 画像処理装置、運転支援システム及び車両 | |
KR101987062B1 (ko) | Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법 | |
CN107580228B (zh) | 一种监控视频处理方法、装置及设备 | |
JP2015096920A (ja) | 画像処理装置および画像処理システムの制御方法 | |
TWI518508B (zh) | 多電腦管理裝置 | |
JP2006279893A (ja) | 画像処理装置及び画像処理方法 | |
US20150365597A1 (en) | Moving-image recording/reproduction apparatus | |
JP3784964B2 (ja) | 書画カメラ付きデータプロジェクタ | |
Andorko et al. | Hardware implementation of a real-time 3D video acquisition system | |
JP2006268809A (ja) | 画像メモリ並列回路 | |
KR102080927B1 (ko) | 스테레오 영상 생성 방법 및 장치 | |
CN113132783A (zh) | 一种多机共享的多屏显示控制系统及方法 | |
JP4083849B2 (ja) | 画像処理方法 | |
JP6027739B2 (ja) | 映像処理装置、映像処理方法、映像処理システムおよびプログラム | |
JP2007201816A (ja) | 映像表示システム及び映像受信装置 | |
KR101660910B1 (ko) | 영상 데이터 처리장치 및 방법 |