JP2017208674A - 映像処理装置及び映像処理方法 - Google Patents

Abstract

【課題】メモリの帯域を増大させずに、異なるフォーマットで映像信号を出力できるようにする。【解決手段】フレーム毎に分配された映像信号を入力する映像入力部と、入力された映像信号をそれぞれ記憶する複数のメモリと、複数のメモリに対する映像信号の書き込み及び読み出しを行うメモリコントローラ部と、それぞれ複数のメモリから読み出された映像信号を、入力フレームレートより高い出力フレームレートの映像信号として互いに異なるフォーマットで出力する第１の映像出力部及び第２の映像出力部とを有し、第１の映像出力部及び第２の映像出力部に応じたフォーマットに従って複数のメモリから映像信号の読み出しを行うとともに、一つのメモリから第１の映像出力部及び第２の映像出力部に対する映像信号の読み出しが時間的に重ならないように、複数のメモリからの映像信号の読み出しを制御する。【選択図】図６

Description

本発明は、映像処理装置及び映像処理方法に関する。

近年、フルハイビジョン（水平画素１９２０×垂直画素１０８０）の４倍の解像度（水平画素３８４０×垂直画素２１６０）を有する４Ｋと呼ばれる高解像度の映像システムが普及し始め、４Ｋ放送も開始されるようになってきた。さらに、フルハイビジョンの１６倍の解像度（水平画素７６８０×垂直画素４３２０）を有する８Ｋと呼ばれる超高解像度の映像システムも開発が進んでいる。

業務用ビデオカメラにおいても４Ｋや８Ｋの映像を撮影して記録及び出力するシステムの要求がある。業務用ビデオカメラには、映像出力のための外部端子が多数装備されており、用途に応じて使い分けることが多い。例えば、撮像した映像そのものを外部レコーダーに記録させるための記録用映像出力端子や、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）等の文字や記号の付加映像を重畳して画角確認やメニュー選択等の画面表示を行うためのモニタ用映像出力端子等がある。出力端子の規格も、アナログコンポジット映像端子、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格を用いた端子、ＨＤＭI（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格を用いた端子等がある。

これら様々な規格は、映像同期タイミングをはじめとした映像フォーマットが異なっており、共通の信号として送出することができないため、それぞれ独立の出力制御が必要となる。複数の映像フォーマットに対応するための出力制御は、例えば、撮像して得られた映像信号を一旦、メモリに記憶し、出力したい映像フォーマットに合うようにタイミング等も調整して映像信号をメモリから読み出せばよい。それぞれの映像フォーマット毎に読み出し制御を行えば複数の映像フォーマットに対応可能である。映像信号が記憶されたメモリからみれば、一旦書き込まれた映像信号を複数回読み出されることと同意となる。このような一度書き込んだ映像信号を複数回読み出して何らかの処理を行うという技術が提案されている（特許文献１参照）。

特開２００７−２２５９４５号公報

メモリに映像信号を一時的に記憶し、同じフレームの映像信号を複数回読み出すことは技術的に可能である。しかし、メモリとのインターフェースにおいて転送可能な単位時間当たりのデータ量（データレート）には上限があり（帯域上限）、この上限を超えてしまうとメモリに対する書き込みや読み出しが間に合わなくなって映像が壊れてしまう。４Ｋや８Ｋといった多画素の映像信号はデータ量が多くなるため、読み出しを複数回行うことすらできないことが考えられる。このような映像信号のデータ量が多くなるシステムにおいても、メモリの帯域上限を超えないように制御して、所望の映像フォーマットで映像信号を出力できるようにしなければならない。本発明は、メモリの帯域を増大させずに、異なるフォーマットで映像信号を出力できるようにすることを目的とする。

本発明に係る映像処理装置は、それぞれが第１のフレームレートの２系統の映像信号を入力する入力手段と、前記入力手段に入力された２系統の映像信号をそれぞれ記憶する複数の記憶手段と、前記複数の記憶手段に対する前記映像信号の書き込み及び読み出しを行う制御手段と、それぞれ前記複数の記憶手段から読み出された映像信号を、前記第１のフレームレートより高い第２のフレームレートの映像信号として出力する出力手段であって、互いに異なる出力形式で前記第２のフレームレートの映像信号を出力する第１の出力手段及び第２の出力手段とを有し、前記制御手段は、前記第１の出力手段及び前記第２の出力手段に応じた出力形式に従って前記複数の記憶手段から映像信号の読み出しを行うとともに、一つの前記記憶手段から前記第１の出力手段及び前記第２の出力手段に対する映像信号の読み出しが時間的に重ならないように、前記複数の記憶手段からの映像信号の読み出しを制御することを特徴とする。

本発明によれば、記憶されている映像信号の読み出しを、出力手段に応じて時間を異ならせて行うことで、メモリの帯域を増大させずに、異なるフォーマットでの映像信号の出力が可能となる。

本発明の実施形態における映像処理装置の構成例を示す図である。 本実施形態におけるプログラマブルロジックＩＣの構成例を示す図である。 本実施形態におけるＡＳＩＣの構成例を示す図である。 本実施形態におけるプログラマブルロジックＩＣ１０２内の信号の流れを説明する図である。 本実施形態におけるフレームの分配の例を示す図である。 本実施形態におけるプログラマブルロジックＩＣ１１３内の信号の流れを説明する図である。 本実施形態における読み出し制御を説明する図である。 本実施形態における映像信号の出力例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態における映像処理装置１００の構成例を示すブロック図である。映像処理装置１００は、映像の入力から出力までを行う各手段を有する。撮像部１０１は、ズームやフォーカスなど入力される被写体の光学像を光学的に処理するレンズや、レンズを通った光学像を電気信号に変換する撮像素子を有する。撮像素子は、例えばＣＣＤセンサー（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳセンサー（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等である。また、撮像部１０１は、光学像を変換して得られたアナログの電気信号（映像信号）をデジタル値に変換する機能を有する。

プログラマブルロジックＩＣ１０２、１１３は、内部回路の構成を外部から設定することが可能なプログラマブルな集積回路部品である。プログラマブルロジックＩＣ１０２、１１３は、例えばＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）である。プログラマブルロジックＩＣは、設計自由度が高いだけでなく、開発期間や開発コストを大幅に短縮できるという利点を持つ。

プログラマブルロジックＩＣ１０２、１１３の内部構成例を図２に示す。図２には、映像処理装置１００での処理を実現するための機能回路を実装した一例を示している。図２に示すようにプログラマブルロジックＩＣは、映像入力部２０１、汎用Ｉ／Ｏ２０２、同期信号生成部２０３、メモリコントローラ部２０４、映像処理部２０５、映像出力部２０６、ＳＲＡＭ２０７、及び制御部２０８を有する。

映像入力部２０１は、外部から映像信号を入力するインターフェース部である。汎用Ｉ／Ｏ２０２は外部デバイスと相互に通信を行い、同期信号生成部２０３は入出力される映像信号に係る同期信号を生成する。メモリコントローラ部２０４は、外部に接続したメモリ素子を駆動し、メモリに対する映像信号の書き込みや読み出しを行う。映像処理部２０５は映像信号に対して様々な補正や調整等の処理を行い、映像出力部２０６は映像信号を外部に出力する。ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０７は、簡易的なデータを保存しておけるメモリである。制御部２０８は、プログラマブルロジックＩＣ内の各機能部を制御する。

なお、図２に示した構成は一例であり、プログラマブルロジックＩＣが、図示しているもの以外にも様々な機能を持った機能部を有していても良い。また、プログラマブルロジックＩＣが有する映像入力部２０１、メモリコントローラ部２０４、映像出力部２０６等は単一である必要はなく、複数実装可能である。

メモリ１０３、１１１、１１２は、映像信号を記憶するのに十分な記憶容量を有する大容量のメモリである。メモリ１０３、１１１、１１２としては、例えばＤＤＲ３−ＳＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ３ − Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｍｅｍｏｒｙ）等が用いられる。ＤＤＲ３−ＳＤＲＡＭは高速、大容量、安価という優れた点が多くあるため、映像信号を扱う機器では一般的によく使われている。

ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１０４、１０５、１０６は、高度にカスタム化された多機能ＩＣである。ＡＳＩＣは、それ単体ですべての機能を完成させることを目的に設計されており、プログラマブルロジックＩＣのような汎用性には乏しいが、回路の最適化により小型、低消費電力デバイスという点で優れている。なお、図１に示す映像処理装置１００においてＡＳＩＣを複数、並列で用いているのは、４Ｋや８Ｋ等の多画素の映像信号をフレーム毎に分配して並列処理を行うことでＡＳＩＣへの負荷を分散させることを想定しているためである。

ＡＳＩＣ１０４、１０５、１０６の内部構成例を図３に示す。図３に示すようにＡＳＩＣは、映像入力部３０１、汎用Ｉ／Ｏ３０２、同期信号生成部３０３、メモリコントローラ部３０４、映像処理部３０５、エンコーダ・デコーダ部３０６、マイコン３０７、映像出力部３０８、及びＯＳＤ重畳部３０９を有する。

映像入力部３０１は、外部から映像信号を入力するインターフェース部である。汎用Ｉ／Ｏ３０２は外部デバイスと相互に通信を行い、同期信号生成部３０３は入出力される映像信号に係る同期信号を生成する。メモリコントローラ部３０４は外部に接続したメモリ素子を駆動し、映像処理部３０５は映像信号に対して様々な補正や調整等の処理を行う。エンコーダ・デコーダ部３０６は映像信号に係る圧縮処理や伸張処理を行い、マイコン３０７はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を含み各種制御を行う。映像出力部３０８は映像信号を外部に出力し、ＯＳＤ重畳部３０９は映像にＯＳＤを重畳するための処理を行う。

図１においてはＡＳＩＣ１０６に接続されるものを図示しているが、各ＡＳＩＣ１０４、１０５、１０６には、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０７やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０８が接続されている。ＲＯＭ１０７は不揮発性の記憶素子であり、ＡＳＩＣを動作させるためのプログラムや各種パラメータ等が記憶されている。ＲＯＭ１０７から読み出されたプログラムは、揮発性のＲＡＭ１０８に展開されて実行される。ＲＡＭ１０８は、メモリ１０３、１１１、１１２に比べて、低速、低容量のものが使用される。

また、ＡＳＩＣ１０４、１０５、１０６には操作部１０９や表示部１１０等が接続されている。操作部１０９は、電源スイッチやモード切り替えスイッチ等を含む、映像処理装置１００とユーザーとのインターフェース部であり、例えばメカニカルなボタンやスイッチ等である。操作部１０９として、タッチパネルと呼ばれる抵抗膜式や静電容量式の薄膜素子等も利用可能である。表示部１１０は、ユーザーが視認することができる表示デバイスであり、例えばＡＳＩＣの映像処理部３０５で処理された映像や設定メニュー等を表示する。表示デバイスとしては、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）といった小型で低消費電力のデバイスが利用される。表示部１１０での表示によってユーザーは映像処理装置１００の動作状況を確認することができる。

映像出力インターフェース（Ｉ／Ｆ）１１４、１１５は、映像処理装置１００の外部に映像信号を出力するインターフェース部である。映像処理装置１００には複数の映像出力Ｉ／Ｆが備えられており、外部機器とケーブル等で接続することで映像信号を出力することができる。映像出力Ｉ／Ｆ１１４、１１５は、例えば外部で記録するためのレコーダーとの接続や、表示部１１０よりも大型の外部モニタとの接続等に利用される。様々な規格の映像インターフェースに対応可能なように複数の映像出力Ｉ／Ｆを有している。映像出力Ｉ／Ｆは、例えばＳＤＩ端子やＨＤＭＩ端子やＤｉｓｐｌａｙＰｏｒｔ端子等の映像端子である。また、複数の映像出力Ｉ／Ｆは、４Ｋや８Ｋといった多画素の映像を分割して出力するといった方法にも利用できる。例えば４Ｋの映像を田の字のように４つに分割して、２Ｋ相当の映像信号を４本のインターフェースで送出するという用途にも適応できる。なお、後述の説明のため、本実施形態では映像出力Ｉ／Ｆ１１４がＳＤＩ端子（４本構成）であるとし、映像出力Ｉ／Ｆ１１５がＨＤＭＩ端子であるとする。即ち、映像出力Ｉ／Ｆ１１４と映像出力Ｉ／Ｆ１１５は、互いに異なるフォーマットで映像信号やその他の情報を外部機器に出力する。

映像処理装置１００は、前述した機能部以外にも電源部１１６や発振部１１７等を有している。電源部１１６は、外部から供給される商用電源やバッテリー等からの電力を任意の電圧に変換して分配する機能を有し、映像処理装置１００内の各機能部に電力を供給する。発振部１１７は、例えばクリスタルと呼ばれる発振素子であり、プログラマブルロジックＩＣやＡＳＩＣ等に供給されるクロック等を出力する。

次に、映像信号の流れに合わせて、本実施形態における映像処理装置の動作について説明する。以下の説明では、撮像部１０１で撮像できる映像の画素サイズは４Ｋ（水平画素４０９６×垂直画素２１６０）であるとし、そのフレームレートは６０Ｈｚであるとする。つまり、本実施形態における映像処理装置の撮像部１０１は、１秒間に４Ｋの映像が６０枚撮像できる。また、映像信号は順次走査（Ｐｒｏｇｒｅｓｓｉｖｅ）の映像信号であるとし、以後フレームレートを６０ｐと表記する。

撮像部１０１での撮像により得られた１系統の６０ｐの映像信号は、プログラマブルロジックＩＣ１０２に送られる。以下、図４を参照して、プログラマブルロジックＩＣ１０２内部の信号の流れを説明する。映像入力部４０１を介して入力された映像信号は、メモリコントローラ部４０３によって外部に接続されているメモリ＜Ａ＞１０３に記憶される。その後、メモリ＜Ａ＞１０３に記憶された映像信号をメモリコントローラ部４０３によって読み出すが、本実施形態では、複数ある映像出力部４０４、４０５、４０６に映像信号を分配するように制御を行う。各映像出力部４０４、４０５、４０６はＡＳＩＣと接続されている。本実施形態では、映像出力部＜Ａ＞４０４はＡＳＩＣ＜Ａ＞１０４と接続され、映像出力部＜Ｂ＞４０５はＡＳＩＣ＜Ｂ＞１０５と接続され、映像出力部＜Ｃ＞４０６はＡＳＩＣ＜Ｃ＞１０６と接続されているものとする。

メモリ＜Ａ＞１０３に記憶された映像信号は、同期信号生成部４０８によって生成される同期信号に同期してメモリ＜Ａ＞１０３から読み出される。このメモリ＜Ａ＞１０３からの読み出しにおいて、どのフレームの映像信号を読み出すかは、ＡＳＩＣ等から汎用Ｉ／Ｏ４０２によって受信した指示信号を基に、制御部４０７が制御する。この制御部４０７による制御に従って、図５に示すように、メモリコントローラ部４０３によってメモリ＜Ａ＞１０３から読み出された映像信号がフレーム毎に映像出力部４０４、４０５、４０６に分配される。なお、図４において、映像出力部＜Ｂ＞４０５と映像出力部＜Ｃ＞４０６は同じ映像信号が供給されるようになっているが、これは後続のＡＳＩＣの役割によるものであり詳細は後述する。

図５は、プログラマブルロジックＩＣ１０２における映像信号のフレームの分配の例を示す図である。撮像部１０１の同期信号は６０ｐの周期（周波数６０Ｈｚ）で駆動されており、その同期信号に合わせて映像信号が撮像部１０１からプログラマブルロジックＩＣ１０２へ送信されてくる。そして、この６０ｐの映像信号がメモリ＜Ａ＞１０３に記憶される。

一方、プログラマブルロジックＩＣ１０２の映像出力部４０４〜４０６の同期信号は同期信号生成部４０８によって３０ｐの周期（周波数３０Ｈｚ）で駆動されており、メモリ＜Ａ＞１０３に記憶された映像信号は３０ｐの映像信号として読み出されている。このように周波数的には６０Ｈｚから３０Ｈｚへ半分となるが、メモリ＜Ａ＞１０３に記憶された映像信号の読み出しを２系統とすることで、合わせて６０ｐの映像信号を後段へ送出することができる。なお、入力された映像信号は一旦メモリ＜Ａ＞１０３に記憶してから読み出すため、撮像部１０１の映像信号に対して映像出力部４０４〜４０６の映像信号は時間的な遅延を持たせて読み出す必要がある。

このように、フレーム毎に分配された２系統の映像信号は、プログラマブルロジックＩＣ１０２からＡＳＩＣ１０４〜１０６に送られる。図５に示したように、ＡＳＩＣ＜Ａ＞１０４とＡＳＩＣ＜Ｂ＞１０５には３０ｐの映像信号が送られることになり、ＡＳＩＣ＜Ａ＞１０４とＡＳＩＣ＜Ｂ＞１０５は映像処理を並列で行うことが可能となる。なお、ＡＳＩＣ＜Ｃ＞１０６にはＡＳＩＣ＜Ｂ＞１０５と同じ映像信号が送られるが、ＡＳＩＣ＜Ｃ＞１０６に送られた映像信号は例えば表示部１１０等でユーザーが状況を視認するために使われる。

ＡＳＩＣ＜Ａ＞１０４及びＡＳＩＣ＜Ｂ＞１０５に送られた３０ｐの映像信号は、ＡＳＩＣ＜Ａ＞１０４やＡＳＩＣ＜Ｂ＞１０５で映像補正や調整等の処理が施された後、それぞれのＡＳＩＣからプログラマブルロジックＩＣ１１３に送出される。以下、図６を参照して、プログラマブルロジックＩＣ１１３内部の信号の流れを説明する。ＡＳＩＣ１０４、１０５から送られてくる３０ｐの映像信号は、映像入力部６０１、６０２から入力され、プログラマブルロジックＩＣ１１３に実装された２系統のメモリコントローラ部６０５、６０６によって外部のメモリ１１１、１１２に記憶される。

具体的にはＡＳＩＣ＜Ａ＞１０４からの映像信号は、映像入力部＜Ａ＞６０１を介してメモリコントローラ部＜Ａ＞６０５によってメモリ＜Ｂ＞１１１に書き込まれる。また、ＡＳＩＣ＜Ｂ＞１０５からの映像信号は、映像入力部＜Ｂ＞６０２を介してメモリコントローラ部＜Ｂ＞６０６によってメモリ＜Ｃ＞１１２に書き込まれる。この後、これらメモリ１１１、１１２から再び映像信号を読み出す。メモリ１１１、１１２からの映像信号の読み出しは、プログラマブルロジックＩＣ１０２と同様に、同期信号生成部６１１によって生成される同期信号に同期して制御部６０４がメモリコントローラ部６０５、６０６を制御して行われる。メモリ１１１、１１２から読み出された映像信号は、映像出力部６０９、６１０に送出され、それぞれ接続されている映像出力Ｉ／Ｆ１１４、１１５を介して映像処理装置の外部に出力される。

ここで、前述したようにＡＳＩＣ１０４、１０５から送出される３０ｐの映像信号は、もとは６０ｐの映像信号がフレーム毎に各ＡＳＩＣ１０４、１０５に分配されて処理されたものであり、それらがメモリ１１１、１１２に一時的に記憶されている。すなわち、メモリ１１１、１１２の１つあたりに記憶されている映像信号は３０ｐずつの映像信号である。そのため、映像出力Ｉ／Ｆ１１４や１１５から２倍のフレームレートである６０ｐの映像信号を出力するには、フレーム毎に分配された２系統の映像信号を結合し直して映像出力部６０９や６１０に送る必要がある。そこで、本実施形態では制御部６０４が、ＡＳＩＣから汎用Ｉ／Ｏ６０３を通して入力される指示信号に従って、メモリコントローラ部６０５、６０６及び映像切替部６０７、６０８を制御することで、分配されたフレームを結合して６０ｐの映像信号を得る。

具体的には、映像出力部＜Ａ＞６０９に着目すると、メモリコントローラ部＜Ａ＞６０５がメモリ＜Ｂ＞１１１から１フレーム分の映像信号を読み出した後、次はメモリコントローラ部＜Ｂ＞６０６がメモリ＜Ｃ＞１１２から１フレーム分の映像信号を読み出す。そして、またメモリコントローラ部＜Ａ＞６０５がメモリ＜Ｂ＞１１１から１フレーム分の映像信号を読み出す。このようにしてメモリ１１１、１１２からの映像信号の交互読み出しを行い、この交互読み出しに合わせて映像切替部６０７が、映像出力部６０９に対して出力する映像信号を選択的に切り替える。

映像出力Ｉ／Ｆ１１４と映像出力Ｉ／Ｆ１１５とが全く同じ出力形式（フォーマット）の映像信号を出力するのであれば、前述した交互読み出しにより読み出された映像信号を共通で送出すれば良い。しかし、映像出力Ｉ／Ｆ１１４と映像出力Ｉ／Ｆ１１５とで異なる形式の映像信号を出力する場合、共通化できないので、１つのメモリコントローラ部に対してそれぞれの出力形式に応じた２種類の独立した読み出し制御を行う必要がある。

１つのメモリコントローラ部に対して２種類の独立した読み出し制御を行う例を図７（Ａ）、（Ｂ）を参照して説明する。４Ｋの映像信号を映像出力Ｉ／Ｆに送出するには様々な手法があるが、ここではＲａｓｔｅｒ方式とＳｑｕａｒｅ Ｄｉｖｉｓｉｏｎ方式を例に説明する。図７（Ａ）はＲａｓｔｅｒ方式の例を示しており、４Ｋの映像信号を１ラインずつ上から順に読み出している。この読み出し手法は、ＨＤＭＩ等のインターフェースでは標準の方式である。多画素化に伴って転送データ量が増えるが、１画面の映像信号を画面の上から順番に読み出すという単純な順序であるため、様々な映像インターフェースの基本となる方式である。

これに対し、図７（Ｂ）はＳｑｕａｒｅ Ｄｉｖｉｓｉｏｎ方式の例を示したものである。これは４Ｋの映像信号を図７（Ｂ）に示すように４つの領域に分割して４つの伝送路で送る方式であり、ＳＤＩ等のインターフェースで多画素化に対応するために策定された方式である。１つの領域あたりでみると２Ｋ（水平画素２０４８×垂直画素１０８０）相当の画素サイズになるため、伝送するデータ量を小さくでき、伝送路１本あたりのデータ転送量の上限が低くてもそのまま伝送できるといったメリットがある。他方で、伝送路の本数が増えることや、Ｒａｓｔｅｒ方式と異なり４つの映像信号を同時に送信する必要があるため、水平方向のちょうど中央から読み出しを開始したり、垂直方向のちょうど中央から読み出しを開始したりという独立した制御が必要となる。そのため、メモリからの映像信号の読み出し方をＲａｓｔｅｒ方式とは共通化することはできない。

図６においては、映像出力部＜Ａ＞６０９はＳｑｕａｒｅ Ｄｉｖｉｓｉｏｎ方式での映像信号を出力し、映像出力部＜Ｂ＞６１０はＲａｓｔｅｒ方式での映像信号を出力する例を示している。このような異なるフォーマットでの映像出力を行う場合、メモリコントローラ部６０５、６０６は、Ｒａｓｔｅｒ方式に応じた映像信号の読み出しと、Ｓｑｕａｒｅ Ｄｉｖｉｓｉｏｎ方式に応じた映像信号の読み出しとをふたつ同時に行わなければならない。これはメモリコントローラ部やメモリが処理しなければならないデータ量が増えることを意味する。メモリコントローラ部やメモリが十分な転送帯域を有していればよいが、帯域上限を超えてしまう場合、映像出力Ｉ／Ｆ１１４や１１５に出力すべき映像信号の読み出しが間に合わず、映像が壊れてしまう。そこで、本実施形態では、このような場合でも図８に一例を示すように読み出しタイミングを制御することで映像信号の読み出しに係る転送帯域を平滑化し異なるフォーマットで映像信号を出力できるようにする。

図８は、映像信号のタイミング位相と実際に出力している映像信号のフレーム番号の関係を示す図である。まず、プログラマブルロジックＩＣ１１３において、映像入力部＜Ａ＞６０１と映像入力部＜Ｂ＞６０２にフレーム毎に分配された、それぞれ３０ｐの映像信号が入力されている。説明の便宜上、映像入力部＜Ａ＞６０１に入力される映像信号を偶数番目のフレーム（０、２、４、６、・・・）とし、映像入力部＜Ｂ＞６０２に入力される映像信号を奇数番目のフレーム（１、３、５、７、・・・）として区別する。これら映像信号が一旦、メモリ１１１、１１２にそれぞれ記憶され、映像出力部６０９、６１０に向けて読み出される。

メモリ１１１、１１２からの映像信号の読み出しタイミングは、同期信号生成部６１１によって生成される同期信号に同期させる。この例では６０ｐの周期（周波数６０Ｈｚ）の同期信号となっており、入力される映像信号の同期信号よりも早い周波数となる。また、メモリ１１１、１１２から読み出す映像信号のフレーム番号は、制御部６０４によって制御される。

ここで、映像出力部＜Ａ＞６０９に着目すると、まず、フレーム番号「０」の映像信号を出力するために、メモリコントローラ部＜Ａ＞６０５は、メモリ＜Ｂ＞１１１から映像信号を読み出す。次に、次のフレームでフレーム番号「１」の映像信号を出力するために、メモリコントローラ部＜Ｂ＞６０６は、メモリ＜Ｃ＞１１２から映像信号を読み出す。続けて、次のフレームでフレーム番号「２」の映像信号を出力するために、メモリコントローラ部＜Ａ＞６０５は、メモリ＜Ｂ＞１１１から映像信号を読み出す。

このようにアクセスするメモリをフレーム毎に切り替えることで、６０ｐのＳｑｕａｒｅ Ｄｉｖｉｓｉｏｎ方式での映像信号を取り出すことができる。なお、制御部６０４が、アクセスするメモリに応じて映像切替部６０７を制御して接続されるメモリ（映像信号が読み出されるメモリ）が切り替わるので、必要な映像信号を映像出力部＜Ａ＞６０９から出力できる。図８に示した例では、映像切替部６０７は、入力される制御信号をハイレベルにすると、メモリコントローラ部＜Ａ＞６０５によって読み出された映像信号を選択して出力する。また、映像切替部６０７は、入力される制御信号をローレベルにすると、メモリコントローラ部＜Ｂ＞６０６によって読み出された映像信号を選択して出力する。

次に、映像出力部＜Ｂ＞６１０に着目する。本実施形態では、制御部６０４は、映像出力部＜Ａ＞６０９に接続されるメモリと、映像出力部＜Ｂ＞６１０に接続されるメモリとが、ちょうど排他状態になるように制御する。すなわち、制御部６０４は、映像出力部＜Ａ＞６０９に接続されるメモリと、映像出力部＜Ｂ＞６１０に接続されるメモリとが排他的に切り替えられるように制御する。例えば、点線枠で示したようにメモリコントローラ部＜Ａ＞６０５側がフレーム番号「３」の映像信号をＳｑｕａｒｅ Ｄｉｖｉｓｉｏｎ方式で読み出す時、メモリコントローラ部＜Ｂ＞６０６側はフレーム番号「２」の映像信号をＲａｓｔｅｒ方式で読み出す。

このように制御することで、映像出力部＜Ａ＞６０９及び映像出力部＜Ｂ＞６１０に出力する映像信号を読み出すためにアクセスすべきメモリは必ず排他関係となる。つまり、ひとつのメモリに対し、映像出力部＜Ａ＞６０９に対する映像信号の読み出しと映像出力部＜Ｂ＞６１０に対する映像信号の読み出しが重なることがない。そのため、Ｒａｓｔｅｒ方式とＳｑｕａｒｅ Ｄｉｖｉｓｉｏｎ方式といった異なる読み出し方式を共存させながら映像出力Ｉ／Ｆに映像信号を出力することが可能となる。図からもわかるように、３０ｐの周期の中に６０ｐの周期は２つ入る。本実施形態では、この周期の差を利用して、映像信号が記憶されたメモリからの映像信号の読み出しタイミングを制御し、メモリの稼働率を平滑化している。なお、入力された映像信号は一旦、メモリ１１１、１１２に記憶してから読み出すため、映像入力部５０１、５０２の映像信号に対して映像出力部５０９、５１０の映像信号は時間的な遅延を持たせて読み出す必要がある。

以上のように、フレーム毎に分配された映像信号を複数のメモリに記憶し、映像出力Ｉ／Ｆ毎にタイミングをずらしメモリから映像信号を読み出すよう制御する。これにより、メモリ帯域を平滑化し、メモリ帯域を増大させずに複数のフォーマットの映像出力が可能となる。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：映像処理装置 １０１：撮像部 １０２、１１３：プログラマブルロジックＩＣ １０３、１１１、１１２：メモリ １０４、１０５、１０６：ＡＳＩＣ １１４、１１５：映像出力インターフェース ６０１、６０２：映像入力部 ６０４：制御部 ６０５、６０６：メモリコントローラ部 ６０７、６０８：映像切替部 ６０９、６１０：映像出力部 ６１１：同期信号生成部

Claims (8)

1. それぞれが第１のフレームレートの２系統の映像信号を入力する入力手段と、
   前記入力手段に入力された２系統の映像信号をそれぞれ記憶する複数の記憶手段と、
   前記複数の記憶手段に対する前記映像信号の書き込み及び読み出しを行う制御手段と、
   それぞれ前記複数の記憶手段から読み出された映像信号を、前記第１のフレームレートより高い第２のフレームレートの映像信号として出力する出力手段であって、互いに異なる出力形式で前記第２のフレームレートの映像信号を出力する第１の出力手段及び第２の出力手段とを有し、
   前記制御手段は、前記第１の出力手段及び前記第２の出力手段に応じた出力形式に従って前記複数の記憶手段から映像信号の読み出しを行うとともに、一つの前記記憶手段から前記第１の出力手段及び前記第２の出力手段に対する映像信号の読み出しが時間的に重ならないように、前記複数の記憶手段からの映像信号の読み出しを制御することを特徴とする映像処理装置。
2. 前記出力手段は、前記映像信号が読み出された前記記憶手段に応じて、映像信号を出力する映像出力端子を切り替えることを特徴とする請求項１記載の映像処理装置。
3. 前記２系統の第１のフレームレートの映像信号に対して並列して映像処理を行い前記入力手段に出力する複数の処理手段を有することを特徴とする請求項１又は２記載の映像処理装置。
4. 前記制御手段は、前記複数の記憶手段のうちの第１の記憶手段から前記第１の出力手段に応じた第１の形式に従って前記第１の出力手段に対して映像信号を読み出しながら、前記複数の記憶手段のうちの第２の記憶手段から前記第２の出力手段に応じた第２の形式に従って前記第２の出力手段に対して映像信号を読み出し、前記第１の記憶手段から前記第２の形式に従って前記第２の出力手段に対して映像信号を読み出しながら、前記第２の記憶手段から前記第１の形式に従って前記第１の出力手段に対して映像信号を読み出すことを特徴とする請求項１〜３の何れか１項に記載の映像処理装置。
5. １系統の映像信号における偶数番目のフレームが前記２系統の映像信号の一方に含まれ、前記１系統の映像信号における奇数番目のフレームが前記２系統の映像信号の他方に含まれるように分配され、
   前記一方の映像信号が前記複数の記憶手段のうちの第１の記憶手段に記憶され、前記他方の映像信号が前記複数の記憶手段のうちの第２の記憶手段に記憶されることを特徴とする請求項１記載の映像処理装置。
6. 前記制御手段は、前記第１の記憶手段に記憶された同じフレームを、前記第１の出力手段に応じた第１の形式に従って前記第１の出力手段に対して出力した後に前記第２の出力手段に応じた第２の形式に従って前記第２の出力手段に対して出力し、前記第２の記憶手段に記憶された同じフレームを、前記第１の出力手段に応じた第１の形式に従って前記第１の出力手段に対して出力した後に前記第２の出力手段に応じた第２の形式に従って前記第２の出力手段に対して出力することを特徴とする請求項５記載の映像処理装置。
7. 前記第２のフレームレートは、前記第１のフレームレートの２倍のフレームレートであることを特徴とする請求項１〜６の何れか１項に記載の映像処理装置。
8. それぞれが第１のフレームレートの２系統の映像信号を入力する入力工程と、
   前記入力工程にて入力された２系統の映像信号をそれぞれ記憶する複数の記憶手段に対する前記映像信号の書き込み及び読み出しを行う制御工程と、
   それぞれ前記複数の記憶手段から読み出された映像信号を、前記第１のフレームレートより高い第２のフレームレートの映像信号として出力する出力工程であって、互いに異なる出力形式で前記第２のフレームレートの映像信号を第１の出力手段及び第２の出力手段が出力する出力工程とを有し、
   前記制御工程では、前記第１の出力手段及び前記第２の出力手段に応じた出力形式に従って前記複数の記憶手段から映像信号の読み出しを行うとともに、一つの前記記憶手段から前記第１の出力手段及び前記第２の出力手段に対する映像信号の読み出しが時間的に重ならないように、前記複数の記憶手段からの映像信号の読み出しを制御することを特徴とする映像処理方法。

Images