JP2005292414A - 画像出画制御装置 - Google Patents

Abstract

【課題】 動画像用の出力系統を増やすことなく、複数の動画像を同時に出力する等の多様な動画像の出画制御を行うことが可能な画像出画制御装置を提供する。
【解決手段】 画像を格納するためメモリ３と、メモリ３に格納された画像を読み出し、画像信号として出力する第１画像出力処理部４及び第２画像出力処理部５と、第１画像出力処理部４及び第２画像出力処理部５から出力される画像信号を合成して出力する画像合成部６とを備え、第１画像出力処理部４及び第２画像出力処理部５は、それぞれ、特定の画素配列形式により構成される画像を、メモリ３から出画周期毎に読み出し、画像信号として出力する。
【選択図】 図１

Description

本発明は、画像出画制御装置に関し、特に、単一又は複数の動画像を拡大・縮小等の処理をした後に出画を行なう画像出画制御装置に関する。

近年、動画像に文字や絵を合成して出力するオンスクリーン・ディスプレイ（以降、ＯＳＤと略記する）機能は、ＴＶやＤＶＤプレイヤー等の映像出画装置において広く用いられている。これらの機器では、静止画像を入力する静止画像入力部と、入力された静止画像が保持されるメモリ領域と、動画像が入力され、動画像を保持するメモリ領域を持ち、両画像データを、同期を取りながら読み出して合成を行なう画像合成部を経て合成画像として出力している（例えば、特許文献１参照）。

また、パーソナルコンピュータ等の画像出画制御装置では、出力する画像を拡大・領域抽出をした後に、メモリへ書き戻し、出力画像と合成して、虫眼鏡効果を実現する手法が用いられている（例えば、特許文献２参照）。
特開平１０−２３３４９号公報 特開昭６３−１５３６２６号公報

しかしながら、従来の画像出画制御装置では、静止画像が保持されるメモリ領域のデータを出画周期毎に（たとえば、ピクチャをフレームレートで）書き換えることが困難なため、ＯＳＤにて合成する画像を滑らかな動画像とすることは困難である。また、出力画像を拡大・縮小して合成を行なう際、メモリへ書き戻してから再度合成を行なうため、動きの速い画像では、合成する画像の時間遅れにより、違和感のある画像になってしまう。

そこで、本発明は、上記課題を解決するものであり、動画像を表示させながら一部だけを拡大する虫眼鏡効果や、動画像用の出力系統を増やすことなく、複数動画を同時に出力する等の多様な動画像の出画制御を行うことが可能な画像出画制御装置を提供することを目的とする。

上記目的を達成するために、本発明は、画像の出力制御をする画像出画制御装置であって、画像を格納するためのメモリと、前記メモリに格納された画像を読み出し、画像信号として出力する第１及び第２画像出力処理手段と、前記第１及び第２画像出力処理手段から出力される画像信号を合成して出力する画像合成手段とを備え、前記第１及び第２画像出力処理手段は、それぞれ、特定の画素配列形式により構成される画像を、前記メモリから出画周期毎に読み出し、前記画像信号として出力することを特徴とする。これによって、第１及び第２画像出力処理手段は、いずれも、静止画像だけでなく、動画像を読み出して画像信号として出力することができるので、例えば、静止画像と動画像の合成によるＯＳＤだけでなく、同一又は異なる２つの動画像を合成することが可能となる。

ここで、前記第１及び第２画像出力処理手段は、前記メモリから読み出した画像を拡大、縮小及び切り出しの少なくとも１つの画像処理を行った後に、得られた画像を前記画像信号として出力してもよい。これによって、第１及び第２画像出力処理手段は、独立して、各種画像処理を行うことができるので、例えば、同一の画像に対して異なる画像処理を施して得られた２つの動画像を合成して表示することが可能となる。

また、前記第１及び第２画像出力処理手段は、前記メモリに格納された同一の画像に対して、同時、又は、前記出画周期の整数倍の時間を隔てて読み出してもよい。これによって、第１及び第２画像出力処理手段での処理において遅延が発生している場合であっても、読み出しのタイミングを調整することで、同一の画像に対して第１及び第２画像出力処理手段での画像処理によって得られた２つの画像を同期させて合成することが可能となる。

また、前記画像出画制御装置はさらに、動画像の符号化ストリームを復号し、前記メモリに画像を格納するビデオデコーダを備え、前記第１及び第２画像出力処理手段は、前記ビデオデコーダによって前記メモリに格納された画像を前記出画周期毎に読み出してもよい。これによって、第１及び第２画像出力処理手段は、ビデオデコーダが出力する同一のデコード画像を読み出して処理するので、同一の動画像に対して異なる画像処理を施して得られる画像を合成することが可能となる。

また、前記第１画像出力処理手段は、前記メモリから読み出された画像の一部を切り出して拡大した後に、得られた画像を前記画像信号として出力し、前記第２画像出力処理手段は、前記メモリから読み出された画像をサイズ変更することなく、または、前記第１画像出力処理手段とは異なる拡大率にて拡大した後に得られた画像を、前記画像信号として出力し、前記画像合成手段は、同一の画像に対して前記第１及び第２画像出力処理手段で得られた画像が重なるように、前記第１及び第２画像出力処理手段から出力される画像信号を合成し、出力してもよい。これによって、動画像の一部を拡大して元の動画像とともに合成表示することができるので、虫眼鏡効果が得られる。

また、前記ビデオデコーダは、キャプチャ指示が発せられた瞬間における前記動画像に含まれる画像を静止画像として前記メモリの第１領域に格納するとともに、前記動画像を前記メモリの第２領域に格納し、前記第１画像出力処理手段は、前記メモリの第１領域に格納された静止画像を読み出して前記画像信号として出力し、前記第２画像出力処理手段は、前記メモリの第２領域に格納された動画像を読み出して前記画像信号として出力してもよい。このとき、前記ビデオデコーダは、前記キャプチャ指示が発せられるまでは、前記復号によって得られた画像を前記メモリ内の複数のメモリ領域に格納し、前記キャプチャ指示が発せられた後は、前記キャプチャ指示が発せられた瞬間又は直後に画像を格納したメモリ領域を除く複数のメモリ領域に前記画像を格納することによって、前記第１及び第２領域への前記画像の格納を行うことで、キャプチャ画像を保持してもよい。これによって、動画像を表示しながら、キャプチャ指示が発せられた瞬間における画像を静止画像として動画像とともに表示することができる。

ここで、前記画像出画制御装置はさらに、前記メモリの第１領域に格納された静止画像を他の記憶手段に転送する転送手段を備えてもよい。これによって、キャプチャ画像は他の記憶媒体に退避されるので、キャプチャ画像を記憶させながら、何回も画像キャプチャを繰り返すことができる。

また、前記ビデオデコーダは、第１及び第２動画像が多重化された符号化ストリームを復号し、得られた前記第１及び第２動画像に対応する画像を、それぞれ、前記メモリの第１及び第２領域に格納し、前記第１画像出力処理手段は、前記メモリの第１領域に格納された画像を読み出して前記画像信号として出力し、前記第２画像出力処理手段は、前記メモリの第２領域に格納された画像を読み出して前記画像信号として出力し、前記画像合成手段は、前記第１及び第２画像出力処理手段から出力される画像信号が、それぞれ、空間分割された画面の第１及び第２領域に表示されるように、前記画像信号を合成して出力してもよい。これによって、マルチアングルのような複数の動画像が多重化されたストリームを復号し、同一画面上に複数の動画像を同時に表示することができる。

また、前記画像出画制御装置はさらに、前記第１及び第２画像出力処理手段から出力される画像信号をそれぞれ出力するための第１及び第２出力端子を備え、前記第１画像出力処理手段は、前記メモリから読み出された画像のうち、第１領域を切り出して拡大した後に、得られた画像を前記第１出力端子から前記画像信号として出力し、前記第２画像出力処理手段は、前記メモリから読み出された画像のうち、第２領域を切り出して拡大した後に、得られた画像を前記第２出力端子から前記画像信号として出力してもよい。たとえば、前記第１及び第２領域は、それぞれ、前記画像の左及び右半分を含む領域であり、前記第１及び第２画像出力処理手段は、それぞれ、前記第１及び第２領域の画像を横方向に２倍に拡大してもよい。これによって、第１及び第２出力端子に投影機等の表示装置を接続し、投影画面又は表示画面を左右に並べておくことで、安価な装置で映画等の幅広な大画面を得ることができる。

なお、本発明は、このような画像出画制御装置として実現することができるだけでなく、画像出画制御方法として実現したり、コンピュータで実行されるプログラムとして実現したりすることもできる。そして、そのプログラムは、ＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができるのは言うまでもない。

本発明によれば、共通のメモリ空間を有し、また、特定の画素配列形式により構成される画像データを、共に読み出しが可能であり、また、画像データを読み出す読み出し開始アドレスを、画像出力周期毎に制御可能とする少なくとも２系統の画像出力処理部を持つことにより、デコードされた動画像をそのまま合成することが可能となり、動画像の虫眼鏡効果、時間遅れのない動画像のキャプチャ、複数の動画像が多重化された映像ストリームによる複数の動画像の同時表示、分割画面を別系統で出力することにより、外部に接続億される複数の映像表示機器で１枚の大画面を得る、という用途が可能になり、本発明の実用的価値は極めて高い。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。
まず、本実施の形態における画像出画制御装置の構成について、図１を用いて説明する。

図１は、本実施の形態における画像出画制御装置の構成及び画像合成時の出力イメージを示す図である。この画像出画制御装置は、静止画像と動画像の合成だけでなく、同一の動画像に対して異なる複数の処理を施した後に合成することが可能な装置であり、静止画像入力部１、ビデオデコーダ２、メモリ３、第１画像出力処理部４、第２画像出力処理部５、画像合成部６及び出力端子７を備える。

メモリ３は、出画する静止画像及び動画像用のバッファメモリであり、ＯＳＤアドレス格納部３０、ＯＳＤデータ領域３１、出画アドレス格納部３２、第１〜第３動画像領域３３〜３５を有する。ＯＳＤデータ領域３１は、１フレーム分の静止画像を格納するためのメモリ領域であり、ＯＳＤアドレス格納部３０は、そのＯＳＤデータ領域３１のアドレス（先頭アドレス等）を格納するためのメモリ領域であり、第１〜第３動画像領域３３〜３５は、３フレーム分の動画像（出画用のピクチャ及び参照用のピクチャを含む）を格納するためのメモリ領域であり、出画アドレス格納部３２は、出画の対象となるピクチャ（第１〜第３動画像領域３３〜３５のいずれか）のアドレスを格納するためのメモリ領域である。

静止画像入力部１は、出画の対象となる静止画像をメモリ３に格納するとともに、その格納アドレス（ＯＳＤデータ領域３１の先頭アドレス等）をＯＳＤアドレス格納部３０に格納する。

ビデオデコーダ２は、ＭＰＥＧ等の圧縮された動画像をデコードし、得られたピクチャ（デコード画像）をメモリ（ＯＳＤデータ領域３１及び第１〜第３動画像領域３３〜３５のいずれか）に順次、格納していくとともに、出画すべきピクチャのアドレス（ＯＳＤデータ領域３１及び第１〜第３動画像領域３３〜３５のいずれかの先頭アドレス等）を出画アドレス格納部３２に格納する、という処理を出画周期毎に繰り返す。

第１画像出力処理部４は、出画周期毎に１フレームの割合で、メモリ３に格納された画像データを読み出し、拡大・縮小・切り出し等の処理をした後に画像合成部６に出力する処理部であり、データ読み出し部１０及び拡大・縮小・切り出し部１１を備える。

データ読み出し部１０は、メモリ３のＯＳＤアドレス格納部３０に格納されたアドレスが示すメモリ領域に格納された画像を読み出して拡大・縮小・切り出し部１１に出力する。このデータ読み出し部１０は、静止画像及び動画像のいずれであっても読み出することが可能である。つまり、ＲＧＢフォーマットの静止画像や輝度・色差フォーマットの動画像等の各種画素配列形式の画像データを同一フォーマットの画像データに変換する変換器を有するとともに、ＯＳＤアドレス格納部３０に格納されるアドレスが出画周期毎に更新される場合であっても、その周期で画像（出画周期毎に１フレーム分のピクチャ）を読み出すことができる。

拡大・縮小・切り出し部１１は、予め設定された指示に従って、データ読み出し部１０から出力される画像を拡大、縮小又は切り出し処理をした後に、あるいは、そのような処理を行うことなく（つまり、スルーで通過させて）、画像合成部６に出力する。

第２画像出力処理部５は、第１画像出力処理部４と同一の機能を有し、データ読み出し部２０と拡大・縮小・切り出し部２１を備える。第１画像出力処理部４と異なる点は、データ読み出し部２０が出画アドレス格納部３２に格納されたアドレスが示すメモリ領域に格納された画像を読み出すことである。

画像合成部６は、第１画像出力処理部４から出力された画像と第２画像出力処理部５から出力された画像を合成することで、１つの映像信号に変換し、その映像信号を出力端子７から出力する。このとき、２つの画像を重ね合わせるときの重み付け（比率）や表示位置等については、予め設定された指示に従って合成処理を行う。

出力画像８は、この画像出画制御装置から出力された画像の例である。ここでは、静止画像入力部１からＯＳＤデータ領域３１に格納される静止画像１４（破線で囲まれたボタン「ＰＬＡＹ」の絵）と、ビデオデコーダ２から第１〜第３動画像領域３３〜３５に格納された動画像（キャラクタ）が合成された例が示されている。

なお、本図において、実線でつながれた信号経路は、本動作モード（ここでは、本図に示されるような静止画像と動画像を合成する動作モード）で信号が流れる経路であり、太線は、図示されている場面（出力画像８に示されている場面）における信号経路であり、破線は、本動作モードでは信号が流れない経路を示す。本図においては、静止画像入力部１はＯＳＤアドレス格納部３０及びＯＳＤデータ領域３１に書き込みをし、データ読み出し部１０はＯＳＤアドレス格納部３０に格納されたアドレスに従ってＯＳＤデータ領域３１から画像を読み出し、ビデオデコーダ２は出画アドレス格納部３２及び第１〜第３動画像領域３３〜３５（現時点では、第１動画像領域３３）に書き込みをし、データ読み出し部２０は、出画アドレス格納部３２に格納されたアドレスに従って第１〜第３動画像領域３３〜３５（現時点では、第３動画像領域３５）から画像を読み出すことが示されている。

また、メモリ３内に３フレーム（３枚のピクチャ）分のメモリ領域（第１〜第３動画像領域３３〜３５）が用意されているのは、ＭＰＥＧ等の時間軸圧縮された映像ストリームをデコードするビデオデコーダ２では、デコードする際に用いる参照画像を保持する必要があり、また、画像のデコード順と出画順が異なるため、複数毎のデコード画像を保持する必要があるからである。また、入力されるストリームの状況により出画すべきデコード画像が変化するため、ビデオデコーダ２が出画アドレス格納部３２に格納する出画アドレスを更新することにより、どの領域の画像を出力するかを第２画像出力処理部５へ伝えることで、デコード画像の出力を行なっている。

次に、以上のように構成された画像出画制御装置の具体的な各種動作モードについて説明する。
（第１の動作モード）
まず、本画像出画制御装置の第１の動作モードについて、図２及び図３を用いて説明する。

図２は、第１の動作モードにおける画像出画制御装置の動作及び出力画像を示す図である。図３は、第１の動作モードにおける信号処理の流れを示すフロー図である。本動作モードは、同一の動画像に対して、一部の領域を拡大して得られる動画像と、そのままのサイズの動画像とを合成することで、動画像の虫眼鏡効果を実現するものである。

本動作モードでは、ビデオデコーダ２は、デコードして得られた画像を第１〜第３動画像領域３３〜３５に格納するとともに、出画アドレスをＯＳＤアドレス格納部３０と出画アドレス格納部３２とに格納する。つまり、ＯＳＤアドレス格納部３０と出画アドレス格納部３２に格納されるアドレスは、同一であり、出画する動画像のアドレス（第１〜第３動画像領域３３〜３５のいずれかの先頭アドレス等）である。

第１画像出力処理部４においては、データ読み出し部１０は、ＯＳＤアドレス格納部３０に格納されたアドレスに従って、第１〜第３動画像領域３３〜３５に格納された動画像を読み出す（図３のＳ１０）。そして、拡大・縮小・切り出し部１１は、予め設定された指定領域（画像の一部）を切り出して拡大し（あるいは、画像全体を拡大した後に指定領域を切り出し）、画像合成部６に出力する（図３のＳ１１）。

一方、第２画像出力処理部５においては、データ読み出し部２０は、出画アドレス格納部３２に格納されたアドレスに従って、第１〜第３動画像領域３３〜３５に格納された動画像を読み出す（図３のＳ１２）。そして、拡大・縮小・切り出し部１１は、そのままのサイズで（拡大・縮小・切り出しをすることなく）、または、デコードされた動画像が、表示画素数と異なる場合は、表示サイズになるように拡大・縮小を行なった後、画像を画像合成部６に出力する。

なお、第１画像出力処理部４及び第２画像出力処理部５は、相互に同期して動作する。つまり、ＯＳＤアドレス格納部３０及び出画アドレス格納部３２が書き換えられるサイクル、つまり、出画周期毎に、１フレーム分のピクチャを読み出し、切り出し・拡大をするという処理を繰り返す。

画像合成部６は、第２画像出力処理部５から出力される通常サイズの動画像に、第１画像出力処理部４から出力される拡大動画像を重ねることで、２つの動画像を合成し、映像信号として出力端子７から出力する（図３のＳ１３）。なお、ここでの合成処理は、第２画像出力処理部５から出力される通常サイズの動画像に、第１画像出力処理部４から出力される拡大動画像（指定領域）を上書きする処理であり、通常サイズの動画像のうち、指定領域については、拡大動画像に書き換えられる。

以上の処理により、ビデオデコーダ２から出力された１つの動画像は、第１画像出力処理部４において一部の領域だけが拡大され、一方、第２画像出力処理部５において通常サイズの動画像として処理された後に合成されるので、一部の領域だけが拡大された虫眼鏡効果を有する動画像となる。

図２（ａ）及び（ｂ）には、本動作モードによって得られる動画像の表示例が示されている。図２（ａ）は、画面上の時刻表示部分を拡大表示して見やすくする例であり、図２（ｂ）はＴＶ映画の画像の字幕部分を拡大して見やすくする例である。いずれの場合も、本図のデコード画像１５ａ及び１５ｂにおける破線部分を第１画像出力処理部４で切り出して拡大を行い、第２画像出力処理部５を通ってきた全画面に上書きすることにより、実現される。なお、図２（ｂ）に示す映画字幕合成の場合は、拡大画像合成によって映像部分が欠けてしまう領域を減らすために、画面上部の黒い部分を削る画像切り出し（拡大・縮小・切り出し部１１及び２１による処理）等が行われる。

以上のように、本動作モードでは、同一の動画像に対して得られる２つの動画像を同期させて合成しているため、各画像シーンが変化するタイミングが全く同じとなり、違和感のない動画像の合成が実現できる。
（第２の動作モード）
次に、本画像出画制御装置の第２の動作モードについて、図４及び図５を用いて説明する。

図４は、第２の動作モードにおける画像出画制御装置の動作及び出力画像を示す図である。図５は、第２の動作モードにおける信号処理の流れを示すフロー図である。本動作モードは、同一の動画像に対して、ユーザの指示に基づいてキャプチャした静止画像を動画像とともに表示するものである。

本動作モードでは、ビデオデコーダ２は、ユーザからキャプチャの指示が発せられるまでは、デコードして得られた画像を第１〜第３動画像領域３３〜３５に格納するとともに、その出画アドレスを出画アドレス格納部３２に格納する。そして、ユーザからキャプチャの指示が発せられると、その直後に画像を格納した１つのメモリ領域（ここでは、第１動画像領域３３）のアドレスをＯＳＤアドレス格納部３０に格納し、それ以降は、そのメモリ領域（ここでは、第１動画像領域３３）に替えて、ＯＳＤデータ領域３１を動画像の格納用メモリ領域の１つとして使用する。つまり、ＯＳＤデータ領域３１、第２動画像第２領域３４及び第３動画像領域３５に動画像を格納するとともに、その出画アドレスを出画アドレス格納部３２に格納する。これによって、ユーザからキャプチャの指示が発せられた直後に格納された１枚の画像（キャプチャ画像）が静止画像としてメモリ領域（ここでは、第１動画像領域３３）に保持される。

第１画像出力処理部４においては、データ読み出し部１０は、ＯＳＤアドレス格納部３０に格納されたアドレスに従って、第１動画像領域３３に格納された画像（静止画像としてのキャプチャ画像）を読み出す（図５のＳ２０）。そして、拡大・縮小・切り出し部１１は、予め設定された縮小率でキャプチャ画像を縮小し、画像合成部６に出力する（図５のＳ２１）。

一方、第２画像出力処理部５においては、データ読み出し部２０は、出画アドレス格納部３２に格納されたアドレスに従って、第１〜第３動画像領域３３〜３５に格納された動画像を読み出す（図５のＳ２２）。そして、拡大・縮小・切り出し部１１は、そのままのサイズで（拡大・縮小・切り出しをすることなく）、画像を画像合成部６に出力する。

画像合成部６は、ユーザからキャプチャの指示が発せられるまでは、第２画像出力処理部５から出力される通常の動画像をそのまま映像信号として出力端子７から出力し（合成動作をＯＦＦにしておき）、一方、ユーザからキャプチャの指示が発せられた後は、第２画像出力処理部５から出力される通常サイズの動画像に、第１画像出力処理部４から出力される縮小キャプチャ画像を予め指定された位置（例えば、画面の左上部）に重ねることで、２つの動画像を合成し（合成動作をＯＮにし）、映像信号として出力端子７から出力する（図５のＳ２３）。なお、ここでの合成処理は、第２画像出力処理部５から出力される通常サイズの動画像に、第１画像出力処理部４から出力される縮小キャプチャ画像を上書きする処理であり、通常サイズの動画像のうち、縮小キャプチャ画像の部分については、縮小キャプチャ画像に書き換えられる。

以上の処理により、ビデオデコーダ２から出力された動画像は、ユーザからキャプチャの指示が発せられた瞬間における画像がキャプチャ画像としてメモリ３に保持され、第１画像出力処理部４においてキャプチャ画像の縮小処理が施され、一方、第２画像出力処理部５において通常の動画像として処理され、それら２つの画像が合成されるので、キャプチャ画像と動画像との重ね表示が可能となる。

図４の出力画像８には、本動作モードによって得られる動画像の表示例が示されている。第１動画像領域３３に保持されたキャプチャ画像１６ａは第１画像出力処理部４において縮小され、一方、ＯＳＤデータ領域３１、第２動画像第２領域３４及び第３動画像領域３５に格納された動画像１６ｂは第２画像出力処理部５を経て出力され、それらキャプチャ画像と動画像とが画像合成部６で合成される。その結果、出力画像８に示されるように、ユーザの指示によってキャプチャされた静止画像が画面の左上部に動画像とともに表示される。

なお、画像キャプチャの後、メモリ３に保持されているキャプチャ画像を他のメモリや記録メディアに転送して保存することで、引き続き、新たな画像キャプチャを行うことが可能となる。

以上のように、本動作モードによれば、ビデオデコーダ２から出力されるメモリ３においてキャプチャ画像が保持されるので、ユーザからのキャプチャ指示に対して時間的なずれを生じることなく動画像のキャプチャが行なえる上、画面への合成も時間的な遅れなく行なうことができる。

なお、本動作モードでは、キャプチャを行なうまでは画像合成部６での画像合成をＯＦＦしていたが、本発明はこのような方式だけに限られず、例えば、画像キャプチャをする動作モードにおいては画像合成をＯＮにしておくことで子画面に動画を表示させ、ユーザのキャプチャ指示により子画面が停止してキャプチャを行なうという方式を用いる事も可能である。
（第３の動作モード）
次に、本画像出画制御装置の第３の動作モードについて、図６及び図７を用いて説明する。

図６は、第３の動作モードにおける画像出画制御装置の動作及び出力画像を示す図である。図７は、第３の動作モードにおける信号処理の流れを示すフロー図である。本動作モードは、同一の対象についてマルチアングルで得られた複数の動画像を画面分割して同時に表示するものである。

本動作モードでは、画像出画制御装置は、予め、メモリ３内に、６つの動画像用メモリ領域（第１〜第６動画像領域３３〜３８）を確保している。
ビデオデコーダ２は、同一の対象について得られたマルチアングルの映像ストリーム（ここでは、２つの異なる角度の撮影によって得られた２つの動画像が多重化されたストリーム）をデコードし、第１アングルに対応するデコード画像を第１〜第３動画像領域３３〜３５に格納するとともにその出画アドレスをＯＳＤアドレス格納部３０に格納し、一方、第２アングルに対応するデコード画像を第４〜第６動画像領域３６〜３８に格納するとともにその出画アドレスを出画アドレス格納部３２に格納する。

第１画像出力処理部４においては、データ読み出し部１０は、ＯＳＤアドレス格納部３０に格納されたアドレスに従って、第１〜第３動画像領域３３〜３５に格納された動画像（第１アングルの動画像）を読み出す（図７のＳ３０）。そして、拡大・縮小・切り出し部１１は、予め設定された値に従って、１画面の左半分のサイズとなるように動画像の縦横比を変更（画像を縮小）し、画像合成部６に出力する（図７のＳ３１）。

一方、第２画像出力処理部５おいては、データ読み出し部２０は、出画アドレス格納部３２に格納されたアドレスに従って、第４〜第６動画像領域３６〜３８に格納された動画像（第２アングルの動画像）を読み出す（図７のＳ３２）。そして、拡大・縮小・切り出し部２１は、予め設定された値に従って、１画面の右半分のサイズとなるように動画像の縦横比を変更（画像を縮小）し、画像合成部６に出力する（図７のＳ３３）。

画像合成部６は、第１画像出力処理部４から出力される第１アングルの動画像が画面の左半分の位置に、第２画像出力処理部５から出力される第２アングルの動画像が画面の右半分の位置となるように、それら２つの動画像を空間的に合成（配置合成）し、映像信号として出力端子７から出力する（図７のＳ３４）。

以上の処理により、ビデオデコーダ２から出力されたマルチアングルの２つの動画像は、それぞれ、第１画像出力処理部４及び第２画像出力処理部５で処理され、１つの画面上に空間分割されて同時に表示される。

図６の出力画像８には、本動作モードによって得られる動画像の表示例が示されている。第１〜第３動画像領域３３〜３５に格納される第１アングルの動画像１７ａと第４〜第６動画像領域３６〜３８に格納される第２アングルの動画像とは、それぞれ、第１画像出力処理部４及び第２画像出力処理部５において縮小され、画面の左半分及び右半分の位置に表示される。

なお、本動作モードでは、メモリ３内に動画像専用の６つのメモリ領域（第１〜第６動画像領域３３〜３８）が設けられたが、メモリ３の容量が十分でない等の場合には、ＯＳＤデータ領域３１を動画像のメモリ領域として利用してもよい。

また、第１アングル用のメモリ領域と第２アングル用のメモリ領域を共用化してもよい。つまり、第１アングル用のメモリ領域と第２アングル用のメモリ領域とを固定的に割り当てておくのではなく、各アングル用に使用するメモリ領域を動的に決定する方式であってもよい。

また、マルチアングルの映像ストリームに含まれる動画像の個数は、２個に限られず、画像出画制御装置が３以上の画像出力処理部等を備える場合には、３以上であってもよい。例えば、映像ストリームに４つの角度から撮影された動画像が多重化されている場合には、本画像出画制御装置は、４分割された各画面に４つの動画像を同時に表示してもよい。

さらに、ビデオデコーダ２に入力される多重化ストリームは、同一の対象から得られたマルチアングルの映像だけに限られず、異なる対象を撮影した複数の映像が多重化されたものであってもよい。
（第４の動作モード）
次に、本画像出画制御装置の第４の動作モードについて、図８及び図９を用いて説明する。

図８は、第４の動作モードにおける画像出画制御装置の動作及び出力画像を示す図である。図９は、第４の動作モードにおける信号処理の流れを示すフロー図である。本動作モードは、シネマスコープ（通称、シネスコ）サイズ（縦横比１：２．３５）の映画が表示されたＴＶ画像の左半分及び右半分を切り出して全画面サイズに拡大した後に、各動画像が左右に並ぶように、２台の投影機で投影させることで映画を幅広な大画面に表示するものである。

なお、本動作モードでは、第１画像出力処理部４からの映像信号は、出力端子９を介して第１ＴＶ画像投影機５１に出力され、一方、第２画像出力処理部５からの映像信号は、画像合成部６を通過した後に、出力端子７を介して第２ＴＶ画像投影機５２に出力される。画像合成部６は、第２画像出力処理部５から出力された映像信号をそのまま通過させるだけであり、合成処理を行わない。第１ＴＶ画像投影機５１及び第２ＴＶ画像投影機５２は、ＴＶ画像用の映像プロジェクタであり、設置例５０に示されるように、それぞれ、縦横比３：４の画像をシネスコサイズのスクリーン５３の左半分及び右半分に投影する。

本動作モードでは、ビデオデコーダ２は、シネスコサイズの映画が表示されたＴＶ画像の映像ストリームをデコードし、得られた画像を第１〜第３動画像領域３３〜３５に格納するとともに、その出画アドレスをＯＳＤアドレス格納部３０及び出画アドレス格納部３２に格納する。

第１画像出力処理部４においては、データ読み出し部１０は、ＯＳＤアドレス格納部３０に格納されたアドレスに従って、第１〜第３動画像領域３３〜３５に格納された動画像を読み出す（図９のＳ４０）。そして、拡大・縮小・切り出し部１１は、予め設定された位置と拡大率に基づいて、動画像の左半分（図８の動画像１８における領域α）を切り出した後に全画面サイズ（縦横比３：４）の画像に拡大（横方向に２倍に）し、出力端子９を介してＴＶ画像投影機５１に出力する（図９のＳ４１）。第１ＴＶ画像投影機５１は、第１画像出力処理部４から出力された動画像をスクリーン５３の左半分の位置に投影する（図９のＳ４２）。

一方、第２画像出力処理部５においては、データ読み出し部１０は、出画アドレス格納部３２に格納されたアドレスに従って、第１〜第３動画像領域３３〜３５に格納された動画像を読み出す（図９のＳ４３）。そして、拡大・縮小・切り出し部１１は、予め設定された位置と拡大率に基づいて、動画像の右半分（図８の動画像１８における領域β）を切り出した後に全画面サイズ（縦横比３：４）の画像に拡大（横方向に２倍に）し、画像合成部６及び出力端子７介してＴＶ画像投影機５２に出力する（図９のＳ４４）。第２ＴＶ画像投影機５２は、第２画像出力処理部５から出力された動画像をスクリーン５３の右半分の位置に投影する（図９のＳ４５）。

以上の処理により、ビデオデコーダ２から出力された映画の動画像は、その左半分の領域が切り出されて横方向に２倍された後にスクリーン５３の左半分に投影され、一方、右半分の領域も切り出されて横方向に２倍された後にスクリーン５３の右半分に投影され、スクリーン５３上には元の動画像を横長にしたシネスコサイズに近い大画面で合成表示される。

図８のスクリーン５３上には、本動作モードによって得られる動画像の表示例が示されている。第１〜第３動画像領域３３〜３５に格納される動画像１８の左半分（領域α）と右半分（領域β）が横方向に拡大され、２台の第１及び第２ＴＶ画像投影機５１及び５２によってスクリーン５３上に空間的に合成されて表示される。

このように、通常であれば、映画などのシネスコサイズの動画像が含まれるＴＶ画像をそのまま１台のＴＶ画像投影機で投影した場合には、横長の映像部分が小さく表示され、大きく表示させた場合には暗くなってしまうという問題があるが、本動作モードによれば、画面の縦横比３：４を前提に設計されている家庭用の安価なＴＶ画像投影機を２台用いることで、等価的に３：（４＋４）＝１：２．６７の幅広な画像を得ることができ、安価な投影機で幅広な大画面を得ることができる。

なお、図８の動画像１８における領域αと領域βの一部が重なっているのは、第１及び第２ＴＶ画像投影機５１及び５３によって投影される画像の左右が一部欠ける部分があるためであり、これを補うために、オーバーラップする領域を設けている。また、第１及び第２ＴＶ画像投影機５１及び５３のばらつきや設置の誤差は、拡大・縮小・切り出し部１１及び１２での画像切り出し位置や拡大率などを各々微調整して合わせこむことにより、快適な投影画像を得ることができる。

なお、本動作モードでは、ＴＶ画像投影機を用いたが、縁のない液晶パネルやディスプレイを複数並べてもよい。
また、本動作モードでは、１つの動画像が２分割されたが、出力系統の数に余裕があれば、３分割以上にて合成してもよい。

本発明は、パーソナルコンピュータ、ＴＶ、投影機、ディスプレイ装置等に組み込まれたり、単体として実現されたりする画像出画制御装置等として、特に、単一、又は、複数の動画像を拡大・縮小等の処理をした後に合成して表示する画像出画制御装置等として、利用することができる。

本発明の実施の形態における画像出画制御装置の構成及び画像合成時の出力イメージを示す図である。 第１の動作モードにおける画像出画制御装置の動作及び出力画像を示す図である。 第１の動作モードにおける信号処理の流れを示すフロー図である。 第２の動作モードにおける画像出画制御装置の動作及び出力画像を示す図である。 第２の動作モードにおける信号処理の流れを示すフロー図である。 第３の動作モードにおける画像出画制御装置の動作及び出力画像を示す図である。 第３の動作モードにおける信号処理の流れを示すフロー図である。 第４の動作モードにおける画像出画制御装置の動作及び出力画像を示す図である。 第４の動作モードにおける信号処理の流れを示すフロー図である。

符号の説明

１ 静止画像入力部
２ ビデオデコーダ
３ メモリ
４ 第１画像出力処理部
５ 第２画像出力処理部
６ 画像合成部
７、９ 出力端子
８ 出力画像
１０、２０ データ読み出し部
１１、２１ 拡大・縮小・切り出し部
３０ ＯＳＤアドレス格納部
３１ ＯＳＤデータ領域
３２ 出画アドレス格納部
３３〜３８ 第１〜第６動画像領域
５１ 第１ＴＶ画像投影機
５２ 第２ＴＶ画像投影機
５３ スクリーン

Claims (14)

1. 画像の出力制御をする画像出画制御装置であって、
   画像を格納するためのメモリと、
   前記メモリに格納された画像を読み出し、画像信号として出力する第１及び第２画像出力処理手段と、
   前記第１及び第２画像出力処理手段から出力される画像信号を合成して出力する画像合成手段とを備え、
   前記第１及び第２画像出力処理手段は、それぞれ、特定の画素配列形式により構成される画像を、前記メモリから出画周期毎に読み出し、前記画像信号として出力する
   ことを特徴とする画像出画制御装置。
2. 前記第１及び第２画像出力処理手段は、前記メモリから読み出した画像を拡大、縮小及び切り出しの少なくとも１つの画像処理を行った後に、得られた画像を前記画像信号として出力する
   ことを特徴とする請求項１記載の画像出画制御装置。
3. 前記第１及び第２画像出力処理手段は、前記メモリに格納された同一の画像に対して、同時、又は、前記出画周期の整数倍の時間を隔てて読み出す
   ことを特徴とする請求項１記載の画像出画制御装置。
4. 前記画像出画制御装置はさらに、
   動画像の符号化ストリームを復号し、前記メモリに画像を格納するビデオデコーダを備え、
   前記第１及び第２画像出力処理手段は、前記ビデオデコーダによって前記メモリに格納された画像を前記出画周期毎に読み出す
   ことを特徴とする請求項１記載の画像出画制御装置。
5. 前記第１画像出力処理手段は、前記メモリから読み出された画像の一部を切り出して拡大した後に、得られた画像を前記画像信号として出力し、
   前記第２画像出力処理手段は、前記メモリから読み出された画像をサイズ変更することなく、または、前記第１画像出力処理手段とは異なる拡大率にて拡大した後に得られた画像を、前記画像信号として出力し、
   前記画像合成手段は、同一の画像に対して前記第１及び第２画像出力処理手段で得られた画像が重なるように、前記第１及び第２画像出力処理手段から出力される画像信号を合成し、出力する
   ことを特徴とする請求項４記載の画像出画制御装置。
6. 前記ビデオデコーダは、キャプチャ指示が発せられた瞬間における前記動画像に含まれる画像を静止画像として前記メモリの第１領域に格納するとともに、前記動画像を前記メモリの第２領域に格納し、
   前記第１画像出力処理手段は、前記メモリの第１領域に格納された静止画像を読み出して前記画像信号として出力し、
   前記第２画像出力処理手段は、前記メモリの第２領域に格納された動画像を読み出して前記画像信号として出力する
   ことを特徴とする請求項４記載の画像出画制御装置。
7. 前記ビデオデコーダは、前記キャプチャ指示が発せられるまでは、前記復号によって得られた画像を前記メモリ内の複数のメモリ領域に格納し、前記キャプチャ指示が発せられた後は、前記キャプチャ指示が発せられた瞬間又は直後に画像を格納したメモリ領域を除く複数のメモリ領域に前記画像を格納することによって、前記第１及び第２領域への前記画像の格納を行う
   ことを特徴とする請求項６記載の画像出画制御装置。
8. 前記画像出画制御装置はさらに、
   前記メモリの第１領域に格納された静止画像を他の記憶手段に転送する転送手段を備える
   ことを特徴とする請求項６記載の画像出画制御装置。
9. 前記ビデオデコーダは、第１及び第２動画像が多重化された符号化ストリームを復号し、得られた前記第１及び第２動画像に対応する画像を、それぞれ、前記メモリの第１及び第２領域に格納し、
   前記第１画像出力処理手段は、前記メモリの第１領域に格納された画像を読み出して前記画像信号として出力し、
   前記第２画像出力処理手段は、前記メモリの第２領域に格納された画像を読み出して前記画像信号として出力し、
   前記画像合成手段は、前記第１及び第２画像出力処理手段から出力される画像信号が、それぞれ、空間分割された画面の第１及び第２領域に表示されるように、前記画像信号を合成して出力する
   ことを特徴とする請求項４記載の画像出画制御装置。
10. 前記画像出画制御装置はさらに、前記第１及び第２画像出力処理手段から出力される画像信号をそれぞれ出力するための第１及び第２出力端子を備える
    ことを特徴とする請求項４記載の画像出画制御装置。
11. 前記第１画像出力処理手段は、前記メモリから読み出された画像のうち、第１領域を切り出して拡大した後に、得られた画像を前記第１出力端子から前記画像信号として出力し、
    前記第２画像出力処理手段は、前記メモリから読み出された画像のうち、第２領域を切り出して拡大した後に、得られた画像を前記第２出力端子から前記画像信号として出力する
    ことを特徴とする請求項１０記載の画像出画制御装置。
12. 前記第１及び第２領域は、それぞれ、前記画像の左及び右半分を含む領域であり、
    前記第１及び第２画像出力処理手段は、それぞれ、前記第１及び第２領域の画像を横方向に２倍に拡大する
    ことを特徴とする請求項１１記載の画像出画制御装置。
13. 画像の出力制御をする画像出画制御方法であって、
    メモリに格納された画像を読み出し、画像信号として出力する第１及び第２画像出力処理ステップと、
    前記第１及び第２画像出力処理ステップで出力される画像信号を合成して出力する画像合成ステップとを含み、
    前記第１及び第２画像出力処理ステップでは、それぞれ、特定の画素配列形式により構成される画像を、前記メモリから出画周期毎に読み出し、前記画像信号として出力する
    ことを特徴とする画像出画制御方法。
14. 画像の出力制御をする画像出画制御装置のためのプログラムであって、
    請求項１３記載の画像出画制御方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。

Images