JP2001285749A - 画像合成装置、記録媒体及びプログラム - Google Patents

Abstract

(57)【要約】 【課題】 複数の動画像及び静止画像の合成を高速に行
う画像合成装置等を提供する。 【解決手段】 動画像と複数の静止画像とを合成して合
成画像を生成する画像合成装置100は、EPG生成部103
が、画像合成順序を含む合成情報であって前記合成画像
に対する合成前の各画像の合成比率を求めるための前記
合成情報と前記複数の静止画像とを取得して画像保持部
104に格納し、第1合成部108が前記合成情報に基づいて
前記複数の静止画像を合成して１つの合成静止画像を生
成してOSDプレーン107に格納し、第2合成部が前記合成
情報に基づいて前記合成画像に対する前記動画像の合成
比率を求め、ビデオ再生部105が動画像の各フレームを
ビデオプレーン106に格納し、第3合成部110が合成静止
画像と動画像の各フレームとを合成し、出力部111に出
力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の画像を合成
する画像表示装置、記録媒体及びプログラムに関し、特
に動画像と静止画像とを複数枚合成する技術に関する。

【０００２】

【従来の技術】近年、ディジタル放送が開始され、ディ
ジタルテレビにおいては、放送局より放送されるデータ
に基づいて静止画像を生成し、これと放送番組の動画像
とを重ね合わせて表示する技術が実現されている。ディ
ジタルテレビは、この技術を実現する機構としてその内
部に画像合成装置を備える。

【０００３】画像合成装置は、画像Fと画像Gについて、
画像Fの画素f(x,y)とこの画素に対応する画像G中の画素
g(x,y)とを用いて所定の画素間演算を行って画素h(x,y)
をもつ画像Hを出力する。この画素間演算の手法の１つ
にα合成演算がある。α合成演算は、画素f(x,y)と画素
g(x,y)との加重平均を画素h(x,y)とする演算であり、画
素g(x,y)に対する重み係数をαとするとき、

【０００４】

【数1】

【０００５】と表される。（数１）において‘＊’は積
を表す。重み係数αは、α値、透明度、又はブレンディ
ング係数等と呼ばれ、0〜1の値をとる。α値が0のとき
画素g(x,y)は完全に透明になり画素f(x,y)がそのまま合
成結果の画素hとなる。またα値が1のとき画素g(x,y)は
完全に不透明となり、画素g(x,y)がそのまま合成結果の
画素h(x,y)となる。またα値が0.5のとき、画素h(x,y)
は画素g(x,y)と画素f(x,y)とがそれぞれ半分ずつの割合
で混合された値となる。このようにα値の加減により、
画像の重なりを表現することができる。実際のハードウ
ェア構成においては各画素をカラー表示のRGB（赤緑
青）成分で表したものを扱うので、成分毎に上式の演算
を行う。

【０００６】画像合成装置は、静止画像と動画像とをリ
アルタイムに合成するために、静止画像を展開するため
のメモリ領域であるOSDプレーンと、動画像をフレーム
単位に展開するためのメモリ領域であるビデオプレーン
とを有し、ビデオプレーンのフレームが更新されるたび
にこれら２つの領域の画像をα合成演算により合成して
出力する。図31（a）は、OSDプレーン2502とビデオプレ
ーン2501の画像が合成されて合成画像2503が出力される
様子を表す概念図である。

【０００７】

【発明が解決しようとする課題】ところで最近のディジ
タル放送においては、例えば図31(b)のように、放送番
組である動画像2512を再生しつつ、その同一画面上で放
送番組のタイトルやテレビ欄等の複数の静止画像2511、
2513、2514、2515を重ね合わせて表示するといった、よ
り多彩な表現が求められている。

【０００８】動画像と複数の静止画像を合成するには、
理論上は、下位層から順番に（数1）のα合成演算を行
えばよい。しかし現実には、複数の画像の合成にかかる
α合成演算の演算量は膨大であるので、動画像のフレー
ムが更新されるたびにリアルタイムに合成を行うことは
極めて困難である。各画像に対応するプレーンと、α合
成演算を行う複数のハードウェアを用意することで合成
処理を高速にすることもできるが、ハードウェアのコス
トがかかり、また、画像展開用の多くのプレーンが必要
になるという問題がある。

【０００９】上記目的を達成するため、本発明は、動画
像の再生レートに合わせてリアルタイムに合成する、す
なわち合成処理を高速に行う画像合成装置、記録媒体及
びプログラムを提供することを第1の目的とする。また
本発明は、画像展開用のメモリを少なくした画像合成装
置、記録媒体及びプログラムを提供することを第2の目
的とする。

【００１０】

【課題を解決するための手段】上記目的を達成するた
め、本発明の画像合成装置は、動画像と複数の静止画像
とを合成して合成画像を生成する画像合成装置であっ
て、画像合成順序を含む合成情報であって、前記合成画
像に対する合成前の各画像の合成比率を求めるための前
記合成情報と前記複数の静止画像とを取得する第1取得
手段と、前記合成情報に基づいて前記複数の静止画像を
合成して１つの合成静止画像を生成する第1合成手段
と、前記合成情報に基づいて前記合成画像に対する前記
動画像の合成比率を求める算出手段と、前記動画像を構
成する各フレームを取得する第2取得手段と、前記動画
像の合成比率を用いて前記各フレームと前記合成静止画
像とを合成する第2合成手段とを備えることを特徴とす
る。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を用いて説明する。 ＜実施形態1＞ ＜構成＞図1は、本発明の実施形態1に係る画像合成装置
の構成を示すブロック図である。

【００１２】同図において画像合成装置100は、入力部1
01、制御部102、EPG生成部103、画像保持部104、ビデオ
再生部105、ビデオプレーン106、OSDプレーン107、第1
合成部108、第2合成部109、第3合成部110、出力部111か
ら構成される。入力部101は、リモートコントローラや
フロントパネルボタン等を有し、これらが操作されるこ
とによりユーザからの指示を受付ける。具体的な指示と
しては、画像合成装置100のオン／オフ指示、チャンネ
ル切替え指示、EPG（ElectronicProgram Guide、電子番
組ガイド）表示のオン／オフ指示等がある。ここで画像
合成装置100のオン／オフ指示とは、オンのとき画像合
成装置100の電源投入、オフのとき電源切断を示し、EPG
表示のオン／オフとは、オンのときEPG画面の表示、オ
フのときEPG画面の非表示を示す。

【００１３】ここでEPGとは、テレビ画面に放送番組の
番組表や放送番組の内容に関する情報等を表示するシス
テムである。EPG表示とは、番組表等がテレビ画面に表
示されている状態をいう。EPGの応用例として、例えば
ユーザは、EPG表示画面上で番組のジャンルや出演者名
による検索を行ったり、またEPG対応のビデオデッキに
より簡単に録画予約を行うこともできる。

【００１４】画像合成装置100は、EPG表示がオンのと
き、一例として図2(a)に示す合成画像201を表示する。
図2(a)の合成画像201は、図2(b)に示すように、コンポ
ーネント202、203、204から構成される。コンポーネン
ト202は、番組表を表す静止画像であり、コンポーネン
ト203は、１つのチャンネルの放送番組の内容そのもの
を表す動画像であり、コンポーネント204は、コンポー
ネント203の番組名を表す静止画像である。コンポーネ
ント202及び204は、放送局より送信されるEPG情報に基
づいてEPG生成部103により生成される。

【００１５】このように画像合成装置100は、EPG表示が
オンの間、コンポーネント202を表示し、コンポーネン
ト202の右下の位置にコンポーネント203を数十フレーム
毎秒のレートで表示し、コンポーネント203の左上の位
置にコンポーネント204を表示する。このように本実施
形態の画像合成装置100は、複数の静止画像と１つの動
画像とからなる複数のコンポーネントを組み合わせた合
成画像を生成して表示する機能を持つ。

【００１６】以後、必要に応じて図2（a）（b）を使っ
て説明するものとする。なお、静止画像コンポーネント
及び動画像コンポーネントは、特に区別する必要がない
場合には、単にコンポーネントと呼ぶこととする。制御
部102は、画像合成装置100の構成要素全てを制御する。
より具体的には、画像合成装置100のオンが指示される
と、ビデオ再生部105に放送番組を再生させる。チャン
ネル切替えが指示されると、ビデオ再生部105に現在再
生中のものとは別の放送番組を再生させる。EPG表示の
オンが指示されると、EPG生成部103、ビデオ再生部10
5、第1合成部108、第2合成部109及び第3合成部110等を
制御して合成画像201を生成させる。このEPG表示に関す
る処理については後述する。

【００１７】EPG生成部103は、放送局より放送されるEP
G情報を取得して保持する。EPG情報は、コンポーネント
の表示サイズ、表示位置、コンポーネントの重ね合わせ
順序等のレイアウト情報及び静止画像コンポーネントの
静止画像情報等を含む。静止画像情報は、静止画像コン
ポーネントの画像内容に相当し、テキストやグラフィッ
クスデータ等を含む。EPG生成部103は、EPG情報に基づ
いて複数の画像ファイルと1つのインデックスファイル
とを生成し、画像保持部104に格納する。さらにEPG生成
部103は、EPG情報からEPG表示画面を構成する動画像の
コンポーネントの表示サイズ及び表示位置を抽出し、ビ
デオ再生部105に出力する。

【００１８】画像ファイルは、図2(b)のコンポーネント
202、203、204に対応し、コンポーネントの表示サイ
ズ、表示位置及び画像データから構成される。静止画像
コンポーネントの場合、画像データは、静止画像情報に
基づいて生成される。インデックスファイルは、複数の
画像ファイルを管理するためのもので、複数の画像情報
から構成される。１つの画像情報が１つの画像ファイル
に対応している。複数の画像情報は、インデックスファ
イル内において図2(a)のコンポーネントの重ね合わせ順
序と同じ順序に配列される。画像情報は、画像種別と格
納位置とから構成される。画像種別は、画像ファイルの
画像が静止画像であるか動画像であるかを示す。格納位
置は、画像保持部104における画像ファイルの先頭の位
置を示す。

【００１９】次に、図3及び図4を用いて画像ファイル及
びインデックスファイルの具体例を示す。図3は、画像
ファイルの構造を説明するための図である。同図の画像
ファイル301は、1行目が表示位置、2行目が表示サイ
ズ、3行目以降が画像データを示す。画像データは、コ
ンポーネントの全ピクセルに対応するピクセルデータの
集合からなり、ピクセルデータは、ピクセルの色を示す
RGB成分及びピクセルの透明度を表すα値から構成され
る。すなわちα値は、最背面の画像から当該画像までの
合成結果に対する当該画像の合成比率を表す。画像ファ
イル301の左側に表記されている格納位置302は、画像フ
ァイル301の先頭位置を「0000」とした場合を基準とす
る各データの格納位置を示す。

【００２０】画像ファイル301において、3行目は座標位
置(0,0)のピクセルに対応するピクセルデータ、4行目は
座標位置(1,0)のピクセルに対応するピクセルデータ、5
行目は座標位置(2,0)のピクセルに対応するピクセルデ
ータである。ここにおいて座標位置(0,0)は、当該コン
ポーネントの左上隅の座標位置を指す。このようにピク
セルデータは、コンポーネントの左から右、上から下の
順にピクセルと対応する。

【００２１】表示位置は、合成画像201上でのコンポー
ネントの座標位置であり、合成画像201の左上隅を原点
として、コンポーネントの左上隅のX,Y座標で表され
る。表示サイズは、コンポーネントの矩形の高さH及び
幅Wとからなり、高さH及び幅Wはピクセル単位で表され
る。RGB成分はそれぞれ0〜255の値をとり、3つの成分が
いずれも0の場合はそのピクセルの色は黒になり、いず
れも255の場合は白になる。

【００２２】α値は、0〜255の値をとり、そのピクセル
を他のピクセルの上に重ね合わせる場合の透明度、つま
り下位層のピクセルがどのくらいの割合で上位層のピク
セルを透過するかを表す。より具体的には、ピクセルB
に対してピクセルAをα値で合成する場合、合成結果の
ピクセルCは、C=(αA+(255-α)B)/255となる。α値は0
〜255の値をとり、α値が0の場合ピクセルAは透明とな
り、ピクセルBを100％透過する。またα値が255のとき
ピクセルAは不透明となり、ピクセルBを透過せず、ピク
セルAの100%の塗つぶしとなる。またα値が128の場合ピ
クセルAはピクセルBを約50%透過し、すなわちピクセルA
とピクセルBとが約50%ずつ混合された色となる。

【００２３】実際にはピクセルA、B及びCはRGB成分で表
され、成分別に合成結果が算出される。EPG生成部103
は、コンポーネント202、203、204それぞれの画像ファ
イルのα値を次のようにセットするものとする。すなわ
ちEPG生成部103は、コンポーネント202における全ピク
セルのα値を255にセットする。これはコンポーネント2
02が合成画像201において最下位層のコンポーネントだ
からである。またEPG生成部103は、コンポーネント203
における全ピクセルのα値を192にセットする。またコ
ンポーネント204のα値については、文字部分には255を
セットし、それ以外の部分は64にセットする。

【００２４】なお、RGB成分及びα値の値の詳細な決定
方法等については、公知技術であり本発明の特徴部分で
はないので説明を省略する。図3に画像データの内容と
１つのコンポーネントとの対応関係を示す。同図に示す
ように、コンポーネント303の左上を開始点として左か
ら右に、かつ上から下に１ピクセルずつピクセルデータ
と対応する。

【００２５】EPG生成部103は、以上に示す画像ファイル
を生成する。ただし、動画像のコンポーネントについて
は、全RGB成分に0をセットして画像ファイルを生成す
る。つまりEPG生成部103は、動画像コンポーネントの画
像ファイルについては、表示位置、表示サイズ及びα値
を確定し、RGB成分については未確定のままにした画像
ファイルを生成する。これは動画像のコンポーネント
は、放送番組に相当し、放送局よりリアルタイムに送ら
れてくるものなので、画像ファイル生成時にはRGB成分
が確定しないからである。動画像のコンポーネントに対
する画像ファイルのRGB成分は、後述するビデオ再生部1
05により確定される。

【００２６】図4は、インデックスファイルの一例を示
す。同図のインデックスファイル410は、画像情報421、
422及び423から構成され、同順に重ね合わせ順序を表
す。すなわち画像情報421は図2（ｂ）に示す最下位層の
コンポーネント202に対応し、画像情報422はその次の層
のコンポーネント203に対応し、画像情報423は最上位層
のコンポーネント204に対応する。列411側の値は、コン
ポーネントの画像種別を示し、「0」が静止画像、「1」
が動画像を示す。列412側の値は、画像ファイルの格納
位置を示す。

【００２７】また画像430、440、450は、それぞれコン
ポーネント202、203、204に対応し、それぞれの画像フ
ァイル中の画像データをイメージ的に示したものであ
る。ここにおいて画像440は、コンポーネント203に対応
する画像データの全てのRGB成分が0であることを示して
いる。画像保持部104は、メモリやハードディスク等で
構成され、EPG生成部103が生成した画像ファイル及びイ
ンデックスファイルを保持する。

【００２８】ビデオ再生部105は、放送局からの放送番
組を受信して復号等を行って、数十フレーム/秒の動画
像を再生し、その動画像データをビデオプレーン106に
逐次格納する。格納の際、ビデオ再生部105は、EPG再生
部103より入力される表示位置及び表示サイズに基づい
て合成画像201に対する映像のレイアウトを確定し、ビ
デオプレーン106上の当該配置に対応する領域に映像の
R、G、B成分を格納する。

【００２９】ビデオプレーン106は、メモリ等で構成さ
れ、ビデオ再生部105より格納される動画像データと、
後述の第2合成部109より格納される合成α値とを保持す
る。合成α値は、複数のピクセルどうしを重ね合わせ合
成する場合における、全体のピクセルの中での１つのピ
クセルの透明度を表し、各ピクセルのα値を用いて算出
される。つまり、ビデオ再生部105が保持する合成α値
は、すべてのコンポーネントを重ね合わせ合成する場合
における、重ね合わせる全ピクセルの中での動画像コン
ポーネントのピクセルの透明度を表す。

【００３０】図5は、動画像データの構造を示す。同図
に示すように、動画像データ501は、ピクセルデータの
集合であり、ピクセルデータは、RGB成分と合成α値と
からなる。画像502は、ピクセルデータと画面上のピク
セル位置との対応関係を示すための図である。図6は、
動画像データ501のピクセルデータをイメージ的に示
す。同図に示すように動画像データ501に相当する画像6
00は、コンポーネント203に対応する領域601と、それ以
外の領域602とから構成される。画像600は、合成画像20
1と同じ高さ及び幅を持つ。ビデオプレーン106は、領域
601のRGB成分をビデオ再生部105から与えられ、合成α
値を第2合成部109より与えられる。またビデオプレーン
106は、領域602のRGB成分及び合成α値として予め0を保
持する。領域601のRGB成分は、ビデオ再生部105の再生
レートにあわせて数十フレーム/秒で更新される。

【００３１】OSDプレーン107は、メモリ等で構成され、
第1合成部108により出力される第1合成画像データを保
持する。図7は、第1合成画像データのデータ構造を示
す。第1合成画像データ701は、RGB成分の集合からな
り、コンポーネント202と204とが合成された結果、すな
わち、静止画のコンポーネントどうしが合成された結果
に相当する。合成については後述する。

【００３２】画像702は、第1合成画像データ701のRGB成
分と、画面上のピクセル位置との対応関係を示す。同図
の通り、第1合成画像データ701のRGB成分は、画像702の
左から右、かつ上から下の方向に順に配列される。画像
702は、合成画像201と同じピクセル単位の高さ及び幅を
持つ。第1合成部108は、画像保持部104に保持されてい
る複数の画像ファイルの画像データを合成して第1合成
画像データを生成しOSDプレーン107に格納する。この処
理を第1合成処理と呼ぶ。

【００３３】図8は、第1合成処理の処理手順を示すフロ
ーチャートである。まず、第1合成部108は、OSDプレー
ン107を初期化する（ステップS800）。具体的には、OSD
プレーン107のRGB成分の領域をすべて0にセットする。
次に、第1合成部108は、ステップS801〜S807の処理を繰
り返して、下位層から上位層のコンポーネントへと順番
に、静止画像のコンポーネントどうしを合成する処理を
行う。

【００３４】まず第1合成部108は、画像保持部104のイ
ンデックスファイルから画像情報iを読み出す（ステッ
プS801）。ここでiは、本フローチャートにおいて便宜
的に下位層から上位層のコンポーネントへと順番に0,1,
2,...というように昇順にコンポーネントに割り振った
番号を示す変数であり、コンポーネントiに対応する画
像情報及び画像ファイルをそれぞれ画像情報i及び画像
ファイルiと呼ぶこととする。本フローチャートにおい
てiの初期値は0、増分は１とする。

【００３５】次に第1合成部108は、画像情報iに示され
る格納位置に格納された画像ファイルiを画像保持部104
より取り出す（ステップS802）。第1合成部108は、画像
ファイルiの表示サイズ及び表示位置を読み出し、当該
画像ファイルのコンポーネントiの画面上での重ね合わ
せ範囲を設定する（ステップS803）。

【００３６】第1合成部108は、画像情報iに示される画
像種別が動画像であるか静止画像であるかを判別する
（ステップS804）。判別の結果、静止画像である場合、
第1合成部108は、画像ファイルiのRGB成分とOSDプレー
ン107の重ね合わせ範囲のRGB成分とのα合成演算を行う
（ステップS805）。このα合成演算の式を以下に示す。

【００３７】

【数2】

【００３８】この式において左辺のR(x,y)、G(x,y)、B
(x,y)は新しく求めるRGB成分であり、R_i(x,y)、G_i(x,
y)、B_i(x,y)及びα_i(x,y)は画像ファイルiのRGB成分及
びα値であり、右辺のR(x,y)、G(x,y)、B(x,y)はOSDプ
レーン107の重ね合わせ範囲内に保持されているRGB成分
である。つまり左辺のR(x,y)は、R_i(x,y)をα_iで重み付
けした値と、OSDプレーン107に保持されているR(x,y)を
1−α_iで重み付けした値とを加算して得られる。G(x,
y)、B(x,y)についても同様である。第1合成部108は、新
たに得られたR(x,y)、G(x,y)、B(x,y)をOSDプレーン107
に格納する。

【００３９】一方、ステップS804において、画像情報i
に示される画像種別が動画像であると判別した場合、第
1合成部108は、画像ファイルiのα値とOSDプレーン107
の重ね合わせ範囲のRGB成分とを用いて以下の演算を行
う（ステップS806）。その式を以下に示す。

【００４０】

【数3】

【００４１】この式において左辺のR(x,y)、G(x,y)、B
(x,y)は新しく求めるRGB成分であり、α_i(x,y)は画像フ
ァイルiのα値であり、右辺R(x,y)、G(x,y)、B(x,y)はO
SDプレーン107の重ね合わせ範囲内に保持されているRGB
成分である。つまり新しく求めるR(x,y)は、それまでに
求められているR(x,y)を1−α_i(x,y)で重み付けること
で得られる。G(x,y)、B(x,y)についても同様である。

【００４２】（数3）は（数2）の式の右辺第1項を０と
おいたものと同じである。ステップS805の各式の右辺第
1項は、画像ファイルのRGB成分にαを重み付けするもの
であるから、S806の各式の場合、動画像のRGB成分に対
するαの重み付けを加えないことを意味する。第1合成
部108は、ステップS805またはステップS806で算出したR
(x,y)、G(x,y)、B(x,y)をOSDプレーン107に格納する。

【００４３】このようにして、第1合成部108は、すべて
の画像ファイルについて処理を行ったら第1合成処理を
終了する（ステップS807）。以上の処理により、OSDプ
レーン107には静止画像のコンポーネントを合成した結
果が保持されることとなる。第2合成部109は、動画像コ
ンポーネント用の合成α値を算出し、ビデオプレーン10
6に格納する第2合成処理を行う 図9は、第2合成の処理手順を示すフローチャートであ
る。

【００４４】まず、第2合成部109は、ビデオプレーン10
6の合成α値の領域を初期化する（ステップS900）。具
体的にはビデオプレーン106の全ピクセルの合成α値用
の領域を0にセットする。この合成α値の領域は、図9の
処理の結果、動画像コンポーネント用の合成α値を保持
することとなるものである。次に、第2合成部109は、ス
テップS901からS907の処理を繰り返す。

【００４５】まず第2合成部109は、画像保持部104のイ
ンデックスファイルから画像情報iを読み出す（ステッ
プS901）。ここでiは、本フローチャートにおいて便宜
的に下位層から上位層のコンポーネントへと順番に0,1,
2,...というように昇順にコンポーネントに割り振った
番号を示す変数であり、コンポーネントiに対応する画
像情報及び画像ファイルをそれぞれ画像情報i及び画像
ファイルiと呼ぶこととする。本フローチャートにおい
てiの初期値は0、増分は１とする。

【００４６】次に第2合成部109は、画像情報iに示され
る格納位置に格納された画像ファイルを画像保持部104
より取り出す（ステップS902）。第2合成部109は、画像
ファイルiの表示サイズ及び表示位置を読み出し、コン
ポーネントiの画面上での重ね合わせ範囲を設定する
（ステップS903）。第2合成部109は、画像情報iに示さ
れる画像種別が動画像であるか静止画像であるかを判別
する（ステップS904）。

【００４７】判別の結果、静止画像である場合、第2合
成部109は、画像ファイルiのα_iとビデオプレーン106の
重ね合わせ範囲における合成α値とを用いて新しい合成
α値を算出する(ステップS905)。この式を以下に示す

【００４８】

【数4】

【００４９】この式において左辺のα(x,y)は新しく求
める合成α値であり、α_i(x,y)は画像ファイルiのα値
であり、右辺のα(x,y)は、ビデオプレーン106の重ね合
わせ範囲に保持されている合成α値である。第2合成部1
09は、新たに得られたα(x,y)をビデオプレーン106に格
納する。一方、ステップS904において、画像情報iに示
される画像種別が動画像であると判別と判別した場合、
第2合成部109は、以下の演算を行う（ステップS906）。

【００５０】

【数5】

【００５１】この式において左辺のα(x,y)は新しく求
める合成α値であり、右辺のα_i(x,y)は画像ファイルi
のα値である。つまりα_i(x,y)をそのまま、新しく求め
るα(x,y)としている。第2合成部109は、ステップS905
またはステップS906で算出したα(x,y)をビデオプレー
ン106に格納する。

【００５２】このようにして、第2合成部109は、すべて
の画像ファイルについて処理を行ったら第2合成処理を
終了する（ステップS907）。その結果、ビデオプレーン
106には、最終的には動画像コンポーネント用の合成α
値が格納される。第3合成部110は、制御部102から通常
の再生指示を受けるとビデオプレーン106に保持される
R、G、B成分を出力部111に出力する。また第3合成部110
は、制御部102からEPG表示の指示を受けると、ビデオプ
レーン106に記憶される動画像データのR、G、B成分とOS
Dプレーン107に記憶される第1合成画像データのRGB成分
とを合成する第3合成を行って、合成結果の合成画像を
出力部111に出力する。

【００５３】第3合成処理は次の式によって表される。

【００５４】

【数6】

【００５５】ここにおいてR(x,y)、G(x,y)、B(x,y)は、
第3合成の結果、出力部111に出力される各ピクセルの
R、G、B成分であり、α(x,y)、R_v(x,y)、G_v(x,y)、B
_v(x,y)は、ビデオプレーン106に格納されている動画像
データの合成α値及びR、G、B成分であり、Ro(x,y)、Go
(x,y)、Bo(x,y)は第1合成画像データのR、G、B成分であ
る。

【００５６】つまり第3合成部110は、ビデオプレーン10
6に保持されている動画像データのR、G、B成分に合成α
値をかけた値と、OSDプレーン107に保持されている第1
合成画像データのR、G、B成分とを加算する処理をビデ
オ再生のフレーム毎に行う。出力部111は、CRT等で構成
され、第3合成部110が出力するR、G、B成分を受取って
画面上に表示する。 ＜動作＞以上のように構成された画像合成装置100につ
いて以下にその動作を説明する。

【００５７】図10は、本実施形態の画像合成装置100のE
PG表示時における動作の流れを説明する図である。同図
において矩形の内容は各構成部の動作を示し、矢印はデ
ータの流れを示す。入力部101が、EPG表示の指示を受け
付けると（ステップS1001）、制御部102を通じてその指
示が各部に伝えられる。その指示を受けたEPG生成部103
は、放送されてくるEPG情報を基に画像ファイル及びイ
ンデックスファイルを生成して画像保持部104に格納す
る。さらにEPG生成部103は、画像ファイル生成時に取得
した動画像コンポーネントの表示位置及び表示サイズを
ビデオ再生部105に通知する（ステップS1002）。

【００５８】第1合成部108は、画像保持部104に格納さ
れる静止画像コンポーネントどうしの重ね合わせ範囲内
のRGB成分を合成し、OSDプレーン107に格納する（ステ
ップS1003）。第2合成部109は、画像保持部104に格納さ
れる画像ファイルのα値を基に動画像コンポーネント用
の合成α値を算出しビデオプレーン106に格納する（ス
テップS1004）。

【００５９】ビデオ再生部105は、動画像を再生し、EPG
生成部103より通知された表示サイズ及び表示位置が示
すレイアウトで動画像データをビデオプレーン106に格
納する（ステップS1005）。第3合成部110は、動画像コ
ンポーネントのRGB成分を合成α値で重み付け、それに
第1合成画像データのRGB成分を加算し、加算後に得られ
る合成画像のRGB成分を出力部111に出力する(ステップS
1006)。

【００６０】出力部111は、第3合成部110からの合成画
像のRGB成分を表示する（ステップS1007） 同図においてステップS1003とステップS1004とステップ
S1005とステップS1006の処理は並行して行われる。また
ステップS1006の処理は、ステップS1005における動画像
の再生と同じレートで行われる。 ＜捕捉説明＞以下に、本発明の特徴部分である動画像と
静止画像の合成について、捕捉説明する。

【００６１】図11は、N+1枚の動画像コンポーネント又
は静止画像コンポーネントからなるコンポーネント群を
示し、各コンポーネントは同図に示すR、G、B成分及び
α値を持つものとする。ただし最下層のコンポーネント
のα値はα0＝1．0とする。これらのコンポーネント群
を重ね合わせた結果得られる画像のR、G、B成分は次式
(数7)で与えられる。

【００６２】

【数7】

【００６３】ここにおいてβ_iは、最終的な合成結果で
ある画像に対するコンポーネントiの合成比率を表し、
貢献度とも呼ぶ。すなわちβ_iは、合成α値である。本
発明は、これらコンポーネント中の1つが動画像である
場合、動画像のコンポーネント以外の静止画像のコンポ
ーネントどうしをα値を用いて合成し、この結果に動画
像のコンポーネントを加えるという演算を実現してい
る。静止画像コンポーネントは、表示サイズ及び表示位
置をもつ画像ファイルとして存在し、合成する際にOSD
プレーン上で合成するので、OSDプレーン107一枚という
少ないメモリ容量で効率的に静止画コンポーネントを合
成することができる。

【００６４】これにより静止画像用のOSDプレーン1枚と
動画像用のビデオプレーン1枚という少ないメモリで効
率的に処理を行うことができる。もしこれらのコンポー
ネントの合成を、動画像も静止画像も含めて重ね合わせ
の順番に順次に行うとすると、全コンポーネントの各ピ
クセルについての合成比率を計算してメモリ上に保持し
ておく必要がある。これは非常に多くのメモリを必要と
し非効率的である。

【００６５】また合成比率の計算式も、1つずつ独立に
行うと多くの乗算を必要とする。N+1のコンポーネント
では、N*(N-1)/2回の乗算が必要となり、N^2のオーダー
の計算となる。本発明では、これらの問題を解決し、メ
モリを必要としない逐次計算と、乗算の回数をNのオー
ダーで済ませることを実現している。本実施の形態の構
成要素と演算の関係は、第1合成部108が動画像以外のコ
ンポーネントの項の加算を担当し、第2合成部109が動画
像の貢献度の計算を担当し、第3合成部110が最後の動画
像の加算を担当する。

【００６６】図12は、本発明の演算をC言語風に記述し
たプログラムである。このプログラムは１つのピクセル
に焦点をあてている。R、G、BはOSDプレーン上の１つの
ピクセルのRGB成分を表し、αはこのピクセルに対応す
る動画像の合成α値を表す。R _i、G_i、B_i、α_iは、OSDプ
レーンに加算されるi番目のコンポーネントのRGB成分及
びα値である。R_v、G_v、B_vは動画像のRGB成分である。

【００６７】１行目から４行目までが初期化処理を示
す。５行目から１７行目が静止画像の加算、残りが動画
像の加算である。７、８、９、１２、１３、１４行目が
第1合成部１０８により行われる演算を示す。ここで、
動画像の合成式は、動画像のRGB成分が０であるとして
計算するのと同等である。１０、１５行目は第2合成部
１０９により行われる演算で、動画像の合成α値を計算
している。５、６、１１、１６、１７行目は第1合成部
１０８と第2合成部１０９とに共通の処理である。１
８、１９、２０行目が第３合成部１１０により行われる
演算である。ここで１８、１９、２０行目は別のスレッ
ドで並行して行われ、永久ループであってもよい。

【００６８】図13は、これを実現したプログラムを表
す。program1とprogram2は、図12のプログラムを分割
し、program2は出力を永久ループにしている。この２つ
のプログラムを並列処理することができる。並列処理し
た場合、重ね合わせの途中の状態、重ね合わせていく過
程を表示させることができる。 ＜実施形態2＞ ＜構成＞図14は、本発明の実施形態2に係る画像合成装
置の構成を示すブロック図である。

【００６９】同図において画像合成装置200は、入力部1
01、制御部1500、EPG生成部103、画像保持部104、ビデ
オ再生部105、ビデオプレーン106、OSDプレーン1501、
第4合成部1502、第5合成部1503、出力部111から構成さ
れる。これらの構成要素のうち、画像合成装置100と同
じ符号のものは機能が同じであるので説明を省略し、以
下画像合成装置100と異なる符号のものを中心に説明す
る。

【００７０】制御部1500は、画像合成装置200の構成要
素全てを制御する。より具体的には、画像合成装置200
のオンが指示されると、ビデオ再生部105に放送番組を
再生させる。チャンネル切替えが指示されると、ビデオ
再生部105に現在再生中のものとは別の放送番組を再生
させる。EPG表示のオンが指示されると、EPG生成部10
3、ビデオ再生部105、第4合成部1502及び第5合成部1503
等を制御して合成画像を生成させる。

【００７１】OSDプレーン1501は、メモリ等で構成さ
れ、第4合成部1502により出力されるRGB成分及びα値を
保持する。OSDプレーン1501は、画面のピクセルに対応
するRGB成分及びα値を保持する。第4合成部1502は、制
御部1500から指示を受けると、画像保持部104に保持さ
れている複数の画像ファイルの画像データを合成し、最
終的には第4合成画像データを生成し、ODSプレーン1501
に格納する。この処理を第4合成処理と呼ぶ。

【００７２】図15は、第4合成処理の処理手順を示すフ
ローチャートである。まず、第4合成部1502は、OSDプレ
ーン1501のRGB成分の領域すべてに0をセットし、ビデオ
プレーン106の合成α値の領域すべてに0をセットする
（ステップS1600、ステップS1601）。次に、第4合成部1
502は、ステップS1602〜S1612の処理を繰り返して、下
位層から上位層のコンポーネントへと順番に、静止画像
のコンポーネントどうしを合成してOSDプレーン1501に
格納し、また動画像コンポーネント用の合成α値を算出
し、ビデオプレーン106に格納する処理を行う。

【００７３】まず第4合成部1502は、画像保持部104のイ
ンデックスファイルから画像情報iを読み出す（ステッ
プS1602）。ここでiは、本フローチャートにおいて便宜
的に下位層から上位層のコンポーネントへと順番に0,1,
2,...というように昇順にコンポーネントに割り振った
番号を示す変数であり、コンポーネントiに対応する画
像情報及び画像ファイルをそれぞれ画像情報i及び画像
ファイルiと呼ぶこととする。本フローチャートにおい
てiの初期値は0、増分は１とする。

【００７４】そして第4合成部1502は、画像情報iに示さ
れる格納位置に格納された画像ファイルiを画像保持部1
04より取り出す（ステップS1603）。第4合成部1502は、
画像ファイルiの表示サイズ及び表示位置を読み出し、
当該画像ファイルのコンポーネントiの画面上での重ね
合わせ範囲を設定する（ステップS1604）。

【００７５】第4合成部1502は、画像情報iに示される画
像種別が動画像であるか静止画像であるかを判別する
（ステップS1605）。判別の結果、画像情報iに示される
画像種別が動画像であると判別した場合、第4合成部150
2は、画像ファイルiのα値をビデオプレーン106に複写
する（ステップS1611）。

【００７６】ステップS1605における判別の結果、画像
情報iに示される画像種別が静止画像であると判別した
場合、第4合成部1502は、ビデオプレーン106に保持され
ている合成α値がすべて0であるか否かを判別する（ス
テップS1606）。すなわちここでは当該静止画像より下
位層に動画像があるか否かによって異なる処理に分岐す
るようにしている。

【００７７】ステップS1606における判別の結果、ビデ
オプレーン106に保持されている合成α値がすべて0であ
ると判別した場合、第4合成部1502は、画像ファイルiの
α値をOSDプレーン1501に複写する（ステップS1609）。
ステップS1606における判別の結果、ビデオプレーン106
に保持されている合成α値がすべて0でない場合、すな
わち少なくとも1つは0でない場合、第4合成部1502はビ
デオプレーン106に保持されている合成α値と画像ファ
イルiのα値とを用いて（数8）の計算により新しいα値
を求め、OSDプレーン1501に格納する（ステップS160
7）。

【００７８】

【数8】

【００７９】この式において左辺のαosd(x,y)は新しく
求めるα値であり、右辺αi(x,y)は画像ファイルiのα
値であり、α_v(x,y)は、ビデオプレーン106に保持され
ている合成α値である。さらに第4合成部1502は、（数
9）により動画像用の合成α値を算出し、ビデオプレー
ン106の合成α値の領域に格納する（ステップS1608）。

【００８０】

【数9】

【００８１】この式において左辺のα_v(x,y)は新しくビ
デオプレーン106に格納する合成α値であり、右辺のα_v
(x,y)は、この格納の前にビデオプレーン106に保持され
ていた合成α値であり、αi(x,y)は画像ファイルiのα
値である。第4合成部1502は、ステップS1607又はステッ
プS1609においてOSDプレーン1501にセットされたα値を
用いて、画像ファイルiのRGB成分とOSDプレーン1501の
重ね合わせ範囲におけるRGB成分とのα合成演算を行
い、結果をOSDプレーン1501に格納する(ステップS161
0)。その演算式を（数10）に示す。

【００８２】

【数10】

【００８３】この式において左辺のR(x,y)、G(x,y)、B
(x,y)は新しく求めるRGB成分であり、右辺のR(x,y)、G
(x,y)、B(x,y)及びαosdはOSDプレーン1501に保持され
ているRGB成分及びα値であり、Ri(x,y)、Gi(x,y)、Bi
(x,y)は画像ファイルiのRGB成分である。このようにし
て第4合成部1502は、すべての画像ファイルに対してス
テップS1602からステップS1612の処理を行って第4合成
処理を終了する（ステップS1612）。第4合成処理の終了
後には、OSDプレーン1501に静止画像のコンポーネント
をすべて合成した結果が保持され、ビデオプレーン106
の合成α値の領域に動画像のコンポーネントの合成α値
が保持されることとなる。

【００８４】第5合成部1503は、制御部1500から通常の
再生指示を受けるとビデオプレーン106に保持されるR、
G、B成分を出力部111に出力する。また第5合成部1503
は、制御部1500からEPG表示の指示を受けると、ビデオ
プレーン106に記憶される動画像データのR、G、B成分及
び合成α値とOSDプレーン1501に記憶される第4合成画像
データのRGB成分とを合成する第5合成を行って、結果の
合成画像を出力部111に出力する。

【００８５】第5合成処理は次の式によって表される。

【００８６】

【数11】

【００８７】ここにおいてR(x,y)、G(x,y)、B(x,y)は、
第5合成の結果、出力部111に出力される各ピクセルの
R、G、B成分であり、α(x,y)、R_v(x,y)、G_v(x,y)、B
_v(x,y)は、ビデオプレーン106に格納されている動画像
データの合成α値及びR、G、B成分であり、Ro(x,y)、Go
(x,y)、Bo(x,y)は第4合成画像データのR、G、B成分であ
る。

【００８８】このように第5合成部1503は、フレームが
更新される度に第4合成画像データとの合成を行う。 ＜動作＞以上のように構成された画像合成装置200につ
いて以下にその動作を説明する。

【００８９】図16は、本実施形態の画像合成装置200のE
PG表示時における動作の流れを説明する図である。同図
において矩形の内容は各構成部の動作を示し、矢印はデ
ータの流れを示す。なお、同図において図10と同じステ
ップ番号における動作は、図10のものと同じ動作である
ことを意味する。入力部101が、EPG表示の指示を受け付
けると（ステップS1001）、制御部1500を通じてその指
示が各部に伝えられる。その指示を受けたEPG生成部103
は、放送されてくるEPG情報を基に画像ファイル及びイ
ンデックスファイルを生成して画像保持部104に格納す
る。さらにEPG生成部103は、画像ファイル生成時に取得
した動画像コンポーネントの表示位置及び表示サイズを
ビデオ再生部105に通知する（ステップS1002）。

【００９０】第4合成部1502は、画像保持部104に格納さ
れる静止画像コンポーネントどうしの重ね合わせ範囲内
のRGB成分を合成し、OSDプレーン1501に格納する。また
第4合成部1502は、動画像用の合成α値を算出してビデ
オプレーン106に格納する（ステップS1701）。ビデオ再
生部105は、動画像を再生し、EPG生成部103より通知さ
れた表示サイズ及び表示位置が示すレイアウトで動画像
データをビデオプレーン106に格納する（ステップS100
5）。

【００９１】第5合成部1503は、動画像コンポーネント
のRGB成分を合成α値で重み付け、それに第4合成画像デ
ータのRGB成分を加算し、加算後に得られる合成画像のR
GB成分を出力部111に出力する(ステップS1702)。出力部
111は、第5合成部1503からの合成画像のRGB成分を表示
する（ステップS1007） 同図においてステップS1702の処理は、ステップS1005、
ステップS1701と並行して行われる。 ＜補足説明＞本実施形態で示す合成方法は、図17に示す
ように、隣り合う２枚のコンポーネントの重ね合わせ順
序を入替えて合成する。このとき入替え前の合成結果と
入替え後の合成結果とが同じになるように、入替え後の
２枚のコンポーネントのα値を図15のステップS1607、S
1608に示す式で更新する。

【００９２】すなわち、入替え後の２枚のコンポーネン
トのうち下位層のコンポーネントiのα値をαi+1'、上
位層のコンポーネントi+1のα値をαi'とすると、それ
ぞれのα値は次式（数12）で表される。

【００９３】

【数12】

【００９４】ここで（数12）は以下のようにして求めら
れる。入替え前のコンポーネントi及びコンポーネントi
+1のα値をそれぞれαi、αi+1とすると、最終的な合成
画像に対するコンポーネントi及びコンポーネントi+1そ
れぞれの貢献度βi及びβi+1は(数7)より

【００９５】

【数13】

【００９６】となる。一方、最終的な合成画像に対する
入替え後のコンポーネントi+1及びコンポーネントiそれ
ぞれの貢献度β_i+1'及びβ_i'を(数7)を用いて表すと、

【００９７】

【数14】

【００９８】となる。入替え前と入替え後とで合成結果
が同じになるためには、(数13)と(数14)とにおいてと
、とがそれぞれ同値になればよい。すなわち

【００９９】

【数15】

【０１００】これらの式をα_i'、α_i+1'について解く
と、（数12）が得られる。この法則を利用し、図18に示
すように動画像のコンポーネントが最上位層にくるよう
に静止画像のコンポーネントと入替えていくことによ
り、静止画像コンポーネントすべてを動画像コンポーネ
ントよりも先に合成し、最後に動画像を合成することを
実現している。

【０１０１】第4合成部1502は、隣り合うコンポーネン
トの入替えに必要なα値の計算とOSDプレーン1501への
合成を図15のフローチャートに示したように、効率的に
行っている。第5合成部1503は、OSDプレーン1501とビデ
オプレーン106との合成を行っている。 ＜実施形態3＞ ＜構成＞図19は、本発明の実施形態3に係る画像合成装
置の構成を示すブロック図である。

【０１０２】同図において画像合成装置300は、入力部1
01、制御部2000、EPG生成部2003、画像保持部104、ビデ
オ再生部2001、ビデオプレーン2002、OSDプレーン107、
第6合成部2004、第7合成部2005、第8合成部2006及び出
力部111から構成される。この構成により画像合成装置3
00は、複数の動画像コンポーネントと複数の静止画像コ
ンポーネントとの合成を行う。これらの構成要素のう
ち、画像合成装置100及び画像合成装置200と同じ符号の
ものは機能が同じであるので説明を省略し、異なる符号
のものを中心に説明する。

【０１０３】制御部2000は、画像合成装置300の構成要
素全てを制御する。より具体的には、画像合成装置300
のオンが指示されると、ビデオ再生部2001に放送番組を
再生させる。チャンネル切替えが指示されると、ビデオ
再生部2001に現在再生中のものとは別の放送番組を再生
させる。EPG表示のオンが指示されると、EPG生成部200
3、ビデオ再生部2001、第6合成部2004、第7合成部2005
及び第8合成部2006等を制御して合成画像を生成させ
る。

【０１０４】ビデオ再生部2001は、内部に複数の再生
部、すなわち第1再生部、第2再生部、...、第N再生部を
有し、各再生部がそれぞれ放送局からの放送番組を受信
して復号等を行って、数十フレーム/秒の動画像を再生
し、その動画像データをビデオプレーン2002にフレーム
単位で上書き更新しながら格納する。格納の際、ビデオ
再生部2001は、EPG再生部2003より入力される表示位置
及び表示サイズに基づいて最終的な合成画像に対する動
画像のレイアウトを確定し、ビデオプレーン2002上の当
該配置に対応する領域に映像のR、G、B成分を格納す
る。

【０１０５】ビデオプレーン2002は、内部に複数のプレ
ーン、すなわち第1プレーン、第2プレーン、...、第Nプ
レーンを有し、各プレーンはメモリ等から構成され、そ
れぞれがビデオ再生部2001の複数の再生部に対応し、再
生部より格納される動画像データと、第7合成部2005よ
り格納される合成α値とを保持する。EPG生成部2003
は、複数の動画像コンポーネントと静止画像コンポーネ
ントとからなるEPG表示のためのEPG情報を放送局より取
得し、EPG情報に基づいて複数の画像ファイルと1つのイ
ンデックスファイルとを生成し、画像保持部104に格納
する。またEPG情報からEPG表示画面を構成する複数の動
画像コンポーネントの表示サイズ及び表示位置を抽出
し、ビデオ再生部2001に出力する。

【０１０６】EPG生成部2003は、複数の動画像コンポー
ネントに対応していること以外は、EPG生成部103と同様
である。第6合成部2004は、画像保持部104に保持されて
いる複数の画像ファイルの画像データを合成して第6合
成画像データを生成し、OSDプレーン107に格納する。こ
の処理を第6合成処理と呼ぶ。この処理は、実施形態1の
図8に示す第1合成処理とほぼ同様で、ただし、ステップ
S806の処理を複数の動画像に対応して複数回行うところ
が実施形態1とは異なっている。

【０１０７】第7合成部2005は、制御部2000から指示を
受けると、複数の動画像コンポーネントそれぞれのため
の合成α値を算出し、ビデオプレーン2002のそれぞれ対
応するプレーンに格納する第7合成処理を行う。図20
は、第7合成の処理手順を示すフローチャートである。
まず、第7合成部2005は、ビデオプレーン2002の合成α
値の領域を初期化する（ステップS2100）。具体的には
ビデオプレーン2002の各プレーンにおける全ピクセルの
合成α値用の領域に0をセットする。この合成α値の領
域は、最終的に合成α値を保持することとなる。

【０１０８】次に、第7合成部2005は、ステップS2101か
らS2107の処理を繰り返す。まず第7合成部2005は、画像
保持部104のインデックスファイルから画像情報iを読み
出す（ステップS2101）。ここでiは、本フローチャート
において便宜的に下位層から上位層のコンポーネントへ
と順番に0,1,2,...というように昇順にコンポーネント
に割り振った番号を示す変数であり、コンポーネントi
に対応する画像情報及び画像ファイルをそれぞれ画像情
報i及び画像ファイルiと呼ぶこととする。本フローチャ
ートにおいてiの初期値は0、増分は１とする。

【０１０９】次に第7合成部2005は、画像情報iに示され
る格納位置に格納された画像ファイルを画像保持部104
より取り出す（ステップS2102）。第7合成部2005は、画
像ファイルiの表示サイズ及び表示位置を読み出し、当
該画像ファイルのコンポーネントiの画面上での重ね合
わせ範囲を設定する（ステップS2103）。

【０１１０】第7合成部2005は、画像情報iに示される画
像種別が動画像であるか静止画像であるかを判別する
（ステップS2104）。判別の結果、動画像である場合、
第7合成部2005は、画像ファイルiのα値をビデオプレー
ン2002の第kプレーンのα値の領域に複写する（ステッ
プS2105）。これを式にすると（数16）となる。

【０１１１】

【数16】

【０１１２】（数16）においてβ_k(x,y)はビデオプレー
ン2002の第kプレーンの合成α値の領域に格納される値
を示し、α_i(x,y)は画像ファイルiのα値である。このk
の値は1からNの値をとり、ステップS2105の処理が繰り
返される度に１ずつインクリメントされる。その後、第
7合成部2005は、第kプレーン以外の第mプレーンの合成
α値の領域に対して、

【０１１３】

【数17】

【０１１４】の計算を行ってβ_m(x,y)の値を更新する。
ここでβ_m(x,y)は、第mプレーンの合成α値の領域に格
納される値を示し、mはkを除く1からNの値をとる（ステ
ップS2106）。すなわちステップS2105及びステップS210
6の演算は、（数7）のの演算と同等であり、最終的な
合成結果の画像に対する各動画像コンポーネントの合成
比率、すなわち合成α値を算出している。

【０１１５】このようにして、第7合成部2005は、すべ
ての画像ファイルについて処理を行ったら第7合成処理
を終了する（ステップS2107）。その結果、ビデオプレ
ーン2002の各プレーンには、それぞれの動画像コンポー
ネント用の合成α値が格納される。第8合成部2006は、
制御部2000からEPG表示の指示を受けると、ビデオプレ
ーン2002の各プレーンとOSDプレーン107との各RGB成分
を合成する第8合成処理を行い、結果の合成画像を出力
部111に出力する。

【０１１６】動画像コンポーネントがN枚ある場合、第8
合成部2006による合成は次式で表される。

【０１１７】

【数18】

【０１１８】ここにおいてR(x,y)、G(x,y)、B(x,y)は、
出力部111に出力される各ピクセルのR、G、B成分であ
り、β₁(x,y)、R_v1(x,y)、G_v1(x,y)、B_v1(x,y)は、ビデ
オプレーン2002の第1プレーンに格納されている動画像
データの合成α値及びRGB成分であり、β₂(x,y)、R
_v2(x,y)、G_v2(x,y)、B_v2(x,y)は、ビデオプレーン2002
の第2プレーンに格納されている動画像データの合成α
値及びRGB成分であり、β_N(x,y)、R_vN(x,y)、G_vN(x,
y)、B_vN(x,y)は、ビデオプレーン2002の第Nプレーンに
格納されている動画像データの合成α値及びRGB成分で
あり、R_o(x,y)、G_o(x,y)、B _o(x,y)はOSDプレーン107に
格納されているRGB成分である。 ＜動作＞以上のように構成された画像合成装置300は、
図10に示す画像合成装置100の動作の流れとほぼ同じで
ある。

【０１１９】ただし以下の点で異なっている。すなわち
ステップS1002の処理をEPG生成部2003が行い、EPG生成
部2003は、１つの動画像コンポーネントのではなく複数
の動画像コンポーネントの表示位置及び表示サイズをビ
デオ再生部2001に通知する。またステップS1003の処理
を第6合成部2004が行う。

【０１２０】またステップS1004の処理を第7合成部2005
が行い、第7合成部2005は、複数の動画像コンポーネン
トそれぞれに対応する合成α値を算出してビデオプレー
ン2002に格納する。またステップS1005の処理をビデオ
再生部2001が行い、ビデオ再生部2001は、複数の動画像
を再生してビデオプレーン2002に格納する。

【０１２１】さらにステップS1006の処理を第8合成部20
06が行い、第8合成部2006は、複数の動画像コンポーネ
ントのRGB成分をそれぞれの合成α値で重み付けた値
と、第6合成画像データのRGB成分とを加算し、加算後に
得られる合成画像のRGB成分を出力部111に出力する(ス
テップS1006)。このようにして第8合成部2006は、停止
の指示があるまでビデオプレーン2002の各プレーンとOS
Dプレーン107とを合成して出力しつづけ、ビデオ再生部
2001、第6合成部2004及び第7合成部2005の処理と並行し
て処理を行う。 ＜実施形態4＞ ＜構成＞図21は、本発明の実施形態4に係る画像合成装
置の構成を示すブロック図である。

【０１２２】同図において画像合成装置400は、入力部1
01、制御部4102、EPG生成部4103、画像保持部4104、ビ
デオ再生部105、ビデオプレーン106、OSDプレーン107、
第9合成部4108、第10合成部4109、第3合成部110、出力
部111から構成され、ポーターダフ演算を用いた画像合
成を行う。ポーターダフ演算については、例えば、T.Po
rter および T. Duff 共著の『Compositing Digital Im
ages』(SIGGRAPH 84,253〜259)に記述されている。な
お、本実施形態においても、必要に応じて図2（a）
（b）を使って説明するものとする。

【０１２３】ここでポーターダフ演算について簡単に説
明しておく。ポーターダフ演算は、ソースのピクセルと
デスティネーションのピクセルとを結合するための１２
種類の演算規則を規定したものである。ソースのピクセ
ルとデスティネーションのピクセルは、RGB成分とα値
とを持つ。ただしこのα値の定義は、実施形態1〜３の
α値とは異なる。実施形態１〜３で使用されるα値は、
２つの画像間に定義されるものであったのに対し、本実
施形態のポーターダフ演算に使用されるα値は、各画像
に対してα値が定義されている。ポーターダフ演算で
は、α値を持つ２つの画像を合成演算した結果の画像も
α値を持つ。この合成結果の画像を、実際に画面に表示
する場合、当該画像のRGB値にα値をかけ合わせた値が
出力される。

【０１２４】本実施形態の画像合成装置400は、１２種
類の演算規則のうち有用な８種類の演算を用いて画像合
成を行う。8種類の演算規則は、「CLEAR」、「SRC」、
「SRC#OVER」、「DST#OVER」、「SRC#IN」、「DST#I
N」、「SRC#OUT」及び「DST#OUT」である。「CLEAR」
は、デスティネーションのRGB成分及びα値の両方をク
リアする。ソースとデスティネーションのどちらも入力
として使用されない。本実施形態においてはデスティネ
ーションはOSDプレーン107に保持されている画像に相当
し、ソースは画像ファイルiの画像に相当する。

【０１２５】「SRC」は、ソースをデスティネーション
にコピーする。「SRC#OVER」は、ソースをデスティネー
ションの上に重ね合わせる。「DST#OVER」は、デスティ
ネーションをソースの上に重ね合わせ、その結果生成さ
れたRGB成分によりデスティネーションを置き換える。
「SRC#IN」は、デスティネーションと重なり合うソース
部分によりデスティネーションを置き換える。

【０１２６】「DST#IN」は、ソースと重なり合うデステ
ィネーション部分によりデスティネーションを置き換え
る。「SRC#OUT」は、デスティネーションとは重ならな
いソース部分によりデスティネーションを置き換える。
「DST#OUT」は、ソースとは重ならないデスティネーシ
ョン部分によりデスティネーションを置き換える。以
下、他の実施形態とは異なる符号の構成要素について説
明する。

【０１２７】制御部4102は、画像合成装置400の構成要
素全てを制御する。より具体的には、画像合成装置400
のオンが指示されると、ビデオ再生部105に放送番組を
再生させる。チャンネル切替えが指示されると、ビデオ
再生部105に現在再生中のものとは別の放送番組を再生
させる。EPG表示のオンが指示されると、EPG生成部410
3、ビデオ再生部105、第9合成部4108、第10合成部4109
及び第3合成部110等を制御して合成画像を生成させる。

【０１２８】EPG生成部4103は、実施形態1と同様に、放
送局より放送されるEPG情報を取得して保持し、EPG情報
に基づいて複数の画像ファイルと1つのインデックスフ
ァイルとを生成し、画像保持部4104に格納する。さらに
EPG生成部4103は、EPG情報からEPG表示画面を構成する
動画像のコンポーネントの表示サイズ及び表示位置を抽
出し、ビデオ再生部105に出力する。

【０１２９】画像保持部4104は、複数の画像ファイルと
１つのインデックスファイルとを保持する。インデック
スファイルは、複数の画像ファイルを管理するためのも
ので、複数の画像情報から構成される。１つの画像情報
が１つの画像ファイルに対応している。複数の画像情報
は、インデックスファイル内においてコンポーネントの
重ね合わせ順序と同じ順序に配列される。画像情報は、
画像種別と演算種別と格納位置とから構成される。画像
種別は、画像ファイルの画像が静止画像であるか動画像
であるかを示す。演算種別は、ポータダフに規定される
１２種類の演算のうち、どの演算を用いるかを表す。格
納位置は、画像保持部4104における画像ファイルの先頭
の位置を示す。

【０１３０】図22（a）は、インデックスファイルの一
例を示す。同図のインデックスファイル4410は、画像情
報4421、4422及び4423から構成され、同順にコンポーネ
ントの重ね合わせ順序を表す。すなわち画像情報4421が
最下位層のコンポーネントに対応し、画像情報4422がそ
の次の層のコンポーネントに対応し、画像情報4423が最
上位層のコンポーネントに対応する。列411側の値は、
コンポーネントの画像種別を示し、「0」が静止画像、
「1」が動画像を示す。列413の値は演算種別を示す。列
413に入り得る値と演算種別との関係を図1３（ｂ）に示
す。例えば行4４２２列４１３に格納されている「３」
は演算「ＳＲＣ ＯＶＥＲ」を、行4４２３列４１３、
行4４２１列４１３に格納されている「２」は演算「Ｓ
ＲＣ」を表す。列412側の値は、画像ファイルの格納位
置を示す。

【０１３１】また画像430、440、450は、それぞれコン
ポーネント202、203、204に対応し、それぞれの画像フ
ァイル中の画像データをイメージ的に示したものであ
る。ここにおいて画像440は、コンポーネント203に対応
する画像データの全てのRGB成分が0であることを示して
いる。ポーターダフ演算では、全ての画像に対してα値
がセットされるため、画像４３０は一番下のコンポーネ
ントであるが、各ピクセルに対して任意のα値がセット
される。

【０１３２】画像保持部4104は、複数の画像ファイルと
１つのインデックスファイルとを保持する。第9合成部4
108は、制御部4102から指示を受けると、画像保持部410
4に保持されている複数の画像ファイルの画像データを
合成して第9合成画像データを生成しOSDプレーン107に
格納する。この処理を第9合成処理と呼ぶ。

【０１３３】図23は、第9合成部4108による合成の手順
を示すフローチャートである。同図において、図8と同
じステップ番号のステップでは同じ処理が行われる。以
下、図8とは異なるステップ番号の処理について説明す
る。 ステップS4802：第9合成部4108は、画像情報iに示され
る格納位置に格納された画像ファイルi及び画像情報iに
示される演算種別を読み出す。

【０１３４】ステップS4805：ステップS4802で読み出し
た演算種別に応じて、ピクセル単位に図24に示すポータ
ーダフアルファ合成演算を行う。 ステップS4806：動画像のRGB成分を０とおいて、演算種
別に応じて、ピクセル単位に図25に示す演算を行う。 ステップS4807：演算種別に応じて、ピクセル単位に図2
6に示すα値の計算を行う。

【０１３５】なお、図24、図25、図26はポーターダフ演
算の中で意味があるといわれている８演算のみについて
式を示している。第10合成部4109は、制御部4102から指
示を受けると、画像保持部4104に格納されている画像デ
ータからＯＳＤプレーン１０７に対するビデオプレーン
１０６のα値を生成し、ビデオプレーン１０６に格納す
る。

【０１３６】図27は、第10合成部4109による合成の手順
を示すフローチャートである。同図において、図9と同
じステップ番号のステップでは同じ処理が行われる。よ
って以下、図9とは異なるステップ番号の処理について
説明する。 ステップS1202：第10合成部4109は、画像情報iに示され
る格納位置に格納された画像ファイルi及び画像情報iに
示される演算種別を読み出す。

【０１３７】ステップS4905：第10合成部4109は、演算
種別に応じて、ピクセル単位に図28に示す演算を行う。
基本的に、動画像の上に静止画像が描画されるので、動
画像の成分が弱められる事になる。図28の表中、αはビ
デオプレーン１０６の各ピクセルの合成α値、α_iは、
取り出した画像ファイルのビデオプレーン１０６上に重
ね合わせられる各ピクセルのα値であり、これらのα値
は理論上０から１の間を取る。実際の実現方法として、
α値が０〜２５５や０〜１５などの値で表現する。

【０１３８】ステップS4906：第10合成部4109は、演算
種別に応じて、ピクセル単位に図29に示す演算を行う。
なお、第9合成部4108と第10合成部4109は同期して動作
する。ステップＳ1202、Ｓ903、Ｓ904、Ｓ907はステッ
プＳ4802、Ｓ803、Ｓ804、Ｓ807の処理結果をそのまま
利用して同期をとってもよい。また、ステップＳ4905及
びステップＳ4906は、ステップＳ807の前に終了しなけ
ればならない。

【０１３９】以上のような構成により画像合成装置400
は、ポーターダフ演算による画像合成を行うことがで
き、実施形態1と同様にメモリを小さくし、乗算回数を
少なくすることができる。図30は、本実施形態の演算を
Ｃ言語風に記述したプログラムである。このプログラム
は１つのピクセルだけに焦点をあてている。Ｒ，Ｇ，
Ｂ、αはＯＳＤプレーン上の１つのピクセルのＲ，Ｇ，
Ｂ、α値を表し，α_vはこのピクセルに対応するビデオ
プレーンの合成α値を表す。

【０１４０】１行目から５行目までが初期化処理であ
る。８、１１、１４行目が第9合成部4108が受け持つ演
算である。９、１２行目が第10合成部4109が受け持つ演
算で、動画像の貢献度（β値）、すなわち合成α値を計
算している。１６，１７，１８行目が第３合成部１１０
が受け持つ演算である。ここで１６，１７，１８行目は
別のスレッドで平行して行い、永久ループしていてもよ
い。ここで８行目の具体的な演算は図25で示され、１１
行目の具体的な演算は図24で示される。また、９行目の
具体的な演算は図29で示され、１２行目の具体的な演算
は図28で示される。ここで図28のαは図30中のα_vに相
当する。１４行目の具体的な演算は図26で示される。

【０１４１】以上のように、実施形態4の画像合成装置4
00は、各画像に定められたポーターダフ演算の演算種別
に応じて、複数の静止画像の合成と動画像の合成比率の
算出と行い、その後、演算種別に応じて動画像の各フレ
ームと合成された静止画像との合成を行う。これにより
動画像のフレームが更新される度に、複数の静止画像と
動画像のフレームとの合成を行う必要がなくなり、計算
にかかる負荷が軽くなり、処理速度も速くなる。処理速
度が速くなる結果、動画像の再生レートに合わせてリア
ルタイムに画像を合成して表示することができる。さら
にリアルタイムで合成を行えることにより、フレームバ
ッファに１つのフレームの画像が展開される度に当該フ
レームの画像と合成された静止画像との合成を行うの
で、動画像のフレーム展開用のフレームバッファの容量
を小さくすることができるという効果がある。

【０１４２】以上、本発明の画像合成装置について実施
形態に基づいて説明したが、本発明は上記実施形態に限
らない。すなわち、 （１）実施形態１、２において、動画像コンポーネント
の合成α値は、ビデオプレーン106、1501に保持される
が、動画像コンポーネントが１つの場合、OSDプレーン1
07、1501に保持されるよう構成してもよい。 （２）実施形態１〜４において、メモリ等においてピク
セルデータは、R、G、B、αの順に格納されているが、
この順に限らず、例えばα、R、G、Bの順やα、B、G、R
の順等で格納されてもよい。またピクセル毎ではなく、
R、G、B、αの各成分毎に全ピクセルに対する値が格納
されてもよい。 （３）R、G、B、αのデータ長は各１バイト、つまりR、
G、Bは０から２５５の２５６階調であり、合計で約１６
７０万色を表現できる。しかしR、G、B、αのデータ長
を各４ビットで表現した、いわゆるハイカラーにしても
よい。 （４）実施形態１〜４においてRGB成分のかわりにYUV成
分を用いてもよい。 （５）画像保持部104、4104は、静止画像コンポーネン
トの画像データとして、ピクセルデータを保持するが、
ベクタデータ、すなわち数式や直線、点、円などの図形
要素によって構成されるデータを保持し、第1合成部108
が画像データどうしの合成を行う際にピクセルデータに
展開するよう構成してもよい。この構成により、画像保
持部104、4104のメモリ容量をより小さくすることがで
きる。 （６）画像合成装置100、200、300及び400の各構成要素
の動作手順を、汎用のコンピュータ又はプログラム実行
機能を有する機器等に実行させるためのコンピュータプ
ログラムにしてもよい。

【０１４３】特に実施形態4の画像合成装置400に対応す
るコンピュータプログラムは、ポーターダフの８種類の
演算に対応する８種類の演算器を不要にし、当該コンピ
ュータプログラムを実行する１つのプロセッサに８種類
全ての演算を行わせることができるという効果がある。
またこのコンピュータプログラムを、記録媒体に記録し
又は各種通信路等を介して、流通させ頒布することもで
きる。このような記録媒体にはICカード、光ディスク、
フレキシブルディスク、ＲＯＭ等がある。 （７）第3合成部110は、ビデオ再生のフレーム毎に上述
の加算処理を行うよう構成されており、すなわちフレー
ムの再生と同期して加算処理を行うよう構成されている
が、同期させる必要はなく、非同期に加算処理を行うよ
う構成されていてもよい。第5合成部1503及び第8合成部
2006についても同様である。

【０１４４】

【発明の効果】本発明の画像合成装置は、動画像と複数
の静止画像とを合成して合成画像を生成する画像合成装
置であって、画像合成順序を含む合成情報であって、前
記合成画像に対する合成前の各画像の合成比率を求める
ための前記合成情報と前記複数の静止画像とを取得する
第1取得手段と、前記合成情報に基づいて前記複数の静
止画像を合成して１つの合成静止画像を生成する第1合
成手段と、前記合成情報に基づいて前記合成画像に対す
る前記動画像の合成比率を求める算出手段と、前記動画
像を構成する各フレームを取得する第2取得手段と、前
記動画像の合成比率を用いて前記各フレームと前記合成
静止画像とを合成する第2合成手段とを備えることを特
徴とする。

【０１４５】この構成によれば本発明の画像合成装置
は、先に複数の静止画像の合成と動画像の合成比率の算
出を行っておいてから、動画像の各フレームとの合成を
行うので、従来のようにフレーム毎に複数の静止画像と
動画像の合成を毎回行う必要がなく計算にかかる負荷が
軽く処理速度も速くなる。さらに処理速度が速くなる結
果、動画像の再生レートに合わせてリアルタイムで画像
を合成して表示することができる。

【０１４６】前記合成情報は、さらに、前記各画像につ
いて、当該画像に対応する係数と当該係数を用いた合成
演算を示す演算情報とを含むことを特徴とする。この構
成によれば、画像合成装置は、上記効果に加えて、係数
と演算情報とが規定された複数の静止画像と動画像とを
合成することができる。前記画像合成装置は、画像を格
納するための第1フレームバッファと、前記動画像を構
成する各フレームを格納するための第2フレームバッフ
ァとを有し、前記第1合成手段は、前記第1取得手段によ
り取得された複数の静止画像を前記画像合成順序に従っ
て読み出し、前記係数と前記演算情報とを用いて前記第
1フレームバッファの記憶内容と読み出された各画像と
の合成を行い、その合成の結果で前記第1フレームバッ
ファの記憶内容を置き換え、前記第2取得手段は、取得
した前記各フレームを前記第2フレームバッファに格納
し、前記第2合成手段は、前記第2フレームバッファに格
納された各フレームと前記第1フレームバッファの記憶
内容とを前記動画像の合成比率を用いて合成し、前記第
2フレームバッファに格納する。

【０１４７】この構成によれば、画像合成装置は、第1
フレームバッファと第2フレームバッファという２つの
フレームバッファのみで複数の静止画像及び動画像の合
成を行うことができる。前記第1合成手段は、前記画像
合成順序において前記動画像の１つ前の静止画像の合成
後、かつ動画像の１つ後の静止画像の合成前に、前記動
画像に対応する係数及び演算情報を用いて、前記第1フ
レームバッファに記憶される画像に対する合成演算を行
い、前記合成演算の結果で前記第1フレームバッファの
内容を置き換える。

【０１４８】この構成によれば、間に動画像が入った複
数の静止画像及び動画像の合成を、正確な合成比率によ
り合成することができる。前記画像合成装置は、画像表
示用の画面を有し、前記第1合成手段による合成、前記
第2取得手段による取得及び前記第2合成手段による合成
は、並行して行われ、前記第2フレームバッファは、前
記第2合成手段による合成結果の格納と同時に前記画面
への出力を行う。

【０１４９】この構成によれば、合成途中の状態が画面
に表示されるので、合成が終了するまで何も表示されな
いという状態をなくすことができる。前記合成情報は、
さらに、前記複数の画像それぞれについて、当該画像と
当該画像以外の画像との合成結果に対する合成比率を示
す合成係数を含むことを特徴とする。

【０１５０】この構成によれば、画像合成装置は、複数
の画像それぞれと他の画像との合成比率と、重ね合わせ
順序とが規定された複数の静止画像及び動画像を合成す
ることができる。前記画像合成順序は画像を重ね合わせ
る順序を表し、前記合成係数は、前記複数の画像それぞ
れについて、前記画像合成順序における最背面の画像か
ら当該画像までの合成結果に対する当該画像の合成比率
を表すアルファ値であり、前記算出手段は、前記動画像
と前記動画像より前面に位置する画像全てとに対応する
アルファ値とから、前記合成画像に対する前記動画像の
合成比率を算出する。

【０１５１】この構成によれば、画像合成装置は、アル
ファ値と重ね合わせ順序とが規定された静止画像及び動
画像を合成することができる。アルファ値が規定された
画像は、全体の画像に対する合成比率が予め規定された
画像と比べると、柔軟にレイアウト変更できるという利
点がある。よってアルファ値を用いた画像合成を行う画
像合成装置は、多様なレイアウトのEPG表示に対応でき
るという効果がある。

【０１５２】前記画像合成装置は、さらに、前記重ね合
わせ順序において隣り合う２つの画像の順序を入替える
入替え手段と、入替え後と入替え前とで、合成が行われ
た場合の合成結果が互いに同じになるよう、入替え後の
２つの画像に対応するアルファ値を求めて更新する更新
手段とを備え、前記第1合成手段、前記算出手段及び前
記第2合成手段は、前記入替え手段による入替え後の順
序と前記更新手段による更新後のアルファ値とを用いて
各処理を行う。

【０１５３】この構成によれば複数の画像の順番を入替
えても、正確な合成比率による画像合成が可能となる。
またこの構成を利用して、中間層に位置する動画像を上
位層に位置するよう入替えれば、最下位層から順に複数
の静止画像を先に合成し、最後に動画像を合成するとい
う手順により合成が行えることとなり、計算量が少な
く、負荷が軽くなる。

【０１５４】前記画像合成装置は、前記第1取得手段が
取得する前記複数の静止画像を記憶するための記憶部を
有し、前記複数の静止画像それぞれは、前記合成画像と
同じか又は少ない画素数の画像データと、当該画素デー
タの前記合成画像上でのレイアウトを示すレイアウト情
報とからなり、前記第1合成手段、前記算出手段及び前
記第2合成手段は、前記レイアウト情報より定まる前記
各画像どうしの重ね合わせ部分についてそれぞれの処理
を行う。

【０１５５】前記画像合成装置は、前記第1取得手段が
取得する前記複数の静止画像を記憶するための記憶部を
有し、前記複数の静止画像それぞれは、ベクタデータ形
式で表され、前記第1合成手段は、ベクタデータを画素
データに変換してから合成を行う。この構成によれば、
静止画像のデータをピクセルデータよりもデータ量の小
さいベクタデータとするので、メモリ容量がさらに小さ
くなる。

【０１５６】本発明の画像合成装置は、複数の動画像と
複数の静止画像とを合成して合成画像を生成する画像合
成装置であって、画像合成順序を含む合成情報であっ
て、前記合成画像に対する合成前の各画像の合成比率を
求めるための前記合成情報と前記複数の静止画像とを取
得する第1取得手段と、前記合成情報に基づいて前記複
数の静止画像を合成して１つの合成静止画像を生成する
第1合成手段と、前記合成情報に基づいて前記合成画像
に対する前記複数の動画像それぞれの合成比率を求める
算出手段と、前記複数の動画像それぞれを構成する各フ
レームを取得する第2取得手段と、前記複数の動画像そ
れぞれの合成比率を用いて、前記複数の動画像それぞれ
の各フレームと前記合成静止画像とを合成する第2合成
手段とを備える。

【０１５７】この構成によれば、複数の動画像と複数の
静止画像との合成を計算量少なくすることができる。ま
た、本発明の画像合成装置は、動画像と複数の静止画像
とを合成して合成画像を生成する画像合成装置であっ
て、前記複数の静止画像を取得する第1取得手段と、前
記複数の静止画像を合成して１つの合成静止画像を生成
する第1合成手段と、前記動画像を構成する各フレーム
を取得する第2取得手段と、前記動画像を構成する各フ
レームと前記合成静止画像とを合成する第2合成手段と
を備える。

【０１５８】この構成によれば、表示画面と同じ画素数
に相当する静止画像用のメモリを静止画像の枚数分用意
する必要がないので、メモリ容量を小さくできる。また
この構成によれば、複数の静止画像を先に合成し、後に
動画像を合成するので、動画像のフレーム単位に毎回複
数の静止画像と動画像の合成を行う必要がなく、計算量
が少なくなる。

【図面の簡単な説明】

【図1】本発明の実施形態1に係る画像合成装置の構成を
示すブロック図である。

【図2】(a)は、合成画像201を示す。(b)は、合成画像20
1を構成するコンポーネントを示す。

【図3】画像ファイルの構造を説明するための図であ
る。

【図4】インデックスファイルの一例を示す。

【図5】動画像データの構造を示す。

【図6】動画像データ501のピクセルデータをイメージ的
に示す。

【図7】第1合成画像データのデータ構造を示す。

【図8】第1合成処理の処理手順を示すフローチャートで
ある。

【図9】第2合成の処理手順を示すフローチャートであ
る。

【図10】本実施形態の画像合成装置100のEPG表示時にお
ける動作の流れを説明する図である。

【図11】N+1枚の動画像コンポーネント又は静止画像コ
ンポーネントからなるコンポーネント群を示す。

【図12】本発明の演算をC言語風に記述したプログラム
である。

【図13】図12を変形させたプログラムを示す。

【図14】本発明の実施形態2に係る画像合成装置の構成
を示すブロック図である。

【図15】第4合成処理の処理手順を示すフローチャート
である。

【図16】本実施形態の画像合成装置200のEPG表示時にお
ける動作の流れを説明する図である。

【図17】隣り合う２枚のコンポーネントの重ね合わせ順
序を入替えを説明する図である。

【図18】動画像のコンポーネントが最上位層にくるよう
に静止画像のコンポーネントと入替える様子を示す。

【図19】本発明の実施形態3に係る画像合成装置の構成
を示すブロック図である。

【図20】第7合成の処理手順を示すフローチャートであ
る。

【図21】本発明の実施形態4に係る画像合成装置の構成
を示すブロック図である。

【図22】(a)は、インデックスファイルの一例を示す(b)
は、演算種別と番号との対応を示す。

【図23】第9合成部4108による合成の手順を示すフロー
チャートである。

【図24】演算種別に応じたポーターダフα合成演算を示
す。

【図25】演算種別に応じたポーターダフα合成演算を示
す。

【図26】演算種別に応じたポーターダフα合成演算を示
す。

【図27】第10合成部4109による合成の手順を示すフロー
チャートである。

【図28】演算種別に応じたポーターダフα合成演算を示
す。

【図29】演算種別に応じたポーターダフα合成演算を示
す。

【図30】本実施形態の演算をＣ言語風に記述したプログ
ラムである。

【図31】(a)は、OSDプレーン2502とビデオプレーン2501
の画像が合成されて合成画像2503が出力される様子を表
す概念図である。(b)は、静止画像及び動画像のコンポ
ーネントが重畳されている様子を示す。

【符号の説明】

100 画像合成装置 101 入力部 102 制御部 103 EPG生成部 104 画像保持部 105 ビデオ再生部 106 ビデオプレーン 107 OSDプレーン 108 第1合成部 109 第2合成部 110 第3合成部 111 出力部

Claims (21)

【特許請求の範囲】
1. 【請求項1】 動画像と複数の静止画像とを合成して合
   成画像を生成する画像合成装置であって、 画像合成順序を含む合成情報であって、前記合成画像に
   対する合成前の各画像の合成比率を求めるための前記合
   成情報と前記複数の静止画像とを取得する第1取得手段
   と、 前記合成情報に基づいて前記複数の静止画像を合成して
   １つの合成静止画像を生成する第1合成手段と、 前記合成情報に基づいて前記合成画像に対する前記動画
   像の合成比率を求める算出手段と、 前記動画像を構成する各フレームを取得する第2取得手
   段と、 前記動画像の合成比率を用いて前記各フレームと前記合
   成静止画像とを合成する第2合成手段とを備えることを
   特徴とする画像合成装置。
2. 【請求項2】 前記合成情報は、さらに、前記各画像に
   ついて、当該画像に対応する係数と当該係数を用いた合
   成演算を示す演算情報とを含むことを特徴とする請求項
   1に記載の画像合成装置。
3. 【請求項3】 前記画像合成装置は、 画像を格納するための第1フレームバッファと、 前記動画像を構成する各フレームを格納するための第2
   フレームバッファとを有し、 前記第1合成手段は、 前記第1取得手段により取得された複数の静止画像を前
   記画像合成順序に従って読み出し、前記係数と前記演算
   情報とを用いて前記第1フレームバッファの記憶内容と
   読み出された各画像との合成を行い、その合成の結果で
   前記第1フレームバッファの記憶内容を置き換え、 前記第2取得手段は、取得した前記各フレームを前記第2
   フレームバッファに格納し、 前記第2合成手段は、 前記第2フレームバッファに格納された各フレームと前
   記第1フレームバッファの記憶内容とを前記動画像の合
   成比率を用いて合成し、前記第2フレームバッファに格
   納することを特徴とする請求項2に記載の画像合成装
   置。
4. 【請求項4】 前記第1合成手段は、前記画像合成順序に
   おいて前記動画像の１つ前の静止画像の合成後、かつ動
   画像の１つ後の静止画像の合成前に、前記動画像に対応
   する係数及び演算情報を用いて、前記第1フレームバッ
   ファに記憶される画像に対する合成演算を行い、前記合
   成演算の結果で前記第1フレームバッファの内容を置き
   換えることを特徴とする請求項3に記載の画像合成装
   置。
5. 【請求項5】 前記画像合成装置は、画像表示用の画面
   を有し、前記第1合成手段による合成、前記第2取得手段
   による取得及び前記第2合成手段による合成は、並行し
   て行われ、 前記第2フレームバッファは、前記第2合成手段による合
   成結果の格納と同時に前記画面への出力を行うことを特
   徴とする請求項3に記載の画像合成装置。
6. 【請求項6】 前記合成情報は、さらに、前記複数の画
   像それぞれについて、当該画像と当該画像以外の画像と
   の合成結果に対する合成比率を示す合成係数を含むこと
   を特徴とする請求項1に記載の画像合成装置。
7. 【請求項7】 前記画像合成装置は、 画像を格納するための第1フレームバッファと、 前記動画像を構成する各フレームを格納するための第2
   フレームバッファを有し、 前記第1合成手段は、 前記第1取得手段により取得された複数の静止画像を前
   記画像合成順序に従って読み出し、前記合成係数を用い
   て前記第1フレームバッファの記憶内容と読み出された
   各画像との合成を行い、その合成の結果で前記第1フレ
   ームバッファの記憶内容を置き換え、 前記第2取得手段は、取得した前記各フレームを前記第2
   フレームバッファに格納し、 前記第2合成手段は、 前記第2フレームバッファに格納された各フレームと前
   記第1フレームバッファの記憶内容とを前記動画像の合
   成比率を用いて合成し、前記第2フレームバッファに格
   納することを特徴とする請求項6に記載の画像合成装
   置。
8. 【請求項8】 前記第1合成手段は、前記画像合成順序に
   おいて前記動画像の１つ前の静止画像の合成後、かつ動
   画像の１つ後の静止画像の合成前に、前記動画像に対応
   する合成係数を用いて、前記第1フレームバッファに記
   憶される画像に対する合成演算を行い、前記合成演算の
   結果で前記第1フレームバッファの内容を置き換えるこ
   とを特徴とする請求項7に記載の画像合成装置。
9. 【請求項9】 前記画像合成装置は、画像表示用の画面
   を有し、 前記第1合成手段による合成、前記第2取得手段による取
   得及び前記第2合成手段による合成は、並行して行わ
   れ、 前記第2フレームバッファは、前記第2合成手段による合
   成結果の格納と同時に前記画面への出力を行うことを特
   徴とする請求項7に記載の画像合成装置。
10. 【請求項10】 前記画像合成順序は画像を重ね合わせる
    順序を表し、前記合成係数は、前記複数の画像それぞれ
    について、前記画像合成順序における最背面の画像から
    当該画像までの合成結果に対する当該画像の合成比率を
    表すアルファ値であり、 前記算出手段は、前記動画像と前記動画像より前面に位
    置する画像全てとに対応するアルファ値から、前記合成
    画像に対する前記動画像の合成比率を算出することを特
    徴とする請求項6に記載の画像合成装置。
11. 【請求項11】 前記画像合成装置は、 画像を格納するための第1フレームバッファと、 前記動画像を構成する各フレームを格納するための第2
    フレームバッファとを有し、 前記第1合成手段は、 前記第1取得手段により取得された複数の静止画像から
    前記画像合成順序が示す最背景から最前景の方向へと順
    番に１つの静止画像を読み出し、前記アルファ値を用い
    て前記第1フレームバッファの記憶内容と読み出された
    各画像との合成を行い、その合成の結果で前記第1フレ
    ームバッファの記憶内容を置き換え、 前記第2取得手段は、取得した前記各フレームを前記第2
    フレームバッファに格納し、 前記第2合成手段は、 前記第2フレームバッファに格納された各フレームと前
    記第1フレームバッファの記憶内容とを前記動画像の合
    成比率を用いて合成し、前記第2フレームバッファに格
    納することを特徴とする請求項10に記載の画像合成装
    置。
12. 【請求項12】 前記第1合成手段は、前記画像合成順序
    において前記動画像の１つ前の静止画像の合成後、かつ
    動画像の１つ後の静止画像の合成前に、前記動画像のア
    ルファ値を用いて、前記第1フレームバッファに記憶さ
    れる画像に対する合成演算を行い、前記合成演算の結果
    で前記第1フレームバッファの内容を置き換えることを
    特徴とする請求項11に記載の画像合成装置。
13. 【請求項13】 前記画像合成装置は、画像表示用の画面
    を有し、 前記第1合成手段による合成、前記第2取得手段による取
    得及び前記第2合成手段による合成は、並行して行わ
    れ、 前記第2フレームバッファは、前記第2合成手段による合
    成結果の格納と同時に前記画面への出力を行うことを特
    徴とする請求項11に記載の画像合成装置。
14. 【請求項14】 前記画像合成装置は、さらに、 前記重ね合わせ順序において隣り合う２つの画像の順序
    を入替える入替え手段と、 入替え後と入替え前とで、合成が行われた場合の合成結
    果が互いに同じになるよう、入替え後の２つの画像に対
    応するアルファ値を求めて更新する更新手段とを備え、 前記第1合成手段、前記算出手段及び前記第2合成手段
    は、前記入替え手段による入替え後の順序と前記更新手
    段による更新後のアルファ値とを用いて各処理を行うこ
    とを特徴とする請求項10に記載の画像合成装置。
15. 【請求項15】 前記入替え手段は、 アルファ値がα[i]で前記順序が下位から数えてi番目の
    画像iと、アルファ値がα[i+1]で前記順序が下位から数
    えてi+1番目の画像i+1との順序を入替え、 前記更新手段は、入替え後にi番目となる画像i+1に対す
    るアルファ値をα[i]*(1-α[i+1])とし、入替え後にi+1
    番目となる画像iに対するアルファ値をα[i+1]／(1-α
    [i]*(1-α[i+1]))とすることを特徴とする請求項14に記
    載の画像合成装置。
16. 【請求項16】 前記画像合成装置は、 前記第1取得手段が取得する前記複数の静止画像を記憶
    するための記憶部を有し、 前記複数の静止画像それぞれは、前記合成画像と同じか
    又は少ない画素数の画像データと、当該画素データの前
    記合成画像上でのレイアウトを示すレイアウト情報とか
    らなり、 前記第1合成手段、前記算出手段及び前記第2合成手段
    は、前記レイアウト情報より定まる前記各画像どうしの
    重ね合わせ部分についてそれぞれの処理を行うことを特
    徴とする請求項1に記載の画像合成装置。
17. 【請求項17】 前記画像合成装置は、 前記第1取得手段が取得する前記複数の静止画像を記憶
    するための記憶部を有し、 前記複数の静止画像それぞれは、ベクタデータ形式で表
    され、 前記第1合成手段は、ベクタデータを画素データに変換
    してから合成を行うことを特徴とする請求項1に記載の
    画像合成装置。
18. 【請求項18】 複数の動画像と複数の静止画像とを合成
    して合成画像を生成する画像合成装置であって、 画像合成順序を含む合成情報であって、前記合成画像に
    対する合成前の各画像の合成比率を求めるための前記合
    成情報と前記複数の静止画像とを取得する第1取得手段
    と、 前記合成情報に基づいて前記複数の静止画像を合成して
    １つの合成静止画像を生成する第1合成手段と、 前記合成情報に基づいて前記合成画像に対する前記複数
    の動画像それぞれの合成比率を求める算出手段と、 前記複数の動画像それぞれを構成する各フレームを取得
    する第2取得手段と、 前記複数の動画像それぞれの合成比率を用いて、前記複
    数の動画像それぞれの各フレームと前記合成静止画像と
    を合成する第2合成手段とを備えることを特徴とする画
    像合成装置。
19. 【請求項19】 動画像と複数の静止画像とを合成して合
    成画像を生成する画像合成装置であって、 前記複数の静止画像を取得する第1取得手段と、 前記複数の静止画像を合成して１つの合成静止画像を生
    成する第1合成手段と、 前記動画像を構成する各フレームを取得する第2取得手
    段と、 前記動画像を構成する各フレームと前記合成静止画像と
    を合成する第2合成手段とを備えることを特徴とする画
    像合成装置。
20. 【請求項20】 動画像と複数の静止画像とを合成して合
    成画像を生成する処理をコンピュータに行わせるための
    プログラムを記録したコンピュータ読み取り可能な記録
    媒体であって、当該プログラムはコンピュータに、 画像合成順序を含む合成情報であって、前記合成画像に
    対する合成前の各画像の合成比率を求めるための前記合
    成情報と前記複数の静止画像とを取得する第1取得ステ
    ップと、 前記合成情報に基づいて前記複数の静止画像を合成して
    １つの合成静止画像を生成する第1合成ステップと、 前記合成情報に基づいて前記合成画像に対する前記動画
    像の合成比率を求める算出ステップと、 前記動画像を構成する各フレームを取得する第2取得ス
    テップと、 前記動画像の合成比率を用いて前記各フレームと前記合
    成静止画像とを合成する第2合成ステップとを実行させ
    ることを特徴とする記録媒体。
21. 【請求項21】 動画像と複数の静止画像とを合成して合
    成画像を生成する処理をコンピュータに実行させるため
    のプログラムであって、 画像合成順序を含む合成情報であって、前記合成画像に
    対する合成前の各画像の合成比率を求めるための前記合
    成情報と前記複数の静止画像とを取得する第1取得ステ
    ップと、 前記合成情報に基づいて前記複数の静止画像を合成して
    １つの合成静止画像を生成する第1合成ステップと、 前記合成情報に基づいて前記合成画像に対する前記動画
    像の合成比率を求める算出ステップと、 前記動画像を構成する各フレームを取得する第2取得ス
    テップと、 前記動画像の合成比率を用いて前記各フレームと前記合
    成静止画像とを合成する第2合成ステップとからなるプ
    ログラム。