JP2001119659A - 画像合成装置、画像合成方法および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像合成の過程において行っていた圧縮伸長
による画質の劣化なく、任意の数の画像を合成可能とす
る画像合成装置、画像合成方法および記録媒体を提供す
ること。 【解決手段】 画像データやデジタル映像のフレームデ
ータなどを保持するハードディスク（ＨＤＤ）１０１
と、ハードディスクインターフェイス部（ＨＤＤＩＦ
部）１０３と、データ伸長部１０５と、フレームスチル
を行うフレームスチル部１０７と、一フレーム分の画像
データを保持可能なフレームメモリ１０９と、画像を合
成するミキシング部１１５と、混合比を発生する混合比
発生部１１１と、複数の混合比の中から１つの混合比を
選択する混合比セレクタ１１３と、ＨＤＤ１０１に保持
されている画像データまたはフレームメモリ１０９に保
持されている合成画像データのいずれか一方を選択して
ミキシング部１１５に入力する入力セレクタ１１７と、
データ圧縮部１１９とを備えて構成されている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオ編集機等に
使用される画像合成装置、画像合成方法および該方法を
実行させるためのプログラムを記録した記録媒体に係
り、特に、複数の画像を合成する画像合成装置、画像合
成方法および記録媒体に関する。

【０００２】

【従来の技術】従来の画像合成装置として、例えば図５
に示すようなものがある。図５は従来の画像合成装置を
示すブロック構成図である。本従来例の画像合成装置１
０は、デジタル画像（静止画）やデジタル映像（動画
像）のフレームなどの画像データを保持するハードディ
スク（以下、ＨＤＤと称す）１１と、ＨＤＤ１１とのデ
ータ転送を行うハードディスクインターフェイス部（以
下、ＨＤＤＩＦ部と称す）１３と、圧縮された画像デー
タの伸長を行うデータ伸長部１５と、伸長された画像デ
ータをフレームスチルするフレームスチル部１７と、フ
レームスチルされた画像データを一時保持するフレーム
メモリ１９ａ，１９ｂと、混合比を示すキー信号を発生
する混合比発生部２１と、混合比発生部２１によって供
給されたキー信号が示す混合比で２画像を合成するミキ
シング部２３と、ミキシング部２３によって生成された
合成画の合成画像データを圧縮するデータ圧縮部２５と
を備えて構成されている。

【０００３】なお同図においては、ＨＤＤ１１、ＨＤＤ
ＩＦ部１３、データ伸長部１５およびフレームスチル部
１７の各構成要素が、説明の便宜上のために、例えばＨ
ＤＤ１１ａ，１１ｂ，１１ｃのように複数のブロックに
分けて記載されているが、各々１つの装置によって実現
されているものとする。また、本明細書において用いら
れる「画像」という言葉は、デジタル形式の映像が有す
る一フレームを含むものとして用いられている。

【０００４】このように構成された本従来例の画像合成
装置１０を用いたビデオのオフライン編集などにおい
て、例えば３つの画像が１つのモニタに表示されるよう
編集する場合は、まず２つの画像を合成して合成画を生
成し、この合成画を一旦ＨＤＤ１１に保存した後、ＨＤ
Ｄ１１から残りの画像と前記合成画とを読み出して合成
する。

【０００５】より詳しくは、まず、ＨＤＤ１１からＨＤ
ＤＩＦ部１３を介して２つの映像の一フレーム分の画像
データをそれぞれ読み出し、これらの画像データをデー
タ伸長部１５で伸長した後、フレームスチル部１７でフ
レームスチルする。次に、これら２画像データをミキシ
ング部２３に入力し、混合比発生部２１から供給された
キー信号が示す混合比で２画像を合成する。次に、ミキ
シング部２３で生成された合成画の合成画像データをデ
ータ圧縮部２５で圧縮して、該圧縮された合成画像デー
タを一旦ＨＤＤ１１に書き込む。次に、ＨＤＤ１１から
前記合成画の合成画像データおよび残りの映像の一フレ
ーム画像データを読み出して伸長し、フレームスチルし
た後、先と同様に混合比発生部２１から供給されたキー
信号が示す混合比で合成する。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来の画像合成装置にあっては、上述のように、生成され
た合成画に対してさらに画像を合成する場合、前記合成
画の合成画像データを一旦ＨＤＤ１１に転送するために
合成画像データに対して圧縮を行っているため、特に、
圧縮方式がＭＰＥＧ等の非可逆的なものである場合は、
圧縮伸長の繰り返しによって画質の劣化が生じてしまう
という問題点があった。また、合成する画像の数に比例
して合成画像データに対して圧縮伸長を行う回数が増し
ていくため、合成する画像の数が増す程、その分劣化が
顕著に表われてしまうという問題点があった。

【０００７】本発明は、上記従来の問題点に鑑みてなさ
れたものであって、画像合成の過程において行っていた
圧縮伸長による画質の劣化なく、任意の数の画像を合成
可能とする画像合成装置、画像合成方法および記録媒体
を提供することを目的としている。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に、本発明の請求項１に係る画像合成装置は、画像デー
タを保持する第１の記憶手段と、前記第１の記憶手段に
保持されている画像データを含む複数の画像データを合
成する合成手段と、前記合成手段によって生成された合
成画の合成画像データを画質を劣化することなく保持す
る第２の記憶手段とを備え、前記第２の記憶手段に格納
された合成画像データを前記合成手段に入力して、前記
第１の記憶手段から読み出された画像データと合成する
ものである。

【０００９】また、請求項２に係る画像合成装置は、請
求項１に記載の画像合成装置において、前記第２の記憶
手段に格納された合成画像データまたは前記第１の記憶
手段に保持されている画像データのいずれか一方を選択
して前記合成手段の一入力端子に供給する入力選択手段
を備えたものである。

【００１０】また、請求項３に係る画像合成装置は、請
求項１または２に記載の画像合成装置において、前記合
成手段が行う合成様式を決定するための混合情報を発生
する少なくとも一つの混合情報発生手段と、前記少なく
とも一つの混合情報発生手段から発生された混合情報を
選択して前記合成手段に供給する混合情報選択手段とを
備えるものである。

【００１１】また、請求項４に係る画像合成方法は、第
１の記憶手段から複数の画像データを読み出して、合成
手段で合成する第１の合成ステップと、前記第１の合成
ステップによって生成された合成画の合成画像データを
画質を劣化することなく第２の記憶手段に格納する記憶
ステップと、前記記憶ステップで前記第２の記憶手段に
格納された合成画像データ、および前記第１の記憶手段
に保持されている画像データを読み出して、前記合成手
段で合成する第２の合成ステップとを有するものであ
る。

【００１２】また、請求項５に係る画像合成方法は、請
求項４に記載の画像合成方法において、前記合成手段の
一入力端子に、前記第２の記憶手段に格納された合成画
像データまたは前記第１の記憶手段に保持されている画
像データのいずれか一方を選択して入力するものであ
る。

【００１３】また、請求項６に係る画像合成方法は、請
求項４または５に記載の画像合成方法において、前記第
１または第２の合成ステップは、前記合成手段が行う合
成様式を決定するための混合情報に応じて画像データを
合成し、前記混合情報は複数の混合情報の中から１つが
選択されて前記合成手段に供給されるものである。

【００１４】さらに、請求項７に係るコンピュータによ
り読み取り可能な記録媒体は、請求項４、５または６に
記載の画像合成方法をコンピュータに実行させるための
プログラムとして記録したものである。

【００１５】本発明に係る画像合成装置、画像合成方法
および記録媒体では、合成手段によって生成された合成
画の合成画像データを第２の記憶手段に一旦格納した
後、該合成画像データと第１の記憶手段に保持されてい
る画像データとを読み出して合成手段で合成している。
特に、請求項２に係る画像合成装置、請求項５に係る画
像合成方法、および請求項７に係る記録媒体では、第２
の記憶手段に保持されている合成画像データまたは第１
の記憶手段に保持されている画像データのいずれか一方
を選択して合成手段の一入力端子に入力している。

【００１６】したがって、合成手段によって生成された
合成画像データは圧縮されることなく再び他の画像デー
タと合成されるため、合成画の圧縮伸長による画質の劣
化がなくなり、合成される画像の元の画質を保ったまま
合成画を得ることができる。また、合成する画像の数が
多くとも合成画に劣化が生じないため、任意の数の画像
を画質の劣化なく合成することができる。

【００１７】また、請求項３に係る画像合成装置、請求
項６に係る画像合成方法、および請求項７に係る記録媒
体では、複数の混合情報の中から１つを選択して合成手
段に供給している。したがって、合成手段は、選択して
供給された混合情報に応じた合成様式で合成画を生成す
ることができるため、さまざまな様式で画像合成を行う
ことができる。

【００１８】

【発明の実施の形態】以下、本発明の画像合成装置の一
実施形態について、図面を参照して詳細に説明する。な
お、以下の実施形態の説明では、本発明に係る画像合成
装置および画像合成方法について詳述するが、本発明に
係る記録媒体については、画像合成方法を実行させるた
めのプログラムを記録した記録媒体であることから、そ
の説明は以下の画像合成方法の説明に含まれるものであ
る。

【００１９】図１は、本発明の一実施形態に係る画像合
成装置のブロック構成図である。同図において、本実施
形態の画像合成装置１００は、特許請求の範囲の第１の
記憶手段に該当するハードディスク（以下、ＨＤＤと称
す）１０１と、ハードディスクインターフェイス部（以
下、ＨＤＤＩＦ部と称す）１０３と、データ伸長部１０
５と、フレームスチル部１０７と、第１のフレームメモ
リ１０９ａ，１０９ｂと、第２の記憶手段に該当する第
２のフレームメモリ１１０と、混合情報発生手段に該当
する混合比発生部１１１と、混合情報選択手段に該当す
る混合比セレクタ１１３と、合成手段に該当するミキシ
ング部１１５と、入力選択手段に該当する入力セレクタ
１１７と、データ圧縮部１１９とを備えて構成されてい
る。ここで第２の記憶手段に該当する第２のフレームメ
モリ１１０は、半導体メモリ等で構成されており、ミキ
シング部１１５からの出力をＭＰＥＧ等の圧縮をせずに
保持するのに十分な容量を持って構成する。

【００２０】なお同図においても図５（従来例）と同様
に、ＨＤＤ１０１、ＨＤＤＩＦ部１０３、データ伸長部
１０５、フレームスチル部１０７および混合比発生部１
１１の各構成要素が、説明の便宜上のために、例えばＨ
ＤＤ１０１ａ，１０１ｂ，１０１ｃのように複数のブロ
ックに分けて構成されているが、各々１つの装置によっ
て実現されていても良い。以下、図１において複数のブ
ロックに分けて構成されている各構成要素は、特に断り
がない限り、１つの装置によって実現されているものと
して説明する。また、上述のように、本明細書において
用いられる「画像」という言葉は、デジタル映像（動画
像）が有する一フレームを含むものとして用いる。

【００２１】まず、ＨＤＤ１０１は、デジタル画像の画
像データまたは他のデータを保持する記録媒体である。
また、ＨＤＤＩＦ部１０３は、ＨＤＤ１０１とのデータ
転送、すなわちデータの入出力を行い、入出力されたデ
ータを並直列変換や直並列変換などの信号変換を物理レ
ベルで行う手段である。

【００２２】また、データ伸長部１０５は、ＨＤＤ１０
１から読み込まれた圧縮された画像データの伸長を行う
手段である。また、フレームスチール部１０７は、デー
タ伸長部１０５で伸長された画像データの第１のフレー
ムメモリ１０９ａ，１０９ｂへの書き込みまたは第１の
フレームメモリ１０９ａ，１０９ｂに保持されている画
像データの読み出しに関するタイミングの制御、合成さ
れる２つの画像データをミキシング部１１５に入力する
タイミングの同期、および複数フレーム分の画像データ
の保持を行う手段である。

【００２３】また、第１のフレームメモリ１０９ａ，１
０９ｂおよび第２のフレームメモリ１１０は、一フレー
ム分の画像データを記憶することができ、ビデオレート
で高速アクセス可能な記録媒体である。特に、第２のフ
レームメモリ１１０は、ミキシング部１１５で合成され
た合成画の合成画像データがＭＰＥＧ等のデータ圧縮を
用いずに格納されるものである。

【００２４】また、混合比発生部１１１は、ミキシング
部１１５で画像を合成する際に用いられる特許請求の範
囲の混合情報に該当する混合比を示すキー信号を発生す
る手段であり、図１においては、混合比１を示すキー信
号または混合比２を示すキー信号のいずれかが混合比セ
レクタ１１３により選択され、ミキシング部１１５に供
給されている。この混合比によって、ミキシング部１１
５における画像の合成様式が決定される。

【００２５】例えば、混合比は、一画面の左右領域にそ
れぞれ異なる画像が表示されるよう合成する、一画像が
画面の右角の所望の領域に表示され、他の画像が他の領
域に表示されるよう合成する、一画像の所望の部分を他
の画像に合成する、一画像の表示領域と他の画像の表示
領域との境界のジャギー（ぎざぎざ）をなくす、分割領
域へ割り当てられる画像のビット数を調整するなどのさ
まざまな様式が設定されており、混合比によって設定が
異なる。なお、本実施形態では、混合比１または混合比
２のいずれか一方がミキシング部１１５に供給されてい
るが、３つ以上の混合比を選択して供給可能としても良
い。

【００２６】また、ミキシング部１１５は、混合比発生
部１１１から供給されたキー信号が示す混合比で、ＨＤ
Ｄ１０１から供給された画像データまたは第２のフレー
ムメモリ１１０から供給された合成画像データを有する
２フレーム分の画像を合成する手段であり、２系統入力
を有したＶＳＰ（ビデオ・シグナル・プロセッサ）等に
よって実現される。このミキシング部１１５で生成され
た合成画の合成画像データは、生成された合成画にさら
に他の画像を合成する場合は、前記合成画像データは圧
縮されずにそのまま第２のフレームメモリ１１０に格納
される。一方、さらに合成すべき画像がない場合は、前
記合成画像データはデータ圧縮部１１９によって圧縮さ
れてＨＤＤ１０１に格納される。

【００２７】ここでミキシング部１１５およびキー信号
について、図３および図４を用いて詳細に説明する。一
例として、ミキシング部１１５の入力Ａに入力画１を入
力し、入力Ｂに入力画２を入力する。混合比発生部１１
１から供給されるキー信号は、ＫＡ×（１−Ｋ）Ｂ＝Ｃ
として表わせるものである。但し、Ｋは０≦Ｋ≦１の範
囲にある。図３に示す形態は、１フレーム時間の途中で
Ｋが１から０に切り変わる場合を示している。この場合
の出力画面Ｃは、画面の右半分、左半分がそれぞれ合成
された画面となる。次に、図４に示す形態は、入力画面
は図３に示す例と同じであるが、キー信号がＫ＝０．５
の場合を示す。この場合は、画面Ａと画面Ｂとが重なっ
て表示される。なお、本実施形態では、ミキシング部１
１５は２つの入力系統を有しているが、３つ以上の入力
系統を有して、３画像を合成するようにしても良い。

【００２８】さらに、入力セレクタ１１７は、ミキシン
グ部１１５への出力を選択する手段であり、ＨＤＤ１０
１に保持されている画像の画像データまたは第２のフレ
ームメモリ１１０に保持されている合成画の合成画像デ
ータのいずれか一方を選択する。

【００２９】なお、入力セレクタ１１７による入力の選
択および混合比セレクタ１１３によるキー信号、すなわ
ち混合比の選択は、図示しないＣＰＵ等の制御手段また
は該制御手段によって制御されたミキシング部１１５に
よって制御されている。

【００３０】以下に、上述した構成要素を備えた本実施
形態の画像合成装置１００を用いたビデオのオフライン
編集などにおいて、複数の映像信号が１つのモニタに表
示されるよう編集する画像合成方法について、図２のフ
ローチャートを参照して説明する。

【００３１】まず、ステップＳ２０１では、ＨＤＤ１０
１からＨＤＤＩＦ部１０３を介して２つの映像信号の１
フレーム分の画像データをそれぞれ読み出す。次に、ス
テップＳ２０３では、これらの画像データをデータ伸長
部１０５で伸長した後、これら２つの画像データをフレ
ームスチル部１０７を介して時間同期をとってミキシン
グ部１１５に供給する。このとき、入力セレクタ１１７
はＨＤＤ１０１側を選択している。次に、ステップＳ２
０５では、ミキシング部１１５が混合比セレクタ１１３
によって選択されたキー信号の混合比で供給された２画
像を合成し、合成画を生成する。

【００３２】次に、ステップＳ２０７では、ステップＳ
２０５で生成された合成画にさらに合成すべき画像があ
るかを調べ、なければ（ＮＯ）ステップＳ２１９に進ん
で、前記合成画の合成画像データをデータ圧縮部１１９
で圧縮した後、ＨＤＤＩＦ部１０３を介してＨＤＤ１０
１に格納する。また、合成すべき画像があれば（ＹＥ
Ｓ）、ステップＳ２０９に進んで、ステップＳ２０５で
生成された合成画の合成画像データを第２のフレームメ
モリ１１０に格納する。

【００３３】ステップＳ２０９を終了した後、ステップ
Ｓ２１１では、ＨＤＤ１０１から合成すべき映像信号の
１フレーム分の画像データを読み出し、データ伸長部１
０５で伸長した後、フレームスチル部１０７に入力する
一方で、ステップＳ２０９で格納した合成画像データを
第２のフレームメモリ１１０から読み出す。次に、ステ
ップＳ２１３では、これらのデータを時間同期をとって
ミキシング部１１５に供給する。このとき、入力セレク
タ１１７は第２のフレームメモリ１１０側を選択してい
る。次に、ステップＳ２１５では、ミキシング部１１５
が混合比セレクタ１１３によって選択されたキー信号の
混合比で供給された２画像を合成し、合成画を生成す
る。

【００３４】さらに、ステップＳ２１７では、ステップ
Ｓ２１５で生成された合成画にさらに合成すべき画像が
あるかを調べ、なければ（ＮＯ）ステップＳ２１９に進
んで、ステップＳ２１５で生成された合成画の合成画像
データをデータ圧縮部１１９で圧縮した後、ＨＤＤＩＦ
部１０３を介してＨＤＤ１０１に格納する。また、合成
すべき画像があれば（ＹＥＳ）、ステップＳ２０９に戻
って合成処理を繰り返す。映像信号の合成では、以上の
ような手続を映像信号の所望のフレームに対して行う。

【００３５】以上のように、本実施形態の画像合成装置
１００および画像合成方法によれば、ミキシング部１１
５で生成された合成画に対して他の画像を合成する場合
には、前記合成画の合成画像データを全く圧縮せずに第
２のフレームメモリ１１０に一旦格納して、該合成画像
データを第２のフレームメモリ１１０から再びミキシン
グ部１１５に入力して、他の画像と合成している。この
ため、本実施形態の画像合成装置１００および合成画像
方法は、最終的な合成画が得られるまでの途中の過程に
おいて生成された合成画を圧縮することがないため、従
来の画像合成の過程において行われていた圧縮伸長によ
る画質の劣化がなくなり、元の画質を保ったまま合成画
を得ることができる。また、合成する画像の数が多くと
も合成画に劣化が生じないため、任意の数の画像を画質
の劣化なく合成することができる。

【００３６】また、混合比発生部１１１によって生成さ
れる複数の混合比の中から所望の１つを選択してミキシ
ング部１１５に供給可能とすることによって、ミキシン
グ部１１５で画像を合成する際に、供給された混合比に
応じた合成様式で合成画を生成することができる。

【００３７】

【発明の効果】以上説明したように、本発明の画像合成
装置、画像合成方法および記録媒体によれば、合成手段
によって生成された合成画の合成画像データを画質劣化
を伴わない第２の記憶手段に一旦格納した後、該合成画
像データと第１の記憶手段に保持されている画像データ
とを読み出して合成手段で合成している。このため、合
成手段によって生成された合成画像データは圧縮される
ことなく再び他の画像データと合成されるため、合成画
の圧縮伸長による画質の劣化がなくなり、合成される画
像の元の画質を保ったまま合成画を得ることができる。
また、合成する画像の数が多くとも合成画に劣化が生じ
ないため、任意の数の画像を画質の劣化なく合成するこ
とができる。

【００３８】また、複数の混合情報の中から１つを選択
して合成手段に供給して、合成手段は選択して供給され
た混合情報に応じた合成様式で合成画を生成することが
できるため、さまざまな様式で画像合成を行うことがで
きる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る画像合成装置のブロ
ック構成図である。

【図２】本発明の一実施形態に係る画像合成装置を用い
た画像合成方法を示すフローチャートである。

【図３】ミキシング部およびキー信号による作用の一形
態を示す説明図である。

【図４】ミキシング部およびキー信号による作用の一形
態を示す説明図である。

【図５】従来の画像合成装置を示すブロック構成図であ
る。

【符号の説明】

１０１ ハードディスク（ＨＤＤ） １０３ ハードディスクインターフェイス部（ＨＤＤＩ
Ｆ部） １０５ データ伸長部 １０７ フレームスチール部 １０９ａ，１０９ｂ 第１のフレームメモリ １１０ 第２のフレームメモリ １１１ 混合比発生部 １１３ 混合比セレクタ １１５ ミキシング部 １１７ 入力セレクタ １１９ データ圧縮部

Claims (7)

【特許請求の範囲】
1. 【請求項１】 画像データを保持する第１の記憶手段
   と、 前記第１の記憶手段に保持されている画像データを含む
   複数の画像データを合成する合成手段と、 前記合成手段によって生成された合成画の合成画像デー
   タをそのまま保持する第２の記憶手段と、を備え、 前記第２の記憶手段に格納された合成画像データを前記
   合成手段に入力して、前記第１の記憶手段から読み出さ
   れた画像データと合成することを特徴とする画像合成装
   置。
2. 【請求項２】 前記第２の記憶手段に保持されている合
   成画像データまたは前記第１の記憶手段に保持されてい
   る画像データのいずれか一方を選択して前記合成手段の
   一入力端子に供給する入力選択手段を備えることを特徴
   とする請求項１記載の画像合成装置。
3. 【請求項３】 前記合成手段が行う合成様式を決定する
   ための混合情報を発生する少なくとも一つの混合情報発
   生手段と、 前記少なくとも一つの混合情報発生手段から発生された
   混合情報を選択して前記合成手段に供給する混合情報選
   択手段と、を備えることを特徴とする請求項１または２
   記載の画像合成装置。
4. 【請求項４】 第１の記憶手段から複数の画像データを
   読み出して、合成手段で合成する第１の合成ステップ
   と、 前記第１の合成ステップによって生成された合成画の合
   成画像データを第２の記憶手段に格納する記憶ステップ
   と、 前記記憶ステップで前記第２の記憶手段に格納された合
   成画像データ、および前記第１の記憶手段に保持されて
   いる画像データを読み出して、前記合成手段で合成する
   第２の合成ステップと、を有することを特徴とする画像
   合成方法。
5. 【請求項５】 前記合成手段の一入力端子に、前記第２
   の記憶手段に保持されている合成画像データまたは前記
   第１の記憶手段に保持されている画像データのいずれか
   一方を選択して入力することを特徴とする請求項４記載
   の画像合成方法。
6. 【請求項６】 前記第１または第２の合成ステップは、
   前記合成手段が行う合成様式を決定するための混合情報
   に応じて画像データを合成し、 前記混合情報は複数の混合情報の中から１つが選択され
   て前記合成手段に供給されることを特徴とする請求項４
   または５記載の画像合成方法。
7. 【請求項７】 請求項４、５または６に記載の画像合成
   方法をコンピュータに実行させるためのプログラムとし
   て記録したコンピュータにより読み取り可能な記録媒
   体。