JP2001160966A

JP2001160966A - 動画像符号化装置

Info

Publication number: JP2001160966A
Application number: JP34299799A
Authority: JP
Inventors: Ryuji Kitaura; 竜二北浦; Toshio Nomura; 敏男野村
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1999-12-02
Filing date: 1999-12-02
Publication date: 2001-06-12

Abstract

(57)【要約】【課題】短時間で動画像データの合成をすることがで
きる動画像符号化装置を提供する。【解決手段】動画像符号化装置は、部品画像データＯ
ｉ、部品画像データＯｉの表示時間Ｔｉ、部品画像デー
タＯｉの合成のタイミングを示す合成タイミングフラグ
Ｔおよび部品画像データＯｉを合成する際の重ね合わせ
の順序を示す順序情報Ａとを受け、合成タイミングフラ
グＴおよび表示時間Ｔｉに従い適切な部品画像データＯ
ｉを選択し、順序情報Ａに基づいて部品画像データＯｉ
を合成した合成画像データＳを出力し、前の処理で合成
された合成画像データＳと比較して、合成画像データＳ
の更新された位置を示す更新位置情報Ｃを出力する入力
画像合成部１と、合成画像データＳ、更新位置情報Ｃお
よび合成タイミングフラグＴを受け、合成タイミングフ
ラグＴおよび更新位置情報Ｃに従い、合成画像データＳ
を符号化し、符号化データＤｏを出力する符号化部２と
を含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化装置
に関し、特に、複数の動画像データを合成した合成画像
を高能率に符号化する動画像符号化装置に関する。

【０００２】

【従来の技術】近年、映画、アニメーションまたはゲー
ムなどの分野で、複数の動画像データを合成する手法が
用いられている。特開平４−３５４４８９号公報には、
複数の動画像データを合成した合成画像データを符号化
する画像符号化装置が開示されている。この画像符号化
装置では、背景画像データと、背景画像データよりも動
きの速い前景画像データとを合成し合成画像データを生
成する。その後、合成画像データ中の背景画像データに
当たる部分のデータを所定時間間隔で間引きながら符号
化を行なう。間引きされた背景画像データの部分には、
前景画像データが充当される。これにより、合成画像デ
ータが符号化される。

【０００３】また、動画像符号化方式の国際標準化（Ｉ
ＳＯ／ＩＥＣＭＰＥＧ−４）においては、複数の動画
像データの符号化、復号化および合成が検討されてい
る。国際標準の動画像データの合成においては、動画像
データの符号化データが各動画像データごとに用意され
る。符号化データが各動画像データごとに復号され、復
号された動画像データを合成することにより、新たな動
画像データが作成される。なお、符号化データ中には、
動画像データの中から切出しの対象となる領域を特定す
るための形状情報がともに符号化され含まれている。合
成の対象となる動画像データは、部品画像データと呼ば
れる。

【０００４】図１４を参照して、動画像データの合成処
理の具体例を説明する。符号化データｏｂｊ１を復号す
ると動画像データｉｍｇ３が得られる。一方、符号化デ
ータｏｂｊ１およびｏｂｊ２をそれぞれ復号した後、形
状情報に基づいて合成すると、動画像データｉｍｇ４が
得られる。

【０００５】栄藤稔ら「階層表現と多重テンプレートを
用いた画像符号化」（電子情報通信学会信学技報ＩＥ９
４−１５９，ｐｐ．９９−１０６（１９９５−０３））
には、クロマキー技術によって切出された人物映像や魚
の映像などを合成して、新たな動画像データ作成する方
法が開示されている。この方法も、上述の国際標準の動
画像データの合成処理と同様、符号化された動画像デー
タを復号した後、合成することにより、新たな動画像デ
ータが作成される。

【０００６】

【発明が解決しようとする課題】しかし、特開平４−３
５４４８９号公報に開示の画像符号化装置では、所定時
間間隔で背景画像データの間引きが行なわれる。このた
め、背景画像の動きが激しい場合には、背景の動きの荒
さが目立つ。また、間引きを行なわずに符号化する場合
に比べ、背景部分での動き予測符号化の符号化効率が悪
くなる。さらに、合成画像データを作成する際に、背景
画像データと前景画像データとのフレームレートが異な
る場合を想定していない。このため、背景画像のフレー
ムレートが前景画像のフレームレートよりも小さい場合
には、間引きする必要がないにもかかわらず間引き処理
を行なってしまい、さらに背景の動きの荒さが目立って
しまう。

【０００７】また、国際標準の動画像データの合成方法
および栄藤稔らが提案する方法では、複数の部品画像デ
ータの符号化を個々に行なっている。このため、処理に
時間がかかる。また、重なって表示されない部分に関し
ても符号化が行なわれるため、圧縮効率が悪い。さら
に、部品画像の切出しの際に用いられる形状情報を符号
化する必要がある。

【０００８】本発明は上述の課題を解決するためになさ
れたもので、その目的は、短時間で動画像データの合成
をすることができる動画像符号化装置を提供することで
ある。

【０００９】本発明の他の目的は、圧縮効率の高い合成
画像データを作成することができる動画像符号化装置を
提供することである。

【００１０】本発明のさらに他の目的は、従来に比べ画
質を向上させることができる動画像符号化装置を提供す
ることである。

【００１１】

【課題を解決するための手段】請求項１に記載の発明に
係る動画像符号化装置は、複数の動画像データを受け、
複数の動画像データを合成し、合成画像データを出力す
る入力画像合成部と、入力画像合成部に接続され、合成
画像データを受け、合成画像データを符号化する符号化
部とを含む。

【００１２】複数の動画像データが合成された後、合成
画像データに対して符号化が行なわれる。このため、符
号化の処理が簡単になり、短時間で動画像データの合成
処理をすることができる。また、動画像データのうち重
なり合って表示されない領域については、符号化の対象
とされない。このため、圧縮効率をさらに高めることが
できる。

【００１３】請求項２に記載の発明は、請求項１に記載
の発明の構成に加えて、入力画像合成部は、複数の動画
像データの重ね合わせ順序を示す順序情報および複数の
動画像データを受け、順序情報に基づいて複数の動画像
データを合成する。

【００１４】ユーザは、順序情報を外部より入力するこ
とにより、動画像データの重ね合わせ順序を簡単に指定
することができる。

【００１５】請求項３に記載の発明は、請求項１に記載
の発明の構成に加えて、入力画像合成部は、複数の動画
像データにそれぞれ対応して設けられ複数の動画像デー
タが表示されるべき時間をそれぞれ表わす複数の表示時
間および複数の動画像データを受け、表示時間に基づい
て複数の動画像データを合成する。

【００１６】いずれかの動画像データが更新された際
に、動画像データの合成処理が行なわれる。このため、
無駄な合成処理を行なうことがなくなる。

【００１７】請求項４に記載の発明は、請求項１に記載
の発明の構成に加えて、入力画像合成部は、複数の動画
像データにそれぞれ対応して設けられ複数の動画像デー
タが表示されるべき時間をそれぞれ表わす複数の表示時
間、複数の動画像データおよび順序情報を受け、複数の
表示時間および順序情報に基づいて、複数の動画像デー
タを合成し、かつ、いずれの動画像データが更新されて
いるかを示す更新フラグを出力する合成部と、合成部に
接続され、複数の動画像データ、複数の表示時間および
更新フラグを受け、複数の動画像データ、複数の表示時
間および更新フラグに基づいて、合成画像データを構成
する複数のブロックのうち更新されたブロックを表わす
更新位置情報を生成する更新位置情報生成部とを含む。

【００１８】請求項５に記載の発明は、請求項４に記載
の発明の構成に加えて、符号化部は、入力画像合成部に
接続され、入力画像合成部より合成画像データおよび更
新位置情報を受け、更新位置情報に基づいて、合成画像
データを符号化する。

【００１９】更新位置情報を調べることにより、合成画
像データのすべてのブロックが更新されていない場合に
は、符号化処理が行なわれない。このため、無駄な情報
量が発生せず、符号化部の処理量が削減される。

【００２０】請求項６に記載の発明は、請求項４または
５に記載の発明の構成に加えて、更新位置情報生成部が
生成する更新位置情報は、合成画像データの各ブロック
がどの動画像データを含むかを示すデータを含む。

【００２１】請求項７に記載の発明は、請求項６に記載
の発明の構成に加えて、符号化部は、更新位置情報に基
づき定められる方法で量子化を行ない、合成画像データ
を符号化する。

【００２２】更新位置情報に基づいて、合成画像データ
内の各ブロックに対して、背景画像および前景画像のい
ずれを含むか、またはその両者を含むかが判断され、ブ
ロックの種類に応じて、量子化の際のステップ数を変化
させることができる。このため、圧縮率を変えることな
く、前景画像などの重要な部分の画質を背景画像などの
あまり重要でない部分の画質よりも向上させることがで
きる。

【００２３】請求項８に記載の発明は、請求項６または
７に記載の発明の構成に加えて、符号化部は、更新位置
情報に基づき定められる動き予測方法を用いて、合成画
像データの符号化を行なう。

【００２４】合成画像データを符号化する際に、前のフ
レームの合成画像データと比較し、更新されていないブ
ロックに関しては符号化の対象とされない。このため、
無駄な情報量が発生せず、符号化に必要な処理量を削減
することができる。

【００２５】請求項９に記載の発明は、請求項１〜８の
いずれかに記載の発明の構成に加えて、入力画像合成部
は、合成画像データにローパスフィルタを施し出力す
る。

【００２６】合成画像データを出力する前にローパスフ
ィルタ処理が施される。このため、見た目に自然な合成
画像データを作成することができる。

【００２７】請求項１０に記載の発明は、請求項１〜９
のいずれかに記載の発明の構成に加えて、動画像データ
を受け、動画像データを予め定められたサイズのテンプ
レートを用いて切出し、切出した動画像データを入力画
像合成部に供給する切出し装置をさらに含む。

【００２８】動画像データを構成する人物領域などの切
出しは、予め定められたサイズのテンプレートを用いて
行なわれる。このため、簡単に着目領域の切出しを行な
うことができる。

【００２９】

【発明の実施の形態】図１を参照して、本発明の実施の
形態に係る動画像符号化装置は、後述する部品画像デー
タＯｉ（０≦ｉ≦ｎ、ｎは２以上の整数）、部品画像デ
ータＯｉの表示時間Ｔｉ（０≦ｉ≦ｎ、ｎは２以上の整
数）、部品画像データＯｉの合成のタイミングを示す合
成タイミングフラグＴおよび部品画像データＯｉを合成
する際の重ね合わせの順序を示す順序情報Ａとを受け、
合成タイミングフラグＴおよび表示時間Ｔｉに従い適切
な部品画像データＯｉを選択し、順序情報Ａに基づいて
部品画像データＯｉを合成した合成画像データＳを出力
し、前の処理で合成された合成画像データＳと比較し
て、合成画像データＳの更新された位置を示す更新位置
情報Ｃを出力する入力画像合成部１と、入力画像合成部
１に接続され、合成画像データＳ、更新位置情報Ｃおよ
び合成タイミングフラグＴを受け、合成タイミングフラ
グＴおよび更新位置情報Ｃに従い、合成画像データＳを
符号化し、符号化データＤｏを出力する符号化部２とを
含む。

【００３０】部品画像データＯｉとは、動画像データか
ら人物や物体などを部品として切出した画像データと、
人物や物体などの形状情報とを示す。ただし、切出し処
理が行なわれていない通常の動画像データも部品画像デ
ータＯｉとして取扱われる。この場合には、形状情報は
必要とされない。また、部品画像データＯｉは、静止画
像データであっても構わない。

【００３１】合成タイミングフラグＴは、入力画像合成
部１および符号化部２を動作させるためのフラグであ
る。入力画像合成部１に入力される部品画像データＯｉ
が更新された場合に合成タイミングフラグＴの値が１と
なり、それに伴い入力画像合成部１および符号化部２が
動作する。それ以外の場合は、合成タイミングフラグＴ
の値は０であり、入力画像合成部１および符号化部２は
動作しない。合成タイミングフラグＴの値は、部品画像
データＯｉのうちのどれか１つが更新されたタイミング
で１としてもよいし、予め定められたタイミングで１と
してもよい。

【００３２】以下の説明では、ｉ＝２の場合について説
明を行なうが、ｉ≧３の場合であっても同様に処理を行
なうことにより、符号化データＤｏを作成することがで
きる。

【００３３】図２を参照して、入力画像合成部１に入力
される部品画像データＯｉについて説明する。部品画像
データＯ１は、切出し処理が行なわれていない通常の動
画像データ３とし、部品画像データＯ２は、動画像デー
タ４から人物領域８を切出した画像データ６と、人物領
域８の形状情報７とからなるものとする。画像データ６
および形状情報７は、切出し装置５により作成される。
切出し装置５は、矩形などの所定のテンプレートを用い
て人物領域８の切出しを行なってもよい。

【００３４】図３を参照して、入力画像合成部１は、表
示時間Ｔ１およびＴ２、合成タイミングフラグＴおよび
順序情報Ａを受け、表示時間Ｔ１およびＴ２の変化を示
す更新フラグＢを出力し、後述するスイッチ１０、１１
および１３を制御する時間制御部９と、部品画像データ
Ｏ１を受け、時間制御部９より出力される制御信号に応
答して、部品画像データＯ１を出力するスイッチ１０
と、部品画像データＯ２を受け、時間制御部９より出力
される制御信号に応答して、部品画像データＯ２を出力
するスイッチ１１と、スイッチ１０に接続され、部品画
像データＯ１を記憶するフレームメモリ１２と、スイッ
チ１１に接続され、部品画像データＯ２のうち切出し画
像データを記憶するフレームメモリ１３と、部品画像デ
ータＯ２のうち形状情報を記憶するフレームメモリ１４
とを含む。

【００３５】入力画像合成部１は、さらに、フレームメ
モリ１２、１３および１４、ならびに時間制御部９に接
続され、時間制御部９より出力される制御信号に応答し
て、部品画像データＯ１および部品画像データＯ２のい
ずれかを選択して出力するスイッチ１５と、スイッチ１
５に接続され、部品画像データＯ１と部品画像データＯ
２とが合成された画像データを記憶するフレームメモリ
１６と、フレームメモリ１６に接続され、フレームメモ
リ１６に記憶された画像データにローパスフィルタ処理
を施し、合成画像データＳとして出力するＬＰＦ４０と
を含む。

【００３６】入力画像合成部１は、さらに、時間制御部
９およびフレームメモリ１４に接続され、フレームメモ
リ１４に記憶された形状情報、更新フラグＢおよび順序
情報Ａを受け、更新位置情報Ｃを出力する更新位置情報
生成部１７を含む。

【００３７】図４を参照して、更新位置情報生成部１７
は、更新位置情報Ｃを記憶するメモリ２０と、メモリ２
０に接続され、後述する処理Ｐ０を行なう処理Ｐ０部４
１と、メモリ２０およびフレームメモリ１４に接続さ
れ、後述する処理Ｐ１を行なう処理Ｐ１部４２と、メモ
リ２０およびフレームメモリ１４に接続され、後述する
処理Ｐ２を行なう処理Ｐ２部４３と、更新フラグＢおよ
び順序情報Ａを受け、後述するスイッチ１９を制御する
制御部１８と、制御部１８、処理Ｐ０部４１、処理Ｐ１
部４２および処理Ｐ２部４３に接続され、制御部１８よ
り出力される制御信号に従い、処理Ｐ０部４１、処理Ｐ
１部４２および処理Ｐ２部４３のうちのいずれかとメモ
リ２０とを接続することにより、メモリ２０に記憶され
た更新位置情報Ｃに対して処理を施させるスイッチ１９
とを含む。更新位置情報Ｃとは、合成画像データＳをＭ
×Ｎ画素（Ｍ，Ｎはそれぞれ自然数）のブロック単位で
分割した場合に、各ブロックが更新されたか否かを示す
それぞれ２ビットの値である。

【００３８】図５を参照して、符号化部２は、入力画像
合成部１に接続され、更新位置情報Ｃおよび合成タイミ
ングフラグＴを受け、後述する動き予測部３２および量
子化部２５を制御し、符号化を行なうか否かの制御、量
子化の制御および動き予測方法の制御を行なう符号化制
御部２６と、１時刻前の合成画像データＳを記憶するフ
レームメモリ３１と、入力画像合成部１、符号化制御部
２６およびフレームメモリ３１に接続され、符号化制御
部２６からの制御に従い、現在の合成画像データＳと１
時刻前の合成画像データＳとのブロック単位での差分を
とり、差分の絶対値和または差分の２乗和が所定のしき
い値以下であれば、差分をとる際に使用したフレームメ
モリ３１上のブロックと、そのときの動きベクトルとを
出力する動き予測部３２とを含む。

【００３９】符号化部２は、さらに、入力画像合成部１
および動き予測部３２に接続され、合成画像データＳの
符号化対象ブロックと動き予測部３２より出力されたブ
ロックとの差分をとる差分処理部３３と、差分処理部３
３に接続され、差分処理部３３の出力を直交変換する変
換部２４と、変換部２４および符号化制御部２６に接続
され、符号化制御部２６からの制御に従い、変換部２４
の出力を量子化する量子化部２５と、量子化部２５およ
び動き予測部３２に接続され、量子化部２５の出力およ
び動きベクトルを可変長符号化する可変長符号化部２７
と、可変長符号化部２７に接続され、可変長符号化部２
７の出力を多重化して符号化データＤｏとして出力する
多重化部２８とを含む。

【００４０】符号化部２は、さらに、量子化部２５に接
続され、量子化部２５の出力を逆量子化する逆量子化部
２９と、逆量子化部２９に接続され、逆量子化部２９に
逆変換する逆変換部３０と、逆変換部３０および動き予
測部３２に接続され、動き予測部３２より出力されるブ
ロックと逆変換部３０の出力とを加算し、フレームメモ
リ３１に書込む加算処理部３４とを含む。

【００４１】入力画像合成部１の動作を詳細に説明す
る。図３を参照して、時間制御部９には、表示時間Ｔ１
およびＴ２、合成タイミングフラグＴならびに順序情報
Ａが入力される。

【００４２】図６を参照して、時間制御部９は、合成タ
イミングフラグＴの値が０のとき（Ｓ２でＮＯ）、更新
フラグＢの値を−１に設定して出力する（Ｓ６）。その
後、Ｓ２に戻る。

【００４３】時間制御部９は、合成タイミングフラグＴ
の値が初めて１になったとき（Ｓ２でＹＥＳ、Ｓ４でＹ
ＥＳ）、更新フラグＢに０を設定して出力する（Ｓ
８）。同時に、時間制御部９は、順序情報Ａに基づい
て、最も背後に位置する部品画像データＯｉから順に選
択し、部品画像データＯｉの合成を行なう。以下の説明
では、部品画像データＯ１が部品画像データＯ２よりも
背後に位置するとする。

【００４４】時間制御部９は、スイッチ１０をオン状態
にする。これにより、部品画像データＯ１がフレームメ
モリ１２に書込まれる。次に、時間制御部９は、フレー
ムメモリ１２とフレームメモリ１６とを接続するように
スイッチ１５の状態を定め、フレームメモリ１２に記憶
された部品画像データＯ１をフレームメモリ１６に書込
む（Ｓ１０）。

【００４５】その後、時間制御部９は、スイッチ１１を
オン状態にする。すると、部品画像データＯ２を構成す
る切出し画像データおよび形状情報がそれぞれフレーム
メモリ１３および１４に書込まれる。その後、時間制御
部９は、フレームメモリ１３および１４とフレームメモ
リ１６とを接続するようにスイッチ１５の状態を定め、
フレームメモリ１６に記憶された画像データのうち、形
状情報に応じた部分を、切出し画像データを用いて書換
える（Ｓ１２）。

【００４６】ＬＰＦ４０は、フレームメモリ１６に記憶
された画像データにローパスフィルタ処理を施し、合成
画像データＳを出力する（Ｓ１３）。時間制御部９は、
この時の部品画像データＯ１およびＯ２の表示時間Ｔ１
ａおよびＴ２ａをそれぞれ保持する（Ｓ１４）。その
後、Ｓ２に戻る。

【００４７】その後に合成タイミングフラグＴの値が１
になったとき（Ｓ２でＹＥＳ、Ｓ４でＮＯ）、時間制御
部９は、自身が保持する表示時間Ｔ１ａおよびＴ２ａ
と、現在の部品画像データＯ１およびＯ２の表示時間Ｔ
１ｂおよびＴ２ｂとをそれぞれ比較する。表示時間Ｔ１
ｂが表示時間Ｔ１ａと比較して変化し（表示時間Ｔ１ａ
と表示時間Ｔ１ｂとが異なり）、かつ、表示時間Ｔ２ａ
が表示時間Ｔ２ｂと比較して変化がない（表示時間Ｔ２
ａと表示時間Ｔ２ｂとが等しい）場合（Ｓ１６でＹＥ
Ｓ、Ｓ１８でＮＯ）、更新フラグＢの値を１に設定し、
出力する（Ｓ２２）。また、時間制御部９は、部品画像
データＯ１と部品画像データＯ１よりも前面に位置する
部品画像データＯ２とを用いて、フレームメモリ１２に
記憶された画像データを更新し、合成画像データＳを出
力する（Ｓ１０〜Ｓ１４）。その後、Ｓ２に戻る。Ｓ１
０〜Ｓ１４の処理は上述した通りである。このためその
詳細な説明はここでは繰返さない。

【００４８】表示時間Ｔ１ａと表示時間Ｔ１ｂとが等し
く、表示時間Ｔ２ａと表示時間Ｔ２ｂとが異なる場合に
は（Ｓ１６でＮＯ、Ｓ２４でＹＥＳ）、時間制御部９
は、更新フラグＢの値を２に設定し、出力する（Ｓ２
６）。また、時間制御部９は、部品画像データＯ１より
も前面に位置する部品画像データＯ２を用いてフレーム
メモリ１２に記憶された画像データを更新し、合成画像
データＳを出力する（Ｓ１２〜Ｓ１４）。その後、Ｓ２
に戻る。Ｓ１２〜Ｓ１４の処理は上述した通りである。
このためその詳細な説明はここでは繰返さない。

【００４９】表示時間Ｔ１ａと表示時間Ｔ１ｂとが異な
り、かつ表示時間Ｔ２ａと表示時間Ｔ２ｂとが異なる場
合には（Ｓ１６でＹＥＳ、Ｓ１８でＹＥＳ）、時間制御
部９は、更新フラグＢの値を３に設定し、出力する（Ｓ
２０）。また、時間制御部９は、部品画像データＯ１と
部品画像データＯ２とを用いて、フレームメモリ１２に
記憶された画像データを更新し、合成画像データＳを出
力する（Ｓ１０〜Ｓ１４）。その後、Ｓ２に戻る。Ｓ１
０〜Ｓ１４の処理は、上述した通りである。このためそ
の詳細な説明はここでは繰返さない。

【００５０】表示時間Ｔ１ａと表示時間Ｔ１ｂとが等し
く、かつ表示時間Ｔ２ａと表示時間Ｔ２ｂとが等しい場
合には（Ｓ１６でＮＯ、Ｓ２４でＮＯ）、更新フラグＢ
に−１を設定し、Ｓ２に戻る。

【００５１】図４および図７を参照して、更新位置情報
生成部１７の動作について説明する。制御部１８は、更
新フラグＢが−１の場合には、何ら処理を行なわない。
したがって、メモリ２０に記憶されている更新位置情報
Ｃの値も書きかえられない。

【００５２】更新フラグＢが−１以外の場合には、制御
部１８は、処理Ｐ０部４１とメモリ２０とが接続するよ
うに、スイッチ１９を操作する。その後、処理Ｐ０部４
１により処理Ｐ０が行なわれる（Ｓ３２）。処理Ｐ０に
ついては後述する。制御部１８は、順序情報に従い、部
品画像データＯ１、部品画像データＯ２の順で部品画像
データを選択し、選択した部品画像データが背景画像で
あるか否かを判断する（Ｓ３４）。すなわち、選択した
部品画像データが部品画像データＯ１か否かを判断す
る。

【００５３】選択した部品画像データが部品画像データ
Ｏ１であれば（Ｓ３４でＹＥＳ）、制御部１８は、部品
画像データＯ１が更新されているか否かを更新フラグＢ
に基づいて判断する（Ｓ３６）。すなわち、更新フラグ
Ｂが０、１または３のとき、更新されていると判断し、
それ以外の場合には、更新されていないと判断する。部
品画像データＯ１が更新されていれば（Ｓ３６でＹＥ
Ｓ）、制御部１８は、処理Ｐ１部４２とメモリ２０とが
接続するように、スイッチ１９を操作する。その後、処
理Ｐ１部４２により処理Ｐ１が行なわれる（Ｓ３８）。
処理Ｐ１については後述する。Ｓ３８での処理終了後、
または部品画像データＯ１が更新されていなければ（Ｓ
３６でＮＯ）、Ｓ４０に進む。

【００５４】選択した部品画像データが部品画像データ
Ｏ２であれば（Ｓ３４でＮＯ）、制御部１８は、部品画
像データＯ２が更新されているか否かを更新フラグＢに
基づいて判断する（Ｓ４４）。すなわち、更新フラグＢ
が０、２または３のとき、更新されていると判断し、そ
れ以外の場合には、更新されていないと判断する。部品
画像データＯ２が更新されていれば（Ｓ４４でＹＥ
Ｓ）、制御部１８は、処理Ｐ２部４３とメモリ２０とが
接続するように、スイッチ１９を操作する。その後、処
理Ｐ２部４３により処理Ｐ２が行なわれる（Ｓ４６）。
処理Ｐ２については後述する。Ｓ４６での処理終了後、
または部品画像データＯ２が更新されていなければ（Ｓ
４４でＮＯ）、Ｓ４０に進む。

【００５５】Ｓ４０では、すべての部品画像データに対
する処理が行なわれたか否かが判断され（Ｓ４０）、処
理が行なわれていない部品画像データがあれば（Ｓ４０
でＮＯ）、Ｓ３４以降の処理を繰返す。すべての部品画
像データに対する処理が行なわれていれば（Ｓ４０でＹ
ＥＳ）、メモリ２０に記憶された更新位置情報Ｃが出力
される（Ｓ４２）。

【００５６】以上の処理をまとめると、更新フラグＢが
０または３の場合には、処理Ｐ０、Ｐ１、Ｐ２の順で処
理が行なわれる。更新フラグＢが１の場合には、処理Ｐ
０、Ｐ１の順で処理が行なわれる。更新フラグＢが２の
場合には、処理Ｐ０、処理Ｐ２の順で処理が行なわれ
る。

【００５７】次に、処理Ｐｎ（ｎ＝１，２，３）の内容
について、具体例を示しながら詳細に説明する。図８に
示すような、部品画像データＯ１およびＯ２が入力画像
合成部１に入力されるものとする。時間ｔａ（ａ≧０）
における部品画像データをＯ１ａおよびＯ２ａとし、こ
れらより合成画像データＳａおよび更新位置情報Ｃａが
作成されるものとする。また、時間ｔ０を合成処理の開
始時間とする。

【００５８】図９を参照して、時間ｔ０における更新位
置情報生成部１７の処理について説明する。時間ｔ０で
は更新フラグＢの値は０である。このため、処理Ｐ０、
Ｐ１、Ｐ２の順で処理が行なわれる。以下の説明では、
簡略化のため、部品画像データＯ１およびＯ２は、それ
ぞれ４×３個のブロックで構成されているものとする。
処理Ｐ０部４１は、処理Ｐ０を行なう。すなわち、メモ
リ２０に記憶されているすべてのブロックの値をそれぞ
れ１ビットずつ右シフトする。処理開始時には、メモリ
２０の各ブロックの値はすべて“００”に設定されてい
る。このためメモリ２０に記憶されたデータの値はすべ
て“００”になる。次に、処理Ｐ１部４２は、処理Ｐ１
を行なう。すなわち、メモリ２０に記憶されたブロック
の値のうち、部品画像データＯ１０の領域を含むブロッ
クの値をそれぞれ“０１”に書換える。次に、処理Ｐ２
部４３は、処理Ｐ２を行なう。すなわち、メモリ２０に
記憶されたブロックの値のうち、人物領域を含むブロッ
クの値をそれぞれ“１０”に書換える。人物領域か否か
の判断は、フレームメモリ１４に記憶された部品画像デ
ータＯ２０の形状情報２１に基づき定められる。

【００５９】図１０を参照して、時間ｔ１における更新
位置情報生成部１７の処理について説明する。時間ｔ１
では更新フラグＢの値は２である。このため、処理Ｐ
０、処理Ｐ２の順で処理が行なわれる。処理Ｐ０部４１
は、処理Ｐ０を行なう。すなわち、メモリ２０に記憶さ
れているすべてのブロックの値をそれぞれ１ビットずつ
右シフトする。次に、処理Ｐ２部４３は、処理Ｐ２を行
なう。これにより、メモリ２０に記憶されたデータの値
は図１０に示すようになる。

【００６０】図１１を参照して、時間ｔ２における更新
位置情報生成部１７の処理について説明する。時間ｔ２
では更新フラグＢの値は３である。このため、処理Ｐ
０、Ｐ１、Ｐ２の順で処理が行なわれる。各処理の結
果、メモリ２０に記憶されたデータの値は図１１に示す
ようになる。

【００６１】以上のようにメモリ２０に記憶される更新
位置情報Ｃの値には、“００”、“０１”、“１０”の
３種類がある。“００”は、背景画像である部品画像デ
ータＯ１のみを含むブロックであり、かつ対応するフレ
ームメモリ１２および１６上の対応するブロックが更新
されていないことを示す。“０１”は、部品画像データ
Ｏ１のみを含むブロックであることを示す。また、“０
１”は、フレームメモリ１２および１６上の対応するブ
ロックが更新されていること、または、フレームメモリ
１３上の対応するブロックは更新されていないがフレー
ムメモリ１６の対応するブロックが更新されていること
を示している。“１０”は、部品画像データＯ２を含む
ブロックであり、かつフレームメモリ１３および１６上
の対応するブロックが更新されていることを示す。

【００６２】図５および図１２を参照して、符号化部２
は以下のように動作する。符号化制御部２６は、合成タ
イミングフラグＴが１になるまで待機する（Ｓ５２）。
合成タイミングフラグＴが１になると（Ｓ５２でＹＥ
Ｓ）、符号化制御部２６は、更新位置情報Ｃに基づいて
合成画像データＳのうちのいずれかのブロックが更新さ
れているか否かを判断する（Ｓ５４）。どのブロックも
更新されていなければ（Ｓ５４でＮＯ）、Ｓ５２に戻
る。

【００６３】いずれかのブロックが更新されていれば
（Ｓ５４でＹＥＳ）、符号化制御部２６は、初めてＴ＝
１となったか否かを判断する（Ｓ５６）。

【００６４】初めてＴ＝１となったのであれば（Ｓ５６
でＹＥＳ）、変換部２４は、合成画像データＳに変換処
理を施す（Ｓ６２）。変換処理としては、たとえば、動
画像圧縮の規格であるＭＰＥＧ２などで用いられるＤＣ
Ｔ（離散コサイン変換）などの直交変換が行なわれる。
量子化部２５は、変換部２４の出力を量子化する（Ｓ６
４）。量子化の際の、量子化ステップ数は、符号化制御
部２６より与えられ、更新位置情報Ｃの値に応じて、各
ブロックごとに定められている。可変長符号化部２７
は、量子化部２５の出力を可変長符号化する（Ｓ６
６）。可変長符号化された動画像のビットストリーム
に、符号化したオーディオ信号、動画像のビットストリ
ームに付随した字幕情報や制御情報、暗号化のためのス
クランブル情報等の付随データを伝送する場合には、多
重化部２８は、各情報をパケット化し、多重化した後、
符号化データＤｏとして出力する（Ｓ６８）。たとえ
ば、オーディオ信号の符号化にＩＳＯ／ＩＥＣ１１１７
２−３勧告に基づくＭＰＥＧ１方式を利用した場合、ト
ランスポートストリームはＩＴＵ−Ｔ勧告Ｈ．２２２．
０に基づいて生成される。逆量子化部２９は、量子化部
２５の出力を逆量子化する（Ｓ７０）。逆変換部３０
は、逆量子化部２９の出力に逆変換処理を施す（Ｓ７
２）。時間がｔ０であるので（Ｓ７４でＹＥＳ）、逆変
換部３０の出力がそのままフレームメモリ３１に書込ま
れる（Ｓ７８）。その後、Ｓ５２に戻る。

【００６５】Ｔ＝１となったのが２回目以降であれば
（Ｓ５６でＮＯ）、動き予測部３２は、前の時間（現在
の時間がｔ１であれば時間ｔ０）でフレームメモリ３１
に記憶された合成画像データＳと入力画像合成部１より
供給される合成画像データＳとを用いて動き予測を行な
う（Ｓ５８）。すなわち、入力画像合成部１より供給さ
れる合成画像データＳと、フレームメモリ３１に記憶さ
れた合成画像データＳとの差分をブロック単位で行な
う。動き予測部３２は、差分値の絶対値和または差分値
の２乗和が所定のしきい値であれば、差分をとるときに
使用したフレームメモリ３１上のブロックとそのときの
動きベクトルとを出力する。なお、更新位置情報Ｃのブ
ロックの値が“００”となるブロックと同位置の、前の
合成画像データＳのブロックに対してのみ動き予測を行
なうようにしてもよい。

【００６６】差分処理部３３は、入力画像合成部１より
出力される合成画像データＳと動き予測部３２より出力
されるブロックとの差分をブロック単位で行なう（Ｓ６
０）。その後、Ｓ６２〜Ｓ７２の処理を行なう。Ｓ６６
の処理では、上述のＳ６６の処理と異なり、動きベクト
ルも合わせて可変長符号化される。その他の処理は、上
述の処理と同様であるため、それらの詳細な説明はここ
では繰返さない。

【００６７】時間ｔ０の場合には（Ｓ７４でＮＯ）、加
算処理部３４が、逆変換部３０の出力に、動き予測部３
２より出力される、現在の合成画像データＳに似ている
前の時間の合成画像データＳのブロックを加算し（Ｓ７
６）、フレームメモリ３１に結果を格納する（Ｓ７
８）。その後、Ｓ５２へ戻る。

【００６８】以上のようにして複数の部品画像データＯ
ｉより符号化データＤｏが作成される。

【００６９】上述の説明では、部品画像データの枚数を
２枚の場合に限定して説明を行なったが、３枚以上であ
ってもよい。たとえば、部品画像データの枚数が３枚の
場合には、更新位置情報生成部１７の動作は図１３のよ
うになる。すなわち、図７と比較して異なる点は、Ｓ４
８の処理が追加されている点である。部品画像データが
背景画像でなく、かつ更新されていない場合には（Ｓ３
４でＮＯ、Ｓ４４でＮＯ）、処理Ｐ３が行なわれる（Ｓ
４８）。処理Ｐ３とは、対象となるブロックの値を“１
１”に書換える処理である。図４の更新位置情報生成部
１７には、処理Ｐ３を行なうための処理Ｐ３部（図示せ
ず）が追加される。

【００７０】符号化制御部２６は、ブロックの値が“１
１”の場合には、ブロックの値が“１０”の場合と同様
の量子化ステップ数を量子化部２５に供給する。また、
ブロックの値が“００”の場合と同様の処理に基づき、
動き予測部３２において動き予測が行なわれるまた、更
新位置情報Ｃの各ブロックの値は２ビットとして説明を
行なったが、ブロック内に部品画像データＯ１と部品画
像データＯ２との双方を含むブロック、すなわち部品画
像データＯ１と部品画像データＯ２との境界を含むブロ
ックがあるか否かを示すビットをさらに設け、３ビット
のデータとしてもよい。この時、符号化制御部２６は、
量子化部２５で量子化を行なう際の量子化ステップ数
を、境界を含むか否かにより変化させる。

【００７１】以上説明したように、本発明の実施の形態
に係る動画像符号化装置によれば、複数の部品画像デー
タではなく、１つの合成画像データを符号化するだけで
ある。このため、符号化の処理が簡単になる。また、部
品画像データから人物領域などを切出す際に用いられる
形状情報は符号化する必要がない。このため、符号化の
際の圧縮効率を高めることができる。さらに、部品画像
データのうち重なり合って表示されない領域について
は、符号化の対象とされない。このため、圧縮効率をさ
らに高めることができる。

【００７２】また、フレームレートの異なる部品画像デ
ータを合成した合成画像データを符号化する際に、前の
フレームの合成画像データと比較し、更新されていない
ブロックに関しては符号化の対象とされない。このた
め、無駄な情報量が発生せず、符号化に必要な処理量を
削減することができる。

【００７３】さらに、ユーザは、順序情報を外部より入
力することにより、部品画像データの重ね合わせ順序を
簡単に指定することができる。

【００７４】さらにまた、いずれかの部品画像データが
更新された際に、部品画像データの合成処理が行なわれ
る。このため、無駄な合成処理を行なうことがなくな
る。

【００７５】また、入力画像合成部は、合成画像データ
を出力する前にローパスフィルタ処理を施している。こ
のため、見た目に自然な合成画像データを作成すること
ができる。

【００７６】また、部品画像データを構成する人物領域
などを切出した画像データの切出しは、テンプレートな
どを用いて行なわれてもよい。このため、簡単に着目領
域の切出しを行なうことができる。

【００７７】また、符号化部は、更新位置情報を調べる
ことにより、合成画像データのすべてのブロックが更新
されていない場合には、符号化処理を行なわない。この
ため、無駄な情報量が発生せず、符号化部の処理量が削
減される。

【００７８】また、符号化部２は、更新位置情報に基づ
いて、合成画像データ内の各ブロックに対して、背景画
像および前景画像のいずれを含むか、またはその両者を
含むかを判断し、ブロックの種類に応じて、量子化の際
のステップ数を変化させる。このため、圧縮率を変える
ことなく、前景画像などの重要な部分の画質を背景画像
などのあまり重要でない部分の画質よりも向上させるこ
とができる。

【００７９】また、動き予測部３２で、更新位置情報Ｃ
のブロックの値が“００”のブロックに対してのみ、動
き予測を行なうようにすることにより、誤った動きベク
トルを選択することがなくなり、かつ符号化の速度を向
上させることができる。

【００８０】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る動画像符号化装置
の構成を示すブロック図である。

【図２】入力画像合成部に入力される部品画像データ
を説明する図である。

【図３】入力画像合成部の構成を示すブロック図であ
る。

【図４】更新位置情報生成部の構成を示すブロック図
である。

【図５】符号化部の構成を示すブロック図である。

【図６】入力画像合成部の動作を説明するフローチャ
ートである。

【図７】更新位置情報生成部の動作を示すフローチャ
ートである。

【図８】各時間における部品画像データＯ１およびＯ
２ならびに合成画像データＳの一例を示す図である。

【図９】時間ｔ０における更新位置情報生成部の処理
を説明するための図である。

【図１０】時間ｔ１における更新位置情報生成部の処
理を説明するための図である。

【図１１】時間ｔ２における更新位置情報生成部の処
理を説明するための図である。

【図１２】符号化部の動作を説明するフローチャート
である。

【図１３】部品画像データが３枚の場合の更新位置情
報生成部の動作を示すフローチャートである。

【図１４】従来の動画像データの合成処理を説明する
ための図である。

【符号の説明】

１入力画像合成部、２符号化部、３動画像デー
タ、４動画像データ、５切出し装置、６画像デー
タ、７，２１形状情報、８人物領域、９時間制御
部、１０，１１，１５，１９スイッチ、１２，１３，
１４，１６，３１フレームメモリ、１７更新位置情報
生成部、１８制御部、２０メモリ、２４変換部、
２５量子化部、２６符号化制御部、２７可変長符
号化部、２８多重化部、２９逆量子化部、３０逆
変換部、３２予測部、３３差分処理部、３４加算
処理部、４１処理Ｐ０部、４２処理Ｐ１部、４３
処理Ｐ２部、Ａ順序情報、Ｂ更新フラグ、Ｃ，Ｃａ
更新位置情報、Ｄｏ符号化データ、Ｏ１，Ｏ１０，
Ｏ２，Ｏ２０，Ｏｉ部品画像データ、Ｓ，Ｓａ合成画
像データ、Ｔ合成タイミングフラグ、Ｔ１，Ｔ１ａ，
Ｔ１ｂ，Ｔ２ａ，Ｔ２ｂ，Ｔｉ表示時間、ｉｍｇ３，
ｉｍｇ４動画像データ、ｏｂｊ１符号化データ、ｔ
０，ｔ１，ｔ２，ｔａ時間。

フロントページの続きＦターム(参考） 5B057 CA08 CA12 CA16 CA19 CB08 CB12 CB16 CE06 CE08 CE09 CG02 CG05 CH09 CH11 5C023 AA11 AA17 AA27 AA28 BA02 BA11 BA19 CA03 CA08 DA01 DA08 EA03 5C059 KK01 KK11 MA00 MB01 MB22 MB26 MD02 ME01 NN01 NN21 NN23 NN28 PP04 PP28 PP29 RC16 RC19 RC26 SS01 TA53 TB08 TC11 TC43 TD18 UA02 UA05 UA31

Claims

【特許請求の範囲】

【請求項１】複数の動画像データを受け、前記複数の
動画像データを合成し、合成画像データを出力する入力
画像合成部と、前記入力画像合成部に接続され、前記合成画像データを
受け、前記合成画像データを符号化する符号化部とを含
む、動画像符号化装置。
【請求項２】前記入力画像合成部は、前記複数の動画
像データの重ね合わせ順序を示す順序情報および前記複
数の動画像データを受け、前記順序情報に基づいて前記
複数の動画像データを合成する、請求項１に記載の動画
像符号化装置。
【請求項３】前記入力画像合成部は、前記複数の動画
像データにそれぞれ対応して設けられ前記複数の動画像
データが表示されるべき時間をそれぞれ表わす複数の表
示時間および前記複数の動画像データを受け、前記表示
時間に基づいて前記複数の動画像データを合成する、請
求項１に記載の動画像符号化装置。
【請求項４】前記入力画像合成部は、前記複数の動画
像データにそれぞれ対応して設けられ前記複数の動画像
データが表示されるべき時間をそれぞれ表わす複数の表
示時間、前記複数の動画像データおよび前記順序情報を
受け、前記複数の表示時間および前記順序情報に基づい
て、前記複数の動画像データを合成し、かつ、いずれの
動画像データが更新されているかを示す更新フラグを出
力する合成部と、前記合成部に接続され、前記複数の動画像データ、前記
複数の表示時間および前記更新フラグを受け、前記複数
の動画像データ、前記複数の表示時間および前記更新フ
ラグに基づいて、前記合成画像データを構成する複数の
ブロックのうち更新されたブロックを表わす更新位置情
報を生成する更新位置情報生成部とを含む、請求項１に
記載の動画像符号化装置。
【請求項５】前記符号化部は、前記入力画像合成部に
接続され、前記入力画像合成部より前記合成画像データ
および前記更新位置情報を受け、前記更新位置情報に基
づいて、前記合成画像データを符号化する、請求項４に
記載の動画像符号化装置。
【請求項６】前記更新位置情報生成部が生成する前記
更新位置情報は、前記合成画像データの各ブロックがど
の動画像データを含むかを示すデータを含む、請求項４
または５に記載の動画像符号化装置。
【請求項７】前記符号化部は、前記更新位置情報に基
づき定められる方法で量子化を行ない、前記合成画像デ
ータを符号化する、請求項６に記載の動画像符号化装
置。
【請求項８】前記符号化部は、前記更新位置情報に基
づき定められる動き予測方法を用いて、前記合成画像デ
ータの符号化を行なう、請求項６または７に記載の動画
像符号化装置。
【請求項９】前記入力画像合成部は、前記合成画像デ
ータにローパスフィルタを施し出力する、請求項１〜８
のいずれかに記載の動画像符号化装置。
【請求項１０】動画像データを受け、前記動画像デー
タを予め定められたサイズのテンプレートを用いて切出
し、切出した動画像データを前記入力画像合成部に供給
する切出し装置をさらに含む、請求項１〜９のいずれか
に記載の動画像符号化装置。