JP2000069475A - 映像符号化方法、装置、および映像符号化プログラムを記録した記録媒体 - Google Patents
映像符号化方法、装置、および映像符号化プログラムを記録した記録媒体Info
- Publication number
- JP2000069475A JP2000069475A JP24051898A JP24051898A JP2000069475A JP 2000069475 A JP2000069475 A JP 2000069475A JP 24051898 A JP24051898 A JP 24051898A JP 24051898 A JP24051898 A JP 24051898A JP 2000069475 A JP2000069475 A JP 2000069475A
- Authority
- JP
- Japan
- Prior art keywords
- video
- encoding
- encoding target
- target video
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 符号化対象映像の輪郭部、各部分の動き、画
面全体の動き、時間的輝度変化といった情報を精度よく
検出し、符号化効率を向上させる。 【解決手段】 符号化対象映像入力部１０１から、映像
作成ツールまたは映像編集ツールを使用して作成された
映像データが入力する。一方、符号化対象映像解析用デ
ータ入力部１０２からはその映像が作成された際に利用
されたデータが入力する。両データは符号化対象映像解
析部１０３に入力し、符号化対象映像データが符号化さ
れる際に使用可能な特徴量が、符号化対象映像解析用デ
ータを参照することによって算出される。符号化対象映
像解析部１０３で算出された特徴量は映像符号化部１０
４に入力し、符号化対象映像入力部１０１から入力した
符号化対象映像データを符号化するために用いられる。
符号化対象映像入力部１０１からは符号化対象映像の符
号化データが出力される。
面全体の動き、時間的輝度変化といった情報を精度よく
検出し、符号化効率を向上させる。 【解決手段】 符号化対象映像入力部１０１から、映像
作成ツールまたは映像編集ツールを使用して作成された
映像データが入力する。一方、符号化対象映像解析用デ
ータ入力部１０２からはその映像が作成された際に利用
されたデータが入力する。両データは符号化対象映像解
析部１０３に入力し、符号化対象映像データが符号化さ
れる際に使用可能な特徴量が、符号化対象映像解析用デ
ータを参照することによって算出される。符号化対象映
像解析部１０３で算出された特徴量は映像符号化部１０
４に入力し、符号化対象映像入力部１０１から入力した
符号化対象映像データを符号化するために用いられる。
符号化対象映像入力部１０１からは符号化対象映像の符
号化データが出力される。
Description
【０００１】
【発明の属する技術分野】本発明は、映像作成ツールま
たは映像編集ツールを使用して作成された映像を符号化
する映像符号化方法および装置に関する。
たは映像編集ツールを使用して作成された映像を符号化
する映像符号化方法および装置に関する。
【０００２】
【従来の技術】映像を符号化する場合、輪郭等のように
明るさや色が空間的に急激な変化がある部分とその周辺
では一般に大きな雑音が生じ画質劣化が顕著に現われ
る。この問題を解決する従来の技術として、例えば、符
号化対象映像を輪郭形状に合わせて分割しその形状毎に
符号化する方法がある。また、特願平１０−２１９２５
８（古角，上倉，渡辺：「画像符号化方法、復号方
法」）では、符号化対象映像から輪郭部に相当する線画
像を分離し、その線画像と分離後の映像を別々に符号化
している。一方、動きや時間的な明るさの変化が多い場
合にも大きな画質劣化が生じやすい。この問題を解決す
るために、特願平８−１８６２２２や特願平８−２３３
００２のように画面全体の輝度変化を検出し補償する技
術がある。また、特願平２−０９２０９３のように画面
全体の動きを検出し補償する技術がある。
明るさや色が空間的に急激な変化がある部分とその周辺
では一般に大きな雑音が生じ画質劣化が顕著に現われ
る。この問題を解決する従来の技術として、例えば、符
号化対象映像を輪郭形状に合わせて分割しその形状毎に
符号化する方法がある。また、特願平１０−２１９２５
８（古角，上倉，渡辺：「画像符号化方法、復号方
法」）では、符号化対象映像から輪郭部に相当する線画
像を分離し、その線画像と分離後の映像を別々に符号化
している。一方、動きや時間的な明るさの変化が多い場
合にも大きな画質劣化が生じやすい。この問題を解決す
るために、特願平８−１８６２２２や特願平８−２３３
００２のように画面全体の輝度変化を検出し補償する技
術がある。また、特願平２−０９２０９３のように画面
全体の動きを検出し補償する技術がある。
【０００３】
【発明が解決しようとする課題】従来の技術では、符号
化対象映像から必要とする情報を正しく検出することが
困難であった。例えば複雑な模様をした背景に人物の輪
郭が重なっている場合は、その輪郭が正しく検出できな
かった。複数のフレームから最も似ている形を検出する
場合は演算量が膨大になったり、どこまで離れたフレー
ムまで検出対象とすればよいかが明確に決定できなかっ
た。また、時間的な輝度変化と動きが混合している場
合、またはディゾルブ（前後のフレームから中間フレー
ムを混合させる効果）と動きが混合している場合には、
その動きや輝度変化、ディゾルブの混合比を十分正確に
検出することも困難であった。
化対象映像から必要とする情報を正しく検出することが
困難であった。例えば複雑な模様をした背景に人物の輪
郭が重なっている場合は、その輪郭が正しく検出できな
かった。複数のフレームから最も似ている形を検出する
場合は演算量が膨大になったり、どこまで離れたフレー
ムまで検出対象とすればよいかが明確に決定できなかっ
た。また、時間的な輝度変化と動きが混合している場
合、またはディゾルブ（前後のフレームから中間フレー
ムを混合させる効果）と動きが混合している場合には、
その動きや輝度変化、ディゾルブの混合比を十分正確に
検出することも困難であった。
【０００４】本発明の目的は、符号化対象映像の輪郭
部、各部分の動き、画面全体の動き、時間的輝度変化と
いった情報を精度よく検出することができ、符号化効率
を向上させることができる映像符号化方法および装置を
提供することにある。
部、各部分の動き、画面全体の動き、時間的輝度変化と
いった情報を精度よく検出することができ、符号化効率
を向上させることができる映像符号化方法および装置を
提供することにある。
【０００５】
【課題を解決するための手段】本発明の映像符号化方法
は、映像作成ツールまたは映像編集ツールを使用して作
成された映像を符号化対象映像として入力する符号化対
象映像入力手段と、符号化対象映像を作成する際に用い
られたデータを符号化対象映像解析用データとして入力
する符号化対象映像解析用データ入力手段と、符号化対
象映像解析用データを参考にして、符号化対象映像入力
手段で入力された符号化対象映像の特徴を解析する符号
化対象映像手段と、符号化対象映像解析手段で解析され
た解析データを参考にして、符号化対象映像を符号化す
る映像符号化手段とを有する。
は、映像作成ツールまたは映像編集ツールを使用して作
成された映像を符号化対象映像として入力する符号化対
象映像入力手段と、符号化対象映像を作成する際に用い
られたデータを符号化対象映像解析用データとして入力
する符号化対象映像解析用データ入力手段と、符号化対
象映像解析用データを参考にして、符号化対象映像入力
手段で入力された符号化対象映像の特徴を解析する符号
化対象映像手段と、符号化対象映像解析手段で解析され
た解析データを参考にして、符号化対象映像を符号化す
る映像符号化手段とを有する。
【０００６】また、本発明の映像符号化装置は、映像作
成ツールまたは映像編集ツールを使用して作成された映
像を符号化対象映像として入力する符号化映像入力手段
と、符号化対象映像を作成する際に用いられたデータを
符号化対象映像解析用データとして入力する符号化対象
映像解析用データ入力手段と、符号化対象映像解析用デ
ータを参考にして、符号化対象映像入力手段で入力され
た符号化対象映像の特徴を解析する符号化対象映像解析
手段と、符号化対象映像解析手段で解析された解析デー
タを参考にして、前記符号化対象映像を符号化する映像
符号化手段とを有する。
成ツールまたは映像編集ツールを使用して作成された映
像を符号化対象映像として入力する符号化映像入力手段
と、符号化対象映像を作成する際に用いられたデータを
符号化対象映像解析用データとして入力する符号化対象
映像解析用データ入力手段と、符号化対象映像解析用デ
ータを参考にして、符号化対象映像入力手段で入力され
た符号化対象映像の特徴を解析する符号化対象映像解析
手段と、符号化対象映像解析手段で解析された解析デー
タを参考にして、前記符号化対象映像を符号化する映像
符号化手段とを有する。
【０００７】映像を作成したり編集したりするツールに
よって作成された映像には、作成時に使用された作成途
中の映像や、それを最終的に編集するための情報が存在
する。本発明では、映像作成ツールまたは編集ツールに
よって作成された映像を符号化する際に、その符号化対
象映像を外部から入力するとともに、作成途中の映像ま
たは最終編集するための情報を外部から入力する。符号
化対象映像の符号化に際しては、作成途中の映像または
最終編集するための情報を参照する。これにより、符号
化対象映像の輪郭部、各部分の動き、画面全体の動き、
時間的輝度変化、ディゾルブの混合率といった情報を精
度よく検出することができる。
よって作成された映像には、作成時に使用された作成途
中の映像や、それを最終的に編集するための情報が存在
する。本発明では、映像作成ツールまたは編集ツールに
よって作成された映像を符号化する際に、その符号化対
象映像を外部から入力するとともに、作成途中の映像ま
たは最終編集するための情報を外部から入力する。符号
化対象映像の符号化に際しては、作成途中の映像または
最終編集するための情報を参照する。これにより、符号
化対象映像の輪郭部、各部分の動き、画面全体の動き、
時間的輝度変化、ディゾルブの混合率といった情報を精
度よく検出することができる。
【０００８】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【０００９】図１は本発明の一実施形態の映像符号化装
置を示すブロック図である。
置を示すブロック図である。
【００１０】本装置は符号化対象映像入力部１０１と符
号化対象映像解析用データ入力部１０２と符号化対象映
像解析部１０３と映像符号化部１０４で構成されてい
る。
号化対象映像解析用データ入力部１０２と符号化対象映
像解析部１０３と映像符号化部１０４で構成されてい
る。
【００１１】符号化対象映像入力部１０１から、映像作
成ツールまたは映像編集ツールを使用して作成された映
像データが入力する。一方、符号化対象映像解析用デー
タ入力部１０２からはその映像が作成された際に利用さ
れたデータが入力する。両データは符号化対象映像解析
部１０３に入力し、符号化対象映像データが符号化され
る際に使用可能な特徴量が、符号化対象映像解析用デー
タを参照することによって算出される。符号化対象映像
解析部１０３で算出された特徴量は映像符号化部１０４
に入力し、符号化対象映像入力部１０１から入力した符
号化対象映像データを符号化するために用いられる。符
号化対象映像入力部１０１からは符号化対象映像の符号
化データが出力される。
成ツールまたは映像編集ツールを使用して作成された映
像データが入力する。一方、符号化対象映像解析用デー
タ入力部１０２からはその映像が作成された際に利用さ
れたデータが入力する。両データは符号化対象映像解析
部１０３に入力し、符号化対象映像データが符号化され
る際に使用可能な特徴量が、符号化対象映像解析用デー
タを参照することによって算出される。符号化対象映像
解析部１０３で算出された特徴量は映像符号化部１０４
に入力し、符号化対象映像入力部１０１から入力した符
号化対象映像データを符号化するために用いられる。符
号化対象映像入力部１０１からは符号化対象映像の符号
化データが出力される。
【００１２】次に、本実施形態の映像符号化装置の動作
例を、アニメーション映像を符号化対象とした場合につ
いて記す。アニメーション映像は一般に図２に示す流れ
で作成される。すなわち、まずアニメーション全体の企
画（企画処理２０１）と脚本（脚本処理２０２）を行
い、それにしたがって各場面の画像をフレーム単位に作
成していく。作成にあたっては、背景画像をオブジェク
ト毎の画像を別々に作成する。背景画像作成（背景画像
作成処理２０３）については、シーンに必要な全景を１
つの大きな画像としてシーン毎に作成する。各オブジェ
クト画像作成については、まず輪郭やしわ等を線で描き
（オブジェクト線画像作成処理２０４）その後彩色（彩
色処理２０５）を行う。オブジェクト画像は毎フレーム
毎に必ず動きが生じるわけではないため、動きを表現し
たい部分だけ作成する。そのためにオブジェクト画像作
成と並行して図３のような表を作り、その表にしたがっ
て各オブジェクトの画像を必要な分だけ作成する。例え
ば図３の“●”は時間変化があることを表現するために
前のフレームと異なる画像がある部分、“｜”は前のフ
レームと同じ画像をそのまま使用する部分をあらわして
いる。すなわち「オブジェクト１」画像については、時
刻Ｔ，Ｔ＋１，Ｔ＋３用の３つのオブジェクト画像が作
られることになる。同様に、「オブジェクト２」画像に
ついては、時刻Ｔ，Ｔ＋１，Ｔ＋２用の３つのオブジェ
クト画像が作られることなる。
例を、アニメーション映像を符号化対象とした場合につ
いて記す。アニメーション映像は一般に図２に示す流れ
で作成される。すなわち、まずアニメーション全体の企
画（企画処理２０１）と脚本（脚本処理２０２）を行
い、それにしたがって各場面の画像をフレーム単位に作
成していく。作成にあたっては、背景画像をオブジェク
ト毎の画像を別々に作成する。背景画像作成（背景画像
作成処理２０３）については、シーンに必要な全景を１
つの大きな画像としてシーン毎に作成する。各オブジェ
クト画像作成については、まず輪郭やしわ等を線で描き
（オブジェクト線画像作成処理２０４）その後彩色（彩
色処理２０５）を行う。オブジェクト画像は毎フレーム
毎に必ず動きが生じるわけではないため、動きを表現し
たい部分だけ作成する。そのためにオブジェクト画像作
成と並行して図３のような表を作り、その表にしたがっ
て各オブジェクトの画像を必要な分だけ作成する。例え
ば図３の“●”は時間変化があることを表現するために
前のフレームと異なる画像がある部分、“｜”は前のフ
レームと同じ画像をそのまま使用する部分をあらわして
いる。すなわち「オブジェクト１」画像については、時
刻Ｔ，Ｔ＋１，Ｔ＋３用の３つのオブジェクト画像が作
られることになる。同様に、「オブジェクト２」画像に
ついては、時刻Ｔ，Ｔ＋１，Ｔ＋２用の３つのオブジェ
クト画像が作られることなる。
【００１３】次に、フレーム毎の各オブジェクト画像を
背景画像上に配置し１フレームの画像として合成（合成
処理２０６）する。その際、背景画像に関しては図３に
示すようにパニングやズームといったカメラワークの指
定に従い、背景画像を平行移動したり縮小・拡大したり
する。また、オブジェクトの輪郭部分では折返し雑音防
止のためのスムージング処理等、微少な輪郭修正処理が
行われることもある。
背景画像上に配置し１フレームの画像として合成（合成
処理２０６）する。その際、背景画像に関しては図３に
示すようにパニングやズームといったカメラワークの指
定に従い、背景画像を平行移動したり縮小・拡大したり
する。また、オブジェクトの輪郭部分では折返し雑音防
止のためのスムージング処理等、微少な輪郭修正処理が
行われることもある。
【００１４】最後に、合成された画像に対して効果（効
果処理２０７）を加える。効果の種類としては、例えば
画像全体を徐々に暗くするフェードアウトや、逆に画像
全体が徐々に現われるフェードイン、前のシーンから次
のシーンが徐々に浮かび上がってくるディゾルブ等があ
る。この効果に関しても図３に示す表を参考にする。例
えば「フェードアウト」欄に示すように時刻Ｔ＋１から
フェードアウト効果を出すため、次の時刻Ｔ＋２，，Ｔ
＋３用の各画像全体は、元の画像に比べて暗くする。
果処理２０７）を加える。効果の種類としては、例えば
画像全体を徐々に暗くするフェードアウトや、逆に画像
全体が徐々に現われるフェードイン、前のシーンから次
のシーンが徐々に浮かび上がってくるディゾルブ等があ
る。この効果に関しても図３に示す表を参考にする。例
えば「フェードアウト」欄に示すように時刻Ｔ＋１から
フェードアウト効果を出すため、次の時刻Ｔ＋２，，Ｔ
＋３用の各画像全体は、元の画像に比べて暗くする。
【００１５】上記のアニメーション映像作成処理によっ
て作成される映像の例を図４に示す。画像４０１，４０
２，４０３，４０４は最終的に得られる画像であり、そ
れぞれ時刻Ｔ，Ｔ＋１，Ｔ＋２，Ｔ＋３用の画像であ
る。この画像を作成する過程の中で、まず背景画像４１
７が背景画像作成処理２０３で得られる。また、オブジ
ェクト１の線画像４０５，４０６，４０７およびオブジ
ェクト２の線画像４１１，４１２，４１３がオブジェク
ト線画像作成処理２０４で得られる。さらに、オブジェ
クト１の画像４０８，４０９，４１０およびオブジェク
ト２の画像４１４，４１５，４１６が彩色処理２０５で
得られる。また、図３に示すように時刻Ｔ＋１から「黒
へのフェードアウト」効果処理が施されるため、画像４
０３，４０４は全体が徐々に暗くなる。また、時刻Ｔ＋
２から「右へのパニング」というカメラワークが施され
るため、画像４０４は背景部分が左に平行移動されてい
る。
て作成される映像の例を図４に示す。画像４０１，４０
２，４０３，４０４は最終的に得られる画像であり、そ
れぞれ時刻Ｔ，Ｔ＋１，Ｔ＋２，Ｔ＋３用の画像であ
る。この画像を作成する過程の中で、まず背景画像４１
７が背景画像作成処理２０３で得られる。また、オブジ
ェクト１の線画像４０５，４０６，４０７およびオブジ
ェクト２の線画像４１１，４１２，４１３がオブジェク
ト線画像作成処理２０４で得られる。さらに、オブジェ
クト１の画像４０８，４０９，４１０およびオブジェク
ト２の画像４１４，４１５，４１６が彩色処理２０５で
得られる。また、図３に示すように時刻Ｔ＋１から「黒
へのフェードアウト」効果処理が施されるため、画像４
０３，４０４は全体が徐々に暗くなる。また、時刻Ｔ＋
２から「右へのパニング」というカメラワークが施され
るため、画像４０４は背景部分が左に平行移動されてい
る。
【００１６】図５は、このようにして作成されたアニメ
ーション映像を符号化する映像符号化装置の構成図であ
る。符号化対象映像入力部５０１は図１中の符号化対象
映像入力部１０１に相当する。オブジェクト１線画像入
力部５０２から背景画像入力部５０６は図１中の符号化
対象映像解析用データ入力部１０２に相当する。グロー
バル輝度変化検出部５１１、背景領域判定部５１２、グ
ローバル動き検出部５１３、線画検出部５０８は図１中
の符号化対象映像解析部１０３に相当する。映像符号化
部５１４は図１中の映像符号化部１０４に相当する。
ーション映像を符号化する映像符号化装置の構成図であ
る。符号化対象映像入力部５０１は図１中の符号化対象
映像入力部１０１に相当する。オブジェクト１線画像入
力部５０２から背景画像入力部５０６は図１中の符号化
対象映像解析用データ入力部１０２に相当する。グロー
バル輝度変化検出部５１１、背景領域判定部５１２、グ
ローバル動き検出部５１３、線画検出部５０８は図１中
の符号化対象映像解析部１０３に相当する。映像符号化
部５１４は図１中の映像符号化部１０４に相当する。
【００１７】図４のオブジェクト１の線画像４０５，４
０６，４０７はオブジェクト１線画像入力部５０２から
入力する。図４のオブジェクト２の線画像４１１，４１
２，４１３はオブジェクト２線画像入力部５０３から入
力する。図４のオブジェクト１の画像４０８，４０９，
４１０はオブジェクト１画像入力部５０４から入力す
る。図４のオブジェクト２の画像４１４，４１５，４１
６はオブジェクト２画像入力部５０５から入力する。図
４の背景画像４１７は背景画像入力部５０６から入力す
る。図３に示す時間変化情報は時間変化情報入力部５０
７から入力する。ここで、図３のように用紙に書かれた
時間情報は、時間変化情報入力部５０７に入力できる予
め定められたフォーマットに従って手入力してもよい
し、図３のように用紙のフォーマット自体を予め設定し
ておき、その用紙をＯＣＲで読込んで自動的に時間変化
情報入力部５０７に入力できるフォーマットに変換して
もよい。
０６，４０７はオブジェクト１線画像入力部５０２から
入力する。図４のオブジェクト２の線画像４１１，４１
２，４１３はオブジェクト２線画像入力部５０３から入
力する。図４のオブジェクト１の画像４０８，４０９，
４１０はオブジェクト１画像入力部５０４から入力す
る。図４のオブジェクト２の画像４１４，４１５，４１
６はオブジェクト２画像入力部５０５から入力する。図
４の背景画像４１７は背景画像入力部５０６から入力す
る。図３に示す時間変化情報は時間変化情報入力部５０
７から入力する。ここで、図３のように用紙に書かれた
時間情報は、時間変化情報入力部５０７に入力できる予
め定められたフォーマットに従って手入力してもよい
し、図３のように用紙のフォーマット自体を予め設定し
ておき、その用紙をＯＣＲで読込んで自動的に時間変化
情報入力部５０７に入力できるフォーマットに変換して
もよい。
【００１８】符号化対象映像入力部５０１から入力した
符号化対象画像５２１は、映像符号化部５１４に入力す
ると共に、グローバル輝度変化検出部５１１、グローバ
ル動き検出部５１３、線画検出部５０８に入力する。
符号化対象画像５２１は、映像符号化部５１４に入力す
ると共に、グローバル輝度変化検出部５１１、グローバ
ル動き検出部５１３、線画検出部５０８に入力する。
【００１９】背景領域判定部５１２では、オブジェクト
１画像５２５とオブジェクト２画像５２７以外の領域を
背景領域と判断し、その背景領域情報５２６をグローバ
ル輝度変化検出部５１１、グローバル動き検出部５１
３、映像符号化部５１４に送る。
１画像５２５とオブジェクト２画像５２７以外の領域を
背景領域と判断し、その背景領域情報５２６をグローバ
ル輝度変化検出部５１１、グローバル動き検出部５１
３、映像符号化部５１４に送る。
【００２０】背景画像入力部５０６から入力する背景全
景画像５２９は、先ず背景画像符号化部５１０で符号化
され符号化データ５２８を出力する。それとともに背景
全景画像５２９はグローバル輝度変化検出部５１１、グ
ローバル動き検出部５１３、映像符号化５１４に送られ
る。
景画像５２９は、先ず背景画像符号化部５１０で符号化
され符号化データ５２８を出力する。それとともに背景
全景画像５２９はグローバル輝度変化検出部５１１、グ
ローバル動き検出部５１３、映像符号化５１４に送られ
る。
【００２１】グローバル輝度変化検出部５１１では、符
号化対象画像５２１と背景全景画像５２９とを比較する
ことにより、符号化対象画像５２１が背景全景画像５２
９に対してどのような輝度変化を生じているかを検出す
る。画面全体の輝度変化を検出する従来の技術として例
えば特願平８−１８６２２２や特願平８−２３３００２
があるが、これらの技術では２つの映像信号のみから輝
度変化を検出している。一方、本実施形態ではさらに、
時間変化情報５３１によりその輝度変化が黒に収束する
のか、白に収束するのか、または中間色に収束するの
か、といったような情報がわかるため、あらかじめ輝度
変化パラメータの範囲を絞ることができ、それによって
安定した検出が可能となる。
号化対象画像５２１と背景全景画像５２９とを比較する
ことにより、符号化対象画像５２１が背景全景画像５２
９に対してどのような輝度変化を生じているかを検出す
る。画面全体の輝度変化を検出する従来の技術として例
えば特願平８−１８６２２２や特願平８−２３３００２
があるが、これらの技術では２つの映像信号のみから輝
度変化を検出している。一方、本実施形態ではさらに、
時間変化情報５３１によりその輝度変化が黒に収束する
のか、白に収束するのか、または中間色に収束するの
か、といったような情報がわかるため、あらかじめ輝度
変化パラメータの範囲を絞ることができ、それによって
安定した検出が可能となる。
【００２２】グローバル動き検出部５１３では、符号化
対象画像５２１と背景全景画像５２９とを比較すること
により、符号化対象画像５２１が背景全景画像５２９に
対してどのような動きを生じているか検出する。画面全
体の動きを検出する従来の技術として例えば特願平２−
０９２０９３があるが、この技術では２つの映像信号の
みから画面全体の動きを検出している。一方、本実施形
態ではさらに、時間変化情報５３１によりその動きが右
なのか左なのか、または上なのか下なのか、または拡大
なのか縮小なのか、といったような情報がわかるため、
あらかじめ動きパラメータの範囲を絞ることができ、そ
れによって安定した検出が可能となる。
対象画像５２１と背景全景画像５２９とを比較すること
により、符号化対象画像５２１が背景全景画像５２９に
対してどのような動きを生じているか検出する。画面全
体の動きを検出する従来の技術として例えば特願平２−
０９２０９３があるが、この技術では２つの映像信号の
みから画面全体の動きを検出している。一方、本実施形
態ではさらに、時間変化情報５３１によりその動きが右
なのか左なのか、または上なのか下なのか、または拡大
なのか縮小なのか、といったような情報がわかるため、
あらかじめ動きパラメータの範囲を絞ることができ、そ
れによって安定した検出が可能となる。
【００２３】線画検出部５０８では、オブジェクト１線
画像入力部５０２からのオブジェクト１線画５２２とオ
ブジェクト２線画像入力部５０３からのオブジェクト２
線画５２３の両者を合わせたものを符号化対象画像５２
１に対する線画とする。ただし、符号化対象画像５２１
を参照して、両方のオブジェクトが重なり合って一方が
隠れている線については取り除く。得られた線画情報５
２４は映像符号化部５１４に送られる。
画像入力部５０２からのオブジェクト１線画５２２とオ
ブジェクト２線画像入力部５０３からのオブジェクト２
線画５２３の両者を合わせたものを符号化対象画像５２
１に対する線画とする。ただし、符号化対象画像５２１
を参照して、両方のオブジェクトが重なり合って一方が
隠れている線については取り除く。得られた線画情報５
２４は映像符号化部５１４に送られる。
【００２４】映像符号化部５１４では、符号化対象画像
データ５２１を符号化するにあたって、線画情報５２
４、グローバル輝度変化パラメータ５３２、背景領域情
報５２６、グローバル動きパラメータ５３３、背景全景
画像５２９の各情報を利用して符号化を行い、符号化デ
ータ５３４を出力する。
データ５２１を符号化するにあたって、線画情報５２
４、グローバル輝度変化パラメータ５３２、背景領域情
報５２６、グローバル動きパラメータ５３３、背景全景
画像５２９の各情報を利用して符号化を行い、符号化デ
ータ５３４を出力する。
【００２５】線画情報５２４は、例えば特願平１０−２
１９２５８（古角、上倉、渡辺：「画像符号化方法、復
号方法」）で記述されているように、符号化対象映像か
ら輪郭部に相当する線画像を分離して符号化する技術を
使う際に利用する。
１９２５８（古角、上倉、渡辺：「画像符号化方法、復
号方法」）で記述されているように、符号化対象映像か
ら輪郭部に相当する線画像を分離して符号化する技術を
使う際に利用する。
【００２６】グローバル輝度変化パラメータ５３２は、
例えば特願平８−１８６２２２のように画面全体に生じ
ている輝度変化を補償する技術を使う際に利用する。
例えば特願平８−１８６２２２のように画面全体に生じ
ている輝度変化を補償する技術を使う際に利用する。
【００２７】グローバル動きパラメータ５３３は、例え
ば特願平２−０９２０９３のように画面全体に生じてい
る動きを補償する技術を使う際に利用する。
ば特願平２−０９２０９３のように画面全体に生じてい
る動きを補償する技術を使う際に利用する。
【００２８】背景領域情報５３０は、最初に送られた背
景全景画像５２９からその一部を用いて符号化する際の
領域情報として利用される。
景全景画像５２９からその一部を用いて符号化する際の
領域情報として利用される。
【００２９】図６を参照すると、本発明の他の実施形態
の映像符号化装置は、入力装置６０１と出力装置６０２
と記録媒体６０３とデータ処理装置６０４で構成されて
いる。
の映像符号化装置は、入力装置６０１と出力装置６０２
と記録媒体６０３とデータ処理装置６０４で構成されて
いる。
【００３０】入力装置６０１は図１中の符号化対象映像
入力部１０１と符号化対象映像解析用データ入力部１０
２に相当する。出力装置６０２は符号化データが出力さ
れる。記録媒体６０３は図１中の符号化対象映像解析部
１０３と映像符号化部１０４の各処理からなる映像符号
化プログラムが記録されている。フロッピィ・ディス
ク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ等の
記録媒体である。データ処理装置６０４は記録媒体６０
３は映像符号化プログラムを読み込んで、これを実行す
るＣＰＵである。
入力部１０１と符号化対象映像解析用データ入力部１０
２に相当する。出力装置６０２は符号化データが出力さ
れる。記録媒体６０３は図１中の符号化対象映像解析部
１０３と映像符号化部１０４の各処理からなる映像符号
化プログラムが記録されている。フロッピィ・ディス
ク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ等の
記録媒体である。データ処理装置６０４は記録媒体６０
３は映像符号化プログラムを読み込んで、これを実行す
るＣＰＵである。
【００３１】
【発明の効果】以上説明したように、本発明では、映像
作成ツールまたは編集ツールによって作成された映像を
符号化する際に、その符号化対象映像を外部から入力す
るとともに、作成途中の映像または最終編集するための
情報を外部から入力し、それらの情報を参照することに
より、符号化対象映像の輪郭部、各部分の動き、画面全
体の動き、時間的輝度変化といった情報を精度よく検出
することができ、符号化効率を向上させることができ
る。
作成ツールまたは編集ツールによって作成された映像を
符号化する際に、その符号化対象映像を外部から入力す
るとともに、作成途中の映像または最終編集するための
情報を外部から入力し、それらの情報を参照することに
より、符号化対象映像の輪郭部、各部分の動き、画面全
体の動き、時間的輝度変化といった情報を精度よく検出
することができ、符号化効率を向上させることができ
る。
【図１】本発明の一実施形態の映像符号化装置を示すブ
ロック図である。
ロック図である。
【図２】アニメーション映像の作成過程を示す図であ
る。
る。
【図３】アニメーション映像を作成する際に使われる時
間変化情報を現わした表の一例を示す図である。
間変化情報を現わした表の一例を示す図である。
【図４】アニメーション映像作成過程によって作成され
る映像の例を示す図である。
る映像の例を示す図である。
【図５】図１の映像符号化装置の具体例を示すブロック
図である。
図である。
【図６】本発明の他の実施形態の映像符号化装置の構成
図である。
図である。
１０１ 符号化対象映像入力部 １０２ 符号化対象映像解析用データ入力部 １０３ 符号化対象映像解析部 １０４ 映像符号化部 ２０１ 企画処理 ２０２ 脚本処理 ２０３ 背景画像作成処理 ２０４ オブジェクト線画像作成処理 ２０５ 彩色処理 ２０６ 合成処理 ２０７ 効果処理 ２０８ 完成 ４０１ 時刻Ｔの符号化対象画像 ４０２ 時刻Ｔ＋１の符号化対象画像 ４０３ 時刻Ｔ＋２の符号化対象画像 ４０４ 時刻Ｔ＋３の符号化対象画像 ４０５ 時刻Ｔのオブジェクト１の線画像 ４０６ 時刻Ｔ＋１のオブジェクト１の線画像 ４０７ 時刻Ｔ＋３のオブジェクト１の線画像 ４０８ 時刻Ｔのオブジェクト１の画像 ４０９ 時刻Ｔ＋１のオブジェクト１の画像 ４１０ 時刻Ｔ＋３のオブジェクト１の画像 ４１１ 時刻Ｔのオブジェクト２の線画像 ４１２ 時刻Ｔ＋１のオブジェクト２の線画像 ４１３ 時刻Ｔ＋２のオブジェクト２の線画像 ４１４ 時刻Ｔのオブジェクト２の画像 ４１５ 時刻Ｔ＋１のオブジェクト２の画像 ４１６ 時刻Ｔ＋２のオブジェクト２の画像 ４１７ 背景前景画像 ５０１ 符号化対象映像入力部 ５０２ オブジェクト１線画像入力部 ５０３ オブジェクト２線画像入力部 ５０４ オブジェクト１画像入力部 ５０５ オブジェクト２画像入力部 ５０６ 背景画像入力部 ５０７ 時間変化情報入力部 ５０８ 線画検出部 ５１０ 背景画像符号化部 ５１１ グローバル輝度変化検出部 ５１２ 背景画像検出部 ５１３ グローバル動き検出部 ５１４ 映像符号化部 ５２１ 符号化対象画像 ５２２ オブジェクト１線画像 ５２３ オブジェクト２線画像 ５２４ 線画領域情報 ５２５ オブジェクト１画像 ５２６ 背景領域情報 ５２７ オブジェクト２画像 ５２８ 背景画像符号化データ ５２９ 背景全景画像 ５３１ 時間変化情報 ５３２ グローバル輝度変化パラメータ ５３３ グローバル動きパラメータ ５３４ 符号化データ ６０１ 入力装置 ６０２ 出力装置 ６０３ 記録媒体 ６０４ データ処理装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 裕 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5B057 CG01 DA08 DA17 DC02 DC22 5C059 KK37 MB03 MB04 MB06 MB21 PP12 PP14 PP20 PP22 PP28 PP29 SS20 UA02 UA38 UA39
Claims (12)
- 【請求項１】 映像作成ツールまたは映像編集ツールを
使用して作成された映像を符号化する映像符号化方法で
あって、 該映像作成ツールまたは該映像編集ツールを使用して作
成された映像を符号化対象映像として入力する符号化対
象映像入力ステップと、 該符号化対象映像を作成する際に用いられたデータを符
号化対象映像解析用データとして入力する符号化対象映
像解析用データ入力ステップと、 該符号化対象映像解析用データを参考にして、前記符号
化対象映像入力ステップで入力された符号化対象映像の
特徴を解析する符号化対象映像解析ステップと、 該符号化対象映像解析ステップで解析された解析データ
を参考にして、前記符号化対象映像を符号化する映像符
号化ステップとを有する映像符号化方法。 - 【請求項２】 前記符号化対象映像を作成する過程で使
用された線画像を前記符号化対象映像解析用データの一
部として入力し、前記符号化対象映像中の線画像を検出
し、前記解析データの一部として用いる、請求項１記載
の映像符号化方法。 - 【請求項３】 複数の部分画像を合成して作成された映
像を前記符号化対象映像として入力し、該部分映像を前
記符号化対象映像解析用データの一部として入力し、前
記符号化対象映像中の背景領域またはオブジェクト領域
の判定に用いる、請求項１記載の映像符号化方法。 - 【請求項４】 前記符号化対象映像を作成する際に用い
る時間的変化データを前記符号化対象映像解析用データ
の一部として入力し、グローバル情報を検出し、前記解
析データの一部として用いる、請求項１記載の映像符号
化方法。 - 【請求項５】 映像作成ツールまたは映像編集ツールを
使用して作成された映像を符号化する映像符号化装置で
あって、 該映像作成ツールまたは該映像編集ツールを使用して作
成された映像を符号化対象映像として入力する符号化対
象映像入力手段と、 該符号化対象映像を作成する際に用いられたデータを符
号化対象映像解析用データとして入力する符号化対象映
像解析用データ入力手段と、 該符号化対象映像解析用データを参考にして、前記符号
化対象映像入力手段で入力された符号化対象映像の特徴
を解析する符号化対象映像解析手段と、 該符号化対象映像解析手段で解析された解析データを参
考にして、前記符号化対象映像を符号化する映像符号化
手段とを有する映像符号化装置。 - 【請求項６】 前記符号化対象映像を作成する過程で使
用された線画像を前記符号化対象映像解析用データの一
部として入力し、前記符号化対象映像中の線画像を検出
し、前記解析データの一部として用いる、請求項５記載
の映像符号化装置。 - 【請求項７】 複数の部分画像を合成して作成された映
像を前記符号化対象映像として入力し、該部分映像を前
記符号化対象映像解析用データの一部として入力し、前
記符号化対象映像中の背景領域またはオブジェクト領域
の判定に用いる、請求項５記載の映像符号化装置。 - 【請求項８】 符号化対象映像を作成する際に用いる時
間的変化データを前記符号化対象映像解析用データの一
部として入力し、グローバル情報を検出し、前記解析デ
ータの一部として用いる、請求項５記載の映像符号化装
置。 - 【請求項９】 映像作成ツールまたは映像編集ツールを
使用して作成された映像を符号化する映像符号化プログ
ラムであって、 符号化対象映像を作成する際に用いられ、符号化対象映
像解析用として入力されたデータを参考にして、前記映
像作成ツールまたは前記映像編集ツールを使用して作成
され、前記符号化対象映像として入力された映像の特徴
を解析する符号化対象映像解析処理と、 該符号化対象映像解析処理で解析された解析データを参
考にして、前記符号化対象映像を符号化する映像符号化
処理とをコンピュータに実行させるためのプログラムを
記録した記録媒体。 - 【請求項１０】 前記符号化対象映像を作成する過程で
使用された線画像を前記符号化対象映像解析用データの
一部として入力し、前記符号化対象映像中の線画像を検
出し、前記解析データの一部として用いる、請求項９記
載の記録媒体。 - 【請求項１１】 複数の部分画像を合成して作成された
映像を前記符号化対象映像として入力し、該部分映像を
前記符号化対象映像解析用データの一部として入力し、
前記符号化対象映像中の背景領域またはオブジェクト領
域の判定に用いる、請求項９記載の記録媒体。 - 【請求項１２】 前記符号化対象映像を作成する際に用
いる時間的変化データを前記符号化対象映像解析用デー
タの一部として入力し、グローバル情報を検出し、前記
解析データの一部として用いる、請求項９記載の記録媒
体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24051898A JP2000069475A (ja) | 1998-08-26 | 1998-08-26 | 映像符号化方法、装置、および映像符号化プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24051898A JP2000069475A (ja) | 1998-08-26 | 1998-08-26 | 映像符号化方法、装置、および映像符号化プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000069475A true JP2000069475A (ja) | 2000-03-03 |
Family
ID=17060728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24051898A Pending JP2000069475A (ja) | 1998-08-26 | 1998-08-26 | 映像符号化方法、装置、および映像符号化プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000069475A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010500818A (ja) * | 2006-08-08 | 2010-01-07 | デジタル メディア カートリッジ，リミティド | 漫画アニメーション圧縮のためのシステムおよび方法 |
| CN104756156A (zh) * | 2013-03-14 | 2015-07-01 | 梦工厂动画公司 | 表征计算机动画毛发的压缩数据 |
-
1998
- 1998-08-26 JP JP24051898A patent/JP2000069475A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010500818A (ja) * | 2006-08-08 | 2010-01-07 | デジタル メディア カートリッジ，リミティド | 漫画アニメーション圧縮のためのシステムおよび方法 |
| CN104756156A (zh) * | 2013-03-14 | 2015-07-01 | 梦工厂动画公司 | 表征计算机动画毛发的压缩数据 |
| CN104756156B (zh) * | 2013-03-14 | 2019-03-01 | 梦工厂动画公司 | 表征计算机动画毛发的压缩数据 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7103231B2 (en) | Interpolation of a sequence of images using motion analysis | |
| US7705915B1 (en) | Method and apparatus for filtering video data using a programmable graphics processor | |
| US7274369B1 (en) | Digital image compositing using a programmable graphics processor | |
| US7711184B2 (en) | Image display method, image display program, and image display apparatus | |
| US5781687A (en) | Script-based, real-time, video editor | |
| US5715331A (en) | System for generation of a composite raster-vector image | |
| US8306399B1 (en) | Real-time video editing architecture | |
| US7227557B2 (en) | Method, system and record medium for generating wide-area high-resolution image | |
| US7242412B2 (en) | Method and apparatus for expanding a source pixel in a digital image | |
| JPH10187966A (ja) | 画像フィルタリング方法及びその装置 | |
| US6763176B1 (en) | Method and apparatus for real-time video editing using a graphics processor | |
| US20100026886A1 (en) | Method, Apparatus, and Computer Software for Digital Video Scan Rate Conversions with Minimization of Artifacts | |
| EP1301042A2 (en) | Method for coding data of special effect | |
| KR20070092560A (ko) | 이미지 프레임의 선택적 출력 장치 및 방법 | |
| JP4272771B2 (ja) | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP2000069475A (ja) | 映像符号化方法、装置、および映像符号化プログラムを記録した記録媒体 | |
| US6298156B1 (en) | Image processing apparatus and method | |
| JP2694765B2 (ja) | 縮小変換方法 | |
| JP2002197453A (ja) | 画像処理装置 | |
| JP2000069368A (ja) | 輪郭画像生成装置及び方法、キー信号生成装置及び方法並びに記録媒体 | |
| JPH0468763A (ja) | 切抜きマスク作成方法 | |
| JPS6359674A (ja) | 画像処理方法 | |
| JP2009100457A (ja) | 画像処理装置及び画像処理方法 | |
| JPH01300764A (ja) | デジタル画像の処理方法 | |
| JPH02198280A (ja) | タイトル合成方法 |