JP2004048306A - 符号化装置および復号化装置 - Google Patents
符号化装置および復号化装置 Download PDFInfo
- Publication number
- JP2004048306A JP2004048306A JP2002202052A JP2002202052A JP2004048306A JP 2004048306 A JP2004048306 A JP 2004048306A JP 2002202052 A JP2002202052 A JP 2002202052A JP 2002202052 A JP2002202052 A JP 2002202052A JP 2004048306 A JP2004048306 A JP 2004048306A
- Authority
- JP
- Japan
- Prior art keywords
- data
- frame
- estimated
- previous
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】動画の符号化効率を向上させる。
【解決手段】動きベクトルの大きさや向きについて関連のあるフレーム内のブロックをひとつのオブジェクトとして扱いベクトルデータの情報量を最小にする手段と、符号化装置と復号化装置との間で予め決められている基本図形の組み合わせでマスクパターンを作成してオブジェクトの範囲を示すことにより、マスクデータを直接符号化せずにオブジェクトの範囲を示すデータ量を少なくする手段と、オブジェクト内の矩形範囲の動きベクトルの関連性を分析してオブジェクト内の画像の変形やオブジェクトの位置を推測したオブジェクト属性を与えることにより、フレーム毎にデータを与えなくてもオブジェクトの位置やオブジェクト内における画像の変形をオブジェクト内データのみで更新する手段を備える。
【選択図】 図１
【解決手段】動きベクトルの大きさや向きについて関連のあるフレーム内のブロックをひとつのオブジェクトとして扱いベクトルデータの情報量を最小にする手段と、符号化装置と復号化装置との間で予め決められている基本図形の組み合わせでマスクパターンを作成してオブジェクトの範囲を示すことにより、マスクデータを直接符号化せずにオブジェクトの範囲を示すデータ量を少なくする手段と、オブジェクト内の矩形範囲の動きベクトルの関連性を分析してオブジェクト内の画像の変形やオブジェクトの位置を推測したオブジェクト属性を与えることにより、フレーム毎にデータを与えなくてもオブジェクトの位置やオブジェクト内における画像の変形をオブジェクト内データのみで更新する手段を備える。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、符号化装置および復号化装置、特に動画の符号化における符号量を削減するのに好適な符号化装置および復号化装置に関する。
【０００２】
【従来の技術】
この種の従来技術の一例が特開平６−１４３１２に「符号化装置」として記載されている。この符号化装置は、入力するディジタル映像信号中の画面全体をひとつの補償対象として画面全体の動きを補償するグローバル動き補償回路と、グローバル動き補償回路の出力のＮ（整数）フレームを符号化処理単位として符号化する符号化手段とを備え、矩形範囲の動きベクトルをグローバルベクトルで補償して動きベクトルのデータ量を少なくしようとするものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来技術では、予め画面全体としての動きを補償した後に符号化を行うため、静止画が並行に移動した場合にグローバル動き補償により各ベクトル量が０になるので最大の効果がでるが、画像が複雑な動きをするために、フレームを細分化したブロック単位の動き補償を行う必要がある場合は、動きベクトルを表すためのデータ量が多くなるという問題点がある。
【０００４】
また、ＭＰＥＧ４ではオブジェクト（操作対象の意）のベクトルでオブジェクトの位置を示すことが可能であるが、上述した従来技術では、オブジェクトの切出し方やオブジェクト内での画像の変形方法については規定しておらず、フレームが更新する度にオブジェクトの位置やオブジェクト内画像の変化を指示なしに更新する機能がないため、これらの符号化データが発生するいう問題点もある。
【０００５】
本発明の目的は、オブジェクトの移動やオブジェクト内の画像の変化を示す符号データ量を少なくし、動画の符号化効率を向上させた符号化装置および復号化装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の符号化装置は、現フレームと前フレームの各データから検出されたフレーム内各ブロックの動きベクトルに対して動きベクトルの大きさや向きの関連からオブジェクトを抽出する手段と、オブジェクトの範囲に対するマスクパターンを基本図形の組合せで作成する手段と、前フレーム内の画像をマスクパターンで切り出してオブジェクトのデータを取り出す手段と、動きベクトルの大きさや向きの関連からオブジェクト特性を決定する手段と、オブジェクトの範囲の座標を指定することによってオブジェクトを拡大／縮小してオブジェクトを配置することにより現フレームの推定フレームを作成する手段と、マスクパターンを構成するマスク図形ＩＤとオブジェクト属性ＩＤを符号データとして出力する手段と、オブジェクト特性が次フレームでも有効な場合は符号データを出力しない手段とを備えたことを特徴とする。
【０００７】
本発明の復号化装置は、符号データをフレームデータに復元する復号化装置であって、上述のマスク図形ＩＤおよびオブジェクト属性ＩＤを共用し、上記符号化装置から出力される符号データで指定されたマスク図形ＩＤと、マスクパターンデータの座標データと、必要ならばパラメータを付加したデータとでオブジェクトを生成し、前記符号データで指示されるまでオブジェクトの位置や範囲を更新し記憶管理する手段を備えたことを特徴とする。
【０００８】
本発明では、動画の符号化において、動きベクトルの大きさや向きについて関連のあるブロックをひとつのオブジェクトとし、オブジェクトの座標とベクトルとオブジェクト属性とオブジェクト属性パラメータとを与えることにより、オブジェクトに対する指定があるまでフレーム毎にオブジェクトの移動と変形を続けることによって、符号化データ量を減少させることができる。
【０００９】
また、オブジェクトの範囲はマスク基本図形の組み合わせで指定することにより、オブジェクトを切り出す範囲を指定するためのデータ量を削減することができる。
【００１０】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００１１】
先ず、本発明で取扱うフレーム画像の一具体例を図２により提示する。図２に表すフレーム画像は、例えば、走行する列車の車窓に流れる風景のようなものを想起されたい。中央の抽象化された三角柱様の物体は車窓の比較的近くにあり、両側の木は遠方にあるものとする。列車が左方へ走行するにつれて、これらの物体は、図３，図４のように右方に流れいく。その場合、三角柱様の物体は、全体として右方に移動するとともに、三角柱様の手前の稜線は急速に右方へ移動するので、三角柱様の形態は急速に変形する。これに対して、遠方の木の移動と変形は緩慢であることは経験則上明かである。
【００１２】
【符号化装置の構成】
図１は、本発明の符号化装置の一実施例を示すブロック図である。図１を参照すると、この符号化装置は、図２〜図４に示したようなフレーム画像のデータ（フレームデータ）が入力するフレーム入力端子１００と、前フレームメモリ１０１と、既存技術のベクトル検出手段１０２と、本発明の中核部である推定フレーム作成手段１０３と、既存技術の符号化手段１０９と、符号化データが出力する符号出力端子１１０とから構成されている。
【００１３】
推定フレーム作成手段１０３は、オブジェクト検出部１０４，オブジェクトマスク部１０５，オブジェクト属性部１０６，オブジェクトデータ更新部１０７およびオブジェクトデータ更新部１０８を含む。
【００１４】
前フレームメモリ１０１は入力部１００から入力するフレームデータを順次に保存する。
【００１５】
ベクトル検出手段１０２は、フレーム入力端子１００から現に入力しているフレームデータと、前フレームメモリ１０１に保存されている１フレーム前のフレームデータとから動きベクトルを検出し抽出する。抽出された動きベクトルは、図２〜図４の例では図５において右向きの矢印で示している。
【００１６】
オブジェクト検出部１０４は、各ベクトル間の関連のし方（「特性」という）を解析して、ひとつのオブジェクトを構成するベクトルの集合を決定し、そのオブジェクトの範囲を決定する。
【００１７】
オブジェクトマスク部１０５は、オブジェクトの範囲が、予め登録されている図形の内で、どの図形に一番近いか、または、どの図形を組み合わせると一番近い形になるかを評価し、一番近い形の図形でを置き換えられたマスク範囲を決定する。図６は、そのような図形が登録されるテーブルの例を示す。オブジェクトマスク部１０５は、このようなテーブルを備えている。
【００１８】
図６を参照すると、登録された図形の内、四角形にマスク図形ＩＤ「Ｍ１」、円形にマスク図形ＩＤ「Ｍ２」、五角形にマスク図形ＩＤ「Ｍ３」、台形にマスク図形ＩＤ「Ｍ４」等を定義している。これらのマスク図形ＩＤは符号化装置と復号化装置とで共通であり、また、テーブルの追加や変更が可能である。
【００１９】
オブジェクト属性部１０６は、オブジェクト検出部１０４が検出した特性に基づき、オブジェクト画像の変形の属性を決定し、関連するパラメータを生成する。図７は、属性を決定するときに選択されるオブジェクト属性ＩＤが登録されているテーブル例を示す。オブジェクト属性部１０６は、このようなテーブルを備えている。
【００２０】
図７を参照すると、面のみが可視となるオブジェクトのオブジェクト属性ＩＤをＰ１としている。また、１角が見えるオブジェクトを可視１角オブジェクトとし、このオブジェクト属性ＩＤをＰ２とし、可視角の座標とベクトルを追加パラメータとする。可視１角とは、例えば、図２〜図４における三角柱様物体の手前の角を指す。同様に、オブジェクトの動作モデルに対応してオブジェクト属性ＩＤとパラメータとを定義する。オブジェクト属性ＩＤは符号化装置と復号化装置とで共通であり、また、テーブルの追加や変更が可能である。
【００２１】
オブジェクトデータ更新部１０７は、オブジェクトデータ保存部１０８に保存されているオブジェクト構成データを、前クレームメモリ１０１が保存しているフレームデータに適用して推定したフレームと現フレームとの比較を行う。その結果、推定したオブジェクトが有効と判断した場合はデータのフレーム推移に対応したパラメータのみを更新するが、推定したオブジェクトが無効と判断した場合は、オブジェクトマスク部１０５やオブジェクト属性部１０７が生成したデータに基づいて、オブジェクトデータ保存部１０８が保存しているオブジェクト構成データを更新する。
【００２２】
そして、現フレームの全オブジェクトについてのデータが揃ったら、更新のあったオブジェクト構成データのみを符号化手段１０９に出力する。
【００２３】
既存技術による符号化手段１０９は、オブジェクトデータ更新部１０７から渡されたオブジェクト構成データを符号化し符号出力端子１１０に出力する。
【００２４】
【符号化装置の動作】
次に、本符号化装置の動作について、図１０に示す推定フレーム作成手段１０３のフローチャートに従って説明する。いま、図２の画像に対するフレームデータがフレーム入力端子１００に入力したとする。前フレームメモリ１０１はフレームデータを保存し、ベクトル検出部１０２は、図５の動きベクトルを検出する。
【００２５】
オブジェクト検出部１０４はベクトルの特性を解析してオブジェクト（の範囲）を決定する（図１０のステップＳ１）。図５の例では、一様な動きベクトルの集合としてフレーム画像全体を範囲とするオブジェクト５０１の範囲を決定できる。また、稜線の急速な移動を表す中央部の長い矢印で示される強いベクトルと、稜線の急速な移動を受けて圧迫状態にある右寄りの短い矢印で示される弱いベクトルとの集合として、三角柱様を範囲とするオブジェクト５０２の範囲を決定できる。オブジェクト５０２の範囲は、上述の動きベクトルから、左右に拡大する左方エリアαと左右に縮小する右方エリアβに分かたれる。
【００２６】
オブジェクトマスク部１０５は、オブジェクトマスクデータがどの図形に一番近いか、または、どの図形を組合せると一番近い形になるかを評価し、そのマスク図形ＩＤを選択する（ステップＳ２）。
【００２７】
本例の場合、図８に示すように、オブジェクト５０１に対してオブジェクトＩＤ「Ｏ１」とする。オブジェクトＯ１は矩形なのでマスク図形ＩＤとしてＭ１を選択する。また、オブジェクトＯ１の左上座標８０１（ＤＯ１−ａ）とそのベクトル（ＶＯ１−ａ）、およびオブジェクトＯ１の８０２右下座標（ＤＯ１−ｂ）とそのベクトル（ＶＯ１−ｂ）も検出する（ステップＳ２）。
【００２８】
次に、オブジェクト５０１の範囲内に含まれているオブジェクト５０２に対してオブジェクトＩＤ「Ｏ２」とする。オブジェクトＯ２も矩形なのでマスク図形ＩＤとしてＭ１を選択する（ステップＳ２）。また、オブジェクトＯ２の左上座標８０３（ＤＯ２−ａ）とそのベクトル（ＶＯ２−ａ）、およびオブジェクトＯ２の右下座標８０４（ＤＯ２−ｂ）とそのベクトル（ＶＯ２−ｂ）も検出する（ステップＳ２）。
【００２９】
オブジェクト属性部１０６は、オブジェクト検出部１０４が検出したオブジェクトの特性と図７のテーブルとから、オブジェクト属性ＩＤを決定し、属性によっては追加パラメータを検出する（ステップＳ３）。本例の場合、オブジェクトＯ１の属性は面と判断し、オブジェクト属性ＩＤとしてＰ１が選択される。また、オブジェクトＯ２の属性は可視１角と判断し、オブジェクト属性ＩＤとしてＰ２を選択するとともに、追加パラメータとして可視角の頂点の座標８０５（ＤＯ２−ｃ）とそのベクトル（Ｖｏ２−ｃ）を検出する（ステップＳ３）。
【００３０】
ここで、オブジェクトＯ２のオブジェクト属性ＩＤとしてＰ２を選択した方法について、図９を用いて詳細に説明する。オブジェクトＯ２は、前述のように、動きベクトルから左右に拡大する左方エリアαと左右に縮小する右方エリアβとが隣接しており、エリアα内の動きベクトル量は左から右へ均等な割合で増加している。また、エリアβ内の動きベクトルは左から右へ均等な割合で縮小している。
【００３１】
よって、この動きベクトルを示す画像のオブジェクトは２面を表示している画像であり、動きベクトルが増加から減少へ転じる変化点（エリアαとエリアβとの境界）を角としたオブジェクトであると推定することができる。このように、被写体の移動に伴う動きベクトルの変化の特徴を検出することにより、その画像が示す動きベクトルをグルーピングしてオブジェクト範囲とすることが可能となるのである。
【００３２】
オブジェクトマスク部１０５が選択したマスク画像ＩＤ，検出したオブジェクト毎の左上座標，右下座標とそれらのベクトル、およびオブジェクト属性部１０６が選択したオブジェクト属性ＩＤ，検出した属性固有の座標，そのベクトル，追加パラメータはオブジェクトデータ更新部１０７に渡される。オブジェクトデータ保存部１０８は、オブジェクトデータ更新部１０７から渡される上述の各データ（オブジェクト構成データという）を格納し保存する。
【００３３】
具体的には、オブジェクトデータ更新部１０７は、前フレームメモリ１０１に保存されているフレームデータからオブジェクト構成データ中のパラメータでオブジェクトを取り出しオブジェクト内画像を変形して、オブジェクトＩＤがＯ１に対応する推定オブジェクトＶＯ１と、オブジェクトＩＤがＯ２に対応する推定オブジェクトＶＯ２とを作成する（ステップＳ４）。
【００３４】
また、前々フレームと前フレームとの間で作成して引き継がれてオブジェクトデータ保存部１０８に保存されているオブジェクト構成データと、前フレームメモリ１０１に保存されているフレームデータから推定オブジェクトＭＶＯ１も作成する（ステップＳ５）。
【００３５】
次に、オブジェクトデータ更新部１０６は、推定オブジェクトＶＯ１と推定オブジェクトＭＶＯ１を比較することによって推定オブジェクトＶＯ１を評価する（ステップＳ６）。評価の結果、推定オブジェクトＭＶＯ１を作成したオブジェクト構成データが有効と判断した場合（ステップＳ７でＹＥＳ）、推定オブジェクトＶＯ１を作成したオブジェクト構成データを破棄する（ステップＳ８）。
【００３６】
一方、オブジェクトＭＶＯ１を作成したオブジェクト構成データが無効と判断した場合（ステップＳ７でＮＯ）、推定オブジェクトＶＯ１を作成したオブジェクト構成データをオブジェクトデータ保存部１０８に保存し、符号化手段１０９に出力する（ステップＳ９）。また、推定オブジェクトＭＶＯ１のオブジェクト構成データは破棄する（ステップＳ１０）。
【００３７】
なお、オブジェクトＯ１の右移動に伴うデータ欠損部については、オブジェクトデータ更新部１０７が現フレームから欠損エリアを切り出して符号化手段１０９に送る。
【００３８】
オブジェクトデータ更新部１０７は、推定オブジェクトＶＯ２と推定オブジェクトＭＶＯ２との間の比較も同様に行う等、１フレームデータの全オブジェクトの評価とデータ更新を行う。ここで、オブジェクトデータ保存部１０８にオブジェクト構成データが保存されている推定オブジェクトＭＶＯｎに対応する推定オブジェクトＶＯｎが存在しない場合は、、符号化手段１０９に推定ブジェクトＶＯｎの消滅を示すデータを出力する。
【００３９】
逆に、推定オブジェクトデータＶＯｎに対応するオブジェクト構成データがオブジェクトデータ保存部１０８に保存されていない場合は、推定オブジェクトデータＶＯｎを新規オブジェクトとして、オブジェクトデータ保存部１０８に保存するとともに符号化手段１０９に出力する。
【００４０】
最後に、オブジェクトデータ更新部１０７は、オブジェクトデータ保存部１０８に保存されているオブジェクト構成データに対して、次フレームの時間が経過したときの座標やパラメータを更新する（ステップＳ１１）。
【００４１】
上記一連の動作後、図８に示すようなオブジェクトＯ１とオブジェクトＯ２とが、前フレームのオブジェクト変化と合致した変化を示した場合、新たに符号化するのは、オブジェクトＯ１の左側のデータ欠損部のみとなり、オブジェクトＯ２については保存しているオブジェクト構成データだけでオブジェクトの移動や変形が可能となる。
【００４２】
なお、上述の推定フレーム作成方法は推定フレーム作成手段１０３を構成するコンピュータにおいてプログラムを実行することによっても行うことができる。そのプログラムは、コンピュータを制御して、図１０に示したフローチャートによる処理と同様な処理を行わせる。
【００４３】
【復号化装置の構成】
図１１は、本発明の復号化装置の一実施例を示すブロック図である。図１１を参照すると、この復号化装置は、符号入力端子２００と、既存技術の復号化手段２０１と、フレーム復元手段２０２と、フレーム出力端子２０６とから構成されている。
【００４４】
フレーム復元手段２０２は、オブジェクトデータ保存部２０３と、オブジェクト演算部２０４と、前フレーム保存部２０５とを含む。
【００４５】
符号入力端子２００からは、図１の符号化装置から出力される符号データが入力する。符号入力端子２００から入力した符号データは、復号化手段２０１によって、オブジェクトの範囲，座標データ，属性等のオブジェクト構成データが復号化される。フレーム復元手段２０２は、復号化されたオブジェクト構成データからフレームデータを復元してフレーム出力端子２０６からフレームデータとして外部へ出力する。
【００４６】
フレーム復元手段２０２では、復号化手段２０１によって復号化されたオブジェクト構成データがオブジェクトデータ保存部２０３に保存される。前フレーム保存部２０５は、復元された前フレームにおける復号化フレームを格納している。オブジェクトデータ演算部２０４は、前フレーム保存部２０５に保存されている前フレームにおける復号化フレームから、オブジェクトデータ保存部２０３に保存されているオブジェクト構成データに基づいてオブジェクトを取り出し、移動や変形等の演算を行って次フレームにおけるオブジェクトを生成する。また、オブジェクトデータ保存部２０３のデータを、その属性やパラメータの値に基づいて更新する。全オブジェクトが生成されたら全てのオブジェクトを合成し、前フレーム保存部２０５に保存する。
【００４７】
なお、復号化装置に推定フレーム作成手段を設けるようにしてもよい。その場合、復号化装置は、入力する符号データで指定されたマスク図形ＩＤと座標データとからマスクパターンを作成し、前の復号化フレームのデータを切り出してオブジェクト範囲とし、そのオブジェクトに符号データで指定されたオブジェクトＩＤを付けて管理する手段と、符号データで指定されたオブジェクト属性ＩＤとオブジェクト特性パラメータとでオブジェクトを変形する手段と、オブジェクトの変形後の座標やオブジェクト属性ＩＤおよびオブジェクト特性パラメータを保持する手段と、次フレームにおいて符号データで指定されないオブジェクトに対して保持しているオブジェクトの座標やオブジェクト特性ＩＤでオブジェクトの配置位置決めやオブジェクト内データの変形を自動的に行う手段と、オブジェクトを配置して次フレームの画面を構築する手段とを備える。
【００４８】
【発明の効果】
本発明の第１の効果は、動きベクトルの関連のしかたを解析することにより関連するエリアをグルーピングできるため、自然画像のオブジェクト範囲が確定可能であるということである。
【００４９】
また、第２の効果は、符号化装置と復号化装置とで共通のマスク図形ＩＤと、オブジェクト範囲（矩形画像の場合）の左上座標と右下座標とでマスクエリアを示すため、オブジェクトを示すエリア示すデータ量が少ないということである。
【００５０】
更に、第３の効果は、連続したオブジェクトの動きを示す符号データを少なくすることができるということである。符号化装置と復号化装置とで共通となるオブジェクト属性ＩＤと付加パラメータとにより、オブジェクトの位置やオブジェクト内画像の変化のしかたを予め記述するので、欠損する画像データ以外の新たな符号データを付加しなくても、次フレームにおけるオブジェクトの位置や変化についてオブジェクト内で決定することができるためである。
【図面の簡単な説明】
【図１】本発明の符号化装置の一実施例を示す構成を示すブロック図
【図２】本発明の符号化装置の動作を説明するための前フレーム画像を示すイメージ図
【図３】本発明の符号化装置の動作を説明するための現フレーム画像を示すイメージ図
【図４】本発明の符号化装置の動作を説明するための現フレームの次フレーム画像を示すイメージ図
【図５】本発明の符号化装置の動作を説明するための動きベクトルを示す図
【図６】本発明のマスク図形ＩＤを選択するためのテーブル例を示す図
【図７】本発明のオブジェクト属性ＩＤを選択するためのテーブル例を示す図
【図８】本発明の符号化装置の動作を説明するためのオブジェクトの座標とベクトルを示す図
【図９】本発明のオブジェクト属性の決定方法を説明するための図
【図１０】本発明の符号化装置の推定フレーム作成手段１０３においける処理を示すフローチャート
【図１１】本発明の復号化装置の一実施例を示す構成を示すブロック図
【符号の説明】
１００ フレーム入力端子
１０１ 前フレームメモリ
１０２ ベクトル検出部
１０３ 推定フレーム作成手段
１０４ オブジェクト検出部
１０５ オブジェクトマスク部
１０６ オブジェクト属性部
１０７ オブジェクトデータ更新部
１０８ オブジェクトデータ保存部
１０９ 符号化手段
１１０ 符号出力端子
２００ 符号入力端子
２０１ 復号化手段
２０２ フレーム復元手段
２０３ オブジェクトデータ保存部
２０４ オブジェクト演算部
２０５ 前フレーム保存部
２０６ フレーム出力端子
５０１ オブジェクト
５０２ オブジェクト
８０１ オブジェクトの左上座標
８０２ オブジェクトの右下座標
８０３ オブジェクトの左上座標
８０４ オブジェクトの右下座標
８０５ オブジェクトの角座標
【発明の属する技術分野】
本発明は、符号化装置および復号化装置、特に動画の符号化における符号量を削減するのに好適な符号化装置および復号化装置に関する。
【０００２】
【従来の技術】
この種の従来技術の一例が特開平６−１４３１２に「符号化装置」として記載されている。この符号化装置は、入力するディジタル映像信号中の画面全体をひとつの補償対象として画面全体の動きを補償するグローバル動き補償回路と、グローバル動き補償回路の出力のＮ（整数）フレームを符号化処理単位として符号化する符号化手段とを備え、矩形範囲の動きベクトルをグローバルベクトルで補償して動きベクトルのデータ量を少なくしようとするものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来技術では、予め画面全体としての動きを補償した後に符号化を行うため、静止画が並行に移動した場合にグローバル動き補償により各ベクトル量が０になるので最大の効果がでるが、画像が複雑な動きをするために、フレームを細分化したブロック単位の動き補償を行う必要がある場合は、動きベクトルを表すためのデータ量が多くなるという問題点がある。
【０００４】
また、ＭＰＥＧ４ではオブジェクト（操作対象の意）のベクトルでオブジェクトの位置を示すことが可能であるが、上述した従来技術では、オブジェクトの切出し方やオブジェクト内での画像の変形方法については規定しておらず、フレームが更新する度にオブジェクトの位置やオブジェクト内画像の変化を指示なしに更新する機能がないため、これらの符号化データが発生するいう問題点もある。
【０００５】
本発明の目的は、オブジェクトの移動やオブジェクト内の画像の変化を示す符号データ量を少なくし、動画の符号化効率を向上させた符号化装置および復号化装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の符号化装置は、現フレームと前フレームの各データから検出されたフレーム内各ブロックの動きベクトルに対して動きベクトルの大きさや向きの関連からオブジェクトを抽出する手段と、オブジェクトの範囲に対するマスクパターンを基本図形の組合せで作成する手段と、前フレーム内の画像をマスクパターンで切り出してオブジェクトのデータを取り出す手段と、動きベクトルの大きさや向きの関連からオブジェクト特性を決定する手段と、オブジェクトの範囲の座標を指定することによってオブジェクトを拡大／縮小してオブジェクトを配置することにより現フレームの推定フレームを作成する手段と、マスクパターンを構成するマスク図形ＩＤとオブジェクト属性ＩＤを符号データとして出力する手段と、オブジェクト特性が次フレームでも有効な場合は符号データを出力しない手段とを備えたことを特徴とする。
【０００７】
本発明の復号化装置は、符号データをフレームデータに復元する復号化装置であって、上述のマスク図形ＩＤおよびオブジェクト属性ＩＤを共用し、上記符号化装置から出力される符号データで指定されたマスク図形ＩＤと、マスクパターンデータの座標データと、必要ならばパラメータを付加したデータとでオブジェクトを生成し、前記符号データで指示されるまでオブジェクトの位置や範囲を更新し記憶管理する手段を備えたことを特徴とする。
【０００８】
本発明では、動画の符号化において、動きベクトルの大きさや向きについて関連のあるブロックをひとつのオブジェクトとし、オブジェクトの座標とベクトルとオブジェクト属性とオブジェクト属性パラメータとを与えることにより、オブジェクトに対する指定があるまでフレーム毎にオブジェクトの移動と変形を続けることによって、符号化データ量を減少させることができる。
【０００９】
また、オブジェクトの範囲はマスク基本図形の組み合わせで指定することにより、オブジェクトを切り出す範囲を指定するためのデータ量を削減することができる。
【００１０】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００１１】
先ず、本発明で取扱うフレーム画像の一具体例を図２により提示する。図２に表すフレーム画像は、例えば、走行する列車の車窓に流れる風景のようなものを想起されたい。中央の抽象化された三角柱様の物体は車窓の比較的近くにあり、両側の木は遠方にあるものとする。列車が左方へ走行するにつれて、これらの物体は、図３，図４のように右方に流れいく。その場合、三角柱様の物体は、全体として右方に移動するとともに、三角柱様の手前の稜線は急速に右方へ移動するので、三角柱様の形態は急速に変形する。これに対して、遠方の木の移動と変形は緩慢であることは経験則上明かである。
【００１２】
【符号化装置の構成】
図１は、本発明の符号化装置の一実施例を示すブロック図である。図１を参照すると、この符号化装置は、図２〜図４に示したようなフレーム画像のデータ（フレームデータ）が入力するフレーム入力端子１００と、前フレームメモリ１０１と、既存技術のベクトル検出手段１０２と、本発明の中核部である推定フレーム作成手段１０３と、既存技術の符号化手段１０９と、符号化データが出力する符号出力端子１１０とから構成されている。
【００１３】
推定フレーム作成手段１０３は、オブジェクト検出部１０４，オブジェクトマスク部１０５，オブジェクト属性部１０６，オブジェクトデータ更新部１０７およびオブジェクトデータ更新部１０８を含む。
【００１４】
前フレームメモリ１０１は入力部１００から入力するフレームデータを順次に保存する。
【００１５】
ベクトル検出手段１０２は、フレーム入力端子１００から現に入力しているフレームデータと、前フレームメモリ１０１に保存されている１フレーム前のフレームデータとから動きベクトルを検出し抽出する。抽出された動きベクトルは、図２〜図４の例では図５において右向きの矢印で示している。
【００１６】
オブジェクト検出部１０４は、各ベクトル間の関連のし方（「特性」という）を解析して、ひとつのオブジェクトを構成するベクトルの集合を決定し、そのオブジェクトの範囲を決定する。
【００１７】
オブジェクトマスク部１０５は、オブジェクトの範囲が、予め登録されている図形の内で、どの図形に一番近いか、または、どの図形を組み合わせると一番近い形になるかを評価し、一番近い形の図形でを置き換えられたマスク範囲を決定する。図６は、そのような図形が登録されるテーブルの例を示す。オブジェクトマスク部１０５は、このようなテーブルを備えている。
【００１８】
図６を参照すると、登録された図形の内、四角形にマスク図形ＩＤ「Ｍ１」、円形にマスク図形ＩＤ「Ｍ２」、五角形にマスク図形ＩＤ「Ｍ３」、台形にマスク図形ＩＤ「Ｍ４」等を定義している。これらのマスク図形ＩＤは符号化装置と復号化装置とで共通であり、また、テーブルの追加や変更が可能である。
【００１９】
オブジェクト属性部１０６は、オブジェクト検出部１０４が検出した特性に基づき、オブジェクト画像の変形の属性を決定し、関連するパラメータを生成する。図７は、属性を決定するときに選択されるオブジェクト属性ＩＤが登録されているテーブル例を示す。オブジェクト属性部１０６は、このようなテーブルを備えている。
【００２０】
図７を参照すると、面のみが可視となるオブジェクトのオブジェクト属性ＩＤをＰ１としている。また、１角が見えるオブジェクトを可視１角オブジェクトとし、このオブジェクト属性ＩＤをＰ２とし、可視角の座標とベクトルを追加パラメータとする。可視１角とは、例えば、図２〜図４における三角柱様物体の手前の角を指す。同様に、オブジェクトの動作モデルに対応してオブジェクト属性ＩＤとパラメータとを定義する。オブジェクト属性ＩＤは符号化装置と復号化装置とで共通であり、また、テーブルの追加や変更が可能である。
【００２１】
オブジェクトデータ更新部１０７は、オブジェクトデータ保存部１０８に保存されているオブジェクト構成データを、前クレームメモリ１０１が保存しているフレームデータに適用して推定したフレームと現フレームとの比較を行う。その結果、推定したオブジェクトが有効と判断した場合はデータのフレーム推移に対応したパラメータのみを更新するが、推定したオブジェクトが無効と判断した場合は、オブジェクトマスク部１０５やオブジェクト属性部１０７が生成したデータに基づいて、オブジェクトデータ保存部１０８が保存しているオブジェクト構成データを更新する。
【００２２】
そして、現フレームの全オブジェクトについてのデータが揃ったら、更新のあったオブジェクト構成データのみを符号化手段１０９に出力する。
【００２３】
既存技術による符号化手段１０９は、オブジェクトデータ更新部１０７から渡されたオブジェクト構成データを符号化し符号出力端子１１０に出力する。
【００２４】
【符号化装置の動作】
次に、本符号化装置の動作について、図１０に示す推定フレーム作成手段１０３のフローチャートに従って説明する。いま、図２の画像に対するフレームデータがフレーム入力端子１００に入力したとする。前フレームメモリ１０１はフレームデータを保存し、ベクトル検出部１０２は、図５の動きベクトルを検出する。
【００２５】
オブジェクト検出部１０４はベクトルの特性を解析してオブジェクト（の範囲）を決定する（図１０のステップＳ１）。図５の例では、一様な動きベクトルの集合としてフレーム画像全体を範囲とするオブジェクト５０１の範囲を決定できる。また、稜線の急速な移動を表す中央部の長い矢印で示される強いベクトルと、稜線の急速な移動を受けて圧迫状態にある右寄りの短い矢印で示される弱いベクトルとの集合として、三角柱様を範囲とするオブジェクト５０２の範囲を決定できる。オブジェクト５０２の範囲は、上述の動きベクトルから、左右に拡大する左方エリアαと左右に縮小する右方エリアβに分かたれる。
【００２６】
オブジェクトマスク部１０５は、オブジェクトマスクデータがどの図形に一番近いか、または、どの図形を組合せると一番近い形になるかを評価し、そのマスク図形ＩＤを選択する（ステップＳ２）。
【００２７】
本例の場合、図８に示すように、オブジェクト５０１に対してオブジェクトＩＤ「Ｏ１」とする。オブジェクトＯ１は矩形なのでマスク図形ＩＤとしてＭ１を選択する。また、オブジェクトＯ１の左上座標８０１（ＤＯ１−ａ）とそのベクトル（ＶＯ１−ａ）、およびオブジェクトＯ１の８０２右下座標（ＤＯ１−ｂ）とそのベクトル（ＶＯ１−ｂ）も検出する（ステップＳ２）。
【００２８】
次に、オブジェクト５０１の範囲内に含まれているオブジェクト５０２に対してオブジェクトＩＤ「Ｏ２」とする。オブジェクトＯ２も矩形なのでマスク図形ＩＤとしてＭ１を選択する（ステップＳ２）。また、オブジェクトＯ２の左上座標８０３（ＤＯ２−ａ）とそのベクトル（ＶＯ２−ａ）、およびオブジェクトＯ２の右下座標８０４（ＤＯ２−ｂ）とそのベクトル（ＶＯ２−ｂ）も検出する（ステップＳ２）。
【００２９】
オブジェクト属性部１０６は、オブジェクト検出部１０４が検出したオブジェクトの特性と図７のテーブルとから、オブジェクト属性ＩＤを決定し、属性によっては追加パラメータを検出する（ステップＳ３）。本例の場合、オブジェクトＯ１の属性は面と判断し、オブジェクト属性ＩＤとしてＰ１が選択される。また、オブジェクトＯ２の属性は可視１角と判断し、オブジェクト属性ＩＤとしてＰ２を選択するとともに、追加パラメータとして可視角の頂点の座標８０５（ＤＯ２−ｃ）とそのベクトル（Ｖｏ２−ｃ）を検出する（ステップＳ３）。
【００３０】
ここで、オブジェクトＯ２のオブジェクト属性ＩＤとしてＰ２を選択した方法について、図９を用いて詳細に説明する。オブジェクトＯ２は、前述のように、動きベクトルから左右に拡大する左方エリアαと左右に縮小する右方エリアβとが隣接しており、エリアα内の動きベクトル量は左から右へ均等な割合で増加している。また、エリアβ内の動きベクトルは左から右へ均等な割合で縮小している。
【００３１】
よって、この動きベクトルを示す画像のオブジェクトは２面を表示している画像であり、動きベクトルが増加から減少へ転じる変化点（エリアαとエリアβとの境界）を角としたオブジェクトであると推定することができる。このように、被写体の移動に伴う動きベクトルの変化の特徴を検出することにより、その画像が示す動きベクトルをグルーピングしてオブジェクト範囲とすることが可能となるのである。
【００３２】
オブジェクトマスク部１０５が選択したマスク画像ＩＤ，検出したオブジェクト毎の左上座標，右下座標とそれらのベクトル、およびオブジェクト属性部１０６が選択したオブジェクト属性ＩＤ，検出した属性固有の座標，そのベクトル，追加パラメータはオブジェクトデータ更新部１０７に渡される。オブジェクトデータ保存部１０８は、オブジェクトデータ更新部１０７から渡される上述の各データ（オブジェクト構成データという）を格納し保存する。
【００３３】
具体的には、オブジェクトデータ更新部１０７は、前フレームメモリ１０１に保存されているフレームデータからオブジェクト構成データ中のパラメータでオブジェクトを取り出しオブジェクト内画像を変形して、オブジェクトＩＤがＯ１に対応する推定オブジェクトＶＯ１と、オブジェクトＩＤがＯ２に対応する推定オブジェクトＶＯ２とを作成する（ステップＳ４）。
【００３４】
また、前々フレームと前フレームとの間で作成して引き継がれてオブジェクトデータ保存部１０８に保存されているオブジェクト構成データと、前フレームメモリ１０１に保存されているフレームデータから推定オブジェクトＭＶＯ１も作成する（ステップＳ５）。
【００３５】
次に、オブジェクトデータ更新部１０６は、推定オブジェクトＶＯ１と推定オブジェクトＭＶＯ１を比較することによって推定オブジェクトＶＯ１を評価する（ステップＳ６）。評価の結果、推定オブジェクトＭＶＯ１を作成したオブジェクト構成データが有効と判断した場合（ステップＳ７でＹＥＳ）、推定オブジェクトＶＯ１を作成したオブジェクト構成データを破棄する（ステップＳ８）。
【００３６】
一方、オブジェクトＭＶＯ１を作成したオブジェクト構成データが無効と判断した場合（ステップＳ７でＮＯ）、推定オブジェクトＶＯ１を作成したオブジェクト構成データをオブジェクトデータ保存部１０８に保存し、符号化手段１０９に出力する（ステップＳ９）。また、推定オブジェクトＭＶＯ１のオブジェクト構成データは破棄する（ステップＳ１０）。
【００３７】
なお、オブジェクトＯ１の右移動に伴うデータ欠損部については、オブジェクトデータ更新部１０７が現フレームから欠損エリアを切り出して符号化手段１０９に送る。
【００３８】
オブジェクトデータ更新部１０７は、推定オブジェクトＶＯ２と推定オブジェクトＭＶＯ２との間の比較も同様に行う等、１フレームデータの全オブジェクトの評価とデータ更新を行う。ここで、オブジェクトデータ保存部１０８にオブジェクト構成データが保存されている推定オブジェクトＭＶＯｎに対応する推定オブジェクトＶＯｎが存在しない場合は、、符号化手段１０９に推定ブジェクトＶＯｎの消滅を示すデータを出力する。
【００３９】
逆に、推定オブジェクトデータＶＯｎに対応するオブジェクト構成データがオブジェクトデータ保存部１０８に保存されていない場合は、推定オブジェクトデータＶＯｎを新規オブジェクトとして、オブジェクトデータ保存部１０８に保存するとともに符号化手段１０９に出力する。
【００４０】
最後に、オブジェクトデータ更新部１０７は、オブジェクトデータ保存部１０８に保存されているオブジェクト構成データに対して、次フレームの時間が経過したときの座標やパラメータを更新する（ステップＳ１１）。
【００４１】
上記一連の動作後、図８に示すようなオブジェクトＯ１とオブジェクトＯ２とが、前フレームのオブジェクト変化と合致した変化を示した場合、新たに符号化するのは、オブジェクトＯ１の左側のデータ欠損部のみとなり、オブジェクトＯ２については保存しているオブジェクト構成データだけでオブジェクトの移動や変形が可能となる。
【００４２】
なお、上述の推定フレーム作成方法は推定フレーム作成手段１０３を構成するコンピュータにおいてプログラムを実行することによっても行うことができる。そのプログラムは、コンピュータを制御して、図１０に示したフローチャートによる処理と同様な処理を行わせる。
【００４３】
【復号化装置の構成】
図１１は、本発明の復号化装置の一実施例を示すブロック図である。図１１を参照すると、この復号化装置は、符号入力端子２００と、既存技術の復号化手段２０１と、フレーム復元手段２０２と、フレーム出力端子２０６とから構成されている。
【００４４】
フレーム復元手段２０２は、オブジェクトデータ保存部２０３と、オブジェクト演算部２０４と、前フレーム保存部２０５とを含む。
【００４５】
符号入力端子２００からは、図１の符号化装置から出力される符号データが入力する。符号入力端子２００から入力した符号データは、復号化手段２０１によって、オブジェクトの範囲，座標データ，属性等のオブジェクト構成データが復号化される。フレーム復元手段２０２は、復号化されたオブジェクト構成データからフレームデータを復元してフレーム出力端子２０６からフレームデータとして外部へ出力する。
【００４６】
フレーム復元手段２０２では、復号化手段２０１によって復号化されたオブジェクト構成データがオブジェクトデータ保存部２０３に保存される。前フレーム保存部２０５は、復元された前フレームにおける復号化フレームを格納している。オブジェクトデータ演算部２０４は、前フレーム保存部２０５に保存されている前フレームにおける復号化フレームから、オブジェクトデータ保存部２０３に保存されているオブジェクト構成データに基づいてオブジェクトを取り出し、移動や変形等の演算を行って次フレームにおけるオブジェクトを生成する。また、オブジェクトデータ保存部２０３のデータを、その属性やパラメータの値に基づいて更新する。全オブジェクトが生成されたら全てのオブジェクトを合成し、前フレーム保存部２０５に保存する。
【００４７】
なお、復号化装置に推定フレーム作成手段を設けるようにしてもよい。その場合、復号化装置は、入力する符号データで指定されたマスク図形ＩＤと座標データとからマスクパターンを作成し、前の復号化フレームのデータを切り出してオブジェクト範囲とし、そのオブジェクトに符号データで指定されたオブジェクトＩＤを付けて管理する手段と、符号データで指定されたオブジェクト属性ＩＤとオブジェクト特性パラメータとでオブジェクトを変形する手段と、オブジェクトの変形後の座標やオブジェクト属性ＩＤおよびオブジェクト特性パラメータを保持する手段と、次フレームにおいて符号データで指定されないオブジェクトに対して保持しているオブジェクトの座標やオブジェクト特性ＩＤでオブジェクトの配置位置決めやオブジェクト内データの変形を自動的に行う手段と、オブジェクトを配置して次フレームの画面を構築する手段とを備える。
【００４８】
【発明の効果】
本発明の第１の効果は、動きベクトルの関連のしかたを解析することにより関連するエリアをグルーピングできるため、自然画像のオブジェクト範囲が確定可能であるということである。
【００４９】
また、第２の効果は、符号化装置と復号化装置とで共通のマスク図形ＩＤと、オブジェクト範囲（矩形画像の場合）の左上座標と右下座標とでマスクエリアを示すため、オブジェクトを示すエリア示すデータ量が少ないということである。
【００５０】
更に、第３の効果は、連続したオブジェクトの動きを示す符号データを少なくすることができるということである。符号化装置と復号化装置とで共通となるオブジェクト属性ＩＤと付加パラメータとにより、オブジェクトの位置やオブジェクト内画像の変化のしかたを予め記述するので、欠損する画像データ以外の新たな符号データを付加しなくても、次フレームにおけるオブジェクトの位置や変化についてオブジェクト内で決定することができるためである。
【図面の簡単な説明】
【図１】本発明の符号化装置の一実施例を示す構成を示すブロック図
【図２】本発明の符号化装置の動作を説明するための前フレーム画像を示すイメージ図
【図３】本発明の符号化装置の動作を説明するための現フレーム画像を示すイメージ図
【図４】本発明の符号化装置の動作を説明するための現フレームの次フレーム画像を示すイメージ図
【図５】本発明の符号化装置の動作を説明するための動きベクトルを示す図
【図６】本発明のマスク図形ＩＤを選択するためのテーブル例を示す図
【図７】本発明のオブジェクト属性ＩＤを選択するためのテーブル例を示す図
【図８】本発明の符号化装置の動作を説明するためのオブジェクトの座標とベクトルを示す図
【図９】本発明のオブジェクト属性の決定方法を説明するための図
【図１０】本発明の符号化装置の推定フレーム作成手段１０３においける処理を示すフローチャート
【図１１】本発明の復号化装置の一実施例を示す構成を示すブロック図
【符号の説明】
１００ フレーム入力端子
１０１ 前フレームメモリ
１０２ ベクトル検出部
１０３ 推定フレーム作成手段
１０４ オブジェクト検出部
１０５ オブジェクトマスク部
１０６ オブジェクト属性部
１０７ オブジェクトデータ更新部
１０８ オブジェクトデータ保存部
１０９ 符号化手段
１１０ 符号出力端子
２００ 符号入力端子
２０１ 復号化手段
２０２ フレーム復元手段
２０３ オブジェクトデータ保存部
２０４ オブジェクト演算部
２０５ 前フレーム保存部
２０６ フレーム出力端子
５０１ オブジェクト
５０２ オブジェクト
８０１ オブジェクトの左上座標
８０２ オブジェクトの右下座標
８０３ オブジェクトの左上座標
８０４ オブジェクトの右下座標
８０５ オブジェクトの角座標
Claims (5)
- 現フレームと前フレームの各データから検出されたフレーム内各ブロックの動きベクトルに対して動きベクトルの大きさや向きの関連からオブジェクトを抽出する手段と、
前記オブジェクトの範囲に対するマスクパターンを基本図形の組合せで作成する手段と、
前記前フレーム内の画像をマスクパターンで切り出してオブジェクトのデータを取り出す手段と、
前記動きベクトルの大きさや向きの関連からオブジェクト特性を決定する手段と、
前記オブジェクトの範囲の座標を指定することによってオブジェクトを拡大／縮小してオブジェクトを配置することにより前記現フレームの推定フレームを作成する手段と、
マスクパターンを構成するマスク図形ＩＤとオブジェクト属性ＩＤを符号データとして出力する手段と、
オブジェクト特性が次フレームでも有効な場合は符号データを出力しない手段とを備えたことを特徴とする符号化装置。 - 前記マスク図形ＩＤに、必要ならば図形の座標や図形の回転角等のパラメータを付加して前記マスクパターンを生成することを特徴とする請求項１に記載の符号化装置。
- 符号データをフレームデータに復元する復号化装置において、
請求項１または請求項２に記載のマスク図形ＩＤおよびオブジェクト属性ＩＤを共用し、請求項１または請求項２に記載の符号化装置から出力される符号データで指定されたマスク図形ＩＤと、マスクパターンデータの座標データと、必要ならばパラメータを付加したデータとでオブジェクトを生成し、前記符号データで指示されるまでオブジェクトの位置や範囲を更新し記憶管理する手段を備えたことを特徴とする復号化装置。 - 推定フレーム作成手段を備えた復号化装置であって、
入力する符号データで指定されたマスク図形ＩＤと座標データとからマスクパターンを作成し、前の復号化フレームのデータを切り出してオブジェクト範囲とし、そのオブジェクトに符号データで指定されたオブジェクトＩＤを付けて管理する手段と、
符号データで指定されたオブジェクト属性ＩＤとオブジェクト特性パラメータとでオブジェクトを変形する手段と、
オブジェクトの変形後の座標やオブジェクト属性ＩＤおよびオブジェクト特性パラメータを保持する手段と、
次フレームにおいて符号データで指定されないオブジェクトに対して保持しているオブジェクトの座標やオブジェクト特性ＩＤでオブジェクトの配置位置決めやオブジェクト内データの変形を自動的に行う手段と、
オブジェクトを配置して次フレームの画面を構築する手段とを備えたことを特徴とする復号化装置。 - 入力するフレームから検出されたベクトルの特性を解析してオブジェクトを決定する機能と、
前記オブジェクトの範囲について予め登録されている図形によりマスクデータを生成する機能と、
前記オブジェクトの画像変形の属性を予め登録されている属性により決定し、関連するパラメータを生成する機能と、
前フレームデータから前記パラメータでオブジェクトを取り出しオブジェクト内画像を変形して、前フレームの推定オブジェクトを作成する機能と、
前前フレームデータから前記パラメータでオブジェクトを取り出しオブジェクト内画像を変形して、前前フレームの推定オブジェクトを作成する機能と、
前記前フレームの推定オブジェクトと前記前前フレームの推定オブジェクトとの比較により、前記前フレームの推定オブジェクトを評価する機能と、
前記評価の結果、前前フレームの推定オブジェクトを作成したオブジェクト構成データが有効なら、前フレームの推定オブジェクトを作成したオブジェクト構成データを廃棄する機能と、
前記評価の結果、前前フレームの推定オブジェクトを作成したオブジェクト構成データが有効なら、前フレームの推定オブジェクトを作成したオブジェクト構成データを保存して出力し、前前フレームの推定オブジェクトを作成したオブジェクト構成データを廃棄する機能と、
前記オブジェクト構成データについて１フレーム分の時間経過措置を行う機能とコンピュータに実行させることを特徴とする推定フレーム作成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002202052A JP2004048306A (ja) | 2002-07-11 | 2002-07-11 | 符号化装置および復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002202052A JP2004048306A (ja) | 2002-07-11 | 2002-07-11 | 符号化装置および復号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004048306A true JP2004048306A (ja) | 2004-02-12 |
Family
ID=31708347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002202052A Pending JP2004048306A (ja) | 2002-07-11 | 2002-07-11 | 符号化装置および復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004048306A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017535137A (ja) * | 2014-09-26 | 2017-11-24 | エルジー エレクトロニクス インコーポレイティド | 幾何要素を用いてグラフに基づく信号を処理する方法及び装置 |
-
2002
- 2002-07-11 JP JP2002202052A patent/JP2004048306A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017535137A (ja) * | 2014-09-26 | 2017-11-24 | エルジー エレクトロニクス インコーポレイティド | 幾何要素を用いてグラフに基づく信号を処理する方法及び装置 |
| US10382711B2 (en) | 2014-09-26 | 2019-08-13 | Lg Electronics Inc. | Method and device for processing graph-based signal using geometric primitives |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101400001B (zh) | 一种视频帧深度图的生成方法及系统 | |
| JP2013126185A (ja) | 情報処理装置、画像送信方法及び画像送信プログラム | |
| US8363902B2 (en) | Moving object detection method and moving object detection apparatus | |
| CN114025219B (zh) | 增强现实特效的渲染方法、装置、介质及设备 | |
| WO2018208698A1 (en) | Processing 3d video content | |
| US6570568B1 (en) | System and method for the coordinated simplification of surface and wire-frame descriptions of a geometric model | |
| CN112218107B (zh) | 直播渲染方法和装置、电子设备及存储介质 | |
| KR101602593B1 (ko) | 3d 모델 모핑을 위한 방법 및 장치 | |
| JP2005533465A5 (ja) | ||
| US20090103775A1 (en) | Multi-Tracking of Video Objects | |
| EP1134984B1 (en) | Object region data generating method, object region data generating apparatus, approximation polygon generating method, and approximation polygon generating apparatus | |
| US8866970B1 (en) | Method for real-time processing of a video sequence on mobile terminals | |
| CN106296575A (zh) | 基于bim的模型和图片合并和分离方法及系统 | |
| US8462163B2 (en) | Computer system and motion control method | |
| JP2004048306A (ja) | 符号化装置および復号化装置 | |
| JPH089379A (ja) | 動きベクトル検出方法 | |
| CN112686978B (zh) | 表情资源的加载方法、装置和电子设备 | |
| CN115423919A (zh) | 图像的渲染方法、装置、设备以及存储介质 | |
| CN109951705B (zh) | 一种面向监控视频中车辆对象编码的参考帧合成方法及装置 | |
| CN113761965A (zh) | 动作捕捉方法、装置、电子设备和存储介质 | |
| KR100647803B1 (ko) | 대응점 정보 압축방법 및 장치 | |
| CN112767240A (zh) | 提高人像视频美化处理效率的方法、装置及移动端 | |
| CN112825198A (zh) | 移动标签显示方法、装置、终端设备及可读存储介质 | |
| CN117132716B (zh) | 一种动力环境监控方法、装置、电子设备及存储介质 | |
| CN114582016A (zh) | 关键点定位方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050609 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071012 |