JP2003032688A - 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法 - Google Patents
動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法Info
- Publication number
- JP2003032688A JP2003032688A JP2001218392A JP2001218392A JP2003032688A JP 2003032688 A JP2003032688 A JP 2003032688A JP 2001218392 A JP2001218392 A JP 2001218392A JP 2001218392 A JP2001218392 A JP 2001218392A JP 2003032688 A JP2003032688 A JP 2003032688A
- Authority
- JP
- Japan
- Prior art keywords
- background
- image
- foreground
- motion vector
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 動画像から前景領域と背景領域を正確に分離
する方法を提供する。 【解決手段】 隣接フレーム間にて第一の局所的なベク
トルを算出し、大局的な動きベクトルから第二の局所的
な動きベクトルを算出し、第一の局所的な動きベクトル
と第二の局所的な動きベクトルの距離から第一の背景候
補領域を求め、予測画像と原画像の絶対差分平均値を算
出し、第一の背景領域におけるマクロブロックの絶対差
分平均値に基づいて第二の閾値を決定し、該第二の閾値
よりも小さい絶対差分平均値を持つマクロブロックを第
二の背景候補領域とし、第一の背景候補領域と第二の背
景候補領域とを統合し、前景領域との境界に属する背景
マクロブロックにおいて、第二の閾値よりも小さい所定
の値を持つ第三の閾値よりも小さい絶対差分平均値を持
つマクロブロックを前景マクロブロックに訂正する。
する方法を提供する。 【解決手段】 隣接フレーム間にて第一の局所的なベク
トルを算出し、大局的な動きベクトルから第二の局所的
な動きベクトルを算出し、第一の局所的な動きベクトル
と第二の局所的な動きベクトルの距離から第一の背景候
補領域を求め、予測画像と原画像の絶対差分平均値を算
出し、第一の背景領域におけるマクロブロックの絶対差
分平均値に基づいて第二の閾値を決定し、該第二の閾値
よりも小さい絶対差分平均値を持つマクロブロックを第
二の背景候補領域とし、第一の背景候補領域と第二の背
景候補領域とを統合し、前景領域との境界に属する背景
マクロブロックにおいて、第二の閾値よりも小さい所定
の値を持つ第三の閾値よりも小さい絶対差分平均値を持
つマクロブロックを前景マクロブロックに訂正する。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像から前景領
域と背景領域とを分離する技術に関する、また、本発明
は、動画像から前景領域と背景領域とを分離した結果を
条件付画素補填に用いる動画像符号化技術に関する。
域と背景領域とを分離する技術に関する、また、本発明
は、動画像から前景領域と背景領域とを分離した結果を
条件付画素補填に用いる動画像符号化技術に関する。
【０００２】
【従来の技術】動画像から背景領域と前景領域を分離す
る技術として、例えば「秦泉寺久美他、“スプライト生
成のためのグローバルモーション算出法と符号化への適
用”,信学論 D-II vol.J83-D-II, no.2, pp535-544, F
eb.2000.」（以下、文献１という）に開示されている技
術がある。これは、背景画像をあらかじめ作成し、背景
画像と着目画像の差分から背景を判定する方法である。
る技術として、例えば「秦泉寺久美他、“スプライト生
成のためのグローバルモーション算出法と符号化への適
用”,信学論 D-II vol.J83-D-II, no.2, pp535-544, F
eb.2000.」（以下、文献１という）に開示されている技
術がある。これは、背景画像をあらかじめ作成し、背景
画像と着目画像の差分から背景を判定する方法である。
【０００３】この方法によると、背景を計算機処理によ
って人工的に作り出すため、ずれやぼけが生じる。その
ため、背景画像と着目画像との差分を計算すると、その
ずれやぼけに応じた差分が生じ、最適な差分の閾値を設
定することが困難であるという問題があった。
って人工的に作り出すため、ずれやぼけが生じる。その
ため、背景画像と着目画像との差分を計算すると、その
ずれやぼけに応じた差分が生じ、最適な差分の閾値を設
定することが困難であるという問題があった。
【０００４】また、隣接フレーム間における局所的な動
きベクトル（Ｌｏｃａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏ
ｒ：ＬＭＶ）と大局的な動きベクトル（Ｇｌｏｂａｌ
Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ：ＧＭＶ）の類似度に着目
し、各マクロブロック（Ｍａｃｒｏ−ｂｌｏｃｋ：Ｍ
Ｂ）において、両者の値が近いものを背景、そうでない
ものを前景とする方法もある。
きベクトル（Ｌｏｃａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏ
ｒ：ＬＭＶ）と大局的な動きベクトル（Ｇｌｏｂａｌ
Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ：ＧＭＶ）の類似度に着目
し、各マクロブロック（Ｍａｃｒｏ−ｂｌｏｃｋ：Ｍ
Ｂ）において、両者の値が近いものを背景、そうでない
ものを前景とする方法もある。
【０００５】しかし、この方法を用いると、図７に示す
ように、輝度変化がなだらかな領域（ａ）や、一方向に
指向性のある輝度を持つ領域（ｂ）や、同じテクスチャ
の繰り返しのある領域（ｃ）においてはＬＭＶが誤抽出
される場合がある。これらのＭＢは本来なら背景部分に
属するものであるが、ＧＭＶとＬＭＶとの距離が大きく
離れて算出される。従って、この方法を用いると、本来
なら背景部分に属するＭＢが背景とは判断されないとい
う問題があった。
ように、輝度変化がなだらかな領域（ａ）や、一方向に
指向性のある輝度を持つ領域（ｂ）や、同じテクスチャ
の繰り返しのある領域（ｃ）においてはＬＭＶが誤抽出
される場合がある。これらのＭＢは本来なら背景部分に
属するものであるが、ＧＭＶとＬＭＶとの距離が大きく
離れて算出される。従って、この方法を用いると、本来
なら背景部分に属するＭＢが背景とは判断されないとい
う問題があった。
【０００６】また、物体と背景の境界等では前景よりも
背景領域が大きいため、ＬＭＶとＧＭＶの距離が小さく
なる傾向にある。よって、背景と判断されても前景の一
部を含んでしまうという問題があった。
背景領域が大きいため、ＬＭＶとＧＭＶの距離が小さく
なる傾向にある。よって、背景と判断されても前景の一
部を含んでしまうという問題があった。
【０００７】動画像符号化における条件付画素補填につ
いて次に説明する。
いて次に説明する。
【０００８】Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ−１、
ＭＰＥＧ−２といった従来の符号化方法では、ＭＢ単位
にＬＭＶによって動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅ
ｎｓａｔｉｏｎ：ＭＣ）し、元の画像（あるいはローカ
ルデコード画像）との差分（すなわち予測誤差）を離散
コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒ
ａｎｓｆｏｒｍ：ＤＣＴ）し、そのＤＣＴ係数を符号化
する方法がとられるのが一般的である。その従来の符号
化技術における条件付画素補填法（Ｃｏｎｉｔｉｏｎａ
ｌ Ｒｅｐｌｅｎｉｓｈｍｅｎｔ：ＣＲ）とは、ＭＣを
行った後に、なんらかの条件において予測誤差を符号化
しない方法である。単純な例として、ＭＣが行われた後
の予測誤差の指標である原画像とＭＣ後の予測画像の絶
対差分和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆ
ｅｒｅｎｃｅ：ＳＡＤ）がある閾値以下のＭＢに関して
は差分を一切符号化しないこととする方法がある。
ＭＰＥＧ−２といった従来の符号化方法では、ＭＢ単位
にＬＭＶによって動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅ
ｎｓａｔｉｏｎ：ＭＣ）し、元の画像（あるいはローカ
ルデコード画像）との差分（すなわち予測誤差）を離散
コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒ
ａｎｓｆｏｒｍ：ＤＣＴ）し、そのＤＣＴ係数を符号化
する方法がとられるのが一般的である。その従来の符号
化技術における条件付画素補填法（Ｃｏｎｉｔｉｏｎａ
ｌ Ｒｅｐｌｅｎｉｓｈｍｅｎｔ：ＣＲ）とは、ＭＣを
行った後に、なんらかの条件において予測誤差を符号化
しない方法である。単純な例として、ＭＣが行われた後
の予測誤差の指標である原画像とＭＣ後の予測画像の絶
対差分和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆ
ｅｒｅｎｃｅ：ＳＡＤ）がある閾値以下のＭＢに関して
は差分を一切符号化しないこととする方法がある。
【０００９】一方で、新しい映像符号化標準であるＭＰ
ＥＧ−４では、ＭＣ+ＤＣＴ以外の新しい圧縮ツールが
具備されており、グローバル動き補償（Ｇｌｏｂａｌ
Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：ＧＭＣ）は
その１つである。ＧＭＣとは、ＭＢ単位にＭＣをするの
ではなく、大きな領域全体を１つのグローバル動きベク
トル（Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ：Ｇ
ＭＣ）でＭＣをするものである。この方法によると、複
数のＬＭＶを１つに集約する効果があり、その分、符号
量を削減することができる。ＧＭＶはアフィン変換であ
る６つのパラメータで表される。なお、ＧＭＶは画像全
体にアフィン変換を施すものである。
ＥＧ−４では、ＭＣ+ＤＣＴ以外の新しい圧縮ツールが
具備されており、グローバル動き補償（Ｇｌｏｂａｌ
Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：ＧＭＣ）は
その１つである。ＧＭＣとは、ＭＢ単位にＭＣをするの
ではなく、大きな領域全体を１つのグローバル動きベク
トル（Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ：Ｇ
ＭＣ）でＭＣをするものである。この方法によると、複
数のＬＭＶを１つに集約する効果があり、その分、符号
量を削減することができる。ＧＭＶはアフィン変換であ
る６つのパラメータで表される。なお、ＧＭＶは画像全
体にアフィン変換を施すものである。
【００１０】さて、ＧＭＣにおいても、前述のＣＲを適
用することは可能である。しかしながら、ＧＭＣが効果
を発揮するような画像、すなわち、カメラの動きがある
ような画像では、予測画像を生成するときにアフィン変
換が施され、その微妙なずれによって、画像内で輝度変
化の大きい画像ではＭＡＤ（Ｍｅａｎ ｏｆ Ａｂｓｏ
ｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：絶対差分値の平均）
が大きな値をとることになる。よって、ある一定の閾値
以下という条件を設定してＣＲを適用する場合、閾値を
小さくするとＣＲが適用できるＭＢが少なくなるという
問題があり、閾値を大きくしてＣＲの領域を大きくすれ
ば画像が劣化するという問題があった。
用することは可能である。しかしながら、ＧＭＣが効果
を発揮するような画像、すなわち、カメラの動きがある
ような画像では、予測画像を生成するときにアフィン変
換が施され、その微妙なずれによって、画像内で輝度変
化の大きい画像ではＭＡＤ（Ｍｅａｎ ｏｆ Ａｂｓｏ
ｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：絶対差分値の平均）
が大きな値をとることになる。よって、ある一定の閾値
以下という条件を設定してＣＲを適用する場合、閾値を
小さくするとＣＲが適用できるＭＢが少なくなるという
問題があり、閾値を大きくしてＣＲの領域を大きくすれ
ば画像が劣化するという問題があった。
【００１１】
【発明が解決しようとする課題】本発明は上記の点に鑑
みてなされたものであり、動画像から前景領域と背景領
域を正確に分離する方法を提供することを目的とする。
更に、その方法を用いて条件付画素補填（ＣＲ）による
動画像符号化を行う方法を提供することを目的とする。
みてなされたものであり、動画像から前景領域と背景領
域を正確に分離する方法を提供することを目的とする。
更に、その方法を用いて条件付画素補填（ＣＲ）による
動画像符号化を行う方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】上記の目的を達成するた
めに本発明は次のように構成される。
めに本発明は次のように構成される。
【００１３】請求項１に記載の発明は、動画像から前景
領域と背景領域を分離する方法であって、動画像の隣接
フレーム間にて第一の局所的なベクトルを算出し、該隣
接フレーム間にて大局的な動きベクトルを算出し、大局
的な動きベクトルから各座標における第二の局所的な動
きベクトルを算出し、第一の局所的な動きベクトルと第
二の局所的な動きベクトルの距離が予め定められた第一
の閾値よりも小さい領域を第一の背景候補領域とし、大
局的な動きベクトルによる予測画像を生成し、マクロブ
ロック単位に予測画像と原画像の絶対差分平均値を算出
し、第一の背景領域における各マクロブロックの絶対差
分平均値に基づいて第二の閾値を決定し、該第二の閾値
よりも小さい絶対差分平均値を持つマクロブロックを第
二の背景候補領域とし、第一の背景候補領域と第二の背
景候補領域とを統合して第三の背景候補領域とし、該第
三の背景候補領域において前景領域との境界に属する背
景マクロブロックにおいて、第二の閾値よりも小さい所
定の値を持つ第三の閾値よりも小さい絶対差分平均値を
持つマクロブロックを前景マクロブロックに訂正するこ
とで動画像から前景領域と背景領域を分離する。
領域と背景領域を分離する方法であって、動画像の隣接
フレーム間にて第一の局所的なベクトルを算出し、該隣
接フレーム間にて大局的な動きベクトルを算出し、大局
的な動きベクトルから各座標における第二の局所的な動
きベクトルを算出し、第一の局所的な動きベクトルと第
二の局所的な動きベクトルの距離が予め定められた第一
の閾値よりも小さい領域を第一の背景候補領域とし、大
局的な動きベクトルによる予測画像を生成し、マクロブ
ロック単位に予測画像と原画像の絶対差分平均値を算出
し、第一の背景領域における各マクロブロックの絶対差
分平均値に基づいて第二の閾値を決定し、該第二の閾値
よりも小さい絶対差分平均値を持つマクロブロックを第
二の背景候補領域とし、第一の背景候補領域と第二の背
景候補領域とを統合して第三の背景候補領域とし、該第
三の背景候補領域において前景領域との境界に属する背
景マクロブロックにおいて、第二の閾値よりも小さい所
定の値を持つ第三の閾値よりも小さい絶対差分平均値を
持つマクロブロックを前景マクロブロックに訂正するこ
とで動画像から前景領域と背景領域を分離する。
【００１４】本発明によれば、第一の背景候補領域と第
二の背景候補領域を各々の判定手法にて求め、第一の背
景候補領域と第二の背景候補領域とを統合することとし
たので、第一の背景候補領域を求める手法で背景と判定
されない領域でも第二の背景候補領域を求める手法によ
って背景と判定することが可能となり、正確に前景領域
と背景領域を分離できる。また、第一の背景候補領域抽
出結果に基づき第二の背景候補領域を求めるための閾値
（第二の閾値）を決定するので、適切な閾値を自動的に
設定することができる。また、背景と前景の境界に属し
ている領域について背景か否かの再判定を行うので、更
に正確に前景領域と背景領域を分離することが可能とな
る。また、本発明では、隣接フレーム間の情報のみを使
用して前景背景を分離するので、計算機コストが小さく
なり実時間性が求められる場合に好適である。
二の背景候補領域を各々の判定手法にて求め、第一の背
景候補領域と第二の背景候補領域とを統合することとし
たので、第一の背景候補領域を求める手法で背景と判定
されない領域でも第二の背景候補領域を求める手法によ
って背景と判定することが可能となり、正確に前景領域
と背景領域を分離できる。また、第一の背景候補領域抽
出結果に基づき第二の背景候補領域を求めるための閾値
（第二の閾値）を決定するので、適切な閾値を自動的に
設定することができる。また、背景と前景の境界に属し
ている領域について背景か否かの再判定を行うので、更
に正確に前景領域と背景領域を分離することが可能とな
る。また、本発明では、隣接フレーム間の情報のみを使
用して前景背景を分離するので、計算機コストが小さく
なり実時間性が求められる場合に好適である。
【００１５】請求項２に記載の発明は、請求項１に記載
の発明において、前記動画像から前景領域と背景領域を
分離する方法において、前記大局的な動きベクトルによ
り予測画像を生成し、該予測画像と原画像から算出した
絶対差分平均値を用いて前記第二の閾値を決定すること
に代えて、あらかじめ用意された背景画像と原画像との
間の大局的な動きベクトルを算出し、該大局的な動きベ
クトルによって背景画像から予測画像を生成し、マクロ
ブロック単位に予測画像と原画像の絶対差分平均値を算
出し、前記第一の背景領域における各マクロブロックの
絶対差分平均値に基づいて前記第二の閾値を決定する方
法である。
の発明において、前記動画像から前景領域と背景領域を
分離する方法において、前記大局的な動きベクトルによ
り予測画像を生成し、該予測画像と原画像から算出した
絶対差分平均値を用いて前記第二の閾値を決定すること
に代えて、あらかじめ用意された背景画像と原画像との
間の大局的な動きベクトルを算出し、該大局的な動きベ
クトルによって背景画像から予測画像を生成し、マクロ
ブロック単位に予測画像と原画像の絶対差分平均値を算
出し、前記第一の背景領域における各マクロブロックの
絶対差分平均値に基づいて前記第二の閾値を決定する方
法である。
【００１６】本発明によれば、スプライト等の背景画像
が予め生成されている場合において、正確に前景領域と
背景領域を分離する方法を提供できる。
が予め生成されている場合において、正確に前景領域と
背景領域を分離する方法を提供できる。
【００１７】請求項３に記載の発明は、請求項１又は２
に記載の方法によって動画像から前景領域と背景領域を
分離し、該前景領域では原画像と動きベクトルによる予
測画像との差分を符号化し、背景領域では原画像と動き
ベクトルによる予測画像との差分を符号化しないことを
特徴とする条件付画素補填による動画像符号化方法であ
る。
に記載の方法によって動画像から前景領域と背景領域を
分離し、該前景領域では原画像と動きベクトルによる予
測画像との差分を符号化し、背景領域では原画像と動き
ベクトルによる予測画像との差分を符号化しないことを
特徴とする条件付画素補填による動画像符号化方法であ
る。
【００１８】本発明によれば、従来法のように単純にマ
クロブロック内のＭＡＤを用いて差分情報の符号化をす
るか否かを決定するのではなく、本発明の前景背景分離
方法によって正確に前景背景を分離してから背景部分に
条件付画素補填（ＣＲ）をするので画質の劣化が押さえ
られる。
クロブロック内のＭＡＤを用いて差分情報の符号化をす
るか否かを決定するのではなく、本発明の前景背景分離
方法によって正確に前景背景を分離してから背景部分に
条件付画素補填（ＣＲ）をするので画質の劣化が押さえ
られる。
【００１９】請求項４、５に記載の発明は、上記の方法
による処理をコンピュータに実行させるプログラムであ
り、請求項６、７に記載の発明はそのプログラムを記録
したコンピュータ読み取り可能な記録媒体である。請求
項４〜７の発明によっても上記請求項１〜３の発明と実
質的に同様の作用効果を奏する。
による処理をコンピュータに実行させるプログラムであ
り、請求項６、７に記載の発明はそのプログラムを記録
したコンピュータ読み取り可能な記録媒体である。請求
項４〜７の発明によっても上記請求項１〜３の発明と実
質的に同様の作用効果を奏する。
【００２０】
【発明の実施の形態】以下、本発明の各実施例について
説明する。各実施例では前景と背景の分離方法、もしく
は動画像符号化方法についての処理手順について説明す
るが、各実施例における処理手順は、プログラムとして
コンピュータ上で実行するものである。
説明する。各実施例では前景と背景の分離方法、もしく
は動画像符号化方法についての処理手順について説明す
るが、各実施例における処理手順は、プログラムとして
コンピュータ上で実行するものである。
【００２１】すなわち、図１に示すようなＣＰＵ１、メ
モリ２、ハードディスク３、入力装置４、出力装置５、
ＣＤ−ＲＯＭドライブ６等を有するコンピュータに画像
入力装置７を接続し、当該画像入力装置７から動画像を
入力し、その動画像に画像処理を施して前景と背景の分
離、更には動画像の符号化を行うものである。従って、
例えばＣＤ−ＲＯＭ等の記録媒体に格納された本発明の
プログラムをコンピュータにインストールすることによ
って、本発明における画像処理を実現することができ
る。なお、本発明の実施例の手順の全部又は一部をハー
ドウェアに組み込み、画像処理の専用装置を構成するこ
とも可能である。
モリ２、ハードディスク３、入力装置４、出力装置５、
ＣＤ−ＲＯＭドライブ６等を有するコンピュータに画像
入力装置７を接続し、当該画像入力装置７から動画像を
入力し、その動画像に画像処理を施して前景と背景の分
離、更には動画像の符号化を行うものである。従って、
例えばＣＤ−ＲＯＭ等の記録媒体に格納された本発明の
プログラムをコンピュータにインストールすることによ
って、本発明における画像処理を実現することができ
る。なお、本発明の実施例の手順の全部又は一部をハー
ドウェアに組み込み、画像処理の専用装置を構成するこ
とも可能である。
【００２２】［第１の実施例］以下、図２を用いて本発
明の第１の実施例を説明する。図２は、本発明における
前景背景分離方法の第１の実施例を示す図である。第１
の実施例は、隣接フレーム間の情報のみを使用して前景
と背景を分離する場合の例であり、実時間性が求められ
る場合に好適な計算機コストが小さい方法である。
明の第１の実施例を説明する。図２は、本発明における
前景背景分離方法の第１の実施例を示す図である。第１
の実施例は、隣接フレーム間の情報のみを使用して前景
と背景を分離する場合の例であり、実時間性が求められ
る場合に好適な計算機コストが小さい方法である。
【００２３】まず、画像入力装置からコンピュータに入
力された動画像の隣接フレーム間において、ＭＢ単位に
ＬＭＶを計算する（ステップ１）。次に、ＬＭＶの値か
ら、例えば文献１の手法によってＧＭＶを算出する（ス
テップ２）。
力された動画像の隣接フレーム間において、ＭＢ単位に
ＬＭＶを計算する（ステップ１）。次に、ＬＭＶの値か
ら、例えば文献１の手法によってＧＭＶを算出する（ス
テップ２）。
【００２４】そして、任意のＭＢにおける動きベクトル
（ＭＶ）を(u,v)、ＭＢの中心座標を(x,y)、そのときの
文献１における４パラメータからなるＧＭＶを｛a,b,c,
d｝（各々、カメラのズーム、回転、パン、チルトを示
す）とすると、以下の式（１）が成り立つ。
（ＭＶ）を(u,v)、ＭＢの中心座標を(x,y)、そのときの
文献１における４パラメータからなるＧＭＶを｛a,b,c,
d｝（各々、カメラのズーム、回転、パン、チルトを示
す）とすると、以下の式（１）が成り立つ。
【００２５】
【数１】
ＧＭＶが既知であれば、式（１）より各ＭＢにおけるＬ
ＭＶに変換できる。
ＭＶに変換できる。
【００２６】このＬＭＶをＬＭＶ’とし、座標(x,y)に
おけるＬＭＶ’を(u’,v’)とする。ここで、ＧＭＶと
ＬＭＶの距離Ｄを式（２）のように定義し、これを算出
する（ステップ３）。
おけるＬＭＶ’を(u’,v’)とする。ここで、ＧＭＶと
ＬＭＶの距離Ｄを式（２）のように定義し、これを算出
する（ステップ３）。
【００２７】
【数２】
次に、距離Ｄが所定の閾値Ｔｈ１より小さいか否かを調
べ（ステップ４）、小さい場合には、着目しているＭＢ
を背景候補ＭＢとし、その位置にフラグを立て、この背
景候補ＭＢ群をマップ１とする（ステップ５）。
べ（ステップ４）、小さい場合には、着目しているＭＢ
を背景候補ＭＢとし、その位置にフラグを立て、この背
景候補ＭＢ群をマップ１とする（ステップ５）。
【００２８】次に、隣接フレームからＧＭＶを用いて予
測画像を生成し（ステップ６）、各々のＭＢにてＧＭＣ
後の予測画像と元の画像とのＭＡＤ値を計算する（ステ
ップ７）。ここで、Ｍａｐ１群に属する背景候補ＭＢに
ついて、そのＭＡＤ値が小さい方から順に全体の９０％
程度のところにあたるＭＡＤ値をＴｈ２とする（ステッ
プ８）。これにより、ＭＡＤにより差分閾値Ｔｈ２を自
動設定することが可能となる。
測画像を生成し（ステップ６）、各々のＭＢにてＧＭＣ
後の予測画像と元の画像とのＭＡＤ値を計算する（ステ
ップ７）。ここで、Ｍａｐ１群に属する背景候補ＭＢに
ついて、そのＭＡＤ値が小さい方から順に全体の９０％
程度のところにあたるＭＡＤ値をＴｈ２とする（ステッ
プ８）。これにより、ＭＡＤにより差分閾値Ｔｈ２を自
動設定することが可能となる。
【００２９】続いて、全てのＭＢにて、ＭＡＤ値と差分
閾値Ｔｈ２を比較し（ステップ９）、差分閾値Ｔｈ２よ
りも小さいＭＡＤ値を持つＭＢを背景候補ＭＢとし、こ
の位置にフラグを立てて、これをマップ２にする（ステ
ップ１０）。更に、マップ１とマップ２のＯＲを算出
し、すなわちマップ１とマップ２をマージして、これを
背景候補領域とする（ステップ１１）。
閾値Ｔｈ２を比較し（ステップ９）、差分閾値Ｔｈ２よ
りも小さいＭＡＤ値を持つＭＢを背景候補ＭＢとし、こ
の位置にフラグを立てて、これをマップ２にする（ステ
ップ１０）。更に、マップ１とマップ２のＯＲを算出
し、すなわちマップ１とマップ２をマージして、これを
背景候補領域とする（ステップ１１）。
【００３０】上記の処理において、背景候補領域と前景
候補領域の境界に位置する背景候補ＭＢには微小に前景
領域がある場合が考えられる。そこで、ＭＡＤにおける
所定の差分閾値Ｔｈ３（Ｔｈ３＜Ｔｈ２）にて境界ＭＢ
を前景と背景に分離する。すなわち、ＭＢ毎にそのＭＢ
が背景領域でかつ前景候補との境界であるかどうかを調
べ（ステップ１２）、境界である場合には当該ＭＢのＭ
ＡＤ値が差分閾値Ｔｈ３より小さいか否かを調べ、ＭＡ
Ｄ値が差分閾値Ｔｈ３より小さい場合にそのＭＢを背景
ＭＢとし、小さくない場合にはそのＭＤを前景ＭＢとす
る（ステップ１３）。
候補領域の境界に位置する背景候補ＭＢには微小に前景
領域がある場合が考えられる。そこで、ＭＡＤにおける
所定の差分閾値Ｔｈ３（Ｔｈ３＜Ｔｈ２）にて境界ＭＢ
を前景と背景に分離する。すなわち、ＭＢ毎にそのＭＢ
が背景領域でかつ前景候補との境界であるかどうかを調
べ（ステップ１２）、境界である場合には当該ＭＢのＭ
ＡＤ値が差分閾値Ｔｈ３より小さいか否かを調べ、ＭＡ
Ｄ値が差分閾値Ｔｈ３より小さい場合にそのＭＢを背景
ＭＢとし、小さくない場合にはそのＭＤを前景ＭＢとす
る（ステップ１３）。
【００３１】図３は、本発明における第１の実施例にお
ける処理を実行して得た前景背景分離結果を示す図であ
る。図の左側に原画像、右側に抽出された背景部分（白
色の部分）を示す。同図に示すように、おおむね良好に
前景背景が分離されていることがわかる。
ける処理を実行して得た前景背景分離結果を示す図であ
る。図の左側に原画像、右側に抽出された背景部分（白
色の部分）を示す。同図に示すように、おおむね良好に
前景背景が分離されていることがわかる。
【００３２】［第２の実施例］次に、図４を用いて本発
明の第２の実施例について説明する。図４は、本発明に
おける前景背景分離方法の第２の実施例を示す図であ
る。第２の実施例は、スプライト（背景パノラマ画像）
や背景画像等があらかじめ生成されている場合において
背景と前景の分離を行う例である。
明の第２の実施例について説明する。図４は、本発明に
おける前景背景分離方法の第２の実施例を示す図であ
る。第２の実施例は、スプライト（背景パノラマ画像）
や背景画像等があらかじめ生成されている場合において
背景と前景の分離を行う例である。
【００３３】第２の実施例は、第１の実施例に比べて、
計算機コストは増すがより正確に前景背景を分離可能で
あるという特徴を有している。
計算機コストは増すがより正確に前景背景を分離可能で
あるという特徴を有している。
【００３４】まず、入力された動画像における隣接フレ
ーム間において、ＭＢ単位にＬＭＶを計算する（ステッ
プ２１）。更に、ＬＭＶの値から、文献１の手法によっ
てＧＭＶを算出する（ステップ２２）。そして、式
（１）により各ＭＢにおけるＬＭＶに変換できる。この
ＬＭＶをＬＭＶ’とし、座標(x,y)におけるＬＭＶ’を
(u’,v’)とする。ＧＭＶとＬＭＶの距離Ｄを式（２）
を用いて算出する（ステップ２３）。距離Ｄがある閾値
Ｔｈ１より小さい場合にそのＭＢを背景候補ＭＢとし、
この背景候補ＭＢ群をマップ１とする（ステップ２４、
２５）。
ーム間において、ＭＢ単位にＬＭＶを計算する（ステッ
プ２１）。更に、ＬＭＶの値から、文献１の手法によっ
てＧＭＶを算出する（ステップ２２）。そして、式
（１）により各ＭＢにおけるＬＭＶに変換できる。この
ＬＭＶをＬＭＶ’とし、座標(x,y)におけるＬＭＶ’を
(u’,v’)とする。ＧＭＶとＬＭＶの距離Ｄを式（２）
を用いて算出する（ステップ２３）。距離Ｄがある閾値
Ｔｈ１より小さい場合にそのＭＢを背景候補ＭＢとし、
この背景候補ＭＢ群をマップ１とする（ステップ２４、
２５）。
【００３５】ここまでの手順は第１の実施例におけるス
テップ１〜５の手順と全く同じである。
テップ１〜５の手順と全く同じである。
【００３６】次に、スプライト等の背景画像と原画像間
の変換パラメータ（両画像間のＧＭＶに相当する）を算
出する（ステップ２６）。変換パラメータは式（１）と
同様、アフィン係数で表される。その変換パラメータに
よって背景画像を変形し予測画像を生成する（ステップ
２７）。そして、原画像の各ＭＢにおける予測画像との
間のＭＡＤ値を計算する（ステップ２８）。
の変換パラメータ（両画像間のＧＭＶに相当する）を算
出する（ステップ２６）。変換パラメータは式（１）と
同様、アフィン係数で表される。その変換パラメータに
よって背景画像を変形し予測画像を生成する（ステップ
２７）。そして、原画像の各ＭＢにおける予測画像との
間のＭＡＤ値を計算する（ステップ２８）。
【００３７】以降の処理手順（ステップ２９〜３４）
は、第１の実施例におけるステップ８〜１３の手順と同
様である。すなわち、次の処理を行う。
は、第１の実施例におけるステップ８〜１３の手順と同
様である。すなわち、次の処理を行う。
【００３８】Ｍａｐ１群に属する背景候補ＭＢについ
て、そのＭＡＤが小さいほうから順に全体の９０％程度
のところにあたるＭＡＤ値をＴｈ２とし（ステップ２
９）、全てのＭＢにて、差分閾値Ｔｈ２よりも小さいＭ
ＡＤを持つＭＢを背景候補ＭＢとしてマップ２とする
（ステップ３０、３１）。更にマップ１とマップ２のＯ
Ｒを算出し、背景候補領域とする（ステップ３２）。最
後に、背景候補領域と前景候補領域の境界に位置する背
景候補ＭＢは微小に前景領域がある場合が考えられるの
で、ＭＡＤの差分閾値Ｔｈ３（Ｔｈ３＜Ｔｈ２）にて境
界ＭＢを前景と背景に分離する（ステップ３３、３
４）。
て、そのＭＡＤが小さいほうから順に全体の９０％程度
のところにあたるＭＡＤ値をＴｈ２とし（ステップ２
９）、全てのＭＢにて、差分閾値Ｔｈ２よりも小さいＭ
ＡＤを持つＭＢを背景候補ＭＢとしてマップ２とする
（ステップ３０、３１）。更にマップ１とマップ２のＯ
Ｒを算出し、背景候補領域とする（ステップ３２）。最
後に、背景候補領域と前景候補領域の境界に位置する背
景候補ＭＢは微小に前景領域がある場合が考えられるの
で、ＭＡＤの差分閾値Ｔｈ３（Ｔｈ３＜Ｔｈ２）にて境
界ＭＢを前景と背景に分離する（ステップ３３、３
４）。
【００３９】［第３の実施例］次に、ＭＣ+ＤＣＴを基
本とした従来符号化方法（ＭＰＥＧ−１、２、Ｈ．２３
１、Ｈ．２６３）において本発明の背景前景分離方法を
適用する例を第３の実施例として説明する。図５に第３
の実施例における手順を示す。
本とした従来符号化方法（ＭＰＥＧ−１、２、Ｈ．２３
１、Ｈ．２６３）において本発明の背景前景分離方法を
適用する例を第３の実施例として説明する。図５に第３
の実施例における手順を示す。
【００４０】原画像を画像入力装置からコンピュータ等
に読み込み、第１の実施例もしくは第２の実施例で説明
した前景背景分離方法にてＭＢ毎に前景背景を判定する
（ステップ４１）。着目ＭＢが背景の場合は動き補償に
よる予測誤差を符号化しない（ステップ４２、４３）。
また、着目ＭＢが前景の場合は動き補償結果の予測誤差
を符号化する（ステップ４２、４４）。
に読み込み、第１の実施例もしくは第２の実施例で説明
した前景背景分離方法にてＭＢ毎に前景背景を判定する
（ステップ４１）。着目ＭＢが背景の場合は動き補償に
よる予測誤差を符号化しない（ステップ４２、４３）。
また、着目ＭＢが前景の場合は動き補償結果の予測誤差
を符号化する（ステップ４２、４４）。
【００４１】［第４の実施例］次に、本発明の前景背景
分離方法を用いることによりＧＭＣ符号化にＣＲを適用
する例を第４の実施例として説明する。図６に第４の実
施例における手順を示す。
分離方法を用いることによりＧＭＣ符号化にＣＲを適用
する例を第４の実施例として説明する。図６に第４の実
施例における手順を示す。
【００４２】原画像を画像入力装置からコンピュータ等
に読み込み、第１の実施例もしくは第２の実施例で説明
した前景背景分離方法にてＭＢ毎に前景背景を判定する
（ステップ５１）。着目ＭＢが背景の場合はＧＭＣ符号
化し、かつ、その予測誤差を符号化しない、すなわち、
ＣＲ符号化を行う（ステップ５２、５３）。着目ＭＢが
前景の場合は、「”MPEG-4 Video Verification Model
version 17.0” ISO/IEC JTC1/SC29/WG11」（文献２）
に記載されているようなＧＭＣ／ＬＭＣ判定を行い（ス
テップ５２、５４）、ＧＭＣと判定されたものはＧＭＣ
符号化（予測誤差は符号化）し、また、ＬＭＣと判定さ
れたものはＬＭＣ符号化（予測誤差は符号化）する（ス
テップ５５）。
に読み込み、第１の実施例もしくは第２の実施例で説明
した前景背景分離方法にてＭＢ毎に前景背景を判定する
（ステップ５１）。着目ＭＢが背景の場合はＧＭＣ符号
化し、かつ、その予測誤差を符号化しない、すなわち、
ＣＲ符号化を行う（ステップ５２、５３）。着目ＭＢが
前景の場合は、「”MPEG-4 Video Verification Model
version 17.0” ISO/IEC JTC1/SC29/WG11」（文献２）
に記載されているようなＧＭＣ／ＬＭＣ判定を行い（ス
テップ５２、５４）、ＧＭＣと判定されたものはＧＭＣ
符号化（予測誤差は符号化）し、また、ＬＭＣと判定さ
れたものはＬＭＣ符号化（予測誤差は符号化）する（ス
テップ５５）。
【００４３】本発明は、上記の実施例に限定されること
なく、特許請求の範囲内で種々変更・応用が可能であ
る。
なく、特許請求の範囲内で種々変更・応用が可能であ
る。
【００４４】
【発明の効果】上記のように本発明の前景背景分離方法
によれば、隣接フレーム間の情報（ＬＭＶ、画素値）か
ら前景背景を判定するので、前景背景分離に要する計算
機コストを削減することが可能である。
によれば、隣接フレーム間の情報（ＬＭＶ、画素値）か
ら前景背景を判定するので、前景背景分離に要する計算
機コストを削減することが可能である。
【００４５】また、各ＭＢにおけるＧＭＶによる予測画
像と原画像から算出されたＭＡＤ値から前景背景を分離
するための差分閾値を自動決定することができ、画像に
よらず最適な閾値を決定することが可能である。
像と原画像から算出されたＭＡＤ値から前景背景を分離
するための差分閾値を自動決定することができ、画像に
よらず最適な閾値を決定することが可能である。
【００４６】また、ＬＭＶとＧＭＶの距離が所定値より
小さいＭＢを背景候補ＭＢとしマップ１として出力し、
また、ＭＡＤが所定の値より小さいＭＢを背景候補ＭＢ
としマップ２として出力し、マップ１とマップ２のＯＲ
をとることとしたので、図７に示したようなＬＭＶが誤
抽出される傾向にある輝度変化の少ないＭＢでもマップ
２において背景候補ＭＢとして採用され、また、輝度変
化の激しいＭＢにおいては、ＭＡＤによる判定では背景
候補ＭＢとして採用されないが、マップ１にて背景とし
て採用される。従って、画像の状態にかかわらず、正確
に前景と背景を分離できるという効果がある。
小さいＭＢを背景候補ＭＢとしマップ１として出力し、
また、ＭＡＤが所定の値より小さいＭＢを背景候補ＭＢ
としマップ２として出力し、マップ１とマップ２のＯＲ
をとることとしたので、図７に示したようなＬＭＶが誤
抽出される傾向にある輝度変化の少ないＭＢでもマップ
２において背景候補ＭＢとして採用され、また、輝度変
化の激しいＭＢにおいては、ＭＡＤによる判定では背景
候補ＭＢとして採用されないが、マップ１にて背景とし
て採用される。従って、画像の状態にかかわらず、正確
に前景と背景を分離できるという効果がある。
【００４７】また、ＬＭＶとＧＭＶの差が小さく、背景
と判断されたＭＢの中で前景と背景の境界に属している
ＭＢにおいては、本来は前景である可能性があるが、更
に小さいＭＡＤの閾値で再判定することで、前景ＭＢと
して判定することが可能となる。
と判断されたＭＢの中で前景と背景の境界に属している
ＭＢにおいては、本来は前景である可能性があるが、更
に小さいＭＡＤの閾値で再判定することで、前景ＭＢと
して判定することが可能となる。
【００４８】更に、本発明によれば、ＧＭＣ等において
ＣＲを適用するときに画質の劣化が押さえられるという
効果がある。すなわち、本発明では、従来法のように単
純にマクロブロック内のＭＡＤを用いて差分情報の符号
化をするか否かを決定するのではなく、正確に前景背景
を分離してから背景部分にＣＲをするので画質の劣化が
押さえられる。
ＣＲを適用するときに画質の劣化が押さえられるという
効果がある。すなわち、本発明では、従来法のように単
純にマクロブロック内のＭＡＤを用いて差分情報の符号
化をするか否かを決定するのではなく、正確に前景背景
を分離してから背景部分にＣＲをするので画質の劣化が
押さえられる。
【図１】画像入力装置が接続されたコンピュータの構成
図である。
図である。
【図２】本発明の第１の実施例における処理手順を示す
図である。
図である。
【図３】本発明における第１の実施例における処理を実
行して得た前景背景分離結果を示す図である。
行して得た前景背景分離結果を示す図である。
【図４】本発明の第２の実施例における処理手順を示す
図である。
図である。
【図５】本発明の第３の実施例における処理手順を示す
図である。
図である。
【図６】本発明の第４の実施例における処理手順を示す
図である。
図である。
【図７】従来技術においてＬＭＶが誤抽出される例を説
明するための図である。
明するための図である。
１ ＣＰＵ
２ メモリ
３ ハードディスク
４ 入力装置
５ 出力装置
６ ＣＤ−ＲＯＭドライブ
７ 画像入力装置
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 八島 由幸
東京都千代田区大手町二丁目３番１号 日
本電信電話株式会社内
Ｆターム(参考） 5C059 LB18 MA05 NN01 SS02 TA17
TB04 TC34 TD13 UA02 UA38
UA39
5J064 AA02 BB01 BB03 BC21 BD04
5L096 AA02 AA06 BA20 CA04 FA32
FA66 GA08 GA51 HA03 HA04
Claims (7)
- 【請求項１】 動画像から前景領域と背景領域を分離す
る方法であって、 動画像の隣接フレーム間にて第一の局所的なベクトルを
算出し、 該隣接フレーム間にて大局的な動きベクトルを算出し、 大局的な動きベクトルから各座標における第二の局所的
な動きベクトルを算出し、 第一の局所的な動きベクトルと第二の局所的な動きベク
トルの距離が予め定められた第一の閾値よりも小さい領
域を第一の背景候補領域とし、 大局的な動きベクトルによる予測画像を生成し、マクロ
ブロック単位に予測画像と原画像の絶対差分平均値を算
出し、第一の背景領域における各マクロブロックの絶対
差分平均値に基づいて第二の閾値を決定し、 該第二の閾値よりも小さい絶対差分平均値を持つマクロ
ブロックを第二の背景候補領域とし、第一の背景候補領
域と第二の背景候補領域とを統合して第三の背景候補領
域とし、 該第三の背景候補領域において前景領域との境界に属す
る背景マクロブロックにおいて、第二の閾値よりも小さ
い所定の値を持つ第三の閾値よりも小さい絶対差分平均
値を持つマクロブロックを前景マクロブロックに訂正す
ることで動画像から前景領域と背景領域を分離すること
を特徴とする方法。 - 【請求項２】 前記動画像から前景領域と背景領域を分
離する方法において、前記大局的な動きベクトルにより
予測画像を生成し、該予測画像と原画像から算出した絶
対差分平均値を用いて前記第二の閾値を決定することに
代えて、 あらかじめ用意された背景画像と原画像との間の大局的
な動きベクトルを算出し、該大局的な動きベクトルによ
って背景画像から予測画像を生成し、マクロブロック単
位に予測画像と原画像の絶対差分平均値を算出し、前記
第一の背景領域における各マクロブロックの絶対差分平
均値に基づいて前記第二の閾値を決定する請求項１に記
載の方法。 - 【請求項３】 請求項１又は２に記載の方法によって動
画像から前景領域と背景領域を分離し、 該前景領域では原画像と動きベクトルによる予測画像と
の差分を符号化し、背景領域では原画像と動きベクトル
による予測画像との差分を符号化しないことを特徴とす
る条件付画素補填による動画像符号化方法。 - 【請求項４】 コンピュータに請求項１又は２のいずれ
か１項に記載の方法を実行させるプログラム。 - 【請求項５】 コンピュータに請求項３記載の条件付画
素補填による動画像符号化方法を実行させるプログラ
ム。 - 【請求項６】 コンピュータに請求項１又は２のいずれ
か１項に記載の方法を実行させるプログラムを記録した
コンピュータ読み取り可能な記録媒体。 - 【請求項７】 コンピュータに請求項３記載の条件付画
素補填による動画像符号化方法を実行させるプログラム
を記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001218392A JP3823767B2 (ja) | 2001-07-18 | 2001-07-18 | 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001218392A JP3823767B2 (ja) | 2001-07-18 | 2001-07-18 | 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003032688A true JP2003032688A (ja) | 2003-01-31 |
| JP3823767B2 JP3823767B2 (ja) | 2006-09-20 |
Family
ID=19052573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001218392A Expired - Fee Related JP3823767B2 (ja) | 2001-07-18 | 2001-07-18 | 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3823767B2 (ja) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006203444A (ja) * | 2005-01-19 | 2006-08-03 | Inc Corp | 背景画像生成装置及び背景画像生成プログラム |
| JP2010517415A (ja) * | 2007-01-26 | 2010-05-20 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | 画像ブロックの分類 |
| JP2010258724A (ja) * | 2009-04-24 | 2010-11-11 | Panasonic Corp | カメラ、映像送信装置、映像受信装置及び映像通信システム |
| JP2011130050A (ja) * | 2009-12-16 | 2011-06-30 | Canon Inc | 画像符号化装置 |
| JP2011227909A (ja) * | 2011-05-31 | 2011-11-10 | Nippon Telegr & Teleph Corp <Ntt> | 画像分離装置、画像分離方法および画像分離プログラム |
| WO2011153869A1 (zh) * | 2010-06-07 | 2011-12-15 | 深圳市融创天下科技股份有限公司 | 一种图像区域划分/编码方法、装置及系统 |
| CN101588501B (zh) * | 2008-05-19 | 2012-06-20 | 索尼株式会社 | 图像处理装置和图像处理方法 |
| JP2013048465A (ja) * | 2006-06-27 | 2013-03-07 | Marvell World Trade Ltd | 動き補償画像レートコンバータに係るシステムおよび方法 |
| US8417034B2 (en) | 2008-12-22 | 2013-04-09 | Electronics And Telecommunications Research Institute | Apparatus and method for separating foreground and background |
| JP2013545200A (ja) * | 2010-11-23 | 2013-12-19 | クゥアルコム・インコーポレイテッド | グローバル動きに基づく深度の推定 |
| JP2014504823A (ja) * | 2011-01-03 | 2014-02-24 | アップル インコーポレイテッド | 暗黙基準フレームを用いる動画像符号化システム |
| US9123115B2 (en) | 2010-11-23 | 2015-09-01 | Qualcomm Incorporated | Depth estimation based on global motion and optical flow |
| JP2015180038A (ja) * | 2014-03-18 | 2015-10-08 | パナソニックＩｐマネジメント株式会社 | 画像符号化装置、画像復号装置、画像処理システム、画像符号化方法、および、画像復号方法 |
| JP2016091528A (ja) * | 2014-11-05 | 2016-05-23 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | 画像分割方法および画像分割装置 |
| US9479788B2 (en) | 2014-03-17 | 2016-10-25 | Qualcomm Incorporated | Systems and methods for low complexity encoding and background detection |
| CN107105227A (zh) * | 2011-06-30 | 2017-08-29 | Jvc建伍株式会社 | 图像编码装置、图像编码方法、图像解码装置及图像解码方法 |
| CN112995678A (zh) * | 2021-02-22 | 2021-06-18 | 深圳创维－Rgb电子有限公司 | 一种视频运动补偿方法、装置及计算机设备 |
-
2001
- 2001-07-18 JP JP2001218392A patent/JP3823767B2/ja not_active Expired - Fee Related
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4596929B2 (ja) * | 2005-01-19 | 2010-12-15 | 株式会社インク | 背景画像生成装置及び背景画像生成プログラム |
| JP2006203444A (ja) * | 2005-01-19 | 2006-08-03 | Inc Corp | 背景画像生成装置及び背景画像生成プログラム |
| JP2013048465A (ja) * | 2006-06-27 | 2013-03-07 | Marvell World Trade Ltd | 動き補償画像レートコンバータに係るシステムおよび方法 |
| JP2010517415A (ja) * | 2007-01-26 | 2010-05-20 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | 画像ブロックの分類 |
| CN101588501B (zh) * | 2008-05-19 | 2012-06-20 | 索尼株式会社 | 图像处理装置和图像处理方法 |
| US8417034B2 (en) | 2008-12-22 | 2013-04-09 | Electronics And Telecommunications Research Institute | Apparatus and method for separating foreground and background |
| JP2010258724A (ja) * | 2009-04-24 | 2010-11-11 | Panasonic Corp | カメラ、映像送信装置、映像受信装置及び映像通信システム |
| JP2011130050A (ja) * | 2009-12-16 | 2011-06-30 | Canon Inc | 画像符号化装置 |
| WO2011153869A1 (zh) * | 2010-06-07 | 2011-12-15 | 深圳市融创天下科技股份有限公司 | 一种图像区域划分/编码方法、装置及系统 |
| JP2015188234A (ja) * | 2010-11-23 | 2015-10-29 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | グローバル動きに基づく深度の推定 |
| US9123115B2 (en) | 2010-11-23 | 2015-09-01 | Qualcomm Incorporated | Depth estimation based on global motion and optical flow |
| JP2013545200A (ja) * | 2010-11-23 | 2013-12-19 | クゥアルコム・インコーポレイテッド | グローバル動きに基づく深度の推定 |
| JP2014504823A (ja) * | 2011-01-03 | 2014-02-24 | アップル インコーポレイテッド | 暗黙基準フレームを用いる動画像符号化システム |
| US8842723B2 (en) | 2011-01-03 | 2014-09-23 | Apple Inc. | Video coding system using implied reference frames |
| JP2011227909A (ja) * | 2011-05-31 | 2011-11-10 | Nippon Telegr & Teleph Corp <Ntt> | 画像分離装置、画像分離方法および画像分離プログラム |
| CN107105227A (zh) * | 2011-06-30 | 2017-08-29 | Jvc建伍株式会社 | 图像编码装置、图像编码方法、图像解码装置及图像解码方法 |
| CN107105227B (zh) * | 2011-06-30 | 2019-10-25 | Jvc建伍株式会社 | 图像编码装置、图像编码方法、图像解码装置及图像解码方法 |
| US9479788B2 (en) | 2014-03-17 | 2016-10-25 | Qualcomm Incorporated | Systems and methods for low complexity encoding and background detection |
| JP2017513346A (ja) * | 2014-03-17 | 2017-05-25 | クアルコム，インコーポレイテッド | 低複雑度符号化および背景検出のためのシステムおよび方法 |
| JP2015180038A (ja) * | 2014-03-18 | 2015-10-08 | パナソニックＩｐマネジメント株式会社 | 画像符号化装置、画像復号装置、画像処理システム、画像符号化方法、および、画像復号方法 |
| JP2016091528A (ja) * | 2014-11-05 | 2016-05-23 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | 画像分割方法および画像分割装置 |
| CN112995678A (zh) * | 2021-02-22 | 2021-06-18 | 深圳创维－Rgb电子有限公司 | 一种视频运动补偿方法、装置及计算机设备 |
| CN112995678B (zh) * | 2021-02-22 | 2022-10-25 | 深圳创维－Rgb电子有限公司 | 一种视频运动补偿方法、装置及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3823767B2 (ja) | 2006-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7822231B2 (en) | Optical flow estimation method | |
| JP3823767B2 (ja) | 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法 | |
| US6751350B2 (en) | Mosaic generation and sprite-based coding with automatic foreground and background separation | |
| US6628711B1 (en) | Method and apparatus for compensating for jitter in a digital video image | |
| JP5261376B2 (ja) | 画像符号化装置および画像復号化装置 | |
| JP4280353B2 (ja) | 符号化装置、画像処理装置、符号化方法、及び記録媒体 | |
| US20040091171A1 (en) | Mosaic construction from a video sequence | |
| JP2009147807A (ja) | 画像処理装置 | |
| JP4504230B2 (ja) | 動画像処理装置、動画像処理方法、及び動画像処理プログラム | |
| US20080172384A1 (en) | Epipolar geometry-based motion estimation for multi-view image and video coding | |
| JP5435518B2 (ja) | 共通処理要素に基づく動画安定化及び動画ショット境界検出を実行する装置、システム、および方法 | |
| CN109688413B (zh) | 以支持辅助帧的视频编码格式编码视频流的方法和编码器 | |
| JP2003203237A (ja) | 画像マッチング方法と装置、および画像符号化方法と装置 | |
| US20040141555A1 (en) | Method of motion vector prediction and system thereof | |
| JP3979768B2 (ja) | デジタル映像分割方法及びその装置 | |
| Lu et al. | Fast and robust sprite generation for MPEG-4 video coding | |
| JP2006236063A (ja) | 移動物体抽出装置 | |
| JP2980810B2 (ja) | 動きベクトル探索方法と装置 | |
| JP7310919B2 (ja) | フィルタ生成方法、フィルタ生成装置及びプログラム | |
| Fu et al. | Fast global motion estimation based on local motion segmentation | |
| JP2001359105A (ja) | 動画像符号化装置および動画像符号化方法および当該方法を記述したプログラムを記録した記録媒体 | |
| JP2003274399A (ja) | 画像符号化方法と装置、画像復号方法と装置 | |
| CN116074537A (zh) | 编码方法、解码方法、电子设备和计算机可读存储介质 | |
| Servais et al. | Motion Compensation using content-based variable-size block-matching | |
| CN117459731A (zh) | 图像编码方法、编码器和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060619 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090707 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100707 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110707 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |