JP2001268564A - 画像のデフォーカス量符号化復号化方法および符号化装置と復号化装置 - Google Patents

画像のデフォーカス量符号化復号化方法および符号化装置と復号化装置

Info

Publication number
JP2001268564A
JP2001268564A JP2000078131A JP2000078131A JP2001268564A JP 2001268564 A JP2001268564 A JP 2001268564A JP 2000078131 A JP2000078131 A JP 2000078131A JP 2000078131 A JP2000078131 A JP 2000078131A JP 2001268564 A JP2001268564 A JP 2001268564A
Authority
JP
Japan
Prior art keywords
image
background
decoding
decoded
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000078131A
Other languages
English (en)
Other versions
JP2001268564A5 (ja
JP3648121B2 (ja
Inventor
Shinichi Sakaida
慎一 境田
Hiroyuki Imaizumi
浩幸 今泉
Yoshiaki Shishikui
善明 鹿喰
Yasuaki Kanetsugu
保明 金次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2000078131A priority Critical patent/JP3648121B2/ja
Priority to US09/811,923 priority patent/US6771823B2/en
Publication of JP2001268564A publication Critical patent/JP2001268564A/ja
Publication of JP2001268564A5 publication Critical patent/JP2001268564A5/ja
Application granted granted Critical
Publication of JP3648121B2 publication Critical patent/JP3648121B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 動画像の背景画像をぼかして動画像の前景画
像との自然な合成に見せるため、デフォーカス量をもあ
らかじめ符号化して伝送し、符号化効率を向上させる。 【解決手段】 動画像の背景用の大画像（Ａ）、動画像
の前景画像（Ｃ）、動画像の背景画像を前記大画像より
切りだすためのパラメータ（Ａ）および背景画像をぼか
すためのデフォーカス量（Ｂ）を符号化回路（１）を介
して伝送し、復号化側では復号化回路（２）、デフォー
カス回路（３）および合成回路（４）を使用して所望の
動画像を得る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、動画像の別々に
用意された前景画像と背景画像を効率よく符号化復号化
する方法と、それを達成するための符号化装置および復
号化装置に関するものである。
【０００２】
【従来の技術】画像をデジタルデータに符号化して伝送
や蓄積をする技術は、デジタル放送やデジタルＶＴＲに
利用されている。現在広く使われているＭＰＥＧ−２規
格の次規格として標準化されたＭＰＥＧ−４規格は、画
像を前景や背景に分離して符号化するオブジェクトベー
ス符号化と呼ばれている。オブジェクトベース符号化
は、画像を前景や背景に分離することにより符号化の効
率を上げる特長を具えている。特にＭＰＥＧ−４規格に
は、スプライト符号化という手法が取入れられている。
【０００３】スプライトとは、背景用の大きな画像のこ
とで、これを符号化し、復号化側ではこの画像の一部分
を任意の位置から切り出して復号画像の背景とする手法
である。このスプライト手法では符号化するものは背景
用の大きな画像と、復号化側で切り出すための位置パラ
メータのみであるため、毎フレームの画像を符号化する
必要がなく、画像の符号化効率を上げることができる。
【０００４】もし、背景の画像全体の輝度が一様に変化
した場合には、その変化を表すパラメータを符号化し、
背景用の画像をそのパラメータにより変化させる。ま
た、背景の画像が全体の輝度変化以外の変化をした場合
には、変化した部分に対応した画像を符号化し直して背
景用の画像を更新する。
【０００５】一方、前景画像と背景画像を合成して１つ
の画像とする技術が放送番組の制作などにおいて従来か
ら行われており、現在では背景画像にコンピュータグラ
フィックスを利用するバーチャルスタジオ技術も盛んに
使われている。この合成画像を自然に見せるための技術
の１つにデフォーカスがある。これは前景、背景双方に
ピントが合って不自然な画像に対し背景をぼかす（デフ
ォーカス）ことで距離感や奥行き感を増すことにより、
自然な画像に見せるものである。この技術は多くの画像
の合成装置に取り入れられてる（例えば、文献、林，下
田，金次：“背景合成用デフォーカス装置”，電子情報
通信学会技術研究報告，ＩＥ８８−１０，pp. ６９−７
５，１９８８）。
【０００６】
【発明が解決しようとする課題】前述の、動画像の前景
と背景を分離して符号化する装置において、符号化する
動画像の背景画像がぼけることにより変化した場合、従
来は変化した背景用の画像を再度符号化し直すことによ
り対応していた。しかしこの方法では背景画像が変化す
るたびに符号化する必要があるため大変効率が悪い。
【０００７】そこで本発明の目的は、背景画像がぼけた
際には、背景画像を符号化しなおすことなく、ぼけ量を
表すデフォーカス量だけを符号化したり、撮影条件を表
すカメラパラメータおよび複数の背景画像の奥行き情報
だけを符号化し、復号化側でこれらのデータによって前
もって符号化側で符号化された背景用の画像をぼかすこ
とによって、符号化効率の改善された画像のデフォーカ
ス量符号化復号化方法および符号化装置と復号化装置を
提供せんとするものである。
【０００８】
【課題を解決するための手段】この目的を達成するため
本発明画像のデフォーカス量符号化復号化方法は、符号
化側にあっては、動画像の前景画像と動画像の背景画像
のうちの、動画像の前景画像と動画像の背景用の大画像
とを符号化するとともに、動画像の背景画像を前記大画
像から切り出すためのパラメータと該切りだされた背景
画像をぼかすためのデフォーカス量とを符号化し、前記
符号化されたすべてのデータを復号化側に伝送し、復号
化側にあっては、符号化された前記前景画像と符号化さ
れた前記背景用の大画像とを復号化し、符号化された前
記背景画像を前記大画像から切り出すためのパラメータ
と符号化された前記背景画像をぼかすためのデフォーカ
ス量とを復号化するとともに、復号化された前記パラメ
ータを使用して復号化された前記大画像から背景画像を
切りだし、復号化された前記デフォーカス量によって前
記切りだされた背景画像をぼかし、該ぼかされた背景画
像と復号化された前記前景画像とを合成し、符号化側で
前記デフォーカス量を制御し、復号化側で前記背景画像
のデフォーカス量が変化する時でも、復号化された前記
パラメータを使用して前記大画像から切りだされた背景
画像を、符号化側で前記制御したデフォーカス量を用い
て復号化側でぼかすことにより、常に復号化された前記
大画像を利用できるよう構成したことを特徴とする。
【０００９】また、本発明画像のデフォーカス量符号化
装置は、動画像の前景画像を符号化する手段と、動画像
の背景用の大画像を符号化する手段と、動画像の背景画
像を前記大画像から切りだすためのパラメータを符号化
する手段と、動画像の前記切りだされた背景画像をぼか
すためのデフォーカス量を符号化する手段と、前記符号
化されたすべてのデータを復号化側に伝送する手段とを
具えてなることを特徴とする。
【００１０】さらにまた、本発明画像のデフォーカス量
復号化装置は、前記画像のデフォーカス量符号化装置か
ら伝送されてくるデータを受信する手段と、符号化側で
符号化された前記前景画像を復号化する手段と、符号化
側で符号化された前記背景用の大画像を復号化する手段
と、符号化側で前記背景画像を前記大画像から切り出す
ために符号化されたパラメータを復号化する手段と、符
号化側で前記背景画像をぼかすために符号化されたデフ
ォーカス量を復号化する手段と、復号化された前記パラ
メータを使用して復号化された前記大画像から背景画像
を切りだす手段と、復号化された前記デフォーカス量に
よって前記切りだされた背景画像をぼかす手段と、該ぼ
かされた背景画像と復号化された前記前景画像とを合成
する手段とを具えてなり、復号化側で前記背景画像のデ
フォーカス量が変化する時でも、復号化された前記パラ
メータを使用して前記大画像から切りだされた背景画像
を、符号化側で前もって制御したデフォーカス量を用い
て復号化側でぼかすことにより、常に復号化された前記
大画像を利用できるよう構成したことを特徴とする。
【００１１】
【発明の実施の形態】本発明によれば、動画像の前景と
背景を分離して符号化復号化する場合に、符号化する動
画像の背景画像がぼけて変化をした時、ぼけ量を表すデ
フォーカス量や撮影条件を表すカメラパラメータと複数
の背景画像の奥行き情報だけを符号化し、復号化側でこ
れらのデータによって前もって符号化された背景用の画
像をぼかすことができるので、符号化の効率を改善する
ことができる。
【００１２】
【実施例】以下添付図面を参照し実施例により本発明の
実施の形態を詳細に説明する。図１は本発明符号化装置
および復号化装置実施例に係る略構成ブロック線図であ
る。符号化回路１の入力側では、動画像の背景用の大画
像と動画像の背景画像を前記大画像から切りだすための
パラメータとが入力Ａより、前記切りだされた背景画像
をぼかすためのデフォーカス量が入力Ｂより、動画像の
前景画像が入力Ｃよりそれぞれ入力される。入力された
前記大画像、前記パラメータ、前記デフォーカス量およ
び前記前景画像は符号化回路１内でそれぞれ符号化され
デジタルデータＤが生成されて復号化回路２に向って伝
送される。
【００１３】復号化回路２では、符号化され伝送されて
きたデジタルデータＤがすべて復号化され、復号化回路
の出力側では、背景画像復号信号が出力Ｅより、デフォ
ーカス量復号信号が出力Ｆより、前景画像復号信号が出
力Ｇよりそれぞれ出力される。
【００１４】デフォーカス回路３では、復号化された背
景画像復号信号Ｅに復号化されたデフォーカス量Ｆに応
じたデフォーカス処理が施される。ここでＦがデフォー
カス量復号信号である場合には前記文献に開示されてい
る技術によって処理がなされる。
【００１５】デフォーカス回路３の出力Ｈからはデフォ
ーカス処理を施された背景画像信号が出力され、合成回
路４でこの背景画像信号Ｈと前景画像復号信号Ｇとが合
成される。
【００１６】本発明の別の実施例では前記デフォーカス
量に代えて符号化側の映像撮影時のカメラパラメータお
よびカメラから背景までの奥行き情報を使用してもよ
い。ここでカメラパラメータとはカメラのパン量、チル
ト量、ズーム量、トラック量、ドリー量、ロール量、フ
ォーカス量、アイリス量などであってよい。前記Ｆがカ
メラパラメータおよび奥行き情報復号信号である場合に
は、背景画像の奥行きに応じてカメラの焦点距離とズー
ム信号によって変化する被写界深度に応じたデフォーカ
ス量を計算してデフォーカス処理を施せばよい。
【００１７】以上いくつかの実施例により本願発明の実
施の形態を説明してきたが、本願発明はこれらに限定さ
れることなく、特許請求の範囲に記載された発明の要旨
内で各種の変形変更の可能なことは自明であろう。
【００１８】
【発明の効果】以上説明してきたように、本発明によれ
ば、動画像の前景と背景を分離して符号化復号化する場
合に、符号化する動画像の背景画像がぼけて変化をした
場合、ぼけ量を表すデフォーカス量や、撮影条件を表す
カメラパラメータと複数の背景画像の奥行き情報だけを
符号化し、復号化側でこれらのデータによって前もって
符号化された背景用の画像をぼかすことによって、符号
化の効率を改善することができる。
【図面の簡単な説明】
【図１】 本発明符号化復号化方法を実施するための実
施例構成ブロック線図。
【符号の説明】
１ 符号化回路 ２ 復号化回路 ３ デフォーカス回路 ４ 合成回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鹿喰 善明 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 金次 保明 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5C059 MA00 MB11 MB22 MB24 PP28 PP29 RC00 SS14 UA02 UA05

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 符号化側にあっては、動画像の前景画像
    と動画像の背景画像のうちの、動画像の前景画像と動画
    像の背景用の大画像とを符号化するとともに、動画像の
    背景画像を前記大画像から切り出すためのパラメータと
    該切りだされた背景画像をぼかすためのデフォーカス量
    とを符号化し、前記符号化されたすべてのデータを復号
    化側に伝送し、 復号化側にあっては、符号化された前記前景画像と符号
    化された前記背景用の大画像とを復号化し、符号化され
    た前記背景画像を前記大画像から切り出すためのパラメ
    ータと符号化された前記背景画像をぼかすためのデフォ
    ーカス量とを復号化するとともに、復号化された前記パ
    ラメータを使用して復号化された前記大画像から背景画
    像を切りだし、復号化された前記デフォーカス量によっ
    て前記切りだされた背景画像をぼかし、該ぼかされた背
    景画像と復号化された前記前景画像とを合成し、 符号化側で前記デフォーカス量を制御し、復号化側で前
    記背景画像のデフォーカス量が変化する時でも、復号化
    された前記パラメータを使用して前記大画像から切りだ
    された背景画像を、符号化側で前記制御したデフォーカ
    ス量を用いて復号化側でぼかすことにより、常に復号化
    された前記大画像を利用できるよう構成したことを特徴
    とする画像のデフォーカス量符号化復号化方法。
  2. 【請求項２】 請求項１記載の方法において、動画像の
    前景画像および動画像の背景用の大画像のいずれか一方
    を単数、他方を複数、またはいずれも複数としたことを
    特徴とする画像のデフォーカス量符号化復号化方法。
  3. 【請求項３】 請求項１または２記載の方法において、
    前記デフォーカス量に代えて符号化側の映像撮影時のカ
    メラパラメータおよびカメラから背景までの奥行き情報
    を使用し、符号化側でカメラパラメータを計測して符号
    化するとともに、復号化側で撮影時のカメラパラメータ
    を変化させる時には、復号化側で復号化された前記大画
    像から切りだした背景画像を前記カメラパラメータによ
    ってぼかすよう構成したことを特徴とする画像のデフォ
    ーカス量符号化復号化方法。
  4. 【請求項４】 動画像の前景画像を符号化する手段と、
    動画像の背景用の大画像を符号化する手段と、動画像の
    背景画像を前記大画像から切りだすためのパラメータを
    符号化する手段と、動画像の前記切りだされた背景画像
    をぼかすためのデフォーカス量を符号化する手段と、前
    記符号化されたすべてのデータを復号化側に伝送する手
    段とを具えてなることを特徴とする画像のデフォーカス
    量符号化装置。
  5. 【請求項５】 請求項４記載の画像のデフォーカス量符
    号化装置から伝送されてくるデータを受信する手段と、
    符号化側で符号化された前記前景画像を復号化する手段
    と、符号化側で符号化された前記背景用の大画像を復号
    化する手段と、符号化側で前記背景画像を前記大画像か
    ら切り出すために符号化されたパラメータを復号化する
    手段と、符号化側で前記背景画像をぼかすために符号化
    されたデフォーカス量を復号化する手段と、復号化され
    た前記パラメータを使用して復号化された前記大画像か
    ら背景画像を切りだす手段と、復号化された前記デフォ
    ーカス量によって前記切りだされた背景画像をぼかす手
    段と、該ぼかされた背景画像と復号化された前記前景画
    像とを合成する手段とを具えてなり、復号化側で前記背
    景画像のデフォーカス量が変化する時でも、復号化され
    た前記パラメータを使用して前記大画像から切りだされ
    た背景画像を、符号化側で前もって制御したデフォーカ
    ス量を用いて復号化側でぼかすことにより、常に復号化
    された前記大画像を利用できるよう構成したことを特徴
    とする画像のデフォーカス量復号化装置。
JP2000078131A 2000-03-21 2000-03-21 復号化方法および復号化装置 Expired - Fee Related JP3648121B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000078131A JP3648121B2 (ja) 2000-03-21 2000-03-21 復号化方法および復号化装置
US09/811,923 US6771823B2 (en) 2000-03-21 2001-03-19 Coding and decoding of moving pictures based on sprite coding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000078131A JP3648121B2 (ja) 2000-03-21 2000-03-21 復号化方法および復号化装置

Publications (3)

Publication Number Publication Date
JP2001268564A true JP2001268564A (ja) 2001-09-28
JP2001268564A5 JP2001268564A5 (ja) 2005-03-03
JP3648121B2 JP3648121B2 (ja) 2005-05-18

Family

ID=18595580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000078131A Expired - Fee Related JP3648121B2 (ja) 2000-03-21 2000-03-21 復号化方法および復号化装置

Country Status (1)

Country Link
JP (1) JP3648121B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007013471A (ja) * 2005-06-29 2007-01-18 Canon Inc 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007013471A (ja) * 2005-06-29 2007-01-18 Canon Inc 撮像装置
JP4693522B2 (ja) * 2005-06-29 2011-06-01 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
JP3648121B2 (ja) 2005-05-18

Similar Documents

Publication Publication Date Title
JP6087940B2 (ja) 復号化ピクチャ・バッファおよび参照ピクチャ・リストのための状態情報のシグナリング
EP2941880B1 (en) Syntax and semantics for buffering information to simplify video splicing
US20180063540A1 (en) Motion estimation for screen remoting scenarios
JP2002514866A (ja) ビデオ・フレーム・レートを増加させる方法および装置
EP2096871A3 (en) Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
EP0771117A3 (en) Method and apparatus for encoding and decoding a video signal using feature point based motion estimation
JPH1023407A (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像伝送方法、並びに記録媒体
JP2010212811A (ja) 動画像符号化装置及び動画像復号化装置
JPH09214970A (ja) 画像符号変換方式
US20060120454A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
US20060133677A1 (en) Method and apparatus for performing residual prediction of image block when encoding/decoding video signal
JP4411220B2 (ja) 映像信号処理装置、及びその映像信号処理方法
US6771823B2 (en) Coding and decoding of moving pictures based on sprite coding
US8290042B2 (en) Sport action coding
JP3648121B2 (ja) 復号化方法および復号化装置
JPH10271499A (ja) 画像領域を用いる画像処理方法、その方法を用いた画像処理装置および画像処理システム
JP2000209590A (ja) 画像符号化装置及び方法、記憶媒体並びに撮像装置
JP2006013754A (ja) 動画像符号化装置及び動画像復号化装置
JP2000050259A (ja) 動画像符号化装置および動画像復号装置
JP2022523440A (ja) ビデオコーディングにおけるヌルタイルコーディング
JP2007036468A (ja) 動画像符号化装置
JP2002300600A (ja) 立体像符号化装置および立体像復号装置
JPH09261632A (ja) 画像信号処理装置
JP3648135B2 (ja) 復号化装置
JP4136403B2 (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040331

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20040331

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20040416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040706

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050210

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3648121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090218

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100218

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110218

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120218

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130218

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees