JP2000030040A - 画像処理装置及びコンピュータ読み取り可能な記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像から前景画像を抽出して別の背景画像に
嵌め込む合成を行う場合に、境界部分を滑らかに違和感
なく合成する。 【解決手段】 入力画像からブロック単位で求めた動き
ベクトルに基づいて前景、境界、背景の各ブロック８０
１、８０２、８０３に分類し、さらに各ブロックについ
て画素毎に前景、境界、背景の画素に分類する。また前
景、境界、背景の各領域の形状情報を作成する。この形
状情報を用いて前景、境界領域を抽出して他の背景画像
に嵌め込む。その際、境界領域の画素値を、前景画像の
画素値と背景画像の画素値とを用いて算出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置、特
に動画像におけるオブジェクトの抽出・合成処理を行う
装置に用いて好適なものである。

【０００２】

【従来の技術】近年、高性能化したＣＰＵを搭載したパ
ーソナルコンピュータ（パソコン）の普及に伴い、パソ
コン上で行う動画像の編集に対する要求が高まってきて
いる。編集作業の例として、フレームもしくはフィール
ド間での時間順序の入れ替え、ワイプやディゾルブ、モ
ザイク、別画像の挿入などさまざまなものがある。ま
た、画像をフレームもしくはフィールド単位で処理する
のではなく、画像内の個々の物体、背景、あるいは文字
などといった意味のある単位（以下オブジェクトと呼
ぶ）に分離して、個別の処理を加える技術も向上してき
ている。オブジェクト毎に符号化方式もしくは符号化パ
ラメータを変更することにより、より高能率でエラー耐
性を強化した伝送、あるいは記録も可能となる。オブジ
ェクト単位で個別の処理を加えるためには、フレームも
しくはフィールド画像からオブジェクトを抽出しなけれ
ばならない。

【０００３】動画像について、従来から行われているオ
ブジェクトの抽出方法は、ブルーバックと呼ばれている
ものである。これは、スタジオセットなどで予めブルー
の背景を用意しておき、スイッチャーでブルーの部分を
別の背景画像に置き換えるものである。また、静止画像
でよく使われる方法としては、エッジ部分を検出して抽
出する方法や、信号レベルに閾値を設けて抽出する方法
などが知られている。

【０００４】

【発明が解決しようとする課題】しかしながら、背景オ
ブジェクトと前景オブジェクトとを分離する場合、オブ
ジェクトの境界部分は、１画素単位できっちりと分けら
れることは少ない。撮像素子の光学特性によりぼけた領
域が存在し、その領域の画素は背景と前景の信号レベル
が混ざった状態になっている。動きのあるオブジェクト
に関しては特にそれが顕著である。従って、このあいま
いな境界領域をどう扱うかが、オブジェクト単位の処理
にとって重要である。

【０００５】以下、図を用いて発明が解決しようとして
いる課題の詳細を説明する。図１４（ａ）は、これから
前景オブジェクトと背景オブジェクトとを分離しようと
しているオリジナル画像の例である。ここでは、画像の
一部を小さなブロックに分割して説明する。８０１は前
景オブジェクトのブロック、８０２は境界部分のブロッ
ク、８０３は背景部分のブロックである。これらのブロ
ック８０１〜８０３を拡大したのが図１４（ｂ）〜
（ｄ）である。

【０００６】この（ｂ）〜（ｄ）からわかるように、境
界のブロック８０２には前景オブジェクトの持つ値（８
０１内のデータ）とも背景オブジェクトの持つデータ
（８０３内のデータ）とも異なる値が存在している。ブ
ロックをＡ−Ａ′のラインで画像の輝度レベルを表した
ものが、図１５である。この例では前景の輝度レベルか
ら背景の輝度レベルまでが、なだらかに変化している。
ブルーバックによるオブジェクト抽出では、８０３の値
がブルーに相当し、このレベルのデータが背景部分とし
て除去される。

【０００７】図１６（ａ）は、こうして除去した背景部
分に別の背景をはめ込んだ合成画像であり、これらを拡
大したものが図１６（ｂ）〜（ｄ）である。図１６のブ
ロック８０２からわかるように、背景オブジェクトを置
き換えても境界領域は以前のオブジェクトのデータを一
部含んだ状態になっているので、不連続点が発生する。
図１７はこの様子を輝度レベルで表したものである。こ
のような合成画像はエッジ部分に不自然さが目立つ。輝
度レベルのずれはエッジの明るさに違和感を感じさせる
が、色差レベルのずれの場合は、エッジに色が付くこと
になり、不自然さは更に増す。

【０００８】また、このような不自然さを回避するため
に、境界領域のデータは取らずに完全な前景オブジェク
ト部分のみを抽出し、別の背景オブジェクトと合成する
ことも考えられる。図１８（ａ）はこの場合の例を表わ
している。図１８（ｂ）〜（ｄ）はこれらのブロック８
０１〜８０３を拡大したものである。境界領域のデータ
を使っていないため、ブロック８０２は、前景と背景が
きっちりと分かれている。図１９はこの様子を輝度レベ
ルで表わしたものである。このように２つのオブジェク
トを単純に重ねただけの画像では、視覚的に輪郭部分が
強調されたように感じられ、この場合も合成画像の不自
然さが目立つことになる。

【０００９】この例の改良として、エッジにフィルタを
かける方法も考えられている。図２０は、図１９にフィ
ルタリング処理を施した例である。これらの例では、輪
郭部分の不自然さは軽減されるが、ぼかし具合を決める
境界領域の幅がわからないため、オリジナルの画像に比
べ図２０（ａ）の例はぼかしが少なすぎ、（ｂ）の例で
はぼかし過ぎになっている。このように従来の方法で
は、境界部分を正確に再現しながら自然な画像合成を行
うことは極めて困難であった。尚、図２１については、
後述する。

【００１０】前記課題を考慮して、本発明は、動きベク
トルを利用して境界部分の幅とその部分における形状状
態を算出することにより、正確で自然な画像合成を得ら
れるオブジェクト抽出を行うようにすることを目的とし
ている。

【００１１】

【課題を解決するための手段】本発明による画像処理装
置においては、フレーム又はフィールドの画像データを
複数のブロックに分割する分割手段と、上記ブロック単
位でフレーム又はフィールド間の動き量を算出する算出
手段と、上記算出した動き量から、抽出対象となるブロ
ックと、抽出対象とならないブロックと、それらの境界
領域となるブロックとに分類する分類手段と、上記分類
結果に基づいて、上記抽出対象となる画素と、抽出対象
とならない画素と、それらの画素が混在する上記境界領
域の画素とに分類する分類手段と、上記分類された画素
に基づいて、上記抽出対象となる画像データと上記境界
領域の画像データとを生成する画像データ生成手段と、
上記分類された画素に基づいて、上記抽出対象となる領
域と、抽出対象とならない領域と、上記境界領域とを識
別するための形状情報を生成する形状情報生成手段とを
設けている。

【００１２】本発明による他の画像処理装置において
は、画像合成の際に、対象となる画素が前景領域となる
か、背景領域となるか、それらの境界領域となるかを識
別するための形状情報を用い、識別された上記境界領域
において対象画素に最も近い位置にある上記前景領域の
画素値距離を求めると共に対象画素に最も近い位置にあ
る上記背景領域の画素値及び距離を求める算出手段と、
上記２組の画素値及び距離から表示すべき境界領域の画
素を決定する決定手段とを設けている。

【００１３】本発明による記憶媒体においては、フレー
ム又はフィールドの画像データを複数のブロックに分割
する分割手順と、上記ブロック単位でフレーム又はフィ
ールド間の動き量を算出する算出手順と、上記算出した
動き量から、抽出対象となるブロックと、抽出対象とな
らないブロックと、それらの境界領域となるブロックと
に分類する分類手順と、上記分類結果に基づいて、上記
抽出対象となる画素と、抽出対象とならない画素と、そ
れらの画素が混在する上記境界領域の画素とに分類する
分類手順と、上記分類された画素に基づいて、上記抽出
対象となる画像データと上記境界領域の画像データとを
生成する画像データ生成手順と、上記分類された画素に
基づいて、上記抽出対象となる領域と、抽出対象となら
ない領域と、上記境界領域とを識別するための形状情報
を生成する形状情報生成手順とを実行するためのプログ
ラムを記憶している。

【００１４】本発明による他の記憶媒体においては、画
像合成の際に、対象となる画素が前景領域となるか、背
景領域となるか、それらの境界領域となるかを識別する
ための形状情報を用い、識別された上記境界領域におい
て対象画素に最も近い位置にある上記前景領域の画素値
距離を求めると共に対象画素に最も近い位置にある上記
背景領域の画素値及び距離を求める算出手順と、上記２
組の画素値及び距離から表示すべき境界領域の画素を決
定する決定手順とを実行するためのプログラムを記憶し
ている。

【００１５】また、本発明による他の画像処理装置にお
いては、画像データを入力する入力手段と、前記入力手
段によって入力された画像データを、前景領域となる画
素と、背景領域となる画素と、それらの画素が混在する
境界領域の画素とに分類する分類手段と、前記前景領域
と、前記背景領域と、前記境界領域とを識別できる形状
情報を生成する生成手段を有し、前記形状情報には前記
分類手段によって分類された境界領域の画素が、前記前
景領域の画素と前記背景領域の画素とどのような混合比
で構成されているかを示す情報を含んでいる。

【００１６】また、本発明による他の記憶媒体において
は、画像データを入力する入力手順と、前記入力された
画像データを、前景領域となる画素と、背景領域となる
画素と、それらの画素が混在する境界領域の画素とに分
類する分類手順と、前記前景領域と、前記背景領域と、
前記境界領域とを識別できる形状情報を生成する生成手
順とを実行するプログラムを記憶し、前記生成手順で
は、前記形状情報として前記分類手段によって分類され
た境界領域の画素が、前記前景領域の画素と前記背景領
域の画素とどのような混合比で構成されているかを示す
情報をも生成している。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態を図面
を用いて説明する。図１は本発明の実施の形態による画
像処理装置の全体構成を表わす図であり、オブジェクト
抽出技術を画像符号化・伝送に応用した例である。１０
２から１０６までの各ブロック構成が本発明固有の処理
部分である。まず画像入力部１０１では所定のフォーマ
ットの動画像を取り込む。入力がアナログ信号の場合
は、Ａ／Ｄ変換してデジタルデータとし、カラー画像の
場合は、輝度と２つの色差信号に分け、それぞれに同様
の処理を行う。

【００１８】オブジェクトを符号化するにはテクスチャ
作成部１０５と形状情報作成部１０６が必要となるが、
これらのデータは各画素単位で作成される。前景領域抽
出１０２によって得られたデータはそのままテクスチャ
データとして保存され、形状情報は前景データであるこ
とを示す値が入力される。境界領域抽出部１０３によっ
て得られたデータはテクスチャ生成には前景領域のデー
タを使い、形状情報には前景領域抽出１０２と背景領域
抽出１０４から算出した値を用いる。前景オブジェクト
を符号化する場合には、背景領域抽出１０４で得られた
データは、直接テクスチャデータとしては利用しない。
これらの処理アルゴリズムの詳細は、後述により説明す
る。

【００１９】テクスチャデータと形状情報データはそれ
ぞれテクスチャ符号化部１０７、形状情報符号化部１０
９によって処理される。フレーム間もしくはフィールド
間の差分データを用いる際には動き補償部１０８が必要
である。これらの符号化データはシステムレイヤでまと
められ、多重化部１１０で多重化される。複数のオブジ
ェクトをまとめて伝送する場合には、時分割でここまで
の処理を行い、多重化部１１０でひとつのビットストリ
ームとする。

【００２０】図２はデコード側における全体構成図であ
り、基本的には図１の逆の処理である。分離部２０１で
多重化されていたデータの分離を行い、テクスチャ復号
化部２０２で時分割で復号処理を行う。形状情報復号化
部２０４によって復号されたデータと、動き補償部２０
３で動き補償を行った場合はそのデータとを使って次々
に復号していく。合成処理部２０５では、システムレイ
ヤでの記述をもとに復号された複数のオブジェクトを同
期を取りながら再構成していく。画像出力部２０６では
所望のフォーマットに合わせて出力データを生成する。

【００２１】次に図１の各部１０２〜１０６のデータの
流れをフローチャートを用いて詳細に説明する。図３は
この部分の全体アルゴリズムを表わしている。まずＳ３
０１において初期設定を行う。処理の対象とするフレー
ムの数、最初にターゲットとするフレームの番号、動き
ベクトルを求める際のサーチ範囲などを規定する。

【００２２】Ｓ３０２においてターゲットとするフレー
ムをブロック化する。カラー画像の場合、それぞれをブ
ロック化する。輝度信号のみによる処理も可能である
が、色差信号の処理も加えた方がより精度の高い結果が
得られる。Ｓ３０３においては、サンプルフレームとの
間で動きベクトルの検出を行う。これは全ブロックにつ
いて行い、必要に応じてサンプルフレームを変更して更
に動きベクトル検出を行う。

【００２３】こうして得られた大量の動きベクトルデー
タを元にＳ３０４で動きベクトルの分類を行う。判定方
法は、一番多い動きベクトル値を持つものを背景のオブ
ジェクト部分とし、次に多い動きベクトルを前景のオブ
ジェクト部分とすればよい。境界ブロックは前景ブロッ
クと背景ブロックに挟まれた位置に存在する。動きベク
トルの分類は、ひとつのサンプルフレームから分類でき
る場合と、複数のサンプルフレームから分類する場合と
がある。

【００２４】ブロック単位で分類できたら、それをさら
に画素単位まで細かくする。前景ブロックと背景ブロッ
クはブロック内の画素すべて同一の分類とみなしてよ
い。Ｓ３０５において境界ブロックのみを選び、Ｓ３０
６において更に細かい単位で分類する。ブロック内の前
景部分と背景部分を絞り込んでいくことにより、境界領
域を確定することができる。複数のサンプルフレームか
ら前景と背景を決めていくことにより、高い精度で境界
領域を確定できる。

【００２５】Ｓ３０７においてすべてのブロックに対し
て処理が終了したかをチェックし、更にＳ３０８におい
てすべてのフレームに対して処理が終了したかをチェッ
クする。対象とするすべてのフレームの処理が終了した
時点で、Ｓ３０９で境界領域が確定し、オブジェクトが
分離可能な状態となる。次にＳ３１０で全フレーム、全
画素に対し、テクスチャおよび形状情報の生成を行う。

【００２６】次に、図４を用いて本発明の第１の実施の
形態によるテクスチャおよび形状情報生成のアルゴリズ
ムを詳細に説明する。まずＳ４０１において、現在対象
としている画素が前景領域かどうかをチェックし、前景
画素ならば、Ｓ４０２においてその値をそのままテクス
チャデータとして保存する。更にＳ４０３において形状
情報を確定する。ここでは、形状情報は８ビットの状態
で表わすものとし、α＝２５５が１００％の前景部分、
α＝０が１００％の背景部分を意味するものとする。

【００２７】次にＳ４０４において、現在対象としてい
る画素が背景領域かどうかチェックし、背景画素なら
ば、Ｓ４０５においてテクスチャデータはパティングし
た値を用いる。前景オブジェクトの符号化にあたって
は、背景の画像データは不要であるため、背景部分には
任意のデータを詰め込むことが可能である。符号化の効
率を高めるため、前景のエッジ部分のデータを繰り返し
詰め込んだり、一定値を詰め込む操作を行う。このとき
Ｓ４０６における形状情報はα＝０である。

【００２８】次にＳ４０７において現在対象としている
画素が境界領域かどうかをチェックする。境界画素なら
ば、Ｓ４０８においてこの画素に最も近い位置の前景領
域画素を求め、Ｓ４０９においてこの前景領域画素の値
をテクスチャデータとする。また、Ｓ４１０においてこ
の画素に最も近い位置の背景領域画素も求め、これらの
画素値を元にＳ４１１において形状情報を算出する。境
界画素から最も近い位置の前景画素の値をＡ、背景画素
の値をＢ、境界画素の値をＭとすると、境界領域の形状
情報αは以下の式で求められる。 α＝２５５・（Ｍ−Ｂ）／（Ａ−Ｂ） ………（１）

【００２９】これを、図５および図６を用いて具体例を
説明する。図５は境界領域付近の画素の例である。５０
１が前景画素、５０２と５０３が境界画素、５０４が背
景画素である。５０２に最も近い位置の前景画素は５０
１、最も近い背景画素は５０４であり、５０３において
も同様である。図６は各画素５０１〜５０４の輝度レベ
ルを表わしている。

【００３０】５０１の値が２５０、５０２の値が２２
０、５０３の値が１２０、５０４の値が１００とする
と、５０２における形状情報は、 α＝２５５・（２２０−１００）／（２５０−１００）＝２０４ ………（２） ５０３における形状情報は、 α＝２５５・（１２０−１００）／（２５０−１００）＝３４ ………（３） となる。

【００３１】このような処理を繰り返し、Ｓ４１２にお
いて全画素処理を終えたかをチェックし、更にＳ４１３
において全フレーム処理を終えたかのチェックを行っ
て、このルーチンを終了する。図２１は、前述した図１
５の例における形状情報生成を説明する図である。形状
情報を８ビットデータとしているため、図２１における
０％の位置がα＝０、１００％の位置がα＝２５５とな
る。

【００３２】次に合成処理のアルゴリズムを図７を用い
て説明する。図４の説明から明らかなように本方式にお
いては、すべての画素が画素値と形状情報とを組で持っ
ているので、合成処理のアルゴリズムは簡単である。ま
ずＳ７０１において形状情報の判定を行い、Ｓ７０２に
おいて表示の画素値を決定する。

【００３３】前景画素の値をＡ、背景画素の値をＢ、求
める画素値をＭとすると、 Ｍ＝Ａ・（α／２５５）＋Ｂ・（１−α／２５５） ………（４） で表わされる。この処理をすべての画素に対し繰り返
し、Ｓ７０３において終了判定されれば、合成処理ルー
チンを終える。

【００３４】図８（ａ）は、本発明における別の画像と
の合成画像を表わす図である。各ブロック８０１〜８０
３は、従来技術で説明したブロック８０１〜８０３に対
応している。これらのブロックを８０１〜８０３を拡大
したものが図８（ｂ）〜（ｄ）である。図９は図８
（ｃ）のＡ−Ａ′ラインの輝度レベルの拡大図である。
これらの図から明らかなように、背景オブジェクトを変
えた合成処理においても、輪郭部分に不自然さがなく、
オリジナル画像と同様、なめらかなぼけ具合となってい
る。

【００３５】本実施の形態による画像処理装置は、動画
像から対象オブジェクトを抽出し、別の画像との合成を
行う際に、境界領域の情報のフレーム間の動きベクトル
を求めることにより、完全な対象オブジェクト領域と、
完全な背景領域と、両者が混在する境界領域とに分離す
ると共に、抽出した画像データに形状情報を付加するこ
とにより、各領域の識別を行えるようにし、画像合成の
際には形状情報から再度境界領域の画素値を算出するよ
うに構成している。

【００３６】このように構成することにより、再加工が
容易な汎用性が高いオブジェクトの抽出を容易にかつ確
実に行うことができる。

【００３７】次に第２の実施の形態を説明する。本実施
の形態は形状情報の生成アルゴリズムを簡略化したもの
であり、図４におけるＳ４０７からＳ４１１以外の処理
は前記と全く同様である。次に、Ｓ４０７からＳ４１１
に置き換わる処理について図１０を用いて説明する。Ｓ
２３０１において境界画素と判定されると、Ｓ２３０２
において任意の値をテクスチャデータとしてセットす
る。符号化効率を考慮し、背景領域の処理と同様、パデ
ィングを行ってもよい。次に２３０３において形状情報
にフラグをセットする。値は境界領域だと判別できるも
のなら何でもよい。つまり、ここで保存されるのは境界
領域の位置情報だけとなる。

【００３８】図１１は、第２の実施の形態における合成
処理のアルゴリズムである。図７との差違は境界領域に
おけるデータがないため、この部分の生成処理が加わる
ことにある。Ｓ２４０１において境界領域の画素と判定
すると、Ｓ２４０２においてこの画素から最も近い位置
の前景領域画素を求め、Ｓ２４０３においてこの境界領
域の画素から最も近い位置の背景領域画素を求める。Ｓ
２４０４においてこれら前景と背景２つの画素までの距
離と画素値とを用いて、表示する境界画素の値を求め
る。

【００３９】境界画素から最も近い位置の前景画素の値
をＡ、背景画素の値をＢ、前景画素までの距離をａ、背
景画素までの距離をｂとすると、境界画素の値Ｍは以下
の式で求められる。 Ｍ＝（Ａ＊ｂ＋Ｂ＊ａ）／（ａ＋ｂ） ………（５）

【００４０】以下、図１２および図１３を用いて具体例
を説明する。図２５の２５０１は前景の画素であり、２
５０２および２５０３は境界領域の画素、２５０４は背
景画素である。図１３は各画素２５０１〜２５０４の輝
度レベルを示す。これら２つのデータから背景領域の画
素２５０２および２５０３の画素値を算出する。

【００４１】まず境界領域の画素２５０２に対して最も
近い位置の前景画素は２５０１であり、その値はＡ＝２
５０、距離ａ＝１である。また、２５０２に対して最も
近い位置の背景画素は２５０４であり、その値はＢ＝１
００、距離ｂ＝２である。従って、２５０２の画素値
は、 Ｍ＝（２５０＊２＋１００＊１）／（１＋２）＝２００ ………（６） となる。

【００４２】同様に、境界領域の画素２５０３に対して
最も近い位置の前景画素は２５０１であり、その値はＡ
＝２５０、距離ａ＝２である。また、２５０３に対して
最も近い位置の背景画素は２５０４であり、その値はＢ
＝１００、距離ｂ＝１である。従って、２５０３の画素
値は、 Ｍ＝（２５０＊１＋１００＊２）／（１＋２）＝１５０ ………（６） となる。

【００４３】尚、図１、図２の各機能ブロックによるシ
ステムは、ハード的に構成してもよく、また、ＣＰＵや
メモリ等から成るマイクロコンピュータシステムに構成
してもよい。マイクロコンピュータシステムに構成する
場合、上記メモリは本発明による記憶媒体を構成する。
この記憶媒体には、図３、図４、図７、図１０、図１１
前述した動作を制御するための手順を実行するためのプ
ログラムが記憶される。またこの記憶媒体としてはＲＯ
Ｍ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディ
スク、磁気媒体等を用いてよく、これらをＣＤ−ＲＯ
Ｍ、フロィピディスク、磁気テープ、磁気カード、不揮
発性のメモリカード等に構成して用いてよい。

【００４４】従って、この記憶媒体を図１、図２に示し
た以外の他のシステムあるいは装置に供給し、そのシス
テムあるいは装置のコンピュータが、この記憶媒体に格
納されたプログラムコードを読み出し、実行することに
よっても、同等の効果が得られ、本発明は達成される。

【００４５】

【発明の効果】以上の説明したように、本発明によれば
抽出後のオブジェクトデータを合成する際に、境界部分
においても滑らかに違和感なく合成する処理を容易に、
且つ確実に行うことができると共に再加工が容易な汎用
性の高いオブジェクトの抽出を容易に、且つ確実に行う
ことが可能になる。

【図面の簡単な説明】

【図１】本発明の実施の形態による画像処理装置のエン
コード側の構成を示すブロック図である。

【図２】本発明の実施の形態による画像処理装置のデコ
ード側の構成を示すブロック図である。

【図３】全体のアルゴリズムを示すフローチャートであ
る。

【図４】第１の実施の形態によるテクスチャおよび形状
情報の生成アルゴリズムを示すフローチャートである。

【図５】境界領域の画素の例を示す構成図である。

【図６】境界領域の形状情報処理を示す特性図である。

【図７】本合成処理のアルゴリズムを示すフローチャー
トである。

【図８】本発明における別の背景と合成画像及びブロッ
クの拡大図である。

【図９】境界ブロックの部分拡大図及び特性図である。

【図１０】第２の実施の形態による境界領域処理のアル
ゴリズムを示すフローチャートである。

【図１１】第２実施の形態による合成処理のアルゴリズ
ムを示すフローチャートである。

【図１２】第２の実施の形態による境界領域処理の例を
示す構成図である。

【図１３】第２の実施の形態による境界領域の画素値生
成処理を示す特性図である。

【図１４】オリジナル画像の例及びオリジナル画像にお
けるブロックの拡大図である。

【図１５】境界ブロックの部分拡大図（オリジナル画
像）及び特性図である。

【図１６】別の背景との合成画像及び別の背景との合成
画像におけるブロックの拡大図である。

【図１７】境界ブロックの部分拡大図及び特性図であ
る。

【図１８】別の背景との合成画像（境界領域をとらない
場合）及びブロックの拡大図である。

【図１９】境界ブロックの部分拡大図及び特性図であ
る。

【図２０】境界ブロックの部分拡大図及び特性図であ
る。

【図２１】形状情報の作成を示す特性図である。

【符号の説明】

１０２ 前景領域抽出部 １０３ 境界領域抽出部 １０４ 背景領域抽出部 １０５ テクスチャ生成部 １０６ 形状情報作成部 １０７ テクスチャ符号化部 １０８ 動き補償部 １０９ 形状情報符号化部 １１０ 多重化部 ２０１ 分離部 ２０２ テクスチャ復号化部 ２０３ 動き補償部 ２０４ 形状情報符号化部 ２０５ 合成処理部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA10 BA06 DA04 EA06 EA19 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC02 CE08 CE09 DA08 DB02 DB06 DB09 DC23 5C023 AA06 AA07 AA11 AA16 BA01 BA11 BA13 CA01

Claims (16)

【特許請求の範囲】
1. 【請求項１】 フレーム又はフィールドの画像データを
   複数のブロックに分割する分割手段と、 上記ブロック単位でフレーム又はフィールド間の動き量
   を算出する算出手段と、 上記算出した動き量から、抽出対象となるブロックと、
   抽出対象とならないブロックと、それらの境界領域とな
   るブロックとに分類するブロック分類手段と、 上記分類結果に基づいて、上記抽出対象となる画素と、
   抽出対象とならない画素と、それらの画素が混在する上
   記境界領域の画素とに分類する画素分類手段と、 上記分類された画素に基づいて、上記抽出対象となる画
   像データと上記境界領域の画像データとを生成する画像
   データ生成手段と、 上記分類された画素に基づいて、上記抽出対象となる領
   域と、抽出対象とならない領域と、上記境界領域とを識
   別するための形状情報を生成する形状情報生成手段とを
   備えた画像処理装置。
2. 【請求項２】 上記画像データ生成手段が生成する上記
   境界領域の画像データの画素値を、当該画素の最も近い
   位置にある上記抽出対象となる領域の画素値とすること
   を特徴とする請求項１記載の画像処理装置。
3. 【請求項３】 上記形状情報生成手段が生成する上記境
   界領域を識別するための形状情報は、当該画素の最も近
   い位置にある上記抽出対象となる領域の画素値と、当該
   画素の最も近い位置にある上記抽出対象とならない領域
   の画素値とにより算出され、当該形状情報が、当該画素
   値内に含まれる上記抽出対象となる領域の画素値の比率
   を意味するものであることを特徴とする請求項１記載の
   画像処理装置。
4. 【請求項４】 上記画像データ生成手段が生成した画像
   データを、上記形状情報を用いて別の画像データと合成
   する合成手段を設けたことを特徴とする請求項１記載の
   画像処理装置。
5. 【請求項５】 上記画像データ合成手段は、上記形状情
   報により識別された上記境界領域において対象画素に最
   も近い位置にある上記抽出対象となる領域の画素値及び
   距離を求めると共に対象画素に最も近い位置にある上記
   抽出対象とならない領域の画素値及び距離を求める算出
   手段と、上記２組の画素値及び距離から表示する境界領
   域の画素を決定する決定手段とを有することを特徴とす
   る請求項４記載の画像処理装置。
6. 【請求項６】 画像合成の際に、対象となる画素が前景
   領域となるか、背景領域となるか、それらの境界領域と
   なるかを識別するための形状情報を用い、識別された上
   記境界領域において対象画素に最も近い位置にある上記
   前景領域の画素値距離を求めると共に対象画素に最も近
   い位置にある上記背景領域の画素値及び距離を求める算
   出手段と、 上記２組の画素値及び距離から境界領域の画素を決定す
   る決定手段とを設けたことを特徴とする画像処理装置。
7. 【請求項７】 フレーム又はフィールドの画像データを
   複数のブロックに分割する分割手順と、 上記ブロック単位でフレーム又はフィールド間の動き量
   を算出する算出手順と、 上記算出した動き量から、抽出対象となるブロックと、
   抽出対象とならないブロックと、それらの境界領域とな
   るブロックとに分類する分類手順と、 上記分類結果に基づいて、上記抽出対象となる画素と、
   抽出対象とならない画素と、それらの画素が混在する上
   記境界領域の画素とに分類する分類手順と、 上記分類された画素に基づいて、上記抽出対象となる画
   像データと上記境界領域の画像データとを生成する画像
   データ生成手順と、 上記分類された画素に基づいて、上記抽出対象となる領
   域と、抽出対象とならない領域と、上記境界領域とを識
   別するための形状情報を生成する形状情報生成手順とを
   実行するためのプログラムを記憶したコンピュータ読み
   取り可能な記憶媒体。
8. 【請求項８】 上記画像データ生成手順が生成する上記
   境界領域の画像データの画素値を、当該画素の最も近い
   位置にある上記抽出対象となる領域の画素値とすること
   を特徴とする請求項７記載のコンピュータ読み取り可能
   な記憶媒体。
9. 【請求項９】 上記形状情報生成手順が生成する上記境
   界領域を識別するための形状情報は、当該画素の最も近
   い位置にある上記抽出対象となる領域の画素値と、当該
   画素の最も近い位置にある上記抽出対象とならない領域
   の画素値とにより算出され、当該形状情報が、当該画素
   値内に含まれる上記抽出対象となる領域の画素値の比率
   を意味するものであることを特徴とする請求項７記載の
   コンピュータ読み取り可能な記憶媒体。
10. 【請求項１０】 上記画像データ生成手順が生成した画
    像データを、上記形状情報を用いて別の画像データと合
    成する合成手順を設けたことを特徴とする請求項９記載
    のコンピュータ読み取り可能な記憶媒体。
11. 【請求項１１】 上記画像データ合成手順は、上記形状
    情報により識別された上記境界領域において対象画素に
    最も近い位置にある上記抽出対象となる領域の画素値及
    び距離を求めると共に対象画素に最も近い位置にある上
    記抽出対象とならない領域の画素値及び距離を求める算
    出手順と、上記２組の画素値及び距離から表示する境界
    領域の画素を決定する決定手順とを有することを特徴と
    する請求項１０記載のコンピュータ読み取り可能な記憶
    媒体。
12. 【請求項１２】 画像合成の際に、対象となる画素が前
    景領域となるか、背景領域となるか、それらの境界領域
    となるかを識別するための形状情報を用い、識別された
    上記境界領域において対象画素に最も近い位置にある上
    記前景領域の画素値距離を求めると共に対象画素に最も
    近い位置にある上記背景領域の画素値及び距離を求める
    算出手順と、 上記２組の画素値及び距離から境界領域の画素を決定す
    る決定手順とを実行するためのプログラムを記憶したコ
    ンピュータ読み取り可能な記憶媒体。
13. 【請求項１３】 画像データを入力する入力手段と、 前記入力手段によって入力された画像データを、前景領
    域となる画素と、背景領域となる画素と、それらの画素
    が混在する境界領域の画素とに分類する分類手段と、 前記前景領域と、前記背景領域と、前記境界領域とを識
    別できる形状情報を生成する生成手段を有し、 前記形状情報には前記分類手段によって分類された境界
    領域の画素が、前記前景領域の画素と前記背景領域の画
    素とどのような混合比で構成されているかを示す情報を
    含むことを特徴とする画像処理装置。
14. 【請求項１４】 更に、前記背景領域の画像データとは
    異なる別の画像データを前記前景領域及び前記境界領域
    の画像データに合成する合成手段を有し、前記合成手段
    は前記形状情報を用いて前記境界領域の画像データを新
    たに生成していることを特徴とする請求項１３記載の画
    像処理装置。
15. 【請求項１５】 更に、前記画像データを符号化する符
    号化手段と、前記形状情報を符号化する形状符号化手段
    と、前記符号化手段によって符号化された画像データと
    前記形状符号化手段によって符号化された形状情報を多
    重化する多重化手段とを有することを特徴とする請求項
    １３記載の画像処理装置。
16. 【請求項１６】 画像データを入力する入力手順と、 前記入力された画像データを、前景領域となる画素と、
    背景領域となる画素と、それらの画素が混在する境界領
    域の画素とに分類する分類手順と、 前記前景領域と、前記背景領域と、前記境界領域とを識
    別できる形状情報を生成する生成手順とを実行するプロ
    グラムを記憶し、 前記生成手順では、前記形状情報として前記分類手段に
    よって分類された境界領域の画素が、前記前景領域の画
    素と前記背景領域の画素とどのような混合比で構成され
    ているかを示す情報をも生成していることを特徴とする
    コンピュータ読み取り可能な記憶媒体。