JP2001103375A - オブジェクト映像表示装置 - Google Patents

Abstract

(57)【要約】 【課題】動いたり、変形したりするオブジェクト映像上
の特定の領域に、別のオブジェクト映像を自動的に貼付
する。 【解決手段】映像ソース２からオブジェクト映像選択部
６で貼付対象となるオブジェクト映像１００を選択す
る。そして、オブジェクト映像１００の形状情報８を利
用して、重複領域検出部１８でオブジェクト映像１００
上の素材オブジェクト貼付領域を検出する。素材オブジ
ェクト変形部２６は当該貼付領域の大きさに基づいて適
合する素材オブジェクト映像１０が選択される。素材オ
ブジェクト貼付部３０で選択された素材オブジェクト映
像１０がオブジェクト映像１００に貼付され、処理済オ
ブジェクト映像３２となり、他のオブジェクト映像１０
２と映像合成部３４で合成されて、モニタ１４で表示さ
れる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばＭＰＥＧ方
式により符号化された複数のオブジェクト映像を表示で
きるオブジェクト映像表示装置に関するもので、特に、
あるオブジェクト映像内の他の映像と貼付可能な領域を
検出し、その領域に合わせた映像を選択して、その領域
に貼付して表示する技術に関する。

【０００２】

【従来の技術】表示対象となる画像に対して修正をする
領域を設定し、その領域に別な素材データをはめ込ん
で、全体として新たな別の画像を作成する技術がある。
例えば、特開平８−２８７２２５には、３次元で住宅を
撮影した画像に対して、壁の一部を新たな別の素材デー
タに置き換えて表示させる技術が開示されている。この
従来例においては、画像において、壁を斜視している場
合、素材データも元の壁領域に合わせて変更している。
そして、素材データをはめ込む際には、そのはめ込む領
域を予め手作業でマウス等により、対象となる画像上で
選択することを前提としている。つまり、壁の頂点をマ
ウスで設定して、多角形を生成し、その多角形に合わせ
て素材データを変形し、その素材データを該当する領域
に貼り付けている。

【０００３】図６はオブジェクト映像に対して他の映像
を貼付させた例を示した説明図である。図６は、対象映
像あるいは対象被写体である人物のオブジェクト映像１
０２に数字、人名あるいはＣＭ等のロゴオブジェクト映
像１０４を貼付した例を示している。人物オブジェクト
映像１０２は汎用的に使われ、その一部領域にロゴオブ
ジェクト映像１０４（例えばこの人物の名前）を貼り付
けることで、オブジェクト映像１０２を色々な用途に使
うことができる。また、別の人物のオブジエクト映像１
０８は、顔領域を隠蔽するためマスクオブジェクト映像
１１０が貼付されている。人物オブジェクト映像１０８
の顔を隠蔽することで、誰のオブジェクト映像か分から
なくなり、プライバシーの保護に役立つ。１１２は装飾
枠オブジェクト映像である。装飾枠オブジェクト映像１
１２に対して文字オブジェクト映像１１４を貼り付ける
ことで、汎用の複数種類の装飾枠オブジェクト映像１１
２を用意しておき、文字オブジェクト映像１１４の内容
を適宜変えることで、場面場面で色々な表現手段が実現
できる。

【０００４】

【発明が解決しようとする課題】上述した特開平８−２
８７２２５に開示された技術では、元の住宅画像に対し
て、素材画像を貼り付ける領域を人手によりマウス等で
指定しなければならない。このため、人手がかかるため
元の画像は静止画に限定されている。また、従来、図６
のオブジェクト映像１０２に貼り付けるロゴオブジェク
ト映像１０４の位置、オブジェクト映像１０８に貼り付
けるマスクオブジェクト映像１１０の位置、装飾枠オブ
ジェクト映像１１２に貼り付ける文字オブジェクト映像
１１４の位置は、人手により設定する必要があった。特
に、オブジェクト映像１０２、オブジェクト映像１０８
および装飾枠オブジェクト映像１１２が動画像の場合、
時々刻々位置が変わり、形状も変わる可能性がある。そ
のため、人手によりロゴオブジェクト映像１０４、マス
クオブジェクト映像１１０、文字オブジェクト映像１１
４を貼り付ける作業は非常に手間がかかった。従って、
実用的には上記オブジェクト映像１０２、オブジェクト
映像１０８、装飾枠オブジェクト映像１１２をディスク
等の蓄積メディアに格納しておき、人間が少しずつ読み
出しながらオブジェクト映像Ａ１０２、オブジェクト映
像Ｂ１０８および文字オブジェクト映像１１４の位置お
よび形状を確認し、素材側のオブジェクト映像の形状を
変えて、適切な位置に貼り付ける作業を行なう必要があ
った。

【０００５】

【課題を解決するための手段】本発明は上記課題を解決
するためになされたもので、オブジェクト映像を供給す
るオブジェクト映像供給手段と、前記オブジェクト映像
供給手段より供給された一つのオブジェクト映像からそ
の形状の情報を抽出し、形状情報として出力する手段
と、前記オブジェクト映像供給手段より供給されたオブ
ジェクト映像上に貼付して表示させる素材オブジェクト
映像が複数記憶されている素材オブジェクト映像記憶手
段と、前記形状情報出力手段より出力されたオブジェク
ト映像の形状情報に基づいて、当該オブジェクト映像上
に素材オブジェクト映像を貼付させる領域を検出する検
出手段と、前記検出手段で検出された貼付領域の大きさ
に適合する素材オブジェクト映像を、前記素材オブジェ
クト映像記憶手段に記憶されている複数の素材オブジェ
クト映像の中から選択する選択手段と、前記選択手段で
選択された素材オブジェクト映像と貼付される対象のオ
ブジェクト映像とを貼付する貼付手段と、前記貼付手段
で貼付された二つのオブジェクト映像を表示する表示手
段とを具備したことを特徴としている。

【０００６】また、本発明の前記選択手段は、前記検出
手段で検出された貼付領域の大きさに近い素材オブジェ
クト映像を、前記素材オブジェクト映像記憶手段に記憶
されている複数の素材オブジェクト映像の中から選択
し、選択された素材オブジェクト映像を、前記貼付領域
の大きさに適合するよう変形して出力することを特徴と
している。

【０００７】上記した本発明のオブジェクト表示装置に
あっては、貼付対象となるオブジェクト映像の形状情報
に基づいて自動的に素材オブジェクトの貼付領域を検出
する。そして、検出された貼付領域に適合した素材オブ
ジェクトを記憶手段から読み出して貼付領域に貼り付け
る。あるいは素材オブジェクト映像の形状を変形して貼
付領域に適合した素材オブジェクトを貼付領域に貼り付
ける。こうすることにより、従来人手で行っていた作業
が貼付自動化されると共に、動画像にも対応することが
できる。

【０００８】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。 （第１の実施形態）図１は本発明によるオブジェクト映
像表示装置の実施の形態を示すブロック図である。映像
ソース２は、ディスクなどのメディアで映画等のシーン
の出演者あるいは静物等がオブジェクト映像として格納
されている。本発明では、ディスクに格納されたオブジ
ェクト映像を再生する用途で説明するが、テレビカメラ
等で撮影した映像から被写体を領域抽出してからオブジ
ェクト映像符号化したようなリアルタイムでのオブジェ
クト映像を表示させてもよい。 映像ソース２から読み
出されたオブジェクト映像は直列符号化データ４として
出力される。直列符号化データ４はオブジェクト映像選
択部６に印加される。素材が貼付される対象となるオブ
ジェクト映像１００とその他のオブジェクト映像１０１
はオブジェクト映像選択部６で分類される。この分類は
あらかじめ編集時に、当該オブジェクトが貼付される対
象である旨を示すインデックスを付加することにより実
現できる。あるいは、映像ソース２より供給されるシー
ン構成情報１２の中にどのオブジェクト映像を貼付対象
とするか、どの時点で貼付するかの情報を含ませておく
ことでも実現可能である。あるいは、ユーザが、貼付対
象とするオブジェクト映像の情報を設定部１６を介して
オブジェクト映像選択部６に供給してもよい。

【０００９】オブジェクト映像選択部６からはオブジェ
クト映像１００の形状情報８も出力される。ここで形状
情報は一種の座標の情報で、当該オブジェクトが存在す
る座標位置がわかる情報である。したがって、この形状
情報は当該オブジェクトの輪郭に関する情報も含んでい
る。形状情報はアルファープレーンと呼ばれ、オブジェ
クト映像が存在する領域を論理値１、存在しない残りの
領域を論理値０と表現したもので、論理値１の座標はオ
ブジェクト映像がある領域、論理値０の座標は当該オブ
ジェクト映像のない残りの領域を示す。なお、図１では
オブジェクト映像１００を１サンプルと仮定しているが
実際の応用では複数のサンプルを対象としてもかまわな
い。

【００１０】形状情報８は貼付領域検出部１８に印加さ
れる。貼付領域検出部１８では、貼付情報２０が算出さ
れる。貼付情報２０はオブジェクト映像上の素材オブジ
ェクト映像が貼付される貼付領域の情報である。この貼
付情報２０は素材オブジェクト変形部２６に印加され
る。素材オブジェクト変形部２６では貼付情報２０から
適切な大きさの素材オブジェクト映像を素材オブジェク
ト記憶部２８から読み出す。素材オブジェクト記憶部２
８には例えば登場人物の人名などの素材オブジェクト映
像が複数記憶されている。素材オブジェクト記憶部２８
に貼付領域と当てはまるちょうどよい大きさの素材オブ
ジェクト映像がない場合、貼付領域に近い大きさの素材
オブジェクト映像を読み出して、貼付領域に合うように
拡大あるいは縮小して変形させる処理も行う。

【００１１】素材オブジェクト変形部２６で生成された
素材オブジェクト映像１０は、素材オブジェクト貼付部
３０に印加される。素材オブジェクト貼付部３０では元
のオブジェクト映像１００が印加されており、検出され
た貼付領域に素材オブジェクト映像を貼付して処理済オ
ブジェクト映像３２として出力する。

【００１２】映像合成部３４は、素材オブジェクト映像
が貼付されていないオブジェクト映像１０１と処理済オ
ブジェクト映像３２を重ね合わせ、合成直列データ３６
として出力する。モニタ１４はオブジェクト映像１０１
と処理済オブジェクト映像３２の合成映像を表示する。

【００１３】次に、図２を用いて人物のオブジェクト映
像から素材オブジェクト映像を貼付する領域を検出する
方法（貼付領域検出部１８内の処理）を説明する。図２
は人物オブジェクトの胸部に素材オブジェクト（例えば
当該人物の名前）を貼付する例を説明するための図であ
る。

【００１４】まず、オブジェクトの輪郭を示す形状情報
８の頭頂ｄを検出する。頭頂ｄを検出するには、形状情
報８に対して、上側から水平線３８を降ろしていく。そ
して、形状情報８と接触した個所を頭頂としている。そ
して、頭頂から下側に向かい、形状情報８の周囲に沿っ
て辿っていく。そして、辿る過程で最も大きく窪んだ個
所を首とする（参照符号ｆ）。

【００１５】そして、首から水平線４０を引く。水平線
３８と水平線４０の間隔（参照符号ａ）を測定する。ａ
は頭部の縦方向の大きさになる。次に、頭部からαａだ
け下側に水平線４２を引く。αａは頭部の大きさで正規
化した素材オブジェクト映像を重複する位置になる。す
なわち、シーンによってオブジェクト映像１０２が奥の
方に引き下がると形状情報８も小さくなり、頭部も小さ
くなる。αを一定にしておくと、頭部の大きさａに合わ
せて、αａも小さくすることができる。

【００１６】次に、水平線４２と形状情報８が交差した
個所ｇとｈを検出する。そして、ｇとｈから垂直線を下
側に引き、長さｃで図２のような貼付領域２４を生成す
る。ここでは、ｂが測定されれば、ｂと比率を同じくし
てｃを決める。以上のように、形状情報８の座標が移動
し、形状情報８そのものの大きさが変わっても、貼付領
域２４を検出することができ、貼付領域２４は常に相似
の大きさとして検出される。ちなみに従来では、人物の
頭部から所定の距離だけ下側の胸の位置を検出すること
は容易でない。まず、映像に登場する人物そのものを検
出しなければならない。例えば、ＭＰＥＧ２方式では、
動きベクトルなどを使用して検出するが、人物が静止し
ていれば動きベクトルが生じないため、人物そのものの
頭部などを背景から識別するなど高度な画像処理を必要
とする。本発明ではオブジェクト映像に伴う形状情報８
から上述した方法により比較的容易に頭部が検出でき、
頭部が検出できれば、胸の位置も容易に検出できる。

【００１７】図１に戻ると、貼付領域検出部１８が、検
出した上記貼付領域２４とｈの座標を貼付情報２０とし
て出力し、これが素材オブジェクト変形部２６に印加さ
れる。素材オブジェクト変形部２６では貼付情報２０か
ら適合する大きさの素材を素材オブジェクト記憶部２８
から読み出す。

【００１８】図５は本発明による素材オブジェクト記憶
部２８に格納された色々な大きさの素材オブジェクト映
像を示した図である。図５（Ａ）、（Ｂ）、（Ｃ）は貼
付領域検出部１８で検出された貼付領域２４と同じ縦横
比、大きさの異なる素材オブジェクト映像１０を示して
いる。そして、図５（Ｄ）は現在検出された貼付領域２
４を示している。図５（Ｄ）に大きさが最も近い素材オ
ブジェクト映像１０を図５（Ａ）、（Ｂ）、（Ｃ）から
選択する。素材オブジェクト記憶部２８に記憶されてい
る素材オブジェクト映像１０の数に限りがあるため、大
きさが最も近い素材オブジェクト映像１０を選択して、
素材オブジェクト変形部２６で、重複領域２４に合致す
るように縦横の大きさを変形してもよい。素材オブジェ
クト変形部２６で素材が確定すると、素材オブジェクト
映像１０は素材オブジェクト重複部３０に印加される。
素材オブジェクト重複部３０ではオブジェクト映像１０
０の重複すべき領域に素材オブジェクト映像１０が重複
されて、処理済オブジェクト映像３２として映像合成部
３４に印加される。映像合成部３４では素材オブジェク
ト映像１０が貼付されていない、その他のオブジェクト
映像１０１と処理済オブジェクト映像３２が決められた
画面上の位置に配置されて、合成直列データ３６として
出力し、モニタ４で表示される。以下、本発明の他の実
施形態を説明する。 （第２の実施形態）図３を用いて装飾枠オブジェクト映
像に素材オブジェクト映像を貼付する領域を検出する方
法（貼付領域検出部１８内の処理）を説明する。なお、
参照符号は図２に用いたものと同じものについては同じ
符号を使用する。

【００１９】まず、装飾枠オブジェクト映像の形状情報
８の上端に接する水平線３８と下端に接する水平線４０
を引く。次に、形状情報８の左端に接する垂直線４４と
右端に接する垂直線４６を引く。水平線３８、水平線４
０、垂直線４４、垂直線４６で囲まれた長方形を検出す
る。そして、水平線３８から下側にｃだけ下げ、水平線
４０から上側にｃだけ上げる。また、右端から右側にｄ
だけずらし、左端から左側にｄだけずらすことで、貼付
領域２４すなわちｂ×ｃの長方形を検出する。オブジェ
クト映像の貼付から合成、表示の処理については先の説
明と同じなので省略する。

【００２０】従来では、本実施形態のように装飾された
枠内の文字などは、その都度人手で内容を変えていた。
特に、装飾枠が表示面を動いたり、大きさが変わったり
すると、人手で装飾枠内に文字をはめ込む作業は困難だ
った。本発明によると、オブジェクト映像選択部におい
て該当する装飾枠オブジェクト映像１１２を選択し、シ
ーン構成情報１２により貼付される素材オブジェクト映
像１０を決めておけば、後は自動的に装飾枠オブジェク
ト映像１１２の枠内にバランスよく素材オブジェクト映
像１０を変形して貼付することができる。さらに、本発
明の特徴として、装飾枠オブジェクト映像１１２の大き
さが変わったり、位置が変わっても自動的に素材オブジ
ェクト映像１０を所定に位置に貼付することができる。 （第３の実施形態）次に、人物のオブジェクト映像で顔
面領域を自動抽出して素材オブジェクト映像を貼付する
領域を検出する方法（貼付領域検出部１８内の処理）を
図４を用いて説明する。なお、参照符号は図２、３に用
いたものと同じものについては同じ符号を使用する。

【００２１】まず、図２で説明した方法と同様に形状情
報８に対して、上部から水平線３８を降ろしていき、頭
頂ｄを検出する。そして、上記と同様に頭部の外周を辿
っていき、首の部分ｆを検出する。次に、ｆから水平線
４０を引く。そして、水平線４０から上で、水平線３８
から下の区域すなわちａの区間で、左右から垂直線４４
と垂直線４６を外周方向に移動して、外周に接触した位
置で止める（区間ｂ）。これで矩形（ａｘｂ）が検出さ
れたことになる。この矩形は大まかに顔面部分を囲って
いることになる。そして、水平方向でβａだけ隙間を空
けた水平線４２と水平線４８を引き、水平線４２と外周
が交差した点から垂直方向に垂直線５０と垂直線５２を
引く。矩形ｈ×ｉは顔面部分の目、鼻および口など、重
要領域を含んでいる。前記矩形部分に対して、素材オブ
ジェクト映像を貼付する。貼付する処理方法は図１に示
した方法と同様なので省略する。素材オブジェクト映像
はモザイクでもよい。あるいは、単色の素材オブジェク
ト映像で外周部分にフィルタをかけてぼかしてもかまわ
ない。

【００２２】従来は予め映像を見ながら人手で、顔面部
分を選択して顔面に対してモザイク処理を施していた。
従って、処理対象の被写体が動いていると正確に顔面に
対して、モザイク処理ができず、背景までモザイク処理
を行ってしまう欠点があった。しかし、本実施形態によ
ると、モザイク対象となるオブジェクト映像を選択すれ
ば、後は自動的に形状情報を利用して、顔面領域を検出
し、その領域に合った素材オブジェクト映像を正確に貼
付することができる。 上述した実施形態は、貼付対象
映像としてオブジェクト映像を貼付する例で説明した。
しかし、貼付対象となる映像が形状情報を有している映
像ならば、上述した方法により貼付領域を容易に検出で
きる。そして、貼付領域に対しては、アニメーション映
像を作成する手法のようにレイヤー構造にし、貼付素材
として上側のレイヤーに素材のビットマップ映像を配置
して、下側のレイヤーに配置したオブジェクト映像に重
ねあわせてもかまわない。このように本発明の趣旨を逸
脱しない範囲で種々の変形が可能である。

【００２３】

【発明の効果】以上詳述したように本発明のオブジェク
ト映像表示装置によれば、貼付対象となるオブジェクト
映像の形状情報に基づいて自動的に素材オブジェクトの
貼付領域を検出し、検出された貼付領域に適合した素材
オブジェクトを記憶手段から読み出して貼付領域に貼り
付けるので、従来人手で行っていた作業が貼付自動化さ
れると共に、動画像にも対応することができる。

【図面の簡単な説明】

【図１】本発明によるオブジェクト映像表示装置の一実
施形態を示すブロック構成図。

【図２】人物のオブジェクト映像から素材オブジェクト
映像を貼付する領域を検出する方法を説明するための
図。

【図３】装飾枠に素材オブジェクト映像を貼付する領域
を検出する方法を説明するための図。

【図４】人物のオブジェクト映像で顔面領域を検出する
方法を説明するための図。

【図５】素材オブジェクト記憶部に格納された色々な大
きさの素材オブジェクト映像を示す図。

【図６】オブジェクト映像に対して他の映像を貼付させ
た例を説明するための図。

【符号の説明】

２ 映像ソース ６ オブジェクト映像選択部 ８ 形状情報 １２ シーン構成情報 １４ モニタ １６ 設定部 １８ 貼付領域検出部 ２０ 貼付情報 ２６ 素材オブジェクト変形部 ２８ 素材オブジェクト記憶部 ３０ 素材オブジェクト貼付部 ３２ 処理済オブジェクト映像 ３４ 映像合成部

Claims (2)

【特許請求の範囲】
1. 【請求項１】オブジェクト映像を供給するオブジェクト
   映像供給手段と、前記オブジェクト映像供給手段より供
   給された一つのオブジェクト映像からその形状の情報を
   抽出し、形状情報として出力する手段と、前記オブジェ
   クト映像供給手段より供給されたオブジェクト映像上に
   貼付して表示させる素材オブジェクト映像が複数記憶さ
   れている素材オブジェクト映像記憶手段と、前記形状情
   報出力手段より出力されたオブジェクト映像の形状情報
   に基づいて、当該オブジェクト映像上に素材オブジェク
   ト映像を貼付させる領域を検出する検出手段と、前記検
   出手段で検出された貼付領域の大きさに適合する素材オ
   ブジェクト映像を、前記素材オブジェクト映像記憶手段
   に記憶されている複数の素材オブジェクト映像の中から
   選択する選択手段と、前記選択手段で選択された素材オ
   ブジェクト映像と貼付される対象のオブジェクト映像と
   を貼付する貼付手段と、前記貼付手段で貼付された二つ
   のオブジェクト映像を表示する表示手段とを具備したこ
   とを特徴とするオブジェクト映像表示装置。
2. 【請求項２】前記選択手段は、前記検出手段で検出され
   た貼付領域の大きさに近い素材オブジェクト映像を、前
   記素材オブジェクト映像記憶手段に記憶されている複数
   の素材オブジェクト映像の中から選択し、選択された素
   材オブジェクト映像を、前記貼付領域の大きさに適合す
   るよう変形して出力することを特徴とする請求項１記載
   のオブジェクト映像表示装置。