JP2000358192A - シーン記述生成装置及び方法、オブジェクト抽出方法、並びに記録媒体 - Google Patents

シーン記述生成装置及び方法、オブジェクト抽出方法、並びに記録媒体

Info

Publication number
JP2000358192A
JP2000358192A JP16722599A JP16722599A JP2000358192A JP 2000358192 A JP2000358192 A JP 2000358192A JP 16722599 A JP16722599 A JP 16722599A JP 16722599 A JP16722599 A JP 16722599A JP 2000358192 A JP2000358192 A JP 2000358192A
Authority
JP
Japan
Prior art keywords
scene
scene description
position information
texture
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP16722599A
Other languages
English (en)
Other versions
JP2000358192A5 (ja
JP4151158B2 (ja
Inventor
Shinji Negishi
愼治 根岸
Hideki Koyanagi
秀樹 小柳
Yoichi Yagasaki
陽一 矢ヶ崎
Takefumi Nagumo
武文 名雲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP16722599A priority Critical patent/JP4151158B2/ja
Priority to US09/592,008 priority patent/US6621939B1/en
Publication of JP2000358192A publication Critical patent/JP2000358192A/ja
Publication of JP2000358192A5 publication Critical patent/JP2000358192A5/ja
Application granted granted Critical
Publication of JP4151158B2 publication Critical patent/JP4151158B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

(57)【要約】 【課題】 オブジェクトが変形し、オブジェクトを内包
する領域も変形すると、シーン記述で記述されたシーン
中で、オブジェクトに不要な移動が生じてしまう。 【解決手段】 セグメンテーション器１０２は、オブジ
ェクトを内包する矩形領域の幅と高さおよび矩形領域の
入力画像中の位置を位置情報１０８として出力する。MP
EG-4シーン記述生成器１０６は、セグメンテーション器
１０２から出力された位置情報１０８を参照し、シーン
中のオブジェクト配置位置を決める。位置情報１０８を
参照することにより、オブジェクトが変形した場合に
も、シーン記述で記述されたシーン中でオブジェクトに
不要な移動が起こることを回避できる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、静止画像信号、動
画像信号及びグラフィックデータなどを、画面中に配置
して新しいシーンを記述するシーン記述生成装置及び方
法、オブジェクト抽出方法、並びに記録媒体に関する。
【０００２】
【従来の技術】静止画像信号、動画像信号及びグラフィ
ックデータなどを画面中に配置して新しいシーンを記述
するシーン記述技術の概要を図１９に示す。入力された
画像やグラフィックデータをそのまま表示するのではな
く、１以上の入力データを結合させたシーンを表示する
ためには、どのようにシーンを構成するかを表す付加的
な情報が必要になる。この情報をシーン記述（情報）と
呼ぶ。シーン記述（情報）は、オブジェクトと呼ばれる
入力となる部品をシーン中に配置するためのものであ
る。図１９では、オブジェクトＡ０２及びオブジェクト
Ａ０３を、シーン記述（情報）Ａ００に基づいて表示す
ることにより、シーンＡ０４を得ている。図１９では二
次元のシーン記述を例にしているが、三次元のシーンを
記述し、二次元の表示装置へ表示する際に二次元へ投影
する場合もある。シーン記述により１以上のオブジェク
トを結合したシーンを表現する場合には、入力となる静
止画像や動画像等の画面Ａ０１の全体を使用する場合も
あるが、シーン中で使用したい一部分をオブジェクトＡ
０２として分離することも望まれる。この分離作業をセ
グメンテーションと呼ぶ。
【０００３】図２０に、図１９のセグメンテーションと
シーン記述作成を行う従来の編集システムの構成を示
す。入力画像もしくはグラフィックデータに対する画像
処理とシーン記述生成のための処理は独立した過程で行
われる。まず画像処理部Ｂ００では、入力画像やグラフ
ィックデータＢ０１をセグメンテーション器Ｂ０２がオ
ブジェクトＢ０４へ変換する。セグメンテーションは、
特定の色成分を持つ背景を分離するクロマキーと呼ばれ
る手法や、明度勾配によりオブジェクトの輪郭を切り抜
く方法や、手動による輪郭の指定など様々な方法で行わ
れている。セグメンテーションされたオブジェクトは、
例えばISO14496-2で規定されている符号化方法を使用
し、破線で示す符号化器Ｂ０３によって符号化されるこ
とがある。一方、シーン記述処理部Ｂ０５では、シーン
記述生成器Ｂ０６が、どのようなシーンを構成したいか
という指定に基づいてシーン記述Ｂ０７を生成する。シ
ーン記述としては、例えばISO14496-1で規定されている
いわゆるMPEG-4 Systemsのシーン記述や、ISO14772-1で
規定されているVRML(Virtual Reality Modeling Langua
ge)、インターネットで広く使用されているHTML(HyperT
ext Markup Language)、ISO13522-5で規定されているMH
EG(Multimedia and Hypermedia information coding Ex
pert Group)等、多くの種類が存在する。
【０００４】ISO14496-1で規定されているMPEG-4 Syste
msのシーン記述を例にとり、図２１〜図２３を用いてシ
ーン記述の構造、内容及び具体例を説明する。図２１
は、シーン記述の構造を示している。また、図２２はシ
ーン記述の内容を示している。また、図２３はシーンの
具体例を示している。シーン記述は、ノードと呼ばれる
基本的な記述単位により表現される。ノードは、オブジ
ェクトや光源、物体表面特性の記述などを行う単位であ
り、ノードの特性や属性を表すためにフィールドと呼ば
れるデータを含んでいる。例えば図２１中のTransform2
Dノードは二次元の座標変換を指定可能なノードで、図
２２に示すtranslationフィールドを含み、例えば平行
移動のように配置位置を指定している。フィールドには
他のノードを指定することが可能なフィールドも存在
し、シーン記述の構成はツリー構造を成す。オブジェク
トをシーン中に配置するには、オブジェクトを表すノー
ドを、属性を表すノードとともに図２２に示すようにグ
ループ化し、配置位置を表すノードによりさらにグルー
プ化する。図２２のシーン記述の内容についての詳細は
以下の通りである。先ず、“Group{”がシーン全体のグ
ルーピングノードであり、“children”がグルーピング
される子ノードの記述開始を示す。また、“Transform2
D”は座標変換を指定するグルーピングノードである。
さらに、“translation x1 y1”は配置位置を指示し、
以下、“children[”は配置される子ノードの記述開
始、“Shape{”はオブジェクトをシーンに取り込むこと
を指示する。そして、“geometry Bitmap{}”はテクス
チャ画像をそのまま表示させる物体であり、“appearan
ce Appearnce{”は物体の表面特性を指定し、“texture
Image Texture {url}”は画像オブジェクトを指定す
る。このシーン記述の内容にしたがって画像オブジェク
トを図２３に示すように配置する。つまり、Shapeノー
ドが表しているオブジェクトは、その親ノードであるTr
ansform2Dノードによって指定された平行移動を適用さ
れて、シーン中に配置される。図２３に具体例を示す。
図２３において、入力画像中のオブジェクトはオブジェ
クトを内包する矩形領域毎、図２０に示したセグメンテ
ーション器Ｂ０２によりセグメンテーションされる。こ
のオブジェクトＢ０４は、シーン記述生成器Ｂ０６によ
って生成されたシーン記述Ｂ０７中の指定に基づいてシ
ーン中に配置される。
【０００５】次にISO14496-2で規定されているMPEG-4 V
ideoを例にとり、画像オブジェクトの符号化方法を説明
する。図２４は、入力画像Ｄ００中の楕円形のオブジェ
クトＤ０１と背景のオブジェクトＤ０３をセグメンテー
ションして符号化する場合を示している。まず、オブジ
ェクトＤ０１を符号化する場合、オブジェクトＤ０１を
内包する領域Ｄ０２を設定する。MPEG-4 Videoでは、矩
形領域が使われる。矩形領域の外側は符号化されない。
符号化は小ブロック単位で行われる。以下、このブロッ
クを符号化ブロックと呼ぶ。符号化ブロックＤ０５のよ
うに符号化ブロック内部にオブジェクトのデータが含ま
れていない場合、その符号化ブロックは「符号化対象デ
ータ無し」を意味するフラグのみを符号化すればよい。
符号化ブロックＤ０６のようにオブジェクト内と外の双
方を含む符号化ブロックでは、オブジェクト外の画素値
は任意の値に設定して符号化して良い。オブジェクトＤ
０１の形状（輪郭）が別に符号化されるのでデコード時
にオブジェクト外のデータは無視されるからである。一
方、背景Ｄ０３もオブジェクトである。背景のオブジェ
クトＤ０３を符号化する場合にも同様に、オブジェクト
を内包する矩形領域Ｄ０４を設定するが、これは入力画
像の画枠全体となる。符号化方法はオブジェクトＤ０１
の場合と同様である。つまり、斜線部分が符合化したい
オブジェクトであり、ここでは入力画像の画枠全体が矩
形領域となる。符号化ブロックＤ０７内に、オブジェク
トの内外のデータを含む場合は、オブジェクト外は任意
の値に設定して符号化してよい。また、符号化ブロック
Ｄ０８内にオブジェクトのデータが無ければ、「符号化
データ無し」を意味するフラグのみを符号化すればよ
い。
【０００６】MPEG-4 Video等のような画像オブジェクト
をシーン中に配置する場合、図２５に示すようにシーン
の座標中におけるオブジェクトの配置位置を指定する。
配置位置はシーン記述中に記述される。配置位置の指定
は二次元座標、三次元座標を設定する方法の他に、「画
像左下に配置」といったような整列制約により指定され
ることもある。オブジェクトの位置の基準として、図２
５ではオブジェクトを内包する矩形領域の中心を使用し
ているが、オブジェクトの重心やオブジェクトを内包す
る領域の左上などを基準にする場合もある。すなわち、
オブジェクトの配置は、オブジェクトの基準位置を配置
することによって行われる。
【０００７】しかし、入力動画像やグラフィックデータ
中のオブジェクトが変形した場合、シーン記述によって
配置されたオブジェクトがシーン中で移動してしまうと
いう問題があった。図２５のフレーム１では、入力画像
からセグメンテーションされたオブジェクトを、オブジ
ェクトを内包する矩形領域の中心が配置位置ａとなるよ
うに配置するシーン記述を作成している。フレーム２に
おいてオブジェクトが変形すると、そのオブジェクトを
内包する矩形領域も変化し、従って本来の入力画像やグ
ラフィックデータ中では移動していなかったオブジェク
トが、記述されたシーン中では不要な移動を生じてしま
う、という問題が生じる。記述されたシーン中でも、本
来の入力画像やグラフィックデータ中で移動していない
部分は、シーン中でも移動せずに表示することが望まれ
ていた。さらに、オブジェクトが入力画像やグラフィッ
クデータ中で移動した場合には、シーン記述によって記
述されるシーン中にその移動を反映してオブジェクトを
配置したいという要求に、従来技術では応えられなかっ
た。つまり、記述されたシーン中でも、本来の入力画像
上と同様に望ましい位置に配置するために、配置位置を
図中ｂのように変更することが望まれていたが従来技術
ではできなかった。
【０００８】また、シーン記述では画像やグラフィック
データをオブジェクトとして取り込むのではなく、テク
スチャとして使用し、シーン中の他の物体表面に張り付
ける、というように使用されることも多い。図２６は、
画像オブジェクトを立方体の表面に張り付ける例を示し
ている。ISO14496-1で規定されているMPEG-4 Systemsの
シーン記述を例に取ると、画像をテクスチャとして使用
する場合、画像は二次元テクスチャ座標系であるs-t座
標の0から1の範囲にあるとみなされる。これをテクスチ
ャマップと呼ぶ。オブジェクトの表面にテクスチャを張
り付ける場合は、テクスチャマップ中のどの部分を使用
するか、テクスチャ座標で指定を行う。図２６のように
立方体もしくは直方体にテクスチャを貼り付ける場合
は、立方体もしくは直方体の各面独立にテクスチャマッ
プのs-t両方向の0から1に相当する領域が貼り付けられ
る。しかし、セグメンテーションされたオブジェクトを
使用している場合、図２６のフレーム２のようにオブジ
ェクトが変形し、オブジェクトを内包する領域も変形し
てしまうと、テクスチャ画像の画枠が変化してしまう。
テクスチャ画像の画枠が変わっても、画枠全体を０から
１とするテクスチャマップが使用されるため、貼り付け
られたテクスチャは入力画像中の変化とは異なる変形を
受けてしまうという問題があり、記述されたシーン中で
も本来の入力画像やグラフィックデータと同様に表示さ
れる事が望まれていた。
【０００９】
【発明が解決しようとする課題】ところで、静止画像信
号、動画像信号やグラフィックデータなどをセグメンテ
ーションしたオブジェクトを、画面中に配置して新しい
シーンを記述する場合、上述したように、画像やグラフ
ィックデータ中のオブジェクトの変形により、以下のよ
うな問題点が生じた。
【００１０】先ず、第１の問題は、オブジェクトが変形
し、オブジェクトを内包する領域も変形すると、シーン
記述で記述されたシーン中で、オブジェクトに不要な移
動が生じてしまうことである。また入力画像やグラフィ
ックデータ中でのオブジェクトの移動をシーン中のオブ
ジェクトの移動に反映させることが出来ないことであ
る。
【００１１】第２の問題は、セグメンテーションした画
像やグラフィックデータをテクスチャとしてシーン記述
で使用する場合、オブジェクトが変形し、オブジェクト
を内包する領域も変形すると、シーン記述で記述された
シーン中へ貼り付けるテクスチャが歪んでしまうことで
ある。また入力画像やグラフィックデータ中でのオブジ
ェクトの移動をテクスチャの移動に反映させることが出
来ないことである。
【００１２】そこで本発明の目的は、上記の問題点を解
決し、入力画像やグラフィックデータ上でのオブジェク
トが変形してもシーン記述で記述されたシーン中で不要
な移動や歪みを生じさせず、また入力画像やグラフィッ
クデータ中でのオブジェクトの移動をシーン中のオブジ
ェクトの移動やテクスチャの移動に反映させることが可
能な、シーン記述生成装置及び方法、並びにオブジェク
ト抽出装置及び方法の提供である。
【００１３】
【課題を解決するための手段】本発明に係るシーン記述
生成装置は、上記課題を解決するために、入力画像から
オブジェクトを抽出するときにオブジェクトの位置情報
を出力するオブジェクト抽出手段と、上記オブジェクト
抽出手段により出力された上記位置情報に基づいてシー
ン中でのオブジェクトの配置位置に関するシーン記述情
報を生成するシーン記述生成手段とを備える。
【００１４】本発明に係るシーン記述生成装置は、上記
課題を解決するために、入力画像からオブジェクトを抽
出するオブジェクト抽出手段と、 上記オブジェクト抽
出手段により抽出されたオブジェクトの位置情報を検出
する位置情報検出手段と、上記位置情報検出手段により
検出されたオブジェクトの位置情報に基づいてシーン中
でのオブジェクトの配置位置に関するシーン記述情報を
生成するシーン記述生成手段とを備える。
【００１５】本発明に係るシーン記述生成方法は、上記
課題を解決するために、入力画像からオブジェクトを抽
出するときにオブジェクトの位置情報を出力するオブジ
ェクト抽出工程と、上記オブジェクト抽出工程により出
力された上記位置情報に基づいてシーン中でのオブジェ
クトの配置位置に関するシーン記述情報を生成するシー
ン記述生成工程とを備える。
【００１６】本発明に係るシーン記述生成方法は、上記
課題を解決するために、入力画像からオブジェクトを抽
出するオブジェクト抽出工程と、上記オブジェクト抽出
工程により抽出されたオブジェクトの位置情報を検出す
る位置情報検出工程と、上記位置情報検出工程により検
出されたオブジェクトの位置情報に基づいてシーン中で
のオブジェクトの配置位置に関するシーン記述情報を生
成するシーン記述生成工程とを備える。
【００１７】本発明に係る記録媒体は、上記課題を解決
するために、入力画像からオブジェクト抽出装置が抽出
したオブジェクトから検出された位置情報を記録してい
る。
【００１８】本発明に係る記録媒体は、上記課題を解決
するために、入力画像からオブジェクト抽出装置が抽出
したオブジェクトから検出された位置情報を記録してい
る。
【００１９】本発明に係る記録媒体は、上記課題を解決
するために、オブジェクト抽出装置が入力画像からオブ
ジェクトを抽出するときに出力した位置情報を用いて生
成された、シーン中でのオブジェクトの配置位置に関す
るシーン記述情報を記録している。
【００２０】本発明に係る記録媒体は、上記課題を解決
するために、入力画像からオブジェクト抽出装置が抽出
したオブジェクトから検出された位置情報を用いて生成
された、シーン中でのオブジェクトの配置位置に関する
シーン記述情報を記録している。
【００２１】このように、本発明では、静止画像信号・
動画像信号やグラフィックデータなどからオブジェクト
抽出手段及び工程でセグメンテーションしたオブジェク
トを、画面中に配置して新しいシーンを記述する場合、
上記オブジェクト抽出手段となるセグメンテーション器
がオブジェクトを内包する領域の入力画像やグラフィッ
クデータ中における位置情報を出力する。シーン記述生
成手段及び工程は、出力された位置情報に基づいてオブ
ジェクトの配置位置を決定することにより、オブジェク
トを内包する領域が変形・移動してもシーン記述により
記述されるシーン中では望ましい位置にオブジェクトを
配置することが可能となる。また、セグメンテーション
したオブジェクトをテクスチャとしてシーン記述で使用
する場合にも、セグメンテーション器から出力された位
置情報に基づいてテクスチャ座標を変換したシーン記述
を生成することにより、シーン中で貼り付けるテクスチ
ャの歪みを回避し、またオブジェクトの移動をテクスチ
ャに反映させる事を可能とする。もしくは、テクスチャ
を貼り付ける対象の物体の大きさか、テクスチャ位置を
変更することによってテクスチャの歪みを回避可能とす
る。
【００２２】また、オブジェクトを内包する領域の画像
やグラフィックデータ中の位置情報が、セグメンテーシ
ョンされたオブジェクトのデータ内に含まれている場合
には、オブジェクトのデータを入力として位置情報を抽
出する位置情報検出手段により、同様に位置情報を利用
可能とし、シーン中の不要な移動や歪みを回避する。
【００２３】さらに、複数の画像やグラフィックデータ
のフレームにおけるオブジェクトを内包するように領域
を決定してセグメンテーションすることにより、配置位
置の変更回数を減らす、もしくは変更を不要とすること
を可能とする。また特に、オブジェクトを内包するよう
に領域を入力画像やグラフィックデータの画枠に設定す
ることにより、配置位置の変更を不要にする。
【００２４】
【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。この実施の形態では、入力画像から画像オ
ブジェクトを抽出すると共に、シーン記述を生成する編
集システムをいくつかの実施例として挙げる。これら編
集システムは、以下に、ハードウェアの構成として示す
が、本発明のシーン記述生成方法、オブジェクト抽出方
法をプログラムとしてコンピュータに実行させることに
よっても実現できるのはもちろんである。また、後述す
る位置情報や、シーン記述を記録媒体に記録して持ち運
び可能とすることにより、手軽に編集システムを構築す
ることも可能となる。
【００２５】先ず、本発明の第１の実施例を、図１〜図
３を用いて説明する。入力画像に対する画像処理部１０
０と、この画像処理部１００で作成された位置情報を用
いてシーンを記述するシーン記述処理部１０５とを備え
てなる。画像処理とシーン記述処理は独立した過程で行
われるものではない。詳細は後述するが、画像処理部１
００のセグメンテーション器１０２が出力した位置情報
１０８を、シーン記述処理部１０５のシーン記述生成器
１０６が利用する。
【００２６】画像処理部１００では、入力画像１０１を
入力とし、セグメンテーション器１０２が画像オブジェ
クト１０４へセグメンテーションする。セグメンテーシ
ョンは、特定の色成分を持つ背景を分離するクロマキー
と呼ばれる手法や、明度勾配によりオブジェクトの輪郭
を切り抜く方法や、手動による輪郭の指定などどのよう
な方法で行われても良い。本発明におけるセグメンテー
ション器１０２は、オブジェクトを内包する矩形領域の
幅と高さおよび矩形領域の入力画像中の位置を位置情報
１０８として出力する。セグメンテーションされた画像
オブジェクトは、MPEG-4画像符号化器１０３によって符
号化されることがある。ISO14496-2で規定されているMP
EG-4 videoでは、入力画像の１フレームに相当する画像
オブジェクト毎に、オブジェクトを内包する矩形領域の
幅と高さおよび矩形領域の左上の位置を符号化すること
になっているため、セグメンテーション装置はそれらの
値を画像符号化器に渡すだけではなく、位置情報１０８
としてシーン記述生成でも利用できるように出力すれば
よい。一方、MPEG-4シーン記述生成器１０６は、多くの
場合どのようなシーンを構成したいかという指定に基づ
いて、ISO14496-1に規定されたMPEG-4 Systemsのシーン
記述１０７を生成する。この時、MPEG-4シーン記述生成
器１０６は、セグメンテーション器１０２から出力され
た位置情報１０８を参照し、シーン中のオブジェクト配
置位置を決める。位置情報１０８を参照することによ
り、オブジェクトが変形した場合にも、シーン記述で記
述されたシーン中でオブジェクトに不要な移動が起こる
ことを回避できる。また、後述するが、画像をテクスチ
ャとして使用する場合には、位置情報を参照してテクス
チャ座標変換を行う。
【００２７】図２には入力画像から画像オブジェクトを
セグメンテーションしたときに生成する位置情報の具体
例を示す。位置情報として、オブジェクトを内包する矩
形領域の横方向サイズvop_widthと縦方向サイズvop_hei
ghtおよび入力画像中の領域左上のx座標vop_horizontal
_mc_spatial_refとy座標vop_vertical_mc_spatial_ref
を用いる。連続する入力画像のフレーム１からフレーム
２において、オブジェクトは入力画像中で移動し、かつ
変形することによってオブジェクトを内包する領域のサ
イズも変化している。矩形領域の横方向サイズ変化分を
Δw、縦方向サイズ変化分をΔhとする。これらの値はオ
ブジェクトの変形により生じる変化分であり、位置情報
から以下のように算出できる。
【００２８】 Δｗ＝vop_width2−vop_width1 Δｈ＝vop_height2−vop_height1 また、オブジェクトを内包する領域位置の横方向の移動
分をΔh_ref、縦方向の移動分をΔv_refとする。これら
の値はオブジェクトの変形と移動双方によって生じる変
化分であり、位置情報から以下のように算出できる。
【００２９】Δh_ref＝vop_horizontal_mc_spatial_ref
2−vop_horizontal_mc_spatial_ref1 Δv_ref＝vop_vertical_mc_spatial_ref2−vop_vertica
l_mc_spatial_ref1 オブジェクトをシーン中に配置する場合、従来の技術で
述べたように、シーン中の同じ配置位置にオブジェクト
を配置し続けると、シーン中のオブジェクトは、入力画
像では存在しなかった不要な移動を生じてしまう。この
問題を回避するために、第１の実施例におけるシーン記
述生成器１０６は、セグメンテーション器１０２が出力
した位置情報１０８を参照してシーン中の配置位置を変
更することにより、オブジェクトをシーン中の望ましい
位置に配置する。
【００３０】次に、図３には位置情報を参照したシーン
中への画像オブジェクトの配置を表す。図３の（ａ）は
入力画像中でのオブジェクトの移動分をシーン中でも反
映させて配置したい場合を示す。また、図３の（ｂ）に
は移動成分を取り除いて配置したい場合を示している。
【００３１】まず、図３の（ａ）に示す、入力画像中の
オブジェクトの移動を反映したい場合、オブジェクトの
変形による矩形領域の変形の影響を取り除かなければな
らない。従来の技術では、入力画像中のオブジェクトの
移動成分が未知であったため、実現することが出来なか
った。上記第１の実施例では、フレーム２のオブジェク
トを配置するシーン２中におけるオブジェクトの配置位
置(X2,Y2)を、フレーム１のオブジェクトを配置してい
たシーン１中の配置位置(X1,Y1)から、式１ａおよび１
ｂで示したように変更する。
【００３２】 X2=X1+Sx×ΔX ---(１ａ) Y2=Y1-Sy×ΔY ---(１ｂ) 式１ａおよび１ｂ中のSxおよびSyは、オブジェクトをシ
ーン中に配置する際に行う拡大・縮少処理のための係数
であり、任意の値を設定できる。なお、MPEG-4 videoに
おける縦方向の座標軸yと、MPEG-4 Systemsにおける二
次元座標の縦方向座標軸Yは向きが逆であるために、式
１ｂ右辺の第二項の符号が、式１ａとは逆になってい
る。また、矩形領域の位置はMPEG-4 videoでは矩形領域
左上の座標が用いられるが、MPEG-4 Systemsのシーン記
述では矩形領域の中心が用いられる。ΔXおよびΔYは、
入力画像中における矩形領域の移動量からオブジェクト
の変形に起因する矩形領域変形の影響を差し引いたもの
で、式２ａおよび２ｂのように表せる。
【００３３】 ΔX=Δh_ref + (Δw/2) ---(２ａ) ΔY=Δv_ref + (Δh/2) ---(２ｂ) 一方、図３の（ｂ）に示すように入力画像中のオブジェ
クトの移動を取り除き、シーン中の特定の位置にオブジ
ェクトを配置したい場合には以下のようになる。従来の
技術では、オブジェクトの変形に伴ってオブジェクトを
内包する矩形領域が変形する影響により、シーン中に配
置したオブジェクトには不要な移動が生じてしまうとい
う問題があった。本発明では、位置情報中のオブジェク
トを内包する矩形領域のサイズを使用することで、不要
な移動を取り除く事ができる。図３の（ｂ）に示すよう
に、オブジェクトの下端を合わせてシーン中に配置した
い場合は、式１ｂにおける変化分ΔYを式３ａのように
設定し、上端を合わせて配置したい場合は式３ｂのよう
に設定すればよい。また、オブジェクトの左端を合わせ
てシーン中に配置したい場合は、式１ａにおける変化分
ΔXを式３ｃのように設定し、上端を合わせて配置した
い場合は式３ｄのように設定すればよい。
【００３４】 ΔY=-Δh/2 ---(３ａ) ΔY= Δh/2 ---(３ｂ) ΔX= Δh/2 ---(３ｃ) ΔX=-Δh/2 ---(３ｄ) いずれも、オブジェクト変形に伴う矩形領域変形が、シ
ーン記述で記述されるシーン中の配置に及ぼす影響を、
位置情報を用いて補正することにより、シーン中での不
要なオブジェクトの移動を取り除くことが可能になって
いる。
【００３５】本発明の位置情報を参照するシーン記述生
成方法によれば、上記の入力画像中の移動を反映した
り、移動成分を取り除いたりしてシーン中に配置する他
にも、矩形領域のサイズに基づいて式１ａおよび式１ｂ
中のSxおよびSyを調整するというような位置情報の利用
方法も可能である。
【００３６】ISO14496-1で規定されているMPEG-4 Syste
msのシーン記述では、時間とともにシーン記述の内容を
変更するアップデート機能や、シーン記述中の任意のノ
ードの任意のフィールド値を変更するアニメーションと
呼ばれる機能が存在する。従って、シーン中のオブジェ
クト配置位置は、上記のアップデート機能やアニメーシ
ョン機能によって、シーン全体を変更しなくとも、必要
な配置位置の変更のみ行うことができる。また、Script
と呼ばれるプログラマブルな動作をシーン記述中に埋め
込む方法や、シーン記述の外部からシーン記述の内容を
直接書き換える方法などでも実現可能である。
【００３７】なお、図２，図３では二次元のシーン記述
に基づいて二次元のシーンを表示する例を示している
が、三次元のシーンを記述し、二次元の表示装置へ表示
する際に二次元へ投影する場合にも、本発明は適用可能
である。三次元座標中にオブジェクトを配置する場合に
は、オブジェクトを含む平面上で式１ａおよび１ｂの平
行移動を行ってから三次元座標中に配置するのと等価と
なるように、オブジェクトの配置位置を決定すればよ
い。
【００３８】次に、本発明の第２の実施例を、新たに図
４〜図１２を用いて説明する。上記第１の実施例では、
画像オブジェクトをシーン中に直接配置する場合を示し
た。第２の実施例では、セグメンテーションされた画像
をテクスチャとしてシーン内で使用する。システムの構
成は上記図１に示したのと同様である。
【００３９】このシステムの中、シーン記述処理部１０
５のMPEG-4シーン記述生成器１０６は、多くの場合どの
ようなシーンを構成したいかという指定に基づいて、IS
O14496-1に規定されたMPEG-4 Systemsのシーン記述１０
７を生成する。この時、MPEG-4シーン記述生成器１０６
は、セグメンテーション器１０２が出力した位置情報１
０８を参照し、シーン中の物体表面に張り付けるテクス
チャとして使用する、セグメンテーションされた画像の
テクスチャ座標を設定する。位置情報１０８を参照する
ことにより、オブジェクトが変形した場合にも、シーン
記述で記述されたシーン中へ貼り付けるテクスチャが歪
んでしまうことを回避できる。さらに、入力画像中のオ
ブジェクトの移動をテクスチャに反映させることは従来
技術では出来なかったが、本発明では位置情報１０８を
参照することにより実現される。
【００４０】図４は入力画像のセグメンテーションと位
置情報の概念を示す図である。図５〜図８はセグメンテ
ーションされた画像をテクスチャとして使用する場合の
テクスチャマップとテクスチャ座標の設定について示し
ている。
【００４１】図４において位置情報として、オブジェク
トを内包する矩形領域の横方向サイズvop_widthと縦方
向サイズvop_heightおよび入力画像中の領域左上のx座
標vop_horizontal_mc_spatial_refとy座標vop_vertical
_mc_spatial_refを用いるのは上記図２で説明したのと
同様である。ここでも、連続する入力画像のフレーム１
からフレーム２において、オブジェクトは入力画像中で
移動し、かつ変形することによってオブジェクトを内包
する領域のサイズも変化している。矩形領域の横方向サ
イズ変化分をΔw、縦方向サイズ変化分をΔhとする。こ
れらの値はオブジェクトの変形により生じる変化分であ
り、位置情報から上述したのと同様に、 Δｗ＝vop_width2−vop_width1 Δｈ＝vop_height2−vop_height1 として求められる。
【００４２】また、オブジェクトを内包する領域位置の
横方向の移動分をΔh_ref、縦方向の移動分をΔv_refと
したとき、これらの値はオブジェクトの変形と移動双方
によって生じる変化分であり、位置情報から上述したと
おり以下のように算出できる。
【００４３】Δh_ref＝vop_horizontal_mc_spatial_ref
2−vop_horizontal_mc_spatial_ref1 Δv_ref＝vop_vertical_mc_spatial_ref2−vop_vertica
l_mc_spatial_ref1 従来の技術では、セグメンテーションされた画像は二次
元テクスチャ座標系であるs-t座標の0から1の範囲にあ
るとみなされる。これをテクスチャマップと呼ぶ。フレ
ーム１のテクスチャマップをシーン１中の物体表面に貼
り付ける様子を図５に示す。しかし、これでは、入力画
像中でオブジェクトが変形した場合にも、オブジェクト
を内包する矩形領域が、テクスチャ座標系であるs-t座
標の0から1の範囲にあるとみなされ、シーン中で貼り付
けたテクスチャは歪みが生じてしまう。図６に示すよう
に、フレーム２でのオブジェクトがフレーム１から変形
したときにも、オブジェクトを内包する矩形領域が、s-
t座標の0から1の範囲にあるとみなされるので、テスク
チャを貼り付けたシーン２中の物体には歪みが生じてし
まう。
【００４４】そこで、この第２の実施例のシステム中の
シーン記述生成器１０６は、セグメンテーション器１０
２が出力した位置情報１０８を参照してテクスチャマッ
プに適用するテクスチャ座標を変換することにより、歪
みの無いテクスチャの貼り付けを可能にする。なお、テ
クスチャマップ自体を変換するのではなく、テクスチャ
座標を変換するのは、MPEG-4 Systemsにおけるシーン記
述中のTextureTransformと呼ばれるノードが、テクスチ
ャ座標の拡大 縮少および平行移動の機能を有している
ためであり、他のシーン記述を使用する場合には、テク
スチャ座標に対してテクスチャマップ自体を変換しても
構わない。
【００４５】まず、入力画像中のオブジェクト変形に伴
ってオブジェクトを内包する領域が変形した場合にも歪
みの無いテクスチャをシーン中に貼り付けるために、図
７に示すようにテクスチャ座標の横方向s軸をvop_width
1/vop_width2倍し、縦方向t軸をvop_height1/vop_heigh
t2倍する。これらの値がオブジェクトのサイズ変化率の
逆数となっているのはテクスチャ座標を変換しているた
めであり、テクスチャマップが相対的にオブジェクトの
サイズ変化率と同等の拡大縮少を受けたのと等価であ
る。この処理により、入力画像中におけるオブジェクト
変形をテクスチャマップに反映させることができ、結果
としてシーン中の物体表面に貼り付けられるテクスチャ
の歪みを回避することができる。なお、図７においては
テクスチャ画像の左下を前フレームのテクスチャ画像の
左下と合わせる場合を示したが、これはMPEG-4 Systems
におけるシーン記述中のTextureTransformと呼ばれるノ
ードの座標軸拡大・縮少を行う際に指定するcenterとい
うフィールドの値を、(t,s)=(0,0)に設定した例であ
り、他の位置を合わせてもよい。例えばcenterの値を
(0, 1.0)に設定すると、軸の拡大・縮少は画像の左上の
位置を合わせるように行われ、centerの値を(0.5, 0.5)
に設定すれば、前フレームのテクスチャ画像と中心が合
うように拡大・縮少される。
【００４６】一方、入力画像中のオブジェクトの移動を
反映して、シーン中にテクスチャを貼り付けたい場合も
考えられる。この第２の実施例では、位置情報１０８を
参照することにより、移動を反映させることが可能であ
る。図８に示したように、テクスチャ座標をテクスチャ
マップに対して横方向のs軸方向にΔs、縦方向のt軸方
向にΔt平行移動する。
【００４７】 Δs = -Δh_ref/vop_width2 ---(４ａ) Δt = (Δv_ref+Δh)/vop_height2 ---(４ｂ) Δh_refとΔv_refは、それぞれオブジェクトを内包する
領域の左上座標の横方向と縦方向の座標変化であり、Δ
hは、上記領域の縦方向のサイズ変化である。式４ａお
よび４ｂの右辺分母の項数が異なるのは、オブジェクト
を内包する領域の位置が領域左上の点を基準に表される
のに対し、テクスチャ座標の原点は初期状態ではテクス
チャマップの左下にあたるためである。前述したテクス
チャ座標の拡大 縮少による歪みの回避と組み合わせて
使用する場合は、さらにs軸とt軸の拡大・縮少をおこな
う。MPEG-4 Systemsにおけるシーン記述中のテクスチャ
座標変換は、平行移動の後に拡大・縮少が行われるた
め、式４ａおよび４ｂ右辺の分母は、フレーム２におけ
る矩形領域サイズを使用して、縦軸横軸を0から1の範囲
に正規化している。なお、図８の式４ａおよび４ｂで
は、平行移動の後に上記centerの値を(0,0)に設定し
て、テクスチャ座標の横方向s軸をvop_width1/vop_widt
h2倍し、縦方向t軸をvop_height1/vop_height2倍してい
る。
【００４８】以上に説明したように、この第２の実施例
では位置情報を参照してシーン記述中のテクスチャ座標
を変換することにより、従来の技術で問題となっていた
テクスチャの歪みを解決するとともに、従来の技術では
不可能であった入力画像中の移動を反映したテクスチャ
の貼り付けが可能となる。
【００４９】オブジェクトが変形した場合にテクスチャ
が歪むという問題点を解決するために、上記のようにテ
クスチャ座標を変換する他に、テクスチャを貼り付ける
物体の大きさを変更する方法もある。図９は、物体の大
きさを変更することによってテクスチャの歪みを回避す
る場合を示している。テクスチャ座標を変換した上記の
例と同様に、オブジェクトのサイズが変化した場合に
も、テクスチャマップはテクスチャ座標中の0から1の範
囲にあるとみなされる。そこで、テクスチャを貼り付け
る対象の物体のサイズを、入力画像中でのオブジェクト
のサイズ変更と同様の割合で拡大・縮少することで、テ
クスチャの歪みを無くすことができる。なお、物体のサ
イズは、貼り付けるテクスチャのs軸およびt軸に相当す
る方向に対して、それぞれ横方向および縦方向の入力画
像中のオブジェクトのサイズ変化率を乗じることで設定
する。
【００５０】さらに、オブジェクトが変形した場合にテ
クスチャが歪むという問題点を解決するために、上記の
ようにテクスチャ座標を変換する、もしくはテクスチャ
を貼り付ける物体の大きさを変更する他に、物体に貼り
付けるテクスチャの位置を変更する方法もある。
【００５１】図１０〜図１２は、シーン中の三つの頂点
から成る物体にテクスチャを貼り付ける例を示してい
る。以下、この物体をポリゴンと呼ぶ。ポリゴンにテク
スチャを貼り付けるには、テクスチャマップ中のどの位
置のテクスチャを使用するかを頂点毎に指定する。図１
０中では、テクスチャマップ中の三点A、B、Cの位置を
指定することにより、テクスチャの位置指定を行ってい
る。
【００５２】しかし、上記図４に示したようにオブジェ
クトが変形した場合にも、テクスチャマップはテクスチ
ャ座標中の0から1の範囲にあるとみなされるため、A、
B、Cの位置が同じなままであれば、貼り付けられるテク
スチャには図１１に示すように歪みが生じてしまう。そ
こで本発明では、A、B、Cのテクスチャ座標中における
位置を、入力画像中でのオブジェクトのサイズ変更と同
様の割合で、図１２に示すようにA'、B'、C'と移動する
ことで、テクスチャの歪みを無くすことができる。A'、
B'、C'のs座標およびt座標は、それぞれ横方向および縦
方向の入力画像中のオブジェクトのサイズ変化率を乗じ
ることで設定する。さらに入力画像中のオブジェクトの
移動を反映してテクスチャを貼り付けたい場合には、
A'、B'、C'のテクスチャ座標中における位置を平行移動
すればよく、上記したテクスチャ座標変換での平行移動
と等価の効果がある。
【００５３】上記のように、テクスチャ座標を変換す
る、もしくはテクスチャを貼り付ける物体の大きさを変
更する、もしくは物体に貼り付けるテクスチャの位置を
変更することにより、オブジェクトが変形した場合にテ
クスチャが歪むという従来技術の問題点を解決できる。
これは、本発明が入力画像中のオブジェクトの位置情報
を使用できることにより可能となっている。
【００５４】次に、本発明の第３の実施例を、新たに図
１３〜図１６を用いて説明する。この編集システムは、
図１３に示すように、入力画像６０１に対する画像処理
部６００と、この画像処理部６００から出力された画像
オブジェクト６０４から位置情報６０８を検出する位置
情報検出器６０９と、位置情報検出器６０９が検出した
位置情報６０８を基にシーン記述６０７を出力するシー
ン記述処理部６０５とを備えてなる。
【００５５】画像処理部６００では、入力画像６０１を
入力とし、セグメンテーション器６０２が画像オブジェ
クトをセグメンテーションし、この画像オブジェクトを
MPEG-４画像符号化器６０３が符号化して画像オブジェ
クト６０４を出力する。
【００５６】位置情報検出器６０９は、画像オブジェク
トデータを入力とし、入力画像中のオブジェクト位置情
報を抽出する。
【００５７】シーン記述処理部６０５では、位置情報検
出器６０９が上記画像オブジェクト６０４から検出した
位置情報６０８を入力としてMPEG-４シーン記述生成器
６０６にシーン記述６０７を生成させる。MPEG-４シー
ン記述生成器６０６は、オブジェクト位置情報を参照
し、シーン中のオブジェクト配置位置を決める。
【００５８】つまり、上記第１および第２の実施例との
違いは、画像処理部６００内部のセグメンテーション器
６０２が位置情報を出力する代わりに、位置情報検出器
６０９が画像オブジェクトのデータ６０４を入力として
位置情報６０８を検出する点である。実施例１および２
のように位置情報を出力可能なセグメンテーション器１
０２ではないセグメンテーション器によって既にセグメ
ントされ、符号化されている画像オブジェクトを使用す
る場合にも有効となる。
【００５９】MPEG-4画像符号化器６０３でのMPEG-4vide
o符号化により得られる画像オブジェクトの符号化デー
タ構造について図１４〜図１６を用いて説明する。図１
４は入力画像系列中のオブジェクトを内包する矩形領域
を示す図である。図１５は画像オブジェクトを示す図で
ある。図１６は画像オブジェクトの符号化データのフォ
ーマット図である。
【００６０】図１４に示した入力画像系列のフレーム中
の図１５に示した画像オブジェクトに相当するデータを
VideoObjectPlaneと呼ぶ。位置情報として、第１の実施
例および第２の実施例で述べたオブジェクトを内包する
矩形領域のサイズと座標が、VideoObjectPlane毎に図１
６に示すように画像オブジェクトデータ中に符号化され
ている。従って、位置情報検出器６０９は画像オブジェ
クトの符号化データを入力とし、位置情報６０８を検出
することができる。シーン記述生成器６０６の動作は、
第１の実施例および第２の実施例と同様である。
【００６１】なお、画像オブジェクトの符号化方法は、
MPEG-4 videoに限らない。位置情報も共に符号化可能な
符号化方式ならば、本発明を適用できる。また、第１の
実施例および第２の実施例で述べた位置情報を出力する
セグメンテーション器１０２と併用することも可能であ
る。例えば入力画像中におけるオブジェクトの位置はセ
グメンテーション器１０２が出力し、矩形領域のサイズ
は第３の実施例の位置情報検出器６０９が抽出すること
も可能である。
【００６２】次に、本発明の第４の実施例を、新たに図
１７を用いて説明する。このシステムにおいてセグメン
テーションとシーン記述作成を行うシステムの構成は上
記図１又は上記図１３に示したとの同様に構成できる。
【００６３】この第４の実施例では、入力された画像を
オブジェクトへセグメンテーションし、セグメンテーシ
ョンされたオブジェクトをシーン中で使用するシーン記
述を生成する際に、入力画像中のオブジェクトが変形す
る度にシーン中の配置位置やテクスチャ座標もしくはテ
クスチャを貼り付ける対象物体のサイズあるいは貼り付
けるテクスチャの位置等を変更することを回避する目的
で、セグメンテーション器１０２又は６０２はオブジェ
クトを内包する領域を、複数フレーム分のオブジェクト
を全て内包する領域に設定する。
【００６４】図１７は、複数フレームで共通の矩形領域
を設定する様子を示している。あるオブジェクトについ
て、フレームｎからフレームｎ＋ｋまでの全てのフレー
ムでオブジェクトが内包される領域を決定し、決定した
領域をフレームｎからフレームｎ＋ｋまでの全てのフレ
ームで共通に使用する。なお、セグメンテーションされ
た画像オブジェクトを符号化する場合には、上記のよう
に決定した領域を使用して符号化する。オブジェクトを
内包する領域が変形・移動しないため、フレームｎから
フレームｎ＋ｋまでの間はシーン中のオブジェクト配置
位置を変更しなくても、シーン中に配置されたオブジェ
クトは本来の入力画像中には無かった不要な移動を生じ
てしまうことはなくなる。また、セグメンテーションさ
れた画像をテクスチャとして使用する場合にも、オブジ
ェクトを内包する領域が変形・移動しないため、テクス
チャが歪むことはなく、従来の技術での問題点を回避す
ることが可能である。フレームｎからフレームｎ＋ｋま
での間はシーン中のオブジェクト配置位置を変更しなく
ても良いため、上記第１の実施例から第３の実施例で参
照した位置情報１０８又は６０８は、フレームｎからフ
レームｎ＋ｋまでの間は変更する必要が無い。さらに、
フレームｎからフレームｎ＋ｋまでの間は、シーン記述
中のオブジェクトの配置位置やテクスチャ座標もしくは
テクスチャを貼り付ける対象物体のサイズあるいは貼り
付けるテクスチャの位置等を変換する必要も無くなる。
【００６５】この第４の実施例において矩形領域を決定
する際に、入力画像系列全てにおいて共通な矩形領域を
設定すれば、シーン中のオブジェクト配置位置やテクス
チャ座標もしくはテクスチャを貼り付ける対象物体のサ
イズあるいは貼り付けるテクスチャの位置等を変換する
必要は全く無くなり、第１の実施例から第３の実施例に
おける位置情報も更新する必要を無くすことができる。
【００６６】次に、本発明の第５の実施例を、図１８を
用いて説明する。このシステムにおいてもセグメンテー
ションとシーン記述作成を行うシステムの構成は上記図
１又は上記図１３に示したとの同様に構成できる。
【００６７】この第５実施例では、入力された画像をオ
ブジェクトへセグメンテーションし、セグメンテーショ
ンされたオブジェクトをシーン中で使用するシーン記述
を生成する際に、入力画像中のオブジェクトが変形もし
くは移動する度にシーン中の配置位置やテクスチャ座標
もしくはテクスチャを貼り付ける対象物体のサイズある
いは貼り付けるテクスチャの位置等を変更することを回
避する目的で、セグメンテーション器はオブジェクトを
内包する領域を、入力画像の画枠全体に設定する。
【００６８】図１８は、オブジェクトを内包する領域を
入力画像の画枠全体に設定する様子を示している。オブ
ジェクトは入力画像の一部であるから、入力画像の画枠
内に必ず内包されることは自明である。領域を入力画像
の画枠全体に設定すれば、領域の位置情報が全く変化し
ないことも自明である。従って、位置情報を更新する必
要は全く無くなる。また、オブジェクトを内包する領域
が変化しないため、シーン中のオブジェクト配置位置を
変更しなくても、シーン中に配置されたオブジェクトは
本来の入力画像中には無かった不要な移動を生じること
はない。また、セグメンテーションされた画像をテクス
チャとして使用する場合にも、オブジェクトを内包する
領域が変形・移動しないため、テクスチャが歪むことは
なく、従来の技術での問題点を回避することが可能であ
る。シーン中のオブジェクト配置位置を変更しなくても
良いため、上記第１の実施例から第３の実施例で参照し
た位置情報は更新する必要がない。さらに、矩形領域左
上のx座標vop_horizontal_mc_spatial_refとy座標vop_v
ertical_mc_spatial_refは、ともに0であることが自明
であり、矩形領域のサイズvop_widthおよびvop_height
はともに入力画像の画枠の幅と高さに等しい。従って、
これらが既知であるとみなせる場合は、位置情報が不要
となり、セグメンテーションとシーン記述作成を行うシ
ステムの構成は、従来の技術の構成と同じにすることが
できる。
【００６９】なお、セグメンテーションした画像オブジ
ェクトをMPEG-4 video符号化方式で符号化する場合に
は、上述したとおり、オブジェクトを内包する矩形領域
中で、オブジェクトのデータが存在しない符号化ブロッ
クは、「符号化データ無し」を意味するフラグのみを符
号化すればよいため、オブジェクトを内包する領域を画
枠全体に設定することによる符号化ビット量の増加は微
少である。
【００７０】本発明において、オブジェクトの符号化方
法は、MPEG-4 videoの符号化方法に限らない。他の符号
化方法を用いても、本発明は同様に有効である。また、
特に符号化しなくてもよい。入力は画像に限らずCG(Com
puter Graphics)等のグラフィックデータでもよい。シ
ーン記述をセグメンテーション器の入力として使用し、
その一部をセグメンテーションして新たなオブジェクト
を作成したり、新たなシーン記述中にそのオブジェクト
を配置する場合にも本発明は有効である。三次元のシー
ン記述をセグメンテーション機の入力として使用し、そ
の一部をセグメンテーションして新たな三次元オブジェ
クトを作成したり、新たなシーン記述中にそのオブジェ
クトを配置する場合にも、位置情報を三次元に拡張する
ことで本発明は有効である。シーン記述はMEPG-4 Syste
msのシーン記述に限らない。他のシーン記述において
も、位置情報に基づいて配置位置やテクスチャ座標もし
くは対象物体のサイズあるいはるテクスチャ位置等の補
正が行えれば、本発明による同様の効果が得られる。位
置情報は、領域のサイズと位置そのものでなくとも、同
様の情報を含んでいればよい。例えば、領域の位置は、
領域の中心でも左上でも、同様の情報を含んでいれば任
意の位置で良い。シーン記述の種類によっては、領域は
矩形でなくてもよく、オブジェクトの重心を位置情報と
して使用できる。従って、第１の実施例で述べたオブジ
ェクト配置位置の更新式と第２実施例で述べたテクスチ
ャ座標変換式は、位置情報の表しかたやシーン記述の種
類によって異なり、同等の効果を表す式で置き換えられ
る。
【００７１】また、位置情報は、変化があった時のみ出
力すればよい。MPEG-4 videoの符号化方法ではフレーム
間の時間間隔が一定でないことも許されており、どの時
間に表示すべきフレームでの位置情報であるかが分かる
ように出力されていればよい。入力画像が動画像ではな
く静止画像や時間変化しないグラフィックデータであっ
ても、シーン記述中の配置位置を決定する際に、本発明
の位置情報を参照することは有効である。位置情報が入
力画像やグラフィックデータ中の位置とサイズのどちら
か一方のみしか得られない場合にも、本発明におけるシ
ーン記述生成器は得られた位置情報のみを参照すること
により、配置位置の限定的な補正を行うことができる。
例えば入力画像やグラフィックデータ中の位置は得られ
ない場合でも、オブジェクトを内包する領域のサイズを
位置情報として参照可能な場合は、式３ａから式３ｄで
示したようにオブジェクトのシーン中の配置位置を決定
すれば、シーン中での不要なオブジェクトの移動を取り
除くことが可能になっている。
【００７２】
【発明の効果】本発明によれば、セグメンテーション器
がオブジェクトを内包する領域の画像やグラフィックデ
ータ中の位置情報を出力し、一方でシーン記述生成器
は、出力された位置情報に基づいてオブジェクトの配置
位置を決定することにより、オブジェクトをシーン中で
望ましい位置に配置することを可能とした。また、セグ
メンテーションしたオブジェクトをテクスチャとしてシ
ーン記述で使用する場合にも、セグメンテーション器か
ら出力された位置情報に基づいてテクスチャ座標を変換
したシーン記述を生成することにより、シーン中で貼り
付けるテクスチャの歪みを回避し、オブジェクトの移動
をテクスチャに反映させることも可能とした。もしく
は、テクスチャを貼り付ける対象の物体の大きさを変更
したり、物体に貼り付けるテクスチャ位置を変更するこ
とによってもテクスチャの歪みを回避可能とした。ま
た、オブジェクトのデータを入力として位置情報を抽出
する位置情報検出手段により、すでにセグメンテーショ
ン済みの画像オブジェクトやグラフィックデータオブジ
ェクトに対しても同様に位置情報を利用可能とし、シー
ン中の不要な移動除去や歪みの回避を実現した。
【００７３】さらに、複数の画像フレームやグラフィッ
クデータフレームにおけるオブジェクトを内包するよう
に領域を決定してセグメンテーションすることにより、
配置位置の変更回数を減らす、もしくは変更を不要とす
ることを可能とした。特に、オブジェクトを内包する領
域を入力画像やグラフィックデータの画枠全体に設定す
ることにより、位置情報の変更を完全に不要とした。こ
れは、従来技術のシステム構成を変更せずに実現できる
という効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施例となる編集システムの構
成を示すブロック図である。
【図２】入力画像から画像オブジェクトをセグメンテー
ションしたときに生成する位置情報の具体例を示す図で
ある。
【図３】位置情報を参照したシーン中への画像オブジェ
クトの配置を表す図である。
【図４】本発明の第２の実施例となる編集システムにお
ける、入力画像のセグメンテーションと位置情報の概念
を示す図である。
【図５】フレーム１のテクスチャマップをシーン１中の
物体表面に貼り付けた様子を示す図である。
【図６】フレーム１から変形したフレーム２に対して生
じるテクスチャの歪みを示す図である。
【図７】この第２の実施例における、テクスチャ座標軸
を拡大・縮小してからテクスチャマップに適用する具体
例を示す図である。
【図８】テクスチャ座標軸を平行移動してからテクスチ
ャマップに適用する具体例を示す図である。
【図９】対象の物体サイズを変更してからテクスチャを
貼り付ける具体例を示す図である。
【図１０】物体に貼り付けるテクスチャの位置を変更す
る方法を説明するための図である。
【図１１】オブジェクトが変形した場合における、テク
スチャを貼り付けた物体のシーン中の歪みを示す図であ
る。
【図１２】テクスチャの歪みを無くした具体例を示す図
である。
【図１３】本発明の第３の実施例となる編集システムの
構成を示すブロック図である。
【図１４】入力画像系列中のオブジェクトを内包する矩
形領域を示す図である。
【図１５】画像オブジェクトを示す図である。
【図１６】画像オブジェクトの符号化データのフォーマ
ット図である。
【図１７】本発明の第４の実施例の概念を示す図であ
る。
【図１８】本発明の第５の実施例の概念を示す図であ
る。
【図１９】静止画像信号、動画像信号及びグラフィック
データなどを画面中に配置して新しいシーンを記述する
シーン記述技術の概要を示す図である。
【図２０】セグメンテーションとシーン記述作成を行う
従来の編集システムの構成を示す図である。
【図２１】シーン記述の構造を示す図である。
【図２２】シーン記述の内容を示している図である。
【図２３】シーンの具体例を示す図である。
【図２４】入力画像Ｄ００中の楕円形のオブジェクトＤ
０１と背景のオブジェクトＤ０３をセグメンテーション
して符号化する具体例を示す図である。
【図２５】MPEG-4 Video等のような画像オブジェクトを
シーン中に配置する場合の課題を説明するための図であ
る。
【図２６】画像オブジェクトを立方体の表面に張り付け
る具体例を示す図である。
【符号の説明】
１００ 画像処理部、１０１ 入力画像、１０２ セグ
メンテーション器、１０３ MPEG-4画像符号化器、１０
４ 画像オブジェクト、１０５ シーン記述処理部、１
０６ MPEG-4シーン記述生成器、１０７ シーン記述
───────────────────────────────────────────────────── フロントページの続き (72)発明者 矢ヶ崎 陽一 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 名雲 武文 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C023 AA02 AA17 AA40 BA11 CA01 EA03 5C059 KK01 MA00 MB02 SS20 UA02 UA39 5C082 AA01 AA36 AA37 BA02 BA12 BA41 BB44 CA54 CA56 DA26 DA87 MM10

Claims (37)

    【特許請求の範囲】
  1. 【請求項１】 入力画像からオブジェクトを抽出すると
    きにオブジェクトの位置情報を出力するオブジェクト抽
    出手段と、 上記オブジェクト抽出手段により出力された上記位置情
    報に基づいてシーン中でのオブジェクトの配置位置に関
    するシーン記述情報を生成するシーン記述生成手段とを
    備えることを特徴とするシーン記述生成装置。
  2. 【請求項２】 上記オブジェクト抽出手段は、上記オブ
    ジェクトの位置情報としてオブジェクトを内包する領域
    の幅と高さ及び領域の位置を出力することを特徴とする
    請求項１記載のシーン記述生成装置。
  3. 【請求項３】 上記オブジェクト抽出手段で抽出された
    オブジェクトを符号化するオブジェクト符号化手段を備
    えることを特徴とする請求項１記載のシーン記述生成装
    置。
  4. 【請求項４】 上記シーン記述生成手段は、上記オブジ
    ェクトが変形した場合、上記オブジェクトの位置情報を
    参照し、入力画像中の移動を反映した上記シーン記述情
    報を生成することを特徴とする請求項１記載のシーン記
    述生成装置。
  5. 【請求項５】 上記シーン記述生成手段は、上記オブジ
    ェクトが変形した場合、上記オブジェクトの位置情報を
    参照し、入力画像中の移動成分を取り除いた上記シーン
    記述情報を生成することを特徴とする請求項１記載のシ
    ーン記述生成装置。
  6. 【請求項６】 上記オブジェクト抽出手段で抽出された
    オブジェクトをテクスチャとしてシーン中で使用すると
    き、上記シーン記述生成手段は上記オブジェクト抽出手
    段により出力された上記位置情報に基づいてシーン中の
    物体に貼り付けるテクスチャマップとテスクチャ座標の
    変換を決定し、この決定に応じて上記シーン記述情報を
    生成することを特徴とする請求項１記載のシーン記述生
    成装置。
  7. 【請求項７】 上記オブジェクト抽出手段で抽出された
    オブジェクトをテクスチャとしてシーン中で使用すると
    き、上記シーン記述生成手段は上記オブジェクト抽出手
    段により出力された上記位置情報に基づいて上記テクス
    チャを貼り付けるシーン中の物体の大きさを決定し、こ
    の決定に応じた上記シーン記述生成情報を生成すること
    を特徴とする請求項１記載のシーン記述生成装置。
  8. 【請求項８】 上記オブジェクト抽出手段で抽出された
    オブジェクトをテクスチャとしてシーン中で使用すると
    き、上記シーン記述生成手段は上記オブジェクト抽出手
    段により出力された上記位置情報に基づいて物体に貼り
    付ける上記テクスチャ位置の指定を決定し、この決定に
    応じた上記シーン記述生成情報を生成することを特徴と
    する請求項１記載のシーン記述生成装置。
  9. 【請求項９】 入力画像からオブジェクトを抽出するオ
    ブジェクト抽出手段と、 上記オブジェクト抽出手段により抽出されたオブジェク
    トの位置情報を検出する位置情報検出手段と、 上記位置情報検出手段により検出されたオブジェクトの
    位置情報に基づいてシーン中でのオブジェクトの配置位
    置に関するシーン記述情報を生成するシーン記述生成手
    段とを備えることを特徴とするシーン記述生成装置。
  10. 【請求項１０】 上記位置情報検出手段は、上記オブジ
    ェクトの位置情報としてオブジェクトを内包する領域の
    幅と高さ及び領域の位置を検出することを特徴とする請
    求項９記載のシーン記述生成装置。
  11. 【請求項１１】 上記オブジェクト抽出手段で抽出され
    たオブジェクトを符号化する符号化手段を備え、上記位
    置情報検出手段は上記符号化手段で符号化されたオブジ
    ェクトから上記オブジェクトの位置情報を検出すること
    を特徴とする請求項９記載のシーン記述生成装置。
  12. 【請求項１２】 上記シーン記述生成手段は、上記オブ
    ジェクトが変形した場合、上記オブジェクトの位置情報
    を参照し、入力画像中の移動を反映した上記シーン記述
    情報を生成することを特徴とする請求項９記載のシーン
    記述生成装置。
  13. 【請求項１３】 上記シーン記述生成手段は、上記オブ
    ジェクトが変形した場合、上記オブジェクトの位置情報
    を参照し、入力画像中の移動成分を取り除いた上記シー
    ン記述情報を生成することを特徴とする請求項９記載の
    シーン記述生成装置。
  14. 【請求項１４】 上記オブジェクト抽出手段で抽出され
    たオブジェクトをテクスチャとしてシーン中で使用する
    とき、上記シーン記述生成手段は上記位置情報検出手段
    により検出された上記位置情報に基づいてシーン中の物
    体に貼り付けるテクスチャマップとテスクチャ座標の変
    換を決定し、この決定に応じて上記シーン記述情報を生
    成することを特徴とする請求項９記載のシーン記述生成
    装置。
  15. 【請求項１５】 上記オブジェクト抽出手段で抽出され
    たオブジェクトをテクスチャとしてシーン中で使用する
    とき、上記シーン記述生成手段は上記位置情報検出手段
    により検出された上記位置情報に基づいて上記テクスチ
    ャを貼り付けるシーン中の物体の大きさを決定し、この
    決定に応じた上記シーン記述生成情報を生成することを
    特徴とする請求項９記載のシーン記述生成装置。
  16. 【請求項１６】 上記オブジェクト抽出手段で抽出され
    たオブジェクトをテクスチャとしてシーン中で使用する
    とき、上記シーン記述生成手段は上記位置情報検出手段
    により検出された上記位置情報に基づいて物体に貼り付
    ける上記テクスチャ位置の指定を決定し、この決定に応
    じた上記シーン記述生成情報を生成することを特徴とす
    る請求項９記載のシーン記述生成装置。
  17. 【請求項１７】 入力画像からオブジェクトを抽出する
    ときにオブジェクトの位置情報を出力するオブジェクト
    抽出工程と、 上記オブジェクト抽出工程により出力された上記位置情
    報に基づいてシーン中でのオブジェクトの配置位置に関
    するシーン記述情報を生成するシーン記述生成工程とを
    備えることを特徴とするシーン記述生成方法。
  18. 【請求項１８】 上記オブジェクト抽出工程で抽出され
    たオブジェクトをテクスチャとしてシーン中で使用する
    とき、上記シーン記述生成工程は上記オブジェクト抽出
    工程により出力された上記位置情報に基づいてシーン中
    の物体に貼り付けるテクスチャマップとテスクチャ座標
    の変換を決定し、この決定に応じて上記シーン記述情報
    を生成することを特徴とする請求項１７記載のシーン記
    述生成方法。
  19. 【請求項１９】 上記オブジェクト抽出工程で抽出され
    たオブジェクトをテクスチャとしてシーン中で使用する
    とき、上記シーン記述生成工程は上記オブジェクト抽出
    工程により出力された上記位置情報に基づいて上記テク
    スチャを貼り付けるシーン中の物体の大きさを決定し、
    この決定に応じた上記シーン記述生成情報を生成するこ
    とを特徴とする請求項１７記載のシーン記述生成方法。
  20. 【請求項２０】 上記オブジェクト抽出工程で抽出され
    たオブジェクトをテクスチャとしてシーン中で使用する
    とき、上記シーン記述生成工程は上記オブジェクト抽出
    工程により出力された上記位置情報に基づいて物体に貼
    り付ける上記テクスチャ位置の指定を決定し、この決定
    に応じた上記シーン記述生成情報を生成することを特徴
    とする請求項１７記載のシーン記述生成方法。
  21. 【請求項２１】 入力画像からオブジェクトを抽出する
    オブジェクト抽出工程と、 上記オブジェクト抽出工程により抽出されたオブジェク
    トの位置情報を検出する位置情報検出工程と、 上記位置情報検出工程により検出されたオブジェクトの
    位置情報に基づいてシーン中でのオブジェクトの配置位
    置に関するシーン記述情報を生成するシーン記述生成工
    程とを備えることを特徴とするシーン記述生成方法。
  22. 【請求項２２】 上記オブジェクト抽出工程で抽出され
    たオブジェクトを符号化する符号化工程を備え、上記位
    置情報検出工程は上記符号化工程で符号化されたオブジ
    ェクトから上記オブジェクトの位置情報を検出すること
    を特徴とする請求項２１記載のシーン記述生成方法。
  23. 【請求項２３】 上記シーン記述生成工程は、上記オブ
    ジェクトが変形した場合、上記オブジェクトの位置情報
    を参照し、入力画像中の移動を反映した上記シーン記述
    情報を生成することを特徴とする請求項２１記載のシー
    ン記述生成方法。
  24. 【請求項２４】 上記シーン記述生成工程は、上記オブ
    ジェクトが変形した場合、上記オブジェクトの位置情報
    を参照し、入力画像中の移動成分を取り除いた上記シー
    ン記述情報を生成することを特徴とする請求項２１記載
    のシーン記述生成方法。
  25. 【請求項２５】 上記オブジェクト抽出工程で抽出され
    たオブジェクトをテクスチャとしてシーン中で使用する
    とき、上記シーン記述生成工程は上記位置情報検出工程
    により検出された上記位置情報に基づいてシーン中の物
    体に貼り付けるテクスチャマップとテスクチャ座標の変
    換を決定し、この決定に応じて上記シーン記述情報を生
    成することを特徴とする請求項２１記載のシーン記述生
    成方法。
  26. 【請求項２６】 上記オブジェクト抽出工程で抽出され
    たオブジェクトをテクスチャとしてシーン中で使用する
    とき、上記シーン記述生成工程は上記位置情報検出工程
    により検出された上記位置情報に基づいて上記テクスチ
    ャを貼り付けるシーン中の物体の大きさを決定し、この
    決定に応じた上記シーン記述生成情報を生成することを
    特徴とする請求項２１記載のシーン記述生成方法。
  27. 【請求項２７】 上記オブジェクト抽出工程で抽出され
    たオブジェクトをテクスチャとしてシーン中で使用する
    とき、上記シーン記述生成工程は上記位置情報検出工程
    により検出された上記位置情報に基づいて物体に貼り付
    ける上記テクスチャ位置の指定を決定し、この決定に応
    じた上記シーン記述生成情報を生成することを特徴とす
    る請求項２１記載のシーン記述生成方法。
  28. 【請求項２８】 入力画像からオブジェクトを抽出する
    オブジェクト抽出方法において、 シーン中の配置位置指定に使用する、オブジェクトを内
    包する領域を、オブジェクトの変形に無関係となる領域
    として上記オブジェクトを抽出するオブジェクト抽出工
    程を備えることを特徴とするオブジェクト抽出方法。
  29. 【請求項２９】 上記オブジェクト抽出工程は上記シー
    ン中の配置位置指定に使用する、オブジェクトを内包す
    る領域を、複数フレーム分のオブジェクトを全て内包す
    る領域に設定することを特徴とする請求項２８記載のオ
    ブジェクト抽出方法。
  30. 【請求項３０】 上記オブジェクト抽出工程は上記シー
    ン中の配置位置指定に使用する、オブジェクトを内包す
    る領域を、複数フレーム分のオブジェクトを全て内包す
    る領域に設定することを特徴とする請求項２８記載のオ
    ブジェクト抽出方法。
  31. 【請求項３１】 上記オブジェクト抽出工程は上記シー
    ン中の配置位置指定に使用する、オブジェクトを内包す
    る領域を、入力画像の画枠全体に設定することを特徴と
    する請求項２８記載のオブジェクト抽出方法。
  32. 【請求項３２】 入力画像からオブジェクトを抽出する
    オブジェクト抽出装置から出力されたオブジェクトの位
    置情報を記録していることを特徴とする記録媒体。
  33. 【請求項３３】 上記オブジェクトの位置情報としてオ
    ブジェクトを内包する領域の幅と高さ及び領域の位置を
    記録していることを特徴とする請求項３２記載の記録媒
    体。
  34. 【請求項３４】 入力画像からオブジェクト抽出装置が
    抽出したオブジェクトから検出された位置情報を記録し
    ていることを特徴とする記録媒体。
  35. 【請求項３５】 上記オブジェクトの位置情報としてオ
    ブジェクトを内包する領域の幅と高さ及び領域の位置を
    記録していることを特徴とする請求項３４記載の記録媒
    体。
  36. 【請求項３６】 オブジェクト抽出装置が入力画像から
    オブジェクトを抽出するときに出力した位置情報を用い
    て生成された、シーン中でのオブジェクトの配置位置に
    関するシーン記述情報を記録していることを特徴とする
    記録媒体。
  37. 【請求項３７】 入力画像からオブジェクト抽出装置が
    抽出したオブジェクトから検出された位置情報を用いて
    生成された、シーン中でのオブジェクトの配置位置に関
    するシーン記述情報を記録していることを特徴とする記
    録媒体。
JP16722599A 1999-06-14 1999-06-14 シーン記述生成装置及び方法 Expired - Lifetime JP4151158B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP16722599A JP4151158B2 (ja) 1999-06-14 1999-06-14 シーン記述生成装置及び方法
US09/592,008 US6621939B1 (en) 1999-06-14 2000-06-12 Scene description generating apparatus and method, object extracting method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16722599A JP4151158B2 (ja) 1999-06-14 1999-06-14 シーン記述生成装置及び方法

Publications (3)

Publication Number Publication Date
JP2000358192A true JP2000358192A (ja) 2000-12-26
JP2000358192A5 JP2000358192A5 (ja) 2006-04-27
JP4151158B2 JP4151158B2 (ja) 2008-09-17

Family

ID=15845776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16722599A Expired - Lifetime JP4151158B2 (ja) 1999-06-14 1999-06-14 シーン記述生成装置及び方法

Country Status (2)

Country Link
US (1) US6621939B1 (ja)
JP (1) JP4151158B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002062072A1 (en) * 2001-02-01 2002-08-08 Hantro Products Oy Method for post-processing decoded video image, using diagonal pixels
WO2002103562A1 (en) * 2001-06-19 2002-12-27 Whoi-Yul Kim Method of extracting shape variation descriptor for retrieving image sequence
WO2004039054A2 (en) * 2002-10-22 2004-05-06 Electronics And Telecommunications Research Institute Device and method for editing, authoring, and retrieving object-based mpeg-4 contents
WO2006080654A1 (en) * 2005-01-27 2006-08-03 Industry-University Cooperation Foundation Hanyang University Information parts extraction for retrieving image sequence data
WO2007043386A1 (ja) * 2005-10-07 2007-04-19 Konami Digital Entertainment Co., Ltd. 画像処理装置、画像処理方法及び情報記憶媒体

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998036559A1 (en) 1997-02-14 1998-08-20 The Trustees Of Columbia University In The City Of New York Object-based audio-visual terminal and bitstream structure
GB9712724D0 (en) * 1997-06-18 1997-08-20 Holmes Steven Method and apparatus for interaction with broadcast television content
US7199836B1 (en) * 1998-02-13 2007-04-03 The Trustees Of Columbia University In The City Of New York Object-based audio-visual terminal and bitstream structure
US7293231B1 (en) * 1999-03-18 2007-11-06 British Columbia Ltd. Data entry for personal computing devices
PT1171813E (pt) 1999-03-18 2003-10-31 British Columbia Ltd 602531 Insercao de dados para dispositivos de computacao pessoal
CA2323856A1 (en) * 2000-10-18 2002-04-18 602531 British Columbia Ltd. Method, system and media for entering data in a personal computing device
FR2825556A1 (fr) * 2001-05-31 2002-12-06 Koninkl Philips Electronics Nv Generation d'une description dans un langage de balisage d'une structure d'un contenu multimedia
US7216288B2 (en) * 2001-06-27 2007-05-08 International Business Machines Corporation Dynamic scene description emulation for playback of audio/visual streams on a scene description based playback system
US7142602B2 (en) * 2003-05-21 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Method for segmenting 3D objects from compressed videos
EP1503299A1 (en) * 2003-07-31 2005-02-02 Alcatel A method, a hypermedia communication system, a hypermedia server, a hypermedia client, and computer software products for accessing, distributing, and presenting hypermedia documents
US8552984B2 (en) * 2005-01-13 2013-10-08 602531 British Columbia Ltd. Method, system, apparatus and computer-readable media for directing input associated with keyboard-type device
KR100610689B1 (ko) * 2005-06-24 2006-08-09 엔에이치엔(주) 3차원 화면에 동영상을 삽입하는 방법 및 이를 위한 기록매체
US7911467B2 (en) * 2005-12-30 2011-03-22 Hooked Wireless, Inc. Method and system for displaying animation with an embedded system graphics API
US20090136218A1 (en) * 2006-08-14 2009-05-28 Vmedia Research, Inc. Multimedia presentation format
KR101445074B1 (ko) * 2007-10-24 2014-09-29 삼성전자주식회사 미디어 플레이어에서 미디어 객체 처리 방법 및 그 장치
JP2010074772A (ja) * 2008-09-22 2010-04-02 Sony Corp 映像表示装置、及び映像表示方法
US8340504B2 (en) * 2011-04-26 2012-12-25 Sony Computer Entertainment Europe Limited Entertainment device and method
US20140307062A1 (en) * 2011-12-05 2014-10-16 Rotary View Ltd. System and method for generating a stereoscopic 3d presentation from picture sequence emanating from single lens source
KR102069538B1 (ko) * 2012-07-12 2020-03-23 삼성전자주식회사 멀티미디어 요소의 배치를 위한 마크업을 구성하는 방법
US10228819B2 (en) 2013-02-04 2019-03-12 602531 British Cilumbia Ltd. Method, system, and apparatus for executing an action related to user selection
US10586570B2 (en) 2014-02-05 2020-03-10 Snap Inc. Real time video processing for changing proportions of an object in the video
US10116901B2 (en) 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing
US20210105451A1 (en) * 2019-12-23 2021-04-08 Intel Corporation Scene construction using object-based immersive media

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08279054A (ja) * 1995-04-07 1996-10-22 Hitachi Ltd 映像生成／表示システム
JP3812985B2 (ja) * 1997-04-04 2006-08-23 富士通株式会社 自動監視装置
US6124864A (en) * 1997-04-07 2000-09-26 Synapix, Inc. Adaptive modeling and segmentation of visual image streams
JP3382173B2 (ja) * 1998-03-10 2003-03-04 株式会社ハイニックスセミコンダクター 飛越し走査方式の映像信号に対するｖｏｐ境界矩形の設定方法及び装置
US6512793B1 (en) * 1998-04-28 2003-01-28 Canon Kabushiki Kaisha Data processing apparatus and method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002062072A1 (en) * 2001-02-01 2002-08-08 Hantro Products Oy Method for post-processing decoded video image, using diagonal pixels
WO2002103562A1 (en) * 2001-06-19 2002-12-27 Whoi-Yul Kim Method of extracting shape variation descriptor for retrieving image sequence
US7212671B2 (en) 2001-06-19 2007-05-01 Whoi-Yul Kim Method of extracting shape variation descriptor for retrieving image sequence
WO2004039054A2 (en) * 2002-10-22 2004-05-06 Electronics And Telecommunications Research Institute Device and method for editing, authoring, and retrieving object-based mpeg-4 contents
WO2004039054A3 (en) * 2002-10-22 2004-08-19 Korea Electronics Telecomm Device and method for editing, authoring, and retrieving object-based mpeg-4 contents
WO2006080654A1 (en) * 2005-01-27 2006-08-03 Industry-University Cooperation Foundation Hanyang University Information parts extraction for retrieving image sequence data
US7995870B2 (en) 2005-01-27 2011-08-09 Industry-University Cooperation Foundation Hanyang University Information parts extraction for retrieving image sequence data
WO2007043386A1 (ja) * 2005-10-07 2007-04-19 Konami Digital Entertainment Co., Ltd. 画像処理装置、画像処理方法及び情報記憶媒体

Also Published As

Publication number Publication date
JP4151158B2 (ja) 2008-09-17
US6621939B1 (en) 2003-09-16

Similar Documents

Publication Publication Date Title
JP2000358192A (ja) シーン記述生成装置及び方法、オブジェクト抽出方法、並びに記録媒体
JP3177221B2 (ja) 興味深いシーンのイメージを表示するための方法及び装置
US6047088A (en) 2D mesh geometry and motion vector compression
CN105094289B (zh) 一种实现图形用户交互界面的方法、设备及系统
JP3810943B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
KR20180087918A (ko) 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법
JPH1049704A (ja) 画像変換方法
US20050243092A1 (en) Method for defining animation parameters for an animation definition interface
US20110012914A1 (en) Image processing device and image processing method
JP3667217B2 (ja) 映像中の広告情報の供給システムおよび供給方法ならびにこのプログラムを記録した記録媒体
EA008749B1 (ru) Способ кодирования координат перемещающегося на экране вычислительного устройства видеоизображения
JP2000036061A (ja) 画像処理システム
JPH10336673A (ja) 映像信号符号化システムにおける縁部検出方法及びその装置
Fradet et al. [poster] mr TV mozaik: A new mixed reality interactive TV experience
KR100822948B1 (ko) 벡터 그래픽을 활용한 애니메이션의 개선된 중간 영상 생성시스템
JP3166976B2 (ja) 画像処理装置及びその方法
CN116583881A (zh) 用于体积视频数据的数据流、设备和方法
JP3268665B2 (ja) コンピュータ・グラフィックス制作装置
Concolato et al. Design of an efficient scalable vector graphics player for constrained devices
JP2011023836A (ja) スライドデータ作成装置、スライドデータ作成方法及びプログラム
JP3483276B2 (ja) ３次元画像表示方法及び装置
JP2003303355A (ja) ３次元形状処理装置、３次元形状処理方法、プログラム及び記憶媒体
JP3080250B2 (ja) 画像情報の一元管理処理方法
JP2002023905A (ja) 対話式シーンのユーザアクションを不変変換処理する方法と装置
JP2002142215A (ja) 動画像データー圧縮復元方法および装置ならびに情報記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080610

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080623

R151 Written notification of patent or utility model registration

Ref document number: 4151158

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110711

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120711

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130711

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term