JP2000184375A - 画像変換装置 - Google Patents

Abstract

(57)【要約】 【課題】 ＭＰＥＧ４などで複数個のオブジェクトのビ
ットストリームを復号化し、復号化された各オブジェク
ト画像を合成し、表示する場合において、各オブジェク
ト画像の画素アスペクト比がそれぞれ異なっていても見
た目に違和感なく表示させることを可能にする。 【解決手段】 画像復号化器４は、符号化されたオブジ
ェクト画像の符号化ビットストリームＳ１を復号化す
る。画像変換比率算出器５は、オブジェクト画像のアス
ペクト比と表示装置のアスペクト比に基づいて画像の変
換比率を算出する。表示位置変換器６は、オブジェクト
画像の表示位置を変換比率に応じた表示位置に変換す
る。画像サイズ変換器７は、オブジェクト画像の画像サ
イズを変換比率に応じた画像サイズに変換する。この表
示位置及び画像サイズの変換されたオブジェクト画像を
合成して表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、少なくとも１個以
上のいわゆるオブジェクト画像を符号化してなる符号化
ビットストリームを復号化し、当該復号化された各オブ
ジェクト画像を合成して表示する際に、それら各オブジ
ェクト画像毎に画像変換を施す画像変換装置に関する。

【０００２】

【従来の技術】近年は、ディジタル動画像情報の符号化
方式として、いわゆるオブジェクト画像符号化について
の技術が盛んに提案されている。特に、国際標準規格で
あるＩＳＯ／ＩＥＣのＭＰＥＧ４（Moving Picture ima
ge coding Experts Group phase 4）では、このオブジ
ェクト画像符号化の方式に対応している。

【０００３】オブジェクト画像符号化とは、図４に示す
ように、画像１１１を背景画像と各オブジェクト画像１
１２，１１３，１１４，１１５に分けてそれぞれ符号化
する方式である。各オブジェクト画像は、１個の場合
も、また図４のように複数個の場合もあり、さらに各オ
ブジェクト画像は、例えば図４中のオブジェクト画像１
１５と１１２のように重なっている場合もある。

【０００４】これら各オブジェクト画像１１２，１１
３，１１４，１１５においては、少なくとも、各オブジ
ェクトそのものの画像情報と、それら各オブジェクト画
像の輪郭情報と、各オブジェクト画像の水平及び垂直の
サイズ情報と、各オブジェクト画像の水平及び垂直の表
示位置を示す位置情報と、各オブジェクト画像の奥行き
情報等が、符号化（符号化ビットストリームの生成）さ
れる。なお、この符号化ビットストリームには、オブジ
ェクト画像の画素のアスペクト比と、オブジェクト画像
の画素アスペクト比の情報も含まれる。

【０００５】したがって、それら各オブジェクト画像の
符号化ビットストリームを復号化して、それぞれ復号化
されたオブジェクト画像を合成して画像表示を行う場合
は、各オブジェクト画像の符号化画像情報と、各オブジ
ェクト画像の符号化輪郭情報と、水平及び垂直の符号化
サイズ情報と、オブジェクト画像の水平及び垂直の表示
位置を示す符号化位置情報等を、それぞれ復号化（復号
化ビットストリームの生成）し、当該復号化により得ら
れた各オブジェクト画像を、同じくそれぞれ復号化され
た水平及び垂直の表示位置と輪郭、並びに画像サイズに
合うように表示する。また、オブジェクトが重なってい
る場合は、復号化された奥行き情報に応じて、その順番
に（奥側から順番に）合成される。

【０００６】ただし、復号化したビットストリームが全
て表示されるとは限らず、オブジェクト画像によっては
例えば別にシーンを記述した情報やユーザの要望などに
より、表示されない場合もある。

【０００７】また、通常、１枚の画像内に含まれる複数
のオブジェクト画像は、当該１枚の画像毎のセットで符
号化されるため、復号化時にはそれらセットになされた
各符号化ビットストリームを復号化して表示する場合が
多いが、場合によってはユーザによって選択された別の
オブジェクト、すなわち例えば別のオブジェクトを符号
化した別の符号化ビットストリームを復号化し、それぞ
れ合成して表示することも可能となっている。

【０００８】図５には、上述したようなオブジェクト画
像符号化がなされた符号化ビットストリームを復号化し
て合成し、表示する、一従来例に係るオブジェクト画像
復号化システムの概略的な全体構成例を示す。

【０００９】なお、この図５に示したオブジェクト画像
符号化システムの構成例は、２つの符号化ビットストリ
ームをそれぞれ復号化し、その復号化による復号化ビッ
トストリームからオブジェクト画像を生成し、さらにそ
れら生成されたオブジェクト画像を合成して合成画像を
生成して表示する場合のシステム構成を示している。す
なわち、この図５の構成例は、例えばユーザ等によって
選択されたそれぞれ別々の符号化オブジェクト（例えば
別々のオブジェクトを符号化した各符号化ビットストリ
ーム）をそれぞれ復号化して合成及び表示する場合のシ
ステム構成例を示している。

【００１０】この図５において、入力端子１００には、
オブジェクト画像符号化により得られた符号化ビットス
トリームＳ１１が供給され、また、入力端子１０１に
は、符号化ビットストリームＳ１１とは別の画像をオブ
ジェクト画像符号化した符号化ビットストリームＳ１２
が供給される。これら符号化ビットストリームＳ１１及
びＳ１２は、それぞれ、上述したように少なくとも各オ
ブジェクトそのものの符号化画像情報と、その各オブジ
ェクト画像の符号化輪郭情報と、各オブジェクト画像の
水平及び垂直の符号化サイズ情報と、各オブジェクト画
像の水平及び垂直の表示位置を示す符号化位置情報と、
各オブジェクト画像の符号化奥行き情報とを含む、符号
化ビットストリームとなされている。入力端子１００に
供給された符号化ビットストリームＳ１１は、画像復号
化器１０２に送られ、入力端子１０１に供給された符号
化ビットストリームＳ１２は、画像復号化器１０３に送
られる。

【００１１】画像復号化器１０２及び１０３は、共にオ
ブジェクト画像符号化による符号化されたビットストリ
ームを復号化するものであり、上述したように、各オブ
ジェクト画像の符号化画像情報と、各オブジェクト画像
の符号化輪郭情報と、水平及び垂直の符号化サイズ情報
と、オブジェクト画像の水平及び垂直の表示位置を示す
符号化位置情報と、各オブジェクト画像の符号化奥行き
情報とをそれぞれ復号化し、それら復号化により得られ
た復号化ビットストリームを出力するものである。ま
た、これら画像復号化器１０２及び１０３からは、それ
ら復号化ビットストリームと共に、オブジェクト画像の
画素のアスペクト比と、オブジェクト画像の画素アスペ
クト比の情報も出力される。

【００１２】なお、図５では、画像復号化器１０２及び
１０３から出力される情報として、オブジェクト画像の
画像情報と表示位置情報及びサイズ情報、オブジェクト
画像の画素のアスペクト比及びオブジェクト画像の画素
アスペクト比の情報のみを記載した例を挙げているが、
他の情報も送られている。

【００１３】これら画像復号化器１０２及び１０３から
出力された各情報は、オブジェクト画像合成器１０４に
送られる。

【００１４】オブジェクト画像合成器１０４は、各画像
復号化器１０２及び１０３から供給された復号化ビット
ストリームを使用し、各オブジェクト画像を合成して表
示画像信号を生成する。この表示画像信号は、表示装置
１０５に送られる。

【００１５】表示装置１０５は、一般的な陰極線管や液
晶デバイス等からなる表示装置である。

【００１６】

【発明が解決しようとする課題】ところで、上述した図
５の例のように、例えば２つの異なる符号化ビットスト
リームＳ１１，Ｓ１２をそれぞれ復号化して合成及び表
示するシステム構成の場合、各画像復号化器１０２，１
０３で復号化されたオブジェクト画像の画素アスペクト
比が等しいことが前提となっている。

【００１７】ところが、それぞれ各画像復号化器１０２
と１０３から出力されるオブジェクト画像の画素アスペ
クト比が例えば異なっているような場合は、それら異な
った画素アスペクト比のオブジェクト画像は同時に表示
することができないか、または表示しても当該表示され
たオブジェクト画像が例えば潰れた画像となったり逆に
広がった画像となったりして、さらには表示位置が正し
く表示されなかったりしてしまう。

【００１８】本発明は、上述の課題に鑑みてなされたも
のであり、復号化された複数のオブジェクト画像を合成
して同時に表示する際に、各オブジェクト画像をそれぞ
れ正しい大きさ及び位置で表示することを可能とする、
画像変換装置の提供を目的とする。

【００１９】

【課題を解決するための手段】本発明に係る画像変換装
置は、上述の課題を解決するために、少なくとも１個以
上のオブジェクト画像が符号化されたビットストリーム
を復号化して、当該復号化されたオブジェクト画像を生
成する画像復号化手段と、前記復号化されたオブジェク
ト画像の表示に関連する情報と当該復号化されたオブジ
ェクト画像が表示される表示手段の表示に関連する情報
とに基づいて画像変換の比率を算出する画像変換比率算
出手段と、前記復号されたオブジェクト画像の表示位置
を、前記画像変換の比率に応じた表示位置に変換する表
示位置変換手段と、前記復号されたオブジェクト画像の
画像サイズを、前記画像変換の比率に応じた画像サイズ
に変換する画像サイズ変換手段とを有する。

【００２０】

【発明の実施の形態】以下、本発明に係る画像変換の好
ましい実施の形態について図面を参照しながら詳細に説
明する。

【００２１】図１には、本発明に係る画像変換装置の一
実施の形態としてのオブジェクト画像変換装置の概略的
な全体構成を示す。

【００２２】この図１において、入力端子１には、オブ
ジェクト画像符号化により得られた符号化ビットストリ
ームＳ１が供給される。当該符号化ビットストリームＳ
１は、前述したように、少なくとも、各オブジェクトそ
のものの符号化画像情報と、そのオブジェクト画像の符
号化輪郭情報と、オブジェクト画像の水平及び垂直の符
号化サイズ情報と、オブジェクト画像の水平及び垂直の
表示位置を示す符号化位置情報と、各オブジェクト画像
の符号化奥行き情報とを含む符号化ビットストリームと
なされている。この入力端子１に供給された符号化ビッ
トストリームＳ１は、画像復号化器４に送られる。

【００２３】画像復号化器４は、オブジェクト画像符号
化による符号化ビットストリームを復号化するものであ
り、前述したように、少なくとも各オブジェクト画像の
符号化画像情報と、各オブジェクト画像の符号化輪郭情
報と、水平及び垂直の符号化サイズ情報と、オブジェク
ト画像の水平及び垂直の表示位置を示す符号化位置情報
と、各オブジェクト画像の符号化奥行き情報とをそれぞ
れ復号化し、それら復号化により得られた復号化ビット
ストリームを出力するものである。また、本実施の形態
の場合、当該画像復号化器４からは、復号化ビットスト
リームと共に、オブジェクト画像の画素のアスペクト比
と、オブジェクト画像の画素アスペクト比の情報も出力
する。

【００２４】なお、図１では、画像復号化器４から出力
される情報として、オブジェクト画像の画像情報と表示
位置情報及びサイズ情報、オブジェクト画像の画素のア
スペクト比及びオブジェクト画像の画素アスペクト比の
情報のみを記載した例を挙げているが、他の情報も送ら
れている。

【００２５】当該画像復号化器４から出力されたオブジ
ェクト画像の表示位置情報は表示位置変換器６に送ら
れ、オブジェクト画像のサイズ情報及びオブジェクト画
像情報の各情報は画像サイズ変換器７に送られ、オブジ
ェクト画像の画素アスペクト比情報及びオブジェクト画
像の画素アスペクト比情報は画像変換比率算出器５に送
られる。

【００２６】また、入力端子３には、図１には図示して
いない例えば前述の図５のような表示装置の実際の画素
アスペクト比情報が供給され、入力端子２には同じく当
該表示装置の実際の画素アスペクト比情報が供給され
る。これら表示装置の実際の画素アスペクト比情報と画
素アスペクト比情報は、画像変換比率算出器５に送られ
る。

【００２７】ところで、あるオブジェクト画像を例えば
オブジェクト画像Ａとし、当該オブジェクト画像Ａが、
例えば画素アスペクト比が４：３（水平：垂直）で７２
０画素×４８６ラインの画像を表示するために作られて
いる表示装置に表示するオブジェクト画像であるとした
場合、そのときの画素アスペクト比は、（４８６／
３）：（７２０／４）すなわち９：１０である。

【００２８】一方、別のオブジェクト画像を例えばオブ
ジェクト画像Ｂとし、当該オブジェクト画像Ｂが、例え
ば画素アスペクト比が１６：９（水平：垂直）で７２０
画素×４８６ラインの画像を表示するために作られてい
る表示装置に表示するオブジェクト画像であるとした場
合、そのときの画素アスペクト比は、（４８６／９）：
（７２０／１６）すなわち６：５である。

【００２９】ここで、これらオブジェクト画像Ａが符号
化された符号化ビットストリームと、オブジェクト画像
Ｂが符号化された符号化ビットストリームをそれぞれ復
号化し、例えば前述の図５のようなオブジェクト画像合
成器にて合成し、さらに例えば画素アスペクト比が４：
３で画素アスペクト比が９：１０の例えば前述の図５の
ような表示装置に表示することを考えた場合、オブジェ
クト画像Ａについては正しく表示できるが、オブジェク
ト画像Ｂについては正しく表示することができないこと
になる。

【００３０】すなわち、オブジェクト画像Ａを、画素ア
スペクト比が４：３で画素アスペクト比が９：１０の表
示装置を使用した場合、当該オブジェクト画像Ａは、画
素アスペクト比が表示装置と同じ９：１０であるため正
しく表示できるのに対して、オブジェクト画像Ｂは、元
々画素アスペクト比が６：５なので正しく表示すること
ができず、横に縮まった画像になってしまう。

【００３１】そこで、本実施の形態のオブジェクト画像
変換装置では、画像変換比率計算器５において、各オブ
ジェクト画像毎に、復号化されたオブジェクト画像の画
素アスペクト比及び画素アスペクト比と、表示装置の画
素アスペクト比及び画素アスペクト比とから、画像の変
換比率を算出するようにしており、さらに当該画像の変
換比率に基づき、表示位置変換器６において各オブジェ
クト画像の表示位置の変換を行うと共に、画像サイズ変
換器７において各オブジェクトの画像サイズの変換を行
うようにしている。

【００３２】すなわち、例えば、上述したようにオブジ
ェクト画像Ａの符号化ビットストリームとオブジェクト
画像Ｂの符号化ビットストリームをそれぞれ復号化して
合成し、例えば画素アスペクト比が４：３で画素アスペ
クト比が９：１０の表示装置に表示しようとする場合、
本実施の形態のオブジェクト画像変換装置では、当該表
示装置に正しく表示できない、前述の画素アスペクト比
が６：５のオブジェクト画像Ｂを、その表示装置に合う
ように画素アスペクト比９：１０のオブジェクト画像に
変換する。

【００３３】この場合、当該オブジェクト画像Ｂに対し
て画像変換比率算出器５が求める変換比率は、水平方向
に（９＊５）／（６＊１０）すなわち３／４の変換比率
となる。

【００３４】またこの場合の表示位置変換器６では、オ
ブジェクト画像Ｂの表示位置を当該変換比率（３／４）
に基づいて後述するようにして変換し、同時に画像サイ
ズ変換器７では、オブジェクト画像Ｂの画像サイズを当
該変換比率（３／４）に基づいて後述するようにして変
換する。

【００３５】表示位置変換器６にて正しい位置に変換さ
れたオブジェクト画像の表示位置情報は、出力端子８を
介して図１には図示しない図５に示したようなオブジェ
クト画像合成器に送られ、また、画像サイズ変換器７に
て正しいサイズに変換されたオブジェクト画像情報は、
出力端子９を介して同じくオブジェクト画像合成器に送
られることになる。

【００３６】なお、オブジェクト画像Ａの場合のよう
に、復号化されたオブジェクト画像の画素アスペクト比
及び画素アスペクト比と、表示装置の画素アスペクト比
及び画素アスペクト比とが同じである場合、画像変換比
率算出器５が算出する変換比率は１／１となる。この場
合、表示位置変換器６と画像サイズ変換器７では、当該
オブジェクト画像Ａについて表示位置と画像サイズを変
換することなく、そのまま出力する。

【００３７】オブジェクト画像合成器では、画像変換比
率算出器５が算出した変換比率に基づいて画像サイズと
表示位置が変換されたオブジェクト画像Ｂを、オブジェ
クト画像Ａと共に合成する。

【００３８】これにより、図１には図示していない表示
装置には、オブジェクト画像Ａと共に、正しい位置及び
画像サイズになされたオブジェクト画像Ｂが合成された
合成画像が表示されることになる。

【００３９】なお、この図１に示した本実施の形態のオ
ブジェクト画像変換装置を例えば前述の図５のシステム
構成例に当てはめたとすると、例えば図５の表示装置１
０５は上述した画素アスペクト比が４：３で画素アスペ
クト比が９：１０の表示装置となり、図５の画像復号化
器１０２，１０３に代えて本実施の形態のオブジェクト
画像変換装置が適用されることになる。また、この場
合、例えば図５の入力端子１００と１０１には、上述し
たオブジェクト画像Ａを符号化した符号化ビットストリ
ーム或いはオブジェクト画像Ｂを符号化した符号化ビッ
トストリームが入力されることになる。

【００４０】以下、図１の表示位置変換器６における変
換比率に基づく表示位置変換動作と、画像サイズ変換器
７における変換比率に基づくサイズ変換動作とを、より
具体的に説明する。

【００４１】例えば、元々画素アスペクト比１６：９
（水平：垂直）で７２０画素×４８６ラインの画像を表
示するために作られている表示装置に表示するオブジェ
クト画像Ｂを、例えば画素アスペクト比４：３（水平：
垂直）で７２０画素×４８６ラインの画像を表示するた
めに作られているの表示装置に表示させる場合、様々な
方法があり、一般にユーザによって決定される場合が多
い。

【００４２】ここでは、例えば垂直方向をそのままに
し、画素アスペクト比１６：９の画像の中央部分の画素
アスペクト比４：３に相当する部分を表示する場合を例
に挙げて説明する。

【００４３】図２には、画素アスペクト比１６：９と画
素アスペクト比４：３で７２０画素×４８６ラインの画
像を表示する表示装置との関係を示す。

【００４４】この図２において、画素アスペクト比１
６：９の画像を画素アスペクト比４：３の表示装置に表
示すると、水平方向は７２０＊（３／４）＝５４０画素
分しか表示することができない。すなわち、この場合
は、水平方向の左右９０画素ずつを切り取ることにな
る。

【００４５】したがって、画素アスペクト比１６：９の
オブジェクト画像Ｂを画素アスペクト比４：３の表示装
置に表示する場合には、当該オブジェクト画像Ｂの表示
位置をこれに伴い変換する必要がある。

【００４６】この表示位置の変換は、画像変換比率算出
器５からの変換比率（３／４）に基づいて、表示位置変
換器６が下記式の演算により算出する。 （表示位置の水平成分−９０）／（３／４）または 表示位置の水平成分／（３／４）−１２０

【００４７】また、画像サイズ変換器７では、画像変換
比率算出器５からの変換比率に基づいて例えば以下のよ
うにしてオブジェクト画像の画像サイズを変換する。

【００４８】例えば、元々の画素アスペクト比が１６：
９のオブジェクト画像Ｂを、画素アスペクト比が４：３
の表示装置に表示させる場合、画像変換比率算出器５に
て算出された変換比率は水平方向に３／４であるので、
画像サイズ変換器７では、当該オブジェクト画像Ｂをそ
の変換比率（３／４）に応じて水平方向にダウンサンプ
リングする。なお、変換比率によってはアップサンプリ
ングを行う場合もある。また、垂直方向に変換が必要な
場合もある。

【００４９】以上説明したように、本実施の形態のオブ
ジェクト画像変換装置によれば、符号化ビットストリー
ムＳ１を復号化する画像復号化器４と、画像変換の比率
を算出する画像変換比率算出器５と、表示装置に合った
表示位置に変換する表示位置変換器６と画像サイズを変
換する画像サイズ変換器７とを有し、例えば、図３の
（ａ）に示すような画素アスペクト比４：３のオブジェ
クト画像と、図３の（ｂ）に示すような画素アスペクト
比１６：９のオブジェクト画像Ｂとを合成して、画素ア
スペクト比４：３の表示装置に表示するような場合で
も、オブジェクト画像Ｂを画素アスペクト比４：３の画
像に変換して合成することにより、図３の（ｃ）に示す
ような画素アスペクト比４：３の違和感のない良好な合
成画像を生成して表示することが可能となる。

【００５０】なお、本発明は上述した実施の形態に限定
されることはなく、本発明に係る技術的思想を逸脱しな
い範囲であれば、設計等に応じて種々の変更が可能であ
る。例えば、上述の実施の形態では、画素アスペクト比
４：３のオブジェクト画像Ａと、画素アスペクト比１
６：９のオブジェクト画像Ｂとを合成して、画素アスペ
クト比４：３の表示装置に表示する例を挙げて説明した
が、その逆の例として、例えば画素アスペクト比４：３
のオブジェクト画像Ａと、画素アスペクト比１６：９の
オブジェクト画像Ｂとを合成して、画素アスペクト比１
６：９の表示装置に表示するような場合であっても、オ
ブジェクト画像Ａを画素アスペクト比１６：９の画像に
変換して合成することにより、違和感のない良好な合成
画像を生成して表示することが可能となる。

【００５１】

【発明の効果】請求項１に記載の本発明に係る画像変換
装置は、少なくとも１個以上のオブジェクト画像が符号
化されたビットストリームを復号化して、当該復号化さ
れたオブジェクト画像を生成し、その復号化されたオブ
ジェクト画像の表示に関連する情報と当該復号化された
オブジェクト画像が表示される表示手段の表示に関連す
る情報とに基づいて画像変換の比率を算出し、その復号
されたオブジェクト画像の表示位置を画像変換の比率に
応じた表示位置に変換すると共に、復号されたオブジェ
クト画像の画像サイズを画像変換の比率に応じた画像サ
イズに変換することにより、復号化された複数のオブジ
ェクト画像を合成して同時に表示する際に、各オブジェ
クト画像をそれぞれ正しい大きさ及び位置で表示するこ
とを可能が可能となり、異なった画素アスペクト比の画
像を違和感なく合成し表示することができる。

【図面の簡単な説明】

【図１】本発明に係る画像変換装置の一実施の形態とし
てのオブジェクト画像変換装置の概略的な全体構成を示
すブロック図である。

【図２】本実施の形態のオブジェクト画像変換装置の表
示位置変換器における変換比率に基づく表示位置変換の
動作説明に用いる図である。

【図３】本実施の形態のオブジェクト画像変換装置によ
る画像変換と合成の効果の説明に用いる図である。

【図４】オブジェクト画像の構成例の説明に用いる図で
ある。

【図５】オブジェクト画像を合成して表示する従来例の
オブジェクト画像復号化システムの概略的な全体構成例
を示すブロック図である。

【符号の説明】

１…符号化ビットストリームの入力端子、２…表示装置
の画素アスペクト比情報の入力端子、３…表示装置の画
素アスペクト比情報の入力端子、４…画像復号化器、５
…画像変換比率算出器、６…表示位置変換器、７…画像
サイズ変換器、Ｓ１…符号化ビットストリーム

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C023 AA02 AA11 AA16 AA38 BA02 BA11 CA03 5C059 KK37 KK38 MA00 MB21 PP28 UA05 5C063 AB03 BA14 CA12 CA25 CA34 5C068 HB22

Claims (1)

【特許請求の範囲】
1. 【請求項１】 少なくとも１個以上のオブジェクト画像
   が符号化されたビットストリームを復号化して、当該復
   号化されたオブジェクト画像を生成する画像復号化手段
   と、 前記復号化されたオブジェクト画像の表示に関連する情
   報と、当該復号化されたオブジェクト画像が表示される
   表示手段の表示に関連する情報とに基づいて画像変換の
   比率を算出する画像変換比率算出手段と、 前記復号されたオブジェクト画像の表示位置を、前記画
   像変換の比率に応じた表示位置に変換する表示位置変換
   手段と、 前記復号されたオブジェクト画像の画像サイズを、前記
   画像変換の比率に応じた画像サイズに変換する画像サイ
   ズ変換手段とを有することを特徴とする画像変換装置。