JP2001188525A - 画像表示装置 - Google Patents

Abstract

(57)【要約】 【課題】 挿入する画像が特定の画像に重ならない領域
を自動的に検出し、その領域に適切に配置されるべき挿
入画像を選択し挿入する画像表示装置を提供すること。 【解決手段】 画像に挿入する所定の挿入画像と重なる
ことが禁止される画像と重なることが許容される画像と
を選択し、この選択された、挿入画像と重なることを禁
止する画像の形状情報に基づいて挿入画像を挿入するた
めの空白領域を抽出し、この空白領域に挿入される画像
をその空白領域に配置した画像を生成するので、挿入さ
れる画像が特定の画像に重ならずに画像表示モニターに
表示でき、その特定の画像の大きさや動きに応じて挿入
される画像の位置や大きさを容易に変更することができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像表示装置に係
り、特に一つのモニターに複数のオブジェクトを表示す
る画像表示装置に関する。

【０００２】

【従来の技術】近年、動画像を活用する分野は、テレビ
放送を始めとして、相手方の人物像を映し出し相手の顔
を見ながら会話するテレビ電話、遠隔地間で通信回線を
利用して行うテレビ会議システム、ビデオカメラで撮影
した生の映像を通信回線を利用して送信し遠隔地でモニ
ターしたり、またビデオテープやビデオディスク等に映
画のシーン等が録画された蓄積メディア等広範囲に渡っ
ている。

【０００３】これらの分野において、広範囲かつ各種多
様に動画像が活用される中で、複数の画面を合成し同時
に多くの人たちに見せるマルチ画面の活用が盛んに行わ
れている。たとえば、テレビ放送で野球中継をする場
合、人気の高い試合が同日行われる場合においては一つ
の野球中継を見ながら、テレビ画面の右すみに他球場の
試合を映し出して同時に２つの野球中継を見ることもで
きる。また、テレビのニュース番組においても、ニュー
ス画面中に手話をしている解説者の画面を見せながら発
生した事件の報道を行うという事も行われている。

【０００４】さらに、最近では電話回線で結ばれたパソ
コン上の画面に３人または４人の人物像を映し出しなが
ら、多地点に渡るテレビ会議が行われるようになってい
る。この場合、パソコンの画面上には人物像を表示する
だけでなく、会議に必要な情報（会議資料）が会議に参
加している人達のパソコンの画面に映し出されマルチ画
面として活用されている。

【０００５】上述したような１つの映像オブジェクト
（映像の画面を人物や背景に分割した画像を「映像オブ
ジェクト」と呼ぶ。）に異なる映像オブジェクトを挿入
する場合、操作者がモニタ画面を見ながらその映像オブ
ジェクトを挿入する位置やまたその大きさを手動で設定
する。テレビ放送や動画像通信を行うような動きの激し
いリアルタイムのメディアにおいては、ある程度、挿入
オブジェクトの位置は設定できるものの、時々刻々と変
化する特定オブジェクトの大きさや動きに対応して、そ
の挿入位置を人手により変更することは容易ではない。
一方、ビデオテープやビデオディスク等の蓄積系のメデ
ィアにおいて、この挿入オブジェクトの挿入位置を指定
する場合、特定のオブジェクトに重ならないよう画面を
見ながら指定することは再生を繰り替えしながら比較的
容易に行うことができる。

【０００６】しかし、このような場合、始めのうちは挿
入オブジェクトが特定オブジェクトに重なっていなくて
も、特定のオブジェクトが大きくなったり動いたりして
しまうと、オブジェクト同士が重なり合って見にくくな
ってしまう場合が生じる。

【０００７】

【発明が解決しようとする課題】以上説明したように、
特定のオブジェクトを回避して、新たなオブジェクトを
挿入する場合人手を介して行うことは困難であり、挿入
するオブジェクトの位置を一旦決めると特定のオブジェ
クトの大きさや動きに追随してその位置を変更すること
は不可能であり、さらに、特定オブジェクトの動きによ
り、最初に設定した状態を超えてその特定のオブジェク
トと挿入オブジェクトとが重なってしまうといった課題
があった。

【０００８】本発明は、このような課題を解決するため
になされたもので、本発明の目的は、挿入オブジェクト
が特定オブジェクトに重ならない領域を自動的に検出
し、その領域に適切に配置されるべき挿入オブジェクト
を選択し挿入する画像表示装置を提供することにある。

【０００９】本発明は、また特定のオブジェクトの大き
さや動きに追随して挿入するオブジェクトの位置や大き
さを自動的に変更し、それらのオブジェクトがお互いに
重なることのない画像表示装置を提供することを目的と
する。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の発明は、入力された第１の画像に他
の画像を挿入して合成された合成画像を生成する画像表
示装置において、前記第１の画像から挿入する前記挿入
される画像と重なることが禁止される第２の画像を選択
し選択された第２の画像から該第２の画像の形状を抽出
する形状抽出手段と、前記第２の画像の形状に基づいて
前記第２の画像から空白領域を抽出する空白領域抽出手
段と、前記挿入される画像および前記空白領域情報とか
ら該挿入される画像を該空白領域に配置した第３の画像
を生成する生成手段とを具備することを特徴とする。

【００１１】請求項１記載の発明によれば、挿入される
画像と重なることを禁止する画像と重なることを許容す
る画像とを選択し、この挿入画像と重なることが禁止さ
れる画像の形状情報に基づいて画像を挿入するための空
白領域を抽出し、この空白領域に挿入すべき画像を空白
領域に配置した画像を生成するので、挿入された画像
が、重なることが禁止される画像に重ならずに画像表示
モニターに表示することができる。

【００１２】請求項２記載の発明は、前記画面内に複数
の前記第１の画像が存在するとき各々の該第１の画像に
優先順位をつけ、複数の前記第１の画像から優先順位に
応じて選択した第１の画像を前記第２の画像とする手段
とをさらに具備することを特徴とする。

【００１３】請求項２記載の発明によれば、画面内に複
数の画像が存在するとき各々の画像に優先順位をつけ、
優先順位に応じて選択した画像を挿入される画像と重な
ることを禁止する画像とすることにより、複雑な画像で
あっても選択された画像でない画像は無視して空白領域
の抽出を行うことができる。

【００１４】請求項３記載の発明は、前記空白領域抽出
手段は、前記形状抽出手段にて抽出された前記形状およ
び該形状の位置を示すシーン構成情報に基づいて、前記
画面に設定された座標上の画素が第２の画像内部に含ま
れるか否かを識別し、含まれるときは１を含まれないと
きは０を識別値として出力する出力手段と、前記識別値
が０と識別された前記座標上の画素を含む識別領域と所
定の設定領域とを比較し、この比較結果により得られた
前記識別領域が前記設定領域よりも大きいときは空白領
域情報として出力する手段とを具備することを特徴とす
る。

【００１５】請求項３記載の発明によれば、画面のある
座標上の画素が所定の挿入画像と重なることを禁止する
動画像内部に含まれるか否かを識別し、識別結果に基づ
いて得られた領域と所定の設定領域とを比較し、得られ
た領域が所定の設定領域よりも大きいか否かを常に判断
することにより、重なることを禁止する画像の大きさや
動きに応じて挿入する画像の位置や大きさを容易に変更
することができる。

【００１６】請求項４記載の発明は、前記空白領域抽出
手段において、画面の一端から前記画面のＸ軸を垂直方
向またはＹ軸を水平方向に移動させ、前記Ｘ軸または前
記Ｙ軸が第２の画像に接するまでに抽出した前記画面の
領域を前記空白領域とすることを特徴とする。

【００１７】請求項４記載の発明によれば、画面の一端
から画面のＸ軸を垂直方向またはＹ軸を水平方向に移動
させて、挿入される画像と重なることを禁止する画像に
接するまでの領域を空白領域とすることにより、比較的
大きな空白領域を検出でき大きな挿入オブジェクトを挿
入することができる。

【００１８】請求項５記載の発明は、前記空白領域抽出
手段において、前記画面の一角に所定の多角形を設定し
前記多角形の面積を拡大させ、前記拡大された多角形の
任意の一辺が第２の画像に接するまでに抽出した前記画
面の領域を前記空白領域とすることを特徴とする。

【００１９】請求項５記載の発明によれば、画面の一角
に所定の多角形を設定しこの多角形の面積を拡大させ、
前記拡大された多角形の任意の一辺が第２の画像に接す
るまでに抽出した画面の領域を空白領域とすることによ
り、その多角形に相応した大きさの挿入画像を挿入する
ことができる。

【００２０】請求項６記載の発明は、前記空白領域抽出
手段において、前記画面の一角に所定の多角形からなる
ブロックを設定し前記ブロックを垂直方向または水平方
向に移動させ第２の画像と非接触状態となったとき、前
記多角形の面積を拡大させ前記拡大された多角形の任意
の一辺が第２の画像に接するまでに抽出した画面の領域
を前記空白領域とすることを特徴とする。

【００２１】請求項６記載の発明によれば、画面の一角
から所定の多角形からなるブロックを垂直または水平方
向に移動させ、所定の挿入画像と重なることが禁止され
る動画像と非接触状態となったとき、前記多角形の面積
を拡大させ、所定の挿入画像と重なることが禁止される
画像に接するまでに抽出した画面の領域を空白領域とす
ることにより、比較的複雑な画面における残り少ない空
白領域を抽出して有効に挿入画像を表示することができ
る。

【００２２】請求項７記載の発明は、前記空白領域抽出
手段において、前記画面上で前記空白領域を抽出するた
めの開始位置に優先順位をつけ、抽出した前記空白領域
に対応する開始位置の優先順位を前記選択挿入される画
像を配置するための優先順位とすることを特徴とする。

【００２３】請求項７記載の発明によれば、画面上で空
白領域を抽出するための検索開始位置に優先順位をつ
け、抽出した空白領域に対応する検索開始位置の優先順
位を挿入画像を配置するための優先順位とすることによ
り、抽出した複数の空白領域の候補を１つに絞ることが
できる。

【００２４】請求項８記載の発明は、前記空白領域抽出
手段において、前記画面上を幾つかの領域に分割し該分
割領域に優先順位をつけ、抽出した前記空白領域に対応
する分割領域の優先順位を前記挿入される画像を配置す
るための優先順位とすることを特徴とする。

【００２５】請求項８記載の発明によれば、画面上を幾
つかの領域に分割し該分割領域に挿入画像を配置するた
めの優先順位をつけ、抽出した空白領域に対応する分割
領域の優先順位を挿入動画像を配置するための優先順位
とすることにより、検出した複数の空白領域の候補を１
つに絞ることができる。

【００２６】

【発明の実施の形態】以下、図面を参照しながら、本発
明の実施形態について説明する。

【００２７】図１は、本発明の第１の実施形態に係る画
像表示時装置の構成を示すブロック図である。

【００２８】同図によれば、画像表示装置１は、映像ソ
ース２、オブジェクト映像選択部３、空白領域検出部
８、オブジェクト生成部９、設定部１０、合成部１１、
モニター１２、挿入オブジェクト画像２３を具備して構
成される。

【００２９】映像ソース２は、コンパクトディスク、ビ
デオディスク、ビデオテープ等に格納された映画のシー
ン、テレビで放映された映像等をオブジェクト映像とし
て格納したものである。また、ビデオカメラやテレビカ
メラで撮影した映像から被写体を領域抽出した後、オブ
ジェクト符号化したオブジェクト映像等もある。

【００３０】なお、本発明の実施形態に係る画像表示時
装置を説明するに際し、映像ソース２に格納されている
映像はオブジェクト映像であることを前提として説明す
る。映像ソース２から読み出されるオブジェクト映像は
直列符号化データ４として出力される。オブジェクト映
像選択部３では、挿入オブジェクトと重なることを禁止
するオブジェクト映像と挿入オブジェクトと重なること
を許容するオブジェクト映像とが選り分けられる。そし
て、選択された、挿入オブジェクトと重なることを禁止
するオブジェクト映像の形状情報６が出力される。

【００３１】空白領域検出部８では、オブジェクト映像
選択部３から出力された形状情報６を基にオブジェクト
生成部９で挿入オブジェクトを挿入するための空白領域
を検出する。

【００３２】オブジェクト生成部９では、空白情報１３
を基に設定部１０で予め設定した複数の挿入オブジェク
ト画像から空白領域１３に適した挿入オブジェクトが選
択されて、空白領域に配置されたオブジェクト映像１４
が出力される。

【００３３】合成部１１では、映像ソース２のオブジェ
クト映像とオブジェクト生成部９で生成されたオブジェ
クト映像１４とが合成される。モニタ１２は、合成部１
２で合成されたオブジェクトを表示する。挿入オブジェ
クト画像２３は、オブジェクト生成部９で挿入される複
数のオブジェクト画像である。

【００３４】次に、図１に基づいて、このように構成さ
れた画像表示装置１を用いて、映像ソースの画面に挿入
オブジェクトを挿入し合成された映像オブジェクトをモ
ニター１２に表示するまでの動作について説明する。

【００３５】映像ソース２から読み出されたオブジェク
ト映像は、直列符号化データ４として出力される。この
直列符号化データ４はオブジェクト映像選択部３に入力
され、設定部１０からの挿入オブジェクト指定情報とそ
の大きさ、位置情報、その優先順位５ａに基づいて、挿
入オブジェクトと重なることが禁止されるオブジェクト
映像Ａと挿入オブジェクトと重なることが許容されるオ
ブジェクト映像Ｂとが選択される。複数のオブジェクト
映像がある場合、オブジェクトの重要度を考慮してそれ
らに優先順位をつけオブジェクトＡもしくはオブジェク
トＢが選択される。選択された、挿入オブジェクトと重
なることが禁止されるオブジェクト映像Ａの形状を抽出
し、その形状情報６が出力される。

【００３６】このオブジェクト映像Ａの選択は、通常オ
ブジェクト映像選択部３において大きなオブジェクトが
優先的にかつ自動的に行われる。または、このシステム
のユーザーが、映像ソース２から出力された人物や背景
のオブジェクトとこのオブジェクトの位置情報からなる
シーン構成情報７を基に、時々刻々と変化するシーンを
モニタ１２を見ながら、図示しない操作部から手動によ
り設定部１０を通じてオブジェクト映像Ａの選択を行
う。

【００３７】オブジェクト映像選択部３から出力された
オブジェクト画像Ａの形状情報６とシーン構成情報７が
空白領域検出部８に入力され、挿入オブジェクトを挿入
するための空白領域、いわゆるオブジェクト画像Ａの空
白領域の形状と大きさが検出される。

【００３８】そして、検出された空白領域情報１３、オ
ブジェクト映像選択部３からのシーン構成情報７および
設定部１０から指定された挿入オブジェクトの指定情報
５ｂ、その大きさ・位置情報５ｃとがオブジェクト生成
部９に入力される。

【００３９】オブジェクト生成部９では、空白領域情報
１３を基に設定部１０で予め設定した複数の挿入オブジ
ェクトから空白領域に最も適した挿入オブジェクトを選
択してその空白領域情報１３に配置し、オブジェクト映
像１４が生成される。検出された空白領域への挿入オブ
ジェクトの配置は、挿入オブジェクトを配置する位置や
検出開始点に優先順位をつけてこの優先順位に基づきそ
の高い位置に挿入オブジェクトを配置する。

【００４０】オブジェクト生成部９で生成されたオブジ
ェクト映像１４は、映像ソース２の映像オブジェクト１
５と合成部１１で合成されモニター１２に表示される。

【００４１】次に、図２乃至図１４に基づいて、画像表
示装置１の空白領域検出部８における空白領域の検出方
法について説明する。空白領域の検出方法としては、正
方形により空白領域を検出する方法、Ｘ軸（水平線）に
より空白領域を検出する方法、Ｙ軸（垂直線）により空
白領域を検出する方法、移動させたブロックにより空白
領域を検出する方法の４種類の方法がある。

【００４２】これら４つの方法による空白領域の抽出
は、挿入オブジェクトの形状と大きさとから予め設定領
域の形状、大きさを設定して行われる。

【００４３】ここで、挿入オブジェクトと重なることが
禁止されるオブジェクトを特定オブジェクトと呼ぶこと
とする。

【００４４】図２は、正方形により空白領域を検出する
方法を示した概念図である。

【００４５】この検出方法は、左上端を起点として所定
の大きさの正方形を設定し（（ａ））、この正方形を特
定オブジェクトに接するまで拡大を行い（（ｂ））、接
した時点で拡大するのを停止して空白領域を検出する
（（ｃ））というものである。

【００４６】ここで、図３乃至図５に基づいて、図２に
示した正方形により空白領域を検出する方法の手順につ
いて詳細に説明する。図３は、所定の大きさの正方形を
設定しその拡大する過程を示した図である。また、図４
および図５は、正方形により空白領域を検出する方法の
検出手順を示したフローチャートである。

【００４７】まず、図３に示すように、所定の大きさ、
一辺がｅの大きさの正方形が選択されると、正方形の左
上端が画面の左上端の座標が（ｘ，ｙ）＝（０，０）
に、正方形の右下端の座標が（ｅ，ｅ）設定される（図
４ ステップＳ４０１）。最初に、正方形の下辺から検
査を開始し、まず下辺上の左端：座標（０，ｅ）の検査
を行う（図４ ステップＳ４０２〜Ｓ４０５）。

【００４８】そして、設定した正方形の下辺上の座標ｘ
が正方形の下辺の最右端を超えていない場合（図４ ス
テップＳ４０６におけるＮＯ，ｘ≦ｅ）、特定オブジェ
クトと接しているか否かを判定し接していると判定した
ときは（図４ ステップＳ４０７におけるＹＥＳ）、そ
のときのｘ座標の値がこの正方形の一辺の大きさｆと特
定される（図４ ステップＳ４０９）。

【００４９】また、特定オブジェクトと接していないと
判定したときは（図４ ステップＳ４０７におけるＮ
Ｏ）、ｘ座標ｉを１だけインクリメント（ｉ＝ｉ＋１）
して（図４ ステップＳ４０８）、ステップＳ４０６と
ステップＳ４０７の手順が繰り返される。正方形の下辺
上の座標ｘが正方形の下辺の最右端を超えてる場合（ｘ
＞ｅ）は、下辺の検査を中止する（図４ ステップＳ４
０６におけるＹＥＳ）。

【００５０】次に、右辺の検査を開始し（図５ ステッ
プＳ４１１）、右辺上の上端：座標（ｅ，０）から検査
を行う（図５ ステップＳ４１２〜Ｓ４１４）。正方形
の右辺上の座標ｙが正方形の右辺の最下端を超えていな
い場合（図５ ステップＳ４１５におけるＮＯ，ｙ≦
ｅ）、特定オブジェクトと接しているか否かを判定し接
していると判定したときは（図５ ステップＳ４１７に
おけるＹＥＳ）、そのときのｙ座標の大きさがこの正方
形の一辺の大きさｆと特定される。

【００５１】また、特定オブジェクトと接していないと
判定したときは（図５ ステップＳ４１７，ＮＯ）、ｙ
座標ｊを１だけインクリメント（ｊ＝ｊ＋１）して（図
５ステップＳ４１８）、ステップＳ４１５とステップＳ
４１７の手順が繰り返される。正方形の右辺上の座標ｙ
が正方形の右辺の最下端を超えてる場合（ｙ＞ｅ）は、
右辺の検査を中止する（図５ ステップＳ４１５におけ
るＹＥＳ）。そして、最初に設定した正方形の一辺が拡
大され（図５ ステップＳ４１６）、正方形の下辺から
改めて検査が開始される（図５ ステップＳ４０１〜Ｓ
４１８）。

【００５２】次に、図６に基づいて画面上の空白領域の
抽出を行う空白領域検出部８の動作について説明する。
同図は、空白領域検出部８の機能を説明したブロック図
である。

【００５３】空白領域検出部８は、形状情報出力部８
１，座標指定部８２，空白判定部８３から構成される。
形状情報出力部８１は、オブジェクト映像選択部３から
の特定オブジェクトの形状情報６およびシーン構成情報
７を入力し、画面の各座標上の画素について特定オブジ
ェクト内部に含まれるか否かを識別する。たとえば、そ
の画素が特定オブジェクト内部に含まれれば１と設定
し、外部であれば０が設定される。そして、識別データ
Ｓ（ｘ，ｙ）＝１／０として空白判定部８３に出力され
る。

【００５４】空白判定部８３では、この識別データＳ
（ｘ，ｙ）を入力して空白領域であるかが判定される。
その結果は、また座標指定部８２に通知され、次の検査
すべき画面上の座標が指定されこの座標が形状情報出力
部８１に出力される。そして、引き続き形状情報出力部
８１で指定された画面の座標上の画素について特定オブ
ジェクト内部に含まれるか否かが識別される。すべての
座標について検査が行われた後、空白領域の情報１３が
空白判定部８３からオブジェクト生成部９に出力され
る。

【００５５】以上説明したように、正方形により空白領
域を設定する方法は、その正方形の大きさに呼応した大
きさの挿入オブジェクトを挿入することができる。

【００５６】図７は、Ｘ軸（水平線）により空白領域を
検出する方法を示した概念図である。同図に示すよう
に、表示画面の上端からＸ軸を降ろしていき
（（ａ））、特定オブジェクトと接した時点（（ｂ））
までの上部の領域を空白領域（（ｃ）））とするもので
ある。また、画面上のＸ軸を上端から移動する場合につ
いて説明したが、逆に下端から上の方向に移動させても
よい。

【００５７】図８は、Ｙ軸（垂直線）により空白領域を
検出する方法を示した概念図である。同図に示すよう
に、表示画面の左端からＹ軸を右方向に移動させていき
（（ａ））、特定オブジェクトと接した時点（（ｂ））
までの左部分の領域を空白領域（（ｃ）））とするもの
である。また、画面上のＹ軸を左端から右方向に移動す
る場合について説明したが、逆に右端から左の方向に移
動させてもよい。

【００５８】図９は、Ｘ軸およびＹ軸による方法を組み
合わせて空白領域を検出したときの画面の空白領域を示
した図である。本方法は、前述のＸ軸およびＹ軸を併用
して空白領域を検出しようとするものである。

【００５９】以上説明したように、画面上のＸ軸または
Ｙ軸により空白領域を検出する方法は、特定オブジェク
トの占める比率が比較的小さく挿入オブジェクトを挿入
する余裕がある場合に有効な方法である。すなわち、本
方法によれば、比較的大きな空白領域を検出でき、大き
な挿入オブジェクトを挿入することができる。

【００６０】図１０は、移動させたブロックにより空白
領域を検出する方法を示した概念図である。本方法は、
任意に設定したある大きさを持つ正方形のブロックを水
平、右方向に移動させたうえ（（ａ））、この正方形の
ブロックが特定オブジェクトと重ならない個所で停止さ
せ（（ｂ））、その地点において正方形のブロックを特
定オブジェクトと接するまで四方に拡大させ
（（ｃ））、このときの正方形の領域を空白領域
（（ｄ））とするものである。この場合、正方形の一辺
が特定オブジェクトと接した場合だけでなく、残りの三
辺を個々に拡大させて空白領域を検索しさらに空白領域
の拡大が図られる。

【００６１】本方法は、同図に示すように複数の特定オ
ブジェクトが複雑に配置されていて、残っている空白領
域が少ない場合の検索方法として有効である。すなわ
ち、画面が比較的複雑であり残り少ない空白領域を有効
に利用して表示することができる。また、本方法の説明
にあたり、任意に設定したある大きさを持つ正方形のブ
ロックの開始点を左の上端としたが、残り３つの端部を
開始点とすること、そして、移動方向として水平方向に
限らず垂直方向とすることもできる。

【００６２】次に、図１１から図１３に基づいて、上記
の４つの方法において検索開始位置に優先順位をつけて
複数の空白領域が検出されたとき、その優先順位に基づ
いてそれら中から空白領域を絞り込む場合について説明
する。

【００６３】図１１は、正方形により空白領域を検出す
る場合、検出開始位置に優先順位をつけて行う場合を示
した図である。本方法は、画面上の４つの端部に正方形
を設定する場合があり、これら４つの端部に検出開始の
優先順位を決めて、挿入オブジェクトを配置する領域を
決定しようというものである。この例では、１番目に左
上端部、２番目に右上端部、３番目に左下端部、４番目
に右下端部という順で検索開始の優先順位を決めたもの
である。

【００６４】図１２は、Ｘ軸（水平線）、Ｙ軸（垂直
線）を用いて空白領域を検出する場合、検出開始位置に
優先順位をつけて行う場合を示した図である。

【００６５】これは、Ｘ軸、Ｙ軸を配置する場合として
画面上の上端、下端、左端、右端と４つの場合があり、
これら４つの端部に検索開始の優先順位を決めて、挿入
オブジェクトを配置する領域を決定しようというもので
ある。この例では、１番目に上端部、２番目に左端部、
３番目に右端部、４番目に下端部という順で検索開始の
優先順位を決めたものである。

【００６６】図１３は、正方形のブロックにより空白領
域を検出する場合、検出開始位置に優先順位をつけて行
う場合を示した図である。

【００６７】これは、画面上の４つの端部に正方形のブ
ロックの検索開始点を設定する場合があり、これら４つ
の端部にその優先順位を決めて挿入オブジェクトを配置
する領域を決定しようというものである。この例では、
１番目に左上端部、２番目に右上端部、３番目に左下端
部、４番目に右下端部という順で検索開始の優先順位を
決めたものである。

【００６８】以上説明したように、検索開始位置により
複数の空白領域が検出された場合、検索開始位置に優先
順位をつけることにより、検出された複数の空白領域の
中から候補を１つに絞ることができる。

【００６９】さらに、図１４に基づいて、挿入オブジェ
クトの配置位置の優先順位により挿入する領域を決定す
る手順について説明する。この手順を説明するに際して
は、具体例として前述したＸ軸およびＹ軸を使用する方
法を用いて説明する。

【００７０】これらの方法において、挿入オブジェクト
の形状とそれを挿入する領域の大きさを予め設定してお
き、まず上端から垂直方向にＸ軸を移動させ特定オブジ
ェクトと接したとき停止させる（（ａ））。この垂直方
向への移動では予め設定した領域にあう大きさの空白領
域がないため、次に左端から水平方向にＹ軸を移動させ
特定オブジェクトと接したとき停止させる（（ｂ））。

【００７１】このＹ軸の水平移動では、設定した領域に
あう大きさの空白領域が存在したため、検出した左端の
領域を空白領域とする（（ｃ）黒く塗布した部分）。

【００７２】ここで、図１４の（ｄ）に図示すように、
画面上で挿入オブジェクトを配置する領域に優先順位が
決められているので、画面の左端上部が最終的に挿入オ
ブジェクトの配置位置として決定される（（ｅ）黒く塗
布した部分）。なお、水平方向、垂直方向のいずれの方
向からも検出できなかった場合は、最初に設定する領域
（（ａ）の点線部分）を前の設定領域より小さくして、
前述したと同様の手順で再度検出を行う（（ａ）〜
（ｅ））。または、検出した空白領域の中で最も大きな
空白領域を候補とする場合もある。

【００７３】以上説明したように、検索開始位置により
複数の空白領域が検出された場合、挿入オブジェクトの
配置位置の優先順位により、検出された複数の空白領域
の中から候補を１つに絞ることができる。

【００７４】次に、図１５および図１６に基づいて、本
発明の第２の実施形態に係る画像表示装置について説明
する。これは、テレビ電話システムに応用した場合で、
送受信側相互の画面を送受信しあうテレビ電話画面を映
像ストリーム１６とし、テレビ電話システムの網側で挿
入オブジェクトを挿入する場合を想定する。

【００７５】このテレビ電話の場合、テレビ電話システ
ムの網側において挿入する画面は画像情報提供サービス
として提供するもので、たとえばコマーシャル等の画面
を挿入することが考えられる。したがって、送信元のテ
レビ電話ではオブジェクトの合成は行わず、それ以降の
網側で空白領域検出や挿入オブジェクトの選択、挿入オ
ブジェクトの位置を決定してオブジェクト符号化を行っ
た後、テレビ電話の映像ストリームと多重化して基地局
を経由して送信先のテレビ電話端末に送信するものであ
る。

【００７６】図１５は、本発明の第２の実施形態に係る
画像表示装置を用いてテレビ電話の画面に挿入したオブ
ジェクトを生成する場合のシステム構成を示すブロック
図である。

【００７７】同図によれば、画像表示装置１は、映像ス
トリーム１６、復号化部７、オブジェクト映像選択部
３、空白領域検出部８、設定部１０、オブジェクト生成
部１１、符号化部１８、多重化部１９、挿入オブジェク
ト画像２３とから、送信先のテレビ電話端末の復号器２
１、モニター２２から構成される。なお、第１の実施形
態と同一のブロックには同一の番号を付し、ここでは相
違するブロックのみその機能を説明する。

【００７８】復号化部１７は、映像ストリーム１６をい
ったん復号する。符号化部１８は、オブジェクト合成部
９で生成されたオブジェクト画像を人物や背景の単位で
オブジェクト符号化を行う。多重化部１９は、もとの映
像ストリーム１６と符号化部１８でオブジェクト符号化
されたオブジェクト画像とを多重化する。

【００７９】受信側における復号器２１は、挿入オブジ
ェクトが多重化された映像ストリーム２０をモニター２
２に表示するための復号化を行う。

【００８０】同図に基づいて、本発明の第２の実施形態
に係る画像表示装置１でテレビ電話の画面に挿入オブジ
ェクト画像を生成し、送信先のテレビ電話端末のモニタ
ー画面に表示するまでの動作を説明する。

【００８１】同図において、送信元のテレビ電話端末か
ら送信された映像ストリーム１６が復号化部１７でいっ
たん復号化され、復号化された映像ストリームがオブジ
ェクト映像選択部３に入力される。これ以降の動作は第
１の実施形態と同様の動作で、挿入オブジェクトが挿入
されたオブジェクト映像１４がオブジェクト生成部１１
で生成される。

【００８２】生成されたオブジェクト映像１４は符号化
部１８で符号化され、多重化部１９でシーン構成情報７
とともにもとの映像ストリーム１６と多重化され、映像
ストリーム２０として送信先のテレビ電話端末側に送信
される。そして、送信先のテレビ電話端末の受信側で
は、多重化された映像ストリーム２０を復号器２１で復
号し、図示しないシーン構成情報をもとにオブジェクト
画像を合成してモニター２２に表示される。

【００８３】また、図１６は、本発明の第２実施形態に
係る画像表示装置を用いてテレビ電話の映像に挿入した
挿入オブジェクト画像が受信側のモニター上で時間的経
過により移り変わるのを示した図である。

【００８４】すなわち、（ａ）は、送信先におけるテレ
ビ電話のモニターに映し出された人物画像に挿入オブジ
ェクトが挿入されている画面を表している。そして、
（ｂ）は、画面に映し出されている人物像が左へ寄った
場合挿入オブジェクトの画像を表示できる限界でその挿
入オブジェクトを表示している画面である。

【００８５】また、（ｃ）は、さらに人物が左へ寄ると
挿入オブジェクトを表示できなくなり、その挿入オブジ
ェクトが人物の右の空白領域に移動した画面を表してい
る。（ｄ）は、挿入オブジェクトを表示できる空白領域
の限界近くまで拡大された画面を表している。

【００８６】（ｅ）は、人物が中央に位置し大きく拡大
されたため、同図（ｄ）における挿入オブジェクトでは
表示できなくなり、挿入オブジェクトを表示できる程度
の大きさに縮小して左画面上に表示させたものである。

【００８７】以上説明したように、本願発明に係る実施
形態においては、オブジェクト映像選択部３、空白領域
検出部８、オブジェクト生成部１１、設定部１０がそれ
ぞれ設けられている。そして、１つの画面で表示されて
いる複数のオブジェクトのうち特定オブジェクトと重な
らないよう空白領域検出部で空白領域を検出し、その検
出領域に挿入オブジェクトを配置するようにしたことに
より、挿入オブジェクトが特定オブジェクトと重ならず
に表示することができる。

【００８８】また、特定のオブジェクトの大きさや動き
に応じて挿入するオブジェクトの大きさや位置を変更す
るようにしたことにより、特定のオブジェクトの大きさ
や動きに追随して挿入オブジェクトを表示することがで
きる。

【００８９】本発明は、これらの実施形態に限定される
ものではなく、本発明の技術的思想の範囲内で種々の変
更や拡張が可能である。たとえば、動画像をオブジェク
ト画像を例として説明したが、一般的な符号化されたデ
ジタル動画像を取り扱っても、以上説明した効果と同様
の効果を得ることができる。

【００９０】

【発明の効果】以上説明したように、オブジェクト映像
選択部３、空白領域検出部８、オブジェクト生成部１１
等を設けて、１つの画面で表示されている複数のオブジ
ェクトのうち特定オブジェクトと重ならないよう空白領
域検出部で空白領域を検出し、その空白領域に挿入オブ
ジェクトを挿入するようにしたことにより、特定のオブ
ジェクトの大きさや動きに追随し重ならずに挿入オブジ
ェクトを表示することができる。

【００９１】また、空白領域の検出方法としては、正方
形、Ｘ軸（水平線）、Ｙ軸（垂直線）または移動させた
ブロックにより空白領域を検出する方法があり、これら
の方法の長所に合わせて空白領域を検出することができ
る。そして、これらの方法により複数の空白領域を検出
することができるが、併せて検出開始点や挿入オブジェ
クトの配置位置による優先順位を設定することで、複数
の検出された空白領域を１つに絞り込むことができる。

【００９２】さらに、動画像を人物や背景を単位とした
オブジェクト画像として取り扱うことにより容易に画像
処理を行うことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る画像表示装置の
構成を示すブロック図である。

【図２】正方形により空白領域を検出する方法を示した
概念図である。

【図３】所定の大きさの正方形を設定しその拡大する過
程を示した図である。

【図４】正方形により空白領域を検出する方法の検出手
順を示したフローチャートである。

【図５】正方形により空白領域を検出する方法の検出手
順を示したフローチャートである。

【図６】空白領域検出部の機能を説明したブロック図で
ある。

【図７】Ｘ軸（水平線）により空白領域を検出する方法
を示した概念図である。

【図８】Ｙ軸（垂直線）により空白領域を検出する方法
を示した概念図である。

【図９】Ｘ軸（水平線）およびＹ軸（垂直線）による方
法を組み合わせて空白領域を検出したときの画面の空白
領域を示した図である。

【図１０】移動させたブロックにより空白領域を検出す
る方法を示した概念図である。

【図１１】正方形により空白領域を検出する場合、検出
開始位置に優先順位をつけて行う場合を示した図であ
る。

【図１２】Ｘ軸（水平線）およびＹ軸（垂直線）を用い
て空白領域を検出する場合、検出開始位置に優先順位を
つけて行う場合を示した図である。

【図１３】正方形のブロックにより空白領域を検出する
場合、検出開始位置に優先順位をつけて行う場合を示し
た図である。

【図１４】Ｘ軸（水平線）とＹ軸（垂直線）との組み合
わせにより空白領域を検出した後、挿入オブジェクト画
像を挿入する位置の優先順位により挿入する領域を決定
する手順を示した図である。

【図１５】本発明の第２の実施形態に係る画像表示装置
の構成を示すブロック図である。

【図１６】本発明の第２実施形態に係る画像表示装置を
用いてテレビ電話のモニター画面に挿入した挿入オブジ
ェクト画像が受信側のモニター上で時間的経過により移
り変わるのを示した図である。

【符号の説明】

１…画像表示装置、２…映像ソース、３…オブジェクト
映像選択部、８…空白領域検出部、９…オブジェクト生
成部、１０…設定部、１１…合成部、 １２，２２…モ
ニター、１６…映像ストリーム、１７…復号化部、１８
…符号化部、１９…多重化部、２１…復号器、２３…挿
入オブジェクト画像、２４…テレビ電話端末、４…直列
符号化データ、５ａ…オブジェクト映像選択部に対する
挿入オブジェクトの指定情報（大きさ・位置）、５ｂ…
指定された挿入オブジェクトの大きさ・位置情報、５ｃ
…オブジェクト生成部に対する挿入オブジェクトの指定
情報、６…選択されたオブジェクト映像の形状情報、７
…シーン構成情報、１３…空白領域情報、１４…生成さ
れたオブジェト映像、１５…映像オブジェクト、２０…
挿入オブジェクトが多重化された映像ストリーム、Ａ…
挿入オブジェクトと重なることが禁止されるオブジェク
ト映像、Ｂ…挿入オブジェクトと重なることが許容され
るオブジェクト映像。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 入力された第１の画像に他の画像を挿入
   して合成された合成画像を生成する画像表示装置におい
   て、 前記第１の画像から挿入する前記挿入される画像と重な
   ることが禁止される第２の画像を選択し選択された該第
   ２の画像から該第２の画像の形状を抽出する形状抽出手
   段と、 前記第２の画像の形状に基づいて前記第２の画像から空
   白領域を抽出する空白領域抽出手段と、 前記挿入される画像および前記空白領域情報とから該挿
   入される画像を該空白領域に配置した第３の画像を生成
   する生成手段と、 を具備することを特徴とする画像表示装置。
2. 【請求項２】 前記画面内に複数の前記第１の画像が存
   在するとき各々の該第１の画像に優先順位をつけ、複数
   の前記第１の画像から優先順位に応じて選択した第１の
   画像を前記第２の画像とする手段とをさらに具備するこ
   とを特徴とする請求項１記載の画像表示装置。
3. 【請求項３】 前記空白領域抽出手段は、 前記形状抽出手段にて抽出された前記形状および該形状
   の位置を示すシーン構成情報に基づいて、前記画面に設
   定された座標上の画素が第２の画像内部に含まれるか否
   かを識別し、含まれるときは１を含まれないときは０を
   識別値として出力する出力手段と、 前記識別値が０と識別された前記座標上の画素を含む識
   別領域と所定の設定領域とを比較し、この比較結果によ
   り得られた前記識別領域が前記設定領域よりも大きいと
   きは空白領域情報として出力する手段と、 を具備することを特徴とする請求項１記載の画像表示装
   置。
4. 【請求項４】 前記空白領域抽出手段において、 画面の一端から前記画面のＸ軸を垂直方向またはＹ軸を
   水平方向に移動させ、前記Ｘ軸または前記Ｙ軸が第２の
   画像に接するまでに抽出した前記画面の領域を前記空白
   領域とすることを特徴とする請求項１記載の画像表示装
   置。
5. 【請求項５】 前記空白領域抽出手段において、 前記画面の一角に所定の多角形を設定し前記多角形の面
   積を拡大させ、前記拡大された多角形の任意の一辺が第
   ２の画像に接するまでに抽出された前記画面の領域を前
   記空白領域とすることを特徴とする請求項１記載の画像
   表示装置。
6. 【請求項６】 前記空白領域抽出手段において、 前記画面の一角に所定の多角形からなるブロックを設定
   し前記ブロックを垂直方向または水平方向に移動させ第
   ２の画像と非接触状態となったとき、前記多角形の面積
   を拡大させ前記拡大された多角形の任意の一辺が第２の
   画像に接するまでに抽出された画面の領域を前記空白領
   域とすることを特徴とする請求項１記載の画像表示装
   置。
7. 【請求項７】 前記空白領域抽出手段において、 前記画面上で前記空白領域を抽出するための開始位置に
   優先順位をつけ、抽出された前記空白領域に対応する開
   始位置の優先順位を前記挿される動画像を配置するため
   の優先順位とすることを特徴とする請求項１記載の画像
   表示装置。
8. 【請求項８】 前記空白領域抽出手段において、 前記画面上を幾つかの領域に分割し該分割領域に優先順
   位をつけ、抽出した前記空白領域に対応する分割領域の
   優先順位を前記挿入される画像を配置するための優先順
   位とすることを特徴とする請求項１記載の画像表示装
   置。