JP2014150299A - 画像処理装置とその画像処理方法、および通信システム - Google Patents

Abstract

【課題】ネットワークを介したテレビ電話、ＷＥＢチャットといった双方向システムにおけるピクチャーインピクチャー形式による表示において、画像処理によって１フレームの画像としての圧縮を可能にし、ネットワーク帯域を節約できるようにする。
【解決手段】対向する画像処理装置から子画面の表示位置情報を受信し、その子画面位置情報をもとに画像処理を行うことで、対向装置のピクチャーインピクチャー方式の表示情報に応じて、画像処理装置で子画面位置の画像処理を実施する。さらに、画像処理として、子画面位置の画像を高圧縮可能データに置換して、生成した画像を符号化して圧縮データにすることにより、データ量を削減してネットワーク帯域の削減をする。
【選択図】図１

Description

本発明は、ピクチャーインピクチャー方式で表示を行う技術に関する。

近年ではネットワークを介したテレビ電話、ＷＥＢチャットといった双方向システムでピクチャーインピクチャー方式での表示が増えて来ている。このようなネットワークに画像を伝送するシステムでは、ネットワーク帯域を圧迫しないために画像データの削減が求められている。
ピクチャーインピクチャー方式で表示を行うシステムにおけるネットワーク帯域削減を行う方法の従来例として、画像伝送方法及び装置並びに画像伝送システム（特許文献１参照）が開示されている。

図１４は、特許文献１の技術による画像伝送システムの構成を表す図である。図１４のシステムでは、子画面制御部が親画面と子画面の表示位置を決定して信号制御部Ａと信号制御部Ｂに情報を設定し、親画面となるカメラＡの画像については信号制御部Ａが子画面に覆い隠される部分の画像信号を間引いて信号受信部Ｃに伝送し、子画面となるカメラＢの画像については信号制御部Ｂが子画面サイズに応じて画像信号を間引いて信号受信部Ｃに伝送し、親画面と子画面をピクチャーインピクチャー方式で表示する。

特開平１０−２３４０２０号公報

しかしながら、ネットワークを介したテレビ電話、ＷＥＢチャットなどの画像処理システムでは、ネットワーク帯域を圧迫しないために、画面全体をＪＰＥＧやＭＰＥＧ、Ｈ．２６４などの形式により符号化することで、画像を静止画圧縮または動画圧縮してから伝送している。
特許文献１はピクチャーインピクチャー方式の子画面表示位置における親画面の画素データを間引く方法であるが、画面全体の符号化により圧縮データを生成してネットワーク送信を行うシステムでは、間引きに必要な子画面の位置情報は表示を行う装置のみが有するので、画像を送信する前に間引きをすることができない。

加えて、画像を送信する装置が子画面の位置情報を得たとしても、間引き後のデータはそのままでは画面全体をＪＰＥＧやＭＰＥＧ、Ｈ．２６４などの形式により符号化することができないので、表示を行う装置が間引き前の画像の圧縮データと同等に扱えるような形式で伝送することができず、表示を行う装置において間引き後の圧縮データを扱えるような構成が必要となる。

本発明は上述の課題を鑑みてなされたものであり、ピクチャーインピクチャー形式で画像表示装置に表示させる画像処理装置において、画像表示装置に親画面として表示される画像処理装置の画像に画像処理を行うことで、符号化を行った圧縮データのデータ量を削減することを目的とする。

本発明に係る画像処理装置は、ネットワークを介して第１の端末から送る画像を、第２の端末において親画面として表示するとともに、親画面の一部を覆う状態で子画面を表示する通信システムにおける前記第１の端末の画像処理装置であって、前記第２の端末において子画面が親画面を覆い隠す領域を表す画像位置情報を取得する画面位置情報取得部と、前記第２の端末に送ろうとする画像のうち、前記取得した画像位置情報が表す領域を特定のデータで置換し、置換後の画像を符号化して圧縮データを生成する画像処理圧縮部と、前記圧縮データを前記第２の端末に親画面の画像として送信する画像データ送信部とを含むことを特徴とする。

また、本発明の画像処理方法は、ネットワークを介して第１の端末から送る画像を、第２の端末において親画面として表示するとともに、親画面の一部を覆う状態で子画面を表示する通信システムにおける前記第１の端末の画像処理方法であって、前記第２の端末において子画面が親画面を覆い隠す領域を表す画像位置情報を取得する画面位置情報取得ステップと、前記第２の端末に送ろうとする画像のうち、前記取得した画像位置情報が表す領域を特定のデータで置換し、置換後の画像を符号化して圧縮データを生成する画像処理圧縮ステップと、前記圧縮データを前記第２の端末に親画面の画像として送信する画像データ送信ステップとを含むことを特徴とする。

また、本発明の通信システムは、ネットワークを介して第１の端末から送る画像を、第２の端末において親画面として表示するとともに、親画面の一部を覆う状態で子画面を表示する通信システムであって、前記第１の端末は前記第２の端末において子画面が親画面を覆い隠す領域を表す画像位置情報を取得する画面位置情報取得部と、前記第２の端末に送ろうとする画像のうち、前記取得した画像位置情報が表す領域を特定のデータで置換し、置換後の画像を符号化して圧縮データを生成する画像処理圧縮部と、前記圧縮データを前記第２の端末に親画面の画像として送信する画像データ送信部とを含み、前記第２の端末は親画面となる前記第１の端末の画像が子画面に覆い隠される位置を表す画面位置情報を前記第１の端末に送信する画面位置情報送信部と、前記第１の端末が送信する画像圧縮データを受信する画像データ受信部と、前記受信した画像圧縮データを親画面として表示し、子画面をピクチャーインピクチャー方式で表示する画面制御部とを含むことを特徴とする。

これら上記の構成によれば、ネットワークを介して対向する画像処理装置よりピクチャーインピクチャー形式の子画面の表示位置を取得でき、自身が送信し対向する画像処理装置で親画面として表示する画像について、対向する画像処理装置の子画面に覆い隠されて不要となる部分を別のデータに置換して符号化することが可能になる。したがって、対向する画像処理装置においては、受信した圧縮データを復号化して親画面とし、子画面を親画面の一部を覆い隠すように重ねて表示すればよく、送信側の画像処理装置で置換処理があるか否かで異なる処理をする必要がない。さらに、１フレームのデータを作成してから符号化を行うため、画像処理装置間の伝送データ量は単に不要部分のデータを間引きした無圧縮データを送信する場合と比べると小さくなる。

また、本発明に係る画像処理装置は、前記特定のデータとは、単一色の画像である、としてもよい。
上記構成によれば、画像処理の対象領域が単一色になるので、画面内の相関を用いる画像の符号化において、置換処理がない場合より圧縮データ量が小さくなる。加えて、連続したフレームに同処理を行えば画像処理の対象領域が変化しなくなるので、画面間の相関を用いる画像の符号化においても圧縮データ量の削減が可能となり、ネットワーク帯域の削減に奏功する。

また、本発明に係る画像処理装置は、前記第２の端末に送る画像が動画である画像処理装置であって、前記特定のデータは連続する複数のフレームにおいて共通である、としてもよい。
上記構成によれば、画像処理の対象領域が変化しなくなるので、画面間の相関を用いる画像の符号化において、置換処理をしない場合より圧縮データ量が小さくなり、ネットワーク帯域の削減に奏功する。

また、本発明に係る画像処理装置は、前記特定のデータとは、特定のフレームの、前記画面位置情報が示す位置の画像データである、としてもよい。
上記構成によれば、置換のための画像を別途準備しなくとも、画像処理の対象領域が変化しない画像を作成することが可能となる。
また、本発明に係る画像処理装置は、前記画面位置情報送信部が、親画面となる前記第２の端末の画像が子画面に覆い隠される位置を表す画面位置情報を前記画像圧縮データに多重し、前記画像データ送信部は前記画面位置情報送信部が生成した圧縮画像データを送信する、としてもよい。

上記構成によれば、画像の伝送とは別に子画面の位置情報を送信する必要がなく、単一のセッションで子画面の位置情報と画像圧縮データをまとめて送信でき、子画面位置情報に変化があっても速やかに送信することが可能になる。
また、本発明に係る画像処理装置は、前記画面位置情報受信部が、前記画面位置情報が多重された圧縮画像データより前記画面位置情報を抽出する、としてもよい。

上記構成によれば、画像の伝送とは別に子画面の位置情報を受信する必要がなく、位置情報が変化しても画像とまとめて受信することが可能になる。
また、本発明に係る画像処理装置は、前記画面位置情報がさらに、前記画像表示装置がピクチャーインピクチャー方式による表示を行っているか否かを表す制御情報を含み、前記画像処理圧縮部は、前記制御情報がピクチャーインピクチャー形式による表示を行わないことを示すときは前記置換処理を行わずに符号化による圧縮データの作成を行い、前記制御情報がピクチャーインピクチャー形式による表示を行うことを示すときは前記置換処理を開始する、としてもよい。

上記構成によれば、子画面表示の中断があっても画像処理装置が容易に画像処理の中断をすることが可能になり、子画面表示の再開があった場合には既に受信している子画面の位置情報を用いて速やかに画像処理を再開しネットワーク帯域の削減が可能となる。
また、本発明に係る画像処理装置は、ネットワークを介して第１の端末から送信する画像を親画面として表示する２以上の端末と接続された画像処理装置であって、前記画像処理圧縮部は前記２以上の端末より受信した画面位置情報の全てに含まれる位置に対して置換を行う、としてもよい。

上記構成によれば、自装置が送信する画像を親画面とする他の画像処理装置が複数あっても、他の全ての画像処理装置が正常に表示できる一つの画像を作成して符号化し、同一の圧縮データを他の全ての画像処理装置に送信することが可能になる。

実施の形態１、２に係る画像処理装置の構成を示すブロック図 実施の形態１に係る画像処理装置Ａの動作を表すシーケンス図 実施の形態１に係る子画面位置決定方法を表す図 実施の形態１に係る親画面上の子画面位置を示す図 実施の形態１に係るカメラＡの画像における画像処理装置Ｂの子画面位置の画像を単一画素値に置き換えた状態を示す図 実施の形態１、２に係るカメラＡの生成する画像圧縮データの内容を示す図 実施の形態２に係るカメラＡの画像における画像処理装置Ｂの子画面位置の画像処理状態の時間的な遷移を示す図 実施の形態３に係る画像処理装置の構成を示すブロック図 実施の形態３に係る画像処理装置Ａの動作を表すシーケンス図 実施の形態３に係る子画面位置情報多重化方法を示す図 実施の形態３に係る単一装置としての画像処理装置の構成を示すブロック図 実施の形態４に係る画像処理装置の構成を示すブロック図 実施の形態４に係る複数カメラの子画面表示状態を示す図 従来の画像処理装置の構成を示すブロック図

＜第１の実施形態＞
＜構成＞
図１は本発明の第１の実施形態による画像処理システムの構成を示すブロック図である。
画像処理装置Ａ１２０、画像処理装置Ｂ２２０は、例えばパーソナルコンピュータやテレビなどで実現される。

画像処理装置Ａ１２０は、子画面表示位置入力部１２１、表示制御部１２２、画面位置情報送信部１２３、画面位置情報受信部１２４、画像処理圧縮部１２５、画像データ送信部１２６、画像データ受信部１２７を含む。
子画面表示位置入力部１２１は、表示装置Ａ１４０においてカメラＡ１１０の画像が表示される子画面の位置情報の入力を入力装置Ａ１３０より受け付け、表示制御部１２２と画像処理圧縮部１２５に設定する。表示制御部１２２は設定された子画面の位置情報を画面位置情報送信部１２３に出力する。

画面位置情報送信部１２３は、表示装置１４０においてカメラＡ１１０の画像が表示される子画面の位置情報を表示制御部１２２より受信してネットワーク回線５００を通じ画像処理装置Ｂ２２０に送信する。画像処理装置Ｂ２２０はこの情報を基にカメラＢ２１０の画像を加工する。詳細については後述する。
画面位置情報受信部１２４は、画面位置情報送信部１２３と同様に画面位置情報送信部２２３が送信した表示装置Ｂ２４０においてカメラＢ２１０の画像が表示される子画面の位置情報をネットワーク回線５００経由で画像処理装置Ｂ２２０から受信することで取得し、画像処理圧縮部１２５に送信する。

画像処理圧縮部１２５はカメラＡ１１０の画像データを受信し、画像処理装置Ｂ２２０で親画面として表示する画像と表示装置Ａ１４０で子画面として表示する画像を生成して出力する。画像処理装置Ｂ２２０で親画面として表示する画像については、画面位置情報受信部１２４より受信した画像処理装置Ｂ２２０の子画面位置情報が示す位置を別の画像に置き換えてから符号化することにより圧縮データを作成する。画像の置換は、置換後の画像を符号化した後の圧縮データ量が置換前の画像を符号化したときの圧縮データ量を下回るように行う。例えば特定フレームの画像をその後に連続するフレームを置換するために用いることにより、画面間の相関を用いる符号化形式においてデータ量の削減が可能になる。また、例えば該当箇所を単色で塗りつぶすことにより、画面内の相関を用いる符号化形式においてデータ量の削減が可能となるほか、同処理を連続したフレームに対して行うことにより、画面間の相関を用いる符号化形式においてもデータ量の削減が可能となる。表示装置Ａ１４０で子画面として表示する画像については、子画面表示位置入力部１２１が設定した子画面のサイズに縮小する処理によりデータ量の削減が可能となる。

画像データ送信部１２６は画像処理圧縮部１２５が生成した圧縮画像データを、ネットワーク回線５００を通じて画像処理装置Ｂ２２０に送信する。
画像データ受信部１２７は画像処理装置Ｂ２２０の画像処理圧縮部２２５が生成した画像圧縮データを、ネットワーク回線５００を通じて受信し、表示制御部１２２に転送する。

表示制御部１２２は画像データ受信部１２７が受信した画像圧縮データを展開して親画面とし、画像処理圧縮部１２５が生成した画像を子画面としたピクチャーインピクチャー形式の画像を生成し、表示装置Ａ１４０に出力する。
カメラＢ２１０、画像処理装置Ｂ２２０、入力装置Ｂ２３０、表示装置Ｂ２４０はそれぞれカメラＡ１１０、画像処理装置Ａ１２０、入力装置Ａ１３０、表示装置Ａ１４０と同じ構成である。

＜動作＞
上記のように構成した第１の実施形態の動作について説明する。
図２は第１の実施形態に係る画像処理装置Ａ１２０の動作概要を示した図である。
以下、図２に基づいて第１の実施形態に係る動作について説明する。
（１）子画面位置情報の相互送信
画像処理装置Ａ１２０は、表示装置Ａ１４０にカメラＢ２１０の画像を親画面とし、カメラＡ１１０の画像を子画面としてピクチャーインピクチャー形式で表示するため、Ｓ１１０の一連の処理によって子画面の位置情報を画像処理装置Ｂ２２０に送信する。詳細は以下の通りとなる。

子画面表示位置入力部１２１は、親画面のどの位置に子画面を配置するか入力装置Ａ１３０よりユーザの入力を受け付ける（Ｓ１１１）。
本実施の形態では、図３のように、予め表示装置Ａ１４０に子画面表示位置Ａ〜Ｄを表示し、ユーザが表示位置Ａ〜Ｄのいずれか一つを選択して入力装置Ａ１３０より入力する。ここで、画面位置情報は図４のように、水平サイズ１２８０、垂直サイズ７２０の親画面に対して、水平開始位置９６０、垂直開始位置４８０、水平サイズ３２０、垂直サイズ２４０の子画面が配置する、という内容である。

子画面表示位置入力部１２１は入力装置Ａ１３０より入力された親画面に対する子画面の水平開始位置、垂直開始位置、水平サイズ及び垂直サイズを表示制御部１２２に設定する（Ｓ１１２）。併せて、子画面表示位置入力部１２１は子画面の水平サイズ及び垂直サイズを画像処理圧縮部１２５に設定する（Ｓ１１３）。
以下、簡略化のため画像処理装置Ａ１２０の親画面に対する子画面の水平開始位置、垂直開始位置、水平サイズ及び垂直サイズを子画面位置情報Ａ、画像処理装置Ｂ２２０の親画面に対する子画面の水平開始位置、垂直開始位置、水平サイズ及び垂直サイズを子画面位置情報Ｂと表す。

子画面位置情報Ａは表示制御部１２２を介して画面位置情報送信部１２３に設定され（Ｓ１１４）、画面位置情報送信部１２３はその情報をネットワーク回線５００より画像処理装置Ｂ２２０に出力する（Ｓ１１５）。
画像処理装置Ｂ２２０は、同様にＳ２１０の一連の動作によって子画面位置情報Ｂをネットワーク回線５００により画像処理装置Ａ１２０に出力する。動作Ｓ２１１〜Ｓ２１５の詳細はＳ１１１〜１１５と同一であるので説明は省略する。

（２）画像処理及び符号化、圧縮データの送信
画像処理装置Ａ１２０は、カメラＡ１１０の画像を、画像処理装置Ｂ２２０で親画面として表示し、併せて表示装置Ａ１４０で子画面として表示するため、Ｓ１２０の一連の処理によって親画面の画像データを画像処理装置Ｂ２２０に送信し、併せて表示制御部１２２に子画面の画像データを送信する。詳細は以下の通りとなる。

画面位置情報受信部１２４は、ネットワーク回線５００を介して画像処理装置Ｂ２２０がＳ２１５で送信した子画面位置情報Ｂを受信し（Ｓ１２１）、受信した子画面位置情報Ｂを画像処理圧縮部１２５に設定する（Ｓ１２２）。
画像処理圧縮部１２５は、図６のように、カメラＡ１１０が撮像した元画像Ａから、画像処理装置Ｂ２２０で親画面として用いる画像Ａ−１と、元画像Ａを画像処理装置Ａ１２０の子画面サイズに縮小した画像Ａ−２の２つの画像を生成する（Ｓ１２３）。

画像処理圧縮部１２５は、画像Ａ−１を生成するため、まず子画面位置情報Ｂに示される部分に処理を行う。
本実施の形態では、図５のように、カメラＡ１１０の画像のうち、画像処理装置Ｂ２２０の子画面部分を単色のデータに置き換える処理を行う。
画像処理圧縮部１２５は置換処理を施したカメラＡ１１０の画像について、ＪＰＥＧ形式で符号化することで圧縮データを作成し、画像圧縮データを画像データ送信部１２６に出力する（Ｓ１２４）。併せて、画像処理圧縮部１２５は画像Ａ−２を子画面表示位置入力部１２１が設定した子画面の水平サイズ及び垂直サイズに合わせて縮小してからＪＰＥＧ形式で符号化することで圧縮データを作成し、表示制御部１２２に出力する（Ｓ１２５）。

画像データ送信部１２６はネットワーク回線５００を介して画像圧縮データＡ−１を画像処理装置Ｂ２２０に送信する（Ｓ１２６）。
画像処理装置Ｂ２２０は、同様にＳ２２０の一連の動作によって画像圧縮データＢ−１をネットワーク回線５００により画像処理装置Ａ１２０に出力する。動作Ｓ２２１〜Ｓ２２６の詳細はＳ１２１〜１２６と同一であるので説明は省略する。

（３）ピクチャーインピクチャー表示
画像処理装置Ａ１２０は、カメラＢ２１０の画像を親画面とし、カメラＡ１１０の画像を子画面としてピクチャーインピクチャー形式で表示するため、Ｓ１３０の一連の処理によって表示装置Ａ１４０に表示を行う。詳細は以下の通りとなる。
画像データ受信部１２７は、画像処理装置Ｂ２２０がＳ２２６でネットワーク回線５００を介して送信した画像圧縮データＢ−１を受信し（Ｓ１３１）、受信した画像圧縮データＢ−１を表示制御部１２２に出力する（Ｓ１３２）。

表示制御部１２２は画像圧縮データＢ−１を復号し、その復号画像を親画面として設定する。さらに表示制御部１２２は画像Ａ−２を復号してその復号画像を子画面として設定する。表示制御部１２２は子画面をＳ１１２で設定された位置にピクチャーインピクチャー方式で親画面に重ね合わせ、表示装置Ａ１４０に重ね合わせた画像を出力して表示させる（Ｓ１３３）。

画像処理装置Ｂ２２０は、同様にＳ２３０の一連の動作によってカメラＡ１１０の画像を親画面とし、カメラＢ２１０の画像を子画面としてピクチャーインピクチャー形式で表示する。動作Ｓ２３１〜Ｓ２３３の詳細はＳ１３１〜１３３と同一であるので説明は省略する。
このように、本発明の第１の実施形態では対向する画像処理装置の親画面における子画面情報の位置情報を受け取り、また自身の親画面における子画面情報の位置情報を対向する画像処理装置に送ることで、対向する画像処理装置と自身の双方で接続先装置の表示状態に応じたピクチャーインピクチャーの映像表示が可能となる。

また、対向する画像処理装置の子画面情報を画像処理圧縮部に設定し、画像処理圧縮部は対向する画像処理装置の子画面位置を単一色に塗り潰して圧縮処理を行うことで、ＪＰＥＧ、ＭＰＥＧ−４、Ｈ．２６４などの画面内の相関情報を利用する符号化形式において子画面部分の圧縮データを最小化することができ、ネットワーク帯域を削減することが出来る。

＜第２の実施形態＞
＜構成＞
図１は本発明の第２の実施形態による画像処理システムの構成を示すブロック図であり、第１の実施形態とは画像処理圧縮部１２５の機能のみが異なる。
それ以外の符号が同一のものについては第１の実施の形態と同様の構成であるから、動作について共通する説明は省略する。

＜動作＞
第１の実施形態では、画像処理圧縮部１２５は画像Ａ−１を作成するときに、画面内の相関情報を利用した符号化で生成される圧縮データが小さくなるように子画面位置情報Ｂに示される部分を単一色に塗りつぶすようにしていた。これに対して第２の実施形態では、画面間の相関情報を利用した符号化で生成される圧縮データが小さくなるように子画面位置情報Ｂに示される部分の画像を置換する。

第２の実施形態の動作について説明する。なお、Ｓ１２１、Ｓ１２２、Ｓ１２４、Ｓ１２６の各動作、およびＳ１１０の一連の動作、Ｓ１３０の一連の動作については実施の形態１と同一であるため説明を省略する。
画像処理圧縮部１２５は、図６のように、カメラＡ１１０が撮像した元画像Ａから、画像処理装置Ｂ２２０で親画面として用いる画像Ａ−１と、元画像を画像処理装置Ａ１２０の子画面サイズに縮小した画像Ａ−２の２つの画像を生成する（Ｓ１２３）。

画像処理圧縮部１２５は、画像Ａ−１を生成するため、まず子画面位置情報Ｂに示される部分に処理を行う。
本実施の形態では、図７のように、時間ごとに変化するカメラＡ１１０の画像において、画像処理装置Ｂ２２０の子画面部分については画像の更新を行わず、時刻がｔ−１からｔ、ｔ＋１へ推移しても画像処理装置Ｂ２２０の子画面部分については時刻ｔ−１の画像を保持し続ける。

画像処理圧縮部１２５はこのような処理を施したカメラＡ１１０の画像について、ＭＰＥＧ−４形式で符号化することで圧縮データを作成し、画像圧縮データを画像データ送信部１２６に出力する（Ｓ１２４）。併せて、画像処理圧縮部１２５は画像Ａ−２をＭＰＥＧ−４形式で符号化し、表示制御部１２２に出力する（Ｓ１２５）。
このように、相手装置の子画面情報を画像処理圧縮部に設定し、画像処理圧縮部は相手装置の子画面位置の画像情報を更新せずに符号化を行うことで、ＭＰＥＧ−４、Ｈ．２６４などの画面間の相関情報を利用する符号化形式において子画面部分の圧縮データを最小化することができ、ネットワーク帯域を削減することが出来る。

＜第３の実施形態＞
＜構成＞
図８は本発明の第３の実施形態による画像処理システムの構成を示すブロック図であり、第１の実施形態とは、画面位置情報送信部１２３と画面位置情報受信部１２４の機能が異なり、表示制御部１２２と画像処理圧縮部１２５と画像データ受信部１２７が画面位置情報送信部１２３に接続され、表示制御部１２２と画像処理圧縮部１２５と画像データ送信部１２６が画面位置情報受信部１２４に接続されている点で異なる。画像処理装置Ｂ２２０も同様の構成である点が第１の実施形態と異なる。
それ以外の符号が同一のものについては第１の実施の形態と同様の構成であるから、動作について共通する説明は省略する。

＜動作＞
第３の実施形態の動作について説明する。
図９は第３の実施形態に係る画像処理装置Ａ１２０の動作概要を示した図である。
以下、図９に基づいて第３の実施形態に係る動作について説明する。
（１）子画面位置情報の相互送信（Ｓ３１０）
画像処理装置Ａ１２０は、Ｓ３１０の一連の処理によって子画面の位置情報を画像処理装置Ｂ２２０に送信する準備を行う。Ｓ３１１〜Ｓ３１４の詳細はＳ１１１〜Ｓ１１４と同一であるから説明を省略する。

（２）画像処理及び符号化、圧縮データの送信
画像処理装置Ａ１２０は、Ｓ３２０の一連の処理によって親画面の画像データと子画面の位置情報を画像処理装置Ｂ２２０に送信し、併せて表示制御部１２２に子画面の画像データを送信する。詳細は以下の通りとなる。
画像データ受信部１２７は、ネットワーク回線５００を介して画像処理装置Ｂ２２０が後述するＳ４２９で送信した多重化データＢを受信し（Ｓ３２１）、受信した多重化データＢを画面位置情報受信部１２４に転送する（Ｓ３２２）。

画面位置情報受信部１２４は、多重化データＢから子画面位置情報Ｂを抽出し（Ｓ３２３）、抽出した子画面位置情報Ｂを画像処理圧縮部１２５に設定する（Ｓ３２４）。多重化データＢの形式および抽出動作の詳細については後述する。
画像処理圧縮部１２５は、カメラＡ１１０が撮像した元画像Ａから、画像処理装置Ｂ２２０で親画面として用いる画像Ａ−１と、元画像Ａを画像処理装置Ａ１２０の子画面サイズに縮小した画像Ａ−２の２つの画像を生成する（Ｓ３２５）。詳細はＳ１２３と同一であるから説明を省略する。

画像処理圧縮部１２５は置換処理を施したカメラＡ１１０の画像について、ＪＰＥＧ形式で符号化を行い、画像圧縮データＡ−１を画面位置情報送信部１２３に出力する（Ｓ３２６）。
また、画像処理圧縮部１２５は画像Ａ−２をＪＰＥＧ形式で符号化し、表示制御部１２２に出力する（Ｓ３２７）。詳細はＳ１２５と同一であるから説明を省略する。

画面位置情報送信部１２３は画像圧縮データＡ−１に子画面位置情報Ａを多重化する（Ｓ３２８）。図１０はＪＰＥＧにおける子画面位置情報Ａと画像圧縮データＡ−１の多重化を示す図である。
ＪＰＥＧ形式を用いた場合の画像圧縮データＡ−１はＳＯＦマーカ、ＤＱＴマーカ、ＤＨＴマーカ、ＳＯＳマーカ、マクロブロックごとの画像圧縮データ、及びＥＯＦマーカにより構成される。

子画面位置情報Ａは水平開始位置、垂直開始位置、水平サイズ及び垂直サイズ、制御情報により構成されている。制御情報は２バイトの信号であり、０ｘ００００は子画面位置の画像処理を行わない、０ｘ０００１は子画面位置の画像処理を行うことを示す。
画面位置情報送信部１２３は、子画面位置情報Ａを図１０に示すＡＰＰ０マーカに変換する。

ＡＰＰマーカおよびＣＯＭマーカはユーザによって自由に使用することが可能なマーカである。本実施の形態ではＡＰＰ０マーカに子画面位置情報Ａを変換して多重化データを作成する。
ＡＰＰ０マーカの構成について説明する。ＡＰＰ０マーカは、ＪＰＥＧ規格によりＡＰＰ０マーカを示す２バイトの識別子０ｘＦＦＥ０と、ＡＰＰ０マーカ識別子以降に続くＡＰＰ０のマーカ長を示す２バイトのマーカ長と、それ以降に続くユーザデータで構成されることが定められている。

本実施の形態においては、マーカ長以降に１０バイトのデータを配置し、それぞれを２バイトの制御情報、２バイトの水平開始位置、２バイトの垂直開始位置、２バイトの水平サイズ、２バイトの垂直サイズ、と定めている。
画面位置情報送信部１２３は子画面位置情報ＡをＡＰＰ０マーカへ変換してから、画像圧縮データＡ−１とＡＰＰ０マーカを多重化し、多重化データＡを生成する。

このように画面位置情報送信部１２３は子画面位置情報Ａと画像圧縮データＡ−１を多重化して多重化データＡを生成し、画像データ送信部１２６に渡す（Ｓ３２９）。
画像データ送信部１２６は多重化データＡをネットワーク回線５００より画像処理装置Ｂ２２０に出力する（Ｓ３３１）。
画像処理装置Ｂ２２０は同様の方法で多重化データＢを生成し、ネットワーク回線５００を介して画像処理装置Ａ１２０に出力し、画像処理装置１２０では画像データ受信部１２７で多重化データＢを受信し、多重化データＢを画面位置情報受信部１２４に出力する（Ｓ４３１）。

画面位置情報受信部１２４はＳ３２３において、多重化データＢのＡＰＰ０マーカを子画面位置情報Ｂに変換することによって多重化データＢより子画面位置情報Ｂの抽出を行う。
（３）ピクチャーインピクチャー表示
画像処理装置Ａ１２０は、Ｓ３４０の一連の処理によって表示装置Ａ１４０に表示を行う。

画面位置情報受信部１２４は、画像圧縮データＢ−１を表示制御部１２２に出力する（Ｓ３４１）。
ここで、画像処理圧縮部１２５は、子画面位置情報Ｂに含まれる２バイトの制御情報を確認し、子画面位置の画像処理を開始または停止を行う。以降の動作Ｓ３４２はＳ１３３と同一であるから説明を省略する。

このように、本発明の第３の実施形態では画像圧縮データと子画面位置情報を多重化して相手に送信し、相手から子画面位置情報が多重化された画像圧縮データを受信する構成をとることで、子画面位置情報のための特別なネットワークセッションを行うことなく、双方の子画面位置情報の受け渡しが可能となり、対向する画像処理装置が表示位置、サイズを変更した場合においても随時その情報を更新することが可能となる。

また、子画面位置情報に制御情報を設けたことで対向する画像処理装置がピクチャーインピクチャー方式を停止した場合、再開した場合においても容易に対向する画像処理装置の状況に応じた画像を生成することが可能となる。
＜第４の実施形態＞
＜構成＞
図１２は本発明の第４の実施形態による画像処理システムの構成を示すブロック図である。第３の実施形態とは画像処理装置Ａ１２０において画面位置情報受信部１２４の機能が異なる。

それ以外の符号が同一のものについて第３の実施形態と同様の動作を行う。
＜動作＞
第４の実施形態の動作について説明する。
図１２では画像処理装置Ａ１２０と画像処理装置Ｂ２２０と画像処理装置Ｃ３２０がそれぞれネットワーク回線５００で接続される。

画像処理装置Ａ１２０の画面位置情報受信部１２４は、画像処理装置Ｂ２２０から子画面位置情報Ｂを受け取り、画像処理装置Ｃ３２０から子画面位置情報Ｃを受け取る。
図１３の（ａ）は、画像処理装置Ｂ２２０の子画面位置情報Ｂを元に画像を配置した状態を表す。
図１３の（ｂ）は、画像処理装置Ｃ３２０の子画面位置情報Ｃを元に画像を配置した状態を表す。

図１３の（ｃ）は、画像処理装置Ｂ２２０の子画面位置と画像処理装置Ｃ３２０の子画面位置の重複する部分を示す。
このように位置情報分離部１２８は画像処理装置Ｂ２２０の子画面位置と画像処理装置Ｃ３２０の子画面位置の重複する部分を画像処理圧縮部１２５に出力し、画像処理圧縮部１２５はその重複する部分に対して画像処理を行う。

このように、本発明の第４の実施形態では自身の画像を親画面とするどの装置においても子画面表示によって覆い隠される部分のみに対して画像処理を行うことで、自身の画像を親画面とする装置が複数接続される場合においてもそれぞれの親画面に悪影響を与えることなく、圧縮データの削減を行うことが可能となる。
＜本実施の形態に係るその他の変形例＞
（１）実施の形態１では、子画面の配置位置を決定する方法として、あらかじめ表示装置Ａ１４０に子画面表示位置Ａ〜Ｄを表示し、４つの表示位置の選択情報を入力装置Ａ１３０よりユーザに入力させる場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、表示装置Ａ１４０に子画面をあらかじめ決めた位置に表示してもよい。あるいは、ユーザが入力装置Ａ１３０を操作することで任意の位置に移動できるようにしてもよいし、子画面の大きさを任意のサイズに変更できるようにしてもよい。このようにすることで、ユーザに好適な位置と大きさの子画面を表示することが可能になる。

（２）実施の形態１では、子画面表示位置入力部１２１は子画面位置情報Ａを直接画像処理圧縮部１２５に設定する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、画面位置情報受信部１２１は表示制御部１２２を介して子画面情報Ａを画像処理圧縮部１２５に設定するとしてもよい。
また、実施の形態１では、画面位置情報受信部１２４は子画面位置情報Ｂを直接画像処理圧縮部１２５に設定する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、画面位置情報受信部１２４は表示制御部１２２を介して子画面情報Ｂを画像処理圧縮部１２５に設定するとしてもよい。このようにすることで、子画面情報Ａと子画面情報Ｂをまとめて表示制御部１２２が画像処理圧縮部１２５に設定できるようになる。

（３）実施の形態１では、画像処理圧縮部１２５は画像Ａ−１をＪＰＥＧ形式で符号化することで圧縮データを作成し画像データ送信部１２６に出力する場合を説明したが、本発明はこの場合に限定されない。たとえば、ＭＰＥＧ−４形式で符号化してもよいし、Ｈ．２６４で符号化してもよい。このように画面内の相関情報を利用する符号化形式において、圧縮データを小容量化することができ、ネットワーク帯域を削減することができる。加えて、画面間の相関情報も利用する符号化形式であれば、さらに圧縮データを小容量化することができる。

（４）実施の形態２では、画像処理装置Ｂ２２０の子画面部分については画像の更新を行わず、画像処理装置Ｂ２２０の子画面部分については時刻ｔ−１の画像を保持し続ける場合を説明したが、本発明はこの場合に限定されない。例えば、画面間の相関情報を利用して符号化するために画像処理圧縮部１２５が時刻ｔ−１からｔ＋１までの画像を保持しているときに、画像処理装置Ｂ２２０の子画面部分について時刻ｔ＋１の画像の画像処理装置Ｂ２２０の子画面部分のデータで、時刻ｔ−１からｔまでの画像の画像処理装置Ｂ２２０の子画面部分を置換してもよいし、時刻ｔの画像の画像処理装置Ｂ２２０の子画面部分のデータを用いて時刻ｔ−１とｔ＋１の画像を置換してもよい。このようにすることで、画像処理装置Ｂ２２０の子画面部分についてフレーム毎に変化しない動画を生成することが可能になる。

（５）実施の形態２では、画像処理圧縮部１２５は画像Ａ−１をＭＰＥＧ−４形式で符号化することで圧縮データを作成し画像データ送信部１２６に出力する場合を説明したが、本発明はこの場合に限定されない。例えば、Ｈ．２６４形式で符号化してもよい。このように画面間の相関情報を利用する符号化形式において、圧縮データを小容量化することができ、ネットワーク帯域を削減することが出来る。

（６）実施の形態１では、画像処理圧縮部１２５は画像Ａ−２をＪＰＥＧ形式で符号化して表示制御部１２２に出力する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像処理圧縮部１２５は画像Ａ−２を画像データ受信部１２７で受信する画像圧縮データと同じ形式で画像Ａ−２を符号化してもよいし、画像Ａ−２を符号化せずに表示制御部１２２に出力してもよい。

（７）実施の形態１および３では表示制御部１２２が子画面情報Ａを画面情報送信部１２３に出力する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、子画面位置情報入力部１２１が直接画面位置情報送信部１２３に出力するとしてもよい。
（８）実施の形態３では、子画面位置情報が１０バイトのデータで、制御情報が２バイト、水平開始位置が２バイト、垂直開始位置が２バイト、水平サイズが２バイト、垂直サイズが２バイト、の場合を説明したが、本発明は必ずしもこの場合に限定されない。それぞれ任意のビット幅であってもよい。

（９）実施の形態３では、子画面位置情報に２バイトの制御情報が含まれる場合を説明したが、本発明は必ずしもこの場合に限定されない。制御情報がなく、常に子画面を表示するものとしてもよい。このようにすることで、画像処理圧縮部１２５は符号化する全ての画像に対して置換処理を行うことが可能になる。
あるいは、制御情報が１ビットであってもよいし、任意のビット数であってもよい。

（１０）実施の形態３では、子画面位置情報のサブフィールドとして制御情報、水平開始位置、垂直開始位置、水平サイズ、垂直サイズ、制御情報がこの順に並ぶ場合を説明したが、本発明は必ずしもこの場合に限定されない。任意の順番で定義されていてもよいし、間にその他のフィールドが含まれる場合であってもよい。あるいは、子画面位置情報に制御情報が含まれない場合は、制御情報フィールドがなくてもよい。

（１１）実施の形態３では、子画面位置情報をＪＰＥＧデータにおける、ＳＯＦマーカとＤＱＴマーカの間に設けたＡＰＰ０マーカに多重化する場合を説明したが、本発明は必ずしもこの場合に限定されない。ＳＯＦマーカ、ＡＰＰ０マーカ、ＤＱＴマーカは任意の順番であってもよいし、間に他のマーカが含まれる場合であってもよい。また、子画面位置情報をＡＰＰ０マーカ以外のＡＰＰマーカやＣＯＭマーカ、例えばＡＰＰ１マーカに多重化してもよい。このようにすることで、画像処理圧縮部１２５が生成するＪＰＥＧデータにおけるマーカの順序やＡＰＰマーカ、ＣＯＭマーカにデータが含まれているか否かに依存することなく位置情報を多重することができる。

あるいは、例えば、画像圧縮データの形式がＨ．２６４であればＳＥＩメッセージに多重してもよいし、ＭＰＥＧ−４であればＧＯＶヘッダ中のユーザデータに、Ｈ．２６４やＭＰＥＧ−４のコンテナであるＭＰＥＧ−２ ＴＳであればＰＥＳパケットに子画面位置情報を多重するものとしてもよい。このようにすることで、任意の符号化形式に対して、位置情報を多重することが可能になる。

（１２）実施の形態３では、子画面位置情報を画像圧縮データに常時多重する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、所定の時間間隔で位置情報を多重する、としてもよい。このようにすることで、子画面位置情報のデータ転送量を削減することができ、使用するネットワーク帯域の削減に奏功する。
あるいは、例えば、子画面位置情報に変更があるときのみ子画面位置情報を画像データに多重する、としてもよい。このようにすることで、子画面位置情報のデータ転送量を削減するとともに、相手装置において子画面位置情報の変更を容易に検出することが可能になる。

（１３）実施の形態４では、画像処理装置Ｂ２２０と画像処理装置Ｃ３２０は子画面を一つずつ設定する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像処理装置Ｂ２２０と画像処理装置Ｃ３２０はいずれも画像処理装置Ｂ２２０の画像と画像処理装置Ｃ３２０の画像を子画面として表示する、としてもよく、この場合は画像処理装置Ｂ２２０においても画像処理装置Ｃ３２０においても子画面に覆い隠される位置に対して画像処理装置Ａ１２０は画像処理を行えばよい。このようにすることで、子画面の数に関係なく、自装置の画面を親画面とするすべての装置で表示できる同一の画像を生成することが可能になる。

（１４）実施の形態１、２、３、４では、カメラＡ１１０や入力装置Ａ１３０、表示装置Ａ１４０が画像処理装置Ａ１２０の外部にある場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、カメラＡ１１０や表示装置Ａ１４０が画像処理装置Ａ１２０に含まれる、としてもよい。このようにすることで、画像処理システムの一つの拠点を単一の装置で構成できる。

あるいは、画像処理圧縮部１２５や画面位置情報送信部１２３が画像処理装置１２０に含まれるカメラＡ１１０に含まれるものとしてもよい。このようにすることで、画像処理装置の構成が単純化される。

本発明は、相手装置の画像信号と自装置の画像信号をピクチャーインピクチャー方式で表示するための画像伝送方式に関するものであって、特に装置間の画像データの削減を可能にし、使用するネットワーク帯域の削減に奏功する。
従って、ネットワークを介したテレビ電話やＷＥＢチャットといった、テレビ上やパーソナルコンピュータ上での双方向映像付き通話システムに有効である。

１１０ ：カメラＡ
１２０ ：画像処理装置Ａ
１２１ ：子画面表示位置入力部
１２２ ：表示制御部
１２３ ：画面位置情報送信部
１２４ ：画面位置情報受信部
１２５ ：画像処理圧縮部
１２６ ：画像データ送信部
１２７ ：画像データ受信部
１３０ ：入力装置Ａ
１４０ ：表示装置Ａ
５００ ：ネットワーク回線

Claims (10)

1. ネットワークを介して第１の端末から送る画像を、第２の端末において親画面として表示するとともに、親画面の一部を覆う状態で子画面を表示する通信システムにおける前記第１の端末の画像処理装置であって、
   前記第２の端末において子画面が親画面を覆い隠す領域を表す画像位置情報を取得する画面位置情報取得部と、
   前記第２の端末に送ろうとする画像のうち、前記取得した画像位置情報が表す領域を特定のデータで置換し、置換後の画像を符号化して圧縮データを生成する画像処理圧縮部と、
   前記圧縮データを前記第２の端末に親画面の画像として送信する画像データ送信部と
   を含む
   ことを特徴とする画像処理装置。
2. 前記特定のデータとは、
   単一色の画像である
   ことを特徴とする請求項１の画像処理装置。
3. 前記第２の端末に送る画像が動画である画像処理装置であって、
   前記特定のデータは連続する複数のフレームにおいて共通である
   ことを特徴とする請求項１の画像処理装置。
4. 前記特定のデータとは、
   特定のフレームの、前記画面位置情報が示す位置の画像データである
   ことを特徴とする請求項３の画像処理装置。
5. 前記画面位置情報送信部は、
   親画面となる前記第２の端末の画像が子画面に覆い隠される位置を表す画面位置情報を前記画像圧縮データに多重し、
   前記画像データ送信部は前記画面位置情報送信部が生成した圧縮画像データを送信する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記画面位置情報受信部は、
   前記画面位置情報が多重された圧縮画像データより前記画面位置情報を抽出する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記画面位置情報はさらに、
   前記画像表示装置がピクチャーインピクチャー方式による表示を行っているか否かを表す制御情報
   を含み、
   前記画像処理圧縮部は、
   前記制御情報がピクチャーインピクチャー形式による表示を行わないことを示すときは前記置換処理を行わずに符号化による圧縮データの作成を行い、
   前記制御情報がピクチャーインピクチャー形式による表示を行うことを示すときは前記置換処理を開始する
   ことを特徴とする請求項１に記載の画像処理装置。
8. ネットワークを介して第１の端末から送信する画像を親画面として表示する２以上の端末と接続された画像処理装置であって、
   前記画像処理圧縮部は
   前記２以上の端末より受信した画面位置情報の全てに含まれる位置に対して置換を行う
   ことを特徴とする請求項１に記載の画像処理装置。
9. ネットワークを介して第１の端末から送る画像を、第２の端末において親画面として表示するとともに、親画面の一部を覆う状態で子画面を表示する通信システムにおける前記第１の端末の画像処理方法であって、
   前記第２の端末において子画面が親画面を覆い隠す領域を表す画像位置情報を取得する画面位置情報取得ステップと、
   前記第２の端末に送ろうとする画像のうち、前記取得した画像位置情報が表す領域を特定のデータで置換し、置換後の画像を符号化して圧縮データを生成する画像処理圧縮ステップと、
   前記圧縮データを前記第２の端末に親画面の画像として送信する画像データ送信ステップと
   を含む
   ことを特徴とする画像処理方法。
10. ネットワークを介して第１の端末から送る画像を、第２の端末において親画面として表示するとともに、親画面の一部を覆う状態で子画面を表示する通信システムであって、
    前記第１の端末は
    前記第２の端末において子画面が親画面を覆い隠す領域を表す画像位置情報を取得する画面位置情報取得部と、
    前記第２の端末に送ろうとする画像のうち、前記取得した画像位置情報が表す領域を特定のデータで置換し、置換後の画像を符号化して圧縮データを生成する画像処理圧縮部と、
    前記圧縮データを前記第２の端末に親画面の画像として送信する画像データ送信部と
    を含み、
    前記第２の端末は
    親画面となる前記第１の端末の画像が子画面に覆い隠される位置を表す画面位置情報を前記第１の端末に送信する画面位置情報送信部と、
    前記第１の端末が送信する画像圧縮データを受信する画像データ受信部と、
    前記受信した画像圧縮データを親画面として表示し、子画面をピクチャーインピクチャー方式で表示する画面制御部と
    を含む
    ことを特徴とする通信システム。

Images