JP2933132B2 - 多地点テレビ会議制御装置及び画面合成符号化方法 - Google Patents
多地点テレビ会議制御装置及び画面合成符号化方法Info
- Publication number
- JP2933132B2 JP2933132B2 JP199797A JP199797A JP2933132B2 JP 2933132 B2 JP2933132 B2 JP 2933132B2 JP 199797 A JP199797 A JP 199797A JP 199797 A JP199797 A JP 199797A JP 2933132 B2 JP2933132 B2 JP 2933132B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- encoding
- video conference
- image
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 10
- 230000015572 biosynthetic process Effects 0.000 title claims description 8
- 238000003786 synthesis reaction Methods 0.000 title claims description 8
- 230000006866 deterioration Effects 0.000 claims description 24
- 239000002131 composite material Substances 0.000 claims description 23
- 238000013139 quantization Methods 0.000 claims description 19
- 230000002194 synthesizing effect Effects 0.000 claims description 14
- 230000015556 catabolic process Effects 0.000 claims description 5
- 238000006731 degradation reaction Methods 0.000 claims description 5
- 238000007788 roughening Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009978 visual deterioration Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Telephonic Communication Services (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、多地点テレビ会議
制御装置（Multipoint conrtol unit ：ＭＣＵ）に関
し、特に、複数の画像を同時並列表示させる多地点テレ
ビ会議制御装置の改良に関する。
制御装置（Multipoint conrtol unit ：ＭＣＵ）に関
し、特に、複数の画像を同時並列表示させる多地点テレ
ビ会議制御装置の改良に関する。
【０００２】
【従来の技術】テレビ会議システムの一つとして、複数
の地点にそれぞれ配置されたテレビ会議端末をネットワ
ークで接続し、多地点間での会議を可能にした多地点テ
レビ会議システムがある。このような多地点テレビ会議
システムでは、各テレビ会議端末からの画像を複数のテ
レビ会議端末へ伝送するために、分配処理を行わなけれ
ばならない。従来の画像分配方式として、ネットワーク
上にテレビ会議端末とは異なる画像交換装置（多地点テ
レビ会議制御装置：ＭＣＵ）を設け、このＭＣＵで一括
処理を行う方式がある。また、従来のＭＣＵにおける処
理方式としては、複数の画像を縮小して合成し、複数の
画像を同時並列表示させる画面合成方式がある。
の地点にそれぞれ配置されたテレビ会議端末をネットワ
ークで接続し、多地点間での会議を可能にした多地点テ
レビ会議システムがある。このような多地点テレビ会議
システムでは、各テレビ会議端末からの画像を複数のテ
レビ会議端末へ伝送するために、分配処理を行わなけれ
ばならない。従来の画像分配方式として、ネットワーク
上にテレビ会議端末とは異なる画像交換装置（多地点テ
レビ会議制御装置：ＭＣＵ）を設け、このＭＣＵで一括
処理を行う方式がある。また、従来のＭＣＵにおける処
理方式としては、複数の画像を縮小して合成し、複数の
画像を同時並列表示させる画面合成方式がある。
【０００３】従来の画面合成方式のＭＣＵを図６に示
す。このＭＣＵ６１は、ネットワーク６２を介して、ｎ
個のテレビ会議端末６３−１，６３−２，…，６３−ｎ
に接続されている。そして、このＭＣＵ６１は、ネット
ワーク６２に接続されるデータ交換部６４と、データ交
換部６４に接続されたｎ個の復号化部６５−１，…，６
５−ｎと、ｎ個の復号化部６５に接続された画像合成部
６６と、画像合成部６６とデータ交換部６４とに接続さ
れた符号化部６７とを有している。
す。このＭＣＵ６１は、ネットワーク６２を介して、ｎ
個のテレビ会議端末６３−１，６３−２，…，６３−ｎ
に接続されている。そして、このＭＣＵ６１は、ネット
ワーク６２に接続されるデータ交換部６４と、データ交
換部６４に接続されたｎ個の復号化部６５−１，…，６
５−ｎと、ｎ個の復号化部６５に接続された画像合成部
６６と、画像合成部６６とデータ交換部６４とに接続さ
れた符号化部６７とを有している。
【０００４】各テレビ会議端末６３は、例えばＩＴＵ−
Ｔ Ｈ．３２０に準拠しており、例えば、ＩＴＵ−Ｔ
Ｈ．２６１に準拠する符号化方式及び復号化方式を採用
している。そして、各テレビ会議端末６３は、それぞれ
撮像装置（図示せず）からの画像信号を符号化（圧縮符
号化）し、端末画像データとして、ネットワーク６２へ
送出する。
Ｔ Ｈ．３２０に準拠しており、例えば、ＩＴＵ−Ｔ
Ｈ．２６１に準拠する符号化方式及び復号化方式を採用
している。そして、各テレビ会議端末６３は、それぞれ
撮像装置（図示せず）からの画像信号を符号化（圧縮符
号化）し、端末画像データとして、ネットワーク６２へ
送出する。
【０００５】多地点テレビ会議制御装置（ＭＣＵ）６１
は、ネットワーク６２に送出された各テレビ会議端末６
３からの端末画像データ６０１−１，…，６０１−ｎを
データ交換部６４によって受信し、各テレビ会議端末６
３に１対１で対応する復号化部６５へ供給する。
は、ネットワーク６２に送出された各テレビ会議端末６
３からの端末画像データ６０１−１，…，６０１−ｎを
データ交換部６４によって受信し、各テレビ会議端末６
３に１対１で対応する復号化部６５へ供給する。
【０００６】各復号化部６５は、テレビ会議端末６３の
符号化方式に対応する復号化方式（例えば、ＩＴＵ−Ｔ
Ｈ．２６１に準拠）を採用している。そして、各復号
化部６５は、それぞれ端末画像データ６０１を復号化し
て元の画像信号を得る。さらに、各復号化部６５は、画
像のサイズを１／ｍに縮小するため、画像から水平方向
及び垂直方向に所定の周期で画素を間引くように、画像
信号の間引きを行なう。間引きされた画像信号は、分割
画像データ６０２−１，…，６０２−ｎとして、画像合
成部６６へ出力される。
符号化方式に対応する復号化方式（例えば、ＩＴＵ−Ｔ
Ｈ．２６１に準拠）を採用している。そして、各復号
化部６５は、それぞれ端末画像データ６０１を復号化し
て元の画像信号を得る。さらに、各復号化部６５は、画
像のサイズを１／ｍに縮小するため、画像から水平方向
及び垂直方向に所定の周期で画素を間引くように、画像
信号の間引きを行なう。間引きされた画像信号は、分割
画像データ６０２−１，…，６０２−ｎとして、画像合
成部６６へ出力される。
【０００７】画像合成部６６は、入力されたｎ個の分割
画像データ６０２からｍ個を選択する（ｎ＞ｍの場
合）。画像合成部６６が、どの分割画像データ６０２を
選択するかは、図示しない制御部または入力部からの選
択信号に基づいて行う。また、ある制御回路テレビ会議
端末６３から選択するようにもできるし、音声等に基づ
く自動選択の技術を用いることも可能である。そして、
画像合成部６６は、選択したｍ個の分割画像データ６０
２を合成して、合成画像データ６０３を生成する。これ
は、ｍ分割された画面上に、ｍ個の画像を同時に表示す
るためである。
画像データ６０２からｍ個を選択する（ｎ＞ｍの場
合）。画像合成部６６が、どの分割画像データ６０２を
選択するかは、図示しない制御部または入力部からの選
択信号に基づいて行う。また、ある制御回路テレビ会議
端末６３から選択するようにもできるし、音声等に基づ
く自動選択の技術を用いることも可能である。そして、
画像合成部６６は、選択したｍ個の分割画像データ６０
２を合成して、合成画像データ６０３を生成する。これ
は、ｍ分割された画面上に、ｍ個の画像を同時に表示す
るためである。
【０００８】画像合成部６６から出力された合成画像デ
ータ６０３は、符号化部６７に入力される。符号化部６
７は、テレビ会議端末６３の復号化方式に対応する符号
化方式（例えば、ＩＴＵ−Ｔ Ｈ．２６１に準拠）を採
用している。そして、入力された合成画像データ６０３
を符号化（圧縮符号化）して、符号化された合成画像デ
ータ６０４をデータ交換部６４へ出力する。なお、ここ
での符号化は、分割画像毎に独立した符号化パラメータ
で符号化を行う。
ータ６０３は、符号化部６７に入力される。符号化部６
７は、テレビ会議端末６３の復号化方式に対応する符号
化方式（例えば、ＩＴＵ−Ｔ Ｈ．２６１に準拠）を採
用している。そして、入力された合成画像データ６０３
を符号化（圧縮符号化）して、符号化された合成画像デ
ータ６０４をデータ交換部６４へ出力する。なお、ここ
での符号化は、分割画像毎に独立した符号化パラメータ
で符号化を行う。
【０００９】データ交換部６４は、符号化合成画像デー
タ６０４を、ネットワーク６２を介して全てのテレビ会
議端末６３へ送信する。テレビ会議端末６３は、ネット
ワーク６２を介して符号化合成画像データ６０４を受信
し、ｍ個の画像を１画面上に同時並列表示する。
タ６０４を、ネットワーク６２を介して全てのテレビ会
議端末６３へ送信する。テレビ会議端末６３は、ネット
ワーク６２を介して符号化合成画像データ６０４を受信
し、ｍ個の画像を１画面上に同時並列表示する。
【００１０】以上のように、従来のＭＣＵ６１では、ｎ
個のテレビ会議端末６３から送信されてくる画像情報を
それぞれ復号して縮小したあと、ｍ個の画像情報を選択
して１つの画像情報に合成し、それを符号化してｎ個の
テレビ会議端末６３へ送信している。
個のテレビ会議端末６３から送信されてくる画像情報を
それぞれ復号して縮小したあと、ｍ個の画像情報を選択
して１つの画像情報に合成し、それを符号化してｎ個の
テレビ会議端末６３へ送信している。
【００１１】
【発明が解決しようとする課題】従来のＭＣＵでは、符
号化された画像を一旦復号化し、再び符号化を行ってい
る。このため、従来のＭＣＵには、画質の劣化が大きい
という問題点がある。
号化された画像を一旦復号化し、再び符号化を行ってい
る。このため、従来のＭＣＵには、画質の劣化が大きい
という問題点がある。
【００１２】特に、合成しようとする画像のいずれかの
符号化情報量が増加する（例えば被写体の動きが激しく
なる）と、合成された画像全体の量子化特性が粗くな
り、他のもともと符号化情報量の少ない（被写体の動き
が少ない平坦な）画像の画質劣化が目立ってしまう。例
えば、合成された画像のうち、ある画像の被写体に動き
があったために、他の全く動きのない静止画像がぼけて
しまう。
符号化情報量が増加する（例えば被写体の動きが激しく
なる）と、合成された画像全体の量子化特性が粗くな
り、他のもともと符号化情報量の少ない（被写体の動き
が少ない平坦な）画像の画質劣化が目立ってしまう。例
えば、合成された画像のうち、ある画像の被写体に動き
があったために、他の全く動きのない静止画像がぼけて
しまう。
【００１３】本発明は、合成画像の画質の劣化を抑制で
きるＭＣＵを提供することを目的とする。また、合成画
像の画質を劣化させにくい画像合成符号化方法を提供す
ることを目的とする。
きるＭＣＵを提供することを目的とする。また、合成画
像の画質を劣化させにくい画像合成符号化方法を提供す
ることを目的とする。
【００１４】
【課題を解決するための手段】本発明によれば、ｎ個の
テレビ会議端末が接続されたネットワークに接続される
データ交換手段と、該データ交換手段が受信した前記ｎ
個のテレビ会議端末からの端末画像データをそれぞれ復
号化して間引きを行い、画像サイズを１／ｍ（ｍ≦ｎ）
に縮小した分割画像データを出力するｎ個の復号化手段
と、該ｎ個の復号化手段がそれぞれ出力する前記分割画
像データのなかからｍ個の分割画像データを選択して合
成し、合成画像データを出力する画像合成手段と、前記
合成画像データに対して、前記分割画像データ毎に独立
した量子化特性で符号化し前記データ交換手段へ出力す
る符号化部とを有し、前記データ交換手段が、符号化さ
れた合成画像データを前記ネットワークを介して前記ｎ
個のテレビ会議端末へ送信する多地点テレビ会議制御装
置において、前記ｎ個の復号手段に、それぞれ前記端末
画像データを復号して得られる復号情報を出力させるよ
うにするとともに、前記復号情報に基づいて前記分割画
像データの各々の画面上での画質劣化の目立ち難さを表
す合成符号化制御信号を出力する合成符号化制御手段を
設け、前記符号化手段が、前記合成符号化制御信号に応
じて前記量子化特性を補正して前記合成画像データの符
号化を行うようにしたことを特徴とする多地点テレビ会
議制御装置がえられる。
テレビ会議端末が接続されたネットワークに接続される
データ交換手段と、該データ交換手段が受信した前記ｎ
個のテレビ会議端末からの端末画像データをそれぞれ復
号化して間引きを行い、画像サイズを１／ｍ（ｍ≦ｎ）
に縮小した分割画像データを出力するｎ個の復号化手段
と、該ｎ個の復号化手段がそれぞれ出力する前記分割画
像データのなかからｍ個の分割画像データを選択して合
成し、合成画像データを出力する画像合成手段と、前記
合成画像データに対して、前記分割画像データ毎に独立
した量子化特性で符号化し前記データ交換手段へ出力す
る符号化部とを有し、前記データ交換手段が、符号化さ
れた合成画像データを前記ネットワークを介して前記ｎ
個のテレビ会議端末へ送信する多地点テレビ会議制御装
置において、前記ｎ個の復号手段に、それぞれ前記端末
画像データを復号して得られる復号情報を出力させるよ
うにするとともに、前記復号情報に基づいて前記分割画
像データの各々の画面上での画質劣化の目立ち難さを表
す合成符号化制御信号を出力する合成符号化制御手段を
設け、前記符号化手段が、前記合成符号化制御信号に応
じて前記量子化特性を補正して前記合成画像データの符
号化を行うようにしたことを特徴とする多地点テレビ会
議制御装置がえられる。
【００１５】また、本発明によれば、ｎ個の画像データ
をそれぞれ復号化して間引きを行い、画像サイズを１／
ｍに縮小した分割画像データとし、該分割画像データの
なかからｍ個の分割画像データを選択し合成して合成画
像データとし、該合成画像データに対して、前記分割画
像データ毎に独立した量子化特性で符号化する画面合成
符号化方法において、前記ｎ個の画像データをそれぞれ
復号化したときに得られる復号情報に基づいて、前記分
割画像データの各々の画面上での画質劣化の目立ち難さ
を求め、該画質劣化の目立ち難さに基づいて前記量子化
特性を補正して前記合成画像データの符号化を行うよう
にしたことを特徴とする画面合成符号化方法が得られ
る。
をそれぞれ復号化して間引きを行い、画像サイズを１／
ｍに縮小した分割画像データとし、該分割画像データの
なかからｍ個の分割画像データを選択し合成して合成画
像データとし、該合成画像データに対して、前記分割画
像データ毎に独立した量子化特性で符号化する画面合成
符号化方法において、前記ｎ個の画像データをそれぞれ
復号化したときに得られる復号情報に基づいて、前記分
割画像データの各々の画面上での画質劣化の目立ち難さ
を求め、該画質劣化の目立ち難さに基づいて前記量子化
特性を補正して前記合成画像データの符号化を行うよう
にしたことを特徴とする画面合成符号化方法が得られ
る。
【００１６】
【作用】各テレビ会議端末からの端末画像データを復号
して得られる復号化情報から、各端末画像における被写
体の動きの度合いを求め、画質劣化の目立ち難さを求め
る。求めた画質劣化の目立ち難さに応じて、符号化特性
を割り当てることにより、画像全体としての視覚的画質
劣化を抑制できる。
して得られる復号化情報から、各端末画像における被写
体の動きの度合いを求め、画質劣化の目立ち難さを求め
る。求めた画質劣化の目立ち難さに応じて、符号化特性
を割り当てることにより、画像全体としての視覚的画質
劣化を抑制できる。
【００１７】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について詳細に説明する。
施の形態について詳細に説明する。
【００１８】図１に、本発明の一実施の形態を示す。図
１のＭＣＵ１１は、従来の構成に加え、合成符号化制御
部１２を有している。このＭＣＵ１１の動作は、基本的
に従来のものと同じであるが、復号化部６５が、それぞ
れ復号化情報信号１０１−１，…，１０１−ｎを出力す
る点、画像合成部６６が合成タイミング信号１０２を出
力する点、及び、合成符号化制御部１２が、各復号化部
６５からの復号化情報信号１０１−１，…，１０１−ｎ
及び画像合成部６６からの合成タイミング信号１０２に
基づいて符号化部６７に対して合成符号化制御信号１０
３を出力する点で異なる。
１のＭＣＵ１１は、従来の構成に加え、合成符号化制御
部１２を有している。このＭＣＵ１１の動作は、基本的
に従来のものと同じであるが、復号化部６５が、それぞ
れ復号化情報信号１０１−１，…，１０１−ｎを出力す
る点、画像合成部６６が合成タイミング信号１０２を出
力する点、及び、合成符号化制御部１２が、各復号化部
６５からの復号化情報信号１０１−１，…，１０１−ｎ
及び画像合成部６６からの合成タイミング信号１０２に
基づいて符号化部６７に対して合成符号化制御信号１０
３を出力する点で異なる。
【００１９】各復号化部６５は、復号化しようとする端
末画像データ中に多重化されている無効ブロック信号、
動ベクトル信号、あるいはフレーム間引き信号等を復号
化情報信号１０１−１，…，１０１−ｎとして合成符号
化制御部１２へ出力する。
末画像データ中に多重化されている無効ブロック信号、
動ベクトル信号、あるいはフレーム間引き信号等を復号
化情報信号１０１−１，…，１０１−ｎとして合成符号
化制御部１２へ出力する。
【００２０】また、画像合成部６６は、１フレーム毎に
合成タイミング信号１０２を出力して、合成符号化制御
部１２の動作タイミングを規定する。
合成タイミング信号１０２を出力して、合成符号化制御
部１２の動作タイミングを規定する。
【００２１】合成符号化制御部１２は、合成タイミング
信号１０２で規定されるタイミングで、復号化情報信号
１０１−１，…，１０１−ｎに基づいて、１フレーム毎
に各端末画像における被写体の動きの激しさ（即ち、視
覚的な画質劣化の目立ち難さ）を判断し、各端末画像の
視覚的な画質劣化の目立ち難さを示す合成符号化制御信
号１０３を発生する。
信号１０２で規定されるタイミングで、復号化情報信号
１０１−１，…，１０１−ｎに基づいて、１フレーム毎
に各端末画像における被写体の動きの激しさ（即ち、視
覚的な画質劣化の目立ち難さ）を判断し、各端末画像の
視覚的な画質劣化の目立ち難さを示す合成符号化制御信
号１０３を発生する。
【００２２】符号化部６７は、従来のように、分割画像
毎に独立した符号化パラメータで、合成画像の符号化を
行うが、本実施の形態では、合成符号化制御信号によっ
てその符号化パラメーターが調整される。その結果、各
分割画像における被写体の動きに応じた符号化制御が行
われ、画質の劣化が抑制される。
毎に独立した符号化パラメータで、合成画像の符号化を
行うが、本実施の形態では、合成符号化制御信号によっ
てその符号化パラメーターが調整される。その結果、各
分割画像における被写体の動きに応じた符号化制御が行
われ、画質の劣化が抑制される。
【００２３】例えば、符号化部が出力する符号化情報信
号として、無効ブロック信号を用いた場合、合成符号化
制御部１２及び符号化部６７は、図２に示すように構成
される。
号として、無効ブロック信号を用いた場合、合成符号化
制御部１２及び符号化部６７は、図２に示すように構成
される。
【００２４】図２の合成符号化制御部１２は、各復号化
部６５からの無効ブロック信号をそれぞれカウントする
カウンタ２１−１，…，２１−ｎと、これらカウンタ２
１の出力を比較する比較回路２２とを有している。
部６５からの無効ブロック信号をそれぞれカウントする
カウンタ２１−１，…，２１−ｎと、これらカウンタ２
１の出力を比較する比較回路２２とを有している。
【００２５】また、符号化部６７は、符号化制御回路２
３と、情報源符号化回路２４と、可変長符号化回路２５
と、バッファメモリ２６とを有している。
３と、情報源符号化回路２４と、可変長符号化回路２５
と、バッファメモリ２６とを有している。
【００２６】無効ブロック信号は、復号したブロック
（端末画像データを構成する各ブロック）が無効データ
である（即ち、被写体に動きがない）ことを示す信号で
あり、無効ブロック数の少ない画像ほど、被写体の動き
が激しく、視覚的に画質の劣化が目立ちにくいと判断で
きる。そこで、合成符号化制御部１２では、各復号化部
６５からの無効ブロック信号をカウンタ２１でカウント
する。そして、各カウンタ１２からのカウント値を比較
回路２２で比較して、各分割画像の視覚的な画質劣化の
目立ち難さを所定の段階に分ける。なお、比較回路２２
での比較は、図示しない制御部または入力部からの選択
信号に基づいて、画像合成部６６で選択されたｍ個の画
像に対応するものについて行う。
（端末画像データを構成する各ブロック）が無効データ
である（即ち、被写体に動きがない）ことを示す信号で
あり、無効ブロック数の少ない画像ほど、被写体の動き
が激しく、視覚的に画質の劣化が目立ちにくいと判断で
きる。そこで、合成符号化制御部１２では、各復号化部
６５からの無効ブロック信号をカウンタ２１でカウント
する。そして、各カウンタ１２からのカウント値を比較
回路２２で比較して、各分割画像の視覚的な画質劣化の
目立ち難さを所定の段階に分ける。なお、比較回路２２
での比較は、図示しない制御部または入力部からの選択
信号に基づいて、画像合成部６６で選択されたｍ個の画
像に対応するものについて行う。
【００２７】視覚的な画質劣化の目立ちにくさを、例え
ば、図３に示すように４段階（Ｃ０，Ｃ１，Ｃ２，Ｃ
３；数字の大きいほうが目立ちにくい）に分ける場合、
最も無効ブロック数の少なかった画像に対してＣ３を優
先的に割り当てるようにする。この割り当ては、無効ブ
ロック数がいくつのときはどの段階というように、固定
的に決められるものではなく、各フレームのｍ個の画像
を比較して相対的に決められるものである。この視覚的
な画質劣化の目立ち難さの段階を示す信号が、合成符号
化制御信号１０３として、符号化部６７へ出力される。
ば、図３に示すように４段階（Ｃ０，Ｃ１，Ｃ２，Ｃ
３；数字の大きいほうが目立ちにくい）に分ける場合、
最も無効ブロック数の少なかった画像に対してＣ３を優
先的に割り当てるようにする。この割り当ては、無効ブ
ロック数がいくつのときはどの段階というように、固定
的に決められるものではなく、各フレームのｍ個の画像
を比較して相対的に決められるものである。この視覚的
な画質劣化の目立ち難さの段階を示す信号が、合成符号
化制御信号１０３として、符号化部６７へ出力される。
【００２８】符号化部６７では、符号化制御回路２３
が、バッファメモリの占有量を示すバッファメモリ占有
量信号２０１と合成符号化制御信号１０３とに基づい
て、符号化パラメータを決定し、符号化パラメータ信号
２０２を発生する。ここで、符号化パラメータとは、具
体的には、情報源符号化回路２４における符号化の際の
量子化ステップ、有効／無効ブロック閾値、またはフレ
ーム間引き、あるいはこれらの組み合わせである。符号
化制御回路２３は、基本的には、ＩＴＵ−Ｔ Ｈ．２６
１に規定されているように、バッファメモリ占有量信号
２０１が示すバッファメモリの占有量が大きくなると、
符号化ステップを粗く（符号化特性を悪く）するか、有
効／無効ブロック閾値を大きくするか、フレーム間引き
を実行するかして、符号化情報量を低減するよう制御す
る。本実施の形態では、このような制御により得られる
符号化パラメータに、合成符号化制御信号１０３に基づ
く補正を加えて、情報源符号化回路２４へ符号化パラメ
ータ信号２０２を出力する。
が、バッファメモリの占有量を示すバッファメモリ占有
量信号２０１と合成符号化制御信号１０３とに基づい
て、符号化パラメータを決定し、符号化パラメータ信号
２０２を発生する。ここで、符号化パラメータとは、具
体的には、情報源符号化回路２４における符号化の際の
量子化ステップ、有効／無効ブロック閾値、またはフレ
ーム間引き、あるいはこれらの組み合わせである。符号
化制御回路２３は、基本的には、ＩＴＵ−Ｔ Ｈ．２６
１に規定されているように、バッファメモリ占有量信号
２０１が示すバッファメモリの占有量が大きくなると、
符号化ステップを粗く（符号化特性を悪く）するか、有
効／無効ブロック閾値を大きくするか、フレーム間引き
を実行するかして、符号化情報量を低減するよう制御す
る。本実施の形態では、このような制御により得られる
符号化パラメータに、合成符号化制御信号１０３に基づ
く補正を加えて、情報源符号化回路２４へ符号化パラメ
ータ信号２０２を出力する。
【００２９】合成符号化制御信号１０３に基づく補正
は、以下のように行われる。なお、ここでは説明を簡単
にするため、符号化パラメータは量子化ステップのみを
表すものとする。また、情報源符号化回路２４の量子化
ステップは、補正を行わないものとすると、図４に示す
ようにバッファメモリの占有量に応じて８段階（Ｑ０，
Ｑ１，…，Ｑ７；数字の大きいほうが粗い特性）に分割
されているものとする。
は、以下のように行われる。なお、ここでは説明を簡単
にするため、符号化パラメータは量子化ステップのみを
表すものとする。また、情報源符号化回路２４の量子化
ステップは、補正を行わないものとすると、図４に示す
ようにバッファメモリの占有量に応じて８段階（Ｑ０，
Ｑ１，…，Ｑ７；数字の大きいほうが粗い特性）に分割
されているものとする。
【００３０】バッファメモリ回路２６は、可変長符号化
回路２５からの符号化合成画像データの入力速度と、デ
ータ交換部６４への出力速度との差によって、そのバッ
ファメモリ占有量が変化する。このバッファメモリ占有
量が、例えば、図５に示すように、Ｂ３→Ｂ６→Ｂ４、
と変化するものとすると、符号化制御回路２３は、それ
に対応する符号化パラメーターとして、Ｑ３→Ｑ６→Ｑ
４（図４参照）を得る。そして、合成符号化制御信号１
０３は、上述した４段階の視覚的な画質劣化の目立ちに
くさの内、視覚的な画質劣化が最も目立たないことを示
す合成符号化制御信号Ｃ３と、最も目立つことを示す合
成符号化制御信号Ｃ０とに対応する分割画像に対して、
それぞれ＋補正と−補正を施す。つまり、図５の例で
は、合成符号化制御信号としてＣ３が与えられた区間
では、符号化パラメーターをＱ６からＱ７に補正（１ラ
ンク量子化特性を粗く）する。また、合成符号化制御信
号としてＣ０が与えられた区間では、符号化パラメー
ターをＱ４からＱ３に補正（１ランク量子化特性を細か
く）する。
回路２５からの符号化合成画像データの入力速度と、デ
ータ交換部６４への出力速度との差によって、そのバッ
ファメモリ占有量が変化する。このバッファメモリ占有
量が、例えば、図５に示すように、Ｂ３→Ｂ６→Ｂ４、
と変化するものとすると、符号化制御回路２３は、それ
に対応する符号化パラメーターとして、Ｑ３→Ｑ６→Ｑ
４（図４参照）を得る。そして、合成符号化制御信号１
０３は、上述した４段階の視覚的な画質劣化の目立ちに
くさの内、視覚的な画質劣化が最も目立たないことを示
す合成符号化制御信号Ｃ３と、最も目立つことを示す合
成符号化制御信号Ｃ０とに対応する分割画像に対して、
それぞれ＋補正と−補正を施す。つまり、図５の例で
は、合成符号化制御信号としてＣ３が与えられた区間
では、符号化パラメーターをＱ６からＱ７に補正（１ラ
ンク量子化特性を粗く）する。また、合成符号化制御信
号としてＣ０が与えられた区間では、符号化パラメー
ターをＱ４からＱ３に補正（１ランク量子化特性を細か
く）する。
【００３１】以上のように、各フレームにおいて、ｍ個
の分割画像のうち、最も被写体の動きが激しく画質の劣
化が目立たない分割画像に対しては、その符号化におけ
る量子化特性を粗くし、最も被写体の動きが少なく画質
の劣化が目立つ分割画像に対しては、その符号化におけ
る量子化特性を細かくすることで、フレーム全体として
視覚的な画質の劣化を改善することができる。
の分割画像のうち、最も被写体の動きが激しく画質の劣
化が目立たない分割画像に対しては、その符号化におけ
る量子化特性を粗くし、最も被写体の動きが少なく画質
の劣化が目立つ分割画像に対しては、その符号化におけ
る量子化特性を細かくすることで、フレーム全体として
視覚的な画質の劣化を改善することができる。
【００３２】なお、上記実施の形態では、端末画像の復
号化情報として無効ブロック数を利用したが、動ベクト
ル情報やフレーム間引き情報を用いても同様に画質の劣
化を改善することができる。
号化情報として無効ブロック数を利用したが、動ベクト
ル情報やフレーム間引き情報を用いても同様に画質の劣
化を改善することができる。
【００３３】
【発明の効果】本発明によれば、複数の分割画像が同時
並列表示されている場合に、いずれかの分割画像の被写
体が激しく動いた場合に発生する、動きの少ない分割画
像の画質の劣化を改善することができる。
並列表示されている場合に、いずれかの分割画像の被写
体が激しく動いた場合に発生する、動きの少ない分割画
像の画質の劣化を改善することができる。
【００３４】その理由は、分割画像の元である端末画像
データを復号した際に得られる復号化情報を用いて、被
写体の動きが激しい分割画像に対しては粗い量子化特性
で、被写体の動きが少ない画像に対しては細かい量子化
特性で、合成画像データの符号化を行うようにしたから
である。
データを復号した際に得られる復号化情報を用いて、被
写体の動きが激しい分割画像に対しては粗い量子化特性
で、被写体の動きが少ない画像に対しては細かい量子化
特性で、合成画像データの符号化を行うようにしたから
である。
【図１】本発明の一実施の形態を示すブロック図であ
る。
る。
【図２】図１の合成符号化制御部及び符号化部の詳細を
示すブロック図である。
示すブロック図である。
【図３】合成符号化制御信号を説明するためのグラフで
ある。
ある。
【図４】バッファメモリ占有量と量子化特性の関係を示
すグラフである。
すグラフである。
【図５】図１のＭＣＵの動作を説明するためのタイムチ
ャートである。
ャートである。
【図６】従来のＭＣＵのブロック図である。
１１ ＭＣＵ １２ 合成符号化制御部 ２１−１，…，２１−ｎ カウンタ ２２ 比較回路 ２３ 符号化制御回路 ２４ 情報源符号化回路 ２５ 可変長符号化回路 ２６ バッファメモリ ６１ ＭＣＵ ６２ ネットワーク ６３−１，６３−２，…，６３−ｎ テレビ会議端
末 ６４ データ交換部 ６５−１，…，６５−ｎ 復号化部 ６６ 画像合成部 ６７ 符号化部
末 ６４ データ交換部 ６５−１，…，６５−ｎ 復号化部 ６６ 画像合成部 ６７ 符号化部
Claims (8)
- 【請求項１】 ｎ個のテレビ会議端末が接続されたネッ
トワークに接続されるデータ交換手段と、該データ交換
手段が受信した前記ｎ個のテレビ会議端末からの端末画
像データをそれぞれ復号化して間引きを行い、画像サイ
ズを１／ｍ（ｍ≦ｎ）に縮小した分割画像データを出力
するｎ個の復号化手段と、該ｎ個の復号化手段がそれぞ
れ出力する前記分割画像データのなかからｍ個の分割画
像データを選択して合成し、合成画像データを出力する
画像合成手段と、前記合成画像データに対して、前記分
割画像データ毎に独立した量子化特性で符号化し前記デ
ータ交換手段へ出力する符号化部とを有し、前記データ
交換手段が、符号化された合成画像データを前記ネット
ワークを介して前記ｎ個のテレビ会議端末へ送信する多
地点テレビ会議制御装置において、前記ｎ個の復号手段
に、それぞれ前記端末画像データを復号して得られる復
号情報を出力させるようにするとともに、前記復号情報
に基づいて前記分割画像データの各々の画面上での画質
劣化の目立ち難さを表す合成符号化制御信号を出力する
合成符号化制御手段を設け、前記符号化手段が、前記合
成符号化制御信号に応じて前記量子化特性を補正して前
記合成画像データの符号化を行うようにしたことを特徴
とする多地点テレビ会議制御装置。 - 【請求項２】 前記符号化手段が、前記符号化された合
成画像データを一旦保持するバッファメモリを有し、該
バッファメモリの占有量に応じて前記量子化特性を決定
していることを特徴とする請求項１の多地点テレビ会議
制御装置。 - 【請求項３】 前記符号化手段が、前記合成符号化制御
信号が最も画質劣化が目立ち難いとする分割画像に対し
て、前記量子特性を粗くする補正を行って、符号化を行
うことを特徴とする請求項１または２の多地点テレビ会
議制御装置。 - 【請求項４】 前記符号化手段が、前記合成符号化制御
信号が最も画質劣化が目立ち易いとする分割画像に対し
て、前記量子特性を細かくする補正を行って、符号化を
行うことを特徴とする請求項１、２、または３の多地点
テレビ会議制御装置。 - 【請求項５】 前記復号情報が、無効ブロック信号、動
ベクトル信号、またはフレーム間引き信号であることを
特徴とする請求項１、２、３、または４の多地点テレビ
会議制御装置。 - 【請求項６】 ｎ個の画像データをそれぞれ復号化して
間引きを行い、画像サイズを１／ｍに縮小した分割画像
データとし、該分割画像データのなかからｍ個の分割画
像データを選択し合成して合成画像データとし、該合成
画像データに対して、前記分割画像データ毎に独立した
量子化特性で符号化する画面合成符号化方法において、
前記ｎ個の画像データをそれぞれ復号化したときに得ら
れる復号情報に基づいて、前記分割画像データの各々の
画面上での画質劣化の目立ち難さを求め、該画質劣化の
目立ち難さに基づいて前記量子化特性を補正して前記合
成画像データの符号化を行うようにしたことを特徴とす
る画面合成符号化方法。 - 【請求項７】 最も画質劣化が目立ち難いとされた分割
画像データに対して、前記量子特性を粗くする補正を行
って符号化を行うことを特徴とする請求項６の画面合成
符号化方法。 - 【請求項８】 最も画質劣化が目立ち易いとされた分割
画像データに対して、前記量子特性を細かくする補正を
行って符号化を行うことを特徴とする請求項６または７
の多地点テレビ会議制御装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP199797A JP2933132B2 (ja) | 1997-01-09 | 1997-01-09 | 多地点テレビ会議制御装置及び画面合成符号化方法 |
| US09/004,922 US5929898A (en) | 1997-01-09 | 1998-01-09 | Multi-point control unit for use in multi-point videoconference system capable of suppressing deterioration of picture quality on split screen |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP199797A JP2933132B2 (ja) | 1997-01-09 | 1997-01-09 | 多地点テレビ会議制御装置及び画面合成符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10200872A JPH10200872A (ja) | 1998-07-31 |
| JP2933132B2 true JP2933132B2 (ja) | 1999-08-09 |
Family
ID=11517098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP199797A Expired - Lifetime JP2933132B2 (ja) | 1997-01-09 | 1997-01-09 | 多地点テレビ会議制御装置及び画面合成符号化方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5929898A (ja) |
| JP (1) | JP2933132B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0982726A4 (en) * | 1998-01-19 | 2003-06-04 | Sony Corp | CUTTING SYSTEM, CUTTING CONTROL DEVICE AND CUTTING METHOD |
| KR100828342B1 (ko) * | 2000-06-10 | 2008-05-08 | 삼성전자주식회사 | 화질 열화를 줄인 데이터 레이트 감소 장치 |
| EP1320261A1 (en) * | 2001-12-12 | 2003-06-18 | Leadtek Research Inc. | Videoconference system |
| US7312809B2 (en) * | 2004-10-12 | 2007-12-25 | Codian Ltd. | Method and apparatus for controlling a conference call |
| US7532231B2 (en) * | 2004-12-17 | 2009-05-12 | Codian Limited | Video conference recorder |
| GB2422065B (en) * | 2005-01-05 | 2008-12-17 | Codian Ltd | Video multi-conference unit (MCU) |
| US20070133413A1 (en) * | 2005-12-09 | 2007-06-14 | Andrew Pepperell | Flow control in a video conference |
| US9065667B2 (en) * | 2006-09-05 | 2015-06-23 | Codian Limited | Viewing data as part of a video conference |
| US20080068448A1 (en) * | 2006-09-18 | 2008-03-20 | Hansen Robert A | Method for adapting a device to participate in video conference calls |
| WO2008062164A2 (en) * | 2006-11-20 | 2008-05-29 | Codian Limited | Hardware architecure for video conferencing |
| US8699818B2 (en) | 2008-04-30 | 2014-04-15 | Nec Corporation | Method, system, and program for determining image quality based on pixel changes between image frames |
| CN101742220B (zh) * | 2008-11-17 | 2011-12-28 | 中兴通讯股份有限公司 | 一种基于串行差分交换器实现多画面的系统和方法 |
| US8532100B2 (en) | 2010-10-19 | 2013-09-10 | Cisco Technology, Inc. | System and method for data exchange in a heterogeneous multiprocessor system |
| US20140028788A1 (en) * | 2012-07-30 | 2014-01-30 | Polycom, Inc. | Method and system for conducting video conferences of diverse participating devices |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3566208D1 (en) * | 1984-02-29 | 1988-12-15 | Hertz Inst Heinrich | Video conference system |
| JPS61114677A (ja) * | 1984-11-09 | 1986-06-02 | Nec Corp | 動画像信号の適応予測符号化復号化方式及びその装置 |
| JPS647791A (en) * | 1987-06-30 | 1989-01-11 | Nec Corp | Multiscreen video conference method and device therefor |
| DE3823219C1 (ja) * | 1988-07-08 | 1989-05-18 | Telenorma Telefonbau Und Normalzeit Gmbh, 6000 Frankfurt, De | |
| JPH0258486A (ja) * | 1988-08-24 | 1990-02-27 | Nec Corp | 動画情報伝送方式並びに符号化装置および復号化装置 |
| JPH02105791A (ja) * | 1988-10-14 | 1990-04-18 | Nippon Telegr & Teleph Corp <Ntt> | 直交変換係数量子化方式による画像符号化装置 |
| US5003532A (en) * | 1989-06-02 | 1991-03-26 | Fujitsu Limited | Multi-point conference system |
| JP2830069B2 (ja) * | 1989-06-02 | 1998-12-02 | 日本電気株式会社 | 多地点テレビ会議システム |
| JP2800269B2 (ja) * | 1989-06-07 | 1998-09-21 | 日本ビクター株式会社 | 画像信号の符号化復号化装置及び符号化装置 |
| US5265052A (en) * | 1989-07-20 | 1993-11-23 | Texas Instruments Incorporated | Wordline driver circuit for EEPROM memory cell |
| JP2587534B2 (ja) * | 1990-11-09 | 1997-03-05 | シャープ株式会社 | 画像符号化装置 |
| JPH0654322A (ja) * | 1992-07-28 | 1994-02-25 | Fujitsu Ltd | 多地点制御装置を用いたｔｖ会議の画像データ適応制御方式 |
| JPH06169452A (ja) * | 1992-11-27 | 1994-06-14 | Kyocera Corp | 画面に重み付けを持たせた画像圧縮方式 |
| JP3305037B2 (ja) * | 1993-04-07 | 2002-07-22 | 富士通株式会社 | 多地点制御装置、テレビ会議端末装置及び多地点テレビ会議システム |
| US5589884A (en) * | 1993-10-01 | 1996-12-31 | Toko Kabushiki Kaisha | Adaptive quantization controlled by scene change detection |
-
1997
- 1997-01-09 JP JP199797A patent/JP2933132B2/ja not_active Expired - Lifetime
-
1998
- 1998-01-09 US US09/004,922 patent/US5929898A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10200872A (ja) | 1998-07-31 |
| US5929898A (en) | 1999-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6195116B1 (en) | Multi-point video conferencing system and method for implementing the same | |
| US6339616B1 (en) | Method and apparatus for compression and decompression of still and motion video data based on adaptive pixel-by-pixel processing and adaptive variable length coding | |
| US5543939A (en) | Video telephone systems | |
| EP0731608B1 (en) | Image encoder and decoder with area selection | |
| JP2933132B2 (ja) | 多地点テレビ会議制御装置及び画面合成符号化方法 | |
| JPH0654322A (ja) | 多地点制御装置を用いたｔｖ会議の画像データ適応制御方式 | |
| JP3303869B2 (ja) | 画像符号化方法、画像符号化装置、画像復号化方法 | |
| JP3191935B2 (ja) | 画像符号化方法、画像符号化装置、画像復号化方法 | |
| US6211902B1 (en) | Video conference control apparatus, video conference control method, and video conference control system | |
| JPH07298258A (ja) | 画像符号化復号化方法 | |
| US20050200764A1 (en) | Encoded video data synthesis apparatus | |
| JPH10108175A (ja) | 画像符号伝送システム | |
| JPH08256315A (ja) | 多地点同時モニタ制御方法 | |
| JPS62200883A (ja) | 電子会議システムにおける図形表示装置 | |
| JP3115866B2 (ja) | 画像符号化装置及び画像復号装置 | |
| US6904093B1 (en) | Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block | |
| JP3803476B2 (ja) | 画像伝送システム及び画像符号化装置 | |
| JP4795141B2 (ja) | 映像符号化合成装置、映像符号化合成方法及び映像伝送システム | |
| JPS60256284A (ja) | 動画像送受信方式 | |
| JP4196085B2 (ja) | 映像信号符号化装置およびそれを用いたテレビ会議システム | |
| JPH0715708A (ja) | 画像伝送システム | |
| JP3067404B2 (ja) | 画像符号化装置及び復号化装置 | |
| JP2001346214A (ja) | 画像情報変換装置及び方法 | |
| JPH09130798A (ja) | 情報合成装置および情報合成方法 | |
| JPH0564184A (ja) | Ｔｖ会議システムの画面構成方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990428 |