JP2003189310A

JP2003189310A - 画像符号化装置

Info

Publication number: JP2003189310A
Application number: JP2001385867A
Authority: JP
Inventors: Takuya Nohara; 琢也野原
Original assignee: Nef KK
Current assignee: Nef KK
Priority date: 2001-12-19
Filing date: 2001-12-19
Publication date: 2003-07-04

Abstract

(57)【要約】【課題】カメラで撮影される画像から、背景となる静止
領域および人物等の動領域の両方を伝送することによる
不都合を解消又は軽減するＴＶ電話端末等の画像符号化
装置を提供すること。【解決手段】ＴＶカメラ１８から入力される画像データ
ｈに対し、予め疑似背景データ記憶部１２に記憶された
擬似背景画像データｂを使用して、予め決められた領域
のデータを置換する。このデータ置換処理を施された合
成画像ｃに対し、フレーム間予測符号化部１５でフレー
ム間予測符号化を行うことにより、伝送が不要な背景に
おいて発生する情報量を削減し、動領域の画質を高める
ことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像符号化装置に関
し、特に比較的低速の通信回線を使用して画像を伝送し
てＴＶ電話端末等の表示部に表示する画像符号化装置に
関する。

【０００２】

【従来の技術】文字情報又は音声情報に比較して画像
（映像）情報の情報量は格段に増加する。電話で通話す
る際にも、相手の顔の表情又はジェスチャーが画像で見
られるＴＶ電話端末とすることにより、コミュニケーシ
ョンは飛躍的に改善される。そのために画像情報を伝送
処理するためのニーズが急速に増加している。画像を伝
送するには、先ず画像情報を符号化する必要がある。そ
のために画像符号化装置が使用される。画像符号化装置
又は画像符号化技術に関する従来技術は、例えば特開平
７−２５０２７２号公報の「画像処理装置」、特開平７
−３０８８８号公報の「動画像送信装置及び動画像受信
装置」、特開平５−１４５９１４号公報の「画像伝送装
置」および特開２００１−２１１４５１号公報の「簡易
画像合成装置」等に開示されている。

【０００３】ＴＶ電話端末等の画像符号化装置に使用さ
れている技術としては、上述した従来技術に開示される
如く、動領域の符号化効率の向上や、画像によるコミュ
ニケーションには必要のない背景の映り込みを回避する
ために、ＴＶカメラ（以下、単にカメラという）で撮影
される画像から、背景となる静止領域と、人物等の伝送
するべき動領域を検出・分離する手法がとられている。

【０００４】具体的には、(1)カメラで撮影される画像
において、予め人物等が映っていない背景となる画像を
撮影のうえメモリ等に格納し、符号化する際にはカメラ
から入力された画像と背景が格納されたメモリの内容を
比較する等の方法により、動領域と背景領域を検出・分
離し、伝送する方式。(2)動ベクトルから、動領域を検
出する。(3)赤外線等から人物領域を特定する。

【０００５】

【発明が解決しようとする課題】上述した従来技術以外
にも各種の技法が提案されているが、動・静領域の分離
には複雑なアルゴリズムを必要とするため、ハードウェ
アおよびソフトウェア等の構成を複雑にする。また、特
にＴＶ電話等のように家庭内に設置される場合には、カ
メラに伝わる振動による動領域の過剰検出等を回避する
ために、変化量に重み付けを行うことが一般的に行われ
るが、この技法は、動領域における画質劣化となって現
れる。また、カメラのアナログ的な変動をキャンセルす
る場合にも、同様の画質劣化が発生する。また、背景画
像をメモリに格納する場合には、カメラの撮影方向の変
更等を行うことができないため、ユーザの使用に際し、
著しい制限を加えることになる。

【０００６】

【発明の目的】英会話等の教育を、ＴＶ電話を使用して
行う場合には、音声と人物の表情やジェスチャー等を伝
えることが重要である。そこで、人物以外の背景等を伝
送することにより得られる臨場感等は必要としない。Ｔ
Ｖ電話端末において、画像によるコミュニケーションに
は必要のない背景となる画像を除去することにより、ユ
ーザが自分の背景を見られたくないという心理的な要求
を解決すると共に動領域として伝送する情報量を削減す
ることにより画質を高め、利用者の利便性を向上する画
像符号化装置を提供することを目的とする。また、従来
技術と比較して、ハードウェアやソフトウェアの構成を
簡単にする画像符号化装置を提供することを目的とす
る。

【０００７】

【課題を解決するための手段】本発明の画像符号化装置
は、ＴＶカメラで撮影した画像入力信号を符号化して電
話端末等の表示部に表示するための装置であって、予め
擬似背景データ記憶部に記憶された擬似背景画像データ
のウインドウ部にＴＶカメラからの画像データの一部を
合成する画像合成部と、この画像合成部の合成画像デー
タからフレーム内符号化データを得るフレーム内符号化
部と、フレーム内符号化データおよび合成画像データか
らフレーム間予測符号化データを得るフレーム間予測符
号化部と、フレーム内符号化データ又はフレーム間予測
符号化データを選択する選択部とを備える。

【０００８】また、本発明の画像符号化装置の好適実施
形態によると、選択部は、一定周期でフレーム内符号化
データを選択する。選択部は、符号化の車所又はリフレ
ッシュ要求時のみにフレーム内符号化データを選択す
る。擬似背景データ記憶部は、複数の風景又は壁紙等の
背景画像データを予め記憶している。擬似背景画像デー
タとして記憶されている複数の背景画像データの何れか
１つをユーザが適宜選択する。擬似背景画像データのウ
インドウ部は、窓枠状である。

【０００９】

【発明の実施の形態】以下、本発明の画像符号化装置の
上述した目的、特徴および利点を明確にすべく、添付図
面を参照しながら、本発明の好適実施形態を詳細に説明
する。

【００１０】先ず、図１は、カメラで撮影した画像入力
信号の周囲を疑似背景により置換する画像合成動作の説
明図である。図１（Ａ）は、カメラにて撮影した入力画
像２０を示す。この入力画像２０は、人物２１等の移動
体およびテーブルその他の静止物２２等の背景を含んで
いる。図１（Ｂ）は、疑似背景画像データ３０を示し、
中央のウインドウ部３１およびその周囲の疑似背景部３
２を含んでいる。また、図１（Ｃ）は、図１（Ａ）およ
び（Ｂ）に示すカメラ入力画像２０および疑似背景画像
３０を合成した合成画像４０を示す。この合成画像４０
は、疑似背景画像データ３０のウインドウ部３１にカメ
ラ入力画像２０の中央部分の画像４１を含み、その周囲
に（図１（Ｂ）の疑似背景３２に対応する）疑似背景４
２を含む合成画像である。これにより、人物２１等が映
ると思われる画面の中央領域は動領域４１とし、その周
囲を窓枠状の疑似背景４２とすることにより、恰も窓か
ら人物２１を覗き込むような合成画像が得られる。

【００１１】図２は、上述した図１（Ｃ）に示す合成画
像４０の伝送を示す。即ち、図２（Ａ）は、中央部の動
領域４１および周囲の疑似背景画像領域４２を含む合成
画像である。図２（Ｂ）は、図２（Ａ）の合成画像から
から少し時間が経過した時点の合成画像４０’であり、
動領域４１の人物が少し右へ移動している。しかし、疑
似背景画像領域４２は、図２（Ａ）と同様であり、変化
がない画像である。

【００１２】本発明によると、斯かる処理がなされた合
成画像４０に対して、フレーム間予測符号化を行うこと
により、伝送が不要な背景において発生する情報量を削
減し、動領域の画質を高めることが可能である。また、
背景を疑似背景画像データに置換することにより、ユー
ザのプライベートな室内等の状況を極力隠すことが可能
であり、心理的ストレスを改善できる。本発明の画像符
号化装置は、予め決められた領域を疑似背景画像データ
に置換するという簡単な処理であるので、ハードウエア
およびソフトウエアを簡略化可能である。特に、疑似背
景データの置換後の処理は、簡単なフレーム間予測符号
化を使用する如何なる装置にも適用可能である。また、
フレーム間予測符号化およびＤＣＴ（Discrete Cosine
Transform：離散コサイン変換）等の他の情報源符号化
と組み合わせた符号化も可能である。

【００１３】次に、図３は、本発明による画像符号化装
置の好適実施形態の構成を示すブロック図である。この
画像符号化装置１０は、デジタル化部１１、疑似背景デ
ータ記憶部１２、画像合成部１３、フレーム内符号化部
１４、フレーム間予測符号化部１５、選択部１６および
制御部１７により構成される。

【００１４】画像合成部１３には、デジタル化部１１お
よび疑似背景データ記憶部１２からの画像信号が入力さ
れる。この画像合成部１３の出力は、フレーム内符号化
部１４に入力される。このフレーム内符号化部１４の出
力は、選択部１６に入力される。フレーム間予測符号化
部１５には、画像合成部１３およびフレーム内符号化部
１４の出力が入力され、フレーム間予測符号化部１５の
出力は、選択部１６に入力される。選択部１６は、制御
部１７からの制御信号によりフレーム内符号化部１４又
はフレーム間予測符号化部１５の出力を選択出力する。
尚、この画像符号化装置１０のデジタル化部１１には、
カメラ部１８の画像信号が入力される。

【００１５】図３中の各構成要素の主要機能を説明す
る。カメラ１８は、例えばＴＶ電話端末の話者である人
物等を撮影する。デジタル化部１１は、カメラ部１８か
ら入力される入力画像データｈをデジタル化する。疑似
背景データ記憶部１２は、好ましくは複数の風景又は壁
紙等の擬似背景画像データを記憶し、適宜選択可能であ
る。画像合成部１３は、デジタル化部１１から入力され
たデジタル画像データａおよび疑似背景データ記憶部１
２から出力される擬似背景画像データｂを合成する。フ
レーム内符号化部１４は、合成された合成画像データｃ
のフレーム内符号化を行う。フレーム間予測符号化部１
５は、合成された合成画像データｃのフレーム間予測号
化を行う。選択部１６は、フレーム内符号化データｄお
よびフレーム間予測符号化データｅを必要に応じて選択
・切替し、符号化出力データｆを出力する。制御部１７
は、フレーム内符号化データｄおよびフレーム間予測符
号化データｅのどちらを使用するかを必要に応じて選択
する符号化選択信号ｇを選択部１６に対して出力する。

【００１６】図３のカメラ部１８から入力された入力画
像信号ｈは、デジタル化部１１においてＡ／Ｄ（アナロ
グ／デジタル）変換や輝度・色信号の分離復調処理等を
行い、デジタル化されたデジタル画像データａを得る。
画像信号のＡ／Ｄ変換や色信号の分離・復調等の処理
は、本発明に直接関連がなく且つ斯かる処理技術は周知
の技術であるため、その詳細は割愛する。デジタル画像
データａは、擬似背景画像データｂと画像のフレーム単
位に画像合成部１３において合成される。

【００１７】次に、図４は、図３中の画像合成部１３に
おける画像合成動作の概要を示す。図４（ａ）、（ｂ）
および（ｃ）は、それぞれ図３中のデジタル画像データ
ａ、疑似背景画像データおよび合成画像データｃを示
す。図４中には、左から右方向に時系列的に６フレーム
を示す。画像合成部１３では、画像データａの背景に相
当する部分を、固定的なデータである擬似背景画像デー
タｂにより置換して合成画像データｃを得る。この際
に、画像合成部１３は、擬似背景画像データｂに特定の
数値（例えば、１６進「８０」等）が現れた場合にのみ
画像データａを出力し、それ以外の場合には、擬似背景
画像データｂを出力するように動作する。

【００１８】擬似背景画像として出力したい領域の擬似
背景画像データｂ（図４（ｂ）参照）には、この特定の
数値を使用しないようにすれば、数値の置換による単純
な処理により、画像の合成が実現可能である。これによ
り、合成画像データｃ（図４（ｃ）参照）には擬似背景
画像データｂの動画ウインドウ４１内にだけ画像データ
ａ（図４（ａ）参照）の画像が出力されることになる。

【００１９】合成画像データｃは、フレーム内符号化部
１４においてフレーム内符号化処理を行い、フレーム内
符号化データｄを得る。また、合成画像データｃおよび
フレーム内符号化データｄから、フレーム間予測号化部
１５においてフレーム間予測号化を行い、フレーム間予
測符号化データｅを得る。この特定実施形態では、フレ
ーム内符号化およびフレーム間予測符号化の単位を1フ
レームとしているが、フレームを更に細かく分割したマ
クロブロック等の符号化単位での処理とすることも可能
である。制御部１７では、符号化の最初のフレームや一
定の周期のフレーム又はリフレッシュ要求時等に、符号
化選択信号ｇにより選択部１６を制御してフレーム内符
号化データｄを選択する。その他のフレームでは、フレ
ーム間予測符号化データｅを選択する。これにより、情
報量を削減することが可能となる。

【００２０】図５は、図３に示す選択部１６による符号
化データの選択動作概要を示す。図５は、フレーム
（１）〜フレーム（ｎ＋１）までの伝送画像を示す。図
５において、（ｃ）は、画像合成部１３の出力である合
成画像データｃを示す。（ｄ）は、フレーム内符号化部
１４の出力であるフレーム内符号化データを示す。
（ｅ）は、フレーム間予測符号化部１５の出力であるフ
レーム間予測符号化データｅを示す。（ｇ）は、制御部
１７から選択部１６に供給される符号化選択信号を示
す。また、（ｆ）は、選択部１６から出力される符号化
出力データｆを示す。

【００２１】図５（ｄ）に示す如く、フレーム内符号化
部１４からのフレーム内符号化データｄは、Ｉ−１、Ｉ
−２、Ｉ−３、…、Ｉ−（ｎ）およびＩ−（ｎ＋１）を
出力する。また、フレーム間予測符号化部１５からのフ
レーム間予測符号化データｅは、Ｐ−１、Ｐ−２、Ｐ−
３、…、Ｐ−（ｎ）およびＰ−（ｎ＋１）を出力する。
次に、選択部１６を選択制御する制御部１７からの符号
化選択信号ｇは、フレーム（１）およびフレーム（ｎ）
でフレーム内符号化部１４のフレーム内符号化データＩ
−１およびＩ−（ｎ）を選択し、その他のフレームでは
フレーム間予測符号化部１５のフレーム間予測符号化デ
ータＰ−２、Ｐ−３、…、Ｐ−（ｎ＋１）、…を選択し
て、選択部１６から符号化出力データｆとして出力す
る。

【００２２】上述の如く動作し、フレーム内符号化部１
４が選択された場合には、画像のフレーム全体（即ち、
動領域および背景領域の双方）で情報が発生する。しか
し、フレーム間符号化部１５が選択された場合には、擬
似背景画像データ部分が、各フレームにおいて同一のデ
ータであるため、情報は発生しない（即ち、情報量は
「０」である）。このため、背景を擬似背景画像データ
で置換しない場合と比較して、情報量を大幅に削減する
ことが可能となる。この削減した情報量を、動領域に割
り当てることにより、動領域の画質を向上させることが
可能となる。

【００２３】尚、上述した本発明の好適実施形態では、
フレーム内符号化部１４およびフレーム間予測符号化部
１５の選択単位を1フレームとしている。しかし、フレ
ームを更に細かく分割したマクロブロック等の符号化単
位での処理とすることも可能である。

【００２４】図６は、ＩＴＵ−Ｔ勧告Ｈ．２６１符号化
器６１を使用した本発明による画像符号化装置の他の実
施形態である。符号化器６１へは、図３に示した合成画
像データｃを入力する。尚、この符号化器６１は、当業
者に周知であるので、詳細説明は省略する。

【００２５】以上、本発明による画像符号化装置の好適
実施形態の構成および動作を詳述した。しかし、斯かる
実施形態は、本発明の単なる例示に過ぎず、何ら本発明
を限定するものではない。本発明の要旨を逸脱すること
なく、特定用途に応じて種々の変形変更が可能であるこ
と、当業者には容易に理解できよう。

【００２６】

【発明の効果】以上の説明から理解される如く、本発明
の画像符号化装置によると、次の如き実用上の顕著な効
果が得られる。即ち、カメラからの入力画像に対して、
擬似背景画像を合成した合成画像に対し、予測符号化を
行うことにより、伝送が不要な背景において発生する情
報量を削減して、動領域の画質改善が可能である。ま
た、背景を擬似背景画像データに置換するため、ユーザ
のプライベートな室内の状況等を通話相手に対し極力隠
すことができ、心理的なストレスを改善することが可能
となる。

【００２７】また、予め決められた領域のデータを、擬
似背景画像データと置換するという単純な処理であるた
め、ハードウェアやソフトウェアを簡易化することがで
きる。特に、通常の予測符号化を使用する画像符号化装
置であれば、本発明を容易に適用可能である。

【図面の簡単な説明】

【図１】本発明による画像符号化装置の基本原理を示す
説明図であり、（Ａ）はカメラ入力画像、（Ｂ）は疑似
背景画像データおよび（Ｃ）は合成画像である。

【図２】本発明による画像符号化装置により伝送される
信号を示し、（Ａ）は特定時間の動画像および（Ｂ）は
別の時間の動画像を示す。

【図３】本発明による画像符号化装置の好適実施形態の
構成を示すブロック図である。

【図４】本発明による画像表示装置における画像合成動
作を示す図である。

【図５】符号化データの選択動作を示す説明図である。

【図６】本発明による画像符号化装置の他の実施形態に
使用するＨ．２６１符号化器の構成を示す図である。

【符号の説明】

１０画像符号化装置１１デジタル化部１２疑似背景データ記憶部１３画像合成部１４フレーム内符号化部１５フレーム間予測号化部１６選択部１７制御部１８ＴＶカメラ部２０カメラ入力画像３０擬似背景画像データ３１ウインドウ部３２窓枠状背景部４０合成画像

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C023 AA16 AA27 BA13 CA03 5C053 GB22 GB26 GB30 GB32 GB40 KA25 LA01 LA14 5C059 KK25 MA05 MA23 PP05 PP26 PP29 SS07 UA02 5C064 AA01 AB04 AC04 AC08 AC12 AC20 AD04 AD14

Claims

【特許請求の範囲】

【請求項１】ＴＶカメラで撮影した画像入力信号を符号
化してＴＶ電話端末等の画像表示部に表示するための画
像符号化装置において、予め擬似背景データ記憶部に記憶された擬似背景画像デ
ータのウインドウ部に前記ＴＶカメラからの画像データ
の一部を合成する画像合成部と、該画像合成部の合成画
像データからフレーム内符号化データを得るフレーム内
符号化部と、前記フレーム内符号化データおよび前記合
成画像データからフレーム間予測符号化データを得るフ
レーム間予測符号化部と、前記フレーム内符号化データ
又は前記フレーム間予測符号化データを選択する選択部
とを備えることを特徴とする画像符号化装置。
【請求項２】前記選択部は、一定周期で前記フレーム内
符号化データを選択することを特徴とする請求項１に記
載の画像符号化装置。
【請求項３】前記選択部は、符号化の最初のフレーム又
はリフレッシュ要求時のみに前記フレーム内符号化デー
タを選択することを特徴とする請求項１に記載の画像符
号化装置。
【請求項４】前記擬似背景データ記憶部は、風景又は壁
紙等の複数の背景画像データを予め記憶していることを
特徴とする請求項１、２又は３に記載の画像符号化装
置。
【請求項５】前記擬似背景画像データとして記憶されて
いる複数の背景画像データの何れか１つをユーザが適宜
選択することを特徴とする請求項４に記載の画像符号化
装置。
【請求項６】前記擬似背景画像データの前記ウインドウ
部は、窓枠状であることを特徴とする請求項１乃至５の
何れかに記載の画像符号化装置。