JP2007013771A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】 携帯テレビ電話などの携帯端末の消費電力を削減しかつ、コミュニケーションに重要な顔の情報を豊富に伝達すること。
【解決手段】 画像符号化装置１００は、入力音声データが有音か無音かを判定する音声判定部１０３、有音判定部１０３の有音判定結果に基づき画像データを後段の顔検出部１０５に入力するか否かを切り替えるスイッチ１０４、顔領域を検出する顔検出部１０５、顔領域については顔以外の領域より多くの符号量が割り当てられるように符号量を制御する符号量制御部１０９を備える。音声が有音のときのみスイッチ１０４を切り替えて顔検出及び顔領域への符号量制御を行う。
【選択図】 図１

Description

本発明は、テレビ電話やテレビ会議システムなどの画像通信装置に用いられる画像符号化装置及び画像符号化方法に係り、特に、携帯テレビ電話に搭載される画像符号化装置及び画像符号化方法に関する。

近年、テレビ会議やＶＯＤ（ビデオオンデマンド）などの映像配信システムなど、映像を伝送する装置の開発や普及が進んできている。テレビ電話で画像を符号化する際、一般的にはフレーム内に存在する画像の内容にかかわらず符号量制御が施される。つまり、人の顔であろうが背景画像であろうが同等に扱われ符号化される。しかし、動画像を利用したコミュニケーションにおいては、意味のある情報は人の顔やその表情であり、上記のようにフレーム内の全ての画像を同等に扱って符号化すると、伝えたい情報に最適な符号量が割り当てられない。この点を改善する方法として例えば、特許文献１に記載されたものがある。

図７は、従来の画像符号化装置の構成を示すブロック図である。

図７において、画像符号化装置１０は、コマ落とし回路１１、フレームメモリ１２，１４，２３、フレーム遅延回路１３、領域抽出回路１５、ブロック化回路１６、動き領域選択回路１７、符号器１〜Ｎからなる符号化回路１８、選択回路１９、多重化回路２０、バッファ２１、局部復号器２２、可変遅延回路２４、動き検出回路２５、及び差分器２６，２７を備えて構成される。

画像符号化装置１０は、領域抽出回路１５で顔領域を検出する。動き検出回路２５では、検出された動きベクトルにより計算される前フレーム画像と現在のフレームの差分とを計算し、符号化回路１８で符号化を行う。符号化回路１８にはビット割り当ての異なる複数の符号化回路１８があり、領域抽出回路１５の出力を参照して選択回路１９が複数の符号化出力の１つを選択し、符号化出力と動き領域検出及び顔の検出の選択情報を多重化回路２０で多重化する。

選択回路１９で複数の符号化出力を選択する際、顔に相当する領域の符号化にはビット割り当ての多い符号化器の出力を選択することで、顔領域により多くのビットが割り当てられ、コミュニケーションに重要な情報が多く伝達されることになる。さらにその他の領域へのビット割り当てを相対的に低くすることで、符号化効率がよくなる。
特開平１−８０１８５号公報

しかしながら、このような従来の画像符号化装置にあっては、常に顔領域を検出する処理が動作していて、その分の消費電力が増加してしまうという問題がある。よって、従来技術をそのまま携帯テレビ電話に応用すると、テレビ電話の連続通話時間やテレビ電話を使用した場合の連続待ち受け時間が従来機より短くなってしまうという問題がある。

本発明はかかる点に鑑みてなされたものであり、携帯テレビ電話などの携帯端末の消費電力を削減しかつ、コミュニケーションに重要な顔の情報を豊富に伝達することができる画像符号化装置及び画像符号化方法を提供することを目的とする。

本発明の画像符号化装置は、入力された音声が有音か無音かを判定する有音判定手段と、入力された音声が有音のときに、入力された画像から顔の領域を検出する顔検出手段と、検出された前記顔の領域については該顔以外の領域より多くの符号量を割当てる符号量制御手段と、前記符号量制御手段により割当てられた符号量により入力画像を符号化する符号化手段とを備える構成を採る。

本発明の画像符号化方法は、入力された音声が有音か無音かを判定するステップと、入力された音声が有音のときに、入力された画像から顔の領域を検出する顔検出ステップと、検出された前記顔の領域については該顔以外の領域より多くの符号量を割当てる符号量割当ステップと、割当てられた符号量により入力画像を符号化するステップとを有する。

他の観点から、本発明は、上記画像符号化方法のステップをコンピュータに実行させるためのプログラムである。

本発明によれば、入力音声が有音のときのみ、更には入力音声が人の会話であるときのみ顔検出による顔領域への符号量制御を動作させることができ、携帯テレビ電話の消費電力を削減しかつ、コミュニケーションに重要な顔の情報を豊富に伝えることができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。

図１において、画像符号化装置１００は、音声フレームメモリ１０１、画像フレームメモリ１０２、有音判定部１０３、スイッチ１０４、顔検出部１０５、顔画像検出部１０６、顔部品検出部１０７、顔判定部１０８、符号量制御部１０９、画像符号化部１１０、及びビットストリームバッファ１１１を備えて構成される。

音声フレームメモリ１０１は、音声データを格納し、画像フレームメモリ１０２は、画像データを格納する。音声判定部１０３は、入力音声データが有音か無音かを判定する。スイッチ１０４は、有音判定部１０３の有音判定結果に基づき画像データを後段の顔検出部１０５に入力するか否かを切り替える。

顔検出部１０５は、顔画像検出部１０６、顔部品検出部１０７及び顔判定部１０８から構成され、顔領域の位置座標を出力する。顔画像検出部１０６は、入力画像データに対して顔画像のテンプレートデータとマッチングをとることによって顔領域を検出する。顔部品検出部１０７は、顔画像検出部１０６で検出した顔画像からあらかじめ統計手法で求めたパラメータ及び計算式を用いて眉、目、口の顔部品の位置座標を求める。顔判定部１０８は、顔部品検出部１０７で求められた眉、目、口の顔部品の位置座標を入力として顔か否かを判定する。

符号量制御部１０９は、画像符号化部１１０からの発生符号量と顔検出部１０５において検出された顔領域を示す座標データに基づいて、顔領域については顔以外の領域より多くの符号量が割り当てられるように符号量を制御する。画像符号化部１１０は、符号量制御部１０９により割当てられた符号量により入力画像データを情報量圧縮し符号化する。ビットストリームバッファ１１１は、画像符号化部１１０から出力される画像符号化データを格納する。

以下、上述のように構成された画像符号化装置１００の動作について説明する。

入力された音声データ、画像データはそれぞれ音声フレームメモリ１０１、画像フレームメモリ１０２に格納される。また、音声データはフレーム単位に有音判定部１０３に入力される。

図２は、有音判定部１０３の構成を示す図である。図２において、有声判定部１０３は、１フレーム分の音声データのパワーを計算するパワー計算部２０１と、パワー値の変化を平滑化する平滑化フィルタ２０２と、あらかじめ決定したしきい値により有音か無音かを判定する判定部２０３とを備えて構成される。有音判定部１０３の出力は有音か無音かのどちらかであり、有音と判定された場合にのみ画像フレームメモリ１０２から顔検出部１０５へ画像データが入力される。つまり、無音と判定された場合は顔検出部１０５以降の処理は行われない。

顔画像検出部１０６では、入力画像とあらかじめ用意された顔画像データのテンプレートとのパターンマッチングが行われ、テンプレートと相関の高い領域を顔領域として検出する。顔部品検出部１０７では、顔画像検出部１０６の出力結果を入力とし、あらかじめ統計手法により求められたパラメータ及び計算式に基づき、眉、目、口といった顔部品の位置座標を算出する。顔判定部１０８では、顔部品検出部１０７で算出した顔部品の位置座標の値から顔判定を行う。顔判定を行う方法として例えばExample-based顔検出法がある。これは多くの訓練サンプルを学習することにより、未学習のデータに対して誤り無く顔を識別できる識別器を構成し判定する方法であり、この識別器を構成する方法に例えばサポートベクタマシンという統計手法がある。このサポートベクタマシンを用いて構成された顔判定部１０８に顔部品の位置座標を入力することで顔画像検出部１０６で求めた領域が顔か否かを判定する。

図３は、画像符号化部１１０の構成を示す図である。本構成図は画像符号化の国際標準規格であるＭＰＥＧ−４の構成を示したものであるため、概略説明のみとする。入力画像又は入力画像と予測参照画像との差分は離散コサイン変換（ＤＣＴ）され、符号量制御部１０９で決定される量子化パラメータによって量子化され、可変長符号化により更に情報量圧縮され、符号化データはビットストリームとしてビットストリームバッファ１１１へ出力される。また、このときの発生符号量は符号量制御部１０９へフィードバックされる。符号量制御部１０９には、顔検出部１０５の出力である顔の位置座標と画像符号化部１１０の出力である発生符号量が入力される。現在の発生符号量に基づいて次フレームの目標発生符号量及び量子化パラメータを決定するが、その際に顔を含む領域の量子化係数を小さく（量子化精度を細かく）し、顔以外の領域の量子化係数を大きく（量子化精度を粗く）するように制御を行う。

以上のように、実施の形態１によれば、音声が有音のときのみ顔検出及び顔領域への符号量制御を行うので、入力音声が有音のときのみ顔検出による顔領域への符号量制御を動作させることができる。例えば、テレビ電話時に送信側の人が話しをしているときのみ顔検出及び画像符号化が行われかつ、顔の領域に多くのビットを割り当てることができ、携帯テレビ電話の消費電力を削減しかつ、コミュニケーションに重要な顔の情報を豊富に伝えることができる。

かかる優れた特長を有する本発明を、テレビ会議システムにおける画像装置、据置き型の有線テレビ電話装置、移動体通信システムにおける携帯テレビ電話装置等に適用して好適である。

なお、実施の形態１では、音声が有音であるとき、つまり送信側の人が話しをしているとき以外はスイッチ１０４の制御により画像符号化を停止させる例を示しているが、画像符号化を停止する制御に代えて、画像符号化動作の頻度を下げる制御を行うことでも消費電力を削減することができる。

（実施の形態２）
図４は、本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。図１と同一構成部分には同一符号を付して重複箇所の説明を省略する。

図４において、画像符号化装置４００は、さらに口動作判定部１１２を備えて構成される。また、顔検出部１０５による顔領域検出出力は、口動作判定部１１２に入力され、口動作判定部１１２による口動作判定結果は符号量制御部１０９に入力される。

口動作判定部１１２は、顔部品検出部１０７で求めた口の位置座標を基に前フレームの口画像データと現在のフレームの口画像データとの差分から口が動いているか否かを判定する。

以下、上述のように構成された画像符号化装置４００の動作について説明する。

入力された音声データ、画像データはそれぞれ音声フレームメモリ１０１、画像フレームメモリ１０２に格納される。また、音声データはフレーム単位に有音判定部１０３に入力される。

また、顔画像検出部１０６で求めた顔画像データ、顔部品検出部１０７で求めた口の位置座標及び顔判定部１０８の出力は口動作判定部１１２に入力される。

図５は、口動作判定部１１２の構成を示す図である。

図５において、口動作判定部１１２は、口画像検出部５０１、口画像バッファ５０２、差分器５０３、及び判定部５０４から構成される。

口画像検出部５０１には、顔検出部１０５内の顔判定部１０８で判定された顔判定結果、口の位置座標及び顔画像が入力される。口画像検出部５０１は、顔検出部１０５内の顔判定部１０８の出力結果が「顔である」と判定されたとき、顔画像から口画像データを切り出し、口画像バッファ５０２に格納する。口画像データは差分器５０３にも入力され、差分器５０３は、現在の口画像データと口画像バッファ５０２から前フレームの口画像データとの差分値をとり、判定部５０４に出力する。判定部５０４は、差分値の総和から口が動いているか否かを判定し、この口動作判定結果を符号量制御部１０９に出力する。

符号量制御部１０９は、画像符号化部１１０からの発生符号量と符号量制御部１０９において判定された口動作判定結果に基づいて、口が動作しているときには顔の領域については顔以外の領域より多くの符号量が割り当てられるように符号量を制御する。画像符号化部１１０は、符号量制御部１０９により割当てられた符号量により入力画像データを情報量圧縮し符号化する。

以上のように、実施の形態２によれば、音声が有音と判定されたときに、顔検出の過程で口画像を検出し、前フレームの口画像データとの差分から口が動作しているか否かを判定し、単なる音なのか人が話しているのかを判断し、人が話しているときのみ顔領域への符号量制御を行う。これにより、入力音声が有音でかつ、入力音声が人の会話である場合に顔検出による顔領域への符号量制御を動作させることができ、実施の形態１の効果をより高めることができる。すなわち、テレビ電話などにおいて、送信側の人が実際に話しをしているときに顔の領域に多くのビットを割り当てることができ、携帯テレビ電話の消費電力を削減しかつ、コミュニケーションに重要な顔の情報を豊富に伝えることができる。

（実施の形態３）
図６は、本発明の実施の形態３に係る画像符号化装置を適用した携帯通信端末装置の構成を示す図である。

図６において、携帯通信端末装置６００は、マイク６０１、音声符号化部６０２、カメラ６０３、実施の形態１に記載の画像符号化部６０４、音声／画像多重化部６０５、伝送路符号化部６０６、変調／送信部６０７、受信／復調部６０８、伝送路符号復号化部６０９、音声／画像分離部６１０、音声復号化部６１１、レシーバ／スピーカ６１２、画像復号化部６１３、フォーマット変換部６１４、及び液晶モニタ６１５を備えて構成される。

マイク６０１は、音声データを入力し、音声符号化部６０２は、音声入力したマイク６０１からの音声データを符号化する。カメラ６０３は、画像を入力する。画像符号化部６０４は、有音と判定された場合のみ顔検出及び画像符号化を行い、顔領域へのビット割り当てを多くするよう動作する。画像符号化部６０４は、実施の形態１に記載の画像符号化装置１００又は実施の形態２に記載の画像符号化装置４００に対応するものである。音声／画像多重化部６０５は、音声符号化データ、画像符号化データをパケット化して多重化する。伝送路符号化部６０６は、多重化した音声／画像データに対して誤り訂正などの伝送路符号化を行う。変調／送信部６０７は、伝送路符号化データをディジタル変調し高周波無線信号として送信する。受信／復調部６０８は、高周波無線信号を受信し、ディジタル復調する。伝送路符号復号化部６０９は、伝送路符号化されたデータを復号する。音声／画像分離部６１０は、音声符号化データ、画像符号化データを分離する。音声復号化部６１１は、音声データを復号化し、レシーバ／スピーカ６１２は、音声データを出力する。画像復号化部６１３は、画像データを復号化し、フォーマット変換部６１４は、画像復号化部６１３から出力される色差信号をＲＧＢ信号に変換する。液晶モニタ６１５は、出力画像を表示する。

以下、上述のように構成された携帯通信端末装置６００の動作について説明する。

マイク６０１より入力される音声データは音声符号化部６０２で符号化される。またカメラ６０３より入力される画像データ及びマイクからの音声データは画像符号化部６０４へ入力される。画像符号化部６０４では、実施の形態１，２で説明したように、有音と判定された場合のみ顔検出及び画像符号化を行い、顔領域へのビット割り当てを多くするよう動作する。音声符号化データ、画像符号化データは、それぞれパケット化され音声／画像多重化部６０５で多重化される。伝送路符号化部６０６では、誤り訂正符号化などの伝送路符号化処理が行われ、変調／送信部６０７では、ディジタル変調が行われ、高周波無線信号として通信路に送出される。

一方、受信／復調部６０８では、受信した高周波無線信号を復調する。伝送路符号復号化部６０９では、誤り訂正復号化などの伝送路符号復号化が行われ、音声／画像分離部６１０により音声符号化データと画像符号化データに分離される。音声復号化部６１１では、音声符号化データの復号化処理が行われ、レシーバ／スピーカ６１２から音声が出力される。画像復号化部６１３では、画像符号化データの復号化処理が行われ、フォーマット変換部６１４において画像復号化部の出力である色差信号をＲＧＢ信号に変換し、液晶モニタ６１５に出力する。

このように、携帯通信端末装置６００の画像符号化部６０４に実施の形態１，２で詳述した画像符号化装置１００，４００を用いることで、送信側が話しているときのみ顔検出及び画像符号化が行われ、テレビ電話時の消費電力を削減しかつ、コミュニケーションに重要な顔の情報を豊富に送信する携帯通信端末装置を実現することができる。

以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。

また、画像符号化装置及び方法を有する電子機器であればどのような装置にも適用できる。例えば、テレビ電話装置及びテレビ会議システムは勿論のこと、デジタルビデオカメラ、さらにはカメラ付き携帯電話機、ＰＤＡ（Personal Digital Assistants）等の携帯情報端末、パソコン等の情報処理装置にも適用可能である。また、復号化対象となる符号化データは、どのようなデータであってもよい。

さらに、本発明は例えば携帯端末として組み込むことが可能であり、画像符号化装置及び方法を具備した移動体通信システムとして実現することも可能である。

また、上記各実施の形態では、画像符号化装置及び方法という名称を用いたが、これは説明の便宜上であり、画像表示装置、画像圧縮方法、画像処理方法等でもよいことは勿論である。

また、上記画像符号化装置を構成する各回路部の種類、数及び接続方法などは前述した実施の形態に限られない。

また、以上説明した画像符号化装置及び方法は、これら画像合成装置及び方法を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。

本発明に係る画像符号化装置及び方法は、送信側が話しているときのみ顔検出及び画像符号化が行われるため、テレビ電話時の消費電力を削減しかつ、コミュニケーションに重要な顔の情報を豊富に送信できるので、携帯テレビ電話に実装される画像符号化装置及び方法として有用である。

本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図 上記実施の形態１に係る画像符号化装置の有音判定部の構成を示す図 上記実施の形態１に係る画像符号化装置の画像符号化部の構成を示す図 本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図 上記実施の形態２に係る画像符号化装置の口動作判定部の構成を示す図 本発明の実施の形態３に係る携帯通信端末の構成を示すブロック図 従来の画像符号化装置の構成を示す図

符号の説明

１００，４００ 画像符号化装置
１０１ 音声フレームメモリ
１０２ 画像フレームメモリ
１０３ 有音判定部
１０４ スイッチ
１０５ 顔検出部
１０６ 顔画像検出部
１０７ 顔部品検出部
１０８ 顔判定部
１０９ 符号量制御部
１１０ 画像符号化部
１１１ ビットストリームバッファ
１１２ 口動作判定部

Claims (7)

1. 入力された音声が有音か無音かを判定する有音判定手段と、
   入力された音声が有音のときに、入力された画像から顔の領域を検出する顔検出手段と、
   検出された前記顔の領域については該顔以外の領域より多くの符号量を割当てる符号量制御手段と、
   前記符号量制御手段により割当てられた符号量により入力画像を符号化する符号化手段と
   を備える画像符号化装置。
2. 前記顔検出手段は、口の動きを検出する口動作検出手段を備え、
   前記符号量制御手段は、口の動きが検出されたときに、検出された前記顔の領域については該顔以外の領域より多くの符号量を割当てる符号量制御を行う請求項１記載の画像符号化装置。
3. 前記顔検出手段は、入力画像とあらかじめ用意された顔画像のテンプレートデータとのマッチングをとり、該テンプレートと所定以上の相関がある領域を顔領域として検出する顔画像検出手段と、
   前記顔画像検出手段により検出した顔画像を基にあらかじめ統計手法で求めたパラメータ及び計算式を用いて眉、目、又は口の顔部品の位置座標を算出する顔部品検出手段と、
   算出された前記顔部品の位置座標を基に前記顔画像検出手段により検出した領域が顔であるか否かを判定する顔判定手段とを備える請求項１又は請求項２に記載の画像符号化装置。
4. 前記口動作検出手段は、前記顔部品検出手段により求めた口の位置座標を基に前フレームの口画像データと現フレームの口画像データとの比較により口が動いていることを検出する請求項３記載の画像符号化装置。
5. 入力された音声が有音か無音かを判定するステップと、
   入力された音声が有音のときに、入力された画像から顔の領域を検出する顔検出ステップと、
   検出された前記顔の領域については該顔以外の領域より多くの符号量を割当てる符号量割当ステップと、
   割当てられた符号量により入力画像を符号化するステップと
   を有する画像符号化方法。
6. 前記顔検出ステップでは、口の動きを検出し、口の動きが検出されたときに、前記符号量割当ステップを実行する請求項５記載の画像符号化方法。
7. 請求項５又は請求項６に記載のステップをコンピュータに実行させるためのプログラム。

Images