JP2006304060A - 画像通信装置、画像通信システム、及び画像通信方法 - Google Patents

Abstract

【課題】 装置全体としてのハードウェア規模及び演算処理量を低減し、かつ装置間で通信すべきデータ量を削減して、プライバシーコンシャスな画像通信を実現可能な画像通信装置、画像通信システム、及び画像通信方法を提供する。
【解決手段】 ＪＰＥＧ２０００規格に準拠した符号化器１７と、符号化器でコンポーネント変換された撮像画像から人物画像を分離する背景差分器２１と、符号化器でウェーブレット変換された人物画像に基づいて、撮像画像における人物領域とその画像を表示する際の透明度とを判定する人物領域判定器２２とを備え、人物領域判定器での判定結果に基づいて人物領域だけの画像信号をリアルタイムに符号化伝送するようにして、認識処理にて行っていた冗長な処理及びそれを実現するためのハードウェアを削減し、かつ通信データの総量を低減できるようにする。
【選択図】 図１

Description

本発明は、画像通信装置、画像通信システム、及び画像通信方法に関し、詳しくは送信側での被写体と撮像カメラとの距離などに応じて、受信側における画像表示器に被写体が写ったり消えたり半透明に表示されたりするプライバシーコンシャスな画像通信技術に関する。

従来の画像通信システムは、例えばＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）といった公知の画像圧縮方式のように、カメラで撮像して得られた映像をできるだけそのまま伝送することを目的として設計されている。例えば、特許文献１には、データ通信時にバーストエラーが発生しても何らかの画像が表示されるような、ＪＰＥＧ２０００又はＭｏｔｉｏｎ ＪＰＥＧ２０００といった国際標準符号化方式に基づく画像通信技術について開示されている。

上述した従来の画像通信システムに対して、近年、被写体とカメラとの距離に応じて、相手側に被写体が写ったり、消えたり、半透明となる、すなわち被写体を表示したり非表示したり半透明に表示したりする画像通信システムが提案され、被写体のプライバシーや対話の意思を、受信側での表示映像に反映できるプライバシーコンシャスな画像通信システムが注目されている（例えば、非特許文献１参照。）。

特開２００４−１６６０９６号公報 タンスリヤボン スリヨン，千葉正広，花木真一，共著、"状況映像における顔認識を用いた選択的人物隠蔽"，映像メディア学会誌，Ｖｏｌ．５６，Ｎｏ．１２，ｐｐ．１９８０−１９８８，２００２．

ここで、プライバシーコンシャスな画像通信システムにおける画像通信装置（送信側機能）は、大きく分けて符号化器と認識器とから構成されている。符号化器は、撮像して得られたディジタル映像信号をデータ圧縮する処理を行うものであり、例えば、現行のＴＶ電話や会議システム等の構成要素である。また、認識器は、カメラからの距離や視線方向といった被写体の様子を認識する処理を行うものであり、例えば、状況認識や個人認証等を行うシステムの構成要素となっている。

従来の画像通信装置では、これら符号化器と認識器との２つの機能回路を独立して別々に構成した上でそれらを併用しているため、一般に回路規模（ハードウェア規模）や消費電力が大きくなってしまう。更に、符号化器と認識器を別々に構成するため、各々の処理を実現するためのＬＳＩ等の集積回路や通信装置そのものの開発期間及びコストもやはり膨大となる。

加えて、符号化結果と認識結果とを別々に送信した場合、通信データの総量が増大し、通信に要する時間が長くなるか、或いは通信に要する帯域が広くなる。その結果、通信コストが高額になったり、通信回線の混雑に対して脆弱となったりしてしまう。

本発明は、装置全体としてのハードウェア規模及び演算処理量を低減し、かつ装置間で通信すべきデータ量を削減して、プライバシーコンシャスな画像通信を実現可能な画像通信装置、画像通信システム、及び画像通信方法を提供することを目的とする。

本発明の画像通信装置は、ＪＰＥＧ２０００規格に準拠した符号化方式に従って画像信号を符号化するための符号化手段と、上記符号化手段にてコンポーネント変換された撮像画像から人物画像を分離する画像分離手段と、上記画像分離手段により分離され、上記符号化手段にてウェーブレット変換された人物画像に基づいて、上記撮像画像における人物領域とその画像を表示する際の透明度とを判定する人物領域判定手段とを備え、上記符号化手段は、上記人物領域判定手段での判定結果に基づいて、上記人物領域だけの画像信号を符号化することを特徴とする。
本発明の画像通信装置は、ＪＰＥＧ２０００規格に準拠して符号化伝送された画像信号を受信して復号するための復号化手段と、背景画像を予め蓄積し、当該背景画像と上記復号化手段により復号された画像とを加算処理により合成し再生画像を生成する背景画像蓄積加算手段とを備え、上記復号化手段により復号される画像が上記背景画像とは異なる人物画像であることを特徴とする。
本発明の画像通信システムは、ＪＰＥＧ２０００規格に準拠した符号化方式に従って画像信号を符号化するための符号化手段と、上記符号化手段にてコンポーネント変換された撮像画像から人物画像を分離する画像分離手段と、上記画像分離手段により分離され、上記符号化手段にてウェーブレット変換された人物画像に基づいて、上記撮像画像における人物領域とその画像を表示する際の透明度とを判定する人物領域判定手段と、上記人物領域判定手段での判定結果に従って上記符号化手段により符号化し伝送された上記人物領域だけの画像信号を受信して復号するための復号化手段と、上記復号化手段により復号された人物領域の画像と、予め蓄積している背景画像とを加算処理により合成し再生画像を生成する背景画像蓄積加算手段とを備えることを特徴とする。
本発明の画像通信方法は、ＪＰＥＧ２０００規格に準拠した符号化方式に従って画像信号を符号化するための符号化工程と、上記符号化工程でコンポーネント変換された撮像画像から人物画像を分離する画像分離工程と、上記画像分離工程にて分離されて上記符号化工程でウェーブレット変換された人物画像に基づいて、上記撮像画像における人物領域とその画像を表示する際の透明度とを判定する人物領域判定工程とを有し、上記人物領域判定工程での判定結果に基づいて、上記符号化工程では上記人物領域だけの画像信号を符号化することを特徴とする。

本発明によれば、ＪＰＥＧ２０００規格に準拠した符号化処理に含まれる処理の一部を、被写体の様子を認識するための認識処理に活用することで、従来、認識処理にて実行されていた冗長な処理及びそれを実現するためのハードウェアを削減することができ、装置全体としてのハードウェア規模及び演算処理量を低減することができる。また、撮像画像における人物領域を判定して人物領域の画像信号だけを符号化することで、背景画像の画像信号を伝送せずにそれに対応するデータ量を削減でき、装置間で通信すべきデータ量を低減することができる。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態による画像通信装置１、２の構成例を示すブロック図である。

画像通信装置１は、送信側装置としての機能を有する画像通信装置であり、カメラ等を用いて撮影されたディジタル画像信号（撮像画像）が入力され、それをＪＰＥＧ２０００国際標準規格に準拠した符号化方式で符号化して圧縮データとして送信又は蓄積する。画像通信装置１は、ＪＰＥＧ２０００規格に準拠して画像信号を符号化する符号化器１７に加え、認識器２３を有する。

また、画像通信装置２は、受信側装置としての機能を有する画像通信装置であり、画像通信装置１より伝送された圧縮データを受信し、それを復号してディジタル画像信号として再生し図示しない画像表示装置に投影する（表示する）。画像通信装置２は、ＪＰＥＧ２０００規格に準拠して圧縮データ（符号化されたデータ）を復号する復号器１８に加え、背景画像の蓄積加算器２４を有する。

画像通信装置１、２、詳細にはそれらが有する符号化器１７、認識器２３、復号器１８、及び背景画像の蓄積加算器２４について詳細に説明する。
図１に示すように、符号化器１７は、コンポーネント変換部１１、ウェーブレット変換部１２、量子化部１３、ビットモデリング部１４、算術符号化部１５、及び多重化部１６により構成される。また、認識器２３は、背景差分器２１及び人物領域判定器２２を有し構成される。

ここで、符号化器１７を構成する各機能部１１〜１６の作用は、ＩＳＯ（International Organization for Standardization）が定める国際標準のひとつであるＪＰＥＧ２０００により規定されており、例えば、文献「JPEG 2000-Image compression fundamentals, standards and practice」、D.S.Taubman，M.W.Marcellin共著，Kluwer Academic Publishers，2002出版に記載されている。

コンポーネント変換部１１は、入力される撮像画像（画像信号）にコンポーネント変換を施す。具体的には、コンポーネント変換部１１は、撮像画像をタイル毎にコンポーネント変換し、赤緑青の３成分であるＲＧＢ信号から、輝度成分と２つの色差成分であるＹＵＶ信号に変換する。ここで、タイルとは、画像全体を分割することで得られる互いに隣接するＮ×Ｎ画素（Ｎは任意の自然数）の矩形領域であり、例えばこのタイルを符号化単位として符号化器１７にて画像信号が符号化される。コンポーネント変換部１１は、コンポーネント変換した撮像信号を背景差分器２１に供給する。

背景差分器２１は、コンポーネント変換された撮像画像から人物画像を得るためのものであり、図２に示すように差分器３２と蓄積器３３を有する。

蓄積器３３には、予め被写体（人物）が居ない状況で撮影された背景画像Ｐ２が蓄積されている。差分器３２は、被写体と背景が共に写っている撮像画像Ｐ１の画素値から、蓄積器３３に蓄積されている背景画像Ｐ２の画素値を、全画素について対応する画素毎に引き算し、撮像画像Ｐ１から背景画像成分が除去された人物画像Ｐ３を生成する。つまり、背景画像成分を除去することで撮像画像Ｐ１から人物画像Ｐ３を分離する。生成された人物画像Ｐ３は、ウェーブレット変換部１２に供給される。

ここで、撮像画像Ｐ１はリアルタイムに撮像され、コンポーネント変換部１１を経て背景差分器２１に随時供給されている。したがって、リアルタイムに撮像される撮影画像Ｐ１に基づく人物画像Ｐ３も随時生成される。

背景差分器２１の蓄積器３３にストアされている背景画像Ｐ２は、ＪＰＥＧ２０００規格に準拠した符号化器１７におけるウェーブレット変換部１２、量子化部１３、ビットモデリング部１４、算術符号化部１５、及び多重化部１６で適宜処理を施すことにより符号化され、圧縮データとして符号化器１７（画像通信装置１）から送信される。

一方、受信側の画像通信装置２は、ＪＰＥＧ２０００規格に準拠して符号化され伝送された背景画像に係る圧縮データを受信し、それをＪＰＥＧ２０００規格に準拠した復号器１８により再生（復号）する。そして、復号器１８により再生された背景画像は、背景画像の蓄積加算器２４に蓄積される。

このようにして、送信側及び受信側の画像通信装置１、２において、同じ背景画像Ｐ２がそれぞれ蓄積される。なお、背景画像Ｐ２は、蓄積したものを継続して使用するようにしても良いが、被写体（人物）がいないときに撮影を行い、蓄積しておく背景画像を適宜更新するようにしても良い。背景画像を適宜更新するようにした場合には、日照や照明の変化に応じた、より画質の良好な画像通信が可能になる。

また、図２を参照して説明したようにして、背景差分器２１にてリアルタイムに生成される人物画像Ｐ３は、ＪＰＥＧ２０００規格に準拠した符号化器１７におけるウェーブレット変換部１２、量子化部１３、ビットモデリング部１４、算術符号化部１５、及び多重化部１６で適宜処理を施すことにより符号化され、圧縮データとして符号化器１７（画像通信装置１）から送信される。なお、符号化器１７による人物画像Ｐ３の符号化処理は、後述する人物領域判定器２２からフィードバックされる判定結果に基づいて行われる。

一方、受信側の画像通信装置２は、ＪＰＥＧ２０００規格に準拠して符号化され伝送された人物画像に係る圧縮データを受信し、それを復号器１８により再生（復号）する。そして、背景画像の蓄積加算器２４により、予め蓄積されている背景画像と、復号器１８で再生された人物画像とを加算して再生画像を生成する。生成された再生画像は、図示しない画像表示装置に供給され投影（再生表示）される。

上述したように、背景画像Ｐ２については予め画像通信装置１、２の双方に蓄積しておき、画像通信装置１、２との間での通常の画像通信においては、背景差分器２１で生成される人物画像Ｐ３のみをリアルタイムに符号化伝送する。これにより、画像通信装置１、２との間で伝送される画像通信に係る通信データの総量が低減される。

なお、符号化器１７におけるウェーブレット変換部１２は、背景差分器２１より供給される画像信号にウェーブレット変換を施し、量子化部１３は、ウェーブレット変換して得られたウェーブレット変換係数を量子化処理する。また、ビットモデリング部１４及び算術符号化部１５は、ビットプレーン単位で符号化を行い、エントロピー符号化を行う。多重化部１６は、エントロピー符号化されたデータを多重化して送信する。

次に、認識器２３の人物領域判定器２２にて行われる判定処理について説明する。
人物領域判定器２２は、背景差分器２１にて生成された人物画像Ｐ３、及びそれに対してウェーブレット変換して得られた画像に基づいて、人物画像Ｐ３の人物領域を自動的に判別し、カメラ等の撮像装置と被写体（人物）との距離を推定するものである。

背景差分器２１にて生成された人物画像Ｐ３は、ウェーブレット変換部１２にて、図３に示すようにＪＰＥＧ２０００規格に準拠したウェーブレット変換が複数回適用されることで、複数種類の低周波数画像（図３においては、画像ＬＬ１、ＬＬ２）が生成される。ここで図３は、ウェーブレット変換による人物画像Ｐ３についての多重解像度表現を示す図である。

例えば、人物画像Ｐ３に対して、ウェーブレット変換部１２によりウェーブレット変換を施すことで、低周波数画像ＬＬ１と高周波数画像ＨＬ１、ＬＨ１、及びＨＨ１が生成される。さらに、低周波数画像ＬＬ１に対してウェーブレット変換を施すことで、低周波数画像ＬＬ２と高周波数画像ＨＬ２、ＬＨ２、及びＨＨ２が生成される。
そして、このようにウェーブレット変換して得られた低周波数画像ＬＬ１、ＬＬ２、…と元の人物画像Ｐ３とが、人物領域判定器２２に供給される。

人物領域判定器２２では、図４に示すように、ウェーブレット変換部１２から供給される複数種類の低周波数画像（本実施形態では画像ＬＬ１、ＬＬ２）及び人物画像Ｐ３が二値化処理部５１でそれぞれ二値化される。

例えば、本実施形態においては、ウェーブレット変換部１２から供給される画像について、０から２５５までの多値で表現されている画素値をある閾値と比較する。その結果、画素値が閾値よりも大きければ、その画素の画素値を１（図４では白）、そうでなければ画素値を０（図４では黒）のように二値化する。ここで、閾値については、例えば最小自乗法に基づく自動閾値選定法が利用可能である。この方法は、二値化の結果として得られる画像と二値化する前の多値画像との二乗誤差が最小となる場合の閾値を得るものであり、下記式に従って最適な閾値を得ることができる。

ここで、ｋは暫定的な閾値、ｋ^*は最終的に得られる最適な閾値である。また、ｐ_iは画素値がｉとなる画素の数を全画素数で割った値、すなわち画素値ｉの出現確率である。

二値化処理部５１により二値化された低周波数画像は、拡大処理部５２で原画像サイズ、すなわち人物画像Ｐ３と同じサイズにそれぞれ拡大される。
例えば、二値化された画素のサイズを縦横ともに２倍にする場合には、同じ画素値を縦横斜め方向にコピー（複写）する。すなわち、拡大前の画像をｘ（ｎ１，ｎ２）（ｎ１＝０，１，…，Ｎ１、及びｎ２＝０，１，…，Ｎ２）とし、その画像を縦横ともに２倍に拡大することで、

が拡大後の画像として得られる。

以上のようにして、人物画像Ｐ３及び低周波数画像ＬＬ１、ＬＬ２に二値化処理及び拡大処理を適宜施した後、これらすべての画像を用いて対応する画素毎に論理和演算を論理和演算部５３で行うことにより人物領域が生成される。さらに、判定部５４で人物領域を含むタイルが人物領域タイルとして判定される。

このようにして、人物領域であるか否かの判定がタイル毎になされ、判定結果（人物領域であるか否かの情報）が個々のタイルに対応したタイル情報として、量子化部１３及び多重化部１６へ送られる。

上述した人物領域判定器２３での二値化処理については、例えば大津展之，栗田多喜夫，関田巌，“パターン認識理論と応用”，朝倉書店，pp.65〜97，1996.に記載の方法が適用できる。なお、論理和とは二値信号のＯＲを意味する。

ここで、人物画像Ｐ３そのものを二値化すると、解像度が高いために人物領域の判定においては、輪郭部分が比較的正確であっても、内部が不正確となる場合がある。言い換えれば、本来は人物領域であっても、背景領域であると誤認識されてしまう場合がある。一方、低周波数画像ＬＬ１、ＬＬ２を二値化すると、解像度が低いために人物領域の判定においては、内部が比較的正確であっても、輪郭部分が不正確となる場合がある。そこで、本実施形態では、人物画像Ｐ３及び低周波数画像ＬＬ１、ＬＬ２を二値化し、さらに二値化された低周波数画像ＬＬ１、ＬＬ２を適宜原寸大まで拡大してから、これらの画像の対応する画素について論理和をとることで、被写体の映像（人物画像）がすべて包含されるような人物領域を指定することができる。

また、人物領域判定器２２（より詳細には判定部５４）では、人物領域と判定したタイルの数（以下、説明の便宜上「人物領域の面積」と称す。）に基づいて、人物の透明度、すなわち人物領域の画像を表示する際の透明度が決定される。

具体的には、人物領域判定器２２は、例えば、図５に示すように人物領域の面積が大きければ被写体がカメラに近いと判断し、人物領域の面積が小さければ遠いと判断する。このような判断により推定されるカメラに遠い又は近いといった被写体の状況情報は、図５に示すように被写体像を表示する際の透明度を決定するファクターとして活用される。そのため、被写体とカメラとの状況情報（距離情報）は、個々のタイルに対応するタイル情報として、量子化部１３及び多重化部１６にフィードバックされる。なお、図５においては、人物領域の面積をタイル数ではなく画素数で示しているが、タイルの大きさ、すなわち１タイル内に存在する画素数は予め定めておくので、タイル数と画素数とは比例している。

そして、人物領域判定器２２での判定結果によりタイル情報として記述された透明度に応じて、個々のタイルのビットプレーンの一部のみが、ＪＰＥＧ２０００規格に準拠した量子化部１３、ビットモデリング部１４、算術符号化部１５、及び多重化部１６により符号化処理され、圧縮データとして符号化器１７（画像通信装置１）から送信される。

例えば、図５に示したように、
（１）人物領域の面積が１５０００画素より大きい場合には、人物がカメラに近いと判断し、透明度は２の０乗と指定される。そして、人物領域内のこのタイルについては、全ビットプレーンが符号化され、送信される。
（２）また、人物領域の面積が１００００画素より大きく、かつ１５０００画素以下の場合には、人物がカメラにやや近いと判断し、透明度は２の（−１）乗と指定される。このタイルについては、最下位ビットであるＬＳＢ以外のビットプレーンが符号化される。
（３）また、人物領域の面積が６０００画素より大きく、かつ１００００画素以下の場合には、人物とカメラとの距離が中間であると判断し、透明度は２の（−２）乗と指定される。このタイルについては、ＬＳＢ側の２プレーン以外のビットプレーンが符号化される。
（４）また、人物領域の面積が３０００画素より大きく、かつ６０００画素以下の場合には、人物がカメラからやや遠いと判断し、透明度は２の（−３）乗と指定される。このタイルについては、ＬＳＢ側の３プレーン以外のビットプレーンが符号化される。
（５）なお、人物領域の面積が３０００画素以下の場合は、人物がカメラから遠いと判断し、透明度は２の（−∞）乗、すなわちゼロと指定される。このタイルについては、どのビットプレーンも符号化されない。

上述のように送信側の画像通信装置１は、人物領域と判定したタイル数に基づいて決定された人物の透明度が２の（−ｐ）乗の場合には、（８−ｐ）個のビットプレーンを符号化し伝送する。一方、それを受信する受信側の画像通信装置２は、人物領域の画像について、｛（人物領域の画素値）×（透明度）＋（背景画像の画素値）×（１−透明度）｝として再生画像を生成する。

なお、上述した説明に用いた画素数の閾値１５０００、１００００、６０００、３０００は、一例に過ぎず、これら閾値はカメラの解像度やアプリケーションのユーザによって適宜調整すれば良い。

なお、上述のようにして人物領域判定器２２での判定結果に応じてタイル情報として記述される透明度は、図６に示すＪＰＥＧ２０００規格に準拠したビットストリームにおいて個々のタイルに対応するタイルパートヘッダのコメント拡張マーカに記述して送信するようにしても良い。

以上、説明したように本実施形態によれば、下記に示すような効果を得ることができる。

従来においてプライバシーコンシャスな画像通信を実現しようとする場合には、符号化器と認識器とを別々に構成することで、ハードウェア規模が大きくなるとともに、およそ倍の処理を要していた。
それに対して、本実施形態では、ＪＰＥＧ２０００規格に準拠した符号化器１７の内部処理を認識器２３にて実行する認識処理にも適用することで、ＪＰＥＧ２０００規格に準拠した符号化処理の処理量に加え、僅かに処理量を増加させるだけでプライバシーコンシャスな画像通信を実現することができる。したがって、プライバシーコンシャスな画像通信に係る処理を実現するためのＬＳＩの省電力化が可能になる。

また、背景画像を画像通信装置１、２の双方に予め蓄積しておき、装置間で人物領域のみの画像データのみをリアルタイム符号化伝送するので、プライバシーコンシャスな画像通信において送受信されるデータ量が低減することができる。したがって、通信回線を経済的に利用したり、通信コストを低減したりすることが可能になる。
また、ＪＰＥＧ２０００規格に準拠した処理を実行するために開発された汎用的なＬＳＩのハードウェアコアを活用できるため、ハードウェア設計の開発期間を短縮することができる。

具体的には、ＪＰＥＧ２０００規格に準拠した符号化器１７を用い、当該符号化器１７での符号化処理における要素技術を、例えば人物領域の判別やその領域内の画像データの圧縮に活用して、背景領域以外の人物領域のみの画像信号をリアルタイムに符号化伝送するため、装置間で通信すべき通信データの総量を削減することができる。また、符号化器１７にてウェーブレット変換された画像を用いて認識器２３で人物領域の判定等を行う、つまり符号化器１７にて実行されるウェーブレット変換を認識処理のツールとして活用するようにしたので、従来の認識処理において実行していた冗長な処理及びそれを実現するハードウェアを削減でき、消費電力を低減することができる。

従来の認識器では、符号化器とは独立した別の処理として、色変換処理及び直交変換処理を行って特徴量を抽出し、これを基に人物領域を指定していた。それに対して本実施形態では、従来の認識器における色変換処理及び直交変換処理を、符号化器にて実行されるコンポーネント変換処理及びウェーブレット変換処理で代用する。これにより、従来のように符号化器と認識器とを別々に構成して併用する場合に比べて、全体の演算量を削減でき、電力消費量の低減や回路の小型化を図ることができる。
例えば、従来においては認識器と符号化器とを別々に構成することでおよそ２倍の処理を要したのに対し、本実施形態ではＪＰＥＧ２０００符号化器の内部処理を認識処理にも活用することで図７に示すように１．３４倍程度の処理増で従来と同様の機能を実現することができる。図７は、本実施形態を適用した画像通信システムにおける圧縮処理及び認識処理に係る演算量の一例を示す図であり、圧縮処理量の平均を１．０とした場合に認識処理量の平均が０．３４であることを示している。

また、ＪＰＥＧ２０００規格に準拠した符号化器１７や復号器１８を適用することで、ＪＰＥＧ２０００規格に準拠した方式用として開発された汎用ハードウェアコアを活用でき、通信装置の開発費及びコストを削減することができる。

また、人物領域判定器２２が、人物領域に含まれる画素数に基づいて被写体（人物）とカメラとの距離を推定するようにしたので、比較的単純な処理でカメラに対する被写体の状況情報を識別でき、小型・低消費電力型のプライバシーコンシャスな画像通信システムを構成することができる。

（本発明の他の実施形態）
なお、以上に説明した本実施形態の画像通信装置は、コンピュータのＣＰＵ又はＭＰＵ、ＲＡＭ、ＲＯＭ等で構成されるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上述した実施形態の機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。

また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、及び当該送信装置を備えるネットワークシステム等がある。

また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理のすべて又は一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。

例えば、本実施形態の画像通信装置は、図８に示すようなコンピュータ機能８００を有し、そのＣＰＵ８０１により上述した実施形態での動作が実施される。

コンピュータ機能８００は、上記図８に示すように、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３と、キーボード（ＫＢ）８０９のキーボードコントローラ（ＫＢＣ）８０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）８１０のＣＲＴコントローラ（ＣＲＴＣ）８０６と、ハードディスク（ＨＤ）８１１及びフレキシブルディスク（ＦＤ）８１２のディスクコントローラ（ＤＫＣ）８０７と、ネットワークインタフェースカード（ＮＩＣ）８０８とが、システムバス８０４を介して互いに通信可能に接続された構成としている。

ＣＰＵ８０１は、ＲＯＭ８０２又はＨＤ８１１に記憶されたソフトウェア、又はＦＤ８１２より供給されるソフトウェアを実行することで、システムバス８０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ８０１は、上述したような動作を行うための処理プログラムを、ＲＯＭ８０２、ＨＤ８１１、又はＦＤ８１２から読み出して実行することで、上述した実施形態での動作を実現するための制御を行う。

ＲＡＭ８０３は、ＣＰＵ８０１の主メモリ又はワークエリア等として機能する。
ＫＢＣ８０５は、ＫＢ８０９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ８０６は、ＣＲＴ８１０の表示を制御する。
ＤＫＣ８０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び上記処理プログラム等を記憶するＨＤ８１１及びＦＤ８１２とのアクセスを制御する。
ＮＩＣ８０８はネットワーク８１３上の他の装置と双方向にデータをやりとりする。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の一実施形態による画像通信装置の構成例を示すブロック図である。 背景差分器における処理を示す図である。 ウェーブレット変換による多重解像度表現について示す図である。 人物領域判定器における判定処理を示す図である。 被写体とカメラとの距離の推定方法を説明するための図である。 ＪＰＥＧ２０００規格でのビットストリームについて説明するための図である。 本実施形態を適用した画像通信システムにおける圧縮処理及び認識処理に係る演算量の一例を示す図である。 本実施例における画像処理装置を実現可能なコンピュータ機能を示すブロック図である。

符号の説明

１ 画像通信装置（送信側）
２ 画像通信装置（受信側）
１１ コンポーネント変換部
１２ ウェーブレット変換部
１３ 量子化部
１４ ビットモデリング部
１５ 算術符号化部
１６ 多重化部
１７ 符号化器
１８ 復号器
２１ 背景差分器
２２ 人物領域判定器
２３ 認識器
２４ 蓄積加算器

Claims (10)

1. ＪＰＥＧ２０００規格に準拠した符号化方式に従って画像信号を符号化するための符号化手段と、
   上記符号化手段にてコンポーネント変換された撮像画像から人物画像を分離する画像分離手段と、
   上記画像分離手段により分離され、上記符号化手段にてウェーブレット変換された人物画像に基づいて、上記撮像画像における人物領域とその画像を表示する際の透明度とを判定する人物領域判定手段とを備え、
   上記符号化手段は、上記人物領域判定手段での判定結果に基づいて、上記人物領域だけの画像信号を符号化することを特徴とする画像通信装置。
2. 上記人物領域判定手段は、上記画像分離手段により分離された人物画像と、上記符号化手段にてウェーブレット変換を、上記人物画像又は当該ウェーブレット変換により得られる低周波数画像に施して得られた低周波数画像とに基づいて、上記撮像画像における人物領域を判定することを特徴とする請求項１記載の画像通信装置。
3. 上記人物領域判定手段は、上記画像分離手段により分離された人物画像と、当該人物画像に上記符号化手段でのウェーブレット変換を複数回適用することで得られる複数の低周波数画像とを、それぞれ二値化し、さらに上記低周波数画像を上記人物画像と同じサイズにそれぞれ拡大して、上記人物画像と上記拡大した複数の低周波数画像との対応する画素についての論理演算により上記撮像画像における人物領域を判定することを特徴とする請求項１記載の画像通信装置。
4. 上記人物領域判定手段は、符号化単位であるタイル毎に上記人物領域であるか否かを判定することを特徴とする請求項１〜３の何れか１項に記載の画像通信装置。
5. 上記人物領域判定手段は、上記人物領域と判定した領域内に存在する画素数に応じて、当該領域の画像を表示する際の透明度を判定することを特徴とする請求項１〜４の何れか１項に記載の画像通信装置。
6. 上記符号化手段は、上記人物領域判定手段により判定された透明度に応じて、画像を構成する個々のタイルのビットプレーンの一部のみに、ＪＰＥＧ２０００規格に準拠した量子化、ビットモデリング、算術符号化、及び多重化に係る処理を施して符号化し送信することを特徴とする請求項１〜５の何れか１項に記載の画像通信装置。
7. 上記人物領域判定手段により判定された透明度を、ＪＰＥＧ２０００規格に準拠した個々のタイルに対応するタイルパートヘッダのコメント拡張マーカに記述して送信することを特徴とする請求項１〜６の何れか１項に記載の画像通信装置。
8. ＪＰＥＧ２０００規格に準拠して符号化伝送された画像信号を受信して復号するための復号化手段と、
   背景画像を予め蓄積し、当該背景画像と上記復号化手段により復号された画像とを加算処理により合成し再生画像を生成する背景画像蓄積加算手段とを備え、
   上記復号化手段により復号される画像が上記背景画像とは異なる人物画像であることを特徴とする画像通信装置。
9. ＪＰＥＧ２０００規格に準拠した符号化方式に従って画像信号を符号化するための符号化手段と、
   上記符号化手段にてコンポーネント変換された撮像画像から人物画像を分離する画像分離手段と、
   上記画像分離手段により分離され、上記符号化手段にてウェーブレット変換された人物画像に基づいて、上記撮像画像における人物領域とその画像を表示する際の透明度とを判定する人物領域判定手段と、
   上記人物領域判定手段での判定結果に従って上記符号化手段により符号化し伝送された上記人物領域だけの画像信号を受信して復号するための復号化手段と、
   上記復号化手段により復号された人物領域の画像と、予め蓄積している背景画像とを加算処理により合成し再生画像を生成する背景画像蓄積加算手段とを備えることを特徴とする画像通信システム。
10. ＪＰＥＧ２０００規格に準拠した符号化方式に従って画像信号を符号化するための符号化工程と、
    上記符号化工程でコンポーネント変換された撮像画像から人物画像を分離する画像分離工程と、
    上記画像分離工程にて分離されて上記符号化工程でウェーブレット変換された人物画像に基づいて、上記撮像画像における人物領域とその画像を表示する際の透明度とを判定する人物領域判定工程とを有し、
    上記人物領域判定工程での判定結果に基づいて、上記符号化工程では上記人物領域だけの画像信号を符号化することを特徴とする画像通信方法。

Images