JP2002158982A - 画像処理方法、装置及びコンピュータ可読媒体 - Google Patents

Abstract

(57)【要約】 【課題】状況に応じて、適切な処理負荷で画像処理を行
うことが可能な画像処理方法、装置及びコンピュータ可
読媒体を提供すること。 【解決手段】ユーザ状況認識部１１０で、ユーザのアプ
リケーション利用状況を把握し、認識用画像データ取り
出し部１０６に必要な画像データの選択を指示する。ウ
ェイブレット変換処理部１０４ａ〜ｃは、異なる解像度
で表現された複数種類の画像データを中間処理結果から
取り出す。これらの複数種類の画像データから、ユーザ
のアプリケーション利用状況に応じた画像データを選択
し、顔領域認識処理部１０７での処理対象とする。具体
的には、ユーザが双方向アウェアネス機能を利用してい
ると判断した場合、低解像度画像を選択し、会議室機能
を利用していると判断した場合、高解像度画像を選択す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理方法、装
置及びコンピュータ可読媒体に関し、特に、映像を用い
た双方向アウェアネスシステムやテレビ会議システム等
の映像通信システムに利用される画像処理方法及び装置
に関するものである。

【０００２】

【従来の技術】従来から、画像処理装置において画像デ
ータを分析する処理を行う場合、その画像処理装置のプ
ロセッサ等に高い負荷がかかる場合が多く、分析対象と
なる画像データのデータ量が多ければ多いほどその負荷
は大きい。特に、随時画像を取得して処理する映像処理
装置などにおいては、処理負荷が問題となる。

【０００３】例えば、撮像された画像の中で最も重要な
部位である人物の顔領域に符号量を多く割り当て、それ
以外の領域は符号量を大きく削減することで、総符号量
を削減し主観的な画像品質を満足させる画像処理方法が
提案されている。例えば特開平７−２０３４３６等で
は、ＤＣＴ(Discrete Cosine Transform)をベースとし
た画像圧縮装置において、顔領域認識結果を基に複数の
量子化テーブルを選択し、重要部位である顔領域に符号
データを多く割り当てることで、全体として符号量を押
さえながら主観的な画質を向上させる方法が提案されて
いる。

【０００４】また、双方向アウェアネスシステムなどの
コミュニケーション装置では、画像データの分析によっ
て、ユーザの状況（在席・離席、繁忙度などの状況）を
判断し、その結果を他のユーザに通知する機能等が提案
されている。

【０００５】

【発明が解決しようとする課題】上記従来技術では、顔
領域の認識やユーザの状況認識などの、負荷が大きい処
理を画像データに対して行う場合にも、この処理を行う
装置の状況や、これらの処理の必要性を考慮することな
く、同じ画像データに対して処理を加えていた。

【０００６】従って、処理を行う装置の環境（使用する
コンピュータの性能等の条件）や使用状況よっては、こ
のような処理が実用的でない場合もあった。

【０００７】本発明はこのような点に鑑みてなされたも
のであり、状況に応じて、適切な処理負荷で画像処理を
行うことが可能な画像処理方法、装置及びコンピュータ
可読媒体を提供することを目的とするものである。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明に係る装置は、画像の分析を必要とする複数
のアプリケーションを実行可能な画像処理装置であっ
て、分析対象画像を表す画像データを取得する取得手段
と、前記複数のアプリケーションの何れを実行している
かに応じて、前記分析対象画像の解像度を特定する特定
手段と、前記特定手段にて特定された解像度レベルで、
前記画像データを分析する分析手段とを備えることを特
徴とする。

【０００９】前記分析手段は、前記分析対象画像を表す
画像データを、フィルタリング及びサブサンプリングす
ることにより、前記特定された解像度レベルの画像を表
現する画像データを生成し、該画像データを分析するこ
とを特徴とする。

【００１０】前記分析手段は、前記分析対象画像を表す
画像データをウェイブレット変換することにより、前記
特定された解像度レベルの画像を表現する画像データを
生成し、該画像データを分析することを特徴とする。

【００１１】上記目的を達成するため、本発明に係る方
法は、画像の分析を必要とする複数のアプリケーション
を実行するための画像処理方法であって、分析対象画像
を表す画像データを取得する取得工程と、前記複数のア
プリケーションの何れを実行しているかに応じて、前記
分析対象画像の解像度を特定する特定工程と、前記特定
工程にて特定された解像度レベルで、前記画像データを
分析する分析工程と、を有することを特徴とする。

【００１２】上記目的を達成するため、本発明に係る記
憶媒体は、画像の分析を必要とする複数のアプリケーシ
ョンを実行するための画像処理プログラムを格納したコ
ンピュータ可読媒体であって、前記画像処理プログラム
は、分析対象画像を表す画像データを取得する取得工程
のプログラムコードと、前記複数のアプリケーションの
何れを実行しているかに応じて、前記分析対象画像の解
像度を特定する特定工程のプログラムコードと、前記特
定工程にて特定された解像度レベルで、前記画像データ
を分析する分析工程のプログラムコードと、を含むこと
を特徴とする。

【００１３】原画像データから、異なる解像度の画像を
表現可能な画像データを生成する生成工程と、前記生成
工程で生成された画像データから特定の解像度の画像デ
ータを選択する選択工程と、前記選択工程で選択した画
像データを分析する分析工程とを有し、前記選択工程
は、前記分析工程で発生する処理負荷を考慮して、分析
対象となる前記特定の解像度の画像データを選択するこ
とを特徴とする。

【００１４】前記生成工程で生成された画像データを用
いて、前記原画像データを圧縮する圧縮工程を更に含む
ことを特徴とする。

【００１５】前記生成工程は、ウェイブレット変換によ
り、階層構造を有する画像データを生成することを特徴
とする。

【００１６】前記分析工程は、前記原画像データに対応
する画像から、所定の情報を認識する工程であることを
特徴とする。

【００１７】前記所定の情報は、画像中に含まれる特定
のオブジェクトの形状又は状態を表す情報であることを
特徴とする。

【００１８】前記所定の情報は、画像中の人間の顔領域
を表す情報であり、前記生成工程で生成された画像デー
タと前記顔領域を示す情報とから、顔領域にはデータ量
を多く、その他の領域にはデータ量を少なく割り当てて
画像全体を圧縮する圧縮工程をさらに含むことを特徴と
する。

【００１９】前記所定の情報は、画像中の人間の状態を
表す情報であることを特徴とする。

【００２０】前記選択工程は、前記分析工程を行う装置
又は前記分析工程の分析結果を利用する装置に対する、
ユーザの操作状況を判定する判定工程を含み、該判定工
程での判断に従って、前記生成工程で生成された画像デ
ータから、分析対象となる解像度の画像データを選択す
ることを特徴とする。

【００２１】前記判定工程は、前記分析工程の分析結果
を利用する画像処理プログラムの種類を判定することを
特徴とする。

【００２２】前記判定工程は、前記分析工程の分析結果
を利用する画像処理プログラムの実行状況を判定し、前
記選択工程は、画像処理プログラムを実行する装置のユ
ーザが、前記画像処理プログラム以外のプログラムをメ
インに実行している場合には、データ量の少ない画像デ
ータを選択することを特徴とする。

【００２３】前記判定工程は、前記分析工程を行う第１
装置が、前記画像処理プログラムを実行する第２装置か
ら、前記画像処理プログラムの実行状況を受信する受信
工程を含むことを特徴とする。

【００２４】前記判定工程は、前記画像処理プログラム
を実行する装置の物理的インターフェースに対する、ユ
ーザの入力頻度を判定し、前記選択工程は、前記物理的
インターフェースに対する入力頻度が多いと前記判定手
段で判定された場合に、解像度の低い画像データを選択
することを特徴とする。

【００２５】前記選択工程は、前記分析工程を行う装置
の負荷状況を計測する計測工程を含み、該計測工程での
計測結果に従って、前記装置の負荷が大きい場合には、
負荷が小さい場合に比して、解像度の低い画像データを
選択することを特徴とする。

【００２６】前記選択工程は、前記分析工程を行う装置
における、前記分析工程に許容できる最大負荷を設定す
る設定工程を含み、前記最大負荷を越えることなく分析
可能な、最高解像度の画像データを選択することを特徴
とする。

【００２７】撮像装置から随時前記原画像データを取得
する取得工程を更に有することを特徴とする。

【００２８】前記選択工程は、過去に取得した画像デー
タに対する前記分析工程での分析結果に基づいて選択を
行うことを特徴とする。

【００２９】原画像データから、複数の解像度の画像を
表現可能な画像データを生成する生成手段と、前記生成
手段で生成された画像データから特定の解像度の画像デ
ータを選択する選択手段と、前記選択手段で選択した画
像データを分析する分析手段とを有し、前記選択手段
は、前記分析手段で発生する処理負荷を考慮して、分析
対象となる前記特定の解像度の画像データを選択するこ
とを特徴とする。

【００３０】原画像データから、複数の解像度の画像を
表現可能な画像データを生成する生成工程のコードと、
前記生成工程で生成された画像データから特定の解像度
の画像データを選択する選択工程のコードと、前記選択
工程で選択した画像データを分析する分析工程のコード
とを有し、前記選択工程は、前記分析工程で発生する処
理負荷を考慮して、分析対象となる前記特定の解像度の
画像データを選択する画像処理プログラムを格納するこ
とを特徴とする。

【００３１】

【発明の実施の形態】以下に、図面を参照して、この発
明の好適な実施の形態を例示的に詳しく説明する。ただ
し、この実施の形態に記載されている構成要素の相対配
置、数式、数値等は、特に特定的な記載がない限りは、
この発明の範囲をそれらのみに限定する趣旨のものでは
ない。

【００３２】（第１の実施の形態）本発明に係る画像処
理方法の第１の実施形態を、図１乃至図１２を用いて説
明する。本実施の形態では、本発明に係る画像処理方法
を、パーソナルコンピュータ上でソフトウェアを実行す
ることにより、実現する場合について説明する。ソフト
ウェアは、米Microsoft社のオペレーティングシステム
等の環境下で、アプリケーションソフトウェアとして実
行されるものであればよい。

【００３３】（概要）本実施の形態は、映像通信を行う
ネットワーク内のユーザ端末における処理負荷を軽減す
るために、負荷が高い画像認識処理の対象となる画像デ
ータを、所定の条件の下で、データ量の少ないものに変
更する。具体的には、離散ウェイブレット変換等の多重
解像度解析を利用した圧縮方式の場合に、画像認識処理
の精度を必要としない画像処理プログラムを実行してい
る場合には、少ないデータ量(より低い解像度)の画像デ
ータに対して画像認識を行う。データ量の少ない画像デ
ータは、元々圧縮変換処理の際に副産物として生成され
るものであるため、新たな処理を必要とする事無く、適
宜、処理負荷を軽減することができる。

【００３４】（具体的構成）図２は、本実施の形態とし
ての画像処理方法を実行可能な仮想オフィスシステムの
構成図である。２０１ａ〜ｃは、特定のソフトウェアを
実行し、本実施の形態に係る画像処理方法を実現するパ
ーソナルコンピュータ（ユーザ端末）である。このパー
ソナルコンピュータは、そのソフトウェアを実行するこ
とにより、本発明に係る画像処理装置の一実施形態とな
る。

【００３５】２０２ａ〜ｃはパーソナルコンピュータ２
０１ａ〜ｃのユーザを撮影する取得手段としてのカメラ
である。各パーソナルコンピュータはインターネット等
のネットワーク２０３を介してサーバ装置２０４に接続
されている。カメラ２０２ａ〜ｃで撮像されたユーザの
映像はパーソナルコンピュータ２０１ａ〜ｃに取込まれ
た後、圧縮され、ネットワーク２０３を介してサーバ装
置２０４に転送される。転送された画像データはサーバ
装置２０４を介して他のユーザのパーソナルコンピュー
タ２０１ａ〜ｃに配信される。

【００３６】図３は本実施の形態に関する仮想オフィス
システムのユーザ端末に表示される双方向アウェアネス
機能を利用する画面の様子を示す図である。双方向アウ
ェアネス機能とは、分散勤務環境でのコミュニケーショ
ンツールとして使用されるものであり、遠隔地で勤務す
るユーザが他の複数のユーザとの間で、仕事中の表情等
の映像データをリアルタイムに交換することで、コミュ
ニケーションの機会促進を図るものである。

【００３７】８３は、ユーザの仮想的な個室オフィスス
ペースを示す枠であり、その中に、他のユーザの勤務状
況を表す画像８１と、ユーザの勤務状況データである文
字情報が表示される勤務状況データ表示部８２が含まれ
る。勤務状況データ表示部にはユーザの行き先や予定な
どが表示される。

【００３８】そして、複数の個室オフィスを含む、全体
の表示スペース８４を個室オフィスエリアとする。各個
室オフィスとの間のスペースは仮想的な廊下部分であ
る。個室オフィスの一部として表示されているユーザの
勤務状況の画像８１は、そのユーザが使用するユーザ端
末装置に備わっているカメラ２０２ａ〜ｃで撮像された
画像である。８５は共有スペースを表す空間であり、８
６は会議室への入り口を示す。

【００３９】図４は本実施の形態に関する会議室画面の
例を示すものである。ビデオウィンドウには会議に参加
するユーザの映像が表示され、チャットウィンドウには
会議参加者間のテキストチャット情報が表示される。

【００４０】このように、本実施の形態に関する仮想オ
フィスシステムは、アウェアネス画面ではユーザ全体の
状況を把握し、会議室画面では精細な映像を用いて緊密
なコミュニケーションを実現する。

【００４１】図５は、このような映像通信システムにお
ける画像データ処理の流れを示すフローチャートであ
る。まず、ステップＳ４０１で、カメラ２０２ａ〜ｃか
ら画像データを取込む。次に、ステップＳ４０２で、取
り込んだ画像データを圧縮処理する。ステップＳ４０３
では、圧縮した画像データを、ネットワーク上のサーバ
装置２０４に対して送信する。同時に、サーバ２０４に
対し、他のユーザの画像データを要求し、ステップＳ４
０４では、サーバ２０４から、要求に応じた画像データ
を受信する。次にステップＳ４０５で、受信した画像デ
ータを伸長し、その後、ステップＳ４０６で他のユーザ
の画像をパーソナルコンピュータ２０１ａ〜ｃ上に表示
する。

【００４２】図１は、画像データの圧縮処理を行う構成
要素の詳細を説明する図である。１０１は画像補正処理
部であり、カメラから入力されたディジタル画像信号に
対して、所望の画像サイズフォーマット生成、ノイズ除
去、解像度補正等の各種補正処理を行う。１０２は色空
間変換処理部であり、画像補正処理部１０１の出力であ
るＲＧＢディジタル画像データに対して色空間変換処理
を行い輝度・色差信号であるＹＵＶ信号を生成する。色
空間変換処理部１１３は、例えば、下記に示す変換式
（１）によってマトリクス演算処理される。

【００４３】 Y(I,J) = 0.299*R(I,J) + 0.587*G(I,J) + 0.114*B(I,J) U(I,J) = 0.500*R(I,J) - 0.419*G(I,J) - 0.081*B(I,J) ...（１） V(I,J) = -0.169*R(I,J) - 0.331*G(I,J) + 0.500*B(I,J) Ｒ(I,J)，Ｇ(I,J)，Ｂ(I,J)，Ｙ(I,J)，Ｕ(I,J)，Ｖ(I,
J)：Ｉ，Ｊ座標の画素値１０３ａ、ｂはサブサンプリン
グ処理部であり、色空間変換処理部１０２で得られた色
差信号成分ＵＶをサブサンプリング処理する。図６はサ
ブサンプリングの様子を示すものであり、ここでは、色
差成分であるＵＶ信号は主走査、副走査共に１／２にサ
ブサンプリングする。具体的には例えば次式（２）で示
す計算式によりＵ，Ｖ成分のサブサンプリングデータ
Ｕ'，Ｖ'を得る。この処理により輝度信号に対して色差
成分を１／４のデータ量に削減する。 x'(I,J)=(x(I,J) + x(I+1,J) + x(I,J*1) + x(I+1,J+1))/4 {x=ＵorＶ}...（２ ） １０４ａ〜ｃはウェイブレット変換処理部であり、Ｙ成
分及びサブサンプリングされたＵ，Ｖ成分に対してそれ
ぞれウェイブレット変換処理を行う。ウェイブレット変
換処理部１０４ａ〜ｃでは、例えば図７に示すフィルタ
バンクによりウェイブレット変換処理を行う。図７にお
いて、７１ａ〜ｉは低域通過フィルタ、７２ａ〜ｉは高
域通過フィルタであり、所定の係数のフィルタ処理を行
う。７３ａ〜ｒは１／２倍のダウンサンプラであり、フ
ィルタ処理されたデータを１／２の倍率で間引き処理す
る。ウェイブレット変換のためのフィルタ係数は様々な
ものが提案されているが、例えば次に示す様な係数のフ
ィルタを使用する。

【００４４】 ＬＰＦ｛0.03314563036812, -0.06629126073624, -0.17677669529665, 0.41984465132952, 0.99436891104360, 0.41984465132952, -0.17677669529665, -0.06629126073624, 0.03314563036812｝； ＨＰＦ｛-0.35355339059327,0.70710678118655,-0.35355339059327｝ ...（３） 具体的には、（３）式で示す係数のＦＩＲフィルタを図
７で示すフィルタバンクの構成に従って順次処理するこ
とで各変換係数ＨＨ０〜ＬＬ２を得る。各変換係数ＨＨ
０〜ＬＬ２は圧縮用データとして使用される。

【００４５】１０７は分析手段としての顔領域認識処理
部であり、取り出された画像データを分析し、人物の顔
領域の認識を行う。顔領域探索方法は萩原らによる手法
（横尾、萩原："遺伝的アルゴリズムを用いた自然画像
からの複数顔領域抽出"：電学論１１７−Ｃ，９，ｐ
ｐ．１２４５−１２５２，１９９７）や原らによる手法
（原、長尾："ＧＡを用いた画像中の任意方向の顔領域
の抽出"．信学技報，ＨＣＳ９７−１２，ｐｐ．３７−
４４，１９９７）など、従来多くの提案がなされてい
る。

【００４６】図９は顔領域認識処理部の構成例を示す図
である。ここでは人物の顔領域を楕円形にモデル化し、
肌色の楕円領域を探索することで顔領域を認識する。６
０１は肌色領域検出処理部であり、認識用画像として取
り出された解像度のＵ，Ｖ画像データに対して予め設定
した閾値を比較することで肌色領域を検出し、検出結果
に関する２値イメージビットマップを作成する。６０２
は楕円探索処理部であり、肌色検出処理部で作成された
肌色領域を表す２値イメージビットマップと予め決定し
た楕円テンプレートデータとのパターンマッチングを行
うことで、楕円領域の探索処理を行う。

【００４７】図１０は顔領域検出のためのパターンマッ
チングを説明する図である。７０１は肌色領域検出処理
部６０１で得られた２値イメージビットマップを示すも
のである。また７０３はパターンマッチングのための判
定用テンプレートである。当該テンプレートを、大きさ
を変更させながら、２値イメージビットマップ内で走査
することで、探索を行う。探索処理は遺伝的アルゴリズ
ムなどを用いて探索を行うため、探索対象画像の解像度
が高いほど正確な認識が行える半面必要な処理負荷が増
大する。以上の処理により、顔領域認識結果として、楕
円の中心座標ｃ(i、j)と半径が出力される。

【００４８】図１に戻り、１０５ａ〜ｃは量子化処理部
であり、ウェイブレット変換処理部１０４ａ〜ｃによっ
て得られたウェイブレット変換係数を量子化処理する。
量子化処理は顔領域認識処理部１０７の結果に従って複
数の量子化テーブルを選択的に使用して量子化処理を行
う。具体的には、顔領域部と判定された領域は小さい量
子化係数を使用し、顔領域以外は大きい量子化係数を使
用する。

【００４９】以下の表１は量子化係数の例を示すもので
あり、Ｑは量子化ステップに相当する。

【００５０】

【表１】 ここでは顔以外の領域に対して、４倍のステップで量子
化を行っている。これにより顔領域以外の符号量を削減
することが可能になる。１０８ａ〜ｃは可変長符号化処
理部であり、量子化された変換係数列を走査し、ハフマ
ン符号化等によりエントロピー符号化処理する。１０９
は符号ミックス処理部であり、可変長符号化処理部１０
８ａ〜ｃによりエンコードされた各色成分の符号データ
と顔領域認識処理部１０７の処理結果を所定のフレーム
にフォーマットする。以上の処理により得られた符号列
は図示しない全体制御部及び通信制御部により通信回線
上に送出される。

【００５１】１１０はユーザ状況認識部であり、ユーザ
のアプリケーション利用状況を把握し、特定手段として
の認識用画像データ取り出し部１０６に必要な画像デー
タの選択を指示する。 ウェイブレット変換処理部１０
４ａ〜ｃは、図７に示すように、各変換係数に加えて各
解像度の画像データＬＬ０，ＬＬ１も中間処理結果から
取り出す。ＬＬ０，ＬＬ１及びＬＬ２はそれぞれ入力画
像に対して１／４倍、１／１６倍、１／６４倍の画素数
に解像度変換された画像に相当する。ＤＣＴ等を利用し
た圧縮方式では、複数の解像度画像を生成するために圧
縮処理とは別の処理が必要であるが、ウェイブレット変
換を利用する場合、特別な処理を要することなく、各解
像度の画像（原画像、ＬＬ０〜ＬＬ２）を容易に得るこ
とができる。

【００５２】図８は各解像度の画像データの様子を模式
的に表した図である。５０１は変換前の入力画像、５０
２〜５０４はそれぞれＬＬ０〜ＬＬ２に対応し、変換の
途中結果から得られる各解像度の画像データである。本
実施の形態では認識用画像データ取り出し部１０６にお
いて、５０１〜５０４の画像中から必要な解像度の画像
データを選択し、当該画像データを用いて認識処理を行
う。

【００５３】これらの複数種類の画像データから、ユー
ザのアプリケーション利用状況に応じた画像データを選
択し、顔領域認識処理部１０７での処理対象とする。

【００５４】具体的には、ユーザが図３に示す双方向ア
ウェアネス機能を利用していると判断した場合、低解像
度画像ＬＬ１を選択し、図４に示す会議室機能を利用し
ていると判断した場合、高解像度画像ＬＬ０を選択す
る。ユーザがどの機能を利用しているかはアプリケーシ
ョンの保持する管理情報から容易に得ることができる。
このように、ユーザがＴＶ会議機能を利用している場
合、高解像度の画像データを用いて認識処理を行うた
め、より高精度な認識を行うことが可能になる。これに
より、より高精細・高能率な圧縮画像を生成することが
可能になる。このようにしたのは、ＴＶ会議用のアプリ
ケーションを実行している場合、ユーザは当該機能を中
心に利用しており、認識精度を要求されると考えられる
からである。

【００５５】一方、アウェアネス機能は、ＴＶ会議機能
に比してユーザが認識精度を要求することは少なく、他
のアプリケーションをメインに実行している場合もあ
る。そこで、ユーザがアウェアネス機能を利用している
場合、低解像度の画像データを用いて認識処理を行う。
このため、少ない処理負荷で認識を行うことができ、ユ
ーザ端末で他のアプリケーションソフトウェアを同時に
利用する場合、より快適に他のアプリケーションを利用
することができる。更に他のアプリケーションを利用し
ていない場合にも、コンピュータの消費電力を軽減でき
るという効果を有する。

【００５６】また、認識処理の切り換えは認識対象画像
の解像度が異なるだけであり、処理負荷に対応する異な
る認識アルゴリズムを用意する必要がない。このよう
に、共通の映像コーデックを利用した複数の機能を有す
るアプリケーションにおいて本発明を利用することで、
アプリケーションの利用状況に応じて適切な処理負荷で
処理を行うことが可能になる。

【００５７】本実施の形態では、共通の画像認識処理を
使用し異なる機能を有するアプリケーションについて説
明したが、画像認識処理を含むアプリケーションとその
他のアプリケーションとの利用状況から画像認識に使用
する画像解像度を決定してもよい。例えば、双方向アウ
ェアネス機能などの画像認識を使用するアプリケーショ
ンをフォアグランドで積極的に利用している場合、高い
解像度の画像データを用いて認識処理を行い、画像認識
を使用しないアプリケーション（ワードプロセッサ等）
をフォアグランド利用している場合には、低い解像度の
画像データを用いて認識処理を行う。ユーザがフォアグ
ランドで使用中のアプリケーションは、当該アプリケー
ションが動作しているオペレーティングシステムを介し
て容易に判別することが可能である。これにより、ユー
ザは双方向アウェアネスシステムなどの映像コミュニケ
ーションツールを利用しながら他のアプリケーションで
作業を行っている場合に処理能力の低下によるストレス
を感ずることなく作業を行うことができる。

【００５８】更に、ユーザ状況認識部１１０において、
ユーザの使用するクライアント端末であるパーソナルコ
ンピュータの具備するマウス・キーボードなどの外部イ
ンターフェースの利用状況を判定し、認識に使用する画
像データを選択してもよい。具体的には、ユーザがキー
ボード・マウスを頻繁に利用している場合、認識用に低
解像度の画像データを選択する。マウスやキーボードな
どのインターフェースを利用している場合、ユーザはワ
ードプロセッサなど他のアプリケーションを使用してい
る場合やＴＶ会議機能を利用している場合でもチャット
等の付随機能を利用していると考えられる。従って、こ
のような外部インターフェースを利用している場合に、
低負荷の認識処理を選択することで、ユーザは処理能力
低下によるストレスを感ずることなくアプリケーション
を使用することが可能になる。マウス・キーボードなど
の利用状況に関する情報はオペレーティングシステムの
インターフェースを介して容易に取得することが可能で
ある。この場合、ユーザの利用状況に従ってより細かく
処理負荷を制御することが可能になる また、ユーザの使用するクライアント端末であるパーソ
ナルコンピュータのプロセッサ処理負荷計測値を解像度
選択の条件に加えても良い。この場合、プロセッサ処理
負荷の計測結果に従って、処理能力に余裕がないと判断
した場合、より低解像度の認識用画像を選択する。プロ
セッサの処理負荷に関する情報もオペレーティングシス
テムのアイドルサイクルに関する情報などから容易に知
ることが可能である。この場合、予め考慮しておいた判
断条件以外の要因で処理負荷が変動した場合にも効果的
に処理負荷の制御を行うことができる。

【００５９】更に認識に使用する処理負荷の上限を、ユ
ーザが予め制限してもよい。この場合、ユーザは、認識
機能を含むアプリケーションの使用に先立ち、図１１に
示すような設定インターフェースに従って、認識に使用
する最大処理負荷を選択する。アプリケーションは選択
された処理負荷パラメータ以下の負荷で認識を実行でき
る、最高解像度の画像データを決定する。この場合、ユ
ーザは処理能力の特に低いコンピュータを利用する場合
でも処理能力低下によるストレスを避けることができ
る。

【００６０】以上、解像度選択に用いる様々な条件につ
いて説明したが、さらにこれらの状況認識に関する情報
を複数組み合わせて利用することにより、より正確な解
像度選択を行うことも可能である。いずれの場合におい
ても、認識対象の画像解像度を選択するだけの簡単な方
法で処理負荷を制御することができる。

【００６１】（第２の実施の形態）次に図１２乃至図１
４を用いて本発明の第２の実施の形態としての画像処理
方法について説明する。この画像処理方法の一部は、図
２で示したサーバ装置２０４において実行されるもので
ある。つまり、第１の実施の形態ではクライアント端末
２０１ａ〜ｃで画像認識を行う場合について説明した
が、本実施の形態ではサーバ装置２０４で認識処理を行
う場合について説明する。

【００６２】（概要）本実施の形態では、クライアント
端末２０１ａ〜ｃでの処理負荷を軽減するために、各ク
ライアント端末２０１ａ〜ｃからサーバ装置２０４に送
信された圧縮画像データを用いて、画像認識を一括処理
する。このようにすれば、クライアント端末では、ユー
ザは画像認識の負荷によるストレスを全く感じることが
ない。

【００６３】しかし、サーバ装置２０４の処理能力も無
限ではないため、できる限り画像認識処理の負荷を軽減
することが望まれる。従って、本実施の形態では、クラ
イアント端末２０１ａ〜ｃのユーザの状況を判定するこ
とによって、ウェイブレット変換等の多重解像度解析を
利用した圧縮方式の場合に、画像認識精度の必要性が低
い場合には、少ないデータ量の画像データ(低い解像度
の画像データ)に対して画像認識処理を行う。

【００６４】（具体的構成）図１２は、本実施の形態に
係るサーバ装置２０４での画像処理の流れを示すフロー
チャートである。

【００６５】まず、ステップＳ１２０１で、クライアン
ト端末から送信された圧縮画像データを受信する。この
場合、クライアント端末では認識処理及びそれを利用し
た符号量制御は行われてないものとする。受信した画像
データはステップＳ１２０２でウェイブレット変換係数
の状態まで部分デコードされる。次にステップＳ１２０
３では、部分デコードされたデータから所定の解像度の
データを用いて顔領域の認識処理を行う。認識された結
果に従って、ステップＳ１２０４で画像領域別に量子化
処理を行う。量子化されたデータはステップＳ１２０５
でエントロピー符号化され、最後にステップＳ１２０６
で各クライアント端末に配信される。

【００６６】図１３はステップＳ１２０２〜Ｓ１２０５
を行う構成要素を示す図である。以下図１３に従って本
実施の形態の動作について説明する。１３０１は符号分
離処理部でありＹＵＶ各成分の符号データを分離する。
１３０２ａ〜１３０２ｃ，１３０３ａ〜１３０３ｃでは
それぞれ各成分のデータをエントロピー復号し逆量子化
する。図１４は逆量子化されたウェイブレット変換係数
の例を示すものである。ここでは高精度認識を行う場合
１４０１ａ〜１４０１ｃの周波成分係数を利用し、低負
荷な認識を行う場合１４０３ａ〜１４０３ｃの周波数成
分係数から認識を行う。１４０１ａ〜１４０１ｃの係数
を選択した場合、係数データの解像度が高いため高精度
の認識処理を行うことができる。また１４０３ａ〜１４
０３ｃの係数を選択した場合、データ量が少ないため、
認識の処理負荷を軽減することが可能になる。

【００６７】ユーザ状況認識部１３０７は前フレームの
認識結果を保持し、前フレームの判定結果を利用して認
識用データ取出部１３０８に所望の認識用データの取り
出しを指示する。具体的には、ユーザは図３に示す双方
向アウェアネス機能を利用しており前フレームの認識結
果からユーザ認識されなかった場合、即ちユーザが不在
の場合、低負荷認識用のデータ（１４０３ａ〜１４０３
ｃ）を選択するよう指示する。また、前フレームでユー
ザの存在が認識された場合、高精度認識のためのデータ
（１４０１ａ〜１４０１ｃ）取り出しを指示する。顔領
域認識処理部１３０９では取り出された変換係数を用い
て顔領域の認識処理を行う。顔領域の認識処理は、取り
出された変換係数を利用して、従来提案されている方法
等により認識を行う。量子化処理部１３０４ａ〜１３０
４ｃでは顔領域認識結果に従って量子化係数の制御を行
う。つまり、顔領域以外と判定された領域に対して、大
きい量子化係数で再量子化することで画像データの符号
量を削減する。可変長符号化処理部１３０５ａ〜１３０
５ｃでは量子化された係数をエントロピー符号化処理す
る。符号化された画像データは符号ミックス処理部１３
０６で顔領域に関する情報と共に多重化される。

【００６８】本実施の形態では、受信した画像データか
ら得られるユーザの状況(在席状況)に応じてサーバ側で
画像認識処理に使用する変換係数データの解像度を選択
する事で、無駄な処理を排除し、サーバ装置の処理負荷
を軽減することが可能になる。

【００６９】また、ユーザ端末からサーバ装置に対して
ユーザの状況を通知する手段を設け、アプリケーション
利用状況、キーボード・マウスの利用状況などの第一の
実施例で説明したようなユーザー状況情報をサーバ装置
に通知しても良い。この場合サーバ装置では通知された
ユーザ状況に従って、第１の実施の形態で示したように
認識に使用する変換係数データの解像度を選択的に利用
する。これにより、各ユーザのより細かな状況に対応し
た認識処理を行うことでサーバ装置の処理負荷を軽減す
ることが可能になる。

【００７０】（他の実施の形態）本実施の形態では顔領
域の認識方法としてテンプレートマッチングによる方法
について説明したが本発明はこれに限るわけではなく、
従来提案されている様々な手法を組み込むことも可能で
ある。また、顔領域の認識をＵＶ成分のウェイブレット
変換係数からのみ行ったが、Ｙ成分の変換係数を利用し
て判定を行っても良いし、原画像データから、異なるデ
ータ量で表現された複数種類の画像データを生成する方
法であれば、ウェイブレット変換以外の方法を用いても
良い。更に本実施の形態では顔領域を楕円領域にモデル
化して認識処理を行ったが、更に複雑な形状にモデル化
してより正確に認識してもよい。

【００７１】また、本実施の形態では顔領域の認識処理
に適用した場合について説明したが本発明はこれに限る
わけではなく、画像を分析する工程が含まれていれば、
例えば、様々なオブジェクトの認識に適用することも可
能である。

【００７２】また、実施の形態では仮想オフィスシステ
ムに応用する場合について説明したが本発明はこれに限
るわけではなく、映像通信システムなどに広く応用する
ことが可能である。

【００７３】なお、本発明は、複数の機器（例えばホス
トコンピュータ、インターフェース機器、リーダ、プリ
ンタなど）から構成されるシステムに適用しても、一つ
の機器からなる装置に適用してもよい。

【００７４】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納された
プログラムコードを読み出し実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が前述した実施
形態の機能を実現することになり、そのプログラムコー
ドを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実
行することにより、前述した実施形態の機能が実現され
るだけでなく、そのプログラムコードの指示に基づき、
コンピュータ上で稼働しているオペレーティングシステ
ム（ＯＳ）などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【００７５】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるＣＰＵなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【００７６】

【発明の効果】本発明によれば、状況に応じて、適切な
処理負荷で画像処理を行うことが可能な画像処理方法、
装置及びコンピュータ可読媒体を提供することが可能に
なる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る画像データの圧
縮処理を行う構成要素の詳細を説明する図である。

【図２】本発明の第１の実施形態に係る画像処理方法を
実現可能な仮想オフィスシステムの構成図である。

【図３】本発明の第１の実施形態に係る仮想オフィスシ
ステムのユーザ端末に表示される双方向アウェアネス画
面の例を示す図である。

【図４】本発明の第１の実施形態に係る仮想オフィスシ
ステムのユーザ端末に表示される会議室画面の例を示す
図である。

【図５】本発明の第１の実施形態に係るユーザ端末にお
ける画像処理を示すフローチャートである。

【図６】本発明の第１の実施形態に係るサブサンプリン
グの様子を示す図である。

【図７】本発明の第１の実施形態に係るウェイブレット
変換を実現するフィルタバンクの構成を示す図である。

【図８】本発明の第１の実施形態に係る各解像度の画像
データの様子を模式的に表した図である。

【図９】本発明の第１の実施形態に係る顔領域認識処理
部の構成例を示す図である。

【図１０】本発明の第１の実施形態に係る顔領域検出の
ためのパターンマッチングを説明する図である。

【図１１】本発明の第１の実施形態に係る処理負荷の上
限設定のための設定画面の例を示す図である。

【図１２】本発明の第２の実施形態に係るサーバ装置で
画像認識を行う場合の画像処理を示すフローチャートで
ある。

【図１３】本発明の第２の実施形態に係るサーバでの処
理を行う構成要素を示す図である。

【図１４】本発明の第２の実施形態に係るウェイブレッ
ト変換係数の様子を示す図である。

【符号の説明】

１０１ 画像補正処理部 １０２ 色空間変換処理部 １０３ａ〜ｂ サブサンプリング処理部 １０４ａ〜ｃ ウェイブレット変換処理部 １０５ａ〜ｃ 量子化処理部 １０６ 認識用画像取りだし部 １０７ 顔領域認識処理部 １０８ａ〜ｃ 可変長符号化処理部 １０９ 符号合成処理部 １１０ ユーザ情報認識部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 田處 善久 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 宮崎 貴識 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 Ｆターム(参考） 5B057 AA20 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CD05 CE06 CH08 CH09 5C064 AA01 AA02 AB02 AB04 AC04 AC09 AC12 AC16 AD02 AD08 AD14 5L096 AA02 AA06 CA02 DA01 FA23 HA08

Claims (25)

【特許請求の範囲】
1. 【請求項１】画像の分析を必要とする複数のアプリケー
   ションを実行可能な画像処理装置であって、 分析対象画像を表す画像データを取得する取得手段と、
   前記複数のアプリケーションの何れを実行しているかに
   応じて、前記分析対象画像の解像度を特定する特定手段
   と、 前記特定手段にて特定された解像度レベルで、前記画像
   データを分析する分析手段とを備えることを特徴とする
   画像処理装置。
2. 【請求項２】前記分析手段は、前記分析対象画像を表す
   画像データを、フィルタリング及びサブサンプリングす
   ることにより、前記特定された解像度レベルの画像を表
   現する画像データを生成し、該画像データを分析するこ
   とを特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】前記分析手段は、前記分析対象画像を表す
   画像データをウェイブレット変換することにより、前記
   特定された解像度レベルの画像を表現する画像データを
   生成し、該画像データを分析することを特徴とする請求
   項１に記載の画像処理装置。
4. 【請求項４】画像の分析を必要とする複数のアプリケー
   ションを実行するための画像処理方法であって、 分析対象画像を表す画像データを取得する取得工程と、
   前記複数のアプリケーションの何れを実行しているかに
   応じて、前記分析対象画像の解像度を特定する特定工程
   と、 前記特定工程にて特定された解像度レベルで、前記画像
   データを分析する分析工程と、 を有することを特徴とする画像処理方法。
5. 【請求項５】画像の分析を必要とする複数のアプリケー
   ションを実行するための画像処理プログラムを格納した
   コンピュータ可読媒体であって、 前記画像処理プログラムは、 分析対象画像を表す画像データを取得する取得工程のプ
   ログラムコードと、前記複数のアプリケーションの何れ
   を実行しているかに応じて、前記分析対象画像の解像度
   を特定する特定工程のプログラムコードと、 前記特定工程にて特定された解像度レベルで、前記画像
   データを分析する分析工程のプログラムコードと、 を含むことを特徴とするコンピュータ可読媒体。
6. 【請求項６】原画像データから、異なる解像度の画像を
   表現可能な画像データを生成する生成工程と、 前記生成工程で生成された画像データから特定の解像度
   の画像データを選択する選択工程と、前記選択工程で選
   択した画像データを分析する分析工程とを有し、 前記選択工程は、前記分析工程で発生する処理負荷を考
   慮して、分析対象となる前記特定の解像度の画像データ
   を選択することを特徴とする画像処理方法。
7. 【請求項７】前記生成工程で生成された画像データを用
   いて、前記原画像データを圧縮する圧縮工程を更に含む
   ことを特徴とする請求項６に記載の画像処理方法。
8. 【請求項８】前記生成工程は、ウェイブレット変換によ
   り、階層構造を有する画像データを生成することを特徴
   とする請求項６又は７に記載の画像処理方法。
9. 【請求項９】前記分析工程は、前記原画像データに対応
   する画像から、所定の情報を認識する工程であることを
   特徴とする請求項６、７又は８に記載の画像処理方法。
10. 【請求項１０】前記所定の情報は、画像中に含まれる特
    定のオブジェクトの形状又は状態を表す情報であること
    を特徴とする請求項９に記載の画像処理方法。
11. 【請求項１１】前記所定の情報は、画像中の人間の顔領
    域を表す情報であり、 前記生成工程で生成された画像データと前記顔領域を示
    す情報とから、顔領域にはデータ量を多く、その他の領
    域にはデータ量を少なく割り当てて画像全体を圧縮する
    圧縮工程をさらに含むことを特徴とする請求項１０に記
    載の画像処理方法。
12. 【請求項１２】前記所定の情報は、画像中の人間の状態
    を表す情報であることを特徴とする請求項１０に記載の
    画像処理方法。
13. 【請求項１３】前記選択工程は、 前記分析工程を行う装置又は前記分析工程の分析結果を
    利用する装置に対する、ユーザの操作状況を判定する判
    定工程を含み、 該判定工程での判断に従って、前記生成工程で生成され
    た画像データから、分析対象となる解像度の画像データ
    を選択することを特徴とする請求項６乃至１２のいずれ
    かに記載の画像処理方法。
14. 【請求項１４】前記判定工程は、前記分析工程の分析結
    果を利用する画像処理プログラムの種類を判定すること
    を特徴とする請求項６乃至１３のいずれかに記載の画像
    処理方法。
15. 【請求項１５】前記判定工程は、前記分析工程の分析結
    果を利用する画像処理プログラムの実行状況を判定し、 前記選択工程は、画像処理プログラムを実行する装置の
    ユーザが、前記画像処理プログラム以外のプログラムを
    メインに実行している場合には、データ量の少ない画像
    データを選択することを特徴とする請求項６乃至１４の
    いずれかに記載の画像処理方法。
16. 【請求項１６】前記判定工程は、前記分析工程を行う第
    １装置が、前記画像処理プログラムを実行する第２装置
    から、前記画像処理プログラムの実行状況を受信する受
    信工程を含むことを特徴とする請求項１５に記載の画像
    処理方法。
17. 【請求項１７】前記判定工程は、前記画像処理プログラ
    ムを実行する装置の物理的インターフェースに対する、
    ユーザの入力頻度を判定し、 前記選択工程は、前記物理的インターフェースに対する
    入力頻度が多いと前記判定手段で判定された場合に、解
    像度の低い画像データを選択することを特徴とする請求
    項１５又は１６に記載の画像処理方法。
18. 【請求項１８】前記選択工程は、 前記分析工程を行う装置の負荷状況を計測する計測工程
    を含み、 該計測工程での計測結果に従って、前記装置の負荷が大
    きい場合には、負荷が小さい場合に比して、解像度の低
    い画像データを選択することを特徴とする請求項６乃至
    １７のいずれかに記載の画像処理方法。
19. 【請求項１９】前記選択工程は、 前記分析工程を行う装置における、前記分析工程に許容
    できる最大負荷を設定する設定工程を含み、 前記最大負荷を越えることなく分析可能な、最高解像度
    の画像データを選択することを特徴とする請求項６乃至
    １８のいずれかに記載の画像処理方法。
20. 【請求項２０】撮像装置から随時前記原画像データを取
    得する取得工程を更に有することを特徴とする請求項６
    乃至１９のいずれかに記載の画像処理方法。
21. 【請求項２１】前記選択工程は、過去に取得した画像デ
    ータに対する前記分析工程での分析結果に基づいて選択
    を行うことを特徴とする請求項２０に記載の画像処理方
    法。
22. 【請求項２２】請求項６〜２１に記載の画像処理方法を
    実現するための制御手段を有することを特徴とする画像
    処理装置。
23. 【請求項２３】請求項６〜２１に記載の画像処理方法を
    実現するためのプログラムを記憶したコンピュータ可読
    媒体。
24. 【請求項２４】原画像データから、複数の解像度の画像
    を表現可能な画像データを生成する生成手段と、 前記生成手段で生成された画像データから特定の解像度
    の画像データを選択する選択手段と、 前記選択手段で選択した画像データを分析する分析手段
    とを有し、前記選択手段は、前記分析手段で発生する処
    理負荷を考慮して、分析対象となる前記特定の解像度の
    画像データを選択することを特徴とする画像処理装置。
25. 【請求項２５】原画像データから、複数の解像度の画像
    を表現可能な画像データを生成する生成工程のコード
    と、 前記生成工程で生成された画像データから特定の解像度
    の画像データを選択する選択工程のコードと、前記選択
    工程で選択した画像データを分析する分析工程のコード
    とを有し、 前記選択工程は、前記分析工程で発生する処理負荷を考
    慮して、分析対象となる前記特定の解像度の画像データ
    を選択する画像処理プログラムを格納することを特徴と
    するコンピュータ可読媒体。