JP2001231037A - 画像処理システム、画像処理装置、及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 本発明の課題は、符号化側に負担をかけるこ
となく、復号側で元の画像に対してより自然な復元画像
を生成することが可能な画像処理システム、画像処理装
置、及び記憶媒体を提供することである。 【解決手段】 符号器側と復号器側とで同一の３次元構
造モデル（標準顔画像データ）を共有し、符号器は前記
３次元構造モデルと入力画像とを比較して該入力画像を
分析するとともに分析結果を符号化し、復号器は符号器
により符号化された分析結果を復号し、該分析結果と前
記３次元構造モデルとに基づいて前記入力画像を復元
し、一様乱数生成部６４ｂにおいてランダムな角度を決
定し、３次元ＣＧ生成部６４ｃにおいて復元画像を前記
角度に回転させた３次元ＣＧを生成して再生画像を生成
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理システ
ム、画像処理装置、及び記憶媒体に係り、詳細には、符
号化側と復号側とで同一の３次元構造モデルを用いて入
力画像を分析し、復元する画像処理システム、画像処理
装置、及び記憶媒体に関する。

【０００２】

【従来の技術】近年、テレビ電話やテレビ会議等といっ
た画像データの狭帯域通信やコンピュータ通信等への応
用において、短時間で高効率の画像圧縮を行うための画
像符号化方式の開発、実用化が盛んに行われている。例
えば、知的符号化が提唱され、代表的な知的符号化方式
として分析合成符号化方式がある。

【０００３】分析合成符号化方式は、まず入力画像であ
る顔画像の構造情報を、予め設定されているワイヤフレ
ームモデルと呼ばれる３次元構造モデル（標準顔画像デ
ータ）に基づいて分析し、表情（喜怒哀楽等）の特徴点
抽出を行って、その表情変化に関する情報部分（特徴点
情報）のみを符号化して、伝送路や蓄積媒体などに出力
する。一方、復号側は、伝送路や蓄積媒体から入力され
る特徴点情報の符号化データを復号し、この特徴点情報
及び符号化側と同一のワイヤフレームモデルに基づいて
顔画像を再構成（復元）して表示部に出力する。

【０００４】図１８は、従来の顔画像再構成部の構成を
示すフロック図であり、図１９は従来の顔画像再構成処
理の流れを示すフローチャートである。従来の顔画像再
構成部は図１８に示すように、標準顔画像データメモリ
１００、標準顔画像変形部１０１、及び３次元ＣＧ生成
部１０２により構成される。標準顔画像データメモリ１
００には符号化側で持っているワイヤフレームモデルと
同一のワイヤフレームモデルが記憶されている。

【０００５】従来、顔画像を再構成する際は、図１９に
示すように、伝送または蓄積された顔表情の特徴点情報
が入力される（ステップＤ１）と、標準顔画像変形部１
０１は無表情で中立的な表情の標準顔画像（ワイヤフレ
ームモデル）を前記特徴点情報に基づいて変形する（ス
テップＤ２）。あるいは、符号化側では顔画像を記述す
るのに必要最小限な分析パラメータ（例えば、両眼の間
隔、唇の幅、顔輪郭など）部分のみを符号化し、復号側
では、それを用いて標準顔画像を変形する。次に、３次
元ＣＧ生成部１０２は変形されたワイヤフレームモデル
に対して元の顔画像の正面像を投影（テクスチャマッピ
ング）して３次元ＣＧを生成し（ステップＤ３）、近似
的に元の画像を復元する。そして、生成した顔画像のＣ
Ｇデータを表示部に表示可能な２次元データとして出力
する（ステップＤ４）。

【０００６】図２０は、従来の顔画像再構成処理により
顔画像が復元される様子を模式的に示す図である。図２
０（Ａ）に示すような予め作成された標準顔画像データ
を符号化側及び復号側で共有し、符号化側では入力画像
の特徴をこの標準顔画像に基づいて分析する。そして復
号側では特徴点情報を取得し、予め持っている標準顔画
像を特徴点情報に基づいて変形して図２０（Ｂ）に示す
ように再構成する。

【０００７】このような従来の分析合成符号化方式で
は、少数の分析パラメータを用いて画像を表現できるた
め、画像を離散コサイン変換（ＤＣＴ；Discrete Cosin
e Transfer）を用いて波形符号化を行った場合と比較し
て、大幅に符号量を削減できる。すなわち、低ビットレ
ートの符号化ができるという利点がある。

【０００８】

【発明が解決しようとする課題】しかしながら、従来の
知的符号化方式を用いた顔画像符号化では、上述のよう
に元の顔画像の特徴点の座標のみを用いて顔画像が再構
築されるので、実際の人間同士の会話で見られるような
微妙な肯き、首振り、瞳の動き等を表現することができ
ず、復号側における元の顔画像の復号画像が不自然にな
る。復号画像をより自然な画像に復元させるためには、
符号化側で顔の表情変化、つまり顔の動き変化パラメー
タの抽出精度を上げることが必要となり、そのためには
ハードウェア規模が非常に大きくならざるを得なかっ
た。

【０００９】本発明の課題は、符号化側に負担をかける
ことなく、復号側で元の画像に対してより自然な復元画
像を生成することが可能な画像処理システム、画像処理
装置、及び記憶媒体を提供することである。

【００１０】

【課題を解決するための手段】本発明はこのような課題
を達成するために次のような特徴を備えている。なお、
次に示す手段の説明中、括弧書きにより実施の形態に対
応する構成を１例として例示する。符号等は、後述する
図面参照符号等である。

【００１１】請求項１記載の発明は、同一の３次元構造
モデル（例えば、図３に示す標準顔画像のワイヤフレー
ムモデル６１ａ）を共有している画像データ符号化装置
と画像データ復号装置とからなり、前記画像データ符号
化装置は、前記３次元構造モデルと入力画像とを比較し
て該入力画像を分析するとともに分析結果を符号化し
（例えば、図１及び図２に示す特徴点抽出部６２、特徴
点コーデック部６３）、前記画像データ復号装置は、前
記画像データ符号化装置により符号化された分析結果を
復号し、該分析結果と前記３次元構造モデルとから前記
入力画像を復元する（例えば、図１及び図９に示す特徴
点コーデック部６３、顔画像再構成部６４、図１０に示
す標準顔画像変形部６４ａ）画像処理システムであっ
て、前記画像データ復号装置は、復元された画像の特定
部分に動きを持たせた再生画像を生成する画像生成手段
（例えば、図１０に示す顔画像再構成部６４の一様乱数
生成部６４ｂ及び３次元ＣＧ生成部６４ｃ）を備えるこ
とを特徴とする。

【００１２】請求項１記載の画像処理システムによれ
ば、画像データ符号化装置と画像データ復号装置とにお
いて同一の３次元構造モデルを共有し、前記画像データ
符号化装置は、前記３次元構造モデルと入力画像とを比
較して該入力画像を分析するとともに分析結果を符号化
し、前記画像データ復号装置は、前記画像データ符号化
装置により符号化された分析結果を復号し、該分析結果
と前記３次元構造モデルとから前記入力画像を復元し、
更に画像生成手段によって、復元された画像の特定部分
に動きを持たせた再生画像を生成する。

【００１３】請求項５記載の発明は、３次元構造モデル
を記憶している３次元構造モデル記憶手段（例えば、図
１に示す標準顔画像データメモリ６１）と、この３次元
構造モデル記憶手段に記憶されている３次元構造モデル
と入力画像とを比較して該入力画像を分析するとともに
分析結果を符号化する符号化手段（例えば、図１及び図
２に示す特徴点抽出部６２、特徴点コーデック部６３）
と、この符号化手段により符号化された分析結果を復号
し、該分析結果と前記３次元構造モデルとから前記入力
画像を復元する復元手段（例えば、図１及び図９に示す
特徴点コーデック部６３、顔画像再構成部６４、図１０
に示す標準顔画像変形部６４ａ）と、この復元手段によ
り復元された画像の特定部分に動きを持たせた再生画像
を生成する画像生成手段（例えば、図１０に示す一様乱
数生成部６４ｂ、3次元ＣＧ生成部６４ｃ）と、を備え
ることを特徴とする。

【００１４】請求項５記載の発明の画像処理装置によれ
ば、３次元構造モデル記憶手段に３次元構造モデルを記
憶し、符号化手段は、この記憶されている３次元構造モ
デルと入力画像とを比較して該入力画像を分析するとと
もに分析結果を符号化し、復元手段は、符号化された分
析結果を復号し、該分析結果と前記３次元構造モデルと
から前記入力画像を復元し、画像生成手段は、この復元
された画像の特定部分に動きを持たせた再生画像を生成
する。

【００１５】したがって、請求項１及び５記載の発明に
よれば、復元された画像の特定部分に動きを持たせるこ
とにより人工的に揺らぎを表現できるので、より自然な
復元画像を生成できる。また復元画像に与える動きは復
号側で生成されるので、自然な復元画像を生成するにも
関わらず符号化側に負担を課さずにすむ。

【００１６】また、請求項２記載の画像処理システムま
たは請求項６記載の画像処理装置のように、請求項１ま
たは５記載の発明において、処理対象となる画像は人物
の顔画像であることが有効である。

【００１７】この請求項２及び６記載の発明によれば、
人物の顔画像について自然な揺らぎを表現した復号画像
を符号化側に負担をかけずに生成することができるの
で、例えばテレビ電話やテレビ会議のような、主に顔画
像データを高速に伝送し再現する装置またはシステムに
好適である。

【００１８】また、請求項３記載の画像処理システムま
たは請求項７記載の画像処理装置のように、請求項１ま
たは５記載の発明において、前記画像生成手段により生
成される再生画像の動きは、人物頭部の動き、または人
物の視線の動きのうちの少なくとも一方を含むことが有
効である。

【００１９】この請求項３及び７記載の発明によれば、
顔自体の動きだけでなく、頭全体の動き（傾き）や眼球
の動きを符号化側でなんら分析することなく、復号側で
表現することができる。

【００２０】また、請求項４記載の画像処理システムま
たは請求項８記載の画像処理装置のように、請求項１ま
たは５記載の発明において、前記画像生成手段は、乱数
に基づいて角度を算出する角度算出手段（例えば、図１
０に示す一様乱数生成部６４ｂ、３次元ＣＧ生成部６４
ｃ）を更に備え、この角度算出手段により算出された角
度に応じて前記復元された画像の頭部の向き（例えば、
水平方向または垂直方向の回転）や表情（例えば、視線
角度）を変化させた再生画像を生成することが有効であ
る。

【００２１】この請求項４及び８記載の発明によれば、
乱数を用いて頭部の動きや表情をランダムに変化させる
ことができるので、多様な表情の変化を表現できる。

【００２２】

【発明の実施の形態】以下、図を参照して本発明に係る
画像処理システム、画像処理装置の実施の形態を詳細に
説明する。

【００２３】まず構成を説明する。図１は、本実施の形
態における画像処理装置１の要部構成を示すブロック図
である。図１に示すように、画像処理装置１は、制御部
２、入力部３、表示部４、通信Ｉ／Ｆ部５、画像コーデ
ック部６、音声コーデック部７、ＲＡＭ（Random Acces
s Memory）８、記憶装置９、及び記憶媒体１０から構成
され、記憶媒体１０を除く各部はバス１１によって接続
されている。

【００２４】また、本発明に係る画像処理システムは本
画像処理装置１を複数利用して構成されるシステムであ
り、一方の画像処理装置１を画像データ符号化装置、他
方を画像データ復号装置として動作させるものである。
画像データ符号化装置と画像データ復号装置とを通信回
線や無線通信機器といった通信インターフェースを介し
て複数接続し、互いにデータ伝送を行うシステムとして
もよいし、または画像データ符号化装置で符号化したデ
ータを所定の記憶媒体に蓄積しておき、画像データ復号
装置で必要なときに記憶媒体から符号化データを読み出
すようにしてデータを授受するシステムとしてもよい。

【００２５】制御部２は、記憶装置９に記憶されている
当該画像処理装置１に対応する各種アプリケーションプ
ログラムの中から指定されたアプリケーションプログラ
ム、入力部３から入力される各種指示あるいはデータを
ＲＡＭ８内のワークメモリに格納し、この入力指示及び
入力データに応じてＲＡＭ８内に格納したアプリケーシ
ョンプログラムに従って各種処理を実行し、その処理結
果をＲＡＭ８内のワークメモリに格納するとともに、表
示部４に表示する。そして、ワークメモリに格納した処
理結果を入力部３から入力指示される記憶装置９内の保
存先に保存する。

【００２６】また、制御部２は画像データの符号化処理
時には、画像コーデック部６によって符号化処理された
符号化画像データと音声コーデック部７によって符号化
処理された符号化音声データとを同期情報とともに多重
化して、１列のビットストリームを生成し、記憶装置９
内の記憶媒体１０に保存する、あるいは、通信Ｉ／Ｆ部
５を介して外部に出力する。一方、符号化画像データの
復号処理時には、制御部２は、記憶装置９内の記憶媒体
１０から読み出したビットストリーム、あるいは、通信
Ｉ／Ｆ部５を介して外部から入力されたビットストリー
ムから符号化画像データと符号化音声データとを分離
し、それぞれ画像コーデック部６、または音声コーデッ
ク部７に転送する。また、前記同期情報に基づいて、復
号された画像データと音声データとを同期再生するよう
に制御する。

【００２７】入力部３は、ビデオカメラ等の画像撮影装
置であり、撮影対象となる物体（顔）の３次元座標を計
算するために、方向は同じで水平位置が異なる２ヵ所に
上記カメラが設置される。各設置位置から撮影対象物を
撮影し、それぞれの２次元画像データ（ＲＧＢ信号また
はＹＵＶ信号）を制御部２へ出力する。制御部２は撮影
した顔画像の２次元画像データを画像コーデック部６へ
出力する。また、入力部３は音声データを入力するマイ
ク等も含む。

【００２８】更に、入力部３はユーザからの指示操作や
データを入力するために、カーソルキー、数字入力キー
及び各種機能キー等を備えたキーボードやポインティン
グデバイスであるマウス等も含む。キーボードで押下さ
れたキーの押下信号、マウスによる位置信号を制御部２
に出力する。また、表示部４に一体的に設けられるタブ
レットを含むこととしてもよい。タブレットは電磁誘導
方式，磁気歪式，感圧式等の座標読み取り原理で専用の
ペン等により入力されたデータを検出し、入力されたデ
ータを制御部２に出力する。

【００２９】表示部４は、ＣＲＴ（Cathode Ray Tub
e）、液晶ディスプレイ等により構成され、制御部２か
ら入力される表示制御信号にしたがって、表示データを
表示する。また、表示部４は画像コーデック部６におい
て復元・生成された画像データ（３次元ＣＧ）を表示す
る。

【００３０】通信Ｉ／Ｆ部５は、モデム（ＭＯＤＥＭ：
MOduler/DEModuler）、ターミナルアダプタ（ＴＡ：Ter
minal Adapter）等によって構成され、電話回線、ＩＳ
ＤＮ回線、あるいは専用回線等の通信回線を介して外部
機器との通信を行うための制御を行う。モデムは電話回
線を介してパーソナルコンピュータ等の外部機器との通
信を行うために制御部２によって処理されたディジタル
データを電話回線の周波数帯域にあったアナログ信号に
変調し、また電話回線を介して入力されたアナログ信号
をディジタル信号に復調する装置であり、ターミナルア
ダプタは、ＩＳＤＮ回線を介してパーソナルコンピュー
タ等の外部機器との通信を行うために既存のインターフ
ェイスをＩＳＤＮに対応するインターフェイスに変換す
る装置である。

【００３１】画像コーデック部６は記憶媒体１０に格納
された画像データ、またはビデオカメラ（入力部３）か
ら入力された画像データ、あるいは通信Ｉ／Ｆ部５を介
して外部機器から伝送された画像データに対して分析合
成符号化方式に基づく符号化処理及び復号処理を行う。
そのため、顔画像の標準的な３次元構成モデル（標準顔
画像データ）を記憶している標準顔画像データメモリ６
１と、入力された顔画像データの特徴点の座標を抽出す
る特徴点抽出部６２と、抽出された特徴点を標準顔画像
データと比較して差分を符号化したり、符号化された差
分データを復号したりする特徴点コーデック部６３と、
復号された前記差分データ及び前記標準顔画像データに
基づいて元の顔画像データを復元し、復元した画像に動
きを持たせた３次元ＣＧを生成する顔画像再構成部６４
とから構成される。

【００３２】図２は符号器６Ａの構成を示すブロック図
である。図２に示すように、符号器６Ａは特徴点抽出部
６２及び特徴点コーデック部６３、標準顔画像データメ
モリ６１から構成され、入力部３から入力された顔画像
（以下、入力顔画像と呼ぶ。）から特徴点抽出部６２に
おいて入力顔画像の特徴点の３次元座標を抽出する。特
徴点とは、例えば目、眉、鼻、口、耳、輪郭等の顔画像
を構成する特徴的な各部である。そして、特徴点コーデ
ック部６３は、抽出した特徴点の座標を標準顔画像デー
タメモリ６１に記憶されている標準顔画像データの対応
する特徴点の座標と比較して差分を計算し、可変長符号
化する。その後、可変長符号化された差分データ（以
下、符号化差分データと呼ぶ。）を通信Ｉ／Ｆ部５に出
力する、あるいは、記憶装置９内の記憶媒体１０に蓄積
する。

【００３３】標準顔画像データメモリ６１は、標準的な
顔画像データの３次元構造モデル（以下、標準顔画像デ
ータと呼ぶ。）を記憶している。標準顔画像データは、
頂点の座標データの集合（以下、頂点データテーブル６
１ｂと呼ぶ。）と、顔画像を形成する複数のポリゴン
（多角形；ここでは三角形）の集合（以下、ポリゴンデ
ータテーブル６１ｃと呼ぶ。）と、標準顔画像データの
特徴点データの集合（以下、特徴点データテーブル６１
ｄと呼ぶ。）とからなる。

【００３４】図３は標準顔画像データのワイヤフレーム
モデル６１ａであり、図４は頂点データテーブル６１ｂ
の一例であり、図５はポリゴンデータテーブル６１ｃの
一例であり、図６は特徴点データテーブル６１ｄの一例
である。

【００３５】図３に示すワイヤフレームモデル６１ａ
は、複数のポリゴンを組み合わせて立体的な形状をな
す。ワイヤフレームモデル６１ａに含まれる各ポリゴン
の番号とそのポリゴンを形成する各頂点とを対応付けて
ポリゴンデータテーブル６１ｃとして記憶している。例
えば、図５に示すように、ポリゴン番号「１」のポリゴ
ンは、頂点「１」と頂点「２」と頂点「３」とから形成
される３角形である。そして各頂点の番号とその頂点の
３次元座標とを対応付けて頂点データテーブル６１ｂと
して記憶している。例えば、図４に示すように、頂点
「１」の３次元座標は、（ｘ，ｙ，ｚ）＝（−１０．
０，−１０．０，０．５）であり、頂点「２」の３次元
座標は、（ｘ，ｙ，ｚ）＝（−９．５，−１０．０，
０．７）である。

【００３６】更に、図３に示すように、ワイヤフレーム
モデル６１ａは目の端点、鼻の端点、口の端点、顔の輪
郭というように複数の特徴点を含む。これら全ての特徴
点の頂点番号を特徴点データテーブル６１ｄとして記憶
する。例えば、図６に示すように、特徴点「右目左側端
点」に対応する頂点番号は「３２」であり、特徴点「右
目右側端点」に対応する頂点番号は「３４」である。図
４の頂点データテーブル６１ｂから各特徴点の座標を特
定できる。

【００３７】特徴点抽出部６２は、入力顔画像の３次元
座標を求めるとともに、入力顔画像に含まれる特徴点を
抽出する。特徴点の抽出の仕方について、図７を参照し
て説明する。

【００３８】図７に示す特徴点抽出方法では、方向は同
じで水平位置のみが異なる２ヵ所の視点から撮影した２
枚の２次元入力顔画像から、次のようにして特徴点の３
次元座標を推定する。まず、図７（Ａ）に示す一方の入
力顔画像（以下、入力画像ＩＭＧ１と呼ぶ。）に対して
特徴点、例えば右目の右端の座標を指定する。この指定
は、例えば入力画像ＩＭＧ１を表示部４に表示し、マウ
ス等によって位置を指定するマニュアル操作とすればよ
い。

【００３９】次に、図７（Ｂ）に示す他方の入力顔画像
（以下、入力画像ＩＭＧ２と呼ぶ。）において入力画像
ＩＭＧ１上で指定された特徴点に対応する点をサーチす
る。この際、入力画像ＩＭＧ１とＩＭＧ２とは水平位置
のみが異なる２ヵ所の視点から撮影されており、垂直座
標は変化していないので、水平方向のみサーチすればよ
い。サーチ方法としては、例えば、次式（１）で定義さ
れる絶対値誤差Ｅが最小となる点を探索する方法があ
る。

【００４０】

【数１】

【００４１】ここで、 （ｘ０，ｙ０）：入力画像ＩＭＧ１において指定した特
徴点の座標 Δｘ ：入力画像ＩＭＧ２でサーチする特徴点
の水平座標のずれ ｖ１（ｘ，ｙ）：入力画像ＩＭＧ１の座標（ｘ，ｙ）に
おける画素値 ｖ２（ｘ，ｙ）：入力画像ＩＭＧ２の座標（ｘ，ｙ）に
おける画素値 ｓ ：誤差を評価する範囲を指定するパラメ
タ（例えば“８”） とする。

【００４２】絶対値誤差Ｅを最小とするΔｘが求められ
ると、特徴点の３次元座標（ｘ，ｙ，ｚ）は次式（２）
により求められる。

【００４３】 ｘ＝ｘ０，ｙ＝ｙ０，ｚ＝ｋΔｘ ・・・・・・・・（２）

【００４４】ここで、ｋは２ヵ所の視点の相対的な位置
やカメラの焦点距離から決まる定数であり、例えば、
“１．０”とする。

【００４５】特徴点コーデック部６３は、符号化処理に
おいて、入力顔画像を分析し、分析結果を符号化する。
すなわち、特徴点抽出部６２で抽出した入力顔画像の特
徴点の座標と標準顔画像の対応する特徴点の座標とを比
較して差分を求め、その差分を符号化する。

【００４６】図８は、入力顔画像の特徴点とこれに対応
する標準顔画像上の特徴点との差分データが設定された
差分データテーブル６３ａを示している。例えば、入力
画像の特徴点「右目左側端点」は標準顔画像の対応する
特徴点と比較して（ｘ，ｙ，ｚ）＝（−１．０，＋０．
８，＋０．５）の差分がある。そして、特徴点コーデッ
ク部６３は計算した各差分データをそれぞれ可変長符号
化して符号化差分データを生成した後、通信Ｉ／Ｆ部５
へ出力して外部へ伝送したり、または記憶装置９へ出力
して記憶媒体１０に蓄積する。

【００４７】以上のような符号器６Ａで符号化された顔
画像データを復号するために、復号器６Ｂは図９に示す
ように構成される。すなわち、復号器６Ｂは特徴点コー
デック部６３及び顔画像再構成部６４及び標準顔画像デ
ータメモリ６１から構成されている。そして、復号処理
では通信Ｉ／Ｆ部５から入力される符号化差分データ、
または記憶媒体１０に蓄積され記憶装置９から読み出さ
れた符号化差分データを特徴点コーデック部６３におい
て復号し、顔画像再構成部６４において、復号された差
分データを符号化処理に用いた標準顔画像データと同一
の標準顔画像データに加算して変形し、変形されたワイ
ヤフレームモデル６４ｄ（図１１参照）に対して入力顔
画像の正面像を投影したり（テクスチャマッピング）、
陰影を施したり（シェーディング）した３次元ＣＧ（Co
mputer Graphics）データを生成したのち、表示部４に
表示可能な２次元データとして出力する。

【００４８】特徴点コーデック部６３は、復号処理にお
いて、通信Ｉ／Ｆ部５から入力される符号化差分デー
タ、または記憶媒体１０に蓄積され記憶装置９から読み
出された符号化差分データを可変長復号する。そして顔
画像再構成部６４へ出力する。

【００４９】顔画像再構成部６４は、図１０に示すよう
に、標準顔画像変形部６４ａと、一様乱数生成部６４ｂ
と、３次元ＣＧ生成部６４ｃと、から構成される。

【００５０】標準顔画像変形部６４ａは、符号化処理で
用いた標準顔画像データと同一の標準顔画像データに、
復号した差分データを加算し、復元された顔画像（以
下、復元顔画像と呼ぶ。）の３次元座標を得る。図１１
に復元顔画像のワイヤフレームモデル６４ｄを示す。

【００５１】図１１に示す復元顔画像のワイヤフレーム
モデル６４ｄは、図３に示す標準顔画像のワイヤフレー
ムモデル６１ａに図８の差分データテーブル６３ａに示
す差分データを加算したものである。そのため、標準顔
画像のワイヤフレームモデル６１ａと比較して各特徴点
の位置がずれ、入力顔画像に近似した形状に変形されて
いる。

【００５２】３次元ＣＧ生成部６４ｃは、標準顔画像変
形部６４ａにおいて変形された図１１に示すワイヤフレ
ームモデル６４ｄに対して、テクスチャマッピングやシ
ェーディング等を施し、入力顔画像と近似した顔画像を
復元し、その３次元ＣＧデータを生成する。

【００５３】一方、一様乱数生成部６４ｂは、次式
（３）に従って角度θｈをランダムに決定する。

【００５４】 θｈ＝θｈ０×ＲＡＮＤ（−１．０，１．０） ・・・・・・（３）

【００５５】ここで、 θｈ ：決定された角度 θｈ０：最大の角度（例えば“５度”に設定してお
く。） ＲＡＮＤ（−１．０，１．０）：“−１．０”と“１．
０”の間の一様乱数である。なお、発生する乱数を正規
乱数としてもよい。

【００５６】３次元ＣＧ生成部６４ｃは、一様乱数生成
部６４ｂにおいて決定角度θｈだけ、生成した３次元Ｃ
Ｇデータ（復元顔画像）を水平方向に回転させる。画像
の回転は一つの座標変換マトリクスを変更することによ
り実現できる。このようにして顔画像全体、すなわち頭
部の向きを回転させた再生画像を生成し、表示部４に表
示可能な２次元データとして出力する。これにより頭部
を右方向または左方向に振ったときの動きを表現でき
る。

【００５７】また、３次元ＣＧ生成部６４ｃは、顔を垂
直方向に所定角度だけ回転させた再生画像を生成し、表
示部４に出力する。この場合は、一様乱数生成部６４ｂ
において、例えば次式（４）に従って角度θｖをランダ
ムに決定する。

【００５８】 θｖ＝θｖ０×ＲＡＮＤ（−１．０，１．０） ・・・・・・（４）

【００５９】ここで、 θｖ ：決定された角度 θｖ０：最大の角度（例えば“５度”に設定してお
く。） である。

【００６０】３次元ＣＧ生成部６４ｃは、一様乱数生成
部６４ｂにおいて決定した角度θｖだけ、前記生成した
３次元ＣＧデータ（復元顔画像）を垂直方向に回転さ
せ、表示部４に表示可能な２次元データとして出力す
る。これにより肯く動作を表現できる。

【００６１】また、３次元ＣＧ生成部６４ｃは、両目の
眼球を所定角度だけ水平方向及び垂直方向に回転させた
再生画像を生成し、表示部４に出力する。

【００６２】この場合は、一様乱数生成部６４ｂにおい
て、例えば次式（５）、（６）に従って角度θｅｈ，θ
ｅｖをランダムに発生する。

【００６３】 θｅｈ＝θｅｈ０×ＲＡＮＤ（−１．０，１．０） ・・・・（５） θｅｖ＝θｅｖ０×ＲＡＮＤ（−１．０，１．０） ・・・・（６）

【００６４】ここで、 θｅｈ，θｅｖ ：決定された角度 θｅｈ０，θｅｖ０：最大の角度（例えば“５度”に設
定しておく。） である。

【００６５】３次元ＣＧ生成部６４ｃは、前記生成され
た３次元ＣＧデータの両目の眼球部分を水平方向にθｅ
ｈ、垂直方向にθｅｖだけ回転させた画像を生成し、表
示部４に表示可能な２次元データとして出力する。これ
により瞳を動かし、視線を移動させた画像を生成でき
る。

【００６６】なお、頭部の水平方向の回転、垂直方向の
回転、及び両眼の水平方向、垂直方向の回転を単独で行
っても、組み合わせて行ってもよい。

【００６７】音声コーデック部７は、画像コーデック部
６によって符号化される符号化動画像データに付加する
音声の符号化を行い、符号化された音声データを制御部
２へ転送する。また、制御部２によって符号化動画像デ
ータと分離された符号化音声データの復号処理を行う。

【００６８】ＲＡＭ８は、指定されたアプリケーション
プログラム、入力指示、入力データ及び処理結果等を格
納するワークメモリを有する。

【００６９】記憶装置９は、プログラムやデータ等が予
め記憶されている記憶媒体１０を有しており、この記憶
媒体１０は磁気的、光学的記録媒体、若しくは半導体メ
モリで構成されている。この記憶媒体１０は記憶装置９
に固定的に設けたもの、若しくは着脱自在に装着するも
のであり、この記憶媒体１０には当該画像処理装置１に
対応する各種アプリケーションプログラムで処理された
データ等を記憶する。

【００７０】また、この記憶媒体１０に記憶するプログ
ラム、データ等は、その一部若しくは全部をサーバやク
ライアント等の他の機器からネットワーク回線等の伝送
媒体を介して通信Ｉ／Ｆ部５から受信して受信して記憶
する構成にしてもよく、更に、記憶媒体１０はネットワ
ーク上に構築されたサーバの記憶媒体であってもよい。
さらに前記プログラムをネットワーク回線等の伝送媒体
を介してサーバやクライアントへ伝送してこれらの機器
にインストールするように構成してもよい。

【００７１】次に動作を説明する。制御部２により実行
される符号化処理、及び復号処理について図１２〜図１
６に示すフローチャートに基づいて説明する。ここで、
これらのフローチャートに記述されている各機能を実現
するためのプログラムは、読み取り可能なプログラムコ
ードの形態で記録媒体１０に格納されており、制御部２
はこのプログラムコードにしたがった動作を逐次実行す
る。また、制御部２は伝送媒体を介して伝送されてきた
上述のプログラムコードにしたがった動作を逐次実行す
ることもできる。すなわち、記憶媒体１０の他、伝送媒
体を介して外部供給されたプログラム／データを利用し
てこの実施形態特有の動作を実行することもできる。

【００７２】まず、図１２を参照して符号化処理の流れ
を説明する。符号化処理において、まずビデオカメラ等
の入力部３から画像が入力されると（ステップＳ１）、
上述の処理によって入力画像の３次元座標を計算すると
ともに、特徴点抽出部６２において入力顔画像の特徴点
の３次元座標を抽出する（ステップＳ２）。そして、特
徴点コーデック部６３においてこれらの特徴点の座標を
標準顔画像データメモリ６１に記憶されている標準顔画
像データの対応する特徴点の座標と比較して差分を計算
し（ステップＳ３）、この差分データを可変長符号化す
る（ステップＳ４）。その後、符号化差分データを通信
Ｉ／Ｆ部５に出力して、入力指示に従って外部の送信先
へ送信したり、あるいは、記憶装置９を介して記憶媒体
１０に蓄積する（ステップＳ５）。

【００７３】次に、図１３を参照して復号処理の流れを
説明する。復号処理では、通信Ｉ／Ｆ部５において受信
し外部から入力される符号化差分データ、または記憶媒
体１０に蓄積されている符号化差分データを記憶装置９
から読み出し（ステップＳ６）、特徴点コーデック部６
３において復号する（ステップＳ７）。さらに、顔画像
再構成部６４において顔画像を再構成する（ステップＳ
８）。

【００７４】ステップＳ８における復元顔画像の再構成
処理について、図１４〜図１６のフローチャートを参照
して説明する。図１４は首振り動作を表現した顔画像を
作成する処理であり、図１５は肯き動作を表現した顔画
像を作成する処理であり、図１６は視線を動かす様子を
表現した顔画像を作成する処理である。

【００７５】顔画像再構成部６４において実行される図
１４に示す顔画像再構成処理では、図１３のステップＳ
７において復号した特徴点の差分データが入力される
（ステップＡ１）と、標準顔画像データメモリ６１から
符号化処理に用いた標準顔画像データを読み出し、この
標準顔画像データの特徴点の各座標に前記差分データを
加算し、新たな特徴点の３次元座標を取得する。そし
て、標準顔画像データの各特徴点の頂点を取得した特徴
点の座標に変形する（ステップＡ２）。このようにして
入力顔画像を復元する。そして、一様乱数生成部６４ｂ
において乱数を発生し（ステップＡ３）、上述の式
（３）から首振り角度θｈを計算する（ステップＡ
４）。そして、復元顔画像を角度θｈだけ水平方向に回
転させた３次元ＣＧを生成し（ステップＡ５）、表示部
４において表示可能な２次元データとして出力する（ス
テップＡ６）。そして、出力された２次元データに基づ
いて動きを与えた復元顔画像の３次元ＣＧを表示部４に
表示させる（ステップＳ９）。

【００７６】また、図１５に示す顔画像再構成処理で
は、図１４に示す顔画像再構成処理のステップＡ１〜ス
テップＡ２と同様に、入力された特徴点の差分データと
標準顔画像とから顔画像を復元する（ステップＢ１〜ス
テップＢ２）。そして、一様乱数生成部６４ｂにおいて
乱数を発生し（ステップＢ３）、上述の式（４）から肯
き角度θｖを計算する（ステップＢ４）。そして、復元
された顔画像を角度θｖだけ垂直方向に回転させた３次
元ＣＧを生成し（ステップＢ５）、表示部４において表
示可能な２次元データとして出力する（ステップＢ
６）。そして、出力された２次元データに基づいて、動
きを持つ復元顔画像の３次元ＣＧを表示部４に表示させ
る（ステップＳ９）。

【００７７】また、図１６に示す顔画像再構成処理で
は、図１４に示す顔画像再構成処理のステップＡ１〜ス
テップＡ２と同様に、入力された特徴点の差分データと
標準顔画像とから顔画像を復元する（ステップＣ１〜ス
テップＣ２）。そして、一様乱数生成部６４ｂにおいて
乱数を発生し（ステップＣ３）、上述の式（５）及び
（６）から視線の水平角度θｅｈ，視線の垂直角度θｅ
ｖを計算する（ステップＣ４）。そして、復元された顔
画像の両目の眼球を水平角度θｅｈ，垂直角度θｅｖだ
け回転させた３次元ＣＧを生成し（ステップＣ５）、表
示部４において表示可能な２次元データとして出力する
（ステップＣ６）。そして、出力された２次元データに
基づいて、動きを持つ復元顔画像の３次元ＣＧを表示部
４に表示させる（ステップＳ９）。

【００７８】図１７に復元顔画像を変形させて動きを持
たせた様子を模式的に示す。図１７に示すように、復号
処理では符号化差分データを復号して図１７（Ａ）に示
す標準顔画像から入力顔画像と近似した復元顔画像を生
成する。さらに図１７（Ｂ）に示すように、復元顔画像
を水平方向、垂直方向に任意の角度だけ回転させた画像
を生成したり、復元顔画像の両目を水平方向、垂直方向
に任意の角度だけ回転させた画像を生成して表示部４に
表示させる。このように復元顔画像を水平方向へ任意の
角度だけ回転させた場合は、首を振る動作を行う顔画像
を生成でき、垂直方向へ任意の角度だけ回転させた場合
は、肯いている動作を行う顔画像を生成でき、また両目
を水平方向や垂直方向へ任意の角度だけ回転させた場合
は、視線を移した顔画像を生成できる。

【００７９】上述のような頭部の水平方向の回転、垂直
方向の回転、及び両眼の水平方向、垂直方向の回転とい
った復元顔画像の動作を表す画像を、断続的に複数回ラ
ンダムに生成し、首を振ったり、肯いたり、視線を移す
といった動作を行う３次元ＣＧアニメーションとして順
次表示部４に表示させるようにしてもよい。これにより
復元した顔画像に自然な揺らぎを与え、顔画像の動作や
表情の変化を表現することができる。

【００８０】以上説明したように、本実施の形態の画像
処理装置１は、符号化処理において、入力部３から入力
された入力顔画像から特徴点抽出部６２において顔画像
の特徴点の３次元座標を抽出し、特徴点コーデック部６
３は、これらの特徴点の座標を標準顔画像データメモリ
６１に記憶されている標準顔画像データの対応する特徴
点の座標と抽出した特徴点の座標と比較して差分を計算
し、この差分データを可変長符号化する。その後、符号
化差分データを通信Ｉ／Ｆ部５に出力する、あるいは、
記憶装置９を介して記憶媒体１０に蓄積する。

【００８１】また、復号処理において、通信Ｉ／Ｆ部５
において受信した符号化差分データ、または記憶媒体１
０に蓄積され記憶装置９から読み出された符号化差分デ
ータを特徴点コーデック部６３において復号し、顔画像
再構成部６４において、特徴点の差分データに基づいて
符号化処理に用いた標準顔画像データを変形して復元顔
画像を生成する。また顔画像再構成部６４は、乱数を発
生して所定範囲内でランダムな角度を計算し、復元顔画
像を求めた角度だけ水平方向や垂直方向に回転させた３
次元ＣＧや、復元顔画像の両目の眼球を求めた角度だけ
水平方向や垂直方向に回転させた３次元ＣＧを作成す
る。そして作成した３次元ＣＧを表示部４に出力する。

【００８２】従って、復元した顔画像について、首を振
る動作や肯く動作といった頭部全体の動きや視線を移動
するといった表情の変化を持つ画像を復号器６Ｂで生成
できるので、符号器６Ａに負担をかけずに自然な顔画像
を生成できる。例えば、会話中は首を振り、肯き、視線
が変動するのが自然であるが、これらの微妙な動作のす
べてを符号化する場合には、符号化側での符号化データ
量が大きくなり、より高速な符号化処理と復号側への高
速な伝送とが必要となり大きな負担となる。しかしなが
ら、復号器６Ｂ側である程度の動きを付加して復元顔画
像を再生するので、符号器６Ａ側に負担をかけずに自然
に表情を変化させて再生することができる。

【００８３】例えば、テレビ電話やテレビ会議のように
リアルタイムな画像伝送が必要な機器に本発明の画像処
理装置１を適用すれば、符号器６Ａ側は顔画像の特徴点
の符号化差分データを所定時間毎に送信し、復号器６Ｂ
側では受信した符号化差分データ及び標準顔画像データ
に基づいて顔画像を復元し、復元した顔画像を表示させ
るばかりでなく、復元した顔画像に微妙な動きや表情の
変化を与えて再生することができるので、符号器６Ａ側
に負担をかけずに自然な画像を再生することができる。

【００８４】なお、以上の実施の形態においては、処理
対象となる画像を顔画像としたが、本発明はこれに限定
されるものではなく、例えば、人物や動物の全身や顔以
外の部分としてもよい。すなわち、人物や動物の全身や
顔以外の部分の標準画像データ（３次元構造モデル）を
符号化側及び復号側で共有しておき、この標準画像デー
タに基づいて入力画像の特徴点を抽出し、この抽出結果
に基づいて入力画像を復元するようにしてもよい。ま
た、標準顔画像データメモリ６１には複数種類の標準画
像データを記憶するようにしてもよい。例えば、男性、
女性、子供、老人といった各種標準顔画像データをそれ
ぞれ記憶しておけば、特徴がある程度限定されるため入
力顔画像との差分を小さくすることができ符号化データ
量を小さくできる。その結果、さらに効率のよいデータ
伝送またはデータ蓄積を行うことができる。

【００８５】また、画像の特定部分の動きとして、顔の
水平、垂直方向の回転による頭部の動き、及び視線の水
平、垂直方向の移動による表情の変化について例示した
が、これに限定されるものではなく、例えば、眉、唇、
鼻、頬等の動きにより表情の変化を表してもよい。また
各部の動きの組み合わせとしてもよい。また乱数による
ランダムな動きだけではなく、例えば、画像データ（符
号化差分データ）とともに伝送されてくる声の高さや強
さ、または話の内容（例えば、キーワード等）に対応付
けて顔画像の各部をどのように変化させるかが設定され
ているデータテーブルを復号側に予め記憶しておき、復
号側では伝送されてくる声の高さや強さ、または話の内
容を分析し、分析結果に応じて顔画像の各部（表情）を
変化させた３次元ＣＧを生成し、出力するものとしても
よい。これにより、符号化側に負担をかけずに、より表
情の変化に富み、かつ、自然な再生画像を生成すること
ができる。

【００８６】

【発明の効果】請求項１、５、及び９記載の発明によれ
ば、復元された画像の特定部分に動きを持たせることに
より人工的に揺らぎを表現できるので、より自然な再生
画像を生成できる。また復元画像に与える動きは復号側
で生成されるので、自然な復元画像を生成するにも関わ
らず符号化側に負担を課さずにすむ。

【００８７】請求項２及び６記載の発明によれば、人物
の顔画像について自然な揺らぎを表現した復号画像を符
号化側に負担をかけずに生成することができるので、例
えばテレビ電話やテレビ会議のような、主に顔画像デー
タを高速に伝送し再現する装置またはシステムに好適で
ある。

【００８８】請求項３及び７記載の発明によれば、顔自
体の動きだけでなく、頭全体の動き（傾き）や眼球の動
きを符号化側でなんら分析することなく、復号側で表現
することができる。

【００８９】請求項４及び８記載の発明によれば、乱数
を用いて頭部の動きや表情をランダムに変化させること
ができるので、多様な表情の変化を表現できる。

【図面の簡単な説明】

【図１】本実施の形態における画像処理装置１の要部構
成を示すブロック図である。

【図２】符号化処理の流れを示すブロック図である。

【図３】標準顔画像データのワイヤフレームモデル６１
ａである。

【図４】頂点データテーブル６１ｂの一例である。

【図５】ポリゴンデータテーブル６１ｃの一例である。

【図６】特徴点データテーブル６１ｄの一例である。

【図７】特徴点の抽出の仕方を説明する模式図である。

【図８】差分データテーブル６３ａの一例である。

【図９】復号処理の流れを示すブロック図である。

【図１０】顔画像再構成部６４の構成を示すブロック図
である。

【図１１】復元顔画像のワイヤフレームモデル６４ｄで
ある。

【図１２】符号化処理の流れを説明するフローチャート
である。

【図１３】復号処理の流れを説明するフローチャートで
ある。

【図１４】首振り動作を行う顔画像を作成する処理のフ
ローチャートである。

【図１５】肯き動作を行う顔画像を作成する処理のフロ
ーチャートである。

【図１６】視線を変更する顔画像を作成する処理のフロ
ーチャートである。

【図１７】復元顔画像を変形させて動きを生じさせる様
子を模式的に示す図である。

【図１８】従来の顔画像再構成部の構成を示すブロック
図である。

【図１９】従来の顔画像再構成処理の流れを示すフロー
チャートである。

【図２０】従来の顔画像再構成処理により顔画像が復元
される様子を模式的に示す図である。

【符号の説明】

１ 画像処理装置 ２ 制御部 ３ 入力部 ４ 表示部 ５ 通信Ｉ／Ｆ部 ６ 画像コーデック部 ６１ 標準顔画像データメモリ ６２ 特徴点抽出部 ６３ 特徴点コーデック部 ６４ 顔画像再構成部 ６４ａ 標準顔画像変形部 ６４ｂ 一様乱数生成部 ６４ｃ ３次元ＣＧ生成部 ７ 音声コーデック部 ８ ＲＡＭ ９ 記憶装置 １０ 記憶媒体 １１ バス

Claims (9)

【特許請求の範囲】
1. 【請求項１】同一の３次元構造モデルを共有している画
   像データ符号化装置と画像データ復号装置とからなり、
   前記画像データ符号化装置は、前記３次元構造モデルと
   入力画像とを比較して該入力画像を分析するとともに分
   析結果を符号化し、前記画像データ復号装置は、前記画
   像データ符号化装置により符号化された分析結果を復号
   し、該分析結果と前記３次元構造モデルとから前記入力
   画像を復元する画像処理システムであって、 前記画像データ復号装置は、復元された画像の特定部分
   に動きを持たせた再生画像を生成する画像生成手段を備
   えることを特徴とする画像処理システム。
2. 【請求項２】請求項１記載の画像処理システムにおい
   て、処理対象となる画像は人物の顔画像であることを特
   徴とする画像処理システム。
3. 【請求項３】請求項１記載の画像処理システムにおい
   て、前記画像生成手段により生成される再生画像の動き
   は、人物頭部の動き、または人物の視線の動きのうちの
   少なくとも一方を含むことを特徴とする画像処理システ
   ム。
4. 【請求項４】請求項１記載の画像処理システムにおい
   て、前記画像生成手段は、乱数に基づいて角度を算出す
   る角度算出手段を更に備え、この角度算出手段により算
   出された角度に応じて前記復元された画像の頭部の向き
   や表情を変化させた再生画像を生成することを特徴とす
   る画像処理システム。
5. 【請求項５】３次元構造モデルを記憶している３次元構
   造モデル記憶手段と、 この３次元構造モデル記憶手段に記憶されている３次元
   構造モデルと入力画像とを比較して該入力画像を分析す
   るとともに分析結果を符号化する符号化手段と、 この符号化手段により符号化された分析結果を復号し、
   該分析結果と前記３次元構造モデルとから前記入力画像
   を復元する復元手段と、 この復元手段により復元された画像の特定部分に動きを
   持たせた再生画像を生成する画像生成手段と、 を備えることを特徴とする画像処理装置。
6. 【請求項６】請求項５記載の画像処理装置において、処
   理対象となる画像は人物の顔画像であることを特徴とす
   る画像処理装置。
7. 【請求項７】請求項５記載の画像処理装置において、前
   記画像生成手段により生成される再生画像の動きは、人
   物頭部の動き、または人物の視線の動きのうち少なくと
   も一方を含むことを特徴とする画像処理装置。
8. 【請求項８】請求項５記載の画像処理装置において、前
   記画像生成手段は、乱数に基づいて角度を算出する角度
   算出手段を更に備え、この角度算出手段により算出され
   た角度に応じて前記復元された画像の頭部の向きや表情
   を変化させた再生画像を生成することを特徴とする画像
   処理装置。
9. 【請求項９】コンピュータが実行可能なプログラムを格
   納した記憶媒体であって、 記憶されている３次元構造モデルと入力画像とを比較し
   て該入力画像を分析するとともに分析結果を符号化する
   ためのコンピュータが実行可能なプログラムコードと、 この符号化された分析結果を復号し、該分析結果と前記
   ３次元構造モデルとから前記入力画像を復元するための
   コンピュータが実行可能なプログラムコードと、 復元された画像の特定部分に動きを持たせた再生画像を
   生成するためのコンピュータが実行可能なプログラムコ
   ードと、 を含むプログラムを格納したことを特徴とする記憶媒
   体。