JP2002320209A - 画像処理装置、画像処理方法、記録媒体及びプログラム - Google Patents
画像処理装置、画像処理方法、記録媒体及びプログラムInfo
- Publication number
- JP2002320209A JP2002320209A JP2002020385A JP2002020385A JP2002320209A JP 2002320209 A JP2002320209 A JP 2002320209A JP 2002020385 A JP2002020385 A JP 2002020385A JP 2002020385 A JP2002020385 A JP 2002020385A JP 2002320209 A JP2002320209 A JP 2002320209A
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- image signal
- artificial
- natural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
- Television Systems (AREA)
Abstract
(57)【要約】
【課題】 通信回線の状況が悪くても受信側において情
報が途切れるような情報を防止できる画像処理装置を提
供する。 【解決手段】 自然画像を符号化した自然画像信号を入
力し、人工画像を符号化した人工画像信号を入力し、前
記自然画像信号と前記人工画像信号とを通信回線の通信
状況に応じて適応的に多重化して前記通信回線により送
信することを特徴とする。
報が途切れるような情報を防止できる画像処理装置を提
供する。 【解決手段】 自然画像を符号化した自然画像信号を入
力し、人工画像を符号化した人工画像信号を入力し、前
記自然画像信号と前記人工画像信号とを通信回線の通信
状況に応じて適応的に多重化して前記通信回線により送
信することを特徴とする。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理装置、画
像処理方法、記録媒体及びプログラムに係り、特に通信
回線のトラフィック状況に応じた画像データの送受信処
理に関するものである。
像処理方法、記録媒体及びプログラムに係り、特に通信
回線のトラフィック状況に応じた画像データの送受信処
理に関するものである。
【０００２】
【従来の技術】昨今、携帯電話（あるいは携帯端末）が
急激に普及しつつある。図２は、携帯端末を用いた通信
システムの例を説明するための図である。図２におい
て、４０１および４０５は、携帯端末であり、表示部と
操作部、および通信制御部からなっており、４０３の中
継装置（基地局）との通信を行う。４０２及び４０４
は、通信経路である。
急激に普及しつつある。図２は、携帯端末を用いた通信
システムの例を説明するための図である。図２におい
て、４０１および４０５は、携帯端末であり、表示部と
操作部、および通信制御部からなっており、４０３の中
継装置（基地局）との通信を行う。４０２及び４０４
は、通信経路である。
【０００３】変調方式としては、アナログからディジタ
ルヘの移行が急速に進行し、電話機能としての音声送受
信だけではなく、データ用携帯端末としての利用も加速
してきている。また、伝送レートの高速化も進み、従来
では不可能であったビデオ（動画）の送受信も可能とな
ってきており、テレビ電話としての利用が期待されてい
る。
ルヘの移行が急速に進行し、電話機能としての音声送受
信だけではなく、データ用携帯端末としての利用も加速
してきている。また、伝送レートの高速化も進み、従来
では不可能であったビデオ（動画）の送受信も可能とな
ってきており、テレビ電話としての利用が期待されてい
る。
【０００４】図３は、従来のテレビ電話システムの構成
を示すブロック図を示す。図３において、ビデオカメラ
５０１は人物などを撮影してビデオ信号を出力し、マイ
クロフォン５０４は音声を取り込んで音声信号を出力す
る。Ａ／Ｄコンバータ５０２および５０５は、それぞれ
ビデオカメラ、マイクロフォンの出力信号をデジタル信
号に変換する。
を示すブロック図を示す。図３において、ビデオカメラ
５０１は人物などを撮影してビデオ信号を出力し、マイ
クロフォン５０４は音声を取り込んで音声信号を出力す
る。Ａ／Ｄコンバータ５０２および５０５は、それぞれ
ビデオカメラ、マイクロフォンの出力信号をデジタル信
号に変換する。
【０００５】ビデオエンコーダ５０３はビデオカメラに
より撮影されたビデオ信号を周知の圧縮符号化をおよび
オーディオエンコーダ５０６は、それぞれのディジタル
データを圧縮符号化処理する。圧縮符号化処理で作成さ
れた符号データを一般的にビットストリームと呼ぶ。
より撮影されたビデオ信号を周知の圧縮符号化をおよび
オーディオエンコーダ５０６は、それぞれのディジタル
データを圧縮符号化処理する。圧縮符号化処理で作成さ
れた符号データを一般的にビットストリームと呼ぶ。
【０００６】５０７はマルチプレクサであり、ビデオお
よびオーディオビットストリームを同期再生が可能なよ
うに多重化処理を行い、１本のビットストリームを作成
する。５０８のデマルチプレクサにおいて、ビデオおよ
びオーディオのビットストリームに弁別される。５０９
はビデオデコーダであり、ビデオビットストリームをデ
コード処理する。５１０はデジタルビデオデータをアナ
ログ信号に変換するデジタル・アナログコンバータ（Ｄ
／Ａ）である。５１１はモニタであり、復号されたビデ
オを表示する。
よびオーディオビットストリームを同期再生が可能なよ
うに多重化処理を行い、１本のビットストリームを作成
する。５０８のデマルチプレクサにおいて、ビデオおよ
びオーディオのビットストリームに弁別される。５０９
はビデオデコーダであり、ビデオビットストリームをデ
コード処理する。５１０はデジタルビデオデータをアナ
ログ信号に変換するデジタル・アナログコンバータ（Ｄ
／Ａ）である。５１１はモニタであり、復号されたビデ
オを表示する。
【０００７】５１２はオーディオデコーダであり、オー
ディオビットストリームをデコード処理する。５１３は
デジタルオーディオデータをアナログ信号に変換するデ
ジタル・アナログコンバータ（Ｄ／Ａ）である。５１４
はスピーカであり、復号された音声を出力する。
ディオビットストリームをデコード処理する。５１３は
デジタルオーディオデータをアナログ信号に変換するデ
ジタル・アナログコンバータ（Ｄ／Ａ）である。５１４
はスピーカであり、復号された音声を出力する。
【０００８】５１５は通信制御部であり、前記ビットス
トリームを送受信する部分である。５１６は通信経路で
あり、この場合は無線を使った経路を表している。５１
７は中継装置（基地局）であり、携帯端末との送受信を
行う設備である。５１８は通信経路であり、中継装置５
１７と他の携帯端末との通信経路を示す。５１９は同期
制御部であり、各ビットストリームに重畳された時間管
理情報を用いてビデオとオーディオとの同期再生制御を
行う。
トリームを送受信する部分である。５１６は通信経路で
あり、この場合は無線を使った経路を表している。５１
７は中継装置（基地局）であり、携帯端末との送受信を
行う設備である。５１８は通信経路であり、中継装置５
１７と他の携帯端末との通信経路を示す。５１９は同期
制御部であり、各ビットストリームに重畳された時間管
理情報を用いてビデオとオーディオとの同期再生制御を
行う。
【０００９】
【発明が解決しようとする課題】しかしながら、上記従
来の装置では通信回線の混雑状況によって、受信側にお
いて映像や音声が途切れてしまい、伝えたい情報を確実
に伝えることができないという問題が発生していた。上
述したような背景から本願発明の一つの目的は、上記の
欠点を除去するために成されたもので、どのような通信
回線状況でも画像が途切れないようにデータ通信するこ
とを可能にする画像処理装置、画像処理方法、記録媒体
及びプログラムを提供することである。
来の装置では通信回線の混雑状況によって、受信側にお
いて映像や音声が途切れてしまい、伝えたい情報を確実
に伝えることができないという問題が発生していた。上
述したような背景から本願発明の一つの目的は、上記の
欠点を除去するために成されたもので、どのような通信
回線状況でも画像が途切れないようにデータ通信するこ
とを可能にする画像処理装置、画像処理方法、記録媒体
及びプログラムを提供することである。
【００１０】
【課題を解決するための手段】本発明の一つの好適実施
態様における画像処理装置は、自然画像を符号化した自
然画像信号を入力する自然画像入力手段と、人工画像を
符号化した人工画像信号を入力する人工画像入力手段
と、前記自然画像信号と前記人工画像信号とを通信回線
の通信状況に応じて適応的に多重化して前記通信回線に
より送信する送信手段とを有することを特徴とする。
態様における画像処理装置は、自然画像を符号化した自
然画像信号を入力する自然画像入力手段と、人工画像を
符号化した人工画像信号を入力する人工画像入力手段
と、前記自然画像信号と前記人工画像信号とを通信回線
の通信状況に応じて適応的に多重化して前記通信回線に
より送信する送信手段とを有することを特徴とする。
【００１１】また、その一つの好適実施態様における画
像処理装置は、符号化された自然画像信号と符号化され
た人工画像信号とを通信回線の通信状況に応じて適応的
に多重化して送信された多重化信号を復号する画像処理
装置は、前記多重化信号を受信する受信手段と、前記受
信された多重化信号を前記自然画像信号と前記人工画像
信号に分離する分離手段と、前記分離手段により分離さ
れた前記自然画像信号を復号する自然画像復号手段と、
前記分離手段により分離された前記人工画像信号を復号
する人工画像復号手段とを有することを特徴とする。
像処理装置は、符号化された自然画像信号と符号化され
た人工画像信号とを通信回線の通信状況に応じて適応的
に多重化して送信された多重化信号を復号する画像処理
装置は、前記多重化信号を受信する受信手段と、前記受
信された多重化信号を前記自然画像信号と前記人工画像
信号に分離する分離手段と、前記分離手段により分離さ
れた前記自然画像信号を復号する自然画像復号手段と、
前記分離手段により分離された前記人工画像信号を復号
する人工画像復号手段とを有することを特徴とする。
【００１２】また、その一つの好適実施態様における画
像処理方法は、自然画像を符号化した自然画像信号を入
力する自然画像入力工程と、人工画像を符号化した人工
画像信号を入力する人工画像入力工程と、前記自然画像
信号と前記人工画像信号とを通信回線の通信状況に応じ
て適応的に多重化して前記通信回線により送信する送信
工程とを有することを特徴とする。
像処理方法は、自然画像を符号化した自然画像信号を入
力する自然画像入力工程と、人工画像を符号化した人工
画像信号を入力する人工画像入力工程と、前記自然画像
信号と前記人工画像信号とを通信回線の通信状況に応じ
て適応的に多重化して前記通信回線により送信する送信
工程とを有することを特徴とする。
【００１３】また、その一つの好適実施態様における画
像処理方法は、符号化された自然画像信号と符号化され
た人工画像信号とを通信回線の通信状況に応じて適応的
に多重化して送信された多重化信号を復号する画像処理
方法であって、前記多重化信号を受信する受信工程と、
前記受信された多重化信号を前記自然画像信号と前記人
工画像信号に分離する分離工程と、前記分離された前記
自然画像信号を復号する自然画像復号工程と、前記分離
された前記人工画像信号を復号する人工画像復号工程と
を有することを特徴とする。
像処理方法は、符号化された自然画像信号と符号化され
た人工画像信号とを通信回線の通信状況に応じて適応的
に多重化して送信された多重化信号を復号する画像処理
方法であって、前記多重化信号を受信する受信工程と、
前記受信された多重化信号を前記自然画像信号と前記人
工画像信号に分離する分離工程と、前記分離された前記
自然画像信号を復号する自然画像復号工程と、前記分離
された前記人工画像信号を復号する人工画像復号工程と
を有することを特徴とする。
【００１４】
【発明の実施の形態】以下、本発明の実施形態を、図面
を参照しながら説明する。 ＜第１の実施形態＞図１は、本発明の第１の実施形態に
よるテレビ電話システムの構成を示す図である。図１に
おいて、送信部における自然画像を撮影してビデオデー
タ（自然画像データ）を出力するビデオカメラ１０１、
Ａ／Ｄコンバータ１０２、ビデオエンコーダ１０３、マ
イクロフォン１０４、Ａ／Ｄコンバータ１０５、オーデ
ィオエンコーダ１０６は、図３のビデオカメラ５０１、
Ａ／Ｄコンバータ５０２、ビデオエンコーダ５０３、マ
イクロフォン５０４、Ａ／Ｄコンバータ５０５、オーデ
ィオエンコーダ５０６と同等であるので、ここでの詳細
な説明は省略する。尚、ビデオエンコーダ１０３はISO/
IEC 14496-２ (MPEG-4 Visual)規格に準拠した符号化処
理を行う。
を参照しながら説明する。 ＜第１の実施形態＞図１は、本発明の第１の実施形態に
よるテレビ電話システムの構成を示す図である。図１に
おいて、送信部における自然画像を撮影してビデオデー
タ（自然画像データ）を出力するビデオカメラ１０１、
Ａ／Ｄコンバータ１０２、ビデオエンコーダ１０３、マ
イクロフォン１０４、Ａ／Ｄコンバータ１０５、オーデ
ィオエンコーダ１０６は、図３のビデオカメラ５０１、
Ａ／Ｄコンバータ５０２、ビデオエンコーダ５０３、マ
イクロフォン５０４、Ａ／Ｄコンバータ５０５、オーデ
ィオエンコーダ５０６と同等であるので、ここでの詳細
な説明は省略する。尚、ビデオエンコーダ１０３はISO/
IEC 14496-２ (MPEG-4 Visual)規格に準拠した符号化処
理を行う。
【００１５】また、通信制御部１１５、通信路１１６、
中継装置１１７、通信路１１８も図３の通信制御部５１
５、通信路５１６、中継装置５１７、通信路５１８と同
等であるので、ここでの詳細な説明は省略する。
中継装置１１７、通信路１１８も図３の通信制御部５１
５、通信路５１６、中継装置５１７、通信路５１８と同
等であるので、ここでの詳細な説明は省略する。
【００１６】送信部におけるアニメーション生成器１１
９は、操作部１３０の指示によりアニメーションデータ
（人工画像データ）を生成する。アニメーション生成器
１１９は顔の表情や手の動きなどをシミュレートして予
め生成されたグラフィックスのアニメーションデータ
（後述する骨格データ、動きデータ、テクスチャデータ
を有する）を出力する。アニメーションの作成方法につ
いては後述する。
９は、操作部１３０の指示によりアニメーションデータ
（人工画像データ）を生成する。アニメーション生成器
１１９は顔の表情や手の動きなどをシミュレートして予
め生成されたグラフィックスのアニメーションデータ
（後述する骨格データ、動きデータ、テクスチャデータ
を有する）を出力する。アニメーションの作成方法につ
いては後述する。
【００１７】アニメーションエンコーダ１２０は、アニ
メーション生成器１１９で生成されたアニメーションデ
ータ（骨格データ、動きデータ、テクスチャデータ）を
圧縮符号化する。
メーション生成器１１９で生成されたアニメーションデ
ータ（骨格データ、動きデータ、テクスチャデータ）を
圧縮符号化する。
【００１８】マルチプレクサ１０７は、操作部１３０の
指示によりビデオエンコーダの出力（ビデオストリー
ム）と、アニメーションエンコーダの出力（アニメーシ
ョンストリーム）を適応的に選択して多重化して画像ス
トリームを出力する。
指示によりビデオエンコーダの出力（ビデオストリー
ム）と、アニメーションエンコーダの出力（アニメーシ
ョンストリーム）を適応的に選択して多重化して画像ス
トリームを出力する。
【００１９】マルチプレクサ１２１は、マルチプレクサ
１０７から出力された画像ストリームと、オーディオエ
ンコーダ１０６から出力されたオーディオストリームと
を多重化したデータストリームを通信制御部１１５に供
給する。
１０７から出力された画像ストリームと、オーディオエ
ンコーダ１０６から出力されたオーディオストリームと
を多重化したデータストリームを通信制御部１１５に供
給する。
【００２０】一方、受信部では、通信制御部１１５から
入力されたデータストリームは、デマルチプレクサ１２
２により、ビデオデータ及び又はアニメーションデータ
で構成された画像ストリーム、およびオーディオストリ
ームに分離される。前記分離方法は前記データストリー
ムのヘッダ部に書き込まれている属性情報に基づいて行
われる。
入力されたデータストリームは、デマルチプレクサ１２
２により、ビデオデータ及び又はアニメーションデータ
で構成された画像ストリーム、およびオーディオストリ
ームに分離される。前記分離方法は前記データストリー
ムのヘッダ部に書き込まれている属性情報に基づいて行
われる。
【００２１】デマルチプレクサ１０８は、画像ストリー
ムからビデオデータおよびアニメーションデータを分離
する。前記分離処理は前記画像ストリームのヘッダ部に
書き込まれている属性情報に基づいて行われる。
ムからビデオデータおよびアニメーションデータを分離
する。前記分離処理は前記画像ストリームのヘッダ部に
書き込まれている属性情報に基づいて行われる。
【００２２】各々メディア（ビデオ、アニメーション、
オーディオ）はそれぞれに対応するデコーダ１０９，１
２３，１１２によって復号処理が行われる。Ｄ／Ａコン
バータ１１３は、オーディオデコーダ１１２で復号され
たオーディオデータをＤ／Ａ変換する。スピーカ１１４
はＤ／Ａコンバートされたオーディオを再生出力する。
オーディオ）はそれぞれに対応するデコーダ１０９，１
２３，１１２によって復号処理が行われる。Ｄ／Ａコン
バータ１１３は、オーディオデコーダ１１２で復号され
たオーディオデータをＤ／Ａ変換する。スピーカ１１４
はＤ／Ａコンバートされたオーディオを再生出力する。
【００２３】一方、アニメーションデコーダ１２３で復
号処理されたアニメーションデータは、アニメーション
合成器１２４によって顔や手などのアニメーションが合
成される。同期制御部１１１は、オーディオと、ビデオ
またはアニメーションの同期制御をつかさどる部分であ
る。
号処理されたアニメーションデータは、アニメーション
合成器１２４によって顔や手などのアニメーションが合
成される。同期制御部１１１は、オーディオと、ビデオ
またはアニメーションの同期制御をつかさどる部分であ
る。
【００２４】マルチプレクサ１１０は、送信側におい
て、ビデオあるいはアニメーションがどのように多重化
されて送信されたかを判断し、その判断結果に基づいて
前記ビデオと前記アニメーションとを合成した画像デー
タをディスプレイコントローラ１２５に出力する。尚、
マルチプレクサ１１０の詳細については後述する。モニ
タ１２６には、ビデオ及び／又はアニメーションが表示
される。
て、ビデオあるいはアニメーションがどのように多重化
されて送信されたかを判断し、その判断結果に基づいて
前記ビデオと前記アニメーションとを合成した画像デー
タをディスプレイコントローラ１２５に出力する。尚、
マルチプレクサ１１０の詳細については後述する。モニ
タ１２６には、ビデオ及び／又はアニメーションが表示
される。
【００２５】本実施形態では、送信側において、操作部
１３０によりビデオ（自然画像）とアニメーション（人
工画像）との合成処理を複数種の中から選択することが
できる。
１３０によりビデオ（自然画像）とアニメーション（人
工画像）との合成処理を複数種の中から選択することが
できる。
【００２６】複数種の合成処理例を図４に示す。図４
（ａ）では、背景画像及び人物画像ともにビデオカメラ
から出力されたビデオ（自然画像）を用いた例、図４
（ｂ）では、背景画像はアニメーション生成器１１９で
生成されたアニメーション（人工画像）を用いて、人物
画像はビデオカメラから出力されたビデオを用いる例、
図４（ｃ）では背景画像はビデオカメラから出力された
ビデオを用いて、人物画像はアニメーション生成器１１
９で生成されたアニメーションを用いる例、図４（ｄ）
では、背景画像及び人物画像ともにアニメーション生成
器１１９で生成されたアニメーションを用いる例を示
す。
（ａ）では、背景画像及び人物画像ともにビデオカメラ
から出力されたビデオ（自然画像）を用いた例、図４
（ｂ）では、背景画像はアニメーション生成器１１９で
生成されたアニメーション（人工画像）を用いて、人物
画像はビデオカメラから出力されたビデオを用いる例、
図４（ｃ）では背景画像はビデオカメラから出力された
ビデオを用いて、人物画像はアニメーション生成器１１
９で生成されたアニメーションを用いる例、図４（ｄ）
では、背景画像及び人物画像ともにアニメーション生成
器１１９で生成されたアニメーションを用いる例を示
す。
【００２７】次に、マルチプレクサ１１０の合成処理に
ついて図５を参照しながら説明する。ビデオデコータ１
０９より出力されたビデオデータは一旦１次フレームバ
ッファ１０００に記憶される。通常ビデオデータは、通
常フレーム単位で扱われ、二次元のピクセルデータであ
る。一方、ポリゴンを用いたアニメーションデータの場
合は、三次元画像の場合が多い。従って、そのままでは
ビデオとアニメーションとの合成ができない。
ついて図５を参照しながら説明する。ビデオデコータ１
０９より出力されたビデオデータは一旦１次フレームバ
ッファ１０００に記憶される。通常ビデオデータは、通
常フレーム単位で扱われ、二次元のピクセルデータであ
る。一方、ポリゴンを用いたアニメーションデータの場
合は、三次元画像の場合が多い。従って、そのままでは
ビデオとアニメーションとの合成ができない。
【００２８】そこで、アニメーション合成器１２４で合
成処理を行った後、一旦二次元のフレームバッファであ
る１次フレームバッファ１００１にレンダリングを行
い、フレームデータを構築する。
成処理を行った後、一旦二次元のフレームバッファであ
る１次フレームバッファ１００１にレンダリングを行
い、フレームデータを構築する。
【００２９】アニメーションが後景の場合（図４（ｂ）
参照）は、前景のビデオのマスク情報（マスキング情報
制御器１００３によりマスク情報を得る）を用い、フレ
ーム単位での合成を行う。一方、アニメーションが前景
の場合（図４（ｃ）参照）には、レンダリングを行った
結果、形成された二次元ビデオ画像からマスク画像を形
成し、このデータに基づいて合成を行う。
参照）は、前景のビデオのマスク情報（マスキング情報
制御器１００３によりマスク情報を得る）を用い、フレ
ーム単位での合成を行う。一方、アニメーションが前景
の場合（図４（ｃ）参照）には、レンダリングを行った
結果、形成された二次元ビデオ画像からマスク画像を形
成し、このデータに基づいて合成を行う。
【００３０】また、アニメーションの合成速度は、フレ
ームレートコントロール１００２において、適宜ビデオ
の再生スピードとの調歩がとられる。フレーム合成器１
００４では、各々の１次フレームバッファ１０００、１
００１に形成されたフレームデータとマスキング情報制
御器１００３から得られたマスク情報とを入力し、前記
マスク情報により適宜マスキング処理を行いながら、２
フレーム（あるいはそれ以上の数の１次フレーム）の合
成を行い、これを表示用フレームバッファ１００５に書
き込む。このような処理によって、ビデオとアニメーシ
ョンの自然な合成が可能となる。
ームレートコントロール１００２において、適宜ビデオ
の再生スピードとの調歩がとられる。フレーム合成器１
００４では、各々の１次フレームバッファ１０００、１
００１に形成されたフレームデータとマスキング情報制
御器１００３から得られたマスク情報とを入力し、前記
マスク情報により適宜マスキング処理を行いながら、２
フレーム（あるいはそれ以上の数の１次フレーム）の合
成を行い、これを表示用フレームバッファ１００５に書
き込む。このような処理によって、ビデオとアニメーシ
ョンの自然な合成が可能となる。
【００３１】次に、本実施形態におけるアニメーション
作成方法を説明する。図６は、グラフィックスの骨格を
表現するメッシュを説明する図である。図６に示したも
のはメッシュ（Mesh）と呼ばれ、グラフィックスの骨格
を表現するもので、各頂点を結んだ各ユニット（図６の
場合は三角形）は、一般にポリゴンと呼ばれる。例えば
図６の頂点Ａ、頂点Ｂ及び頂点Ｃで囲まれる部分が１つ
のポリゴンとして定義される。
作成方法を説明する。図６は、グラフィックスの骨格を
表現するメッシュを説明する図である。図６に示したも
のはメッシュ（Mesh）と呼ばれ、グラフィックスの骨格
を表現するもので、各頂点を結んだ各ユニット（図６の
場合は三角形）は、一般にポリゴンと呼ばれる。例えば
図６の頂点Ａ、頂点Ｂ及び頂点Ｃで囲まれる部分が１つ
のポリゴンとして定義される。
【００３２】図６のような図形を構成するためには、各
頂点の座標値、頂点間の組合せ情報（例えば、ＡとＢと
Ｃ、ＡとＧとＨ、ＡとＥなど）を記述することによって
達成される。通常このような構成は３次元空間にて構成
されるが、ISO／IEC 14496-1(MPEG-4 Systems)規格など
では、これを２次元に縮退したものも考案されている。
頂点の座標値、頂点間の組合せ情報（例えば、ＡとＢと
Ｃ、ＡとＧとＨ、ＡとＥなど）を記述することによって
達成される。通常このような構成は３次元空間にて構成
されるが、ISO／IEC 14496-1(MPEG-4 Systems)規格など
では、これを２次元に縮退したものも考案されている。
【００３３】なお、実際にはこのような骨格情報の上
に、テクスチャと呼ばれる画像（或いは模様）データ
を、各ポリゴン上にマッピングする（これをテクスチャ
マッピングとよぶ）ことによって、実在に近いグラフィ
ックスのモデルが形成される。
に、テクスチャと呼ばれる画像（或いは模様）データ
を、各ポリゴン上にマッピングする（これをテクスチャ
マッピングとよぶ）ことによって、実在に近いグラフィ
ックスのモデルが形成される。
【００３４】図６のようなグラフィックスオブジェクト
に動きを加えるためには、時間方向に沿って、ポリゴン
の各座標位置に変化を与えることで実現される。図６の
矢印がその動きの例である。各頂点の動き方向とその大
きさが同じであれば、単純な平行移動となり、また、各
頂点ごとに動きの大きさとその方向を変化させることに
より、グラフィックスオブジェクトの動きと変形を表現
することが可能になる。
に動きを加えるためには、時間方向に沿って、ポリゴン
の各座標位置に変化を与えることで実現される。図６の
矢印がその動きの例である。各頂点の動き方向とその大
きさが同じであれば、単純な平行移動となり、また、各
頂点ごとに動きの大きさとその方向を変化させることに
より、グラフィックスオブジェクトの動きと変形を表現
することが可能になる。
【００３５】また、各頂点の動き情報を逐一再定義して
いくとデータ量が多くなってしまうため、頂点の動きベ
クトルの差分のみを記録する方式や、移動時間とその移
動軌跡をあらかじめ定義しておき、その規則に従ってア
ニメーション装置内でその軌跡に沿って自動でアニメー
トする方式などが実用化されている。
いくとデータ量が多くなってしまうため、頂点の動きベ
クトルの差分のみを記録する方式や、移動時間とその移
動軌跡をあらかじめ定義しておき、その規則に従ってア
ニメーション装置内でその軌跡に沿って自動でアニメー
トする方式などが実用化されている。
【００３６】ここで顔画像のアニメーション生成方法を
説明する。図７は、顔画像のモデル例を示す図である。
顔モデルの場合、一般的なグラフィックスオブジェクト
と異なり、顔、鼻など、そのモデル（固体）にも共通な
特徴が存在する。図７の例では、 Ａ：両目の距離 Ｂ：目の縦の長さ Ｃ：鼻の長さ Ｄ：鼻下からの口までの長さ Ｅ：口の幅 のそれぞれのパラメータから形成される。
説明する。図７は、顔画像のモデル例を示す図である。
顔モデルの場合、一般的なグラフィックスオブジェクト
と異なり、顔、鼻など、そのモデル（固体）にも共通な
特徴が存在する。図７の例では、 Ａ：両目の距離 Ｂ：目の縦の長さ Ｃ：鼻の長さ Ｄ：鼻下からの口までの長さ Ｅ：口の幅 のそれぞれのパラメータから形成される。
【００３７】このパラメータのセット、および、それに
付随するテクスチャを複数用意することで、顔アニメー
ションのテンプレート集とすることが可能である。ま
た、顔画像の場合には、目や口の両端などの「特徴点」
が多数存在する。この特徴点の位置を操作することによ
って、顔に表情を作ることが可能になる。
付随するテクスチャを複数用意することで、顔アニメー
ションのテンプレート集とすることが可能である。ま
た、顔画像の場合には、目や口の両端などの「特徴点」
が多数存在する。この特徴点の位置を操作することによ
って、顔に表情を作ることが可能になる。
【００３８】たとえば、「目じりの特徴点の位置を下げ
る」（実際には、それに伴って特徴点付近の形状データ
も変化する）、および、「口の両端の位置を上げる」と
いうコマンドを与えることによって、「笑う」という表
情を作成することが可能になる。
る」（実際には、それに伴って特徴点付近の形状データ
も変化する）、および、「口の両端の位置を上げる」と
いうコマンドを与えることによって、「笑う」という表
情を作成することが可能になる。
【００３９】このように、グラフィックスデータによる
アニメーションは、実動画画像を伝送するのに比較して
単位時間当りに必要なビット数が少なくて済むという特
徴を有する。
アニメーションは、実動画画像を伝送するのに比較して
単位時間当りに必要なビット数が少なくて済むという特
徴を有する。
【００４０】また、顔のアニメーションと同様に、体の
アニメーションにも同じような方式が適用可能である。
具体的には、手や足の関節などの特徴点データを抽出
し、その点について動き情報を付加することによって、
少ないデータにて、「歩く」、「手をあげる」などの行
動をアニメートすることができる。
アニメーションにも同じような方式が適用可能である。
具体的には、手や足の関節などの特徴点データを抽出
し、その点について動き情報を付加することによって、
少ないデータにて、「歩く」、「手をあげる」などの行
動をアニメートすることができる。
【００４１】第１の実施形態によれば、ユーザーの指示
より１画面内におけるビデオとアニメーションとを適宜
合成したデータストリームを通信することができるの
で、前記データストリームのビットレートをビデオとア
ニメーションの合成比率を変えることによって制御する
ことができる。これを利用することによって、通信状況
に応じたデータストリームの通信が可能となる。
より１画面内におけるビデオとアニメーションとを適宜
合成したデータストリームを通信することができるの
で、前記データストリームのビットレートをビデオとア
ニメーションの合成比率を変えることによって制御する
ことができる。これを利用することによって、通信状況
に応じたデータストリームの通信が可能となる。
【００４２】＜第２の実施形態＞図８は、本発明に係る
第２の実施形態のテレビ電話システムの構成を示すブロ
ック図である。尚、図８において図１と同一機能を有す
る部分には同一符号を付し、その説明を省略する。
第２の実施形態のテレビ電話システムの構成を示すブロ
ック図である。尚、図８において図１と同一機能を有す
る部分には同一符号を付し、その説明を省略する。
【００４３】図８において、アニメーション雛型保存器
２０１は顔アニメーションデータの雛型（骨格、肌の
色、髪型、眼鏡の有無）情報を保存する。アニメーショ
ン選択器２０２は、ユーザーの趣向に応じてアニメーシ
ョンの雛型及びアニメーションの動作パターン（手を振
る、頭を下げるなど）を選択する。即ち、第２の実施形
態ではアニメーションの雛型を予め複数備え、ユーザー
が適宜選択してアニメーションを生成して伝送すること
を可能にする。
２０１は顔アニメーションデータの雛型（骨格、肌の
色、髪型、眼鏡の有無）情報を保存する。アニメーショ
ン選択器２０２は、ユーザーの趣向に応じてアニメーシ
ョンの雛型及びアニメーションの動作パターン（手を振
る、頭を下げるなど）を選択する。即ち、第２の実施形
態ではアニメーションの雛型を予め複数備え、ユーザー
が適宜選択してアニメーションを生成して伝送すること
を可能にする。
【００４４】第２の実施形態によれば、ユーザーが所望
する動きのアニメーションを容易に生成することがで
き、ユーザーの指示により１画面内におけるビデオとア
ニメーションとを適宜合成したデータストリームを通信
することができるので、前記データストリームのビット
レートをビデオとアニメーションの合成比率を変えるこ
とによって制御することができる。これを利用すること
によって、通信状況に応じたデータストリームの通信が
可能となる。
する動きのアニメーションを容易に生成することがで
き、ユーザーの指示により１画面内におけるビデオとア
ニメーションとを適宜合成したデータストリームを通信
することができるので、前記データストリームのビット
レートをビデオとアニメーションの合成比率を変えるこ
とによって制御することができる。これを利用すること
によって、通信状況に応じたデータストリームの通信が
可能となる。
【００４５】＜第３の実施形態＞図９は、本発明に係る
第３の実施形態のテレビ電話システムの構成を示すブロ
ック図である。尚、図９において、図８と同一機能を有
する部分には同一符号を付し、その説明を省略する。図
９において、ビデオトラッカ３０１は、ビデオの中から
適当な方式を用いて任意のオブジェクト（たとえば人間
の顔など）を識別し抽出する装置である。
第３の実施形態のテレビ電話システムの構成を示すブロ
ック図である。尚、図９において、図８と同一機能を有
する部分には同一符号を付し、その説明を省略する。図
９において、ビデオトラッカ３０１は、ビデオの中から
適当な方式を用いて任意のオブジェクト（たとえば人間
の顔など）を識別し抽出する装置である。
【００４６】ビデオ解析部３０２は、ビデオトラッカ３
０１により抽出されたオブジェクト画像を解析して、前
記ビデオを構成する各オブジェクトを解析し、その解析
結果をアニメーション選択装置２０２’に供給する。例
えば、ビデオ解析部３０２が人物のオブジェクトを解析
する場合、顔の輪郭抽出、眼球の位置、口の位置等を解
析する。
０１により抽出されたオブジェクト画像を解析して、前
記ビデオを構成する各オブジェクトを解析し、その解析
結果をアニメーション選択装置２０２’に供給する。例
えば、ビデオ解析部３０２が人物のオブジェクトを解析
する場合、顔の輪郭抽出、眼球の位置、口の位置等を解
析する。
【００４７】通信状況監視部３０３は、通信路の通信状
況（有効ビットレート、混雑状況等）を監視し、その通
信状況においてアニメーションを発生させ、適応的にビ
デオとアニメメーションとを多重化して伝送するように
制御する。
況（有効ビットレート、混雑状況等）を監視し、その通
信状況においてアニメーションを発生させ、適応的にビ
デオとアニメメーションとを多重化して伝送するように
制御する。
【００４８】図４を用いて通信状況に応じたビデオとア
ニメーションとの合成処理を説明する。尚、図４におい
て、前景画像（人物）の動きが激しく、背景画像は固定
している場合とする。また、図４の各状態における符号
化した際のトータルビットレートを図１０に示す。図１
０における（ａ），（ｂ），（ｃ），（ｄ）は、夫々図
４（ａ），（ｂ），（ｃ），（ｄ）の画像に対応する。
ニメーションとの合成処理を説明する。尚、図４におい
て、前景画像（人物）の動きが激しく、背景画像は固定
している場合とする。また、図４の各状態における符号
化した際のトータルビットレートを図１０に示す。図１
０における（ａ），（ｂ），（ｃ），（ｄ）は、夫々図
４（ａ），（ｂ），（ｃ），（ｄ）の画像に対応する。
【００４９】本実施形態では通信状況が良好な場合（例
えば、通信路が空いていて、高いビットレートのデータ
が通信可能な場合）にはビデオ画像のみで伝送し（図４
（ａ））を、通信状況が悪くなる（例えば、通信路が混
雑して、通信できるビットレートが低くなる）につれて
図４（ｂ）→図４（ｃ）→図４（ｄ）と適応的に合成処
理を自動制御する。
えば、通信路が空いていて、高いビットレートのデータ
が通信可能な場合）にはビデオ画像のみで伝送し（図４
（ａ））を、通信状況が悪くなる（例えば、通信路が混
雑して、通信できるビットレートが低くなる）につれて
図４（ｂ）→図４（ｃ）→図４（ｄ）と適応的に合成処
理を自動制御する。
【００５０】アニメーション選択装置２０２’では、通
信状況監視部３０３とビデオ解析部３０２との結果に応
じて、アニメーションの雛型を選択して、実写に近いア
ニメーションを生成するようにする。
信状況監視部３０３とビデオ解析部３０２との結果に応
じて、アニメーションの雛型を選択して、実写に近いア
ニメーションを生成するようにする。
【００５１】上述したように画面全体を、ビデオとアニ
メーションを適宜組み合わせて構成することによって、
通信状況に適したビデオとアニメーションの組み合わせ
（図４参照）を選択（ビデオとアニメーションの合成比
率が通信状況により変化する）して通信を行うことがで
きるとともに、ユーザの趣向にも合わせた会話も可能と
なる。
メーションを適宜組み合わせて構成することによって、
通信状況に適したビデオとアニメーションの組み合わせ
（図４参照）を選択（ビデオとアニメーションの合成比
率が通信状況により変化する）して通信を行うことがで
きるとともに、ユーザの趣向にも合わせた会話も可能と
なる。
【００５２】また、第３の実施形態によれば、通信回線
状況に応じてビデオとアニメーションを適応的に多重化
して送受信できるため、従来受信側で発生していた画像
や音声の途切れを防止することができる。
状況に応じてビデオとアニメーションを適応的に多重化
して送受信できるため、従来受信側で発生していた画像
や音声の途切れを防止することができる。
【００５３】また、アニメーションを形成するメッシュ
の細かさをダイナミックに変更することにより、アニメ
ーション単体でのビットレートを削減する方法を利用し
て、通信回線状況に応じてメッシュの細かさをダイナミ
ックに変更するようにして更にビットレートを削減する
ようにしてもよい。
の細かさをダイナミックに変更することにより、アニメ
ーション単体でのビットレートを削減する方法を利用し
て、通信回線状況に応じてメッシュの細かさをダイナミ
ックに変更するようにして更にビットレートを削減する
ようにしてもよい。
【００５４】尚、上記実施形態の機能を実現するための
ソフトウェアのプログラムコードを供給し、その装置の
コンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプ
ログラムに従って動作させることによって実施したもの
も、本発明の範疇に含まれる。
ソフトウェアのプログラムコードを供給し、その装置の
コンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプ
ログラムに従って動作させることによって実施したもの
も、本発明の範疇に含まれる。
【００５５】この場合、上記ソフトウェアのプログラム
コード自体が上述した実施形態の機能を実現することに
なり、そのプログラムコード自体、およびそのプログラ
ムコードをコンピュータに供給するための手段、例えば
かかるプログラムコードを格納した記録媒体は本発明を
構成する。かかるプログラムコードを記憶する記録媒体
としては、例えばフロッピー（Ｒ）ディスク、ハードデ
ィスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、
磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用い
ることができる。
コード自体が上述した実施形態の機能を実現することに
なり、そのプログラムコード自体、およびそのプログラ
ムコードをコンピュータに供給するための手段、例えば
かかるプログラムコードを格納した記録媒体は本発明を
構成する。かかるプログラムコードを記憶する記録媒体
としては、例えばフロッピー（Ｒ）ディスク、ハードデ
ィスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、
磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用い
ることができる。
【００５６】なお、上記実施形態は、何れも本発明を実
施するにあたっての具体化の例を示したものに過ぎず、
これらによって本発明の技術的範囲が限定的に解釈され
てはならないものである。すなわち、本発明はその技術
思想、またはその主要な特徴から逸脱することなく、様
々な形で実施することができる。
施するにあたっての具体化の例を示したものに過ぎず、
これらによって本発明の技術的範囲が限定的に解釈され
てはならないものである。すなわち、本発明はその技術
思想、またはその主要な特徴から逸脱することなく、様
々な形で実施することができる。
【００５７】
【発明の効果】以上説明したように本発明によれば、通
信回線の状況に応じて適応的に多重化された自然画像信
号及び人工画像信号を送受信することができるので、従
来のように画像が途切れるような状況を回避することが
できる。
信回線の状況に応じて適応的に多重化された自然画像信
号及び人工画像信号を送受信することができるので、従
来のように画像が途切れるような状況を回避することが
できる。
【図１】本発明に係る第１の実施形態のテレビ電話シス
テムの構成を示すブロック図である。
テムの構成を示すブロック図である。
【図２】携帯端末を用いた通信システムの例を説明する
ための図である。
ための図である。
【図３】従来のテレビ電話システムの構成を示すブロッ
ク図である。
ク図である。
【図４】本実施形態の画像合成例を示す図である。
【図５】本実施形態のマルチプレクサ１１０の詳細構成
を示すブロック図である。
を示すブロック図である。
【図６】グラフィックスの骨格を表現するメッシュを説
明する図である。
明する図である。
【図７】顔画像のモデル例を示す図である。
【図８】本発明に係る第２の実施形態のテレビ電話シス
テムの構成を示すブロック図である。
テムの構成を示すブロック図である。
【図９】本発明に係る第３の実施形態のテレビ電話シス
テムの構成を示すブロック図である。
テムの構成を示すブロック図である。
【図１０】図４に示す各画像に対する符号化時のトータ
ルビットレートを説明する図である。
ルビットレートを説明する図である。
１０１は、ビデオカメラ １０２は、Ａ／Ｄコンバータ １０３は、ビデオエンコーダ １０４は、マイクロフォン １０５は、Ａ／Ｄコンバータ １０６は、オーディオエンコーダ １０７は、マルチプレクサ １０８は、デマルチプレクサ １０９は、ビデオデコーダ １１０は、マルチプレクサ １１１は、同期制御部 １１２は、オーディオデコーダ １１３は、Ｄ／Ａコンバータ １１４は、スピーカ １１５は、通信制御部 １１６は、通信回線 １１７は、中継システム １１８は、通信回線 １１９は、アニメーション生成器 １２０は、アニメーションエンコーダ １２１は、マルチプレクサ １２２は、デマルチプレクサ １２３は、アニメーションデコーダ １２４は、アニメーション合成器 １２５は、ディスプレイコントローラ １２６は、モニタ ２０１は、アニメーション雛型保存器 ２０２は、アニメーション選択器 ３０１は、ビデオトラッカ ３０２は、ビデオ解析部 ３０３は、通信状況監視部 １３０は、操作部 ４０１は、携帯端末 ４０２は、通信回線 ４０３は、中継装置 ４０４は、通信回線 ４０５は、携帯端末 ５０１は、ビデオカメラ ５０２は、Ａ／Ｄコンバータ ５０３は、ビデオエンコーダ ５０４は、マイクロフォン ５０５は、Ａ／Ｄコンバータ ５０６は、オーディオエンコーダ ５０７は、マルチプレクサ ５０８は、デマルチプレクサ ５０９は、ビデオデコーダ ５１０は、Ｄ／Ａコンバータ ５１１は、モニタ ５１２は、オーディオデコーダ ５１３は、Ｄ／Ａコンバータ ５１４は、スピーカ ５１５は、通信制御部 ５１６は、通信回線 ５１７は、中継装置 ５１８は、通信回線 ５１９は、同期制御部
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 MA00 MB01 MB29 PP12 PP19 RB02 RC32 SS07 SS20 SS30 TA80 TC21 TD12 UA02 UA05 UA34 UA38 5C063 AB07 AC01 CA07 CA40 DA13 5C064 AA01 AB04 AC04 AC09 AC12 AD03 AD14 AD16
Claims (24)
- 【請求項１】 自然画像を符号化した自然画像信号を入
力する自然画像入力手段と、 人工画像を符号化した人工画像信号を入力する人工画像
入力手段と、 前記自然画像信号と前記人工画像信号とを通信回線の通
信状況に応じて適応的に多重化して前記通信回線により
送信する送信手段とを有することを特徴とする画像処理
装置。 - 【請求項２】 前記送信手段は、前記通信状況が空いて
いる場合は前記自然画像信号を送信し、前記通信状況が
混雑している場合は前記人工画像信号を送信することを
特徴とする請求項１に記載の画像処理装置。 - 【請求項３】 前記送信手段は、１画面が前記自然画像
と前記人工画像で構成されるように前記自然画像信号と
前記人工画像信号とを多重化して送信することを特徴と
する請求項１又は２に記載の画像処理装置。 - 【請求項４】 前記送信手段は、前記通信状況に応じて
前記自然画像と前記人工画像との１画面内おける多重比
率が変化することを特徴とする請求項１〜３のいずれか
１項に記載の画像処理装置。 - 【請求項５】 前記人工画像信号は、前記自然画像信号
内の一部のオブジェクト画像を置換するのに用いられる
ことを特徴とする請求項１〜４のいずれか１項に記載の
画像処理装置。 - 【請求項６】 前記自然画像入力手段は、被写体像を撮
像する撮像手段と、前記撮像手段によって撮像された自
然画像信号を符号化する符号化手段とを含むことを特徴
とする請求項１〜５のいずれか１項に記載の画像処理装
置。 - 【請求項７】 前記人工画像入力手段は、人工画像信号
を生成するための複数種類のモデルデータを記憶する記
憶手段と、前記複数種類のモデルデータから所望のモデ
ルデータを選択する選択手段とを含むことを特徴とする
請求項１〜６のいずれか１項に記載の画像処理装置。 - 【請求項８】 さらに、オーディオ信号を入力するオー
ディオ信号入力手段を有し、前記送信手段は前記オーデ
ィオ信号も多重化して送信することを特徴とする請求項
１〜７のいずれか１項に記載の画像処理装置。 - 【請求項９】 前記符号化手段は、MPEG-4に準拠して前
記自然画像信号を符号化することを特徴とする請求項６
に記載の画像処理装置。 - 【請求項１０】 前記人工画像信号はアニメーション画
像であることを特徴とする請求項１〜９のいずれか１項
に記載の画像処理装置。 - 【請求項１１】 符号化された自然画像信号と符号化さ
れた人工画像信号とを通信回線の通信状況に応じて適応
的に多重化して送信された多重化信号を復号する画像処
理装置であって、 前記多重化信号を受信する受信手段と、 前記受信された多重化信号を前記自然画像信号と前記人
工画像信号に分離する分離手段と、 前記分離手段により分離された前記自然画像信号を復号
する自然画像復号手段と、 前記分離手段により分離された前記人工画像信号を復号
する人工画像復号手段とを有することを特徴とする画像
処理装置。 - 【請求項１２】 さらに、前記自然画像復号手段により
復号された自然画像信号と前記人工画像復号手段により
復号された人工画像信号とを合成する合成手段を有する
ことを特徴とする請求項１１に記載の画像処理装置。 - 【請求項１３】 さらに、前記合成手段により合成され
た画像信号を表示する表示手段とを有することを特徴と
する請求項１２に記載の画像処理装置。 - 【請求項１４】 前記多重化信号は、１画面が自然画像
信号と人工画像信号で構成されるように前記自然画像信
号と前記人工画像信号とが多重化された信号であること
を特徴とする請求項１１〜１３のいずれか１項に記載の
画像処理装置。 - 【請求項１５】 前記多重化信号は、前記通信状況に応
じて前記自然画像信号と前記人工画像信号との１画面内
おける比率が変化することを特徴とする請求項１１〜１
４のいずれか１項に記載の画像処理装置。 - 【請求項１６】 前記人工画像信号は、自然画像内の一
部のオブジェクト画像を置換するために用いられること
を特徴とする請求項１１〜１５のいずれか１項に記載の
画像処理装置。 - 【請求項１７】 さらに、符号化されたオーディオ信号
を復号するオーディオ復号手段を有し、 前記多重化信号には前記符号化されたオーディオ信号も
多重化されており、前記分離手段は前記オーディオ信号
を分離し、前記オーディオ復号手段は前記分離されたオ
ーディオ信号を復号することを特徴とする請求項１１〜
１６のいずれか１項に記載の画像処理装置。 - 【請求項１８】 前記人工画像信号はアニメーション画
像であることを特徴とする請求項１１〜１７のいずれか
１項に記載の画像処理装置。 - 【請求項１９】 自然画像を符号化した自然画像信号を
入力する自然画像入力工程と、 人工画像を符号化した人工画像信号を入力する人工画像
入力工程と、 前記自然画像信号と前記人工画像信号とを通信回線の通
信状況に応じて適応的に多重化して前記通信回線により
送信する送信工程とを有することを特徴とする画像処理
方法。 - 【請求項２０】 請求項１９に記載の画像処理方法をコ
ンピュータに実行させるためのプログラムを記録したコ
ンピュータ読み取り可能な記録媒体。 - 【請求項２１】 請求項１９に記載の画像処理方法をコ
ンピュータに実行させるためのプログラム。 - 【請求項２２】 符号化された自然画像信号と符号化さ
れた人工画像信号とを通信回線の通信状況に応じて適応
的に多重化して送信された多重化信号を復号する画像処
理方法であって、 前記多重化信号を受信する受信工程と、 前記受信された多重化信号を前記自然画像信号と前記人
工画像信号に分離する分離工程と、 前記分離された前記自然画像信号を復号する自然画像復
号工程と、 前記分離された前記人工画像信号を復号する人工画像復
号工程とを有することを特徴とする画像処理方法。 - 【請求項２３】 請求項２２に記載の画像処理方法をコ
ンピュータに実行させるためのプログラムを記録したコ
ンピュータ読み取り可能な記録媒体。 - 【請求項２４】 請求項２２に記載の画像処理方法をコ
ンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002020385A JP3854871B2 (ja) | 2001-01-30 | 2002-01-29 | 画像処理装置、画像処理方法、記録媒体及びプログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-21978 | 2001-01-30 | ||
| JP2001021978 | 2001-01-30 | ||
| JP2002020385A JP3854871B2 (ja) | 2001-01-30 | 2002-01-29 | 画像処理装置、画像処理方法、記録媒体及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002320209A true JP2002320209A (ja) | 2002-10-31 |
| JP3854871B2 JP3854871B2 (ja) | 2006-12-06 |
Family
ID=26608541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002020385A Expired - Fee Related JP3854871B2 (ja) | 2001-01-30 | 2002-01-29 | 画像処理装置、画像処理方法、記録媒体及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3854871B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006014331A (ja) * | 2004-06-25 | 2006-01-12 | Xerox Corp | 文書圧縮方法、文書を圧縮するためのシステム、及び画像処理装置 |
| JP2006148561A (ja) * | 2004-11-19 | 2006-06-08 | Nippon Syst Design Kk | デジタル動画像伝送方法及びデジタル動画像伝送装置 |
| JP2010239393A (ja) * | 2009-03-31 | 2010-10-21 | Brother Ind Ltd | 通信制御装置、通信制御方法、通信制御プログラム |
| WO2016170740A1 (en) * | 2015-04-23 | 2016-10-27 | Canon Kabushiki Kaisha | Transmission apparatus, mixed reality system, transmission method, and program |
| WO2019198542A1 (ja) * | 2018-04-13 | 2019-10-17 | ソニー株式会社 | 多方向通信装置、多方向通信方法、およびプログラム |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05153581A (ja) * | 1991-12-02 | 1993-06-18 | Seiko Epson Corp | 顔画像符号化方式 |
| JPH05316491A (ja) * | 1992-05-07 | 1993-11-26 | Seiko Epson Corp | 顔画像符号化方式 |
| JPH0884331A (ja) * | 1994-09-13 | 1996-03-26 | Canon Inc | 画像通信装置およびその画像通信方法 |
| JPH11177436A (ja) * | 1997-12-12 | 1999-07-02 | Kokusai Electric Co Ltd | データ通信装置 |
| JPH11252563A (ja) * | 1998-03-05 | 1999-09-17 | Fuji Xerox Co Ltd | 画像符号化装置、画像復号化装置および画像処理装置、並びに画像符号化方法、画像復号化方法および画像処理方法 |
| JP2001148856A (ja) * | 1999-11-19 | 2001-05-29 | Matsushita Electric Ind Co Ltd | 符号量制御装置、符号量制御方法、及び符号量制御プログラム記録媒体 |
-
2002
- 2002-01-29 JP JP2002020385A patent/JP3854871B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05153581A (ja) * | 1991-12-02 | 1993-06-18 | Seiko Epson Corp | 顔画像符号化方式 |
| JPH05316491A (ja) * | 1992-05-07 | 1993-11-26 | Seiko Epson Corp | 顔画像符号化方式 |
| JPH0884331A (ja) * | 1994-09-13 | 1996-03-26 | Canon Inc | 画像通信装置およびその画像通信方法 |
| JPH11177436A (ja) * | 1997-12-12 | 1999-07-02 | Kokusai Electric Co Ltd | データ通信装置 |
| JPH11252563A (ja) * | 1998-03-05 | 1999-09-17 | Fuji Xerox Co Ltd | 画像符号化装置、画像復号化装置および画像処理装置、並びに画像符号化方法、画像復号化方法および画像処理方法 |
| JP2001148856A (ja) * | 1999-11-19 | 2001-05-29 | Matsushita Electric Ind Co Ltd | 符号量制御装置、符号量制御方法、及び符号量制御プログラム記録媒体 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006014331A (ja) * | 2004-06-25 | 2006-01-12 | Xerox Corp | 文書圧縮方法、文書を圧縮するためのシステム、及び画像処理装置 |
| JP2006148561A (ja) * | 2004-11-19 | 2006-06-08 | Nippon Syst Design Kk | デジタル動画像伝送方法及びデジタル動画像伝送装置 |
| JP2010239393A (ja) * | 2009-03-31 | 2010-10-21 | Brother Ind Ltd | 通信制御装置、通信制御方法、通信制御プログラム |
| WO2016170740A1 (en) * | 2015-04-23 | 2016-10-27 | Canon Kabushiki Kaisha | Transmission apparatus, mixed reality system, transmission method, and program |
| JP2016206989A (ja) * | 2015-04-23 | 2016-12-08 | キヤノン株式会社 | 送信装置、複合現実システム、送信制御方法、及びプログラム |
| US10504247B2 (en) | 2015-04-23 | 2019-12-10 | Canon Kabushiki Kaisha | Transmission apparatus, mixed reality system, transmission method, and program |
| WO2019198542A1 (ja) * | 2018-04-13 | 2019-10-17 | ソニー株式会社 | 多方向通信装置、多方向通信方法、およびプログラム |
| US11140357B2 (en) | 2018-04-13 | 2021-10-05 | Sony Corporation | Multi-direction communication apparatus and multi-direction communication method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3854871B2 (ja) | 2006-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4436126B2 (ja) | モデルベースの符号化と優先順位決定手法を用いたビデオ通信システム | |
| KR101768980B1 (ko) | 가상 동영상 통화 방법 및 단말 | |
| CN100359941C (zh) | 可视电话终端 | |
| US6825873B2 (en) | TV phone apparatus | |
| US7486253B2 (en) | Transmitting device and transmitting method, receiving device and receiving method, transmitting/receiving device and transmitting/receiving method, recorded medium, and signal | |
| KR0180543B1 (ko) | 화상통신장치 | |
| CN103460250B (zh) | 基于感兴趣对象的图像处理 | |
| US9210372B2 (en) | Communication method and device for video simulation image | |
| US6943794B2 (en) | Communication system and communication method using animation and server as well as terminal device used therefor | |
| JP2006330958A (ja) | 画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバ | |
| US20120223952A1 (en) | Information Processing Device Capable of Displaying A Character Representing A User, and Information Processing Method Thereof. | |
| JP2008067203A (ja) | 映像合成装置、方法およびプログラム | |
| WO2002052863A2 (en) | Communication system | |
| JPH05153581A (ja) | 顔画像符号化方式 | |
| JP2000013769A (ja) | 多点画像会議システム及びその具現方法 | |
| CN113206971A (zh) | 一种图像处理方法及显示设备 | |
| JP2009065696A (ja) | 映像合成装置、方法およびプログラム | |
| JP3854871B2 (ja) | 画像処理装置、画像処理方法、記録媒体及びプログラム | |
| US7154906B2 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processing program code | |
| JP5813542B2 (ja) | 画像コミュニケーションシステム、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）動画生成装置及びプログラム | |
| JP2020115299A (ja) | 仮想空間情報処理装置、方法、プログラム | |
| JP2002051315A (ja) | データ伝送方法およびその装置、並びにデータ伝送システム | |
| JP5894505B2 (ja) | 画像コミュニケーションシステム、画像生成装置及びプログラム | |
| JP2005130356A (ja) | テレビ電話システム及びその通信方法、並びに通信端末 | |
| JP2003061098A (ja) | 画像処理装置、画像処理方法、記録媒体及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060911 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |