JP2005173772A - Image communication system and image formation method - Google Patents
Image communication system and image formation method Download PDFInfo
- Publication number
- JP2005173772A JP2005173772A JP2003410067A JP2003410067A JP2005173772A JP 2005173772 A JP2005173772 A JP 2005173772A JP 2003410067 A JP2003410067 A JP 2003410067A JP 2003410067 A JP2003410067 A JP 2003410067A JP 2005173772 A JP2005173772 A JP 2005173772A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- unit
- terminal device
- deformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像通信システムおよび画像生成方法に係り、本発明の画像通信システムは、たとえば公衆回線網やIP(Internet Protocol)ネットワーク等の有線や無線の通信回線を介して画像情報や音声情報の通信のうち、とくに、送信者の顔の表情画像を実際とは異なる2次元または3次元CG(Computer Graphics)画像等に変換して通信相手に送り通信するシステムに関するものであり、また、本発明の画像生成方法は、たとえば通信相手先に送った情報を基に送信側または受信側にて表情を持ったキャラクタ画像を生成する方法に関するものである。 The present invention relates to an image communication system and an image generation method, and the image communication system of the present invention is capable of transmitting image information and audio information via a wired or wireless communication line such as a public line network or an IP (Internet Protocol) network. In particular, the present invention relates to a system for converting a facial expression image of a sender's face into a two-dimensional or three-dimensional CG (Computer Graphics) image or the like different from the actual one and sending it to a communication partner. This image generation method relates to a method of generating a character image having a facial expression on the transmission side or the reception side, for example, based on information sent to a communication partner.
通信回線の高速化および大容量化にともない、従来、電話機等を用いて、音声だけで行われていた通信コミュニケーションに対し、音声および画像の両方を伝送しコミュニケーションをとることが広く行われている。このようなコミュニケーション手段の一例には、テレビ電話システムがある。このシステムは、最近、システムの小型により、一般家庭用電話機や携帯電話機等でも適用されている。このような画像を含んだコミュニケーションは、伝送メディアが音声に限られていた従来の電話機のコミュニケーションに比べて、話者の表情などにより音声表現に現れない情報も同時に伝えることができる。このコミュニケーションは、これにより、感情表現が豊かなものにしている。 With the increase in speed and capacity of communication lines, it has been widely used to communicate both voice and images by using telephones, etc., compared to communication that has been performed only by voice. . An example of such communication means is a videophone system. This system has recently been applied to general home telephones and mobile phones due to the small size of the system. The communication including such an image can simultaneously convey information that does not appear in the voice expression due to the facial expression of the speaker, etc., compared to the communication of the conventional telephone in which the transmission medium is limited to the voice. This communication makes the emotional expression rich.
ところで、最近のテレビ電話システム、とくに携帯電話機では、画像を含む通信が不特定な場所や不特定な時間帯で行われる場合が一般的である。このとき、通信相手の状況を無視して通信が行われた場合、話者のプライバシーが侵され易いという問題が生じてしまう。このため、このシステムの利用者には、通話に備えて、化粧や髪型、服装等を気にかける利用者の登場が予想される。これは、このシステムを利用する利用者の負担になる可能性が高い。また、このような不意の通話を受信する場合、利用者は、画像を非通話状態として伝送せず、従来と同様に音声だけで通話を行う方法も選択できるが、この場合の通信は、折角の持っている機能を使わず、使った場合に比べてコミュニケーションの低下を引き起こすことになる。 By the way, in a recent videophone system, particularly a mobile phone, communication including an image is generally performed in an unspecified place or an unspecified time zone. At this time, if communication is performed while ignoring the situation of the communication partner, there arises a problem that the privacy of the speaker is easily violated. For this reason, users who care about makeup, hairstyles, clothes, etc. are expected to appear in the users of this system in preparation for a call. This is likely to be a burden on the user who uses this system. In addition, when receiving such an unexpected call, the user can select a method of making a call using only voice as in the past, without transmitting the image as a non-call state, but communication in this case is not possible. If you do not use the functions that you have, it will cause a decline in communication compared to using it.
このような問題に対処する方法として、たとえば通話者の顔画像から顔の表情を抽出して、抽出した顔の表情を選択した画像に反映させ、選択した画像の動画を生成する、いわゆるアニメーション化手法が非特許文献1の総説に提案されている。この総説は、1998年にMPEG(Moving Picture Experts Group)のワーキンググループ(Working Group: WG)11/MPEGに提案したコミッティドラフトを要約したものである。この総説には、顔の特徴を画像処理により解析し、あらかじめ定義した複数の顔パラメータ等を用いて顔の特徴を符号化し、生成するグラフィックおよびアニメーションを低ビットレートで統合する方法が記載され、プライバシー保護に対応した処理も行うことが記載されている。 As a method of dealing with such a problem, for example, so-called animation that extracts facial expressions from a caller's face image, reflects the extracted facial expressions on the selected image, and generates a moving image of the selected image. The method is proposed in the review of Non-Patent Document 1. This review summarizes the committee draft proposed in 1998 by the Working Group (WG) 11 / MPEG of the Moving Picture Experts Group (MPEG). This review describes a method of analyzing facial features by image processing, encoding facial features using a plurality of predefined facial parameters, etc., and integrating the generated graphics and animation at a low bit rate, It also describes that processing corresponding to privacy protection is also performed.
しかしながら、前述したように通話者の顔画像から顔の表情を抽出してグラフィック化またはアニメーション化し、これらの画像等の情報を通信先に伝送するコミュニケーションシステムでは、たとえ通信相手側にアニメーション顔等の画像を伝送したとしても、通話者の顔表情の変化が乏しい場合、十分な意思伝達の効果が期待できず、コミュニケーション力の向上が常に図られているとはいえない問題を抱えている。 However, as described above, in a communication system that extracts facial expressions from a caller's face image, graphicizes or animates them, and transmits information such as these images to the communication destination, even if the communication face is an animated face, etc. Even if the image is transmitted, if the change in facial expression of the caller is scarce, sufficient communication effect cannot be expected, and improvement of communication ability is not always achieved.
本発明はこのような従来技術の欠点を解消し、通話相手に対して常にコミュニケーション力を向上させて通信することができる画像通信システムおよび画像生成方法を提供することを目的とする。 It is an object of the present invention to provide an image communication system and an image generation method capable of solving such drawbacks of the prior art and constantly communicating with a communication partner while improving communication ability.
本発明は上述の課題を解決するために、送信端末装置にて送信者の顔画像を取り込み、有線や無線の通信回線を介してこの顔画像と異なる画像を受信端末装置に表示する画像通信システムにおいて、送信端末装置は、送信者の顔画像を取り込み、ディジタル画像に変換する画像入力手段と、このディジタル画像から顔の各部位を示す特徴点のデータを表情パラメータとして抽出する表情特徴抽出手段と、顔画像において表情をもたらす部位に対する変形を対象として独立に変形する部位を指定し、表情パラメータの対応する部位の値を置換する情動変形手段とを含み、この情動変形手段は、顔画像において表情をもたらす部位に対する変形を指定する情動指定手段と、この指定された部位に対する変形の割合を規定する倍率指定手段と、抽出した表情パラメータのうち、指定された部位の表情パラメータの値を規定された変形の割合に置換する形状変形手段とを含み、送信端末装置の出力するデータに応じて、通信先で表示するキャラクタとしてモデルデータを格納する表示モデル格納手段およびキャラクタとしてのモデルデータと表情パラメータとを対応付けてキャラクタ画像を生成するキャラクタ生成手段を送信端末装置および受信端末装置のいずれか一方に含むことを特徴とする。 In order to solve the above-described problems, the present invention captures a sender's face image at a transmission terminal device, and displays an image different from the face image on the reception terminal device via a wired or wireless communication line. The transmitting terminal device captures the face image of the sender and converts it into a digital image; and facial expression feature extraction means for extracting feature point data representing each part of the face from the digital image as a facial expression parameter; And an emotional deformation means for designating a part to be deformed independently for deformation of a part that causes an expression in the face image and replacing the value of the corresponding part of the facial expression parameter. An emotion designation means for designating deformation for a part that brings about, a magnification designating means for specifying a deformation ratio for the designated part, and extraction A shape deforming means for replacing the expression parameter value of the specified part with the prescribed deformation ratio, and according to the data output from the transmitting terminal device, as a character to be displayed at the communication destination One of the transmission terminal device and the reception terminal device includes display model storage means for storing model data, and character generation means for generating a character image by associating model data as a character with facial expression parameters. .
本発明の画像通信システムは、画像入力手段を介して得られたディジタル画像から表情特徴抽出手段で表情パラメータを抽出し、情動変形手段の情動指定手段で表情をもたらす部位に対する変形を対象として独立に指定し、倍率指定手段で変形の割合を規定して情動指定手段に供給し、該当する部位の値を一組の値として形状変形手段に供給し、形状変形手段で供給された値で置換した表情パラメータを出力し、送信端末装置の出力するデータに応じて表示モデル格納手段およびキャラクタ生成手段を送信端末装置および受信端末装置のいずれか一方に配設することにより、利用者からの要求に応じた意向を踏まえて誇張したキャラクタの動作や表現にして通信相手に提供することができる。 In the image communication system of the present invention, facial expression parameters are extracted by a facial expression feature extraction unit from a digital image obtained via an image input unit, and the transformation to the part that causes the facial expression by the emotion designating unit of the emotion transformation unit is independently performed. Specify, specify the deformation ratio with the magnification specifying means, supply it to the emotion specifying means, supply the values of the corresponding part to the shape deforming means as a set of values, and replace with the values supplied by the shape deforming means According to the request from the user, the facial expression parameter is output and the display model storage means and the character generation means are arranged in either the transmission terminal apparatus or the reception terminal apparatus according to the data output from the transmission terminal apparatus. It is possible to provide the communication partner with exaggerated character actions and expressions based on the intentions.
また、本発明は上述の課題を解決するために、送信者の顔画像を取り込み、有線や無線の通信回線を介してこの顔画像と異なる画像を受信側にて表示する画像生成方法において、この方法は、顔画像と異なる画像としてキャラクタをあらかじめ選択する第1の工程と、送信者の顔画像を取り込み、ディジタル画像に変換する第2の工程と、このディジタル画像から顔の各部位を示す特徴点のデータを表情パラメータとして抽出する第3の工程と、顔画像において表情をもたらす部位に対する変形を対象とし、独立に変形を指定するか否かを判断する第4の工程と、この変形を指定しない場合表示パラメータを単に出力し、独立にこの変形を指定する場合、表情パラメータの対応する部位の値を指定し、該当する部位の値を置換する第5の工程とを含み、送信側から出力するデータに応じて、通信先で表示するキャラクタとしてモデルデータを出力する第6の工程およびキャラクタとしてのモデルデータと表情パラメータとを対応付けてキャラクタ画像を生成する第7の工程を送信側の処理および受信側の処理のいずれか一方にて行うことを特徴とする。 In order to solve the above-described problem, the present invention provides an image generation method for capturing a sender's face image and displaying an image different from the face image on the receiving side via a wired or wireless communication line. The method includes a first step of pre-selecting a character as an image different from the face image, a second step of capturing a sender's face image and converting it into a digital image, and features indicating each part of the face from the digital image A third step of extracting point data as a facial expression parameter, a fourth step of determining whether or not to specify a deformation independently for a deformation of a part that causes a facial expression in a face image, and specifying this deformation If not, the display parameter is simply output, and if this deformation is specified independently, the value of the corresponding part of the facial expression parameter is specified, and the value of the corresponding part is replaced A sixth step of outputting model data as a character to be displayed at the communication destination according to data output from the transmission side, and a seventh process of generating a character image by associating the model data as a character with the facial expression parameter This process is performed by either one of the processing on the transmission side and the processing on the reception side.
本発明の画像生成方法は、キャラクタをあらかじめ選択し、送信者の顔画像をディジタル画像に変換し、このディジタル画像から表情パラメータを抽出し、部位に対する変形を対象とし、独立に指定するか否かの判断に応じて独立に指定する場合に表情パラメータの対応する部位の値を指定し、該当する部位の値を置換する処理を施し、送信側から出力するデータに応じて、通信先で表示するキャラクタとしてモデルデータの出力およびキャラクタ画像の生成を送信側の処理および受信側の処理のいずれか一方にて行うことにより、利用者からの要求に応じた意向を踏まえたキャラクタの動作や表現にして通信相手に提供することができ、とくに受信側の処理にモデルデータの出力およびキャラクタ画像の生成を行うと、伝送の負担を軽減することができる。 The image generation method of the present invention selects a character in advance, converts a sender's face image into a digital image, extracts facial expression parameters from this digital image, targets deformation of the part, and specifies whether to specify independently If the value is specified independently according to the judgment of the expression, the value of the corresponding part of the facial expression parameter is specified, the value of the corresponding part is replaced, and displayed at the communication destination according to the data output from the transmission side As the character, the model data is output and the character image is generated by either the processing on the transmission side or the processing on the reception side, so that the behavior and expression of the character is based on the intention according to the request from the user. Can be provided to the other party, especially when model data is output and character images are generated for processing on the receiving side, reducing the transmission burden. It is possible.
次に添付図面を参照して本発明による画像通信システムの実施例を詳細に説明する。 Next, an embodiment of an image communication system according to the present invention will be described in detail with reference to the accompanying drawings.
本実施例は、本発明の画像通信システムを情報通信システム10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
In this embodiment, the image communication system of the present invention is applied to the
本実施例の情報通信システム10は、図3に示すように、送信端末装置12と受信端末装置14との間にIP(Internet Protocol)ネットワーク16を介して音声または画像をやりとりするシステムである。送信端末装置12と受信端末装置14との間には、IPネットワーク16に限定されず、たとえば公衆回線網等のような有線の通信回線や無線回線であってもよい。図1に示す送信端末装置12は、画像入力部18、表情特徴抽出部20、情動変化部22、表示モデル格納部24、表示モデル生成部26、背景モデル格納部28、画像生成部30、符号化部32および送信部34を有している。
As shown in FIG. 3, the
画像入力部18は、光学系を介して被写界の入射光35をCCD(Charge Coupled Device)やCMOS(Complimentary-Metal Oxide Semiconductor)等の受光素子が2次元アレイ状に配された受光部を有するカメラ機構に送り、受光部で光電変換機能により形成された光学像をアナログの電気信号に変換し、さらに、このアナログの電気信号をディジタル信号に変換する。このようにして得られた2次元のディジタル画像信号36を表情特徴抽出部20に供給する。
The
表情特徴抽出部20は、画像入力部18から取得したディジタル画像信号36から顔の各部位である目、鼻、口、眉毛等の輪郭を特徴点として抽出し、この特徴点を座標データとして検出する機能を有している。検出された座標データのそれぞれは、表情を変化させるパラメータ38として情動変化部22に出力する。
The facial expression
情動変化部22は、形状変形部40、情動指定部42および倍率指定部44を含む。情動変化部22は、選択したモデルデータに持たせる顔の各部位を対象とし、供給されるパラメータ38の部位毎に独立的に該当するパラメータを置換して、新たなパラメータ52として出力する機能を有する。この機能は、図示しないキーボタンの操作により表される入力データ46を情動として認識し、認識に応じた情動の種類、情動の大きさ等を指定し、この指定に応じてパラメータ38を変化させている。倍率指定部44は、キーボタンの操作回数、押圧継続時間(入力継続時間)、入力される数値等に応じてパラメータ38を変化させる割合として倍率を規定する機能を有し、倍率データ48を情動指定部42に出力する。数値は関数の傾きを表す値でもよい。倍率指定部44には、これらの入力に応じて倍率を指定するパラメータテーブルをあらかじめ用意し、このテーブルに基づいて倍率(拡大や縮小)を決定することが好ましい。以降で説明する倍率指定部44でも同じ機能を有する。情動指定部42は、情動の認識機能を有し、認識した情動に対応する部位と部位に対する倍率データとを一組にした指定データ50を形状変形部40に供給する。
The
形状変形部40は、供給されるパラメータ38と該当する指定データ50とを対応付けて倍率データに応じた値、すなわち座標データに変換する機能を有している。形状変形部40は、新たな変換により異ならせたパラメータ52を表示モデル生成部26に出力する。
The
表示モデル生成部26には、表示モデル格納部24から選択されたモデルデータ54が供給される。表示モデル格納部24は、通信先に表示するモデルデータを格納するストレージである。表示モデル格納部24には、複数のモデルデータが格納されており、表示モデル格納部24はあらかじめ図示しない選択部の操作により利用者の希望に応じて通信相手先に表示するキャラクタを選択できる。
The
表示モデル生成部26は、形状変形部40からパラメータ52、すなわち表情特徴の座標データと表示モデル格納部24からモデルデータ54とを取得し、パラメータ52を基にモデルデータ54の各部位に対応付けた座標をとることで、利用者の顔表情の動きとモデルデータの動きとを同期させた表示モデル画像を生成する機能を有している。表示モデル生成部26は、利用者の顔表情の動きに同期するモデルデータ(表示モデル画像)56を画像生成部30に出力する。
The display
ここで、上述したモデルデータとは、3次元CGのワイヤフレームモデル等を設けて、このモデルに対して筋肉を表すモデルを3次元的に配置したデータである。このモデルデータが人間の顔を表す場合、モデルデータを変化させることにより、顔の筋肉が変化に応じて動く。この変化は、たとえば、喜び、怒り、悲しみなどの表情および発話時の口の動きを表現することができる。また、モデルデータは、人物や猫などのような2次元画像を基にしてもよい。本実施例では、このようなモデルデータをキャラクタ、キャラクタ画像または表示モデル画像と呼んでいる。 Here, the model data described above is data in which a three-dimensional CG wireframe model or the like is provided, and a model representing muscles is three-dimensionally arranged on this model. When this model data represents a human face, the muscles of the face move according to the change by changing the model data. This change can express facial expressions, such as joy, anger, and sadness, and the movement of the mouth at the time of speech. The model data may be based on a two-dimensional image such as a person or a cat. In this embodiment, such model data is called a character, a character image, or a display model image.
表示モデル生成部26は、ワイヤフレーム上に筋肉のモデルを3次元的に配置し、各筋肉を収縮させることにより、ワイヤフレーム自体を変形させて、キャラクタに表情を持たせている。表示モデル生成部26は、レンダリング処理機能を含んでいることが好ましい。これにより、表示モデル生成部26は、レンダリングしたモデルデータ56を画像生成部30に出力する。
The display
背景モデル格納部28は、表示モデル格納部24と同様に通信先に表示するモデルデータの背景画像データ58を格納するストレージである。背景モデル格納部28も図示しない選択部に対する利用者による操作によってあらかじめ背景画像が選択され、背景モデル格納部28は選択した背景画像に対応する背景画像データ58を画像生成部30に出力する。
Similar to the display
画像生成部30は、表示モデル生成部26で生成したモデルデータ56と背景モデル格納部28から取得した背景画像データ58とを合成し、合成画像データ60を生成する機能を有している。画像生成部30は、生成した合成画像データ60を符号化部32に出力する。
The
符号化部32は、供給される合成画像データ60に圧縮を施し、画像圧縮データ62を送信部34に送出する。圧縮処理は、周知の技術を適用して行われる。また、これまで述べてきていなかったが、音声データにも圧縮処理を施して送信部34に送出している。送信部34は、画像圧縮データ62とともに、音声圧縮データを含む圧縮データを送信信号64として通信相手である受信端末装置14にIPネットワーク16を介して送信する。
The
また、受信端末装置14は、図2に示すように、受信部66、復号部68および出力部70を含む。受信部66は、送信端末装置12の送信部34からの送信信号64を受信し、取得した受信信号72を復号部68に送出する。復号部68は、受信信号72に復号処理を施し、供給されたディジタル画像信号やディジタル音声信号を復元する。復号部68は、復元したこれらの信号74を出力部70に供給する。
The receiving
出力部70は、図示しないがモニタ、スピーカ、イヤホンやヘッドホンおよびバイブレータ等がある。モニタは供給されるディジタル画像信号を表示する機能を有している。スピーカ、イヤホンやヘッドホンは復元部68でD/A変換されたアナログ音声信号を音声に変換して、出力する。
Although not shown, the
この構成により、送信端末装置12を使用する利用者の意図を反映させたキャラクタの画像を受信端末装置14に送出し、受信端末装置14で供給された画像を再生する。
With this configuration, an image of a character reflecting the intention of the user who uses the
次に情報通信システム10の動作について図4の送信端末装置12および図5の関数、ならびに図6の受信端末装置14の動作手順を参照しながら説明する。送信端末装置12は、起動後、送信前に利用者によりキャラクタや背景といったモデルデータをいくつかの選択する(ステップS10)。選択は、送信端末装置12が有する選択ボタンなどのユーザインタフェイスにより表示モデル格納部24および背景モデル格納部28に格納されている複数の表示モデルや背景モデルから利用者が希望するものを選択する。この選択は、通話開始前に選択できるように設定しておけばよい。この設定の後、画像入力処理に進む(ステップS12へ)。
Next, the operation of the
画像入力部18では、被写界からの入射光35を光電変換機能により電気信号にし、取り込んだ人物や情景などの光学像をディジタル画像信号36に変換し、表情特徴抽出部20に出力する(ステップS12)。表情特徴抽出部20は、供給されるディジタル画像信号36を取得し、ディジタル画像信号36に対して画像処理フィルタによる特徴点の探索やテンプレートマッチング処理などの従来既知の手法を用いて、顔領域を抽出する(ステップS14)。顔の各部位、たとえば目、鼻、口および眉毛等の輪郭はあらかじめ定義されている。定義された部位のそれぞれは位置座標データで表す。この位置座標が特徴点である。表情の特徴は、このようにして部位と位置座標データとを対応付けたパラメータ38として抽出する。具体的な特徴点のサンプリング方法は、前述のWG11/MPEGのコミッティドラフトに記載されている68個のFAP(Face Animation Parameter)として検出することも可能である。
In the
次に情動変化部22では供給されるパラメータ38に対して情動の効果を持たせる情動の指示があるか否かを判断する(ステップS16)。判断は、送信端末装置12のユーザインタフェイス(図示せず)を介して供給される入力データ46を基に行う(ステップS16)。入力データ46が供給されていると判断した場合(YES)、ステップS18に進む。
Next, the
ステップS18では、情動指定部42に供給される入力データ46からどのような情動を発現させるか認識し、認識に応じて変化させる部位を特定する。また、倍率指定部44では入力データ46を基に情動の大きさを変化させて、この大きさを設定する。倍率指定部44には、図5(a)に示すような変換関数76を有し、変換関数76をモデルとして用いて、変化の倍率を決定するようにしてもよい。また、コミュニケーションの最中に継続的なある表情を誇張的に表現したい場合もある。この場合、前回の表情で見せた挙動をさらに増幅して表現するとよい。この動作を実現させるためには、図5(b)に示すように前述の関数モデルの傾斜を破線78、一点鎖線80、そして実線82へと時系列的に大きくなるように変化させることにより、表現される顔の挙動を徐々に増幅させることができる。倍率指定部44は情動指定部42に大きさを示す倍率データ48が供給される。
In step S18, it is recognized what kind of emotion is to be expressed from the
このように、情動に応じて変化させるパラメータとその大きさを一組にした指定データ50を形状変形部40に送る。形状変形部40では、供給されるパラメータ38の内、指定データ50を基にした座標データに変換し、該当するパラメータの値を置換または更新する(ステップS20)。形状変形部40は、更新処理された値を含むすべてのパラメータ52を表示モデル生成部26に供給する。
In this manner, the parameter to be changed in accordance with the emotion and the
なお、該動作の倍率または割合に応じた変形の基準位置座標(変形の原点)はあらかじめ任意に設定できるものとする。また、情動指定部42からの入力がない場合には、表情特徴抽出部20から取得したパラメータ38をそのまま表示モデル生成部26に受け渡す。
Note that the deformation reference position coordinates (the deformation origin) corresponding to the magnification or ratio of the operation can be arbitrarily set in advance. When there is no input from the
また、入力データ46が供給されていないと判断した場合(NO)、ステップS22に進む。
If it is determined that the
次に表示モデル生成部26は、パラメータ52(表情特徴データ)と表示モデル格納部24から取得したモデルデータ54の部位それぞれとを対応付けて、利用者の顔表情の動きとモデルデータの動きとを同期させたキャラクタ画像を生成し、モデルデータ56として画像生成部30に出力する(ステップS22)。
Next, the display
画像生成部30には、背景モデル格納部28に格納されている複数の背景画像の内、ステップS10での選択に応じて背景画像データ58を供給されている。画像生成部30は、供給されるモデルデータ54と背景画像データ58とを既知の画像合成手法により合成する(ステップS24)。画像合成部30は、合成画像データ60を符号化部32に供給する。
The
符号化部32では、供給される合成画像データ60に圧縮を施し、送信部34に送出する(ステップS26)。画像の圧縮には、たとえばMPEG4規格に応じた圧縮を用いるとよい。送信部34は、供給される圧縮信データを通信プロトコルに応じて変換して、受信端末装置14に送信する(ステップS28)。送信端末装置12は、この一連の処理を終了するか否かを判断する。この処理を継続する場合(NO)、送信端末装置12は、画像入力処理に戻り、前述した処理を繰り返す。また、処理を終了する場合(YES)、送信端末装置12は、図示しない通信を切断する切断ボタンの操作により通信を終了する。
The
より具体的に情動変化について説明する。情動変化としてたとえば「驚き」を表現する場合があり、ここでは、情動変化を表す任意の部位として目を選ぶ。この場合情動変化は、キャラクタの目の大きさや形状を拡大化させることで感情を視覚的に表現する。図5(a)のように目の入力変化量84が入力データ46として供給されると、出力変化量86は、図5(a)の関数によって本来の大きさよりも増幅させることが可能になる。
More specifically, emotional change will be described. For example, “surprise” may be expressed as the emotional change, and here, an eye is selected as an arbitrary part representing the emotional change. In this case, the emotional change visually expresses the emotion by enlarging the size and shape of the character's eyes. When the input change amount 84 of the eye is supplied as the
一般的に、利用者は目に限定されることなく、モデルデータの持つ顔表情の部位に対し部位の挙動の変形を指定することができ、前述のFAPデータに対して異なるデータで置換することにより挙動または情動を変化させることができる。 In general, the user can specify the transformation of the behavior of the facial expression part of the model data without being limited to the eyes, and replace the FAP data with different data. Can change behavior or emotion.
また、コミュニケーション中に継続的な「驚き」の表情を誇張的に表現する場合もある。この場合は、目の大きさが対話中に前回の「驚き」表現で見せた挙動をさらに増幅して表現するとよい。誇張表現は、図5(b)に示したように関数の傾斜を徐々に大きく変化させることで実現することができる。この表現の要求は、入力データ46を出力するキーボタンの押す回数やキーボタンを押圧する継続時間または利用者が入力する数値等に応じて関数の傾きを異ならせる。これにより、送信端末装置12は、利用者の指定により、モデルデータを変形させるパラメータ38を動的に異ならせたパラメータ52を生成する機能を持つことになる。
In some cases, the expression of continuous “surprise” is exaggerated during communication. In this case, the size of the eyes may be expressed by further amplifying the behavior shown in the previous “surprise” expression during the dialogue. The exaggerated expression can be realized by gradually changing the slope of the function as shown in FIG. 5 (b). The request for this expression varies the slope of the function in accordance with the number of times the key button that outputs the
次に受信端末装置14の動作を図6に従って説明する。受信端末装置14は、不特定な送信端末装置から送られてくる信号ができるように受信待機状態にしている(開始)。受信端末装置14は、この状態で先に説明した送信端末装置12からの送信信号64を受信部66で受信する(ステップS50)。受信部66は受信信号72を復号部68に送る。
Next, the operation of the receiving
復号部68は、受信信号72に含まれる、符号化された圧縮データに伸長処理を施して、復号し、ディジタル画像信号やディジタル音声信号を復元する(ステップS52)。復号部68は、復号したこれらの信号を出力部70で扱う形態に応じてアナログ信号に変換して出力部70に送出する。出力部70は、供給される信号74を各出力機器から出力する(ステップS54)。供給される信号74の内、画像信号はモニタにて画像を表示し、音声信号は音声出力機器であるスピーカから音声として出力される。このとき、供給される画像は、利用者からの要求に応じてキャラクタの動作を誇張的に表現されていることから、受信者は通話相手である送信者からの言葉では伝えきれない感情表現を視覚情報として受けることが可能になる。
The
次に出力処理後に、この一連の受信処理、すなわちコミュニケーションを終了するか否かの判断を行う(ステップS56)。この通信を継続する場合(NO)、受信処理に戻って処理を繰り返す。また、通信を切断する場合(YES)、たとえば「切断」キーボタンを押圧操作することによって通信を切断する。 Next, after the output process, it is determined whether or not to end this series of reception processes, that is, communication (step S56). When this communication is continued (NO), the process returns to the reception process and is repeated. Further, when the communication is disconnected (YES), for example, the communication is disconnected by pressing the “disconnect” key button.
このように、情報通信システム10は、キャラクタの動作を変形させる際に、ユーザインターフェイス・キーを押す回数やキーを押圧操作の継続時間に応じてキャラクタの変形の倍率をコントロールする。これにより、利用者は、感情を表現する際に細かな設定をしなくても、情動の変化を相手に伝えられるので、話者間の感情表現力を高めることができ、コミュニケーション力を向上させることができる。
As described above, the
次に情報通信システム10における送信端末装置12の構成を変形させた変形例について説明する。以後の実施例において送信端末装置12は、ほぼ同じ構成要素で構築されている。このため、以後の実施例では各構成要素に先の実施例で用いた参照符号を付し、同じ説明の繰返しによる煩雑さを避けるように同じ参照符号の説明を省略する。
《第1変形例》
第1変形例における先の実施例との相違は、図7に示すように、情動変化部22の構成要素とその接続にある。情動変化部22には、形状変形部40、情動指定部42および倍率指定部44に加えて、通話履歴を管理する履歴管理部88が設けられている。また、情動指定部42は、倍率指定部44だけでなく、履歴管理部88にも接続されている。履歴管理部88は、通信相手毎に、たとえば前回のキャラクタに行わせた挙動の大きさ、すなわち倍率を記録し、この記録それぞれをキャラクタそれぞれが次に情動変化させる際の基準倍率として用いるように通信相手の情報を履歴情報として管理する機能を有している。この管理機能には、履歴情報を検索する機能も含まれている。この検索は、倍率指定が供給されない状況において履歴管理部88に対して行われる。したがって、履歴管理部88は、情動指定部42との間で情報の授受を行い、利用者が指定する表情の変形に対して変形する部位、変形倍率および通信相手情報等を履歴情報として格納している。
Next, a modified example in which the configuration of the
<< First Modification >>
The difference from the previous embodiment in the first modification is in the components of the
また、情動指定部42は、利用者から入力データ46によって指定された変形する部位と倍率指定部44で取得した変形の倍率を受けた情報を、形状変形部40だけでなく、履歴管理部88にも供給する。情動指定部42は、この場合、現在通信中の相手情報に対する検索結果(格納情報)を基に変化させる部位に対する大きさを指定して、更新パラメータを生成する機能を有している。
Further, the
次にこれらの機能を含む送信端末装置12の動作について図8および図9を参照しながら、説明する。先の実施例と同じ工程には、同じ参照符号を付して説明を省略する。本実施例における送信端末装置12は、ユーザによる選択(ステップS10)から情動の指示の判断処理(ステップS16)まで同じである。情動の指示がなかったと判断した場合(NO)、接続子Aを介して図9に示すキャラクタに対するCG画像の生成処理に進む(ステップS22へ)。また、情動の指示を受けて(YES)、倍率指示の判断処理に進む(ステップS32へ)。この判断処理は、入力データ46に倍率を示すデータがたとえば、所定の時間内に供給されたか否かに応じて判断する処理である。倍率の指示が有る場合(YES)、指示された倍率を示す倍率データ48を情動指定部42に供給する。情動指定部42では、指示された情動の部位とその倍率データとを一組の変更用パラメータとして指示データ50を作成する(ステップS18)。情動指定部42は、指示データ50を形状変形部40に供給する。形状変形部40では、供給されるパラメータ38の内、指示データ50に該当するパラメータを指示データ50で更新する(ステップS20)。この処理後、接続子Bを介して図9の履歴情報の記録処理に進む(ステップS34へ)。この処理については後段でさらに説明する。
Next, the operation of the
一方、倍率指示の判断処理(ステップS32)に戻って、倍率指示がないと判断した場合(NO)、履歴管理部88の検索処理に進む(ステップS36へ)。履歴管理部88には、通信相手情報と前回のパラメータとを関連付けた履歴情報が格納されている。この検索は現在の通信相手を履歴情報の中から通信相手情報を基に検出する処理である。
On the other hand, returning to the magnification instruction determination process (step S32), if it is determined that there is no magnification instruction (NO), the process proceeds to the search process of the history management unit 88 (to step S36). The
次に検索結果の判断として履歴が有るか否かを判断する(ステップS38)。履歴管理部88に該当する履歴情報が検出されたとき(YES)、履歴対応のパラメータ指定処理に進む(ステップS40へ)。また、履歴情報が未検出のとき(NO)、パラメータ指定処理に進む(ステップS42へ)。履歴対応のパラメータ指定処理(ステップS40)は、情動指定部42で行う。情動指定部42は、履歴管理部88から検出された履歴情報の供給を受けて、この情報を基に変化させる更新パラメータを指定する。情動指定部42は、指定した更新パラメータを指示データ50として形状変形部40に供給する。
Next, it is determined whether there is a history as the determination of the search result (step S38). When the history information corresponding to the
また、パラメータ指定処理(ステップS42)も情動指定部42で行い、このとき情動指定部42には履歴管理部88から履歴情報がないことを示すデータが供給される。情動指定部42は、これにより何も比較する大きさのデータがないので、このような場合に対してあらかじめ規定した所定のパラメータを更新するパラメータとして生成し、形状変形部40に供給する。
The parameter designation process (step S42) is also performed by the
形状変形部40では該当するパラメータの更新を行い(ステップS20)、この後、履歴情報の記録処理に進む(ステップS34へ)。この記録処理(ステップS34)は、形状変形部40から指示データ50、倍率データ48を送る信号線を介して供給される処理されたパラメータと通信相手情報とを関連付けて履歴管理部88に記録する処理である。この位置で記録処理を行うことにより、履歴管理部88には、最新の情報が履歴として記録されることになる。また、この記録は、所定の時間間隔毎に行うようにしてもよいし、少なくとも、履歴のまったく存在しなかった通信相手に対してだけ行うようにしてもよい。
The
以後の処理は、キャラクタのCG画像生成処理(ステップS22)から終了判断処理(ステップS30)まで先の実施例と同じ動作手順で行われる。終了判断処理にて継続する場合(NO)、接続子Cを介して画像入力処理に戻している。 Subsequent processing is performed by the same operation procedure as the previous embodiment from the character CG image generation processing (step S22) to the end determination processing (step S30). When continuing in the end determination process (NO), the process is returned to the image input process via the connector C.
なお、本実施例は、通話相手情報に応じて表示モデルの形状変化を異なった度合いにしたが、使用したキャラクタ別に表示モデルの形状変化を異なる度合いとしてもよい。この場合、履歴管理部88で管理する情報に使用するキャラクタのID(Identification)等を追加することで実現できる。
In this embodiment, the change in the shape of the display model is made different depending on the other party information. However, the change in the shape of the display model may be made different for each character used. In this case, it can be realized by adding a character ID (Identification) or the like used for information managed by the
このように通信相手に対して行った情動の変化が通信履歴を基に再現されることにより、先の実施例に比べて利用者が通信相手毎に情動変化を毎回指定しなくても済ませることができ、利用者の操作性を向上させることができる。
《第2変形例》
次に第2変形例について説明する。第2の変形例における先の実施例との相違は、情動変化部22の構成要素とその接続先にある。情動変化部22には、形状変形部40、背景変形指定部90および倍率指定部44を含む。背景変形指定部90は、利用者があらかじめ設定されている背景画像の特徴点に対して各特徴点の配置の変形を指定する機能を有している。背景変形指定部90による変形の指示は、入力データ46により背景の特徴点が指定される。
In this way, the emotional change made to the communication partner is reproduced based on the communication history, so that the user does not have to specify the emotional change for each communication partner each time compared to the previous embodiment. It is possible to improve user operability.
<< Second Modification >>
Next, a second modification will be described. The difference from the previous embodiment in the second modification is in the components of the
形状変形部40は、背景データ58に対して供給される指示データ50により指定された倍率、すなわち変動の割合に応じて変形した背景画像を生成する。形状変形部40は、生成した背景画像データ92を画像生成部30に供給する。背景画像データ92は、形状の変形処理における更新処理を受けた図7のパラメータ52に対応するデータである。
The
なお、背景変形指定部90からの入力がない場合、背景モデル格納部28に格納されている背景画像を単に画像生成部30に受け渡す。
If there is no input from the background
この構成により、背景画像に対してユーザの要求に応じた形状に誇張して変形させることができる。 With this configuration, the background image can be exaggerated and deformed into a shape according to the user's request.
この動作手順について図11を用いて簡単に説明する。この動作手順は、図10の構成を基に行っているため、キャラクタのCG画像の生成処理(ステップS22)が表情の抽出(ステップS14)の直後で行われている。この処理は、これまでと同様に画像の合成処理(ステップS24)の直前で行うようにしても構わない。また、利用者の選択から表情の抽出までと、画像の合成から終了の判断処理まではこれまでと同じ処理である。 This operation procedure will be briefly described with reference to FIG. Since this operation procedure is performed based on the configuration of FIG. 10, the CG image generation process (step S22) of the character is performed immediately after the facial expression extraction (step S14). This process may be performed immediately before the image composition process (step S24) as before. Further, the process from the user selection to facial expression extraction and the image synthesis to the end determination process are the same processes as before.
本実施例における動作は、形状の変形対象を背景にして、背景形状の判断処理(ステップS44)、変化させるパラメータの指定処理(ステップS46)および背景画像の変形処理(ステップS48)を行っている点に特徴がある。背景形状の判断処理(ステップS44)は、背景変形指定部90にて背景の形状に対する指示を示す入力データ46が有るか否かを判断している。変形の指示がない場合(NO)、画像の合成処理に進む(ステップS24へ)。変形の指示が有る場合(YES)、パラメータの変化を指定する処理に進む(ステップS46へ)。
In the operation of the present embodiment, a background shape determination process (step S44), a parameter change process (step S46), and a background image deformation process (step S48) are performed with the shape deformation target as the background. There is a feature in the point. In the background shape determination process (step S44), the background
ここで、背景画像は、たとえば画像領域内の各座標値のそれぞれが1つのパラメータによる表現、いわゆるパラメトリック表現に基づいて表される。パラメトリック表現とは、曲線ならば、あるパラメータ (t)、曲面ならば、ある (u, v)に対して (x, y, z)が一意に決定される従来既知の仕組みである。この他、背景画像は、パーティクルと呼ばれる細かな粒子を用いたレタリング手法を用いて表現しても実現することができる。 Here, the background image is represented based on, for example, a so-called parametric expression in which each coordinate value in the image region is expressed by one parameter. Parametric representation is a conventionally known mechanism in which (x, y, z) is uniquely determined for a certain parameter (t) if it is a curve, or (u, v) if it is a curved surface. In addition, the background image can also be realized by expressing it using a lettering method using fine particles called particles.
変化させるパラメータの指定処理(ステップS46)は、背景変形指定部90で行い、背景画像にあらかじめ規定されている特徴点の内、入力データ46を基に変化させる特徴点を指定し、供給される倍率データ48に応じて組み合わせたパラメータを生成する。倍率データ48は、倍率指定部44に供給される入力データ46から得られたデータである。
The parameter changing process (step S46) to be changed is performed by the background
具体的に説明すると、パラメトリック表現を用いた背景画像の場合に変形とは、任意の位置における座標値を変更することにより曲面を変形させることを指し、この場合の変形の倍率とは、任意の位置の座標値の変動の大きさに相当している。また、変形にパーティクルを用いた背景画像に対して実施する場合は、粒子の数などで示すパラメータ値の変動が変形の倍率に相当するものとなる。 Specifically, in the case of a background image using parametric expression, deformation refers to deforming a curved surface by changing the coordinate value at an arbitrary position. In this case, the magnification of deformation is an arbitrary This corresponds to the magnitude of fluctuation of the coordinate value of the position. In the case where the deformation is performed on a background image using particles, the change in the parameter value indicated by the number of particles or the like corresponds to the magnification of the deformation.
背景画像の変形処理(ステップS48)は、形状変形部40に背景モデル格納部28から利用者が所望する背景モデル58を読み出して、この背景画像内に配置される特徴点の変化割合を供給される指定データ50に応じて変形させ、この特徴点の配置を決定する処理である。
In the background image deformation process (step S48), the
具体的には背景画像の形状変化により、たとえば「怒り」の感情を表現する際に炎が表示している背景画像を表示する場合がある。この感情の表現をさらに誇張的に表すためには、この炎の大きさや火勢を変えるなど背景画像における特徴点の移動量を変えて、動きを異ならせることにより感情を表現することが可能になる。 Specifically, for example, when expressing the feeling of “anger”, a background image displaying a flame may be displayed due to a change in the shape of the background image. In order to express the expression of this emotion more exaggeratedly, it is possible to express the emotion by changing the amount of movement of the feature points in the background image, such as changing the size and fire power of the flame, and making the movement different. .
このように動作させることにより、利用者からの要求に応じて背景画像の動作を誇張的に表現することができ、キャラクタ画像に変化がなくとも、背景画像の変化から通話相手に対して言葉では伝えきれない感情表現を視覚情報として伝えることが可能になる。
《第3変形例》
次に第3変形例について説明する。第3変形例は、形状を変形させる対象が第2変形例との相違している。図12に示すように、送信端末装置12は、変形対象を部品にしていることから、情動変形部22に部品変形指定部94を設け、変形対象のモデルデータを提供する部品モデル格納部96も配設している。形状変形部40には背景モデル格納部28と部品モデル格納部96とからそれぞれ、モデルデータが供給されている。ここで、部品とは、たとえば「汗」「涙」などキャラクタの感情表現を補助するアイテムで、前述した背景画像と同様にパラメトリック表現やパーティクルを用いて各アイテムを表現する。
By operating in this way, the operation of the background image can be expressed exaggeratedly according to the request from the user, and even if there is no change in the character image, it can be expressed in words to the other party from the change in the background image. It is possible to convey emotional expressions that cannot be transmitted as visual information.
<< Third Modification >>
Next, a third modification will be described. The third modification is different from the second modification in the object whose shape is to be deformed. As shown in FIG. 12, since the
部品変形指定部94は、第2変形例の背景変形指定部90と同様に供給される入力データ46に応じて変形させる部品の特徴点を指定する機能を有している。部品変形指定部94には、入力データ46が供給され、部品の特徴点が選択されるとともに、この部品に対する倍率データ48が供給されている。部品変形指定部94は、選択した部品の特徴点とその倍率データ48とを組み合わせたパラメータを指示データ50として形状変形部40に供給する。
The component
形状変形部40には、供給される指示データ50の他に、背景画像データおよび部品画像データを含む画像データ58が供給されている。形状変形部40は、画像データ58の内、指示データ50に該当する部品画像データを指示データが示すパラメータに更新する。形状変形部40は、背景画像とともに、更新された部品データを含む画像データ98を画像生成部30に供給する。画像生成部30は、表情を有するキャラクタのモデルデータ56と供給される画像データ98とを画像合成する。これにより、画像生成部30は、合成画像データ60を符号化部32に出力し、これまでの実施例のように符号化部32で符号化処理して圧縮し、送信部34を介して送出する。
In addition to the supplied
この動作手順について図13を用いて簡単に説明する。この動作手順は、図11のユーザによる選択、画像入力、表情の抽出、キャラクタ画像の生成までと同様に処理する。 This operation procedure will be briefly described with reference to FIG. This operation procedure is the same as the selection by the user, image input, facial expression extraction, and character image generation in FIG.
本実施例における特徴的な動作は、形状の変形対象を部品にして、部品形状の判断処理(ステップS60)、変化させるパラメータの指定処理(ステップS62)および部品画像の変形処理(ステップS64)を行っている点にある。部品形状の判断処理(ステップS60)は、部品変形指定部94にて部品の形状に対する指示を示す入力データ46が有るか否かを判断している。指示がない場合(NO)、画像の合成処理に進む(ステップS24へ)。指示が有る場合(YES)、パラメータの変化を指定する処理に進む(ステップS62へ)。
Characteristic operations in the present embodiment are: a part shape determining process (step S60), a parameter changing process (step S62), and a part image deforming process (step S64) using a shape deformation target as a part. There is in going. In the part shape determination process (step S60), it is determined whether or not there is
ここで、部品画像もたとえば前述した背景画像と同様にパラメトリック表現やパーティクルと呼ぶ微細な粒子を用いたレタリング手法を用いて表現している。 Here, the component image is also expressed using, for example, a parametric expression and a lettering method using fine particles called particles, like the background image described above.
変化させるパラメータの指定処理(ステップS62)は、部品変形指定部94で行い、部品画像にあらかじめ規定されている特徴点の内、入力データ46を基に変化させる特徴点を指定し、この特徴点に対する倍率データ48に応じて組み合わせたパラメータを生成する。倍率データ48は、倍率指定部44に供給される入力データ46から得られたデータである。
The process for specifying the parameter to be changed (step S62) is performed by the component
部品画像の変形処理(ステップS64)は、形状変形部40に背景モデル格納部28から利用者が所望する背景モデルとともに、部品モデル格納部96から利用者の所望する部品モデルを含むモデルデータ58を読み出して、部品画像内に配置される特徴点の変化割合を指定データ50に応じて変形させ、この特徴点の配置を決定する処理である。
In the part image deformation process (step S64), the
これ以後、3つの画像、すなわちキャラクタ画像、背景画像および部品画像を合成し、得られた合成画像データに符号化処理を施して、圧縮データを送信する。終了判断処理により、継続する場合画像入力に戻り一連の処理を繰り返す。また、終了する場合、たとえば電源オフして通話を切断する。 Thereafter, three images, that is, a character image, a background image, and a component image are synthesized, the obtained synthesized image data is subjected to an encoding process, and compressed data is transmitted. If it is continued by the end determination process, the process returns to image input and repeats a series of processes. When the call is to be terminated, for example, the power is turned off and the call is disconnected.
このように動作させることにより、利用者からの要求に応じて部品画像の動作を誇張的に表現することができ、キャラクタ画像や背景画像が変化に乏しい画像であっても、この誇張表現により通話相手に対して言葉では伝えきれない感情表現を視覚情報として伝えることが可能になる。
《第4変形例》
次に第4変形例について説明する。第4変形例の情報通信システム10は、送信端末装置12で用いるパラメータやコードデータを生成して、受信端末装置14に送信し、受信端末装置14で送信端末装置12からのパラメ一タやコードデータを受信し、受信端末装置14で表示モデルを生成するシステムである。
By operating in this way, it is possible to exaggerate the behavior of the component image in response to a request from the user, and even if the character image or the background image is poorly changed, this exaggerated expression can be used to call Emotional expressions that cannot be conveyed in words can be conveyed as visual information to the other party.
<< 4th modification >>
Next, a fourth modification will be described. The
本実施例における送信端末装置12は、図14に示すように、画像入力部18、表情特徴抽出部20、情報変化部22、表示モデル格納部24、背景モデル格納部28、符号化部32および送信部34を有している。本実施例の送信端末装置12は、図1の送信端末装置12と比べると、表示モデル生成部26および画像生成部30がない構成である。本実施例の送信端末装置12は、構成の簡素化を図ることができる。
As shown in FIG. 14, the
表示モデル格納部24には、キャラクタに対応したコードテーブルをあらかじめ設定しておき、利用者のキャラクタ選択に応じて該当するコードデータを出力する。背景モデル格納部28も、送信に応じて選択した背景画像を送信するのではなく、選択した背景画像に対応したコードデータを送信する。背景モデル格納部28には、背景画像に対応したコードテーブルをあらかじめ設定しておき、利用者の背景画像の選択に応じて該当するコードデータを出力する。送信側としては表示モデル格納部24および背景モデル格納部28は、コードテーブルだけがあればよい。モデルデータすべてを格納していないので、本実施例の表示モデル格納部24および背景モデル格納部28は、先の実施例に比べて少ない容量で済む。
In the display
このような構成にともなって符号化部32には、パラメータ生成部40からのパラメータ52が直接的に供給されるとともに、所望のキャラクタモデルを表すコードデータ100および背景モデルを表すコードデータ102が供給される。
With such a configuration, the
また、本実施例の受信端末装置14は、受信部66、復号部68および出力部70に加えて、これまで送信端末装置12に設けていた表示モデル格納部24、背景モデル格納部28、表示生成モデル26および画像生成部30を含む。表示モデル格納部24、背景モデル格納部28、表示生成モデル26および画像生成部30は、図1の送信端末装置12と同じものである。とくに表示モデル格納部24および背景モデル格納部28は、ともにコードテーブルを有している。受信部66は、送信部34から送信されたデータ64を受信して、圧縮された受信信号72(圧縮データ)を復号部68に出力する。復号部68は、供給された圧縮データに復号処理を施し、表情特徴の座標データであるパラメータ104、キャラクタ画像を特定するデータ106および背景画像を特定するデータ108をそれぞれ、分けて出力する。パラメータ104は送信側でのパラメータ52、データ106は送信側のデータ100およびデータ108は送信側のデータ102にそれぞれ、対応している。
In addition to the receiving
データ106は表示モデル格納部24に供給され表示モデル格納部24はデータ106に該当するキャラクタ画像のモデルデータ54を表示モデル生成部26に出力する。表示モデル生成部26は、供給されるモデルデータ54に対してパラメータ104を適用して表情を有するモデルデータ(画像)56を生成し、画像生成部30に出力する。表示モデル生成部26は、供給されたディジタル画像信号に対してレンダリング処理を施す。この場合、情報通信システム10は、送信側で生成した画像データを送信せずに、パラメータおよびコードデータといった少ない伝送容量で済むことから、利用者は通信料金を節約することができる。
The
データ108は背景モデル格納部28に供給され、背景モデル格納部28は、データ108に該当する背景画像のモデルデータ58を画像生成部30に出力する。画像生成部30は、モデルデータ56およびモデルデータ58を基に画像を合成する。画像生成部30は、合成画像データ60を出力部70に供給する。出力部70には、画像データだけでなく、音声データも供給されていることは言うまでもない。出力部70のモニタには、通信相手の送信者の顔表情に同期して選択したモデル画像を動かし、背景画像を表示させることができる。
The
次にこの情報通信システム10の動作を簡単に説明する。図16に示すように、動作は、基本的に図4の手順に同じである。ただし、キャラクタの画像生成および背景画像の合成がない点に特徴がある。キャラクタおよび背景画像をあらかじめ選択する(ステップS10)。たとえば通話開始以前に選択ボタンでユーザにより選択を行う。とくに本実施例では表示モデル格納部24から選択したキャラクタデータ54を送信するのではなく、選択したキャラクタに対応したコードデータ100を送信する。背景モデル格納部28も選択したキャラクタに対応したコードデータ102を送信する。
Next, the operation of the
この後、送信端末装置12は、順次に利用者の画像を入力し(ステップS12)、表情の抽出を行い(ステップS14)、情動の変化に応じて抽出した表情のパラメータに変化を持たせるか否か判断する(ステップS16)。変化指定をしない場合、現状でのパラメータ38を出力する。変化指定する場合、変化するパラメータの指定およびその倍率を一組にして(ステップS18)、パラメータ38の更新を行う(ステップS20)。すなわち、該当するパラメータの各組で更新することにより新たなパラメータ52を生成し、符号化部32に出力する。
Thereafter, the transmitting
符号化部32には、パラメータ52、コードデータ100, 102が供給される。符号化部32は、これらのデータに対して圧縮処理を施して送信部34に出力する(ステップS26)。送信部34は、供給される圧縮データ64を受信端末装置14に送信する(ステップS28)。終了判断処理(ステップS30)では継続する場合、画像入力に戻り一連の処理を繰り返す。また、終了する場合、たとえば電源オフして通話を切断する。
The
次に受信端末装置14は、送信端末装置12と通信接続状態にした(ネゴシエーション)後、送信端末装置12からの圧縮データ64を受信する(ステップS50)。受信端末装置14は、取得した圧縮された受信信号72(圧縮データ)に対して復号処理を施す(ステップS52)。復号処理によってパラメータ104、コードデータ106, 108に、それぞれ分けて、表示モデル生成部26、表示モデル格納部24および背景モデル格納部28に供給する。表示モデル格納部24および背景モデル格納部28は、工程として図17に表れていないが、それぞれ供給されたコードデータ106, 108に応じたキャラクタのモデルデータ54、背景画像のモデルデータ58を表示モデル生成部26および画像生成部30に供給する。すなわち、表示モデル格納部24および背景モデル格納部28は、格納されている複数のモデルデータの中から供給されるコードデータとコードテーブルとの対応により、出力するキャラクタのモデルや背景画像を選択し出力する。
Next, the receiving
なお、受信端末装置14は、送信端末装置12から指定されたキャラクタのコードデータや背景画像のコードデータに対応するキャラクタや背景画像がない場合、それぞれデフォルトのモデルデータを送出するものとする。
Note that the receiving
次に供給されるパラメータ104とキャラクタのモデルデータ54とを用いてキャラクタのCG画像を生成する(ステップS22)。CG画像は、モデルデータの各部位とパラメータ104である表情データとを対応付けて、誇張して生成される。利用者の顔表情の動きが誇張表現されたモデルデータ56に反映される。これにより、キャラクタは、送信者の動きに同期して表現されることになる。
Next, a CG image of the character is generated using the supplied
次にモデルデータ56と背景画像のモデルデータ58とを合成する(ステップS24)。合成した画像データ60が画像生成部30から出力部70に出力される。出力部70は、モニタに供給された画像を表示する(ステップS54)。受信者は、送信者の動きに同期したキャラクタ画像を見ることにより、通信相手の微妙な感情を知ることができる。次に終了判断処理(ステップS56)では継続する場合、受信処理に戻り前述した一連の処理を繰り返す。また、終了する場合、たとえば電源オフして通話を切断する。
Next, the
このように動作させることにより、情報通信システム10は送信端末装置12から完成された画像データ64でなく、パラメータやコードデータを圧縮して伝送することにより伝送上の負荷を軽減することができる。受信端末装置14では、供給される圧縮データを復号して、送信者の表情を表すパラメータを取得し、コードデータから対応するキャラクタや背景画像を求めて、表示する画像を生成することが可能になる。
By operating in this way, the
なお、本発明の実施例は、説明を容易化するため変形の対象を一つに限定して説明したが、実施例やこれらの変形例を組み合わせて、より複雑な画像を生成して通信することができることは言うまでもない。 In addition, although the embodiment of the present invention has been described by limiting the number of modifications to one for ease of explanation, the embodiment and the modifications are combined to generate and communicate more complex images. It goes without saying that it can be done.
以上のように構成することにより、情報通信システム10は、送信端末装置12に画像入力部18を介して得られたディジタル画像36から表情特徴抽出部20でパラメータ38を抽出し、情動変化部22の情動指定部42で表情を与える部位に対する変形を対象として独立に変形を指定し、倍率指定部44で変形の割合を規定して情動指定部42に供給し、該当する部位の値を一組の値50として形状変形部40に供給し、形状変形部40で供給された値50で置換したパラメータ52を出力し、送信端末装置12の出力データに応じて表示モデル格納部24および表示モデル生成部26を送信端末装置12および受信端末装置14のいずれか一方に配設することにより、利用者からの要求に応じた意向を踏まえたキャラクタの動作や表現にして通信相手に提供することができる。単に表情を持たせたキャラクタ画像を提供する場合に比べて通話相手に対して常に意図的な意思を表現できることから、コミュニケーション力を一層向上させることができる。また、表示モデル格納部24および表示モデル生成部26を送信端末装置12に配設すると、受信端末装置14の構成を大幅に簡素化することができ、これらを受信端末装置14に配設すると、伝送量を大幅に抑制することができる。
By configuring as described above, the
送信端末装置12の出力するデータに応じて、背景モデル格納部28および画像合成部30を送信端末装置12および受信端末装置14のいずれか一方に含むことにより、表示する画像の品質をより高いものにでき、とくに、送信端末装置12に背景モデル格納部28および画像合成部30を設けても、受信端末装置14の構成を簡素化することができ、一方、受信端末装置14に背景モデル格納部28および画像合成部30を設けることによっても、伝送の負担を軽減することができる。
Depending on the data output from the
倍率指定部44は、利用者からの指示に応じて行われ、この入力データとして供給される回数、継続時間および倍率を表す数値のいずれかの指示に応じて動的に変化させて指定することにより、利用者の感情を容易に操作として表すことができる。
The
また、情動変化部22は、履歴管理部88を含み、過去の情動に対応した部位、倍率および通信相手の情報を履歴情報として格納し、条件に応じて情動指定部42に履歴情報を出力することにより、利用者の操作性を向上させることができ、情動指定部42は、変形させる対象に応じて供給される対象のモデルデータの特徴点およびこのモデルデータの特徴点に対する倍率を一組にして形状変形部40に供給することにより、供給されるパラメータ38のデータ置換を容易に行うことができる。
In addition, the
ここで、対象は、表情を特徴付ける部位、背景画像およびキャラクタの感情表現を補助するアイテムの少なくとも一つである。これにより、通信相手に表示される画像によって単なる表情を持たせたキャラクタ画像の表現以上に送信者の感情を画像に表し易くすることができる。 Here, the target is at least one of a part that characterizes the facial expression, a background image, and an item that assists the emotional expression of the character. This makes it easier to express the sender's emotion in the image than the representation of the character image in which the image displayed on the communication partner has a simple expression.
また、本発明の画像生成方法を適用することにより、キャラクタをあらかじめ選択し、送信者の顔画像をディジタル画像に変換し、このディジタル画像から表情パラメータを抽出し、部位に対する変形を対象とし、独立に指定するか否かの判断に応じて独立に指定する場合に表情パラメータの対応する部位の値を指定し、該当する部位の値を置換する処理を施し、送信側から出力するデータに応じて、通信先で表示するキャラクタとしてモデルデータの出力およびキャラクタ画像の生成を送信側の処理および受信側の処理のいずれか一方にて行うことにより、利用者からの要求に応じた意向を踏まえたキャラクタの動作や表現にして通信相手に提供することができ、とくに受信側の処理にモデルデータの出力およびキャラクタ画像の生成を行うと、伝送の負担を軽減することができる。 In addition, by applying the image generation method of the present invention, a character is selected in advance, the face image of the sender is converted into a digital image, facial expression parameters are extracted from the digital image, and the deformation of the part is targeted, and is independently Depending on the data to be output from the transmission side, specify the value of the corresponding part of the facial expression parameter when assigning it independently according to the judgment whether or not to specify, and replace the value of the corresponding part A character based on the intention according to the request from the user by outputting the model data and generating the character image as the character to be displayed at the communication destination by either the processing on the transmission side or the processing on the reception side. Can be provided to the other party in the form of movements and expressions, and in particular, model data is output and character images are generated for processing on the receiving side. And, it is possible to reduce the burden of transmission.
情動にともなう対象の変形処理は、顔画像の表情をもたらす部位に対する変形を指定し、この指定された部位に対する変形の割合、すなわち倍率を規定し、抽出した表情パラメータのうち、指定された部位の表情パラメータの値を変形の割合に置換し、パラメータと52して出力することにより、単なる表情を持たせたキャラクタ画像の表現以上に送信者の感情を画像に表し易くすることができる。
The transformation process of the object associated with the emotion specifies the deformation for the part that brings about the facial expression of the facial image, specifies the deformation ratio for the designated part, that is, the magnification, and the extracted facial expression parameters of the designated part. By replacing the value of the expression parameter with the rate of deformation and outputting it as a
画像生成方法は、送信側から出力するデータに応じて、通信先で表示する背景画像としてのモデルデータの出力および画像合成を送信側および受信側のいずれか一方にて行うことにより、キャラクタ画像を表示する以上に様々な画像表現を提供でき、この場合も受信側の処理にモデルデータの出力およびキャラクタ画像の生成を行うことにより、伝送の負担を軽減することができる。 The image generation method performs output of model data as a background image to be displayed at a communication destination and image synthesis on either the transmission side or the reception side in accordance with data output from the transmission side, thereby generating a character image. Various image representations can be provided in addition to the display. In this case as well, the transmission burden can be reduced by outputting the model data and generating the character image for the processing on the receiving side.
また、画像生成方法は、変形させる対象に応じて供給される対象とするモデルデータの特徴点およびこの特徴点に対する倍率を一組にして生成して、供給されるパラメータ38のデータ置換を容易に行うことができ、対象を表情の特徴付けとなる部位、背景画像およびキャラクタの感情表現を補助するアイテムの少なくとも一つとすることにより、単に表情を持たせて表現したキャラクタ画像以上に誇張的に表現して送信者の感情をわかり易く表現させることができる。
Also, the image generation method generates a set of feature points of model data to be supplied according to the object to be deformed and a magnification for the feature points, and facilitates data replacement of the supplied
画像生成方法は、利用者からの入力データに応じて前記対象に対する変形を指示し、この入力データによって供給される回数、継続時間および倍率を表す数値のいずれかの指示に応じて動的に変化させることにより、利用者の感情を容易に操作として表すことができる。 The image generation method instructs deformation of the target in accordance with input data from a user, and dynamically changes in response to any of the numerical values representing the number of times, duration, and magnification supplied by the input data. By doing so, the emotion of the user can be easily expressed as an operation.
画像生成方法は、情動の判断と判断に応じた情動処理の間にて独立に変化させる対象の倍率が指定されたか否か判断し、倍率指定が有る場合、判断に応じた情動処理に進み、倍率指定のない場合、現在通信中の相手を含むか否かを履歴情報を基に検索し、この検索結果に該当する履歴情報が存在するか否かを判断し、履歴情報が存在したとき、この履歴情報に対応した値を指定し、履歴情報がないとき、所定の値を指定することにより、通信相手毎にそれぞれ何等かの値が提供されることになり、利用者の操作を大幅に向上させることができる。 The image generation method determines whether or not the magnification of the target to be changed independently between the emotion determination and the emotion processing according to the determination is specified, and if there is a magnification specification, proceeds to the emotion processing according to the determination, If the magnification is not specified, search based on the history information whether or not the currently communicating party is included, determine whether there is history information corresponding to this search result, and when history information exists, By specifying a value corresponding to this history information and when there is no history information, specifying a predetermined value will provide some value for each communication partner, greatly increasing the user's operation Can be improved.
本発明の実施例では、符号化および復号処理を画像およびパラメータのいずれかにより通信するものとして説明したが、本発明はこれに限定されるものではなく、たとえば音声や音響データも符号化および復号し、画像とともに多重化して伝送してもよい。 In the embodiments of the present invention, the encoding and decoding processes have been described as communicating with either images or parameters. However, the present invention is not limited to this. For example, audio and acoustic data are also encoded and decoded. However, it may be multiplexed with the image and transmitted.
10 情報通信システム
12 送信端末装置
14 受信端末装置
16 IPネットワーク
18 画像入力部
20 表情特徴抽出部
22 情動変化部
24 表示モデル格納部
26 表示モデル生成部
28 背景モデル格納部
30 画像生成部
32 符号化部
34 送信部
40 形状変形部
42 情動指定部
44 倍率指定部
66 受信部
68 復号部
70 出力部
10 Information communication system
12 Sending terminal device
14 Receiving terminal equipment
16 IP network
18 Image input section
20 Facial feature extraction unit
22 Emotion change department
24 Display model storage
26 Display model generator
28 Background model storage
30 Image generator
32 Encoder
34 Transmitter
40 Shape deformation part
42 Emotion designation part
44 Magnification specification part
66 Receiver
68 Decryption unit
70 Output section
Claims (12)
前記送信端末装置は、前記送信者の顔画像を取り込み、ディジタル画像に変換する画像入力手段と、
該ディジタル画像から顔の各部位を示す特徴点のデータを表情パラメータとして抽出する表情特徴抽出手段と、
前記顔画像において表情をもたらす部位に対する変形を対象として独立に変形する部位を指定し、前記表情パラメータの対応する部位の値を置換する情動変形手段とを含み、
該情動変形手段は、前記顔画像において表情をもたらす部位に対する変形を指定する情動指定手段と、
該指定された部位に対する変形の割合を規定する倍率指定手段と、
前記抽出した表情パラメータのうち、前記指定された部位の表情パラメータの値を前記規定された変形の割合に置換する形状変形手段とを含み、
前記送信端末装置の出力するデータに応じて、通信先で表示するキャラクタとしてモデルデータを格納する表示モデル格納手段および前記キャラクタとしてのモデルデータと前記表情パラメータとを対応付けてキャラクタ画像を生成するキャラクタ生成手段を前記送信端末装置および前記受信端末装置のいずれか一方に含むことを特徴とする画像通信システム。 In an image communication system in which a sender's face image is captured by a transmission terminal device and an image different from the face image is displayed on the reception terminal device via a wired or wireless communication line,
The transmitting terminal device captures the sender's face image and converts it into a digital image; and
Facial expression feature extraction means for extracting feature point data representing each part of the face from the digital image as facial expression parameters;
An emotional deformation means for designating a part to be deformed independently for deformation of a part that causes an expression in the face image, and replacing a value of a corresponding part of the expression parameter;
The emotional deformation means includes an emotion designating means for designating a deformation for a part that causes an expression in the face image;
A magnification specifying means for defining a deformation ratio with respect to the specified portion;
A shape deformation means for replacing the value of the facial expression parameter of the designated part among the extracted facial expression parameters with the prescribed deformation ratio;
A display model storage means for storing model data as a character to be displayed at a communication destination in accordance with data output from the transmission terminal device, and a character that generates a character image by associating the model data as the character with the facial expression parameter An image communication system, comprising: a generation unit included in one of the transmission terminal device and the reception terminal device.
前記顔画像と異なる画像としてキャラクタをあらかじめ選択する第1の工程と、
前記送信者の前記顔画像を取り込み、ディジタル画像に変換する第2の工程と、
該ディジタル画像から顔の各部位を示す特徴点のデータを表情パラメータとして抽出する第3の工程と、
前記顔画像において表情をもたらす部位に対する変形を対象とし、独立に変形を指定するか否かを判断する第4の工程と、
該変形を指定しない場合前記表示パラメータを単に出力し、独立に該変形を指定する場合前記表情パラメータの対応する部位の値を指定し、該当する部位の値を置換する第5の工程とを含み、
前記送信側から出力するデータに応じて、通信先で表示する前記キャラクタとしてモデルデータを出力する第6の工程および前記キャラクタとしてのモデルデータと前記表情パラメータとを対応付けてキャラクタ画像を生成する第7の工程を前記送信側の処理および前記受信側の処理のいずれか一方にて行うことを特徴とする画像生成方法。 In an image generation method for capturing a sender's face image and displaying an image different from the face image on a receiving side via a wired or wireless communication line, the method includes:
A first step of pre-selecting a character as an image different from the face image;
A second step of capturing the face image of the sender and converting it to a digital image;
A third step of extracting feature point data representing each part of the face from the digital image as a facial expression parameter;
A fourth step of determining whether or not to specify deformation independently for deformation of a part that causes an expression in the face image;
When the deformation is not specified, the display parameter is simply output, and when the deformation is specified independently, the value of the corresponding part of the facial expression parameter is specified, and the value of the corresponding part is replaced. ,
A sixth step of outputting model data as the character to be displayed at the communication destination in accordance with data output from the transmission side, and a character image is generated by associating the model data as the character with the facial expression parameter 7. An image generation method, wherein the step 7 is performed by any one of the processing on the transmission side and the processing on the reception side.
該指定された部位に対する変形の割合を規定する第9の工程と、
前記抽出した表情パラメータのうち、前記指定された部位の表情パラメータの値を前記規定された変形の割合に置換し、前記表情パラメータとして出力する第10の工程とを含むことを特徴とする画像生成方法。 The method according to claim 7, wherein the fifth step is an eighth step of designating a deformation for a part that causes a facial expression in the facial image;
A ninth step of defining a deformation rate with respect to the designated portion;
And a tenth step of replacing the value of the facial expression parameter of the designated part with the prescribed deformation ratio among the extracted facial expression parameters and outputting as the facial expression parameter Method.
前記倍率指定がされた場合、第5の工程に進み、前記倍率指定のない場合、過去の情動に対応した部位、前記倍率および通信相手の情報を履歴情報とし、該履歴情報を基に現在通信中の相手について検索する第14の工程と、
該検索により前記履歴情報が存在するか否かを判断する第15の工程と、
該履歴情報が存在したとき、該履歴情報に対応して変化させた値を指定する第16の工程と、
前記履歴情報がないとき、所定の値を指定する第17の工程とを含むことを特徴とする画像生成方法。 12. The method according to any one of claims 7 to 11, wherein the method determines whether a target magnification to be independently changed between the fourth step and the fifth step is designated. The process of
When the magnification is designated, the process proceeds to the fifth step. When the magnification is not designated, the information corresponding to the past emotion, the magnification and the communication partner is used as history information, and the current communication is performed based on the history information. The 14th step of searching for the partner in
A fifteenth step of determining whether or not the history information exists by the search;
When the history information exists, a sixteenth step of designating a value changed corresponding to the history information;
And a seventeenth step of designating a predetermined value when there is no history information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003410067A JP2005173772A (en) | 2003-12-09 | 2003-12-09 | Image communication system and image formation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003410067A JP2005173772A (en) | 2003-12-09 | 2003-12-09 | Image communication system and image formation method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005173772A true JP2005173772A (en) | 2005-06-30 |
Family
ID=34731242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003410067A Pending JP2005173772A (en) | 2003-12-09 | 2003-12-09 | Image communication system and image formation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005173772A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008085421A (en) * | 2006-09-26 | 2008-04-10 | Asahi Kasei Corp | Video telephone, calling method, program, voice quality conversion-image editing service providing system, and server |
JP2018530017A (en) * | 2015-07-30 | 2018-10-11 | インテル・コーポレーション | Emotion expansion avatar animation |
US11295502B2 (en) | 2014-12-23 | 2022-04-05 | Intel Corporation | Augmented facial animation |
US11303850B2 (en) | 2012-04-09 | 2022-04-12 | Intel Corporation | Communication using interactive avatars |
US11887231B2 (en) | 2015-12-18 | 2024-01-30 | Tahoe Research, Ltd. | Avatar animation system |
JP7526851B2 (en) | 2019-01-10 | 2024-08-01 | 株式会社Iriam | Live communication system using characters |
-
2003
- 2003-12-09 JP JP2003410067A patent/JP2005173772A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008085421A (en) * | 2006-09-26 | 2008-04-10 | Asahi Kasei Corp | Video telephone, calling method, program, voice quality conversion-image editing service providing system, and server |
US11303850B2 (en) | 2012-04-09 | 2022-04-12 | Intel Corporation | Communication using interactive avatars |
US11595617B2 (en) | 2012-04-09 | 2023-02-28 | Intel Corporation | Communication using interactive avatars |
US11295502B2 (en) | 2014-12-23 | 2022-04-05 | Intel Corporation | Augmented facial animation |
JP2018530017A (en) * | 2015-07-30 | 2018-10-11 | インテル・コーポレーション | Emotion expansion avatar animation |
US10776980B2 (en) | 2015-07-30 | 2020-09-15 | Intel Corporation | Emotion augmented avatar animation |
US11887231B2 (en) | 2015-12-18 | 2024-01-30 | Tahoe Research, Ltd. | Avatar animation system |
JP7526851B2 (en) | 2019-01-10 | 2024-08-01 | 株式会社Iriam | Live communication system using characters |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100359941C (en) | Visuable telephone terminal | |
JP2006330958A (en) | Image composition device, communication terminal using the same, and image communication system and chat server in the system | |
US6825873B2 (en) | TV phone apparatus | |
CN110446000B (en) | Method and device for generating dialogue figure image | |
KR101450580B1 (en) | Method and Apparatus for composing images | |
US6943794B2 (en) | Communication system and communication method using animation and server as well as terminal device used therefor | |
CN100420297C (en) | Mobile communication terminal and program | |
JP5870469B2 (en) | Communication method and device for video simulation images | |
JP2004533666A (en) | Communications system | |
WO2003063483A1 (en) | Communication apparatus | |
JP2007213364A (en) | Image converter, image conversion method, and image conversion program | |
KR100853122B1 (en) | Method and system for providing Real-time Subsititutive Communications using mobile telecommunications network | |
JP2005173772A (en) | Image communication system and image formation method | |
JPH11341456A (en) | Household multimedia communication system | |
JP2004193809A (en) | Communication system | |
JP2013219495A (en) | Emotion-expressing animation face display system, method, and program | |
JP4896118B2 (en) | Video phone terminal | |
JP2005130356A (en) | Video telephone system and its communication method, and communication terminal | |
JP3854871B2 (en) | Image processing apparatus, image processing method, recording medium, and program | |
JPH08307841A (en) | Pseudo moving image video telephone system | |
JP2005057431A (en) | Video phone terminal apparatus | |
JP2000228687A (en) | Information communication system | |
US7154906B2 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processing program code | |
JP2001357414A (en) | Animation communicating method and system, and terminal equipment to be used for it | |
JP2006048352A (en) | Communication terminal having character image display function and control method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081111 |