JP2004040615A

JP2004040615A - Communication terminal and image transmitting method

Info

Publication number: JP2004040615A
Application number: JP2002196989A
Authority: JP
Inventors: Katsuhiko Araki; 荒木　勝彦
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-07-05
Filing date: 2002-07-05
Publication date: 2004-02-05

Abstract

<P>PROBLEM TO BE SOLVED: To provide a communication terminal and image transmitting method by which a sender can transmit his/her desired facial expression to the opposite communication party regardless of the sender's health condition and psychological state. <P>SOLUTION: Pictures with various facial expressions are prepared in advance and stored in a picture storing part 3 so that the sender 100 can optionally select a picture, in addition to a general function for encoding and transmitting a picture of the sender obtained by photographing the sender with a camera 1. When the sender 100 can send his/her present facial expression as it is to the opposite communication party, the sender sends the opposite communication party a transmission picture 100A obtained by photographing the sender with the camera 1. When the sender 100 does not want to send his/her present facial expression as it is to the opposite communication party, a picture selected by the sender 100 among the pictures with various facial expressions stored in the image storing part 3 is sent to the opposite communication party. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像伝送が可能な通信端末及び画像送信方法に関する。
【０００２】
【従来の技術】
従来技術として、例えば特開２００１−１２７９９０号公報で開示されたものが知られている。
【０００３】
図５は、同公報で開示された情報通信システムの構成を示すブロック図である。この図に示す従来の情報通信システムは、送信人物１００を撮影するカメラ４０と、送信人物１００の動きを取り込むモーションセンサ４１及びモーションキャプチャ４２と、送信人物１００の音声を取り込んで音声認識するマイク４３及び音声認識装置４４と、周囲環境の情報を取得して環境情報を認識する各種センサ４５及び環境情報認識装置４６と、カメラ４０と各種センサ４５の入力に基づいて画像中の人物と背景とを分離する画像認識装置４７と、デマンド認識結果及び画像データベースを用いて画像認識後の画像から変換する画像を選択する変換画像選択装置４８と、デマンド認識結果を用いて変換後の画像を加工し送信画像を作成する画像加工処理装置４９とを備えており、送信人物１００の感情に基づいた表情を受信人物に伝えつつ、送信人物のプライバシを保護することが可能となっている。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の情報通信システムにおいては、送信者１００が受信人物に伝えたくない感情に基づく表情まで伝えてしまうという問題がある。
さらに、カメラ４０を前にして送信者１００の表情が過剰に強張って、そのときの感情が正確に伝わらないという問題もある。
【０００５】
本発明は係る点に鑑みてなされたものであり、送信者の健康状態や心理状態に関わらず、送信者が所望とする表情を通信相手に送信することができる通信端末及び画像送信方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に係る発明の通信端末は、撮影手段と、前記撮影手段で撮影された画像を符号化して第１の送信画像を生成する符号化手段と、様々な表情の画像を記憶させた画像記憶手段と、前記画像記憶手段に記憶された複数の画像のうち送信者が所望とする１つを選択する表情選択手段と、前記表情選択手段にて選択された表情に対応する画像を前記画像記憶手段から読み出して第２の送信画像を生成する画像生成手段と、前記第１の送信画像と前記第２の送信画像のいずれか一方を選択する送信画像選択手段と、を具備する構成を採る。
【０００７】
この構成によれば、送信者の健康状態や心理状態に関わらず、送信者が任意に設定した表情を通信相手に送ることができ、スムーズなコミュニケーションを図ることができる。
【０００８】
請求項２に係る発明の通信端末は、請求項１に係る発明の通信端末において、前記画像生成手段で生成された第２の送信画像を、その画像の動画像符号化方式及び伝送方式と異なる方式を採用した他の通信端末でも扱えるように、その異なる方式に変換するフォーマット変換手段を具備する構成を採る。
【０００９】
この構成によれば、本通信端末で生成した第２の送信画像を受信できない通信端末でも受信が可能なように動画像符号化方式及び伝送方式を変換するので、当該通信端末でも第２の送信画像を受信できるようになる。
【００１０】
請求項３に係る発明の通信端末は、請求項１又は請求項２に係る発明の通信端末において、音声入力手段を具備し、前記表情選択手段は、送信者によって選択された複数の表情の画像をプリセットしておくと共に、通信中に前記音声入力手段により入力された音声の強弱や台詞のキーワードに応じて、プリセットしている複数の画像のうち対応するものを選択する構成を採る。
【００１１】
この構成によれば、送信者が事前に通信中の基本的な表情を設定しておくことで、通信中に頻繁に表情選択入力を行う必要がなく、音声の強弱や台詞のキーワードに応じて表情の異なる画像を送ることが可能となる。例えば顧客に電話するときには愛想の良い表情を複数選択しておけば、顧客に良い印象を与えることができる。また、友人に電話するときには大げさな表情を複数選択しておけば、スムーズなコミュニケーションが図れる。
【００１２】
請求項４に係る発明の通信端末は、請求項１から請求項３のいずれかに係る発明の通信端末において、前記表情選択手段は、通信中に通信相手の通信端末より送られてきた表情選択指示に従って前記画像記憶手段に記憶された複数の画像のうち指定されたものを選択する構成を採る。
【００１３】
この構成によれば、通信相手によって通信中の表情が選択されるので、通信相手の意思を知ることができ、スムーズなコミュニケーションが図れる。
【００１４】
請求項５に係る発明の通信端末は、請求項１から請求項４のいずれかに係る発明の通信端末において、前記画像記憶手段に記憶させる画像データの追加・削除・交換を行う画像制御手段を具備する構成を採る。
【００１５】
この構成によれば、常に最良の画像データを保存しておくことができる。
【００１６】
請求項６に係る発明の通信端末は、請求項１から請求項５のいずれかに係る発明の通信端末において、送信者が撮影した画像を取り込んで前記画像記憶手段に記憶させる画像入力手段を具備する構成を採る。
【００１７】
この構成によれば、送信者が撮影した画像を通信相手に送ることができる。
【００１８】
請求項７に係る発明の通信端末は、請求項６に係る発明の通信端末において、前記画像入力手段は、電気通信回線を介して外部より画像データの取り込み、記憶媒体に記憶された画像データの取り込み並びに画像読取手段にて読み取られた画像データの取り込みを行う構成を採る。
【００１９】
この構成によれば、撮影手段にて取得した画像の他に、例えばインターネット等のネットワークを介して取得した画像、メモリカードにて取得した画像あるいはスキャナにて取得した画像を第２の送信画像として用いることができる。
【００２０】
請求項８に係る発明の移動体通信システムは、請求項１から請求項７のいずれかに係る発明の通信端末を具備する構成を採る。
【００２１】
この構成によれば、送信者の健康状態や心理状態に関わらず、送信者が任意に設定した表情を通信相手に送ることができ、スムーズなコミュニケーションを図ることができる移動体通信システムを提供することができる。
【００２２】
請求項９に係る発明の画像送信方法は、カメラで撮影した画像を符号化して第１の送信画像を生成する一方、予め様々な表情の画像を作成して保存しておいてユーザが任意に選択できるようにし、前記ユーザが現在の自己の表情をそのまま通信相手に送っても構わない場合には前記第１の送信画像を前記通信相手に送り、前記ユーザが現在の自己の表情をそのまま通信相手に送りたくない場合には前記保存中の様々な表情の画像のうちユーザが選択したものを第２の送信画像として前記通信相手に送る。
【００２３】
この方法によれば、送信者の健康状態や心理状態に関わらず、送信者が任意に設定した表情を通信相手に送ることができ、スムーズなコミュニケーションを図ることができる。
【００２４】
【発明の実施の形態】
本発明の骨子は、カメラで撮影して得られた送信者の画像を符号化して送信する一般的な機能に加えて、予め様々な表情の画像を作成して保存しておいて送信者が任意に選択できるようにし、送信者が現在の自己の表情をそのまま通信相手に送っても構わない場合にはカメラで撮影して得られた送信者の画像を通信相手に送り、送信者が現在の自己の表情をそのまま通信相手に送りたくない場合には保存中の様々な表情の画像のなかで送信者が選択したものを通信相手に送ることである。
【００２５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２６】
（実施の形態１）
図１は、本発明の実施の形態１に係る通信端末の構成を示すブロック図である。この図において、本実施の形態の通信端末は、例えば移動体通信システムに用いられる携帯電話やＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙ−Ｐｈｏｎｅ　Ｓｙｓｔｅｍ）などの通信機器であり、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）カメラ（以下、単にカメラという）１と、符号化部２と、画像記憶部３と、表情入力部４と、画像生成部５と、送信画像選択部６とを備えて構成される。
【００２７】
カメラ１は通信端末本体上（図示略）に設けられており、送信者１００の顔の撮影等に使用される。符号化部２はカメラ１で撮影された画像を符号化することで送信画像（第１の送信画像）を生成する。画像記憶部３は様々な表情の画像データを記憶する。表情入力部４は送信者１００による表情設定を可能とするものであり、送信者１００により選択された表情情報を出力する。この表情入力部４による表情設定時には通信端末の操作面の表示器（図示略）上に各種表情のキャラクタが表示され、その中から送信者１００が所望のものをキー操作等により選択することで、選択したキャラクタの表情情報が出力される。
【００２８】
画像生成部５は、表情入力部４にて設定された表情情報に対応する画像データを画像記憶部３から読み出して送信画像（第２の送信画像）を生成する。送信画像選択部６は、符号化部２からの送信画像１００Ａ（カメラ１で撮影された送信者１００の表情を忠実に再現した画像）と画像生成部５で生成された送信画像１００Ｂのいずれか一方を選択して出力する。
【００２９】
次に、上記構成の通信端末の画像送信処理について説明する。
まず、通常の通信状態を選択した場合、カメラ１を用いて撮影した送信者１００の画像データが符号化部２により符号化される。そして、符号化された送信画像１００Ａが送信画像選択部６に入力される。このとき送信画像選択部６にて送信画像１００Ａが選択されていると、送信画像１００Ａが通信相手に向けて送信される。これにより、送信者１００が気分を害して怒っていた場合には怒り顔がそのまま通信相手に伝わることになる。
【００３０】
一方、送信者１００は、現在の表情をそのまま通信相手に送りたくない場合、表情入力部４にて表情を選択する。画像生成部５は、表情入力部４で選択された表情に対応する画像データを画像記憶部３から送信画像１００Ｂを生成し、それを送信画像選択部６に入力する。これにより、送信画像１００Ｂが通信相手に向けて送信される。この場合、通信相手は現在の送信者１００の表情とは違った表情の画像を見ることになる。例えば、送信者１００が現在気分を害して怒っていても普通の顔が選択されることで、通信相手は笑顔の送信者１００を見ることになる。
【００３１】
このように本実施の形態の通信端末によれば、カメラ１で撮影して得られた送信者１００の画像を符号化して送信する一般的な機能に加えて、予め様々な表情の画像を作成して保存しておいて送信者１００が任意に選択できるようにし、送信者１００が現在の自己の表情をそのまま通信相手に送っても構わない場合にはカメラ１で撮影して得られた送信者１００の画像を通信相手に送り、送信者１００が現在の自己の表情をそのまま通信相手に送りたくない場合には保存中の様々な表情の画像のうちユーザが選択したものを通信相手に送るので、送信者１００の健康状態や心理状態に関わらず、送信者１００が任意に設定した表情を通信相手に向けて送信することができ、通信相手に不快感を与えたりすることがなくなり、スムーズなコミュニケーションが図れる。
【００３２】
（実施の形態２）
図２は、本発明の実施の形態２に係る通信端末の構成を示すブロック図である。なお、この図において前述した図１の通信端末と同一の機能を有する部分には同じ符号を付けている。
【００３３】
図２において、本実施の形態の通信端末は、伝送フォーマット変換部７と、画像生成部５で生成された送信画像を、伝送フォーマット変換部７を介して送信画像選択部６に入力するか、伝送フォーマット変換部７を介さないで送信画像選択部６に入力するかの切り替えを行う切替スイッチ８とを有している以外、実施の形態１の通信端末と同一の構成となっている。伝送フォーマット変換部７は、送信画像１００Ｂの動画像符号化方式及び伝送方式を本発明を適用する通信手段における既存の動画像もしくは静止画像を伝送する通信システムに用いられる動画像符号化方式及び伝送方式に変換する。
【００３４】
次に、上記構成の通信端末の画像送信処理について説明する。
実施の形態１の通信端末と同様に送信者１００が現在の実際の表情を通信相手に送りたくない場合、送信者１００は表情入力部４にて表情を選択する。画像生成部５は、表情入力部４で選択された表情に対応する画像データを画像記憶部３から送信画像１００Ｂを生成する。そして、画像生成部５で生成された送信画像の動画像符号化方式及び伝送方式が本発明を適用する通信手段における既存の動画像もしくは静止画像を伝送する通信システムに用いられる動画像符号化方式及び伝送方式に変換される。
【００３５】
送信画像選択部６では、送信者１００が現在の自己の表情を通信相手に知られても良い場合は送信画像１００Ａが選択され、知られたくない場合は送信画像１００Ｂが選択されるが、送信画像１００Ａも送信画像１００Ｂも本発明を適用する通信手段における既存の動画像符号化方式及び伝送方式であるため、送信画像選択部６から送信される送信画像を受信する受信側の通信端末に特殊な画像受信機能を持たせる必要がない。
【００３６】
このように本実施の形態の通信端末によれば、送信画像１００Ｂの動画像符号化方式及び伝送方式を、本発明を適用する通信手段における既存の動画像もしくは静止画像を伝送する通信システムに用いられる動画像符号化方式及び伝送方式に変換する伝送フォーマット変換部７を備えているので、特殊な画像受信機能を持たない通信端末との間でも送信者１００が任意に設定した表情を表す送信画像を用いた通信を行うことができる。
【００３７】
（実施の形態３）
図３は、本発明の実施の形態３に係る通信端末の構成を示すブロック図である。なお、この図において前述した図１の通信端末と同一の機能を有する部分には同じ符号を付けている。
【００３８】
図３において、本実施の形態の通信端末は、画像記憶部３に対して画像データの追加・削除・交換を行う画像制御部９を有する以外、実施の形態１の通信端末と同一の構成となっている。画像制御部９により画像記憶部３に対して常に最良の画像データを記憶させておくことができる。
【００３９】
送信者１００の現在の表情を通信相手に知られても良い場合は、実施の形態１と同様に送信画像１００Ａが送信される。これに対して、実際の表情を通信相手に知られたくない場合は、通信を行う前もしくは通信中に送信者１００が予め撮影して画像記憶部３に記憶させておいた画像データを用いる。画像生成部５では、送信者１００が撮影した画像データを用いて送信画像を生成する。
【００４０】
このように本実施の形態の通信端末によれば、常に最良の画像データを保存しておくことができる。
【００４１】
（実施の形態４）
図４は、本発明の実施の形態４に係る通信端末の構成を示すブロック図である。なお、この図において前述した図１の通信端末と同一の機能を有する部分には同じ符号を付けている。
【００４２】
図４において、本実施の形態の通信端末は、送信者が撮影した画像を取り込んで画像記憶部３に記憶させる画像入力部１０を有する以外、実施の形態１の通信端末と同一の構成となっている。この画像入力部１０により、送信者１００が撮影した画像を通信相手に送ることができる。また、この画像入力部１０は、カメラ１にて取得した画像の他に例えばインターネット等のネットワークを介して取得した画像、メモリカードに記憶された画像、スキャナで読み込まれた画像も取り込むことができるようになっている。
【００４３】
このように本実施の形態の通信端末によれば、送信者１００が撮影した画像、ネットワークを介して取得した画像、メモリカードに記憶された画像又はスキャナで読み込まれた画像を送信画像１００Ｂとして通信相手に送ることができる。
【００４４】
なお、実施の形態１から実施の形態４において、表情入力部４に次ような機能を追加しても良い。
（１）送信者１００が希望する複数の表情の画像をプリセットしておき、通信中に通信端末本体のマイクにより入力された音声の強弱や台詞のキーワードに応じて、プリセットしている複数の画像のなかで最適なものを選択する。このようにすることで、送信者１００が通信中に頻繁に表情入力を行う必要がなくなり、操作が楽になる。例えば顧客に電話するときには愛想の良い表情の画像を複数選択しておけば、顧客に好印象を与えることができる。また、友人に電話するときには大げさな表情の画像を複数選択しておけば、スムーズなコミュニケーションが図れる。
【００４５】
（２）通信中に通信相手の通信端末より送られてきた表情選択指示に従ってプリセットしている複数の画像のなかで指定されたものを選択する。このようにすることで、通信相手の意思を知ることができ、スムーズなコミュニケーションが図れる。
【００４６】
また、実施の形態１から実施の形態４において、実時間で撮影された画像ではなく何らかの加工が施された画像を用いた通信であることを検出できる加工画像検出手段を追加しても良い。この手段を追加することにより、通信相手に対して加工された画像であることを警告として通知したり、受信を拒否することが可能となる。これにより、特に著作権のある画像の使用を防止することができる。
【００４７】
また、実施の形態１から実施の形態４は、携帯電話やＰＨＳ等の通信端末であったが、例えば通信機能付きのゲーム機にも適用可能である。この種のゲーム機に適用することで、表情を表す送信画像を用いてプレイヤー同士のコミュニケーションが図れる。例えば苦戦しているプレイヤーであっても対戦相手に送信する表情を任意に選択し、苦戦していることを対戦相手に知られずに兆発的な表情を送信することができる。
【００４８】
【発明の効果】
以上説明したように、本発明によれば、送信者の健康状態や心理状態に関わらず、送信者が任意に設定した表情を通信相手に送ることができるので、送信者が通信相手に伝えたくない感情に基づく表情まで伝えることがなくなる。また、カメラを前にして過剰に送信者の表情が強張って正確な感情を伝えることができないという問題を解決することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る通信端末の構成を示すブロック図
【図２】本発明の実施の形態２に係る通信端末の構成を示すブロック図
【図３】本発明の実施の形態３に係る通信端末の構成を示すブロック図
【図４】本発明の実施の形態４に係る通信端末の構成を示すブロック図
【図５】従来の情報通信システムの構成を示すブロック図
【符号の説明】
１　カメラ
２　符号化部
３　画像記憶部
４　表情入力部
５　画像生成部
６　送信画像選択部
７　伝送フォーマット変換部
８　切替スイッチ
９　画像制御部
１０　画像入力部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a communication terminal capable of image transmission and an image transmission method.
[0002]
[Prior art]
As a conventional technique, for example, one disclosed in Japanese Patent Application Laid-Open No. 2001-127990 is known.
[0003]
FIG. 5 is a block diagram showing a configuration of the information communication system disclosed in the publication. The conventional information communication system shown in FIG. 1 includes a camera 40 for photographing a person 100, a motion sensor 41 and a motion capture 42 for capturing the movement of the person 100, and a microphone 43 for capturing the voice of the person 100 and recognizing the voice. And a voice recognition device 44, various sensors 45 and an environment information recognition device 46 that acquire information on the surrounding environment and recognize environmental information, and a camera 40 and a human and background in an image based on inputs from the various sensors 45. An image recognition device 47 for separation, a conversion image selection device 48 for selecting an image to be converted from an image after image recognition using the demand recognition result and the image database, and a processed and transmitted image after conversion using the demand recognition result And an image processing device 49 for creating an image, wherein an expression based on the emotion of the transmitting person 100 is given to the receiving person. Etsutsu, it is possible to protect the privacy of the transmission person.
[0004]
[Problems to be solved by the invention]
However, in the conventional information communication system, there is a problem that the sender 100 transmits even an expression based on an emotion that the sender 100 does not want to transmit to the recipient.
Further, there is a problem that the expression of the sender 100 becomes excessively strong in front of the camera 40, and the emotion at that time is not transmitted accurately.
[0005]
The present invention has been made in view of the above, and provides a communication terminal and an image transmission method capable of transmitting an expression desired by a sender to a communication partner irrespective of a health state or a mental state of the sender. The purpose is to do.
[0006]
[Means for Solving the Problems]
2. A communication terminal according to claim 1, wherein the communication terminal encodes the image photographed by the photographing unit to generate a first transmission image, and stores the image having various expressions. Storage means, an expression selecting means for selecting one desired by the sender from the plurality of images stored in the image storing means, and an image corresponding to the expression selected by the expression selecting means, A configuration including an image generation unit that reads out from the storage unit and generates a second transmission image, and a transmission image selection unit that selects one of the first transmission image and the second transmission image is adopted. .
[0007]
According to this configuration, the expression set arbitrarily by the sender can be sent to the communication partner irrespective of the sender's health state or psychological state, and smooth communication can be achieved.
[0008]
A communication terminal according to a second aspect of the present invention is the communication terminal according to the first aspect of the present invention, wherein the second transmission image generated by the image generation means is different from a moving image encoding method and a transmission method of the image. In order to be able to handle even another communication terminal adopting the system, a configuration including a format conversion means for converting into a different system is adopted.
[0009]
According to this configuration, the moving picture coding method and the transmission method are converted so that the communication terminal that cannot receive the second transmission image generated by the communication terminal can receive the second transmission image. You will be able to receive images.
[0010]
A communication terminal according to a third aspect of the present invention is the communication terminal according to the first or second aspect, further comprising a voice input unit, wherein the facial expression selecting unit includes a plurality of facial expressions selected by a sender. Is preset, and a corresponding one of a plurality of preset images is selected according to the strength of the voice input by the voice input means during communication or a keyword of speech.
[0011]
According to this configuration, by setting the basic expression during communication in advance by the sender, it is not necessary to frequently select and input an expression during communication, and it is possible to set the basic expression according to the strength of the voice or the keyword of the dialogue. Images with different expressions can be sent. For example, if a plurality of friendly expressions are selected when calling a customer, a good impression can be given to the customer. In addition, smooth communication can be achieved by selecting a plurality of exaggerated expressions when calling a friend.
[0012]
A communication terminal according to a fourth aspect of the present invention is the communication terminal according to any one of the first to third aspects, wherein the expression selecting means is configured to select an expression transmitted from a communication terminal of a communication partner during communication. According to an instruction, a designated image is selected from a plurality of images stored in the image storage means.
[0013]
According to this configuration, since the expression during communication is selected by the communication partner, the intention of the communication partner can be known, and smooth communication can be achieved.
[0014]
A communication terminal according to a fifth aspect of the present invention is the communication terminal according to any one of the first to fourth aspects, further comprising an image control unit that performs addition, deletion, and exchange of image data stored in the image storage unit. The configuration provided is adopted.
[0015]
According to this configuration, the best image data can always be stored.
[0016]
A communication terminal according to a sixth aspect of the present invention is the communication terminal according to any one of the first to fifth aspects, further comprising an image input unit that captures an image captured by a sender and stores the captured image in the image storage unit. Take a configuration that
[0017]
According to this configuration, the image shot by the sender can be sent to the communication partner.
[0018]
A communication terminal according to a seventh aspect of the present invention is the communication terminal according to the sixth aspect, wherein the image input unit captures image data from outside via an electric communication line, and reads the image data stored in the storage medium. A configuration for taking in and taking in image data read by the image reading means is adopted.
[0019]
According to this configuration, in addition to the image acquired by the photographing unit, for example, an image acquired through a network such as the Internet, an image acquired by a memory card, or an image acquired by a scanner is used as the second transmission image. Can be used.
[0020]
An eighth aspect of the present invention provides a mobile communication system including the communication terminal according to any one of the first to seventh aspects.
[0021]
According to this configuration, it is possible to provide a mobile communication system capable of transmitting an expression set arbitrarily by the sender to the communication partner regardless of the health state or the psychological state of the sender and achieving smooth communication. be able to.
[0022]
In the image transmission method according to the ninth aspect of the present invention, the first transmission image is generated by encoding the image captured by the camera, while the image having various expressions is created and stored in advance, and the user can arbitrarily generate the image. When the user is allowed to send his / her current facial expression to the communication partner, the first transmission image is sent to the communication partner, and the user communicates the current facial expression as it is. If the user does not want to send the image to the other party, the image selected by the user among the various facial expressions being stored is sent to the other party as the second transmission image.
[0023]
According to this method, the expression set arbitrarily by the sender can be sent to the communication partner irrespective of the sender's health state or psychological state, and smooth communication can be achieved.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
The gist of the present invention is that, in addition to a general function of encoding and transmitting a sender image obtained by photographing with a camera, images of various expressions are created and stored in advance, and the sender If it is acceptable for the sender to send his or her current expression to the communication partner as it is, send the sender's image obtained with the camera and send it to the communication partner. If the user does not want to send his / her own expression as it is to the communication partner, it is to send to the communication partner the image selected by the sender from the various facial expressions being stored.
[0025]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0026]
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of a communication terminal according to Embodiment 1 of the present invention. In this figure, a communication terminal according to the present embodiment is a communication device such as a mobile phone or a PHS (Personal Handy-Phone System) used in a mobile communication system, and a CCD (Charge-Coupled Device) camera (hereinafter, referred to as a CCD). It is configured to include a camera (hereinafter simply referred to as a camera) 1, an encoding unit 2, an image storage unit 3, an expression input unit 4, an image generation unit 5, and a transmission image selection unit 6.
[0027]
The camera 1 is provided on a communication terminal main body (not shown) and is used for photographing the face of the sender 100 and the like. The encoding unit 2 generates a transmission image (first transmission image) by encoding an image captured by the camera 1. The image storage unit 3 stores image data of various expressions. The expression input section 4 enables the sender 100 to set an expression, and outputs the expression information selected by the sender 100. When a facial expression is set by the facial expression input unit 4, characters of various facial expressions are displayed on a display (not shown) on the operation surface of the communication terminal, and the sender 100 selects a desired character from the characters by key operation or the like. Then, the expression information of the selected character is output.
[0028]
The image generation unit 5 reads out image data corresponding to the expression information set by the expression input unit 4 from the image storage unit 3 and generates a transmission image (second transmission image). The transmission image selection unit 6 selects one of the transmission image 100A from the encoding unit 2 (the image faithfully reproducing the expression of the sender 100 captured by the camera 1) and the transmission image 100B generated by the image generation unit 5. Select one and output.
[0029]
Next, an image transmission process of the communication terminal having the above configuration will be described.
First, when the normal communication state is selected, the image data of the sender 100 photographed using the camera 1 is encoded by the encoding unit 2. Then, the encoded transmission image 100A is input to the transmission image selection unit 6. At this time, if the transmission image selection unit 6 has selected the transmission image 100A, the transmission image 100A is transmitted to the communication partner. As a result, when the sender 100 is offended and angry, the angry face is transmitted to the communication partner as it is.
[0030]
On the other hand, if the sender 100 does not want to send the current expression to the communication partner as it is, the expression input unit 4 selects an expression. The image generation unit 5 generates a transmission image 100B from the image storage unit 3 with image data corresponding to the expression selected by the expression input unit 4, and inputs the transmission image 100B to the transmission image selection unit 6. As a result, the transmission image 100B is transmitted to the communication partner. In this case, the communication partner sees an image with an expression different from the current expression of the sender 100. For example, even if the sender 100 is currently offended and angry, a normal face is selected, so that the communication partner sees the sender 100 with a smile.
[0031]
As described above, according to the communication terminal of the present embodiment, in addition to the general function of encoding and transmitting the image of sender 100 obtained by photographing with camera 1, images of various expressions are created in advance. In the case where the sender 100 can send his / her own expression as it is to the communication partner as it is, the sender 100 can arbitrarily select the sender's expression and send it by photographing with the camera 1. If the image of the sender 100 is sent to the communication partner, and the sender 100 does not want to send the current expression of the user to the communication partner as it is, the image selected by the user among the images of the various expressions being stored is sent to the communication partner. Therefore, regardless of the health condition or the psychological condition of the sender 100, the expression set by the sender 100 can be arbitrarily transmitted to the communication partner, and the communication partner does not feel uncomfortable. A good community Application can be achieved.
[0032]
(Embodiment 2)
FIG. 2 is a block diagram showing a configuration of a communication terminal according to Embodiment 2 of the present invention. In this figure, parts having the same functions as those of the communication terminal of FIG. 1 described above are denoted by the same reference numerals.
[0033]
In FIG. 2, the communication terminal according to the present embodiment inputs the transmission image generated by the transmission format conversion unit 7 and the image generation unit 5 to the transmission image selection unit 6 via the transmission format conversion unit 7, The configuration is the same as that of the communication terminal of the first embodiment, except that the communication terminal has a changeover switch 8 that switches between inputting to the transmission image selection unit 6 without passing through the transmission format conversion unit 7. The transmission format conversion unit 7 converts the video encoding method and the transmission method of the transmission image 100B into the video encoding method and the transmission method used in the communication system for transmitting the existing video or still image in the communication unit to which the present invention is applied. Convert to method.
[0034]
Next, an image transmission process of the communication terminal having the above configuration will be described.
If the sender 100 does not want to send the current actual expression to the communication partner as in the communication terminal of the first embodiment, the sender 100 selects an expression using the expression input unit 4. The image generation unit 5 generates a transmission image 100B from the image storage unit 3 with image data corresponding to the facial expression selected by the facial expression input unit 4. The moving image coding method and the transmission method of the transmission image generated by the image generating unit 5 are the moving image coding method used in the communication system for transmitting the existing moving image or the still image in the communication unit to which the present invention is applied. And the transmission method.
[0035]
The transmission image selection unit 6 selects the transmission image 100A when the sender 100 can know the current expression of himself / herself to the communication partner, and selects the transmission image 100B when the sender 100 does not want to know the expression. Since both the image 100A and the transmission image 100B are the existing moving image coding method and transmission method in the communication means to which the present invention is applied, special communication terminals on the receiving side that receive the transmission image transmitted from the transmission image selection unit 6 are provided. It is not necessary to provide a simple image receiving function.
[0036]
As described above, according to the communication terminal of the present embodiment, the moving image coding method and the transmission method of transmission image 100B are used in the communication system for transmitting the existing moving image or still image in the communication unit to which the present invention is applied. Since the transmission format conversion unit 7 for converting the image into a moving image encoding method and a transmission method is provided, the transmission image representing the expression set by the sender 100 arbitrarily even with a communication terminal having no special image reception function. Can be performed.
[0037]
(Embodiment 3)
FIG. 3 is a block diagram showing a configuration of a communication terminal according to Embodiment 3 of the present invention. In this figure, parts having the same functions as those of the communication terminal of FIG. 1 described above are denoted by the same reference numerals.
[0038]
3, the communication terminal of the present embodiment has the same configuration as the communication terminal of the first embodiment except that it has an image control unit 9 for adding, deleting, and exchanging image data to and from the image storage unit 3. Has become. The best image data can always be stored in the image storage unit 3 by the image control unit 9.
[0039]
If the current expression of the sender 100 can be known to the communication partner, the transmission image 100A is transmitted as in the first embodiment. On the other hand, if the communication partner does not want to know the actual expression, the sender 100 uses image data that the photographer has photographed beforehand or during the communication and stored in the image storage unit 3 before or during the communication. The image generation unit 5 generates a transmission image using the image data captured by the sender 100.
[0040]
As described above, according to the communication terminal of the present embodiment, the best image data can always be stored.
[0041]
(Embodiment 4)
FIG. 4 is a block diagram showing a configuration of a communication terminal according to Embodiment 4 of the present invention. In this figure, parts having the same functions as those of the communication terminal of FIG. 1 described above are denoted by the same reference numerals.
[0042]
In FIG. 4, the communication terminal according to the present embodiment has the same configuration as the communication terminal according to the first embodiment, except that it has an image input unit 10 for capturing an image captured by a sender and storing the image in the image storage unit 3. ing. With this image input unit 10, an image captured by the sender 100 can be sent to a communication partner. In addition, the image input unit 10 can capture not only images obtained by the camera 1 but also images obtained via a network such as the Internet, images stored in a memory card, and images read by a scanner. It has become.
[0043]
As described above, according to the communication terminal of the present embodiment, an image captured by sender 100, an image obtained via a network, an image stored in a memory card, or an image read by a scanner is transmitted as transmission image 100B. Can be sent to the other party.
[0044]
In the first to fourth embodiments, the following functions may be added to the expression input unit 4.
(1) A plurality of images of the expression desired by the sender 100 are preset, and the plurality of images that are preset according to the strength of the voice input by the microphone of the communication terminal body during communication and the keyword of the dialogue. Choose the best one among them. This eliminates the need for the sender 100 to frequently input a facial expression during communication, and makes the operation easier. For example, if a plurality of images with friendly expressions are selected when calling a customer, a good impression can be given to the customer. Also, when calling a friend, if a plurality of images with overblown expressions are selected, smooth communication can be achieved.
[0045]
(2) Select a designated one of a plurality of preset images in accordance with an expression selection instruction sent from a communication terminal of a communication partner during communication. By doing so, the intention of the communication partner can be known, and smooth communication can be achieved.
[0046]
Further, in Embodiments 1 to 4, a processed image detecting unit that can detect that communication is performed using an image that has undergone some processing instead of an image captured in real time may be added. By adding this means, it is possible to notify a communication partner of the processed image as a warning or to refuse reception. As a result, use of a copyrighted image can be particularly prevented.
[0047]
Although the first to fourth embodiments are communication terminals such as mobile phones and PHSs, the present invention can be applied to, for example, game machines with a communication function. By applying to this type of game machine, communication between players can be achieved using transmission images representing facial expressions. For example, even a struggling player can arbitrarily select a facial expression to be transmitted to an opponent, and transmit a spontaneous facial expression without the opponent noticing that the opponent is struggling.
[0048]
【The invention's effect】
As described above, according to the present invention, the expression set by the sender can be arbitrarily transmitted to the communication partner irrespective of the health condition or the psychological state of the sender, so that the sender wants to tell the communication partner. You will not be able to convey even emotional expressions. In addition, it is possible to solve the problem that the expression of the sender is excessively strengthened in front of the camera and it is not possible to convey accurate emotions.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a communication terminal according to Embodiment 1 of the present invention. FIG. 2 is a block diagram illustrating a configuration of a communication terminal according to Embodiment 2 of the present invention. FIG. 4 is a block diagram showing a configuration of a communication terminal according to Embodiment 3. FIG. 4 is a block diagram showing a configuration of a communication terminal according to Embodiment 4 of the present invention. FIG. 5 is a block diagram showing a configuration of a conventional information communication system. Explanation of code]
DESCRIPTION OF SYMBOLS 1 Camera 2 Encoding part 3 Image storage part 4 Expression input part 5 Image generation part 6 Transmission image selection part 7 Transmission format conversion part 8 Changeover switch 9 Image control part 10 Image input part

Claims

A photographing unit, an encoding unit that encodes an image photographed by the photographing unit to generate a first transmission image, an image storage unit that stores images of various expressions, and a memory that is stored in the image storage unit. An expression selecting means for selecting one desired by the sender from among the plurality of images, and an image corresponding to the expression selected by the expression selecting means is read from the image storage means to obtain a second transmitted image. A communication terminal, comprising: an image generation unit that generates an image; and a transmission image selection unit that selects any one of the first transmission image and the second transmission image.

Format conversion means for converting the second transmission image generated by the image generation means into a different method so that it can be handled by another communication terminal employing a method different from the moving image coding method and transmission method of the image. The communication terminal according to claim 1, comprising:

Voice input means, the facial expression selecting means, while presetting a plurality of facial expression images selected by the sender, the strength of the voice input by the voice input means during communication and keywords of speech 3. The communication terminal according to claim 1, wherein a corresponding one of a plurality of preset images is selected.

5. The image processing apparatus according to claim 2, wherein said expression selecting means selects a designated one of the plurality of images stored in said image storing means in accordance with an expression selecting instruction sent from a communication terminal of a communication partner during communication. The communication terminal according to any one of claims 1 to 3.

The communication terminal according to any one of claims 1 to 4, further comprising image control means for adding, deleting, and exchanging image data to be stored in the image storage means.

The communication terminal according to any one of claims 1 to 5, further comprising an image input unit that captures an image captured by a sender and stores the image in the image storage unit.

The image input means captures image data from outside via an electric communication line, captures image data stored in a storage medium, and captures image data read by image reading means. Item 7. The communication terminal according to Item 6.

A mobile communication system comprising the communication terminal according to any one of claims 1 to 7.

While encoding the image captured by the camera to generate the first transmission image, images of various expressions are created and stored in advance so that the user can arbitrarily select the image, and the user The first transmission image is sent to the communication partner when the facial expression can be sent to the communication partner as it is, and when the user does not want to send the current self-expression to the communication partner as it is, An image transmission method, wherein an image selected by a user among images of various expressions is transmitted to the communication partner as a second transmission image.