JP2008270914A - 制御装置、移動通信システム及び通信端末 - Google Patents
制御装置、移動通信システム及び通信端末 Download PDFInfo
- Publication number
- JP2008270914A JP2008270914A JP2007107397A JP2007107397A JP2008270914A JP 2008270914 A JP2008270914 A JP 2008270914A JP 2007107397 A JP2007107397 A JP 2007107397A JP 2007107397 A JP2007107397 A JP 2007107397A JP 2008270914 A JP2008270914 A JP 2008270914A
- Authority
- JP
- Japan
- Prior art keywords
- communication terminal
- image
- mobile communication
- message
- substitute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000004891 communication Methods 0.000 title claims abstract description 260
- 238000010295 mobile communication Methods 0.000 title claims description 242
- 230000005540 biological transmission Effects 0.000 claims description 60
- 230000008859 change Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 23
- 238000000034 method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/50—Telephonic communication in combination with video communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2203/00—Aspects of automatic or semi-automatic exchanges
- H04M2203/10—Aspects of automatic or semi-automatic exchanges related to the purpose or context of the telephonic communication
- H04M2203/1016—Telecontrol
- H04M2203/1025—Telecontrol of avatars
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2203/00—Aspects of automatic or semi-automatic exchanges
- H04M2203/60—Aspects of automatic or semi-automatic exchanges related to security aspects in telephonic communication systems
- H04M2203/6009—Personal information, e.g. profiles or personal directories being only provided to authorised persons
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2207/00—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place
- H04M2207/18—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place wireless networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
Abstract
【課題】娯楽性と安全性の下で、ユーザどうしのコミュニケーションを促進させることにある。
【解決手段】2つの通信端末の間でテレビ電話が開始されたときからの音声メッセージを逐一取得し、予め登録されている複数の語の中に、取得したメッセージに含まれる語に一致又は類似する語があるか否かに応じて、撮影画像又はその撮影画像の代替となるアバタ画像のいずれかをそれぞれの通信端末に表示させる。例えば、自分の趣味指向に合った自分にとって好ましい言葉を予め複数登録しておき、まずは代替画像を用いてテレビ電話を開始し、それ以降に、いずれか一方の相手から予め登録された好ましい言葉が発せられた場合には、代替画像から撮影画像に切り替える。ユーザには、自分と趣味が合う相手の顔を見てみたいというニーズがあると考えられるため、そのようなユーザの気持ちを推し量って、代替画像から撮影画像に切り替えるというものである。
【選択図】図1
【解決手段】2つの通信端末の間でテレビ電話が開始されたときからの音声メッセージを逐一取得し、予め登録されている複数の語の中に、取得したメッセージに含まれる語に一致又は類似する語があるか否かに応じて、撮影画像又はその撮影画像の代替となるアバタ画像のいずれかをそれぞれの通信端末に表示させる。例えば、自分の趣味指向に合った自分にとって好ましい言葉を予め複数登録しておき、まずは代替画像を用いてテレビ電話を開始し、それ以降に、いずれか一方の相手から予め登録された好ましい言葉が発せられた場合には、代替画像から撮影画像に切り替える。ユーザには、自分と趣味が合う相手の顔を見てみたいというニーズがあると考えられるため、そのようなユーザの気持ちを推し量って、代替画像から撮影画像に切り替えるというものである。
【選択図】図1
Description
本発明は、文字または音声によるメッセージと画像を用いてユーザ間でコミュニケーションを行うための技術に関する。
携帯電話機は、近年の高機能化に伴い、音声のみによらないコミュニケーションが可能となっている。例えば、付属のカメラで撮影した顔などの画像を音声とともに送受信する、いわゆるテレビ電話機能を有する携帯電話機が普及している。また、音声通話中に所定のキャラクタなどの画像を表示させる携帯電話機も知られている(例えば特許文献1及び2参照)。このような技術を用いることにより、音声のみを用いた場合よりも、より親密で娯楽性の高いコミュニケーションを行うことが可能となる。
特表2004−537231号公報
特開2004−297350号公報
ところで、素性があまり明らかでない相手とテレビ電話機能を用いてコミュニケーションを行う場合には、自身の顔などが何の制限もなく知られる可能性があるので、従来のテレビ電話機能だけではプライバシーを十分に保護できないおそれがある。一方、特許文献1,2のように、通話中にキャラクタなどの画像を表示し続けるだけでは、話者同士の親密感が高まらないから、コミュニケーションがあまり促進されないという点が懸念される。
本発明はかかる事情に鑑みてなされたものであり、その目的は、話者を撮影した画像の利用を制限しつつも、話者どうしのコミュニケーションを促進させることにある。
上述した目的を達成するために、本発明は、複数の語を記憶する記憶手段と、画像及びメッセージを送受信して画像を表示する第1の通信端末及び第2の通信端末の間で送受信される、前記メッセージを取得する取得手段と、前記記憶手段によって記憶されている複数の語のうち、前記取得手段によって取得されたメッセージに含まれる語に一致又は類似する語があるか否かを判断する判断手段と、前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に、他方の通信端末から送信されてくる撮影画像又は当該撮影画像に代わる代替画像のうちのいずれか一方を、前記判断手段の判断結果に応じて表示させる制御手段とを備えることを特徴とする制御装置を提供する。
本発明の好ましい態様において、前記制御手段は、第1の通信端末及び第2の通信端末の間で前記画像及び前記メッセージの送受信が開始されたときは、前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に前記代替画像を表示させ、前記一方の通信端末に前記代替画像を表示させた後に、前記記憶手段によって記憶されている複数の語のうち、前記取得手段によって取得されたメッセージに含まれる語に一致又は類似する語があると判断された場合は、当該一方の通信端末に、前記撮影画像を表示させる。
この態様において、前記第1の通信端末及び前記第2の通信端末によってなされた前記画像又は前記メッセージの送受信の履歴を記憶する履歴記憶手段を備え、前記制御手段は、前記履歴記憶手段に送受信の履歴が記憶されていない前記第1の通信端末及び前記第2の通信端末の間で、前記画像及び前記メッセージの送受信が開始されたときには、前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に前記代替画像を表示させ、前記履歴記憶手段に送受信の履歴が記憶されている前記第1の通信端末及び前記第2の通信端末の間で、前記画像及び前記メッセージの送受信が開始されたときには、前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に前記撮影画像を表示させるようにしてもよい。
この態様において、前記第1の通信端末及び前記第2の通信端末によってなされた前記画像又は前記メッセージの送受信の履歴を記憶する履歴記憶手段を備え、前記制御手段は、前記履歴記憶手段に送受信の履歴が記憶されていない前記第1の通信端末及び前記第2の通信端末の間で、前記画像及び前記メッセージの送受信が開始されたときには、前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に前記代替画像を表示させ、前記履歴記憶手段に送受信の履歴が記憶されている前記第1の通信端末及び前記第2の通信端末の間で、前記画像及び前記メッセージの送受信が開始されたときには、前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に前記撮影画像を表示させるようにしてもよい。
また、本発明の別の好ましい態様において、前記制御手段は、第1の通信端末及び第2の通信端末の間で前記画像及び前記メッセージの送受信が開始されたときは、前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に前記撮影画像を表示させ、前記一方の通信端末に前記撮影画像を表示させた後に、前記記憶手段によって記憶されている複数の語のうち、前記取得手段によって取得されたメッセージに含まれる語に一致又は類似する語があると判断された場合は、当該一方の通信端末に前記代替画像を表示させる。
また、本発明の別の好ましい態様において、前記第1の通信端末及び前記第2の通信端末がそれぞれ、自端末からの画像又はメッセージの送信先である相手方の通信端末によって表示される前記代替画像を記憶しており、前記制御手段は、前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に前記撮影画像を表示させる場合には、他方の通信端末が撮影によって得た前記撮影画像と前記メッセージとを送信するように、当該他方の通信端末に指示し、前記第1の通信端末又は前記第2の通信端末のうちの少なくとも一方の通信端末に前記代替画像を表示させる場合には、他方の通信端末が記憶している前記代替画像と前記メッセージとを送信するように、当該他方の通信端末に指示する。
また、本発明の別の好ましい態様において、前記第1の通信端末及び前記第2の通信端末がそれぞれ、自端末の記憶手段に、相手方の撮影画像の代替として表示し得る複数の代替画像を記憶しており、前記制御手段は、前記第1の通信端末又は前記第2の通信端末のうちの少なくとも一方の通信端末に前記撮影画像を表示させる場合には、他方の通信端末が撮影によって得た前記撮影画像と前記メッセージとを送信するように、当該他方の通信端末に指示し、前記第1の通信端末又は前記第2の通信端末のうちの少なくとも一方の通信端末に前記代替画像を表示させる場合には、他方の通信端末によって指定された代替画像を前記一方の通信端末に通知し、当該一方の通信端末の前記記憶手段に記憶されている複数の代替画像のうち、通知した代替画像を表示するように当該一方の通信端末に指示する。
また、本発明の別の好ましい態様において、前記代替画像を記憶する代替画像記憶手段を備え、前記制御手段は、前記第1の通信端末又は前記第2の通信端末のうちの少なくとも一方の通信端末に前記撮影画像を表示させる場合には、他方の通信端末が撮影によって得た前記撮影画像と前記メッセージとを送信するように、当該他方の通信端末に指示し、前記第1の通信端末又は前記第2の通信端末のうちの少なくとも一方の通信端末に前記代替画像を表示させる場合には、前記代替画像を前記代替画像記憶手段から読み出して前記一方の通信端末に送信する。
また、本発明の別の好ましい態様において、前記代替画像記憶手段は、前記第1の通信端末又は前記第2の通信端末に割り当てられた識別子と、前記代替画像とを対応付けて記憶しており、前記制御手段は、前記第1の通信端末又は前記第2の通信端末のうちの少なくとも一方の通信端末に前記代替画像を表示させる場合には、他方の通信端末に割り当てられた識別子に対応付けられて記憶されている代替画像を、前記代替画像記憶手段から読み出し、前記一方の通信端末に送信する。
また、本発明は、複数の語を記憶する記憶装置と、画像及びメッセージを送受信して画像を表示する第1の通信端末及び第2の通信端末の間で送受信される、前記メッセージを取得する取得装置と、前記記憶装置によって記憶されている複数の語のうち、前記取得装置によって取得されたメッセージに含まれる語に一致又は類似する語があるか否かを判断する判断装置と、前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に、他方の通信端末から送信されてくる撮影画像又は当該撮影画像に代わる代替画像のうちのいずれか一方を、前記判断装置の判断結果に応じて表示させる制御装置とを備えることを特徴とする移動通信システムを提供する。
また、本発明の別の好ましい態様において、撮影手段により撮影された撮影画像を取得する取得手段と、前記撮影画像に代わる代替画像を記憶する記憶手段と、通信先の通信端末との間で画像及びメッセージを送受信する送受信手段と、前記送受信手段によって受信された画像を表示する表示手段と、複数の語を記憶する記憶手段と、前記記憶手段によって記憶されている複数の語のうち、前記送受信手段によって受信されたメッセージに含まれる語に一致又は類似する語があるか否かを判断する判断手段と、前記判断手段の判断結果に応じて、前記取得手段により取得された撮影画像又は前記記憶手段に記憶された代替画像のうちのいずれかを、前記送受信手段により送信される画像として選択する選択手段とを備えることを特徴とする通信端末を提供する。
また、本発明は、撮影手段により撮影された撮影画像を取得する取得手段と、通信先の通信端末との間で、画像又はデータと、メッセージとを送受信する送受信手段と、前記送受信手段によって受信された画像を表示する表示手段と、複数の語を記憶する記憶手段と、前記記憶手段によって記憶されている複数の語のうち、前記送受信手段によって受信されたメッセージに含まれる語に一致又は類似する語があるか否かを判断する判断手段と、前記判断手段の判断結果に応じて、前記取得手段により取得された撮影画像又は当該撮影画像の代替となる代替画像を指定する指定データのうちのいずれかを、前記送受信手段により送信される画像又はデータとして選択する選択手段とを備えることを特徴とする通信端末を提供する。
本発明の好ましい態様において、複数の前記代替画像を記憶する記憶手段を備え、前記表示手段は、前記送受信手段によって受信された画像に代えて、前記記憶手段に記憶されている代替画像のうち、前記送受信手段によって受信した指定データによって指定される代替画像を表示する。
本発明によれば、一方の通信端末に、他方の通信端末から送信されてくる撮影画像又は当該撮影画像の代替となる代替画像を切り替えて表示させることで、通信端末の話者を撮影した画像の利用を制限しつつも、話者どうしのコミュニケーションを促進させることができる。
次に、本発明の実施の形態について、図面を参照しながら説明する。
以下の説明においては、画像を伴う音声通話のことを「テレビ電話」という。
「画像」という用語には、静止画像と動画像の双方の意味が含まれる。
「撮影画像」とは、撮影により得られた画像のことであり、例えば通信端末に付属のカメラで撮影したユーザの顔の画像などが典型的である。
「アバタ」とは、通信端末のユーザを象徴的に表現したものである。このアバタは、例えばインターネット上のチャットや掲示板などの双方向のコミュニケーションサービスにおいて比較的よく用いられているものである。「アバタ画像」とは、アバタを表す画像であり、例えば人間の顔や姿を模した画像のほか、動物やロボット或いは仮想的な生命体の画像などを含む。
以下の説明においては、画像を伴う音声通話のことを「テレビ電話」という。
「画像」という用語には、静止画像と動画像の双方の意味が含まれる。
「撮影画像」とは、撮影により得られた画像のことであり、例えば通信端末に付属のカメラで撮影したユーザの顔の画像などが典型的である。
「アバタ」とは、通信端末のユーザを象徴的に表現したものである。このアバタは、例えばインターネット上のチャットや掲示板などの双方向のコミュニケーションサービスにおいて比較的よく用いられているものである。「アバタ画像」とは、アバタを表す画像であり、例えば人間の顔や姿を模した画像のほか、動物やロボット或いは仮想的な生命体の画像などを含む。
本実施形態では、2つの通信端末の間でテレビ電話が開始されたときからの音声メッセージを逐一取得し、予め登録されている複数の語の中に、取得したメッセージに含まれる語に一致又は類似する語があるか否かに応じて、撮影画像又はその撮影画像の代替となるアバタ画像のいずれかをそれぞれの通信端末に表示させる。
例えば、自分の趣味指向に合った自分にとって好ましい言葉を予め複数登録しておき、まずは代替画像を用いてテレビ電話を開始し、それ以降に、いずれか一方の相手から予め登録された好ましい言葉が発せられた場合には、代替画像から撮影画像に切り替える。ユーザにとっては、自分と趣味が合う相手とは、その相手の顔を見てみたいというニーズがあると考えられるため、そのようなユーザの気持ちを推し量って、代替画像から撮影画像に切り替えるというものである。
また、例えば、相手が不快に感じる言葉や差別用語など、一般常識に照らし合わせて不適切或いは不謹慎な言葉を予め複数登録しておく。そして、まずはお互いの撮影画像を用いてテレビ電話を開始し、それ以降に、いずれか一方の相手から予め登録された不適切な言葉が発せられた場合には、撮影画像から代替画像に切り替える。ユーザにとっては、不快に感じる相手の顔を見ながら話をしたくないので、そのようなユーザの気持ちを推し量って、撮影画像から代替画像に切り替えるというものである。
例えば、自分の趣味指向に合った自分にとって好ましい言葉を予め複数登録しておき、まずは代替画像を用いてテレビ電話を開始し、それ以降に、いずれか一方の相手から予め登録された好ましい言葉が発せられた場合には、代替画像から撮影画像に切り替える。ユーザにとっては、自分と趣味が合う相手とは、その相手の顔を見てみたいというニーズがあると考えられるため、そのようなユーザの気持ちを推し量って、代替画像から撮影画像に切り替えるというものである。
また、例えば、相手が不快に感じる言葉や差別用語など、一般常識に照らし合わせて不適切或いは不謹慎な言葉を予め複数登録しておく。そして、まずはお互いの撮影画像を用いてテレビ電話を開始し、それ以降に、いずれか一方の相手から予め登録された不適切な言葉が発せられた場合には、撮影画像から代替画像に切り替える。ユーザにとっては、不快に感じる相手の顔を見ながら話をしたくないので、そのようなユーザの気持ちを推し量って、撮影画像から代替画像に切り替えるというものである。
[構成]
図1は、本発明の一実施形態であるシステムの全体構成を概略的に示す図である。同図に示すように、このシステムは、移動通信端末10A、10Bと、移動通信網20と、制御装置30とを備えている。なお、このシステムにおいて移動通信端末は多数存在し得るが、図1では、通信元と通信先の移動通信端末のみ示す。以下では、移動通信端末10Aを通信元の移動通信端末とし、移動通信端末10Bを通信先の移動通信端末とするが、両者を特に区別する必要がない場合には、これらを総称して「移動通信端末10」という。
図1は、本発明の一実施形態であるシステムの全体構成を概略的に示す図である。同図に示すように、このシステムは、移動通信端末10A、10Bと、移動通信網20と、制御装置30とを備えている。なお、このシステムにおいて移動通信端末は多数存在し得るが、図1では、通信元と通信先の移動通信端末のみ示す。以下では、移動通信端末10Aを通信元の移動通信端末とし、移動通信端末10Bを通信先の移動通信端末とするが、両者を特に区別する必要がない場合には、これらを総称して「移動通信端末10」という。
移動通信網20は、移動通信端末10に移動通信サービスを提供するためのネットワークシステムであり、キャリアと呼ばれる通信事業者によって管理される。移動通信網20は、図示せぬ基地局、交換局及びサービス制御局などのノードと、これらノード間を接続する通信線とを備えており、所定のプロトコルに準拠して音声データ、画像データ、制御データなどを多重化して伝送する。移動通信網20が準拠するプロトコルとしては、例えば、3GPP(3rd Generation Partnership Project)により規格化された3G−324Mなどが好適である。サービス制御局は、移動通信端末10の位置登録情報や、移動通信端末10のユーザの契約や課金に関する情報や、各移動通信端末10の電話番号などを記憶している。移動通信網20のサービス制御局には制御装置30が接続されている。
図2は、制御装置30の構成を示すブロック図である。同図に示すように、制御装置30は、制御部31と、記憶部33と、通信部32とを備える。制御部31は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などを備え、CPUがRAMをワークエリアとして用いてROMや記憶部33に記憶されたプログラムを実行することによって、制御装置30の各部の動作を制御する。記憶部33は、HDD(Hard Disk Drive)等の記憶装置を備える。記憶部33は、制御部31が実行するプログラムに加えて、移動通信端末10間の通信を実現するための各種データを記憶する。通信部32は、移動通信網20を介して通信を行うためのインタフェース装置である。
ここで、記憶部33が記憶するデータを説明する。
記憶部33は、地図ファイルと、複数のアバタの位置データと、アバタID変換テーブルタと、通話履歴と、用語データベースのほか、アバタ画像データなどの、後述する処理を行うための各種のデータを記憶している。地図ファイルは、仮想的な3次元空間(以下「仮想空間」という。)を表すデータの集合であり、オブジェクトデータと、位置情報と、パス情報とを含む。オブジェクトデータは、仮想空間を構成する建造物や道路などのオブジェクトを表すデータである。オブジェクトデータは、それぞれのオブジェクトの形状や色彩、すなわち外観を定義するデータであり、いわゆるポリゴンデータである。このオブジェクトは、静的なオブジェクト、すなわち仮想空間における位置が固定されたオブジェクトのみであって、アバタのような動的なオブジェクトは含まれない。位置情報は、2次元または3次元の座標系に基づいて仮想空間内の位置を表すものである。オブジェクトデータにより表されるオブジェクトのそれぞれは、位置情報と関連付けられている。パス情報は、仮想空間内においてアバタの通路(path)となり得る場所を定義するデータである。パス情報が定義された場所に該当するのは、例えば道路などである。
記憶部33は、地図ファイルと、複数のアバタの位置データと、アバタID変換テーブルタと、通話履歴と、用語データベースのほか、アバタ画像データなどの、後述する処理を行うための各種のデータを記憶している。地図ファイルは、仮想的な3次元空間(以下「仮想空間」という。)を表すデータの集合であり、オブジェクトデータと、位置情報と、パス情報とを含む。オブジェクトデータは、仮想空間を構成する建造物や道路などのオブジェクトを表すデータである。オブジェクトデータは、それぞれのオブジェクトの形状や色彩、すなわち外観を定義するデータであり、いわゆるポリゴンデータである。このオブジェクトは、静的なオブジェクト、すなわち仮想空間における位置が固定されたオブジェクトのみであって、アバタのような動的なオブジェクトは含まれない。位置情報は、2次元または3次元の座標系に基づいて仮想空間内の位置を表すものである。オブジェクトデータにより表されるオブジェクトのそれぞれは、位置情報と関連付けられている。パス情報は、仮想空間内においてアバタの通路(path)となり得る場所を定義するデータである。パス情報が定義された場所に該当するのは、例えば道路などである。
アバタの位置データとは、複数の移動通信端末10から制御装置30に送信されてくるアバタの位置データがそれぞれ記憶されたものである。アバタID変換テーブルとは、図3に示すように、それぞれのアバタに割り当てられたアバタIDと、そのアバタが象徴するユーザの移動通信端末の電話番号とが対応付けられて記述されたものである。通話履歴とは、移動通信端末10どうしの通話の履歴であり、通信元の移動通信端末の電話番号と、通信先の移動通信端末、その通話がなされた時刻などが含まれている。用語データベースは、移動通信端末10のユーザにとって好ましい用語が含まれている。この用語は、移動通信端末10のユーザよって予め届け出られたものであり、図4に示すようにして、それぞれの移動通信端末10の電話番号に対応付けられて記憶されている。
次に、移動通信端末10について説明する。
移動通信端末10は、移動通信網20を介して他の移動通信端末10と通話及び通信を行うことが可能な通信端末であり、いわゆる携帯電話機である。また、移動通信端末10は、テレビ電話機能を有しており、音声通話を行いながら画像を送受信し、受信した画像を表示し得るようにする構成されている。さらに、移動通信端末10は、制御装置30により実現される仮想空間を表示し、ユーザを表すアバタを移動させることによってこの仮想空間内の他のアバタを介したコミュニケーションを行い得るように構成されている。
移動通信端末10は、移動通信網20を介して他の移動通信端末10と通話及び通信を行うことが可能な通信端末であり、いわゆる携帯電話機である。また、移動通信端末10は、テレビ電話機能を有しており、音声通話を行いながら画像を送受信し、受信した画像を表示し得るようにする構成されている。さらに、移動通信端末10は、制御装置30により実現される仮想空間を表示し、ユーザを表すアバタを移動させることによってこの仮想空間内の他のアバタを介したコミュニケーションを行い得るように構成されている。
図5は、移動通信端末10の構成を示すブロック図である。
同図に示すように、移動通信端末10は、制御部11と、無線通信部12と、操作部13と、表示部14と、音声入出力部15と、撮影部16と、マルチメディア処理部17とを備える。制御部11は、CPU11a、ROM11b、RAM11c及びEEPROM(Electronically Erasable and Programmable ROM)11dを備え、CPU11aがRAM11cをワークエリアとして用いてROM11bやEEPROM11dに記憶されたプログラムを実行し、これにより移動通信端末10の各部の動作を制御する。無線通信部12は、アンテナ12aを備え、移動通信網20とのデータの送受信を無線で行う。操作部13は、ボタン等の操作子を備え、ユーザの操作に応じた操作信号を制御部11に供給する。表示部14は、液晶パネルや液晶駆動回路を備えた表示装置であり、制御部11からの指示に応じて各種の情報を表示する。音声入出力部15は、マイク15a及びスピーカ15bを備え、音声信号の入力及び出力を行う。撮影部16は、いわゆるカメラの機能を有する。撮影部16は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ及び信号処理回路を備え、撮影した被写体を表す画像データを生成する。
同図に示すように、移動通信端末10は、制御部11と、無線通信部12と、操作部13と、表示部14と、音声入出力部15と、撮影部16と、マルチメディア処理部17とを備える。制御部11は、CPU11a、ROM11b、RAM11c及びEEPROM(Electronically Erasable and Programmable ROM)11dを備え、CPU11aがRAM11cをワークエリアとして用いてROM11bやEEPROM11dに記憶されたプログラムを実行し、これにより移動通信端末10の各部の動作を制御する。無線通信部12は、アンテナ12aを備え、移動通信網20とのデータの送受信を無線で行う。操作部13は、ボタン等の操作子を備え、ユーザの操作に応じた操作信号を制御部11に供給する。表示部14は、液晶パネルや液晶駆動回路を備えた表示装置であり、制御部11からの指示に応じて各種の情報を表示する。音声入出力部15は、マイク15a及びスピーカ15bを備え、音声信号の入力及び出力を行う。撮影部16は、いわゆるカメラの機能を有する。撮影部16は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ及び信号処理回路を備え、撮影した被写体を表す画像データを生成する。
マルチメディア処理部17は、無線通信部12を介して送受信されるデータを処理するためのLSI(Large Scale Integration)を備え、音声及び画像の符号化・復号化処理や多重化処理、分離処理などを実行する。マルチメディア処理部17は、撮影部16により生成された画像データに基づいて動画像データを生成する。この動画像データのことを、以下では「撮影画像データ」という。音声信号の符号化・復号化にはAMR(Adaptive Multi-Rate)を用いればよいし、画像データの符号化・復号化にはMPEG(Moving Picture Experts Group)−4を用いればよい。
ここで、操作部13が備える操作子について、図6を参照して説明する。操作部13は、同図に示すように、機能ボタンBsと、移動ボタンBu、Bd、Bl、Brと、確定ボタンBfと、ダイヤルボタンB1〜B0とを備える。機能ボタンBsは、表示部14の画面表示に応じた所定の機能が割り当てられるボタンである。機能ボタンBsに割り当てられる機能は、通信先を選択するための機能であるが、その詳細については後述する。移動ボタンBu、Bd、Bl、Brは、移動対象のオブジェクト(アバタまたはポインタ)を前後左右(または上下左右)に移動させるためのボタンである。確定ボタンBfは、表示部14に表示されたオブジェクトを選択したり、その後の処理の内容を確定させるためのボタンである。ダイヤルボタンB1〜B0は、文字や数字を入力させるためのボタンである。
続いて、移動通信端末10が記憶するデータの内容を説明する。ROM11bは、予めいくつかのプログラムを記憶している。以下ではこれを「プリインストールプログラム」という。具体的には、プリインストールプログラムは、マルチタスクオペレーティングシステム(以下「マルチタスクOS」という。)、Java(登録商標)プラットフォーム及びネイティブアプリケーションの各プログラムである。これらのプログラムについて概説すると、まず、マルチタスクOSは、TSS(Time-Sharing System)による複数タスクの擬似的な並列実行を実現するために必要な仮想メモリ空間の割り当てなどの各種機能をサポートしたオペレーティングシステムである。Javaプラットフォームは、マルチタスクOSを搭載した携帯機器において後述するJava実行環境114を実現するためのコンフィギュレーションであるCDC(Connected Device Configuration)にしたがって記述されたプログラム群である。ネイティブアプリケーションは、通話や通信、カメラ撮影などといった移動通信端末10の基本的なサービスを実現するプログラムである。
EEPROM11dは、Javaアプリケーションが記憶されるJavaアプリケーション格納領域を有する。Javaアプリケーションは、Java実行環境114の下における処理の手順自体を記述した実体プログラムとその実体プログラムの実行に伴って利用される画像ファイルや音声ファイルとを結合したJAR(Java Archive)ファイルと、そのJARファイルのインストールや起動、各種の属性を記述したADF(Application Descriptor File)とを有している。このJavaアプリケーションは、コンテンツプロバイダまたは通信事業者により作成されて、インターネットや移動通信網20に接続されたサーバ装置などに格納され、移動通信端末10からの要求に応じてそれらの制御装置から適宜ダウンロードされるようになっている。
図7は、ROM11b及びEEPROM11dの各種プログラムの実行により移動通信端末10の制御部11に実現される各部の論理的構成を示す図である。同図に示すように、各種プログラムを実行する移動通信端末10には、通信アプリケーション112、カメラ撮影アプリケーション113及びJava実行環境114がOS111上に実現され、また、EEPROM11dには第1ストレージ115と第2ストレージ116とが確保される。通信アプリケーション112及びカメラ撮影アプリケーション113は、ROM11bのネイティブアプリケーションにより実現されるものであり、移動通信網20との通信の確立や撮影部16による画像の撮影などの機能をそれぞれ実現する。
Java実行環境114は、ROM11bのJavaプラットフォームにより実現される。Java実行環境114は、クラスライブラリ117、JVM(Java Virtual Machine)118及びJAM(Java Application Manager)119からなる。クラスライブラリ117は、特定の機能を有するプログラムモジュール(クラス)群を1つのファイルに結合したものである。JVM118は、上述のCDCのために最適化されたJava実行環境であり、Javaアプリケーションとして提供されるバイトコードを解釈して実行する機能を有する。JAM119は、Javaアプリケーションのダウンロードやインストール、起動・終了などを管理する機能を有する。第1ストレージ115は、JAM119の管理の下にダウンロードされるJavaアプリケーション(JarファイルとADF)を格納する領域である。第2ストレージ116は、Javaアプリケーションの実行の際に生成されたデータをその終了後に格納しておくための領域であり、インストールされたJavaアプリケーション毎に個別の格納領域が割り当てられるようになっている。そして、あるJavaアプリケーションに割り当てられた格納領域のデータは、そのJavaアプリケーションが実行されている間のみ書き換え可能となっており、別のJavaアプリケーションが書き換えを行い得ないようになっている。
Javaアプリケーションには、アバタの移動に応じて仮想空間を表示するとともに、ユーザの指示に応じて他の移動通信端末10と通話及び通信を行うためのアプリケーションが含まれる。このアプリケーションのことを、以下では「テレビ電話アプリ」という。
このテレビ電話アプリは、移動通信端末50にあらかじめ記憶されている。また、EEPROM11dには、テレビ電話アプリの実行の際に必要となるアバタを表す「アバタ画像データ」が含まれている。
このテレビ電話アプリは、移動通信端末50にあらかじめ記憶されている。また、EEPROM11dには、テレビ電話アプリの実行の際に必要となるアバタを表す「アバタ画像データ」が含まれている。
アバタ画像データを用いてテレビ電話を行う際には、制御部11は、EEPROM11dからアバタ画像データを読み出し、音声入出力部15に入力された音声メッセージと共に移動通信網20へと送信する。移動通信網20は、このアバタ画像データと音声メッセージとを通信先の移動通信端末10へと送信する。通信先の移動通信端末10においては、制御部11が、無線通信部12によって受信したアバタ画像データに基づいて、アバタ画像を表示部14に表示すると共に、受信した音声メッセージを音声入出力部15から出力する。図8(a)は、アバタ画像データが表すアバタ画像が通信先の移動通信端末10の表示部14に表示されている例を示す図である。
一方、撮影画像データを用いてテレビ電話を行う際には、制御部11は、撮影部16による撮影によって得られた撮影画像データを、音声入出力部15に入力された音声メッセージと共に移動通信網20へと送信する。移動通信網20は、この撮影画像データと音声メッセージとを通信先の移動通信端末10へと送信する。通信先の移動通信端末10においては、制御部11が、無線通信部12によって受信した撮影画像データに基づいて、撮影画像を表示部14に表示すると共に、受信した音声メッセージを音声入出力部15から出力する。図8(b)は、撮影部16によって撮影された移動通信端末10のユーザの顔が、通信先の移動通信端末10の表示部14に表示されている例を示す図である。
[動作]
続いて、上記構成の移動通信システムにおける移動通信端末10と制御装置30の動作を説明する。ここでは、まず、移動通信端末10が上述したテレビ電話アプリを起動したときに実行する処理について説明し、その後、移動通信端末10Aと移動通信端末10Bの間で音声通話を行うときに移動通信端末10A、10B及び制御装置30のそれぞれが実行する処理について説明する。
続いて、上記構成の移動通信システムにおける移動通信端末10と制御装置30の動作を説明する。ここでは、まず、移動通信端末10が上述したテレビ電話アプリを起動したときに実行する処理について説明し、その後、移動通信端末10Aと移動通信端末10Bの間で音声通話を行うときに移動通信端末10A、10B及び制御装置30のそれぞれが実行する処理について説明する。
図9は、移動通信端末10Aがテレビ電話アプリを起動したときに実行する処理を示すフローチャートである。ユーザによる所定の操作を契機としてテレビ電話アプリが起動されると、移動通信端末10Aの制御部11は、仮想空間内の所定の位置を示すデータと、自端末の電話番号を表すデータとを制御装置30に送信する(ステップSa1)。この位置データが示す位置は任意であるが、例えば、あらかじめ決められた位置であってもよいし、以前にテレビ電話アプリの実行が終了したときのアバタの位置であってもよい。
位置データを受信した制御装置30においては、制御部31がこれを取得するとともに、記憶部33に記憶された地図ファイルを参照し、取得した位置データに応じたオブジェクトデータを特定する。具体的には、制御部31は、取得した位置データが示す位置から所定の範囲内にあるオブジェクトデータを特定する。このようにしてオブジェクトデータを特定したら、制御部31は、このオブジェクトデータと、それぞれのオブジェクトデータの位置データを移動通信端末10Aに送信する。なお、このとき、上述した所定の範囲内に他のユーザのアバタが存在する場合には、制御部31は、このアバタを表すアバタ画像データと、そのアバタに割り当てられたアバタIDと、そのアバタの位置を示す位置データとを併せてアバタ関連情報として送信する。移動通信端末10Aの制御部11は、制御装置30からオブジェクトデータとアバタ関連情報とを取得し(ステップSa2)、これに基づいて表示部14に仮想空間を表す画像を表示させる(ステップSa3)。
図10は、このとき表示部14が表示する画像を例示した図である。同図において、画像D0は、移動通信端末10Aのユーザを表すアバタ画像であり、移動通信端末10Aのユーザの操作に応じて仮想空間内を移動する。また、画像D1、D2及びD3は建造物を表しており、この画像D1、D2及びD3に挟まれた領域P1が道路を表している。画像D4は、移動通信端末10A以外の移動通信端末10Bのユーザを表すアバタ画像であり、移動通信端末10Bのユーザの操作に応じて仮想空間内を移動する。画像D5は機能ボタンBsに割り当てられた機能を表す画像である。
この状態でユーザが移動ボタンBu、Bd、Bl、Brを押下すると、制御部11は、仮想空間におけるアバタの位置が変化するように、表示部14の表示を変化させる。例えば、図10に示した状態でユーザが移動ボタンBuを押下すると、制御部11は、オブジェクトデータに基づいて表示している画像D1,D2,D3,D4の表示位置を変化させた画面に表示部14の表示内容を更新することで、画像D0のアバタがあたかも前方に移動しているかのように見せる。また、この状態でユーザが機能ボタンBsを押下すると、制御部11はポインタを表示部14に表示させ、通信先に対応するアバタを選択させる。なお、ポインタが表示された状態でユーザが機能ボタンBsを押下すると、制御部11はポインタを非表示にし、再びアバタを移動できるようにする。
図11は、表示部14がポインタを表示したときの画像を例示した図である。同図において、矢印状の画像D6がポインタを表している。このように、ポインタが表示された状態でユーザが移動ボタンBu、Bd、Bl、Brを押下すると、制御部11は、ポインタの位置が変化するように表示部14の表示を変化させる。つまり、移動ボタンBu、Bd、Bl、Brは、ポインタが表示されていないときにはアバタを移動させるための操作子として機能し、ポインタが表示されているときにはポインタを移動させるための操作子として機能する。そして、所望の通信先に対応するアバタ画像とポインタとが重なった状態で確定ボタンBfが押下されると、制御部11は、このアバタに対応する通信先とテレビ電話による通話を行う旨の要求を制御装置30に送信する。
ここで、上述した動作を図9のフローチャートに沿って説明する。ステップSa3の画像表示を行ったら、制御部11は、ユーザによりアバタの移動が指示されているか否かを判断する(ステップSa4)。具体的には、制御部11は、移動ボタンBu、Bd、BlまたはBrのいずれかに相当する操作信号が供給されたか否かの判断を繰り返す。そして、ユーザによりアバタの移動が指示されたら(ステップSa4:YES)、制御部11は、アバタの位置を示す位置データを制御装置30に送信し(ステップSa5)、既に取得しているオブジェクトデータ以外に新たなオブジェクトデータが必要か否かを判断する(ステップSa6)。新たなオブジェクトデータが不要であれば(ステップSa6:No)、制御部11は、オブジェクトデータに基づいて表示している画像の表示位置をアバタが移動したように見せるために更新して(ステップSa7)、再びステップSa4の処理に戻る。また、新たなオブジェクトデータが必要であれば(ステップSa6:Yes)、制御部11は、位置データに対応するオブジェクトデータ等を再び制御装置30から取得する(ステップSa2)。
制御部11は、ユーザがアバタを移動させている間は以上の処理を繰り返す。
制御部11は、ユーザがアバタを移動させている間は以上の処理を繰り返す。
一方、ユーザによりアバタの移動が指示されない場合(ステップSa4:NO)、制御部11は、ユーザにより通信先が選択されたか否かを判断する(ステップSa8)。具体的には、制御部11は、アバタ画像とポインタとが重なった状態で確定ボタンBfに相当する操作信号が供給されたか否かを判断する。制御部11は、ユーザにより通信先が選択されなければ(ステップSa8:NO)、再びステップSa4の処理に戻る。一方、通信先が選択されると(ステップSa8:YES)、制御部11は、テレビ電話を行うための処理を実行する(ステップSa9)。この処理(以下「テレビ電話処理」という。)については、後に詳説する。その後、制御部11は、ユーザによりテレビ電話アプリが終了されたか否かを判断し(ステップSa10)、ユーザにより終了の旨が指示されれば(ステップSa10:YES)、テレビ電話アプリを終了させる一方、終了の旨が指示されなければ(ステップSa10:NO)、再び仮想空間を表す画像を表示部14に表示させ、ステップSa3以降の処理を繰り返す。
続いて、ステップSa9のテレビ電話処理について説明する。この処理は、制御装置30及び通信先の移動通信端末10Bにおける処理とともに説明する。図12は、このときに移動通信端末10A、10B及び制御装置30が実行する一連の処理を示すシーケンスチャートである。以下、同図に沿って移動通信端末10A、10B及び制御装置30の動作を説明する。
まず、移動通信端末10Aの制御部11は、制御装置30にテレビ電話を行うための要求を送信する(ステップSb1)。この要求には、移動通信端末10Aの電話番号と、ポインタD6によって通信先として指定されたアバタのアバタIDが含まれている。制御装置30の制御部31は、通信部32を介してこの要求を取得すると、この要求に含まれるアバタIDを、記憶部33に記憶されたアバタID変換テーブルによって電話番号に変換する(ステップSb2)。そして、制御部31は、移動通信端末10Aの電話番号と通信先の電話番号の組をキーにして記憶部33内の通話履歴を検索し、通話履歴内にその組と一致するものがあるか否かを調べる(ステップSb3)。
続いて、制御部31は、ステップSb3における検索結果に基づいて、テレビ電話を行う際に移動通信端末10A及び10Bに表示させる画像データを決定する(ステップSb4)。具体的には、移動通信端末10Aの電話番号と通信先の電話番号の組が通話履歴に含まれていた場合、制御部31は、テレビ電話を行う際に移動通信端末10A及び移動通信端末10Bに表示させる画像データを、互いの撮影画像データとする決定を行う。一方、移動通信端末10Aの電話番号と通信先の電話番号の組が通話履歴に含まれていない場合、制御部31は、テレビ電話を行う際に移動通信端末10A及び移動通信端末10Bに表示させる画像データを、互いのアバタ画像データとする決定を行う。
次に、制御部31は、ステップSb4における決定に基づき、送信すべき画像データを指示するデータを移動通信端末10Aに送信する(ステップSb5)。つまり、制御部31は、移動通信端末10Aの電話番号と通信先の電話番号の組が通話履歴に含まれていない場合には、移動通信端末10Aに対してアバタ画像データを送信する旨の指示を行う。これと並行して、制御部31は、移動通信網20のサービス制御局などの各ノードに指示することで、移動通信端末10Bに対する呼出を行わせる(ステップSb6)。この呼出には、アバタ画像データを用いたテレビ電話の呼びだしである旨と、移動通信端末10Aのユーザを表すアバタ画像データが含まれている。
制御装置30から上記の指示を受信した移動通信端末10Aにおいては、制御部11が、図13に示すような画面を表示部14に表示する(ステップSb7)。この画面には、アバタ画像を用いてテレビ電話を行うために通話相手を呼びだし中である旨が記されている。一方、呼び出された移動通信端末10Bにおいては、制御部11が、図14に示すような画面を表示部14に表示する(ステップSb8)。この画面には、発呼元のユーザのアバタ画像と、アバタ画像を用いてテレビ電話を行ってよいか否かを問い合わせるメッセージが記されている。このときユーザが「YES」を選択すると、移動通信端末10Bの制御部11は移動通信網20に対して応答を返し、これにより、移動通信端末10A及び移動通信端末10Bの間で通話回線が確立される(ステップSb9)。
通話回線が確立された後は、移動通信端末10A,10Bの制御部11は、図8(a)に示すような画像を表示部14に表示し、この状態でテレビ電話がなされることになる。つまり、移動通信端末10A,10Bの制御部11はそれぞれ、EEPROM11dからアバタ画像データを読み出し、音声入出力部15に入力された音声メッセージと共に移動通信網20へと送信する。移動通信網20は、このアバタ画像データと音声メッセージとを相手方の移動通信端末へと送信する。相手方の移動通信端末10においては、制御部11が、無線通信部12によって受信したアバタ画像データに基づいて、アバタ画像を表示部14に表示すると共に、受信した音声メッセージを音声入出力部15から出力する。
この通話回線の確立と同時に、制御装置30の制御部31は、移動通信端末10Aと移動通信端末10Bとの間で送受信される音声メッセージについて音声認識処理を開始する。そして、その音声認識処理によって認識された語と、用語データベースに含まれる語とを比較し、用語データベースに含まれる語のうち、音声認識処理によって認識された語と一致又は類似する語があるか否かを判断する(ステップSb10)。ここでいう「類似」の範囲とは、音声認識処理の精度や、用語の変形などを考慮して予め定義された範囲であり、用語データベースに含まれる語の同義語であると考えられる範囲である。
このとき、移動通信端末10Aから送信されてくる音声メッセージに含まれている語と、移動通信端末10Bの電話番号に対応付けられて用語データベースに記憶されている語とが比較される。また、移動通信端末10Bから送信されてくる音声メッセージに含まれている語と、移動通信端末10Aの電話番号に対応付けられて用語データベースに記憶されている語とが比較される。つまり、相手から発せられた語が、自らの好みにマッチするかどうかが判断されるのである。
なお、ステップSb8で表示された画面において、ユーザが「NO」を選択すると、移動通信端末10Bの制御部11は移動通信網20に対して着呼拒否の応答を返す。このときは移動通信端末10A及び移動通信端末10Bの間の通話回線は確立されない。
なお、ステップSb8で表示された画面において、ユーザが「NO」を選択すると、移動通信端末10Bの制御部11は移動通信網20に対して着呼拒否の応答を返す。このときは移動通信端末10A及び移動通信端末10Bの間の通話回線は確立されない。
さて、用語データベースに含まれる語のうち、音声認識処理によって認識された語と一致又は類似する語が一定数以上検出された場合には(ステップSb11)、制御部31は、撮影画像を用いたテレビ電話から、撮影画像を用いたテレビ電話に切り替える旨を移動通信端末10A及び移動通信端末10Bに送信する(ステップSb12、Sb13)。
このときの「一定数以上」とは、移動通信端末10Bの電話番号に対応付けられて記憶されている語のうち、移動通信端末10Aから送信されてくる音声メッセージに含まれている語と一致又は類似する語の数が一定数以上で、且つ、移動通信端末10Aの電話番号に対応付けられて記憶されている語のうち、移動通信端末10Bから送信されてくる音声メッセージに含まれている語と一致又は類似する語の数が一定数以上であることを意味する。
このときの「一定数以上」とは、移動通信端末10Bの電話番号に対応付けられて記憶されている語のうち、移動通信端末10Aから送信されてくる音声メッセージに含まれている語と一致又は類似する語の数が一定数以上で、且つ、移動通信端末10Aの電話番号に対応付けられて記憶されている語のうち、移動通信端末10Bから送信されてくる音声メッセージに含まれている語と一致又は類似する語の数が一定数以上であることを意味する。
制御装置30から上記の指示を受信した移動通信端末10Aにおいては、制御部11が、図15に示すような画面を表示部14に表示する(ステップSb14)。この画面には、撮影画像を用いてテレビ電話を行うか否かを問い合わせるメッセージが記されている。このときユーザが「YES」を選択すると、移動通信端末10Aの制御部11は移動通信網20に対してその旨の応答を返す(ステップSb15)。
一方、移動通信端末10Bの制御部11も上記と同様の画面を表示し(ステップSb16)、ユーザが「OK」を選択すると、制御部11は移動通信網20に対してその旨の応答を返す(ステップSb17)。制御部31は、双方の移動通信端末10A,10BからOKの旨の応答を受け取ると、アバタ画像を用いたテレビ電話から撮影画像を用いたテレビ電話に切り替えるよう移動通信端末10A及び移動通信端末10Bに指示する(ステップSb18,Sb19)。この指示に応じて、移動通信端末10A及び移動通信端末10Bはそれぞれ上述したような処理を経て、図8(b)に示すような撮影画像を用いたテレビ電話を行う(ステップSb20)。つまり、移動通信端末10A及び移動通信端末10Bの制御部11はそれぞれ、撮影部16による撮影によって得られた撮影画像データを、音声入出力部15に入力された音声メッセージと共に移動通信網20へと送信する。移動通信網20は、この撮影画像データと音声メッセージとを相手方の移動通信端末10へと送信する。相手方の移動通信端末10においては、制御部11が、無線通信部12によって受信した撮影画像データに基づいて、撮影画像を表示部14に表示すると共に、受信した音声メッセージを音声入出力部15から出力する。
なお、ステップSb14,16で表示された画面において、ユーザが「NO」を選択すると、移動通信端末10の制御部11は移動通信網20に対して着呼拒否の応答を返す。移動通信網20は、この旨を相手方の移動通信端末10に通知し、その通知に応じて、その移動通信端末10の制御部11は図16に示すような画面を表示部14に表示する。このときは移動通信端末10A及び移動通信端末10Bの間の通話回線は確立されない。
また、ステップSb3において、移動通信端末10Aの電話番号と通信先の電話番号の組が通話履歴に含まれていた場合には、制御部31は、移動通信端末10Aに対して撮影画像データを送信する旨の指示を行う。これと並行して、制御部31は、移動通信網20のサービス制御局などの各ノードに指示することで移動通信端末10Bに対する呼出を行わせる。この呼出には、撮影画像データを用いたテレビ電話である旨が含まれている。制御装置30から上記の指示を受信した移動通信端末10Aにおいては、制御部11が、撮影画像を用いてテレビ電話を行うため通話相手を呼びだし中である旨が記された画面(図17参照)を表示する(ステップSb7)。
一方、呼び出された移動通信端末10Bにおいては、制御部11が、発呼元の移動通信端末の電話番号と、撮影画像を用いてテレビ電話を行ってよいか否かを問い合わせるメッセージが記されている画面(図18参照)を表示部14に表示する(ステップSb8)。このときユーザが「OK」を選択すると、移動通信端末10Bの制御部11は移動通信網20に対して応答を返し、これにより、移動通信端末10A及び移動通信端末10Bの間で通話回線が確立される。
以降、移動通信端末10A及び移動通信端末10Bの間では、撮影画像が表示された状態で通話がなされる。
以降、移動通信端末10A及び移動通信端末10Bの間では、撮影画像が表示された状態で通話がなされる。
本実施形態における移動通信端末10A、10B及び制御装置30の動作は以上の通りである。このように動作することで、移動通信端末10のユーザは、アバタを介して仮想空間を自由に移動し、他のアバタを操作する移動通信端末10のユーザとテレビ電話を行うことが可能となる。つまり、本実施形態によれば、通信先の電話番号等を知らなくてもテレビ電話を行うことが可能である。また、移動通信端末10に対しては、通話相手となるユーザに対応するアバタIDのみが提供され、その通話相手の電話番号は提供されないから、電話番号が漏洩するような事態を未然に防止することも可能である。加えて、この実施形態によれば、“アバタを用いて仮想空間を擬似的に歩き回りながら話し相手を探す”という、従来のテレビ電話とはまったく異なる手法で発呼を行うため、テレビ電話に高い娯楽性を付与し、利用の促進を図ることが期待できる。
また、上記実施形態では、通話の開始時点では相手方のアバタ画像が表示され、通話を続けていく過程で、通話相手が自分の好みに合う語を発することが多いと、アバタ画像が撮影画像に切り替えられて表示される。このように、はじめはアバタ画像を表示させてテレビ電話を行い、ある程度気が合うということが予測できた時点で撮影画像を表示させてテレビ電話を行わせることで、コミュニケーションの態様を段階的に変化させることが可能である。また、このようにすることで、素性があまり明らかでない相手とのコミュニケーションに対するユーザの心理的な障壁を和らげることも期待できる。また、アバタ画像から撮影画像に切り替えるかどうかをユーザに確認するので、移動通信端末10のユーザは、意図しない相手に対しては撮影画像を表示させないようにすることもできる。これによりユーザのプライバシを適切に保護することができる。
[変形例]
以上の実施形態を次のように変形してもよい。なお、以下の変形例は適宜組み合わせてもよい。
(1)変形例1
上述した実施形態では、自分の趣味指向に合った自分にとって好ましい言葉を予め複数登録しておき、まずは代替画像を用いてテレビ電話を開始し、それ以降に、いずれか一方の相手から予め登録された好ましい言葉が発せられた場合には、代替画像から撮影画像に切り替えていた。
そうではなくて、例えば相手が不快に感じる言葉や差別用語など、一般常識に照らし合わせて不適切或いは不謹慎な言葉を予め複数登録しておき、まずはお互いの撮影画像を用いてテレビ電話を開始し、それ以降に、いずれか一方の相手から予め登録された不適切な言葉が発せられた場合には、撮影画像から代替画像に切り替えるようにしてもよい。この場合の用語データベースには、ユーザが不快に感じる言葉や差別用語など、一般常識に照らし合わせて不適切或いは不謹慎な言葉を予め複数登録しておけばよく、例えば放送業界で決められている放送禁止用語を用いてもよい。
実施形態では、移動通信端末10の電話番号と用語とを対応付けて記憶していたが、ユーザが不快に感じる言葉や差別用語はそれぞれのユーザに共通であることが多いため、移動通信端末10の電話番号と用語とを対応付けて記憶しなくてもよい。
さらに、実施形態においても、ユーザの趣味嗜好と正確にマッチするように、移動通信端末10の電話番号と用語とを対応付けて記憶していたが、必ずしもそうである必要はなく、多くのユーザにとって好ましい語だけを用語データベースに記憶させてもよい。
以上の実施形態を次のように変形してもよい。なお、以下の変形例は適宜組み合わせてもよい。
(1)変形例1
上述した実施形態では、自分の趣味指向に合った自分にとって好ましい言葉を予め複数登録しておき、まずは代替画像を用いてテレビ電話を開始し、それ以降に、いずれか一方の相手から予め登録された好ましい言葉が発せられた場合には、代替画像から撮影画像に切り替えていた。
そうではなくて、例えば相手が不快に感じる言葉や差別用語など、一般常識に照らし合わせて不適切或いは不謹慎な言葉を予め複数登録しておき、まずはお互いの撮影画像を用いてテレビ電話を開始し、それ以降に、いずれか一方の相手から予め登録された不適切な言葉が発せられた場合には、撮影画像から代替画像に切り替えるようにしてもよい。この場合の用語データベースには、ユーザが不快に感じる言葉や差別用語など、一般常識に照らし合わせて不適切或いは不謹慎な言葉を予め複数登録しておけばよく、例えば放送業界で決められている放送禁止用語を用いてもよい。
実施形態では、移動通信端末10の電話番号と用語とを対応付けて記憶していたが、ユーザが不快に感じる言葉や差別用語はそれぞれのユーザに共通であることが多いため、移動通信端末10の電話番号と用語とを対応付けて記憶しなくてもよい。
さらに、実施形態においても、ユーザの趣味嗜好と正確にマッチするように、移動通信端末10の電話番号と用語とを対応付けて記憶していたが、必ずしもそうである必要はなく、多くのユーザにとって好ましい語だけを用語データベースに記憶させてもよい。
(2)変形例2
上述した実施形態では、通信元の移動通信端末10の電話番号と通信先の移動通信端末10の電話番号の組が、制御装置30が記憶する通話履歴に含まれていた場合には、テレビ電話を開始するときに移動通信端末10に表示させる画像を撮影画像としていた。ただし、テレビ電話を開始するときに表示する画像を決定する際に、この通話履歴の有無を考慮することは必須ではない。
上述した実施形態では、通信元の移動通信端末10の電話番号と通信先の移動通信端末10の電話番号の組が、制御装置30が記憶する通話履歴に含まれていた場合には、テレビ電話を開始するときに移動通信端末10に表示させる画像を撮影画像としていた。ただし、テレビ電話を開始するときに表示する画像を決定する際に、この通話履歴の有無を考慮することは必須ではない。
(3)変形例3
上述した実施形態は、テレビ電話を行うときに表示させる画像を送信元(通信元)の移動通信端末10側で切り替える構成であったが、必ずしも、そのような構成とは限らない。
例えば送信元の移動通信端末10にアバタ画像データと撮影画像データの双方を送信させ、制御装置30側で、経過時間に応じて、これらのうちの一方を選択して送信先(通信先)の移動通信端末10に送信するような構成としてもよい。
また、制御装置30が送信先の移動通信端末10にアバタ画像データと撮影画像データの双方を送信するとともに、表示すべき画像データを送信先の移動通信端末10に指示する構成としてもよい。この場合、送信先の移動通信端末10においては、受信したアバタ画像データ及び撮影画像データのうち、制御装置30により指示された方の画像データを用いて表示を行うようにすればよい。
上述した実施形態は、テレビ電話を行うときに表示させる画像を送信元(通信元)の移動通信端末10側で切り替える構成であったが、必ずしも、そのような構成とは限らない。
例えば送信元の移動通信端末10にアバタ画像データと撮影画像データの双方を送信させ、制御装置30側で、経過時間に応じて、これらのうちの一方を選択して送信先(通信先)の移動通信端末10に送信するような構成としてもよい。
また、制御装置30が送信先の移動通信端末10にアバタ画像データと撮影画像データの双方を送信するとともに、表示すべき画像データを送信先の移動通信端末10に指示する構成としてもよい。この場合、送信先の移動通信端末10においては、受信したアバタ画像データ及び撮影画像データのうち、制御装置30により指示された方の画像データを用いて表示を行うようにすればよい。
(4)変形例4
上述した実施形態は、アバタ画像データを移動通信端末10が記憶する構成であったが、これに限らない。
例えば制御装置30が、記憶部33にアバタ画像データを予め記憶しておいてもよい。この場合、制御装置30は、送信元の移動通信端末10に対して常に撮影画像データ及びメッセージを送信するよう指示する。そして、制御装置30は、送信先の移動通信端末10に送信すべき画像データとして、送信元の移動通信端末10から受け取った撮影画像データ又は自身が記憶しているアバタ画像データを選択して送信する。これを実現するためには、制御装置30は、テレビ電話に係るデータ(音声データ、画像データ等)を中継するとともに、移動通信端末10のマルチメディア処理部に相当する構成を備える必要がある。そして、制御装置30の制御部31は、アバタ画像データを送信先の移動通信端末10に送信する場合には、通信部32を介して多重化された音声データや撮影画像データを取得し、これを個々の音声データや撮影画像データに分離する。そして、制御装置30の制御部31は、取得した撮影画像データを記憶部33から読み出したアバタ画像データに置換し、多重化処理を行った後に通信部32に供給して、送信先の移動通信端末10に宛てて送信する。
上述した実施形態は、アバタ画像データを移動通信端末10が記憶する構成であったが、これに限らない。
例えば制御装置30が、記憶部33にアバタ画像データを予め記憶しておいてもよい。この場合、制御装置30は、送信元の移動通信端末10に対して常に撮影画像データ及びメッセージを送信するよう指示する。そして、制御装置30は、送信先の移動通信端末10に送信すべき画像データとして、送信元の移動通信端末10から受け取った撮影画像データ又は自身が記憶しているアバタ画像データを選択して送信する。これを実現するためには、制御装置30は、テレビ電話に係るデータ(音声データ、画像データ等)を中継するとともに、移動通信端末10のマルチメディア処理部に相当する構成を備える必要がある。そして、制御装置30の制御部31は、アバタ画像データを送信先の移動通信端末10に送信する場合には、通信部32を介して多重化された音声データや撮影画像データを取得し、これを個々の音声データや撮影画像データに分離する。そして、制御装置30の制御部31は、取得した撮影画像データを記憶部33から読み出したアバタ画像データに置換し、多重化処理を行った後に通信部32に供給して、送信先の移動通信端末10に宛てて送信する。
また、複数のアバタ画像データを制御装置30が記憶しておき、移動通信端末10からはアバタ画像データを識別するアバタIDを含む指定データのみが送信されるような構成であってもよい。このようにすれば、送信元の移動通信端末10におけるデータの送信量を削減することが可能である。これを実現するためには、制御装置30がテレビ電話に係るデータを中継するとともに、記憶部33に複数のアバタ画像データをアバタIDと対応付けて記憶する。送信先の移動通信端末10にアバタ画像を表示させる場合、送信元の移動通信端末10は、アバタIDを含む指定データを音声メッセージともに送信する。制御装置30の制御部31は、送信元の移動通信端末10から指定データを受け取ると、その指定データに含まれるアバタIDに対応するアバタ画像データに多重化処理を行った後に通信部32に供給して、送信先の移動通信端末10に宛てて送信する。一方、送信先の移動通信端末10に撮影画像を表示させる場合には、制御装置30は、送信元の移動通信端末10に対して撮影画像データ及びメッセージを送信するよう指示すればよい。
さらに、制御装置30が、複数のアバタ画像データを、各々の移動通信端末10の電話番号と対応付けて記憶しておいてもよい。送信先の移動通信端末10にアバタ画像を表示させる場合、送信元の移動通信端末10は、自身の電話番号と音声メッセージとを送信する。制御装置30の制御部31は、送信元の移動通信端末10の電話番号に対応するアバタ画像データに多重化処理を行った後に通信部32に供給して、送信先の移動通信端末10に宛てて送信する。一方、送信先の移動通信端末10に撮影画像を表示させる場合には、制御装置30は、送信元の移動通信端末10に対して撮影画像データ及びメッセージを送信するよう指示すればよい。このようにしても、送信元の移動通信端末10におけるデータの送信量を削減することが可能である。
さらに、制御装置30が、複数のアバタ画像データを、各々の移動通信端末10の電話番号と対応付けて記憶しておいてもよい。送信先の移動通信端末10にアバタ画像を表示させる場合、送信元の移動通信端末10は、自身の電話番号と音声メッセージとを送信する。制御装置30の制御部31は、送信元の移動通信端末10の電話番号に対応するアバタ画像データに多重化処理を行った後に通信部32に供給して、送信先の移動通信端末10に宛てて送信する。一方、送信先の移動通信端末10に撮影画像を表示させる場合には、制御装置30は、送信元の移動通信端末10に対して撮影画像データ及びメッセージを送信するよう指示すればよい。このようにしても、送信元の移動通信端末10におけるデータの送信量を削減することが可能である。
また、送信先の移動通信端末10が、送信元のユーザを象徴するアバタ画像として表示し得る複数のアバタ画像データを記憶しておいてもよい。このアバタ画像データは各々のアバタIDと対応付けて記憶されている。送信先の移動通信端末10にアバタ画像を表示させる場合、送信元の移動通信端末10は、アバタIDを含む指定データを音声メッセージともに送信する。制御装置30はその指定データと音声メッセージを送信先の移動通信端末10に送信する。送信先の移動通信端末10は、記憶しているアバタ画像のうち、受信した指定データに含まれるアバタIDに対応するアバタ画像データを読み出してアバタ画像を表示する。一方、送信先の移動通信端末10に撮影画像を表示させる場合には、制御装置30は、送信元の移動通信端末10に対して撮影画像データ及びメッセージを送信するよう指示すればよい。
(5)変形例5
実施形態では、用語データベースとの比較を制御装置30が行う構成であったが、これを移動通信端末10が行ってもよい。
つまり、移動通信端末10のEEPROM11dに複数の語を記憶させておき、制御部11が、EEPROM11dに記憶されている複数の語のうち、相手方の移動通信端末10から受信した音声メッセージに含まれる語に一致又は類似する語があるか否かを判断する。そして、その判断結果に応じて、相手方の移動通信端末10から受信した撮影画像又はアバタ画像のうちのいずれかを、無線通信部12から送信される画像として選択する。このときのアバタ画像は、移動通信端末10によって記憶されていてもよいし、制御装置30によって記憶されていてもよい。
アバタ画像が移動通信端末10によって記憶されている場合、移動通信端末10は、撮影手段により撮影された撮影画像を取得する取得手段と、前記撮影画像に代わる代替画像を記憶する記憶手段と、通信先の通信端末との間で画像及びメッセージを送受信する送受信手段と、前記送受信手段によって受信された画像を表示する表示手段と、複数の語を記憶する記憶手段と、前記記憶手段によって記憶されている複数の語のうち、前記送受信手段によって受信されたメッセージに含まれる語に一致又は類似する語があるか否かを判断する判断手段と、前記判断手段の判断結果に応じて、前記取得手段により取得された撮影画像又は前記記憶手段に記憶された代替画像のうちのいずれかを、前記送受信手段により送信される画像として選択する選択手段とを備えることを特徴とする通信端末となる。
また、アバタ画像が制御装置30に記憶されている場合には、移動通信端末10の制御部11は、アバタ画像を指定する指定データを無線通信部12から送信し、制御装置30がこの指定データによって指定されるアバタ画像を送信先の移動通信端末10に送信する。この場合、移動通信端末10は、撮影手段により撮影された撮影画像を取得する取得手段と、通信先の通信端末との間で、画像又はデータと、メッセージとを送受信する送受信手段と、前記送受信手段によって受信された画像を表示する表示手段と、複数の語を記憶する記憶手段と、前記記憶手段によって記憶されている複数の語のうち、前記送受信手段によって受信されたメッセージに含まれる語に一致又は類似する語があるか否かを判断する判断手段と、前記判断手段の判断結果に応じて、前記取得手段により取得された撮影画像又は当該撮影画像の代替となる代替画像を指定する指定データのうちのいずれかを、前記送受信手段により送信される画像又はデータとして選択する選択手段とを備えることを特徴とする通信端末となる。
実施形態では、用語データベースとの比較を制御装置30が行う構成であったが、これを移動通信端末10が行ってもよい。
つまり、移動通信端末10のEEPROM11dに複数の語を記憶させておき、制御部11が、EEPROM11dに記憶されている複数の語のうち、相手方の移動通信端末10から受信した音声メッセージに含まれる語に一致又は類似する語があるか否かを判断する。そして、その判断結果に応じて、相手方の移動通信端末10から受信した撮影画像又はアバタ画像のうちのいずれかを、無線通信部12から送信される画像として選択する。このときのアバタ画像は、移動通信端末10によって記憶されていてもよいし、制御装置30によって記憶されていてもよい。
アバタ画像が移動通信端末10によって記憶されている場合、移動通信端末10は、撮影手段により撮影された撮影画像を取得する取得手段と、前記撮影画像に代わる代替画像を記憶する記憶手段と、通信先の通信端末との間で画像及びメッセージを送受信する送受信手段と、前記送受信手段によって受信された画像を表示する表示手段と、複数の語を記憶する記憶手段と、前記記憶手段によって記憶されている複数の語のうち、前記送受信手段によって受信されたメッセージに含まれる語に一致又は類似する語があるか否かを判断する判断手段と、前記判断手段の判断結果に応じて、前記取得手段により取得された撮影画像又は前記記憶手段に記憶された代替画像のうちのいずれかを、前記送受信手段により送信される画像として選択する選択手段とを備えることを特徴とする通信端末となる。
また、アバタ画像が制御装置30に記憶されている場合には、移動通信端末10の制御部11は、アバタ画像を指定する指定データを無線通信部12から送信し、制御装置30がこの指定データによって指定されるアバタ画像を送信先の移動通信端末10に送信する。この場合、移動通信端末10は、撮影手段により撮影された撮影画像を取得する取得手段と、通信先の通信端末との間で、画像又はデータと、メッセージとを送受信する送受信手段と、前記送受信手段によって受信された画像を表示する表示手段と、複数の語を記憶する記憶手段と、前記記憶手段によって記憶されている複数の語のうち、前記送受信手段によって受信されたメッセージに含まれる語に一致又は類似する語があるか否かを判断する判断手段と、前記判断手段の判断結果に応じて、前記取得手段により取得された撮影画像又は当該撮影画像の代替となる代替画像を指定する指定データのうちのいずれかを、前記送受信手段により送信される画像又はデータとして選択する選択手段とを備えることを特徴とする通信端末となる。
(6)変形例6
上述した実施形態は、テレビ電話、すなわち画像と音声メッセージによるコミュニケーションを行うものであったが、例えば、いわゆるチャットなどのように、音声メッセージの代わりに文字(テキストメッセージ)を用いてもよい。また、このような場合には、仮想空間内に表示されるアバタが上述した特定領域に移動したときに、仮想空間内に表示されるアバタ画像を撮影画像に切り替えるようにしてもよい。なお、画像及びメッセージを送受信する移動通信端末10の数は、2つに限らず、3つ以上であってもよい。
上述した実施形態は、テレビ電話、すなわち画像と音声メッセージによるコミュニケーションを行うものであったが、例えば、いわゆるチャットなどのように、音声メッセージの代わりに文字(テキストメッセージ)を用いてもよい。また、このような場合には、仮想空間内に表示されるアバタが上述した特定領域に移動したときに、仮想空間内に表示されるアバタ画像を撮影画像に切り替えるようにしてもよい。なお、画像及びメッセージを送受信する移動通信端末10の数は、2つに限らず、3つ以上であってもよい。
(7)変形例7
移動通信端末10の双方に対してアバタ画像と撮影画像の切替を指示する必要はなく、いずれか一方のみでもよい。例えば、送信先となる相手方に常に自分の撮影画像を表示させるとか、送信先となる相手方に撮影画像を見せたくないので、常に代替画像を表示させるなどといった設定がなされている場合には、制御装置30はその相手方の移動通信端末10に対してのみ、経過時間に応じてアバタ画像と撮影画像を切り替えて表示させることになる。
移動通信端末10の双方に対してアバタ画像と撮影画像の切替を指示する必要はなく、いずれか一方のみでもよい。例えば、送信先となる相手方に常に自分の撮影画像を表示させるとか、送信先となる相手方に撮影画像を見せたくないので、常に代替画像を表示させるなどといった設定がなされている場合には、制御装置30はその相手方の移動通信端末10に対してのみ、経過時間に応じてアバタ画像と撮影画像を切り替えて表示させることになる。
(8)その他の変形例
代替画像は、撮影画像の代替となる画像であればよく、実施形態で例示したアバタ画像に限らない。
実施形態では、撮影画像からアバタ画像へ切り替える際とか、アバタ画像から撮影画像へ切り替える際には、移動通信端末10のユーザに対して、画像を切り替えてよいかどうかを確認してから切り替えるようにしていた。この確認は必ずしも必須ではなく、画像を切り替える条件が満たされたときには、直ちに画像を切り替えるようにしてもよい。
また、実施形態では、制御装置30が提供する仮想空間において通話相手を探してテレビ電話を開始するという形態を採っていたが、必ずしもそうである必要はない。通話相手となるユーザの電話番号又はそれに代わるユーザID等をなんらかの手段によってユーザに提供し、ユーザがその電話番号やユーザID等を用いた発呼を行うことで、通話相手との間でテレビ電話を開始するようにしてもよい。
上述した実施形態においては、移動通信端末10は携帯電話機であるとしたが、その他の通信端末であってもよい。例えば、PDA(Personal Digital Assistance)等の携帯可能な通信端末であってもよいし、パーソナルコンピュータ等のコンピュータ装置であってもよい。なお、通信端末が移動通信網を利用するものでない場合には、移動通信網に代えてインターネット等の他のネットワークを用いればよい。また、通信端末は、撮影部を内蔵する必要はなく、外付けのビデオカメラから撮影画像データが供給されるような構成であってもよい。なお、これは、マイクやスピーカについても同様である。
代替画像は、撮影画像の代替となる画像であればよく、実施形態で例示したアバタ画像に限らない。
実施形態では、撮影画像からアバタ画像へ切り替える際とか、アバタ画像から撮影画像へ切り替える際には、移動通信端末10のユーザに対して、画像を切り替えてよいかどうかを確認してから切り替えるようにしていた。この確認は必ずしも必須ではなく、画像を切り替える条件が満たされたときには、直ちに画像を切り替えるようにしてもよい。
また、実施形態では、制御装置30が提供する仮想空間において通話相手を探してテレビ電話を開始するという形態を採っていたが、必ずしもそうである必要はない。通話相手となるユーザの電話番号又はそれに代わるユーザID等をなんらかの手段によってユーザに提供し、ユーザがその電話番号やユーザID等を用いた発呼を行うことで、通話相手との間でテレビ電話を開始するようにしてもよい。
上述した実施形態においては、移動通信端末10は携帯電話機であるとしたが、その他の通信端末であってもよい。例えば、PDA(Personal Digital Assistance)等の携帯可能な通信端末であってもよいし、パーソナルコンピュータ等のコンピュータ装置であってもよい。なお、通信端末が移動通信網を利用するものでない場合には、移動通信網に代えてインターネット等の他のネットワークを用いればよい。また、通信端末は、撮影部を内蔵する必要はなく、外付けのビデオカメラから撮影画像データが供給されるような構成であってもよい。なお、これは、マイクやスピーカについても同様である。
また、移動通信端末10AがステップSa1において送信するデータには、電話番号を表すデータが含まれているとしたが、このデータは電話番号である必要はなく、通信元の移動通信端末10を一意的に特定可能な情報であればよい。この場合、制御装置30は、このような情報に基づいてサービス制御局に問い合わせを行い、電話番号を取得するようにしてもよい。
制御装置30の機能を分散化して複数の装置に持たせてもよい。要するに、複数の語を記憶する記憶装置と、画像及びメッセージを送受信して画像を表示する第1の通信端末及び第2の通信端末の間で送受信される、前記メッセージを取得する取得装置と、前記記憶装置によって記憶されている複数の語のうち、前記取得装置によって取得されたメッセージに含まれる語に一致又は類似する語があるか否かを判断する判断装置と、前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に、他方の通信端末から送信されてくる撮影画像又は当該撮影画像に代わる代替画像のうちのいずれか一方を、前記判断装置の判断結果に応じて表示させる制御装置とを移動通信システムに設ければよい。
また、制御装置30は、移動通信網のノード装置(サービス制御局や交換局など)と別体の装置であったが、この制御装置30を移動通信網のいずれかのノード装置に内蔵してもよい。
また、制御装置30は、移動通信網のノード装置(サービス制御局や交換局など)と別体の装置であったが、この制御装置30を移動通信網のいずれかのノード装置に内蔵してもよい。
また、制御装置30が実現する諸機能は、単一のプログラムとして提供することも可能である。ゆえに、かかるプログラムを記録媒体に記録した形態で提供したり、他の制御装置30からインターネット等のネットワークを介してダウンロードすることにより提供したりすることも可能である。
10、10A、10B…移動通信端末、11…制御部、12…無線通信部、13…操作部、14…表示部、15…音声入出力部、16…撮影部、17…マルチメディア処理部、20…移動通信網、30…制御装置、31…制御部、33…記憶部。
Claims (12)
- 複数の語を記憶する記憶手段と、
画像及びメッセージを送受信して画像を表示する第1の通信端末及び第2の通信端末の間で送受信される、前記メッセージを取得する取得手段と、
前記記憶手段によって記憶されている複数の語のうち、前記取得手段によって取得されたメッセージに含まれる語に一致又は類似する語があるか否かを判断する判断手段と、
前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に、他方の通信端末から送信されてくる撮影画像又は当該撮影画像に代わる代替画像のうちのいずれか一方を、前記判断手段の判断結果に応じて表示させる制御手段と
を備えることを特徴とする制御装置。 - 前記制御手段は、
第1の通信端末及び第2の通信端末の間で前記画像及び前記メッセージの送受信が開始されたときは、前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に前記代替画像を表示させ、
前記一方の通信端末に前記代替画像を表示させた後に、前記記憶手段によって記憶されている複数の語のうち、前記取得手段によって取得されたメッセージに含まれる語に一致又は類似する語があると判断された場合は、当該一方の通信端末に、前記撮影画像を表示させる
ことを特徴とする請求項1記載の制御装置。 - 前記第1の通信端末及び前記第2の通信端末によってなされた前記画像又は前記メッセージの送受信の履歴を記憶する履歴記憶手段を備え、
前記制御手段は、
前記履歴記憶手段に送受信の履歴が記憶されていない前記第1の通信端末及び前記第2の通信端末の間で、前記画像及び前記メッセージの送受信が開始されたときには、前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に前記代替画像を表示させ、前記履歴記憶手段に送受信の履歴が記憶されている前記第1の通信端末及び前記第2の通信端末の間で、前記画像及び前記メッセージの送受信が開始されたときには、前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に前記撮影画像を表示させる
ことを特徴とする請求項2記載の制御装置。 - 前記制御手段は、
第1の通信端末及び第2の通信端末の間で前記画像及び前記メッセージの送受信が開始されたときは、前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に前記撮影画像を表示させ、
前記一方の通信端末に前記撮影画像を表示させた後に、前記記憶手段によって記憶されている複数の語のうち、前記取得手段によって取得されたメッセージに含まれる語に一致又は類似する語があると判断された場合は、当該一方の通信端末に前記代替画像を表示させる
ことを特徴とする請求項1記載の制御装置。 - 前記第1の通信端末及び前記第2の通信端末がそれぞれ、自端末からの画像又はメッセージの送信先である相手方の通信端末によって表示される前記代替画像を記憶しており、
前記制御手段は、
前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に前記撮影画像を表示させる場合には、他方の通信端末が撮影によって得た前記撮影画像と前記メッセージとを送信するように、当該他方の通信端末に指示し、
前記第1の通信端末又は前記第2の通信端末のうちの少なくとも一方の通信端末に前記代替画像を表示させる場合には、他方の通信端末が記憶している前記代替画像と前記メッセージとを送信するように、当該他方の通信端末に指示する
ことを特徴とする請求項1に記載の制御装置。 - 前記第1の通信端末及び前記第2の通信端末がそれぞれ、自端末の記憶手段に、相手方の撮影画像の代替として表示し得る複数の代替画像を記憶しており、
前記制御手段は、
前記第1の通信端末又は前記第2の通信端末のうちの少なくとも一方の通信端末に前記撮影画像を表示させる場合には、他方の通信端末が撮影によって得た前記撮影画像と前記メッセージとを送信するように、当該他方の通信端末に指示し、
前記第1の通信端末又は前記第2の通信端末のうちの少なくとも一方の通信端末に前記代替画像を表示させる場合には、他方の通信端末によって指定された代替画像を前記一方の通信端末に通知し、当該一方の通信端末の前記記憶手段に記憶されている複数の代替画像のうち、通知した代替画像を表示するように当該一方の通信端末に指示する
ことを特徴とする請求項1に記載の制御装置。 - 前記代替画像を記憶する代替画像記憶手段を備え、
前記制御手段は、
前記第1の通信端末又は前記第2の通信端末のうちの少なくとも一方の通信端末に前記撮影画像を表示させる場合には、他方の通信端末が撮影によって得た前記撮影画像と前記メッセージとを送信するように、当該他方の通信端末に指示し、
前記第1の通信端末又は前記第2の通信端末のうちの少なくとも一方の通信端末に前記代替画像を表示させる場合には、前記代替画像を前記代替画像記憶手段から読み出して前記一方の通信端末に送信する
ことを特徴とする請求項1に記載の制御装置。 - 前記代替画像記憶手段は、前記第1の通信端末又は前記第2の通信端末に割り当てられた識別子と、前記代替画像とを対応付けて記憶しており、
前記制御手段は、前記第1の通信端末又は前記第2の通信端末のうちの少なくとも一方の通信端末に前記代替画像を表示させる場合には、他方の通信端末に割り当てられた識別子に対応付けられて記憶されている代替画像を、前記代替画像記憶手段から読み出し、前記一方の通信端末に送信する
ことを特徴とする請求項7に記載の制御装置。 - 複数の語を記憶する記憶装置と、
画像及びメッセージを送受信して画像を表示する第1の通信端末及び第2の通信端末の間で送受信される、前記メッセージを取得する取得装置と、
前記記憶装置によって記憶されている複数の語のうち、前記取得装置によって取得されたメッセージに含まれる語に一致又は類似する語があるか否かを判断する判断装置と、
前記第1の通信端末又は前記第2の通信端末のうちの少なくともいずれか一方の通信端末に、他方の通信端末から送信されてくる撮影画像又は当該撮影画像に代わる代替画像のうちのいずれか一方を、前記判断装置の判断結果に応じて表示させる制御装置と
を備えることを特徴とする移動通信システム。 - 撮影手段により撮影された撮影画像を取得する取得手段と、
前記撮影画像に代わる代替画像を記憶する記憶手段と、
通信先の通信端末との間で画像及びメッセージを送受信する送受信手段と、
前記送受信手段によって受信された画像を表示する表示手段と、
複数の語を記憶する記憶手段と、
前記記憶手段によって記憶されている複数の語のうち、前記送受信手段によって受信されたメッセージに含まれる語に一致又は類似する語があるか否かを判断する判断手段と、
前記判断手段の判断結果に応じて、前記取得手段により取得された撮影画像又は前記記憶手段に記憶された代替画像のうちのいずれかを、前記送受信手段により送信される画像として選択する選択手段と
を備えることを特徴とする通信端末。 - 撮影手段により撮影された撮影画像を取得する取得手段と、
通信先の通信端末との間で、画像又はデータと、メッセージとを送受信する送受信手段と、
前記送受信手段によって受信された画像を表示する表示手段と、
複数の語を記憶する記憶手段と、
前記記憶手段によって記憶されている複数の語のうち、前記送受信手段によって受信されたメッセージに含まれる語に一致又は類似する語があるか否かを判断する判断手段と、
前記判断手段の判断結果に応じて、前記取得手段により取得された撮影画像又は当該撮影画像の代替となる代替画像を指定する指定データのうちのいずれかを、前記送受信手段により送信される画像又はデータとして選択する選択手段と
を備えることを特徴とする通信端末。 - 複数の前記代替画像を記憶する記憶手段を備え、
前記表示手段は、前記送受信手段によって受信された画像に代えて、前記記憶手段に記憶されている代替画像のうち、前記送受信手段によって受信した指定データによって指定される代替画像を表示する
ことを特徴とする請求項11記載の通信端末。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007107397A JP2008270914A (ja) | 2007-04-16 | 2007-04-16 | 制御装置、移動通信システム及び通信端末 |
US12/099,229 US20080254840A1 (en) | 2007-04-16 | 2008-04-08 | Control device, mobile communication system, and communication terminal |
EP08006996A EP1983749A3 (en) | 2007-04-16 | 2008-04-08 | Control device, mobile communication system, and communication terminal |
CNA2008101003586A CN101291498A (zh) | 2007-04-16 | 2008-04-16 | 控制装置、移动通信系统以及通信终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007107397A JP2008270914A (ja) | 2007-04-16 | 2007-04-16 | 制御装置、移動通信システム及び通信端末 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008270914A true JP2008270914A (ja) | 2008-11-06 |
Family
ID=39629102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007107397A Withdrawn JP2008270914A (ja) | 2007-04-16 | 2007-04-16 | 制御装置、移動通信システム及び通信端末 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20080254840A1 (ja) |
EP (1) | EP1983749A3 (ja) |
JP (1) | JP2008270914A (ja) |
CN (1) | CN101291498A (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110013757A1 (en) * | 2009-07-17 | 2011-01-20 | Bharat Kumar | User programmable communication services |
US20110102556A1 (en) * | 2009-11-03 | 2011-05-05 | Kim Sungdo | Method for displaying 3d image by using the binocular disparity in mobile terminal and mobile terminal using the same |
US9990373B2 (en) * | 2013-02-06 | 2018-06-05 | John A. Fortkort | Creation and geospatial placement of avatars based on real-world interactions |
US9294482B2 (en) | 2013-07-25 | 2016-03-22 | Oracle International Corporation | External platform extensions in a multi-tenant environment |
WO2015108330A1 (en) * | 2014-01-20 | 2015-07-23 | Samsung Electronics Co., Ltd. | Electronic device for controlling an external device using a number and method thereof |
CN105721283B (zh) * | 2016-01-26 | 2020-03-17 | 北京小米移动软件有限公司 | 截屏消息的发送方法、装置及设备 |
US11323684B2 (en) * | 2018-11-30 | 2022-05-03 | Ricoh Company, Ltd. | Apparatus, system, and method of processing image data to be relayed |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2253501B (en) * | 1990-11-30 | 1995-01-11 | Nec Corp | Electronic pocket notebook-type pager |
US6954906B1 (en) * | 1996-09-30 | 2005-10-11 | Sony Corporation | Image display processing apparatus that automatically changes position of sub-window relative to main window depending on distance at watch sub window is commanded to be displayed |
WO1999020010A1 (en) * | 1997-10-09 | 1999-04-22 | Interval Research Corporation | Variable bandwidth communication systems and methods |
SE519929C2 (sv) | 2001-07-26 | 2003-04-29 | Ericsson Telefon Ab L M | Förfarande, system och terminal för att under pågående samtal ändra eller uppdatera tex. avatarer på andra användares terminaler i ett mobiltelekommunikationssystem |
JP2003219047A (ja) * | 2002-01-18 | 2003-07-31 | Matsushita Electric Ind Co Ltd | 通信装置 |
JP3968277B2 (ja) * | 2002-08-26 | 2007-08-29 | 株式会社日立製作所 | メールサーバ、そのメールサーバを実現するためのプログラム及び携帯端末 |
JP4508596B2 (ja) * | 2002-11-06 | 2010-07-21 | キヤノン株式会社 | 通信装置、画像記憶装置およびそれらの制御方法 |
US20040176114A1 (en) * | 2003-03-06 | 2004-09-09 | Northcutt John W. | Multimedia and text messaging with speech-to-text assistance |
JP4168800B2 (ja) | 2003-03-26 | 2008-10-22 | カシオ計算機株式会社 | 画像配信装置 |
JP2004312634A (ja) * | 2003-04-10 | 2004-11-04 | Nec Corp | テレビ電話端末、テレビ電話システム、及びそれらの画面表示設定方法 |
JP2004343232A (ja) * | 2003-05-13 | 2004-12-02 | Nec Corp | 通信装置及び通信方法 |
JP4131237B2 (ja) * | 2003-12-24 | 2008-08-13 | カシオ計算機株式会社 | 電子機器及びプログラム |
KR100720133B1 (ko) * | 2003-12-27 | 2007-05-18 | 삼성전자주식회사 | 휴대단말기의 문자 메시지 처리 방법 |
JP2005285047A (ja) * | 2004-03-31 | 2005-10-13 | Nec Corp | メッセージ配信システム、サーバ及びメッセージ配信プログラム |
US20070039025A1 (en) * | 2005-08-09 | 2007-02-15 | Nokia Corporation | Method for application sharing |
-
2007
- 2007-04-16 JP JP2007107397A patent/JP2008270914A/ja not_active Withdrawn
-
2008
- 2008-04-08 US US12/099,229 patent/US20080254840A1/en not_active Abandoned
- 2008-04-08 EP EP08006996A patent/EP1983749A3/en not_active Withdrawn
- 2008-04-16 CN CNA2008101003586A patent/CN101291498A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20080254840A1 (en) | 2008-10-16 |
EP1983749A2 (en) | 2008-10-22 |
EP1983749A3 (en) | 2010-10-27 |
CN101291498A (zh) | 2008-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4468418B2 (ja) | 制御装置および移動通信システム | |
JP2008263297A (ja) | 通信制御装置および通信端末 | |
JP2008270913A (ja) | 制御装置、移動通信システム及び通信端末 | |
JP5139807B2 (ja) | プレゼンス表示端末装置およびプレゼンス管理システム | |
JP2008270914A (ja) | 制御装置、移動通信システム及び通信端末 | |
EP1616429B1 (en) | Mobile terminal apparatus | |
JP2008270912A (ja) | 制御装置、移動通信システム及び通信端末 | |
JP4345353B2 (ja) | コミュニケーション端末装置 | |
JP6283160B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法 | |
JP5481693B2 (ja) | ビデオ通話システム、発呼側端末、受呼側端末、プログラム | |
EP1983734A2 (en) | Control device, mobile communication system, and communication terminal | |
JP2006203612A (ja) | 携帯電話装置 | |
JP2013197740A (ja) | 電子機器、電子機器の制御方法、電子機器の制御プログラム | |
JP2022021232A (ja) | 映像共有システム、情報端末装置、タイトル画面表示方法、プログラム | |
JP2002176547A (ja) | 合成画像システム | |
JP6569353B2 (ja) | 伝送システム、情報処理装置、プログラム、伝送方法 | |
KR20130004719A (ko) | 어플리케이션정보 공유 시스템 및 방법 | |
JP2005142873A (ja) | 携帯電話及びプログラム | |
KR20050082367A (ko) | 휴대폰의 뮤직비디오 제작 방법 | |
CN111214826A (zh) | 一种游戏控制方法、装置及介质 | |
JP2017055349A (ja) | 情報処理装置、プログラム、情報処理方法 | |
KR20060083491A (ko) | 아바타를 활용한 이동통신단말기 및 그 동작방법 | |
JP2005309892A (ja) | 名刺情報提供システム及びサーバ装置 | |
KR20070010355A (ko) | 이동통신 단말기에서 발신번호 삭제 방법 및 그 시스템 | |
JP2006314132A (ja) | 携帯情報端末および情報配信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100224 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20110427 |