JP2008270912A - 制御装置、移動通信システム及び通信端末 - Google Patents

制御装置、移動通信システム及び通信端末 Download PDF

Info

Publication number
JP2008270912A
JP2008270912A JP2007107395A JP2007107395A JP2008270912A JP 2008270912 A JP2008270912 A JP 2008270912A JP 2007107395 A JP2007107395 A JP 2007107395A JP 2007107395 A JP2007107395 A JP 2007107395A JP 2008270912 A JP2008270912 A JP 2008270912A
Authority
JP
Japan
Prior art keywords
communication terminal
image
mobile communication
substitute
avatar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007107395A
Other languages
English (en)
Inventor
Idea Kano
出亜 加納
Hideki Yamada
英樹 山田
Kazuhiro Yamada
和宏 山田
Yasushi Onda
靖 恩田
Masaru Kamiya
大 神谷
Keiichi Murakami
圭一 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2007107395A priority Critical patent/JP2008270912A/ja
Priority to EP08006998A priority patent/EP1983751A3/en
Priority to US12/099,472 priority patent/US20080254829A1/en
Priority to CNA2008100915170A priority patent/CN101291465A/zh
Publication of JP2008270912A publication Critical patent/JP2008270912A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50Telephonic communication in combination with video communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/10Aspects of automatic or semi-automatic exchanges related to the purpose or context of the telephonic communication
    • H04M2203/1016Telecontrol
    • H04M2203/1025Telecontrol of avatars
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/60Aspects of automatic or semi-automatic exchanges related to security aspects in telephonic communication systems
    • H04M2203/6009Personal information, e.g. profiles or personal directories being only provided to authorised persons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2207/00Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place
    • H04M2207/18Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place wireless networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2242/00Special services or facilities
    • H04M2242/14Special services or facilities with services dependent on location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】話者を撮影した画像の利用を制限しつつも、話者どうしのコミュニケーションを促進させる。
【解決手段】テレビ電話を行う2つの移動通信端末10のそれぞれ近傍に、話者以外の人間がいるか否かを検知する。話者以外の人間を検知しない場合は、その話者だけが移動通信端末10の表示部を見ていることになるから、その表示部に通話相手の撮影画像を表示することで、両者のコミュニケーションを促す。一方、話者以外の人間を検知した場合は、その話者以外の第3者も移動通信端末10の表示部を見る可能性があるから、その表示部には通話相手の撮影画像に代えてアバタ画像を表示する。これにより、通話相手のプライバシーを保護することが可能となる。
【選択図】図1

Description

本発明は、文字または音声によるメッセージを画像とともに送受信することにより、ユーザ間でコミュニケーションを行うための技術に関する。
携帯電話機は、近年の高機能化に伴い、音声のみによらないコミュニケーションが可能となっている。例えば、付属のカメラで撮影した話者の顔などの画像を音声とともに送受信する、いわゆるテレビ電話機能を有する携帯電話機が普及している。また、音声通話中に所定のキャラクタなどの画像を表示させる携帯電話機も知られている(例えば特許文献1及び2参照)。このような技術を用いることにより、音声のみを用いた場合よりも、より親密で娯楽性の高いコミュニケーションを行うことが可能となる。
特表2004−537231号公報 特開2004−297350号公報
ところで、テレビ電話機能を用いてコミュニケーションを行う場合には、自身の顔などが、通話相手のみならず、その通話相手の近くにいる人にまで知られる可能性がある。よって、従来のテレビ電話機能だけではプライバシーを十分に保護できないおそれがある。一方、特許文献1,2のように、通話中にキャラクタなどの画像を表示し続けるだけでは、話者同士の親密感が高まらないから、コミュニケーションがあまり促進されないという点が懸念される。
本発明はかかる事情に鑑みてなされたものであり、その目的は、話者を撮影した画像の利用を制限しつつも、話者どうしのコミュニケーションを促進させることにある。
上述した目的を達成するために、本発明は、画像及びメッセージを送受信して画像を表示する第1の通信端末及び第2の通信端末のうち、いずれか一方の通信端末から、当該一方の通信端末の話者以外の人間を検知したことを表す通知を受信する受信手段と、前記受信手段が前記通知を受信しない場合には、前記第1の通信端末及び前記第2の通信端末のうちの他方の通信端末から、撮影によって得られた画像として送信されてくる撮影画像を、前記一方の通信端末に表示させ、前記受信手段が前記通知を受信した場合には、前記一方の通信端末に、前記撮影画像に代わる代替画像を表示させる制御手段とを備えることを特徴とする制御装置を提供する。
本発明の好ましい態様において、前記第1の通信端末及び前記第2の通信端末がそれぞれ、自端末からの画像又はメッセージの送信先である相手方の通信端末によって表示される前記代替画像を記憶しており、前記制御手段は、前記一方の通信端末に前記撮影画像を表示させる場合には、他方の通信端末が撮影によって得た前記撮影画像と前記メッセージとを送信するように、当該他方の通信端末に指示し、前記一方の通信端末に前記代替画像を表示させる場合には、他方の通信端末が記憶している前記代替画像と前記メッセージとを送信するように、当該他方の通信端末に指示する。
また、本発明の別の好ましい態様において、前記第1の通信端末及び前記第2の通信端末がそれぞれ、自端末の記憶手段に、相手方の撮影画像の代替として表示し得る複数の代替画像を記憶しており、前記制御手段は、前記一方の通信端末に前記撮影画像を表示させる場合には、前記他方の通信端末が撮影によって得た前記撮影画像と前記メッセージとを送信するように、当該他方の通信端末に指示し、前記一方の通信端末に前記代替画像を表示させる場合には、前記他方の通信端末によって指定された代替画像を前記一方の通信端末に通知して、当該一方の通信端末の前記記憶手段に記憶されている複数の代替画像のうち、通知した代替画像を表示するように当該一方の通信端末に指示する。
また、本発明の別の好ましい態様において、前記代替画像を記憶する代替画像記憶手段を備え、前記制御手段は、前記一方の通信端末に前記撮影画像を表示させる場合には、前記他方の通信端末が撮影によって得た前記撮影画像と前記メッセージとを送信するように、当該他方の通信端末に指示し、前記一方の通信端末に前記代替画像を表示させる場合には、前記代替画像記憶手段から前記代替画像を読み出して前記一方の通信端末に送信する。
この態様において、前記代替画像記憶手段は、各々の前記第1の通信端末又は前記第2の通信端末に割り当てられた識別子と、それぞれ異なる前記代替画像とを対応付けて記憶しており、前記制御手段は、前記一方の通信端末に前記代替画像を表示させる場合には、前記他方の通信端末に割り当てられた識別子に対応付けられて記憶されている代替画像を、前記代替画像記憶手段から読み出し、前記一方の通信端末に送信するようにしてもよい。
また、本発明は、画像及びメッセージを送受信して画像を表示する第1の通信端末及び第2の通信端末のうち、いずれか一方の通信端末から、当該一方の通信端末の話者以外の人間を検知したことを表す通知を受信する受信装置と、前記受信装置が前記通知を受信しない場合には、前記第1の通信端末及び前記第2の通信端末のうちの他方の通信端末から、撮影によって得られた画像として送信されてくる撮影画像を、前記一方の通信端末に表示させ、前記受信装置が前記通知を受信した場合には、前記一方の通信端末に、前記撮影画像に代わる代替画像を表示させる制御装置とを備えることを特徴とする移動通信システムを提供する。
また、本発明は、撮影手段により撮影された撮影画像を取得する取得手段と、前記撮影画像の代替となる代替画像を記憶する記憶手段と、通信先の通信端末との間で画像及びメッセージを送受信する送受信手段と、前記送受信手段によって受信された画像を表示する表示手段と、自端末から所定範囲内に居る、自端末の話者以外の人間を検知する検知手段と、前記検知手段によって自端末の話者以外の人間を検知したことを表す通知を所定の制御装置に送信する送信手段とを備えることを特徴とする通信端末を提供する。前記検知手段は、人間から発せられる熱を感知して話者以外の人間を検知する熱感知手段、音声を解析して話者の音声とその話者以外の人間の音声とを識別する音声識別手段、又は、画像を認識して人間を識別して話者以外の人間を検知する画像認識手段のうち、少なくともいずれか1つであることが望ましい。
本発明によれば、一方の通信端末の話者以外の人間が検知されない場合には、他方の通信端末から送信されてくる撮影画像をその一方の通信端末に表示させるので、話者は相手方の撮影画像を見ながらコミュニケーションを図ることができる。また、一方の通信端末の話者以外の人間が検知された場合には、一方の通信端末にその撮影画像に代わる代替画像を表示させることで、他方の通信端末の話者の撮影画像の利用を制限することができる。
次に、本発明の実施の形態について、図面を参照しながら説明する。
以下の説明においては、画像を伴う音声通話のことを「テレビ電話」という。
「画像」という用語には、静止画像と動画像の双方の意味が含まれる。
「撮影画像」とは、撮影により得られた画像のことであり、例えば通信端末に付属のカメラで撮影したユーザの顔の画像などが典型的である。
「アバタ」とは、通信端末のユーザを象徴的に表現したものである。このアバタは、例えばインターネット上のチャットや掲示板などの双方向のコミュニケーションサービスにおいて比較的よく用いられているものである。「アバタ画像」とは、アバタを表す画像であり、例えば人間の顔や姿を模した画像のほか、動物やロボット或いは仮想的な生命体の画像などを含む。
本実施形態では、テレビ電話を行う2つの通信端末のそれぞれ近傍に、話者以外の人間がいるか否かを検知する。話者以外の人間を検知しない場合は、その話者だけが通信端末の表示部を見ていることになるから、その表示部に通話相手の撮影画像を表示することで、両者のコミュニケーションを促す。一方、話者以外の人間を検知した場合は、その話者以外の第3者も通信端末の表示部を見る可能性があるから、その表示部には通話相手の撮影画像に代えてアバタ画像を表示する。これにより、通話相手のプライバシーを保護することが可能となる。
[構成]
図1は、本発明の一実施形態であるシステムの全体構成を概略的に示す図である。同図に示すように、このシステムは、移動通信端末10A、10Bと、移動通信網20と、制御装置30とを備えている。なお、このシステムにおいて移動通信端末は多数存在し得るが、図1では、通信元と通信先の移動通信端末のみ示す。以下では、移動通信端末10Aを通信元の移動通信端末とし、移動通信端末10Bを通信先の移動通信端末とするが、両者を特に区別する必要がない場合には、これらを総称して「移動通信端末10」という。
移動通信網20は、移動通信端末10に移動通信サービスを提供するためのネットワークシステムであり、キャリアと呼ばれる通信事業者によって管理される。移動通信網20は、図示せぬ基地局、交換局及びサービス制御局などのノードと、これらノード間を接続する通信線とを備えており、所定のプロトコルに準拠して音声データ、画像データ、制御データなどを多重化して伝送する。移動通信網20が準拠するプロトコルとしては、例えば、3GPP(3rd Generation Partnership Project)により規格化された3G−324Mなどが好適である。サービス制御局は、移動通信端末10の位置登録情報や、移動通信端末10のユーザの契約や課金に関する情報や、各移動通信端末10の電話番号などを記憶している。移動通信網20のサービス制御局には制御装置30が接続されている。
図2は、制御装置30の構成を示すブロック図である。同図に示すように、制御装置30は、制御部31と、記憶部33と、通信部32とを備える。制御部31は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などを備え、CPUがRAMをワークエリアとして用いてROMや記憶部33に記憶されたプログラムを実行することによって、制御装置30の各部の動作を制御する。記憶部33は、HDD(Hard Disk Drive)等の記憶装置を備える。記憶部33は、制御部31が実行するプログラムに加えて、移動通信端末10間の通信を実現するための各種データを記憶する。通信部32は、移動通信網20を介して通信を行うためのインタフェース装置である。
ここで、記憶部33が記憶するデータを説明する。
記憶部33は、地図ファイルと、複数のアバタの位置データと、アバタID変換テーブルのほか、アバタ画像データなどの、後述する処理を行うための各種のデータを記憶している。地図ファイルは、仮想的な3次元空間(以下「仮想空間」という。)を表すデータの集合であり、オブジェクトデータと、位置情報と、パス情報とを含む。オブジェクトデータは、仮想空間を構成する建造物や道路などのオブジェクトを表すデータである。オブジェクトデータは、それぞれのオブジェクトの形状や色彩、すなわち外観を定義するデータであり、いわゆるポリゴンデータである。このオブジェクトは、静的なオブジェクト、すなわち仮想空間における位置が固定されたオブジェクトのみであって、アバタのような動的なオブジェクトは含まれない。位置情報は、2次元または3次元の座標系に基づいて仮想空間内の位置を表すものである。オブジェクトデータにより表されるオブジェクトのそれぞれは、位置情報と関連付けられている。パス情報は、仮想空間内においてアバタの通路(path)となり得る場所を定義するデータである。パス情報が定義された場所に該当するのは、例えば道路などである。
アバタの位置データとは、複数の移動通信端末10から制御装置30に送信されてくるアバタの位置データがそれぞれ記憶されたものである。アバタID変換テーブルとは、図3に示すように、それぞれのアバタに割り当てられたアバタIDと、そのアバタに対応する移動通信端末10の電話番号とが対応付けられて記述されたものである。
次に、移動通信端末10について説明する。
移動通信端末10は、移動通信網20を介して他の移動通信端末10と通信を行うことが可能な通信端末であり、いわゆる携帯電話機である。この移動通信端末10は、テレビ電話機能を有しており、相手方の移動通信端末と画像及び音声メッセージを送受信しつつ、受信した画像を表示し得るように構成されている。さらに、移動通信端末10は、制御装置30により提供される仮想空間を表示し、ユーザを表すアバタをこの仮想空間内で移動させることによって、仮想空間内の他のアバタを介して他のユーザとコミュニケーションを行い得るように構成されている。
図4は、移動通信端末10の構成を示すブロック図である。
同図に示すように、移動通信端末10は、制御部11と、無線通信部12と、操作部13と、表示部14と、音声入出力部15と、撮影部16と、マルチメディア処理部17と、検知部18とを備える。制御部11は、CPU11a、ROM11b、RAM11c及びEEPROM(Electronically Erasable and Programmable ROM)11dを備え、CPU11aがRAM11cをワークエリアとして用いてROM11bやEEPROM11dに記憶されたプログラムを実行し、これにより移動通信端末10の各部の動作を制御する。無線通信部12は、アンテナ12aを備え、移動通信網20とのデータの送受信を無線で行う。操作部13は、ボタン等の操作子を備え、ユーザの操作に応じた操作信号を制御部11に供給する。表示部14は、液晶パネルや液晶駆動回路を備えた表示装置であり、制御部11からの指示に応じて各種の情報を表示する。音声入出力部15は、マイク15a及びスピーカ15bを備え、音声信号の入力及び出力を行う。撮影部16は、いわゆるカメラの機能を有する。撮影部16は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ及び信号処理回路を備え、撮影した被写体を表す画像データを生成する。
マルチメディア処理部17は、無線通信部12を介して送受信されるデータを処理するためのLSI(Large Scale Integration)を備え、音声及び画像の符号化・復号化処理や多重化処理、分離処理などを実行する。マルチメディア処理部17は、撮影部16により生成された画像データに基づいて動画像データを生成する。この動画像データのことを、以下では「撮影画像データ」という。音声信号の符号化・復号化にはAMR(Adaptive Multi-Rate)を用いればよいし、画像データの符号化・復号化にはMPEG(Moving Picture Experts Group)−4を用いればよい。
検知部18は、移動通信端末10の話者以外の人間がその移動通信端末から所定の範囲内(例えば数メートル以内)にいるか否かを検知する手段である。例えばこの検知部18は熱感知センサであり、その検知面が、表示部を正面から覗く話者が居る方向以外の方向に向けられている。ここで、図5は、熱感知センサを用いた検知部18の検知領域A1を示した図である。図5(a)においては、水平方向から見た場合の検知部18の検知領域A2を斜線で表しており、図5(b)おいては、鉛直方向の上方から見た場合の検知部18の検知方向を斜線で表している。これらの図に示すように、検知部18の検知方向は、移動通信端末10の表示部14をその正面から覗く話者Pが居る方向以外の方向となっている。また、その検知距離は、おおよそ数メートル程度である。従って、検知部18がおおよそ人間の体温程度の熱を感知した場合には、移動通信端末10の近傍に話者以外の人間が居るということになる。
ここで、操作部13が備える操作子について、図6を参照して説明する。操作部13は、同図に示すように、機能ボタンBsと、移動ボタンBu、Bd、Bl、Brと、確定ボタンBfと、ダイヤルボタンB1〜B0とを備える。機能ボタンBsは、表示部14の画面表示に応じた所定の機能が割り当てられるボタンである。機能ボタンBsに割り当てられる機能は、通信先を選択するための機能であるが、その詳細については後述する。移動ボタンBu、Bd、Bl、Brは、移動対象のオブジェクト(アバタまたはポインタ)を前後左右(または上下左右)に移動させるためのボタンである。確定ボタンBfは、表示部14に表示されたオブジェクトを選択したり、その後の処理の内容を確定させるためのボタンである。ダイヤルボタンB1〜B0は、文字や数字を入力させるためのボタンである。
続いて、移動通信端末10が記憶するデータの内容を説明する。ROM11bは、予めいくつかのプログラムを記憶している。以下ではこれを「プリインストールプログラム」という。具体的には、プリインストールプログラムは、マルチタスクオペレーティングシステム(以下「マルチタスクOS」という。)、Java(登録商標)プラットフォーム及びネイティブアプリケーションの各プログラムである。これらのプログラムについて概説すると、まず、マルチタスクOSは、TSS(Time-Sharing System)による複数タスクの擬似的な並列実行を実現するために必要な仮想メモリ空間の割り当てなどの各種機能をサポートしたオペレーティングシステムである。Javaプラットフォームは、マルチタスクOSを搭載した携帯機器において後述するJava実行環境114を実現するためのコンフィギュレーションであるCDC(Connected Device Configuration)にしたがって記述されたプログラム群である。ネイティブアプリケーションは、通話や通信、カメラ撮影などといった移動通信端末10の基本的なサービスを実現するプログラムである。
EEPROM11dは、Javaアプリケーションが記憶されるJavaアプリケーション格納領域を有する。Javaアプリケーションは、Java実行環境114の下における処理の手順自体を記述した実体プログラムとその実体プログラムの実行に伴って利用される画像ファイルや音声ファイルとを結合したJAR(Java Archive)ファイルと、そのJARファイルのインストールや起動、各種の属性を記述したADF(Application Descriptor File)とを有している。このJavaアプリケーションは、コンテンツプロバイダまたは通信事業者により作成されて、インターネットや移動通信網20に接続されたサーバ装置などに格納され、移動通信端末10からの要求に応じてそれらの制御装置から適宜ダウンロードされるようになっている。
図7は、ROM11b及びEEPROM11dの各種プログラムの実行により移動通信端末10の制御部11に実現される各部の論理的構成を示す図である。同図に示すように、各種プログラムを実行する移動通信端末10には、通信アプリケーション112、カメラ撮影アプリケーション113及びJava実行環境114がOS111上に実現され、また、EEPROM11dには第1ストレージ115と第2ストレージ116とが確保される。通信アプリケーション112及びカメラ撮影アプリケーション113は、ROM11bのネイティブアプリケーションにより実現されるものであり、移動通信網20との通信の確立や撮影部16による画像の撮影などの機能をそれぞれ実現する。
Java実行環境114は、ROM11bのJavaプラットフォームにより実現される。Java実行環境114は、クラスライブラリ117、JVM(Java Virtual Machine)118及びJAM(Java Application Manager)119からなる。クラスライブラリ117は、特定の機能を有するプログラムモジュール(クラス)群を1つのファイルに結合したものである。JVM118は、上述のCDCのために最適化されたJava実行環境であり、Javaアプリケーションとして提供されるバイトコードを解釈して実行する機能を有する。JAM119は、Javaアプリケーションのダウンロードやインストール、起動・終了などを管理する機能を有する。第1ストレージ115は、JAM119の管理の下にダウンロードされるJavaアプリケーション(JarファイルとADF)を格納する領域である。第2ストレージ116は、Javaアプリケーションの実行の際に生成されたデータをその終了後に格納しておくための領域であり、インストールされたJavaアプリケーション毎に個別の格納領域が割り当てられるようになっている。そして、あるJavaアプリケーションに割り当てられた格納領域のデータは、そのJavaアプリケーションが実行されている間のみ書き換え可能となっており、別のJavaアプリケーションが書き換えを行い得ないようになっている。
Javaアプリケーションには、アバタの移動に応じて仮想空間を表示するとともに、ユーザの指示に応じて他の移動通信端末10と通話及び通信を行うためのアプリケーションが含まれる。このアプリケーションのことを、以下では「テレビ電話アプリ」という。
このテレビ電話アプリは、移動通信端末10にあらかじめ記憶されている。また、EEPROM11dには、テレビ電話アプリの実行の際に必要となるアバタを表す「アバタ画像データ」が含まれている。
アバタ画像データを用いてテレビ電話を行う際には、制御部11は、EEPROM11dからアバタ画像データを読み出し、音声入出力部15に入力された音声メッセージと共に移動通信網20へと送信する。移動通信網20は、このアバタ画像データと音声メッセージとを通信先の移動通信端末10へと送信する。通信先の移動通信端末10においては、制御部11が、無線通信部12によって受信したアバタ画像データに基づいて、アバタ画像を表示部14に表示すると共に、受信した音声メッセージを音声入出力部15から出力する。図8(a)は、アバタ画像データが表すアバタ画像が通信先の移動通信端末10の表示部14に表示されている例を示す図である。
一方、撮影画像データを用いてテレビ電話を行う際には、制御部11は、撮影部16による撮影によって得られた撮影画像データを、音声入出力部15に入力された音声メッセージと共に移動通信網20へと送信する。移動通信網20は、この撮影画像データと音声メッセージとを通信先の移動通信端末10へと送信する。通信先の移動通信端末10においては、制御部11が、無線通信部12によって受信した撮影画像データに基づいて、撮影画像を表示部14に表示すると共に、受信した音声メッセージを音声入出力部15から出力する。図8(b)は、撮影部16によって撮影された移動通信端末10のユーザの顔が、通信先の移動通信端末10の表示部14に表示されている例を示す図である。
[動作]
続いて、上記構成の移動通信システムにおける移動通信端末10と制御装置30の動作を説明する。ここでは、まず、移動通信端末10が上述したテレビ電話アプリを起動したときに実行する処理について説明し、その後、移動通信端末10Aと移動通信端末10Bの間で音声通話を行うときに移動通信端末10A、10B及び制御装置30のそれぞれが実行する処理について説明する。なお、以下の説明においては、移動通信端末10Bを含む多数の移動通信端末10によりテレビ電話アプリが実行されており、仮想空間内に多数のアバタが存在する状況を前提とする。
図9は、移動通信端末10Aがテレビ電話アプリを起動したときに実行する処理を示すフローチャートである。ユーザによる所定の操作を契機としてテレビ電話アプリが起動されると、移動通信端末10Aの制御部11は、仮想空間内の所定の位置を示す位置データと、自端末の電話番号を表すデータとを制御装置30に送信する(ステップSa1)。この位置データが示す位置は任意であるが、例えば、あらかじめ決められた位置であってもよいし、以前にテレビ電話アプリの実行が終了したときのアバタの位置であってもよい。
位置データを受信した制御装置30においては、制御部31がこれを取得するとともに、記憶部33に記憶された地図ファイルを参照し、取得した位置データに応じたオブジェクトデータを特定する。具体的には、制御部31は、取得した位置データが示す位置から所定の範囲内にあるオブジェクトデータを特定する。このようにしてオブジェクトデータを特定したら、制御部31は、このオブジェクトデータと、それぞれのオブジェクトデータの位置データを移動通信端末10Aに送信する。なお、このとき、上述した所定の範囲内に他のユーザのアバタが存在する場合には、制御部31は、そのアバタに割り当てられたアバタIDと、そのアバタの位置を示す位置データと、このアバタを表すアバタ画像データとを併せてアバタ関連情報として送信する。移動通信端末10Aの制御部11は、制御装置30からオブジェクトデータとアバタ関連情報とを取得し(ステップSa2)、これに基づいて表示部14に仮想空間を表す画像を表示させる(ステップSa3)。
図10は、このとき表示部14が表示する画像を例示した図である。同図において、画像D0は、移動通信端末10Aのユーザを表すアバタ画像であり、移動通信端末10Aのユーザの操作に応じて仮想空間内を移動する。また、画像D1、D2及びD3は建造物を表しており、この画像D1、D2及びD3に挟まれた領域P1が道路を表している。画像D4は、移動通信端末10A以外の移動通信端末10Bのユーザを表すアバタ画像であり、移動通信端末10Bのユーザの操作に応じて仮想空間内を移動する。画像D5は機能ボタンBsに割り当てられた機能を表す画像である。
この状態でユーザが移動ボタンBu、Bd、Bl、Brを押下すると、制御部11は、仮想空間におけるアバタの位置が変化するように、表示部14の表示を変化させる。例えば、図10に示した状態でユーザが移動ボタンBuを押下すると、制御部11は、オブジェクトデータに基づいて表示している画像D1,D2,D3,D4の表示位置を変化させた画面に表示部14の表示内容を更新することで、画像D0のアバタがあたかも前方に移動しているかのように見せる。
また、この状態でユーザが機能ボタンBsを押下すると、制御部11はポインタを表示部14に表示させる。このポインタにより、ユーザは通信先に対応するアバタ画像を選択することができる。なお、ポインタが表示された状態でユーザが機能ボタンBsを押下すると、制御部11はポインタを非表示にし、再びアバタを仮想空間内で移動できるようにする。図11は、表示部14がポインタを表示したときの画像を例示した図である。同図において、矢印状の画像D6がポインタを表している。このように、ポインタが表示された状態でユーザが移動ボタンBu、Bd、Bl、Brを押下すると、制御部11は、ポインタの位置が変化するように表示部14の表示を変化させる。つまり、移動ボタンBu、Bd、Bl、Brは、ポインタが表示されていないときにはアバタを移動させるための操作子として機能し、ポインタが表示されているときにはポインタを移動させるための操作子として機能する。そして、所望の通信先に対応するアバタ画像とポインタとが重なった状態で確定ボタンBfが押下されると、制御部11は、このアバタに対応する通信先とテレビ電話による通話を行う旨の要求を制御装置30に送信する。
上述した動作を、図9のフローチャートに沿って説明する。ステップSa3の画像表示を行ったら、制御部11は、ユーザによりアバタの移動が指示されているか否かを判断する(ステップSa4)。具体的には、制御部11は、移動ボタンBu、Bd、BlまたはBrのいずれかに相当する操作信号が供給されたか否かの判断を繰り返す。そして、ユーザによりアバタの移動が指示されたら(ステップSa4:YES)、制御部11は、アバタの位置を示す位置データを制御装置30に送信し(ステップSa5)、既に取得しているオブジェクトデータ以外に新たなオブジェクトデータが必要か否かを判断する(ステップSa6)。新たなオブジェクトデータが不要であれば(ステップSa6;No)、制御部11は、オブジェクトデータに基づいて表示している画像の表示位置をアバタが移動したように見せるために更新して(ステップSa7)、再びステップSa4の処理に戻る。また、新たなオブジェクトデータが必要であれば(ステップSa6;Yes)、制御部11は、位置データに対応するオブジェクトデータ等を再び制御装置30から取得する(ステップSa2)。
制御部11は、ユーザがアバタを移動させている間は以上の処理を繰り返す。
一方、ユーザによりアバタの移動が指示されない場合(ステップSa4:NO)、制御部11は、ユーザにより通信先が選択されたか否かを判断する(ステップSa8)。具体的には、制御部11は、アバタ画像とポインタとが重なった状態で確定ボタンBfに相当する操作信号が供給されたか否かを判断する。制御部11は、ユーザにより通信先が選択されなければ(ステップSa8:NO)、再びステップSa4の処理に戻る。一方、通信先が選択されると(ステップSa8:YES)、制御部11は、テレビ電話を行うための処理を実行する(ステップSa9)。この処理(以下「テレビ電話処理」という。)については、後に詳説する。その後、制御部11は、ユーザによりテレビ電話アプリが終了されたか否かを判断し(ステップSa10)、ユーザにより終了の旨が指示されれば(ステップSa10:YES)、テレビ電話アプリを終了させる一方、終了の旨が指示されなければ(ステップSa10:NO)、再び仮想空間を表す画像を表示部14に表示させ、ステップSa3以降の処理を繰り返す。
続いて、ステップSa9のテレビ電話処理について説明する。この処理は、制御装置30及び通信先の移動通信端末10Bにおける処理とともに説明する。図12,13は、このときに移動通信端末10A、10B及び制御装置30が実行する一連の処理を示すシーケンスチャートである。以下、同図に沿って移動通信端末10A、10B及び制御装置30の動作を説明する。
図12において、まず、移動通信端末10Aの制御部11は、検知部18によって、移動通信端末10Aの近傍に居る人間を検知するよう試みる(ステップSb1)。ここでは、人間を検知できなかったとする(ステップSb2)。次に、制御部11は、テレビ電話を行うための要求を制御装置30に送信する(ステップSb3)。この要求には、移動通信端末10Aの電話番号と、ポインタD6によって通信先として指定されたアバタのアバタIDと、近傍の人間を検知できなかった旨が含まれている。制御装置30の制御部31は、通信部32を介してこの要求を取得すると、この要求に含まれるアバタIDを、記憶部33に記憶されたアバタID変換テーブルによって電話番号に変換する(ステップSb4)。また、上記要求には、近傍の人間を検知できなかった旨が含まれているので、制御部31は、テレビ電話を行う際に移動通信端末10Aに表示させる画像を撮影画像に決定する(ステップSb5)。
次に、制御部31は、移動通信端末10Aが相手方の移動通信端末に送信すべき画像データを撮影画像データとする指示を、移動通信端末10Aに送信する(ステップSb6)。これと並行して、制御部31は、移動通信網20のサービス制御局などの各ノードに指示することで、移動通信端末10Bに対する呼出を行わせる(ステップSb7)。制御装置30からの呼出を受けた移動通信端末10Bにおいては、ユーザ(話者)がオフフックキーを押下するなどして、着呼に応答する旨の操作を行う(ステップSb8)。この操作に応じて、移動通信端末10Bの制御部11は、検知部18によって、近傍に居る人間を検知するよう試みる(ステップSb9)。人間を検知できなかった場合には(ステップSb10)、制御部11は、制御装置30に対し、近傍の人間を検知できなかった旨を通知する(ステップSb11)。この通知に応じて、制御装置30の制御部31は、テレビ電話を行う際に移動通信端末10Bに表示させる画像を撮影画像に決定する(ステップSb12)。そして、制御部31は、移動通信端末10Bが相手方の移動通信端末に送信すべき画像データを撮影画像データとする指示を、移動通信端末10Bに指示する(ステップSb13)。
この後、所定の通信手順を経ることによって、移動通信端末10A及び移動通信端末10Bの間で移動通信網20を介した通話回線が確立され、撮影画像を用いたテレビ電話が実現される(ステップSb14)。つまり、移動通信端末10A及び移動通信端末10Bの制御部11はそれぞれ、撮影部16による撮影によって得られた撮影画像データを、音声入出力部15に入力された音声メッセージと共に移動通信網20へと送信する。移動通信網20は、この撮影画像データと音声メッセージとを相手方の移動通信端末10へと送信する。相手方の移動通信端末10においては、制御部11が、無線通信部12によって受信した撮影画像データに基づいて、撮影画像を表示部14に表示すると共に、受信した音声メッセージを音声入出力部15から出力する。これにより、移動通信端末10A,10Bの双方において、図8(b)に例示したような撮影画像が表示部14に表示された状態で、テレビ電話がなされることになる。
通話回線が確立された後、移動通信端末10Aと移動通信端末10Bにおいては、それぞれの制御部11が、検知部18によって、近傍に居る人間の検知を継続的に試みているここで、例えば移動通信端末10Aにおいて、近傍の人間が検知されたとすると(ステップSb15)、移動通信端末10Aの制御部11は、その旨を制御装置30に通知する(ステップSb16)。制御装置30の制御部31は、この通知に応じて、テレビ電話を行う際に移動通信端末10Aに表示させる画像をアバタ画像に決定する(ステップSb17)。そして、制御部31は、移動通信端末10Bが相手方の移動通信端末に送信すべき画像データをアバタ画像データとする指示を移動通信端末10Bに送信する(ステップSb18)。
これにより、移動通信端末10Bから送信される画像データが、撮影画像データからアバタ画像データに切り替えられ、撮影画像とアバタ画像とを用いたテレビ電話が実現される(ステップSb19)。つまり、移動通信端末10Aは上記と同じく撮影画像データを音声メッセージと共に移動通信網20へと送信する一方、移動通信端末10Bの制御部11は、EEPROM11dからアバタ画像データを読み出し、音声入出力部15に入力された音声メッセージと共に移動通信網20へと送信する。移動通信網20は、このアバタ画像データと音声メッセージとを、相手方の移動通信端末10Aへと送信する。移動通信端末10Aにおいては、制御部11が、無線通信部12によって受信したアバタ画像データに基づいて、アバタ画像を表示部14に表示すると共に、受信した音声メッセージを音声入出力部15から出力する。これにより、移動通信端末10Aにおいては図8(a)に例示したようなアバタ画像が表示部14が表示され、移動通信端末10Bにおいては図8(b)に例示したような撮影画像が表示部14に表示された状態で、テレビ電話がなされることになる。
この後、例えば移動通信端末10Bにおいても、近傍に居る人間が検知されたとすると(ステップSb20)、移動通信端末10Bの制御部11は、その旨を制御装置30に通知する(ステップSb21)。制御装置30の制御部31は、この通知に応じて、テレビ電話を行う際に移動通信端末10Bに表示させる画像をアバタ画像に決定する(ステップSb22)。そして、制御部31は、移動通信端末10Aが相手方の移動通信端末に送信すべき画像データをアバタ画像データとする指示を移動通信端末10Aに送信する(ステップSb23)。これにより、移動通信端末10Aから送信される画像データが、撮影画像データからアバタ画像データに切り替えられて、アバタ画像を用いたテレビ電話が実現される(ステップSb24)。つまり、移動通信端末10Aの制御部11は、EEPROM11dからアバタ画像データを読み出し、音声入出力部15に入力された音声メッセージと共に移動通信網20へと送信する。移動通信網20は、このアバタ画像データと音声メッセージとを、相手方の移動通信端末10Bへと送信する。移動通信端末10Bにおいては、制御部11が、無線通信部12によって受信したアバタ画像データに基づいて、アバタ画像を表示部14に表示すると共に、受信した音声メッセージを音声入出力部15から出力する。これにより、移動通信端末10A,10Bの双方において、図8(a)に例示したようなアバタ画像が表示部14に表示された状態でテレビ電話がなされることになる。
さらに、この状態から、例えば移動通信端末10Bにおいて、近傍に居る人間が検知されなくなったとすると(ステップSb25)、制御部11は、その旨を制御装置30に通知する(ステップSb26)。制御装置30の制御部31は、この通知に応じて、テレビ電話を行う際に移動通信端末10Bに表示させる画像を撮影画像に決定する(ステップSb27)。そして、制御部31は、移動通信端末10Aが相手方の移動通信端末に送信すべき画像データを撮影画像データとする指示を移動通信端末10Aに送信する(ステップSb28)。これにより、移動通信端末10Aから送信される画像データが、アバタ画像データから撮影画像データに切り替えられて、撮影画像とアバタ画像を用いたテレビ電話が実現される(ステップSb29)。つまり、移動通信端末10Bは上記と同じくアバタ画像データを音声メッセージと共に移動通信網20へと送信する一方、移動通信端末10Aの制御部11は、撮影部16による撮影によって得られた撮影画像データを、音声入出力部15に入力された音声メッセージと共に移動通信網20へと送信する。移動通信網20は、この撮影画像データと音声メッセージとを相手方の移動通信端末10Bへと送信する。移動通信端末10Bにおいては、制御部11が、無線通信部12によって受信した撮影画像データに基づいて、撮影画像を表示部14に表示すると共に、受信した音声メッセージを音声入出力部15から出力する。これにより、移動通信端末10Aにおいては図8(a)に例示したようなアバタ画像が表示部14が表示され、移動通信端末10Bにおいては図8(b)に例示したような撮影画像が表示部14に表示された状態で、テレビ電話がなされることになる。
上記の例は、テレビ電話の開始時に移動通信端末10A,10Bの双方の近傍で人間を検知できなかった場合であったが、いずれか一方の移動通信端末10の近傍で人間を検知した場合には、上記とほぼ同様の手順で、他方の移動通信端末10から一方の移動通信端末10へとアバタ画像が送信されることになる。また、テレビ電話の開始時に移動通信端末10A,10Bの双方の近傍で人間を検知した場合には、上記とほぼ同様の手順で、お互いにアバタ画像を相手方に送信することになる。
本実施形態における移動通信端末10A、10B及び制御装置30の動作は以上の通りである。このように動作することで、移動通信端末10の話者は、アバタを介して仮想空間を自由に移動し、他のアバタを操作する移動通信端末10の話者とテレビ電話を行うことが可能となる。つまり、本実施形態によれば、通信先の電話番号等を知らなくてもテレビ電話を行うことが可能である。また、移動通信端末10に対しては、通話相手となる話者に対応するアバタIDのみが提供され、その通話相手の電話番号は提供されないから、電話番号が漏洩するような事態を未然に防止することも可能である。加えて、この実施形態によれば、“アバタを用いて仮想空間を擬似的に歩き回りながら話し相手を探す”という、従来のテレビ電話とはまったく異なる手法で発呼を行うため、テレビ電話に高い娯楽性を付与し、利用の促進を図ることが期待できる。
また、上記実施形態では、テレビ電話を行う2つの通信端末のそれぞれ近傍に、話者以外の人間がいるか否かを検知し、その検知結果に応じて、移動通信端末10に表示する画像を切り替える。話者以外の人間を検知しない場合は、その話者だけが通信端末の表示部を見ていることになるから、その表示部に通話相手の撮影画像を表示することで、両者のコミュニケーションを促すことができる。一方、話者以外の人間を検知した場合は、その話者以外の第3者も通信端末の表示部を見る可能性があるから、その表示部には通話相手の撮影画像に代えてアバタ画像を表示する。これにより、通話相手のプライバシーを保護することが可能となる。
[変形例]
以上の実施形態を次のように変形してもよい。また、以下の各変形例は適宜組み合わせてもよい。
(1)変形例1
検知部18の構成は、実施形態で例示したものに限らず、移動通信端末10の話者以外の人間を検知するものであればよい。例えば、音声を検知して話者の音声とその話者以外の人間の音声とを識別する音声識別手段であってもよいし、画像認識により人間を識別して話者以外の人間を検知する画像認識手段であってもよい。
音声識別手段を用いる場合には、話者の音声をマイク15aで収音して音声データとしてEEPROM11dに記憶させておく。そして、制御部11は、マイク15aによって収音された音声の内容を解析して、EEPROM11dに記憶されている音声以外の音声を抽出する。抽出することができれば、移動通信端末10の近傍に話者以外の人間が居ると判断することになるし、抽出することができなければ、移動通信端末10の近傍に話者以外の人間はいないと判断することになる。
また、画像認識手段を用いる場合には、話者の顔を撮影部16で撮影して話者撮影データとしてEEPROM11dに記憶させておく。制御部11は、移動通信端末10の撮影部16によって撮影された画像を認識して、EEPROM11dに記憶されている話者撮影データ以外の人間の顔の画像を抽出する。抽出することができれば、移動通信端末10の近傍に話者以外の人間が居ると判断することになるし、抽出することができなければ、移動通信端末10の近傍に話者以外の人間はいないと判断することになる。
なお、検知精度を向上させるべく、これらの各種の検知手段を組み合わせて検知部18を構成してもよい。
(2)変形例2
上述した実施形態は、テレビ電話を行うときに表示させる画像を送信元(通信元)の移動通信端末10側で切り替える構成であったが、必ずしも、そのような構成とは限らない。
例えば送信元の移動通信端末10にアバタ画像データと撮影画像データの双方を送信させておき、制御装置30側で、移動通信端末10からの近傍に話者以外の人間が居るか居ないかの通知に応じて、これらのうちの一方を選択して送信先(通信先)の移動通信端末10に送信するような構成としてもよい。
また、制御装置30が送信先の移動通信端末10にアバタ画像データと撮影画像データの双方を送信するとともに、表示すべき画像データを送信先の移動通信端末10に指示する構成としてもよい。この場合、送信先の移動通信端末10においては、自端末の近傍に話者以外の人間が居るか居ないかの検知結果に応じて、受信したアバタ画像データ及び撮影画像データのうち適切な方の画像データを用いて表示を行うようにすればよい。
(3)変形例3
上述した実施形態は、アバタ画像データを移動通信端末10が記憶する構成であったが、これに限らない。
例えば制御装置30が、記憶部33にアバタ画像データを予め記憶しておいてもよい。この場合、制御装置30は、送信元の移動通信端末10に対して常に撮影画像データ及びメッセージを送信するよう指示する。そして、制御装置30は、送信先の移動通信端末10に送信すべき画像データとして、送信元の移動通信端末10から受け取った撮影画像データ又は自身が記憶しているアバタ画像データを選択して送信する。これを実現するためには、制御装置30は、テレビ電話に係るデータ(音声データ、画像データ等)を中継するとともに、移動通信端末10のマルチメディア処理部に相当する構成を備える必要がある。そして、制御装置30の制御部31は、アバタ画像データを送信先の移動通信端末10に送信する場合には、通信部32を介して多重化された音声データや撮影画像データを取得し、これを個々の音声データや撮影画像データに分離する。そして、制御装置30の制御部31は、取得した撮影画像データを記憶部33から読み出したアバタ画像データに置換し、多重化処理を行った後に通信部32に供給して、送信先の移動通信端末10に宛てて送信する。
また、複数のアバタ画像データを制御装置30が記憶しておき、移動通信端末10からはアバタ画像データを識別するアバタIDを含む指定データのみが送信されるような構成であってもよい。このようにすれば、送信元の移動通信端末10におけるデータの送信量を削減することが可能である。これを実現するためには、制御装置30がテレビ電話に係るデータを中継するとともに、記憶部33に複数のアバタ画像データをアバタIDと対応付けて記憶する。送信先の移動通信端末10にアバタ画像を表示させる場合、送信元の移動通信端末10は、アバタIDを含む指定データを音声メッセージともに送信する。制御装置30の制御部31は、送信元の移動通信端末10から指定データを受け取ると、その指定データに含まれるアバタIDに対応するアバタ画像データに多重化処理を行った後に通信部32に供給して、送信先の移動通信端末10に宛てて送信する。一方、送信先の移動通信端末10に撮影画像を表示させる場合には、制御装置30は、送信元の移動通信端末10に対して撮影画像データ及びメッセージを送信するよう指示すればよい。
さらに、制御装置30が、複数のアバタ画像データを、各々の移動通信端末10の電話番号と対応付けて記憶しておいてもよい。送信先の移動通信端末10にアバタ画像を表示させる場合、送信元の移動通信端末10は、自身の電話番号と音声メッセージとを送信する。制御装置30の制御部31は、送信元の移動通信端末10の電話番号に対応するアバタ画像データに多重化処理を行った後に通信部32に供給して、送信先の移動通信端末10に宛てて送信する。一方、送信先の移動通信端末10に撮影画像を表示させる場合には、制御装置30は、送信元の移動通信端末10に対して撮影画像データ及びメッセージを送信するよう指示すればよい。このようにしても、送信元の移動通信端末10におけるデータの送信量を削減することが可能である。
また、送信先の移動通信端末10が、送信元のユーザを象徴するアバタ画像として表示し得る複数のアバタ画像データを記憶しておいてもよい。このアバタ画像データは各々のアバタIDと対応付けて記憶されている。送信先の移動通信端末10にアバタ画像を表示させる場合、送信元の移動通信端末10は、アバタIDを含む指定データを音声メッセージともに送信する。制御装置30はその指定データと音声メッセージを送信先の移動通信端末10に送信する。送信先の移動通信端末10は、記憶しているアバタ画像のうち、受信した指定データに含まれるアバタIDに対応するアバタ画像データを読み出してアバタ画像を表示する。一方、送信先の移動通信端末10に撮影画像を表示させる場合には、制御装置30は、送信元の移動通信端末10に対して撮影画像データ及びメッセージを送信するよう指示すればよい。
(4)変形例4
上述した実施形態は、テレビ電話、すなわち画像と音声メッセージによるコミュニケーションを行うものであったが、例えば、いわゆるチャットなどのように、音声メッセージの代わりに文字(テキストメッセージ)を用いてもよい。また、このような場合には、仮想空間内に表示されるアバタが上述した特定領域に移動したときに、仮想空間内に表示されるアバタ画像を撮影画像に切り替えるようにしてもよい。なお、画像及びメッセージを送受信する移動通信端末10の数は、2つに限らず、3つ以上であってもよい。
(5)その他の変形例
代替画像は、撮影画像の代替となる画像であればよく、実施形態で例示したアバタ画像に限らない。
実施形態では、撮影画像からアバタ画像へ切り替える際とか、アバタ画像から撮影画像へ切り替える際には、移動通信端末10のユーザに対して、画像を切り替えてよいかどうかを確認してから切り替えるようにしていた。この確認は必ずしも必須ではなく、画像を切り替える条件が満たされたときには、直ちに画像を切り替えるようにしてもよい。
また、実施形態では、制御装置30が提供する仮想空間において通話相手を探してテレビ電話を開始するという形態を採っていたが、必ずしもそうである必要はない。通話相手となるユーザの電話番号又はそれに代わるユーザID等をなんらかの手段によってユーザに提供し、ユーザがその電話番号やユーザID等を用いた発呼を行うことで、通話相手との間でテレビ電話を開始するようにしてもよい。
上述した実施形態においては、移動通信端末10は携帯電話機であるとしたが、その他の通信端末であってもよい。例えば、PDA(Personal Digital Assistance)等の携帯可能な通信端末であってもよいし、固定電話であってもよいし、パーソナルコンピュータ等のコンピュータ装置であってもよい。なお、通信端末が移動通信網を利用するものでない場合には、移動通信網に代えてインターネット等の他のネットワークを用いればよい。また、通信端末は、撮影部を内蔵する必要はなく、外付けのビデオカメラから撮影画像データが供給されるような構成であってもよい。なお、これは、マイクやスピーカについても同様である。
また、移動通信端末10AがステップSa1において送信するデータには、電話番号を表すデータが含まれているとしたが、このデータは電話番号である必要はなく、通信元の移動通信端末10を一意的に特定可能な情報であればよい。この場合、制御装置30は、このような情報に基づいてサービス制御局に問い合わせを行い、電話番号を取得するようにしてもよい。
制御装置30の機能を分散化して複数の装置に持たせてもよい。要するに、本発明は、画像及びメッセージを送受信して画像を表示する第1の通信端末及び第2の通信端末のうち、いずれか一方の通信端末から、当該一方の通信端末の話者以外の人間を検知したことを表す通知を受信する受信装置と、受信装置が通知を受信しない場合には、第1の通信端末及び第2の通信端末のうちの他方の通信端末から、撮影によって得られた画像として送信されてくる撮影画像を、一方の通信端末に表示させ、受信装置が通知を受信した場合には、一方の通信端末に、撮影画像に代わる代替画像を表示させる制御装置とからなる移動通信システムであってもよい。
また、制御装置30は、移動通信網のノード装置(サービス制御局や交換局など)と別体の装置であったが、この制御装置30を移動通信網のいずれかのノード装置に内蔵してもよい。
また、制御装置30が実現する諸機能は、単一のプログラムとして提供することも可能である。ゆえに、かかるプログラムを記録媒体に記録した形態で提供したり、他の制御装置30からインターネット等のネットワークを介してダウンロードすることにより提供したりすることも可能である。
本発明の一実施形態であるシステムの全体構成を示す図である。 制御装置の構成を示すブロック図である。 制御装置が記憶しているアバタID変換テーブルの構成を示す図である。 制御装置が記憶している距離管理テーブルの構成を示す図である。 検知部の検知領域を示す図である。 移動通信端末が備える操作子を示す図である。 移動通信端末に実現される各部の論理的構成を示す図である。 (a)はアバタ画像の一例を示す図であり、(b)は撮影画像の一例を示す図である。 移動通信端末が実行する処理を示すフローチャートである。 移動通信端末が表示する画像を例示した図である。 移動通信端末が表示する画像を例示した図である。 移動通信端末及び制御装置が実行する処理を示すシーケンスチャートである。 移動通信端末及び制御装置が実行する処理を示すシーケンスチャートである。
符号の説明
10、10A、10B…移動通信端末、11…制御部、12…無線通信部、13…操作部、14…表示部、15…音声入出力部、16…撮影部、17…マルチメディア処理部、20…移動通信網、30…制御装置、31…制御部、33…記憶部。

Claims (8)

  1. 画像及びメッセージを送受信して画像を表示する第1の通信端末及び第2の通信端末のうち、いずれか一方の通信端末から、当該一方の通信端末の話者以外の人間を検知したことを表す通知を受信する受信手段と、
    前記受信手段が前記通知を受信しない場合には、前記第1の通信端末及び前記第2の通信端末のうちの他方の通信端末から、撮影によって得られた画像として送信されてくる撮影画像を、前記一方の通信端末に表示させ、前記受信手段が前記通知を受信した場合には、前記一方の通信端末に、前記撮影画像に代わる代替画像を表示させる制御手段と
    を備えることを特徴とする制御装置。
  2. 前記第1の通信端末及び前記第2の通信端末がそれぞれ、自端末からの画像又はメッセージの送信先である相手方の通信端末によって表示される前記代替画像を記憶しており、
    前記制御手段は、
    前記一方の通信端末に前記撮影画像を表示させる場合には、他方の通信端末が撮影によって得た前記撮影画像と前記メッセージとを送信するように、当該他方の通信端末に指示し、
    前記一方の通信端末に前記代替画像を表示させる場合には、他方の通信端末が記憶している前記代替画像と前記メッセージとを送信するように、当該他方の通信端末に指示する
    ことを特徴とする請求項1に記載の制御装置。
  3. 前記第1の通信端末及び前記第2の通信端末がそれぞれ、自端末の記憶手段に、自端末からの画像又はメッセージの送信先である相手方の撮影画像の代替として表示し得る複数の代替画像を記憶しており、
    前記制御手段は、
    前記一方の通信端末に前記撮影画像を表示させる場合には、前記他方の通信端末が撮影によって得た前記撮影画像と前記メッセージとを送信するように、当該他方の通信端末に指示し、
    前記一方の通信端末に前記代替画像を表示させる場合には、前記他方の通信端末によって指定された代替画像を前記一方の通信端末に通知して、当該一方の通信端末の前記記憶手段に記憶されている複数の代替画像のうち、通知した代替画像を表示するように当該一方の通信端末に指示する
    ことを特徴とする請求項1に記載の制御装置。
  4. 前記代替画像を記憶する代替画像記憶手段を備え、
    前記制御手段は、
    前記一方の通信端末に前記撮影画像を表示させる場合には、前記他方の通信端末が撮影によって得た前記撮影画像と前記メッセージとを送信するように、当該他方の通信端末に指示し、
    前記一方の通信端末に前記代替画像を表示させる場合には、前記代替画像記憶手段から前記代替画像を読み出して前記一方の通信端末に送信する
    ことを特徴とする請求項1に記載の制御装置。
  5. 前記代替画像記憶手段は、各々の前記第1の通信端末又は前記第2の通信端末に割り当てられた識別子と、それぞれ異なる前記代替画像とを対応付けて記憶しており、
    前記制御手段は、前記一方の通信端末に前記代替画像を表示させる場合には、前記他方の通信端末に割り当てられた識別子に対応付けられて記憶されている代替画像を、前記代替画像記憶手段から読み出し、前記一方の通信端末に送信する
    ことを特徴とする請求項4に記載の制御装置。
  6. 画像及びメッセージを送受信して画像を表示する第1の通信端末及び第2の通信端末のうち、いずれか一方の通信端末から、当該一方の通信端末の話者以外の人間を検知したことを表す通知を受信する受信装置と、
    前記受信装置が前記通知を受信しない場合には、前記第1の通信端末及び前記第2の通信端末のうちの他方の通信端末から、撮影によって得られた画像として送信されてくる撮影画像を、前記一方の通信端末に表示させ、前記受信装置が前記通知を受信した場合には、前記一方の通信端末に、前記撮影画像に代わる代替画像を表示させる制御装置と
    を備えることを特徴とする移動通信システム。
  7. 撮影手段により撮影された撮影画像を取得する取得手段と、
    前記撮影画像の代替となる代替画像を記憶する記憶手段と、
    通信先の通信端末との間で画像及びメッセージを送受信する送受信手段と、
    前記送受信手段によって受信された画像を表示する表示手段と、
    自端末から所定範囲内に居る、自端末の話者以外の人間を検知する検知手段と、
    前記検知手段によって自端末の話者以外の人間を検知したことを表す通知を所定の制御装置に送信する送信手段と
    を備えることを特徴とする通信端末。
  8. 前記検知手段は、人間から発せられる熱を感知して話者以外の人間を検知する熱感知手段、音声を解析して話者の音声とその話者以外の人間の音声とを識別する音声識別手段、又は、画像を認識して人間を識別して話者以外の人間を検知する画像認識手段のうち、少なくともいずれか1つである
    ことを特徴とする請求項7記載の通信端末。
JP2007107395A 2007-04-16 2007-04-16 制御装置、移動通信システム及び通信端末 Withdrawn JP2008270912A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007107395A JP2008270912A (ja) 2007-04-16 2007-04-16 制御装置、移動通信システム及び通信端末
EP08006998A EP1983751A3 (en) 2007-04-16 2008-04-08 Control apparatus, mobile communications system, and communications terminal
US12/099,472 US20080254829A1 (en) 2007-04-16 2008-04-08 Control Apparatus, Mobile Communications System, and Communications Terminal
CNA2008100915170A CN101291465A (zh) 2007-04-16 2008-04-15 控制装置、移动通信系统和通信终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007107395A JP2008270912A (ja) 2007-04-16 2007-04-16 制御装置、移動通信システム及び通信端末

Publications (1)

Publication Number Publication Date
JP2008270912A true JP2008270912A (ja) 2008-11-06

Family

ID=39629100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007107395A Withdrawn JP2008270912A (ja) 2007-04-16 2007-04-16 制御装置、移動通信システム及び通信端末

Country Status (4)

Country Link
US (1) US20080254829A1 (ja)
EP (1) EP1983751A3 (ja)
JP (1) JP2008270912A (ja)
CN (1) CN101291465A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8644614B2 (en) 2010-12-16 2014-02-04 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US9462434B2 (en) 2014-03-31 2016-10-04 Sony Corporation Information processing apparatus, information processing method, and program

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090312100A1 (en) * 2008-06-12 2009-12-17 Harris Scott C Face Simulation in Networking
CN101668157B (zh) * 2009-09-24 2011-09-21 中兴通讯股份有限公司 用于视频通话中隐私保护的方法、应用服务器及系统
JP2013009073A (ja) * 2011-06-23 2013-01-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及びサーバ
US9007427B2 (en) * 2011-12-14 2015-04-14 Verizon Patent And Licensing Inc. Method and system for providing virtual conferencing

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE519929C2 (sv) 2001-07-26 2003-04-29 Ericsson Telefon Ab L M Förfarande, system och terminal för att under pågående samtal ändra eller uppdatera tex. avatarer på andra användares terminaler i ett mobiltelekommunikationssystem
US20040012613A1 (en) * 2002-07-01 2004-01-22 Rast Rodger H. Video cloaking and content augmentation
JP4168800B2 (ja) 2003-03-26 2008-10-22 カシオ計算機株式会社 画像配信装置
JP2004343232A (ja) * 2003-05-13 2004-12-02 Nec Corp 通信装置及び通信方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8644614B2 (en) 2010-12-16 2014-02-04 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US9462434B2 (en) 2014-03-31 2016-10-04 Sony Corporation Information processing apparatus, information processing method, and program
US9912627B2 (en) 2014-03-31 2018-03-06 Sony Corporation Generation and transmission of event notification content based on score

Also Published As

Publication number Publication date
EP1983751A3 (en) 2010-11-10
CN101291465A (zh) 2008-10-22
EP1983751A2 (en) 2008-10-22
US20080254829A1 (en) 2008-10-16

Similar Documents

Publication Publication Date Title
JP2008263297A (ja) 通信制御装置および通信端末
JP4468418B2 (ja) 制御装置および移動通信システム
US7228124B2 (en) Method and device for speeding up and simplifying information transfer between electronic devices
JP2008270913A (ja) 制御装置、移動通信システム及び通信端末
EP3264774B1 (en) Live broadcasting method and device for live broadcasting
KR100851433B1 (ko) 이미지 태그 정보에 기반한 인물 이미지 전송 방법,송수신자 이미지 디스플레이 방법 및 인물 이미지 검색방법
JP2008270912A (ja) 制御装置、移動通信システム及び通信端末
JP2007135195A (ja) 移動通信端末機及びこれを用いた画像通話時の画像処理方法
KR20140137736A (ko) 그룹 메시지 표시 방법 및 장치
JP2008270914A (ja) 制御装置、移動通信システム及び通信端末
JP2014006869A (ja) 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
JP2004348189A (ja) コミュニケーション端末装置
CN106447747B (zh) 图像处理方法及装置
EP3128722A1 (en) File transmission method and apparatus, computer program and recording medium
JP2006203612A (ja) 携帯電話装置
JP2008270911A (ja) 制御装置、移動通信システム及び通信端末
JP2022021232A (ja) 映像共有システム、情報端末装置、タイトル画面表示方法、プログラム
JP2013197740A (ja) 電子機器、電子機器の制御方法、電子機器の制御プログラム
JPH11265329A (ja) 情報処理装置およびデータ通信方法
WO2017163324A1 (ja) コミュニケーションシステム、コミュニケーション方法及びプログラム
JP2018056930A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
CN112153083B (zh) 锚点共享方法及装置、系统、电子设备和存储介质
KR101362336B1 (ko) 화상 통화 시 웹 브라우저를 표시하는 방법 및 휴대단말기
JP2004015158A (ja) 携帯電話通信システム
CN115002227A (zh) 用户访问请求响应方法、存储介质及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100224

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20110427