JP2007158945A - 通信端末装置及び通信システム - Google Patents

Abstract

【課題】複数の通信端末装置を通信回線で接続して通信を行うテレビ会議システムにおいて、どの通信端末装置の使用者と、どの通信端末装置の使用者とが現在会話中であるのかを、表示画面上で容易に確認することを可能とする。
【解決手段】一の通信端末装置の使用者が、他の一の通信端末装置を指定する指定キーを押し下げして会話を行った場合には、この指定キーによる指定情報及び指定キーを押し下げたことによる入力情報を会議参加者全員の通信端末装置に送信し、各通信端末装置は、これらの情報に基づき、表示部に表示されている４分割画面上に、送信元である一の通信端末装置の使用者の人物画像Ｄから、送信先である他の一の通信端末装置の使用者の人物画像Ｃに向かって矢印等の識別情報を表示する。
【選択図】図６

Description

本発明は、複数の通信端末装置を通信回線で接続して通信を行うテレビ会議等の通信システムに係り、より詳細には、誰から誰に話しているのかをより明確に明示することのできる通信端末装置及び通信システムに関する。

従来、複数の通信端末装置を通信回線で接続して通信を行うテレビ会議システムが種々提案されている。また、このようなテレビ会議システムにおいて、複数人が参加して会議を行っている場合に、その発言者を特定する技術も種々提案されている（例えば、特許文献１，２等参照）。

特許文献１に記載の多地点通信方法及び通信端末は、自分のテレビ会議サイトで発生した音響信号と他のテレビ会議サイトで発生した音響信号との相関関係の強弱に基づいて、自分のテレビ会議サイトの会話相手を特定し、その特定された会話相手の映像の表示位置の近くのカメラで撮影した映像信号を選択するようになっている。すなわち、各テレビ会議サイトからの声の強弱によって、話しかけてくる相手をテレビ会議サイトが特定し、その特定した相手の映像を選択することで、互いに目線を合せる感じにすることによって臨場感を高めるようにしたものである。

また、特許文献２に記載のテレビ会議装置は、ユーザが会話相手を指定し、その相手には正面映像を送り、他の参加者には横顔映像を送ることにより、会話相手に対して自然な対話を実現するようにしたものである。
特開平７−１６２８２７号公報 特開２００１−１３６５０１号公報

上記特許文献１記載の発明では、テレビ会議サイトが音声の相関関係の強弱で当事者を特定しているため、誤認の可能性が高いといった問題があった。また、当事者（すなわち、発言者と発言相手）の間では臨場感が得られるものの、会話中でない他の参加者にとって、誰と誰が話しているのかを確認するためには、表示されている画像の視線を見て判断するしかなく、誰が誰に話しているといった状態表示や、発言中であるといった状態表示が明確でないといった問題があった。

また、上記特許文献２記載の発明では、他の参加者は、発言者の横顔映像が見えるだけであり、その発言者が誰を相手に発言しているのかが分からないといった問題があった。すなわち、誰が誰に話しているといった状態表示や、発言中であるといった状態表示が明確でないといった問題があった。

本発明は係る実情に鑑みてなされたもので、その目的は、複数の通信端末装置を通信回線で接続して通信を行うシステムにおいて、どの通信端末装置の使用者と、どの通信端末装置の使用者とが現在会話中であるのかを、表示画面上で容易に確認することができる通信端末装置及び通信システムを提供することにある。

上記課題を解決するため、本発明の通信システムは、複数の通信端末装置を通信回線で接続して通信を行うシステムであって、送信元である第１の通信端末装置は、データを入力するデータ入力手段と、前記入力されたデータの送信先として第２の通信端末装置を指定する指定情報を入力する指定情報入力手段と、前記第２の通信端末装置へ前記データを送信するデータ送信手段と、前記指定情報を、第３の通信端末装置へ送信する指定情報送信手段とを備え、送信先である第２の通信端末装置は、前記送信されたデータを受信する手段と、前記受信したデータを出力する出力手段とを備え、送信元でも送信先でもない第３の通信端末装置は、前記送信された指定情報を受信する指定情報受信手段と、前記指定情報の受信に基づいて、データの送信元通信端末装置とデータの送信先通信端末装置とがそれぞれ識別可能な識別情報を表示する表示手段とを備えている。この場合、前記指定情報入力手段は、前記データの送信先として第２の通信端末装置を複数指定する指定情報を入力可能な構成としてもよい。また、前記表示手段は、前記通信回線で接続されている複数の通信端末装置に関わる情報を表示するとともに、前記識別情報として図形情報を表示する構成としてもよい。

ここで、４台の通信端末装置１Ａ〜１Ｄを用いて具体的に説明すると、第１の通信端末装置である送信元通信端末装置１Ａでは、自装置１Ａの指定情報入力手段を用いて指定情報が入力された場合には、その入力に基づいて自装置１Ａを送信元通信端末装置であると認識するとともに、入力された指定情報に基づいて第２の通信端末装置である送信先通信端末装置１Ｂを認識する。そして、送信元通信端末装置１Ａでは、この認識結果に基づき、送信元通信端末装置（すなわち、自装置）１Ａから、送信先通信端末装置１Ｂに向かって通信が行われていることを識別するための識別情報を表示手段の画面に表示する。ここで、識別情報としては、矢印や吹き出し図形（吐いた息の形を図形化した模様のこと）等の図形情報とすることが可能である。すなわち、画面上では、送信元である自装置１Ａから送信先通信端末装置１Ｂに向かって矢印や吹き出し図形が表示されることになる。

また、データ入力手段を用いて入力されたデータ（文字情報や画像情報や音声情報など）は、データ送信手段により第２の通信端末装置である送信先通信端末装置１Bへ送信される。なお、前記データを第３の通信端末装置である他の通信端末装置１Ｃ，１Ｄへ送信しても良い。

また、前記指定情報入力手段を用いて入力された指定情報は、指定情報送信手段により第３の通信端末装置である他の通信端末装置１Ｃ，１Ｄへ送信される。なお、前記指定情報を第２の通信端末装置である送信先通信端末装置１Bへ送信してもよい。

一方、第２の通信端末装置である送信先通信端末装置１Ｂでは、前記データを受信すると、そのデータを画面に表示したりスピーカへ出力したりする。

また、前記指定情報を第１の通信端末装置である送信元通信端末装置１Ａから受信すると、その受信に基づいて送信元通信端末装置１Ａを認識するとともに、受信された指定情報に基づいて自装置１Ｂが送信先の通信端末装置であると認識する。そして、この認識結果に基づき、送信元通信端末装置１Ａから、送信先通信端末装置（すなわち、自装置）１Ｂに向かって通信が行われていることを識別するための識別情報（矢印や吹き出し図形等）を画面に表示する。

また、第３の通信端末装置である他の通信端末装置１Ｃ，１Ｄでも、上記通信端末装置１Ｂと同様の処理が行われ、表示手段は、送信元通信端末装置１Ａから、送信先通信端末装置１Ｂに向かって通信が行われていることを識別するための識別情報（矢印や吹き出し図形等）を画面に表示する。

また、前記データを受信した場合は、そのデータを画面に表示したりスピーカへ出力したりしてもよい。

また、本発明の通信端末装置によれば、前記指定情報入力手段から指定情報が入力されなかった場合、以前のデータの送信元あるいは以前のデータの送信先の通信端末装置を、データの送信先の通信端末装置と認識して指定情報を生成する指定情報生成手段をさらに備えた構成としてもよい。すなわち、送信元通信端末装置１Ａから送信先通信端末装置１Ｂに対して通信が行われた場合には、表示手段には、送信元通信端末装置１Ａ（または人物画像Ａ）から送信先通信端末装置１Ｂ（または人物画像Ｂ）に向かって矢印や吹き出し図形が表示されているが、この状態で送信先通信端末装置１Ｂの使用者が指定情報を入力することなく応答した場合には、この応答の送信先通信端末装置は、その直前の送信元通信端末装置１Ａであると判断する。そして、この場合には、表示手段に、通信端末装置１Ｂ（または人物画像Ｂ）から通信端末装置１Ａ（または人物画像Ａ）に向かって矢印や吹き出し図形等が表示されることになる。

また、本発明の通信端末装置は、画像を入力する画像入力手段と、入力された画像を他の通信端末装置へ送信する画像送信手段と、他の通信端末装置から画像を受信する画像受信手段とをさらに備えており、前記表示手段は、前記画像入力手段から入力された画像と前記画像受信手段で受信した画像とを表示する構成としてもよい。

すなわち、表示手段には、画像入力手段から入力された及び／または画像受信手段で受信した例えば人物画像が表示されることになる。つまり、上記の具体例で言えば、全通信端末装置１Ａ〜１Ｄの表示手段には、送信元の人物画像Ａから送信先の人物画像Ｂに向かって矢印や吹き出し図形等の識別情報が表示されることになる。

また、本発明の通信端末装置によれば、前記複数の通信端末装置の通信内容を前記識別情報も含めて記録する記録手段をさらに備えていてもよい。この場合、識別情報は画像情報として人物画像とともに記録してもよいし、人物画像とは別に情報として記録してもよい。

本発明の通信端末装置及び通信システムによれば、表示手段は、送信元の通信端末装置から送信先の通信端末装置に向かって通信中、すなわち会話中であることを識別する識別情報を表示するように構成したので、各通信端末装置の使用者は、誰が誰に対して発言しているのかを明確に認識することができる。これにより、より臨場感のある多人数テレビ会議システムを構築することができる。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明に関わる通信端末装置を通信回線を介して複数台接続して通信を行うテレビ会議システムの全体構成を示す説明図である。

このテレビ会議システムは、無線回線網や有線回線網、またはこれら回線網を組み合わせた通信ネットワークＮを介して、複数の通信端末装置１Ａ〜１Ｄが相互接続し、音声信号や画像信号及びその他の情報（後述する会話情報）を送受信することで、互いが離れた場所に居ながらにして会議を行うことができるシステムとなっている。

図２は、各通信端末装置１Ａ〜１Ｄの構成を示している。各通信端末１Ａ〜１Ｄの構成は同じである。

この通信端末装置１Ａ〜１Ｄは、大別すると、カメラ等を備えた画像入力部１２、液晶パネル等を備えた表示部１３、マイク等を備えた音声入力部１４、スピーカ等を備えた音声出力部１５、数字キーや各種機能キーを備えたキー入力部１６、各種情報の記憶を行うＩＣメモリ等の記憶部１７、通信ネットワークＮに接続して他の複数の通信端末装置との間で各種情報の送受信を行う通信部１８、及びこれら各部を制御する制御部１１を備えている。

図６（ａ）は、通信端末装置１Ａ〜１Ｄの外観を示す正面図である。

本実施形態では、この通信端末装置１Ａ〜１Ｄは携帯電話機に適用されており、装置本体１０１の上部に表示部１３が配置されており、下部に数字キー１６ａが配置されている。また、表示部１３の上部には、カメラ１２ａとスピーカ１５ａとが配置されており、数字キー１６ａの下部には、マイク１４ａが配置されている。また、表示部１３と数字キー１６ａとの間には、他の機能キーが配置されている。すなわち、決定キー１６ｂを囲むように配置された上下左右のスクロールキー１６ｃ、ウェブキー１６ｄ、メールキー１６ｅ、オフフックキー１６ｆ、オンフックキー１６ｇなどが配置されている。

本実施形態では、表示部１３は、４分割画面表示が可能となっている。また、各分割画面に表示される人物画像Ａ〜Ｄには、数字キー１６ａの任意のキーが指定キーとして予め割り当てられている。例えば、人物画像Ａには数字キー１６ａの「１」が指定キーとして割り当てられており、人物画像Ｂには数字キー１６ａの「２」が指定キーとして割り当てられており、人物画像Ｃには数字キー１６ａの「５」が指定キー割り当てられており、人物画像Ｄには数字キー１６ａの「４」が指定キーとして割り当てられている。使用者は、これら指定キーのいずれかを押し下げすることで、対応する人物画像、すなわちその人物が使用している通信端末装置を指定することができるようになっている。

ここで、本実施形態では、各分割画面の配置位置と、割り当てられているキーの配置位置とが、見た目に同じ位置となるように設定されている。すなわち、分割画面を見ながら送信先の人物を指定するために割り当てられたキーを操作する場合、画面の配置位置とキーの配置位置とが対応しているので、操作し易くなっており、操作ミス等の発生を極力抑えるように工夫されている。ただし、割り当てるキーの配置はこのような配置に限るものではない。例えば、「１」、「２」、「３」、「４」というように、数字の順番で割り当ててもよい。

また、本実施形態では、自装置の人物画像を除く他の全ての人物画像を送信先として一度に指定することのできる全指定キーなども割り当てられている。例えば、全指定キーとして「＊」キーが割り当てられている。これらのキー操作による具体的な処理については後述する。

制御部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなり、送信元の通信端末装置を認識する送信元認識機能、送信先の通信端末装置を認識する送信先認識機能、認識された送信元の通信端末装置と送信先の通信端末装置とをそれぞれ識別可能な識別情報を表示部１３に表示する表示制御機能、音声入力部１４からの入力音声の有無を判別する判別機能などを備えている。これらの機能は、ＲＯＭに予め格納されている機能処理プログラムによって実行されるようになっている。

送信先認識機能は、前記指定キーが押し下げられたことによって指定された指定情報に基づいて送信先の通信端末装置を認識する。また、送信元認識機能は、前記指定キーを押し下げしたことを示す入力情報に基づいて送信元の通信端末装置を認識する。これらの情報は、自装置が送信元となって操作した場合には自装置内で得られるが、他の通信端末装置が送信元となって他の通信端末装置で操作された場合には、他の通信端末装置から送信されてくる指定情報及び入力情報を、通信ネットワークＮを介して通信部１８で受信することになる。なお、本実施形態では、これら入力情報と指定情報とをまとめて会話情報とも言う。

また、送信先認識機能は、指定キーが押し下げされることなく通信（すなわち、発言）が行われた場合には、以前の送信元あるいは以前の送信先の通信端末装置を、送信先の通信端末装置と認識するようになっている。

表示制御機能は、送信または受信した指定情報及び入力情報に従って表示部１３の４分割画面上に識別情報を表示する。ここで、識別情報は、例えば矢印や吹き出し図形等の図形情報のことである。

以下、４台の通信端末装置１Ａ〜１Ｄを使用してテレビ会議を行っているときの、各通信端末装置１Ａ〜１Ｄの表示部１３に表示される４分割画面表示の処理動作について、図３ないし図５に示すフローチャート、及び図６ないし図１０に示す表示状態の説明図を参照して具体的に説明する。ただし、図４及び図５に示すフローチャートは、図３のステップＳ３に示す定義済み処理のより具体的な処理手順を示している。

まず、図３に示すフローチャートを参照して、各通信端末装置の基本的な処理の流れを説明する。

各通信端末装置１Ａ〜１Ｄが通信ネットワークＮを介して接続されることによって参加者が確定すると、まず、参加した各通信端末装置１Ａ〜１Ｂに対する指定キーの割り当てを行う（ステップＳ１）。ここでは、上記したように、指定キーとして、通信端末装置１Ａに数字キー１６ａの「１」を割り当て、通信端末装置１Ｂに数字キー１６ａの「２」を割り当て、通信端末装置１Ｃに数字キー１６ａの「５」を割り当て、通信端末装置１Ｄに数字キー１６ａの「４」を割り当てている。また、各通信端末装置１Ａ〜１Ｄの表示部１３には、指定キーが割り当てられたことによって、これら指定キーに対応する４分割画面（各通信端末装置を使用する使用者の人物画像等）が表示される。なお、指定キーの割り当て方法の一例としては、例えば本テレビ会議に参加した順に「１」、「２」、「５」、「４」と割り当てていけばよい。また、４分割画面の配置位置も、指定キーの配置位置に合わせて、画面左上、画面右上、画面右下、画面左下と割り当てていけばよい。

この後、テレビ会議が開始されると、各通信端末装置間では、画像入力部１２から入力された画像情報や音声入力部１４から入力された音声情報、あるいはキー入力部１６から入力された文字情報などを送受信する処理が行われる（ステップＳ２）。つまり、自装置が送信元となったときには、自装置から他の全ての通信端末装置に対して画像情報と音声情報とを送信し、他の通信端末装置は、この画像情報と音声情報とを受信する。画像情報は表示部１３に表示され、音声情報は音声出力部１５から出力される。

このとき、各通信端末装置間では、画像情報と音声情報とに加え、会話情報の送受信と、表示の更新処理とが行われる（ステップＳ３）。すなわち、送信元の通信端末装置では、送信先の通信端末装置に割り当てられた指定キーを押し下げした状態で発言を行うと、その指定キーの情報（指定情報）と、その指定キーを押し下げした当該通信端末装置の情報（入力情報）とを他の通信端末装置に対して送信する。他の通信端末装置では、この指定情報と入力情報とに基づき、送信元の通信端末装置と送信先の通信端末装置とを認識し、送信元と送信先を識別する識別情報を表示部１３の４分割画面上に表示する。ここで、識別情報の例としては、送信元から送信先に向かっての矢印や吹き出し図形等である。以下の説明では、識別情報として矢印を例に挙げて説明する。

本実施形態では、このようなステップＳ１〜ステップＳ３の処理を、テレビ会議が終了するまで（ステップＳ４でＹｅｓと判断されるまで）繰り返すことになる。

以上は、テレビ会議中の各通信端末装置１Ａ〜１Ｄの基本的な処理動作である。

本実施形態では、上記処理動作において、特にステップＳ３での処理に特徴を有している。

以下、ステップＳ３における会話情報の送受信とそのときの各通信端末装置での表示更新処理、すなわち識別情報の表示処理について、図４及び図５に示すフローチャートを参照して具体的に説明する。

前準備である上記指定キーの割り当てを踏まえて、各通信端末装置では、自装置の特定のキーが押し下げられたか否かを常に監視し（ステップＳ１１）、その結果によって処理を分岐する。ここで、特定のキーとは、このテレビ会議に参加している各通信端末装置に割り当てられた指定キー、及び参加者全員を指定する全指定キーである「＊」キーのことである。このステップＳ１１の判定により、特定のキーが押し下げされなかった場合の処理と、任意の指定キーが押し下げされた場合の処理と、全指定キーである「＊」キーが押し下げされた場合の処理とに分岐することになる。

ここで、ステップＳ１１の分岐処理において、発言先を指定する指定キーが押し下げされた場合には、ステップＳ１２，ステップＳ１３の処理に進む。

具体例を挙げて説明すると、例えば通信端末装置１Ｄの使用者が、通信端末装置１Ｃを指定する指定キー、すなわち数字の「５」キーを押し下げした場合には、発言者はそのキーを押した本人（すなわち、通信端末装置１Ｄの使用者）であり、発言先は、通信端末装置１Ｃの使用者である。通信端末装置１Ｄでは、この情報、すなわち、発言元が数字の「５」キーを押し下げした通信端末装置１Ｄであり、発言先が他の通信端末装置１Ｃであることを示す情報（すなわち、会話情報）を、他の通信端末装置１Ａ，１Ｂ，１Ｃに送信する（ステップＳ１２）。

従って、この会話情報を受信した各通信端末装置１Ａ，１Ｂ，１Ｃ、及びこの会話情報を送信した通信端末装置１Ｄの各表示部１３には、図６（ｂ）に示すように、４分割画面上に、送信元である通信端末装置１Ｄの使用者の人物画像Ｄから、送信先である通信端末装置１Ｃの使用者の人物画像Ｃに向かって矢印（識別情報）が表示されることになる（ステップＳ１３）。なお、図６（ｃ）は、通信端末装置１Ｃの使用者が、通信端末装置１Ｄの使用者を指定する指定キー、すなわち数字の「４」キーを押し下げした場合の表示部１３の表示画面例を示している。

なお、このような矢印の表示は、送信元の通信端末装置の使用者が、送信先の通信端末装置を指定する指定キーを押し続けている限り、実際に会話が行われていなくても、各通信端末装置の表示部には矢印が表示され続けるようになっている。そして、送信元の通信端末装置の使用者が、会話を終了して指定キーの押し下げを解除すると、表示部から矢印が消去されるようになっている。本実施形態の通信端末装置は、このような指定キーの操作が基本操作となっている。

一方、ステップＳ１１の分岐処理において、参加者全員を指定する全指定キーが押し下げされた場合には、ステップＳ１４，ステップＳ１５の処理に進む。

具体例を挙げて説明すると、例えば通信端末装置１Ｄの使用者が、他の参加者全員を指定する全指定キーである「＊」キーを押し下げした場合には、発言者はそのキーを押した本人（すなわち、通信端末装置１Ｄの使用者）であり、発言先は、他の参加者全員、すなわち、他の通信端末装置１Ａ，１Ｂ，１Ｃの使用者である。通信端末装置１Ｄでは、この情報、すなわち、発言元が「＊」キーを押した通信端末装置１Ｄであり、発言先が他の通信端末装置１Ａ，１Ｂ，１Ｃであることを示す情報（会話情報）を、他の通信端末装置１Ａ，１Ｂ，１Ｃに送信する（ステップＳ１４）。

従って、この情報を受信した各通信端末装置１Ａ，１Ｂ，１Ｃ、及びこの情報を送信した通信端末装置１Ｄの各表示部１３には、図７（ａ）に示すように、４分割画面上に、送信元である通信端末装置１Ｄの使用者の人物画像Ｄから、他の全ての通信端末装置１Ａ，１Ｂ，１Ｃの使用者の人物画像Ａ，Ｂ，Ｃに向かって矢印（識別情報）が表示されることになる（ステップＳ１５）。なお、図７（ｂ）は、通信端末装置１Ｃの使用者が、他の参加者全員を指定する全指定キーである「＊」キーを押した場合の表示部１３の表示画面例を示している。

そして、上記のようなステップＳ１３及びステップＳ１５における表示状態において、他の会議参加者から何かの発言に関する情報、すなわち会話情報がきているかどうかを確認する（ステップＳ１６）。その結果、他の会議参加者から何らかの発言に関する会話情報がきていない場合には、ステップＳ１８に進む。一方、他の会議参加者から何らかの発言に関する会話情報がきている場合には、ステップＳ１７の処理に進む。

具体例を挙げて説明すると、図６（ｂ）に示す会話状態において、送信先の通信端末装置１Ｃの使用者が、送信元の通信端末装置１Ｄの使用者の発言に対して応答すべく、通信端末装置１Ｄを指定する指定キーである「４」キーを押し下げした場合には、図７（ｃ）に示すように、人物画像Ｄから人物画像Ｃへの矢印に加え、人物画像Ｃから人物画像Ｄへの矢印が追加表示されることになる（ステップＳ１７）。また、図６（ｂ）に示す会話状態において、他の通信端末装置１Ａの使用者が、例えば通信端末装置１Ｄの使用者の先の発言に同意する発言をすべく、送信先の通信端末装置１Ｃを指定する指定キーである「５」キーを押し下げした場合には、図８（ａ）に示すように、人物画像Ｄから人物画像Ｃへの矢印に加え、人物画像Ａから人物画像Ｃへの矢印が追加表示されることになる（ステップＳ１７）。また、図６（ｂ）に示す会話状態において、他の通信端末装置１Ａの使用者が、例えば通信端末装置１Ｄの使用者の先の発言に反対する発言をすべく、送信元の通信端末装置１Ｄを指定する指定キーである「４」キーを押し下げした場合には、図８（ｂ）に示すように、人物画像Ｄから人物画像Ｃへの矢印に加え、人物画像Ａから人物画像Ｄへの矢印が追加表示されることになる（ステップＳ１７）。さらにまた、図６（ｂ）に示す会話状態において、他の通信端末装置１Ｂの使用者が、他の通信端末装置１Ａの使用者に対して発言すべく、他の通信端末装置１Ａの指定キーである「１」キーを押し下げした場合には、図８（ｃ）に示すように、人物画像Ｄから人物画像Ｃへの矢印に加え、人物画像Ｂから人物画像Ａへの矢印が追加表示されることになる（ステップＳ１７）。

次のステップＳ１８では、上記ステップＳ１６〜ステップＳ１７の処理において表示された矢印の発言が終了しているか、すなわち、発言終了を示す情報を受信したかどうかを確認する。その結果、発言終了を示す情報を受信していない場合には、そのままの状態を維持して表示処理を終了する。一方、発言終了を示す情報を受信した場合には、ステップＳ１９に進み、表示部１３に表示している該当する矢印を消去する。

次に、発言者が発言を終了し、指定キーの押下を解除した場合の処理を説明する。

すなわち、ステップＳ１１で指定キーの押し下げがないと判断された場合には、入力音声データの有無を確認する（ステップＳ２１）。そして、入力音声データが無い場合にはステップＳ２２に進み、前回の発言者が、今回発言する自分（本人）であるか否かを判断する。

その結果、前回の発言者が自分（本人）である場合（ステップＳ２２でＹｅｓと判断された場合）には、次のステップＳ２３でその状態（キーの押下が無く、入力音声データが無い状態）が所定時間以上継続しているか判断し、継続していると判断された場合には、その（前回の）発言が終了したと判断して、発言終了情報を他の全ての通信端末装置（上記の例で言えば、１Ａ，１Ｂ，１Ｃ）に送信する（ステップＳ２４）。これにより、他の通信端末装置１Ａ，１Ｂ，１Ｃ及び自装置１Ｄは、表示部１３に表示していた矢印（図６（ｂ）に示す矢印）を消去して（ステップＳ２５）、ステップＳ１６に戻ることになる。

上記の処理により、発言者が指定キーの押下を解除し、かつ所定時間以上発言を行わなかった場合、矢印が消去される。

一方、ステップＳ２２での判断の結果、前回の発言者が、自分（本人）でないと判断された場合（Ｎｏと判断された場合）、及びステップＳ２３において所定時間以上継続していない場合には、そのままステップＳ１６に戻ることになる。

一方、議論が白熱してくると、使用者は、指定キーを押し忘れて発言する場合もある。このような場合には、ステップＳ１１での判断処理が押し下げ無しで、ステップＳ２１での判断処理が入力音声データ有りとなるため、図５に示すステップＳ２６以降の処理に進むことになる。

ステップＳ２６では、前回の発言者が、自分（本人）であるか否かを判断する。そして、前回の発言者が自分（本人）であった場合はそのままステップＳ１６に戻る。すなわち、指定キーの押下が解除されても、発言者（本人）がそのまま発言し続けた場合には、前回表示した矢印はそのまま表示し続けられる。

一方、前回の発言者が他人であった場合（ステップＳ２６でＮｏと判断された場合）には、次に、前回の発言相手が、今回発言する自分（本人）であるか否かを判断する（ステップＳ２７）。その結果、前回の発言相手が自分（本人）であった場合（ステップＳ２７でＹｅｓと判断された場合）には、今回の発言は、前回の発言者に対する応答であると判断する。すなわち、前回の表示部の表示状態が図６（ｂ）に示す状態であった場合、今回の発言者は通信端末装置１Ｃの使用者であり、今回の発言相手は通信端末装置１Ｄの使用者である。従って、通信端末装置１Ｃでは、送信元が通信端末装置１Ｃであり、送信先が通信端末装置１Ｄであることを示す情報（会話情報）を、他の通信端末装置１Ａ，１Ｂ，１Ｄに送信する（ステップＳ２８）。

従って、この会話情報を受信した各通信端末装置１Ａ，１Ｂ，１Ｄ、及びこの会話情報を送信した通信端末装置１Ｃの各表示部１３には、図６（ｃ）に示すように、４分割画面上に、送信元である通信端末装置１Ｃの使用者の人物画像Ｃから、送信先である通信端末装置１Ｄの使用者の人物画像Ｄに向かって矢印（識別情報）が表示されることになる（ステップＳ３０）。

一方、ステップＳ２７での判断の結果、前回の発言相手が自分（本人）でない場合（ステップＳ２７でＮｏと判断された場合）には、今回の発言は、前回の発言者と発言相手との間の会話に割り込む第三者による割り込み発言であると判断する。すなわち、前回の表示部の表示状態が図６（ｂ）に示す状態であった場合、今回の発言者が例えば通信端末装置１Ｂの使用者であり、今回の発言相手は、前回の発言者と発言相手の両方である。つまり、今回の発言相手は、通信端末装置１Ｄの使用者（前回発言者）と通信端末装置１Ｃの使用者（前回発言相手）の双方である。従って、通信端末装置１Ｂでは、送信元が通信端末装置１Ｂであり、送信先が通信端末装置１Ｄ，１Ｃの双方であることを示す情報（会話情報）を、他の通信端末装置１Ａ，１Ｃ，１Ｄに送信する（ステップＳ２９）。

従って、この会話情報を受信した各通信端末装置１Ａ，１Ｃ，１Ｄ、及びこの会話情報を送信した通信端末装置１Ｂの各表示部１３には、図９（ａ）に示すように、４分割画面上に、送信元である通信端末装置１Ｂの使用者の人物画像Ｂから、送信先である通信端末装置１Ｄの使用者の人物画像Ｄ及び通信端末装置１Ｃの使用者の人物画像Ｃに向かってそれぞれ矢印（識別情報）が追加表示されることになる（ステップＳ３０）。なお、この時点で通信端末装置１Ｄと１Ｃの間の会話が終了している場合、つまり、通信端末装置１Ｄの使用者が指定キーである「５」キーの押し下げをすでに解除している場合には、人物画像Ｄから実物画像Ｃへ向かう矢印は消去されていることになる。

以上が、発言時に指定キーを押さないで発言した場合の識別情報の表示処理である。

なお、上記実施形態では、発言者から発言相手に対して矢印や吹き出し図形といった識別情報を表示するようにしているが、会議中であっても、参加者間で秘密の会話ができるように、キー入力部１６に秘話キー（例えば、「♯」キー等）を設けておいてもよい。例えば、通信端末装置１Ａの使用者が、通信端末装置１Ｂの使用者と秘密に会話をしたい場合には、通信端末装置１Ａの「♯」キーを押した後、続けて「２」キーを押し下げする。これにより、通信端末装置１Ａは、この通信が秘話通信であると認識し、送信元が通信端末装置１Ａであり、送信先が通信端末装置１Ｂであり、かつ、その通信が秘話通信であることを示す情報（会話情報）を通信端末装置１Ｂにのみ送信する。従って、この会話情報を受信した通信端末装置１Ｂ及びこの会話情報を送信した通信端末装置１Ａの各表示部１３には、図９（ｂ）に示すように、４分割画面上に、送信元である通信端末装置１Ａの使用者の人物画像Ａから送信先である通信端末装置１Ｂの使用者の人物画像Ｂに向かって矢印が表示される。このとき、秘話通信であることを示すため、例えば矢印の色を黄色で表示する等すれば、通信端末装置１Ｂの使用者は、ここでの会話が通信端末装置１Ａの使用者との間のみの秘密の会話である秘話通信であることを認識することができる。この場合、他の通信端末装置１Ｃ，１Ｄの表示部１３の表示画面は、他に通信が行われていない場合には、図６（ａ）に示す状態となっている。秘話通信の解除も、指定キーの解除と同様、秘話キーの押し下げを解除することで解除することが可能となっている。

また、上記実施形態では、このようなテレビ会議システムによる会話情報（会議参加者が発した音声情報や参加者を映した映像情報など）を、矢印や吹き出し図形といった識別情報も含めて記憶部１７に記憶可能な構成としてもよい。この場合、識別情報は画像情報として人物画像とともに記憶してもよいし、人物画像とは別に、誰から誰に向けて表示するといった表示方向の情報と表示タイミングの情報とのみを記憶し、実際に再生して表示するときに、これらの情報に基づいて表示画面上に矢印や吹き出し図形といった図形情報を表示するようにしてもよい。

また、上記実施形態では、表示部の表示画面を常に４分割画面として説明しているが、例えば、自分が発言者である場合には発言相手のみを表示部に表示（すなわち、画面分割は行わない）し、自分が発言相手の場合には、発言者のみを表示部に表示（すなわち、画面分割は行わない）してもよい。さらに、自分が発言者でも発言相手でもない場合には、発言者と発言相手のみを表示部に表示（すなわち、この場合には２分割画面となる）するようにしてもよい。

また、上記実施形態では、会議参加者を４名、すなわち接続する通信端末装置を４台として説明しているが、同じ会議に参加する通信端末装置は４台に限定されるものではなく、３台以上であればよい。例えば、５台や６台、またはそれ以上であってもよい。

また、上記実施形態では、本発明の通信端末装置を携帯電話機に適用した例を示しているが、通信端末装置としてはこのような携帯電話機に限定されるものではなく、パソコンや従来のテレビ会議システム専用に設けられている各通信端末装置でもよく、また、パソコンやＰＤＡ等といった各種通信端末装置に適用することも可能である。

また、上記実施形態では、識別情報を矢印として説明しているが、例えば図１０に示すような吹き出し図形としてもよい。また、表示部１３に表示する画像も、上記実施形態のような画像入力部１２から入力されたリアルタイムの撮影画像（動画）Ａ〜Ｄである必要は必ずしもなく、例えばキー入力部１６や図示しないペン入力部などによって入力または選択された静止画、イラスト画、名前、または会議参加者の所属する部署名や場所等の文字情報であってもよい。要するに、互いを識別できる形態であれば、表示形態はどのような形態であってもよい。

また、上記実施形態では、指定キーを押し下げしている間中、その指定キーによって指定された発言者と発言相手との間に矢印を表示するようにしているが、この矢印の色を、発言中と発言を中断しているときとで変更するようにしてもよい。例えば、発言中は赤色に変更し、発言を中断しているときには青色に変更するようにしてもよい。また、色の変更ではなく、発言中は拡大表示し、発言を中断しているときには元のサイズに戻す、といった変更処理でもよい。また、色やサイズの変更ではなく、発言中は吹き出し図形を表示し、発言を中断しているときには矢印を表示する、といった変更処理でもよい。このように、実際の発言に合わせて識別情報の表示形態を変化させることで、誰が誰に話しているかや、発言中である状態表示が明確となり、より臨場感のある多人数テレビ会議システムを構築することができる。

さらに、上記実施形態では、発言相手（すなわち、送信先）を指定するのに、数字キーに割り当てた指定キーを押し下げするようにしているが、例えば表示部１３をタッチパネル構造とし、表示画面上に表示された人物画像等に直接タッチすることで、送信先を指定するようにしてもよい。この他にも、音声認識技術を利用して、相手の名前を呼ぶ等によって発言相手（送信先）を指定するようにしてもよく、また、眼球運動を追跡することによって発言者の視線を検知することで、発言相手（送信先）を指定するようにすることも可能である。

本発明に関わる通信端末装置を通信回線を介して複数台接続して通信を行うテレビ会議システムの全体構成を示す説明図である。 通信端末装置の電気的構成を示すブロック図である。 各通信端末装置の基本的な処理の流れを示すフローチャートである。 会話情報の送受信とそのときの各通信端末装置での表示更新処理、すなわち識別情報の表示処理を示すフローチャートである。 会話情報の送受信とそのときの各通信端末装置での表示更新処理、すなわち識別情報の表示処理を示すフローチャートである。 各通信端末装置の表示部の表示状態を示す説明図である。 各通信端末装置の表示部の表示状態を示す説明図である。 各通信端末装置の表示部の表示状態を示す説明図である。 各通信端末装置の表示部の表示状態を示す説明図である。 各通信端末装置の表示部の表示状態を示す説明図である。

符号の説明

１Ａ〜１Ｄ 通信端末装置
１１ 制御部
１２ 画像入力部
１３ 表示部
１４ 音声入力部
１５ 音声出力部
１６ キー入力部
１７ 記憶部
１８ 通信部
１２ａ カメラ
１４ａ マイク
１５ａ スピーカ
１６ａ 数字キー
１６ｂ 決定キー
１６ｃ スクロールキー
１６ｄ ウェブキー
１６ｅ メールキー
１６ｆ オフフックキー
１６ｇ オンフックキー

Claims (8)

1. 複数の通信端末装置と通信を行う通信端末装置において、
   データを入力するデータ入力手段と、
   前記入力されたデータの送信先として第２の通信端末装置を指定する指定情報を入力する指定情報入力手段と、
   前記入力されたデータを、前記指定された第２の通信端末装置へ送信するデータ送信手段と、
   前記指定情報を、第３の通信端末装置へ送信する指定情報送信手段とを備えることを特徴とする通信端末装置。
2. 前記指定情報入力手段は、前記データの送信先として第２の通信端末装置を複数指定する指定情報が入力可能であることを特徴とする請求項１記載の通信端末装置。
3. 前記指定情報入力手段から指定情報が入力されなかった場合、以前のデータの送信元あるいは以前のデータの送信先の通信端末装置を、データの送信先の通信端末装置と認識して指定情報を生成する指定情報生成手段をさらに備えることを特徴とする請求項１または請求項２に記載の通信端末装置。
4. 複数の通信端末装置と通信を行う通信端末装置において、
   データの送信先通信端末装置を示す指定情報を、データの送信元通信端末装置から受信する指定情報受信手段と、
   前記指定情報の受信に基づいて、データの送信元通信端末装置とデータの送信先通信端末装置とがそれぞれ識別可能な識別情報を表示する表示手段とを備えることを特徴とする通信端末装置。
5. 前記表示手段は、前記通信回線で接続されている複数の通信端末装置に関わる情報を表示するとともに、前記識別情報として図形情報を表示することを特徴とする請求項４に記載の通信端末装置。
6. 画像を入力する画像入力手段と、
   入力された画像を他の通信端末装置へ送信する画像送信手段と、
   他の通信端末装置から画像を受信する画像受信手段とをさらに備えており、
   前記表示手段は、前記画像入力手段から入力された画像と前記画像受信手段で受信した画像とを表示することを特徴とする請求項４または請求項５に記載の通信端末装置。
7. 前記複数の通信端末装置の通信内容を前記識別情報も含めて記録する記録手段をさらに備えていることを特徴とする請求項１ないし請求項６のいずれかに記載の通信端末装置。
8. 複数の通信端末装置を通信回線で接続して通信を行う通信システムにおいて、
   第１の通信端末装置は、
   データを入力するデータ入力手段と、
   前記入力されたデータの送信先として第２の通信端末装置を指定する指定情報を入力する指定情報入力手段と、
   前記第２の通信端末装置へ前記データを送信するデータ送信手段と、
   前記指定情報を、第３の通信端末装置へ送信する指定情報送信手段とを備え、
   第２の通信端末装置は、
   前記送信されたデータを受信する手段と、
   前記受信したデータを出力する出力手段とを備え、
   第３の通信端末装置は、
   前記送信された指定情報を受信する指定情報受信手段と、
   前記指定情報の受信に基づいて、データの送信元通信端末装置とデータの送信先通信端末装置とがそれぞれ識別可能な識別情報を表示する表示手段とを備える
   ことを特徴とする通信システム。

Images