JP2011205238A - 通信端末及び情報検索方法 - Google Patents

Abstract

【課題】通話状態での情報検索結果に応じた情報を通話相手と容易に共有する。
【解決手段】第１通信端末１０Ａで取得された音声データからキーワードが抽出され、このキーワードを用いて情報検索が行われる。そして、この情報検索結果が第１通信端末１０Ａの画面に表示されると同時に、通話を行っている相手の相手側端末である第２通信端末１０Ｂに対しても出力され、さらに、第１通信端末１０Ａと第２通信端末１０Ｂとの間で画面の同期が行われる。そして、情報検索結果に基づいてユーザが自端末を操作し新たな情報を得た場合には、この情報についても第２通信端末１０Ｂとの間で同期して表示される。第１通信端末１０Ａと第２通信端末１０Ｂとの間で画面表示を同期して情報検索結果に応じた情報を共有することで、自端末のユーザと相手側端末のユーザとの間での情報検索結果に応じた情報の共有を容易に行うことができる。
【選択図】図２

Description

本発明は、通信端末及びこの通信端末を用いた情報検索方法に関する。

これまで、携帯電話を用いて他者と通話をしている際に挙がった話題についてさらなる情報を得ようとする場合には、通話に使用している携帯電話とは異なるコンピュータ等の他の装置を用いて情報検索を行うことが一般的であった。これに対して、通話中の携帯電話を用いて情報検索を行うことを実現すべく、通話中に通話に係る操作とは異なる操作を行うことができる携帯電話が知られている。さらに、近年では携帯電話の使用者の操作性を高めるために、一台の携帯電話を通話のための部分と画面表示のための部分とに分離することが可能な携帯電話や、携帯電話と外部のスクリーンとを接続し、携帯電話の画面に表示される情報をスクリーンに表示する技術等が知られている。

しかしながら、上記の携帯電話を用いた情報検索では、通話をしながら携帯電話を操作する必要があるため、例えば携帯電話の操作に注力するあまり会話が疎かになるという可能性もあり、携帯電話の使用者にとって必ずしも操作性が高いとはいえない。また、携帯電話を用いて情報検索を行った結果を通話相手と共有するためには、例えば、情報検索を行った結果を会話で伝えるか、又は、同じキーワードを用いた情報検索を両者が行う必要があった。

これに対して、情報検索結果を通話中の相手と共有することを目的として、携帯電話等を用いて他者と通話をしている際の会話音声に含まれる単語をキーワードとして取得し、このキーワードを用いて情報検索を行い、その情報検索結果を通話中の両者に通知をする方法が検討されている（例えば、特許文献１参照）。

特開２００３−３２３８８号公報

特許文献１記載の通信端末装置では、例えば店舗情報や地図情報のように通話中の使用者が音声により理解できるものを情報検索結果として通話中の通信端末に通知する場合には有効である。しかしながら、特許文献１記載の通信端末装置を用いた場合には、音声のみでは理解しづらい情報である場合や、情報検索結果に基づいて情報検索結果とは異なる情報へアクセスする場合等には、これらの情報を共有し十分に活用することができない可能性がある。具体的には、情報検索を行った端末側の使用者が、相手側の端末に対して情報検索結果を通話相手に対して音声で説明するか、又は、相手側の端末での同様の操作を行ってもらうことで同一の情報検索結果を確認する等の対応が必要である。このように、これまでの通信端末では、通話状態で情報検索を行った場合にその情報検索結果に応じた情報を通話相手との間で十分に共有することが容易であるとはいえなかった。

本発明は上記を鑑みてなされたものであり、通話状態での情報検索結果に応じた情報を通話相手と容易に共有することが可能な通信端末及びこの通信端末による情報検索方法を提供することを目的とする。

上記目的を達成するため、本発明に係る通信端末は、通話相手の通信端末である相手側端末との間で音声データを送受信可能である共に、当該音声データに含まれるキーワードを用いて情報検索が可能な通信端末であって、当該通信端末のユーザの音声又は相手側端末からの音声を音声データとして取得する音声取得手段と、音声認識手段により抽出されたキーワードを用いて情報検索を行うと共にこの検索により得られる検索結果を画面に対して表示することで自端末に対して出力する情報検索手段と、検索結果を画面に対して表示した検索結果を相手側端末に対して出力する出力手段と、出力手段による相手側端末への出力を契機として、自端末の画面と相手側端末の画面とを同期させる同期手段と、を備えることを特徴とする。

また、本発明に係る情報検索方法は、通話相手の通信端末である相手側端末との間で音声データを送受信可能である共に、当該音声データに含まれるキーワードを用いて情報検索が可能な通信端末による情報検索方法であって、当該通信端末のユーザの音声又は相手側端末からの音声を音声データとして取得する音声取得ステップと、音声取得ステップにおいて取得された音声データからキーワードを抽出する音声認識ステップと、音声認識ステップにおいて抽出されたキーワードを用いて情報検索を行うと共にこの検索により得られる検索結果を画面に対して表示することで自端末に対して出力する情報検索ステップと、検索結果を画面に対して表示した検索結果を相手側端末に対して出力する出力ステップと、出力ステップにおける相手側端末への出力を契機として、自端末の画面と相手側端末の画面とを同期させる同期ステップと、を含むことを特徴とする。

上記の通信端末及びこの通信端末を用いた情報検索方法によれば、通信端末で取得された音声データからキーワードが抽出され、このキーワードを用いて情報検索が行われる。そして、この情報検索結果が自端末の画面に表示されると同時に、通話を行っている相手の相手側端末に対しても出力され、さらに、自端末と相手側端末との間で画面の同期が行われ、情報検索結果に基づいてユーザが自端末を操作し新たな情報を得た場合には、この情報が相手側端末と同期される。このように、上記の通信端末によれば、自端末と相手側端末との間で画面表示を同期して情報検索結果に応じた情報を共有することで、自端末のユーザと相手側端末のユーザとの間での情報検索結果に応じた情報の共有を容易に行うことができる。

ここで、通信端末に対するユーザの操作による抽出開始要求を検知するユーザ要求検知手段をさらに備え、音声認識手段が、ユーザ要求検知手段による抽出開始要求の検知を契機として、音声取得手段により取得された音声データからキーワードを抽出する態様とすることができる。

この場合、ユーザの操作に基づいた抽出開始要求の検知を契機に基づいて、情報検索のためのキーワードが音声データから抽出される。したがって、ユーザの要求に基づいたキーワード検索を行うことができるため、より高い精度で情報検索を行うことができる。

また、相手側端末において情報検索がなされた結果に基づいて、当該相手側端末から送信される相手側情報を受信し、これを自端末において出力する相手側情報出力手段をさらに備える態様とすることが好ましい。

上記構成の場合には、相手側端末から送信される相手側の情報検索結果を自端末で表示することができるため、情報検索結果の共有を双方向で行うことが可能となる。

また、通信端末の移動を検知する加速度センサをさらに備え、ユーザ要求検知手段が、加速度センサにより検知される移動がユーザにより通信端末に振動を与えた際に発生する振動であると判断した場合に、これを抽出開始要求として検知する態様とすることができる。

この場合、ユーザは、例えば加速度センサが所定値以上の振動を検知するように通信端末を振動させることにより、通信端末に対して検索開始を指示することができるため、より簡便な操作で情報検索を行うことができる。

また、ユーザ要求検知手段は、音声取得手段により取得されたユーザの音声データに特定の単語が含まれているかを判断し、音声データに特定の単語が含まれている場合に、これを抽出開始要求として検知する態様としてもよい。

この場合、ユーザは、検索開始のための特定の単語を話すことにより、通信端末に対して検索開始を指示することができるため、より簡便な操作で情報検索を行うことができる。

また、ユーザ要求検知手段は、通信端末に対するユーザの操作による抽出終了要求をさらに検知し、音声認識手段は、ユーザ要求検知手段により抽出開始要求を検知した時点から抽出終了要求を検知した時点までの間に、音声取得手段により取得されたユーザの音声データからキーワードを抽出する態様とすることができる。

この場合、抽出開始要求と抽出終了要求との間に含まれる音声データからキーワードが抽出されるため、キーワードとして抽出される可能性のある単語を明確に限定することができるため、より高い精度での情報検索が可能となる。

本発明によれば、通話状態での情報検索結果に応じた情報を通話相手と容易に共有することが可能な通信端末及びこの通信端末による情報検索方法が提供される。

本発明の実施形態に係る通信システムの構成を説明する図である。 実施形態に係る通信システムを構成する通信端末の構成を説明する図である。 通信端末のハードブロック図である。 通信端末における情報検索に係る処理を説明するフローチャートである。 第１通信端末及び第２通信端末の画像表示部における表示内容を説明する図である。

以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１は、本発明の実施形態に係る通信システム１の構成を示す図である。図１で示すように、通信システム１は、第１通信端末１０Ａ、第２通信端末１０Ｂ、情報検索ウェブサーバ３１及びウェブサーバ３２を含んで構成される。

本実施形態の通信システム１は、第１通信端末１０Ａと第２通信端末１０Ｂとの間で音声通信網Ｎ１を介して音声通話が行われているときにおいて、通話内容に関連する情報を得ることを所望する場合に、第１通信端末１０Ａ又は第２通信端末１０ＢがネットワークＮ２を介してから情報検索を行い、その結果を自端末において出力すると共に情報検索を行った通信端末とは異なる通話相手の通信端末（すなわち、第１通信端末１０Ａが情報検索を行った場合には、第２通信端末１０Ｂ）に対して送信するためのシステムである。第１通信端末１０Ａと第２通信端末１０Ｂとは同等の機能を有している。

ここで、以下の実施形態では、特に、第１通信端末１０Ａのユーザが第１通信端末１０Ａを操作することで、第１通信端末１０Ａのユーザの音声に基づいて第１通信端末１０Ａにおいて情報検索を行い、その結果を通話相手である第２通信端末１０Ｂ（相手側端末）に対して出力することで情報検索結果に応じた情報を共有する場合について説明する。ここで、本実施形態において「情報検索結果に応じた情報」には、情報検索結果と、この情報検索結果に関連する情報（例えば、情報検索結果の詳細を記載している他のウェブサイトに記載された情報等）とが含まれる。ただし、第１通信端末１０Ａと第２通信端末１０Ｂとは同等の機能を有していることから、第２通信端末１０Ｂが情報検索を行いその結果を第１通信端末１０Ａに対して出力して検索結果を共有する場合も、以下で説明する処理と同様の処理が行われる。また、以下の実施形態では、第１通信端末１０Ａのユーザが第１通信端末１０Ａを振動させた場合に、この振動を検知して情報検索を行う場合について説明する。

第１通信端末１０Ａと第２通信端末１０Ｂとは、音声通信網Ｎ１を介して音声通信可能に接続されている。この音声通信網Ｎ１は、音声通信可能な回線であれば特に限定されず、例えば、電話回線、移動体通信網、ＩＰ通信網といった回線等を適用することができる。また、第１通信端末１０Ａや第２通信端末１０Ｂは、例えば、携帯電話、ＰＨＳ、ＰＤＡ等の通信端末として実現される。

また、情報検索ウェブサーバ３１、ウェブサーバ３２、第１通信端末１０Ａ及び第２通信端末１０Ｂは、ネットワークＮ２を介してデータの送受信可能に接続されている。この情報検索ウェブサーバ３１は、単語又は文章を入力して検索開始を指示することで、当該入力した単語や文章に関連する情報を出力する機能を有するウェブサイトを提供するウェブサーバである。この情報検索ウェブサーバ３１は、例えば、単語を入力することで、その単語に係る画像を検索するいわゆる画像検索のためのウェブサーバであってもよい。また、ウェブサーバ３２は、情報検索ウェブサーバ３１の提供する情報検索ウェブサイトとは異なるウェブサイトを提供するウェブサーバである。第１通信端末１０Ａや第２通信端末１０Ｂは、ネットワークＮ２を介して情報検索ウェブサーバ３１やウェブサーバ３２に対して接続することで、これらのサーバが提供する情報を取得することが可能となる。

次に、この通信システム１の機能について説明する。図２は、第１通信端末１０Ａ及び第２通信端末１０Ｂの機能的構成を示すブロック図である。図２に示すように、第１通信端末１０Ａ及び第２通信端末１０Ｂは、発話口１１（音声取得手段）、受話口１２（音声取得手段）、音声認識部１３（音声認識手段）、加速度センサ１４、ユーザ要求検知部１５（ユーザ要求検知手段）、ネットワーク制御部１６（情報検索手段、出力手段、同期手段）、画像表示部１７、画像圧縮部１８（出力手段）及び画像展開部１９（相手側情報出力手段）を含んで構成される。

また、図３は、第１通信端末１０Ａ及び第２通信端末１０Ｂのハードウエア構成図である。第１通信端末１０Ａ及び第２通信端末１０Ｂは、物理的には、図３に示すように、ＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ（Random Access Memory）１０２及びＲＯＭ（Read Only Memory）１０３、ネットワークカード等のデータ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード及びマウス等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図２に示した各機能は、図３に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させると共に、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。

図２に戻って、第１通信端末１０Ａ及び第２通信端末１０Ｂの各機能部について説明する。ここでは、図２に示す各機能部が第１通信端末１０Ａである場合について説明するが、第２通信端末１０Ｂも同様の機能を有する。

発話口１１は、第１通信端末１０Ａのユーザの音声を第２通信端末１０Ｂに伝えるために、ユーザの音声を音声データとして取得する機能を有する手段である。すなわち、発話口１１は第１通信端末１０Ａのマイク機能を有する手段である。発話口１１で取得された音声データは、発話口１１から音声通信網Ｎ１を介して第２通信端末１０Ｂへ送られると共に、音声認識部１３へ送られる。

受話口１２は、第２通信端末１０Ｂから音声通信網Ｎ１を介して送られた音声データを受信し、この音声データを第１通信端末１０Ａで音声として出力する機能を有する手段である。すなわち、受話口１２は、第１通信端末１０Ａのスピーカ機能を有する手段である。また、受話口１２で取得された音声データは、受話口１２から音声認識部１３へ送られる。

このように、発話口１１と受話口１２が、第１通信端末１０Ａと第２通信端末１０Ｂとの間で音声通話を行うための、通話制御部２０として機能する。

音声認識部１３は、発話口１１及び受話口１２から送られる音声データを音声認識処理によりテキスト情報に変換し、このテキスト情報からキーワードとなる単語を抽出する機能を有する手段である。ここで用いられる音声認識処理には、既存の音声認識技術を採用することができる。また、音声認識部１３で音声データをテキスト情報に変換する処理は、後述のユーザ要求検知部１５が抽出開始要求を検知し、そのことがユーザ要求検知部１５から音声認識部１３へ通知されたことを契機として開始される。そして、ユーザ要求検知部１５が抽出終了要求を検知し、そのことがユーザ要求検知部１５から音声認識部１３へ通知されたことを契機として終了される。音声認識部１３により抽出されたキーワードに係る情報は、ネットワーク制御部１６へ送られる。

加速度センサ１４は、第１通信端末１０Ａの移動による加速度を検知する手段である。この加速度センサ１４は、第１通信端末１０Ａの移動方向も検知可能とされ、例えば、第１通信端末１０Ａが持ち運ばれるときの移動方向及び移動速度を測定することが可能であることに加えて、第１通信端末１０Ａがユーザの手によって振動した場合にはその振動を検知することが可能である。加速度センサ１４により第１通信端末１０Ａの移動を検知した場合には、その方向及び加速度に係る情報が加速度センサ１４からユーザ要求検知部１５へ送られる。

ユーザ要求検知部１５では、加速度センサ１４から送られる情報がユーザからの抽出開始要求に該当するものか否かを判断し、抽出開始要求に該当すると判断された場合には、音声認識部１３に対して抽出開始要求を検知した旨を通知する。具体的には、ユーザが第１通信端末１０Ａを振動させたときに発生する特有の振動方向や特有の加速度等を予め登録しておき、この登録した情報と、加速度センサ１４から送られる第１通信端末１０Ａの移動に係る情報とを比較し、第１通信端末１０Ａの移動がユーザによる振動に基づくものか否かが判定される。ここで、第１通信端末１０Ａの移動がユーザによる第１通信端末１０Ａの振動に由来するものであると判断された場合には、ユーザが第１通信端末１０Ａを振動させた、すなわち、ユーザが情報検索のためのキーワードの抽出の開始を指示していると判断し、抽出開始要求を検知した旨を音声認識部１３へ通知する。

また、ユーザ要求検知部１５が上記のように抽出開始要求を検知した旨を通知した後に再度ユーザによる第１通信端末１０Ａの振動に該当する第１通信端末１０Ａの移動を検知した場合には、ユーザが情報検索のためのキーワードの抽出の終了を指示していると判断し、抽出終了要求を検知した旨を音声認識部１３へ通知する。なお、ユーザ要求検知部１５により検知されたユーザの第１通信端末１０Ａの振動が、抽出開始要求に相当するのか、抽出終了要求に相当するのかの判断は、例えば、前回のユーザによる第１通信端末１０Ａの振動からの時間が一定時間（例えば、１０秒）以内であるか否かにより判断される。

ネットワーク制御部１６は、音声認識部１３により抽出されたキーワードを、ネットワークＮ２を介して情報検索サーバ３１に対して送信することにより、情報検索サーバ３１から送信される当該キーワードに係る情報検索結果を取得する機能を有する手段である。この情報検索結果は、画像表示部１７へ送られる。

また、ネットワーク制御部１６は、ネットワークＮ２を介して他のウェブサーバ３２に対しても接続する機能を有する。さらに、ネットワーク制御部１６は、情報検索サーバ３１に対してキーワードを送信することで得られる情報検索結果を画像圧縮部１８に対して送る機能を有し、さらに、画像圧縮部１８から送信される画像データをネットワークＮ２を介して第２通信端末１０Ｂに対して送信すると共に、第２通信端末１０Ｂの画面表示を第１通信端末１０Ａの画面に対して同期させる旨の指示を行うことで、第１通信端末１０Ａの画面と第２通信端末１０Ｂの画面とを同期させる機能を有する。なお本実施形態では、このように情報検索結果を第２通信端末１０Ｂに対して送信することを「出力する」という。

さらにネットワーク制御部１６は、第２通信端末１０Ｂから送信される画像データを取得し、この画像データを画像展開部１９に対して送ることで、画像表示部１７に画像データを表示させる機能を有する。なお、第２通信端末１０Ｂから送信される画像データとは、第２通信端末１０Ｂにおいて情報検索を行うことで得られた情報検索結果が画像データに変換されたものである。

画像表示部１７は、ネットワーク制御部１６で取得されたキーワードに対応する情報検索結果を、画面に表示させる機能を有する手段である。

また、画像圧縮部１８は、画像表示部１７により表示された情報検索結果を画像データに変換する機能を有する手段である。この画像データへの変換は、第２通信端末１０Ｂと情報検索結果を共有するために行うものであり、第２通信端末１０Ｂとの通話中に行われた情報検索結果は、画像表示部１７に表示すると同時に画像圧縮部１８において画像データへの変換が行われる。画像圧縮部１８において画像データの変換が終了した情報検索結果はネットワーク制御部１６へ送られ、ネットワーク制御部１６から第２通信端末１０Ｂへ送信され、同時に、画面の同期が開始される。

また、画像展開部１９は、ネットワーク制御部１６において第２通信端末１０Ｂから受信する画像データを、画像表示部１７へ表示する機能を有する手段である。この画像展開部１９は、第２通信端末１０Ｂの動作に応じて第１通信端末１０Ａの画面が遷移する同期状態である場合に動作する。

なお、本実施形態に係る通信システム１では、第１通信端末１０Ａと第２通信端末１０Ｂとが通話状態にあって、第１通信端末１０Ａがキーワードを用いた情報検索を行った場合には、その結果を画像圧縮部１８において画像データに変換した後、第２通信端末１０Ｂに対して送信する。すると、第２通信端末１０Ｂでは、画像表示部１７において他の情報を表示していた場合であっても、第２通信端末１０Ｂの画像展開部１９によって、第１通信端末１０Ａから送信される画像データを画像表示部１７において表示させることが優先される。そして、これを契機として、第１通信端末１０Ａと第２通信端末１０Ｂとの間で画像表示部１７が同期される。

そして、第１通信端末１０Ａのユーザが第１通信端末１０Ａを操作することで、例えばウェブサーバ３２へアクセスし、情報検索結果に関連する他の情報を取得した場合には、この関連する他の情報を表示する画面を第１通信端末１０Ａの画像圧縮部１８において画像データに変換し、これをネットワーク制御部１６から第２通信端末１０Ｂに対して送信する。そして、第２通信端末１０Ｂにおいてこの第１通信端末１０Ａからの画像データを画面に表示することにより、同期が継続される。

したがって、第１通信端末１０Ａが他のウェブサーバ３２と通信を行った結果、画像表示部１７における表示が変わった場合には、その変更後の表示についても画像展開部１９によって画像データに変換され、ネットワーク制御部１６から第２通信端末１０Ｂに対して送信される。この第１通信端末１０Ａと第２通信端末１０Ｂとの同期は、第１通信端末１０Ａと第２通信端末１０Ｂとが通話状態である間は継続され、通話が終了すると、この同期も解除される。

続いて、図４及び図５を参照して、本実施形態の通信システム１を用いた情報検索方法ついて説明する。図４は、情報検索方法を説明するフローチャートである。また、図５は、情報検索方法に係る処理中の第１通信端末１０Ａ及び第２通信端末１０Ｂでの画面表示例を示す図である。

まず、第１通信端末１０Ａ又は第２通信端末１０Ｂから、相手側の通信端末に対して音声通信網Ｎ１を介して着呼を行うことで、第１通信端末１０Ａと第２通信端末１０Ｂとの間で通話が開始される（Ｓ０１）。このとき、第１通信端末１０Ａのユーザは、通話制御部２０の発話口１１に対して発声すると共に、受話口１２から出力される第２通信端末１０Ｂのユーザからの音声を聞くことで、第２通信端末１０Ｂのユーザとの通話が行われる。そして、発話口１１は、ユーザからの音声を音声データとして取得する（音声取得ステップ）。この時点では、情報検索を行わない通常状態での通話が行われる。ここで、発話口１１において取得されたユーザの発声内容は、音声データとして音声認識部１３へ送られる。また、この時点では、第１通信端末１０Ａ及び第２通信端末１０Ｂの画像表示部１７では、図５の画面Ａ０１及び画面Ｂ０１に示すように通話中であることを示す画像又はテキストが表示される。

次に、第１通信端末１０Ａのユーザが、通話中の話題について情報検索を行うかどうかを判断する（Ｓ０２）。ここで、情報検索が不要であると判断される場合には引き続き通常状態での通話が継続する。一方、情報検索が必要と判断される場合には、ユーザは第１通信端末１０Ａを振る（Ｓ０３）。すると、加速度センサ１４がこの振動を第１通信端末１０Ａの移動として検知し、移動方向及び加速度に係る情報がユーザ要求検知部１５へ送られる。そして、ユーザ要求検知部１５において、加速度センサ１４からの情報に基づいて第１通信端末１０Ａの移動がユーザによる第１通信端末１０Ａの振動に由来するものであるか否かが判断される。ここで、ユーザによる第１通信端末１０Ａの振動に由来すると判断された場合には、その結果に基づいて抽出開始要求を検知した旨がユーザ要求検知部１５から音声認識部１３へ送られる（抽出開始要求検知ステップ）。これにより音声認識部１３は音声認識を行うための準備段階となる。併せて、第１通信端末１０Ａの画像表示部１７は、画面Ａ０２に示すように音声認識中であることを示す表示に遷移する。一方、第２通信端末１０Ｂでは、画面Ｂ０２で示すように、通話中である旨が継続して表示される。

次いで、第１通信端末１０Ａを振動させたユーザは、情報検索のためのキーワードを発話する（Ｓ０４）。その後、再度ユーザは第１通信端末１０Ａを振動させる（Ｓ０５）。すると、加速度センサ１４がこの振動を第１通信端末１０Ａの移動として検知し、移動方向及び加速度に係る情報がユーザ要求検知部１５へ送られる。そして、ユーザ要求検知部１５において、加速度センサ１４からの情報に基づいて第１通信端末１０Ａの移動がユーザによる第１通信端末１０Ａの振動に由来するものであるか否かが判断される。ここで、ユーザによる第１通信端末１０Ａの振動に由来すると判断された場合には、前回の第１通信端末１０Ａの振動からの時間を考慮して、当該振動が抽出終了要求であると判断し、抽出終了要求を検知した旨がユーザ要求検知部１５から音声認識部１３へ送られる（抽出終了要求検知ステップ）。

一方、ユーザが発話することで発話口１１において取得された音声データは、発話口１１から音声認識部１３へ送られ、音声認識部１３において音声認識が行われる（Ｓ０６、音声認識ステップ）。ここでは、抽出開始要求を検知した時点から抽出終了要求を検知した時点までの間にユーザが発話した音声からキーワードが抽出される。この抽出されたキーワードは、音声認識部１３からネットワーク制御部１６へ送られる。そして、ネットワーク制御部１６と情報検索ウェブサーバ３１との間でネットワークＮ２を介して通信を行うことで、抽出されたキーワードに係る情報検索を行う（Ｓ０７、情報検索ステップ）。そして、ネットワーク制御部１６で得られた情報検索の結果は、ネットワーク制御部１６から画像表示部１７へ送られて、画像表示部１７で表示を行うことで、第１通信端末１０Ａにおいてユーザに対して結果を出力する。また、情報検索の結果がネットワーク制御部１６から画像圧縮部１８へ送られて、画像圧縮部１８において画像データへの変換が行われた後、ネットワーク制御部１７から第２通信端末１０Ｂに対してこの画像データを送信すると共に、第１通信端末１０Ａから第２通信端末１０Ｂに対して画面の同期を指示することで、第１通信端末１０Ａと第２通信端末１０Ｂとの間で画面表示部１７の同期が開始される（Ｓ０８、出力ステップ、同期ステップ）。すなわち、図５の画面Ａ０３及び画面Ｂ０３に示すように、第１通信端末１０Ａの画像表示部１７で表示される画像と第２通信端末１０Ｂの画像表示部１７で表示される画像とが共通となる。

その後は、第１通信端末１０Ａの画像表示部１７における表示内容の変更に応じて、画像表示に対応する画像データが画像圧縮部１８において生成され、これがネットワーク制御部１６からネットワークＮ２を介して第２通信端末１０Ｂへ送信され、これが第２通信端末１０Ｂの画像展開部１９により展開されることで、第２通信端末１０Ｂの画像表示部１７において表示される。このように、同期状態が継続される。したがって、図５の画面Ａ０４及び画面Ｂ０４に示すように、第１通信端末１０Ａのユーザが第１通信端末１０Ａを操作することで、画面が遷移した場合には、第２通信端末１０Ｂの画面も遷移する。

さらに、第１通信端末１０Ａのユーザは通話を継続しながら、キーワードの情報検索がさらに必要であるかを判断する（Ｓ１０）、そして必要であると判断された場合には、ユーザにより第１通信端末１０Ａが振動され、上記Ｓ０３〜Ｓ０９までの処理が再び繰り返される。

また、キーワードを用いる情報検索が不要となった場合には、第１通信端末１０Ａのユーザによって、通話を終了するかの判断がなされる（Ｓ１１）、ここで通話を継続する場合には、第１通信端末１０Ａは、引き続きユーザからの抽出開始指示があるまで待機状態となる。一方、ユーザが通話を終了すると判断した場合には、第１通信端末１０Ａと第２通信端末１０Ｂとの間で音声通信のための接続が切断される（Ｓ１２）。そしてこの音声通信のための接続が切断されたことを契機として、第１通信端末１０Ａと第２通信端末１０Ｂとの間の画像表示部１７の同期も切断され（Ｓ１３）、図５の画面Ａ０５及び画面Ｂ０５に示すように、第１通信端末１０Ａと第２通信端末１０Ｂのそれぞれの待受画面へと画面は遷移する。以上により、第１通信端末１０Ａによる情報検索に係る一連の処理が終了する。

以上のように、第１通信端末１０Ａで取得された音声データからキーワードが抽出され、このキーワードを用いて情報検索が行われる。そして、この情報検索結果が第１通信端末１０Ａの画面に表示されると同時に、通話を行っている相手の相手側端末である第２通信端末１０Ｂに対しても出力され、さらに、第１通信端末１０Ａと第２通信端末１０Ｂとの間で画面の同期が行われる。そして、情報検索結果に基づいてユーザが自端末を操作し新たな情報を得た場合には、この情報についても第２通信端末１０Ｂとの間で同期して表示される。

このように、上記の通信端末及びこの通信端末による情報検索方法によれば、第１通信端末１０Ａと第２通信端末１０Ｂとの間で画面表示を同期して情報検索結果に応じた情報を共有することで、自端末のユーザと相手側端末のユーザとの間での情報検索結果に応じた情報の共有を容易に行うことができる。また、上記実施形態に係る通信端末では、従来のテレビ電話のようにカメラが撮像した画像データを送信して互いに同期して出力する場合と比較して、より簡便な操作によって、互いに共有できる情報量及び質が向上する。したがって、音声による通話に限られず情報検索の結果やそれに対応する情報を共有しながら遠方の相手ともコミュニケーションを取ることができ、質が高く緊密なコミュニケーションが実現される。

また、上記実施形態の通信端末では、ユーザが第１通信端末１０Ａを振動させると、これが加速度センサ１４において検知され、ユーザ要求検知部１５において抽出開始要求として検知されると、これを契機として音声認識部１３においてユーザの音声データからキーワードが抽出され、このキーワードを用いてネットワーク制御部１６が情報検索ウェブサーバ３１との間で通信を行うことで情報検索が行われる。そして、この情報検索結果が、通話を行っている相手である相手側端末となる第２通信端末１０Ｂに対しても出力される。このように、ユーザの操作による抽出開始要求に基づいて情報検索のためのキーワードの抽出が行われるため、検索不要な単語をキーワードとして抽出する可能性が低減され、通話状態での情報検索を高い精度で行うことができる。

また、上記実施形態に係る通信端末及び情報検索方法では、第１通信端末１０Ａのユーザが第１通信端末１０Ａを操作することにより送られる抽出開始要求の検知を契機として、音声認識部１３において情報検索のためのキーワードが音声データから抽出される。したがって、ユーザの要求に基づいたキーワード抽出及びその検索を行うことができるため、より高い精度で情報検索を行うことができる。

また、本実施形態の第１通信端末１０Ａでは、ユーザは、例えば加速度センサが所定値以上の振動を検知するように第１通信端末１０Ａを振動させることにより、第１通信端末１０Ａに対して検索開始を指示することができるため、より簡便な操作で情報検索を行うことができる。

また、本実施形態の第１通信端末１０Ａでは、第２通信端末１０Ｂにおいて情報検索がなされた結果に基づいて、相手側端末から送信される相手側情報を受信し、これを自端末において出力するための画像展開部１９を備えていること。したがって、相手側端末である第２通信端末１０Ｂから送信される相手側の情報検索結果を自端末で表示することができるため、情報検索結果の共有を双方向で行うことが可能となる。

また、上記実施形態に係る第１通信端末１０Ａでは、ユーザによる第１通信端末１０Ａの振動が２回行われた場合には、２回目の振動を抽出終了要求として検知する。そして、抽出開始要求と抽出終了要求との間に音声取得手段である発話口１１において取得された音声データからキーワードが抽出される。したがって、キーワードとして抽出される可能性のある単語を明確に限定することができるため、より高い精度での情報検索が可能となる。

以上本発明の実施形態について説明したが、本発明に係る通信端末及び情報検索方法は上記実施形態に限定されず種々の変更が可能である。

例えば、上記実施形態では、加速度センサ１４が検知する第１通信端末１０Ａの移動が、ユーザによる第１通信端末１０Ａの振動であるかをユーザ要求検知部１５において判断し、ユーザによる第１通信端末１０Ａの振動である場合には抽出開始要求が検知されたと判断する態様に説明したが、抽出開始要求は、ユーザが第１通信端末１０Ａを振動させることとは他の行為によって行われてもよい。

具体的には、抽出開始要求を示す特定の言葉（例えば「サーチ」）を予め定めておき、ユーザが通話中に「サーチ、ｘｘｘ」と発話した場合には、「サーチ」という言葉がユーザからの抽出開始要求であると判断し、この「サーチ」の言葉の後に出てくる「ｘｘｘ」をキーワードとして情報検索を行うという態様にすることができる。

この場合、「サーチ」という言葉が、ユーザの音声に含まれるかを随時確認する必要がある。したがって、音声認識部１３では、発話口１１において取得された音声データを音声認識処理によりテキスト情報に変換する作業が継続して行われ、ユーザ情報検知部１５では、このテキスト情報に変換された音声データに、特定の単語（「サーチ」）が含まれるかの検証が行われる。そして、特定の単語が含まれていた場合にはこれをユーザ情報検知部１５から音声認識部１３へ通知し、この特定の単語の後に出てくる単語をキーワードとして抽出する処理が行われる。その後の処理は、上記実施形態と同様である。また、抽出終了要求として、上記の特定の単語とは異なる単語を指定し、同様の処理を行う態様とすることもできる。

上記の態様のように、通話中に、第１通信端末１０Ａのユーザは、検索開始のための特定の単語を話すことにより、通信端末に対して検索開始を指示する構成とすることで、ユーザはより簡便な操作で情報検索を行うことができる。

また、上記実施形態では、検索結果を画像データとして相手側端末へ出力する態様について説明したが、検索結果の出力形式は画像データに限られず、他の形式（例えば動画データやテキストデータ等）により出力する態様としてもよい。

また、上記実施形態では、発話口１１により取得された第１通信端末１０Ａのユーザの音声データからキーワードを抽出する構成について説明したが、第２通信端末１０Ｂから送信されて受話口１２により取得される音声データからキーワードを取得する態様としてもよい。具体的には、例えば、第１通信端末１０Ａのユーザが第１通信端末１０Ａを振動させることで抽出開始要求を第１通信端末１０Ａに検知させた後、第２通信端末１０Ｂのユーザがキーワードとして抽出すべき単語を発声することで、第２通信端末１０Ｂから送信されて第１通信端末１０Ａで取得される音声データを第１通信端末１０Ａで取得し、この第２通信端末１０Ｂから送信された音声データの冒頭の単語（第１通信端末１０Ａの振動の後で最初に出てくる単語）をキーワードとして抽出する構成とすることもできる。

また、上記実施形態では、情報検索結果を第１通信端末１０Ａから第２通信端末１０Ｂに対して送信すると同時に画面の同期指示を第２通信端末１０Ｂに対して送信することで、画面を同期し、その後は第１通信端末１０Ａの操作に基づいて第２通信端末１０Ｂの画面が遷移する構成について説明した。しかしながら、第１通信端末１０Ａと第２通信端末１０Ｂとの画面がどちらの端末の操作に基づいて遷移するかは変更することができる。具体的には、情報検索結果と共に画面の同期指示を第１通信端末１０Ａから第２通信端末１０Ｂに対して送信した後、第２通信端末１０Ｂの操作に基づいて、第１通信端末１０Ａの画面が第２通信端末１０Ｂの画面に同期して遷移する構成としてもよい。また、同期を開始する際に、画面の操作を行う通信端末をユーザが指定するステップを設け、ユーザの指示によってどちらの通信端末が画面の操作を制御するかを決定する態様としてもよい。

また、上記実施形態では、第１通信端末１０Ａのユーザが第１通信端末１０Ａを振動させることや、特定の単語を発することにより、キーワード抽出の開始を指示する構成について説明したが、第１通信端末１０Ａがユーザの指示を受けることなくキーワード抽出を開始する構成としてもよい。

１…通信システム、１０Ａ，１０Ｂ…通信端末、１１…発話口（音声取得手段）、１２…受話口、１３…音声認識部（音声認識手段）、１４…ユーザ要求検知部（ユーザ要求検知手段）、１５…加速度センサ、１６…ネットワーク制御部（情報検索手段、出力手段）、１７…画像表示部、１８…画像圧縮部（出力手段）、１９…画像展開部（相手側情報出力手段）、３１…情報検索ウェブサーバ、３２…ウェブサーバ。

Claims (7)

1. 通話相手の通信端末である相手側端末との間で音声データを送受信可能である共に、当該音声データに含まれるキーワードを用いて情報検索が可能な通信端末であって、
   当該通信端末のユーザの音声又は前記相手側端末からの音声を音声データとして取得する音声取得手段と、
   前記音声認識手段により抽出された前記キーワードを用いて情報検索を行うと共にこの検索により得られる検索結果を画面に対して表示することで自端末に対して出力する情報検索手段と、
   前記検索結果を前記画面に対して表示した前記検索結果を前記相手側端末に対して出力する出力手段と、
   前記出力手段による前記相手側端末への出力を契機として、自端末の前記画面と前記相手側端末の画面とを同期させる同期手段と、
   を備えることを特徴とする通信端末。
2. 前記通信端末に対する前記ユーザの操作による抽出開始要求を検知するユーザ要求検知手段をさらに備え、
   前記音声認識手段が、前記ユーザ要求検知手段による前記抽出開始要求の検知を契機として、前記音声取得手段により取得された前記音声データからキーワードを抽出することを特徴とする請求項１記載の通信端末。
3. 前記相手側端末において情報検索がなされた結果に基づいて、当該相手側端末から送信される相手側情報を受信し、これを自端末において出力する相手側情報出力手段をさらに備えることを特徴とする請求項１又は２記載の通信端末。
4. 前記通信端末の移動を検知する加速度センサをさらに備え、
   前記ユーザ要求検知手段が、前記加速度センサにより検知される移動がユーザにより通信端末に振動を与えた際に発生する振動であると判断した場合に、これを前記抽出開始要求として検知する
   ことを特徴とする請求項１〜３のいずれか一項に記載の通信端末。
5. 前記ユーザ要求検知手段は、前記音声取得手段により取得された前記ユーザの音声データに特定の単語が含まれているかを判断し、前記音声データに特定の単語が含まれている場合に、これを前記抽出開始要求として検知する
   ことを特徴とする請求項１〜３のいずれか一項に記載の通信端末。
6. 前記ユーザ要求検知手段は、前記通信端末に対する前記ユーザの操作による抽出終了要求をさらに検知し、
   前記音声認識手段は、前記ユーザ要求検知手段により前記抽出開始要求を検知した時点から前記抽出終了要求を検知した時点までの間に、前記音声取得手段により取得された前記ユーザの音声データから前記キーワードを抽出する
   ことを特徴とする請求項１〜５のいずれか一項に記載の通信端末。
7. 通話相手の通信端末である相手側端末との間で音声データを送受信可能である共に、当該音声データに含まれるキーワードを用いて情報検索が可能な通信端末による情報検索方法であって、
   当該通信端末のユーザの音声又は前記相手側端末からの音声を音声データとして取得する音声取得ステップと、
   前記音声取得ステップにおいて取得された前記音声データからキーワードを抽出する音声認識ステップと、
   前記音声認識ステップにおいて抽出された前記キーワードを用いて情報検索を行うと共にこの検索により得られる検索結果を画面に対して表示することで自端末に対して出力する情報検索ステップと、
   前記検索結果を前記画面に対して表示した前記検索結果を前記相手側端末に対して出力する出力ステップと、
   前記出力ステップにおける前記相手側端末への出力を契機として、自端末の前記画面と前記相手側端末の画面とを同期させる同期ステップと、
   を含むことを特徴とする情報検索方法。
   

Images