JP2004214895A

JP2004214895A - Auxiliary communication apparatus

Info

Publication number: JP2004214895A
Application number: JP2002381249A
Authority: JP
Inventors: Taku Yoshimi; 見卓吉; Junko Hirokawa; 川潤子廣; Kaoru Suzuki; 木薫鈴; Daisuke Yamamoto; 本大介山; Nobuhito Matsuhira; 信人松日楽; Nobutaka Kikuiri; 入信孝菊
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-12-27
Filing date: 2002-12-27
Publication date: 2004-07-29

Abstract

<P>PROBLEM TO BE SOLVED: To provide an auxiliary communication apparatus capable of providing a communication or voice communication service to a user in diversified expression forms with a simple operation nearly equal to that of a mobile phone. <P>SOLUTION: The auxiliary communication apparatuses 100, 300 are provided with: an interface 221 connectable to a mobile phone 9; first signal conversion sections 217, 218 for converting a speech signal or a communication signal having arrived in the mobile phone 9 into a first expression form which a user of the mobile phone 9 can recognize; output sections 2, 6 for displaying or outputting a signal of the first expression form; entry sections 1, 3, 7 whereby the user can enter a signal in a second expression form whereby the user can make entry; and second signal conversion sections 217, 218 for converting the signal of the second expression form into the voice signal or the communication signal. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は通信補助装置に関する。
【０００２】
【従来の技術】
近年、一般家庭に用いられるパーソナルロボットが開発されている。その典型例としては、ソニー株式会社によるＡＩＢＯ（登録商標）がある。ＡＩＢＯ（登録商標）は犬を模擬したペットロボットであり、このような犬や猫等のペットを模擬したペットロボットは、ユーザの愛玩の対象として多くの人々に親しまれている。しかし、ペットロボットは、人に何らかのサービスを提供する機能を持っているものではない。
【０００３】
これに対して、日本電気株式会社によるＰａＰｅＲｏ（登録商標）がある。ＰａＰｅＲｏ（登録商標）は、ユーザに各種サービスを提供する機能を持つパーソナルロボットの一つであり、ＴＶのリモコン操作や音楽・映像の再生、インターネットへのアクセスやパソコンとの情報のやりとりなどを行うことができる。
【０００４】
パーソナルロボットの形態、構成はさまざまであるが、ユーザとのやりとりを通してユーザに何らかのサービスを提供するパーソナルロボットは、一般に図１２に示すように、カメラ１、スピーカ２、マイク３、雲台４、アーム５、ディスプレイ６、タッチパネルまたはキーボード７および移動機構８を備えた構成となっている。
【０００５】
図１３はこのパーソナルロボットの典型的な制御装置のブロック図である。この制御装置は、全体管理部１１、作業計画部１２、通信処理部１３、アーム・雲台制御部１４、データ入出力処理部１６、視覚処理部１７、音声処理部１８、付加サービス機能部１９および移動機構制御部２０を備えている。
【０００６】
全体管理部１１は制御装置全体の管理を行う。作業計画部１２はロボットの作業動作の計画を行う。通信処理部１３は、外部通信ネットワーク２３とのデータの送受信を行う。腕部・頭部制御部１４は腕部５および頭部４を制御する。データ入出力処理部１６は、ディスプレイ６やタッチパネルまたはキーボード７をコントロールする。視覚処理部１７は、カメラ１から入力された画像情報を処理する。音声処理部１８は、スピーカ２から出力する音声情報またはマイク３へ入力される音声情報を処理する。付加サービス機能部１９は、電子メールの送受信、インターネット情報の検索、家電製品のリモコン操作、音楽のダウンロードや再生等、ユーザへの各種サービスの処理を行う。移動機構制御部２０は移動機構８を制御する。
【０００７】
【特許文献１】
特開２００１−１９５１１３
【特許文献２】
特開２００１−１２５５８５
【０００８】
【発明が解決しようとする課題】
図１２および図１３に示すパーソナルロボットは、電子メールの送受信やインターネット情報の検索、家電製品のリモコン操作や音楽再生等のサービスをユーザに提供することができる。
【０００９】
しかし、このようなパーソナルロボットは、パーソナルコンピュータと同様の機能を備えているに過ぎない。従って、このようなパーソナルロボットからサービスを受ける場合は、パーソナルコンピュータと同様に、パーソナルロボットのシステムのセットアップが必要となる。専門的な知識を持たない一般ユーザにとって、パーソナルロボットのセットアップのための操作は難しく、かつ面倒なものである。
【００１０】
ところで、最近、急速に普及している携帯型電話機は、通話だけでなく、電子メールの授受、インターネットからの各種情報のダウンロードなどが可能である。また、一般的に、ユーザは自身が頻繁に利用する電話番号、電子メールアドレス、ウェブホームページアドレスの情報等を予め自身の携帯型電話機の本体内部に登録している。携帯型電話機においては、これらの情報を利用した通話および通信サービスが付加機能として簡単な操作によって利用できる。このように携帯型電話機は、家庭用のパーソナルコンピュータやパーソナルロボットに比べてセットアップのための操作が容易である。
【００１１】
しかし、携帯型電話機は、小型化かつ軽量化するために操作ボタンの数や大きさ、表示画面の大きさ等には限界がある。従って、その操作性は必ずしも良くない。さらに、音声通話と電子メールとは別々に利用することが前提となっているので、通話および電子メールを融合させた形態で利用することはできなかった。例えば、携帯型電話機は、音声による通話を電子メールに変換して着信することや、逆に、電子メールを音声による通話として着信することができなかった。
【００１２】
そこで、本発明の目的は、携帯型電話機と同程度の簡単な操作でユーザに対して様々な表現形式で通信または通話サービスを提供できる通信補助装置を提供することである。
【００１３】
【課題を解決するための手段】
本発明に従った実施の形態による通信補助装置は、携帯型電話機に接続可能なインタフェースと、前記携帯型電話機が着信した通話用信号または通信用信号を、該携帯型電話機のユーザが認識可能な第１の表現形式へ変換する第１の信号変換部と、前記第１の表現形式の信号を表示または出力する出力部と、ユーザが入力可能な第２の表現形式で信号を入力することができる入力部と、前記第２の表現形式の信号を前記通話用信号または通信用信号へ変換する第２の信号変換部とを備えている。
【００１４】
【発明の実施の形態】
以下、図面を参照し、本発明による実施の形態を説明する。実施の形態は本発明を限定するものではない。本発明に係る実施の形態に従ったパーソナルロボットは、携帯型電話機の通話または通信機能をユーザが使用し易いように拡張することによって、ユーザを補助するものである。
【００１５】
図１は、本発明に係る実施の形態に従ったパーソナルロボット１００の外観図である。パーソナルロボット１００は、カメラ１、スピーカ２、マイク３、腕部５、ディスプレイ６、タッチパネルまたはキーボード７および移動機構８を備えている。カメラ１、スピーカ２およびマイク３は頭部１０１に配備され、腕部５、ディスプレイ６、タッチパネルまたはキーボード７および移動機構８は胴体部１０２に配備されている。さらに、パーソナルロボット１００は、携帯型電話機９をセットするホルダ１０を胴体部１０２に備えている。
【００１６】
ユーザが携帯型電話機９をホルダ１０にセットすることによって、携帯型電話機９が有する通話機能、データ通信機能およびその他の付加機能がパーソナルロボット１００に追加される。
【００１７】
図２は、パーソナルロボット１００内部に設けられた制御装置２００の構成を示すブロック図である。制御装置２００は、全体管理部２１１、作業計画部２１２、通信処理部２１３、腕部・頭部制御部２１４、携帯型電話機用充電管理部２１５、データ入出力管理部２１６、視覚処理部２１７、音声処理部２１８、付加サービス機能部２１９、移動機構制御部２２０、携帯型電話機用インタフェース２２１および記憶部２２２を有する。
【００１８】
全体管理部２１１は、パーソナルロボット１００の動作内容に応じた各処理部の起動・停止等、制御装置全体の管理を行う。作業計画部２１２はロボットが目的の作業を実現するための具体的な作業動作の計画を行う。腕部・頭部制御部２１４は腕部５および頭部１０２を制御する。データ入出力処理部２１６は、ディスプレイ６やタッチパネルまたはキーボード７を制御する。視覚処理部２１７は、カメラ１から入力された画像情報を処理する。音声処理部２１８は、スピーカ２から出力する音声情報およびマイク３へ入力された音声情報を処理する。付加サービス機能部２１９はユーザへの各種サービスの処理を行う部分である。電子メールの送受信、インターネット情報の検索、音楽のダウンロードや再生等、携帯型電話機９が有するサービス機能をパーソナルロボット１００に付加して利用することができる。移動機構制御部２２０は移動機構８を制御する。
【００１９】
携帯型電話機用インタフェース２２１は、携帯型電話機９を制御装置２００に接続する。インタフェース２２１により制御装置２００は携帯型電話機９を介して外部の公衆回線またはインターネットと通信可能に接続される。パーソナルロボット２００は、インタフェース２２１により宅外の公衆回線またはインターネットと通信可能であるので、通信処理部２１３は主に宅内ネットワーク２２との通信に用いられる。ユーザへの各種サービスの処理を行う付加サービス機能部２１９は、胴体部１０２に取り付けられた携帯型電話機９の付加機能を利用可能とする。携帯型電話機９の付加機能は、例えば、携帯型電話機９内に登録された電話番号を用いて電話を掛ける機能、携帯型電話機９内に登録されたメールアドレスを用いてメールを送信する機能、若しくは、携帯型電話機９内に登録されたインターネットのホームページアドレスを用いてインターネットにアクセスする機能等、携帯型電話機９に付加された全機能である。これにより、パーソナルロボット１００は、独自にメールを送受信する機能等を備える必要がなくなり、携帯型電話機９内に記憶された電話番号、メールアドレスまたはホームページアドレス等を利用して通信することができる。勿論、パーソナルロボット１００は、家電製品のリモコン操作機能などを本体内に備えており、携帯型電話機９が有する機能を独自に有していてもよい。
【００２０】
さらに、携帯型電話機９の付加機能は、携帯型電話機９が固別に有する電話番号、メールアドレスおよびホームページアドレス等のほか、ユーザ自身に関する情報の取得を含む。これによって、パーソナルロボット１００は、本体にセットされた携帯型電話機９のユーザが誰であるかを認識することができ、ユーザごとに異なる動作をすることができる（以下、これをユーザカスタマイズ機能という）。
【００２１】
携帯型電話機用充電管理部２１５および携帯型電話機用インタフェース２２１は、ホルダ１０に接続されている。ユーザが携帯型電話機９をホルダ１０へ挿入すると、ホルダ１０内の充電用端子および通信用端子（図示せず）が携帯型電話機９の充電用端子および通信用ジャック（図示せず）に接続される。これにより、パーソナルロボット１００は、携帯型電話機９と通信可能に接続され、尚且つ、携帯型電話機９を充電することができる。なお、携帯型電話機用充電管理部２１５は、ホルダ１０に携帯型電話機９が挿入されているか否かを検出する機能も有する。
【００２２】
辞書データ記憶部２２２は、音声情報を文字情報に変換するために用いられる音素データ、および、人物の顔の検出やその人物の認証に必要な辞書等を格納する。辞書とは、パターンの特徴を表現した情報である。
【００２３】
図３は、本実施の形態においてインターネット情報または電子メールの送受信の利用形態を示す概念図である。従来、ユーザ２４は、携帯型電話機９を直接操作することによって、公衆回線２６およびインターネット回線２７を利用していた。
【００２４】
しかし、本実施の形態によれば、パーソナルロボット２５がユーザ２４と携帯型電話機９との間に介在する。それによって、ユーザ２４は、パーソナルロボット１００に備えられたタッチパネルまたはキーボード７、マイク３およびカメラ１等のような入力部を通して携帯型電話機９を操作することができる。例えば、ユーザ２４は、パーソナルロボット１００のマイク３に向かって「○○さんに電話して！」と指示することによって携帯型電話機に登録された電話番号を導き出し、携帯型電話機にこの電話番号へ発信させることができる。パーソナルロボット１００に備えられたディスプレイ６およびスピーカ２等のような出力部は、携帯型電話機９が着信した通話用信号または通信用信号を文字表示または画像表示または音声出力することができる。
【００２５】
このように、パーソナルロボット１００によって、ユーザ２４は、携帯型電話機９を直接操作することなく、簡単に携帯型電話機が有する付加機能を利用することができる。
【００２６】
図４は、ユーザ２４の文字出力指示を受け、携帯型電話機９が着信した通話用信号または通信用信号（通話／通信用信号という）を、パーソナルロボット１００が文字として表示する実施の形態を示した概念図である。
【００２７】
パーソナルロボット１００は、図１に示すインタフェース２２１を通して携帯型電話機９が着信した通話／通信用信号を受信する。この通話／通信用信号の表現形式が文字、すなわち通信用信号である場合には、表現形式の変換は行われず、文字情報としてディスプレイ６に表示される。通話／通信用信号の表現形式が音声、すなわち通話用信号である場合には、データ入出力処理部２１６内に配備された音声／文字変換器２２８が文字情報へ変換する。この文字情報がディスプレイ６に表示される。
【００２８】
音声情報を文字情報へ変換するためには、音声／文字変換器２２８が、音声情報の語彙を認識する必要がある。音声情報を文字情報へ変換する方法としては、例えば、鹿野清宏らによる“ＩＴＴｅｘｔ音声認識システム“（オーム社）に記載されている音声語彙認識の方法が用いられる。
【００２９】
本実施の形態によれば、携帯型電話機９が受信した音声情報を文字情報として表示できる。よって、ユーザ２４が耳の不自由な聾唖者であっても、通常の音声情報による電話を受けることができる。
【００３０】
携帯型電話機９が電子メールなどの文字情報を受信した場合には、その文字情報は、変換されることなくディスプレイ６に表示される。ディスプレイ６は、携帯型電話機９の表示部よりも大きいので、文字情報をより大きく表示することができる。それによって、本実施の形態は、視力が弱いユーザを補助することができる。
【００３１】
さらに、携帯型電話機９が着信した音声信号を認識して手話に変換してディスプレイ６に画像表示させてもよい（特開平９−２０６３２９（聴力補助装置）参照）。
【００３２】
図５は、ユーザ２４の音声出力指示を受け、携帯型電話機９が着信した通話用信号または通信用信号（通話／通信用信号という）を、パーソナルロボット１００が音声として出力する実施の形態を示した概念図である。
【００３３】
パーソナルロボット１００は、図１に示すインタフェース２２１を通して携帯型電話機９が着信した通話／通信用信号を受信する。この通話／通信用信号の表現形式が音声、すなわち通話用信号である場合には、表現形式の変換は行われず、音声情報としてスピーカ２から出力される。通話／通信用信号の表現形式が文字、すなわち通信用信号である場合には、データ入出力処理部２１６内に配備された文字／音声変換器２２９が音声情報へ変換する。この音声情報がスピーカ２から出力される。文字情報を音声情報へ変換するソフトウェアは、市販されているものでよい。
【００３４】
本実施の形態によれば、携帯型電話機９が着信した文字情報を音声情報として表示できる。よって、ユーザ２４が目の不自由な者であっても、電子メールなどの文字情報を音声情報として聞き取ることができる。また、スピーカ２は、携帯型電話機９が出力する音声よりも大きな音声を出力することができる。よって、本実施の形態は耳の遠いユーザ２４を補助することができる。
【００３５】
図６は、マイク３に入力された音声情報を、通話／通信用信号として携帯型電話機９から送信する実施の形態を示した概念図である。ユーザ２４が指示した携帯型電話機９から送信する信号の表現形式が音声である場合には、マイク３に入力されたユーザの音声は変換させることなく音声情報として携帯型電話機９へ送信される。ユーザ２４が指示した携帯型電話機９から送信する信号の表現形式が文字である場合には、音声処理部２１８内に配備された音声／文字変換器２２８´が音声情報を文字情報へ変換する。この文字情報が携帯型電話機９から送信される。
【００３６】
さらに、ユーザ２４からマイク３に入力された音声が携帯型電話機９の操作コマンドである場合には、その操作コマンドが携帯型電話機９に送られる。音声コマンド認識器２３０は、マイク３に入力された音声が操作コマンドに該当するか否かを判断する。
【００３７】
本実施の形態によれば、ユーザ２４は、音声指示のみで携帯型電話機９を操作し、携帯型電話機９を通じて会話することができる。また、ユーザ２４は、音声指示のみで携帯型電話機９を操作し、電子メールの文章入力、送信を行うことができる。よって、ユーザ２４が身体障害者や老人であっても、容易に通話や電子メールの送信を行うことができる。また、マイク３は、携帯型電話機９に備えられたマイク９０よりも感度が良い。よって、ユーザ２４は、パーソナルロボット１００から離れていても、音声信号を入力することができる。
【００３８】
図７は、タッチパネルまたはキーボード７に入力された情報を、通話／通信用信号として携帯型電話機９から送信する実施の形態を示した概念図である。パーソナルロボット１００のタッチパネルまたはキーボード７より、ユーザ２４は希望のサービスを利用することができる。例えば、入力デバイスがタッチパネルで、画面に選択可能な操作コマンドのボタンが表示されている場合、ユーザ２４は希望のサービスのボタンに触れて希望のサービスを選択実行することができる。入力デバイスがキーボードやキーボードを表示したタッチパネルの場合は、アルファベット、ひらがな、片仮名等のキーを用いて、操作コマンドやメール文章、会話内容等を入力することができる。ユーザ２４がタッチパネル７から所定の操作コマンドを入力した場合は、コマンドが携帯型電話機９に送られ実行される。ユーザ２４が、携帯型電話機９から送信する信号の表現形式を文字と指定した場合は、タッチパネル７より入力された信号は変換させることなく携帯型電話機９から送信される。ユーザ２４が携帯型電話機９から送信する信号の表現形式を音声と指定した場合は、データ入出力処理部２１６に配備された文字／音声変換器２２９が文字情報を音声情報へ変換する。この音声情報が携帯型電話機９へ送られる。
【００３９】
本実施の形態によれば、ユーザ２４は、パーソナルロボット１００のタッチパネルまたはキーボード７を操作するだけで、携帯型電話機９を操作し、若しくは、携帯型電話機９の機能を利用して通話やメールの送信を行うことができる。本実施の形態において、タッチパネルまたはキーボード７の入力部は携帯型電話機９の入力キーよりも大きい。このため、ユーザ２４は、携帯型電話９に配備された小さな入力キーを操作することなく、タッチパネルまたはキーボード７の比較的大きな入力部を操作することで、携帯型電話９の機能を利用することができる。
【００４０】
図８は、頭部４に備えられたカメラ１に入力された情報を、通話／通信用信号として携帯型電話機９から送信する実施の形態を示した概念図である。カメラ１は、ユーザの顔の動きまたは身体の動作を画像データとして撮像する。ユーザ２４が指示した携帯型電話機９から送信する信号の表現形式が画像である場合には、画像データはそのまま携帯型電話機９へ送られる。ユーザ２４が指示した携帯型電話機９から送信する信号の表現形式が音声である場合には、視覚処理部２１７に備えられた画像認識音声変換部２３１が画像データを音声情報へ変換する。ユーザ２４が指示した携帯型電話機９から送信する信号の表現形式が文字である場合には、視覚処理部２１７に備えられた画像認識文字変換部２３２が画像データを文字情報へ変換する。
【００４１】
例えば、カメラ１がユーザ２４の手話を撮像する。画像認識音声変換部２３１または画像認識文字変換部２３２がこの手話の意味を認識して音声情報または文字情報へ変換する。より詳細には、画像データから画像処理によって手の形、動きなどを抽出し、手話の内容を自動認識する手法が用いられる。ここで用いられる画像認識音声変換部２３１または画像認識文字変換部２３２は、例えば、特開平１１−３０６３１６号公報（手話認識方法および手話認識装置および記録媒体）等を用いることによって実現され得る。
【００４２】
尚、本実施の形態は、カメラ１により撮像された画像データを用いているが、カメラを用いることなく、センサを取り付けた専用手袋などを用意し、その信号をパーソナルロボット１００に取り込んでもよい。このような実施の形態は、例えば、特開平５−２４１４９６号公報（手話翻訳装置）等を用いることによって実現され得る。
【００４３】
画像データから画像処理によって唇の動きを抽出し、話の内容を自動認識する手法がある。このような手法に用いられる画像認識音声変換部２３１または画像認識文字変換部２３２は、例えば、特開平１１−２１９４２１号公報（画像認識装置及び画像認識装置方法）等を用いることによって実現され得る。
【００４４】
本実施の形態によれば、ユーザ２４が聾唖者である場合であっても、ユーザ２４は、手話を音声情報または文字情報として携帯型電話機９から発信させることができる。また、ユーザ２４の唇の動きをパーソナルロボット１００が読み取って、携帯型電話機９から音声情報または文字情報を送信することができる。
【００４５】
図４および図５に示したように、パーソナルロボット１００は、携帯型電話機９が受信した音声情報または文字情報を、文字情報としてディスプレイ６に表示し、若しくは、音声情報としてスピーカ２から出力することができる。また、図６から図８に示したように、パーソナルロボット１００は、ユーザ２４の発声、ユーザ２４によるタッチパネルまたはキーボード７からの入力、手話または唇の動きなどを、音声情報、画像情報または文字情報として携帯型電話機９から発信させることができる。また、操作コマンドとして携帯型電話機９を操作することができる。従って、本実施の形態によれば、ユーザ２４が身体障害者や老人等であっても、携帯型電話機９を介して容易に他人と通話／通信を行うことができる。
【００４６】
図９は、上述の実施の形態によるパーソナルロボット１００を使用して、耳の不自由なユーザ２４が通話相手３４と電話で会話する様子を示した概念図である。通話相手３４が発した声は、音声情報として携帯型電話機９１から携帯型電話機９に送信され、パーソナルロボット１００に渡される。パーソナルロボット１００は、この音声情報を文字情報または手話画像に変換し、この文字情報または手話画像をディスプレイ６に表示する。ユーザ２４は、文字情報または手話画像を見ることによって、通話相手３４の会話内容を理解することができる。なお、ユーザ２４への手話画像の提示に代わり、パーソナルロボットにアームを設けて手話を表現することも可能である。
【００４７】
通話相手３４の会話内容に対応して、ユーザ２４は、音声、タッチパネルまたはキーボード７からの入力、あるいは手話または唇の動きによって返事をする。音声はパーソナルロボット１００のマイク３から、手話または唇の動きはパーソナルロボット１００のカメラ１から入力される。ユーザ２４が音声で返事をした場合には、その音声は、音声情報としてそのまま携帯型電話機９から携帯型電話機９１を通して通話相手３４へ伝えられる。ユーザ２４がタッチパネルまたはキーボード７からの文字入力で返事をした場合には、入力内容が音声情報へ変換されて、ユーザ２４が手話で返事をした場合には、手話の内容が音声情報へ変換されて、またユーザ２４が唇の動きで返事をした場合には、その唇の動きが音声情報へ変換されて携帯型電話機９から携帯型電話機９１を通して通話相手３４へ伝えられる。このように、本実施の形態によるパーソナルロボット１００は、音声情報、文字情報および画像情報を融合させた形態での通信を可能にする。
【００４８】
ユーザ２４は、相手から受信した情報を何れの表現形式に変換して出力するかや、相手へ発信する情報を何れの表現形式で入力するかなどは、パーソナルロボット１００に指示設定すればよい。
【００４９】
図１０は、本発明に係る他の実施の形態に従ったパーソナルロボット３００の外観図およびその利用形態を示した概念図である。パーソナルロボット３００は、基体３０３および頭部３０４を備えている。頭部３０４は、ディスプレイ３０６、カメラ３０１、スピーカ（図示せず）およびマイク（図示せず）を有する。カメラ３０１は、ディスプレイ３０６が設けられた面内にかつディスプレイ３０６の近傍に配備されている。それによって、カメラ３０１は、ディスプレイ３０６の画面前方に存在するものを撮像することができる。頭部３０４は基体３０３を支点として動作する。それによって、ディスプレイ３０６およびカメラ３０１は上下左右に向くことができる。さらに、パーソナルロボット３００は、その底部に移動機構３０８を備え、前後左右に自在に移動することができる。
【００５０】
パーソナルロボット３００は、図２に示した制御装置２００と同様の制御装置を有する。しかし、パーソナルロボット３００は、カメラ１によって撮像された画像データに基づいて、人物の顔を検出し、次に、ユーザ２４を認証し、さらに、ディスプレイ３０６の文字情報等をユーザ２４が読み易い位置へ自動的に移動するとともに、ユーザ２４に合ったサービスメニューを提供する。
【００５１】
画像データ内の人物の顔を検出し、その顔がユーザ２４であることを認証する方法としては、部分空間法および相互部分空間法が用いられる。部分空間法および相互部分空間法は、エルッキ・オヤによる“パターン認識と部分空間”（産業図書）、前田賢一による“パターン認識方式”、山口修等、“動画像を用いた顔認識システム”（信学技報、ＰＲＭＵ９７−５０、１９９７）または特開昭６０−５７４７５に記載されている。また、パーソナルロボット３００とユーザ２４との間の距離は、顔画像の大きさと顔の平均的な大きさのデータから推定する。
【００５２】
本実施の形態によるパーソナルロボット３００は、ディスプレイ３０６をユーザ２４の顔の方向へ向け、尚且つ、ユーザ２４から所定の距離３５だけ離れた位置まで移動する（Ｓ１１２）。これによって、パーソナルロボット３００は、文字情報等をユーザ２４に読み易い位置で表示することができる。
【００５３】
図１１は、携帯型電話機９の着脱に関するパーソナルロボット１００または３００の動作を示す概念図である。ユーザ２４の在宅中には、携帯型電話機９はパーソナルロボット１００に設けられたホルダ１０に常時挿入される。ユーザ２４の外出中には、携帯型電話機９はホルダ１０から取り外される。
【００５４】
携帯型電話機９がホルダ１０に挿入されている場合には、パーソナルロボット１００は、ユーザ２４が在宅中であると認識する。一方で、携帯型電話機９がホルダ１０から取り外されている場合には、パーソナルロボット１００は、ユーザ２４が外出中であると認識する。携帯型電話機９がホルダ１０に挿入されているか否かは、携帯型電話機用充電管理部２１５でチェックされる。
【００５５】
これによって、パーソナルロボット１００は、ユーザ２４が在宅中である場合とユーザ２４が外出中である場合とで異なるサービスを提供することができる。
【００５６】
例えば、ユーザ２４が在宅中の場合には、パーソナルロボット１００は在宅モード４０に設定される。在宅モード４０は、音楽のダウンロードや再生、情報検索表示、家電機器のコントロールといった、ユーザ２４に対するサービスの提供が中心となる。また、この時は、携帯型電話機に対する充電も行われる。
【００５７】
一方、ユーザ２４が外出中の場合には、パーソナルロボット１００は不在モード４１に設定される。不在モード４１は、訪問者および電話の応対、室内巡回監視などのセキュリティサービス等が提供される。パーソナルロボット３００もこれらのサービスを提供することができる。
【００５８】
上述の実施の形態は、パーソナルロボットに関する実施の形態であるが、本発明は、パーソナルロボットに限らず、様々な通信補助装置として実施することができる。
【００５９】
尚、特開２００１−１９５１１３および特開２００１−１２５５８５に開示されたシステムは、ロボットを主とし、これを制御する制御信号を送受信するために専用の携帯型電話機を搭載している。しかし、本発明に係る実施の形態は、携帯型電話機を主とし、これの通話／通信機能を拡張することによって、通話または通信時にユーザを補助する。
【００６０】
【発明の効果】
本発明による通信補助装置は、携帯型電話機と同程度の簡単な操作でユーザに対して様々な表現形式で通信または通話サービスを提供できる。
【図面の簡単な説明】
【図１】本発明に係る実施の形態に従ったパーソナルロボット１００の外観図。
【図２】パーソナルロボット１００内部に設けられた制御装置２００の構成を示すブロック図。
【図３】本実施の形態においてインターネット情報または電子メールの送受信の利用形態を示す概念図。
【図４】携帯型電話機９が着信した通話／通信用信号を、パーソナルロボット１００が文字として表示する実施の形態を示した概念図。
【図５】携帯型電話機９が着信した通話／通信用信号を、パーソナルロボット１００が音声として出力する実施の形態を示した概念図。
【図６】マイク３に入力された音声情報を、通話／通信用信号として携帯型電話機９から送信したり、携帯型電話機９の操作コマンドとして受け付ける実施の形態を示した概念図。
【図７】タッチパネルまたはキーボード７から入力された情報を、通話／通信用信号として携帯型電話機９から送信したり、携帯型電話機９の操作コマンドとして受け付ける実施の形態を示した概念図。
【図８】頭部４に備えられたカメラ１から入力された情報を、通話／通信用信号として携帯型電話機９から送信する実施の形態を示した概念図。
【図９】パーソナルロボット１００を使用して、耳の不自由なユーザ２４が通話相手３４と電話で会話する様子を示した概念図。
【図１０】本発明に係る他の実施の形態に従ったパーソナルロボット３００の外観図およびその利用形態を示した概念図。
【図１１】携帯型電話機９の着脱に関するパーソナルロボット１００または３００の動作を示す概念図。
【図１２】ユーザとのやりとりを通してユーザに何らかのサービスを提供するパーソナルロボットの一般的な構成を示す図。
【図１３】このパーソナルロボットの典型的な制御装置のブロック図。
【符号の説明】
１００、３００パーソナルロボット
１０１頭部
１０２胴体部
１カメラ
２スピーカ
３マイク
５腕部
６ディスプレイ
７タッチパネルまたはキーボード
８移動機構
２００制御装置
２１１全体管理部
２１２作業計画部
２１３通信処理部
２１４腕部・頭部制御部
２１５携帯型電話機用充電管理部
２１６データ入出力管理部
２１７視覚処理部
２１８音声処理部
２１９付加サービス機能部
２２０移動機構制御部
２２１携帯型電話機用インターフェース
２２２辞書データ記憶部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a communication auxiliary device.
[0002]
[Prior art]
In recent years, personal robots used in ordinary households have been developed. A typical example is AIBO (registered trademark) by Sony Corporation. AIBO (registered trademark) is a pet robot that simulates a dog, and such a pet robot that simulates a pet such as a dog or a cat is popular with many people as a user's pet. However, pet robots do not have the function of providing any service to humans.
[0003]
On the other hand, there is PaPeRo (registered trademark) by NEC Corporation. PaPeRo (registered trademark) is one of the personal robots having a function of providing various services to a user, and performs remote control operation of a TV, reproduction of music and video, access to the Internet, exchange of information with a personal computer, and the like. be able to.
[0004]
Although there are various forms and configurations of the personal robot, a personal robot that provides some service to the user through interaction with the user generally includes a camera 1, a speaker 2, a microphone 3, a camera platform 4, an arm, as shown in FIG. 5, a display 6, a touch panel or a keyboard 7, and a moving mechanism 8.
[0005]
FIG. 13 is a block diagram of a typical control device of the personal robot. The control device includes an overall management unit 11, a work planning unit 12, a communication processing unit 13, an arm / head control unit 14, a data input / output processing unit 16, a visual processing unit 17, a voice processing unit 18, an additional service function unit 19 And a movement mechanism control unit 20.
[0006]
The overall management unit 11 manages the entire control device. The work planning unit 12 plans the work operation of the robot. The communication processing unit 13 transmits and receives data to and from the external communication network 23. The arm / head control unit 14 controls the arm 5 and the head 4. The data input / output processing unit 16 controls the display 6, the touch panel, or the keyboard 7. The visual processing unit 17 processes image information input from the camera 1. The audio processing unit 18 processes audio information output from the speaker 2 or audio information input to the microphone 3. The additional service function unit 19 performs processing of various services to the user, such as transmission and reception of e-mail, search of Internet information, remote control operation of home electric appliances, download and reproduction of music, and the like. The moving mechanism control unit 20 controls the moving mechanism 8.
[0007]
[Patent Document 1]
JP 2001-195113A
[Patent Document 2]
JP-A-2001-125585
[0008]
[Problems to be solved by the invention]
The personal robot shown in FIGS. 12 and 13 can provide a user with services such as transmission and reception of e-mail, search of Internet information, remote control operation of home electric appliances, and music playback.
[0009]
However, such a personal robot merely has functions similar to those of a personal computer. Therefore, when receiving a service from such a personal robot, it is necessary to set up a system of the personal robot as in the case of a personal computer. The operation for setting up the personal robot is difficult and troublesome for ordinary users who do not have specialized knowledge.
[0010]
By the way, a mobile phone which has been rapidly spread recently can transmit and receive electronic mails and download various kinds of information from the Internet, in addition to telephone calls. In general, a user registers information such as a telephone number, an e-mail address, and a web page address frequently used by the user in advance in the main body of his / her mobile phone. In a portable telephone, a call and communication service using such information can be used as an additional function by a simple operation. As described above, the portable telephone is easier to set up than a home personal computer or a personal robot.
[0011]
However, the number and size of operation buttons, the size of a display screen, and the like are limited in a mobile phone in order to reduce the size and weight. Therefore, the operability is not always good. Furthermore, since it is assumed that voice communication and e-mail are used separately, it has not been possible to use telephone and e-mail in an integrated form. For example, a portable telephone cannot convert a voice call into an electronic mail and receive it, or conversely, cannot receive an electronic mail as a voice call.
[0012]
Therefore, an object of the present invention is to provide a communication auxiliary device that can provide a user with a communication or a call service in various expression forms with a simple operation similar to a portable telephone.
[0013]
[Means for Solving the Problems]
A communication auxiliary device according to an embodiment of the present invention is capable of recognizing an interface connectable to a mobile phone and a call signal or a communication signal received by the mobile phone by a user of the mobile phone. A first signal conversion unit for converting to a first expression format, an output unit for displaying or outputting the signal in the first expression format, and inputting a signal in a second expression format that can be input by a user. And a second signal converter for converting the signal in the second expression format into the call signal or the communication signal.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiments do not limit the present invention. The personal robot according to the embodiment of the present invention assists the user by extending the call or communication function of the mobile phone so that the user can use it easily.
[0015]
FIG. 1 is an external view of a personal robot 100 according to an embodiment of the present invention. The personal robot 100 includes a camera 1, a speaker 2, a microphone 3, an arm 5, a display 6, a touch panel or a keyboard 7, and a moving mechanism 8. The camera 1, the speaker 2, and the microphone 3 are provided on the head 101, and the arm 5, the display 6, the touch panel or the keyboard 7, and the moving mechanism 8 are provided on the body 102. Further, the personal robot 100 includes a holder 10 for setting the portable telephone 9 on the body 102.
[0016]
When the user sets the mobile phone 9 in the holder 10, the call function, data communication function, and other additional functions of the mobile phone 9 are added to the personal robot 100.
[0017]
FIG. 2 is a block diagram showing the configuration of the control device 200 provided inside the personal robot 100. The control device 200 includes an overall management unit 211, a work planning unit 212, a communication processing unit 213, an arm / head control unit 214, a charge management unit 215 for a portable telephone, a data input / output management unit 216, a visual processing unit 217, It has a voice processing unit 218, an additional service function unit 219, a moving mechanism control unit 220, a mobile phone interface 221, and a storage unit 222.
[0018]
The overall management unit 211 manages the entire control device, such as starting and stopping each processing unit according to the operation content of the personal robot 100. The work planning unit 212 plans a specific work operation for the robot to achieve a desired work. The arm / head control unit 214 controls the arm 5 and the head 102. The data input / output processing unit 216 controls the display 6, the touch panel, or the keyboard 7. The visual processing unit 217 processes image information input from the camera 1. The audio processing unit 218 processes audio information output from the speaker 2 and audio information input to the microphone 3. The additional service function unit 219 is a part that performs various services for the user. The service functions of the portable telephone 9 such as transmission and reception of e-mail, search of Internet information, download and reproduction of music, and the like can be added to the personal robot 100 and used. The moving mechanism control unit 220 controls the moving mechanism 8.
[0019]
The mobile phone interface 221 connects the mobile phone 9 to the control device 200. The control device 200 is communicably connected to an external public line or the Internet via the portable telephone 9 by the interface 221. Since the personal robot 200 can communicate with a public line outside the home or the Internet via the interface 221, the communication processing unit 213 is mainly used for communication with the home network 22. An additional service function unit 219 for processing various services to the user makes available additional functions of the portable telephone 9 attached to the body 102. Additional functions of the mobile phone 9 include, for example, a function of making a call using a telephone number registered in the mobile phone 9, a function of transmitting an e-mail using an e-mail address registered in the mobile phone 9, Alternatively, all functions added to the mobile phone 9 such as a function of accessing the Internet using an Internet homepage address registered in the mobile phone 9. This eliminates the need for the personal robot 100 to have a function of independently transmitting and receiving e-mails, and enables communication using a telephone number, an e-mail address, a homepage address, or the like stored in the mobile phone 9. Of course, the personal robot 100 includes a remote control operation function for home electric appliances in the main body, and may have the function of the mobile phone 9 independently.
[0020]
Further, the additional functions of the mobile phone 9 include acquisition of information about the user himself, in addition to the telephone number, mail address, homepage address, etc., which the mobile phone 9 has. Thereby, the personal robot 100 can recognize the user of the mobile phone 9 set on the main body, and can perform different operations for each user (hereinafter, this is referred to as a user customizing function). ).
[0021]
The mobile phone charge management unit 215 and the mobile phone interface 221 are connected to the holder 10. When the user inserts the mobile phone 9 into the holder 10, the charging terminal and the communication terminal (not shown) in the holder 10 are connected to the charging terminal and the communication jack (not shown) of the mobile phone 9. You. As a result, the personal robot 100 is communicably connected to the mobile phone 9 and can charge the mobile phone 9. Note that the mobile phone charge management unit 215 also has a function of detecting whether or not the mobile phone 9 is inserted into the holder 10.
[0022]
The dictionary data storage unit 222 stores phoneme data used for converting voice information into character information, a dictionary necessary for detecting a face of a person and authenticating the person, and the like. The dictionary is information expressing the characteristics of the pattern.
[0023]
FIG. 3 is a conceptual diagram showing a use form of transmitting and receiving Internet information or electronic mail in the present embodiment. Conventionally, the user 24 has used the public line 26 and the Internet line 27 by directly operating the mobile phone 9.
[0024]
However, according to the present embodiment, personal robot 25 is interposed between user 24 and portable telephone 9. Accordingly, the user 24 can operate the mobile phone 9 through an input unit such as the touch panel or the keyboard 7, the microphone 3, the camera 1, and the like provided on the personal robot 100. For example, the user 24 derives the telephone number registered in the mobile phone by instructing the microphone 3 of the personal robot 100 to "call Mr. XX!" Can be sent. An output unit such as the display 6 and the speaker 2 provided in the personal robot 100 can display a call signal or a communication signal received by the portable telephone 9 in character display, image display, or voice output.
[0025]
As described above, the personal robot 100 allows the user 24 to easily use the additional functions of the mobile phone without directly operating the mobile phone 9.
[0026]
FIG. 4 shows an embodiment in which the personal robot 100 displays a call signal or a communication signal (called a call / communication signal) received by the mobile phone 9 in response to a character output instruction from the user 24. FIG.
[0027]
The personal robot 100 receives the call / communication signal received by the portable telephone 9 via the interface 221 shown in FIG. When the expression format of the call / communication signal is a character, that is, a communication signal, the expression format is not converted and is displayed on the display 6 as character information. When the expression format of the call / communication signal is voice, that is, a call signal, the voice / character converter 228 provided in the data input / output processing unit 216 converts the expression into character information. This character information is displayed on the display 6.
[0028]
In order to convert voice information to text information, the voice / text converter 228 needs to recognize the vocabulary of the voice information. As a method of converting voice information into character information, for example, a voice vocabulary recognition method described in "IT Text Voice Recognition System" (Ohmsha) by Kiyohiro Kano et al. Is used.
[0029]
According to the present embodiment, audio information received by the mobile phone 9 can be displayed as character information. Therefore, even if the user 24 is a deaf person who is deaf, the user can receive a call using ordinary voice information.
[0030]
When the portable telephone 9 receives character information such as an electronic mail, the character information is displayed on the display 6 without being converted. Since the display 6 is larger than the display of the mobile phone 9, the character information can be displayed larger. Thereby, the present embodiment can assist a user with weak vision.
[0031]
Further, the portable telephone 9 may recognize the incoming voice signal, convert the voice signal into sign language, and display the image on the display 6 (see Japanese Patent Application Laid-Open No. 9-206329 (hearing assist device)).
[0032]
FIG. 5 shows an embodiment in which the personal robot 100 outputs a voice signal or a communication signal (called a voice / communication signal) received by the mobile phone 9 in response to a voice output instruction from the user 24. FIG.
[0033]
The personal robot 100 receives the call / communication signal received by the portable telephone 9 via the interface 221 shown in FIG. When the expression format of the call / communication signal is voice, that is, a call signal, the expression format is not converted, and is output from the speaker 2 as audio information. When the expression format of the call / communication signal is a character, that is, a communication signal, the character / speech converter 229 provided in the data input / output processing unit 216 converts the speech / speech signal into speech information. This audio information is output from the speaker 2. Software for converting character information into audio information may be commercially available software.
[0034]
According to the present embodiment, character information received by mobile phone 9 can be displayed as voice information. Therefore, even if the user 24 is blind, character information such as an electronic mail can be heard as voice information. Further, the speaker 2 can output a sound that is louder than the sound output from the mobile phone 9. Therefore, this embodiment can assist the user 24 who is far from the ear.
[0035]
FIG. 6 is a conceptual diagram showing an embodiment in which voice information input to microphone 3 is transmitted from mobile phone 9 as a call / communication signal. When the expression form of the signal transmitted from the mobile phone 9 specified by the user 24 is voice, the user's voice input to the microphone 3 is transmitted to the mobile phone 9 as voice information without conversion. When the expression format of the signal transmitted from the mobile phone 9 specified by the user 24 is a character, a voice / character converter 228 ′ provided in the voice processing unit 218 converts the voice information into text information. This character information is transmitted from the mobile phone 9.
[0036]
Further, when the voice input from the user 24 to the microphone 3 is an operation command of the mobile phone 9, the operation command is sent to the mobile phone 9. The voice command recognizer 230 determines whether the voice input to the microphone 3 corresponds to an operation command.
[0037]
According to the present embodiment, the user 24 can operate the mobile phone 9 only by voice instructions and can have a conversation through the mobile phone 9. In addition, the user 24 can operate the mobile phone 9 only by voice instructions to input and transmit text of an e-mail. Therefore, even if the user 24 is a physically handicapped person or an elderly person, it is possible to easily perform a telephone call and an e-mail transmission. The microphone 3 has higher sensitivity than the microphone 90 provided in the mobile phone 9. Therefore, the user 24 can input a voice signal even when the user 24 is away from the personal robot 100.
[0038]
FIG. 7 is a conceptual diagram showing an embodiment in which information input to the touch panel or the keyboard 7 is transmitted from the mobile phone 9 as a call / communication signal. The user 24 can use a desired service from the touch panel or the keyboard 7 of the personal robot 100. For example, when the input device is a touch panel and buttons for selectable operation commands are displayed on the screen, the user 24 can select and execute a desired service by touching a desired service button. When the input device is a keyboard or a touch panel displaying a keyboard, it is possible to input operation commands, e-mail sentences, conversation contents, and the like using keys such as alphabets, hiragana, and katakana. When the user 24 inputs a predetermined operation command from the touch panel 7, the command is sent to the mobile phone 9 and executed. When the user 24 specifies the expression format of the signal transmitted from the mobile phone 9 as a character, the signal input from the touch panel 7 is transmitted from the mobile phone 9 without conversion. When the user 24 designates the expression format of the signal transmitted from the mobile phone 9 as voice, a character / voice converter 229 provided in the data input / output processing unit 216 converts the character information into voice information. This voice information is sent to the mobile phone 9.
[0039]
According to the present embodiment, the user 24 operates the mobile phone 9 only by operating the touch panel or the keyboard 7 of the personal robot 100, or uses the functions of the mobile phone 9 to make a call or send a mail. You can send. In the present embodiment, the input unit of the touch panel or the keyboard 7 is larger than the input keys of the mobile phone 9. Therefore, the user 24 can use the function of the mobile phone 9 by operating the relatively large input unit of the touch panel or the keyboard 7 without operating the small input keys provided on the mobile phone 9. Can be.
[0040]
FIG. 8 is a conceptual diagram showing an embodiment in which information input to the camera 1 provided on the head 4 is transmitted from the portable telephone 9 as a call / communication signal. The camera 1 captures a user's face movement or body movement as image data. When the expression format of the signal transmitted from the mobile phone 9 specified by the user 24 is an image, the image data is sent to the mobile phone 9 as it is. When the expression format of the signal transmitted from the mobile phone 9 specified by the user 24 is voice, the image recognition voice conversion unit 231 provided in the visual processing unit 217 converts the image data into voice information. When the expression format of the signal transmitted from the mobile phone 9 specified by the user 24 is a character, the image recognition character conversion unit 232 provided in the visual processing unit 217 converts the image data into character information.
[0041]
For example, the camera 1 captures the sign language of the user 24. The image recognition voice conversion unit 231 or the image recognition character conversion unit 232 recognizes the sign language and converts it into voice information or character information. More specifically, a method of extracting a hand shape, a movement, and the like from image data by image processing and automatically recognizing the content of the sign language is used. The image recognition voice conversion unit 231 or the image recognition character conversion unit 232 used here can be realized by using, for example, Japanese Patent Application Laid-Open No. 11-306316 (Sign Language Recognition Method, Sign Language Recognition Apparatus, and Recording Medium).
[0042]
In the present embodiment, image data captured by the camera 1 is used. However, a dedicated glove to which a sensor is attached may be prepared without using a camera, and the signal may be taken into the personal robot 100. Such an embodiment can be realized by using, for example, JP-A-5-241496 (sign language translator).
[0043]
There is a method of extracting lip movements from image data by image processing and automatically recognizing the contents of a story. The image recognition voice conversion unit 231 or the image recognition character conversion unit 232 used in such a method can be realized by using, for example, Japanese Patent Application Laid-Open No. 11-219421 (image recognition device and image recognition device method).
[0044]
According to the present embodiment, even if the user 24 is a deaf person, the user 24 can transmit the sign language from the mobile phone 9 as voice information or character information. In addition, the personal robot 100 can read the movement of the lips of the user 24 and transmit voice information or character information from the mobile phone 9.
[0045]
As shown in FIGS. 4 and 5, the personal robot 100 displays the voice information or character information received by the portable telephone 9 on the display 6 as character information, or outputs the voice information or character information from the speaker 2 as voice information. Can be. As shown in FIGS. 6 to 8, the personal robot 100 converts the utterance of the user 24, the input from the touch panel or the keyboard 7 by the user 24, the sign language or the movement of the lips, into voice information, image information or character information. Can be transmitted from the portable telephone 9. Further, the mobile phone 9 can be operated as an operation command. Therefore, according to the present embodiment, even if the user 24 is a physically handicapped person, an elderly person, or the like, it is possible to easily communicate / communicate with another person via the mobile phone 9.
[0046]
FIG. 9 is a conceptual diagram showing a state in which the hearing-impaired user 24 has a telephone conversation with the other party 34 using the personal robot 100 according to the above-described embodiment. The voice uttered by the other party 34 is transmitted as voice information from the mobile phone 91 to the mobile phone 9 and passed to the personal robot 100. The personal robot 100 converts the voice information into character information or a sign language image, and displays the character information or the sign language image on the display 6. The user 24 can understand the conversation content of the other party 34 by looking at the character information or the sign language image. Instead of presenting the sign language image to the user 24, it is also possible to provide an arm in the personal robot and express the sign language.
[0047]
In response to the conversation contents of the other party 34, the user 24 replies by voice, input from the touch panel or the keyboard 7, or sign language or lip movement. The voice is input from the microphone 3 of the personal robot 100, and the sign language or lip movement is input from the camera 1 of the personal robot 100. When the user 24 replies by voice, the voice is transmitted as voice information from the mobile phone 9 to the other party 34 via the mobile phone 91 as it is. When the user 24 replies by character input from the touch panel or the keyboard 7, the input content is converted into voice information, and when the user 24 replies in sign language, the content of the sign language is converted into voice information. When the user 24 responds with the movement of the lips, the movement of the lips is converted into voice information and transmitted from the mobile phone 9 to the other party 34 through the mobile phone 91. As described above, the personal robot 100 according to the present embodiment enables communication in a form in which voice information, character information, and image information are fused.
[0048]
The user 24 may instruct the personal robot 100 to convert the information received from the partner into any expression format and output the information, or to input the information to be transmitted to the partner in any expression format.
[0049]
FIG. 10 is a conceptual diagram showing an external view of a personal robot 300 according to another embodiment of the present invention and a usage form thereof. The personal robot 300 includes a base 303 and a head 304. The head 304 has a display 306, a camera 301, a speaker (not shown), and a microphone (not shown). The camera 301 is provided in a plane on which the display 306 is provided and near the display 306. Thereby, the camera 301 can capture an image existing in front of the screen of the display 306. The head 304 operates with the base 303 as a fulcrum. Thereby, the display 306 and the camera 301 can face up, down, left, and right. Further, the personal robot 300 is provided with a moving mechanism 308 at the bottom thereof, and can move freely in all directions.
[0050]
The personal robot 300 has a control device similar to the control device 200 shown in FIG. However, the personal robot 300 detects the face of the person based on the image data captured by the camera 1, then authenticates the user 24, and furthermore displays the character information on the display 306 in a position where the user 24 can easily read the information. And automatically provides a service menu suitable for the user 24.
[0051]
As a method of detecting the face of a person in the image data and authenticating that the face is the user 24, a subspace method and a mutual subspace method are used. The subspace method and the mutual subspace method are described in "Pattern Recognition and Subspace" by Erkki Oya (Sangyo Tosho), "Pattern Recognition Method" by Kenichi Maeda, Osamu Yamaguchi, and other "face recognition systems using moving images" ( IEICE Technical Report, PRMU97-50, 1997) or JP-A-60-57475. Further, the distance between the personal robot 300 and the user 24 is estimated from the data of the size of the face image and the average size of the face.
[0052]
The personal robot 300 according to the present embodiment turns the display 306 toward the face of the user 24 and moves to a position separated from the user 24 by a predetermined distance 35 (S112). Thereby, the personal robot 300 can display the character information and the like at a position that is easy for the user 24 to read.
[0053]
FIG. 11 is a conceptual diagram showing the operation of the personal robot 100 or 300 relating to the attachment / detachment of the mobile phone 9. While the user 24 is at home, the mobile phone 9 is always inserted into the holder 10 provided on the personal robot 100. While the user 24 is out, the mobile phone 9 is removed from the holder 10.
[0054]
When the mobile phone 9 is inserted into the holder 10, the personal robot 100 recognizes that the user 24 is at home. On the other hand, when the mobile phone 9 is detached from the holder 10, the personal robot 100 recognizes that the user 24 is out. Whether or not the mobile phone 9 is inserted into the holder 10 is checked by the mobile phone charge management unit 215.
[0055]
Thus, the personal robot 100 can provide different services depending on whether the user 24 is at home or when the user 24 is out.
[0056]
For example, when the user 24 is at home, the personal robot 100 is set to the home mode 40. The home mode 40 mainly provides services to the user 24, such as downloading and reproducing music, searching for information, and controlling home electric appliances. At this time, the mobile phone is also charged.
[0057]
On the other hand, when the user 24 is out of the office, the personal robot 100 is set to the absence mode 41. In the absence mode 41, security services such as visitor and telephone responses and indoor patrol monitoring are provided. The personal robot 300 can also provide these services.
[0058]
The above embodiment is an embodiment relating to a personal robot, but the present invention is not limited to a personal robot and can be implemented as various communication assisting devices.
[0059]
The systems disclosed in JP-A-2001-195113 and JP-A-2001-125585 are mainly equipped with a robot, and are equipped with a dedicated portable telephone for transmitting and receiving control signals for controlling the robot. However, the embodiment according to the present invention mainly assists a user in a call or communication by expanding a call / communication function of the portable telephone mainly.
[0060]
【The invention's effect】
ADVANTAGE OF THE INVENTION The communication assistance apparatus by this invention can provide a communication or a telephone call service in various expression forms to a user by the same simple operation as a portable telephone.
[Brief description of the drawings]
FIG. 1 is an external view of a personal robot 100 according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a control device 200 provided inside the personal robot 100.
FIG. 3 is a conceptual diagram showing a use form of transmission and reception of Internet information or electronic mail in the present embodiment.
FIG. 4 is a conceptual diagram showing an embodiment in which the personal robot 100 displays a call / communication signal received by the portable telephone 9 as characters.
FIG. 5 is a conceptual diagram showing an embodiment in which the personal robot 100 outputs a call / communication signal received by the portable telephone 9 as voice.
FIG. 6 is a conceptual diagram showing an embodiment in which voice information input to the microphone 3 is transmitted as a call / communication signal from the portable telephone 9 or received as an operation command of the portable telephone 9;
FIG. 7 is a conceptual diagram showing an embodiment in which information input from the touch panel or the keyboard 7 is transmitted from the portable telephone 9 as a call / communication signal or received as an operation command of the portable telephone 9;
FIG. 8 is a conceptual diagram showing an embodiment in which information input from the camera 1 provided on the head 4 is transmitted from the portable telephone 9 as a call / communication signal.
FIG. 9 is a conceptual diagram showing a state in which a user 24 who is deaf has a telephone conversation with a call partner 34 using the personal robot 100.
FIG. 10 is a conceptual diagram showing an external view of a personal robot 300 according to another embodiment of the present invention and a usage form thereof.
FIG. 11 is a conceptual diagram showing an operation of the personal robot 100 or 300 regarding attachment and detachment of the mobile phone 9;
FIG. 12 is a diagram showing a general configuration of a personal robot that provides some service to a user through interaction with the user.
FIG. 13 is a block diagram of a typical control device of the personal robot.
[Explanation of symbols]
100, 300 Personal robot
101 head
102 torso
1 camera
2 Speaker
3 microphone
5 arms
6 Display
7 Touch panel or keyboard
8 Moving mechanism
200 control device
211 Overall Management Department
212 Work Planning Department
213 Communication processing unit
214 arm / head control unit
215 Charge management unit for mobile phone
216 Data input / output management unit
217 Visual processing unit
218 Audio Processing Unit
219 Additional service function section
220 Moving mechanism control unit
221 Interface for mobile phone
222 Dictionary Data Storage

Claims

An interface connectable to a mobile phone,
A first signal conversion unit that converts a call signal or a communication signal received by the mobile phone into a first expression format recognizable by a user of the mobile phone;
An output unit for displaying or outputting the signal in the first expression format;
An input unit that can input a signal in a second expression format that can be input by a user;
A second signal conversion unit that converts the signal in the second expression format into the communication signal or the communication signal.

The communication assistant device according to claim 1, further comprising a control unit that controls an additional function of the portable telephone.

The signal of the first expression format is character information or image information,
2. The communication assisting device according to claim 1, wherein the output unit is a display that can display the signal of the first expression format larger than a display screen of the mobile phone. 3.

4. The communication assisting device according to claim 3, wherein the first signal conversion unit converts voice information including a call signal received by the mobile phone into text information or image information.

The signal in the first expression format is audio information,
The communication assistance device according to claim 1, further comprising a speaker capable of outputting the audio information at a volume higher than an audio output unit of the mobile phone.

The communication assistance device according to claim 5, wherein the first signal conversion unit converts character information or image information formed of a communication signal received by the mobile phone into voice information.

The signal of the second expression form is audio information based on a user's voice,
The call signal or communication signal transmitted by the mobile phone is audio information, character information, or image information,
The communication assistance device according to claim 1, wherein the input unit is a microphone for inputting voice information of a user.

The communication assistance device according to claim 7, wherein the second signal conversion unit converts audio information from the microphone into text information or image information.

The signal in the second expression format is character information input by a user,
The call signal or communication signal transmitted by the mobile phone is voice information, character information, or image information,
The communication assistance device according to claim 1, wherein the input unit is a touch panel or a keyboard on which a user of the mobile phone inputs characters.

The communication assistance device according to claim 9, wherein the second signal conversion unit converts character information from the touch panel or the keyboard into voice information or image information.

The signal in the second expression form is image information based on movement of the body of the user,
The call signal or communication signal transmitted by the mobile phone is voice information, character information, or image information,
The communication assistance device according to claim 1, wherein the input unit is a camera that inputs a user's gesture, sign language, or lip movement as image information.

The communication assistance device according to claim 11, wherein the second signal conversion unit converts image information from the camera into audio information or text information.

A charger for charging the mobile phone;
A holder capable of holding the mobile phone, the holder having the interface and the charger attached thereto,
The communication assistant device according to claim 1, wherein the mobile phone is connected to both the interface and the charger by inserting the mobile phone into the holder.

A sensor for detecting a distance between the user and the communication assist device;
The communication auxiliary device according to claim 1, further comprising: a moving mechanism configured to move the communication auxiliary device to a place where the distance is a predetermined distance and a user is suitable for input / output.

The input unit is a camera that inputs the movement of the body of the user as image information,
The output unit is a display capable of displaying the signal of the first expression format larger than a display screen of the mobile phone,
The camera detects the face of the user as the sensor, and further detects a distance between the face of the user and the communication assist device,
15. The communication assisting device according to claim 14, further comprising: a moving mechanism for moving the communication assisting device to a location where the distance between the user's face and the display is a predetermined distance and the user is suitable for input / output.

Further comprising a holder capable of holding the mobile phone, the holder having the interface and the charger attached thereto,
Operate in home mode when the mobile phone is inserted into the holder,
The communication assistant device according to claim 1, wherein the mobile phone operates in the absence mode when the mobile phone is removed from the holder.

Further comprising a holder capable of holding the mobile phone, the holder having the interface and the charger attached thereto,
The communication according to claim 1, wherein when the mobile phone is inserted into the holder, information about a user of the mobile phone is acquired from the mobile phone, and an operation suitable for the user is performed. Auxiliary equipment.