JP2005056170A - Interactive operation supporting system - Google Patents

Interactive operation supporting system Download PDF

Info

Publication number
JP2005056170A
JP2005056170A JP2003286651A JP2003286651A JP2005056170A JP 2005056170 A JP2005056170 A JP 2005056170A JP 2003286651 A JP2003286651 A JP 2003286651A JP 2003286651 A JP2003286651 A JP 2003286651A JP 2005056170 A JP2005056170 A JP 2005056170A
Authority
JP
Japan
Prior art keywords
character
user
means
name
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003286651A
Other languages
Japanese (ja)
Inventor
Hitoshi Araki
Hiroteru Kawasaki
Keiichi Senda
Tadashi Yoshida
Masato Yuda
圭一 仙田
直史 吉田
剛照 川崎
正人 湯田
均 荒木
Original Assignee
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Ind Co Ltd, 松下電器産業株式会社 filed Critical Matsushita Electric Ind Co Ltd
Priority to JP2003286651A priority Critical patent/JP2005056170A/en
Publication of JP2005056170A publication Critical patent/JP2005056170A/en
Application status is Pending legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an interactive operation supporting system to operate household electric appliances or information apparatuses according to an intuitive instruction without complicating a command uttered by a user. <P>SOLUTION: A plurality of characters are arranged on a picture, and certain functions owned by household electric appliances or information apparatuses are associated with respective characters, and presented to a user. Then, the user is able to view the displayed characters in order to start the operation of the household electric appliances or information apparatuses by calling the names of virtual agents present in the apparatuses. Also, it is possible for the user to select his or her desired function from a plurality of functions owned by the apparatuses according to an intuitive instruction such as the name of characters. Thus, it is possible to prevent the command uttered by the user from being complicated. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、複数の機能を有する各種家電機器や情報機器に対するユーザの操作を支援する、キャラクタエージェントを用いた対話型操作支援システムに関するものである。 The present invention assists the user operation to various home appliances and information equipment having a plurality of functions, it relates to an interactive operation support system using character agents.

従来、テレビ受像機などの各種家電機器や携帯電話などの各種情報機器に用いられるインタフェースとしては、リモコンやタッチパネルなどを介して画面に表示された操作メニューを選択する方法や、アイコンと呼ばれる絵文字を指定する方法が主流である。 Conventionally, as an interface used for various information devices such as various home appliances and mobile phones, such as a television receiver, a method of selecting an operation menu displayed on the screen via the remote controller or a touch panel, a pictogram called icons how to specify is the mainstream.

一方、近年の情報処理技術の向上に伴い、各種家電機器の機能は高機能化の一途をたどっている。 On the other hand, with the recent improvement in information processing technology, the function of various home appliances is steadily higher functionality. たとえばテレビの例では、それまでのアナログ放送からデジタル放送に変化することによって、多チャンネル放送の受信が可能となったり、データ放送の受信や、双方向通信によるユーザ参加型放送の受信が可能となったりといったような例がある。 In the example of TV, by changing the digital broadcasting from analog broadcasting to it, or reception enabled multi-channel broadcast, reception of data broadcast, and capable of receiving user participation type broadcast by two-way communication there are examples, such as is or.

このような高機能を有する機器を操作するとき、前述のリモコンやタッチパネルなどのいわゆる手先操作によるインタフェースでは、画面に表示する操作メニューの数を増加させるか、あるいは一度に表示する操作メニューの数を少なく限定するかわりに機能階層を深くするなどの対応がとられてきた。 When operating the device having such a high performance, the number of operation menu in the interface according to the so-called hand operation such as the aforementioned remote controller or a touch panel, or to increase the number of operation menu to be displayed on the screen, or to be displayed at one time measures such as to deepen the function hierarchy in place to reduce limit have been taken. しかしながら、操作メニューの数が増加した場合、ユーザは提示された数多くのメニュー項目の中から希望する機能を探し出す必要があり、操作が煩雑になるという問題が生じる。 However, if the number of operation menu is increased, the user needs to find a desired function from among many menu items presented a problem that the operation becomes complicated arises. また、機能階層を深くすれば同時に提示される選択肢の数は減るものの、目的の機能に到達するまでに深い機能階層をたどらなければならず、やはり操作が煩雑になるという問題が生じる。 Although it reduced the number of choices presented simultaneously if deep functional hierarchy must follow a deep functional hierarchy until it reaches the desired functionality, also a problem that the operation becomes complicated arises.

そこで、最近ではキャラクタをディスプレイに表示させ、ユーザがディスプレイ上のキャラクタと会話を行う形式で機器の操作を行う対話型操作支援システムが提案されている。 Therefore, recently, to display characters on the display, the user is proposed an interactive operation support system for the operation of a device in a format that performs character conversation on the display. このシステムによれば、ユーザの発した音声を機器側が認識し、その認識結果に基づいてユーザの要求を解析することで機器の操作が可能となることから、ユーザは多数の操作メニューの中から所望する選択肢を探す手間や深い機能階層をたどる手間が不要となり、機器操作時の負荷を軽減することが出来る。 According to this system, the sound produced by the user recognized by the apparatus side, since it becomes possible operation device by analyzing the user's request on the basis of the recognition result, the user from a large number of operation menu effort to follow the labor and deep function hierarchy to find the desired option is not required, it is possible to reduce the load at the time of equipment operation.

たとえば、特許文献1によれば、自然言語に近い命令体系を備え、また、応答時間を要する処理をユーザが命令した場合に、機器の進行状況をユーザにフィードバックすることでユーザの不安を生じさせないようにした対話型操作支援システムである。 For example, according to Patent Document 1, it includes a command system close to natural language, also in the case where the process requiring a response time user commanded not cause anxiety of the user by feeding back the progress of the device to the user is an interactive operation support system which is adapted. これによれば、ディスプレイ上に出現したアシスタントとの対話に基づいて、ユーザが不安を感じることなく機器を容易に操作することが可能となる。 According to this, on the basis of the dialogue with emerging assistant on the display, and the user can easily operate the equipment without feeling anxiety.
特開2002−41276号公報 JP 2002-41276 JP

一方で、機器のネットワーク化が進み、各種機器はそれまでの単独の機能を有する専用機としてだけでなく、多様な機能を持った複合機としての側面をもち始めている。 On the other hand, advances the network of devices, various devices not only as a dedicated machine having a single function of far, are beginning to have a side surface of the complex machine having various functions. たとえば携帯電話は、常に携行しておりいつでも使えるという便利さから、単なる電話としての機能以外にも、メール送受信機能や写真撮影機能、さらには外出先から自宅にあるビデオ録画装置に録画予約の指示を出す機能など、多種多様な機能を有するにいたっている。 For example, a mobile phone, from the convenience of always carrying at any time available and, in addition to function as a mere phone call, e-mail transmission and reception functions and photography function, and further indication of the recording reservation from the road to the video recording devices in the home such as the ability to issue, it has come to have a wide variety of functions. また家庭内においては、家庭内の情報を集約するホームサーバの研究がなされており、これによれば、空調装置の操作から施錠状態の確認、冷蔵庫に保存されている食品の確認など家庭内のあらゆる機器の操作を、1台の端末から操作できるようになることが想定されている。 Also in the home, study of the home server that aggregates the information in the home have been made, according to this, the confirmation of the locked state from the operation of the air conditioner, the check, such as in the home food that has been stored in the refrigerator the operation of any device, it becomes possible to operate from a single terminal is assumed.

このように多数の機能を持った機器を操作するためには、音声コマンドであってもまず機能を特定するための命令を発声する必要がある。 To operate the device having such a large number of functions, it is necessary to vocal instructions to identify even first feature a voice command. たとえば、スケジュール管理機能とテレビ番組案内機能といった機能を持った情報端末を操作する際、「明日の8時は?」といった命令だけではそれがスケジュール管理機能に対する命令なのかテレビ番組案内機能に対する命令なのかを識別することができず、機能名称を付加した命令(「明日の8時のスケジュールは?」や「明日の8時のテレビ番組は?」など)をユーザに発声させる必要がある。 For example, when operating the information terminal having a function, such as schedule management function and the TV program guide function, only instructions such as "is o'clock tomorrow of 8?" Sounds instruction for it instructions of how television program guide function for the schedule management function it is not possible to identify whether, function instruction obtained by adding the name ( "tomorrow's 8 o'clock in the schedule?" and "tomorrow's 8 o'clock television program?", etc.) is required to be speaking to the user.

しかしながら、ユーザに発声させる命令長を長くすると、ユーザが発声すべき内容が煩雑となり、さらにはユーザが命令を忘れてしまう可能性が高く「まず何を話し始めたらよいか分からない」といった状況が発生することが予想される。 However, increasing the instruction length to be speaking to the user, the user becomes complicated contents to be uttered, and even a situation such as a high possibility that the user forgets the instruction "First of all do not know what to do began to talk." It is expected to occur.

本発明の目的は、多数の機能を持った情報機器に対するユーザ操作を対話的に操作することができ、複雑な操作の機器に対してもユーザの発声する命令を複雑なものにすることなく、直感的な命令により機器の操作を行うことができる対話型操作支援システムを提供することにある。 An object of the present invention, a user operation on the information device having a large number of functions can be operated interactively, without instructions for user utterances complicate things even for equipment of complex operations, intuitive instruction is to provide an interactive operation support system can operate the equipment.

かかる目的を達成するために、本発明の請求項1にかかる対話型操作支援システムは、表示手段と、キャラクタ画像を生成して、表示手段を介してユーザにキャラクタを提示するキャラクタ制御手段と、音声出力手段と、キャラクタが話す言葉を音声合成して、音声出力手段を介して外部出力する出力音声制御手段と、音声入力手段と、音声入力手段を介して入力されたユーザの声を音声認識する入力音声認識手段と、複合機器が有する機能グループ別に個々に対応付けされたキャラクタの名称を記憶する名称記憶手段と、入力音声認識手段により取得したユーザの言葉に、名称記憶手段で保持しているキャラクタの名称を含むかどうかを判定し、含む場合は機器の有する複数の機能の中からキャラクタの名称に対応する機能を選択する機能 To achieve the above object, the interactive operation support system according to claim 1 of the present invention includes a display unit, a character control means for generating the character image, presents the characters to the user through the display means, and voice output means, the word character speaks to speech synthesis, speech recognition and output sound control means for externally output via an audio output unit, a voice input unit, the user's voice input through the voice input means an input speech recognition means for a name storage means for storing the name of the associated individually by functional groups that complex equipment having characters, the words of the user acquired by the input voice recognition unit, held in the name storage means function to determine whether to include the name of the character, if containing selecting a function corresponding to the name of the character from among a plurality of functions of the device are 択手段と、入力音声認識手段により取得したユーザの言葉により、機能選択手段を介して機器の機能を選択させ、選択された機能に基づいてキャラクタの言葉と動作を決定する中央制御手段とを具備することを特徴とする対話型操作支援システムである。 Comprising a-option means by the words of the user acquired by the input speech recognition means, through the function selecting means to select the function of the device, and a central control means for determining the behavior and words of the character based on the selected function an interactive operation support system, characterized by.

また、請求項2にかかる対話型操作支援システムは、キャラクタ制御手段が、複数体のキャラクタ画像を生成し、表示手段に複数体のキャラクタ画像が同時に出現することを特徴とする対話型操作支援システムである。 Also, interactive operation support system according to claim 2, character control means, interactive operation support system, characterized in that to generate a character image of a plurality of bodies, a character image of a plurality of bodies on the display unit appear simultaneously it is.

また、請求項3にかかる対話型操作支援システムは、入力音声認識手段により取得したユーザの言葉に、名称記憶手段が保持しているキャラクタの名称が含まれる場合、中央制御手段が、キャラクタの名称に対応するキャラクタの動作を変更するようにキャラクタ制御手段に指令を出すことを特徴とする対話型操作支援システムである。 Also, interactive operation support system according to claim 3, the words of the user acquired by the input speech recognition means, if it contains the name of the character name storage means holds, the central control unit, the name of the character an interactive operation support system characterized by issuing a command to the character control means to change the behavior of the corresponding character.

また、請求項4にかかる対話型操作支援システムは、中央制御手段が、キャラクタの話す言葉として、キャラクタの名称に対応する機能に関する説明を設定することで、キャラクタによるヘルプ機能を実現することを特徴とする対話型操作支援システムである。 The feature interactive operation support system according to claim 4, the central control means, as a word speaking character, by setting the description of the function corresponding to the name of the character, to realize a help function by character it is an interactive operation support system that.

また、請求項5にかかる対話型操作支援システムは、さらに名称記憶手段が保持しているキャラクタの名称と機能グループとの対応を変更するための名称変更手段を備え、ユーザの好みに合わせてキャラクタの名称を変更できるようにしたことを特徴とする対話型操作支援システムである。 Also, interactive operation support system according to claim 5, further comprising renaming means for changing a correspondence between names and functions group of characters name storage means holds, according to the user's preference character an interactive operation support system characterized in that to be able to change the name.

本発明の対話型操作支援システムは、以上の説明の構成により、多数の機能を持った情報機器に対するユーザ操作を対話的に操作することができ、複雑な操作の機器に対してもユーザの発声する命令を複雑なものにすることなく、直感的な命令により機器の操作を行うことが可能となる。 Interactive operation support system of the present invention, the configuration of the above description, a user operation on the information device having a number of functional interactively can operate, user utterances against equipment complex operations without instructions to complicate things, it is possible to operate the device intuitive instructions.

以下、本発明の実施例を図面に基づいて説明する。 DETAILED DESCRIPTION OF THE PREFERRED embodiment of the present invention with reference to the drawings.

(実施の形態1) (Embodiment 1)
図1は本発明の実施例にかかる対話型操作支援システムのハードウェア全体構成を示す図である。 Figure 1 is a diagram showing a hardware overall structure of the interactive operation support system according to an embodiment of the present invention. 該システムは、たとえばスケジュール管理機能とテレビ番組案内機能、メール送受信機能を搭載した情報機器として構成され、対話型操作支援システムは、ディスプレイに表示されたキャラクタと対話を行うことにより、スケジュール管理機能・テレビ番組案内機能・メール送受信機能の各機能を提供することが出来るようにしたものである。 The system, for example, schedule management function and the TV program guide function, is configured as an information device equipped with e-mail transmission and reception function, interactive operation support system, by carrying out the dialogue and character that has been displayed on the display, schedule management functions and it is what has to be able to provide the functions of the TV program guide function and e-mail transmission and reception functions. 以下、図1を参照しながら各部について説明する。 Hereinafter, each component will be described with reference to FIG.

中央制御部10は、各種制御プログラムや制御データに従って対話型操作支援システム1の各部を制御する中央演算装置である。 Central control unit 10 is a central processing unit that controls each unit of the interactive operation support system 1 according to various control programs and control data.

記憶装置50は、磁気ディスクや光ディスクなど大量のデータが記憶可能なもので、この記憶装置50の中には、本発明にかかる対話型操作支援システムを実行するための制御プログラムや制御データが格納されている。 Storage device 50 is intended large amount of data such as a magnetic disk or optical disk capable of storing, among the storage device 50, stores control programs and control data for performing interactive operations support system according to the present invention It is. 制御プログラムの具体例としては、対話型操作支援システム1全体を包括的に制御するオペレーティングシステムOSのプログラムや、音声データを文字データに変換する音声認識プログラム、文字データを音声データに変換する音声合成プログラム、キャラクタの表情表現や動作を制御するキャラクタアニメーション制御プログラム、キャラクタの発声する内容や発声の抑揚を制御するキャラクタ音声制御プログラム、ディスプレイを介してキャラクタを画面出力する画面出力制御プログラム、スピーカを介してキャラクタ音声を出力する音声出力制御プログラム、対話型操作支援システムが提供する複数の機能の中からユーザが所望する機能に切り替える機能選択プログラム、などがある。 Specific examples of the control program, interactive operation support and programs of the operating system OS of the system 1 to comprehensively control the overall speech recognition program to convert the audio data into text data, speech synthesis to convert the text data into voice data through program character animation control program for controlling the expression expressions and movement of the character, content and voicing the character sound control program for controlling the intonation, screen output control program for screen output characters through the display uttered character, a speaker the audio output control program for outputting the character's voice Te, function selection program that the user from a plurality of functions that interactive operation support system provides switches to the desired function, and the like. また、制御データの具体例としては、キャラクタ画像を生成するためのキャラクタ画像データ、キャラクタの表情および動作のアニメーションを生成するためのキャラクタアニメーションデータ、キャラクタの話す内容を定義した発話内容データ、ユーザが音声により入力すべき操作コマンドを定義した操作コマンドデータ、などがある。 Specific examples of the control data, character image data for generating the character image, character animation data for generating a character expression and behavior of the animation, speech contents data defining the content speaking character, the user operation command data defining the operation command to be input by voice, and the like.

さらに、図1に示すような対話型操作支援システム1のように、スケジュール管理機能とテレビ番組案内機能とメール送受信機能を搭載した情報機器として構成される場合は、記憶装置50に格納される制御プログラムの例として、ユーザのスケジュールデータを保持してディスプレイを介してユーザにスケジュールデータを提示するためのスケジュール管理制御プログラム、インターネットなどの広域ネットワーク60を介して番組表配信サーバ70からテレビ番組表データを取得するための番組表データ取得プログラム、広域ネットワーク60により接続されたメールサーバ80を介してメールの送受信を行うメール送受信プログラムなどが含まれる。 Furthermore, as the interactive operation support system 1 shown in FIG. 1 the control, when configured as an information device equipped with the schedule management function and a television guide functions and mail transmission and reception function, stored in the storage device 50 examples of program, schedule management control program for holding the schedule data of the user presents the schedule data to the user via the display, television listings data from program guide distribution server 70 via the wide area network 60 such as the Internet program guide data acquiring program for acquiring, and the like mail sending and receiving program to send and receive mail via the mail server 80 connected by a wide area network 60. また、制御データの例として、カレンダーの日付データやユーザのスケジュールデータ、番組表配信サーバ70から取得した番組表データ、ユーザが過去に送受信したメール文章やメールのあて先を記録したアドレス帳などからなるメールデータ、などが含まれる。 In addition, as an example of the control data, and the like date schedule data of the data and the user, the program guide data obtained from the program guide delivery server 70, an address book that the user has recorded the e-mail text and e-mail address sent and received in the past of the calendar E-mail data, and the like.

ディスプレイ40はプラズマディスプレイや液晶ディスプレイなど、キャラクタ画像をユーザに提示することのできるものである。 Display 40 is one that can be presented, such as a plasma display or a liquid crystal display, the character image to the user. 図1に示す対話型操作支援システム1の例では、ディスプレイ40が表示する内容の例として、キャラクタ画像のほかに、テレビ番組表やユーザのスケジュール一覧、メールの文章などが表示される。 In the example of interactive operation support system 1 shown in FIG. 1, as an example of the contents of the display 40 to display, in addition to the character image, schedule list of TV listings and a user, such as e-mail text is displayed.

さらに、本発明にかかる対話型操作支援システム1の記憶装置50には、図2に示すように、キャラクタの名称と操作支援システムが提供する機能とを1対1に対応付けたキャラクタ名称データを保持している。 Furthermore, the storage device 50 of the interactive operation support system 1 according to the present invention, as shown in FIG. 2, the character name data which associates the function provided by the operation support system name of the character in a one-to-one keeping. キャラクタ名称データの例としては図2に示すように、ID番号0番のテレビ番組案内機能に対応するキャラクタ名称として名称ID番号0番の「奈々子」がわりあてられており、ID番号1番のスケジュール管理機能に対応するキャラクタ名称として名称ID番号1番の「隆史」がわりあてられており、ID番号2番のメール送受信機能に対応するキャラクタ名称として名称ID番号2番の「拓也」がわりあてられている、といった具合である。 As shown in FIG. 2 as an example of the character name data, and the name ID number 0 of "Nanako" allocated as a character name corresponding to the television program guide functions ID number 0, ID number 1 Schedule management function is assigned a "Takashi" in the name ID number 1 as a character name that corresponds to, "Takuya" in the name ID number 2 as a character name corresponding to the e-mail transmission and reception functions of the ID number 2 is assigned it is, and so on.

図3は、本発明の実施例の対話型操作支援システム1のシステム構成を示す機能ブロック図である。 Figure 3 is a functional block diagram showing the system configuration of the interactive operation support system 1 of the embodiment of the present invention.

図3に示されるように対話型操作支援システム1は、表示手段101と、キャラクタ制御手段102と、音声出力手段103と、出力音声制御手段104と、音声入力手段105と、入力音声認識手段106と、名称記憶手段107と、機能選択手段108と、中央制御手段109と、名称変更手段110と、からなる。 Interactive operation support system 1 as shown in FIG. 3 includes a display unit 101, a character control section 102, an audio output unit 103, an output sound control unit 104, a voice input unit 105, the input speech recognizer 106 When a name storage means 107, a function selection unit 108, the central control unit 109, a name changing section 110, made of. 図3の例では、さらに、テレビ番組案内手段201と、スケジュール管理手段202と、メール送受信手段203とを具備することによって、スケジュール管理機能、テレビ番組案内機能、メール送受信機能の各機能を対話型操作支援システムが提供できるようにしたものであり、これら各機能は他の機能(例えばビデオ録画機能など)を実現するための手段であってもかまわない。 In the example of FIG. 3, further, a television guide means 201, the schedule management unit 202, by and a mail transmitting and receiving unit 203, a schedule management function, a television program guide functions, interactive each function of mail transmission and reception function are those operation support system has to be able to provide, each of these functions may be a means for realizing the other function (e.g., a video recording function, etc.).

表示手段101は、ユーザが対話的な操作を行う際にユーザとの対話の相手になるキャラクタを表示する。 Display means 101, the user displays a character to become a dialogue partner and the user when performing interactive operations. また、テレビ番組案内手段201がテレビ番組表一覧を表示する場合や、スケジュール管理手段202がスケジュール一覧を表示する場合など、対話型操作支援システム1が提供する各機能がユーザに情報を提示する場合も表示手段101により表示する。 In addition, if the TV program guide means 201 or if you want to display a list of TV listings, such as when the schedule management means 202 to display the schedule list, each feature interactive operation support system 1 is provided to present information to the user also displayed by the display means 101. 具体的には、ディスプレイ装置40がこの表示手段101に該当する。 Specifically, the display device 40 corresponds to the display unit 101.

キャラクタ制御手段102は、あらかじめ保持しているキャラクタ画像データとキャラクタアニメーションデータとからキャラクタ画像を生成して、表示手段101を介してユーザにキャラクタを提示する。 Character control unit 102 generates a character image from the character image data and character animation data stored in advance, and presents the character to the user through the display unit 101. キャラクタ制御手段102は、中央制御手段109の指示により、単体のキャラクタ画像制御だけでなく、複数のキャラクタ画像を同時に生成したり、複数のキャラクタ画像を同時に表示しているときに特定のキャラクタだけの動作を変更したりといった複数キャラクタ画像制御も行う。 Character control unit 102, an instruction of the central control unit 109, not only the single character image control, or to generate a plurality of character images at the same time, only certain characters while viewing a plurality of character images at the same time performing the plural character image control such or change the behavior. 具体的には、記憶装置50が記憶しているキャラクタ画像データ、キャラクタアニメーションデータと中央制御部10による演算処理により、キャラクタ制御手段102が構成される。 Specifically, the character image data storage device 50 has stored, the arithmetic processing by the character animation data and the central control unit 10, character control unit 102 is constituted. さらに具体的には、キャラクタ画像データとはキャラクタの3次元形状を記述したものであり、キャラクタを構成する頂点座標や色などのデータなどが保持されている。 More specifically, the character image data and a description of the three-dimensional shape of the character, such as data, such as vertex coordinates and colors composing the character is retained.

またキャラクタアニメーションデータは、時間軸に対してキャラクタを構成する頂点座標がどのように変化するかを記述したものであり、キャラクタの顔表情変化(喜んでいる顔、悲しんでいる顔など)や口形状の変化(「あ」を発声しているときの口形状、「い」を発声しているときの口形状など)、さらにキャラクタの動作(手を上げる、歩くなど)を頂点座標の変化として保持している。 The character animation data, which describes how the vertex coordinates how changes constituting a character with respect to the time axis, (face are willing, such as a face that sad) character of the facial expression changes and mouth change in shape (mouth shape when an utterance of "a", such as the mouth shape when an utterance of "I"), further (increase the hand, walking, etc.) operation of the character as a change in the vertex coordinates keeping. これらキャラクタ画像データ、キャラクタアニメーションデータは、複数キャラクタ分だけ記憶されており、中央制御手段109が、描画したいキャラクタと、そのキャラクタに適用したいアニメーションを指定することで、キャラクタ制御手段102がアニメーション付のキャラクタ画像を生成する。 These character image data, character animation data is stored by a plurality character content, the central control unit 109, and the character to be drawn, by specifying the animation to be applied to the character, character control means 102 is attached animation generating a character image.

音声出力手段103は、キャラクタが発声する言葉を音声としてユーザに提示する。 The audio output unit 103 presents to the user as a voice the words character speaks. 具体的には、スピーカ20が相当する。 Specifically, corresponding speaker 20.

出力音声制御手段104は、キャラクタの話す内容を定義した発話内容データを、音声出力手段103を介して音声としてユーザに提示するための音声データを生成する。 Output audio control means 104, a speech content data that defines the content to speak of characters, it generates audio data for presentation to the user as a voice via the audio output unit 103. 出力音声制御手段104は、中央制御手段109の指示により、話す速度を変更したり、話の抑揚を変更したりといったように、単調な音声データの生成だけでなく変化を付けた音声データを生成も行う。 Output audio control unit 104, an instruction of the central control unit 109 to change the rate to speak, as such change the intonation of talk, generates audio data with the change not only the generation of monotonous voice data It is also performed. 具体的には、記憶装置50が記憶しているキャラクタ発話内容データと中央制御部10による演算処理により出力音声制御手段104が構成される。 Specifically, the output sound control unit 104 is configured with an arithmetic processing by the character speech contents data and the central control unit 10 for the storage device 50 has stored. さらに具体的には、キャラクタの話す内容はテキスト形式で複数記憶されており、中央制御手段109によって選択されたキャラクタの発話内容を、既存の音声合成手法を用いて音声データを生成する。 More specifically, what speaking character is plural stored in text format, the speech content of the character selected by the central control unit 109, generates audio data by using the existing voice synthesis techniques.

音声入力手段105は、ユーザの話す声を音声入力信号として対話型操作支援システムに取得するものである。 Voice input means 105 is for acquiring a voice speaking the user interactive operation support system as a sound input signal. 具体的には、マイク30が相当する。 Specifically, corresponding microphone 30.

入力音声認識手段106は、音声入力手段105を介して取得した音声入力信号をテキスト形式に変換して、ユーザが発話した内容の解析処理をおこなう。 Input speech recognition means 106 converts the audio input signal obtained through the voice input unit 105 into text format, performs analysis processing of the content uttered by a user. 具体的には、記憶装置50が記憶している音声認識プログラムと中央制御部10による演算処理により、入力音声認識手段10が構成される。 Specifically, the arithmetic processing by the speech recognition program and a central control unit 10 for the storage device 50 has stored, the input speech recognition means 10 constituted. より具体的には、音声認識プログラムは、いわゆる音素解析(音と文字との関係を明らかにする)だけでなく、既存の自然言語解析手法としてよく知られるような、形態素解析(単語や品詞の語形変化や並び方を明らかにする)や構文解析(語や文節からなるまとまり同士の関係を明らかにする)を行う手法を用いてもよい。 More specifically, the voice recognition program, the so-called phoneme analysis (to clarify the relationship between the sound and the character) as well, such as well-known as an existing natural language analysis technique, morphological analysis (word or part of speech of the inflections and the arrangement reveal) and parsing (to clarify the relationship of unity with each other consisting of a word or phrase) may be used a method to perform.

名称記憶手段107は、対話型操作支援システム1によって提供される複数の機能に対し各々対応付けされたキャラクタの名称を記憶する。 Name storage unit 107 stores each associated has been the name of a character for a plurality of functions provided by the interactive operation support system 1. 具体的には、記憶装置50が記憶するキャラクタ名称が相当し、その内容は図2に示すように、ID番号0番のテレビ番組案内機能に対応するキャラクタ名称として名称ID番号0番の「奈々子」がわりあてられており、ID番号1番のスケジュール管理機能に対応するキャラクタ名称として名称ID番号1番の「隆史」がわりあてられており、ID番号2番のメール送受信機能に対応するキャラクタ名称として名称ID番号2番の「拓也」がわりあてられている、といった具合である。 Specifically, corresponds a character name storage device 50 stores, its contents, as shown in FIG. 2, the name ID number 0 as a character name corresponding to the television program guide functions ID number 0 "Nanako "is assigned, is assigned a" Takashi "in the name ID number 1 as a character name that corresponds to the schedule management function of the ID number 1, as a character name corresponding to the e-mail transmission and reception functions of the ID number 2 name ID number 2 of "Takuya" is assigned, and so on.

機能選択手段108は、ユーザが発話した内容の中に名称記憶手段107が記憶しているキャラクタの名称が含まれるかどうかを判定し、もし含まれている場合は、対話型操作支援システム1によって提供される複数の機能の中から、キャラクタ名称に対応する機能を選択する。 Function selection means 108 determines whether the name storage means 107 in the content uttered by a user is included the name of the character that is stored, if it contains if the interactive operation support system 1 from a plurality of functions provided, it selects a function corresponding to the character name. 具体的には、記憶装置50が記憶している機能選択プログラムと中央制御部10による演算処理により、機能選択手段108が構成される。 Specifically, the arithmetic processing by the function selection program and the central control unit 10 for the storage device 50 has stored, function selection means 108 is constituted.

中央制御手段109は、入力音声認識手段106により取得したユーザの発話内容から機能選択手段108に対し機能選択を指示し、対話型操作支援システム1が提供する機能のうち選択された機能を起動する。 Central control means 109 instructs the function selection to function selection means 108 from the speech content of the user acquired by the input voice recognition unit 106, activates the selected function among the functions interactive operation support system 1 is provided . また、あらかじめ保持している機器の操作コマンドをもとに、ユーザの発話内容に対応する機器の操作コマンドを抽出する。 Further, based on the operation command of the equipment stored in advance, it extracts the operation command device corresponding to the contents of the user's utterance. また、操作コマンドの内容に従ってキャラクタの動作を決定し、キャラクタ制御手段102に対しキャラクタ動作を変更させるような指示を出す。 Also, the operation of the character is determined according to the content of the operation command instructs that changing the character movement to character control unit 102. また、操作コマンドの内容に従ってキャラクタの発話内容を決定し、出力音声制御手段104に対し、出力する音声データを作成するような指示を出す。 Further, the speech content of the character determined according to the content of the operation command, to output sound control unit 104, it instructs so as to create an output audio data.

図12は、この実施例の動作の全体の流れを示したフローチャートである。 Figure 12 is a flow chart showing the overall flow of the operation of this embodiment.

まず、ユーザが発話した内容は、音声入力手段105を介して音声入力信号としてシステムに入力された後、入力音声認識手段106がテキスト形式の発話内容に変換する(S10)。 First, the content uttered by a user, after being entered into the system as a sound input signal via an audio input unit 105, the input speech recognizer 106 converts the speech content of the text (S10). 次に、中央制御手段109は機能選択手段108に対し、対話型操作支援システム1が提供する複数の機能の中からユーザの発話内容に相当する機能を選択するよう指示を出すが、このとき機能選択手段108はまず、ユーザの発話内容の中に名称記憶手段107が記憶しているキャラクタ名称と一致する名称が含まれるかどうかを判定し(S20)、もし含まれている場合は(S20でYES)、そのときの名称に対応する機能を選択するために、その機能IDを記憶する(S30)。 Then, to the central control unit 109 function selector 108, but instructs to select a function interactive operation support system 1 is equivalent to the contents of the user's utterance from a plurality of functions to be provided, functions at this time selection means 108 first, if the name storage means 107 in the speech content users to determine if it contains a name that matches the character name that has been stored (S20), are included if at (S20 YES), in order to select a function corresponding to the name of that time, and stores the function ID (S30). 次に、中央制御手段109は、あらかじめ中央制御手段109が保持している操作コマンド一覧を参照して、ユーザが発話した内容の中に、現在選択中の機能に対する操作コマンドが含まれているかどうかを判定する(S40)。 Next, whether the central control unit 109 refers to the operation command list beforehand central control unit 109 holds, in the content uttered by a user, it includes an operation command for the function of the currently selected determining (S40).

図13に、中央制御手段109が保持している操作コマンド一覧の例を示す。 Figure 13 shows an example of an operation command list the central control unit 109 holds.

この例では、機能ID番号0番〜2番の機能(テレビ番組案内機能、スケジュール管理機能、メール送受信機能)それぞれについて有効な操作コマンドの一覧を示している。 In this example, the function of the function ID number 0 to 2 No. (TV program guide function, schedule management function, mail transmitting and receiving function) for each are shown a list of valid operation command. 具体的にはテレビ番組案内機能は操作コマンドとして「明日の9時は?」「一覧見せて」「おすすめは?」などの音声コマンドを受け付けることを示しており、メール送受信機能は操作コマンドとして「メールみせて」「メール出したい」などの音声コマンドを受け付けることを示している。 More specifically, shows that accepts voice commands, such as a television program guide function "is o'clock tomorrow of 9?" As an operation command "Show me the list," "recommend?", E-mail transmission and reception function is as an operation command " E-mail show me "," it has shown that accepts voice commands, such as to put out mail ". なお、ここでは説明を容易にするために複数の文節からなるような比較的長い操作コマンドを例として列挙したが、実際には自然言語解析するために必要となる形態素毎の情報などを保持しておき、それらの組合せにより有効な操作コマンドが構成されるようにしておく。 Here, has been cited as an example a relatively long operation command such that a plurality of clauses to facilitate explanation, actually holds morpheme every information needed to natural language analysis advance, kept as a valid operation command is constituted by a combination thereof. 中央制御手段109は、この操作コマンド一覧を参照して、発話内容の中に現在選択されている機能IDが受け付ける操作コマンドが含まれるかどうかを判定する。 Central control means 109 determines whether the operation command with reference to the list, function ID that is currently selected in the utterance contents include operation command accepted. もし操作コマンドが含まれているなら(S40でYES)、現在選択中の機能に対しその操作コマンドを実行するよう指示を出す(S50)。 If you are if contains operational command (YES at S40), it issues an instruction to perform the operation command to the function of the currently selected (S50). 具体的には、現在テレビ番組案内機能が選択されている場合は、テレビ番組案内手段201に対して、ユーザが発話した操作コマンド(一覧みせて、など)を実行するよう指示を出す。 Specifically, when the television guide functions is currently selected, the television program guide means 201, a user operation command uttered instructs to execute (showed list, etc.).

次に中央制御手段109は、あらかじめ保持しているキャラクタのアニメーションデータと発話内容データから、ユーザが発話した操作コマンドに対応したアニメーションと発話内容を選択し、キャラクタ制御手段102および出力音声制御手段104に対して、キャラクタ画像の生成および音声データの生成を指示することで、キャラクタ画像および音声がユーザに提示される(S60)。 Then the central control unit 109, the animation data and the speech contents data of the character stored in advance, select the animation and speech contents corresponding to the operation command uttered by a user, character control unit 102 and the output sound control unit 104 respect, by instructing the generation and production of the audio data of the character image, a character image and sound are presented to the user (S60).

本発明の実施例にかかる対話型操作支援システム1の実際の動作例を説明するために、図を用いて具体例を挙げながら説明する。 To illustrate the actual operation example of the interactive operation support system 1 according to an embodiment of the present invention will be described with a specific example with reference to FIG.

図4は、対話型操作支援システム1を起動した直後や、機器が動作を行っていないアイドル状態にあるときに、表示手段101によってユーザに提示される画面例を示した図である。 4, or immediately after starting the interactive operation support system 1, when in the idle state the device is not performing an operation, which is a diagram showing an example of a screen presented to the user by the display unit 101.

この図ではキャラクタが3体表示されているが、これは本発明の実施例にかかる対話型操作支援システム1がテレビ番組案内機能、スケジュール管理機能、メール送受信機能の3つの機能を提供するものであることに起因しており、対話型操作支援システムの提供する機能の数の増減によって、ユーザに提示されるキャラクタが増減してもよい。 While characters in this figure is displayed three-body, which is intended to interactive operation support system 1 according to an embodiment of the present invention is to provide a television program guide function, a schedule management function, the three functions of mail transmission and reception function it is due to the fact that there, by increasing or decreasing the number of features provided by an interactive operation support system, a character to be presented to the user may be increased or decreased. また、この図においては3体のキャラクタが表示されている大きさはほぼ同じであるが、特定の1キャラクタのみを大きく表示することで、ユーザが最初に話しかけるキャラクタを誘導してもよい。 Although in the size of the three bodies character is displayed this figure is almost the same, by increasing display only one specific character, it may be derived characters that the user speaks first. また、キャラクタ制御手段102が、あらかじめキャラクタのアニメーション動作を保持しておき、そのアニメーション動作に基づいてキャラクタ画像を変更することで、表示される各キャラクタが静止しているのではなく適度な動作を行っているようにしてもよい。 Further, character control unit 102, may be held in advance character animation operation, the by changing the character image on the basis of the animation operation, moderate operation rather than each character displayed is stationary it may be have done.

図5は、ユーザがキャラクタの名称を知りたいという意思で「名前は?」と発話したときに、表示手段101によってユーザに提示される画面例、および、音声出力手段103によってユーザに提示される音声例を示した図である。 Fig. 5, when the user utters "name?" In that intention want to know the name of the character, screen example is presented to the user by the display means 101, and is presented to the user by voice output means 103 is a diagram showing an audio example.

この図では、ユーザが「名前は?」と発言すると、表示手段101に提示されている複数のキャラクタがそれぞれ自己紹介を行うように、キャラクタの名前とそれに対応する機能の名称を話している図を示している。 In this figure, if the user to speak with the "name?", A plurality of characters that have been presented on the display means 101 to perform a self-introduction, respectively, are talking about the name of the function and the corresponding name of the character FIG. the shows.

このような応答は次のような処理によって実現されている。 Such response is realized by the following process. まず、ユーザが発話した内容は、音声入力手段105を介して音声入力信号としてシステムに入力される。 First, the content uttered by a user is input into the system as a sound input signal via an audio input unit 105. 入力音声認識手段106は、音声入力信号を解析することで、ユーザの発話内容が「名前は」であることを取得する(S10)。 Input speech recognition means 106, by analyzing the speech input signal, speech contents of the user to get to be a "named" (S10). 次に、中央制御手段109は機能選択手段108に対し、対話型操作支援システム1が提供する複数の機能の中からユーザの発話内容に相当する機能を選択するよう指示を出すが、このとき機能選択手段108は「名前は」に一致するキャラクタ名称が存在しないことから何も処理を行わない(S20でNO)。 Then, to the central control unit 109 function selector 108, but instructs to select a function interactive operation support system 1 is equivalent to the contents of the user's utterance from a plurality of functions to be provided, functions at this time selection means 108 does not perform any processing because there is no character name that matches the "name" (nO in S20). 次に、中央制御手段109はあらかじめ中央制御手段が保持している音声コマンド一覧により、「名前は」という発話が「キャラクタの自己紹介」に相当するコマンドであることを判断する(S40でYES)。 Next, the voice command list central control unit 109 in advance central control means holds, "name" utterance that determines that the command corresponding to the "self-introduction character" (YES in S40) . 次に、中央制御手段109は名称記憶手段107に保持されているキャラクタ名称を参照し、各キャラクタの名称とその機能名称を取得して(S50)、出力音声制御手段104に対して、キャラクタ名称とその機能名称を音声出力させると同時に、キャラクタ制御手段102に対して、各キャラクタが話しているようにみせるためのアニメーションを設定するように指示を出す。 Next, the central control unit 109 refers to the character names stored in the name storage means 107, and acquires the name and its function name of each character (S50), the output sound control unit 104, a character name at the same time when the output voice their function names for character control unit 102 instructs to set the animation to show so that each character is speaking. 出力音声制御手段104およびキャラクタ制御手段102がそれぞれキャラクタの音声と画像データを生成し、音声出力手段103および表示手段101を介してユーザに提示される(S60)。 Output audio control unit 104 and the character control unit 102 generates audio and image data of each character is presented to the user via the voice output unit 103 and the display unit 101 (S60).

図6は、ユーザがあるキャラクタの名称を発話したときに、表示手段101によってユーザに提示される画面例、および、音声出力手段103によってユーザに提示される音声例を示した図である。 6, when uttered the name of the character that the user, a screen example is presented to the user by the display unit 101, and is a diagram showing an audio example that is presented to the user by the sound output unit 103.

この図では、ユーザがキャラクタの名称である「奈々子」と発言したときに、「奈々子」と名づけられているキャラクタがユーザの呼びかけに反応し、該キャラクタに該当する機能が「テレビ番組案内機能」であることをユーザに提示している図を示している。 In this figure, when the user speaks a "Nanako" is the name of a character, in response to the call character is named "Nanako" is the user function corresponding to the character "television program guide function" It shows a view presenting the user that is. このような応答は次のような処理によって実現されている。 Such response is realized by the following process.

まず、ユーザが発話した内容は、音声入力手段105を介して音声入力信号としてシステムに入力される。 First, the content uttered by a user is input into the system as a sound input signal via an audio input unit 105. 入力音声認識手段106は、音声入力信号を解析することで、ユーザの発話内容が「奈々子」であることを取得する(S10)。 Input speech recognition means 106, by analyzing the speech input signal, speech contents of the user to get that "Nanako" (S10). 次に、中央制御手段109は機能選択手段108に対し、対話型操作支援システム1が提供する複数の機能の中からユーザの発話内容に相当する機能を選択するよう指示を出すが、このとき機能選択手段108は名称記憶手段107が記憶しているキャラクタ名称の中に「奈々子」と一致する名称があるかどうか探索し、「奈々子」と一致する機能が「テレビ番組案内機能」であることを取得する(S20でYES)。 Then, to the central control unit 109 function selector 108, but instructs to select a function interactive operation support system 1 is equivalent to the contents of the user's utterance from a plurality of functions to be provided, functions at this time selecting means 108 searches whether there is the name that matches the "Nanako" in character names stored the name storage means 107, the function of matching the "Nanako" is "television program guide function" to get (YES at S20). 次に機能選択手段108は、テレビ番組案内機能に切り替えるため、機能ID「0」を記憶しておく(S30)。 Then function selector 108, to switch the television program guide function, stores the function ID "0" (S30). 次に、中央制御手段109は、あらかじめ中央制御手段109が保持している操作コマンド一覧を参照して、ユーザが発話した内容の中に機能ID0番の機能に対する操作コマンドが含まれているかどうかを判定するが、ユーザの発話内容が名称のみであるという操作コマンドであると判断する(S40でYES)。 Next, the central control unit 109 refers to the operation command list beforehand central control unit 109 holds, whether the user is included an operation command for functions of ID0 number in the content uttered It determines the utterance content of a user is determined to be operation command that is only the name (YES at S40). 次に中央制御手段109は、名称のみという操作コマンドからキャラクタの自己紹介として機能案内を行う必要があると判断し(S50)、出力音声制御手段104に対して、「テレビ番組案内機能」担当であることを音声出力させると同時に、キャラクタ制御手段102に対して、キャラクタが話しているようにみせるためのアニメーションを設定するように指示を出す。 Then the central control unit 109 determines that it is necessary to perform the function guidance as a self-introduction character from the operation entitled only command (S50), the output sound control unit 104, the "television guide function" charge simultaneously with the audio output that the relative character control unit 102 instructs to set the animation to show as the character is speaking. 出力音声制御手段104およびキャラクタ制御手段102がそれぞれキャラクタの音声と画像データを生成し、音声出力手段103および表示手段101を介してユーザに提示される(S60)。 Output audio control unit 104 and the character control unit 102 generates audio and image data of each character is presented to the user via the voice output unit 103 and the display unit 101 (S60).

図7は、ユーザがキャラクタ名称と機器の操作コマンドを続けて発話したときに、表示手段101によってユーザに提示される画面例、および、音声出力手段103によってユーザに提示される音声例を示した図である。 Figure 7 is a user when uttered continue operation command character name and device, exemplary screen presented to the user by the display unit 101, and showed a sound example that is presented to the user by the sound output unit 103 it is a diagram.

この図では、「奈々子」、「隆史」という異なるキャラクタ名称それぞれに続けて、同じ操作コマンド「明日の9時は?」をユーザが発話した場合に、テレビ番組案内機能を担当する「奈々子」は、明日の9時からのテレビ番組をユーザに提示し、スケジュール管理機能を担当する「隆史」は、明日9時のユーザのスケジュールをユーザに提示する、といったように、同じ操作コマンドを与えたときでも、キャラクタ毎に異なる反応をユーザに提示する様子を示した図である。 In this figure, "Nanako", followed by each character name that is different of "Takashi", the same operation command "o'clock tomorrow 9?" And if the user utterance, in charge of the TV program guide function "Nanako" is , when presented to the user of the TV program from o'clock tomorrow of 9, is "Takashi" in charge of the schedule management function, is presented to the user the user's schedule o'clock tomorrow 9, as such, given the same operation command But a diagram showing a state of presenting different reaction for each character the user.

このような応答は次のような処理によって実現されている。 Such response is realized by the following process. まず、ユーザが発話した「奈々子、明日の9時は?」という音声は、音声入力手段105を介して音声入力信号としてシステムに入力される。 First, the voice that the user utters "Nanako, the at tomorrow 9?" Is input to the system as a sound input signal via an audio input unit 105. 入力音声認識手段106は、音声入力信号を解析してユーザの発話内容が「奈々子、明日の9時は?」であることを取得する(S10)。 Input speech recognition means 106, the audio input signal by analyzing the utterance content of a user to obtain the "Nanako, tomorrow is 9:00?" Is a (S10). 次に、中央制御手段109は機能選択手段108に対しユーザの発話内容に従って機能を選択するよう指示を出す。 Next, the central control unit 109 issues an instruction to the function selector 108 to select the function according to the contents of the user's utterance. 次に機能選択手段108は、ユーザの発話内容に名称記憶手段107が記憶している名称と一致する「奈々子」が含まれることを検知し(S20でYES)、「奈々子」に一致する機能である「テレビ番組案内機能」を選択するために、機能ID0番を記憶する(S30)。 Then function selection means 108 detects that include "Nanako" as the name storage means 107 to the contents of the user's utterance matches the name that has been stored (at S20 YES), a feature matching "Nanako" in order to select a "TV program guide function", and stores the number function ID0 (S30). 次に、中央制御手段109は、あらかじめ中央制御手段109が保持している操作コマンド一覧を参照して、ユーザが発話した内容の中に機能ID0番の機能に対する操作コマンドが含まれているかどうかを判断し、「明日の9時は?」という一致するコマンドであることを判断する(S40でYES)。 Next, the central control unit 109 refers to the operation command list beforehand central control unit 109 holds, whether the user is included an operation command for functions of ID0 number in the content uttered it is determined, it is determined that "in time is tomorrow of 9?", which is a command to match that (YES at S40). 次に中央制御手段109は、機能ID0番に対応するテレビ番組案内手段201に対して「明日の9時は?」という操作コマンドを発行する。 Next, the central control means 109, "it is o'clock tomorrow of 9?" For the TV program guide means 201 corresponding to the number function ID0 to issue an operation command that. テレビ番組案内手段201は、「明日の9時は?」に対応した操作コマンドとして、明日の9時の番組表データを取得する(S50)。 TV program guide means 201, "it is o'clock tomorrow of 9?" As an operation command corresponding to, to get the program guide data o'clock tomorrow of 9 (S50). 次に中央制御手段109は、出力音声制御手段104に対して、明日9時からの番組表データを音声出力させると同時に、キャラクタ制御手段102に対して、キャラクタが話しているようにみせるためのアニメーションを設定するように指示を出す。 Then the central control unit 109, the output sound control unit 104, simultaneously with the audio output program table data from the 9 o'clock tomorrow for character control unit 102, for show, as the character is speaking It issues an instruction to set the animation. 出力音声制御手段104およびキャラクタ制御手段102がそれぞれキャラクタの音声と画像データを生成し、音声出力手段103および表示手段101を介してユーザに提示される(S60)。 Output audio control unit 104 and the character control unit 102 generates audio and image data of each character is presented to the user via the voice output unit 103 and the display unit 101 (S60).

一方、ユーザが「隆史、明日の9時は?」と発生した場合は、機能選択手段108が「隆史」に相当する「スケジュール管理機能」を選択する(S30)ため、次に中央制御手段109はスケジュール管理手段202に対し「明日の9時は?」という操作コマンドを発行する。 On the other hand, the user if that occurred "Takashi, tomorrow is 9:00?", Function selection means 108 selects the "schedule management function" corresponding to "Takashi" (S30) for, then the central control means 109 issues the operation command "is o'clock tomorrow of 9?" to the schedule management means 202. スケジュール管理手段202は、「明日の9時は?」に対応した操作コマンドとして、明日9時のユーザスケジュールを取得する(S50)。 Schedule management means 202, "it is o'clock tomorrow of 9?" As an operation command corresponding to, to get the user schedule of 9 o'clock tomorrow (S50). 次に中央制御手段109は、出力音声制御手段104に対して、明日9時からのユーザスケジュールを音声出力させると同時に、キャラクタ制御手段102に対して、キャラクタが話しているようにみせるためのアニメーションを設定するように指示を出す。 Then the central control unit 109, the output sound control unit 104, simultaneously with the audio output user schedule from 9 o'clock tomorrow for character control unit 102, the animation for show, as the character is speaking It issues an instruction to set. 出力音声制御手段104およびキャラクタ制御手段102がそれぞれキャラクタの音声と画像データを生成し、音声出力手段103および表示手段101を介してユーザに提示される(S60)。 Output audio control unit 104 and the character control unit 102 generates audio and image data of each character is presented to the user via the voice output unit 103 and the display unit 101 (S60). このようにして、同じ操作コマンド「明日の9時は」に対して、キャラクタ毎に異なる反応をユーザに提示することができる。 In this manner, the same operation command "is at Tomorrow 9", it is possible to present different reaction for each character the user.

図8は、ユーザがキャラクタ名称に続けて、そのキャラクタが担当していない機能名称を追加する操作コマンドを発話したときに、表示手段101によってユーザに提示される画面例、および、音声出力手段103によってユーザに提示される音声例を示した図である。 8, the user continues to character name, when spoken the operation command to add a function name that the character is not responsible, exemplary screen presented to the user by the display unit 101 and, the audio output unit 103 is a diagram showing an audio example that is presented to the user by.

この図では、テレビ番組案内機能を担当している「奈々子」というキャラクタ名称に続けて、「メールもお願い」と操作コマンドを発話することで、今後「奈々子」と発話すると、テレビ番組案内とメール送受信機能の2機能が選択される様子を示した図である。 In this figure, followed by the character name "Nanako" in charge of the TV program guide function, "Mail also ask" By speaking the operation command and, when uttered in the future "Nanako", TV program guide and e-mail diagrams 2 function transmission functions showing how selected.

このような応答は次のような処理によって実現されている。 Such response is realized by the following process. まず、ユーザが発話した内容は、音声入力手段105を介して音声入力信号としてシステムに入力される。 First, the content uttered by a user is input into the system as a sound input signal via an audio input unit 105. 入力音声認識手段106は、音声入力信号を解析することで、ユーザの発話内容が「奈々子、メールもお願い」であることを取得する(S10)。 Input speech recognition means 106, by analyzing the speech input signal, the contents of the user's utterance is "Nanako, Mail also ask" to obtain that it is (S10). 次に、中央制御手段109は機能選択手段108に対しユーザの発話内容に従って機能を選択するよう指示を出す。 Next, the central control unit 109 issues an instruction to the function selector 108 to select the function according to the contents of the user's utterance. 次に機能選択手段108は、ユーザの発話内容に名称記憶手段107が記憶している名称と一致する「奈々子」が含まれることを検知し(S20でYES)、「奈々子」に一致する機能である「テレビ番組案内機能」を選択するために機能ID0番を記憶する(S30)。 Then function selection means 108 detects that include "Nanako" as the name storage means 107 to the contents of the user's utterance matches the name that has been stored (at S20 YES), a feature matching "Nanako" some stores the number function ID0 in order to select the "TV program guide function" (S30). 次に中央制御手段109は「メールもお願い」がテレビ番組案内機能の操作コマンドではなく、メール送受信機能を現在選択されているキャラクタに追加する操作コマンドであることを検知して(S40でYES)、名称記憶手段107が記憶している名称一覧に対して、メール送受信機能に対応するキャラクタ名称を「奈々子」に変更する(S50)。 Then the central control unit 109 "Mail also asks" is not the operation command of a television program guide function detects that an operation command to add a mail transmitting and receiving function to the character that is currently selected (YES at S40) , for the name list name storage unit 107 is stored, to change the character name to "Nanako" corresponding to the e-mail transmission and reception function (S50). 次に、中央制御手段109は出力音声制御手段104に対して、「奈々子」が担当している機能が「テレビ番組案内機能」と「メール送受信機能」であることを音声出力させると同時に、キャラクタ制御手段102に対して、キャラクタが話しているようにみせるためのアニメーションを設定するように指示を出す。 Then, at the same time the central control unit 109 for outputting audio control means 104, when the audio output that function in charge of "Nanako" is "television guide functions" and "mail messaging", character the control unit 102 instructs to set the animation to show as the character is speaking. 出力音声制御手段104およびキャラクタ制御手段102がそれぞれキャラクタの音声と画像データを生成し、音声出力手段103および表示手段101を介してユーザに提示される(S60)。 Output audio control unit 104 and the character control unit 102 generates audio and image data of each character is presented to the user via the voice output unit 103 and the display unit 101 (S60).

図9は、ユーザがキャラクタ名称に続けて、そのキャラクタ名称を変更する操作コマンドを発話したときに、表示手段101によってユーザに提示される画面例、および、音声出力手段103によってユーザに提示される音声例を示した図である。 9, the user continues to character name, when uttered an operation command to change the character name, the screen examples are presented to the user by the display unit 101 and, are presented to the user by voice output unit 103 is a diagram showing an audio example. この図では、「奈々子」というキャラクタ名称に続けて、「を紀香に変更」と操作コマンドを発話することで、今後「紀香」と発話することで、テレビ番組案内機能が選択される様子を示した図である。 In this figure, followed by the character name "Nanako", by speaking the operation command and "change in wo Norika", by speaking in the future "Norika", it shows how the TV program guide function is selected It was a diagram. このような応答は次のような処理によって実現されている。 Such response is realized by the following process. 入力音声認識手段106は、音声入力信号を解析することで、ユーザの発話内容が「奈々子を紀香に変更」であることを取得する(S10)。 Input speech recognition means 106, by analyzing the speech input signal to obtain the contents of the user's utterance is "changed Norika the Nanako" (S10). 次に、中央制御手段109は機能選択手段108に対しユーザの発話内容に従って機能を選択するよう指示を出す。 Next, the central control unit 109 issues an instruction to the function selector 108 to select the function according to the contents of the user's utterance. 次に機能選択手段108は、ユーザの発話内容に名称記憶手段107が記憶している名称と一致する「奈々子」が含まれることを検知し(S20でYES)、「奈々子」に一致する機能である「テレビ番組案内機能」を選択するために機能ID0番を記憶する(S30)。 Then function selection means 108 detects that include "Nanako" as the name storage means 107 to the contents of the user's utterance matches the name that has been stored (at S20 YES), a feature matching "Nanako" some stores the number function ID0 in order to select the "TV program guide function" (S30). 次に中央制御手段109は「を紀香に変更」がテレビ番組案内機能の操作コマンドではなく、キャラクタの名称を変更する操作コマンドであることを検知して(S40でYES)、名称記憶手段107が記憶している名称一覧に対して、「奈々子」の名称を「紀香」に変更する(S50)。 Then the central control unit 109 is not an operation command of "wo changes Norika" TV program guide function detects that an operation command to change the name of a character (YES in S40), the name storage means 107 to the name list that is stored, to change the name of "Nanako" to "Norika" (S50). 次に、中央制御手段109は出力音声制御手段104に対して、それまで「奈々子」と呼ばれていたキャラクタの名称が「紀香」に変更され、「紀香」の担当する機能は「テレビ番組案内機能」であることを音声出力させると同時に、キャラクタ制御手段102に対して、キャラクタが話しているようにみせるためのアニメーションを設定するように指示を出す。 Next, the central control unit 109 outputs the audio control unit 104, the previous "Nanako" name of called have character and is changed to "Norika" function that is responsible for "Norika" is "television program guide simultaneously with the audio output to be a function "for character control unit 102 instructs to set the animation to show as the character is speaking. 出力音声制御手段104およびキャラクタ制御手段102がそれぞれキャラクタの音声と画像データを生成し、音声出力手段103および表示手段101を介してユーザに提示される(S60)。 Output audio control unit 104 and the character control unit 102 generates audio and image data of each character is presented to the user via the voice output unit 103 and the display unit 101 (S60).

本発明に係わる対話型操作支援システムは、多数の機能を持った情報機器に対するユーザ操作を対話的に操作することができ、複雑な操作の機器に対してもユーザの発声する命令を複雑なものにすることなく、直感的な命令により機器の操作を行うことが可能となる効果を有し、複数の機能を有する各種家電機器や情報機器に対するユーザの操作を支援する、キャラクタエージェントを用いた対話型操作支援システムとして有用である。 Interactive operation support system according to the present invention, a user operation on the information device having a number of functional interactively can be manipulated, complicated instructions for user utterances against equipment complex operations without the intuitive it has the effect of making it possible to operate the device by the instruction, to assist operation of a user to various home appliances and information equipment having a plurality of functions, interaction with character agents it is useful as a type operation support system.

本発明の実施例にかかる対話型操作支援システムのハードウェア全体構成を示す図 It illustrates a hardware overall structure of the interactive operation support system according to an embodiment of the present invention キャラクタ名称データの一例を示す図 It illustrates an example of a character name data 本発明の実施例にかかる対話型操作支援システムのシステム構成を示すブロック図 Block diagram showing the system configuration of the interactive operation support system according to an embodiment of the present invention 対話型操作支援システムがアイドル状態にあるときの画面表示例を示した図 Figure interactive operation support system showed an example of a screen display when in the idle state キャラクタに対して名称を提示するよう指示を出したときの画面表示例を示した図 Diagram showing a screen display example when instructs to present a name for your character ユーザがキャラクタの名称を発声したときの画面表示例を示した図 FIG user indicates a screen display example when uttered the name of the character 複数のキャラクタを介してテレビ番組案内機能とスケジュール管理機能とを操作したときの画面表示例を示した図 Shows a screen display example when operating the television guide function and schedule management function via a plurality of characters キャラクタ名称と機能との対応付けを変更するような操作をしたときの画面表示例を示した図 Shows an example of screen display when the operation that changes the correspondence between the character names and functions 図8に示す操作により図2に示すキャラクタ名称データが変更された例を示す図 It illustrates an example in which the character name data shown in FIG. 2 is changed by the operation shown in FIG. 8 キャラクタ名称を変更するような操作をしたときの画面表示例を示した図 Shows an example of screen display when the operation that changes the character name 図10に示す操作により図2に示すキャラクタ名称データが変更された例を示す図 Illustrates an example in which the character name data shown in FIG. 2 is changed by the operation shown in FIG. 10 操作支援システムの動作の全体の流れを示したフローチャート Flow chart showing an overall flow of the operation of the operation support system 機能別操作コマンド一覧の例を示した図 It shows an example of function-specific operation command list

符号の説明 DESCRIPTION OF SYMBOLS

1 対話型操作支援システム 10 中央制御部 20 スピーカ 30 マイク 40 ディスプレイ 50 記憶装置 60 ネットワーク 70 番組表配信サーバ 80 メールサーバ 101 表示手段 102 キャラクタ制御手段 103 音声出力手段 104 出力音声制御手段 105 音声入力手段 106 入力音声認識手段 107 名称記憶手段 108 機能選択手段 109 中央制御手段 110 名称変更手段 201 テレビ番組案内手段 202 スケジュール管理手段 203 メール送受信手段 1 interactive operation support system 10 the central control unit 20 speaker 30 microphone 40 display 50 storage device 60 network 70 the program guide delivery server 80 the mail server 101 display unit 102 character control unit 103 audio output unit 104 outputs the audio control means 105 the speech input unit 106 input speech recognition means 107 name storage means 108 function selector 109 central control unit 110 renaming unit 201 television guide means 202 a schedule management unit 203 mail transmitting and receiving means

Claims (5)

  1. 複数の機能を有する複合機器に対するユーザ操作を支援する対話型操作支援システムであって、 A interactive operation support system for supporting the user operation with respect to a composite apparatus having a plurality of functions,
    表示手段と、 And display means,
    キャラクタ画像を生成して、前記表示手段を介してユーザにキャラクタを提示するキャラクタ制御手段と 音声出力手段と、 To generate a character image, a character control means and audio output means for presenting the character to the user through the display means,
    前記キャラクタが話す言葉を音声合成して、前記音声出力手段を介して外部出力する出力音声制御手段と、 The words the character speaks to speech synthesis, the output sound control means for external output through the voice output means,
    音声入力手段と、 And voice input means,
    前記音声入力手段を介して入力されたユーザの声を音声認識する入力音声認識手段と、 A voice recognizing input speech recognition means the user's voice input through the voice input means,
    前記複合機器が有する複数の機能毎に個々に対応付けされたキャラクタの名称を記憶する名称記憶手段と、 The name storage means for storing the name of the association is the character individually for each of a plurality of functions which the composite instrument has,
    前記入力音声認識手段により取得したユーザの言葉に、前記名称記憶手段で保持しているキャラクタの名称が含まれるかどうかを判定し、含まれる場合は機器の有する複数の機能の中からキャラクタの名称に対応する機能を選択する機能選択手段と、 The words of the user acquired by the input speech recognition means, wherein to determine if it contains the name of the character in possession of the name storing means, the name of the character from among a plurality of functions of the the device if included a function selecting means for selecting a function corresponding to,
    前記入力音声認識手段により取得したユーザの言葉により、前記機能選択手段を介して機器の機能を選択させ、選択された機能に基づいてキャラクタの言葉と動作を決定する中央制御手段と を具備することを特徴とする対話型操作支援システム。 The words of the user acquired by the input speech recognition means, said function selection means to select the functions of the device through a by comprising a central control means for determining the behavior and words of the character based on the selected function interactive operation support system according to claim.
  2. 前記キャラクタ制御手段は、複数体のキャラクタ画像を生成し、前記表示手段に複数体のキャラクタ画像が同時に出現することを特徴とする、請求項1に記載の対話型操作支援システム。 The character control unit generates character images of a plurality of members, wherein the character images of a plurality of bodies appear simultaneously on the display means, the interactive operation support system according to claim 1.
  3. 前記入力音声認識手段により取得したユーザの言葉に、前記名称記憶手段が保持しているキャラクタの名称が含まれる場合、前記中央制御手段が、前記キャラクタの名称に対応するキャラクタの動作を変更するように前記キャラクタ制御手段に指令を出すことを特徴とする、請求項1または請求項2に記載の対話型操作支援システム。 The words of the user acquired by the input speech recognition means, when said name storage means includes the name of the character in possession, so that the central control means changes the behavior of the character corresponding to the name of the character characterized in that said issuing a command to the character control unit, an interactive operation support system according to claim 1 or claim 2 in.
  4. 前記中央制御手段が、キャラクタの話す言葉として、キャラクタの名称に対応する機能に関する説明を設定することで、キャラクタによるヘルプ機能を実現することを特徴とする、請求項1から3の何れかに記載の対話型操作支援システム。 Said central control means, as a word speaking character, by setting the description of the function corresponding to the name of the character, characterized in that to realize a help function by character, according to any one of claims 1 to 3 interactive operation support system.
  5. さらに前記名称記憶手段が保持しているキャラクタの名称と機能グループとの対応を変更するための名称変更手段を備え、ユーザの好みに合わせてキャラクタの名称を変更できるようにしたことを特徴とする、請求項1から4の何れかに記載の対話型操作支援システム。 Further comprising renaming means for changing the correspondence between the functional groups wherein Name Name of the character storage means holds, characterized in that to be able to change the name of a character according to the user's preference interactive operation support system according to any one of claims 1 to 4.
JP2003286651A 2003-08-05 2003-08-05 Interactive operation supporting system Pending JP2005056170A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003286651A JP2005056170A (en) 2003-08-05 2003-08-05 Interactive operation supporting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003286651A JP2005056170A (en) 2003-08-05 2003-08-05 Interactive operation supporting system

Publications (1)

Publication Number Publication Date
JP2005056170A true JP2005056170A (en) 2005-03-03

Family

ID=34365884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003286651A Pending JP2005056170A (en) 2003-08-05 2003-08-05 Interactive operation supporting system

Country Status (1)

Country Link
JP (1) JP2005056170A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007256456A (en) * 2006-03-22 2007-10-04 Denso It Laboratory Inc Content providing apparatus and content providing method
KR100764287B1 (en) * 2005-07-30 2007-10-05 엘지전자 주식회사 Air pollution indication system of refrigerator
KR100792074B1 (en) 2005-10-05 2008-01-04 엘지전자 주식회사 Avatar refrigerator
KR100792073B1 (en) 2005-09-20 2008-01-04 엘지전자 주식회사 Effect sound change-type refrigerator
JP2011139143A (en) * 2009-12-25 2011-07-14 Sharp Corp Display device, television receiver, display method, program, and recording medium
JP2013232230A (en) * 2013-07-25 2013-11-14 Sharp Corp Display device, television receiver, display method, program, and recording medium
WO2015186445A1 (en) * 2014-06-03 2015-12-10 ソニー株式会社 Information processing device, information processing method, and program
JP6420514B1 (en) * 2018-04-04 2018-11-07 一般社団法人It&診断支援センター・北九州 Conversation robot
JP6447689B1 (en) * 2017-09-11 2019-01-09 富士ゼロックス株式会社 Information processing apparatus and program
US10283109B2 (en) 2015-09-09 2019-05-07 Samsung Electronics Co., Ltd. Nickname management method and apparatus

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100764287B1 (en) * 2005-07-30 2007-10-05 엘지전자 주식회사 Air pollution indication system of refrigerator
KR100792073B1 (en) 2005-09-20 2008-01-04 엘지전자 주식회사 Effect sound change-type refrigerator
KR100792074B1 (en) 2005-10-05 2008-01-04 엘지전자 주식회사 Avatar refrigerator
JP2007256456A (en) * 2006-03-22 2007-10-04 Denso It Laboratory Inc Content providing apparatus and content providing method
JP2011139143A (en) * 2009-12-25 2011-07-14 Sharp Corp Display device, television receiver, display method, program, and recording medium
JP2013232230A (en) * 2013-07-25 2013-11-14 Sharp Corp Display device, television receiver, display method, program, and recording medium
WO2015186445A1 (en) * 2014-06-03 2015-12-10 ソニー株式会社 Information processing device, information processing method, and program
US10283109B2 (en) 2015-09-09 2019-05-07 Samsung Electronics Co., Ltd. Nickname management method and apparatus
JP6447689B1 (en) * 2017-09-11 2019-01-09 富士ゼロックス株式会社 Information processing apparatus and program
JP6420514B1 (en) * 2018-04-04 2018-11-07 一般社団法人It&診断支援センター・北九州 Conversation robot

Similar Documents

Publication Publication Date Title
CN103299361B (en) Language translation
US8340970B2 (en) Methods and apparatus for initiating actions using a voice-controlled interface
JP5355591B2 (en) Navigation device
US8386260B2 (en) Methods and apparatus for implementing distributed multi-modal applications
US8706500B2 (en) Establishing a multimodal personality for a multimodal application
EP2099652B1 (en) System and method for customized audio prompting
EP2005319B1 (en) System and method for extraction of meta data from a digital media storage device for media selection in a vehicle
JP4294921B2 (en) Method and apparatus for audio navigation information device
RU2421779C2 (en) Audio feedback during menu navigation
US9343064B2 (en) Establishing a multimodal personality for a multimodal application in dependence upon attributes of user interaction
US8682676B2 (en) Voice controlled wireless communication device system
CN100380372C (en) Method and apparatus for voice controlled foreign language translation device
KR101670150B1 (en) Systems and methods for name pronunciation
US7426467B2 (en) System and method for supporting interactive user interface operations and storage medium
JP4466666B2 (en) Proceedings preparation method, the device and its program
US20040083109A1 (en) Method and system for text editing in hand-held electronic device
US20070174057A1 (en) Providing programming information in response to spoken requests
US20010047263A1 (en) Multimodal user interface
CN1938757B (en) Method for driving multiple applications and common dialog management system thereof
US5393070A (en) Talking video games with parallel montage
US20090006100A1 (en) Identification and selection of a software application via speech
EP3413575A1 (en) Method for controlling electronic apparatus based on voice recognition and electronic apparatus applying the same
EP1600018B1 (en) Multimedia and text messaging with speech-to-text assistance
US7421390B2 (en) Method and system for voice control of software applications
CN100511217C (en) Electronic book data transmitting apparatus, electronic book apparatus and recording medium