JP2007140419A - 状況対応知能を持つ対話型情報伝達装置 - Google Patents

状況対応知能を持つ対話型情報伝達装置 Download PDF

Info

Publication number
JP2007140419A
JP2007140419A JP2005362435A JP2005362435A JP2007140419A JP 2007140419 A JP2007140419 A JP 2007140419A JP 2005362435 A JP2005362435 A JP 2005362435A JP 2005362435 A JP2005362435 A JP 2005362435A JP 2007140419 A JP2007140419 A JP 2007140419A
Authority
JP
Japan
Prior art keywords
scenario
information transmission
transmission device
function
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005362435A
Other languages
English (en)
Inventor
Masanori Morioka
昌紀 森岡
Sadao Takagi
貞男 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUMANOID KK
Original Assignee
HUMANOID KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUMANOID KK filed Critical HUMANOID KK
Priority to JP2005362435A priority Critical patent/JP2007140419A/ja
Publication of JP2007140419A publication Critical patent/JP2007140419A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】 一般に電子機械装置などの対応・対処機能は,コンピュータ上のアプリケーションとして個別の専用製品として開発されていて固定的である.また,人とのインタフェースは表示画面とキーボードまたはタッチパネルなどが使われ,特にテキスト入力は煩わしい.
【解決手段】 本考案は,状況に応じた「振る舞いを決めるシナリオ」を導入し,人が電子機械装置を使う際に,主として音声対話で情報伝達する機能と,シナリオを解釈する機能を汎用モジュールとしてアプリケーションから分離した.シナリオは,ユーザが作成してデータとして与えることができ,複数の中から動的に選べ,変更もコンパイルなどの手間が要らないようにした.その結果,本装置単独で,または他の装置と共に用いて,状況に対応する知能を持ち音声で対話する情報伝達装置をいろいろな応用分野で使えるようになる.
【選択図】図1

Description

本発明は,「対話型情報伝達」機能と「状況対応知能」機構がアプリケーションと伴にパッケージ化した対話型情報伝達装置に関するものである.
一般にロボットなどの電子機械装置は,それを使う人とのマン・マシン・インタフェースとその振る舞いを規定する内部ロジックをもった一体の専用製品として存在しており,又類似の機能は一般のPC,あるいは産業用PC上のアプリケーションとして個別に開発されていて,「対話型情報伝達」機能と「状況対応知能」機構がアプリケーションから分離したパッケージとして存在していなかった.
人とのインタフェースは,PCの表示画面とキーボードまたはタッチパネルなどが使われ,特にテキスト入力は煩わしく,又振る舞いを決めるシナリオも予め決められている固定的なものでユーザーがシナリオを変えるには,コンパイルなどの手間がかかり,いわゆるプログラマの専門スキルが必要であった.
特開2004−287016号公報
いわゆるロボットから,「対話型情報伝達」機能と「状況対応知能」機構を分離独立させて,抽象化・汎用化を図り,あらゆる応用装置に適用できるようにした.
人とのインタフェースは,ワイヤレス・ヘッドセットによる音声応答を採用したので,オペレータが装置を手ぶらで操作できるようにした.併せて,環境騒音にも強くなった.
オペレータを個別認証し,各々に合ったシナリオを切り替えて使えるようにし,スキル(知識レベル,言語など)に応じた個別対応ができるようにした.
入力情報に対する応答・処理はシナリオに沿って対応するようにし,シナリオには状況判断できるロジックと,解釈機構を実装したので,単純な応答だけはなく,知能を持った状況に応じた判断・対処ができるようになった.
入力は人の音声だけでなく,外部の信号や通信線を介した情報も取り入れられるようにし,外部機械装置ともインタフェースを持てるようにした.
様々な入力の内部処理インタフェースを抽象化・統一化したことにより,対人情報と対装置情報も同一のシナリオ解釈機構で扱えるようにした.
ユーザーが,シナリオをテキスト・スクリプトで自由に作って,コンパイルを要さず使えるようにした.
ユーザがシナリオをさらに簡単に作れるように,別にオフラインのシナリオエディタも用意した.
一般にロボットなどの電子機械装置は,それを使う人とのマン・マシン・インタフェースとその振る舞いを規定する内部ロジックをもった一体の専用製品として存在している.本発明は,人が電子機械装置を使う際に,主として音声言語により対話的にコミュニケーションする機能と,その振る舞いを決めるシナリオを解釈する機能を取り出してパッケージ化した.
またシナリオは,ユーザが自由に作成してデータとして与えることができるようにした.
その結果,本発明を採用することにより,本装置単独で,または他の装置と共に用いて,自然語で対話する知能を持ったコミュニケーション・メディアを様々な応用分野で使えるようになる.
本装置が,製造装置などの運用・保守オペレータ向けに,主に音声ガイド機能を目的に使われる状況を想定して説明する.
ハードウエアの構成について、本装置のハードウエア構成は図3に示すとおり,CPUボード300と周辺機器で構成される一般的な(または,組み込み型の)コンピュータ・システムである.
対人インタフェースは,スピーカとマイク機能を持つワイヤレス・ヘッドセット310,補助的に使われる小さな表示画面311,個人特定用の指紋認証装置308,対外部装置のシグナルを授受するインタフェース306,ユーザ・シナリオ,ユーザ・データ301,302を読み書きするための着脱可能な補助記憶304(USB303接続のメモリ)などである.また,一般的なキーボード307やLANインタフェース305なども持ち得る.
ソフトウエアの構成について、本装置のソフトウエア構成は図2に示すように,任意のOS207の基に,各インタフェース毎に固有の入力情報からリクエストIDへの入力変換モジュール200,シナリオ・インタプリタ202,レスポンスIDから各インタフェースに固有の出力情報への出力変換モジュール205,処理機能別のプロセス・モジュール群204,とそれらを統合的に制御するスケジューラ206からなる.
シナリオテーブル203は,プロセス・スクリプト210,USB303,接続のメモリから読み込まれる.また,処理手順はコンパイル済みのプロセス・モジュールは204として存在する形態と,スクリプト言語で書かれたプロセス・スクリプト210をスクリプトインタプリタ209で逐次翻訳実行する形態がある.
シナリオについて、基本的には,システムの状態がリクエストに応じて対処していく状態遷移機能として定義される.シナリオは以下のテーブル群から構成される.
リクエスト・テーブル(Qテーブル)について,テーブルを構成するレコードは,入力テキストとQIDの対応表,例えば,Qxxx,入力テキストΔ(Δは改行)である.
レスポンス・テーブル(Rテーブル)について,テーブルを構成するレコードは,出力テキストとRIDの対応表,例えば,Rxxx,出力テキストΔである.
シナリオ・テーブル(PQRSテーブル)について,テーブルを構成するレコードは,シナリオの現ステート(SID)と上記QIDに対応するアクションの対応表.アクションはプロセス(PID),レスポンス(RID)と遷移する次ステート(SID)から成る.例えば,Sxxx,Qxxx,Pxxx,Rxxx,SyyyΔである.
プロセス・テーブル(Pテーブル)について,テーブルを構成するレコードは,上記PIDと処理ルーチンの対応表,例えば,Pxxx,処理関数モジュール名Δである.
処理の流れについて、シナリオ・インタプリタの流れを図1に示し,処理の基本的な流れを説明する.
オペレータが発話した応答・指示内容は、音声認識モジュールにより認識されテキストに変換された後,Qテーブルを参照してテキストからQIDを得,リクエスト・キュー109に入れられ,シナリオ・インタプリタに渡される.
シナリオ・インタプリタは,リクエスト・キュー109からQIDを取り出し,シナリオのPQRSテーブル111を参照してその対応を決める.
先ずシステムの現ステート(Smmm)110と一致する現SIDフィールドを持つレコードを探し101,見つかれば,当該QIDでQIDフィールドを検索し102,合致したときはそのレコードに指定されたPIDがあればその処理を実行(103,112)した後,指定されたRIDでRテーブルを参照して対応するテキストを得104,発話モジュールで音声出力する107.
指定されたDIDでDテーブルを参照して対応するテキストを得6,表示モジュールで表示出力する108.
次に,同じく指定されたSID(Snnn)でシステムの現ステートを更新し,遷移させる106.以下,これを繰り返す.
シナリオと処理のいくつかの詳細について,入力が外部信号であれば,該当する入力変換モジュールが信号を解釈し同じようにQIDが付与される.この抽象化により様々な入力を,将来にわたって唯一のシナリオ解釈モジュールにより統一的に扱える.
入力情報が可変テキストなどで,Qテーブルのテキスト・フィールドに存在しない場合を想定し,その場合は特別に設けられたQIDと共にテキストもリクエスト・キューに入れて,後工程で判断処理できるようにしている.
リクエストの渡し方はキュー・メカニズムでもイベント・ドリブン・メカニズムでもよい.
PQRSテーブルは,SIDを第1キー,QIDを第2キーとしてソートされるのが一般的だが,レコードの大きさなどにより別の方法が採用されることもある.
あるQIDが現ステートの如何に拘わらず扱えるように,PQRSテーブルの現SIDフィールドには特別なコード(例えば?文字)が設けられている.
PQRSテーブルには,リクエストがどのレコードにもヒットしない場合の対処も定義できる.
ステートが遷移せず現ステートに留まるシナリオを想定して,次SIDフィールドには特別なコード(例えば=文字)が設けられている.
出力メディアが標準的に音声と表示を持つ場合は,PQRSテーブルの構成を次のようにSxxx,Qxxx,Pxxx,Rxxx,Dxxx,SyyyΔとしてもよい.
それに応じて必要なら,表示用にDテーブルを追加する.
テーブルを構成するレコードは,出力テキストとDIDの対応表,例えば,Dxxx,表示出力テキストΔとしてもよい.
将来への拡張性を考慮すれば,PQRSを次のように2つに分ける方法もある.PQRSテーブルは,Sxxx,Qxxx,AxxxΔ、それに応じてアクション用にAテーブルを追加する.AxxxはアクションID(AID).テーブルを構成するレコードは,アクションの詳細とAIDの対応表,例えば,Axxx,Pxxx,Rxxx,Dxxx,SyyyΔとしてもよい.
個人認証とシナリオ・テーブルについて,シナリオ・テーブルはシナリオの数だけあり,個人認証の結果でどのシナリオを使うかが決まり,該当するテーブルがロードまたはスイッチ選択される.そのために,認証ID(UID)とシナリオ・テーブルの対応表が用意されている(図2の208).例えば,UID,シナリオ・テーブル名(ファイル名)Δとしてもよい.
処理の例について、対人,対外部装置とのコミュニケーションの状況に応じて様々な処理が必要になる場合があると考えられ,これらは個々に異なるアプリケーションの一部と考えられる.例えば入力情報の蓄積,後刻の問い合わせに対する検索・出力などが考えられる.これらの処理はプロセス・ルーチン(図1の112)で実現されることになる.個々のアプリケーションに特有なものはアプリケーションとして開発する必要がある.
それらの内で比較的に簡単なものは,ユーザがスクリプト言語で処理手順を記述し,使うことができる.(図2の210)
アプリケーションに共通な機能は,予め作られ本装置に組み込まれる,
製造現場,商業施設,一般家庭などで人と電子機械装置がコミュニケーションをとる様々な状況での使用に適用できる.例えば,受付での応対,地震発生時,出火時などのトラブル対処方法を音声でガイダンス,対高齢者,対障害者,対外国人就労者などとのコミュニケーション補助エイドとして,などが考えられる.
シナリオ解釈の流れ ソフトウエアの構成 ハードウエアの構成
符号の説明
100 リクエストキューからQIDを取り出し
101 現SIDでPQRSの現SIDを検索
102 当該QIDでPQRSのQIDを検索
103 当該PIDを得てプロセスを呼び出し
104 当該RIDを得て発話ルーチンを呼び出し
105 当該DIDを得て表示ルーチンを呼び出し
106 次SIDを得てステートを更新
107 当該RIDのテキストを得て発話
108 当該DIDのテキストを得て表示
109 リクエストキュー
110 現ステート
111 シナリオテーブル
112 プロセスルーチン
113 スケジューラ
200 入力変換モジュール
201 リクエストキュー
202 シナリオ・インタプリタ
203 シナリオ・テーブル
204 プロセス・モジュール
205 出力変換モジュール
206 スケジューラ
207 オペレーティングシステム
208 ユーザIDテーブル
209 スクリプトインタプリタ
210 プロセス・スクリプト
300 CPUボード
301 RAMメモリ
302 ROMストレッジ
303 USB
304 着脱可能メモリー
305 LAN
306 外部信号I/O
307 KBD(キーボード)
308 指紋認証装置
309 無線I/O
310 ワイヤレス・ヘッドセット
311 LCD表示装置

Claims (6)

  1. 音声言語により人と対話的にコミュニケーションする機能と,その応答と対処などの振る舞いを決めるシナリオと,シナリオを解釈する機能(シナリオ・インタプリタ)をもつ情報伝達装置で,入力情報に対する応答・処理は予め作られたシナリオに沿って対応するようにし,シナリオには入力内容と状況に応じてシナリオの流れを変えられるロジックを持て,シナリオ・インタプリタにはそのロジックを解釈できる機能を実装することにより,単純な応答だけではなく,人の発話内容や状況に対応して振る舞いを変えられる知能を持つ情報伝達装置.
  2. 上記音声言語により人と対話的にコミュニケーションする機能と,電気信号や通信線を介した伝達情報により電子機械装置とコミュニケーションする機能とで,その振る舞いを決めるシナリオの様々な内部処理インタフェースを抽象化・統一化したことにより,対人情報と対装置情報とを同一のシナリオ・インタプリタで扱えるようにした情報伝達装置.
  3. オペレータを個別認証し,その結果に応じて,予め作られた各々に合ったシナリオを切り替えて使えるようにし,スキル(知識レベル,言語など)に応じて個別対応ができるようにした情報伝達装置.
  4. 上記シナリオは,ユーザがテキスト・スクリプトとして任意のテキスト・エディタで作成でき,特殊なツールや特殊なスキルを使わずに,データとして与えることにより,その振る舞いを創出できるようにした情報伝達装置.
  5. 上記シナリオをユーザがさらに簡単に作れるように,表形式またはGUI形式でシナリオを定義できる,オフラインのシナリオエディタも別に用意した情報伝達装置.
  6. 上記情報伝達方法の何れか,または全てを,その内部に組み込んだ電子・電気・機械装置.
JP2005362435A 2005-11-18 2005-11-18 状況対応知能を持つ対話型情報伝達装置 Pending JP2007140419A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005362435A JP2007140419A (ja) 2005-11-18 2005-11-18 状況対応知能を持つ対話型情報伝達装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005362435A JP2007140419A (ja) 2005-11-18 2005-11-18 状況対応知能を持つ対話型情報伝達装置

Publications (1)

Publication Number Publication Date
JP2007140419A true JP2007140419A (ja) 2007-06-07

Family

ID=38203313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005362435A Pending JP2007140419A (ja) 2005-11-18 2005-11-18 状況対応知能を持つ対話型情報伝達装置

Country Status (1)

Country Link
JP (1) JP2007140419A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069187A1 (ja) * 2011-11-09 2013-05-16 日本電気株式会社 音声認識システム、音声認識方法
JP2018067100A (ja) * 2016-10-18 2018-04-26 株式会社日立製作所 ロボット対話システム
CN108877800A (zh) * 2018-08-30 2018-11-23 出门问问信息科技有限公司 语音交互方法、装置、电子设备及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069187A1 (ja) * 2011-11-09 2013-05-16 日本電気株式会社 音声認識システム、音声認識方法
JP2018067100A (ja) * 2016-10-18 2018-04-26 株式会社日立製作所 ロボット対話システム
CN108877800A (zh) * 2018-08-30 2018-11-23 出门问问信息科技有限公司 语音交互方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
US7548859B2 (en) Method and system for assisting users in interacting with multi-modal dialog systems
JP2019086903A (ja) 音声対話端末、および音声対話端末制御方法
US20020178005A1 (en) System and method for adaptive language understanding by computers
US7480619B1 (en) Integration manager and natural interaction processor
US20240005918A1 (en) System For Recognizing and Responding to Environmental Noises
Ibrahim et al. A study on automatic speech recognition systems
US20030216915A1 (en) Voice command and voice recognition for hand-held devices
JP2007140419A (ja) 状況対応知能を持つ対話型情報伝達装置
KR20210001082A (ko) 사용자 발화를 처리하는 전자 장치와 그 동작 방법
CN110308886A (zh) 提供与个性化任务相关联的声音命令服务的系统和方法
CN108231074A (zh) 一种数据处理方法、语音助手设备及计算机可读存储介质
KR20210031141A (ko) 음성 인식을 통하여 인공지능 제어기술을 수행하는 전자 칠판
WO2003079188A1 (fr) Procede de fonctionnement d'un objet logiciel au moyen d'une langue naturelle et programme correspondant
Ning et al. The development trend of intelligent speech interaction
Gonge et al. Voice Recognition System for Desktop Assistant
Langen Speech Assistance: Use Cases in Industry
Ngo et al. Identifying user intents in Vietnamese spoken language commands and its application in smart mobile voice interaction
Alonso-Martín et al. Multimodal fusion as communicative acts during human–robot interaction
CN109830239A (zh) 语音处理装置、语音识别输入系统及语音识别输入方法
Rudžionis et al. Control of computer and electric devices by voice
Singh et al. Operating system command execution using voice command
Avuclu et al. A Voice Recognition Based Game Design for More Accurate Pronunciation of English
TWI650749B (zh) 語音處理裝置、語音辨識輸入系統及語音辨識輸入方法
Kurschl et al. Gulliver-A framework for building smart speech-based applications
Nikure et al. Review of dynamic digital assistant using raspberry pi