JP2019144790A - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP2019144790A
JP2019144790A JP2018027739A JP2018027739A JP2019144790A JP 2019144790 A JP2019144790 A JP 2019144790A JP 2018027739 A JP2018027739 A JP 2018027739A JP 2018027739 A JP2018027739 A JP 2018027739A JP 2019144790 A JP2019144790 A JP 2019144790A
Authority
JP
Japan
Prior art keywords
conversation
unit
content
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018027739A
Other languages
English (en)
Inventor
賢吾 得地
Kengo Tokuchi
賢吾 得地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2018027739A priority Critical patent/JP2019144790A/ja
Priority to US16/121,090 priority patent/US11031004B2/en
Publication of JP2019144790A publication Critical patent/JP2019144790A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/06Decision making techniques; Pattern matching strategies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】受け付けた会話の相手に応じて会話の内容に対処する。【解決手段】情報処理装置10は、ユーザからの会話の内容を受け付ける受付部11と、受け付けた会話の内容を解析することによって会話の内容を認識し、会話の相手となるモノ(ロボット、植物、鳥等)を特定する解析部12と、会話の相手となるモノ、モノへの伝達手段を含むモノ関連情報を参照することで、会話の相手に会話の内容を伝達するための伝達手段を特定する制御部14と、制御部14からの指示に従って、特定された伝達手段に従って会話の内容を会話の相手に伝える出力部13と、を有する。【選択図】図2

Description

本発明は、情報処理装置及びプログラムに関する。
近年、あらゆるデバイスがインターネットに接続されて情報のやり取りを行うモノのインターネット(IoT:Internet of Things)の発展がめざましい。スマートフォン等の情報端末に所定のアプリケーションをインストールすれば、情報端末からIoT機器が利用可能となる。
ユーザは、例えばスマートスピーカーと会話をしながら、すなわち音声によりスマートスピーカーあるいはスマートスピーカーを介してIoT機器に処理の実行を指示することができるが、近年では、スマートスピーカー及びIoT機器と同様に動植物等の生物との会話を期待する声が聞かれる。
特開2004−234631号公報 特表2016−524190号公報
本発明は、受け付けた会話の相手に応じて会話の内容に対処することを目的とする。
本発明に係る情報処理装置は、会話の内容を受け付ける受付手段と、会話の相手を認識する認識手段と、会話の相手に応じて、会話の内容を伝達する伝達手段又は会話の内容を実現させる実現手段を特定する特定手段と、を有する。
また、前記特定手段により前記実現手段が特定された場合、前記実現手段に会話の内容が実現させるよう指示する指示手段を有することを特徴とする。
また、前記特定手段は、会話を発したユーザと会話の相手の位置関係に応じた前記伝達手段又は前記実現手段を特定することを特徴とする。
また、前記特定手段は、会話の相手が存在する環境に応じた前記伝達手段又は前記実現手段を特定することを特徴とする。
また、前記特定手段は、会話を発したユーザが存在する環境に応じた前記伝達手段又は前記実現手段を特定することを特徴とする。
また、前記特定手段は、予め設定されている情報を取得し、その取得した情報に基づき前記伝達手段を特定することを特徴とする。
また、前記特定手段は、前記会話の相手から前記情報を取得することを特徴とする。
また、前記認識手段は、会話を発したユーザから得られる情報に基づき会話の相手を認識することを特徴とする。
また、前記認識手段は、前記ユーザの動作又は発声の少なくとも一方に基づき前記会話の相手を認識することを特徴とする。
また、前記実現手段は、会話の内容を処理するソフトウェア又は会話の内容を実行するよう指示する手段であることを特徴とする。
また、前記会話の相手は、生物であることを特徴とする。
本発明に係るプログラムは、コンピュータを、会話の内容を受け付ける受付手段、会話の相手を認識する認識手段、会話の相手に応じて、会話の内容を伝達する伝達手段又は会話の内容を実現させる実現手段を特定する特定手段、として機能させる。
請求項1に記載の発明によれば、受け付けた会話の相手に応じて会話の内容に対処することができる。
請求項2に記載の発明によれば、会話の相手に対して会話の内容に従った行動又は作用を実現することができる。
請求項3に記載の発明によれば、ユーザと会話の相手の位置関係によって異なる伝達手段又は実現手段を選択することができる。
請求項4に記載の発明によれば、会話の相手が存在する位置によって異なる伝達手段又は実現手段を選択することができる。
請求項5に記載の発明によれば、会話を発したユーザが存在する位置によって異なる伝達手段又は実現手段を選択することができる。
請求項6に記載の発明によれば、既存の情報を参照して伝達手段を特定することができる。
請求項7に記載の発明によれば、会話の相手から会話の相手に依存した情報を取得することができる。
請求項8に記載の発明によれば、会話の相手を認識するための情報をユーザから取得することができる。
請求項9に記載の発明によれば、ユーザの動作又は発声に基づき会話の相手を認識することができる。
請求項10に記載の発明によれば、会話によって指示された内容を実現することができる。
請求項11に記載の発明によれば、会話の相手が生物の場合でも会話の内容を伝達することができる。
請求項12に記載の発明によれば、受け付けた会話の相手に応じて会話の内容に対処することができる。
本発明に係る情報処理装置の一形態である携帯端末及び携帯端末のユーザが会話の対象とするモノを示す概念図である。 本実施の形態における携帯端末のブロック構成図である。 本実施の形態におけるモノ関連情報の一例をテーブル形式にて示す図である。 本実施の形態における情報処理装置が実施する処理を示すフローチャートである。
以下、図面に基づいて、本発明の好適な実施の形態について説明する。
人間の会話の相手として、人間はもちろんのこと、犬や鳥、イルカ等の動物、植物、またコンピュータ等が考えられる。コンピュータに電子的な情報を与えたり、コンピュータに搭載される音声認識ソフトウェアが人間の発言を解釈したりすれば、人間とコンピュータとの間での会話は、成立しうると考えられる。動物においてもペットなどは人間の言葉を理解できる能力がある場合があるが、基本的にはそのような能力がない。しかしながら、例えば、鳥に対して苦手な音を出力することで所定の領域の所定の物(例えば、畑等の農作物)に寄せ付けないことが可能である。つまり、音及び音の種類や周波数等によって会話の内容とはいかないまでも、近付くなという人間の意思を伝えることは可能である。また、植物にクラシック等の音楽を聴かせると元気になるとも言われている。このことは、媒体として音を利用すれば、少なくとも一方向、すなわち人間側から鳥や植物側に刺激を与え、人間の意思を伝えられる可能性があると考えられる。このように、動物等の種類に応じて音、光、超音波等の媒体を出力する伝達手段を駆使すれば、動物等との間で会話が成立する可能性があると考えられる。
本実施の形態において特徴的なことは、人間の発話内容から会話の相手を特定し、その特定した相手に応じて、発話内容(会話の内容)を伝達する伝達手段を特定することである。これにより、特定した伝達手段を利用することでユーザの会話の相手に対してユーザの意思を伝達することが可能となる。また、会話により伝達したい内容が何らかの動作や処理を実行させるような指示の場合、会話の内容を実現させる実現手段を特定できるようにしたことを特徴としている。
ところで、「会話」とは、2人以上が互いに話したり聞いたりして共通の話を進めることをいう。本実施の形態では、「会話」を広義に解釈し、必ずしも双方向に限らず、人間側から動物等の相手への一方向への意思伝達を含めることにする。
図1は、本発明に係る情報処理装置の一形態である携帯端末及び携帯端末のユーザが会話の相手とするモノを示す概念図である。図1には、ユーザが使用する情報処理装置10と、ユーザが情報処理装置10を使用して会話を実現したいモノとして、PC(パーソナルコンピュータ)、複合機、ロボット、カメラ、スピーカー、ライト、車が示されている。これらのモノは、電子的な情報(データ、制御等の信号)を与えることで会話が可能となる。情報処理装置10は、これらのモノと直接又は通信機器やネットワークを介して通信可能である。情報処理装置10と通信可能な機器としてIoT機器がある。IoT機器としては、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、時計、監視カメラ、自動車、二輪車、航空機(例えば無人航空機(いわゆるドローン))、ゲーム機、ロボット(人型ロボット、人以外の動物型ロボット、それら以外のロボット等)、各種のセンシング機器(例えば温度センサ、湿度センサ、電圧センサ、電流センサ、ドアセンサ等)等の装置、また、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器等の家電等がある。
図1には、更に、鳥、イルカ等の動物及び植物が示されている。これらのモノは、基本的には言語を用いて人間と会話を行うことはできない。つまり、これらのモノには、言語(音声や文字)以外の伝達手段によって会話の内容を伝える必要がある。なお、本実施の形態では、ユーザとの会話の相手となるIoT機器や動植物等を「モノ」と総称することにする。
ここで、「伝達手段」というのは、音、光等の媒体そのもの、又は会話の内容を会話の相手に伝えるために媒体を利用する機器等の手段のことをいう。「実現手段」というのは、会話の内容が何らかの動作や処理が生じる指示の場合、その指示を実行する手段、若しくはその指示の実行を指示する手段のことをいう。例えば、ユーザが「メールをAさんに送信して。」と発話(発声)した場合、「メールをAさんに送信して。」という意味内容を会話の相手に伝えるのが伝達手段であり、メールをAさんに送信する処理を実行するのが実現手段である。
本実施の形態における情報処理装置10は、PC、タブレットPC、スマートフォン、携帯電話、スマートスピーカー等の情報処理装置又は情報処理装置を搭載したIoT機器をはじめとする各種機器である。なお、スマートスピーカーは、一般に屋内に設置され、ユーザからの音声による問いかけに対し、ネットワークを介して種々の情報を得て回答したり、IoT機器の動作を制御したりすることのできる音声アシスタント機能付きスピーカーである。つまり、音声だけで操作できるスピーカーである。「AIスピーカー」とも呼ばれる場合もある。
情報処理装置10は、CPU、ROM、RAM、ハードディスクドライブ(HDD)やソリッドステートドライブ(SSD)等の記憶手段、ディスプレイ等の表示部及び液晶パネル等の操作部を有するユーザインタフェース、他の機器との間でデータ通信を行う通信手段、マイク等の音入力手段、スピーカー等の音出力手段を有する。また、情報処理装置10の現在位置を取得できるようにGPS機能等の位置測定手段を搭載するのが望ましい。
図2は、図1に示す情報処理装置10のブロック構成図である。情報処理装置10は、受付部11、解析部12、出力部13、制御部14及び記憶部15を有している。なお、説明に用いない構成要素については図2から省略している。受付部11は、会話の内容、すなわちユーザの発話内容を受け付ける。解析部12は、受付部11が受け付けた会話の内容を解析することで、会話の内容から会話の相手を認識する。また、会話の内容(会話の意味内容)を認識する。出力部13は、モノへ会話の内容を伝達するために、また会話の内容を実現するためにデータ等を出力する。制御部14は、各構成要素11〜13の動作を制御する。また、制御部14は、解析部12が認識した会話の相手や内容に応じて、会話の内容を伝達する伝達手段又は会話の内容を実現させる実現手段を特定する。記憶部15には、制御部14が伝達手段又は実現手段を特定する際に参照する情報が保存されている。
図3は、記憶部15に設定登録されているモノ関連情報をテーブル形式にて示す図である。モノ関連情報は、ユーザによって必要な項目に対して事前に設定登録される情報である。換言すると、ユーザが会話をしたいモノを「会話相手」として選出し、選出した各モノに対して必要な項目データをモノ関連情報に設定する。
モノ関連情報には、「会話相手」、「ユーザとの位置関係」、「周囲の環境」、「伝達手段」、「機器の言語」、「会話で実現したい内容」及び「実現手段」の各項目が対応付けして設定される。これらの項目のうち「会話相手」及び「伝達手段」以外の項目の設定は任意である。「会話相手」には、ユーザとの会話の相手となるモノが設定される。「ユーザとの位置関係」には、ユーザと当該会話相手との位置関係を示す情報が設定される。「周囲の環境」には、当該会話相手の周囲の環境が設定される。「伝達手段」には、会話の内容の当該会話相手への伝達手段が設定される。「機器の言語」には、会話相手が電子情報(データ信号や制御信号)を取り扱い可能な機器の場合、当該機器に伝達する際に用いる言語が設定される。「会話で実現したい内容」には、会話相手に何らかの動作や処理が伴う指示等会話相手に対する要望に相当する会話の内容が設定される。「実現手段」には、会話で実現したい内容を実現させる実現手段が設定される。図3に例示したように、1つのモノに対して複数のモノ関連情報(レコード)を設定することが可能である。また、図3には、“PC”、“車”などのようにモノの種類を設定しているが、モノ毎に設定してもよい。そのためにモノ関連情報(レコード)にモノの識別情報を付加する。例えば、PCにおいてはIPアドレス等、PCを個々に識別しうる情報をモノ関連情報に設定することで、PC単体毎にモノ関連情報(レコード)を設定してもよい。
図3におけるモノ関連情報には、項目データの設定例として、“近い”、“静か”などの主観的な用語が設定されている。例えば、「ユーザとの位置関係」における項目データは、“近い”、“遠い”という語で表されている。このような主観的な表現で示されているユーザとモノとの位置関係を判断するためには、まずユーザ及びモノそれぞれの位置を特定する必要がある。ユーザにより会話の相手として指定されたモノの位置が固定されている場合、その位置を所定のデータベース等から取得する。あるいはモノにGPS等の測位手段が搭載されている場合は、その測位された位置をモノから取得する。あるいは、モノの位置検出手段から当該モノの位置情報を取得する。また、ユーザにより会話の相手として指定されたモノが移動可能な場合、モノにGPS等の測位手段が搭載されている場合は、その測位された位置をモノから取得する。あるいは、モノの位置検出手段から当該モノの位置情報を取得する。このように、情報処理装置10がモノの位置情報を取得するためには、通信手段が必要となる場合がある。情報処理装置10においてもモノの場合と同様にして現在位置を特定する。
そして、相対的に近い位置かそうでない位置かは、予め決められた条件に従って判断してよい。例えば、ユーザとモノとの位置関係(距離)と所定の閾値との比較でもよい。所定の閾値は、モノの種類毎、あるいはモノ毎に設定してもよい。また、ネットワークを介して通信するモノの場合、通信規格や利用形態によって通信可能な範囲は制限されるので、その通信範囲を考慮して“近い”、“遠い”を判断するようにしてもよい。
また、「周囲の環境」も基本的には同様である。例えば、音に関わる周辺環境に関しては、騒音計等の音量測定手段(音センサ)がモノの近傍に設置されており、その音量測定手段により測定された音量と、所定の閾値とを比較して、“静か”、 “賑やか”、あるいは“普通”を判断するようにしてもよい。 “暗い”等の明るさに関しても同様で照度測定手段(光センサ)等によって照度等を測定し、明るさを判断してよい。
また、伝達手段としてネットワークを利用する場合、情報処理装置10には、通信規格に従ったネットワーク通信を行うための通信インタフェースが用意されている必要がある。また、通信規格によっては、通信相手となる機器又は通信を中継する機器を特定するための情報(アドレス情報や識別情報(SSID、暗号化キー)等)が必要となってくるが、情報処理装置10は、ユーザがモノ関連情報に設定する機器に関しては、それら通信を可能とするための情報を取得している、若しくは取得可能であるものとする。
情報処理装置10における各構成要素11〜14は、情報処理装置10を形成するコンピュータと、コンピュータに搭載されたCPUで動作するプログラムとの協調動作により実現される。また、記憶部15は、情報処理装置10に搭載されたHDDにて実現される。あるいは、RAM又は外部にある記憶手段をネットワーク経由で利用してもよい。
本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、CD−ROMやUSBメモリ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのCPUがプログラムを順次実行することで各種処理が実現される。
次に、本実施の形態における情報処理装置10の動作について、図4に示すフローチャートを用いて説明する。
ユーザが会話の相手に伝達したい内容(「会話の内容」)を音声により情報処理装置10に入力すると、受付部11は、マイクにより集音された会話の内容を受け付ける(ステップ101)。なお、本実施の形態では、会話の内容を音声により入力することを想定して説明するが、必ずしも音声に限定する必要はなく、受付部11は、例えば文字により入力された情報を受け付けるようにしてもよい。
受付部11が会話の内容を受け付けると、続いて、解析部12は、受け付けた会話の内容の音声認識及び意味解析を行うことで会話の内容を認識する(ステップ102)。そして、受け付けた会話の内容から会話の相手を特定する(ステップ103)。例えば、会話の内容を解析した結果、会話の内容に「ロボット」、「鳥」など会話の相手(モノ)を特定する単語が含まれていれば、その会話の内容から会話の相手を特定できる。
また、会話の内容に会話の相手を特定する単語が含まれていなくても、例えば、「コピー」とあれば、コピー機能が搭載された機器、具体的には会話の相手を複合機と特定してもよい。
ユーザの周囲に複数の複合機が存在する場合、最も近くにある複合機を会話の相手と特定してもよい。この場合には、複合機及びユーザの位置情報を取得する手段が必要となる。解析部12は、複合機が設置されている施設が有するデータベースにアクセスすることによって複合機の位置情報を取得してもよいし、各複合機と通信して各複合機の位置情報を取得してもよい。
また、情報処理装置10にカメラ等の撮影手段が搭載されている場合、ユーザは、会話の相手としたいモノを撮影手段により撮影することによって会話の相手を特定するようにしてもよい。この場合、解析部12は、撮像データを画像解析することでモノを特定する。
また、ユーザが会話の相手を指定する語として「これ」と発言している場合、解析部12は、撮像データを解析して、ユーザに近いモノを会話の相手と特定してもよい。同様に、ユーザが会話の相手を「あれ」と発言している場合、解析部12は、ユーザから遠い位置にあるモノを会話の相手を特定してもよい。
また、ユーザの所在位置にカメラが設定されていて、そのカメラの撮影範囲にユーザ及び会話の相手となるモノが存在する場合、ユーザは、会話の相手に顔を向ける、あるいは視線を向けるようにしてもよい。解析部12は、カメラによる撮像データにおけるユーザの向いている方向を解析して、会話の相手を特定する。
上記例示したように、解析部12は、会話を発したユーザから得られる情報、すなわち受付部11が受け付けた会話の内容(ユーザによる発声)、あるいはユーザの顔や視線の動き等のユーザの動作から会話の相手を認識する。本実施の形態では、会話の相手を認識するいくつかのパターンを例示したが、これらのパターンのいずれかを採用するのではなくいくつかのパターンを組み合わせて会話の相手を認識するようにしてもよい。
続いて、制御部14は、認識された会話の内容から会話の内容を伝達する伝達手段を特定する(ステップ104)。本実施の形態では、記憶部15に予め設定登録されているモノ関連情報に基づき特定する。なお、ここでは、特に断らない限り、会話の内容が、いずれかのモノに何らかの動作をさせたり、処理を実行させたりするような指示でない場合(ステップ105でN)、すなわち会話の内容を会話の相手に単に伝達する場合であることとして説明する。この場合、制御部14は、会話の内容を伝達する伝達手段を以下のようにして特定する(ステップ106)。
例えば、会話の相手が複合機と特定されている場合、モノ関連情報を参照すると伝達手段としてネットワーク通信(Wi−Fi(登録商標))が対応付けられている。従って、制御部14は、複合機への伝達手段をネットワーク通信(Wi−Fi)と特定する。これにより、出力部13は、制御部14からの指示に従い、会話の内容を、Wi−Fiの通信規格に従ったネットワークを介して複合機へ送信する。
また、会話の相手がロボットと特定されている場合、モノ関連情報を参照すると伝達手段としてネットワーク通信(BLE(Bluetooth(登録商標) Low Energy))とネットワーク通信(Wi−Fi)が対応付けられている。このように、一のモノに対して複数の情報(レコード)が存在する場合、制御部14は、例えば、特定したロボットとの位置関係を参照し、ユーザとロボットの間の距離に応じて伝達手段を特定する。具体的には、ロボットがユーザと相対的に近い位置にあれば、ロボットへの伝達手段をネットワーク通信(BLE)と特定する。相対的に近い位置かそうでない位置かは、前述したように予め決められた条件に従って判断してよい。これにより、出力部13は、制御部14からの指示に従い、会話の内容を、BLEの通信規格に従ったネットワークを介してロボットへ送信する。一方、ロボットがユーザと相対的に遠い位置にあれば、ロボットへの伝達手段をネットワーク通信(Wi−Fi)と特定する。これにより、出力部13は、制御部14からの指示に従い、会話の内容を、Wi−Fiの通信規格に従ったネットワークを介してロボットへ送信する。
また、会話の相手が植物と特定されている場合、モノ関連情報を参照すると音声、スピーカー及び光と、複数の伝達手段が対応付けられている。この場合、制御部14は、例えば、特定した植物の周囲の環境を参照し、植物の周囲の環境に応じて伝達手段を特定する。具体的には、植物の周囲の環境が、特に特徴的な環境になく普通の場合、伝達手段を音声、すなわちユーザによる発声で伝達することに特定する。この場合、制御部14は、出力部13に指示し、情報処理装置10の表示部にその旨を表示させたり、スピーカーから音出力したりすることでユーザに伝える。ユーザは、この出力に応じて会話の内容を再度発声する。あるいは、出力部13は、情報処理装置10に内蔵されたスピーカーから受付部11が受け付けた音声を出力してもよい。
また、植物の周囲の環境が賑やかな場合、伝達手段としてスピーカーと特定する。この場合、出力部13は、制御部14からの指示に従い、会話の内容を、スピーカーから音出力する。この際の音量は、賑やかな状況でも植物に音は届くように音声より大きくする。あるいは、植物の近傍にスピーカーが設置されていれば、そのスピーカーから音出力させてもよい。
また、植物の周囲の環境が暗い場合、伝達手段として光と特定する。出力部13は、植物の近傍のライトの点灯(点滅)を制御して、会話の内容を伝達する。なお、伝達先とするモノによっては、点灯(点滅)、色、照度等を調整して会話の内容を伝えるようにしてもよい。
以上説明したように、本実施の形態においては、モノ関連情報を参照し、特定された会話の相手に対応付けられている伝達手段を、その会話の相手に伝達する伝達手段として特定する。そして、特定した伝達手段を利用して会話の内容を会話の相手に伝達する。また、会話の相手に対してユーザとモノとの位置関係やモノの周囲の環境(モノが存在する環境)のような項目に伝達手段の選択条件(項目データ)が設定されている場合には、その項目データに合致する伝達手段を選出する。
本実施の形態においては、伝達手段の選択条件として、ユーザとモノとの位置関係及びモノの周囲の環境(モノが存在する環境)を例にして説明したが、伝達手段を選択する条件(項目)は、この例に限定する必要はない。例えば、ユーザが存在する周囲の環境に応じて伝達手段を特定するようにしてもよい。
なお、モノ関連情報への設定内容によっては、複数の選択条件に合致する場合がある。例えば、会話の相手が植物の場合、植物の周囲の環境が賑やかでかつ暗い場合がある。また、植物の周囲の環境が普通でもユーザとの位置関係は遠い場合がある。このように、複数のレコードに合致するような場合、伝達手段の特定に参照する項目に優先順位を付けたり、同じモノのレコードの中で優先順位を付けたりして伝達手段が一意に特定できるようにする。あるいは、一の会話の相手に対し、1つの伝達手段のみに特定するのではなく複数の伝達手段を用いて複数の経路から会話の内容を伝えるようにしてもよい。
上記説明においては、会話の内容が、いずれかのモノに何らかの動作をさせたり、処理を実行させたりするような指示でない場合(ステップ105でN)を前提として説明したが、以降では、会話の内容がこのような指示に該当する場合(ステップ105でY)について説明する。この場合、制御部14は、会話の内容を実現させる実現手段を次のようにして特定する(ステップ107)。
すなわち、制御部14は、前述したように会話の相手及び伝達手段が特定されると、これに対応してモノ関連情報に設定されている「会話で実現したい内容」(項目データ)を取得する。そして、取得した会話で実現したい内容と、解析部12により会話の内容を意味解析して得た内容とを照合する。そして、合致する場合は、会話で実現したい内容に対応する実現手段をモノ関連情報から取得する。制御部14は、このようにして会話の内容を実現する実現手段を特定する。
例えば、会話の内容が「領収書を集計して。」の場合、解析部12は、会話の相手をPCと特定し、更にその会話の内容の意味を認識する。そして、制御部14は、伝達手段がPCに対応する情報の中に、解析部12が解析した内容と意味が合致する「会話で実現したい内容」が設定されている場合、それに対応する実現手段を取り出し、特定する。
実現手段が特定されると、「領収書を集計して。」を実現するために、出力部13は、制御部14からの指示に従い、有線LANを介してPCに処理の内容を伝え、リモートアプリに処理するよう指示する(ステップ108)。この際に必要な領収書データを送信したり、領収書データの格納先を知らせたりする。
本実施の形態では、リモートアプリ自体に会話の内容を処理させる場合を想定して説明した。つまり、実現手段であるリモートアプリは、処理を実施することで会話の内容を実現するソフトウェアに相当する。ただ、実現手段として特定されたリモートアプリを実行するPC等の情報処理装置が、会話の内容を実現するために必要な他のモノ(ハードウェア)へのアクセス権限やソフトウェアの利用権限等が付与されていない場合も想定しうる。したがって、実現手段は、会話の内容を実現するために必要な権限を有する他のモノやソフトウェアに会話の内容を実行するよう指示する手段であってもよい。なお、情報処理装置10がモノ関連情報に設定されている実現手段に対する権限を有していない場合も想定できるので、この場合も同様に、実現手段に対して権限を有するモノに依頼することによって実現手段に対して間接的に会話の内容を実現させるようにしてもよい。
以上説明したように、本実施の形態においては、会話の内容から会話の相手を特定し、その特定した会話の相手に適した伝達手段により会話の内容を会話の相手に伝えることができる。会話は、情報処理が可能な装置に限らず、動植物等の生物が解釈可能な伝達手段を利用することで生物との会話も可能とする。そして、会話の内容が動作や処理の指示等の場合は、その会話の内容を実現できるように実現手段を特定できるようにした。本実施の形態では、モノ関連情報に基づき伝達手段及び実現手段を特定したが、これに限る必要はない。例えば、会話の相手となるモノ若しくはそのモノに関連する記憶領域に伝達手段や実現手段を特定する情報が格納されている場合、制御部14は、そのモノや記憶領域から伝達手段や実現手段を特定する情報を取得し、伝達手段や実現手段を特定するようにしてもよい。モノに依存した記憶領域から伝達手段及び実現手段を得ることによって、ユーザがモノ関連情報に設定した内容と比較して、確度の高い情報を得ることができる。
記憶領域としては、モノがコンピュータ等記憶手段を内蔵するモノであれば、そのメモリでもよい。あるいは、例えばモノの内部に組み込まれた、あるいは、例えばペット(モノ)の首輪等、モノに取り付けられている物に組み込まれている記憶手段でもよい。このように、会話の相手から伝達手段や実現手段を特定する情報を取得してもよい。あるいは、過去の実績情報や学習により伝達手段や実現手段を特定してもよい。
10 情報処理装置、11 受付部、12 解析部、13 出力部、14 制御部、15 記憶部。

Claims (12)

  1. 会話の内容を受け付ける受付手段と、
    会話の相手を認識する認識手段と、
    会話の相手に応じて、会話の内容を伝達する伝達手段又は会話の内容を実現させる実現手段を特定する特定手段と、
    を有する情報処理装置。
  2. 前記特定手段により前記実現手段が特定された場合、前記実現手段に会話の内容が実現させるよう指示する指示手段を有することを特徴とする請求項1に記載の情報処理装置。
  3. 前記特定手段は、会話を発したユーザと会話の相手の位置関係に応じた前記伝達手段又は前記実現手段を特定することを特徴とする請求項1に記載の情報処理装置。
  4. 前記特定手段は、会話の相手が存在する環境に応じた前記伝達手段又は前記実現手段を特定することを特徴とする請求項1に記載の情報処理装置。
  5. 前記特定手段は、会話を発したユーザが存在する環境に応じた前記伝達手段又は前記実現手段を特定することを特徴とする請求項1に記載の情報処理装置。
  6. 前記特定手段は、予め設定されている情報を取得し、その取得した情報に基づき前記伝達手段を特定することを特徴とする請求項1に記載の情報処理装置。
  7. 前記特定手段は、前記会話の相手から前記情報を取得することを特徴とする請求項6に記載の情報処理装置。
  8. 前記認識手段は、会話を発したユーザから得られる情報に基づき会話の相手を認識することを特徴とする請求項1に記載の情報処理装置。
  9. 前記認識手段は、前記ユーザの動作又は発声の少なくとも一方に基づき前記会話の相手を認識することを特徴とする請求項8に記載の情報処理装置。
  10. 前記実現手段は、会話の内容を処理するソフトウェア又は会話の内容を実行するよう指示する手段であることを特徴とする請求項1に記載の情報処理装置。
  11. 前記会話の相手は、生物であることを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
  12. コンピュータを、
    会話の内容を受け付ける受付手段、
    会話の相手を認識する認識手段、
    会話の相手に応じて、会話の内容を伝達する伝達手段又は会話の内容を実現させる実現手段を特定する特定手段、
    として機能させるためのプログラム。
JP2018027739A 2018-02-20 2018-02-20 情報処理装置及びプログラム Pending JP2019144790A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018027739A JP2019144790A (ja) 2018-02-20 2018-02-20 情報処理装置及びプログラム
US16/121,090 US11031004B2 (en) 2018-02-20 2018-09-04 System for communicating with devices and organisms

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018027739A JP2019144790A (ja) 2018-02-20 2018-02-20 情報処理装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2019144790A true JP2019144790A (ja) 2019-08-29

Family

ID=67618029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018027739A Pending JP2019144790A (ja) 2018-02-20 2018-02-20 情報処理装置及びプログラム

Country Status (2)

Country Link
US (1) US11031004B2 (ja)
JP (1) JP2019144790A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023146059A1 (en) * 2022-01-28 2023-08-03 Samsung Electronics Co., Ltd. Method and electronic device for enhanced interaction with voice assistant using user accessories data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067118A (ja) * 1998-08-18 2000-03-03 Fujitsu Ltd 情報端末装置
JP2003188978A (ja) * 2001-12-20 2003-07-04 Casio Comput Co Ltd 通信端末およびプログラム
JP2016524190A (ja) * 2013-06-21 2016-08-12 マイクロソフト テクノロジー ライセンシング,エルエルシー 環境を認識した対話ポリシーおよび応答生成

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030193414A1 (en) * 1993-05-18 2003-10-16 Jones M. Kelly User-definable communications methods and systems
DE69712485T2 (de) * 1997-10-23 2002-12-12 Sony Int Europe Gmbh Sprachschnittstelle für ein Hausnetzwerk
US20020056000A1 (en) * 2000-11-08 2002-05-09 Albert Coussement Stefaan Valere Personal interaction interface for communication-center customers
US20040095389A1 (en) 2002-11-15 2004-05-20 Sidner Candace L. System and method for managing engagements between human users and interactive embodied agents
CA2550043C (en) * 2003-12-16 2011-06-28 Research In Motion Limited Mobile device communication profile system and method
US20070067161A1 (en) * 2005-09-21 2007-03-22 Elliot Rudell Electronic talking pet collar
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US9240904B2 (en) * 2008-01-31 2016-01-19 Centurylink Intellectual Property Llc System and method for a messaging assistant
US9171541B2 (en) * 2009-11-10 2015-10-27 Voicebox Technologies Corporation System and method for hybrid processing in a natural language voice services environment
US8543134B2 (en) * 2011-03-31 2013-09-24 David LOPEZ Interactive communication and tracking dog collar
US8825020B2 (en) * 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
US10354650B2 (en) * 2012-06-26 2019-07-16 Google Llc Recognizing speech with mixed speech recognition models to generate transcriptions
US20140181715A1 (en) * 2012-12-26 2014-06-26 Microsoft Corporation Dynamic user interfaces adapted to inferred user contexts
US9875494B2 (en) * 2013-04-16 2018-01-23 Sri International Using intents to analyze and personalize a user's dialog experience with a virtual personal assistant
US20150022329A1 (en) * 2013-07-16 2015-01-22 Forget You Not, LLC Assisted Animal Communication
US20150181819A1 (en) * 2013-12-31 2015-07-02 Samel Celebi Method and System for Automated Plant Watering
KR101550036B1 (ko) * 2015-02-26 2015-09-07 주식회사 디안스 정보통신기술 기반 무인 경계 시스템
US9992642B1 (en) * 2015-12-29 2018-06-05 Amazon Technologies, Inc. Automated messaging
US20170223928A1 (en) * 2016-02-09 2017-08-10 Carissa Davino System and apparatus for remotely comforting and interacting with an animal, and an animal bed
US10912281B2 (en) * 2016-02-24 2021-02-09 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for communicating with a guide animal
US10467509B2 (en) * 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
US10074371B1 (en) * 2017-03-14 2018-09-11 Amazon Technologies, Inc. Voice control of remote device by disabling wakeword detection
US10735479B2 (en) * 2017-03-30 2020-08-04 Intel Corporation Methods, systems and apparatus to enable voice assistant device communication
US10992719B2 (en) * 2017-11-14 2021-04-27 Rovi Guides, Inc. Systems and methods for establishing a voice link between users accessing media
US10051600B1 (en) * 2017-12-12 2018-08-14 Amazon Technologies, Inc. Selective notification delivery based on user presence detections

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067118A (ja) * 1998-08-18 2000-03-03 Fujitsu Ltd 情報端末装置
JP2003188978A (ja) * 2001-12-20 2003-07-04 Casio Comput Co Ltd 通信端末およびプログラム
JP2016524190A (ja) * 2013-06-21 2016-08-12 マイクロソフト テクノロジー ライセンシング,エルエルシー 環境を認識した対話ポリシーおよび応答生成

Also Published As

Publication number Publication date
US20190259389A1 (en) 2019-08-22
US11031004B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
CN112789561B (zh) 用于为电器定制便携式自然语言处理接口的系统和方法
US20210012775A1 (en) Electronic device and voice recognition control method of electronic device
US10861449B2 (en) Information processing device and information processing method
JP6767206B2 (ja) 応答システム
JP6739907B2 (ja) 機器特定方法、機器特定装置及びプログラム
KR101413043B1 (ko) 실시간 양방향 통신을 이용한 애완 동물 보호 시스템 및 방법
KR20180122106A (ko) 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템
EP4155782B1 (en) Systems and methods of ultrasonic sensing in smart devices
CN112331196A (zh) 管理多个智能代理的电子设备及其操作方法
KR20150126549A (ko) 스마트 단말기 제어방법, 장치, 프로그램 및 기록매체
US20200075036A1 (en) User command processing method and system for adjusting output volume of sound to be output, on basis of input volume of received voice input
WO2021008538A1 (zh) 语音交互方法及相关装置
JP6759445B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
KR102561572B1 (ko) 센서 활용 방법 및 이를 구현한 전자 장치
CN112840345A (zh) 用于提供跨多个电器的便携式自然语言处理接口的系统和方法
KR20160091191A (ko) 스마트폰을 이용하여 실시간 양방향 통신으로 애완 동물과 소통할 수 있는 사물인터넷장치
JP6573696B2 (ja) ネットワークに連結した音響機器とのマルチモーダルインタラクション方法およびシステム
KR102447381B1 (ko) 통화 중 인공지능 서비스를 제공하기 위한 방법 및 그 전자 장치
JP2019212183A (ja) 情報処理装置及びプログラム
KR102512614B1 (ko) 오디오 개선을 지원하는 전자 장치 및 이를 위한 방법
JP2020028129A (ja) 電子装置、サーバー及びその制御方法
WO2016206642A1 (zh) 机器人的控制数据的生成方法及装置
JP2019144790A (ja) 情報処理装置及びプログラム
JP2019061334A (ja) 機器制御装置、機器制御方法及び機器制御システム
US11687049B2 (en) Information processing apparatus and non-transitory computer readable medium storing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220607