JP2021073552A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2021073552A
JP2021073552A JP2020212827A JP2020212827A JP2021073552A JP 2021073552 A JP2021073552 A JP 2021073552A JP 2020212827 A JP2020212827 A JP 2020212827A JP 2020212827 A JP2020212827 A JP 2020212827A JP 2021073552 A JP2021073552 A JP 2021073552A
Authority
JP
Japan
Prior art keywords
information processing
user
unit
sensor
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2020212827A
Other languages
English (en)
Inventor
宏 岩波
Hiroshi Iwanami
宏 岩波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of JP2021073552A publication Critical patent/JP2021073552A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00Subject matter not provided for in other groups of this subclass
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/026Acoustical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop

Abstract

【課題】オブジェクトの接近を検知して予めユーザに通知することが可能な情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】情報処理装置(ペットロボット1)は、パッシブな超音波センサ17と、ユーザに通知する通知部(音声出力部22)と、超音波センサにより検出されたセンサデータから、予め学習された屋外のオブジェクトの接近を示す特徴を検出すると、ユーザに通知するように通知部を制御する制御部10と、を備える。【選択図】図2

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
物事には悪いタイミングというものがあって、例えばトイレに入った途端に宅配便が来て慌てて出なければならなかったり、ゴミ収集車が来る前に出そうと気配を気にしているつもりが気配を逃して間に合わなかったり、ということが多々ある。一般の一戸建ての住宅では、周囲の音や気配を家の中でも感じることが比較的可能であって、例えば表の道路に車が止まった気配や、門を開けてアプローチを入ってくる音、裏庭に居る人の気配等を室内にいても感じることができる。
ここで、近年、ロボットによる様々なサービスの提供が提案されている。例えば下記特許文献1には、不特定の人が来場する場所において、ロボットによるサービスを行う対象となる人を的確に認識し、状況に応じて来場者への情報提供、支援、さらには警備、火災などに対する避難誘導などのサービスを行うシステムが記載されている。かかるシステムで用いられるロボットは、マイクロホンおよびスピーカを有し、自律移動ができるようになっている。自律移動の際は、赤外線検知または超音波検知による障害物センサにより障害物を自動的に回避して目的地へ移動する。
また、下記特許文献2には、走行部により走行して建物内の巡回警備を行う警備ロボットが記載されている。かかる警備ロボットが巡回警備中に、倒れている者や負傷者、あるいは侵入者等を発見した場合、警備ロボットに設けられたスピーカおよびマイクにより、他の場所に待機しているオペレータが倒れている者や負傷者、侵入者と会話を行うことができる。また、警備ロボットには、走行中の障害物の接触を検知する接触センサおよび周囲の障害物や侵入者等の接近を感知する超音波センサが設けられている。
また、下記特許文献3には、特定の人物を認識し、特定の人物のすぐ近くで、特定の人物がその場所を利用する場合に有用となる画像情報を表示する表示装置を備えた浮遊型ロボットが記載されている。かかる浮遊型ロボットは、可聴帯域や超音波帯域の音声センサを有する。音声発生装置から発した超音波の反響や、他の浮遊型ロボットが発する音を音声センサが入力し、その信号等に基づいて障害物や他の浮遊型ロボットを検知することができる。
また、下記特許文献4には、センサ、マイクロホン、および防犯カメラ等からの環境状態の変化を読み取り、状況に応じた音質、音声で反応を示すことにより、あたかも番犬がいるように思わせることができる電子ペットおよび防犯装置が記載されている。かかる電子ペットは、物理的生命体オブジェクトが存在しない電子ペットであって、環境状態として、物体の動き、匂い、大気圧力、温度、振動、煙、湿度などを物理センサにより検出する。
また、下記特許文献5には、人に取り付けられた音声発生器が人の動きに応じて発生する音を解析して玩具を制御することが記載されている。また、発生する音は、超音波から成り、代替案としてまたは追加的に、超低周波音から成ってもよいことが記載されている。
また、下記特許文献6では、前方の障害物を検知するとともに障害物までの距離を計測する超音波センサが本体の側面や前方に複数設けられた警備二足歩行ロボットが記載されている。
特開2008−142876号公報 特開2003−256042号公報 特開2002−006784号公報 特開2001−093062号公報 特表2002−519741号公報 登録実用新案第03126203号公報
しかしながら、上述したいずれの特許文献も、障害物を検知するセンサにより近くの接近物を検知するロボットについては記載されているが、家の外の人や物の気配を察知するロボットに関しては考慮されていない。
そこで、本開示では、オブジェクトの接近を検知して予めユーザに通知することが可能な情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、パッシブな超音波センサと、ユーザに通知する通知部と、前記超音波センサにより検出されたセンサデータから、予め学習された屋外のオブジェクトの接近を示す特徴を検出すると、前記ユーザに通知するように前記通知部を制御する制御部と、を備える、情報処理装置を提案する。また、本開示によれば、情報処理装置により、パッシブな超音波センサにより検出されたセンサデータから、予め学習された屋外のオブジェクトの接近を示す特徴を検出すると、ユーザに通知するように通知部を制御することを含む、情報処理方法を提案する。
本開示によれば、コンピュータを、パッシブな超音波センサにより検出されたセンサデータから、予め学習された屋外のオブジェクトの接近を示す特徴を検出すると、ユーザに通知するように通知部を制御する制御部として機能させるためのプログラムを提案する。
以上説明したように本開示によれば、オブジェクトの接近を検知して予めユーザに通知することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要を説明する図である。 本開示の一実施形態によるペットロボットの構成の一例を示すブロック図である。 本開示の一実施形態による制御部および記憶部の機能構成例を示すブロック図である。 本開示の一実施形態による時系列の特徴量データの一例を示す図である。 本開示の一実施形態による事象の状態遷移の一例を示す図である。 本開示の一実施形態による識別内容および通知内容の一例を説明する図である。 本開示の一実施形態による識別用データの生成処理を示すフローチャートである。 本開示の一実施形態による通知処理を示すフローチャートである。 本開示の一実施形態によるフィードバックに応じた学習について説明する図である。 本開示の一実施形態によるMACアドレスリストの一例を示す図である。 本開示の一実施形態による電波および超音波を用いた通知処理を示すフローチャートである。 本開示の一実施形態による超音波と電波の時系列データの収集処理を示すフローチャートである。 本開示の一実施形態によるペットロボットの構成の一例を示すブロック図である。 本開示の一実施形態による匂いリストの一例を示す図である。 本開示の一実施形態によるペットロボットの制御部および記憶部の機能構成例を示すブロック図である。 本開示の一実施形態によるユーザ感情に応じた通知内容の変更処理を示すフローチャートである。 本開示の一実施形態によるユーザ感情に応じた自動学習処理を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成
3.動作処理
3−1.生成処理
3−2.通知処理
4.応用例
4−1.電波を用いた通知処理
4−2.匂いを用いた通知処理
4−3.感情に応じた動作処理
5.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
まず、本開示の一実施形態による情報処理システムの概要について説明する。図1は、本実施形態による情報処理システムの概要を説明する図である。図1に示すように、本実施形態による情報処理システムは、外観形状が犬等の動物に模して形成された、エンターテインメント性を有するペットロボット1(情報処理装置)により実現される。また、ペットロボット1は、目や脚等を自律的に動作させて動物のような仕草を表出することが可能である。
(背景)
ここで、日常生活の中で、突然来る来訪者に対して準備が出来ておらず慌てて出なければならないことがある。一般の一戸建ての住宅では、周囲の音や気配を家の中でも感じることが比較的可能であるが、例えばピザの配達がいつ来るかバイクの音を気にしていても、つい他の事に気を取られて気付くのが遅れてしまうことも多々ある。また、マンションでも窓を開けて外の階下の音を聞いて気配を感じることは可能であるが、常に窓を開けておくのは不便である。
そこで、本実施形態による情報処理システムは、様々なセンサを有し感覚器官が優れているペットロボット1を用いて、オブジェクトの接近を早めに検知し、ユーザに通知することを可能とする。一般的に人間の可聴域は12Hz〜23KHz程であるが、例えば犬の可聴域は、15Hz〜60KHz程である。周波数の高い音波は、物が擦れる場合(衣擦れ、足音、門柱の開く際の擦れ音)、ぶつかる音(石ころ、敷石、門柱の金属の触れ合う音)等で顕著に発生する。したがって、ペットロボット1に周波数センサを設けて、これらの音を検知することで、周辺の人やモノの接近を察知し、ユーザに事前に通知することが可能となる。
これにより、ユーザは来訪を早めに知って準備することができる。また、裏口や庭への侵入者や不審者が早めに検知された場合、ユーザはすぐに適切な対応を取ることができ、安心や安全性を確保することができる。また、来訪者が誰であるか分かれば、場合によっては居留守を使う選択肢を選べることも可能になる。
例えば図1に示すように、家2の中にいるペットロボット1は、主にパッシブな超音波センサにより、家2の外を含む周辺の人やモノの気配を感じて、ユーザに通知する番犬的な役割を担う。図1に示す例では、家2に接近するバイク3の音を超音波センサにより検知し、ユーザに通知する。具体的には、例えばピザの配達の場合、バイク3が走ってくる音、家2の前で止まる音、荷台からピザを出している音、伝票の準備をしている音、玄関に向かう足音、アプローチの砂利や石畳の上を歩いてくる音、および玄関前に立つ音がした上で、玄関のチャイムが押され、ユーザはピザの配達が来たことが分かる。ペットロボット1は、これら一連の音(主に超音波)を早い段階で検知し、音の周波数的な特徴や音の時系列パターンを捉え、ピザの配達人が玄関に到達する前に、「もうすぐピザの配達人がきますよ」とユーザに対して通知することができる。通知を受けたユーザは、ピザ代金の準備等、予め用意することができる。
以上、本実施形態による情報処理システムの概要について説明した。なお、本実施形態では、情報処理装置の一例としてペットロボット1を用いるが、本実施形態はこれに限定されず、例えばタブレット端末やスマートフォン等の表示端末に表示される仮想的な実体、すなわちソフトウェアプログラムによるタイニーロボットであってもよい。
続いて、本実施形態による情報処理装置の一例であるペットロボット1の構成について図2を参照して具体的に説明する。
<<2.構成>>
図2は、本実施形態によるペットロボット1の構成の一例を示すブロック図である。図2に示すように、ペットロボット1は、制御部10、通信部11、カメラ15、音声入力部16、超音波センサ17、駆動部18、タッチセンサ19、記憶部20、音声出力部22、加速度センサ23、および角速度センサ24を有する。
制御部10は、演算処理装置および制御装置として機能し、各種プログラムに従ってペットロボット1内の動作全般を制御する。制御部10は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部10は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
また、本実施形態による制御部10は、通信部11、カメラ15、音声入力部16、超音波センサ17、タッチセンサ19、加速度センサ23、または角速度センサ24等から得た各種情報に応じて自動的に動作する自律制御を行い得る。
通信部11は、他の装置との間でデータの送受信を行うための通信モジュールである。例えば通信部11は、ネットワーク(不図示)を介して各種サーバと接続し、データの送受信を行ったり、Bluetooth(登録商標)やWi-Fi(登録商標)により周辺デバイス(不図示)と直接接続し、データの送受信を行ったりする。
カメラ15は、撮像レンズ、絞り、ズームレンズ、およびフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。
音声入力部16は、ユーザの音声や周囲の環境音を収音し、音声信号を制御部10に出力する。音声入力部16は、マイクロホンと、そのマイクロホンで得られた音声信号を増幅処理するマイクアンプ部と、音声信号にデジタル変換するA/D変換器により実現され、音声信号を制御部10に出力する。
超音波センサ17は、周囲の超音波を受信するパッシブなセンサであって、検知した超音波の信号を制御部10に出力する。
駆動部18は、ペットロボット1の各関節における自由度を実現するための機能モジュールであり、それぞれの関節におけるロール、ピッチ、ヨーなど軸毎に設けられた複数の駆動ユニットで構成される。各駆動ユニットは、所定軸回りの回転動作を行なうモーターと、モーターの回転位置を検出するエンコーダーと、エンコーダーの出力に基づいてモーターの回転位置や回転速度を適応的に制御するドライバーの組み合わせで構成される。
タッチセンサ19は、ユーザからの「撫でる」や「叩く」といった物理的な働きかけにより受けた圧力を検出する。なおペットロボット1は、タッチセンサ19の代わりに、あるいは追加して、圧力センサを有していてもよい。
記憶部20は、制御部10が各種処理を実行するためのプログラム等を記憶する。また、記憶部20は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含むストレージ装置により構成される。
音声出力部22は、スピーカと、そのスピーカに対するアンプ回路により実現される。また、音声出力部22は、鳴き声等の音声を出力する。
加速度センサ23および角速度センサ24は、ペットロボット1の向きや動きの加速度を検出する。
以上、本実施形態によるペットロボット1の構成について具体的に説明した。なお本実施形態によるペットロボット1の構成は図2に示す例に限定されず、例えばペットロボット1の位置を計測する位置情報取得部をさらに有していてもよい。
また、ペットロボット1は、前方に位置する物体までの距離を測定するための距離センサとして上述したカメラ15を用いてもよいし、別途、赤外線等の方式を用いた距離センサを備えてもよい。
また、ペットロボット1は、例えば図1に示すように、胴体部ユニット200と、胴体部ユニット200の前後左右にそれぞれ連結された脚部ユニット201と、胴体部ユニット200の前端部および後端部にそれぞれ連結された頭部ユニット202と、尻尾部ユニット203とから構成されていてもよい。胴体部ユニット200には、CPU(Central Processing Unit)、DRAM(Dynamic Random Access Memory)、フラッシュROM(Read 0nly Memory)、PC(Personal Computer)カードインターフェース回路および信号処理回路が内部バスを介して相互に接続されることにより形成された制御部10と、ペットロボット1の動力源としてのバッテリとが収納されている。また、胴体部ユニット200には、通信部11、超音波センサ17、記憶部20、加速度センサ23、および角速度センサ24なども収納されている。
また、頭部ユニット202には、外部の状況を撮像するためのカメラ15と、ユーザからの「撫でる」や「叩く」といった物理的な働きかけにより受けた圧力を検出するためのタッチセンサ19と、外部音を集音するための音声入力部16と、鳴き声等の音声を出力するための音声出力部22と、前方に位置する物体までの距離を測定するための距離センサ(図示せず)となどがそれぞれ所定位置に配置されている。カメラ15は、ペットロボット1の「目」に相当する位置に設けられてもよい。また、カメラ15を頭部ユニット202の額部分に配置し、「目」に相当する位置にはLED(Light Emitting Diode)(図示せず)を配置してもよい。また、頭部ユニット202には、耳部ユニット204が連結され、超音波センサ17により人やモノの接近が検知された場合に動くことが可能である。
さらに、各脚部ユニット201の関節部分や各脚部ユニット201および胴体部ユニット200の各連結部分、頭部ユニット202および胴体部ユニット200の連結部分、並びに尻尾部ユニット203の尻尾の連結部分などにはそれぞれ自由度数分のアクチュエータおよびポテンショメータが配設されている。例えば、アクチュエータはサーボモータを構成として有している。サーボモータの駆動により、脚部ユニット201が制御されて、目標の姿勢あるいは動作に遷移する。
以上説明したペットロボット1の具体的な構成例については、例えば特開2002-157596号公報を参照する。特開2002-157596号公報は、その全ての内容について、本参照により本明細書に組み込まれる。(The entire contents of JP 2002-157596 are hereby incorporated by reference.)
また、図2を参照して説明したペットロボット1の構成は、ペットロボット1がタイニーロボットの場合にも応用可能である。具体的には、タイニーロボットを表示する表示端末が、上記制御部10、通信部11、カメラ15、音声入力部16、超音波センサ17、タッチセンサ19、記憶部20、および音声出力部22と、表示部に相当する構成を有する。タイニーロボットは表示部に表示され、ユーザとインタラクションを行い得る。
(機能構成)
続いて、制御部10および記憶部20の機能構成について図3を参照して説明する。図3は、本開示の一実施形態による制御部10および記憶部20の機能構成例を示すブロック図である。図には、ペットロボット1の制御部10の機能として、特徴量分析部101と、記憶制御部102と、学習部103と、識別部104と、通知制御部105とが示されている。また、図には、記憶部20の機能として、特徴量データベース210と、識別用データ記憶部220とが、示されている。以下、それぞれの構成要素についてさらに説明する。
特徴量分析部101は、超音波センサ17により検知され、入力された信号(超音波信号)を継続的に分析し、分析結果(特徴量データとも称す)を記憶制御部102および識別部104に出力する。信号の分析方法は特に限定しないが、例えば数ミリ〜数十ミリ秒単位のFFT(Fast Fourier Transform)分析やケプストラム分析を用いてもよい。
記憶制御部102は、特徴量分析部101で分析された超音波の特徴量データを特徴量データベース210に記憶するよう制御する。特徴量分析部101では継続的に分析が行われ、分析結果として特徴量データが出力されるため、記憶制御部102は、継続的に特徴量データを特徴量データベース210に記憶するよう制御する。
学習部103は、特徴量データベース210に記憶された時系列の特徴量データに基づいて、来訪者や不審者、または移動体(例えば車、バイク、自転車、ドローン)等のオブジェクトの接近を示す特徴量データを機械学習し、これらを識別するための識別用データを生成する。具体的には、例えば学習部103は、ユーザから「宅配便だったよ。今度来たら教えてね」というコマンド(音声によるコマンド)が入力された場合、特徴量データベース210から、所定時間T(例えば30秒)を遡った時点からの特徴量データを呼び出し、宅配便が来たことを検知する識別用データを生成する。かかる識別用データは、時系列の特徴量データをパターン化したものであってもよい。学習部103は、生成した識別用データを教師データとして識別用データ記憶部220に格納する。ここで、時系列の特徴量データに基づく識別用データの生成について図4を参照して説明する。
図4は、本実施形態による時系列の特徴量データの一例を示す図である。図4には、ユーザからのコマンドを受けて特徴量データベース210から読み出した所定時間T1を遡った時点からの特徴量データF1、F2、F3、F4、F5が時系列で示されている。特徴量データベース210には、宅配便の人が来た際の台車の音、門扉のハンドルの音、門扉を開く音、石畳を踏む音、および玄関前に立つ音が、時系列の特徴量データとして記憶されている。学習部103は、例えば所定時間Tを遡った時点からの特徴量データF1、F2、F3に基づいて、宅配便を識別するための識別用データを生成する。これにより、後述する識別部104により、台車の音(特徴量データF1)、門扉のハンドル音(特徴量データF2)、および門扉を開く音(特徴量データF3)が順次発生した時点で、宅配便の人が来たと識別され得る。
なお、各特徴量データが何の事象を示すものであるかは、特徴量データベース210に蓄積された特徴量データや、識別用データ記憶部220に蓄積された識別用データの解析、若しくはネットワーク上から取得した音事象データとのマッチングにより分類され得る。例えば学習部103は、図4に示す例において、特徴量データF1が台車の音、特徴量データF2が門扉のハンドルの音、特徴量データF3が門扉を開く音、特徴量データF4が石畳を踏む音、特徴量データF5が玄関前に立つ音等と分類することができる。
事象の分類ができた場合、制御部10は、蓄積された特徴量データおよび識別用データに基づいて、音の事象の状態遷移を把握することが可能となる。ここで、図5に、本実施形態による事象の状態遷移の一例を示す。図5に示すような状態遷移が把握されている場合、音の事象がF01、F02、F03、F04と遷移した際は接近する訪問者や移動体等がオブジェクトAの可能性が高く、音の事象がF01、F11、F12、F13と遷移した際はオブジェクトBの接近の可能性が高いと判断される。また、音の事象がF01、F11、F21、F22と遷移した際はオブジェクトCの接近の可能性が高いと判断される。なお、各事象が例えば1ポイントとして算出され、事象遷移に応じてその合計が閾値を超えた場合に、対応するオブジェクトの接近の可能性が高いと判断されてもよい。また、各事象には重み付けがあってもよい。
識別部104は、特徴量分析部101により分析された特徴量データと、識別用データ記憶部220に記憶されている各識別用データを比較し、類似性があるか否かを判定し、訪問者等の接近するオブジェクトを識別する。すなわち、識別部104は、超音波センサ17により検出された超音波信号から、予め学習されたオブジェクトの接近を示す特徴を検出する。類似性の判断手法は特に限定しないが、例えばHMM(Hidden Markov Model)等、速さやタイミングの異なる2つのパターンの類似性の比較を行う手法が用いられる。
また、識別部104は、図5を参照して説明したように音の事象の状態遷移が把握されている場合、特徴量データに基づいて音の事象を認識し、音の事象の状態遷移に応じて接近するオブジェクトを識別することも可能である。
通知制御部105は、識別部104により類似性があると識別された場合、識別内容に応じた通知内容をユーザに通知するよう制御する。ユーザへの通知は、例えば音声出力部22から音声出力により行われ得る。通知内容の情報は、記憶部20に予め記憶されていてもよいし、通信部11を介してネットワーク上から取得されてもよい。若しくは、制御部10により識別用データ生成時に併せて生成され、記憶部20に記憶されてもよい。ここで、図6を参照して本実施形態による識別内容および通知内容の一例を説明する。
図6には、識別内容毎の通知内容が示されている。図6に示すように、例えば宅配便の配達員が玄関に向かっているという識別内容の場合(すなわち現在取得された超音波の特徴量データが、宅配便の配達員が玄関に向かっていることを示す識別用データと類似性がある場合)、「もうすぐ宅配便の人が来ますよ」といった通知内容が音声出力される。また、例えば新聞屋が玄関に向かっているという識別内容の場合、「もうすぐ新聞屋さんがきますよ」といった通知内容が音声出力される。
特徴量データベース210は、特徴量分析部101により分析された特徴量データを時系列で記憶する。また、特徴量データベース210は、特徴量データの保存期間を定め、保存期間経過後は新たな特徴量データを上書きしてもよい。
識別用データ記憶部220は、学習部103により生成された識別用データを記憶する。識別用データは、識別部104において、接近するオブジェクトの識別を行う際に教師データとして用いられる。
以上、本実施形態による制御部10および記憶部20の機能構成について具体的に説明した。続いて、本実施形態による情報処理システムの動作処理について図7〜図8を参照して説明する。
<<3.動作処理>>
<3−1.生成処理>
図7は、本実施形態による識別用データの生成処理を示すフローチャートである。図7に示すように、まず、ペットロボット1は、超音波センサ17から音の取り込みを行う(ステップS103)。
次に、特徴量分析部101は、取り込まれた超音波信号に対して特徴量の分析を行う(ステップS106)。
次いで、特徴量分析部101は、分析した時系列の特徴量データを、特徴量データベース210に書き込む(ステップS109)。
上記音の取り込み、特徴量データの分析、および書き込みは、常時連続的に(例えば2〜3分毎に)行われる。
続いて、飼い主(ユーザ)からコマンドがあった場合(ステップS115/Yes)、学習部103は、所定時間Tを遡った時点からの特徴量データを特徴量データベース210から読み出す(ステップS118)。飼い主からのコマンドとは、例えば「今度来たら教えてね」等の音声によるものや特定のジェスチャによるものである。制御部10は、例えば音声入力部16により取得されたユーザ発話音声を解析し、コマンドを認識する。学習部103は、コマンドに応じて、例えば直前に訪問していた訪問者が玄関のチャイムを鳴らしたタイミングの1分前から10秒前等における特徴量データを読み出す。
そして、学習部103は、読み出した特徴量データに基づいて、次に同じ訪問者が来た際に当該訪問者を識別するための識別用データを生成する(ステップS121)。生成された識別用データは、識別用データ記憶部220に記憶される。
次に、生成した識別用データを用いた通知処理について図8を参照して説明する。
<3−2.通知処理>
図8は、本実施形態による通知処理を示すフローチャートである。図8に示すように、まず、ペットロボット1は、超音波センサ17から音の取り込みを行う(ステップS133)。
次に、特徴量分析部101は、取り込まれた超音波信号に対して特徴量の分析を行う(ステップS136)。
次いで、識別部104は、分析結果の特徴量データと、識別用データ記憶部220に記憶されている識別用データとを比較して、訪問者を識別する(ステップS139)。
上記特徴量データの分析および識別は常時連続的に(例えば2〜3分毎に)行われ、識別部104は、いずれかの識別用データと類似性があった場合、識別結果を通知制御部105に出力する。
続いて、通知制御部105は、識別結果に基づいて、飼い主(ユーザ)に通知を行う(ステップS145)。例えば通知制御部105は、宅配便の人が来たと識別した場合、「宅配便の人がきましたよ!」と音声出力するよう音声出力部22を制御する。
次に、飼い主からポジティブな評価があった場合(ステップS145/Yes)、学習部103は、教師データを更新する(ステップS148)。飼い主からのポジティブな評価とは、例えば「OK。宅配便だったよ」と言ったり、「ありがとう、助かったわ」と言ってペットロボット1を撫でたり等、通知が正しかったことを示す発話や褒める動作、特定のジェスチャ等である。この場合、学習部108は、今回の特徴量データに基づいて、識別に用いた識別用データを再生成し、改善する。
なお、このようなユーザのフィードバックは、ポジティブな評価に限られず、ネガティブな評価も想定される。ネガティブフィードバックが行われた場合の学習について以下説明する。
(フィードバックによる学習)
・通知タイミングの変更
例えば宅配便の配達員が来た時にペットロボット1が「もうすぐ宅配便の人がきますよ」と通知するタイミングが遅かった場合、ユーザは「もう少し早く知らせて」とペットロボット1にフィードバックする。
ペットロボット1は、「承知しました」と答えると共に、学習部103により識別用データを改善し、より早いタイミングでユーザに通知を行えるようにする。具体的には、例えば学習部103は、図9に示すように、所定時間T1よりも長い所定時間T2を遡った時点からの特徴量データF0、F1、F2に基づいて識別用データを生成する。これにより、図4を参照して説明した例では特徴量データF3が検知された時点でユーザに通知を行っていたのに対して、図9に示す例では、それよりも早い特徴量データF2が検知された時点で通知を行うことができる。
・通知が間違いだった場合
例えばペットロボット1が「もうすぐ宅配便の人がきますよ」と通知したが実際は新聞屋だった場合、ユーザは「違ったよ」、「新聞屋だったよ」等とペットロボット1にフィードバックする。
この場合、ペットロボット1は、上記ステップS148に示す更新処理を行わないようにする。上述したように、ポジティブなフィードバックが行われた場合のみに識別用データを再生成することで、識別用データの精度を向上することが可能となる。
<<4.応用例>>
以上説明した実施形態では、超音波を検知して訪問者等を識別する場合について説明したが、本実施形態はこれに限定されず、訪問者等の接近を電波や匂いによって検知することも可能である。以下、図10〜図17を参照して具体的に説明する。
<4−1.電波を用いた通知処理>
宅配便の配達員や、新聞屋等、ビジネスで訪問する人物は、通常ビジネスに関係する電子機器を携帯することが想定される。携帯電話やスマートフォン、タブレット端末、また、宅配便の人であれば配達物を管理するバーコードスキャナー付きのPOS(Point Of Sales)端末に相当する機器を携帯することが想定される。これらの電子機器は、直接、あるいはBluetooth、ANT、Wi-Fi等の無線通信方式を使用して携帯電話端末やスマートフォンを経由して通信ネットワークと接続する。不審者や侵入者であっても何らかの電子機器を携帯していることが想定される。また、電波を積極的に出さない電子機器でも、不要輻射と称される機器特有のEMI(Electro Magnetic Interference:電磁干渉)のパルスを放出する。
本実施形態によるペットロボット1は、このような電子機器の発するWAN、Bluetooth、ANT、Wi-Fi、または不要輻射を検知することで訪問者を識別することが可能である。
具体的には、例えばWi-Fiを例にとると、Wi-Fi機器にはMACアドレスと称される端末固有のIDがあり、端末機器はアクセスポイントに接続するためにProbe Request(プローブ要求)と称される信号を出す。Wi-Fiの電波は環境によるが、通常10m〜30m程の距離を伝搬し、また、端末機器との距離は電波の強度(RSSI)により推定可能である。
本実施形態によるペットロボット1は、通信部11によりWi-Fi電波を受信してMACアドレスを取得し、既存のMACアドレスリストと照合して、見知らぬ人が家の前を通り過ぎただけなのか、宅配便の配達員や知り合いが訪ねて来たのかを判別することができる。
ここで、図10に、本実施形態によるMACアドレスリストの一例を示す。図10には、MACアドレスが「12:34:AB:CD」の端末保持者は「宅配便の配達員a」、MACアドレスが「56:78:EF:EF」の端末保持者は「郵便配達員」、MACアドレスが「98:76:FE:DC」の端末保持者は「夫」であることが示されている。MACアドレスリストは、予め記憶部20に記憶されていてもよいし、通信部11を介して外部から取得されてもよい。
本実施形態によるペットロボット1は、Wi-Fi電波を受信して取得したMACアドレスを、図10に示すようなMACアドレスリストと照合して訪問者を識別し、ユーザに通知することが可能である。
(電波と超音波を用いた識別処理)
また、本実施形態によるペットロボット1は、MACアドレスを用いて訪問者を絞り込んだ上で超音波を用いて訪問者を識別し、識別の確度を高めることができる。MACアドレスは固有のIDのため、Wi-Fi電波で識別者の同定ができた場合は識別者の確からしさは断然に高くなる。また、電波は超音波に比べて減衰が少なく、遠方から検知することが可能である。従って最初は距離が遠い場合に有用なWi-Fi電波で訪問者で察知し、訪問者が近付いて来ると超音波で同定することで確度を増すことができる。このような電波と超音波の両方を用いて訪問者を識別してユーザに通知する場合の動作処理について、以下図11を参照して説明する。
図11は、本実施形態による電波および超音波を用いた通知処理を示すフローチャートである。図11に示す例では、受信する電波の一例としてWi-Fiを用いる。
図11に示すように、まず、ペットロボット1の通信部11は、Wi-Fi電波をスキャンする(ステップS203)。
次に、制御部10は、Wi-Fi電波強度が閾値以上の場合(ステップS206/Yes)、スキャンして取得したMACアドレスと、MACアドレスリストとを照合する(ステップS209)。
次いで、取得したMACアドレスがリストに載っている場合(ステップS212/Yes)、制御部10は、訪問者の候補リストに載せる(ステップS215)。
次に、ペットロボット1は、超音波センサ17から音の取り込みを行う(ステップS218)。
次いで、特徴量分析部101は、取り込まれた超音波信号に対する特徴量の分析と、分析した特徴量データと識別用データ記憶部220に記憶されている識別用データとの比較を行う(ステップS221)。識別用データとの比較では、分析した特徴量データと識別用データとの類似性を判定(類似度の算出)が行われ得る。
続いて、識別用データとの類似度が閾値以上の場合(ステップS224/Yes)、識別部104は、超音波での訪問者同定を行う(ステップS227)。すなわち、識別部104は、類似度が閾値以上の識別用データに基づいて訪問者の識別を行う。
次に、識別部104により同定した訪問者が上述した候補リストと同じ(候補リストに載っている)場合(ステップS230/Yes)、通知制御部105は、飼い主に対して来訪者の通知を行うよう制御する(ステップS233)。上述したように、Wi-Fi電波は音の事象である超音波より遠くから検知できるため、取得したMACアドレスの電子端末を所持する人物が家の前を通り過ぎるだけなのか隣の家に行くのかペットロボット1が居る家に来るのかは分からない。したがって当該人物が家に近付いて来て超音波センサ17により検知し、同定することで、識別確度をより高めることができる。
以上、電波と超音波の双方を補完的に利用して識別の確度を高める場合について説明した。なお両者を補完的に利用する方法は、上述したMACアドレス(端末固有のID)を用いる例に限定されず、例えば超音波の特徴と電波信号検出の共起関係を学習することにより識別の確度を高めることも可能である。以下図12を参照して具体的に説明する。
図12は、本実施形態による超音波と電波の時系列データの収集処理を示すフローチャートである。図12に示すように、まず、ペットロボット1は、超音波センサ17から音の取り込みを行う(ステップS243)。
次に、特徴量分析部101は、取り込まれた超音波信号に対して特徴量の分析を行う(ステップS246)。
次いで、通信部11により電波を受信し(ステップS249)、制御部10は、周波数の分析、信号強度の分析、およびIDの検出といった電波分析を行う(ステップS252)。
次に、制御部10は、分析した時系列の特徴量データと電波の分析結果を対応付けて特徴量データベース210に書き込む(ステップS255)。
上記音の取り込み、特徴量データの分析、電波の受信、電波の分析、および書き込みは、常時連続的に(例えば2〜3分毎に)行われる。
続いて、飼い主(ユーザ)からコマンドがあった場合(ステップS258/Yes)、学習部103は、所定時間Tを遡った時点からの特徴量データおよび電波の分析結果を特徴量データベース210から読み出す(ステップS261)。
そして、学習部103は、読み出した時系列の特徴量データおよび電波の分析結果に基づいて、次に同じ訪問者が来た際に当該訪問者を識別するための識別用データを生成する(ステップS2641)。生成された識別用データは、識別用データ記憶部220に記憶される。
このように生成した識別用データを用いた識別および通知処理では、図8を参照して説明した超音波を用いた場合と同様に、取得した時系列の超音波の特徴量データと電波の分析結果を識別用データと比較して類似性があるか否かを判別し、訪問者を識別する。本実施形態では、識別用データに用いる時系列パターンの種類を増やし、識別の際により多くのパラメータを使用することで、識別確度を高くすることができる。
<4−2.匂いを用いた通知処理>
続いて、匂いを用いて識別者を検知する場合について図13〜図14を参照して説明する。匂いは、環境(季節、窓の開閉、風の向き)等に左右されることが多いが、ペットロボット1が匂いを検知し、予め有する匂いリストを照合することで訪問者を識別することが可能である。
図13は、本実施形態の応用例によるペットロボット1Aの構成の一例を示すブロック図である。図13に示すように、ペットロボット1Aは、制御部10、通信部11、カメラ15、音声入力部16、超音波センサ17、駆動部18、タッチセンサ19、記憶部20、音声出力部22、加速度センサ23、角速度センサ24、および匂いセンサ25を有する。
匂いセンサ25は、周辺の匂いを検知し、検知結果を制御部10に出力する。
また、記憶部20には、匂いリストが記憶されている。ここで、図14に、匂いリストの一例を示す。
図14には、ユニフォームのクリーニングの匂いと車の匂いの場合は「宅配便の配達員b」であって、多少の汗の匂いと汗の匂いを消すオーデコロンの匂いの場合は「夫」であることが示されている。
制御部10は、匂いセンサ25で検知された匂いに基づいて匂いリストを照合し、訪問者を識別し、音声出力部22等からユーザへ訪問者を知らせることが可能である。
また、制御部10は、超音波と匂いの双方を用いて訪問者を識別することで確度を高めることも可能である。具体的には、例えば制御部10は、超音波を用いて訪問者を同定し、さらに匂いに基づいて訪問者を同定することが可能である。
<4−3.感情に応じた動作処理>
次に、ユーザ(飼い主)の感情に応じた動作処理について説明する。本実施形態によるペットロボット1は、例えばカメラ15により撮像した撮像画像からユーザの顔を認識して顔の表情からユーザの感情を検知したり、音声入力部16により収音したユーザの音声からユーザの感情を検知してもよい。ペットロボット1は、検知したユーザ感情に応じて自動的に学習することが可能である。以下図15〜図17を参照して具体的に説明する。
(構成)
感情検知可能なペットロボット1の主要構成は図2に示す通りであるため詳細な説明を省略するが、上述した実施形態と異なる機能構成について図15を参照して以下説明する。
図15は、本実施形態によるペットロボット1の制御部10Bおよび記憶部20の機能構成例を示すブロック図である。図には、ペットロボット1の制御部10Bの機能として、特徴量分析部101と、記憶制御部102と、学習部103と、識別部104と、通知制御部105と、感情検知部106とが示されている。また、図には、記憶部20の機能として、特徴量データベース210と、識別用データ記憶部220とが、示されている。
感情検知部106は、各種センサにより取得されたデータに基づいてユーザの感情を検知(推定)する。具体的には、例えば感情検知部106は、カメラ15により撮像された撮像画像に基づいてユーザの顔の表情を判別し、ユーザの感情を検知する。また、感情検知部106は、音声入力部16により収音したユーザの音声に基づいて声色や発話内容を判別し、ユーザの感情を検知する。
このような感情検知部106によるユーザ感情の検知結果に応じた制御部10Bによる動作処理について、以下具体的に説明する。
(動作処理)
図16は、本実施形態によるユーザ感情に応じた通知内容の変更処理を示すフローチャートである。図16に示すように、まず、ペットロボット1の感情検知部106は、訪問者に応対した際の飼い主の感情を検知する(ステップS303)。感情検知部106は、カメラ15により撮像した撮像画像を解析し、ユーザの表情からユーザ感情(怒り、嫌悪、恐れ、幸福感、悲しみ、驚き)を検知することが可能である。例えばペットロボット1は、「もうすぐ新聞屋が来ますよ」と訪問者の通知を行った後、ユーザが訪問者の応対をしている際の表情をカメラ15で撮像して観察し、どのような顔(表情)をしているのを検知する。
次に、ユーザ感情が「怒り」または「嫌悪」の場合(ステップS306/Yes)、学習部103は、通知内容に所定の内容を追加する(ステップS309)。例えばユーザが応対時に嫌そうな顔をしている場合、「嫌悪」の感情が検知され、学習部103は、同訪問者が識別された際の通知の内容「もうすぐ新聞屋が来ますよ。」に、「居留守を使う方法もありますよ。」等のユーザ感情を考慮した通知を追加する(通知内容の更新)。これにより、次回新聞屋が来た際には、ペットロボット1は、「もうすぐ新聞屋が来ますよ。居留守を使う方法もありますよ。」とユーザに通知することができる。
図17は、本実施形態によるユーザ感情に応じた自動学習処理を示すフローチャートである。図17に示すように、まず、ペットロボット1の感情検知部106は、訪問者に応対した際の飼い主の感情を検知する(ステップS323)。感情検知部106は、カメラ15により撮像した撮像画像を解析し、ユーザの表情からユーザ感情(怒り、嫌悪、恐れ、幸福感、悲しみ、驚き)を検知することが可能である。
次に、ユーザ感情が「怒り」、「嫌悪」、「恐れ」、「悲しみ」等のネガティブな感情を検知した場合(ステップS306/Yes)、学習部103は、次回から同訪問者が来た際は事前にユーザに通知することができるよう、超音波の特徴量データの学習を行う(ステップS309)。学習の具体的処理は、図7を参照して上述した通りである(図7のステップS118、ステップS121)。図7を参照して説明した例では、ユーザ(飼い主)のコマンドがあった場合に学習を行っているが、本実施形態ではユーザ感情に応じて自動的に行うことが可能である。このように、ネガティブな感情になる訪問者の場合にはユーザに事前通知するよう学習し、次回から事前通知を行えるようになることで、ユーザは、例えば突然の訪問に驚くことを回避することができたり、嫌な相手に応答する際に心構えをしたりすることができる。
一方、ユーザ感情がネガティブな感情ではない場合(例えば幸福な感情や無表情の場合)は(ステップS326/No)、事前に通知する必要が無いためペットロボット1は特に学習を行わない。
<<5.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、オブジェクトの接近を検知して予めユーザに通知することを可能とする。
より具体的には、本実施形態によるペットロボット1は、パッシブな超音波センサ17ーによって周辺の人やモノの気配を感じて飼い主に通知することができる。また、ペットロボット1は、電波や匂いを超音波と補完的に用いて気配を察知することが可能である。また、ペットロボット1は、来訪者に対する飼い主の感情を検知して自動的に学習することもできる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理システムのペットロボット1に内蔵されるCPU、ROM、およびRAM等のハードウェアに、ペットロボット1の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、上述した実施形態では、ペットロボット1単体で訪問者の識別や感情検知等を行っているが、本実施形態はこれに限定されず、上述した処理をサーバ側で実現することも可能である。すなわち、ペットロボット1とサーバ(不図示)から成る情報処理システムであって、ペットロボット1は、通信部11からサーバに超音波センサ17で検知した超音波信号を送信し、サーバ側において特徴量分析、記憶制御、学習、識別、および通知制御が行われ得る。また、ペットロボット1は、通信部11からサーバにカメラ15で撮像した撮像画像を送信し、サーバ側においてユーザ感情の検知が行われ得る。このように、図3、図15で説明したペットロボット1の機能構成の少なくとも一部をサーバ側が有する構成であってもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
パッシブな超音波センサと、
ユーザに通知する通知部と、
前記超音波センサにより検出されたセンサデータから、予め学習されたオブジェクトの接近を示す特徴を検出すると、前記ユーザに通知するように前記通知部を制御する制御部と、
を備える、情報処理装置。
(2)
前記情報処理装置は、前記ユーザからのコマンドを取得するコマンド取得部をさらに備え、
前記制御部は、
前記コマンド取得部により特定のコマンドを取得したことを認識すると、所定期間遡った時点から検出されたセンサデータに基づき、接近するオブジェクトを認識するための教師データを生成し、記憶部に保持するよう制御する、前記(1)に記載の情報処理装置。
(3)
前記制御部は、
前記超音波センサにより検出されたセンサデータから、前記教師データと類似の特徴を検出し、前記ユーザにオブジェクトが接近することを通知するように前記通知部を制御し;
前記コマンド取得部により、前記通知に対してポジティブな評価を示すコマンドを取得したことを認識すると、前記超音波センサにより検出されたセンサデータに基づき前記教師データを更新する、前記(2)に記載の情報処理装置。
(4)
前記教師データは、前記所定期間遡った時点からの時系列のセンサデータの特徴を示すデータである、前記(2)または(3)に記載の情報処理装置。
(5)
前記制御部は、
前記コマンド取得部により、前記通知に対してさらに早めの通知を要求するコマンドを取得したことを認識すると、前記所定期間よりもさらに遡った時点からの時系列のセンサデータの特徴を示すデータに基づき前記教師データを更新する、前記(4)に記載の情報処理装置。
(6)
前記制御部は、前記超音波センサにより検出された時系列のセンサデータから、前記教師データと類似の特徴が順次検出されると、前記ユーザにオブジェクトが接近することを通知するように前記通知部を制御する、前記(4)または(5)に記載の情報処理装置。
(7)
前記センサデータから検出される特徴は、状態遷移または波形である、前記(4)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記情報処理装置は、電波受信部をさらに備え、
前記制御部は、
前記超音波センサにより検出されたセンサデータと前記電波受信部により受信された電波信号に、予め学習された、オブジェクトの接近を示す特徴を検出すると、前記ユーザに通知するように前記通知部を制御する、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(9)
前記制御部は、
前記電波信号に含まれるIDに応じて接近するオブジェクトを認識する第1の認識処理の後に、前記超音波センサにより検出されたセンサデータに含まれる特徴に応じて前記接近するオブジェクトを認識する第2の認識処理を行い;
前記第1および第2の認識処理の結果の一致に応じて、前記ユーザに接近するオブジェクトを通知するよう制御する、前記(8)に記載の情報処理装置。
(10)
前記情報処理装置は、匂いセンサをさらに備え、
前記制御部は、
前記超音波センサにより検出されたセンサデータと前記匂いセンサにより検出された匂いデータから、予め学習された、オブジェクトの接近を示す特徴を検出すると、前記ユーザに通知するように前記通知部を制御する、前記(1)〜(9)のいずれか1項に記載の情報処理装置。
(11)
匂いデータと接近するオブジェクト、超音波センサデータと接近するオブジェクトが予め対応付けられており、
前記制御部は、
前記匂いデータに応じて、接近するオブジェクトを認識するとともに、前記超音波センサデータに応じて、接近するオブジェクトを認識し、当該2つの認識結果の一致に応じて、前記ユーザに接近するオブジェクトを通知するよう制御する、前記(10)に記載の情報処理装置。
(12)
前記情報処理装置は、前記ユーザの顔を撮像するための撮像部をさらに備え、
前記制御部は、
前記ユーザが、前記オブジェクトとしての訪問者に応対している際の、前記撮像部により撮像された前記ユーザの顔画像から、前記ユーザの感情を推定し;
前記感情の推定結果に応じて、前記通知部により通知する内容を更新する、前記(1)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記情報処理装置は、前記ユーザの顔を撮像するための撮像部をさらに備え、
前記制御部は、
前記ユーザが、前記オブジェクトとしての訪問者に応対しているときの、前記撮像部により撮像された前記ユーザの顔画像から前記ユーザの感情を推定し;
前記ユーザが、前記訪問者に応対した後に、前記推定した結果に応じて;
その時点から所定期間遡った時点から検出されたセンサデータに基づき、前記訪問者を認識するための教師データを生成し、記憶部に保持するように制御する、前記(1)〜(12)のいずれか1項に記載の情報処理装置。
(14)
コンピュータを、
パッシブな超音波センサにより検出されたセンサデータから、予め学習されたオブジェクトの接近を示す特徴を検出すると、ユーザに通知するように通知部を制御する制御部として機能させるためのプログラムが記憶された、記憶媒体。
1 ペットロボット
10 制御部
11 通信部
15 カメラ
16 音声入力部
17 超音波センサ
18 駆動部
19 タッチセンサ
20 記憶部
22 音声出力部
23 加速度センサ
24 角速度センサ
25 匂いセンサ
101 特徴量分析部
102 記憶制御部
103 学習部
104 識別部
105 通知制御部
106 感情検知部
210 特徴量データベース
220 識別用データ記憶部

Claims (17)

  1. パッシブな超音波センサと、
    ユーザに通知する通知部と、
    前記超音波センサにより検出されたセンサデータから、予め学習された屋外のオブジェクトの接近を示す特徴を検出すると、前記ユーザに通知するように前記通知部を制御する制御部と、
    を備える、情報処理装置。
  2. 前記情報処理装置は、前記ユーザからのコマンドを取得するコマンド取得部をさらに備え、
    前記制御部は、
    前記コマンド取得部により特定のコマンドを取得したことを認識すると、所定期間遡った時点から検出されたセンサデータに基づき、屋内の前記ユーザに接近する前記屋外のオブジェクトを認識するための教師データを生成し、記憶部に保持するよう制御する、請求項1に記載の情報処理装置。
  3. 前記制御部は、
    前記超音波センサにより検出されたセンサデータから、前記教師データと類似の特徴を検出し、前記ユーザに前記屋外のオブジェクトが接近することを通知するように前記通知部を制御し;
    前記コマンド取得部により、前記通知に対してポジティブな評価を示すコマンドを取得したことを認識すると、前記超音波センサにより検出されたセンサデータに基づき前記教師データを更新する、請求項2に記載の情報処理装置。
  4. 前記情報処理装置は、自律的に動作するペットロボットからなる、請求項3に記載の情報処理装置。
  5. 前記ペットロボットは、タッチセンサ又は圧力センサを有し、
    前記ポジティブな評価を示すコマンドは、前記タッチセンサ又は前記圧力センサにより検出される、
    請求項4に記載の情報処理装置。
  6. 前記教師データは、前記所定期間遡った時点からの時系列のセンサデータの特徴を示すデータである、請求項2〜5のいずれか1項に記載の情報処理装置。
  7. 前記制御部は、
    前記コマンド取得部により、前記通知に対してさらに早めの通知を要求するコマンドを取得したことを認識すると、前記所定期間よりもさらに遡った時点からの時系列のセンサデータの特徴を示すデータに基づき前記教師データを更新する、請求項6に記載の情報処理装置。
  8. 前記制御部は、前記超音波センサにより検出された時系列のセンサデータから、前記教師データと類似の特徴が順次検出されると、前記ユーザに前記オブジェクトが接近することを通知するように前記通知部を制御する、請求項6又は7に記載の情報処理装置。
  9. 前記センサデータから検出される特徴は、状態遷移または波形である、請求項6〜8のいずれか1項に記載の情報処理装置。
  10. 前記情報処理装置は、電波受信部をさらに備え、
    前記制御部は、
    前記超音波センサにより検出されたセンサデータと前記電波受信部により受信された電波信号に、予め学習された、前記屋外のオブジェクトの接近を示す特徴を検出すると、前記ユーザに通知するように前記通知部を制御する、請求項1〜8のいずれか1項に記載の情報処理装置。
  11. 前記制御部は、
    前記電波信号に含まれるIDに応じて接近する前記オブジェクトを認識する第1の認識処理の後に、前記超音波センサにより検出されたセンサデータに含まれる特徴に応じて前記接近するオブジェクトを認識する第2の認識処理を行い;
    前記第1および第2の認識処理の結果の一致に応じて、前記ユーザに接近するオブジェクトを通知するよう制御する、請求項10に記載の情報処理装置。
  12. 前記情報処理装置は、匂いセンサをさらに備え、
    前記制御部は、
    前記超音波センサにより検出されたセンサデータと前記匂いセンサにより検出された匂いデータから、予め学習された、前記オブジェクトの接近を示す特徴を検出すると、前記ユーザに通知するように前記通知部を制御する、請求項1〜11のいずれか1項に記載の情報処理装置。
  13. 匂いデータと接近する前記オブジェクト、超音波センサデータと接近する前記オブジェクトが予め対応付けられており、
    前記制御部は、
    前記匂いデータに応じて、前記接近するオブジェクトを認識するとともに、前記超音波センサデータに応じて、前記接近するオブジェクトを認識し、当該2つの認識結果の一致に応じて、前記ユーザに接近するオブジェクトを通知するよう制御する、請求項12に記載の情報処理装置。
  14. 前記情報処理装置は、前記ユーザの顔を撮像するための撮像部をさらに備え、
    前記制御部は、
    前記ユーザが、前記オブジェクトとしての訪問者に応対している際の、前記撮像部により撮像された前記ユーザの顔画像から、前記ユーザの感情を推定し;
    前記感情の推定結果に応じて、前記通知部により通知する内容を更新する、請求項1〜13のいずれか1項に記載の情報処理装置。
  15. 前記情報処理装置は、前記ユーザの顔を撮像するための撮像部をさらに備え、
    前記制御部は、
    前記ユーザが、前記オブジェクトとしての訪問者に応対しているときの、前記撮像部により撮像された前記ユーザの顔画像から前記ユーザの感情を推定し;
    前記ユーザが、前記訪問者に応対した後に、前記推定した結果に応じて;
    その時点から所定期間遡った時点から検出されたセンサデータに基づき、前記訪問者を認識するための教師データを生成し、記憶部に保持するように制御する、請求項1〜14のいずれか1項に記載の情報処理装置。
  16. 情報処理装置により、パッシブな超音波センサにより検出されたセンサデータから、予め学習された屋外のオブジェクトの接近を示す特徴を検出すると、ユーザに通知するように通知部を制御することを含む、情報処理方法。
  17. コンピュータを、
    パッシブな超音波センサにより検出されたセンサデータから、予め学習された屋外のオブジェクトの接近を示す特徴を検出すると、ユーザに通知するように通知部を制御する制御部として機能させるためのプログラム。
JP2020212827A 2016-06-14 2020-12-22 情報処理装置、情報処理方法及びプログラム Ceased JP2021073552A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016118014 2016-06-14
JP2016118014 2016-06-14

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018523317A Division JP6816767B2 (ja) 2016-06-14 2017-03-10 情報処理装置およびプログラム

Publications (1)

Publication Number Publication Date
JP2021073552A true JP2021073552A (ja) 2021-05-13

Family

ID=60663680

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018523317A Active JP6816767B2 (ja) 2016-06-14 2017-03-10 情報処理装置およびプログラム
JP2020212827A Ceased JP2021073552A (ja) 2016-06-14 2020-12-22 情報処理装置、情報処理方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018523317A Active JP6816767B2 (ja) 2016-06-14 2017-03-10 情報処理装置およびプログラム

Country Status (3)

Country Link
US (2) US11185998B2 (ja)
JP (2) JP6816767B2 (ja)
WO (1) WO2017217038A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108748186B (zh) * 2018-06-13 2023-12-12 苏州博众智能机器人有限公司 一种递送机器人及其使用方法
JP7363823B2 (ja) 2019-01-22 2023-10-18 ソニーグループ株式会社 情報処理装置、および情報処理方法
WO2020246075A1 (ja) * 2019-06-04 2020-12-10 ソニー株式会社 行動制御装置と行動制御方法およびプログラム
JP7213760B2 (ja) * 2019-06-10 2023-01-27 大阪瓦斯株式会社 ガス検知装置
CN114467104A (zh) * 2020-06-03 2022-05-10 松下电器(美国)知识产权公司 通知系统的控制方法以及控制装置
US11813926B2 (en) 2020-08-20 2023-11-14 Denso International America, Inc. Binding agent and olfaction sensor
US11760169B2 (en) 2020-08-20 2023-09-19 Denso International America, Inc. Particulate control systems and methods for olfaction sensors
US11881093B2 (en) 2020-08-20 2024-01-23 Denso International America, Inc. Systems and methods for identifying smoking in vehicles
US11828210B2 (en) 2020-08-20 2023-11-28 Denso International America, Inc. Diagnostic systems and methods of vehicles using olfaction
US11932080B2 (en) 2020-08-20 2024-03-19 Denso International America, Inc. Diagnostic and recirculation control systems and methods
US11636870B2 (en) 2020-08-20 2023-04-25 Denso International America, Inc. Smoking cessation systems and methods
US11760170B2 (en) 2020-08-20 2023-09-19 Denso International America, Inc. Olfaction sensor preservation systems and methods

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58195331A (ja) * 1982-05-10 1983-11-14 Nippon Soken Inc 来客通話装置
JP2001121455A (ja) * 1999-10-29 2001-05-08 Sony Corp 移動ロボットのための充電システム及び充電制御方法、充電ステーション、移動ロボット及びその制御方法
JP2002222083A (ja) * 2001-01-29 2002-08-09 Fujitsu Ltd 事例蓄積装置および方法
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
KR20130010182A (ko) * 2011-07-18 2013-01-28 한양대학교 산학협력단 작업 기술을 학습하는 방법 및 이에 따른 로봇
US20140282645A1 (en) * 2013-03-12 2014-09-18 Eric R. Hammond Methods and apparatus to use scent to identify audience members
JP2014180912A (ja) * 2013-03-18 2014-09-29 Panasonic Corp 情報提供装置、および、情報提供方法
US20150116106A1 (en) * 2012-09-21 2015-04-30 Google Inc. Handling visitor interaction at a smart-home in a do not disturb mode
WO2015162949A1 (ja) * 2014-04-21 2015-10-29 ソニー株式会社 通信システム、制御方法、および記憶媒体
JP2015532075A (ja) * 2012-09-21 2015-11-05 グーグル・インコーポレーテッド スマートセンサーを装備した家のためのデバイス、方法、および関連する情報処理

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL125221A0 (en) 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
JP2001093062A (ja) 1999-09-21 2001-04-06 Tosui Kikaku:Kk 電子ペット及び防犯装置
JP2002006784A (ja) 2000-06-20 2002-01-11 Mitsubishi Electric Corp 浮遊型ロボット
JP3984493B2 (ja) 2002-03-03 2007-10-03 株式会社テムザック 警備ロボット
TWI314304B (en) * 2003-05-05 2009-09-01 Inventio Ag System for security checking or transport of persons by a lift installation and a method for operating this system
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP3126203U (ja) 2006-08-02 2006-10-19 守弘 斎藤 警備二足歩行ロボット
JP4786516B2 (ja) 2006-12-13 2011-10-05 三菱重工業株式会社 ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム
US20110231216A1 (en) * 2010-03-17 2011-09-22 Research In Motion Limited System and method for controlling event reminders
US9230560B2 (en) * 2012-10-08 2016-01-05 Nant Holdings Ip, Llc Smart home automation systems and methods
KR20140104537A (ko) * 2013-02-18 2014-08-29 한국전자통신연구원 생체 신호 기반의 감성 인터랙션 장치 및 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58195331A (ja) * 1982-05-10 1983-11-14 Nippon Soken Inc 来客通話装置
JP2001121455A (ja) * 1999-10-29 2001-05-08 Sony Corp 移動ロボットのための充電システム及び充電制御方法、充電ステーション、移動ロボット及びその制御方法
JP2002222083A (ja) * 2001-01-29 2002-08-09 Fujitsu Ltd 事例蓄積装置および方法
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
KR20130010182A (ko) * 2011-07-18 2013-01-28 한양대학교 산학협력단 작업 기술을 학습하는 방법 및 이에 따른 로봇
US20150116106A1 (en) * 2012-09-21 2015-04-30 Google Inc. Handling visitor interaction at a smart-home in a do not disturb mode
JP2015532075A (ja) * 2012-09-21 2015-11-05 グーグル・インコーポレーテッド スマートセンサーを装備した家のためのデバイス、方法、および関連する情報処理
US20140282645A1 (en) * 2013-03-12 2014-09-18 Eric R. Hammond Methods and apparatus to use scent to identify audience members
JP2014180912A (ja) * 2013-03-18 2014-09-29 Panasonic Corp 情報提供装置、および、情報提供方法
WO2015162949A1 (ja) * 2014-04-21 2015-10-29 ソニー株式会社 通信システム、制御方法、および記憶媒体

Also Published As

Publication number Publication date
WO2017217038A1 (ja) 2017-12-21
JPWO2017217038A1 (ja) 2019-04-18
US11185998B2 (en) 2021-11-30
US20220032482A1 (en) 2022-02-03
US20190315003A1 (en) 2019-10-17
JP6816767B2 (ja) 2021-01-20

Similar Documents

Publication Publication Date Title
JP6816767B2 (ja) 情報処理装置およびプログラム
US10628714B2 (en) Entity-tracking computing system
JP7320239B2 (ja) 音源の方向を認識するロボット
JP7188471B2 (ja) 仮想生物制御システム、仮想生物制御方法およびプログラム
CN107243905A (zh) 基于养老机器人的情绪自适应系统
CN109571499A (zh) 一种智能导航引领机器人及其实现方法
US20180232571A1 (en) Intelligent assistant device communicating non-verbal cues
EP3705241A1 (en) Information processing device, information processing method, and program
JP7375748B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11654554B2 (en) Artificial intelligence cleaning robot and method thereof
US20230266767A1 (en) Information processing apparatus, information processing method, and program
JP7259843B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2023027060A (ja) ロボット、ロボットの制御方法及びプログラム
EP3037916B1 (en) Monitoring
US20220180887A1 (en) Multimodal beamforming and attention filtering for multiparty interactions
JP2020151070A (ja) ロボット及びロボットの制御方法
US20210316452A1 (en) Information processing device, action decision method and program
CN116869408A (zh) 交互方法及电子设备
US11938625B2 (en) Information processing apparatus, information processing method, and program
TW201023738A (en) Method and system for vocal recognition and interaction with pets
Dai et al. Audio-visual fused online context analysis toward smart meeting room
CN111919250A (zh) 传达非语言提示的智能助理设备
Tamilarasi et al. Artificial intelligence vision for visually impaired
Matsufuji et al. A System of Associated Intelligent Integration for Human State Estimation
JP7425681B2 (ja) 社会的能力生成装置、社会的能力生成方法、およびコミュニケーションロボット

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220627

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220627

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220706

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220712

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220902

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220906

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230228

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230411

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230418

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20230926