JP2016198859A - ロボット及びロボット制御方法並びにロボットシステム - Google Patents

ロボット及びロボット制御方法並びにロボットシステム Download PDF

Info

Publication number
JP2016198859A
JP2016198859A JP2015081032A JP2015081032A JP2016198859A JP 2016198859 A JP2016198859 A JP 2016198859A JP 2015081032 A JP2015081032 A JP 2015081032A JP 2015081032 A JP2015081032 A JP 2015081032A JP 2016198859 A JP2016198859 A JP 2016198859A
Authority
JP
Japan
Prior art keywords
information
robot
user
emotion
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015081032A
Other languages
English (en)
Other versions
JP6594646B2 (ja
Inventor
信夫 大和
Nobuo Yamato
信夫 大和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vstone Co Ltd
Original Assignee
Vstone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vstone Co Ltd filed Critical Vstone Co Ltd
Priority to JP2015081032A priority Critical patent/JP6594646B2/ja
Priority to PCT/JP2016/061593 priority patent/WO2016163530A1/ja
Priority to CN201680020513.6A priority patent/CN107428006B/zh
Priority to US15/562,935 priority patent/US10486312B2/en
Publication of JP2016198859A publication Critical patent/JP2016198859A/ja
Application granted granted Critical
Publication of JP6594646B2 publication Critical patent/JP6594646B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/003Manipulators for entertainment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Abstract

【課題】ユーザとロボットの会話において、メッセージをやり取りすることで、ユーザの感情等を直接的認識し、会話における動作を制御できるロボットを提供する。
【解決手段】
ユーザの有する携帯端末と通信可能なロボットであって、前記ロボットの動きを制御する複数のアプリケーションを予め記憶する記憶部と、前記携帯端末から送信された前記ロボットとの会話を目的としたメッセージを受信する受信部と、前記メッセージに含まれる指示情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択する選択部と、前記選択されたアプリケーションに基づいて、前記ロボットに動作させるための機構を制御する制御部とを備える。
【選択図】図2

Description

本発明は、ロボット及びロボット制御方法並びにロボットシステムに関し、特に、ユーザの携帯端末から送信されたメッセージを用いたロボット及びロボット制御方法並びにロボットシステムに関する。
従来から、ユーザとのコミュニケーションを図ることを目的として、ロボットがユーザと会話する技術がある。これらの技術の多くは、ユーザの発した音声の音声認識に基づいて、ロボットの動作パターンを選択し、選択した動作パターンに基づいて、ロボットが音声を発したり、手足部を動かしたりすることで会話を行う。
特許文献1には、上記音声認識に関する技術が開示されている。この技術は、会話ロボットが、ユーザが発生した音声を分析して感情パラメータを算出し、算出した感情パラメータに応じて定められた発話、表情又は動作シナリオに基づいて、音声出力等を行う技術に関するものである。
特開2008−107673号公報
しかしながら、特許文献1の技術では、ユーザの入力した音声中の微小の高周波と低周波の出現頻度からパラメータを算出することで感情パラメータを算出するため、ユーザの感情ごとの表現のバラつきに一律対応することは困難であり、ユーザの感情認識率に問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、ユーザとロボットの会話において、ユーザの感情認識率を向上させるため、メッセージをやり取りすることで、ロボットの会話における動作を制御することを目的とする。
本発明に係るロボットは、ユーザの有する携帯端末と通信可能なロボットであって、ロボットの動きを制御する複数のアプリケーションを予め記憶する記憶部と、携帯端末から送信されたロボットとの会話を目的としたメッセージを受信する受信部と、メッセージに含まれる指示情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択する選択部と、選択されたアプリケーションに基づいて、ロボットに動作させるための機構を制御する制御部とを備え、指示情報は、ユーザがロボットに送信したイラスト情報又は画面情報に付帯する情報であるものである。
さらに、本発明に係るロボットにおいて、付帯する情報は、イラスト情報又はイラスト情報に付帯する意味情報を含むものであって、ロボットは、イラスト情報又は意味情報に基づいて、ユーザの感情を感情情報として認識する感情認識部とを備えるものであって、選択部は、認識したユーザの感情情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択するものであってもよい。
また、本発明に係るロボットにおいて、付帯する情報は、画像情報、画像情報に付帯する日付及び位置に関する付帯情報、であって、ロボットは、画像情報及び付帯情報に基づいて、ユーザの居場所を居場所情報として認識する画像認識部とを備えるものであって、選択部は、居場所情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択するものであってもよい。
さらに、本発明に係るロボットにおいて、指示情報は、ユーザからの感情を示唆する情報を含むものであって、ロボットは、示唆情報に基づいて、ユーザの感情を感情パターン情報として分類する感情分類部とを備えるものであって、記憶部は、感情パターン情報と、所定の時間内に認識した感情情報又は居場所情報とを対応付けて記憶することと、選択部は、感情情報又は居場所情報に対応付けられた感情パターン情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択するものであってもよい。
また、本発明に係るロボットにおいて、指示情報は、ユーザからの所定の著名人を指定する情報を含むものであって、受信部は、指定情報に基づいて、ネットワークを介して指定した著名人の動作情報を提供するデータベースサーバから動作情報を受信することと、選択部は、動作情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択するものであってもよい。
さらに、本発明に係るロボットにおいて、動作情報は、インターネット上での出現数が上位から一定の順位内にある著名人に係る動作情報であってもよい。
本発明に係るロボット制御方法は、ユーザの有する携帯端末と通信可能なロボットによる制御方法であって、ロボットの動きを制御する複数のアプリケーションを予め記憶する記憶ステップと、携帯端末から送信されたロボットとの会話を目的としたメッセージを受信する受信ステップと、メッセージに含まれる指示情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択する選択ステップと、選択されたアプリケーションに基づいて、ロボットに動作させるための機構を制御する制御ステップとを含み、指示情報は、ユーザがロボットに送信したイラスト情報又は画面情報に付帯する情報であるものである。
本発明に係るロボットシステムは、ユーザの有する携帯端末と、携帯端末と通信可能なロボット、複数のアプリケーションを提供するアプリマーケットサーバを含むネットワークシステムであって、アプリマーケットサーバは、ロボットにロボットの動きを制御する1又は複数のアプリケーションを提供する提供手段とを備え、ロボットは、提供されたアプリケーションを予め記憶する記憶手段と、携帯端末から送信されたロボットとの会話を目的としたメッセージを受信する受信手段と、メッセージに含まれる指示情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択する選択手段と、選択されたアプリケーションに基づいて、ロボットに動作させるための機構を制御する制御手段とを備え、指示情報は、ユーザがロボットに送信したイラスト情報又は画面情報に付帯する情報であるものである。
本発明のロボット、ロボット制御方法及びロボットシステムによれば、ユーザの携帯端末から、ロボットとの会話を目的としたメッセージを送信することで、メッセージの中のイラスト情報及び画像情報の付帯情報に基づいて、ユーザの感情認識を直接的に行うことができる。したがって、ユーザの感情認識をより的確に行うことができるため、ユーザの感情認識率の向上を図ることができる。
ロボットシステムのシステム構成を示すシステム図 ロボットの機能構成を示すブロック図 ロボットとユーザとの会話のやり取りを説明するための模式図 ロボットの動作を説明するための模式図 感情パターン情報と居場所情報及び感情情報の対応付けの一例を説明するためのデータ構成図 ロボットの動作を示すフローチャート
以下、本発明の一実施態様について、図面を参照しながら説明する。
<実施の形態>
<概要>
図1は、ロボットシステムのシステム構成を示すシステム図である。
図1に示すように、ロボットシステム600は、アプリマーケットサーバ200、データベースサーバ300、ユーザの携帯端末400及びロボット100を含み、アプリマーケットサーバ200及びデータベースサーバ300は、ネットワーク500を介して、ユーザの携帯端末400及びロボット100と通信接続される。
ユーザの携帯端末400とロボット100は、一般的なインスタントメッセージングシステムを用いてメッセージのやり取り、いわゆるチャットを行うことができるシステムを構成する。ロボット100は、ユーザの携帯端末400が送信したメッセージを、ネットワーク500を介して受信する。受信したメッセージに含まれる指示情報に基づき、アプリケーションを選択し、選択したアプリケーションに基づいて、ロボットが動作する。当該アプリケーションは、アプリマーケットサーバ200からユーザの要求に応じて、ユーザの携帯端末400にダウンロード及びインストールできるため、汎用性のあるロボットの動作を実現することができる。
<構成>
以下、ロボット100の構成について詳細に説明する。
図2は、ロボット100の機能構成を示すブロック図である。図2に示すように、ロボット100は、受信部110と、送信部115と、選択部120と、感情認識部135と、感情分類部130と、画像認識部125と、記憶部140と、アプリケーション145と、制御部150と、音声入力部155と、音声出力部160、インタフェース165、電源部170と、撮影部175を含んで構成される。
受信部110は、ネットワーク500を介して、ユーザの携帯端末400、アプリマーケットサーバ200又はデータベースサーバ300と通信を実行し、ユーザの携帯端末400等から送信されるメッセージ、アプリケーション、その他各種情報を受信する機能を有する。通信は、有線、無線のいずれで実行されてもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。
ここで、受信部110が受信するメッセージには、ロボット100に対する指示情報が含まれる。ここで、指示情報とは、記憶部140に記憶される複数のアプリケーション145に対し、指示対象のアプリケーション145を指定する情報と、指定したアプリケーション145の処理を行うための入力情報をいう。入力情報には、イラスト情報又はイラスト情報に付帯する意味情報、画面情報、画面情報に付帯する日付及び位置に関する付帯情報、ユーザの感情を示唆する情報又は所定の著名人を指定する情報が含まれる。
イラスト情報とは、ユーザの携帯端末400等からロボット100に送られてきたイラスト情報をいう。典型的には、インスタントメッセージングシステムで用いられるスタンプをいう。また、イラスト情報に付帯する意味情報は、例えば、スタンプに付与されているスタンプを意味するテキスト情報をいう。ハートのイラストであった場合、当該テキスト情報は、好き、嬉しい、愛している等といったイラストから観念される意味を示した文字列となる。
画像情報とは、ユーザの携帯端末400からロボット100に送られてきた写真データ等をいう。写真データは、携帯端末400で撮影された画像であってもよいし、カメラや他の携帯端末で撮影された画像であってもよい。また、当該画像情報に付帯する日付に関する付帯情報は、当該写真データの撮影時の日付、時刻に関する情報をいう。また、位置に関する付帯情報とは、撮影時の位置情報であって、例えば、緯度及び経度情報等をいう。
ユーザの感情を示唆する情報とは、ユーザが感じた、嬉しい、悲しい等の感情を表した情報をいう。当該感情を表した情報は、感情に基づいてユーザが入力したテキスト情報であってもよいし、あるいは、ユーザが発した音声を入力した音声情報であってもよい。
所定の著名人を指定する情報とは、著名人の動作情報を取得するために、著名人の名前又は通称の全部又は一部等を用いて、対象の著名人を示す情報をいう。ここで、所定の著名人とは、具体的には、タレント、アーティスト、スポーツ選手等、複数のファンがいる人物のうち、データベースサーバ300に登録されている人物をいう。また、所定の著名人の動作情報は、著名人が過去に実施した身体の動きの特徴であってもよいし、あるいは、著名人が過去に発言した言葉の特徴であってもよい。また、それらの中でも、インターネット上での出現数が上位から一定の順位以内にある特徴を含むものであってもよい。
ここで、身体の動きの特徴及び言葉の特徴は、データベースサーバ300が、著名人が過去に行った身体の動き及び発した言葉の情報を一定の期間蓄積し、蓄積した情報から、意味を持つ最小単位での最大公約数を求めることで算出してもよい。
送信部115は、ユーザの携帯端末400、アプリマーケットサーバ200又はデータベースサーバ300と通信を実行し、ユーザの携帯端末400、アプリマーケットサーバ200又はデータベースサーバ300に画像情報又はメッセージを送信する機能を有する。通信は、受信部110と同じである。
選択部120は、指示情報に基づいて、複数のアプリケーション145から一つのアプリケーション145を選択するものである。また、選択部120は、感情情報又は居場所情報に対応づけられた感情パターン情報に基づいて、アプリケーション145を選択するものである。選択の際、一つの感情情報に対応付けられた感情パターン情報が複数あった場合には、最も数の多い感情パターン情報を採用してもよい。さらに、一つの感情情報に対応付けられた感情パターン情報が複数及びそれぞれの数が同じであった場合は、いずれも採用しない、又は、感情パターン情報に優先順位を付与し、当該優先順位に基づいて採用してもよい。
画像認識部125は、画像情報、画像情報に付帯する日付及び位置に関する付帯情報に基づいて、ユーザの居場所を居場所情報として認識する機能を有する。なお、画像情報の認識については、例えば、パターンマッチング、統計的識別法、構造識別法等を用いればよい。
感情分類部130は、ユーザの感情を示唆する情報から、ユーザの感情を感情パターン情報として分類する機能を有する。感情分類部130は、具体的には、当該示唆する情報を文字列情報として認識し、記憶部140に記憶した感情パターン情報とパターンマッチングを行う。マッチングに成功したときは、マッチングした感情パターン情報を設定することで分類する。ここで、感情パターン情報は、人の嬉しい、怒り、悲しい、楽しい等といった感情を、パターン化したものであってもよいし、動的に変化させたものであってもよい。
感情認識部135は、イラスト情報又はイラスト情報に付帯する意味情報から、ユーザの感情を感情情報として認識する機能を有する。感情認識部135は、具体的には、記憶部140に記憶した感情情報とマッチングを行う。マッチングに成功したときは、記憶した感情であると判定する。記憶した感情情報は、例えば、嬉しい、怒り、悲しい、楽しい等といった文字列情報であってもいいし、嬉しい、怒り、悲しい、楽しい等といった感情を意味した画像パターン情報であってもよい。
記憶部140は、ロボットが動作するうえで必要とするアプリケーション145を記憶する機能を有する。また、記憶部140は、感情パターン情報と所定の時間内に認識した居場所情報又は感情情報との対応付けを記憶している。さらに、記憶部140は、ロボット100を制御するために用いられる各種プログラム及びデータを記憶する。記憶部140は、例えば、フラッシュメモリ等の小型の記録媒体により実現される。
アプリケーション145は、メッセージに含まれる指示情報に基づいて、ロボット100を動作させるための処理を行い、制御部150に命令を出力する。なお、図2において、説明を簡単にするためにアプリケーション145は2つだけ示してあるが、これ以上存在してもよいことは言うまでもない。
また、アプリケーション145は、アプリマーケットサーバ200に登録されているアプリケーションでもある。アプリマーケットサーバ200は、アプリケーションの流通を目的としたオンラインサービスを提供する。アプリマーケットサーバ200は、具体的には、開発者が作成したアプリケーションを登録することができ、登録されたアプリケーションをユーザの要求に応じて、ロボット100にダウンロードすることができる。アプリマーケットサーバ200のオンラインサービスの利用の料金体系は、ダウンロード毎の課金制にしてもよいし、定額制にしてもよい。
制御部150は、ロボット100を動作させるための各機構を制御する機能を有するプロセッサである。制御部150は、具体的には、記憶部140に記憶されているアプリケーション145から出力された命令を受信し、当該命令に基づいて、各機構を動かすよう制御する。ここで、各機構とは、ロボットが備える胴体部、腕部、首部、眼球部、瞼部又は口部等の自由度のある駆動装置を備える構造部や音声を出力する音声出力部160等の構造部をいう。
音声入力部155は、ロボット100がユーザの発声する音声を初めとした周囲の音を取得する機能を有する。音声入力部155は、具体的には、モノラルマイク又はステレオマイク等により実現される。
音声出力部160は、ロボット100が音声を出力する機能を有する。当該音声は、音声合成による音声出力であっても、声優が吹き込んだ音声による音声出力であってもよい。
インタフェース165は、他の端末又は媒体と、無線又は有線による接続を行うものである。インタフェース165は、具体的には、WiFi(Wireless Fidelity)、HDMI(High-Definition Multimedia Interface)、USB(Universal Serial Bus)、電源コネクタ、I2C(Inter-Integrated Circuit)等の接続装置をいう。
電源部170は、ロボット100の電気を供給するものである。
撮影部175は、ロボット100がレンズ越しに捉えている周囲の人又は景色等の静止画又は動画を記録する機能を有する。
以上が、ロボット100の機能構成についての説明である。
次に、ユーザの携帯端末400において、ロボット100と会話を目的としたメッセージを送信し、当該メッセージに基づいてロボットが動作する一態様について、図3及び図4を用いて説明する。
図3は、ユーザとロボット100の会話における、ユーザの携帯端末400の表示部に表示される画面の一例である。ユーザは、ユーザの携帯端末400にインストールしたインスタントメッセージングシステムを利用しており、当該メッセージングシステム上で、自分の現在の居場所をロボット100に伝えるため、自分の居たお店の外観をユーザの携帯端末400等で撮影した写真データ410をロボット100に送信する。写真データ410に付帯する日時及び位置に関する付帯情報から、ロボット100が、ユーザがお店に居た日付及び時刻並びに居た場所の位置を直接的に認識することができる。
また、ユーザは、そのお店に居たときの楽しい感情をロボット100に伝えるため、当該感情に合わせた音符の記号が表記されたイラスト420を、ロボット100に送信する。例えば、イラスト420に付帯する意味情報が「楽しい」であった場合、ロボット100は、当該意味情報に基づいて、直接的にユーザが楽しいと感じている感情を認識することができる。
さらに、画像情報410及びイラスト情報420に加えて、所定の時間内に自身の感情を示唆する情報として、テキストメッセージ430をロボット100に送信する。ここで、所定の時間は、ロボット100が当該示唆する情報を受信した前後30秒でも、1分でも、5分であってもよい。
ロボット100が、画像情報410、イラスト情報420及びテキストメッセージ430を受信すると、画像情報410に係る居場所情報及びイラスト情報420に係る感情情報と、感情を示唆する情報を対応付けて記憶する。当該記憶により、ロボット100は、画像情報410に係る居場所情報に居るときにユーザが楽しいと感じること、また、イラスト情報420を送るときには、ユーザが楽しいと感じていることといった感情の傾向を認識することができる。当該認識により、ロボット100は、それ以降、同じイラスト情報又は同じ場所の画像情報を受信すると、ユーザの感情に合わせた動作を自ら行うことができる。
また、ロボット100は、受信したイラスト420又はテキストメッセージ430に基づいて、ユーザの携帯端末400に「楽しいのは良かったね!」といったイラスト420又はテキストメッセージ430に基づいて認識したユーザの感情に合わせたメッセージを送信する。
また、ロボット100は、ロボット100の撮影部175により撮影する静止画又は動画、若しくは所定の時間内に送られた画像情報に係る居場所情報より、ユーザが近くに居ないと判定したときはメッセージを送信し、一方、ユーザが近くに居ると判定したときはメッセージ送信に加えて、又はメッセージ送信ではなく、メッセージを音声出力部160から音声出力し、直接ユーザにメッセージを伝えてもよい。
図4は、ロボットとユーザとの会話のやり取りを説明するための模式図である。
ユーザの携帯端末400から送信されたメッセージに基づいて、ユーザは、ロボット100の近くに居ても遠隔に居ても、ロボット100がメッセージ送信や音声出力や身振り手振り等の動作を行い、ロボット100と会話をすることができる。これにより、ユーザがロボット100にメッセージを送信すると、ロボット100からそれに対応する動作が返ってくるため、あたかも人や生き物と会話しているような感覚をユーザに与えて、ロボット100とコミュニケーションを図ることができる。
また、このとき、所定の著名人を指定するメッセージを過去に送信した場合には、さらに、所定の著名人の動作情報に合わせた動きをすることもできる。これにより、ユーザは、例えば自分がファンであるタレントの動きや言葉の特徴に合わせたロボット100の動作や音声を見る又は聞くことで、ロボット100とのコミュニケーションを通じて、自分好みの相手とコミュニケーションを図っている感覚を持つことができる。
<データ>
ここで、本実施の形態において、ロボット100で用いられる感情パターン情報と居場所情報及び感情情報の対応付けについて説明する。
図5は、ロボット100の記憶部140に記憶されている対応付け情報500の例を示すデータ概念図である。
図5に示すように、対応付け情報700は、感情パターン情報701と、居場所情報702と、居場所情報702のうち日時情報703と位置情報704と、感情情報705と、感情情報705のうちイラスト情報706と意味情報707とが対応付けられた情報である。対応付け情報700は、ロボット100を利用するユーザの居場所及び感情を特定し得る情報であればどのような情報であってもよく、これ以外の情報を含んでもよいことは言うまでもない。
感情パターン情報501は、感情のパターンを示すものであれば、どのような形で表現されてもよく、例えば、数字、ひらがな、カタカナ、漢字、アルファベット、記号等を用いて表現されてよい。
日時情報503は、感情パターン情報に係る感情を示唆する情報を受信した時刻から、所定の時間内に受信した画像に付帯する日時情報である。日時を示すものであればどの様な形で表現されてもよい。
位置情報504は、感情パターン情報に係る感情示唆情報を受信した時刻から、所定の時間内に受信した画像に付帯する位置情報である。位置を示すものであれば、どのような形で表現されてもよく、例えば、緯度及び経度情報等をいう。
イラスト情報706は、感情パターン情報に係る感情示唆情報を受信した時刻から、所定の時間内に受信したイラストの画像データである。なお、当該画像データは、静止画であってもよいし、動画であってもよい。
意味情報707は、感情パターン情報に係る感情示唆情報を受信した時刻から、所定の時間内に受信したイラストの意味情報である。
<動作>
本実施の形態に係る通信システムの動作を説明する。
図6を用いて、ロボット100の動作を説明する。
図6は、ロボット100の動作を示すフローチャートである。
記憶部140は、予めロボットの動きを制御する複数のアプリケーション145を記憶する(ステップS601)。
受信部110は、ユーザの携帯端末400から送信された会話のためのメッセージを受信する(ステップS602)。受信部110は、受信したメッセージに含まれる指示情報を、選択部120、画像認識部125、感情分類部130又は感情認識部135に伝達する。
感情認識部135は、伝達された指示情報がイラスト情報又はイラスト情報に付帯する意味情報であった場合(ステップS603のYES)には、イラスト情報又は意味情報に基づいて、記憶部140に記憶した感情情報とマッチングを行う。マッチングに成功したときは、記憶した感情であると判定し、感情情報を認識する(ステップS605)。認識した感情情報は、選択部120に伝達する。
画像認識部125は、伝達された指示情報が画像情報、画像情報に付帯する日付及び位置に関する付帯情報であった場合(ステップS604のYES)には、画像情報及び付帯情報に基づいて、ユーザの居場所情報を認識する(ステップS607)。認識した居場所情報は、選択部120に伝達する。
感情分類部130は、伝達された指示情報が感情を示唆する情報であった場合(ステップS606のYES)には、当該示唆する情報を文字列情報として認識し、記憶部140に記憶した感情パターン情報とパターンマッチングを行う。マッチングに成功したときは、マッチングした感情パターン情報を設定することで分類する。(ステップS609)。そして、感情分類部130は、分類した感情パターン情報と、所定の時間内に認識された感情情報又は居場所情報とを対応付けて記憶する(ステップS610)。記憶した対応付けは、選択部120に伝達する。
受信部110は、伝達された指示情報が所定の著名人を指定する情報であった場合(ステップS608のYES)には、データベースサーバ300に指定した著名人の動作情報を要求する。そして、受信部110は、当該動作情報を、データベースサーバ300から受信する(ステップS611)。
選択部120は、伝達されたアプリケーションを指定する情報と、認識情報及び記憶情報等の入力情報に基づいて、記憶部140に記憶された複数のアプリケーション145から一つのアプリケーション145を選択する(ステップS612)。選択されたアプリケーション145は、入力情報に基づいて処理を行う。
制御部150は、選択されたアプリケーション145の処理結果に基づいて、ロボット100を動作させるための機構を制御して(ステップS613)、終了する。
以上が、ロボット100の動作である。
<まとめ>
本実施の形態に係るロボット、ロボット制御方法及びロボットシステムによれば、ロボットの動作に汎用性を持たせつつ、ユーザの携帯端末から、ロボットとの会話を目的としたメッセージを送信することで、ユーザの感情認識を直接的に行い、ロボットの会話における音声出力や手足部を動かす等といった動作を制御することができる。したがって、ユーザの感情認識をより的確に行い、あたかも人や生き物と会話しているような感覚をユーザに与えて、ロボットとの会話をすることができる。
本発明を実施形態と図面に基づき説明してきたが、代表的な実施形態の例を示したものであって、本発明はこの実施形態に限定されるものではない。
<補足>
本発明に係る一実施態様は、ユーザの有する携帯端末と通信可能なロボットプログラムであって、ロボットの動きを制御する複数のアプリケーションを予め記憶する記憶機能と、携帯端末から送信された前記ロボットとの会話を目的としたメッセージを受信する受信機能と、メッセージに含まれる指示情報に基づいて、複数のアプリケーションから一つのアプリケーションを選択する選択機能と、選択されたアプリケーションに基づいて、ロボットに動作させるための機構を制御する制御機能とを備え、指示情報は、ユーザが前記ロボットに送信したイラスト情報又は画面情報に付帯する情報であるロボットプログラムであってもよい。
100 ロボット
110 受信部
115 送信部
120 選択部
125 画像認識部
130 感情分類部
135 感情認識部
140 記憶部
145 アプリケーション
150 制御部
155 音声入力部
160 音声出力部
165 インタフェース
170 電源部
175 撮影部
200 アプリマーケットサーバ
300 データベースサーバ
400 ユーザの携帯端末
500 ネットワーク
600 ロボットシステム

Claims (8)

  1. ユーザの有する携帯端末と通信可能なロボットであって、
    前記ロボットの動きを制御する複数のアプリケーションを予め記憶する記憶部と、
    前記携帯端末から送信された前記ロボットとの会話を目的としたメッセージを受信する受信部と、
    前記メッセージに含まれる指示情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択する選択部と、
    前記選択されたアプリケーションに基づいて、前記ロボットに動作させるための機構を制御する制御部とを備え、
    前記指示情報は、前記ユーザが前記ロボットに送信したイラスト情報又は画面情報に付帯する情報であることを特徴とするロボット。
  2. 前記付帯する情報は、前記イラスト情報に付帯する意味情報を含むものであって、
    前記ロボットは、
    前記イラスト情報又は意味情報に基づいて、ユーザの感情を感情情報として認識する感情認識部とを備えるものであって、
    前記選択部は、前記認識したユーザの感情情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択することを特徴とする請求項1に記載のロボット。
  3. 前記付帯する情報は、前記画像情報に付帯する日付及び位置に関する付帯情報、であって、
    前記ロボットは、
    前記画像情報及び付帯情報に基づいて、ユーザの居場所を居場所情報として認識する画像認識部とを備えるものであって、
    前記選択部は、前記居場所情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択することを特徴とする請求項1に記載のロボット。
  4. 前記指示情報は、ユーザからの感情を示唆する情報を含むものであって、
    前記ロボットは、
    前記示唆する情報に基づいて、ユーザの感情を感情パターン情報として分類する感情分類部とを備えるものであって、
    前記記憶部は、前記感情パターン情報と、所定の時間内に認識した前記感情情報又は前記居場所情報とを対応付けて記憶することと、
    前記選択部は、前記感情情報又は前記居場所情報に対応付けられた前記感情パターン情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択することを特徴とする請求項2又は3に記載のロボット。
  5. 前記指示情報は、ユーザからの所定の著名人を指定する情報を含むものであって、
    前記受信部は、前記指定情報に基づいて、ネットワークを介して前記指定した著名人の動作情報を提供するデータベースサーバから前記動作情報を受信することと、
    前記選択部は、前記動作情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択することを特徴とする請求項1に記載のロボット。
  6. 前記動作情報は、インターネット上での出現数が上位から一定の順位以内にある前記著名人に係る動作情報であることを特徴とする請求項5に記載のロボット。
  7. ユーザの有する携帯端末と通信可能なロボットによる制御方法であって、
    前記ロボットの動きを制御する複数のアプリケーションを予め記憶する記憶ステップと、
    前記携帯端末から送信された前記ロボットとの会話を目的としたメッセージを受信する受信ステップと、
    前記メッセージに含まれる指示情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択する選択ステップと、
    前記選択されたアプリケーションに基づいて、前記ロボットに動作させるための機構を制御する制御ステップとを含み、
    前記指示情報は、前記ユーザが前記ロボットに送信したイラスト情報又は画面情報に付帯する情報であることを特徴とするロボット制御方法。
  8. ユーザの有する携帯端末と、該携帯端末と通信可能なロボット、複数のアプリケーションを提供するアプリマーケットサーバを含むロボットシステムであって、
    前記アプリマーケットサーバは、前記ロボットにロボットの動きを制御する1又は複数のアプリケーションを提供する提供手段とを備え、
    前記ロボットは、
    前記提供されたアプリケーションを予め記憶する記憶手段と、
    前記携帯端末から送信された前記ロボットとの会話を目的としたメッセージを受信する受信手段と、
    前記メッセージに含まれる指示情報に基づいて、前記複数のアプリケーションから一つのアプリケーションを選択する選択手段と、
    前記選択されたアプリケーションに基づいて、前記ロボットに動作させるための機構を制御する制御手段とを備え、
    前記指示情報は、前記ユーザが前記ロボットに送信したイラスト情報又は画面情報に付帯する情報であることを特徴とするロボットシステム。
JP2015081032A 2015-04-10 2015-04-10 ロボット及びロボット制御方法並びにロボットシステム Active JP6594646B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015081032A JP6594646B2 (ja) 2015-04-10 2015-04-10 ロボット及びロボット制御方法並びにロボットシステム
PCT/JP2016/061593 WO2016163530A1 (ja) 2015-04-10 2016-04-08 ロボット及びロボット制御方法並びにロボットシステム
CN201680020513.6A CN107428006B (zh) 2015-04-10 2016-04-08 机器人、机器人控制方法以及机器人系统
US15/562,935 US10486312B2 (en) 2015-04-10 2016-04-08 Robot, robot control method, and robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015081032A JP6594646B2 (ja) 2015-04-10 2015-04-10 ロボット及びロボット制御方法並びにロボットシステム

Publications (2)

Publication Number Publication Date
JP2016198859A true JP2016198859A (ja) 2016-12-01
JP6594646B2 JP6594646B2 (ja) 2019-10-23

Family

ID=57072469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015081032A Active JP6594646B2 (ja) 2015-04-10 2015-04-10 ロボット及びロボット制御方法並びにロボットシステム

Country Status (4)

Country Link
US (1) US10486312B2 (ja)
JP (1) JP6594646B2 (ja)
CN (1) CN107428006B (ja)
WO (1) WO2016163530A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564550A (zh) * 2017-10-27 2018-01-09 安徽硕威智能科技有限公司 一种根据检测儿童心跳播放音乐的卡片机器人
JP2021533501A (ja) * 2018-10-11 2021-12-02 平安科技(深▲せん▼)有限公司Ping An Technology (Shenzhen) Co., Ltd. マンマシンインタラクション方法、システム、コンピュータ機器及び記憶媒体
JP7317395B2 (ja) 2019-06-14 2023-07-31 株式会社ロボ・ガレージ 薄型携帯通信端末およびその制御方法並びに制御プログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791606A (zh) * 2016-11-25 2017-05-31 深圳哈乐派科技有限公司 一种远程监控方法及装置
KR102616403B1 (ko) * 2016-12-27 2023-12-21 삼성전자주식회사 전자 장치 및 그의 메시지 전달 방법
US10546584B2 (en) * 2017-10-29 2020-01-28 International Business Machines Corporation Creating modular conversations using implicit routing
US10783329B2 (en) * 2017-12-07 2020-09-22 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
US11514812B2 (en) * 2018-04-02 2022-11-29 Pinegem Technologies LLC Autonomous physical activity assistance systems and methods thereof
CN108845879A (zh) * 2018-05-21 2018-11-20 塔米智能科技(北京)有限公司 一种机器人资源调用方法、装置、服务器和存储介质
JP7131077B2 (ja) * 2018-05-24 2022-09-06 カシオ計算機株式会社 会話装置、ロボット、会話装置制御方法及びプログラム
KR20190141303A (ko) * 2018-06-14 2019-12-24 엘지전자 주식회사 이동 로봇의 동작 방법
JP7010193B2 (ja) * 2018-10-25 2022-01-26 トヨタ自動車株式会社 対話装置および対話装置の制御プログラム
CN113164822B (zh) * 2018-12-14 2023-03-10 Groove X 株式会社 穿衣服的机器人
US20220126439A1 (en) * 2019-01-22 2022-04-28 Sony Group Corporation Information processing apparatus and information processing method
JP2022051982A (ja) 2019-02-15 2022-04-04 ソニーグループ株式会社 情報処理装置および情報処理方法
JP7107248B2 (ja) * 2019-02-26 2022-07-27 トヨタ自動車株式会社 対話システム、対話方法及びプログラム
KR20210020312A (ko) * 2019-08-14 2021-02-24 엘지전자 주식회사 로봇 및 그의 제어 방법
CN115431288B (zh) * 2022-11-10 2023-01-31 深圳市神州云海智能科技有限公司 基于多元融合信息进行情感反馈及信息交互的导诊机器人

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001310283A (ja) * 2000-02-14 2001-11-06 Sony Corp ロボットシステム、ロボット装置及びその制御方法、並びに情報処理装置及び方法
JP2003111981A (ja) * 2001-10-09 2003-04-15 Sony Corp ロボット装置及びその制御方法、ロボットのための情報提供システム及び情報提供方法、並びに記憶媒体
JP2003157221A (ja) * 2001-11-22 2003-05-30 Matsushita Electric Works Ltd 電子メールにボディアクション動作を付加して転送する方法、電子メール付加転送サービスシステム、電子メール付加転送サービスプログラム、及びこのシステムで用いるボディアクション動作表現機能を備えた通信ネットワーク外付補助機器
WO2004031878A1 (ja) * 2002-10-01 2004-04-15 Fujitsu Limited ロボット
JP2004167627A (ja) * 2002-11-20 2004-06-17 Plus Vision Corp 画像投射機能を有するロボット及びそのロボットを用いた情報交換システム
JP2005184304A (ja) * 2003-12-18 2005-07-07 Sony Corp 遠隔制御システム、サーバおよびコンピュータプログラム
JP2005342862A (ja) * 2004-06-04 2005-12-15 Nec Corp ロボット
JP2007044798A (ja) * 2005-08-09 2007-02-22 Advanced Telecommunication Research Institute International ロボットコミュニケーションシステム
JP2007110199A (ja) * 2005-10-11 2007-04-26 Sony Ericsson Mobilecommunications Japan Inc 通信装置およびコンピュータプログラム
JP2008104707A (ja) * 2006-10-26 2008-05-08 Taito Corp 通信ゲームシステム、送信端末、受信端末、通信ゲームプログラム
JP2009268028A (ja) * 2008-04-30 2009-11-12 Puchimo Kk 短編動画データ配信装置
US20120084655A1 (en) * 2010-09-30 2012-04-05 Andrew Charles Gallagher Summarizing image collection using a social network
JP2014235533A (ja) * 2013-05-31 2014-12-15 株式会社Nttぷらら コンテンツ評価装置、コンテンツ提示装置、コンテンツ評価方法、コンテンツ評価プログラム、およびコンテンツ供給システム
US8958662B1 (en) * 2014-08-20 2015-02-17 Interactive Memories, Inc. Methods and systems for automating insertion of content into media-based projects

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560511B1 (en) * 1999-04-30 2003-05-06 Sony Corporation Electronic pet system, network system, robot, and storage medium
US6519506B2 (en) * 1999-05-10 2003-02-11 Sony Corporation Robot and control method for controlling the robot's emotions
US7983910B2 (en) * 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
KR100850352B1 (ko) * 2006-09-26 2008-08-04 한국전자통신연구원 상태 정보를 이용하여 감성을 표현하기 위한 지능형 로봇의감성 표현 장치 및 그 방법
JP2008107673A (ja) 2006-10-27 2008-05-08 Business Design Kenkyusho:Kk 会話ロボット
US8108408B2 (en) * 2007-06-14 2012-01-31 Panasonic Corporation Image recognition device and image recognition method
US8170872B2 (en) * 2007-12-04 2012-05-01 International Business Machines Corporation Incorporating user emotion in a chat transcript
US20120185254A1 (en) * 2011-01-18 2012-07-19 Biehler William A Interactive figurine in a communications system incorporating selective content delivery
FR2991222B1 (fr) * 2012-06-01 2015-02-27 Aldebaran Robotics Systeme et procede pour generer des comportements contextuels d'un robot mobile executes en temps reel
US9414779B2 (en) * 2012-09-12 2016-08-16 International Business Machines Corporation Electronic communication warning and modification
US9104231B2 (en) * 2012-09-27 2015-08-11 Microsoft Technology Licensing, Llc Mood-actuated device
US9046884B2 (en) * 2012-12-31 2015-06-02 Microsoft Technology Licensing, Llc Mood-actuated device
TW201434600A (zh) * 2013-03-01 2014-09-16 Compal Electronics Inc 具有可因應不同聲音信號產生相對應肢體動作之機器人
KR102341144B1 (ko) * 2015-06-01 2021-12-21 삼성전자주식회사 메시지를 출력하는 전자 장치 및 그 제어 방법

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001310283A (ja) * 2000-02-14 2001-11-06 Sony Corp ロボットシステム、ロボット装置及びその制御方法、並びに情報処理装置及び方法
JP2003111981A (ja) * 2001-10-09 2003-04-15 Sony Corp ロボット装置及びその制御方法、ロボットのための情報提供システム及び情報提供方法、並びに記憶媒体
JP2003157221A (ja) * 2001-11-22 2003-05-30 Matsushita Electric Works Ltd 電子メールにボディアクション動作を付加して転送する方法、電子メール付加転送サービスシステム、電子メール付加転送サービスプログラム、及びこのシステムで用いるボディアクション動作表現機能を備えた通信ネットワーク外付補助機器
WO2004031878A1 (ja) * 2002-10-01 2004-04-15 Fujitsu Limited ロボット
JP2004167627A (ja) * 2002-11-20 2004-06-17 Plus Vision Corp 画像投射機能を有するロボット及びそのロボットを用いた情報交換システム
JP2005184304A (ja) * 2003-12-18 2005-07-07 Sony Corp 遠隔制御システム、サーバおよびコンピュータプログラム
JP2005342862A (ja) * 2004-06-04 2005-12-15 Nec Corp ロボット
JP2007044798A (ja) * 2005-08-09 2007-02-22 Advanced Telecommunication Research Institute International ロボットコミュニケーションシステム
JP2007110199A (ja) * 2005-10-11 2007-04-26 Sony Ericsson Mobilecommunications Japan Inc 通信装置およびコンピュータプログラム
JP2008104707A (ja) * 2006-10-26 2008-05-08 Taito Corp 通信ゲームシステム、送信端末、受信端末、通信ゲームプログラム
JP2009268028A (ja) * 2008-04-30 2009-11-12 Puchimo Kk 短編動画データ配信装置
US20120084655A1 (en) * 2010-09-30 2012-04-05 Andrew Charles Gallagher Summarizing image collection using a social network
JP2014235533A (ja) * 2013-05-31 2014-12-15 株式会社Nttぷらら コンテンツ評価装置、コンテンツ提示装置、コンテンツ評価方法、コンテンツ評価プログラム、およびコンテンツ供給システム
US8958662B1 (en) * 2014-08-20 2015-02-17 Interactive Memories, Inc. Methods and systems for automating insertion of content into media-based projects

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564550A (zh) * 2017-10-27 2018-01-09 安徽硕威智能科技有限公司 一种根据检测儿童心跳播放音乐的卡片机器人
JP2021533501A (ja) * 2018-10-11 2021-12-02 平安科技(深▲せん▼)有限公司Ping An Technology (Shenzhen) Co., Ltd. マンマシンインタラクション方法、システム、コンピュータ機器及び記憶媒体
JP7061228B2 (ja) 2018-10-11 2022-04-27 平安科技(深▲せん▼)有限公司 マンマシンインタラクション方法、システム、コンピュータ機器及び記憶媒体
JP7317395B2 (ja) 2019-06-14 2023-07-31 株式会社ロボ・ガレージ 薄型携帯通信端末およびその制御方法並びに制御プログラム

Also Published As

Publication number Publication date
US10486312B2 (en) 2019-11-26
WO2016163530A1 (ja) 2016-10-13
CN107428006B (zh) 2020-07-17
JP6594646B2 (ja) 2019-10-23
US20180085928A1 (en) 2018-03-29
CN107428006A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
JP6594646B2 (ja) ロボット及びロボット制御方法並びにロボットシステム
US20200090393A1 (en) Robot and method for operating the same
US11948241B2 (en) Robot and method for operating same
US20150287403A1 (en) Device, system, and method of automatically generating an animated content-item
US20140036022A1 (en) Providing a conversational video experience
TWI766499B (zh) 互動物件的驅動方法、裝置、設備以及儲存媒體
CN113508369A (zh) 交流支持系统、交流支持方法、交流支持程序以及图像控制程序
JP6292295B2 (ja) 連携システム、装置、方法、および記録媒体
CN109257645A (zh) 视频封面生成方法及装置
JP2018008316A (ja) 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム
JP7100824B2 (ja) データ処理装置、データ処理方法及びプログラム
CN111954063B (zh) 视频直播间的内容显示控制方法及装置
JP2016103081A (ja) 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム
KR20200092207A (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
CN109388699A (zh) 输入方法、装置、设备及存储介质
WO2016206645A1 (zh) 为机器装置加载控制数据的方法及装置
JP6798258B2 (ja) 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム
JP6675136B1 (ja) 仮想空間提供システム、仮想空間提供方法及びプログラム
KR20190002386A (ko) 캐릭터 서비스 시스템에서의 캐릭터 서비스를 제공하기 위한 장치
CN113115104B (zh) 视频处理方法、装置、电子设备及存储介质
CN111292743B (zh) 语音交互方法及装置、电子设备
WO2021232875A1 (zh) 一种驱动数字人的方法、装置及电子设备
CN113709548A (zh) 基于图像的多媒体数据合成方法、装置、设备及存储介质
CN113923517A (zh) 一种背景音乐生成方法、装置及电子设备
JP6043893B2 (ja) メッセージ送信装置、メッセージ送信方法、および記録媒体

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160105

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160122

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170810

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20171124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190925

R150 Certificate of patent or registration of utility model

Ref document number: 6594646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250