JP2019219706A - 遺失物情報音声回答システム、方法及びプログラム - Google Patents

遺失物情報音声回答システム、方法及びプログラム Download PDF

Info

Publication number
JP2019219706A
JP2019219706A JP2018114204A JP2018114204A JP2019219706A JP 2019219706 A JP2019219706 A JP 2019219706A JP 2018114204 A JP2018114204 A JP 2018114204A JP 2018114204 A JP2018114204 A JP 2018114204A JP 2019219706 A JP2019219706 A JP 2019219706A
Authority
JP
Japan
Prior art keywords
voice
speaker
information
response
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018114204A
Other languages
English (en)
Other versions
JP6560405B1 (ja
Inventor
大己 増木
Daiki Masuki
大己 増木
政徳 高野
Masanori Takano
政徳 高野
松本 和也
Kazuya Matsumoto
和也 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mamorio
Mamorio Inc
Original Assignee
Mamorio
Mamorio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mamorio, Mamorio Inc filed Critical Mamorio
Priority to JP2018114204A priority Critical patent/JP6560405B1/ja
Application granted granted Critical
Publication of JP6560405B1 publication Critical patent/JP6560405B1/ja
Publication of JP2019219706A publication Critical patent/JP2019219706A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Near-Field Transmission Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】AIスピーカを利用して、遺失物の探索にかかる時間と労力を軽減する。【解決手段】遺失物情報音声回答システム100は、物60のIDを示す物IDを発信するタグ62と、当該タグ62から物IDを取得するID取得手段50A,50Bと、サーバ30と、音声入出力が可能なAIスピーカ10により構成される。ID取得手段50A,50Bにより取得された物IDは、当該物IDが取得された位置情報と時間情報と対応づけて、サーバ30の物データベースに記憶される。ユーザ80からAIスピーカ10に対して音声入力により物に関するリクエストがあると、サーバ30は、当該リクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報とを、物データベースを参照して取得し、AIスピーカ10に提供する。参照結果を取得したAIスピーカ10は、参照結果を音声で回答する。【選択図】図1

Description

本発明は、遺失物について回答させるための遺失物情報音声回答システム、方法、プログラム及びAIスピーカに関するものである。
遺失物に関する情報を提供する技術として、例えば、下記特許文献1に記載の技術がある。当該特許文献1によれば、物体にPHS通信機能を取り付け、物体の所在位置について数百メートルのエリアを特定したのち、PHS通信機能のアンテナを持った探知器をもった移動者が移動しながら、探知器同士の所在情報などを情報共有し、物体に接近する方位を特定していくことで物体に接近し探し当てる技術が提供されている。
また、下記特許文献2によれば、見守り対象物に装着され、一意に識別可能な識別子を含む近距離無線通信信号を送信する無線タグと、無線タグから送信された近距離無線信号を受信して、近距離無線信号に含まれる識別子と、捜索対象として指示された見守り対象物に装着された無線タグの識別子とが一致することを判定する携帯端末と、捜索対象として指示された見守り対象物に装着された無線タグの識別子を携帯端末に送信し、携帯端末による判定結果に基づいて、無線タグの識別子と無線タグが装着された見守り対象物とを関連つけて管理する管理装置とを備えた見守りシステムが提供されている。
特開2014−182021号公報 特開2016―36123号公報
しかしながら、上述した特許文献1の技術では、物体の所在位置が明確には特定されないという課題がある。また、上述した特許文献2においては、発見された見守り対象物の所在位置を管理装置や依頼者へ通知するものの、発見された時点での所在位置しか通知されないという課題がある。
遺失物の通知は、単に画面に通知が表示されるよりも、音による通知や音による入力のほうが、利用者によって利便性が高いと考えられるが、そのような遺失物の通知に関する技術は、いまだ提供されていない。
本発明は、以上のような点に着目したもので、AI(音声入出力が可能なスピーカ型のコンピュータ)を利用して、遺失物の探索にかかる時間と労力を軽減することが可能な、遺失物情報音声回答システム、方法、プログラム及びAIスピーカを提供することを、その目的とする。
本発明は、音声入出力が可能なAIスピーカに、遺失物について音声で回答させるための遺失物情報音声回答システムであって、物のIDを示す物IDを発信するタグから、前記物IDを取得する取得手段と、取得した前記物IDと、当該物IDを取得した位置を示す位置情報と、当該物IDを取得した時間を示す時間情報と、を対応付けて記憶する記憶手段と、前記AIスピーカから音声で入力された物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、前記記憶手段から参照する参照手段と、前記参照した結果を、前記AIスピーカに音声で回答させる回答手段と、を備える遺失物情報音声回答システムを提供する。
また、本発明は、遺失物について音声で回答する音声入出力可能なAIスピーカであって、音声で入力された物に関するリクエストを受け付ける音声入力受付手段と、受け付けた前記物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、外部記憶手段に要求する要求手段と、要求に応じて前記外部記憶手段から提供された物に関する情報を取得する取得手段と、前記取得した結果を、音声で回答する通知手段と、を備えるAIスピーカを提供する。
更に、本発明は、音声入出力が可能なAIスピーカに、遺失物について音声で回答させるための遺失物情報音声回答方法であって、前記物のIDを示す物IDを発信するタグから、前記物IDを取得するステップと、取得した前記物IDと、当該物IDを取得した位置を示す位置情報と、当該物IDを取得した時間を示す時間情報とを対応付けて記憶するステップと、前記AIスピーカから音声で入力された物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、前記記憶手段から参照するステップと、前記参照した結果を、前記AIスピーカに音声で回答させるステップと、を備える遺失物情報音声回答方法を提供する。
更に、本発明は、音声入出力が可能なAIスピーカに、遺失物について音声で回答させるための遺失物情報音声回答の処理を実行させるためのプログラムであって、前記物のIDを示す物IDを発信するタグから、前記物IDを取得するステップと、取得した前記物IDと、当該物IDを取得した位置を示す位置情報と、当該物IDを取得した時間を示す時間情報とを対応付けて記憶するステップと、前記AIスピーカから音声で入力された物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、前記記憶手段から参照するステップと、前記参照した結果を、前記AIスピーカに音声で回答させるステップと、を実行させるためのプログラムを提供する。
本発明によれば、AIスピーカに対する音声入力により物の情報をサーバから取得し、取得した情報をAIスピーカから音声で出力するため、物の探索にかかる時間と労力を軽減し、遺失物をなくすことができる。
本発明の一実施形態の遺失物情報音声回答システムの概要を示す概念図である。 前記実施形態の遺失物情報音声回答システムの機能構成を示すブロック図である。 前記実施形態の物データベースの一例を示す図である。 前記実施形態の持ち物リストの一例を示す図である。 前記実施形態の物情報回答処理の一例を示すフローチャートである。 前記実施形態の物情報回答処理の他の例を示すフローチャートである。 前記実施形態の持ち物リストを参照した場合の音声によるリクエスト及び通知の一例の様子を示す図である。 前記実施形態の持ち物リストを参照した場合の音声によるリクエスト及び通知の他の例の様子を示す図である。
以下、本発明を実施するための最良の形態を、実施例に基づいて詳細に説明する。
<全体構成>・・・図1は、本実施形態に係る遺失物情報音声回答システムの概要を示す概念図である。遺失物情報音声回答システム100は、遺失物をなくすために、物に関する情報を回答させるシステムであって、AIスピーカ(音声入出力可能なスピーカ型のコンピュータ)10と、物60に取付けられたタグ62から、物IDを取得し、取得した位置情報と時間情報をサーバ30へ提供するID取得手段50A、50Bと、取得した物IDと取得した位置情報及び時間情報を対応付けて記憶し、AIスピーカ10が受け付けた音声によるリクエストに応じて、物に関する情報をAIスピーカ10に提供するサーバ30により構成される。なお、ID取得手段50A、50Bや、物60、ユーザ80の数は一例であり、図示の例に限定されるものではない。
より具体的に説明すると、図1に示すように、物60(図示の例では財布)に取付けられたタグ62からは、物に関する「物ID」が発信され(図1のS1)、これをID取得手段50A、50Bが受信する。ID取得手段50Aは、スマートフォンの例であり、これは、ユーザ自身のスマートフォンであってもよいし、本システムを利用する他のユーザのスマートフォンであってもよい。スマートフォンがID取得手段として機能するためには、例えば、本システム専用のアプリケーションの導入により実現可能である。また、例えば、ID取得手段50Bのように、道路や各種施設などに固定して設置されたスポットを、ID取得手段としてもよい。
これらのID取得手段50A、50Bによって取得した物IDは、物IDを取得したときのID取得手段50A、50Bの位置を位置情報とし、取得した時間を時間情報として、サーバ30へ送信される(図1のS2)。サーバ30では、これらの物IDと、物IDを取得した位置を示す位置情報と、物IDを取得した時間を示す時間情報とを対応付けて記憶する。
ここで、ユーザ80が、例えば、「お財布どこ?」のように、音声によりAIスピーカ10に、物に関するリクエストを入力すると(図1のS3)、AIスピーカ10からサーバ30に対して、AIスピーカ10に音声で入力された物に関するリクエストが送信される(図1のS4)。
サーバ30では、リクエストを受け付けると、当該リクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報とを、記憶手段を参照し、AIスピーカ10に提供する(図1のS5)。AIスピーカ10は、提供された参照結果を、音声で回答する(図1のS6)。例えば、「お財布は、2018/4/1の10:47までに、〇〇〇〇にあったよ」という具合である。
<機能構成>・・・図2は、本実施形態の遺失物情報音声回答システムの機能構成を示すブロック図である。まず、AIスピーカ10について説明する。なお、AIスピーカ10とは、音声入出力が可能なスピーカ型のコンピュータであって、スピーカに特化した据え置き型のAIスピーカ10Aであってもよいし、音声入出力機能を備えたスマートフォンをAIスピーカ10Bとして利用してもよい。むろん、これら双方を、状況に応じて使い分けるようにしてもよい。
AIスピーカ10は、リクエスト受付手段(音声入力受付手段)12と、物情報要求手段14と、物情報取得手段16と、音声回答手段18と、地図データ20と、持ち物リスト22と、スケジュールデータ24を備えている。AIスピーカ10は、図示しないプロセッサ、メモリ、ストレージ、通信部を備え、これらはバスにより接続されている。プロセッサは、例えば、CPU(Central Processing Unit)により構成され、メモリに記憶された各種プログラムを読み出して実行することで、各種処理を行う。前記メモリは、CPUにより実行されるプログラムを記憶するものであり、例えば、ROM(Read Only Memory)やRAM(Random Access Memory)により構成される。例えば、リクエスト受付手段12、物情報要求手段14、物情報取得手段16、音声回答手段18などが記憶されている。ストレージは、地図データ20、持ち物リスト22、スケジュールデータ24や図示しない制御プログラムなどを記憶するものである。通信部は、ネットワーク70を介してサーバ30などとデータ通信を行うものである。
なお、地図データ20は、必ずしもAIスピーカ10に記憶されている必要はなく、後述するサーバ30に記憶された地図データ40を用いるようにしてもよい。また、持ち物リスト22、スケジュールデータ24も、AIスピーカ10に記憶されている必要はなく、サーバ30に記憶しておくようにしてもよい。もろん、これらのデータを、AIスピーカ10とサーバ30の双方に記憶しておくことを妨げるものではない。
リクエスト受付手段12は、ユーザ80が音声で入力した物に関するリクエスト、例えば、「財布はどこ?」というリクエストを受け付けるものである。物情報要求手段14は、前記リクエストに応じて、音声認識で特定される物の物IDに対応する情報をサーバ30に要求するものである。なお、音声認識による物の特定は、サーバ30側で行うようにしてもよい。物情報取得手段16は、前記リクエストに応じてサーバ30から提供された情報を取得するものである。なお、これらの情報の要求や取得は、図示しない通信手段及びネットワーク70を介して行われる。
地図データ20は、例えば、サーバ30から提供された物の位置情報が、緯度や経度で特定されている場合に、それら緯度や経度に相当する地図上の位置を特定し、当該地図上の表示、例えば、施設名、道路名、信号名などとして音声出力するために参照されるものである。上述したように、地図データ20は、サーバ30に記憶されていれば、必ずしもAIスピーカ10に備えておく必要はない。
持ち物リスト22は、ユーザ80が通常の外出時(通勤や通学時)に必要な物のリストである。図4には持ち物リスト22の一例が表示されている。同図に示す持ち物リスト22の上部には、時間情報22Aと物情報22Bが設けられている。時間情報22Aは、例えば、「通勤時(平日8:30 自宅出発)のように設定され、物情報22Bは、例えば、「1 鍵」、「2 カバン」、「3 財布」のように設定される。むろん、これに限定されるものではない。例えば、習い事などで決まった曜日や時間に出かける場合には、それらの時間情報、たとえば、「ジム(平日20:00 自宅出発)」、持ち物情報として「1 ジム用バッグ」、「2 タオル」、「3 シューズ」などのように設定してもよい。このような持ち物リスト22が設定されている場合には、通常の物のリクエスト及び回答と平行して後述する処理が行われる。
スケジュールデータ24は、例えば、図4の持ち物リスト22の下部にカレンダー情報23Aとして示されており、予定情報23Bと、物情報23Cが示されている。予定情報23Bは、例えば、「6月6日 海外出張(朝6:00 自宅出発)」と設定され、物情報は、「1 パスポート」、「2 ・・・」と設定されている。このようなカレンダー情報23Aが設定されている場合には、通常の持ち物リストに優先して、カレンダー情報23Aに設定された物の情報のリクエスト及び回答を行うようにしてもよい。
なお、ここでは、カレンダー情報23Aを、持ち物リスト22内に一緒に設けることとしたが、むろんこれも一例であり、持ち物リスト22とスケジュールデータ24は別個に設けるようにしてもよいし、これら持ち物リスト22とスケジュールデータ24をサーバ30の物データベース38にユーザ毎に紐づけて設けるようにしてもよい。
次に、サーバ30について説明する。サーバ30は、物ID取得手段32と、参照手段34と、物情報提供手段36と、物データベース38と、地図データ40を備えている。サーバ30は、図示しないプロセッサ、メモリ、ストレージ、通信部を備え、これらはバスにより接続されている。プロセッサは、例えば、CPU(Central Processing Unit)により構成され、メモリに記憶された各種プログラムを読み出して実行することで、各種処理を行う。前記メモリは、CPUにより実行されるプログラムを記憶するものであり、例えば、ROM(Read Only Memory)やRAM(Random Access Memory)により構成される。例えば、物ID取得手段32、参照手段34、物情報提供手段36などが記憶されている。ストレージは、物データベース38や地図データ40や図示しない制御プログラムなどを記憶するものである。このほか、上述した持ち物リスト22やスケジュールデータ24をサーバ30に記憶するようにしてもよい。通信部は、ネットワーク70を介してAIスピーカ10などとデータ通信を行うものである。
物ID取得手段32は、ID取得手段50、50A、50Bから、ネットワーク70を介して物ID64、当該物ID64を取得した位置を示す位置情報と、取得した時間を示す時間情報とを取得し、これらを対応付けた物データとして物データベース38に記憶する。参照手段34は、AIスピーカ10から音声で入力された物に関するリクエストに応じて、音声認識で特定される物の物IDに対応し、かつ、ユーザIDに対応する物の情報を、前記物データベース38を参照して特定する。物情報提供手段36は、参照手段34により特定された物情報を、AIスピーカ10に提供する。なお、このようなデータの授受は、図示しない通信部を介して行われる。
物データベース38は、物ID64と、物ID64を取得した位置を示す位置情報と、物ID64を取得した時間を示す時間情報を対応付けて記憶したもので、物ID64とユーザIDとの対応付けも行っている。さらに、ユーザIDとAIスピーカIDとを連携させるようにしてもよい。図3には、物データベース38の一例が示されている。図示の例では、サービスID38A、ユーザID38B、物ID38C、物名38D、受信日38E、受信時間38F、位置情報38Gが記憶される。
例えば、ユーザID「1234」のユーザに対応づけられている物IDは、「abcd」、「efgh」、「ijklm」の3つであり、「abcd」は「財布」、「efgh」は「鍵」、「ijklm」は「バッグ」と対応づけられている。これらの物それぞれについて、受信日、受信時間、位置情報が取得順に記憶される。例えば、「財布」の受信日、受信時間、位置情報は、「2018/4/2」「20:47」「緯度xxx/経度yyy」、「2018/4/2」「08:26」「緯度ww/経度zzz」、「2018/4/1」「14:39」「緯度xxy/経度yzx」のように、最近の受信情報が蓄積されていく。他の物60についても同様である。
地図データ40は、前記参照手段34が物データベース38を参照して特定した物の位置情報が緯度・経度で特定されている場合に、それら緯度・経度に相当する地図上の位置を特定し、当該地図上の表示、例えば、施設名、道路名、信号名によってAIスピーカ10に音声出力させるために参照されるものである。なお、AIスピーカ10側に地図データがある場合には、必ずしもサーバ30に地図データ40を設ける必要はない。
ID取得手段50は、物ID取得手段52と物ID提供手段54を備えている。物ID取得手段52は、物ID64を発信するタグ62から、物ID64を取得するものである。物ID提供手段54は、取得した物ID64と、取得した位置を示す位置情報と、取得した時間を示す時間情報とを、前記サーバ30に提供するものである。前記物ID取得手段52による物IDの取得は、例えば、Bluetooth(登録商標) Low Energy(BLE)規格の通信の受信機により行われる。また、前記物ID提供手段54によるサーバ30へのデータの提供は、ネットワーク70を介して行われる。
ID取得手段50は、スマートフォン専用アプリケーションをインストールすることでID取得手段50Aとして機能するスマートフォンを利用してもよいし、市街地や各種施設等の固定した場所に設置された同様の機能を有するスポットをID取得手段50Bとしてもよい。これらのID取得手段50A、50Bが多数あるほど、物情報の取得が早く、正確になる。
物60は、ユーザ80が失くしたら困るものなどであって、本システムで情報を取得するために、専用のタグ62が付けられる。タグ62は、物を識別するための物ID64と、発信手段66を備えている。発信手段66は、例えば、Bluetooth(登録商標) Low Energy(BLE)規格の通信を利用したBeaconの仕組みが利用可能である。このように、タグ62にBeaconを利用することにより、消費電力が少なくて済むというメリットがある。なお、物60は、図示の例では財布を示したが、これに限定されるものではなく、バッグや鍵、化粧品、手帳、眼鏡、衣類、靴など、タグ62をつけることができるものであれば、どのようなものであってもよい。
ネットワーク70は、インターネットなどを含むものであって、AIスピーカ10、サーバ30、ID取得手段50、50A、50Bは、ネットワーク70を介してデータの送受信を行う。
<物情報回答処理1>・・・次に、本遺失物情報音声回答システム100による物情報回答処理の一例について、図5を参照して説明する。図5は、本実施形態の物情報回答処理の一例を示すフローチャートであって、上述した持ち物リスト22が登録されていない場合である。なお、図1に「S1」、「S2」で示すように、ID取得手段50、50A、50Bによる物ID64の取得と、取得した物ID64と、その取得位置及び取得時間に関する情報の提供は随時行われ、サーバ30に対応付けて記憶されているものとする。
ユーザ80により、音声でAIスピーカ10に物に関するリクエスト、例えば、「お財布どこ?」という音声によるリクエストがあると(図1のS3、図5のステップS10でYes)、AIスピーカ10のリクエスト受付手段12がリクエストを受け付け、音声認識で特定される物に関する情報をサーバ30にリクエストする(図1のS4)。サーバ30では、参照手段34が物データベース38を参照し(図5のステップS12)、リクエストされた物の物IDに対応する時間情報と位置情報とを、物データベース38から取得する。
例えば、財布に対応する物IDは「abcd」であり、その位置情報と取得時間に関する情報を参照し、物情報提供手段36がAIスピーカ10に参照結果を送信すると、AIスピーカ10の物情報取得手段16により物情報が取得される(図1のS5、図4のステップS14)。AIスピーカ10の音声回答手段18は、取得した参照結果を、音声で回答させる(図1のS6、図4のステップS16)。例えば、「お財布は、2018/4/2の20:47までに緯度xxx/経度yyyにあったよ」という具合である。
なお、緯度・経度での通知ではユーザ80に分かりにくいため、サーバ30の地図データ40やAIスピーカ10の地図データ20を参照して、取得した緯度・経度に該当する地図上の表示(施設名や道路名など)を用いて音声で通知するようにしてもよい。また、取得した位置情報が、ユーザ80の近く(AIスピーカ10やAIスピーカとして使用しているユーザ80のスマートフォンの近く)であれば、「手元にあるよ」という具合に通知してもよい。
なお、上述した物情報のリクエストにおいて、ユーザのIDを示すユーザIDも記憶しておき、音声入力したユーザ80の声から、話者特定されたユーザIDに紐づいた物を参照するようにしてもよい。すなわち、一台のAIスピーカ10を複数のユーザ80が使い分けるようにしてもよい。この場合、サーバ30で物情報を参照する際に、ユーザIDとAIスピーカIDとを連携させておけばよい。
また、上述した物情報の回答において、物データベース38に複数の時間情報と位置情報がある場合には、最新の時間情報と位置情報を回答させるようにしてもよいし、時系列で回答させるようにしてもよい。
<物情報回答処理2>・・・次に、本遺失物情報音声回答システム100による物情報回答処理の他の例について、図6〜図8を参照して説明する。図6は、本実施形態の物情報回答処理の他の例を示すフローチャートであって、上述した持ち物リスト22が登録されている場合の例である。図7及び図8は、持ち物リスト22を参照した場合の音声によるリクエスト及び通知の一例を示す図である。持ち物リスト22が登録されている場合には、通常の物情報リクエストと平行して、本処理が行われる。なお、図1に「S1」、「S2」で示すように、ID取得手段50、50A、50Bによる物ID64の取得と、取得した物ID64と、その取得位置及び取得時間に関する情報の提供は随時行われ、サーバ30に対応付けて記憶されていることは、図5に示した処理の場合と同様である。
ユーザ80により、音声でAIスピーカ10に物に関するリクエスト、例えば、自宅から「行ってきます」という特定の音声によるリクエストがあると(図6のステップS20でYes、図7上段)、AIスピーカ10のリクエスト受付手段12がリクエストを受け付け、持ち物リスト22を参照し(図6のステップS22)、持ち物リスト22に記載された物の各々に関する情報をサーバ30にリクエストする。サーバ30では、参照手段34が物データベース38を参照し(図6のステップS24)、リクエストされた物の物IDに対応する時間情報と位置情報とを、物データベース38から取得する。
例えば、持ち物リスト22内に登録された「鍵」に対応する物IDは「efcd」であり、その位置情報と取得時間に関する情報を参照する。持ち物リスト22に登録された他の物「カバン」「財布」についても同様である。物情報提供手段36がAIスピーカ10に参照結果を送信すると、AIスピーカ10の物情報取得手段16により物情報が取得される(図6のステップS26)。そして、ユーザ80が自宅から離れたときに、取得した位置情報に基づいて鍵を忘れていると判断した場合には(ステップS28のYes)、AIスピーカ10の音声回答手段18は、音声で通知する(図6のステップS30、図7の後段)。このときの音声通知は、例えば、「鍵を忘れていませんか?」という具合に、ユーザ80のAIスピーカ50A(携帯電話をAIスピーカとして機能させている場合)から音声出力される。これにより、ユーザ80は忘れものに早期に気づき、時間が経ってから失せもの探しをすることがなくなる。
また、持ち物リスト22を参照した帰宅時の処理について図8を参照して説明する。ユーザ80が帰宅したときに特定の音声によるリクエスト、例えば、「ただいま」というリクエストをAIスピーカ10に入力すると、(図6のステップS20でYes、図8上段)、AIスピーカ10のリクエスト受付手段12がリクエストを受け付け、持ち物リスト22を参照し(図6のステップS22)、持ち物リスト22に記載された物の各々に関する情報をサーバ30にリクエストする。サーバ30では、参照手段34が物データベース38を参照し(図6のステップS24)、リクエストされた物の物IDに対応する時間情報と位置情報とを、物データベース38から取得する。
例えば、持ち物リスト22内に登録された「財布」に対応する物IDは「abcd」であり、その位置情報と取得時間に関する情報を参照する。持ち物リスト22に登録された他の物「鍵」「カバン」についても同様である。物情報提供手段36がAIスピーカ10に参照結果を送信すると、AIスピーカ10の物情報取得手段16により物情報が取得される(図6のステップS26)。そして、取得した位置情報及び時間情報から財布を忘れていると判断した場合には(図6のステップS28のYes)、AIスピーカ10の音声回答手段18は、音声で通知する(図6のステップS30、図8の後段)。このときの音声通知は、例えば、「財布を忘れていませんか?財布の場所は・・・」という具合に、ユーザ80のAIスピーカ50A(携帯電話をAIスピーカとして機能させている場合)から音声出力される。これにより、ユーザ80は忘れものに早期に気づき、通知された財布の場所に取りに行くことができる。この場合の位置情報の通知を、緯度と経度で通知するのに代えて、地図データを参照して、地図上の表示で通知してもよいことは図5の処理と同様である。
また、上述した一台のAIスピーカ10を複数のユーザ80で使い分けるようにしてもよいことも、上述した図5の処理と同様である。更に、物情報の回答において、物データベース38に複数の時間情報と位置情報がある場合には、最新の時間情報と位置情報を回答させるようにしてもよいし、時系列で回答させるようにしてもよい。
<物情報回答処理3>・・・なお、持ち物リスト22とカレンダー機能を連携させた場合も、図6及び図7と同様の処理が行われる。例えば、スマートフォンのカレンダーに予定を入力する際に、その日の持ち物リストを入力してあらかじめ持ち物リスト22として設定しておくと、その日の予定限定の持ち物リストのうち、忘れているものがあれば通知する。図4の例では、6月6日の朝6:00に自宅を出発する際の持ち物として、「1 パスポート」が設定されており、ユーザ80がこの日のこの時間に自宅を出発する際に、AIスピーカ10に特定の音声入力、例えば、「いってきます」と入力することにより、上述した図6と同様の処理が行われ、自宅をでたときに忘れ物があれば、AIスピーカとして機能するユーザ80のスマートフォンから「パスポートを忘れていませんか?」という具合に音声通知される。
<効果>・・・以上説明した実施形態によれば、物60のIDを示す物ID64を発信するタグ62から、物ID64を取得するID取得手段50と、取得した物ID64と、当該物ID64を取得した位置を示す位置情報と、当該物ID64を取得した時間を示す時間情報とを対応付けて物データベース38に記憶し、音声入出力が可能なAIスピーカ10から音声で入力された物に関するリクエストに応じて、音声認識で特定される物60の物ID64に対応する時間情報と位置情報を、物データベース38から参照するサーバ30と、前記参照した結果を、音声で回答させるAIスピーカ10と、を備える。このように、AIスピーカ10を利用して、物に関する情報のリクエストと回答(ないし通知)を音声で行うことで、物の探索にかかる時間と労力を軽減し、遺失物をなくすことができる。
また、本実施形態によれば、ユーザ80が通常の外出時の持ち物リスト22をあらかじめ登録しておくことで、AIスピーカ10から特定の音声で入力された物に関するリクエストに応じて、持ち物リスト22及び物データベース38が参照される。そして、持ち物リスト22に登録された持ち物各々について参照した結果から忘れ物があると判断された場合に、前記判断された結果を、AIスピーカ10に音声で回答させる。このため、あらかじめ通常持ち歩く物を登録しておくことで、日常生活での遺失物をなくすことができる。さらに、持ち物リスト22とカレンダー機能を連結させることで、出張やレジャーなどの、日常と異なる行動を行う場合の荷物の忘れ物や紛失を防止することができる。
さらに、物ID64に対応する時間情報と位置情報が複数ある場合には、時系列で前記時間情報と位置情報を回答することとすれば、第三者が間違えてユーザ80の物を持ち帰ったような場合に、追跡がしやすいという効果がある。
上述した実施形態は一例であり、同様の効果を奏する範囲内で適宜変更が可能である。また、以下の変形例が組み合わせされた形態であってもよい。
(1)上述した実施形態で示したAIスピーカ10、ID取得手段50、物60の数は一例であり、適宜増減が可能である。
(2)上述した実施形態では、AIスピーカ10として、据え置き型のAIスピーカ10Aや、専用のアプリケーションをインストールしたスマートフォンをAIスピーカ10Bとして利用した例を示したが、これも一例であり、音声入出力が可能なスピーカ型のコンピュータとして機能するものであれば、他の端末であってもよい。
(3)上述した実施形態で示したスマートフォンを利用したID取得手段50Aや、各種施設等に設置された固定型のID取得手段50Bも一例であり、ID取得手段を備えたPCなどの端末であってもよい。
(4)上述した実施形態で示した物60、持ち物リスト22、カレンダー情報23も一例であり、必要に応じて適宜変更可能である。
(5)AIスピーカ10は、据え置き型のものと携帯型の双方を切り替えて使用するようにしてもよいし、いずれか一方のみを使用してもよい。
(6)上述した実施形態で示したシステムの機能構成も一例であり、AIスピーカ10の機能の一部をサーバ30が有するようにしてもよいし、サーバ30の機能の一部をAIスピーカ10が有するようにしてもよい。
(7)上述した実施形態で示した音声入力も一例であり、同様の効果を奏する範囲内で適宜変更可能である。
(8)上述した実施形態で示した音声による通知(例えば「忘れ物あるよ」)に対するユーザの回答(「忘れている」「忘れていない」など)を示す音声入力を教師データとして機械学習し、音声による通知(回答)の精度を上げるようフィードバックを行うようにしてもよい。
(9)本発明は、サーバ30又はAIスピーカ10で実行されるプログラムとして提供されてもよい。このプログラムは、コンピュータが読取可能な記録媒体に記録された状態で提供されてもよいし、ネットワーク70を介してダウンロードしてもよい。また、本発明は、方法の発明として提供されてもよい。更に、本発明は、AIスピーカの発明として提供されてもよい。
なお、上述の説明では、AIスピーカ10に備えられたソフトウェアエージェントによって、音声認識されたデータを、サーバ30に送信して、リクエストを処理する。他の態様として、AIスピーカ10にソフトウェアエージェントが備えられていない場合は、AIスピーカ10とサーバ30の間に、リクエスト用のサーバを設け、AIスピーカ10から入力されたデータを、このサーバが受信し、リクエストに変換してサーバ30に送信することで処理してもよい。
本発明によれば、AIスピーカに対する音声入力により物の情報をサーバから取得し、取得した情報をAIスピーカから音声で出力することで、物の探索にかかる時間と労力を軽減できるため、遺失物について回答させるためのシステムとして好適である。
10,10A,10B:AIスピーカ
12:リクエスト受付手段(音声入力受付手段)
14:物情報要求手段
16:物情報取得手段
18:音声回答手段
20:地図データ
22:持ち物リスト
22A:時間情報
22B:持ち物情報
23A:カレンダー情報
23B:予定情報
23C:持ち物情報
24:スケジュールデータ
30:サーバ
32:物ID取得手段
34:参照手段
36:物情報提供手段
38:物データベース
38A:サービスID
38B:ユーザID
38C:物ID
38D:物名
38E:受信日
38F:受信時間
38G:位置情報
40:地図データ
50,50A,50B:ID取得手段
52:物ID取得手段
54:物ID提供手段
60:物
62:タグ
64:物ID
66:発信手段
70:ネットワーク
80:ユーザ
100:遺失物情報音声回答システム
本発明は、音声入出力が可能なAIスピーカに、遺失物について音声で回答させるための遺失物情報音声回答システムであって、物のIDを示す物IDを発信するタグから、前記物IDを取得する複数の取得手段と、取得した前記物IDと、当該物IDを取得した位置を示す位置情報と、当該物IDを取得した時間を示す時間情報と、を対応付けて記憶する記憶手段と、前記AIスピーカから音声で入力された物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、前記記憶手段から参照する参照手段と、前記参照した結果を、前記AIスピーカに音声で回答させる回答手段と、を備える遺失物情報音声回答システムを提供する。
また、本発明は、請求項1〜3のいずれか一項に記載の遺失物情報音声回答システムに利用される遺失物について音声で回答する音声入出力可能なAIスピーカであって、音声で入力された物に関するリクエストを受け付ける音声入力受付手段と、受け付けた前記物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、外部記憶手段に要求する要求手段と、要求に応じて前記外部記憶手段から提供された物に関する情報を取得する取得手段と、前記取得した結果を、音声で回答する通知手段と、を備えるAIスピーカを提供する。
更に、本発明は、音声入出力が可能なAIスピーカに、遺失物について音声で回答させるための遺失物情報音声回答方法であって、前記物のIDを示す物IDを発信するタグから、複数の取得手段が前記物IDを取得するステップと、取得した前記物IDと、当該物IDを取得した位置を示す位置情報と、当該物IDを取得した時間を示す時間情報とを対応付けて記憶するステップと、前記AIスピーカから音声で入力された物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、記憶手段から参照するステップと、前記参照した結果を、前記AIスピーカに音声で回答させるステップと、を備える遺失物情報音声回答方法を提供する。
更に、本発明は、音声入出力が可能なAIスピーカに、遺失物について音声で回答させるための遺失物情報音声回答の処理を実行させるためのプログラムであって、前記物のIDを示す物IDを発信するタグから、複数の取得手段が前記物IDを取得するステップと、取得した前記物IDと、当該物IDを取得した位置を示す位置情報と、当該物IDを取得した時間を示す時間情報とを対応付けて記憶するステップと、前記AIスピーカから音声で入力された物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、記憶手段から参照するステップと、前記参照した結果を、前記AIスピーカに音声で回答させるステップと、を実行させるためのプログラムを提供する。
本発明は、音声入出力が可能なAIスピーカに、遺失物について音声で回答させるための遺失物情報音声回答システムであって、物のIDを示す物IDを発信するタグから、前記物IDを取得する複数の取得手段と、取得した前記物IDと、当該物IDを取得した位置を示す位置情報と、当該物IDを取得した時間を示す時間情報と、を対応付けて記憶する記憶手段と、前記AIスピーカから音声で入力された物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、前記記憶手段から参照する参照手段と、前記参照した結果を、前記AIスピーカに音声で回答させる回答手段と、を備え、前記物のユーザが、外出時の持ち物リストをあらかじめ登録しておくことで、AIスピーカから特定のワードを音声で入力された物に関するリクエストに応じて、前記持ち物リスト及び前記記憶手段が参照され、前記持ち物リストに登録された持ち物各々について参照した結果から忘れ物があると判断された場合に、前記判断された結果を、前記回答手段が前記AIスピーカに音声で通知させる遺失物情報音声回答システムを提供する。
更に、本発明は、音声入出力が可能なAIスピーカに、遺失物について音声で回答させるための遺失物情報音声回答方法であって、前記物のIDを示す物IDを発信するタグから、複数の取得手段が前記物IDを取得するステップと、取得した前記物IDと、当該物IDを取得した位置を示す位置情報と、当該物IDを取得した時間を示す時間情報とを対応付けて記憶するステップと、前記AIスピーカから音声で入力された物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、記憶手段から参照するステップと、前記参照した結果を、前記AIスピーカに音声で回答させるステップと、を備え、前記物のユーザが、外出時の持ち物リストをあらかじめ登録しておくことで、AIスピーカから特定のワードを音声で入力された物に関するリクエストに応じて、前記持ち物リスト及び前記記憶手段が参照され、前記持ち物リストに登録された持ち物各々について参照した結果から忘れ物があると判断された場合に、前記判断された結果を、前記AIスピーカに音声で通知させる遺失物情報音声回答方法を提供する。
更に、本発明は、音声入出力が可能なAIスピーカに、遺失物について音声で回答させるための遺失物情報音声回答の処理を実行させるためのプログラムであって、前記物のIDを示す物IDを発信するタグから、複数の取得手段が前記物IDを取得するステップと、取得した前記物IDと、当該物IDを取得した位置を示す位置情報と、当該物IDを取得した時間を示す時間情報とを対応付けて記憶するステップと、前記AIスピーカから音声で入力された物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、記憶手段から参照するステップと、前記参照した結果を、前記AIスピーカに音声で回答させるステップと、を実行させ、前記物のユーザが、外出時の持ち物リストをあらかじめ登録しておくことで、AIスピーカから特定のワードを音声で入力された物に関するリクエストに応じて、前記持ち物リスト及び前記記憶手段が参照され、前記持ち物リストに登録された持ち物各々について参照した結果から忘れ物があると判断された場合に、前記判断された結果を、前記AIスピーカに音声で通知させるためのプログラムを提供する。

Claims (6)

  1. 音声入出力が可能なAIスピーカに、遺失物について音声で回答させるための遺失物情報音声回答システムであって、
    物のIDを示す物IDを発信するタグから、前記物IDを取得する取得手段と、
    取得した前記物IDと、当該物IDを取得した位置を示す位置情報と、当該物IDを取得した時間を示す時間情報と、を対応付けて記憶する記憶手段と、
    前記AIスピーカから音声で入力された物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、前記記憶手段から参照する参照手段と、
    前記参照した結果を、前記AIスピーカに音声で回答させる回答手段と、
    を備える遺失物情報音声回答システム。
  2. 前記物のユーザが、外出時の持ち物リストをあらかじめ登録しておくことで、
    AIスピーカから特定の音声で入力された物に関するリクエストに応じて、
    前記持ち物リスト及び前記記憶手段が参照され、
    前記持ち物リストに登録された持ち物各々について参照した結果から忘れ物があると判断された場合に、
    前記判断された結果を、前記回答手段が前記AIスピーカに音声で通知させる
    請求項1記載の遺失物情報音声回答システム。
  3. 前記物IDに対応する時間情報と位置情報が複数ある場合には、
    前記回答手段は、時系列で前記時間情報と位置情報を回答する
    請求項1又は2記載の遺失物情報音声回答システム。
  4. 遺失物について音声で回答する音声入出力可能なAIスピーカであって、
    音声で入力された物に関するリクエストを受け付ける音声入力受付手段と、
    受け付けた前記物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、外部記憶手段に要求する要求手段と、
    要求に応じて前記外部記憶手段から提供された物に関する情報を取得する取得手段と、
    前記取得した結果を、音声で回答する通知手段と、
    を備えるAIスピーカ。
  5. 遺失物について回答させるための遺失物情報音声回答方法であって、
    前記物のIDを示す物IDを発信するタグから、前記物IDを取得するステップと、
    取得した前記物IDと、当該物IDを取得した位置を示す位置情報と、当該物IDを取得した時間を示す時間情報とを対応付けて記憶するステップと、
    音声入出力が可能なAIスピーカから音声で入力された物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、前記記憶手段から参照するステップと、
    前記参照した結果を、前記AIスピーカに音声で回答させるステップと、
    を備える遺失物情報音声回答方法。
  6. 音声入出力が可能なAIスピーカに、遺失物について音声で回答させるための遺失物情報音声回答の処理を実行させるためのプログラムであって、
    前記物のIDを示す物IDを発信するタグから、前記物IDを取得するステップと、
    取得した前記物IDと、当該物IDを取得した位置を示す位置情報と、当該物IDを取得した時間を示す時間情報とを対応付けて記憶するステップと、
    音声入出力が可能なAIスピーカから音声で入力された物に関するリクエストに応じて、音声認識で特定される物の物IDに対応する時間情報と位置情報を、前記記憶手段から参照するステップと、
    前記参照した結果を、前記AIスピーカに音声で回答させるステップと、
    を実行させるためのプログラム。

JP2018114204A 2018-06-15 2018-06-15 遺失物情報音声回答システム、方法及びプログラム Expired - Fee Related JP6560405B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018114204A JP6560405B1 (ja) 2018-06-15 2018-06-15 遺失物情報音声回答システム、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018114204A JP6560405B1 (ja) 2018-06-15 2018-06-15 遺失物情報音声回答システム、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP6560405B1 JP6560405B1 (ja) 2019-08-14
JP2019219706A true JP2019219706A (ja) 2019-12-26

Family

ID=67614880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018114204A Expired - Fee Related JP6560405B1 (ja) 2018-06-15 2018-06-15 遺失物情報音声回答システム、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6560405B1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102376209B1 (ko) * 2021-06-16 2022-03-21 주식회사 엘젠아이씨티 Ai 아바타를 이용한 유실물 신고 및 안내 시스템
WO2022118411A1 (ja) * 2020-12-02 2022-06-09 マクセル株式会社 携帯端末装置、物品管理システムおよび物品管理方法
WO2023195264A1 (ja) * 2022-04-07 2023-10-12 株式会社Nttドコモ ユーザ状態判断装置
JP7371843B1 (ja) 2023-01-31 2023-10-31 株式会社ティファナ ドットコム 遺失物管理システム、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005251A (ja) * 2002-05-31 2004-01-08 Casio Comput Co Ltd 携帯機器、所持品管理処理プログラム
JP2004246696A (ja) * 2003-02-14 2004-09-02 Fujitsu Ltd 所持品管理装置
US20130214926A1 (en) * 2012-02-21 2013-08-22 Htc Corporation Method for reminding objects being away and communication device and computer readable medium using the same method
JP2014010816A (ja) * 2012-07-03 2014-01-20 Sharp Corp 情報処理装置
JP2015071492A (ja) * 2013-10-04 2015-04-16 株式会社日本ビジネスエンジニアリング 物品所在管理システム、及び物品所在管理システムに適用されるサーバ側管理システム及び端末側管理システム
JP2016197776A (ja) * 2015-04-02 2016-11-24 Mamorio株式会社 逸失物発見システム
JP2017004196A (ja) * 2015-06-09 2017-01-05 三菱電機エンジニアリング株式会社 忘れ物通知システム
JP2018030223A (ja) * 2016-08-26 2018-03-01 株式会社メニコン 捜し物ロボット

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005251A (ja) * 2002-05-31 2004-01-08 Casio Comput Co Ltd 携帯機器、所持品管理処理プログラム
JP2004246696A (ja) * 2003-02-14 2004-09-02 Fujitsu Ltd 所持品管理装置
US20130214926A1 (en) * 2012-02-21 2013-08-22 Htc Corporation Method for reminding objects being away and communication device and computer readable medium using the same method
JP2014010816A (ja) * 2012-07-03 2014-01-20 Sharp Corp 情報処理装置
JP2015071492A (ja) * 2013-10-04 2015-04-16 株式会社日本ビジネスエンジニアリング 物品所在管理システム、及び物品所在管理システムに適用されるサーバ側管理システム及び端末側管理システム
JP2016197776A (ja) * 2015-04-02 2016-11-24 Mamorio株式会社 逸失物発見システム
JP2017004196A (ja) * 2015-06-09 2017-01-05 三菱電機エンジニアリング株式会社 忘れ物通知システム
JP2018030223A (ja) * 2016-08-26 2018-03-01 株式会社メニコン 捜し物ロボット

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022118411A1 (ja) * 2020-12-02 2022-06-09 マクセル株式会社 携帯端末装置、物品管理システムおよび物品管理方法
KR102376209B1 (ko) * 2021-06-16 2022-03-21 주식회사 엘젠아이씨티 Ai 아바타를 이용한 유실물 신고 및 안내 시스템
KR102429540B1 (ko) * 2021-06-16 2022-08-05 주식회사 엘젠 Ai 아바타를 이용한 유실물 신고 및 안내 시스템
WO2023195264A1 (ja) * 2022-04-07 2023-10-12 株式会社Nttドコモ ユーザ状態判断装置
JP7371843B1 (ja) 2023-01-31 2023-10-31 株式会社ティファナ ドットコム 遺失物管理システム、及びプログラム

Also Published As

Publication number Publication date
JP6560405B1 (ja) 2019-08-14

Similar Documents

Publication Publication Date Title
JP6560405B1 (ja) 遺失物情報音声回答システム、方法及びプログラム
US6392548B2 (en) Location alarm
CN101454639B (zh) 用于在移动装置上显示地点特定图像的系统和方法
CN102132589A (zh) 用于显示所监视位置的用户定义名称
CN103221948A (zh) 用于基于情境感知来执行设备动作的方法和装置
JP2019159560A (ja) 持ち忘れ防止支援方法、端末装置および持ち忘れ防止支援システム
JP4290722B2 (ja) 情報管理サーバ、携帯端末間通信装置、携帯端末及び情報提供方法
JP2006285855A (ja) 検索サーバ
CN104426933A (zh) 一种筛选增强现实内容的方法、装置及系统
JP2006172223A (ja) マッチングシステム、方法、コンピュータで実現するプログラム、gps機能付き携帯通信端末及び情報サーバ
JP5798983B2 (ja) 場所評価システム、装置、方法及びプログラム
US10970774B1 (en) Systems and methods for locating items
JP2013038721A (ja) 位置情報履歴照合システム
JP2007110341A (ja) 携帯端末装置、移動先情報提供サーバ装置、滞在場所情報収集プログラム、移動先情報表示プログラム、移動先情報提供プログラム及び移動先情報提供システム
JP2019040420A (ja) 移動支援装置、移動支援システム、移動支援方法及び移動支援プログラム
JP6389301B1 (ja) 判定装置、判定方法及び判定プログラム
JP2008109442A (ja) 紛失物検索システム
JP5934966B2 (ja) 位置情報履歴比較方法
JP2018092539A (ja) 買い物支援プログラム、アラート制御プログラム、装置、及び方法
JP2013031080A5 (ja)
JP2019211902A (ja) 捜索システム
JP2013069028A (ja) 携行品における探し物の所在位置確認システム
Uzun et al. Exploiting location semantics for realizing cross-referencing proactive location-based services
JP2020057148A (ja) サーバ装置及び発見時通報システム
WO2016031131A1 (ja) 情報提供システム、通信端末、情報提供プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180720

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180720

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20180709

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190425

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20190425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190513

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190531

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20190604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190718

R150 Certificate of patent or registration of utility model

Ref document number: 6560405

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees