JP2015075962A - 自動取引装置、その処理方法、及びその処理プログラム - Google Patents

自動取引装置、その処理方法、及びその処理プログラム Download PDF

Info

Publication number
JP2015075962A
JP2015075962A JP2013212286A JP2013212286A JP2015075962A JP 2015075962 A JP2015075962 A JP 2015075962A JP 2013212286 A JP2013212286 A JP 2013212286A JP 2013212286 A JP2013212286 A JP 2013212286A JP 2015075962 A JP2015075962 A JP 2015075962A
Authority
JP
Japan
Prior art keywords
customer
automatic transaction
unit
analysis
notification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013212286A
Other languages
English (en)
Other versions
JP6557446B2 (ja
Inventor
裕一朗 木山
Yuichiro Kiyama
裕一朗 木山
克 加文字
Masaru Kamonji
克 加文字
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Frontech Ltd
Original Assignee
Fujitsu Frontech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Frontech Ltd filed Critical Fujitsu Frontech Ltd
Priority to JP2013212286A priority Critical patent/JP6557446B2/ja
Publication of JP2015075962A publication Critical patent/JP2015075962A/ja
Application granted granted Critical
Publication of JP6557446B2 publication Critical patent/JP6557446B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

【課題】自動取引装置の操作がわからずに戸惑っている顧客を店舗係員が確実に支援することができるようにする。
【解決手段】自動取引装置100に、顧客の顔を撮像して顔画像を得る撮像部106と、該撮像部により得られた顔画像から顧客の脈拍を検出して分析を行う分析部113と、該分析部の分析結果に応じて店舗係員が所持する携帯端末300に通知を行う通知部112を設ける。
【選択図】図2

Description

本発明は、金融機関等の店舗に設置され、顧客との取引を自動で行う現金自動預金支払機等の自動取引装置、その処理方法、及びその処理プログラムに関する。
従来、金融機関等の店舗に設置される現金自動預金支払機(ATM:Automated Teller Machine)等の自動取引装置においては、様々な機能を搭載したものがある。例えば、ホストコンピュータ等の他の装置との連携により、ユーザがATMを利用して振込みのための操作を行う際に所謂振り込め詐欺等の異常取引を検出する機能を搭載したもの(特許文献1等参照)や、健康管理サービスを行う機能を搭載したもの(特許文献2等参照)等がある。
一方、ATM等の自動取引装置が設置されている金融機関等の店舗では、例えばATMの操作方法等に関する顧客からの問い合わせに対して迅速に対応できるように、専用の店舗係員が顧客側フロアーに配置されている。但し、この店舗係員は、顧客からの問い合わせを受けた場合のみに限らず、例えばATMの操作がわからずに戸惑っている顧客を見つけた場合には自ら顧客に声を掛けて積極的に顧客を支援(サポート)するようにしている。
特開2009−157592号公報 特開2003−323660号公報
しかしながら、店舗係員が、上述のようにATMの操作がわからずに戸惑っている顧客を自ら積極的に支援する場合には、まず、店舗係員の視覚によって顧客が知覚され、且つ、店舗係員の過去の経験から、その顧客に支援が必要であるか否かを判断しなければならない。すなわち、そのような場合には、店舗係員の視覚と経験に頼らざるを得ない。そのため、例えば、ATM操作に戸惑っている顧客が店舗係員の視覚に入らない場合や、店舗係員からみてATM操作に戸惑っているように見えない顧客が実際には戸惑っている場合等、本当に支援を必要としている顧客が見落とされる虞があった。
本発明は、上記実情に鑑み、自動取引装置の操作がわからずに戸惑っている顧客を店舗係員が確実に支援することができるようにする自動取引装置、その処理方法、及びその処理プログラムを提供することを目的とする。
装置の一観点によれば、自動取引装置であって、顧客の顔を撮像して顔画像を得る撮像部と、前記撮像部により得られた顔画像から前記顧客の脈拍を検出して分析を行う分析部と、前記分析部の分析結果に応じて通知を行う通知部と、を備える。
方法の一観点によれば、自動取引装置の処理方法であって、顧客の顔を撮像して顔画像を取得し、前記顔画像から前記顧客の脈拍を検出して分析を行い、前記分析の結果に応じて通知を行う、処理をコンピュータが実行する。
プログラムの一観点によれば、自動取引装置の処理プログラムであって、顧客の顔を撮像して顔画像を取得し、前記顔画像から前記顧客の脈拍を検出して分析を行い、前記分析の結果に応じて通知を行う、処理をコンピュータに実行させる。
開示の装置、方法、及びプログラムは、自動取引装置の操作がわからずに戸惑っている顧客を店舗係員が確実に支援することができるようになる、という効果を奏する。
一実施の形態に係る自動取引装置(ATM)の正面図である。 一実施の形態に係る自動取引装置(ATM)の一部透視図を含む右側面図である。 一実施の形態に係る自動取引装置(ATM)のシステム構成例を示す図である。 一実施の形態に係る自動取引装置(ATM)の制御部が行う処理の一部の一例を示すフローチャートである。 携帯型情報端末装置の表示画面例を示す図である。
以下、図面を参照しながら一実施の形態に係る自動取引装置を説明する。
本実施形態では、一例として、自動取引装置をATM(Automated Teller Machine)とし、自動取引装置が設置される店舗を銀行の店舗として説明する。但し、自動取引装置及びそれが設置される店舗は、これらに限定されるものではない。
図1Aは、本実施形態に係る自動取引装置であるATMの正面図であり、図1Bは、その一部透視図を含む右側面図である。
図1Aに示すように、ATM100は、正面に、スピーカ101、通帳読取部102、カード読取部103、硬貨入出金部104、紙幣入出金部105、カメラ106、表示操作部107、人体センサ108等を備えている。
スピーカ101は、各種の音声メッセージを出力する。
通帳読取部102は、通帳を受け付け、例えば通帳の側面に添付されている磁気ストライプ部等に記憶されているデータを読み込み、通帳記入など一定の処理を行った後に通帳を返却する。カード読取部103は、キャッシュカードを受け付け、キャッシュカード内に記憶されているデータを読み込むなど一定の処理を行った後にキャッシュカードを返却する。
硬貨入出金部104は、硬貨の受け付け及び払い出しを行う。紙幣入出金部105は、紙幣の受け付け及び紙幣の払い出しを行う。
カメラ106は、例えば顔認識機能を備えており、ATM100を利用する顧客の顔を撮像して顧客の顔画像を得る。なお、カメラ106は、顧客が顔を下方に向けてATM操作(表示操作部107の操作)を行うことを想定して、図1Bに示すように、下方に向けられた顧客の顔に対向するような向きで設けられる。
表示操作部107は、例えばタッチパネル機能を備えた表示部であって、取引内容メニュー、取引結果の案内、各種メッセージ等を表示したり、処理要求などを受け付けたりする。
人体センサ108は、ATM100の正面の顧客の存在を検出する。
図2は、ATM100のシステム構成例を示す図である。
図2に示すように、ATM100は、上述のスピーカ101、通帳読取部102、カード読取部103、硬貨入出金部104、紙幣入出金部105、カメラ106、表示操作部107、人体センサ108の他、制御部109、入出金部110、記憶部111、通信部112を含む。
制御部109は、ATM100の全体動作を制御する。また、制御部109は、脈拍分析部113を含む。脈拍分析部113は、カメラ106により得られた顧客の顔画像から顧客の脈拍を検出して分析を行う。例えば、脈拍分析部113は、顧客の脈拍数(心拍数)を計測して、顧客の脈拍数が急激に上昇したか否か、顧客の脈拍数とその顧客の過去の平均脈拍数との差が所定値を超えたか否か、又は、顧客の脈拍数がその顧客の過去の脈拍数を越えたか否か等を分析する。なお、このような分析は、例えば、ATM操作に支援が必要な顧客を検出するために行われる。これは、ATM操作がわからずに戸惑っている顧客は、ストレスが高まって緊張状態に移行し、通常時よりも脈拍数が上昇すると考えられることから、脈拍数の上昇を検出することにより、ATM操作に支援が必要な顧客を検出することができるという考え方によるものである。
なお、脈拍分析部113は、脈拍の検出を、例えば、次のようにして行うことができる。まず、カメラ106により得られた顧客の顔画像(動画像)から、取得フレームごとに顔領域の色成分(赤色、緑色、青色)それぞれの平均値を求める。その後、その3つの色成分に共通するノイズを除去し、緑成分から輝度波形を抽出する。そして、その輝度波形のピーク値から脈拍を検出する。このような方法は、血液中に含まれるヘモグロビンが緑色の光を吸収する特性に着目し、血流から生じると考えられる顔表面の輝度変化を捉えて脈拍を検出するという考え方によるものである。
入出金部110は、上述の硬貨入出金部104及び紙幣入出金部105を含み、硬貨入出金部104に硬貨の受け付け及び払い出しを行わせ、紙幣入出金部105に紙幣の受け付け及び紙幣の払い出しを行わせる。
記憶部111は、各顧客の過去の脈拍数や平均脈拍数等のデータを記憶する。これらのデータは、例えば、脈拍分析部113により顧客の脈拍数が計測されると、その計測データを基に更新される。なお、記憶部111に記憶される各顧客のデータは、例えば顧客の通帳番号やキャッシュカード番号等の顧客の識別情報と対応付けされている。従って、記憶部111において、顧客の識別情報を基に、対応する顧客のデータの抽出や更新等が可能である。
通信部112は、ネットワーク200を介して、サポート行員(操作支援者の一例)の携帯型情報端末装置(以下単に「携帯端末」という)300や図示しないホストコンピュータ等の外部装置と通信を行う。なお、ネットワーク200は、例えばLAN(Local Area Network)、WAN(Wide Area Network)、インターネット等のネットワーク、或いは、それらが混在するネットワークである。また、サポート行員は、ATM100が設置される銀行店舗の顧客側フロアーに配置される、顧客のATM操作を支援する等の役割を担う行員である。また、携帯端末300は、例えば携帯電話機、PHS(Personal Handyphone System)、PDA(Personal Data Assistant)、スマートフォン(登録商標)、タブレット端末等である。
なお、このような構成のATM100において、カメラ106は、顧客の顔を撮像して顔画像を得る撮像部の一例である。脈拍分析部113は、撮像部により得られた顔画像から顧客の脈拍を検出して分析を行う分析部の一例である。スピーカ101、表示操作部107、通信部112は、分析部の分析結果に応じて通知を行う通知部の一例である。
また、このような構成のATM100において、脈拍分析部113を含む制御部109は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)を含む構成としてもよい。この場合、CPUは、ROMに格納されているプログラムを、RAMを介して読み出し実行することによって、上述のATM100の全体動作を制御する。ここで、ROMに格納されているプログラムは、記憶部111に格納されてもよい。また、CPUによって実行されるプログラムは、ネットワーク200及び通信部112を介して、外部装置からRAMに格納されて、CPUによって実行されてもよい。あるいは、脈拍分析部113を含む制御部109は、例えば、FPGA(Field Programmable Gate Array)やDSP(Digital Signal Processor)等のモジュールを含む構成としてもよい。この場合、制御部109は、不揮発性メモリ(例えば、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ、フラッシュメモリ型メモリカード等)を含み、それにモジュールのファームウェアが記憶される。ここで、不揮発性メモリに記憶されるファームウェアは、通信部112を介して書き込まれるようにしてもよい。
図3は、ATM100の制御部109が行う処理の一部の一例を示すフローチャートである。図4は、携帯端末300の表示画面例を示す図である。
図3に示すように、制御部109は、まず、顧客の存在が人体センサ108により検出されると(S101)、カメラ106を起動し(S102)、カメラ106による所定のフレームレート(例えば30フレーム/秒)での撮像を開始する(S103)。
また、図示はしないが、取引を行う顧客により通帳読取部102又はカード読取部103に通帳又はキャッシュカードが挿入され、制御部109は、通帳読取部102又はカード読取部103により、通帳やキャッシュカードの番号の読み取り等を行う。
続いて、制御部109の脈拍分析部113は、カメラ106により顧客の顔が認識され顧客の顔画像の取得が開始されると、所定のフレームレートで得られる顧客の顔画像から、その顧客の脈拍の検出を開始すると共にその顧客の脈拍数の計測を開始する(S104)。そして、脈拍分析部113は、計測した脈拍数から、その顧客の脈拍数が急激に上昇したか否か、又は、計測した脈拍数とその顧客の過去の平均脈拍数との差が所定値を超えたか否かを判定する(S105)。なお、その顧客の過去の平均脈拍数は、その顧客の識別情報(顧客の通帳やキャッシュカードの番号)を基に、記憶部111から読み出されたものである。
S105の判定結果がNoの場合、顧客は緊張状態になく操作支援が不要であるとして、S104へ処理が戻る。なお、図示はしないが、S104およびS105の判定結果がNoを繰り返している間に、例えば顧客の取引が終了した場合には、図3に示した処理を終了する。
一方、S105の判定結果がYesの場合、顧客は緊張状態にあり操作支援が必要であるとして、制御部109は、通信部112により、サポート行員の携帯端末300宛に、ATM100の正面に存在する顧客がATM操作に支援が必要な顧客であることをサポート行員に知らせるための通知を行う(S106)。なお、この通知は、何れのATM100の正面に存在する顧客に支援が必要であるかをサポート行員が特定できるように、当該通知を行ったATM100に一意に付されたATM識別番号を含む。
そして、この通知を受取った携帯端末300は、例えば図4に示したように、その通知内容を表示画面に表示する。図4に示した表示画面例では、装置番号(ATM識別番号)が「A001」のATM100の正面に存在する顧客に対してATM操作の支援が必要であることや、その顧客の計測された心拍数(脈拍数)が「180bpm(beats per minute)」であることが通知される。
なお、図3に示した処理中に計測された脈拍数は、例えば本処理が終了した時点で、記憶部111に記憶されている、対応する顧客のデータに反映される。
以上、本実施形態によれば、ATM100の正面に存在する顧客が、ATM操作がわからずに戸惑っている場合には、その旨がサポート行員の携帯端末300に通知されるようになるので、サポート行員は、自らの視覚や経験に頼らずとも、そのような顧客を確実に支援することができるようになる。
また、ATM100は、例えば、既存のカメラを含むATMに対し、図3に示した処理を実行する等のプログラムを追加するだけで実現することもできるので、新たなハードウェア構成を追加することなく、既存のATMをそのまま利用してATM100を実現することができる。
なお、本実施形態においては、種々の変形が可能である。
例えば、図3に示したS105の判定を次のようにしてもよい。すなわち、脈拍分析部113は、計測した脈拍数から、その顧客の脈拍数が急激に上昇したか否か、計測した脈拍数とその顧客の過去の平均脈拍数との差が所定値を超えたか否か、又は、計測した脈拍数がその顧客の過去の脈拍数を越えたか否かを判定するようにしてもよい。なお、この場合の、その顧客の過去の脈拍数は、その顧客の識別情報を基に、記憶部111から読み出されたものである。
また、例えば、図3に示したS105の判定がYesの場合に、S106に加えて、更に、顧客に対して、表示及び又は音声により、顧客をリラックスさせるためのメッセージ等を通知するようにしてもよい。この場合、表示及び又は音声によるメッセージの通知は、表示操作部107及び又はスピーカ101により行われる。また、表示によりメッセージの通知を行う場合に、計測された脈拍数を併せて表示するようにしてもよい。
以上、実施形態を説明したが、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
100 ATM
101 スピーカ
102 通帳読取部
103 カード読取部
104 硬貨入出金部
105 紙幣入出金部
106 カメラ
107 表示操作部
108 人体センサ
109 制御部
110 入出金部
111 記憶部
112 通信部
113 脈拍分析部
200 ネットワーク
300 携帯型情報端末装置

Claims (6)

  1. 自動取引装置であって、
    顧客の顔を撮像して顔画像を得る撮像部と、
    前記撮像部により得られた顔画像から前記顧客の脈拍を検出して分析を行う分析部と、
    前記分析部の分析結果に応じて通知を行う通知部と、
    を備えることを特徴とする自動取引装置。
  2. 前記通知部は、前記分析部の分析結果が、前記顧客の脈拍数が急激に上昇したとの分析結果である場合、前記顧客の脈拍数と前記顧客の過去の平均脈拍数との差が所定値を超えたとの分析結果である場合、又は、前記顧客の脈拍数が前記顧客の過去の脈拍数を越えたとの分析結果である場合に、外部装置に通知を行う、
    ことを特徴とする請求項1記載の自動取引装置。
  3. 前記外部装置は、当該自動取引装置の操作を支援する操作支援者の携帯型情報端末装置であり、
    前記通知は、前記顧客が当該自動取引装置の操作に支援が必要な顧客であることを前記操作支援者に知らせるための通知である、
    ことを特徴とする請求項2記載の自動取引装置。
  4. 前記通知部が前記外部装置に通知を行う場合、
    前記通知部は、更に、前記顧客に対して表示及び又は音声によりメッセージを通知する、
    ことを特徴とする請求項2又は3記載の自動取引装置。
  5. 自動取引装置の処理方法であって、
    顧客の顔を撮像して顔画像を取得し、
    前記顔画像から前記顧客の脈拍を検出して分析を行い、
    前記分析の結果に応じて通知を行う、
    処理をコンピュータが実行する、
    ことを特徴とする処理方法。
  6. 自動取引装置の処理プログラムであって、
    顧客の顔を撮像して顔画像を取得し、
    前記顔画像から前記顧客の脈拍を検出して分析を行い、
    前記分析の結果に応じて通知を行う、
    処理をコンピュータに実行させる、
    ことを特徴とする処理プログラム。
JP2013212286A 2013-10-09 2013-10-09 自動取引装置、その処理方法、及びその処理プログラム Active JP6557446B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013212286A JP6557446B2 (ja) 2013-10-09 2013-10-09 自動取引装置、その処理方法、及びその処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013212286A JP6557446B2 (ja) 2013-10-09 2013-10-09 自動取引装置、その処理方法、及びその処理プログラム

Publications (2)

Publication Number Publication Date
JP2015075962A true JP2015075962A (ja) 2015-04-20
JP6557446B2 JP6557446B2 (ja) 2019-08-07

Family

ID=53000758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013212286A Active JP6557446B2 (ja) 2013-10-09 2013-10-09 自動取引装置、その処理方法、及びその処理プログラム

Country Status (1)

Country Link
JP (1) JP6557446B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092685A (ja) * 2018-03-23 2018-06-14 東芝テック株式会社 決済装置及びその制御プログラム
JP2020154544A (ja) * 2019-03-19 2020-09-24 日本電気株式会社 顧客情報処理装置、通信装置、顧客情報処理方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006167425A (ja) * 2004-11-19 2006-06-29 Nara Institute Of Science & Technology 車両用心的資源評価装置及びその利用
JP2006323619A (ja) * 2005-05-19 2006-11-30 Hitachi Omron Terminal Solutions Corp 振込システム
JP2007241796A (ja) * 2006-03-10 2007-09-20 Hitachi Omron Terminal Solutions Corp 自動取引システム
JP2009157592A (ja) * 2007-12-26 2009-07-16 Canon It Solutions Inc 異常取引検出装置
JP2010097240A (ja) * 2008-10-14 2010-04-30 Tomohiro Uemae 対話型絵本原稿作成支援機器と、その制御方法、及びそのためのプログラム
JP2011130996A (ja) * 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006167425A (ja) * 2004-11-19 2006-06-29 Nara Institute Of Science & Technology 車両用心的資源評価装置及びその利用
JP2006323619A (ja) * 2005-05-19 2006-11-30 Hitachi Omron Terminal Solutions Corp 振込システム
JP2007241796A (ja) * 2006-03-10 2007-09-20 Hitachi Omron Terminal Solutions Corp 自動取引システム
JP2009157592A (ja) * 2007-12-26 2009-07-16 Canon It Solutions Inc 異常取引検出装置
JP2010097240A (ja) * 2008-10-14 2010-04-30 Tomohiro Uemae 対話型絵本原稿作成支援機器と、その制御方法、及びそのためのプログラム
JP2011130996A (ja) * 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092685A (ja) * 2018-03-23 2018-06-14 東芝テック株式会社 決済装置及びその制御プログラム
JP2020154544A (ja) * 2019-03-19 2020-09-24 日本電気株式会社 顧客情報処理装置、通信装置、顧客情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP6557446B2 (ja) 2019-08-07

Similar Documents

Publication Publication Date Title
US8511542B2 (en) Automated teller machine and voice prompt method thereof
US9997029B2 (en) Dual sensor controllers for automated teller machines
RU2680747C1 (ru) Устройство наблюдения за терминалом, банкомат, способ принятия решения и программа
US11501301B2 (en) Transaction terminal fraud processing
JP6348887B2 (ja) 販売データ処理装置およびプログラム
TW200803471A (en) Camera device and monitoring system
JP6557446B2 (ja) 自動取引装置、その処理方法、及びその処理プログラム
JP6003752B2 (ja) 防犯装置、防犯方法及び防犯プログラム
JP2012027641A (ja) 表示画像制御ユニット、表示画像制御プログラム、および自動取引処理装置
JP6652118B2 (ja) 現金自動預払機、端末装置、および媒体読取方法
JP6130259B2 (ja) 現金自動取引装置
JP2011118716A (ja) 自動取引装置
JP2019179401A (ja) 取引操作端末、監視システム及びプログラム
JP2010250745A (ja) 現金自動取引システム、現金自動取引方法、および現金自動取引装置
JP5228696B2 (ja) 自動取引装置
TWI735855B (zh) 動向指引系統及其方法
KR101281846B1 (ko) 스마트 프론트 시스템
JP4403866B2 (ja) 自動取引装置
JP2005242869A (ja) 現金自動取引システム及び現金自動取引装置
JP2010026637A (ja) 自動取引装置
JP5317735B2 (ja) 取引監視装置
JP5561395B2 (ja) 振り込め詐欺防止機能付自動取引装置
JP7369065B2 (ja) 精算システム
JP5317736B2 (ja) 取引監視装置
JP2010015406A (ja) 振り込め詐欺防止機能付自動取引装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170829

AA91 Notification that invitation to amend document was cancelled

Free format text: JAPANESE INTERMEDIATE CODE: A971091

Effective date: 20170829

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20170922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20180228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180911

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180919

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20181116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190712

R150 Certificate of patent or registration of utility model

Ref document number: 6557446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150