JP2016178596A - 電話機、電話システム、電話機の音量設定方法、及びプログラム - Google Patents

電話機、電話システム、電話機の音量設定方法、及びプログラム Download PDF

Info

Publication number
JP2016178596A
JP2016178596A JP2015059224A JP2015059224A JP2016178596A JP 2016178596 A JP2016178596 A JP 2016178596A JP 2015059224 A JP2015059224 A JP 2015059224A JP 2015059224 A JP2015059224 A JP 2015059224A JP 2016178596 A JP2016178596 A JP 2016178596A
Authority
JP
Japan
Prior art keywords
volume
user
age group
telephone
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015059224A
Other languages
English (en)
Other versions
JP6596865B2 (ja
Inventor
達朗 細川
Tatsuro Hosokawa
達朗 細川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2015059224A priority Critical patent/JP6596865B2/ja
Priority to PCT/JP2016/001563 priority patent/WO2016152121A1/ja
Publication of JP2016178596A publication Critical patent/JP2016178596A/ja
Application granted granted Critical
Publication of JP6596865B2 publication Critical patent/JP6596865B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers

Abstract

【課題】利用者及び設置環境が不特定である場合にも、利用者に最適な音量を提供することが可能な電話機、電話システム、電話機の音量設定方法、及びプログラムを提供する。【解決手段】学習結果記憶部2は、予め定められた年齢層ごとの顔画像の特徴情報についての学習結果データを記憶する。画像取得部3は、利用者の顔画像を取得する。推定部4は、画像取得部3により取得された顔画像の特徴情報を、学習結果記憶部2が記憶する特徴情報と比較して、利用者の年齢層を推定する。音量設定部5は、使用する音量について、推定部4により推定された年齢層に対応する、設置環境に応じた音量に設定する。【選択図】図1

Description

本発明は電話機、電話システム、電話機の音量設定方法、及びプログラムに関し、特に自動的に音量が設定される電話機、電話システム、電話機の音量設定方法、及びプログラムに関する。
ATM(現金自動預け払い機:Automated Teller Machine)、エレベータ、家庭などに設置される電話や公衆電話などのように、不特定の複数の利用者に使用される電話がある。利用者ごと及び設置環境ごとに最適な音量は異なるため、このような電話において音量を一律に設定すると、利用者にとって聞きづらい音量となり利便性が損なわれる。
これに対し、特許文献1では、カメラによりユーザを一意的に識別する顔の特徴を取得し、取得対象のユーザが登録されたユーザであるか否かに応じて、ボリューム調整などを行うことが開示されている。
また、特許文献2では、カメラにより撮像されたユーザの顔の画像から、当該ユーザの状態を認識し、認識した状態に応じて音量を変更する携帯電話端末が開示されている。また、特許文献2では、さらに、特定の繰り返し表現が受話音声中に含まれる場合、音量を変更することにより、背景雑音による聞き取りづらさへの対応を行うことが開示されている。
特表2009−516473号公報 特開2014−64093号公報
特許文献1に記載された技術では、個人を識別する必要があるため、予め想定された利用者以外の利用者による利用の場合は適切な音量の設定ができない。また、特許文献1に記載された技術では、通話環境によっては、音量が不適切となる恐れがある。特許文献2に記載された技術では、特定の繰り返し表現の有無により音量を変更しているため、例えば、通話環境が騒がしい場合であっても、通話が開始される前の音量の調整は困難であり、また、特定の繰り返し表現が会話中に使われない限り音量は調整されない。
本発明は、このような課題を解決するためになされたものであり、利用者及び設置環境が不特定である場合にも、利用者に最適な音量を提供することが可能な電話機、電話システム、電話機の音量設定方法、及びプログラムを提供することにある。
本発明にかかる電話機は、予め定められた年齢層ごとの顔画像の特徴情報についての学習結果データを記憶する学習結果記憶手段と、利用者の顔画像を取得する画像取得手段と、前記画像取得手段により取得された顔画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記利用者の年齢層を推定する推定手段と、使用する音量について、前記推定手段により推定された年齢層に対応する、設置環境に応じた音量に設定する音量設定手段とを有する。
また、本発明にかかる電話システムは、予め定められた年齢層ごとの顔画像の特徴情報についての学習結果データを記憶する学習結果記憶手段と、利用者の顔画像を取得する画像取得手段と、前記画像取得手段により取得された顔画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記利用者の年齢層を推定する推定手段と、使用する音量について、前記推定手段により推定された年齢層に対応する、電話機の設置環境に応じた音量に設定する音量設定手段とを有する。
また、本発明にかかる電話機の音量設定方法は、利用者の顔画像を取得する画像取得ステップと、取得された顔画像の特徴情報を、予め定められた年齢層ごとの顔画像の特徴情報についての学習結果データと比較して、前記利用者の年齢層を推定する推定ステップと、使用する音量について、推定された年齢層に対応する、電話機の設置環境に応じた音量に設定する音量設定ステップとを含む。
また、本発明にかかるプログラムは、利用者の顔画像を取得する画像取得ステップと、取得された顔画像の特徴情報を、予め定められた年齢層ごとの顔画像の特徴情報についての学習結果データと比較して、前記利用者の年齢層を推定する推定ステップと、使用する音量について、推定された年齢層に対応する、電話機の設置環境に応じた音量に設定する音量設定ステップとをコンピュータに実行させる。
本発明によれば、利用者及び設置環境が不特定である場合にも、利用者に最適な音量を提供することが可能な電話機、電話システム、電話機の音量設定方法、及びプログラムを提供できる。
実施の形態にかかる電話機の概要を示す図である。 実施の形態1にかかる電話機の外観を示す斜視図である。 実施の形態1にかかる電話機のハードウェア構成を示す図である。 実施の形態1にかかる電話機の機能ブロック図である。 実施の形態1にかかる電話機における音量の設定に関する動作の一例を示すフローチャートである。 実施の形態3にかかる電話機の機能ブロック図である。 実施の形態3にかかる電話機における音量の設定に関する動作の一例を示すフローチャートである。 実施の形態4にかかる電話機の機能ブロック図である。 実施の形態4にかかる電話機における音量の設定に関する動作の一例を示すフローチャートである。
(本発明にかかる実施の形態の概要)
実施の形態の説明に先立って、本発明にかかる実施の形態の概要を説明する。図1は、本発明の実施の形態にかかる電話機1の概要を示す図である。電話機1は、学習結果記憶部2と、画像取得部3と、推定部4と、音量設定部5とを有する。
学習結果記憶部2は、予め定められた年齢層ごとの顔画像の特徴情報についての学習結果データを記憶する。画像取得部3は、電話機1の利用者の顔画像を取得する。推定部4は、画像取得部3により取得された顔画像の特徴情報を、学習結果記憶部2が記憶する特徴情報と比較して、電話機1の利用者の年齢層を推定する。音量設定部5は、電話機1で使用する音量について、推定部4により推定された年齢層に対応する、電話機1の設置環境に応じた音量に設定する。
このような電話機1によれば、利用者の年齢層に応じた音量であって、かつ、電話機1の設置環境に応じた音量が設定される。このため、利用者及び設置環境が不特定である場合にも、利用者に最適な音量を提供することができる。
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。
図2は、実施の形態1にかかる電話機100の外観を示す斜視図である。また、図3は、実施の形態1にかかる電話機100のハードウェア構成を示す図である。電話機100は、図示しない通信回線網を介して、任意の通信方式により他の電話機との間で通話を行うための装置である。また、電話機100は、非可搬型の電話機であり、特定の場所に設置されて用いられる。電話機100は、例えば、卓上電話機、公衆電話機などである。また、電話機100は、ATM、エレベータなどの他の機器又は装置に設置された電話機であってもよい。このように、電話機100の利用者としては、不特定の複数の利用者が想定される。
図2に示されるように、電話機100は、カメラ101と、マイク102と、入力部103と、表示部104と、送受話器105と、送受話器検知部106と、スピーカ107とを有している。また、電話機100は、コンピュータとしての機能を備えており、例えばCPU(Central Processing Unit)等の制御部108と、例えばメモリ又はハードディスク等の記憶部109とを有する(図3参照)。
カメラ101は、レンズ、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を備えるデジタルカメラである。本実施の形態では、カメラ101は、電話機100に内蔵されているが、電話機100に外付けされていてもよい。カメラ101は、例えば電話機100の利用者の顔を含む身体を撮像範囲とするよう設けられている。具体的には、カメラ101は、利用者が電話機100を利用する際に想定される顔を含む身体の位置を撮像範囲とするよう設けられている。
マイク102は、電話機100の設置環境の周囲の音を音声信号に変換する。
入力部103は、利用者が操作するための入力インタフェースであり、例えば、ダイヤルキー、音量設定ボタンなどを含むボタンである。なお、入力部103は、必ずしもボタンにより構成されていなくてもよく、タッチパネルなどにより構成されてもよい。
表示部104は、例えば液晶ディスプレイであり、着信情報や、音量情報などの各種情報を表示する。なお、例えば、入力部103がタッチパネルで構成されている場合、入力部103が表示部104の機能を兼ね備えてもよい。
送受話器105は、通話相手の音声信号を音として出力するスピーカと、電話機100の利用者の発した音声を音声信号に変換するマイクを備えている。
送受話器検知部106は、送受話器105が持ち上げられたことを検知する。すなわち、送受話器検知部106は、オンフック状態からオフフック状態への遷移を検知する。例えば、送受話器検知部106は、送受話器105がオンフック状態で押下されるスイッチを有し、スイッチが押下された状態から押下されていない状態へと変更した際に、送受話器105が持ち上げられたものとして検知する。
スピーカ107は、着信音、音声ガイダンスなどの各種音声信号を音として出力する。なお、スピーカ107は、送受話器105における音声出力に代えて、又は送受話器105における音声出力とともに、通話相手の音声を出力してもよい。
図4は、実施の形態1にかかる電話機100の機能ブロック図である。電話機100は、学習結果記憶部10と、年齢層別音量記憶部11と、画像取得部12と、推定部13と、音量計測部14と、音量設定部15とを有する。
なお、画像取得部12、推定部13、音量計測部14、及び音量設定部15は、例えば、制御部108の制御によって、プログラムを実行させることによって実現できる。より具体的には、記憶部109に格納されたプログラムを、制御部108の制御によって実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、学習結果記憶部10及び年齢層別音量記憶部11は、例えば、記憶部109により実現される。
学習結果記憶部10は、予め定められた年齢層ごとの顔画像の特徴情報についての学習結果データを記憶する。予め定められた年齢層は、例えば、10代、20代、30代、40代、50代、60台、70代、80代、90代などである。なお、年齢層は、さらに細かく設定されていてもよいし、より大まかに設定されていてもよい。また、20歳以下、20歳から50歳、50歳以上などのように、各年齢層の年齢幅が異なってもよい。また、各年齢層の年齢幅が、1歳であってもよい。特徴情報は、例えば、顔のしわについての情報や、目・鼻・口などの顔の構成要素の相対位置についての情報など、顔の任意の特徴についての情報である。
学習結果データは、例えば、機械学習により学習された、予め定められた年齢層ごとの顔画像の特徴情報を示すデータである。学習結果記憶部10は、例えば、年齢層が既知である複数の人物についての顔画像データを教師データとして機械学習することにより得られた特徴情報を示すデータを、当該年齢層の顔画像の特徴情報についての学習結果データとして記憶している。なお、教師データの数は、年齢推定において必要とされる推定精度に応じて決定される。例えば、推定精度が高いほど、学習結果データを得るために機械学習の際に用いられる顔画像データは多くなる。
年齢層別音量記憶部11は、年齢層と音量との対応関係について示す情報を記憶する。本実施の形態では、年齢層別音量記憶部11は、具体的には、年齢層ごとに、電話機100の設置環境の音量に加算すべき音量(以下、加算音量という。)を示す情報を記憶する。一般的に、年齢が高齢になるにしたがって聴力が失われることから、年齢層別音量記憶部11は、第1の年齢層に対し第1の加算音量を対応させ、第1の年齢層よりも高齢の第2の年齢層に対し第1の加算音量よりも大きい第2の加算音量を対応させた情報を記憶する。なお、年齢層別音量記憶部11における各年齢層は、学習結果記憶部10が記憶する学習結果データの年齢層に対応する。
画像取得部12は、カメラ101により撮像された利用者の顔画像を取得する。顔画像は、利用者の顔部分を含む画像である。画像取得部12は、取得した顔画像を推定部13に出力する。なお、例えば、画像取得部12は、カメラ101から出力される画像のうち、利用者の顔部分を含む画像を公知の顔認識処理を用いて抽出し、利用者の顔部分を含む領域を切り出した部分画像を推定部13に出力する。
推定部13は、画像取得部12により取得された顔画像から、電話機100の利用者の年齢層を推定する。具体的には、推定部13は、画像取得部12により取得された顔画像の特徴情報を、学習結果記憶部10が記憶する特徴情報と比較して、利用者の年齢層を推定する。例えば、推定部13は、画像取得部12により取得された顔画像の特徴情報が、学習結果記憶部10が記憶する年齢層ごとの特徴情報のうちいずれに最も近いかを判定し、最も近いと判定された特徴情報に対応付けられている年齢層を利用者の年齢層と推定する。
推定部13は、推定した年齢層を音量設定部15に通知する。
音量計測部14は、電話機100の設置環境の音量を計測する。具体的には、マイク102により集音された設置環境の周囲の音の音声信号を受信し、この音声信号の音圧値を計測する。音量計測部14は、計測した設置環境の音量を音量設定部15に出力する。
音量設定部15は、電話機100で使用する音量について、音量計測部14により計測された音量に対し、年齢層に応じて予め定められた音量だけ増加させた音量に設定する。具体的には、音量設定部15は、送受話器105の受話音量を、次のように設定する。すなわち、音量設定部15は、年齢層別音量記憶部11に記憶された加算音量のうち推定部13により推定された年齢層に対応する加算音量を音量計測部14により計測された音量に対し加算した音量を受話音量として設定する。
なお、音量設定部15は、受話音量に限らず、スピーカ107が出力する音量について、同様に設定してもよい。また、音量設定部15が、送受話器105の受話音量とスピーカ107が出力する音量について設定する場合、推定された年齢層に対する送受話器105の受話音量と、推定された年齢層に対するスピーカ107の音量とが異なってもよい。この場合、例えば、年齢層別音量記憶部11は、送受話器105の受話音量についての加算音量について示す情報と、スピーカ107の音量についての加算音量について示す情報をそれぞれ記憶する。
また、音量設定部15は、音量設定の際に用いる設置環境の音量として、予め定められた期間の平均音量や最大音量を用いてもよい。
次に、電話機100における音量の設定に関する動作について説明する。図5は、電話機100における音量の設定に関する動作の一例を示すフローチャートである。
ステップ10(S10)において、制御部108は、送受話器検知部106が送受話器105の持ち上げを検知したか否かを判定する。送受話器検知部106が送受話器105の持ち上げを検知するまでステップ10が繰り返され、送受話器検知部106が送受話器105の持ち上げを検知すると、処理はステップ11へ移行する。
ステップ11(S11)において、制御部108はカメラ101に撮像を開始させる。このように、本実施の形態では、カメラ101は、送受話器105の持ち上げが送受話器検知部106により検知されたことを契機に撮像を開始する。このため、消費電力を抑制することができる。
次に、ステップ12(S12)において、画像取得部12が、カメラ101により撮像された利用者の顔画像を取得する。
次に、ステップ13(S13)において、推定部13が、画像取得部12により取得された顔画像から、電話機100の利用者の年齢層を推定する。
次に、ステップ14(S14)において、音量設定部15が、電話機100で使用する音量について、設置環境の音量に基づいて、ステップ13で推定された年齢層に応じた音量を設定する。
以上、実施の形態1にかかる電話機100によれば、電話機100の設置環境の音量を基準として、推定された利用者の年齢層に応じた音量が設定される。このため、利用者及び設置環境が不特定である場合にも、利用者に最適な音量を提供することができる。
(実施の形態2)
実施の形態2の音量設定部15により設定される音量は、年齢層に応じた周波数特性を有する。つまり、本実施の形態では、出力する音の周波数帯によって音量が異なる。例えば、人は、高齢になるしたがって、高周波数帯の音の聞き取りが困難になる。このため、実施の形態2の音量設定部15は、例えば、推定部13により推定された年齢層が予め定められた高齢の年齢層である場合、予め定められた高周波数帯の音量を高齢ではない年齢層の利用者に対する音量と比べて大きくする。このように、実施の形態2の音量設定部15は、出力する音の周波数帯に関わらず常に一律の加算音量を加算するのではなく、出力する音の周波数帯に応じた加算音量を加算する。なお、本実施の形態では、年齢層別音量記憶部11は、年齢層ごとに、予め定められた周波数帯ごとの加算音量を示す情報を記憶する。
また、男性と女性では、周波数に対する音の聞き取りやすさが異なる。このため、音量設定部15により設定される音量が、年齢層及び性別に応じた周波数特性を有してもよい。この場合、推定部13は、画像取得部12により取得された顔画像の特徴情報を、学習結果記憶部10が記憶する特徴情報と比較して、利用者の年齢層に加えて性別を推定する。また、この場合、実施の形態2の学習結果記憶部10は、予め定められた年齢層及び性別ごとの顔画像の特徴情報について学習結果データを記憶する。すなわち、学習結果データは、例えば、10代男性の学習結果データ、10代女性の学習結果データ、20代男性の学習結果データ、20代女性の学習結果データなどというように、年齢層及び性別ごとのデータとなっている。学習結果記憶部10は、例えば、性別及び年齢層が既知である複数の人物についての顔画像データを教師データとして機械学習することにより得られた特徴情報を示すデータを、当該性別及び年齢層の顔画像の特徴情報についての学習結果データとして記憶している。また、年齢層別音量記憶部11は、年齢層及び性別ごとに、予め定められた周波数帯ごとの加算音量を示す情報を記憶する。
以上、実施の形態2にかかる電話機100によれば、実施の形態1にかかる電話機の上記効果に加え、利用者が聞き取りやすいように、周波数帯に応じて適切に音量を調整することができる。
(実施の形態3)
次に、実施の形態3について説明する。上述の実施の形態では、計測された設置環境の音量に基づいて電話機が出力する音量が決定された。これに対し、本実施の形態では、利用者による音量の変更指示に基づいて、電話機が出力する音量が適正化される。なお、以下の説明において、上記実施の形態と実質的に同様の構成部分については同じ符号を付し、説明を省略する。
図6は、実施の形態3にかかる電話機300の機能ブロック図である。電話機300は、学習結果記憶部10と、画像取得部12と、推定部13と、年齢層別音量記憶部20と、音量変更部21と、音量設定部22とを有する。なお、電話機300のハードウェア構成は、図3に示した電話機100のハードウェア構成と同様である。また、音量変更部21及び音量設定部22は、例えば、制御部108の制御によって、プログラムを実行させることによって実現できる。より具体的には、記憶部109に格納されたプログラムを、制御部108の制御によって実行して実現する。また、音量変更部21及び音量設定部22は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、年齢層別音量記憶部20は、例えば、記憶部109により実現される。
年齢層別音量記憶部20は、年齢層と音量との対応関係について示す情報として、年齢層に応じて予め定められた出力音量を示す情報を記憶する。例えば、年齢層別音量記憶部20は、第1の年齢層に対し第1の出力音量を対応させ、第1の年齢層よりも高齢の第2の年齢層に対し第1の出力音量よりも大きい第2の出力音量を対応させた情報を記憶する。なお、年齢層別音量記憶部20における各年齢層は、学習結果記憶部10が記憶する学習結果データの年齢層に対応する。
音量変更部21は、利用者により入力部103が操作されて入力された、音量の変更指示を受付ける。また、音量変更部21は、受け付けた変更指示に従って音量設定部22により設定された音量を変更する。利用者は、音量設定部22が設定した出力音量について変更したい場合、入力部103を操作して音量を変更するための操作を行う。具体的には、利用者は、変更後の音量を指定する操作を行う。音量変更部21は、変更後の音量を音量設定部22に通知する。
音量設定部22は、電話機300の出力音量を、年齢層に応じて予め定められた音量のうち推定部13により推定された年齢層に対応する音量に設定する。また、音量設定部22は、音量変更部21による音量の変更があった場合、変更指示に応じて、音量設定の際に用いられる、年齢層に応じて予め定められた音量を変更する。例えば、音量設定部22は、音量変更部21による音量の変更があった場合、変更指示に応じて、年齢層別音量記憶部20が記憶する年齢層ごとの出力音量を更新する。なお、本実施の形態では、音量の更新は、予め定められた更新条件を満たした場合に行われる。すなわち、更新条件が満たされて更新が行われた後は、音量設定部22は、年齢層別音量記憶部20が当初記憶していた音量ではなく、更新後の音量を用いて音量設定を実施する。
例えば、変更指示が、音量設定部15が設定した音量よりも大きな音量へと変更する指示である場合、電話機300の設置環境が騒々しいことが想定される。また、例えば、変更指示が、音量設定部15が設定した音量よりも小さな音量へと変更する指示である場合、電話機300の設置環境が静かであることが想定される。音量の更新は、予め定められた更新条件を満たした場合に行われる。例えば、音量設定部22は、全ての年齢層において音量を大きくする変更指示がなされた場合に、当初の音量よりも大きな音量へと変更された音量を出力音量としてもよい。また、例えば、音量設定部22は、全ての年齢層において音量を小さくする変更指示がなされた場合に、当初の音量よりも小さな音量へと変更された音量を出力音量としてもよい。
次に、電話機300における音量の設定に関する動作について説明する。図7は、電話機300における音量の設定に関する動作の一例を示すフローチャートである。図7に示されるように、本実施の形態では、図5に示した電話機100におけるフローチャートのステップ14以降が、ステップ20〜25に置き換えられている点で、図5のフローチャートと異なる。以下、重複するステップの説明は省略し、ステップ20以降の動作について説明する。
図7に示されるフローチャートでは、ステップ13の後、処理は、ステップ20に移行する。
ステップ20(S20)において、音量設定部22は、電話機300の出力音量を、年齢層別音量記憶部20が記憶する年齢層ごとの音量のうちステップ13で推定された年齢層に対応する音量に設定する。なお、年齢層別音量記憶部20が記憶する年齢層ごとの音量が更新されている場合には、音量設定部22は、更新後の音量に基づいて音量設定を行うこととなる。
ステップ21(S21)において、音量変更部21は、利用者からの音量の変更指示を受付けたか否かを判定する。音量変更部21が変更指示を受付けた場合、処理はステップ22に移行する。音量変更部21が変更指示を受付けていない場合、処理はステップ25へ移行する。
ステップ22(S22)において、音量変更部21は、受け付けた変更指示に従ってステップ20で設定された出力音量を変更する。その後、処理はステップ23に移行する。
ステップ23(S23)において、音量設定部22は、年齢層別音量記憶部20が記憶する年齢層ごとの音量を更新する際の上述の更新条件が満たされているか否かを判定し、更新条件が満たされている場合には、処理はステップ24へ移行する。更新条件が満たされていない場合には、音量設定処理は終了する。
ステップ24(S24)において、音量設定部22は、年齢層別音量記憶部20が記憶する年齢層ごとの音量を更新する。これにより、次回以降、音量設定部22は、更新後の音量に基づいて、音量を設定することとなる。
一方、ステップ25(S25)では、制御部108は、電話機300の利用が終了したか否かを判定する。制御部108は、例えば、予め定められた終了条件が満たされたか否かを判定する。予め定められた終了条件は、例えば、オンフック状態であることの検知が該当する。電話機300の利用が終了していない場合、処理はステップ21へと戻り、電話機300の利用が終了した場合、音量の設定処理は終了する。
以上、実施の形態3にかかる電話機300によれば、利用者による音量の変更指示に基づいて、電話機が出力する音量が適正化される。このため、利用者及び設置環境が不特定である場合にも、利用者に最適な音量を提供することができる。なお、本実施の形態においても、実施の形態2として述べた構成を採用してもよい。
(実施の形態4)
次に、実施の形態4について説明する。本実施の形態では、利用者が音量設定部により設定された音量について変更指示により変更した場合、当該利用者の次回の利用の際に音量設定部がこの変更された音量を設定する点で、上述の実施の形態と異なる。なお、上述の実施の形態と実質的に同様の構成部分については同じ符号を付し、重複する説明を省略する。
図8は、実施の形態4にかかる電話機400の機能ブロック図である。電話機400は、学習結果記憶部10と、年齢層別音量記憶部11と、画像取得部12と、推定部13と、音量計測部14と、音量設定部15と、音量変更部21と、利用者別音量記憶部30と、利用者識別部31とを有する。なお、電話機400のハードウェア構成は、図3に示した電話機100のハードウェア構成と同様である。また、利用者識別部31は、例えば、制御部108の制御によって、プログラムを実行させることによって実現できる。より具体的には、記憶部109に格納されたプログラムを、制御部108の制御によって実行して実現する。また、利用者識別部31は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、利用者別音量記憶部30は、例えば、記憶部109により実現される。
利用者別音量記憶部30は、音量変更部21により音量が変更された場合の変更後の音量を、変更を行った利用者を識別するための識別情報と対応付けて記憶する。本実施の形態では、識別情報は、年齢層の推定のために画像取得部12に取得された顔画像である。このため、本実施の形態の音量変更部21は、受け付けた変更指示に従って音量を変更する場合、変更後の音量を示す情報と識別情報とを対応付けて利用者別音量記憶部30に記憶する。
利用者識別部31は、識別情報に基づいて利用者を識別する。本実施の形態では、利用者識別部31は、画像取得部12が取得した顔画像と、利用者別音量記憶部30が音量と対応付けて記憶する顔画像とを照合し、画像取得部12が取得した顔画像に表される顔が利用者別音量記憶部30に記憶されたいずれかの顔画像に表される顔と一致しているか否かを判定する。ここで、一致は、完全に一致に限らず、予め定められた類似度合い以上に類似している場合を含む。例えば、利用者識別部31は、画像取得部12により取得された顔画像の特徴情報と利用者別音量記憶部30に記憶された顔画像の特徴情報の類似度合いを判定することにより、利用者が利用者別音量記憶部30に記憶された顔画像に対応する利用者であるか否かを識別する。このようにして、利用者識別部31は、利用者が、利用者別音量記憶部30に既に音量の設定値が記憶されている利用者であるか否かを識別する。
利用者識別部31は、利用者の識別に成功した場合、すなわち画像取得部12が取得した顔画像に表される顔が利用者別音量記憶部30に記憶された顔画像に表される顔と一致した場合、識別された利用者を音量設定部15に通知する。
なお、本実施の形態では、利用者識別部31は、識別情報として顔画像を用いているが、他の種類の識別情報により利用者を識別してもよい。例えば、利用者を識別するための文字列や数字列などの識別情報が用いられてもよい。この場合、利用者別音量記憶部30は、音量変更部21による変更後の音量と、文字列や数字列などの識別情報とを対応付けて記憶する。なお、識別情報として、顔画像以外のものを用いる場合、識別情報を取得する識別情報取得部が設けられてもよい。この識別情報取得部は、例えば、利用者が電話機400の利用時に用いる、IC(integrated circuit)カードや磁気カードなどの記憶媒体に記憶された識別情報を読み取る。
また、本実施の形態の音量設定部15は、利用者識別部31により利用者が識別された場合、電話機400で使用する音量を、利用者別音量記憶部30が記憶する音量のうち識別された利用者に対応する音量に設定する。すなわち、本実施の形態では、音量設定部15は、利用者識別部31が利用者の識別に成功した場合、利用者別音量記憶部30が記憶する音量に設定し、利用者識別部31が利用者の識別に失敗した場合、年齢層別音量記憶部11に記憶された加算音量のうち推定部13により推定された年齢層に対応する加算音量を音量計測部14により計測された音量に対し加算した音量に設定する。
なお、本実施形態の推定部13は、利用者識別部31が識別に成功した場合は推定処理を行わない。つまり、本実施形態の推定部13は、利用者の識別に失敗した場合、すなわち画像取得部3が取得した顔画像に表される顔が利用者別音量記憶部30に記憶されたいずれの顔画像に表される顔とも一致しない場合に、画像取得部12により取得された顔画像から電話機400の利用者の年齢層を推定する。
次に、電話機400における音量の設定に関する動作について説明する。図9は、電話機400における音量の設定に関する動作の一例を示すフローチャートである。図9に示されるように、本実施の形態では、図5に示した電話機100におけるフローチャートのステップ13以降が、ステップ30〜37に置き換えられている点で、図5のフローチャートと異なる。以下、重複するステップの説明は省略し、ステップ30以降の動作について説明する。
図9に示されるフローチャートでは、ステップ12の後、処理は、ステップ30に移行する。
ステップ30(S30)において、ステップ12で取得した顔画像に対し、利用者識別部31が利用者の識別処理を行う。利用者識別部31が利用者の識別に成功した場合、処理はステップ31へ移行する。利用者識別部31が利用者の識別に失敗した場合、処理はステップ32へ移行する。
ステップ31(S31)において、音量設定部15は、電話機400で使用する音量を、利用者別音量記憶部30が記憶する音量のうち識別された利用者に対応する音量に設定する。その後、処理はステップ34へ移行する。
これに対し、ステップ32(S32)では、ステップ13と同様、推定部13が、画像取得部12により取得された顔画像から、電話機100の利用者の年齢層を推定する。その後、ステップ33(S33)で、ステップ14(S14)と同様、音量設定部15が、電話機100で使用する音量について、設置環境の音量に基づいて、年齢層に応じた音量を設定する。その後、処理はステップ34へ移行する。
ステップ34(S34)において、ステップ21と同様、音量変更部21は、利用者からの音量の変更指示を受付けたか否かを判定する。音量変更部21が変更指示を受付けた場合、処理はステップ35に移行する。音量変更部21が変更指示を受付けていない場合、処理はステップ37へ移行する。
ステップ35(S35)において、ステップ22と同様、音量変更部21は、受け付けた変更指示に従ってステップ31又はステップ33で設定された出力音量を変更する。その後、処理はステップ36に移行する。
ステップ36(S36)において、音量変更部21は、変更後の音量を示す情報とステップ12で取得した顔画像とを対応付けて利用者別音量記憶部30に記憶する。これにより、次回以降、当該利用者に対しては、利用者が指定した音量が設定されることとなる。
一方、ステップ37(S37)では、ステップ25と同様、制御部108は、電話機400の利用が終了したか否かを判定する。電話機400の利用が終了していない場合、処理はステップ34へと戻り、電話機400の利用が終了した場合、音量の設定処理は終了する。
以上、実施の形態4にかかる電話機300によれば、利用者による音量の変更指示があった場合には、指示による変更後の音量と当該利用者の識別情報とが対応付けて記憶される。そして、当該利用者の次回の利用の際には、前回利用時の所望の音量が自動的に設定される。このため、利用者ごとの利便性を向上することができる。なお、本実施の形態においても、実施の形態2として述べた構成を採用してもよい。また、本実施の形態では、計測された設置環境の音量に基づいて電話機が出力する音量が決定される構成を示したが。実施の形態3のように、利用者による音量の変更指示に基づいて、電話機が出力する音量が適正化される構成としてもよい。
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の実施の形態では、顔画像により推定処理を行ったが、顔画像に限らず、顔を含む身体画像に基づいて推定処理を行ってもよい。この場合、例えば、学習結果記憶部10は、予め定められた年齢層ごとの顔を含む身体画像の特徴情報についての学習結果データを記憶する。また、画像取得部12は、利用者の顔を含む身体画像を取得する。また、推定部13は、画像取得部12により取得された身体画像の特徴情報を、学習結果記憶部10が記憶する特徴情報と比較して、利用者の年齢層を推定する。なお、顔を含む身体画像に基づいて、年齢層に加えて性別の推定が行われてもよい。このように、推定に利用する画像を身体画像とすることにより、利用者の姿勢や身長などの輪郭や、服装などを推定のための特徴情報として利用することができるため、推定精度の向上が期待できる。
また、例えば、上述の実施の形態では、送受話器105の持ち上げを契機にカメラ101の撮像が開始されたが、カメラ101の撮像及び画像からの顔画像の検知などの動作が、送受話器105の持ち上げに関わらず行われてもよい。
また、上述の実施の形態では、電話機が図1,4,6又は8に示される各構成を備えるものとして説明したが、構成の一部を、電話機と通信可能なサーバなどの他の装置が備えてもよい。すなわち、電話機を含む電話システムが、図1,4,6又は8に示される各構成を備えてもよい。
また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1、100、300、400 電話機
2、10 学習結果記憶部
3、12 画像取得部
4、13 推定部
5、15、22 音量設定部
11、20 年齢層別音量記憶部
14 音量計測部
21 音量変更部
21 音量変更部
30 利用者別音量記憶部
31 利用者識別部
101 カメラ
102 マイク
103 入力部
104 表示部
105 送受話器
106 送受話器検知部
107 スピーカ
108 制御部
109 記憶部

Claims (11)

  1. 予め定められた年齢層ごとの顔画像の特徴情報についての学習結果データを記憶する学習結果記憶手段と、
    利用者の顔画像を取得する画像取得手段と、
    前記画像取得手段により取得された顔画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記利用者の年齢層を推定する推定手段と、
    使用する音量について、前記推定手段により推定された年齢層に対応する、設置環境に応じた音量に設定する音量設定手段と
    を有する電話機。
  2. 設置環境の音量を計測する音量計測手段をさらに有し、
    前記音量設定手段は、前記音量計測手段により計測された音量に対し、年齢層に応じて予め定められた音量だけ増加させた音量に設定する
    請求項1に記載の電話機。
  3. 前記音量設定手段により設定された音量の変更指示を受付け、受け付けた変更指示に従って前記音量設定手段により設定された音量を変更する音量変更手段をさらに有し、
    前記音量設定手段は、年齢層に応じて予め定められた音量のうち前記推定手段により推定された年齢層に対応する音量に設定し、前記音量変更手段による変更があった場合、前記変更指示に応じて、音量設定の際に用いられる、前記年齢層に応じて予め定められた音量を変更する
    請求項1に記載の電話機。
  4. 前記音量設定手段により設定される音量は、年齢層に応じた周波数特性を有する
    請求項1乃至3のいずれか1項に記載の電話機。
  5. 前記学習結果記憶手段は、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データを記憶し、
    前記推定手段は、前記画像取得手段により取得された顔画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記利用者の年齢層及び性別を推定し、
    前記音量設定手段により設定される音量は、年齢層及び性別に応じた周波数特性を有する
    請求項4に記載の電話機。
  6. 前記学習結果記憶手段は、予め定められた年齢層ごとの顔を含む身体画像の特徴情報についての学習結果データを記憶し、
    前記画像取得手段は、利用者の顔を含む身体画像を取得し、
    前記推定手段は、前記画像取得手段により取得された身体画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記利用者の年齢層を推定する
    請求項1乃至5のいずれか1項に記載の電話機。
  7. カメラと、
    送受話器が持ち上げられたことを検知する送受話器検知手段と
    をさらに有し、
    前記カメラは、前記送受話器検知手段により前記送受話器の持ち上げが検知されたことを契機に撮像を開始し、
    前記画像取得手段は、前記カメラが撮像開始後、前記カメラから顔画像を取得する
    請求項1乃至6のいずれか1項に記載の電話機。
  8. 利用者からの音量の変更指示に従って前記音量設定手段により設定された音量が変更された場合の変更後の音量を、前記利用者を識別するための識別情報と対応付けて記憶する利用者別音量記憶手段と、
    前記識別情報に基づいて前記利用者を識別する利用者識別手段と、
    をさらに有し、
    前記音量設定手段は、前記利用者識別手段により利用者が識別された場合、識別された利用者についての前記利用者別音量記憶手段が記憶する音量に設定する
    請求項1乃至7のいずれか1項に記載の電話機。
  9. 予め定められた年齢層ごとの顔画像の特徴情報についての学習結果データを記憶する学習結果記憶手段と、
    利用者の顔画像を取得する画像取得手段と、
    前記画像取得手段により取得された顔画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記利用者の年齢層を推定する推定手段と、
    使用する音量について、前記推定手段により推定された年齢層に対応する、電話機の設置環境に応じた音量に設定する音量設定手段と
    を有する電話システム。
  10. 利用者の顔画像を取得する画像取得ステップと、
    取得された顔画像の特徴情報を、予め定められた年齢層ごとの顔画像の特徴情報についての学習結果データと比較して、前記利用者の年齢層を推定する推定ステップと、
    使用する音量について、推定された年齢層に対応する、電話機の設置環境に応じた音量に設定する音量設定ステップと
    を含む電話機の音量設定方法。
  11. 利用者の顔画像を取得する画像取得ステップと、
    取得された顔画像の特徴情報を、予め定められた年齢層ごとの顔画像の特徴情報についての学習結果データと比較して、前記利用者の年齢層を推定する推定ステップと、
    使用する音量について、推定された年齢層に対応する、電話機の設置環境に応じた音量に設定する音量設定ステップと
    をコンピュータに実行させるプログラム。
JP2015059224A 2015-03-23 2015-03-23 電話機、電話システム、電話機の音量設定方法、及びプログラム Active JP6596865B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015059224A JP6596865B2 (ja) 2015-03-23 2015-03-23 電話機、電話システム、電話機の音量設定方法、及びプログラム
PCT/JP2016/001563 WO2016152121A1 (ja) 2015-03-23 2016-03-17 電話機、電話システム、電話機の音量設定方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015059224A JP6596865B2 (ja) 2015-03-23 2015-03-23 電話機、電話システム、電話機の音量設定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016178596A true JP2016178596A (ja) 2016-10-06
JP6596865B2 JP6596865B2 (ja) 2019-10-30

Family

ID=56979213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015059224A Active JP6596865B2 (ja) 2015-03-23 2015-03-23 電話機、電話システム、電話機の音量設定方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP6596865B2 (ja)
WO (1) WO2016152121A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020194488A1 (ja) * 2019-03-26 2020-10-01 株式会社資生堂 三次元顔形態の判別装置、方法、プログラム、およびシステム
JP2021152916A (ja) * 2020-08-27 2021-09-30 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 目の保護モードの提示方法、装置、電子設備、記憶媒体、及びプログラム

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04278796A (ja) * 1991-03-06 1992-10-05 Fujitsu Ltd 外部環境適応型音量調整方法
JPH07312639A (ja) * 1994-05-17 1995-11-28 Mitsubishi Electric Corp 送受話音量自動記憶調節式電話機
JPH11175724A (ja) * 1997-12-11 1999-07-02 Toshiba Tec Corp 人物属性識別装置
JP2005045717A (ja) * 2003-07-25 2005-02-17 Sharp Corp 通信端末装置および通信システム
JP2005275935A (ja) * 2004-03-25 2005-10-06 Omron Corp 端末装置
JP2006023953A (ja) * 2004-07-07 2006-01-26 Fuji Photo Film Co Ltd 情報表示システム
JP2006119920A (ja) * 2004-10-21 2006-05-11 Matsushita Electric Ind Co Ltd 情報端末装置
JP2007264945A (ja) * 2006-03-28 2007-10-11 Kyocera Corp 機能設定装置、電子機器、電子機器の機能設定システム及び電子機器の機能設定方法
JP2009171189A (ja) * 2008-01-16 2009-07-30 Pioneer Electronic Corp 音声補正装置及び音声補正機能を備えた通信端末装置
JP2009239409A (ja) * 2008-03-26 2009-10-15 Brother Ind Ltd 通信装置
JP2009267877A (ja) * 2008-04-25 2009-11-12 Kyocera Corp 携帯電話機
US8131848B1 (en) * 2009-09-29 2012-03-06 Jason Adam Denise Image analysis and communication device control technology
WO2012093470A1 (ja) * 2011-01-04 2012-07-12 富士通株式会社 音声制御装置、音声制御方法及び音声制御プログラム
JP2014064093A (ja) * 2012-09-20 2014-04-10 Sony Corp 信号処理装置およびプログラム
JP2014153715A (ja) * 2013-02-07 2014-08-25 Samsung Electronics Co Ltd 音声対話機能を備えた携帯端末機及びその音声対話方法
CN104008320A (zh) * 2014-05-19 2014-08-27 惠州Tcl移动通信有限公司 基于人脸识别的使用权限和用户模式控制方法及系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04278796A (ja) * 1991-03-06 1992-10-05 Fujitsu Ltd 外部環境適応型音量調整方法
JPH07312639A (ja) * 1994-05-17 1995-11-28 Mitsubishi Electric Corp 送受話音量自動記憶調節式電話機
JPH11175724A (ja) * 1997-12-11 1999-07-02 Toshiba Tec Corp 人物属性識別装置
JP2005045717A (ja) * 2003-07-25 2005-02-17 Sharp Corp 通信端末装置および通信システム
JP2005275935A (ja) * 2004-03-25 2005-10-06 Omron Corp 端末装置
JP2006023953A (ja) * 2004-07-07 2006-01-26 Fuji Photo Film Co Ltd 情報表示システム
JP2006119920A (ja) * 2004-10-21 2006-05-11 Matsushita Electric Ind Co Ltd 情報端末装置
JP2007264945A (ja) * 2006-03-28 2007-10-11 Kyocera Corp 機能設定装置、電子機器、電子機器の機能設定システム及び電子機器の機能設定方法
JP2009171189A (ja) * 2008-01-16 2009-07-30 Pioneer Electronic Corp 音声補正装置及び音声補正機能を備えた通信端末装置
JP2009239409A (ja) * 2008-03-26 2009-10-15 Brother Ind Ltd 通信装置
JP2009267877A (ja) * 2008-04-25 2009-11-12 Kyocera Corp 携帯電話機
US8131848B1 (en) * 2009-09-29 2012-03-06 Jason Adam Denise Image analysis and communication device control technology
WO2012093470A1 (ja) * 2011-01-04 2012-07-12 富士通株式会社 音声制御装置、音声制御方法及び音声制御プログラム
JP2014064093A (ja) * 2012-09-20 2014-04-10 Sony Corp 信号処理装置およびプログラム
JP2014153715A (ja) * 2013-02-07 2014-08-25 Samsung Electronics Co Ltd 音声対話機能を備えた携帯端末機及びその音声対話方法
CN104008320A (zh) * 2014-05-19 2014-08-27 惠州Tcl移动通信有限公司 基于人脸识别的使用权限和用户模式控制方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020194488A1 (ja) * 2019-03-26 2020-10-01 株式会社資生堂 三次元顔形態の判別装置、方法、プログラム、およびシステム
JP2021152916A (ja) * 2020-08-27 2021-09-30 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 目の保護モードの提示方法、装置、電子設備、記憶媒体、及びプログラム
US11435824B2 (en) 2020-08-27 2022-09-06 Baidu Online Network Technology (Beijing) Co., Ltd Prompt method and apparatus for eye-protection mode, electronic device and storage medium

Also Published As

Publication number Publication date
JP6596865B2 (ja) 2019-10-30
WO2016152121A1 (ja) 2016-09-29

Similar Documents

Publication Publication Date Title
CN105282345B (zh) 通话音量的调节方法和装置
US10546192B2 (en) Device and method for recognizing fingerprint
US20150332439A1 (en) Methods and devices for hiding privacy information
EP3091753A1 (en) Method and device of optimizing sound signal
CN107944447B (zh) 图像分类方法及装置
WO2017128767A1 (zh) 指纹模板录入方法及装置
JP5185570B2 (ja) 個人識別通信システム及び個人識別通信システムにおいて実行されるプログラム
CN105100193B (zh) 云名片推荐方法及装置
CN105355195A (zh) 音频识别方法及装置
CN104202485B (zh) 一种安全通话方法、装置和移动终端
CN110033784A (zh) 一种音频质量的检测方法、装置、电子设备及存储介质
JP6596865B2 (ja) 電話機、電話システム、電話機の音量設定方法、及びプログラム
CN109388699A (zh) 输入方法、装置、设备及存储介质
CN104573642B (zh) 人脸识别方法及装置
CN105573747B (zh) 用户界面的测试方法及装置
CN112820300A (zh) 音频处理方法及装置、终端、存储介质
CN106776874A (zh) 用户建群方法和装置
CN105323383B (zh) 手机铃声音量的调整方法和装置
CN107578382A (zh) 图像处理方法及装置
JP2007037088A (ja) ドアホン装置
US8280432B2 (en) Mobile communication device and method for operating a mobile communication device
CN108492311A (zh) 通过电子设备进行动作校正的方法及装置
CN108134870A (zh) 语音信息发送方法及装置
CN107665340B (zh) 指纹识别方法、装置、电子设备
CN111753753A (zh) 图像识别方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190916

R150 Certificate of patent or registration of utility model

Ref document number: 6596865

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150