JP2020183865A - 冷蔵庫 - Google Patents

冷蔵庫 Download PDF

Info

Publication number
JP2020183865A
JP2020183865A JP2020114012A JP2020114012A JP2020183865A JP 2020183865 A JP2020183865 A JP 2020183865A JP 2020114012 A JP2020114012 A JP 2020114012A JP 2020114012 A JP2020114012 A JP 2020114012A JP 2020183865 A JP2020183865 A JP 2020183865A
Authority
JP
Japan
Prior art keywords
microphone
refrigerator
voice recognition
door
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020114012A
Other languages
English (en)
Other versions
JP7037599B2 (ja
Inventor
伸喜 加藤
Nobuyoshi Kato
伸喜 加藤
上瀬 重朗
Shigeaki Kamise
重朗 上瀬
孝彦 阿部
Takahiko Abe
孝彦 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Lifestyle Products and Services Corp
Publication of JP2020183865A publication Critical patent/JP2020183865A/ja
Application granted granted Critical
Publication of JP7037599B2 publication Critical patent/JP7037599B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Devices That Are Associated With Refrigeration Equipment (AREA)

Abstract

【課題】マイクを設置する際の位置の自由度を高めることができる冷蔵庫を提供する。【解決手段】実施形態の冷蔵庫は、使用者の音声を入力するマイク14と、マイク14に入力された音声に対して音声認識処理を行う音声認識処理部12aと、音声認識処理部12aによる認識結果に応じた制御を行う制御部12と、マイク14に対する音の入力を調整する調整部とを備え、調整部は、マイク14に音が入力する側に設けられている開口と、マイク12を挟んで開口の逆側に配置されている断熱部材とにより構成されている。【選択図】図6

Description

本発明の実施形態は、冷蔵庫に関する。
従来、音声認識手段を備え、ヘッドセットに対して発話することにより、音声による扉の開放操作を可能とした冷蔵庫が提案されている(例えば、特許文献1参照)。
特開2004−108604号公報
ところで、冷蔵庫は日常的に使われるものであるため、そのたびにヘッドセットを装着することが煩わしいと感じる使用者もいる。そのため、使用者の音声が入力されるマイクは、冷蔵庫に設けられていることが望ましい。
しかしながら、冷蔵庫は、例えば濡れた手で扉を開閉したり、物品を収納しようとするときや場合によっては収納されている物品から水分が滴下したりするおそれがある。この場合、マイクは、音声を入力することから冷蔵庫外部に露出していることが望ましいが、水分が侵入すると、マイクあるいは電気回路が故障するおそれがある。そのため、冷蔵庫にマイクを設ける場合には、水分がかからないような位置にマイクを設置することを考慮する必要があり、マイクを設置する位置が制限されるという問題がある。
そこで、マイクを設置する際の位置の自由度を高めることができる冷蔵庫を提供する。
実施形態の冷蔵庫は、使用者の音声を入力するマイクと、マイクに入力された音声に対して音声認識処理を行う音声認識処理部と、音声認識処理部による認識結果に応じた制御を行う制御部と、マイクに対する音の入力を調整する調整部と、を備え、調整部は、マイクに音が入力する側に設けられている開口と、マイクを挟んで開口の逆側に配置されている断熱部材とにより構成されている。
実施形態の冷蔵庫を模式的に示す図 冷蔵庫の電気的構成を模式的に示す図 マイクの構成を模式的に示す図 マイクと基板との接続態様を模式的に示す図 右扉の構成を模式的に示す図 扉の下面側にマイクを設置する際の設置態様を模式的に示す図その1 扉の下面側にマイクを設置する際の設置態様を模式的に示す図その2 扉の下面側にマイクを設置する際の設置態様を模式的に示す図その3 扉の下面側にマイクを設置する際の設置態様を模式的に示す図その4 扉の下面側にマイクを設置する際の設置態様を模式的に示す図その5 扉の前面側にマイクを設置する際の設置態様を模式的に示す図その1 扉の前面側にマイクを設置する際の設置態様を模式的に示す図その2 扉の側面側にマイクを設置する際の設置態様を模式的に示す図その1 扉の側面側にマイクを設置する際の設置態様を模式的に示す図その2 扉の上面側にマイクを設置する際の設置態様を模式的に示す図 冷蔵庫の上側にマイクを設置する際の設置態様を模式的に示す図 音声関連処理の流れを模式的に示す図 操作パネルを模式的に示す図 扉の前面側にマイクを設置する際の設置態様を模式的に示す図その3
以下、実施形態について、図1から図19を参照しながら説明する。
図1に示すように、実施形態の冷蔵庫1は、本体2内に、図示は省略するが上から順に冷蔵室、野菜室、左右に並んで配置されている製氷室と上部冷凍室、および下面冷凍室が設けられている。冷蔵室の前面開口は、左右に並んで配置されている回動式の左扉3および右扉4によって開閉される。つまり、左扉3および右扉4は、いわゆる観音開きとなっている。また、野菜室は、図示しない収納ボックスと一体に形成されている引き出し式の野菜室扉5によって前面開口が開閉される。同様に、製氷室は引き出し式の製氷室扉6によって前面開口が開閉され、上部冷凍室は引き出し式の上部冷凍室扉7によって前面開口が開閉され、下面冷凍室は引き出し式の下面冷凍室扉8によって前面開口が開閉される。
なお、図1に示す冷蔵庫1の構成は一例であり、貯蔵室の数や配置順が異なる構成や、上部冷凍室の代わりにチルド室や設定温度を変更可能な切換室を備える構成等であってもよい。また、冷蔵室の前面開口を開閉する扉が1つの構成であってもよい。また、各扉の全面側に、例えばガラス製の化粧板を装着した構成であってもよい。
この冷蔵庫1は、左扉3および右扉4を開放する開扉装置9が本体2の上側に設けられている。この開扉装置9は、左扉3を開放する左開扉装置9aと、右扉4を開放する右開扉装置9bとから構成されている。各開扉装置9は、図示しないプッシュロッドおよびソレノイドを有しており、使用者によって後述する開扉操作が行われると、ソレノイドを駆動してプッシュロッドを前方に押しだすことにより、対応する扉を開放する。
具体的には、左開扉装置9aは、左扉3に設けられている静電式のタッチセンサで構成された左開扉スイッチ10aに使用者が触れると、開扉操作が行われたとして左扉3を開放する。同様に、右開扉装置9bは、右扉4に設けられている静電式のタッチセンサで構成された右開扉スイッチ10bに使用者が触れると、開扉操作が行われたとして右扉4を開放する。なお、開扉装置9の構成は、これに限定されず、扉の回動中心となるヒンジ部にモータを設け、モータの回転力により扉を開放および閉鎖する構成であってもよいし、後述するように使用者の音声による開扉操作に応じて動作する構成であってもよい。
また、右扉4には、使用者が操作する操作手段として機能する操作パネル11が設けられている。操作パネル11は、静電式のタッチセンサで構成されており、使用者が操作する操作部位を示す銘板やLED16(図4、図18参照)等を備えている。
この冷蔵庫1は、図2に示すように、制御部12を備えている。制御部12は、図示しないCPU、ROMおよびRAM等を備えたマイクロコンピュータで構成されており、ROM等に記憶されているプログラムを実行することにより、周知のように温度制御を中心とした冷蔵庫1の制御を行う。この制御部12には、上記した左開扉装置9a、右開扉装置9b、左開扉スイッチ10a、右開扉スイッチ10b、操作パネル11、人感センサ13、マイク14等が接続されている。また、制御部12には、温度センサ25、コンプレッサ26、送風ファン27、製氷装置28、スピーカ29、タイマ30等が接続されている。なお、操作パネル11側には、右開扉スイッチ10bや操作パネル11に対する操作を検出するためのサブマイコン17(図4参照)が設けられている。
人感センサ13は、赤外線センサ等により構成されており、冷蔵庫1の近傍の人を検出する。本実施形態の場合、人感センサ13は、冷蔵庫1の正面側に位置する人を検出する。人感センサ13は、本実施形態では操作パネル11に設けられている。操作パネル11は、常にはLED16を消灯している一方、使用者が冷蔵庫1の前方に立つと、人を検知してLED16を点灯させる。これにより、使用者が容易に操作を行うことができるようになる。
マイク14は、使用者が発話した音声を電気信号に変換して制御部12側に出力する。マイク14は、本実施形態では指向性を有するコンデンサマイクを採用している。マイク14は、図3に示すように、有底円筒状に形成されている本体部14aと、本体部14aの開口を塞ぐように設けられている振動板14bとを備えており、周知のように空気の振動によって振動板14bが振動し、その振動板14bの振動を電気信号に変換することで音声を取得する。以下、マイク14を設置する際に振動板14bが設けられている側をマイク14の向きと称し、振動板14bが設けられている側をマイク14の前面と称して説明する。図3の場合、マイク14の向きは、図示下向きである。
また、上記した図2では図示を省略しているが、マイク14は、DSP(Digital Signal Processor)を介して制御部12に接続されている。そして、マイク14に入力された音声は、DSPにおいてノイズを除去するフィルタ処理やノイズキャンセリング処理等が施されて制御部12に入力され、音声認識処理部12aにて音声認識処理が行われる。なお、このDSPやサブマイコン17で音声認識処理を実行する構成としてもよい。このマイク14は、使用者が音声によって操作する操作手段として機能する。
さて、このマイク14は、図4(A)に示すように、操作パネル11用の基板15との間がケーブル14cによって接続されている。これは、一般的なコンデンサマイクの場合、熱に対する耐性が比較的低いことから、基板15にLED16やサブマイコン17等の回路部品を実装するためのリフロー工程における加熱によって損傷する可能性があるためである。ただし、いわゆるシリコンマイクのように熱に対する耐性が比較的高いものを採用する場合には、図4(B)に示すように、マイク14を基板15に直接的に実装するようにしてもよい。
なお、図4(B)はマイク14の実装態様の一例を示すものであり、後述するマイク14の位置によっては、回路部品が実装されている面とは反対側の面にマイク14を実装することも考えられる。その場合、マイク14の向きは、図4(B)に示すように基板15に垂直な向きであってもよいし、基板15に平行な向きや、基板15に斜め向きであってもよい。
温度センサ25は、貯蔵室の温度を測定する。なお、図2では説明の簡略化のために1つの温度センサ25を図示しているが、温度センサ25は、例えば貯蔵室ごとに、あるいは、冷蔵温度帯の貯蔵室と冷凍温度帯の貯蔵室とに、複数設けられている。
コンプレッサ26は、図示しない周知の冷凍サイクルを構成している。このコンプレッサ26は、図示しないモータによって駆動されており、動作時には、音や振動が発生する可能性がある。また、コンプレッサ26の振動が冷蔵庫1の本体2に伝わることで、本体2から音や振動が発生する可能性がある。また、扉を開放した場合には、貯蔵室内の温度が低下することからコンプレッサ26が駆動されて大きな音や振動が発生する可能性がある。また、扉を開放していない場合でも、貯蔵室内の温度が基準値を超えた場合にはコンプレッサ26が駆動されることから、音や振動が発生する可能性がある。つまり、コンプレッサ26は、音あるいは振動を発生させる可能性のある機能部に相当する。
送風ファン27は、冷凍サイクルで冷却された空気を貯蔵室内に循環させる。送風ファン27は、音や振動がなるべく発生しないように設けられているものの、急速に貯蔵室内を冷却する場合等には、冷却ファンの回転数が高くなり、風切り音を発生させる可能性がある。つまり、送風ファン27は、音あるいは振動を発生させる可能性のある機能部に相当する。
製氷装置28は、図示しない給水タンクから水をくみ上げて氷を自動的に生成する。この製氷装置28は、給水タンクから水をくみ上げる際にモータを駆動するため、音が発生する可能性がある。また、できあがった氷を製氷皿から貯氷容器に移す際、氷同士がぶつかったり、氷が貯氷容器にぶつかったりすることで音が発生する可能性がある。つまり、製氷装置28は、音あるいは振動を発生させる可能性のある機能部に相当する。
スピーカ29は、使用者の操作に対する応答音や、扉が規定時間以上開放されている際の警告音や注意を促す音声メッセージ等を出力する。つまり、スピーカ29は、音あるいは振動を発生させる可能性のある機能部に相当する。なお、図示は省略するが、冷蔵庫1は、扉が開放された際に点灯して庫内を照らす照明装置等の一般的な機能も備えている。
次に、マイク14の設置態様について個別に説明する。なお、本実施形態では以下に説明するいずれか1つの位置にマイク14を設ける構成を想定しているが、複数の位置にマイク14を設ける構成であってもよいし、1つの位置に複数のマイク14を設ける構成であってもよい。つまり、冷蔵庫1に設けるマイク14の数は、1つであってもよいし、複数であってもよい。
<扉の下面側に設ける例>
以下、扉の下面側にマイク14を設ける設置態様について説明する。なお、本例では右扉4にマイク14を設ける場合について説明するが、左扉3にマイク14を設ける場合であっても基本的な考え方は共通する。
右扉4は、図5に示すように、概ね薄い直方体形状に形成されている。以下、操作パネル11が設けられている側を前面部41とし、貯蔵室側を後面部42とし、前面部41と後面部42とを繋ぐ面をそれぞれ左側面部43、右側面部44、上面部45、下面部46と称して説明する。
図6は、冷蔵庫1の正面側から見た右扉4の下面を模式的に示しており、図7は、冷蔵庫1の右側面側から見た右扉4の下面の断面を模式的に示している。これら図6および図7に示すように、マイク14は、右扉4の下面であって、右扉4の内部に、野菜室扉5側の向きとなるように設けられている。より詳細には、右扉4には、下面部46を形成するフレーム4aを内側に向かって折り曲げることにより、野菜室扉5との間の隙間に開口している開口部18と、マイク14の本体部14aと概ね同心状となる円筒形状のスペーサ部19とが形成されている。そして、マイク14は、その開口部18に向けて設けられている。なお、スペーサ部19は、フレーム4aを折り曲げるのでは無く、別部材として設けてもよい。また、図6では、マイク14を固定する固定部材の図示は省略している。
右扉4の内部には、図7に示すように、発泡ウレタン材や真空断熱パネル等で構成された断熱部材20が充填されている。つまり、断熱部材20は、マイク14の向きとは異なる方向に設けられている。このため、これらスペーサ部19および断熱部材20は、マイク14に対して音が入力する入力方向を調整する調整部材として機能するとともに、例えばコンプレッサ26から生じる振動音等、マイク14の向きとは異なる方向から音声がマイク14に伝達されることを制限するための防音部材としても機能する。なお、図7以外では、説明の簡略化のために断熱部材20の図示を省略している。また、冷蔵庫1の構造そのもの、例えば、コンプレッサ26が収容されている機械室(図示省略)を仕切る壁や、扉そのもの等も、防音部材として機能する。すなわち、これらは、マイク14に対する音の入力を調整する調整部として機能する。
そして、開口部18が野菜室扉5との間の隙間に向かって開口していることから、使用者が発話した音声は、野菜室扉5との間の隙間から、スペーサ部19によって形成される音声の経路を経て、マイク14に伝達される。これにより、マイク14には、開口部18側からの音声、つまりは、冷蔵庫1の正面側に位置する使用者が発話した音声が、効率的に入力されることになる。
このように、本例によれば、マイク14に対する音の入力方向を調整することができる。つまり、指向性を有するマイク14を、使用者が位置すると考えられる冷蔵庫1の正面側に向けなくても、換言すると、マイク14の向きが使用者側に向いていなくても、使用者の音声を入力することができる。したがって、マイク14の位置の自由度を高めることができる。
また、本例によれば、マイク14は、開口部18よりもスペーサ分だけ上方に離間した位置に配置されることになる。このとき、開口部18は、下向き、つまりは重力方向に開口しているため、例えば濡れた手で扉を開閉する際に冷蔵庫1に水滴がついたり、貯蔵室内の物品から水分がこぼれて水分が滴ったりするような場合であっても、マイク14に水分が到達してしまうことが防止される。したがって、水分によってマイク14や電気回路が故障するおそれを低減することができる。
この場合、マイク14に音声が伝達される経路、より詳細には、音声が伝達される経路において開口部18とマイク14の前面との間に、図8に示すように撥水性不織布21等の撥水性部材を設けてもよい。これにより、音声の伝達を阻害することなく、マイク14に水分が到達してしまうことをより確実に防止することができる。
また、図9に示すように、マイク14を例えばゴムのような弾性部材で構成された防振部材22、つまりは、マイク14への振動の伝達を抑制する振動抑制部材で覆ってもよい。これにより、例えばコンプレッサ26の振動がマイク14に伝わってノイズとなることを防止できる。また、防振部材22によって、開口部18以外の方向からの音声の伝達を制限することもできる。つまり、防振部材22は、調整部材あるいは防音部材としても機能する。なお、防振部材22は、マイク14を覆った際に一般的な指向性マイクに設けられている背面側の開口を塞がないようになっている。
また、スペーサ部19を防振部材22で形成してもよい。また、図10に示す撥水性不織布21を併せて設ける構成としてもよい。この場合、マイク14を扉に設けているので、コンプレッサ26からの振動は伝わり難いことに加えて、防振部材22を設けることでさらに振動が伝わりにくくなり、振動によってノイズが混入することを防止できる。
また、扉の下面側にマイク14用の開口部18を設けているので、通常の使用時には開口部18が視認されることは無く、デザイン性を損なうことがない。また、扉の前面にガラス製の化粧板が設けられたような構成であっても、マイク14を設けることができる。
<扉の前面に設ける例>
以下、扉の前面にマイク14を設ける設置態様について説明する。
図11は、冷蔵庫1の右側面側から見た右扉4の断面を模式的に示している。この図11に示すように、マイク14は、右扉4の前面であって、右扉4の内部に、冷蔵庫1の正面側の向きとなるように設けられている。より詳細には、右扉4には、冷蔵庫1の正面側に開口している開口部18が形成されている。そして、マイク14は、開口部18に向けて、その前面側に撥水性不織布21が設けられた状態で設置されている。なお、図7に示したようなスペーサ部19を設ける構成としてもよいし、撥水性不織布21を設けない構成としてもよい。また、防振部材22を設ける構成としてもよい。
本例の場合、マイク14は、一般的な成人の頭部と同等あるいはそれよりも上方の位置に設けられている。冷蔵庫1の扉を開放しようとする場合、人は、開扉スイッチを操作する。そのため、たとえ手が濡れていたとしても、その水分が開口部18に掛かるおそれは少ないと考えられる。また、冷蔵室内の棚板に物品を載せるあるいは取り出す場合には、扉は開放されていると考えられる。そのため、成人の頭部付近の位置にマイク14を設けることにより、前面部41にマイク14を設けた場合であっても、つまり、前面部41にマイク14へと連通する開口部18が形成されている場合であっても、マイク14に水分がかかるおそれを低減することができる。
この場合、図12に示すようにスペーサ部19をフレーム4aとは別部材で形成し、下方に傾斜するような音声の経路を形成してもよい。これにより、万が一、冷蔵庫1の上方から水分がかかった場合であっても、マイク14に水分が到達するおそれを低減することができる。
この場合、スペーサ部19の傾斜を概ね人の顔の向きとなるように形成すれば、使用者の音声をより入力し易くなると考えられる。このような配置にすれば、指向性を有するマイク14を扉の前面に設ける場合であっても、必ずしも使用者の真正面に設ける必要が無くなる。したがって、マイク14の位置の自由度を高めることができる。
このとき、冷蔵庫1の左右方向における中央付近にマイク14を設けることが好ましいものの、例えば右扉4の右端にマイク14を設ける場合であっても、音声の経路が中央付近に向くような傾斜を有するスペーサ部19を用いることで、音声を入力し易くなると考えられる。
<扉の側面に設ける例>
以下、扉の側面にマイク14を設ける設置態様について説明する。
冷蔵庫1は、上記したように観音開きの左扉3および右扉4を備えている。そのため、図13に示すように、冷蔵庫1の正面側から見た場合、左扉3と右扉4との間には、隙間が形成されることになる。本例の場合、マイク14は、右扉4の左側面部43この隙間に向けて設けられている。具体的には、マイク14は、右扉4の左側面部43であって、右扉4の内部に、左扉3に向かって設けられている。この場合、右扉4の左側面部43には、隙間に開口する開口部18と、開口部18の周囲のフレーム4aを扉の内側に折り曲げることによって形成されたスペーサ部19とが形成されている。なお、スペーサ部19は、フレーム4aを折り曲げるのでは無く、別部材として設けてもよい。これらスペーサ部19は、上記したように、調整部材や防音部材として機能する。
そして、マイク14は、右扉4の内側において、開口部18に向けて設けられている。また、マイク14は、一般的な成人の頭部と同等あるいはそれよりも上方の位置に設けられている。
このような構成の本例の場合、冷蔵庫1の正面側に位置する使用者が発話した音声は、隙間からスペーサ部19で形成される経路を通ってマイク14に到達する。このため、マイク14を扉の側面部に側方向きに設置した場合であっても、つまりは、指向性を有するマイク14を使用者側に直接的に向けていない場合であっても、使用者が発話した音声をマイク14に入力することができる。したがって、マイク14の位置の自由度を高めることができる。
この場合、図14に示すように、水の侵入を防ぐために音声の経路が下方に傾斜するようにしてもよいし、スペーサ部19を別部材で設けてもよい。また、スペーサ部19を弾性部材で形成したり、上記した撥水性不織布21を開口部18とマイク14の前面との間に設けたりしてもよい。また、観音開きではない1枚の扉の場合には、左右の何れの側面部にマイク14を設けてもよい。
また、扉の側面にマイク14用の開口部18を設けているので、通常の使用時には開口部18が視認されることは無く、デザイン性を損なうことがない。また、扉の前面にガラス製の化粧板が設けられたような構成であっても、マイク14を設けることができる。
<扉の上面に設ける例>
以下、扉の上面にマイク14を設ける設置態様について説明する。
図15は、冷蔵庫1の右側面側から見た右扉4の断面を模式的に示している。この図15に示すように、マイク14は、右扉4の上面であって、右扉4の内部に、上向きとなるように設けられている。この場合、右扉4の上面部45には開口部18が形成されている。そして、マイク14は、右扉4の内側において、その前面に撥水性不織布21が設けられた状態で配置されている。
このような構成であっても、冷蔵庫1の正面側に位置する使用者が発話した音声をマイク14に入力することができる。すなわち、マイク14を冷蔵庫1の上面に上向きに設置した場合であっても、つまりは、指向性を有するマイク14を使用者側に直接的に向けていない場合であっても、使用者が発話した音声をマイク14に入力することができる。したがって、マイク14の位置の自由度を高めることができる。
また、本例では、開口部18には、マイク14を離間させるためのスペーサを設けていない。扉の上面部45にマイク14を上向きに設ける場合、開口部18が上向きに開口することから、その開口部18に埃が溜り易くなると考えられる。また、本実施形態のような冷蔵庫1の場合、扉の上面は、比較的高い位置となることから、通常の使用時には開口部18が見えないと想定される。そのため、スペーサ部19を設けると、その中に溜まった埃をきれいに取り除くことが難しくなるおそれがある。
そのため、スペーサ部19を敢えて設けないことにより、撥水性不織布21が上面部45の表面に近い位置となることで、つまりは、開口の深さが浅くなることで、扉の上面を布巾等でさっと拭いただけで開口部18の埃を取り除くことが可能になると考えられる。これにより、音声の入力を妨げるおそれのある埃を、日常的なお手入れの範囲内で取り除けることが期待できる。
<冷蔵庫1の上に設ける例>
以下、冷蔵庫1の上にマイク14を設ける設置態様について説明する。
図16は、冷蔵庫1を右側面側から見た状態を模式的に示している。この図16に示すように、マイク14は、冷蔵庫1の上に設けられているボックス23内に、正面向きとなるように設けられている。このボックス23の前面側には、開口部18と、音声の経路を形成するスペーサ部19が設けられている。この場合、スペーサ部19を下方に傾斜させて形成したり、開口部18に撥水性不織布21を設けたりしてもよい。また、ボックス23は、マイク14を収容するための専用のものであってもよいし、開扉装置9と兼用してもよいし、例えば右扉4の回動中心に設けられ、内部に信号線や電源線等が配線されているヒンジを用いてもよい。
このような構成にであっても、ボックス23の前面側に開口を設け、スペーサ部19によってマイク14に連なる音声の経路を形成することにより、冷蔵庫1の正面側からの音声を効率よくマイク14に入力することができる。したがって、マイク14の位置の自由度を高めることができる。この場合、図4(b)に示したようにマイク14を基板15に直接的に実装することで、ケーブル14cやコネクタ等の部材を削減することもできる。
次に、マイク14を利用した冷蔵庫1の制御内容の一例について説明する。
冷蔵庫1の制御部12は、各貯蔵室の温度制御を中心とした周知の処理を行っているとともに、本実施形態に関連して、図17に示す音声関連処理を実行する。
この音声関連処理では、制御部12は、有効化操作が入力されたか否かを判定しており(S1)、有効化操作が入力されていないと判定すると(S1:NO)、処理を終了する。ただし、制御部12は、繰り返し、あるいは、所定の周期ごとに音声関連処理を実行しており、処理を終了した場合でも、一定期間内にステップS1が実行される構成となっている。
ここで、有効化操作とは、音声認識を有効化するために使用者によって入力される操作である。本実施形態では、有効化操作は、手動または自動のいずれかによって入力可能となっている。この有効化操作は、音声認識処理を有効化するための指示に相当する。
手動で有効化操作を入力する例としては、例えば、図18に示すように操作パネル11に複数のボタン領域11aが設けられている場合、使用者が「音声認識」の表記に対応するボタン領域11aをタッチ操作することによって、音声認識を有効化するための有効化操作が入力されたと判定する構成が考えられる。なお、この操作パネル11の表記は一例であり、名称やLED16の数や位置あるいは種類等はこれに限定されるものではない。
また、操作パネル11以外の位置に押しボタン等を設けてもよいし、音声認識処理の有効化/無効化を恒常的に切り替えるための切り替えスイッチを設けてもよい。また、タイマ30を用いて、食事を作る時間帯では音声認識処理を有効化し、その時間帯以外では音声認識処理を無効化するようにしてもよい。勿論、音声認識処理を無効化している時間帯であっても、上記した手動での有効化操作が行われたときや、冷蔵庫1の前に人が立っていることを検出した場合には、音声認識処理を有効化すればよい。これら操作パネル11のボタン領域11aや押しボタンあるいは切り替えスイッチは、音声認識処理を有効化するための指示を入力する入力手段として機能する。
自動で有効化操作を入力する例としては、例えば冷蔵庫1の正面近傍に人が一定時間以上立っていることを人感センサ13が検出した場合に、有効化操作が入力されたと判定する構成が考えられる。このような構成によれば、両手がふさがっている状況であっても、有効化操作を入力することができる。
制御部12は、有効化操作が入力されたと判定すると(S1:YES)、音声認識処理を有効化するとともに(S2)、機能部の動作態様を変更する(S3)。ステップS2の音声認識処理の有効化とは、マイク14に入力された音声を認識するための処理を開始することを意味している。この場合、使用者が発話した音声以外の音が入力されるとノイズとなるため、制御部12は、ステップS3において、冷蔵庫1に設けられている音あるいは振動を発生させる可能性のある機能部の動作を、音声認識処理が有効化されていない場合とは異なる態様に制御する。
具体的には、制御部12は、例えばコンプレッサ26の動作を停止させたり、コンプレッサ26の動作によって生じる音が小さくなるように、または、可聴域範囲外となるようにコンプレッサ26の運転周波数を変更したりすることで、コンプレッサ26の動作態様を通常とは異なる態様に制御する。また、制御部12は、送風ファン27を停止させたり、回転周波数を下げたりすることで、送風ファン27の動作態様を通常とは異なる態様に制御する。
また、制御部12は、制御部12は、音声認識処理が有効化されている場合には所定の製氷時間になったとしても製氷装置28のモータを駆動しない、または、できあがった氷を製氷皿から貯氷容器に移さないことにより、製氷装置28の動作態様を通常とは異なる態様に制御する、あるいは、製氷装置28の動作を遅延させるように制御する。また、制御部12は、スピーカ29から出力される使用者の操作に対する応答音や、扉が規定時間以上開放されている際の警告音や注意を促す音声メッセージ等を小さくする、あるいは、扉の開放を検知する規定時間を通常よりも長くすることにより、スピーカ29の動作態様を通常とは異なる態様に制御する、あるいは、スピーカ29の動作を遅延させるように制御する。
このように、制御部12は、使用者が発話した以外の音声がマイク14に入力されないように、各機能部に対して上記した異なる態様の制御を同時に、あるいは、個別に行う。
続いて、制御部12は、入力された音声を認識することにより、認識した音声に応じた処理を実行する(S4)。例えば、制御部12は、認識した音声あるいはそれに含まれるキーワードが右扉4を開放することを示すものであると認識した場合には、つまり、使用者の音声によって開扉操作が指示されたと認識した場合には、右開扉装置9bを動作させることにより、右扉4を開放する。あるいは、制御部12は、認識した音声あるいはそれに含まれるキーワードが外出する旨を示すものであった場合には、通常状態よりも省エネルギーとなるいわゆるお出かけモードに移行する。このように、制御部12は、入力された音声に応じた処理、つまりは、音声認識処理の認識結果に応じた処理を実行する。なお、制御部12が実行する処理は、例示したものに限定されず、冷蔵庫1の一般的な動作に含まれるものであれば、どのような処理であってもよい。
続いて、制御部12は、音声入力が終了したか否かを判定する(S5)。この場合、制御部12は、例えば音声認識ボタンが細動操作されたり、ステップS4で認識した音声に応じた処理を実行してから一定時間内に次の制御を示す音声が認識できなかったりした場合等に、音声入力が終了したと判定する。
このとき、制御部12は、音声入力が終了していないと判定した場合には(S5:NO)、ステップS4に移行して次の音声入力を待機する。一方、制御部12は、音声入力が終了したと判定した場合には(S5:YES)、機能部の動作を通常の状態、つまりは、音声認識を有効化していないときと同じ状態に復帰させた後(S6)、処理を終了する。
このように、制御部12は、音声認識処理を有効化するための指示に応じて音声認識処理を行い、認識した音声に応じた処理を実行する。
以上説明した冷蔵庫1によれば次のような効果を得ることができる。
実施形態の冷蔵庫1は、使用者の音声を入力するマイク14と、マイク14に入力された音声に対して音声認識処理を行う音声認識処理部12aと、音声認識処理部12aによる認識結果に応じた制御を行う制御部12と、マイク14に対する音の入力を調整する調整部、本実施形態で言えば、マイク14に対して音が入力する入力方向を調整する調整部材(スペーサ部19、断熱部材20、防振部材22)と、を備える。
このような調整部材を設けることにより、マイク14に対する音の入力、本実施形態であれば音が入力する入力方向を調整することができる。その結果、マイク14を使用者に向けて設置する必要が無くなるとともに、必ずしもマイク14を人が位置する冷蔵庫1の正面側に配置しなくてもよくなる。したがって、マイク14を設置する際の位置の自由度を高めることができる。
また、冷蔵庫1は、マイク14の向きとは異なる方向に防音部材(断熱部材20、防振部材22、冷蔵庫1の構造そのもの等)が設けられている。これにより、調整部材によって調整される音声の入力方向以外からマイク14に音声が伝達されることが抑制され、マイク14に入力される音声に、ノイズが混入することを抑制できる。
また、冷蔵庫1に設けたマイク14は、指向性を有している。指向性を有するマイク14は、特定の方向で発生した音声を捉え易いという性質を持っているものの、調整部材を設けることで、マイク14の向きつまりは指向性の方向とは異なる方向で発生した音声をマイク14に伝達することができる。つまり、調整部材は、マイク14を設置する際の向きの自由度も高めることができる。
また、冷蔵庫1に設けたマイク14は、冷蔵庫1の前面開口を開閉する扉に設けられている。冷蔵庫1の扉は、冷蔵庫1の正面側つまりは使用者が位置する側に設けられているため、冷蔵庫1全体でみた場合において、マイク14と使用者との距離が最も小さくなる部位であると考えられる。そのため、そのような扉にマイク14を設けることにより、使用者が発話した音声をより明確に入力できると考えられる。
また、実施形態では、マイク14は、冷蔵室の前面開口を開閉する右扉4に設けられている。冷蔵庫1の場合、冷蔵室は最も上段側の貯蔵室であるため、右扉4は、概ね人の顔に近い位置であると考えられる。そのため、そのような右扉4にマイク14を設けることにより、使用者が発話した音声をより明確に入力できると考えられる。また、実施形態の場合、右扉4には操作パネル11用の基板15が設けられているため、マイク14をその基板15に接続することが容易である。
また、冷蔵庫1の場合、マイク14は、扉の下面側であって、下面から上方に離間した位置に設けられている。例えば濡れた手で扉を開閉した場合や、物品を収納しようとするときや収納されている物品から水分がこぼれた場合には、扉に水分が付着する可能性がある。このとき、図6に示したようにマイク14を扉の下面から上方に離間した位置に設ければ、仮に開口部18まで水分が滴下したとしても、マイク14ならびにマイク14に接続されている基板15まで水分が侵入することを防止できる。
この場合、マイク14に音声が伝達される経路に撥水性不織布21のような撥水性部材を設けることで、水分の侵入をより確実に防止できる。
また、冷蔵庫1は、防振部材22のようなマイク14への振動の伝達を抑制する振動抑制部材を備えている。マイク14は、振動板14bの振動によって音声を検出するが、例えばコンプレッサ26の振動が伝わると、その振動によって振動板14bが振動してノイズとして混入してしまうおそれがある。そこで、防振部材22を設けてマイク14への振動の伝達を抑制することにより、よりクリアな状態で音声を入力することができる。つまり、ノイズとなる振動の伝達を抑制することで、信号である音声に対してS/N比を向上させることができる。
また、冷蔵庫1は、音声認識処理部12aによる音声認識処理を有効化するための指示を入力する入力手段として、実施形態では操作パネル11のボタン領域11aや、他の構成例としての押しボタンあるいは切り替えスイッチ等を備えている。そして、冷蔵庫1の制御部12は、音声認識処理を有効化するための指示が入力された場合、冷蔵庫1に設けられている音あるいは振動を発生させる可能性のある機能部の動作を、音声認識処理が有効化されていない場合とは異なる態様で制御する。
具体的には、制御部12は、機能部の動作を停止する態様、機能部の動作を遅延させる態様、機能部から発生する音又は振動を低下させる態様、及び機能部から発生する音または振動の周波数を可聴範囲外にする態様のうち、少なくとも1つの態様となるように機能部を制御する。すなわち、冷蔵庫1は、音声認識処理が有効化された場合、マイク14に入力される音声が、できるだけ使用者が発話した音声だけとなるように、自身の動作態様を変化させる。
これにより、使用者が発話した音声以外がマイク14に入力されることが抑制され、よりクリアな状態で音声の入力、ひいては音声認識処理を行うことができる。
また、このような構成は、マイク14が冷蔵庫1の上部あるいは上に設けられており、コンプレッサが26も冷蔵庫1の上部内側に設けられているような構成において特に有効になると考えられる。
この場合、例えば図18に示すボタン領域11aのような操作スイッチ(入力手段に相当する)を設けた場合には、例えば「音声認識」の操作スイッチが操作されると、音声認識処理を有効化するようにしてもよい。これにより、不要な音声を拾ったことによる誤動作を防止できるとともに、制御部12にて音声認識処理を常時行う必要が無くなって電力消費を低減することができる。
ところで、操作スイッチが操作されたときには、例えば「音声をどうぞ」といった操作メッセージが再生されることがある。そして、本実施形態の冷蔵庫1は、操作スイッチが操作されると、つまりは、操作メッセージが再生される前や再生されている最中であっても、音声認識処理を有効化する。これは、操作メッセージは、冷蔵庫1から出力されるものであるため、その音声がマイク14に拾われたとしても内部処理にてキャンセルすることができるためである。
これにより、操作スイッチの操作から指示の入力が行えるようになるまでのタイムラグを無くすことができる。つまり、操作メッセージが終了するまで使用者を待たせるようなことがなることで、換言すると、操作から発話までの待ち時間が無くなることで、使い勝手を向上させることができる。なお、操作メッセージでは無く、例えば「ピッ」といた操作音が操作時に再生される構成の場合も同様である。
また、図19に示すように、例えば右扉4の前面であって、概ね人の口とほぼ同じ高さとなる位置にマイク14を設けてもよい。このとき、開口部18を正面に向けることにより、使用者が発話した音声を直接的にマイク14に入力することができる。したがって、より明りょうに音声を入力することができる。
(その他の実施形態)
本発明は、上記した実施形態にて例示したものに限定されることなく、その範囲を逸脱しない範囲で任意に例えば以下のように変形あるいは拡張することができる。
実施形態では指向性を有するマイク14を用いた構成を例示したが、指向性を有さない無指向性マイクを用いてもよい。無指向性マイクを用いる場合であっても、調整部材を設けることにより、位置の自由度を高めることができる等、実施形態と同様の効果を得ることができる。
マイク14を設ける扉は、実施形態で例示した右扉4に限らず、左扉3、野菜室扉5、製氷室扉6、上部冷凍室扉7、下面冷凍室扉8等であってもよい。
振動抑制部材は、実施形態の防振部材22のようにその材質によって振動を防ぐ或いは低下させるものであってもよいし、振動を防ぐ機構を備えた取り付け部材等であってもよい。
実施形態ではマイク14を設けた構成を例示したが、例えば右扉4にスマートホンやタブレット型デバイス等の携帯端末を取り付け可能であり、その携帯端末と制御部12との間で無線方式や有線方式にて通信が可能な場合には、携帯端末に設けられているマイクを用いてもよい。また、携帯端末にて音声認識処理を実行し、その処理結果を制御部12で取得して、機能部を制御する構成としてもよい。また、携帯端末のタッチパネル等を入力手段として用いる構成としてもよい。
各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。本実施形態およびその変形は、発明の範囲および要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
図面中、1は冷蔵庫、2は本体、3は左扉(扉)、4は右扉(扉)、5は野菜室扉(扉)、6は製氷室扉(扉)、7は上部冷凍室扉(扉)、8は下面冷凍室扉(扉)、9は開扉装置、10aは左開扉スイッチ(入力手段)、10bは右開扉スイッチ(入力手段)、11は操作パネル(入力手段)、11aはボタン領域(入力手段)、12は制御部、12aは音声認識処理部、13は人感センサ(入力手段)、14はマイク、19はスペーサ部(調整部材、調整部、防音部材)、20は断熱部材(調整部材、防音部材)、21は撥水性不織布(撥水性部材)、22は防振部材(振動抑制部材、調整部材、調整部、防音部材)、26はコンプレッサ(機能部)、27は送風ファン(機能部)、28は製氷装置(機能部)、29はスピーカ(機能部)を示す。

Claims (12)

  1. 使用者の音声を入力するマイクと、
    前記マイクに入力された音声に対して音声認識処理を行う音声認識処理部と、
    前記音声認識処理部による認識結果に応じた制御を行う制御部と、
    前記マイクに対する音の入力を調整する調整部と、を備え、
    前記調整部は、前記マイクに音が入力する側に設けられている開口と、前記マイクを挟んで前記開口の逆側に配置されている断熱部材とにより構成されている冷蔵庫。
  2. 前記マイクの向きとは異なる方向に防音部材を設けた請求項1記載の冷蔵庫。
  3. 前記マイクは、指向性を有している請求項1または2記載の冷蔵庫。
  4. 前記マイクは、該冷蔵庫の前面開口を開閉する扉に設けられている請求項1から3のいずれか一項記載の冷蔵庫。
  5. 前記マイクは、前記扉の下面側であって、下面から上方に離間した位置に設けられている請求項4記載の冷蔵庫。
  6. 前記マイクに音声が伝達される経路に設けられている撥水性部材を備えた請求項1から5のいずれか一項記載の冷蔵庫。
  7. 前記マイクへの振動の伝達を抑制する振動抑制部材を備えた請求項1から6のいずれか一項記載の冷蔵庫。
  8. 前記音声認識処理部による音声認識処理を有効化するための指示を入力する入力手段を備え、
    前記制御部は、音声認識処理を有効化するための指示が入力された場合、該冷蔵庫に設けられている音あるいは振動を発生させる可能性のある機能部の動作を、音声認識処理が有効化されていない場合とは異なる態様で制御する請求項1から7のいずれか一項記載の冷蔵庫。
  9. 人を検出する人感センサを備え、
    前記制御部は、前記人感センサにて人を検出した場合、音声認識処理を有効化するための指示が入力された場合、前記機能部の動作を音声認識処理が有効化されていない場合とは異なる態様で制御する請求項8記載の冷蔵庫。
  10. 前記制御部は、音声認識処理を有効化するための指示が入力された場合、前記機能部の動作を停止させる請求項8または9記載の冷蔵庫。
  11. 前記制御部は、音声認識処理を有効化するための指示が入力された場合、前記機能部の動作を、その動作によって生じる音の周波数が可聴域外となるように制御する請求項8または9記載の冷蔵庫。
  12. 前記音声認識処理部による音声認識処理を有効化するための指示を入力する入力手段を備え、
    前記制御部は、前記入力手段が操作されると音声認識処理を有効化する請求項1から11のいずれか一項記載の冷蔵庫。
JP2020114012A 2016-01-26 2020-07-01 冷蔵庫 Active JP7037599B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016012379 2016-01-26
JP2016012379 2016-01-26

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016080331A Division JP6730068B2 (ja) 2016-01-26 2016-04-13 冷蔵庫

Publications (2)

Publication Number Publication Date
JP2020183865A true JP2020183865A (ja) 2020-11-12
JP7037599B2 JP7037599B2 (ja) 2022-03-16

Family

ID=59502767

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016080331A Active JP6730068B2 (ja) 2016-01-26 2016-04-13 冷蔵庫
JP2020114012A Active JP7037599B2 (ja) 2016-01-26 2020-07-01 冷蔵庫

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016080331A Active JP6730068B2 (ja) 2016-01-26 2016-04-13 冷蔵庫

Country Status (1)

Country Link
JP (2) JP6730068B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021005860T5 (de) 2020-11-02 2023-08-24 Sony Semiconductor Solutions Corporation Fotodetektor und optisches detektonssystem

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102418952B1 (ko) * 2017-08-31 2022-07-08 삼성전자주식회사 음성인식 기능을 갖는 가전제품
WO2020045902A1 (ko) * 2018-08-27 2020-03-05 엘지전자 주식회사 의류처리장치
CN110873497A (zh) 2018-08-30 2020-03-10 Lg电子株式会社 冰箱
JP7202853B2 (ja) * 2018-11-08 2023-01-12 シャープ株式会社 冷蔵庫
KR102211191B1 (ko) * 2018-12-07 2021-02-03 엘지전자 주식회사 냉장고 및 냉장고의 제어 방법
EP3816549B1 (en) * 2019-11-01 2023-06-07 Arçelik Anonim Sirketi A refrigerator having voice recognition feature
JP7488686B2 (ja) * 2020-04-27 2024-05-22 東芝ライフスタイル株式会社 冷蔵庫
WO2024034988A1 (ko) * 2022-08-11 2024-02-15 삼성전자주식회사 냉장고 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3143849U (ja) * 2008-05-27 2008-08-07 三協特殊無線株式会社 接話型マイクロホン
WO2014208585A1 (ja) * 2013-06-25 2014-12-31 株式会社 東芝 冷蔵庫
US20150254053A1 (en) * 2014-03-06 2015-09-10 General Electric Company Using visual cues to improve appliance audio recognition

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004108604A (ja) * 2002-09-13 2004-04-08 Hitachi Ltd ドア制御装置、自動ドア、ドア制御方法及び自動ドアを用いた冷蔵庫
JP4249211B2 (ja) * 2006-09-11 2009-04-02 小島プレス工業株式会社 車載用コントロールモジュール
JP4924074B2 (ja) * 2007-02-09 2012-04-25 日本電気株式会社 電子機器におけるマイクロホンの実装構造及び電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3143849U (ja) * 2008-05-27 2008-08-07 三協特殊無線株式会社 接話型マイクロホン
WO2014208585A1 (ja) * 2013-06-25 2014-12-31 株式会社 東芝 冷蔵庫
US20150254053A1 (en) * 2014-03-06 2015-09-10 General Electric Company Using visual cues to improve appliance audio recognition

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021005860T5 (de) 2020-11-02 2023-08-24 Sony Semiconductor Solutions Corporation Fotodetektor und optisches detektonssystem

Also Published As

Publication number Publication date
JP6730068B2 (ja) 2020-07-29
JP7037599B2 (ja) 2022-03-16
JP2017133818A (ja) 2017-08-03

Similar Documents

Publication Publication Date Title
JP7037599B2 (ja) 冷蔵庫
CN104180438B (zh) 空气调节器
CN114370734B (zh) 冰箱
JP6676324B2 (ja) 電子機器
EP2027749B1 (en) Household appliance
CN102478297A (zh) 空调机
JP6659204B2 (ja) カメラ装置、室内撮像システム、室内情報取得装置
JP7289044B2 (ja) 冷蔵庫
CN108694948A (zh) 语音服务器、语音识别服务器系统及其动作方法
US9860660B1 (en) Electronic device with speaker cavity cooling
TWI832845B (zh) 冰箱
JP2012002461A (ja) 空気調節機
JP2011056169A (ja) 電気炊飯器
KR102219799B1 (ko) 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법
KR102219800B1 (ko) 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법
US20140184069A1 (en) Door-mounted cabinet lamp
JP7185659B2 (ja) 冷蔵庫
WO2016165240A1 (zh) 一种音响
CN112856887A (zh) 储存装置及其控制方法
JP6920649B2 (ja) 会話支援システム
WO2020143679A1 (en) Consumer appliances having one or more noise cancellation features
CN216873360U (zh) 电子设备
CN209017260U (zh) 耳机
US20230228482A1 (en) Refrigerator and home appliance
JP2001201175A (ja) 遠隔制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210705

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220106

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220117

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220304

R150 Certificate of patent or registration of utility model

Ref document number: 7037599

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150