JP2022106679A - 感情感知スマート冷蔵庫 - Google Patents
感情感知スマート冷蔵庫 Download PDFInfo
- Publication number
- JP2022106679A JP2022106679A JP2022000643A JP2022000643A JP2022106679A JP 2022106679 A JP2022106679 A JP 2022106679A JP 2022000643 A JP2022000643 A JP 2022000643A JP 2022000643 A JP2022000643 A JP 2022000643A JP 2022106679 A JP2022106679 A JP 2022106679A
- Authority
- JP
- Japan
- Prior art keywords
- user
- items
- refrigerator
- response
- eas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/02—Measuring pulse or heart rate
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0006—ECG or EEG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/486—Bio-feedback
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/04—Sensors detecting the presence of a person
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/06—Sensors detecting the presence of a product
Abstract
【課題】感情感知スマート冷蔵庫を提供すること。【解決手段】本感情感知スマート冷蔵庫は、視覚的に誘発された潜在的(VEP)反応などのような、誘発された生理学的反応を介して、感情感知スマート冷蔵庫内に含まれているアイテムに対するユーザの関心を識別するために種々のセンサと表現機構を含み得る。ユーザの関心レベルもまた感情感知スマート冷蔵庫により測定し得る。ユーザの関心レベル、および、ユーザのダイエット、所望される健康目標、ダイエットの規制などのような他の考慮すべき事項と共に、ユーザのVEPを考慮して、感情感知スマート冷蔵庫は、推奨されるアイテムとアイテムの量をユーザに提示し得る。【選択図】図1A
Description
本開示は全般的にスマート冷蔵庫に関する。
冷蔵庫とは、ある時間期間の間、種々の食物(または他のアイテム)の新鮮さを維持および格納するために格納室に蒸発器により生成された冷たい空気を供給する電気器具であると言うことができる。典型的には、冷蔵庫の格納室は複数の室に分割できる。第1室は冷蔵室であってよい(その温度は変動する可能性があるが、典型的には食物または他のアイテムを冷蔵するために約3度に維持されている)。第2室は冷凍室であってよい(その温度もまたまちまちであってよいが、食物または他のアイテムを冷凍するために約-20度に維持できる)。
冷蔵および冷凍室を冷却するために冷却サイクルを繰り返すことができ、冷却サイクルにおいては、冷却剤を圧縮、凝縮、および膨張でき、ある構成要素を使用して蒸発させることができる。それらの構成要素としては、圧縮器、凝縮器、膨張器、および蒸発器を含むことができる。幾つかの冷蔵庫においては、単一の蒸発器構成要素が冷蔵および冷凍室の両者を冷却するために動作できる。幾つかの冷蔵庫においては、冷蔵および冷凍室のそれぞれを別個の蒸発器により冷却できる。
1つの実施形態に従えば、方法は、冷蔵庫に近接しているユーザの存在を検出することと、冷蔵庫に含まれている1つ以上のアイテムに関する、ユーザからの第1生理学的反応を誘発する視覚的刺激を提示することを備えることができる。方法は更に、1つ以上のアイテムの少なくとも1つに関する、ユーザの第1生理学的反応を検出して解析することと、ユーザの第2生理学的反応を測定することを備えることができる。更に方法は、第1および第2生理学的反応に基づいて、1つ以上のアイテムの少なくとも1つに関する対象情報を提示することを有することができる。
幾つかの実施形態においては、視覚的刺激を提示することは、1つ以上のアイテムを表わしている画像をディスプレイ上でユーザに提示することを有しており、提示された画像は固有の振動数で振動する。
幾つかの実施形態においては、視覚的刺激を提示することは、特別な順序に従って、1つ以上のアイテムを表わしている画像をディスプレイ上でユーザに提示することを有している。
幾つかの実施形態においては、1つ以上のアイテムは、冷蔵庫に含まれているアイテムの現在の在庫に対応している。
幾つかの実施形態においては、ユーザの第1生理学的反応を検出することは、ユーザの脳波の活動を無線で監視するように構成されている少なくとも1つの非接触脳波センサを介して、ユーザの脳波の活動を感知することを有しており、第1生理学的反応は、視覚的に誘発された潜在的(VEP)反応を有している。
幾つかの実施形態においては、ユーザのVEP反応を解析することは、ユーザにとっての関心のあるアイテムを示す1つ以上のアイテムの少なくとも1つを識別するために、ユーザの脳波の活動を相関させることを有している。
幾つかの実施形態においては、ユーザの第2生理学的反応を測定することは、ユーザの心拍の活動を決定することを有している。
幾つかの実施形態においては、ユーザの第2生理学的反応を測定することは、体の動きと顔の表情の少なくとも1つを決定することを有している。
幾つかの実施形態においては、対象情報を提示することは、1つ以上のアイテムの少なくとも1つの推奨される量をユーザに提示することを有している。
幾つかの実施形態においては、対象情報を提示することは、1つ以上のアイテムの少なくとも1つの量、およびその1つ以上のアイテムの少なくとも1つに対する代替のアイテムの少なくとも1つを、ユーザプロファイル、ユーザの1つ以上の学習された特性、ユーザにより示された1つ以上の好み、日、および日における時間の少なくとも1つに基づいて評価することを有している。
他の実施形態に従えば、冷蔵庫は、冷蔵庫に近接するユーザの存在を検知する存在センサを備えることができる。冷蔵庫は更に、視覚的に誘発された潜在的(VEP)反応を、冷蔵庫に含まれている1つ以上のアイテムに関する、ユーザから引き出す視覚的刺激を冷蔵庫のディスプレイに提示する視覚的刺激生成構成要素を備えることができる。更に冷蔵庫は、1つ以上のアイテムの少なくとも1つに関するユーザのVEP反応を検出および解析する非接触脳波センサと、ユーザの関心レベル反応を測定する超音波トランスデューサを備えることができる。視覚的刺激生成構成要素は更に、VEP反応と測定された関心レベル反応に基づいて、1つ以上のアイテムの少なくとも1つに関する対象情報を提示できる。
幾つかの実施形態においては、視覚的刺激生成構成要素は、1つ以上のアイテムを表わしている画像をディスプレイ上でユーザに提示することにより視覚的刺激を提示し、提示された画像は固有の振動数で振動する。
幾つかの実施形態においては、冷蔵庫は更に、冷蔵庫に含まれているアイテムの現在の在庫を追尾および維持する在庫追尾構成要素を備えることができる。
幾つかの実施形態においては、冷蔵庫は更に、ユーザにとって関心のあるアイテムを示す1つ以上のアイテムの少なくとも1つを識別するために、ユーザのVEP反応により明白となるユーザの脳波の活動を相関させるプロセッサを備えている。
幾つかの実施形態においては、ユーザの生理学的反応を測定するために、超音波トランスデューサはユーザの心拍数を決定する。
幾つかの実施形態においては、視覚的刺激生成構成要素は、1つ以上のアイテムの少なくとも1つの量、およびその1つ以上のアイテムの少なくとも1つに対する代替のアイテムの少なくとも1つを、ユーザプロファイル、ユーザの1つ以上の学習された特性、ユーザにより示された1つ以上の好み、日、および日における時間の少なくとも1つに基づいて評価することに応答して対象情報を提示する。
本開示は、1つ以上の種々の実施形態に従って、下記の図を参照して詳細に記述される。この図は例示の目的のみのために提供され、単に典型的または例としての実施形態を示しているに過ぎない。
これらの図はすべてを網羅しているわけではなく、本開示を開示されている正確な形状に制限しない。
スマートホームの状況において、種々の技術が存在し、および/または、種々の技術が開発されている。例えば、照明器具やマルチメディアシステムなどのような家庭用電気器具または構成要素は、家庭用Wi-Fiネットワークなどのような家庭用ネットワークに動作可能に接続できる。このようにして、ユーザは、家庭用ネットワークを使用して、そのような家庭用電気器具または構成要素と相互作用できる。例えば、家の住人が物理的に照明スイッチを起動する代わりに、家の住人は単に命令を声に出すだけでよい。ホームネットワークに同様に接続されている1つ以上のセンサ/装置は、家の住人が声に出した命令に対処でき、1つ以上の信号または命令を、照明器具を点灯(または消灯)するために、家の住人の現在の位置に対してある所定の近さにある適用可能な照明器具などに送ることができる。
しかし、そのようなスマートホーム/スマート技術より更に、感情演算処理を実現する努力が行われており、それは、人間の感情(気持ち、感情、または気分の根本的な体験)を認識、解釈、処理、およびシミュレートするシステムと装置の研究および/または開発のことであると言うことができる。従って、種々の実施形態が、ユーザを検出し、そのようなユーザの脳波および/または心拍の活動を読み取り/監視する非接触センサを利用できる感情感知スマート(EAS)冷蔵庫に向けられている。感情演算処理を通して、そのようなEAS冷蔵庫は、EAS冷蔵庫に格納されている食物(または他のアイテム)へのアクセスに関するユーザの所望するものを理解できる。
特に、1つ以上のセンサは、EAS冷蔵庫に近接しているユーザの存在を検出できる。ユーザの存在を検出すると、電気生理学的反応を、脳波の活動および/または心拍数/心拍数間隔の活動を含むユーザの神経システムから引き出すために、ある刺激をユーザに提示できる。幾つかの実施形態においては、そのような電気生理学的反応は、視覚的に誘発された潜在的(VEP)なものであることができる。例えば、ユーザに提示される刺激は、例えば、ユーザにある振動数で表示される、EAS冷蔵庫の内容物の画像、またはそれを表現したものなどの視覚的刺激を含むことができる。視覚的刺激に反応してのユーザの脳波の活動(例えば、ユーザのVEP反応)を検出することにより、冷蔵庫の内容物の1つ以上に対するユーザの関心を測定できる。EAS冷蔵庫を使用/EAS冷蔵庫に近づくことにおける関心の幾つかの閾値または他の徴候を使用できるということは理解されるべきである。例えば、ユーザがEAS冷蔵庫に近接していると感知または検出されている時間のある長さ、例えば、何らかの所定の閾値に合致している/超えているなどは、ユーザが単にEAS冷蔵庫のそばを歩くこととは反対に、ユーザが実際にEAS冷蔵庫を使用すること/EAS冷蔵庫に近づくことに関心があるか否かを突き止めるために測定できる。幾つかの実施形態においては、ユーザの注視の直接性/ユーザが見ている箇所を決定すること(または予測すること)などは、関心の指標として使用できる。
EAS冷蔵庫の内容物に対するユーザの関心を測定することより更に、EAS冷蔵庫はまた、例えば、ユーザの空腹レベルを決定するために、心拍数反応と共にユーザの脳波の活動(脳波図と心電図の表示値/測定値それぞれにより得られる)を利用できる。この情報または評価に基づいて、所望されているアイテムを、その所望されているアイテムの量と共にユーザに推奨できる。他の実施形態においては、あるユーザの好み、またはプロファイル、または体調を、ユーザにとって関心のあるアイテムを推奨するときに考慮できる。例えば、ユーザが空腹であるばかりではなく、現在特別なダイエットを実行中である場合、ユーザに推奨される食物、アイテムの量はそれに従って調整できる。同様にダイエットによる規制を考慮できる。関心のあるアイテムの代替物をユーザに推奨できるなどが可能である。
更に他の実施形態においては、ユーザのVEPを、ユーザと関連付けられている他のバイオメトリック情報と共に考慮できる。例えばユーザは、血圧レベル(血圧モニタから収集される)やグルコースレベル(グルコースモニタから得られる)などのような他のバイオメトリック指標を有している可能性がある。これらの追加的バイオメトリック指標もまたEAS冷蔵庫による推奨を適合または調整するために使用できる。他の例として、スマート体重計はEAS冷蔵庫と通信でき、それにより、食物、アイテムおよび/または食物の量を推奨するときにユーザのVEP反応と共に、ユーザの現在の体重を考慮できる。
更に、幾つかの実施形態においては、EAS冷蔵庫は、家の中の潜在的に不要な人間の存在を検出するために使用できる。例えば、ユーザの存在を検出、および/または、ユーザのVEP反応を検出するための同じセンサおよび/または機構を、EAS冷蔵庫が設置されている、または使用されている家と典型的には関連のない人間(例えば、侵入者)の存在を検出するために使用できる。他の実施形態においては、ユーザの存在を検出、および/または、ユーザのVEP反応を検出するための同じセンサおよび/または機構を、ある人間が医療的緊急事態(例えば、心臓発作、窒息など)の何らかの形状を有しているかどうかを検出するために使用できる。ここにおいて記述されている実施形態は例としてであることが意図されており、必ずしも制限的ではないということは理解されるべきである。
図1Aは、本開示の1つの実施形態に従う、例としてのEAS冷蔵庫100を示しており、EAS冷蔵庫100の第2図を例示している図1Bと連携して記述される。図1Bにおいて例示されているように、EAS冷蔵庫100は冷凍室100aと冷蔵室100bを有することができる。図1Aにおいて例示されているように、冷凍室100aは対応する冷凍室ドア100a-1を有することができ、冷蔵室100bは対応する冷蔵室ドア100b-1を有することができる。上記で言及したように、冷凍状態で維持されるべきアイテムは冷凍室100aに格納でき、一方、冷蔵状態で維持されるべきアイテムは冷蔵室100bに格納できる。
EAS冷蔵庫100はEAS冷蔵庫の1つの例に過ぎないということは理解されるべきである。EAS冷蔵庫は、種々の異なる構成、例えば、異なるドア構成(観音開きドア)、冷凍室が底部に位置している構成、スイング式ドア、スライド式ドアなどの構成を有することができる。他の実施形態に従うEAS冷蔵庫は冷蔵室のみを有することができる。幾つかの実施形態においては、EAS装置またはEAS電気器具が考えられ、その場合は冷凍室のみが構成される。EAS冷蔵庫は、異なる内部構成トレー、キャビネットなどを有するように構成できる。他の実施形態においては、EAS冷蔵庫またはEAS電気器具は、より多くのタイプの室、例えば、1つ以上の特殊化冷蔵室および/または1つ以上の特殊化冷凍室を有することができる。特殊化された室は、特別な冷蔵または冷凍温度/温度範囲を維持でき、特別なタイプのアイテムを格納するために使用できる。図1Bは、EAS冷蔵庫100に格納されているものとしての食糧を例示しているだけであるが、他の非食物タイプの物もそこに格納できるということは理解されるべきである。
図1Aにおいて更に例示されているように、EAS冷蔵庫は少なくとも1つの非接触脳波(CB)センサ102を備えることができる。CBセンサの1つの例は、Freer Logicにより提供される神経生物学的監視センサである。幾つかの実施形態においては、CBセンサ102は、ある近接閾値内の人間の脳波を監視/検出できる無線脳波図(EEG)に基づくセンサを備えることができる。上記で言及したように、CBセンサ102は、ユーザの脳波の活動、例えば、ディスプレイ106上に提示された刺激に対するユーザのVEP反応を検出できる(下記に、より詳細に記述される)。
追加的に、EAS冷蔵庫100は、カメラ、例えばカメラ105、レーダーユニット、超音波/超可聴音トランスデューサまたはスキャナ104などのような追加的センサを含むことができる。そのような追加的センサは、ユーザ検出および/またはユーザ識別のために使用できる。超音波トランスデューサ104の場合、そのようなセンサはまた、ユーザの心拍数/心拍の活動を監視/検出するように構成できる。幾つかの実施形態においては、超音波トランスデューサ104は、ユーザと超音波トランスデューサ104との間の物理的接触を必要とせずにユーザの心拍数/心拍の活動を感知するように構成できる。
組み合わせにおいて、および下記に、より詳細に記述されるように、ユーザの脳波の活動(CBセンサ102から収集される)とユーザの心拍数/心拍の活動(超音波トランスデューサ104から収集される)の両者は協働して、ユーザの空腹反応の1つ以上の態様または特性を示すことができる。例えば、そして上記で言及したように、ユーザの脳波の活動と心拍数から、ユーザが飲食したいと所望している食物、アイテムの量と共に、特別な食物、アイテムを飲食したいとユーザが所望していることを検出できる。心拍数と脳波の活動の両者は、空腹または生理学的空腹の合図に対する精神的反応により影響され、または影響を受ける可能性が高いということは理解されるべきである。
更に、ここにおいて開示されている脳波および心拍の活動の監視/検出の融合により、他の実施形態が考えられる。そのような他の実施形態の1つにおいては、特別なユーザの脳波および心拍の活動を解析してプロファイルを作成するために使用でき、または、その特別なユーザを識別するために使用できる。このようにして、EAS冷蔵庫100は複数のユーザ、例えば、その全員または一部がEAS冷蔵庫100を使用する家族を区別することができる。結果として、EAS冷蔵庫100により提供される内容/量に関して推奨されるものは、ユーザに対して特定的にカスタマイズまたは適合させることができる。
更に追加的に、そして上記に注記したように、EAS冷蔵庫100は侵入者を識別するために使用できる。EAS冷蔵庫100は、特別なユーザを識別するために、脳波の活動および心拍数/心拍の活動の上記の組み合わせを使用できるので、EAS冷蔵庫100が、既知のユーザの「プロファイル」に適合しない、またはそれと一致しない脳波の活動および心拍数/心拍の活動の組み合わせを感知すると、EAS冷蔵庫は、侵入者または認識されていない人間がその近傍において感知されたというある指標を生成できる(警報、テキストを送る、呼び出す、または通知を送信できる)。更に、他の非空腹/食物に関する感知または検出をEAS冷蔵庫100により実行できる。個人の傷害(滑る、落ちる、心臓発作など)などのような緊急事態もまた脳波の活動および心拍の活動に基づいて検出できる。従って、EAS冷蔵庫100は同様に市(区)役所、緊急機関などに、緊急対応を必要とする緊急状況をそれらの機関に知らせる通知を送信できる。EAS冷蔵庫100はまた、そのような通知を他のユーザ、例えば、緊急状況が子供に関して検出されたときは両親に送信することができる。
図2は、1つの実施形態に従うEAS冷蔵庫100の種々の構成要素の模式図を例示している。図1Aと1Bに関して既に上述したように、EAS冷蔵庫100は、1つ以上のCBセンサ102、超音波トランスデューサ104、およびディスプレイ106を備えることができる。追加的に、EAS冷蔵庫100は、視覚的刺激生成器106aと、メニュー110を生成できる1つ以上の在庫センサ108Aを備えることができる在庫追尾機108と共に、プロセッサ112、メモリ114、および通信回路116を備えることができる。
プロセッサ112は、GPU、CPU、マイクロプロセッサ、または任意の他の適切な処理システムを含むことができる。メモリ114は、較正パラメータ、画像(解析または履歴的)、点パラメータ、任意の他の適切な情報と共に、プロセッサ112に対する命令と変数を格納するために使用できる1つ以上の種々の形状のメモリまたはデータ格納装置(例えば、フラッシュ、RAMなど)を含むことができる。メモリ114は、1つ以上の異なるタイプのメモリの1つ以上のメモリユニットから構成でき、CBセンサ102と超音波トランスデューサ104により取得された情報/信号/データを解析するためにプロセッサ112が使用できる動作命令と共に、データと他の情報を格納するように構成できる。
図2の例は、プロセッサとメモリ回路を使用して示されているが、ここにおいて開示されている回路を参照して下記に記述されるように、通信回路116などのような構成要素は、例えば、ハードウェア、ソフトウェア、またはそれらの組み合わせを含む、任意の形状の回路を利用して実現できる。更なる例として、1つ以上のプロセッサ、コントローラ、ASIC、PLA、PAL、DPLD、FPGA、ロジック構成要素、ソフトウェアルーチン、または他の機構を、駆動モード回路210を構成するために実現できる。
通信回路116は、関連付けられているアンテナ122を有する無線トランシーバ回路118と、関連付けられている配線接続されたデータポート(例示されていない)を有する有線I/Oインタフェース120の何れかまたは両者を備えることができる。この例が示しているように、EAS冷蔵庫100および/またはネットワーク140の他の構成要素との通信は、有線および無線通信回路116の何れかまたは両者を含むことができる。無線トランシーバ回路118は、例えば、WiFi、ブルートゥース(登録商標)、近距離無線通信(NFC)、Zigbee(登録商標)などのような多数の通信プロトコルの何れかを介して、および、標準化され、専有権のある、公開され、ポイントツーポイント、ネットワーク化され、またはその他の多数の他の無線通信プロトコルの何れかを介しての無線通信を可能にする送信機と受信機(示されていない)を含むことができる。アンテナ122は無線トランシーバ回路118に結合され、自身が接続されている無線機器に無線信号を無線で送信し、また、その無線機器から無線信号を受信するために無線トランシーバ回路118により使用される。これらの無線信号は、通信回路116により、CBセンサ102、超音波トランスデューサ104などの他のエンティティに送られ、またはそれらから受信されるほとんど如何なるタイプの情報も含むことができる。例えば、ネットワーク140は、通信サーバ/サービス(示されていない)を含むことができ、それを通して受信者に上記の通知を送信でき、または通信サーバ/サービスに上記の通知を送信できる。
有線I/Oインタフェース120は、他の装置との配線接続された通信のための送信機と受信機(示されていない)を含むことができる。例えば、有線I/Oインタフェース120は、CBセンサ102、超音波トランスデューサ104などを含む他の構成要素への配線接続されたインタフェースを提供できる。有線I/Oインタフェース120は、イーサネット(登録商標)または、標準化され、専有権のある、公開され、ポイントツーポイント、ネットワーク化され、またはその他の多数の他の有線通信プロトコルの何れかを使用して他の装置と通信できる。
ユーザ130は、CBセンサ102および/または超音波トランスデューサ104により感知された脳波の活動の存在に関連して、EAS冷蔵庫100に近接しているとして検出できる。他の実施形態においては、近接センサ、カメラ、熱センサなどのようなセンサまたは装置(存在センサ124として例示されている)を、EAS冷蔵庫100に近接しているユーザの存在を検出するために使用できる。ユーザ130の存在を感知すると、存在センサ124は、ユーザ130の存在/EAS冷蔵庫100へのユーザ130の近接を示す信号をプロセッサ112に送ることができる。その結果、プロセッサ112は、在庫追尾機108により実行される在庫評価を開始できる。幾つかの実施形態においては、プロセッサ112は、視覚的刺激生成器106aに、メニュー110の現在の反復/状態に基づいて、画像/アイコン(図3A)を表示することを開始するように単に指示するだけでよい。
上記に注記したように、ディスプレイ106は、視覚的刺激をユーザに提示するために使用できる。ディスプレイ106は任意の適切なタイプのディスプレイ、例えば、液晶ディスプレイ(LCD)、発光ダイオード(LED)に基づくディスプレイなどであってよい。ディスプレイ106は幾つかの実施形態においては、タッチスクリーンディスプレイであってよい。幾つかの実施形態においては、図1において例示されているように、ディスプレイ106は、ドア100a-1または100b-1の1つなどのような、EAS冷蔵庫100の外部表面上において実現できる。複数のディスプレイをEAS冷蔵庫100に設けることができるということは理解されるべきである。例えば、家族の中にはいろいろな背の高さのユーザが含まれていることもあり、そのため、背の低いユーザ、例えば、子供には冷蔵室のドア100b-1上に位置しているディスプレイを提供し、他のディスプレイを背の高いユーザのために冷凍室のドア100a-1の表面上に実現するということができる。幾つかの実施形態では、ディスプレイ106をEAS冷蔵庫100の外部表面上に実現しているが、ディスプレイ106(または複数のディスプレイ)をEAS冷蔵庫100の内部の位置に実現できる。幾つかの実施形態においては、複数のディスプレイが設けられる場合は、それぞれのディスプレイを同じ視覚的刺激生成器106aにより駆動でき、または、それぞれが自身の視覚的刺激生成器構成要素を有することができる。
動作においては、視覚的刺激生成器106aは、メニュー110(EAS冷蔵庫100に格納されているアイテム(またはその一部)を反映しているリストまたは他の表現/情報要素を備えている)に基づいて、アイテムの1つ以上の視覚的表現を表示できる。例えば、視覚的刺激生成器106aは、例えば、食物、アイテムなど冷蔵庫に格納できる種々のアイテムに対応できるアイコンなどの画像の貯蔵部を備えることができる。EAS冷蔵庫100に格納されているアイテムの明細を受信すると、視覚的刺激生成器は画像の貯蔵部にアクセスでき、ディスプレイ106上の表示のために、メニュー110におけるアイテムに対応するそれらのアイコンまたは画像を提示できる。視覚的刺激生成器は、ディスプレイ上に画像を提示できる任意の既知の、または将来開発されるグラフィカル/画像処理ユニットを備えることができるということは留意されるべきである。下記に検討されるように、これらの画像は、画像が特別な振動数で振動するようにユーザに表示できる。
在庫追尾機108は、EAS冷蔵庫100に現在存在しているアイテムの在庫を評価するための構成要素またはプロセッサ112により実行されるロジックを備えることができる。例えば、EAS冷蔵庫100は更に、EAS冷蔵庫100に現在格納/保管されているそれらのアイテムを追尾できる1つ以上の在庫センサ108aを含むことができる。在庫センサ108aは、圧力センサ、1台以上のカメラ、または、EAS冷蔵庫100におけるアイテムを追尾するために適切に使用できる他の既知のセンサであってよい。例えば、図1Bに戻って参照すると、圧力センサは、アイテムを置くことができる表面上に位置させることができる。幾つかの実施形態においては、冷蔵室100bと冷凍室100aのある区画は、あるアイテムまたはあるタイプのアイテムに対して特定できる。このようにして、感知センサ108aの1つ以上の上のアイテムの存在を登録/検出できる。そのような情報は、EAS冷蔵庫100の中のアイテムの現在の在庫を示すメニュー110を生成するために在庫追尾機108が使用できる。
在庫追尾機108は、メニュー100により反映されるアイテムの現在および最新の在庫を維持するために感知センサ108aに連続的に問い合わせることができるということは理解されるべきである。幾つかの実施形態においては、在庫追尾機108は、EAS冷蔵庫100に格納されているアイテムのそれぞれの量を追尾するように構成できる。他の実施形態においては、プロセッサ112は、ユーザ、例えばユーザ130の存在を感知すると、在庫追尾機108にEAS冷蔵庫100の在庫を調べるように催促するだけでよい。ユーザ130を感知すると、プロセッサ112は、EAS冷蔵庫100の中の現在のアイテムおよび/またはそのようなアイテムの量を評価するように感知センサ108aに問い合わせるように在庫追尾機108に指示できる。そして、この現在の在庫を反映するためにメニュー100を生成または更新できる。
在庫追尾機108は更に、特別なアイテムがなくなった、またはある定義された閾値量より少ないと決定すると、そのアイテムを電子的に再注文/それらに対する購入要求を送るように構成できるということにも更に留意すべきである。例えば、EAS冷蔵庫100の中のアイテムの現在の在庫を評価すると、在庫追尾機108は、メニュー100を構成しているアイテムを、補充のために電子的に再注文されるべきアイテムとして特定されているアイテムのリストと比較できる。従って、EAS冷蔵庫100は、それらのアイテムを補充するための注文をするために、例えば、オンライン注文ポータル、ウェブサイト、市場などと、ネットワーク140で/ネットワーク140を介して通信できる。
図3Aを参照すると、視覚的刺激生成器106aは、メニュー100において反映されているEAS冷蔵庫100の内容物/EAS冷蔵庫100に格納されているアイテムに基づいて、それらのアイテムを表わしている画像をディスプレイ106上に提示できる。図3Aにおいて例示されているように、そして例として、視覚的刺激生成器106aは、牛乳パック300、グラス一杯分のソーダ水302、マグカップ一杯分のビール304、リンゴ306、チキンレッグ308、および/またはカップケーキ310を表わしている画像またはアイコンを提示できる。図3Aにおいて例示されているように、これらの画像またはアイコンは、画像/アイコンのそれぞれ、または幾つかは、他とはそれぞれ異なる特別な振動数に従って、振動して、または振動しているように見えるように提示できる。
幾つかの実施形態においては、視覚的刺激生成器106aにより提示される画像またはアイコンは、EAS冷蔵庫100に含まれている特別なアイテムを表わすことができるということは理解されるべきである。例えば、メニュー100が、チキンレッグがEAS冷蔵庫100の中に存在しているということを示すと、視覚的刺激生成器106aは、そのチキンレッグ、例えばチキンレッグ308のアイコンを提示する。他の実施形態においては、視覚的刺激生成器106aは、特別なタイプまたは種類の食物を示すアイコンまたは画像を提示できる。例えば、牛乳パック300を表わすアイコンをディスプレイ106上に提示するときは、牛乳パック300は、EAS冷蔵庫100の中の任意/すべての乳製品を表わすことができる。そのため、視覚的刺激生成器106aは、1つ以上の所望されている図式に従って、画像/アイコンを提示するように構成でき、または指示できるということは理解されるべきである。例えば、あるユーザは、食物、アイテムのより一般的な表現が提示されるように所望することができ、一方、他のユーザは、食物、アイテムのより洗練された/より細分化された表現を所望できる。幾つかの実施形態においては、EAS冷蔵庫100は、所望される方法で画像/アイコンを表示するように製造中/製造後にプログラムできる。幾つかの実施形態においては、ユーザは自分で自由に、アイテムがどのように表示されるべきか/所望される図式に従って指定できる。つまり、ユーザは、既知の入力機構を通して、自分の好みをEAS冷蔵庫100/視覚的刺激生成器106aに入力できる。例えば、そして上記で言及したように、ディスプレイ106はタッチスクリーンであってよく、ユーザは(示されていないメニュー画面において)、自分がEAS冷蔵庫100の内容物をどのように提示させたいか、例えば、特別な食物、アイテム、特別なタイプの食物、アイテム、それらのある組み合わせなどを示すようにしたいかを指定できる。幾つかの実施形態においては、EAS冷蔵庫100は他の入力機構、例えば、マイクロフォン、物理またはソフトボタンなど、それを通してこれらの好みを入力できる入力機構を有することができる。
幾つかの実施形態においては、ユーザが食物または格納されているアイテムの分類、種類などを定義するために使用できる、同じ/類似の入力機構を使用できる。これは、例えば、メニュー110をカスタマイズするために、そのような入力を在庫追尾機108に提供することにより達成できる。例えば、ユーザは、アイテムが、ユーザが実践している特別なダイエット計画に適合しているか否かに従って表示されるアイテムを見たいと所望することができる。先行した例は単なる例であり、制限的であることは意図されていないということは理解されるべきである。
視覚的刺激生成器106aが、異なる振動数で振動している画像(図3Aにおいて例示されているような)の1つ提示すると、CBセンサ102は、CBセンサ102により取り込まれた脳波を介して、提示されている何れのアイテムにユーザが注目しているかを評価できる。つまり、ユーザが、特別な表示されている振動数に反応する場合、そのユーザはその表示されているアイテム/アイテムの種類に関心を示していると仮定することができる。つまり、ユーザは、特別な振動数、例えば、10Hzで振動している、ある視覚的刺激が与えられると、ユーザの脳の視覚皮質は、その振動行動を認識および登録できる。そのため、視覚皮質からの脳波図データを記録することにより、ユーザが何れの視覚的刺激に反応/注目したかを示すために、その振動行動の抽出が可能になる(EEG/EKGデータを抽出することに類似している)。
図3Aにおいて例示されているように、画像またはアイコンは、ユーザ、例えばユーザ130(図2)に同時に提示できる。しかし、そのような画像/アイコンは、例えば、1度に1つ、または定義された一部で提示できるということは理解されるべきである。従って、ユーザのVEP反応は、ディスプレイ106上に表示されているアイテムに対応する、CBセンサ102により受信される脳波の活動に依存して測定できる。つまり、視覚的刺激生成器106aは、画像/アイコンを循環して、各アイテム(またはそのあるグループ)をディスプレイ106上に提示できる。ユーザの脳波の活動は、提示されている異なるアイテムに従って、より活動的、またはより非活動的として登録できる。言い換えると、幾つかの実施形態においては、視覚的刺激生成器106aは、画像/アイコンを非振動的方法で提示することができても、そうすることは必ずしも必要ではなく、CBセンサ102は依然として、ディスプレイ106上に提示されている画像と関連付けられている脳波の活動を通して画像/アイコンを識別できる。例えば、ユーザに提示される画像/アイコンがある色で表示できるように、または、表示のための特別な色で符号化できるように、異なる色をあるアイテムに割り当てることができる。幾つかの実施形態においては、トリガ、例えば、色と振動数の組み合わせを、VEP反応を引き出すために使用できる。
超音波トランスデューサ104は、CBセンサ102と類似して、脳波の活動、心拍数または心拍の活動を除いて、またはその代わりに、ユーザ130の活動を感知できるということは理解されるべきである。例えば、特別な振動数でディスプレイ106上に提示されている牛乳パック300を見たとき(または、ディスプレイ106上の牛乳パック300のみの表現に反応して)、ユーザ130のVEP反応は、牛乳(または、関連する乳製品)に対する関心を示唆している。ユーザ130の心拍数もまた上がり、または急上昇し、それは、ユーザ130が、牛乳(または、関連する乳製品)を飲むことに強いレベルの関心/飲むことを所望していることを表わしているサインであると解釈できる。つまり、幾つかの実施形態においては、VEP反応は、特別なアイテムに対するユーザの関心を突きとめるために使用でき、一方、心拍数/心拍の活動は、その特別なアイテムに対するユーザの関心レベルを測定するために使用できる。特別な表示されているアイテムに対する関心/ユーザ130の反応を検出および解釈することは種々の方法で達成できるということは理解されるべきである。
プロセッサ112は、上記の関心/無関心および関心のレベルを決定するために、CBセンサ102と超音波トランスデューサ104により感知された脳波の活動と心拍数/心拍の活動を解析できる。例えば、メモリ114は、CBセンサ102からの受信信号に基づいて、関心/無関心を評価できるコードまたは指定されたロジック/アルゴリズムを含むことができる。関心のレベルは、超音波トランスデューサ104からの信号に基づいて決定できる。例えば、プロセッサ112は、そのような信号を受信すると、その信号を幾つかの指定された閾値と比較できる。そのような指定された閾値にどの位近いか、そのような指定された閾値からどの位離れているか、そのような指定された閾値をどの位超えているかなどに基づいて、プロセッサ112は、ユーザ130に提示されている特別なアイテムに関する関心のレベルに関して決定することができる。
そしてプロセッサ112は、この関心/無関心情報またはデータを、視覚的刺激生成器106aに中継で送ることができ、そして視覚的刺激生成器106aは、そのアイテムの推奨される量またはそのアイテムのユーザ/消費量と関連付けられている他の情報と共に、関心のあるアイテムを表示できる。例えば、図3Bにおいて例示されているように、脳波の活動を介して、ユーザ130はソーダ水に関心があると決定すると、心拍数/心拍の活動情報に基づいて、画像302を、ソーダ水302の推奨される量などのような情報と共にディスプレイ106上でユーザ130に提示できる。つまり、EAS冷蔵庫100は、1つ以上の基準に基づいて、ユーザ130に対するアイテムの提供物を適合できる。上記に注記したように、そのような適合されたものをユーザ130に提示するときに、ユーザ130のプロファイルを考慮できる。例えば、プロファイルは、ユーザ130と関連付けられている食物の好み、食物の好みの量、ダイエットによる規制、ダイエットの目標などを示すことができる。従って、そのような情報は、このプロファイルの1つ以上の側面に基づいて提示できる。プロファイルが存在しない場合、または、プロファイルに特別なアイテム/アイテムのタイプが指定されていない場合、デフォルトの量をユーザ130に推奨できる。他の実施形態においては、新しいプロファイルを作成できる。開始時に/デフォルトとして、ユーザは、所望の/推奨される食物の量、ダイエットの選択などを手動で指定/決定できる。幾つかの実施形態においては、および時間の経過と共に、アイテムに対するユーザの関心/無関心に関する情報またはデータを、関心(または無関心)のレベルと共に収集でき、例えば、ユーザのプロファイルを更新するために使用できる。
他の実施形態においては、プロセッサ112は、ユーザ130のプロファイル(メモリ114に格納されている)を、特別なアイテムに対する決定された関心/無関心をプロファイルと比較することにより考慮できる。プロファイルが、ユーザ130は、幾つかのダイエットの規制を含む何らかのダイエットをしている/すべきであるということを示すと、プロセッサ112は、ユーザ130が関心を示していると決定されたアイテムとは別のアイテムを提示できる。例えば、ソーダ水(図3B)の推奨される量をユーザ130に提示する代わりに、プロセッサ112は、視覚的刺激生成器106aに、例えば、ジュース306の画像(図3A)など、そのようなダイエットの規制により適合する代替のアイテムをユーザ130に提示するように指示できる。他の実施形態においては、アイテムの推奨された量は、そのような考慮に依存して調整でき、ユーザ130に提示できる。他の実施形態においては、プロファイルは必ずしも必要でないということに留意すべきである。例えば、EAS冷蔵庫100の中に現在格納されているアイテムのメニュー110を決定すると、ユーザ130は、プロファイルに類似している1つ以上のパラメータまたは情報/データを入力できる。例えば、運動した後にユーザ130は、タンパク質を多く含む何らかの食物、アイテムを飲食することに関心を有することがあり得る。従って、ユーザ130は、自身が運動したことを指定でき、それに応答して、プロセッサ112は(メモリ114に格納されているロジック/アルゴリズムを使用して)、タンパク質を多く含む部類に含まれる食物、アイテムを比較でき、現在のメニュー110が、タンパク質を多く含んでいる部類に一致する、または含まれる何らかのアイテムを含んでいるかどうかを決定できる。含まれていれば、プロセッサ112は視覚的刺激生成器106aに、そのような食物、アイテムを、ディスプレイ106を介してユーザ130に表示するように指示する。該当するものが見つからないときは、プロセッサ112はユーザ130に所定の代替物を提示でき、または、ユーザ130により示された所望/要求に該当するものがEAS冷蔵庫100には存在しないという表示を、ディスプレイ106を介して提示できる。幾つかの実施形態においては、そのような表示は、ユーザ130の指定された所望/需要/要求を満たす1つ以上のアイテムの再注文/注文を誘発できる。この技術において通常の技量を有する者には知られている、または理解されている多くの他のシナリオおよび/または考慮される事項を、他の実施形態に従って考慮することができるということは理解されるべきである。つまり、上記のロジック/アルゴリズムは、栄養士が指定したプログラム、ユーザが指定したプログラムなどに適合できる。
上記の決定ロジック/アルゴリズムおよび/または上記のユーザプロファイルは、機械学習または人工知能機構に基づいて決定、生成、および/または適合できるということは理解されるべきである。機械学習は一般的にはモデル、つまり、現実世界の過程の数学的表現を開発することを含み、モデルは、現実世界の過程について予測することができる。モデルを生成するためには、典型的には、モデルを現実世界のシナリオまたは状況に適用する前に、既知のデータセットにより、機械学習アルゴリズムに教師データを提供または入力する。従って、EAS冷蔵庫100は、メモリ114とプロセッサ112、および/または在庫追尾機108を介して、関心/無関心の決定をカスタマイズし、推奨されるアイテムの表現をユーザ130に適合するためになどに機械学習技術を利用できる。最終的に、時間/ある学習期間の経過と共に、モデルはユーザ130が何を飲食したいと所望しているか、感知された脳波/心拍の活動に基づいて何れのアイテムを表示すべきかなどを正確に予測/推定できるようになるはずである。このようにして、EAS冷蔵庫100は、ユーザ130の所望物/必要物および/またはユーザ130に何を提示するかをより良好に評価することを学習できる。幾つかの実施形態においては、そのような機械学習技術は、ユーザのプロファイル、指定された必要物/目標などと適合することが意図されている特定の注文に従うアイテムを表示または提示するように視覚的刺激生成器106aに指示するために視覚的刺激生成器106aに適用できる。
図4は、開示される技術の他の実施形態を例示しており、それにより、CBセンサ102および/または超音波トランスデューサ104の使用の代替として、ユーザ130は、類似の脳波および/または心拍の活動情報を取り込むように構成されているウェアラブルセンサ132を採用できる。CBセンサ102および/または超音波トランスデューサ104の1つまたは両者は、ウェアラブルセンサ132と置き換えることができるということに留意すべきである。更に、ウェアラブルセンサ132は図4において時計または時計のような形状の要素を有しているように例示されているが、ウェアラブルセンサ132は目に付けるもの、頭に付けるもの、衣服などの形状のウェアラブルセンサであってもよいということに留意すべきである。ウェアラブルセンサ132により感知された脳波および/または心拍の活動に関する情報は、近距離センサ(near field sensor)126、または類似の他のセンサ/受信機を介してEAS冷蔵庫100に中継で送ることができる。そのような情報を受信すると、図2と図4で共通な要素は同様に、1つ以上のアイテムに対するユーザ130の関心/無関心を突き止め、アイテム、アイテムの量をユーザ130に提示するなどするために実行/行動できる。
図5は、EAS冷蔵庫の非接触センサを使用して、感情演算処理を達成するために実行できる例としての動作を示しているフローチャートである。動作500において、EAS冷蔵庫などのような冷蔵庫に近接しているユーザの存在を検出できる。上述したように、存在センサ(カメラ、近接センサなど)などのような1つ以上のセンサを、冷蔵庫に近接しているユーザの存在を検出するために使用できる。近接度を測定するために種々の機構を使用できるということに留意すべきである。例えば、冷蔵庫のそばを通り過ぎる如何なる人間も存在センサにより潜在的に感知できる。しかし、幾つかの実施形態においては、感知された人間が実際にEAS冷蔵庫と係ることに関心があるという指標としての近接度を決定するために、感知された存在情報に基づいて測定値を取ることができる。例えば、カメラがユーザの存在を感知した場合、カメラは、感知されたユーザの頭のサイズ/顔の特徴を、ユーザがEAS冷蔵庫100と係りたいと所望していることを示唆するのに十分なほど接近しているか否かを決定するために閾値と比較する。例えば、EAS冷蔵庫100のメモリ114は1つ以上の測定値を含むことができ、その測定値がある範囲内で満たされると、アイテムの視覚的刺激表現を開始することを保証するために十分なほどユーザは近くにいることを意味していると解釈できる。1つ以上の測定値が指定された範囲内でない場合は、プロセッサ112を、冷蔵庫との係りを保証するためにはユーザは遠すぎると決定するように構成できる。近接度または、非接触脳波監視に関するEAS冷蔵庫の動作を開始するための近接度の閾値量を決定するための他の機構を使用できる。他の実施形態においては、近接度は考慮しなくてもよいということは理解されるべきである。その場合、ユーザを単に感知するだけで、視覚的刺激を提示することを開始するようにEAS冷蔵庫に催促できる。しかし、VEP反応が受信/感知されない場合(または、連続するVEP反応が受信/感知されない場合)、EAS冷蔵庫は、待機またはアイドル状態に戻ることができる。しかし、VEP反応の閾値量または連続持続時間が感知された場合、EAS冷蔵庫はその動作を継続できる。
動作502において、冷蔵庫に含まれている1つ以上のアイテムに関する、ユーザからの第1生理学的反応、例えば、VEP反応を誘発する視覚的刺激を提示できる。前述したように、視覚的刺激生成器106aなどのような視覚的刺激生成器は、メニュー110に依存して(そして潜在的には、ユーザプロファイル、適切なパラメータの受信などのような他の考慮すべき事項に従って)、そのようなアイテムを表わしている1つ以上の画像をユーザに提示できる。幾つかの実施形態においては、画像は、特別な振動数などで振動して提示される。そのような画像を提示できる方法は、EAS冷蔵庫に1つ以上のアイテムに対する潜在的な関心についての情報を与えることができる、ユーザからのVEP反応を引き出すことが意図されている。
そのため、動作504において、ユーザの第1生理学的反応を、1つ以上のアイテムの少なくとも1つに関して検出および解析できる。ユーザの第1生理学的/VEP反応の検出は、冷蔵庫の中/冷蔵庫上に実現されている1つ以上CBセンサを使用して達成できる。ユーザのVEP反応の解析は、ユーザの感知された脳波の活動の、提示された画像(アイテムを表わしている)が振動する振動数に対する相関関係を決定することを含むことができる。幾つかの実施形態においては、ユーザのVEP反応の解析は、ユーザの脳波の活動のレベルを特別なアイテムと相関させることができる。ユーザのVEP反応に基づいて、提示されたアイテムの1つ以上に対するユーザの関心を測定するための他の方法または機構を使用できる。
動作506において、ユーザの第2生理学的反応を測定できる。上記のように、そのような生理学的反応は、心拍数または心拍の活動を含むことができ、幾つかの実施形態においては、心拍数または心拍の活動は、超音波トランスデューサにより感知できる。他のタイプのセンサを、ユーザによる他の/追加的生理学的反応を測定するために利用できるということは理解されるべきである。例えば、存在センサ、例えばカメラは、ユーザの顔の表情、ユーザにより示される目の動き、体の動き/言葉などを測定するために使用できる。この技術において通常の技量を有する者は、1つ以上のアイテムに対するある関心または他の特性を示すことができる他のユーザ反応を知っており、そのような反応を感知/解析することは、これらの、または他の考えられる実施形態において実現できるということは理解されるべきである。
動作508において、1つ以上のアイテムの少なくとも1つに関する対象情報を、第1および第2生理学的反応に基づいて提示できる。つまり、そして上記のように、例えば、心拍数/心拍の活動情報と連携してのユーザのVEP反応は、関心のあるアイテムについての対象情報をユーザに提示するために使用できる。例えば、幾つかの実施形態においては、ユーザにより所望されていると決定されたアイテムの推奨される量を(ユーザの第1および第2生理学的反応に基づく)ユーザの空腹のレベルの評価に基づいて提示できる。例えば、高い心拍の活動は、ユーザが所望されるアイテムのより多い量(通常の量より多い量)を熱望していることを示唆する、高いレベルの体を動かす運動を前にしていたことを示すことができる。幾つかの実施形態においては、生理学的反応は、ユーザに提示すべきアイテムのある量を「直接」示すことができる。上記に注記したように、ユーザプロファイルを開発でき、および/または、機械学習または人工知能機構を、冷蔵庫に格納されているアイテムに関するユーザの所望するものを学習するために使用できる。例えば、時間の経過と共に、冷蔵庫は1日の特別な時間にユーザは運動することを学習できる。従って、ある指定された時間期間内に、または指定された日に、そして1日のその時間の後/その日に(ユーザが典型的には運動するとき)、冷蔵庫に近接しているとしてユーザを感知すると、機械学習モデルは、ユーザは特別な量のタンパク質を摂取したいと所望していると予測できる。従って、ユーザが明確に関心を示した(例えば、ユーザのVEP反応に関連して)アイテムに依存して、冷蔵庫は関心を示したアイテムを調べ、高いタンパク質含有量と関連する/それを有していると知られている1つのアイテムを選択し、および/または、ユーザが摂取するそのアイテムの量を示す。ここで再び繰り返すが、そのような例は非制限的な例であり、この技術において通常の技量を有する者は、対象情報を提示するための根拠として使用できる種々の要因/考慮すべき事項、および、そのような要因/考慮すべき事項が、結果としての対象情報と共に考慮されることを可能にするためにロジック、回路などをどのように達成するかを理解するであろう。
ここにおいて使用されているように、回路と構成要素という用語は、本願の1つ以上の実施形態に従って実行できる機能の所与のユニットを表わすことができる。ここにおいて使用されているように、構成要素は、任意の形状のハードウェア、ソフトウェア、またはそれらの組み合わせを利用して実現できる。例えば、1つ以上のプロセッサ、コントローラ、ASIC、PLA、PAL、CPLD、FPGA、ロジック構成要素、ソフトウェアルーチン、または他の機構を、構成要素を構成するために実現できる。ここにおいて記述されている種々の構成要素は、分離した構成要素として実現でき、または、記述されている機能と特徴は、1つ以上の構成要素の間で、一部または全部を共有できる。言い換えれば、この記述を読んだ後の、この技術における通常の技量を有するものには明白なように、ここにおいて記述されている種々の特徴と機能は、任意の所与の適用において実現できる。それらは、種々の組み合わせおよび並べ替えにおいて、1つ以上の別個の、または共有される構成要素において実現できる。種々の特徴または機能要素はそれぞれ別個の構成要素として記述または主張できるが、これらの特徴/機能は、1つ以上の共通のソフトウェアおよびハードウェア要素間で共有できるということは理解されるべきである。そのような記述は、別個のハードウェアまたはソフトウェア構成要素が、そのような特徴または機能を実現するために使用されることを要求または意味していない。
構成要素が、その全部または一部がソフトウェアを使用して実現される場合、これらのソフトウェア要素は、それらに関して記述された機能を実行できる演算処理または処理構成要素と共に動作するように実現できる。1つのそのような例としての演算処理構成要素が図6に示されている。種々の実施形態は、この例としての演算処理構成要素600の観点から記述されている。この記述を読んだ後は、関連する技術における技量を有する者には、他の演算処理構成要素またはアーキテクチャを使用してどのように適用を実現するかは明白となるであろう。
ここで図6を参照すると、演算処理構成要素600は、例えば、自己調整ディスプレイ、デスクトップ、ラップトップ、ノートブック、およびタブレットコンピュータ内において見出される演算処理または処理機能を表現できる。それらの機能は、手持ち型演算処理装置(タブレット、PDA、スマートフォン、セルフォン、パームトップなど)において見出すことができる。それらの機能は、所与の適用または環境に対して望ましい、または適切であることができるものとして、ワークステーション、ディスプレイを有する他の装置、サーバ、または任意の他のタイプの特殊目的または汎用演算処理装置において見出すことができる。演算処理構成要素600はまた、所与の装置に埋め込まれている、または、所与の装置が利用可能な演算処理機能を表現できる。例えば、演算処理構成要素は、例えば、携帯型演算処理装置などのような他の電子装置において、および何らかの形状の処理機能を含むことができる他の電子装置において見出すことができる。
演算処理構成要素600は、例えば、1つ以上のプロセッサ、コントローラ、制御構成要素、または他の処理装置を含むことができる。演算処理構成要素600はプロセッサ604を含むことができる。プロセッサ604は、例えば、マイクロプロセッサ、コントローラ、または他の制御ロジックなどのような、汎用または特殊目的処理エンジンを使用して実現できる。プロセッサ604はバス602に接続できる。しかし、任意の通信媒体を、演算処理構成要素600の他の構成要素との相互作用を促進するために、または外部と通信するために使用できる。
演算処理構成要素600はまた、ここにおいては単にメインメモリ608と称されている1つ以上のメモリ構成要素を含むことができる。例えば、ランダムアクセスメモリ(RAM)または他のダイナミックメモリは、情報およびプロセッサ604により実行される命令を格納するために使用できる。メインメモリ608はまた、プロセッサ604により実行される命令の実行中に、一時的変数または他の中間情報を格納するために使用できる。演算処理構成要素600は同様に、リードオンリメモリ(「ROM」)または、静的情報およびプロセッサ604に対する命令を格納するための、バス602に結合されているスタティク格納装置を含むことができる。
演算処理構成要素600はまた、1つ以上の種々の形状の情報格納機構610を含むことができ、情報格納機構610は、例えば、媒体ドライブ612と格納ユニットインタフェース620を含むことができる。媒体ドライブ612は、固定または取り外し可能な媒体614をサポートするためのドライブまたは他の機構を含むことができる。例えば、ハードディスクドライブ、ソリッドステートドライブ、磁気テープドライブ、光学式ドライブ、コンパクトディスク(CD)またはデジタルビデオディスク(DVD)ドライブ(RまたはRW)、または他の取り外し可能または固定媒体ドライブを設けることができる。格納媒体614は、例えば、ハードディスク、集積回路アセンブリ、磁気テープ、カートリッジ、光ディスク、CDまたはDVDを含むことができる。格納媒体614は、媒体ドライブ612が読むことができ、そこに書くことができ、またはアクセスできる任意の他の固定または取り外し可能媒体であってよい。これらの例が示しているように、格納媒体614は、コンピュータソフトウェアまたはデータを格納しているコンピュータ使用可能格納媒体を含むことができる。
代替の実施形態においては、情報格納機構610は、コンピュータプログラムまたは他の命令またはデータが演算処理構成要素600にロードされることを可能にするための他の類似の手段を含むことができる。そのような手段は、例えば、固定または取り外し可能格納ユニット622とインタフェース620を含むことができる。そのような格納ユニット622とインタフェース620の例としては、プログラムカートリッジとカートリッジインタフェース、取り外し可能メモリ(例えば、フラッシュメモリまたは他の取り外し可能メモリ構成要素)、およびメモリスロットを含むことができる。他の例としては、PCMCIAスロットおよびカード、ソフトウェアとデータが格納ユニット622から演算処理構成要素600に転送されることを可能にする他の固定または取り外し可能格納ユニット622とインタフェース620を含むことができる。
演算処理構成要素600はまた通信インタフェース624を含むことができる。通信インタフェース624は、ソフトウェアとデータが演算処理構成要素600と外部装置との間で転送されることを可能にするために使用できる。通信インタフェース624の例としては、モデム、ソフトモデム、ネットワークインタフェース(イーサネット(登録商標)、ネットワークインタフェースカード、IEEE 802.XXまたは他のインタフェースなどのような)を含むことができる。他の例としては、通信ポート(例えば、USBポート、IRポート、RS232ポート、ブルートゥース(登録商標)インタフェース、または他のポートなどのような)、または他の通信インタフェースが含まれる。通信インタフェース624を介して転送されるソフトウェア/データは、電子的、電磁気的(光学的を含む)または、所与の通信インタフェース624により交換することが可能な他の信号であってよい信号上で搬送できる。これらの信号は、チャネル628を介して通信インタフェース624に提供できる。チャネル628は信号を搬送でき、有線または無線通信媒体を使用して実現できる。チャネルの幾つかの例としては、電話線、セルラーリンク、無線リンク、光リンク、ネットワークインタフェース、ローカルまたはワイドエリアネットワーク、および他の有線または無線通信チャネルを含むことができる。
この文献においては、「コンピュータプログラム媒体」と「コンピュータ使用可能媒体」という用語は、一般的には、一時的または非一時的媒体を指している。そのような媒体は、例えば、メモリ608、格納ユニット620、媒体614、およびチャネル620であってよい。これらの、および他の種々の形状のコンピュータプログラム媒体またはコンピュータ使用可能媒体は、1つ以上の命令の1つ以上のシーケンスを実行のために処理装置に搬送することに関与させることができる。媒体に埋め込まれているそのような命令は、一般的には、「コンピュータプログラムコード」または「コンピュータプログラム製品」(コンピュータプログラムまたは他のグループ化の形状でグループ化できる)と称される。そのような命令は実行されると、演算処理構成要素600が、ここにおいて検討されているような本願の特徴または機能を実行することを可能にできる。
個々の実施形態の1つ以上に記述されている種々の特徴、態様、および機能は、その適用可能性において、それらが記述されている特別な実施形態に制限されないということは理解されるべきである。そうではなく、それらは、単独で、または種々の組み合わせにおいて1つ以上の他の実施形態に、それらの実施形態が記述されていようがいまいが、または、そのような特徴が、記述された実施形態の一部として提示されていようがいまいが適用できる。そのため、本願の広さおよび範囲は、上記の例としての実施形態の何れによっても制限されるべきではない。
この文献において使用される用語とフレーズ、およびそれらの変形は、別途、明示的に記述されない限り、制限的とは反対に、非制限的なものとして解釈されるべきである。上記の例として、「含んでいる」という用語は、「制限なしに含んでいる」などを意味していると読まれるべきである。「例」という用語は、検討されている事項の実例を提供するために使用されており、それらを網羅しているリスト、またはそれらを制限しているリストではない。「1つの」という用語は、「少なくとも1つの」、「1つ以上の」などを意味していると読まれるべきであり、そして「従来の」、「慣習的な」、「通常の」、「標準の」、「既知の」などのような形容詞。類似の意味の用語は、所与の時間期間に対して記述されている事項、または、所与の時間時点において利用可能な事項を制限するとは解釈されるべきではない。そうではなく、それらは、現在または将来の何れかの時間において利用可能または既知であることができる、従来の、慣習的な、通常の、または標準の技術を含んでいると読まれるべきである。この文献が、この技術において通常の技量を有する者にとっては明白または既知の技術に言及するときは、そのような技術は、現在または将来の何れかの時間において当業者には明白または既知の技術も含んでいる。
幾つかの例における、「1つ以上の」、「少なくとも」、「しかし~に制限されない」、または他の類似のフレーズなどのような、意味を広げる語句とフレーズの存在は、そのような意味を広げるフレーズが存在しなくてよい例においては、より狭い場合が意図されている、または要求されているということを意味しているとは読まれるべきではない。「構成要素」という用語の使用は、構成要素の一部として記述または主張されている態様または機能がすべて、共通のパッケージにおいて構成されているということを意味していない。実際には、構成要素の種々の態様の何れかまたはすべては、制御ロジックであろうが他の構成要素であろうが、単一のパッケージに組み合わせることができ、または、別個に維持でき、多数のグループ化またはパッケージにおいて、または多数の箇所にわたり更に分散できる。
追加的に、ここにおいて記述された種々の実施形態は、例としてのブロック図、フローチャート、および他の例示に関して記述されている。この技術における通常の技量を有する者には、この文献を読んだ後に明白になるように、例示されている実施形態およびそれらの種々の代替は、示されている例に制限されることなく実現できる。例えば、ブロック図およびその付随する記述は、特別なアーキテクチャまたは構成を義務付けているとは解釈されるべきではない。
Claims (16)
- 冷蔵庫に近接しているユーザの存在を検出することと、
前記冷蔵庫に含まれている1つ以上のアイテムに関する、前記ユーザからの第1生理学的反応を誘発する視覚的刺激を提示することと、
前記1つ以上のアイテムの少なくとも1つに関する、前記ユーザの第1生理学的反応を検出して解析することと、
前記ユーザの第2生理学的反応を測定することと、
前記第1および第2生理学的反応に基づいて、前記1つ以上のアイテムの少なくとも1つに関する対象情報を提示することと、
を有する、方法。 - 前記視覚的刺激を提示することは、前記1つ以上のアイテムを表わしている画像をディスプレイ上で前記ユーザに提示することを有しており、
前記提示された画像は固有の振動数で振動する、請求項1に記載の方法。 - 前記視覚的刺激を提示することは、特別な順序に従って、前記1つ以上のアイテムを表わしている画像をディスプレイ上で前記ユーザに提示することを有している、請求項1に記載の方法。
- 前記1つ以上のアイテムは、前記冷蔵庫に含まれているアイテムの現在の在庫に対応している、請求項1に記載の方法。
- 視覚的に誘発された潜在的(VEP)反応を有している前記ユーザの第1生理学的反応を検出することは、前記ユーザの脳波の活動を無線で監視するように構成されている少なくとも1つの非接触脳波センサを介して、前記ユーザの脳波の活動を感知することを有している、請求項1に記載の方法。
- 前記ユーザのVEP反応を解析することは、前記ユーザにとっての関心のあるアイテムを示す前記1つ以上のアイテムの前記少なくとも1つを識別するために、前記ユーザの脳波の活動を相関させることを有している、請求項5に記載の方法。
- 前記ユーザの前記第2生理学的反応を測定することは、前記ユーザの心拍の活動を決定することを有している、請求項1に記載の方法。
- 前記ユーザの前記第2生理学的反応を測定することは、体の動きと顔の表情の少なくとも1つを決定することを有している、請求項1に記載の方法。
- 前記対象情報を提示することは、前記1つ以上のアイテムの前記少なくとも1つの推奨される量を前記ユーザに提示することを有している、請求項1に記載の方法。
- 前記対象情報を提示することは、前記1つ以上のアイテムの前記少なくとも1つの量、および前記1つ以上のアイテムの前記少なくとも1つに対する代替のアイテムの少なくとも1つを、ユーザプロファイル、前記ユーザの1つ以上の学習された特性、前記ユーザにより示された1つ以上の好み、日、日における時間の少なくとも1つに基づいて評価することを有している、請求項1に記載の方法。
- 冷蔵庫であって、
前記冷蔵庫に近接しているユーザの存在を検知する存在センサと、
視覚的に誘発された潜在的(VEP)反応を、前記冷蔵庫に含まれている1つ以上のアイテムに関して、前記ユーザから引き出す視覚的刺激を前記冷蔵庫のディスプレイに提示する視覚的刺激生成構成要素と、
前記1つ以上のアイテムの少なくとも1つに関する、前記ユーザのVEP反応を検出および解析する非接触脳波センサと、
前記ユーザの関心レベル反応を測定する超音波トランスデューサを備えており、
前記視覚的刺激生成構成要素は更に、前記VEP反応と前記測定された関心レベル反応に基づいて、前記1つ以上のアイテムの前記少なくとも1つに関する対象情報を提示する、冷蔵庫。 - 前記視覚的刺激生成構成要素は、前記1つ以上のアイテムを表わしている画像をディスプレイ上で前記ユーザに提示することにより前記視覚的刺激を提示し、
前記提示された画像は固有の振動数で振動する、
請求項11に記載の冷蔵庫。 - 前記冷蔵庫に含まれているアイテムの現在の在庫を追尾および維持する在庫追尾構成要素を更に有している、請求項11に記載の冷蔵庫。
- 前記ユーザにとって関心のあるアイテムを示す前記1つ以上のアイテムの前記少なくとも1つを識別するために、前記ユーザのVEP反応により明白となる前記ユーザの脳波の活動を相関させるプロセッサを更に有している、請求項11に記載の冷蔵庫。
- 前記ユーザの生理学的反応を測定するために、前記超音波トランスデューサは前記ユーザの心拍数を決定する、請求項11に記載の冷蔵庫。
- 前記視覚的刺激生成構成要素は、前記1つ以上のアイテムの少なくとも1つの量、および前記1つ以上のアイテムの少なくとも1つに対する代替のアイテムの少なくとも1つを、ユーザプロファイル、前記ユーザの1つ以上の学習された特性、前記ユーザにより示された1つ以上の好み、日、および日における時間の少なくとも1つに基づいて評価することに応答して前記対象情報を提示する、請求項11に記載の冷蔵庫。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/143,937 | 2021-01-07 | ||
US17/143,937 US20220211278A1 (en) | 2021-01-07 | 2021-01-07 | Emotion-aware smart refrigerator |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022106679A true JP2022106679A (ja) | 2022-07-20 |
Family
ID=82219920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022000643A Pending JP2022106679A (ja) | 2021-01-07 | 2022-01-05 | 感情感知スマート冷蔵庫 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220211278A1 (ja) |
JP (1) | JP2022106679A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210294904A1 (en) * | 2020-03-20 | 2021-09-23 | 5thColumn LLC | Generation of an asset evaluation regarding a system aspect of a system |
EP4115779A1 (de) * | 2021-07-06 | 2023-01-11 | Vorwerk & Co. Interholding GmbH | Haushaltsgerät mit multifunktionaler anzeige |
-
2021
- 2021-01-07 US US17/143,937 patent/US20220211278A1/en active Pending
-
2022
- 2022-01-05 JP JP2022000643A patent/JP2022106679A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220211278A1 (en) | 2022-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11263498B2 (en) | Method and system for providing information related to a status of an object in a refrigerator | |
US10110677B2 (en) | Context-aware decision making | |
KR102396291B1 (ko) | 데이터 처리 방법 및 그 전자 장치 | |
JP2022106679A (ja) | 感情感知スマート冷蔵庫 | |
US20140335490A1 (en) | Behavior tracking and modification system | |
US20120059664A1 (en) | System and method for management of personal health and wellness | |
KR20190096851A (ko) | 비전 인식 기반의 조리기 제어 방법 및 제어 장치 | |
KR20180129778A (ko) | 건강 상태 증진을 위한 집합적 및 연속적 학습을 제공하는 시스템 및 방법 | |
KR20180126911A (ko) | 건강 관리 방법 및 장치 | |
Plötz et al. | Activity recognition and healthier food preparation | |
TW201413201A (zh) | 冰箱 | |
US20200278238A1 (en) | Sensing pad | |
US20150068720A1 (en) | Method and Apparatus for an Infant-milk Warmer | |
US20240095143A1 (en) | Electronic device and method for controlling same | |
KR20210137592A (ko) | 냉장고 및 냉장고의 물품 관리 방법 | |
US20230245741A1 (en) | Information processing device, information processing system, and information processing method | |
US10832590B2 (en) | Monitoring food intake | |
Li et al. | IDAct: Towards unobtrusive recognition of user presence and daily activities | |
Yumak et al. | Survey of sensor-based personal wellness management systems | |
US20210335476A1 (en) | Food packaging selection and handling | |
US10102769B2 (en) | Device, system and method for providing feedback to a user relating to a behavior of the user | |
US11862037B1 (en) | Methods and devices for detection of eating behavior | |
JP2021089105A (ja) | 食材管理システム | |
Kang et al. | Sensor Fusion and Device Collaboration based Smart Plug Hub Architecture for Precise Identification of ADL in Real-Time | |
KR20230129866A (ko) | 음식섭취 지원 서비스를 제공하는 방법 및 장치 |