JP2020135417A - 食材又は調味料の使用量を推定する情報装置、プログラム及び方法 - Google Patents
食材又は調味料の使用量を推定する情報装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP2020135417A JP2020135417A JP2019028080A JP2019028080A JP2020135417A JP 2020135417 A JP2020135417 A JP 2020135417A JP 2019028080 A JP2019028080 A JP 2019028080A JP 2019028080 A JP2019028080 A JP 2019028080A JP 2020135417 A JP2020135417 A JP 2020135417A
- Authority
- JP
- Japan
- Prior art keywords
- foodstuff
- type
- seasoning
- registration table
- usage amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
インターネット上のWebサイトには、食材毎に又は料理毎の栄養成分も公開されている。しかしながら、家庭内で日常的に調理される料理の場合、その食材又は調味料の使用量や各栄養成分の含有量を算定することは難しい。
また、食器に盛られた食事要素が映り込む料理画像から、食事毎の栄養成分を算定すると共に、その食事を摂取したユーザ識別子毎に、その栄養成分をサーバに蓄積して管理する技術もある(例えば特許文献2参照)。
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、当該食材又は調味料の使用量を紐付けた第1の登録テーブルと、
映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
映像から、食材又は調味料を投入する動作種別を識別する動作検出エンジンと、
第1の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を推定する使用量推定手段と
を有することを特徴とする。
動作検出エンジンは、映像から、ユーザの上肢における複数の骨格位置を時系列に抽出し、当該骨格位置の時系列変位から動作種別を識別することも好ましい。
物体検出エンジンは、映像から、ユーザが上肢に持つ容器具を検出し、当該容器具に応じた食材種別を識別することも好ましい。
動作検出エンジンは、映像から、ユーザの上肢が、当該食材又は調味料の投入先の調理器具の上方に位置した際に、投入動作としての動作種別を識別することも好ましい。
動作検出エンジンは、動作種別として、振り出し動作、揺すり出し動作、注ぎ動作、押し出し動作、又は、さじ投入動作のいずれかを識別することも好ましい。
物体検出エンジンは、映像から抽出した特徴情報と、予め登録された食材又は調味料の特徴情報とをマッチングさせることも好ましい。
第1の登録テーブルは、食材種別及び動作種別の組に、動作単位時間を加えて、食材又は調味料の使用量を紐付けており、
動作検出エンジンは、動作種別と共に、動作継続時間を検出し、
使用量推定手段は更に、動作単位時間に対する動作継続時間に基づいて使用量を推定することも好ましい。
第1の登録テーブルは、食材種別及び動作種別の組に、動作変位強度を加えて、食材又は調味料の使用量を紐づけて記憶し、
動作検出エンジンは、動作種別と共に、動作変位強度を検出し、
使用量推定手段は更に、使用量を動作変位強度で重み付けることによって推定する
ことも好ましい。
第1の登録テーブルは、食材種別毎に、最大使用量が紐付けされており、
使用量推定手段によって推定された食材種別の使用量が、第1の登録テーブルに記憶された最大使用量を超えた際に、ユーザに対して第1のアラームを通知する第1のアラーム通知手段を
更に有することも好ましい。
食材種別毎に、使用単位量と各栄養成分及びその含有量とを紐付けた第2の登録テーブルと、
第2の登録テーブルを用いて、使用量推定手段によって推定された食材種別毎の使用量から、栄養成分及びその含有量を算出する栄養成分算出手段と
を更に有することも好ましい。
映像に、食材又は調味料の容器具に記述された栄養成分表示部分が映り込んでいる際に、当該栄養成分表示部分から当該食材種別における使用単位量及び栄養成分を、文字認識によって読み取る文字認識手段と
を更に有することも好ましい。
文字認識手段によって読み取られる栄養成分表示部分は、食品表示法によって原則として全ての予め包装された一般消費者向け加工食品及び添加物に記載することが義務付けられている当該加工食品及び添加物の栄養成分情報を記載した部分であることも好ましい。
第2の登録テーブルは、食材種別の栄養成分毎に、最大含有量が紐付けられており、
使用量推定手段によって推定された食材種別におけるいずれかの栄養成分の含有量が、第2の登録テーブルに記憶された栄養成分の最大含有量を超えた際に、ユーザに対して第2のアラームを通知する第2のアラーム通知手段を
更に有することも好ましい。
調理中の映像の撮影開始から、又は、ユーザによる使用量推定開始指示から、栄養成分毎に、栄養成分算出手段から出力された含有量を累積する栄養成分累積手段を
更に有することも好ましい。
栄養成分毎に、最大累積含有量を紐付けた第3の登録テーブルと、
栄養成分累積手段によって累積されたいずれかの栄養成分の累積含有量が、第3の登録テーブルに記憶された栄養成分の最大累積含有量を超えた際に、ユーザに対して第3のアラームを通知する第3のアラーム通知手段と
を更に有することも好ましい。
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、当該食材又は調味料の使用量を紐付けた第1の登録テーブルと、
映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
映像から、食材又は調味料を投入する動作種別を識別する動作検出エンジンと、
第1の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を推定する使用量推定手段と
してコンピュータを機能させることを特徴とする。
装置は、食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、当該食材又は調味料の使用量を紐付けた第1の登録テーブルとを有し、
装置は、
映像から、食材又は調味料の食材種別を識別すると共に、食材又は調味料を投入する動作種別を識別する第1のステップと、
第1の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を推定する第2のステップと
を実行することを特徴とする。
端末2は、スマートフォンのような携帯端末を想定しているが、Webカメラのような端末であってもよいし、カメラが接続されたパーソナルコンピュータやヘッドマウントディスプレイ(HMD)であってもよい。
勿論、他の実施形態として、情報装置1自体が、スマートフォンであって、本発明の全ての機能を一体的に組み込んだものであってもよい。
ユーザID、年代、性別、調理日時、調理品名[味噌汁/野菜炒め/等]
これによって、情報装置1は、映像から推定した食材又は調味料の使用量を、そのユーザ属性に対応付けて管理することもできる。
情報装置1は、映像受信部10と、第1の登録テーブル101と、物体検出エンジン11と、動作検出エンジン12と、使用量推定部13とを有する。
また、端末2へ、調理中のユーザに対するアラームを通知するために、第2の登録テーブル102と、第3の登録テーブル103と、栄養成分算出部14と、文字認識部15と、第1のアラーム通知部171と、第2のアラーム通知部172と、第3のアラーム通知部173と更に有する。
これら機能構成部は、情報装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、食材使用量推定方法としても理解できる。
尚、図2によれば、情報装置1は、サーバとして表されているが、各機能構成部を、端末とサーバとに分散させて、又は複数のサーバに分散させて、ネットワークを介して接続するものであってもよい。
映像受信部10は、端末2から、ユーザにおける調理中の映像を受信し、物体検出エンジン11及び動作検出エンジン12へ出力する。また、オプション的な実施形態によれば、調理中の映像を、文字認識部15へも出力することも好ましい。
第1の登録テーブル101は、食材又は調味料に基づく「食材種別」と、ユーザの上肢(手及び腕)の投入動作に基づく「動作種別」との組毎に、当該食材又は調味料の使用量を紐付けたものである。
ここでは、食材種別として、例えば食卓塩、醤油、ケチャップのような調味料が表されている。例えば、食卓塩は小瓶入りのものであり、醤油は1リットルボトル入りのものであり、ケチャップはチューブ入りのものであるとする。
また、動作種別として、食卓塩に対して、例えば振り出しや揺すり出し等が対応付けられている。ここで、食卓塩に対して振り出し動作がなされた場合、その使用量は0.15gとなることが登録されている。
ここで、例えば食卓塩に対して振り出し動作がなされた場合、動作単位時間2秒毎に、その使用量は0.15gとなることが登録されている。
例えば以下のように、動作種別毎に異なる物理的変化量を「動作変位強度」とし、離散的に区分することができる。
振り出し動作 :変化前後の速度ベクトルの内積値
揺すり出し動作:周期運動の周期
注ぎ動作 :角度
押し出し動作 :親指先と他の指先の間の距離の変化量
例えば食材種別「ケチャップ(チューブ入り)」について、動作種別「押し出し」に対して、動作変位強度「5mm以上〜8mm未満」で、動作継続時間「4秒」の場合、使用量「6.0g」と登録されている。
また同様に、例えば食材種別「ケチャップ(チューブ入り)」について、動作種別「押し出し」に対して、動作変位強度「10mm以上」で、動作継続時間「2秒」の場合、使用量「6.0g」と登録されている。
尚、「動作継続時間」は、動作単位時間の倍数となっており、これに応じて使用量も倍数として乗算することができる。
物体検出エンジン11は、映像から、食材又は調味料の「食材種別」を識別する。識別された食材種別は、使用量推定部13へ出力される。
物体検出エンジン11は、食材又は調味料が入った容器具の形状を検出するものであってもよいし、食材そのものの形状を検出するものであってもよい。
物体検出エンジン11は、調理中の映像から特徴情報を抽出し、予め登録されている特徴情報との間でマッチングさせることにより、食材又は調味料を検出する(例えば非特許文献4又は5参照)。
ここで、物体検出エンジン11は、物体として検出した当該容器具に応じた「食材種別」を識別することができる。例えば食卓塩が入った瓶の形状、醤油が入った1リットルボトルの形状、ケチャップが入ったチューブの形状から、それぞれの食材種別を識別する。
(1)SIFT特徴量(例えば非特許文献6参照)及びSURF特徴量(例えば非特許文献7参照)
SIFT(Scale-Invariant Feature Transform)は、1枚の画像から128次元の特徴ベクトルの集合を抽出する。SIFTとは、スケールスペースを用いて特徴的な局所領域を解析し、そのスケール変化及び回転に不変(ロバスト)となる特徴ベクトルを記述する技術である。一方で、SURF(Speeded Up Robust Features)は、SIFTよりも高速処理が可能であって、1枚の画像から64次元の特徴ベクトルの集合を抽出する。SIFTは、処理コストが高く且つリアルタイムマッチングが困難であるのに対し、SURFは、積分画像を利用することによって処理を高速化している。
これら技術は、回転及び拡大縮小又は射影変化(射影変換による歪み)に対して不変な性質を有し、画像の局所領域における相対的な輝度勾配に基づいて算出される局所特徴量を用いることができる。
ORB(Oriented FAST and Rotated BRIEF)は、1つのコンテンツから256ビットのバイナリ特徴ベクトルの集合を抽出する。例えば、高速にマッチングを実行するべく、バイナリコードによる特徴記述としてのBRIEF(Binary Robust Independent Elementary Features)に、回転不変性を導入した特徴記述をしたものである。特に、ORBによれば、SIFTやSURFと比較して、同等以上の精度を保持すると共に、数百倍の高速化を実現することができる。
ORBの特徴点検出処理によれば、高速にキーポイントを検出するためにFAST(Features from Accelerated Segment Test)を用いる。また、FASTでは、スケール変化に対してロバストではないため、画像を複数のサイズに変換し、それぞれのサイズの画像から特徴点を抽出する。
また、既存のFASTには、回転不変性を得るためのキーポイントのオリエンテーション算出のアルゴリズムがない。そのために、ORBでは、回転不変性を得るべくOriented FASTを採用している。オリエンテーションを基準として特徴記述をすることによって、入力画像が回転していても、同一なキーポイントは同一な特徴量となって検出することができる。
物体検出エンジン11としては、例えばSSD(Single Shot Multibox Detector)がある。SSDは、画像をグリッドで分割し、各グリッドに対して固定された複数のバウンディングボックスの当てはまり具合から、その位置のバウンディングボックスを検知する。そのバウンディングボックスには、1つの物体が収まる。この技術によれば、多量の画像とアノテーション(食材種別)の組を正解データとして学習した機械学習モデルを用いる。
物体検出のカテゴリとして、「食材種別」が検出される。例えば調理中の映像の場合、その映像から、例えば「瓶入り食卓塩」「1リットルボトル入り醤油」「チューブ入りケチャップ」などの物体を検出する。
動作検出エンジン12は、映像から、食材又は調味料を投入する「動作種別」を識別する。識別された動作種別は、使用量推定部13へ出力される。
動作検出エンジン12は、「動作種別」としては、例えば振り出し動作、揺すり出し動作、注ぎ動作、押し出し動作、又は、さじ投入動作のいずれかを識別することもできる。
(1)ユーザの指先位置の速度を表すベクトルが、所定の短い時間内又は零時間で反対方向のベクトルに変化した場合 −> 「振り出し動作」
(2)ユーザの指先位置を表すベクトルが、所定周期で周期変化した場合 −> 「揺すり出し動作」
(3)ユーザの各指の骨格が鉛直方向に並んだ状態から所定角度以上に傾いた場合 −>「注ぎ動作」
(4)ユーザの親指の指先とその他の手指の指先の間の距離が所定距離よりも小さくなった場合 −> 「押し出し動作」
使用量推定部13は、第1の登録テーブル101を用いて、識別された「食材種別及び動作種別」の組に紐付く「使用量」を推定する。
また、使用量推定部13は更に、動作検出エンジン12から動作種別及び動作継続時間を入力した場合、動作単位時間に対する動作継続時間に基づいて使用量を推定することもできる。
更に、使用量推定部13は更に、動作検出エンジン12から動作種別及び動作変位強度を入力した場合、使用量を動作変位強度で重み付けることによって推定することもできる。
食材種別に対して、推定された「使用量」は、栄養成分算出部14又はアプリケーションへ出力される。
<第1のアラーム:食材種別毎の使用量が最大使用量を超えた際に通知>
<第2のアラーム:食材種別毎の各栄養成分の含有量が最大含有量を超えた際に通知>
<第3のアラーム:栄養成分毎の累積含有量が最大累積含有量を超えた際に通知>
図8は、第1の登録テーブルを用いて第1のアラームを通知する説明図である。
図8によれば、例えば食材種別「瓶入り食卓塩」に対して、最大使用量1gが対応付けられている。
第1のアラーム通知部171は、使用量推定部13によって推定された食材種別の使用量が、第1の登録テーブル101に記憶された最大使用量を超えた際に、ユーザに対して第1のアラームを通知する。
これによって、第1のアラームが端末2に表示され、ユーザは、その食材種別における使用量が過剰になっていることを知ることができる。
図8によれば、第1のアラーム通知部171は、使用量推定部13によって食材種別「瓶入り食卓塩」の使用量1.5gが、第1の登録テーブル101に記憶された最大使用量1gを超えたと判定し、ユーザに対して第1のアラーム「食卓塩が剰摂取です!」を通知する。
図9は、第2の登録テーブルを用いて第2のアラームを通知する説明図である。
第2の登録テーブル102は、食材種別毎に、使用単位量と各栄養成分及びその含有量とを紐付けたものである。
図9によれば、第2の登録テーブル102には、チューブ入りケチャップについて、使用単位量10g当たりの各栄養成分及びその含有量が対応付けて登録されている。栄養成分としては、例えば熱量、たんぱく質、脂質、炭水化物、食塩相当量、ビタミン・ミネラルがある。それら栄養成分毎に、ケチャップ10g当たりの含有量が記述されている。
栄養成分算出部14は、第2の登録テーブル102を用いて、使用量推定部13によって推定された食材種別毎の使用量から、栄養成分及びその含有量を算出する。
例えば食材種別「チューブ入りケチャップ」の使用量10g当たり熱量20kcalであれば、30gでは熱量60kcal(=20kcal×3)と算出する。
また、食材種別「チューブ入りケチャップ」の使用量10g当たり食塩相当量1gであれば、30gでは食塩相当量3g(=1g×3)と算出する。
文字認識部15は、映像に、食材又は調味料の容器具に記述された栄養成分表示部分が映り込んでいる際に、当該栄養成分表示部分から当該食材種別における使用単位量及び栄養成分を、文字認識によって読み取る。読み取られた食材種別毎の使用単位量及び栄養成分は、第2の登録テーブル102に登録される。
認識された文字から栄養成分を認識する際に、文字同士の結合関係(文字列)とその方向を推定し、栄養成分とそれに紐づく栄養成分及びその含有量を検出することもできる(例えば非特許公報11参照)。この技術によれば、例えば、栄養成分名(例えばたんぱく質など)を含む文字列と、その当該文字列の方向に続く文字列とから、数字及び記号とそれに続く単位記号(例えばkcal, gなど)とを検出することによって、栄養成分及びその含有量(例えば13.5gなど)を検出することができる。
図9によれば、例えば食材種別「チューブ入りケチャップ」の場合、熱量について、最大含有量80kcalが対応付けられている。また、食塩相当量について、最大含有量2gが対応付けられている。
第2のアラーム通知部172は、使用量推定部13によって推定された食材種別におけるいずれかの栄養成分の含有量が、第2の登録テーブル102に記憶された栄養成分の最大含有量を超えた際に、ユーザに対して第2のアラームを通知する。
これによって、第2のアラームが端末2に表示され、ユーザは、その食材種別における栄養成分の含有量が過剰になっていることを知ることができる。
図10は、第3の登録テーブルを用いて第3のアラームを通知する説明図である。
第3の登録テーブル103は、栄養成分毎に、最大累積含有量を紐付けたものである。
栄養成分累積部16は、調理中の映像の撮影開始から、又は、ユーザによる使用量推定開始指示から、栄養成分毎に、栄養成分算出手段から出力された含有量を累積する。
また、栄養成分「脂質」について、過去の複数の食材又は調味料の投入によって、その調理に、5g+8g+17g=30gが累積的に含有されている。
更に、栄養成分「食塩相当量」について、過去の複数の食材又は調味料の投入によって、その調理に、1g+2g+1g=4gが累積的に含有されている。
第3のアラーム通知部173は、栄養成分累積部16によって累積されたいずれかの栄養成分の累積含有量が、第3の登録テーブル103に記憶された栄養成分の最大累積含有量を超えた際に、ユーザに対して第3のアラームを通知する。
これによって、第3のアラームが端末2に表示され、ユーザは、その食材種別における栄養成分の累積含有量が過剰になっていることを知ることができる。
また、第3のアラーム通知部173は、栄養成分累積部16によって栄養成分「食塩相当量」の累積含有量4gが、第3の登録テーブル103に記憶された最大累積含有量3gを超えたと判定し、ユーザに対して第3のアラーム「食塩相当量の累積含有量が過剰摂取です!」を通知する。
(1)食材種別毎の使用量が最大使用量を超えた際
(2)食材種別毎の各栄養成分の含有量が最大含有量を超えた際
(3)栄養成分毎の累積含有量が最大累積含有量を超えた際
それらに代えて又はそれらと共に、例えば、以下のようなアラームの通知基準とするものであってもよい。
(1’)食材種別毎の使用量の最大使用量に対する割合が所定の閾値を超えた際
(2’)食材種別毎の各栄養成分の含有量の最大含有量に対する割合が所定の閾値を超えた際
(3’)栄養成分毎の累積含有量の最大累積含有量に対する割合が所定の閾値を超えた際
これらにより、食材種別毎や栄養成分毎の食材又は調味料の過剰投入を厳密に防止することができる。
特に、形や大きさが映像的に認識できない粉末や液体等の食材又は調味料を、容器具から直接的に調理器具に投入した場合であっても、その使用量を推定することができる。これによって、食材又は調味料として、固形物に限ることなく、任意の食材又は調味料の使用量を推定することができる。また、家庭内における日常的な調理中の映像であっても、その栄養成分の算定精度を高めることもできる。
10 映像受信部
101 第1の登録テーブル
102 第2の登録テーブル
103 第3の登録テーブル
11 物体検出エンジン
12 動作検出エンジン
13 使用量推定部
14 栄養成分算出部
15 文字認識部
16 栄養成分累積部
171 第1のアラーム通知部
172 第2のアラーム通知部
173 第3のアラーム通知部
2 端末、スマートフォン
Claims (17)
- カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する情報装置において、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、当該食材又は調味料の使用量を紐付けた第1の登録テーブルと、
前記映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
前記映像から、食材又は調味料を投入する動作種別を識別する動作検出エンジンと、
第1の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を推定する使用量推定手段と
を有することを特徴とする情報装置。 - 前記動作検出エンジンは、前記映像から、ユーザの上肢における複数の骨格位置を時系列に抽出し、当該骨格位置の時系列変位から動作種別を識別する
ことを特徴とする請求項1に記載の情報装置。 - 前記物体検出エンジンは、前記映像から、ユーザが上肢に持つ容器具を検出し、当該容器具に応じた食材種別を識別する
ことを特徴とする請求項1又は2に記載の情報装置。 - 前記動作検出エンジンは、前記映像から、ユーザの上肢が、当該食材又は調味料の投入先の調理器具の上方に位置した際に、投入動作としての動作種別を識別する
ことを特徴とする請求項1から3のいずれか1項に記載の情報装置。 - 前記動作検出エンジンは、動作種別として、振り出し動作、揺すり出し動作、注ぎ動作、押し出し動作、又は、さじ投入動作のいずれかを識別する
ことを特徴とする請求項1から4のいずれか1項に記載の情報装置。 - 前記物体検出エンジンは、前記映像から抽出した特徴情報と、予め登録された食材又は調味料の特徴情報とをマッチングさせる
ことを特徴とする請求項1から5のいずれか1項に記載の情報装置。 - 第1の登録テーブルは、食材種別及び動作種別の組に、動作単位時間を加えて、食材又は調味料の使用量を紐付けており、
前記動作検出エンジンは、動作種別と共に、動作継続時間を検出し、
前記使用量推定手段は更に、動作単位時間に対する動作継続時間に基づいて使用量を推定する
ことを特徴とする請求項1から6のいずれか1項に記載の情報装置。 - 第1の登録テーブルは、食材種別及び動作種別の組に、動作変位強度を加えて、食材又は調味料の使用量を紐づけて記憶し、
前記動作検出エンジンは、動作種別と共に、動作変位強度を検出し、
前記使用量推定手段は更に、使用量を動作変位強度で重み付けることによって推定する
ことを特徴とする請求項1から7のいずれか1項に記載の情報装置。 - 第1の登録テーブルは、食材種別毎に、最大使用量が紐付けされており、
前記使用量推定手段によって推定された食材種別の使用量が、第1の登録テーブルに記憶された最大使用量を超えた際に、ユーザに対して第1のアラームを通知する第1のアラーム通知手段と
を有することを特徴とする請求項1から8のいずれか1項に記載の情報装置。
- 食材種別毎に、使用単位量と各栄養成分及びその含有量とを紐付けた第2の登録テーブルと、
第2の登録テーブルを用いて、前記使用量推定手段によって推定された食材種別毎の使用量から、栄養成分及びその含有量を算出する栄養成分算出手段と
を有することを特徴とする請求項1から9のいずれか1項に記載の情報装置。 - 前記映像に、食材又は調味料の容器具に記述された栄養成分表示部分が映り込んでいる際に、当該栄養成分表示部分から当該食材種別における使用単位量及び栄養成分を、文字認識によって読み取る文字認識手段と
を有することを特徴とする請求項10に記載の情報装置。 - 前記文字認識手段によって読み取られる前記栄養成分表示部分は、食品表示法によって原則として全ての予め包装された一般消費者向け加工食品及び添加物に記載することが義務付けられている当該加工食品及び添加物の栄養成分情報を記載した部分である
ことを特徴とする請求項11に記載の情報装置。 - 第2の登録テーブルは、食材種別の栄養成分毎に、最大含有量が紐付けられており、
前記使用量推定手段によって推定された食材種別におけるいずれかの栄養成分の含有量が、第2の登録テーブルに記憶された栄養成分の最大含有量を超えた際に、ユーザに対して第2のアラームを通知する第2のアラーム通知手段と
を有することを特徴とする請求項10から12のいずれか1項に記載の情報装置。 - 調理中の映像の撮影開始から、又は、ユーザによる使用量推定開始指示から、栄養成分毎に、前記栄養成分算出手段から出力された含有量を累積する栄養成分累積手段を
更に有することを特徴とする請求項10から13のいずれか1項に記載の情報装置。 - 栄養成分毎に、最大累積含有量を紐付けた第3の登録テーブルと、
前記栄養成分累積手段によって累積されたいずれかの栄養成分の累積含有量が、第3の登録テーブルに記憶された栄養成分の最大累積含有量を超えた際に、ユーザに対して第3のアラームを通知する第3のアラーム通知手段と
を更に有することを特徴とする請求項14に記載の情報装置。 - カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する装置に搭載されたコンピュータを機能させるプログラムにおいて、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、当該食材又は調味料の使用量を紐付けた第1の登録テーブルと、
前記映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
前記映像から、食材又は調味料を投入する動作種別を識別する動作検出エンジンと、
第1の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を推定する使用量推定手段と
してコンピュータを機能させることを特徴とするプログラム。 - カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する装置の食材使用量推定方法において、
前記装置は、食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、当該食材又は調味料の使用量を紐付けた第1の登録テーブルとを有し、
前記装置は、
前記映像から、食材又は調味料の食材種別を識別すると共に、食材又は調味料を投入する動作種別を識別する第1のステップと、
第1の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を推定する第2のステップと
を実行することを特徴とする装置の食材使用量推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019028080A JP7013403B2 (ja) | 2019-02-20 | 2019-02-20 | 食材又は調味料の使用量を推定する情報装置、プログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019028080A JP7013403B2 (ja) | 2019-02-20 | 2019-02-20 | 食材又は調味料の使用量を推定する情報装置、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020135417A true JP2020135417A (ja) | 2020-08-31 |
JP7013403B2 JP7013403B2 (ja) | 2022-01-31 |
Family
ID=72278724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019028080A Active JP7013403B2 (ja) | 2019-02-20 | 2019-02-20 | 食材又は調味料の使用量を推定する情報装置、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7013403B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022052324A (ja) * | 2020-09-23 | 2022-04-04 | 株式会社x garden | 料理支援装置、プログラム及び料理支援方法 |
WO2023105726A1 (ja) * | 2021-12-09 | 2023-06-15 | ファナック株式会社 | 作業分析装置 |
WO2023188417A1 (ja) * | 2022-03-31 | 2023-10-05 | ファナック株式会社 | 作業分析装置 |
WO2024084963A1 (ja) * | 2022-10-21 | 2024-04-25 | パナソニックIpマネジメント株式会社 | 制御方法、情報提供方法、制御システム、情報提供システム、およびプログラム |
WO2024084964A1 (ja) * | 2022-10-21 | 2024-04-25 | パナソニックIpマネジメント株式会社 | 制御方法、情報提供方法、制御システム、情報提供システム、およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002049696A (ja) * | 2000-08-02 | 2002-02-15 | Mitsunori Honma | インターネットの個人栄養素摂取量管理システム |
WO2005088542A1 (ja) * | 2004-03-17 | 2005-09-22 | Matsushita Electric Industrial Co., Ltd. | 食材調理操作認識システム及び食材調理操作認識プログラム |
JP2006299744A (ja) * | 2005-04-25 | 2006-11-02 | Matsushita Electric Works Ltd | 便器自動洗浄装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160005329A1 (en) | 2013-02-28 | 2016-01-07 | Sony Corporation | Information processing device and storage medium |
-
2019
- 2019-02-20 JP JP2019028080A patent/JP7013403B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002049696A (ja) * | 2000-08-02 | 2002-02-15 | Mitsunori Honma | インターネットの個人栄養素摂取量管理システム |
WO2005088542A1 (ja) * | 2004-03-17 | 2005-09-22 | Matsushita Electric Industrial Co., Ltd. | 食材調理操作認識システム及び食材調理操作認識プログラム |
JP2006299744A (ja) * | 2005-04-25 | 2006-11-02 | Matsushita Electric Works Ltd | 便器自動洗浄装置 |
Non-Patent Citations (1)
Title |
---|
肱岡 佑磨、外2名: ""調理支援システムの構築を目的とした調理動作の認識"", 電子情報通信学会技術研究報告, vol. 114, no. 501, JPN6021050505, 26 February 2015 (2015-02-26), JP, pages 49 - 53, ISSN: 0004664903 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022052324A (ja) * | 2020-09-23 | 2022-04-04 | 株式会社x garden | 料理支援装置、プログラム及び料理支援方法 |
WO2023105726A1 (ja) * | 2021-12-09 | 2023-06-15 | ファナック株式会社 | 作業分析装置 |
WO2023188417A1 (ja) * | 2022-03-31 | 2023-10-05 | ファナック株式会社 | 作業分析装置 |
WO2024084963A1 (ja) * | 2022-10-21 | 2024-04-25 | パナソニックIpマネジメント株式会社 | 制御方法、情報提供方法、制御システム、情報提供システム、およびプログラム |
WO2024084964A1 (ja) * | 2022-10-21 | 2024-04-25 | パナソニックIpマネジメント株式会社 | 制御方法、情報提供方法、制御システム、情報提供システム、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7013403B2 (ja) | 2022-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7013403B2 (ja) | 食材又は調味料の使用量を推定する情報装置、プログラム及び方法 | |
Lo et al. | Image-based food classification and volume estimation for dietary assessment: A review | |
Rohrbach et al. | Recognizing fine-grained and composite activities using hand-centric features and script data | |
Subhi et al. | Vision-based approaches for automatic food recognition and dietary assessment: A survey | |
Oreifej et al. | Hon4d: Histogram of oriented 4d normals for activity recognition from depth sequences | |
Kawano et al. | Real-time mobile food recognition system | |
Lu et al. | An artificial intelligence-based system to assess nutrient intake for hospitalised patients | |
Kang et al. | Review of action recognition and detection methods | |
WO2018162929A1 (en) | Image analysis using neural networks for pose and action identification | |
Maruyama et al. | Real-time mobile recipe recommendation system using food ingredient recognition | |
Theodoridis et al. | A survey on AI nutrition recommender systems | |
Shimada et al. | Kitchen scene context based gesture recognition: A contest in ICPR2012 | |
Kitamura et al. | Image processing based approach to food balance analysis for personal food logging | |
Ege et al. | Estimating food calories for multiple-dish food photos | |
CN107918767B (zh) | 目标检测方法、装置、电子设备及计算机可读介质 | |
CN112053428A (zh) | 一种识别食物所含营养信息的方法及装置 | |
Dalakleidi et al. | Applying image-based food-recognition systems on dietary assessment: a systematic review | |
Konstantakopoulos et al. | A review of image-based food recognition and volume estimation artificial intelligence systems | |
Fang et al. | The use of co-occurrence patterns in single image based food portion estimation | |
Yanai et al. | A Cooking Recipe Recommendation System with Visual Recognition of Food Ingredients. | |
Zhang et al. | From market to dish: Multi-ingredient image recognition for personalized recipe recommendation | |
Chen et al. | Unitail: Detecting, Reading, And matching in retail scene | |
JP5691533B2 (ja) | 情報処理装置、方法及びプログラム | |
Hafiz et al. | Image based drinks identification for dietary assessment | |
Konstantinidis et al. | A deep network for automatic video-based food bite detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7013403 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |