JP2015138532A

JP2015138532A - 情報処理装置、情報処理方法及びプログラム

Info

Publication number: JP2015138532A
Application number: JP2014011738A
Authority: JP
Inventors: 北脇　晴之; Haruyuki Kitawaki; 晴之北脇
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-01-24
Filing date: 2014-01-24
Publication date: 2015-07-30

Abstract

【課題】より高精度に食事中か否か判定することを目的とする。【解決手段】身体に取り付け可能な情報処理装置であって、撮影手段によって撮影された画像データよりユーザが食事中か否かを判定する画像判定手段と、集音手段によって集音された音データよりユーザが食事中か否かを判定する音判定手段と、を有し、画像判定手段によりユーザが食事中であると判定された場合であり、かつ、音判定手段によりユーザが食事中であると判定された場合、ユーザは食事中であると判定し、画像判定手段によりユーザが食事中であると判定された場合であっても、音判定手段によりユーザが食事中でないと判定された場合は、ユーザは食事中ではないと判定することによって課題を解決する。【選択図】図３

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

ユーザが携帯するカメラや、携帯電話のカメラ機能を用いて、食事を撮影することで、飲食場所に拠らず飲食物を撮影する方法が提案されている。また、脈拍や体温といった生体情報を取得する機器からシグナルをカメラに送信することで、ユーザに撮影開始を促したり、自動的に撮影を開始したりする提案もなされている。例えば、特許文献１では、生活管理端末（ウェアラブル）が生体情報（脈拍、体温、咀嚼音）の変化を検知する技術が開示されている。生活管理端末は、食事中と判定した場合、携帯電話や通信機能を備えるデジタルカメラにシグナルを出し、携帯電話にメッセージを表示させ、ユーザに飲食物の撮影を促す。また生活管理端末は、ユーザの肩やメガネに備えられたカメラにシグナルを送ることで、自動的に撮影を開始する。

特開２００３−１７３３７５号公報

しかしながら、依然として食事中か否かの判定精度向上という課題があった。

そこで、本発明は、身体に取り付け可能な情報処理装置であって、撮影手段によって撮影された画像データよりユーザが食事中か否かを判定する画像判定手段と、集音手段によって集音された音データよりユーザが食事中か否かを判定する音判定手段と、を有し、前記画像判定手段によりユーザが食事中であると判定された場合であり、かつ、前記音判定手段によりユーザが食事中であると判定された場合、ユーザは食事中であると判定し、前記画像判定手段によりユーザが食事中であると判定された場合であっても、前記音判定手段によりユーザが食事中でないと判定された場合は、ユーザは食事中ではないと判定する。

本発明によれば、より高精度に食事中か否か判定することができる。

装置のハードウェア構成の一例を示す図である。装置を説明するための図である。装置における情報処理の一例を示すフローチャートである。実施形態１の方法を用いて記録した、食事の時刻を示した一例を示す図である。装置における情報処理の一例を示すフローチャートである。装置のハードウェア構成の一例を示す図である。装置における情報処理の一例を示すフローチャートである。装置における情報処理の一例を示すフローチャートである。

＜実施形態１＞
以下、実施形態１を説明する。
図１は、装置１００のハードウェア構成の一例を示す図である。
装置１００は、後述のＣＰＵ１０１から画像解析部１０８までの各構成要素をハードウェアとして有する。
ＣＰＵ１０１は、プログラムを実行する処理装置である。ＲＡＭ１０２は、ＣＰＵ１０１の実行ワークエリアとして使用されるメモリである。より具体的には、ＲＡＭ１０２は、変数データの格納領域、スタック領域、ヒープ領域等として使用されるメモリである。ＲＯＭ１０３は、例えば、プログラム等が格納されているメモリである。バス１０４は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、後述の各機能部位を相互に接続する。記録部１０５は、ファイルシステムの読み書き対象である。記録部１０５の例としては、例えばＵＳＢメモリ、ＳＤカード、ハードディスクが例として挙げられる。集音部１０６は、マイクを備え、ユーザの体内音を集音し、音声データを生成する。撮影部（カメラ）１０７は、装置１００の外界の状況を撮影し、静止画デ−タ又は動画データである画像データを生成する。画像解析部１０８は、撮影部１０７で生成された画像データを解析する。画像解析部１０８の機能はＣＰＵ１０１がプログラムに基づき実行可能であるが、一般に画像処理は特定の処理に特化した電子回路によって高速に処理されるため、本文では独立したハードウェアとして装置１００に実装されているものとして説明を行う。

また、集音部１０６及び撮影部１０７は、装置に必須の構成要素ではなく、装置１００とネットワーク等を介して通信可能な他の装置等に含まれていてもよい。以下の実施形態においても同様である。但し、以下では説明の簡略化のため、特に言及しない限り集音部１０６及び撮影部１０７は、装置１００に含まれているものとして説明を行う。また、図１の例では集音部１０６や撮影部１０７はそれぞれ１つであるが、複数であってもよい。
ＣＰＵ１０１が、ＲＯＭ１０３又は記録部１０５に記録されているプログラムに基づいて処理を実行することによって、装置１００の機能及び後述する装置１００のフローチャートに係る処理が実現される。

図２は、装置１００を説明するための図である。図２では、装置１００を装着したユーザが、テーブルで食事をしている様子を示している。図２では、装置１００は、腕輪の形状であり、手首に取り付けられている。また、装置１００は、１つ又は複数の撮影部１０７を備え、飲食物を撮影している。図２中の破線で示された範囲は、撮影部１０７の撮影範囲を示している。飲食物は、口に運び食べている状態や、皿に盛ってある状態等、撮影部１０７の撮影範囲に含まれるものが撮影される。
なお、図２では、装置１００は腕輪の形状であるが、飲食物を撮影するのに支障がない範囲で、別形状としてもよい。また、以下では特に言及しない限り、装置１００はユーザの身体に取り付け可能なものとして説明を行うが、飲食物を撮影したり、ユーザの食事に関する音を集音したりすることができれば身体に取り付け可能なものでなくてもよい。

図３は、装置１００における情報処理の一例を示すフローチャートである。
Ｓ３０１では、処理が開始される。詳しくは、ＲＯＭ１０３等に記録されたプログラムを、電源投入後、ＣＰＵ１０１がＲＡＭ１０２にコピー及び展開し、プログラムに基づき処理を開始する。
Ｓ３０２では、ＣＰＵ１０１は、撮影部１０７でユーザ自身を撮影する。前述のように、撮影部１０７は複数でもよい。また、撮影部１０７は、広角レンズを用いることで撮影範囲を広くしてよい。撮影部１０７の撮影により生成された画像データは、バス１０４を介し、ＲＡＭ１０２に一時保存される。長期保存したい場合、ＲＡＭ１０２上の画像データは、記録部１０５に記録される。
Ｓ３０３では、ＣＰＵ１０１は、画像解析部１０８に画像解析を行わせる。画像解析部１０８は、ＲＡＭ１０２又は記録部１０５よりバス１０４を介して画像データをコピー又は参照し、画像解析を行う。

Ｓ３０４では、ＣＰＵ１０１は、Ｓ３０３での画像解析の結果より、ユーザが食事をしているか否かを判定する（画像判定）。否の場合（Ｓ３０４においてＮＯ）、ＣＰＵ１０１は、Ｓ３０８に遷移し、図３に示す処理を終了する。食事をしていると判定した場合（Ｓ３０４においてＹＥＳ）、ＣＰＵ１０１は、処理をＳ３０５に遷移する。ここで、画像解析部１０８における画像解析の方法はユーザが食事中か否かを判定できる限り、方法自体は問わない。例えば、画像解析部１０８は、ユーザの顔を部位毎の領域に分け、口の領域に物体を運んでいることを食事と見なすことや、口の動作を解析すること等の方法を用いることができる。例えば、画像解析部１０８は、連続する画像を解析し、口の領域へ向かい物体が進んでいることを検知若しくは口の領域付近の物体が消えたことを検知することで、食事中か否かを判定する。
Ｓ３０５では、ＣＰＵ１０１は、集音部１０６に、ユーザ自身の体内音を集音させる。本実施形態で集音部１０６のマイクは、装置１００の内側に取り付けられており、ユーザの肉体にマイクを当てている状態となっている。体内音は色々あるが、本実施形態では嚥下の際に発せられる嚥下音を対象とする。嚥下音は、ユーザの肉体を媒体として喉から伝達し、集音部１０６で集音される。また、体内音として、食事中に発せられる音、例えば咀嚼する際に発生される咀嚼音でもよい。

Ｓ３０６では、ＣＰＵ１０１は、体内音が食事中の音か否かを判定する（音判定）。ここで、食事中の音を判定する方法は問わない。例えばＣＰＵ１０１は、音を周波数分析する方法等で体内音が食事中の音か判定してもよい。否の場合（Ｓ３０６においてＮＯ）、ＣＰＵ１０１は、Ｓ３０８に遷移し、図３に示す処理を終了する。食事中と判定した場合（Ｓ３０６においてＹＥＳ）、ＣＰＵ１０１は、Ｓ３０７に遷移する。
Ｓ３０７では、ＣＰＵ１０１は、ユーザが食事をしている、と判定する。ＣＰＵ１０１は、判定の結果と、時刻と、を記録部１０５に書き込む。その後、ＣＰＵ１０１は、Ｓ３０８に遷移し、図３に示す処理を終了する。なお、ＣＰＵ１０１は、処理を終了せずに、再びＳ３０２の処理に進むようにしてもよい。
以上のようにして、ＣＰＵ１０１は、撮影した画像データを、画像解析を用いて食事中か判定した後、集音した体内音の音データを用いて再度判定するため、食事中か否かの判定の精度が高まる。
また、ＣＰＵ１０１は、判定したときの時刻を装置１００のタイマー等から取得し、前記時刻を例えば判定結果等と共に記録することが可能となる。また、ＣＰＵ１０１は、判定した時刻と共に判定に用いた画像データ等を判定結果と共に記録するようにしてもよい。
なお、本実施形態において、ＣＰＵ１０１は、Ｓ３０６に先立ちＳ３０４を実行している。このことにより単に唾を飲み込んだことによる嚥下音を食事と誤判定することを防ぐことができる。
また、本実施形態において、ＣＰＵ１０１は、Ｓ３０６において所定時間嚥下音を検出できない場合には食事をしていないと判定することとしてもよい。このようにすればＳ３０４での誤判定に起因して食事中であると判定することを防ぐことができる。
更に、嚥下音等は店舗における音楽等に比べて通常小さい音である。そのため、ＣＰＵ１０１は、所定値以上の音量は嚥下音等ではないと判定して所定値未満の音から嚥下音等を検出することとしてもよい。即ち、ＣＰＵ１０１は、所定値未満の音量を嚥下音等とすることとしてもよい。

＜実施形態２＞
以下、実施形態２を説明する。
本実施形態では、食事をしている期間（時間）を導出する方法について説明する。
図４は、実施形態１の方法を用いて記録した、食事の時刻を示した一例を示す図である。図面の左から右へ時間の経過が表されている。図４中の縦棒は、実施形態１で示した方法により、食事をしている、と判定されたときの時刻を示す。
装置１００のユーザが食事をしている間、実施形態１に示した方法により頻繁に時刻が記録される。ここで、実施形態１により記録される時刻から、どのくらい時間が経過したら食事が終わったか、と見なす時間Ｔ２が設定されているものとする。時間Ｔ２は閾値の一例である。

図５は、装置１００における情報処理の一例を示すフローチャートである。
Ｓ５０１では、処理が開始される。
Ｓ５０２では、ＣＰＵ１０１は、実施形態１の方法により食事中であると判定した時刻を、開始時刻として記録する。図４では、時刻ｔ１が開始時刻である。
Ｓ５０３では、ＣＰＵ１０１は、時刻ｔ１の次に、次に食事中であると判定した時刻ｔ２を記録する。
Ｓ５０４では、ＣＰＵ１０１は、時刻ｔ２とｔ１との差分を求め、差分が時間Ｔ２より小さいか否か判定する。ＣＰＵ１０１は、差が時間Ｔ２より小さい場合（Ｓ５０４においてＹＥＳ）、Ｓ５０３に遷移し、差が時間Ｔ２以上（閾値以上）の場合（Ｓ５０４においてＮＯ）、Ｓ５０５に遷移する。ＣＰＵ１０１は、時刻ｔ２とｔ１との差が時間Ｔ２より小さければ、その間は食事していると見なす。以降、ＣＰＵ１０１が同様に処理を続けると、図４において、時刻ｔｎより時間Ｔ２を経過し、時刻ｔｎとｔｎ＋Ｔ２との間、何も記録されていない。これより、ＣＰＵ１０１は、時刻ｔｎと時刻ｔ１との間の時間Ｔ１を、食事をしている期間（時間）と見なす（Ｓ５０５）。ＣＰＵ１０１は、Ｓ５０５よりＳ５０６に遷移し、図５に示す処理を終了する。

ＣＰＵ１０１は、時刻ｔｎからＴ２以上の時間が経過したあと、新たに発生した記録の時刻ｓ１を、新たな食事をしている時間の開始時刻と見なす。
ＣＰＵ１０１は、例えば、ユーザの変更操作に応じて時間Ｔ２の値を変更するようにしてもよい。例えば、Ｔ２の値が３０秒、１分のように短すぎると、食事をしている期間が細かく分割される。また、Ｔ２の値が１時間のように長すぎると、間食の頻度によっては、常に食事中となる可能性がある。したがって、Ｔ２の初期値は、例えば、５分〜３０分くらいに設定されているものとする。なお、ユーザの変更操作は、例えば、後述するように、ボタン等を介したものであってもよいし、入力可能なディスプレイ等を介したものであってもよい。

＜実施形態３＞
以下、実施形態３を説明する。
本実施形態では、ある時間が経過した場合に、ユーザに通知する例について説明する。
図６は、装置６００のハードウェア構成の一例を示す図である。
装置６００は、装置１００と比較し、通知部６０１が新たにハードウェア構成として加わっている。通知部６０１は、ユーザに何らかの信号を通知する部分である。例えば、通知部６０１は、アラーム音を生成し装置６００上のスピーカを鳴らすことでユーザに音で通知したり、装置６００上のランプを点滅させることでユーザに光で通知したりする。また、通知部６０１は、上述したような音や光以外に振動等の手段を用いてユーザに通知してもよい。

図７は、装置６００における情報処理の一例を示すフローチャートである。
Ｓ７０１では、処理が開始される。
Ｓ７０２では、ＣＰＵ１０１は、特定の時間を記録する。この特定の時間とは、食事終了後から、通知してほしい時刻までの差の時間である。特定の時間の設定方法は特に問わない。例えば、装置６００に入力ボタンがあり、ユーザが入力し、ＣＰＵ１０１が入力を検知し、特定の時間を設定してもよい。また装置６００に手書き入力可能なディスプレイがあれば、ユーザはそれを用いてもよい。また、装置６００の外部から通信を用いて設定してもよい。また、特定の時間は予め設定されていてもよい。
Ｓ７０３では、ＣＰＵ１０１は、食事時間の終了時刻に、Ｓ７０２で記録した、特定の時間を加算し、ユーザへの通知が為される、通知時間を記録部１０５に記録する。
Ｓ７０４では、ＣＰＵ１０１は、通知時間になったら、通知部６０１を用いてユーザに通知する。ＣＰＵ１０１は、通知後、Ｓ７０５に遷移し、図７の処理を終了する。

図７の動作について、より具体的な例を挙げて説明する。例えば、食事終了時の時刻が３時であり、特定の時間が１時間であれば、４時に通知が為される。また、Ｓ７０１の開始は、１つ以上の食事時間の記録がある場合に限定してもよい。また、Ｓ７０３では、ＣＰＵ１０１は、食事時間の記録の有無をチェックし、無い場合にはＳ７０１に戻るようにしてもよい。
以上のようにして、本実施形態の処理によれば、例えば、食事時間の終了時刻から、特定の時間が経過したあと、通知が為される。

＜実施形態４＞
以下、実施形態４を説明する。
本実施形態では、実施形態３の仕組みを用いた、より具体的な例について説明する。
実施形態３の、特定の時間、として、食後薬の服用時間を設定する。例えば、ＣＰＵ１０１は、食後３０分の場合、「３０分」を特定の時間として設定する。他に、食間の場合、おおくは２時間を指すため、ＣＰＵ１０１は、「２時間」を特定の時間として設定する。
食後３０分の場合、実施形態３の仕組みにより、食事時間の終了時刻から、３０分が経過したときに、ユーザに通知が為される。同様に、食間の場合、２時間が経過したときにユーザに通知が為される。
以上のようにして、食後３０分、食間等、毎食ごとの設定が煩雑な場合でも、１度特定の時間を設定するだけで、食後薬を服用する時間をユーザに通知することができ、ユーザは決まった時間の経過後に薬を服用することが可能となる。

＜実施形態５＞
以下、実施形態５を説明する。
本実施形態では、実施形態３の仕組みを用いた、別のより具体的な例について説明する。
実施形態３の、特定の時間として、脱水症状予防のための時間を設定する。例えば、ＣＰＵ１０１は、気温３０度以上の場合は、１時間に設定する、等である。ＣＰＵ１０１は、この時間設定を、前記の気温や、湿度、ユーザの年齢や体調等、様々な条件によって変更するようにしてもよい。例えば、ＣＰＵ１０１は、エア・コンディショナーから無線通信を介して気温や湿度等を取得するようにしてもよい。
例示した、１時間の場合、実施形態３の仕組みにより、食事時間の終了時刻から、１時間が経過したときに、ユーザに通知が為される。
以上のようにして、この通知をもって、ユーザは、前回の食事時間からの経過時刻を知ることができ、ユーザは脱水症状予防のために水を摂取する等、ユーザに行動を促すことが可能となる。

＜実施形態６＞
以下、実施形態６を説明する。
本実施形態では、図６の装置６００と図８のフローチャートとを用い、ダイエットを想定した例について説明する。
図８は、装置６００における情報処理の一例を示すフローチャートである。
図８のＳ８０１では、処理が開始される。
Ｓ８０２では、ＣＰＵ１０１は、実施形態３と同様に、特定の時間、として、食事をしない時間を設定する。この食事をしない時間の値は、例えば、３時間や、４時間等である。
Ｓ８０３では、ＣＰＵ１０１は、食事を開始した時刻を記録する。
Ｓ８０４では、ＣＰＵ１０１は、Ｓ８０３で記録した時刻と、前回の食事時間の終了時刻との差を計算し、計算した差と、Ｓ８０２で設定した特定の時間（本実施形態では食事をしない時間）と、を比較する。ＣＰＵ１０１は、比較の結果、差が特定の時間以上であれば（Ｓ８０４においてＮＯ）、前回の食事と今回の食事との時間は十分空いていると判定し、何もせず、Ｓ８０６に遷移して図８の処理を終了する。一方、ＣＰＵ１０１は、差が特定の時間より小さい場合（Ｓ８０４においてＹＥＳ）、Ｓ８０５に遷移する。差が特定の時間より小さい場合は、前回の食事と今回の食事との時間が十分空いていないことを示すことになる。
Ｓ８０５では、ＣＰＵ１０１は、通知部６０１を用いてユーザに通知する。この場合、通知は、前回の食事と今回の食事との間が空いていないことを示し、ユーザに対し、食事の間隔が短いことを警告するものとなる。
以上のようにして、前回と今回との食事の間の時間が短いとき、ユーザに通知することができ、間食抑制につながり、ダイエットを推進できる。

＜実施形態７＞
本実施形態では、食事の様子（飲食物を含む）の画像データと、時刻とを記録し、食アレルギー発生時に、原因となった飲食物を特定する手助けをする例について説明する。
食アレルギーには、原因となる飲食物を食べてから症状が出るまでの時間によって、即時型（１５〜２０分後）、遅発型（６〜８時間後）、遅延型（１〜２日後）等に分類できる。即時型では、食アレルギーとなったユーザも、飲食物に対しての記憶が鮮明であるため、食事の内容を思い出しやすい。しかし、遅発型、遅延型と、症状が発生するまでの時間が長引くにつれ、ユーザの記憶もあいまいとなり、また間に別の食事が入るため、原因となった飲食物の候補を挙げるのが難しくなってくる。
本実施形態の、ＣＰＵ１０１は、食事の様子の画像データより、実際に飲食した飲食物を特定し、記録し、また食事をしていた時刻も記録するため、遅発型、遅延型といった、発症まで時間がかかる場合でも、原因となった候補を列挙することが可能となる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した実施形態によれば、より高精度に食事中か否か判定することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００装置、１０１ＣＰＵ、１０２ＲＡＭ、１０３ＲＯＭ、１０４バス、１０５記録部、１０６集音部、１０７撮影部、１０８画像解析部、６００通知機能付き装置、６０１通知部

Claims

身体に取り付け可能な情報処理装置であって、
撮影手段によって撮影された画像データよりユーザが食事中か否かを判定する画像判定手段と、
集音手段によって集音された音データよりユーザが食事中か否かを判定する音判定手段と、
を有し、
前記画像判定手段によりユーザが食事中であると判定された場合であり、かつ、前記音判定手段によりユーザが食事中であると判定された場合、ユーザは食事中であると判定し、前記画像判定手段によりユーザが食事中であると判定された場合であっても、前記音判定手段によりユーザが食事中でないと判定された場合は、ユーザは食事中ではないと判定する情報処理装置。
前記音判定手段は、前記集音手段によって集音されたユーザの体内音の音データよりユーザが食事中か否かを判定する請求項１記載の情報処理装置。
前記音判定手段は、前記集音手段によって集音された嚥下の際に発せられる嚥下音の音データよりユーザが食事中か否かを判定する請求項１又は２記載の情報処理装置。
前記音判定手段は、前記集音手段によって集音された咀嚼の際に発せられる咀嚼音の音データよりユーザが食事中か否かを判定する請求項１又は２記載の情報処理装置。
ユーザが食事中であると判定した場合、食事中であると判定した時刻を記録する記録手段を更に有する請求項１乃至４何れか１項記載の情報処理装置。
前記記録手段は、前記記録した時刻と時刻との差分に基づいて、食事時間を求め、記録する請求項５記載の情報処理装置。
前記記録手段は、前記差分が設定された閾値以上の場合は、前記時刻と前記時刻との間を食事時間とする請求項６記載の情報処理装置。
前記記録手段によって記録された食事時間の終了時刻から設定された時間、経過した場合、ユーザに通知を行う通知手段を更に有する請求項６又は７記載の情報処理装置。
前記時間を設定する設定手段を更に有する請求項８記載の情報処理装置。
前記記録手段は、食事中であると判定した時刻と、前記撮影手段によって撮影された画像データと、を記録する請求項５乃至９何れか１項記載の情報処理装置。
前記撮影手段を更に有する請求項１乃至１０何れか１項記載の情報処理装置。
前記集音手段を更に有する請求項１乃至１１何れか１項記載の情報処理装置。
撮影手段によって撮影された画像データよりユーザが食事中か否かを判定する画像判定手段と、
集音手段によって集音された音データよりユーザが食事中か否かを判定する音判定手段と、
を有し、
前記画像判定手段によりユーザが食事中であると判定された場合であり、かつ、前記音判定手段によりユーザが食事中であると判定された場合、ユーザは食事中であると判定し、前記画像判定手段によりユーザが食事中であると判定された場合であっても、前記音判定手段によりユーザが食事中でないと判定された場合は、ユーザは食事中ではないと判定する情報処理装置。
前記音判定手段は、前記画像判定手段によりユーザが食事中であると判定された場合に、前記音データよりユーザが食事中か否かを判定する請求項１乃至１３何れか１項記載の情報処理装置。
身体に取り付け可能な情報処理装置が実行する情報処理方法であって、
撮影ステップによって撮影された画像データよりユーザが食事中か否かを判定する画像判定ステップと、
集音ステップによって集音された音データよりユーザが食事中か否かを判定する音判定ステップと、
を含み、
前記画像判定ステップによりユーザが食事中であると判定された場合であり、かつ、前記音判定ステップによりユーザが食事中であると判定された場合、ユーザは食事中であると判定し、前記画像判定ステップによりユーザが食事中であると判定された場合であっても、前記音判定ステップによりユーザが食事中でないと判定された場合は、ユーザは食事中ではないと判定する情報処理方法。
情報処理装置が実行する情報処理方法であって、
撮影ステップによって撮影された画像データよりユーザが食事中か否かを判定する画像判定ステップと、
集音ステップによって集音された音データよりユーザが食事中か否かを判定する音判定ステップと、
を含み、
前記画像判定ステップによりユーザが食事中であると判定された場合であり、かつ、前記音判定ステップによりユーザが食事中であると判定された場合、ユーザは食事中であると判定し、前記画像判定ステップによりユーザが食事中であると判定された場合であっても、前記音判定ステップによりユーザが食事中でないと判定された場合は、ユーザは食事中ではないと判定する情報処理方法。
身体に取り付け可能なコンピュータに、
撮影ステップによって撮影された画像データよりユーザが食事中か否かを判定する画像判定ステップと、
集音ステップによって集音された音データよりユーザが食事中か否かを判定する音判定ステップと、
を実行させ、
前記画像判定ステップによりユーザが食事中であると判定された場合であり、かつ、前記音判定ステップによりユーザが食事中であると判定された場合、ユーザは食事中であると判定し、前記画像判定ステップによりユーザが食事中であると判定された場合であっても、前記音判定ステップによりユーザが食事中でないと判定された場合は、ユーザは食事中ではないと判定するプログラム。
コンピュータに、
撮影ステップによって撮影された画像データよりユーザが食事中か否かを判定する画像判定ステップと、
集音ステップによって集音された音データよりユーザが食事中か否かを判定する音判定ステップと、
を実行させ、
前記画像判定ステップによりユーザが食事中であると判定された場合であり、かつ、前記音判定ステップによりユーザが食事中であると判定された場合、ユーザは食事中であると判定し、前記画像判定ステップによりユーザが食事中であると判定された場合であっても、前記音判定ステップによりユーザが食事中でないと判定された場合は、ユーザは食事中ではないと判定するプログラム。