JP2013037648A - 摂取熱量推定装置、摂取熱量推定方法および摂取熱量推定用データ出力装置 - Google Patents

Abstract

【課題】簡単かつ正確に摂取熱量を推定できるようにすること。
【解決手段】食品熱量推定処理（ステップＳ３３０）により画像に含まれる食品の熱量を推定し、その食品が含まれる画像を食前のものか食後のものかを設定する（ステップＳ３６０〜３６５）。食後に設定したら（ステップＳ３６５，食後）、過去に食前のものとして設定した画像の中から、直前に食後に設定した画像に対応するものの候補を抽出し（ステップＳ３８０）、その抽出した候補の何れか一つと、直前に食後に設定したものとを組み合わせる（ステップＳ４００）。その組み合わせた画像に含まれる食品同士について熱量の差を取ることで、摂取熱量を算出する（ステップＳ４１０）。
【選択図】図３

Description

本発明は、ユーザーによって摂取される食品の熱量を推定する技術に関する。

健康管理のために、食事に関する情報を記録したり管理したりすることは重要である。そこで、食品の情報を、その食品が盛られた皿に予め付与された情報から取得する技術が提案されている（特許文献１）。

特開２００８−２１９８０５号公報

従来技術には、簡単かつ正確には摂取熱量を推定できないという課題があった。本発明は、この課題を解決するためにされたものであり、簡単かつ正確に摂取熱量を推定できる技術の提供を目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。

［適用例１］
画像を撮像する撮像部と、
前記撮像部によって撮像された画像を分光分析することによって、該画像に含まれる食品の熱量を推定する食品熱量推定部と、
前記撮像部によって撮像された画像が、ユーザーが摂取する前の前記食品の画像である食前画像なのか、前記ユーザーが摂取した後の前記食品の画像である食後画像なのかを設定する設定部と、
前記設定部によって設定された前記食後画像に対して、対応する食前画像を組み合わせる組み合わせ部と、
前記食後画像に含まれる食品について前期食品熱量推定部によって推定された熱量と、前記組み合わせ部によって当該食後画像と組み合わせられた前記食前画像に含まれる食品について前記食品熱量推定部によって推定された熱量との差を取ることで、前記ユーザーによる摂取熱量を推定する摂取熱量推定部と
を備える摂取熱量推定装置。
この適用例によれば、食前画像から推定された熱量と食後画像から推定された熱量との差に基づき、ユーザーによる摂取熱量を推定するので、例えば、ユーザーに面倒な記録作業などを強いることなく、簡単に摂取熱量を推定できる。組み合わせ部によって、食後画像に対して対応する食前画像を組み合わせて差を取るので、より正確に摂取熱量を推定できる。なお「食品」とは、食べ物および飲み物を含む。また「分光分析」とは、照射された光の各波長に対する吸光度を示す情報の分析のことである。また「画像に含まれる食品」とは、その画像の被写体として撮像された食品のことである。

［適用例２］
適用例１に記載の摂取熱量推定装置であって、
前記組み合わせ部は、
前記設定部によって前記食後画像が設定された後に、該設定以前に前記設定部によって設定された食前画像に含まれる食品が特定可能な情報を、前記ユーザーに提示する提示部を備え、
前記提示部による提示の契機となった設定の対象である前記食後画像と、該契機に基づき前記提示部によって提示された情報の中から、前記ユーザーによって選択された情報によって特定される食品を含む食前画像とを組み合わせる
摂取熱量推定装置。
この適用例によれば、食前画像に含まれる食品が特定可能な情報を提示部によって提示し、該情報の中から、ユーザーによって選択された情報によって特定される食品を含む食前画像を食後画像と組み合わせる。したがって、ユーザーに簡単な作業をさせるだけで正確に食前画像と食後画像とを組み合わせることができる。

［適用例３］
適用例２に記載の摂取熱量推定装置であって、
前記設定部によって前記食後画像が設定された後に、該設定の対象である前記食後画像と対応する食前画像の候補を、該設定以前に前記設定部によって設定された食前画像の中から画像処理に基づき抽出する抽出部を備え、
前記提示部は、前記抽出部によって候補として抽出された前記食前画像に含まれる食品が特定可能な情報を前記ユーザーに提示する
摂取熱量推定装置。
この適用例によれば、食後画像と対応する食前画像の候補を抽出部によって抽出し、提示部によってユーザーに提示することができる。したがって、例えば、全ての食前画像をユーザーに提示する場合と比較して、ユーザーに提示する情報を減らすことができるので、ユーザーの作業をより簡単にすることができる。

［適用例４］
適用例３に記載の摂取熱量推定装置であって、
前記抽出部は、前記設定の対象である前記食後画像に対して該設定以前に前記設定部によって設定された食前画像を、容器のエッジについて照合し、該照合の適合度が基準以上である画像を前記候補として抽出する
摂取熱量推定装置。
この適用例によれば、食前画像と食後画像とを容器のエッジについて照合し、照合の適合度が基準以上である画像を候補として抽出する。容器のエッジは、食べられることによって消失したり外観が変化したりしてしまう食品よりも変化が小さいので、対応する食前画像の候補をより適切に抽出できる。

［適用例５］
適用例３又は４に記載の摂取熱量推定装置であって、
前記提示部は、前記抽出部によって候補が一つも抽出されなかった場合、又は前記抽出部によって抽出された候補の中には、前記設定部によって設定された前記食後画像と対応するものは無い旨が前記ユーザーから入力された場合に、前記抽出部によって抽出されなかった食前画像に含まれる食品が特定可能な情報を前記ユーザーに提示する
摂取熱量推定装置。
この適用例によれば、候補が抽出されなかった場合、又は抽出された候補の中に食後画像と対応するものが無い旨がユーザーによって入力された場合に、抽出部によって抽出されなかった食前画像に含まれる情報をユーザーに提示する。したがって、例えば、抽出が適切にできなかったとしても、食後画像に対して組み合わせの候補となる食前画像を提示できる。

［適用例６］
適用例２ないし５の何れか一つに記載の摂取熱量推定装置であって、
前記提示部は、前記食品が特定可能な情報の提示として、該食品を含む画像を表示する
摂取熱量推定装置。
この適用例によれば、熱量推定およびユーザーへの提示という二つの用途に用いることで撮像結果を有効利用でき、しかも食品が特定可能な情報を分かりやすく提示できる。

［適用例７］
食品を含む画像について分光分析の結果によって該食品の熱量を推定し、かつ、該画像が、前記ユーザーが摂取する前の前記食品の画像である食前画像なのか、ユーザーが摂取した後の前記食品の画像である食後画像なのかを設定し、
前記食前画像と、当該食前画像に対応する前記食後画像とを組み合わせ、
前記食後画像に含まれる食品について前記食品熱量推定部によって推定された熱量と、前記組み合わせ部によって当該食後画像と組み合わせられた前記食前画像に含まれる食品について前記食品熱量推定部によって推定された熱量との差を取ることで、前記ユーザーによる摂取熱量を推定する
摂取熱量推定方法。

［適用例８］
画像を撮像する撮像部と、
前記撮像部によって撮像された画像を分光分析することによって、該画像に含まれる食品の熱量を推定する食品熱量推定部と、
前記撮像部によって撮像された画像が、ユーザーが摂取する前の前記食品の画像である食前画像なのか、前記ユーザーが摂取した後の前記食品の画像である食後画像なのかを設定する設定部と、
前記設定部によって設定された食後画像に対して、対応する食前画像を組み合わせる組み合わせ部と、
前記組み合わせ部によって組み合わせられた前記食前画像と前記食後画像とについての情報を外部に出力する出力部と
を備える摂取熱量推定用データ出力装置。
この適用例によれば、簡単かつ正確に摂取熱量を外部装置に推定させることができる。

実施形態による処理の概要を示した概念図。 摂取熱量推定装置１０の概略構成を示したブロック図。 摂取熱量推定処理を示したフローチャート。 食品熱量推定処理を示すフローチャート。 食前候補抽出処理を示すフローチャート。 組み合わせ処理を示すフローチャート。 摂取熱量推定処理において表示部１９１に表示される画面を示した図。

本発明が適用された実施形態を図面と共に説明する。図１は、本実施形態による処理の概要を示した概念図である。図に示すように、摂取熱量推定装置１０は、デジタルカメラのような外観を持ち、手にとって容易に撮像操作ができる形状に構成されている。この摂取熱量推定装置１０によって食前（食品をユーザーが摂取する前）と食後（食品をユーザーが摂取した後）において食品を撮像し、その撮像された食品の画像から食前・食後の熱量を推定する。そして、その推定した食前の熱量と食後の熱量との差を取ることで、ユーザーの摂取熱量の推定値とし、その推定値を記憶装置１５０に記憶する。なお、食品が全て食べられた場合は、食後においてその食品を撮像することはできず、その食品が盛られていた食器等（容器）を撮像することになるが、この場合の撮像も本実施形態では「食品の食後の撮像」とする。以下、摂取熱量推定装置１０の詳細を説明する。

［１．ハードウェア構成（図２）］
図２は、摂取熱量推定装置１０の概略構成を示したブロック図である。摂取熱量推定装置１０は、図に示すように、外部に可視光〜近赤外領域の光を発射するＬＥＤを用いた光源２８０、外部からの光の光量を絞りの開度によって調整する光量調整器２７０、光量調整器２７０によって光量が調整された光を結像させるために屈折させるレンズ２１０、レンズ２１０からの光について透過させる波長の範囲を光学ギャップによって選択するエタロン２９０(ファブリペロー型フィルタ)、エタロン２９０を透過した波長成分の光を受光し、受光位置毎に受光強度を示すアナログ信号を出力するＣＣＤイメージセンサーを用いた受光素子２６０、受光素子２６０からのアナログ信号をデジタル信号に変換するＡＤ変換器１２０を備える。

さらに摂取熱量推定装置１０は、受光素子２６０からのデジタル信号の入力を受け、かつ、以下の構成要素を統括制御するマイクロコンピューターを用いたシステム制御部１１０、ＡＤ変換器１２０から入力された信号のゲインを調整するゲイン処理部１３０、計算を実行するデジタルシグナルプロセッサー（ＤＳＰ）を用いた計算処理部１４０、データを記憶するハードディスクを用いた記憶装置１５０、光源２８０の照射のＯＮ／ＯＦＦを制御する光源制御部１８０、光量調整器２７０の開度を制御する光量調整器制御部１７０、エタロン２９０による波長選択を制御するために、エタロン２９０内に設けられた光学ギャップを静電引力によって調整するエタロン制御部１９０、受光素子２６０からの読み出し周期を制御することで感度を制御する受光素子制御部１６０、後述する摂取熱量推定処理の開始および終了の指示入力を受けるインターフェースとして機能する開始／終了ボタン１９５、撮像のためのシャッターボタン１９３、画面を表示する表示部１９１（具体的には液晶画面）、外部装置とのデータのやり取りをするインターフェースとして機能する通信部１９７、他の構成要素に電力を供給するバッテリー（図示無し）、上記で説明した光学系の俯角を検出する角度センサー（図示無し）を備える。

なお、エタロン制御部１９０及びエタロン２９０は、例えば特開２００９−１３４０２８に開示された光学デバイスの構成を用いることができる。具体的には、摂取熱量推定装置１０は、エタロン制御部１９０を介して制御信号をエタロン２９０に出力することにより、エタロン２９０を通過する光の波長範囲を可視光〜近赤外の範囲で任意に設定できる。また、上記の記憶装置１５０は、後述する摂取熱量推定処理によって取得するデータを記憶する。

以上に説明した構成によって撮像対象を撮像すると、可視光画像に加えて、撮像範囲の分光分析の結果として、近赤外領域の赤外吸収スペクトルを取得できる。この可視光画像と赤外吸収スペクトルとを利用した摂取熱量推定処理を次から説明する。

［２．摂取熱量推定処理（図３）］
図３は、摂取熱量推定処理を示したフローチャートである。この処理は、開始／終了ボタン１９５が押されたことを契機に、システム制御部１１０が主体となって実行する処理である。また、図４は摂取熱量推定処理の一部としての食品熱量推定処理を示すフローチャート、図５は摂取熱量推定処理の一部としての食前候補抽出処理を示すフローチャート、図６は摂取熱量推定処理の一部としての組み合わせ処理を示すフローチャート、図７（Ａ）〜（Ｇ）は摂取熱量推定処理において表示部１９１に表示される画面を示した図である。

摂取熱量推定処理を開始すると、基本画面を表示部１９１に表示し（ステップＳ３１０）、ユーザーの選択を待つ（ステップＳ３２０）。基本画面とは、「食事撮像」「メニュー」「終了」の各アイコンを表示し、ユーザーに何れか一つを選択させるための画面である（ここで表示される画像の例を図７（Ａ）に示す。）。ユーザーの選択が食事撮像だった場合（ステップＳ３２０，食事撮像）、食品熱量推定処理を実行する（ステップＳ３３０）。

［２−Ａ．食品熱量推定処理（図４）］
食品熱量推定処理を開始すると、撮像モードに移行する（ステップＳ３３２）。撮像モードとは、撮像対象を撮像するための操作をユーザーに行わせる状態のことである。具体的には、ＡＤ変換器１２０を介して取得した波長毎の画像から可視光領域のものを重ね合わせて可視光画像を形成し、その可視光画像を表示部１９１に表示する（ここで表示される画像の例を図７（Ｂ）（Ｄ）に示す。）。ユーザーには、一食において複数種類の食品を食べる場合は、食品を一種類ずつ撮像するための操作を行うように、つまり複数種類の食品の何れか一つが表示部１９１に表示されている状態においてシャッターボタン１９３を押すように取扱説明書等によって予め説明しておく。

上記待機中にシャッターボタン１９３が押されたら、外乱光による影響を測定するために光源２８０から光を撮像対象に照射せずに、エタロン制御部１９０を介してエタロン２９０を制御し、受光素子２６０が受光する光の波長を順次切り替えることによって、波長毎の画像を撮像し、撮像した画像を記憶装置１５０に記憶する（ステップＳ３３４）。続いて、光源２８０から光を撮像対象に照射しながら、同様に受光素子２６０が受光する光の波長をエタロン２９０によって切り替えることによって、波長毎の画像を撮像し、撮像した画像を記憶装置１５０に記憶する（ステップＳ３３６）。

続いて、撮像した画像から、食品の部分を抽出する（ステップＳ３３８）。具体的には、赤外吸収スペクトル及び可視光画像を利用して食品と食器（皿など）とを区別し、食品としての画像部位を抽出する。赤外吸収スペクトルは、光源２８０から発射される光の波長毎の強度とステップＳ３３６において取得した波長毎の強度とを比較し、各波長の吸光度を求めることによって取得する。この際、ステップＳ３３４において取得した外乱光の波長毎の強度に基づいて、外乱光補正を行う。

続いて、食品の質量を求める（ステップＳ３４２）。具体的には、食品を皿ごと摂取熱量推定装置１０を上に載せて、摂取熱量推定装置１０に内蔵された秤を用いて計量する。或いは、外部装置によって計量した結果を取得する。

次に、赤外吸収スペクトルから食品の質量当たりの熱量（ｃａｌ／ｇ）を推定する（ステップＳ３４４）。具体的な方法としては、既知のもの（例えば、特開２００５−６７７３８に開示された手法）を用いればよい。この方法の概要は、食品における糖質・脂質・タンパク質などの含有率を赤外吸収スペクトルに基づき推定し、さらに、その推定結果に基づき熱量を推定するというものである。本実施形態においては、可視光画像により抽出した食品の部位内において平均を取った赤外吸収スペクトルに基づいて、その食品の質量当たりの熱量を推定する。

続いて、推定した食品の質量と、質量当たりの熱量との積を、その食品の熱量として算出し（ステップＳ３４６）、食品熱量推定処理を終える。

食品熱量推定処理を終えると、ステップＳ３３６で撮像した画像（光源２８０による照射有りの場合の撮像による画像）に基づく可視光画像と上記推定した熱量と現在時刻とを関連づけて記憶装置１５０に記憶する（ステップＳ３５０）。なお、ここで記憶する現在時刻は、後述のステップＳ４０４において用いる。

次に、食後の熱量（以下「食後熱量」と言う。）を未推定の食前の食品（以下「食前食品」と言う。）の画像を、記憶装置１５０に記憶しているか否かを判定する（ステップＳ３６０）。直前のステップＳ３３０において（「直前…」とは、複数回実行され得るステップについて、直近の時刻におけるものを示している。以下、同じ。）初めて食品の熱量を推定した場合、その食品について食前か食後かは未設定なので、食後熱量が未推定の食前食品は無いと判定し（ステップＳ３６０，ＮＯ）、この場合、直前のステップＳ３３０において熱量を推定した食品を含む画像（以下「食品を含む画像」を「食品の画像」と言う。）を食前のものとして記憶装置１５０に記憶し、その食品の画像を表示部１９１に一定時間表示して（ステップＳ３７０）（ここで表示される画像の例を図７（Ｃ）に示す。）、ステップＳ３１０に戻って基本画面を表示する。

ユーザーが一食で複数種類の食品を食べようとする場合、上記のように基本画面に戻った後、再度、先述した手順を同じように実行してステップＳ３６０に進むことになる。この場合は食後熱量を未推定の食品の画像が記憶されているので（ステップＳ３６０，ＹＥＳ）、直前のステップＳ３３０において撮像した画像が食前の食品画像（食前画像）なのか、食後の食品の画像（食後画像）なのかをユーザーに選択させる画面を表示し（ここで表示される画像の例を図７（Ｅ）に示す。）、ユーザーの選択を待つ（ステップＳ３６５）。この場合、食前という選択をユーザーがすることになるので（ステップＳ３６５，食前）、ステップＳ３７０に進み、直前に撮像した食品の画像を食前のものとして記憶装置１５０に記憶すると共に、表示部１９１に表示する（ここで表示される画像の例を図７（Ｆ）に示す。）。

全種類の食前食品を対象にして上記手順が実行されると、ステップＳ３２０における指示待ちの状態になるが、ユーザーが食事を開始するので、その状態で暫く待機することになる。ユーザーには、食事を終えたとユーザーが判断したら、ステップＳ３２０において「食事撮像」を選択するように予め説明しておく。

ステップＳ３２０において「食事撮像」が選択されると、先述した手順の通りステップＳ３３０とステップＳ３５０とを実行することで、撮像した食品の熱量を推定すると共に記憶し、ステップＳ３６０に進む。

ステップＳ３６０に進むと、食後熱量を推定していない食前食品の画像を記憶しているので（ステップＳ３６０，ＹＥＳ）、直前に撮像した画像が食前のものなのか食後のものなのかをユーザーに選択させる（ステップＳ３６５）。この場合、直前に撮像した食品は食後のものなので、ステップＳ３６５において「食後」を選択するようにユーザーに予め説明しておく。実際に「食後」が選択されると、直前に撮像した食品の画像を食後のものとして記憶し（ステップＳ３７５）、続いて食前候補抽出処理を実行する（ステップＳ３８０）。

［２−Ｂ．食前候補抽出処理（図５）］
食前候補抽出処理を開始すると、直前に撮像した食品の画像（食後の食品の画像）から、画像認識によって食器のエッジを抽出する（ステップＳ３８２）。続いて、食後熱量を推定していない食前食品の画像の中から、適合度（後述のステップＳ３８８参照）が未判定のものを何れか一つ選択し（ステップＳ３８４）、その選択した画像から食器のエッジを抽出する（ステップＳ３８６）。

次に、ステップＳ３８２において抽出したエッジと、直前のステップＳ３８６において抽出したエッジとを照合し、形状の適合度が予め定められた基準以上か否かを判定する（ステップＳ３８８）。この照合は、撮像における摂取熱量推定装置１０と食品との距離が食前と食後とでずれることを考慮し、二つのエッジの大きさを揃える処理をした上で行う。

適合度が基準以上の場合（ステップＳ３８８，ＹＥＳ）、直前のステップＳ３８４において選択した画像を、食後のものとして直前に設定された画像に対応するものの候補として設定し（ステップＳ３９０）、ステップＳ３９２に進む。

一方、エッジの照合の適合度が基準未満の場合（ステップＳ３８８，ＮＯ）、直前のステップＳ３８４において選択した食前食品の画像を上記候補として設定せずに、ステップＳ３９２に進む。

ステップＳ３９２に進むと、食後熱量を推定していない食前食品の画像の中から、適合度が未判定のものがあるか否かを判定する。未判定のものがある場合は（ステップＳ３９２，ＹＥＳ）、ステップＳ３８４に戻る。

このようにしてステップＳ３８４〜ステップＳ３９２を食後熱量が未推定の食品の数だけ実行すると、適合度が未判定の食前食品の画像が無くなり（ステップＳ３９２，ＮＯ）、食前候補抽出処理を終え、次に組み合わせ処理を実行する（ステップＳ４００）。

［２−Ｃ．組み合わせ処理（図６）］
組み合わせ処理を開始すると、食前食品としての候補が食前候補抽出処理において少なくとも一つは抽出されたか否かを判定する（ステップＳ４０２）。少なくとも一つは抽出された場合（ステップＳ４０２，ＹＥＳ）、その抽出された候補としての画像を、ユーザーが選択可能なように表示部１９１に表示する（ステップＳ４０４）（ここで表示される画像の例を図７（Ｇ）に示す。）。この際、記憶された時刻が新しいものから順に表示する。候補が一つも抽出されなかった場合は（ステップＳ４０２，ＮＯ）、後述するステップＳ４０８に進む。

続いて、表示した画像の何れか一つが選択されたか、又は表示した画像の中には、食後の食品（以下「食後食品」と言う。）の画像に対応する食前食品の画像が無い旨の入力がされたかを判定する（ステップＳ４０６）。なお「食後食品の画像に対応する食前食品の画像」とは、食後食品の食前の状態を撮像した画像のことである。

何れか一つの画像が選択された場合（ステップＳ４０６，画像選択）、その選択された画像を、直前に撮像された食後食品の画像に対応する食前の画像として組み合わせ、記憶装置１５０に記憶して（ステップＳ４０９）、組み合わせ処理を終える。

一方、表示された画像の中には、直前に撮像された食後食品の画像に対応する食前の画像が無い旨が入力された場合（ステップＳ４０６，食前無し）、食前候補抽出処理において候補から除外された食品の画像を表示して何れか一つをユーザーに選択させる（ステップＳ４０８）。次にステップＳ４０９に進み、その選択された画像を食前のものとして組み合わせ、記憶装置１５０に記憶して、組み合わせ処理を終える。

組み合わせ処理を終えると、組み合わせ処理において組み合わせられた画像の食品同士について熱量の差を取ることで、その食品についてのユーザーによる摂取熱量を算出し（ステップＳ４１０）、その算出した摂取熱量、並びに食前および食後の食品の画像を関連づけて記憶装置１５０に記憶し（ステップＳ４２０）、ステップＳ３１０に戻って基本画面を表示する。このようにして上記手順を一食の食品それぞれを対象にして実行することで、一食分の摂取熱量を算出することができる。

一方、ステップＳ３２０において「メニュー」が選択された場合、「メニュー」用のアイコン（「摂取熱量の表示」「食前の画像の削除」「食べた食品名の入力」「基本画面に戻る」など）を表示部１９１に表示し、ユーザーの選択を待つ（ステップＳ４３０）。一方、ステップＳ３２０において「終了」が選択された場合、摂取熱量推定処理を終える。

このように摂取熱量推定処理を実行することで記憶装置１５０に記憶されたデータは、表示部１９１に表示することができる。具体的には、各食事において推定された総摂取熱量を、日付および朝昼夜毎に整理した表やグラフとして表示できる（ここで表示される画像の例を、図１の表示Ｄ１及び表示Ｄ２に示す。）。また、記憶装置１５０に記憶されたデータを通信部１９７経由で外部装置に入力することで、このような表示を外部装置に実行させることもできる。

以上に説明した摂取熱量推定処理を実行することで、簡単かつ正確に摂取熱量を推定することができる。つまり、ユーザーは、食前および食後において、表示部１９１に表示された指示に従って撮像および情報入力をするだけで、食前・食後食品を対象とした赤外吸収スペクトルによる正確な摂取熱量を推定できる。また、候補を絞り込んでからユーザーに食前食品を提示するので、ユーザーの作業が簡単なものになっている。さらに、その候補の絞り込みは、食前・食後で変化しない食器のエッジを利用しているので、正確に実行することができる。しかも、仮にその抽出に失敗しても、抽出段階において除外されたものを提示するので、その後の処理に支障を来すことがない。

［３．実施形態と適用例との対応関係］
ステップＳ３３４及びステップＳ３３６が撮像部を、ステップＳ３４６が食品熱量推定部を、ステップＳ３６０及びステップＳ３６５が設定部を、ステップＳ３８０が抽出部を、ステップＳ４００が組み合わせ部を、ステップＳ４０４及びステップＳ４０８が提示部を、ステップＳ４１０が摂取熱量推定部を各々実現するためのソフトウェアに対応する。また、適用例８の摂取熱量推定用テータ出力装置は、下記他の実施形態の一つに相当する。

［４．他の実施形態］
本発明は、先述した実施形態になんら限定されるものではなく、発明の技術的範囲内における種々の形態により実施できる。例えば、実施形態の構成要素の中で付加的なものは、実施形態から省略できる。ここで言う付加的な構成要素とは、実質的に独立している適用例においては特定されていない事項に対応する要素のことである。また、例えば、以下のような実施形態が考えられる。

・摂取熱量推定装置を、資料提示装置のような形状、つまり、食品を所定の位置に載せて、その位置に対して固定された撮像系によって撮像し、熱量を推定するように構成してもよいこのようにすれば、食前と食後でのアングル等に違いが出にくいので、より正確に摂取熱量を推定できる。
・摂取熱量推定装置を、電子レンジのような形状、つまり、食品を内部に収納する構造を備え、食品をこの構造によって収納した状態で撮像すると共に熱量を推定するように構成してもよい。このようにすれば、食前と食後において、アングル等に違いが出にくいのに加え、外乱光の差異が小さくなるので、より正確に摂取熱量を推定できる。

・摂取熱量推定装置の機能を複数の装置（例えば、サーバー及び端末装置）に分離させ、摂取熱量推定システムとして構成してもよい。
・サーバー及び端末装置による摂取熱量システムの場合、端末装置は、少なくとも撮像およびインターフェース機能（実施形態の場合、ステップＳ３１０・３２０・３３４・３３６・３６５・４０４〜４０８・４３０を実現するための構成）を備えるのが好ましい。その他の機能は、端末装置が備えても、サーバーが備えても構わない。具体的には、次のような態様が考えられる。
・端末装置は、摂取熱量を推定し、その推定結果を無線通信によってサーバーに入力する。サーバーは、入力された摂取熱量の推定結果を記憶すると共に、要求に応じて端末に送信する。
・端末装置（適用例８に相当）は、組み合わせ処理まで（熱量が推定された食前と食後との食品を組み合わせの処理まで）実行し、その結果を無線通信によってサーバーに入力する。サーバーは、入力された結果に基づいて摂取熱量を推定すると共に記憶し、その摂取熱量を要求に応じて端末に送信する。
・端末装置は、撮像を行い、撮像結果としての画像データを無線通信によってサーバーに入力する。サーバーは、入力された画像データに基づいて摂取熱量を推定すると共に記憶し、その摂取熱量を要求に応じて端末に送信する。
・端末装置としては、摂取熱量を推定するための専用機でもよいし、例えば、カメラ付きのスマートフォンやモバイルコンピューターなどの通信機器や、記録メディアによってデータを外部と授受できるデジタルカメラを利用してもよい。

・赤外吸収スペクトルから食品の密度を推定し、その密度と、ステップＳ３４０において求めた体積との積を、質量の推定値としてもよい。赤外吸収スペクトルと密度との関係は、記憶装置１５０に予め記憶させておいてもよい。密度の推定に用いる赤外吸収スペクトルは、可視光画像により抽出した食品の部位内において平均を取ったものとしてもよい。食品の体積は、可視光画像に基づいて推定してもよい。その推定方法は、例えば、その画像部位の面積と、撮像した際の焦点距離と、角度センサーによって検出した光学系の俯角とに基づいて、食品の体積を算出してもよい。
・食品の質量を求める際にする密度の推定は、食品の種類に基づいて行ってもよい。具体的には、可視光画像と予め記憶した食品画像とのマッチングに基づいて、食品の種類を推定し、その食品の密度として予め記憶したものを質量推定に用いればよい。
・赤外吸収スペクトルによって体積当たりの熱量を推定する場合は、質量を求める処理を省いて、体積と体積当たりの熱量とに基づいて食品の熱量を推定すればよい。

・分光分析の結果を取得するために、可視光や中赤外領域の吸収スペクトルを用いてもよい。可視光を用いると、可視光画像と波長領域を共通にできる。また、中赤外を用いると、食品成分をより詳細に分析でき、熱量推定の精度が向上すると考えられる。
・分光分析をするために、エタロンを使用する代わりに、光源から照射される光の波長を切り替えるようにしてもよい。つまり、異なるピークを持つ光源を複数備えておき、それら光源から順次、光を発射するようにすればよい。照射した光の波長が分かれば、赤外吸収スペクトルを求めることができる。
・可視光画像と赤外吸収スペクトルとで取得するための光の経路を別々にすることで、可視光画像を分光しないようにしてもよい。
・食品の抽出は、可視光画像を用いず、赤外領域の画像のみで行ってもよい。
・複数種類の食品が一枚の画像に収まって撮像された場合、その画像を食品毎に分割して、その後の処理を行ってもよい。このようにすれば、ユーザーは、複数種類の食品をそれぞれ撮像しなくてもよいので、操作が簡単になる。

実施形態では、取扱説明書によってユーザーに操作の説明をしていたが、画面や音声で説明するようにしてもよい。なお、音声を用いる場合は、ハードウェア構成にスピーカーを追加するのが好ましい。

波長を選択するための構造は、実施形態に示されたエタロン及びエタロン制御部の構造でなくてもよく、例えば、光学ギャップを光路の角度を調節することで波長を選択する構造でもよい。

１０…摂取熱量推定装置
１１０…システム制御部
１２０…ＡＤ変換器
１３０…ゲイン処理部
１４０…計算処理部
１５０…記憶装置
１６０…受光素子制御部
１７０…光量調整器制御部
１８０…光源制御部
１９０…エタロン制御部
１９１…表示部
１９３…シャッターボタン
１９５…開始／終了ボタン
１９７…通信部
２１０…レンズ
２６０…受光素子
２７０…光量調整器
２８０…光源
２９０…エタロン

Claims (8)

1. 画像を撮像する撮像部と、
   前記撮像部によって撮像された画像を分光分析することによって、該画像に含まれる食品の熱量を推定する食品熱量推定部と、
   前記撮像部によって撮像された画像が、ユーザーが摂取する前の前記食品の画像である食前画像なのか、前記ユーザーが摂取した後の前記食品の画像である食後画像なのかを設定する設定部と、
   前記設定部によって設定された前記食後画像に対して、対応する食前画像を組み合わせる組み合わせ部と、
   前記食後画像に含まれる食品について前記食品熱量推定部によって推定された熱量と、前記組み合わせ部によって当該食後画像と組み合わせられた前記食前画像に含まれる食品について前記食品熱量推定部によって推定された熱量との差を取ることで、前記ユーザーによる摂取熱量を推定する摂取熱量推定部と
   を備える摂取熱量推定装置。
2. 請求項１に記載の摂取熱量推定装置であって、
   前記組み合わせ部は、
   前記設定部によって前記食後画像が設定された後に、該設定以前に前記設定部によって設定された食前画像に含まれる食品が特定可能な情報を、前記ユーザーに提示する提示部を備え、
   前記提示部による提示の契機となった設定の対象である前記食後画像と、該契機に基づき前記提示部によって提示された情報の中から、前記ユーザーによって選択された情報によって特定される食品を含む食前画像とを組み合わせる
   摂取熱量推定装置。
3. 請求項２に記載の摂取熱量推定装置であって、
   前記設定部によって前記食後画像が設定された後に、該設定の対象である前記食後画像と対応する食前画像の候補を、該設定以前に前記設定部によって設定された食前画像の中から画像処理に基づき抽出する抽出部を備え、
   前記提示部は、前記抽出部によって候補として抽出された前記食前画像に含まれる食品が特定可能な情報を前記ユーザーに提示する
   摂取熱量推定装置。
4. 請求項３に記載の摂取熱量推定装置であって、
   前記抽出部は、前記設定の対象である前記食後画像に対して該設定以前に前記設定部によって設定された食前画像を、容器のエッジについて照合し、該照合の適合度が基準以上である画像を前記候補として抽出する
   摂取熱量推定装置。
5. 請求項３又は４に記載の摂取熱量推定装置であって、
   前記提示部は、前記抽出部によって候補が一つも抽出されなかった場合、又は前記抽出部によって抽出された候補の中には、前記設定部によって設定された前記食後画像と対応するものは無い旨が前記ユーザーから入力された場合に、前記抽出部によって抽出されなかった食前画像に含まれる食品が特定可能な情報を前記ユーザーに提示する
   摂取熱量推定装置。
6. 請求項２ないし５の何れか一つに記載の摂取熱量推定装置であって、
   前記提示部は、前記食品が特定可能な情報の提示として、該食品を含む画像を表示する
   摂取熱量推定装置。
7. 食品を含む画像について分光分析の結果によって該食品の熱量を推定し、かつ、該画像が、ユーザーが摂取する前の前記食品の画像である食前画像なのか、前記ユーザーが摂取した後の前記食品の画像である食後画像なのかを設定し、
   前記食前画像と、当該食前画像に対応する前記食後画像とを組み合わせ、
   前記食後画像に含まれる食品について前記食品熱量推定部によって推定された熱量と、前記組み合わせ部によって当該食後画像と組み合わせられた前記食前画像に含まれる食品について前記食品熱量推定部によって推定された熱量との差を取ることで、前記ユーザーによる摂取熱量を推定する
   摂取熱量推定方法。
8. 画像を撮像する撮像部と、
   前記撮像部によって撮像された画像を分光分析することによって、該画像に含まれる食品の熱量を推定する食品熱量推定部と、
   前記撮像部によって撮像された画像が、ユーザーが摂取する前の前記食品の画像である食前画像なのか、前記ユーザーが摂取した後の前記食品の画像である食後画像なのかを設定する設定部と、
   前記設定部によって設定された前記食後画像に対して、対応する食前画像を組み合わせる組み合わせ部と、
   前記組み合わせ部によって組み合わせられた前記食前画像と前記食後画像とについての情報を外部に出力する出力部と
   を備える摂取熱量推定用データ出力装置。

Images