JP2012212249A - 食事画像解析方法、食事画像解析プログラムおよび食事画像解析装置 - Google Patents

Abstract

【課題】食事のバランスを容易にユーザに把握させることを課題とする。
【解決手段】食事画像解析装置１０の取得部１３ａは、食事画像を取得する。そして、抽出部１３ｂは、食事画像から器の位置を検出し、食事部分のみを抽出する。続いて、作成部１３ｃは、食材画像の画素値を色ごとに分類し、食材画像の色頻度分布を作成する。そして、色算出部１３ｄは、色種類数および色割合を算出する。続いて、スコア算出部１３ｅは、色種類数および色割合に基づいて、スコアを算出する。その後、出力部１２は、算出されたスコアを出力する。
【選択図】図１

Description

本発明は、食事画像解析方法、食事画像解析プログラムおよび食事画像解析装置に関する。

従来から、様々な色の食材を摂取することでバランスが良い食事をとることができるということが知られている。そして、栄養士等が様々な色を含むバランスの良い食生活を促すなどの栄養指導を行っている。

また、栄養管理のために、ユーザが摂取した食事の画像を解析することで、ユーザが摂取した食事の量を計測する技術がある。さらに、食事画像から、栄養バランスの一つの指標である食事バランスガイドに沿って、主食、副食などのグループをバランスよく摂取しているか判定する技術がある。

特開２００８−２０４１０５号公報

しかしながら、上記した従来の技術では、食事のバランスをユーザが把握するのが容易でないという課題があった。つまり、ユーザが摂取した食事の量を計測する技術では、ユーザの食事による摂取量を計測するが、食事のバランスを把握することができない。また、主食、副食などのグループをバランスよく摂取しているか判定する技術では、主食、副食などのグループをバランスよく摂取しているかを把握することができるが、様々な色の食材を摂取しているか判定することができない。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、食事のバランスを容易にユーザに把握させることを目的とする。

上述した課題を解決し、目的を達成するため、この食事画像解析方法は、記憶領域に記憶された画像を取得し、取得した画像に含まれる食事部分を特定し、特定した食事部分に含まれる複数の画素各々の値に基づいて、該複数の画素の色頻度分布を作成し、作成した色頻度分布に基づいて、食事部分に含まれる色種類数を算出し、算出した色種類数に基づき、食事バランス数値を算出し、算出した食事バランス数値を出力する。

開示の方法は、食事のバランスを容易にユーザに把握させることができる。

図１は、実施例１に係る食事画像解析装置の機能的構成を示すブロック図である。 図２は、食事画像の例を示す図である。 図３は、登録された器の形状の例を示す図である。 図４は、食材の位置を特定した結果を示す図である。 図５は、消失点について説明する図である。 図６は、登録された器の形状を消失点に向かう線に合わせて変換する処理を説明する図である。 図７は、食材画像の抽出処理を説明する図である。 図８は、食材画像の色頻度分布を説明する図である。 図９は、器の数とサイズから量を推定する処理を説明する図である。 図１０は、食事バランスに関する情報の一例を示す図である。 図１１は、実施例１に係る食事画像解析装置の処理動作を示すフローチャートである。 図１２は、食事画像解析プログラムを実行するコンピュータを示す図である。

以下に添付図面を参照して、この発明に係る食事画像解析方法、食事画像解析プログラムおよび食事画像解析装置の実施例を詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

以下の実施例では、実施例１に係る食事画像解析装置の構成および処理の流れを順に説明し、最後に実施例１による効果を説明する。

［食事画像解析装置の構成］
最初に、図１を用いて、食事画像解析装置の機能的構成を説明する。図１は、実施例１に係る食事画像解析装置の構成を示すブロック図である。図１に示すように、この食事画像解析装置１０は、入力部１１、出力部１２、制御部１３、記憶部１４を有する。以下にこれらの各部の処理を説明する。

入力部１１は、カメラなどで撮影された、食事部分を含む食事画像などを入力するものであり、キーボードやマウスなどを有する。また、出力部１２は、食事のバランスをスコア化した食事バランス数値を表示するものであり、モニタやスピーカなどを有する。

制御部１３は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。また、制御部１３は取得部１３ａ、抽出部１３ｂ、作成部１３ｃ、色算出部１３ｄおよびスコア算出部１３ｅを有する。なお、制御部１３には、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などを適用する。

取得部１３ａは、入力部１１によって入力された食事部分を含む食事画像を取得する。ここで、取得部１３ａが取得する食事画像について図２の例を用いて説明する。図２は、食事画像の例を示す図である。例えば、図２に例示するように、取得部１３ａは、食事画像として、ごはん、味噌汁、魚、漬け物などの食事部分と、器や箸などの食事部分以外の部分とが映った食事画像を取得する。その後、取得部１３ａは、取得した食事画像を抽出部１３ｂに通知する。

抽出部１３ｂは、取得部１３ａが取得した食事画像から食事部分を抽出する。例えば、抽出部１３ｂは、食事画像から食器を検出し、食器の形状特徴を利用して食事部分のみを抽出する。まず、図３を用いて、食事画像に含まれる食器について説明する。食事画像に含まれる食器の形状は、様々なバリエーションがあるが、円形、楕円形、四角形のものが多い。このため、図３に例示するように、円形、楕円形、四角形などの食器の形状を、検出すべき形状として事前に登録しておく。図３は、登録された器の形状の例である。図３の例では、１番目に正方形、２番目に楕円形、３番目に長方形、４番目に円形の図形などが登録されている。

そして、抽出部１３ｂは、既存の技術である幾何学的ハッシングや一般化ハフ変換を用いて、食事画像中の円形、楕円形、四角形などを検出する。図４の例を挙げて説明すると、抽出部１３ｂは、食事画像から円形の食器を３つ、長方形の食器を１つ検出している。図４は、食材の位置を特定した結果を示す図である。なお、ここで幾何学的ハッシングとは、平行移動や回転、スケールの変化に対応できる形状検出手法である。また、一般化ハフ変換とは、形状とポーズ、回転角度の組み合わせで任意の幾何学的図形を検出する手法である。

なお、上記の抽出部１３ｂの処理では、食事画像が斜めから撮影された場合には、食器の形状が変形して食器の形状を検出するのに不都合が発生する場合がある。このため、抽出部１３ｂは、図５に示すように、ハフ変換により画像から直線を抽出し、平行線が交わる消失点を算出する。図５は、消失点について説明する図である。

そして、抽出部１３ｂは、図６に示すように、算出された消失点を利用して、事前に登録された食器の形状（図３参照）を撮影画像に合わせた形状に変形させる。そして、抽出部１３ｂは、変形された形状を検出すべき食器の形状として食器の画像を検出することで、食事斜画像が斜めから撮影された食事画像からでも食器の形状を検出することができる。図６は、登録された器の形状を消失点に向かう線に合わせて変換する処理を説明する図である。

食器の形状を検出した後、抽出部１３ｂは、検出した食器の内側の画像を抽出する。図７を用いて詳しい処理を説明すると、抽出部１３ｂは、図７に示すように、食器の形状を検出した食事画像を基に、食器の形状の外側を黒で塗りつぶしたマスク画像を作成する。そして、抽出部１３ｂは、図７に示すように、食事画像とマスク画像とを重畳して、食事部分のみを抽出する。図７は、食材画像の抽出処理を説明する図である。その後、抽出部１３ｂは、抽出した食事部分のデータを作成部１３ｃに通知する。

作成部１３ｃは、抽出部１３ｂによって抽出された食事部分の色頻度分布を作成する。例えば、作成部１３ｃは、食材画像のデジタルデータからＲＧＢ値を取得し、色相（Ｈ）、彩度（Ｓ）、輝度（Ｉ）の情報に変換する。変換式の例を挙げると、作成部１３ｃは、下記（１）式を用いて、ＲＧＢ値をから色相（Ｈ）に算出する。また、作成部１３ｃは、（２）式を用いて、ＲＧＢ値をから彩度（Ｓ）に算出する。また、作成部１３ｃは、（３）式を用いて、ＲＧＢ値をから輝度（Ｉ）に変換する。

そして、作成部１３ｃは、図８に示すように、食事画像における食事部分の各画素の色を判定し、食事画像における食事部分の画素を色ごとに分類して、食事部分の色頻度分布を作成する。図８の例では、食事画像における食事部分の画素を色ごとに分類して、食事部分の色頻度分布を作成する。その後、作成部１３ｃは、作成した色頻度分布を色情報記憶部１４ａに格納する。

色算出部１３ｄは、色情報記憶部１４ａに記憶された色頻度分布に基づいて、食事部分に含まれる色種類数および色割合を算出する。例えば、図８の例では、食事部分に含まれる色が緑、黄、赤、茶、白および黒（その他）であるため、色算出部１３ｄは、色種類数「６」を算出する。

また、色算出部１３ｄは、食事部分の画素数に対する各色の画素数の割合である色割合を算出する。例えば、図８の例では、色算出部１３ｄは、色頻度分布に基づいて、緑が１２％、黄色が８％、赤が１２％、茶が２５％、白が４％、黒（その他）が３９％であることを算出する。その後、色算出部１３ｄは、算出した色種類数および色割合を色情報記憶部１４ａに格納する。

スコア算出部１３ｅは、色情報記憶部１４ａから色種類数および色割合を読み出し、色種類数および色割合に基づいた食事バランス数値を算出する。例えば、スコア算出部１３ｅは、色種類数が多いほど、また、色割合が予め設定された色割合に近いほど食事バランス数値が大きくなるように、食事バランス数値を算出する。ここで、食事バランス数値（以下、スコアという）の算出方法の例について詳しく説明する。スコア算出部１３ｅは、食事部分における各色の割合が所定の閾値より大きいかそれぞれ判定し、閾値より大きい色数と閾値より大きい色割合とを乗算してスコアを算出する。その後、スコア算出部１３ｅは、算出したスコアを食事バランス記憶部１４ｂに記憶する。なお、スコア算出部１３ｅは、色種類のみに基づいて、スコアを算出してもよい。

具体例を挙げて説明すると、例えば、閾値が１０％で設定され、食事部分における各色の割合が、白６０％、緑２４％、赤８％、黄８％である場合に、スコア算出部１３ｅは、閾値より大きい色が白および緑の２色であると判定する。そして、スコア算出部１３ｅは、「２色×（０．６＋０．２４）＝１．６８」により、スコアが「１．６８」であると算出する。このスコアは、値が高いほど食事のバランスが良いことを示している。例えば、１色が１００％であった場合、すなわち食事のバランスが悪い場合には、「１色×１．０＝１．０」により、スコアが「１．０」となり、スコアが上記の例と比較して低くなる。

また、スコア算出部１３ｅは、食事部分における色バランスだけでなく、食事回数、食事の時間帯、食事の量、食事場所などに応じて、スコアを増減させてもよい。以下、食事の色バランス以外のスコアの算出方法について説明する。例えば、スコア算出部１３ｅは、一日における食事回数が３回なら３点、２回なら２点、それ以外なら１点をスコアに加算する。また、スコア算出部１３ｅは、就寝前３時間の間の食事があった場合には、スコアから０．５点減算する。具体例を挙げると、１日３色、うち１回が就寝前であった場合には、「３食−０．５（就寝前減点）＝２．５」でスコアに２．５点加算する。

また、例えば、スコア算出部１３ｅは、１ヶ月の食事の色のヒストグラムをとり、同じ配色（例えば、カレーなら黄色６０％、白４０％など）がどのくらいの割合で出現しているか、また、同じ配色が連続してないかをチェックしてポイントを増減させる。具体例を挙げると、１ヶ月に食べた食事のカラーバリエーションが１０種類以上だった場合には１０ポイント加算する。これにより、１ヶ月の食事における偏食の傾向をスコアに反映することができる。

また、例えば、スコア算出部１３ｅは、食事の量に応じて、スコアを増減させる。ここで、食事画像から食事の量を推定する方法について図９を用いて説明する。図９は、器の数とサイズから量を推定する処理を説明する図である。スコア算出部１３ｅは、食器の数と食器のサイズにより、食事の量を算出する。ここで、図９に示すように、箸のサイズを基準にして、食器のサイズを算出する。

つまり、食器やお盆に比べて箸のサイズは大体同じ大きさであることが多く、食器やお盆に比べてサイズの変動幅が小さい箸を基準にして箸のサイズを算出する事で、食器のサイズを適切に推定することができる。食事の量を算出した後、スコア算出部１３ｅは、食事の量が所定の範囲内にあれば、１点加算し、食事の量が多いまたは少ないために所定の範囲外であれば、１点減算する。

また、例えば、スコア算出部１３ｅは、食事場所に応じて、スコアを増減させる。例えば、スコア算出部１３ｅは、ＧＰＳ（Global Positioning System）などで場所情報を取得し、自宅で食事した場合には、１点加算し、自宅以外で食事した場合には、１点減算する。

このように、スコア算出部１３ｅは、スコアを算出した後、出力部１２を介してスコアを出力する。ここで、スコア算出部１３ｅは、毎回の食事ごとにスコアを算出して出力してもよいし、一日ごとにスコアを算出して出力してもよいし、一ヶ月分統合してスコアを算出して出力してもよい。また、スコア算出部１３ｅは、図１０に例示するように、一日における食事時間、食事の量、色配分、場所などの情報を時間ごとに記録した一日の食事表を作成してもよい。図１０は、食事バランスに関する情報の一例を示す図である。この場合に、スコア算出部１３ｅは、スコアを出力する際に、その日一日の食事表も一緒に出力してもよい。

記憶部１４は、制御部１３による各種処理に必要なデータおよびプログラムを格納する。また、記憶部１４は、色情報記憶部１４ａおよび食事バランス記憶部１４ｂを有する。なお、記憶部１４とは、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ （flash memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。

色情報記憶部１４ａは、作成部１３ｃによって作成された色頻度分布、色算出部１３ｄによって算出された色種類数および色割合を記憶する。食事バランス記憶部１４ｂは、スコア算出部１３ｅによって算出されたスコア、スコア算出部１３ｅによって作成された一日の食事表（図１０参照）を記憶する。

［食事画像解析装置による処理］
次に、図１１を用いて、実施例１に係る食事画像解析装置１０による処理を説明する。図１１は、実施例１に係る食事画像解析装置の処理動作を示すフローチャートである。

図１１に示すように、まず、食事画像解析装置１０の取得部１３ａは、食事画像を取得する（ステップＳ１０１）。そして、食事画像解析装置１０の抽出部１３ｂは、食事画像から器の位置を検出し（ステップＳ１０２）、食事部分のみを抽出する（ステップＳ１０３）。例えば、抽出部１３ｂは、既存の技術である幾何学的ハッシングや一般化ハフ変換を用いて食事画像中の円形、楕円形、四角形などを検出することで、食器の形状を検出し、検出した食器の内側の画像を食事部分として抽出する。

続いて、食事画像解析装置１０の作成部１３ｃは、食材画像の画素値を色ごとに分類し、食材画像の色頻度分布を作成する（ステップＳ１０４）。例えば、作成部１３ｃは、食材画像のデジタルデータからＲＧＢ値を取得し、色相（Ｈ）、彩度（Ｓ）、輝度（Ｉ）の情報に変換する。そして、作成部１３ｃは、食事画像における食事部分の各画素の色を判定し、食事画像における食事部分の画素を色ごとに分類して、食事部分の色頻度分布を作成する。

そして、食事画像解析装置１０の色算出部１３ｄは、色種類数および色割合を算出する（ステップＳ１０５）。続いて、食事画像解析装置１０のスコア算出部１３ｅは、色種類数および色割合に基づいて、スコアを算出する（ステップＳ１０６）。例えば、スコア算出部１３ｅは、食事部分における各色の割合が所定の閾値より大きいかそれぞれ判定し、閾値より大きい色数と閾値より大きい色割合とを乗算してスコアを算出する。その後、出力部１２は、算出されたスコアを出力し（ステップＳ１０７）、処理を終了する。

[実施例１の効果]
上述してきたように、実施例１に係る食事画像解析装置１０は、食事画像を取得し、取得した画像から食事部分を抽出し、食事部分の色頻度分布を作成する。そして、色頻度分布に基づいて、食事部分に含まれる色種類数および色割合を算出し、色種類数および色割合に基づいたスコアを算出し、スコアを出力する。このため、食事のバランスを容易にユーザに把握させることが可能である。

また、実施例１に係る食事画像解析装置１０は、色種類数が多いほど、また、色割合が予め設定された色割合に近いほど食事バランス数値が大きくなるように、スコアを算出する。このため、食事バランスを示すスコアをより精度よく算出することが可能である。

また、実施例１に係る食事画像解析装置１０は、食事回数、食事の時間帯、食事の量、食事場所に応じて、スコアを増減するので、食事バランスを示すスコアをより精度よく算出することが可能である。

また、実施例１に係る食事画像解析装置１０は、所定期間内における食事バランス数値を統合して算出し、算出した所定期間における食事バランス数値を出力するので、長期的な食事のバランスを容易にユーザに把握させることが可能である。

さて、これまで実施例１について説明したが、上述した実施例１以外にも、種々の異なる形態が実施されてもよい。そこで、以下では実施例２として本実施例に含まれる他の実施例を説明する。

（１）システム構成等
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１３ａと抽出部１３ｂを統合してもよい。

（２）プログラム
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをコンピュータで実行することによって実現することができる。そこで、以下では、図１２を用いて、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１２は、食事画像解析プログラムを実行するコンピュータを示す図である。

図１２に示すように、食事画像解析装置としてのコンピュータ６００は、ＨＤＤ６１０、ＲＡＭ６２０、ＲＯＭ６３０およびＣＰＵ６４０をバス６５０で接続して構成される。

そして、ＲＯＭ６３０には、上記の実施例と同様の機能を発揮する食事画像解析プログラム、つまり、図１２に示すように、取得プログラム６３１、抽出プログラム６３２、作成プログラム６３３、色算出プログラム６３４およびスコア算出プログラム６３５が予め記憶されている。なお、プログラム６３１〜６３５については、図１に示した食事画像解析装置１０の各構成要素と同様、適宜統合または分散してもよい。

そして、ＣＰＵ６４０が、これらのプログラム６３１〜６３５をＲＯＭ６３０から読み出して実行することで、図１２に示すように、各プログラム６３１〜６３５は、取得プロセス６４１、抽出プロセス６４２、作成プロセス６４３、色算出プロセス６４４およびスコア算出プロセス６４５として機能するようになる。

また、ＨＤＤ６１０には、図１２に示すように、色データ６１１およびスコアデータ６１２が設けられる。そして、ＣＰＵ６４０は、色データ６１１およびスコアデータ６１２に対してデータを登録するとともに、色データ６１１およびスコアデータ６１２を読み出してＲＡＭ６２０に格納し、ＲＡＭ６２０に格納されたデータに基づいて処理を実行する。

１０ 食事画像解析装置
１１ 入力部
１２ 出力部
１３ 制御部
１３ａ 取得部
１３ｂ 抽出部
１３ｃ 作成部
１３ｄ 色算出部
１３ｅ スコア算出部
１４ 記憶部
１４ａ 色情報記憶部
１４ｂ 食事バランス記憶部

Claims (8)

1. コンピュータが、
   記憶領域に記憶された画像を取得し、
   取得した前記画像に含まれる食事部分を特定し、
   特定した前記食事部分に含まれる複数の画素各々の値に基づいて、該複数の画素の色頻度分布を作成し、
   作成した前記色頻度分布に基づいて、前記食事部分に含まれる色種類数を算出し、
   算出した前記色種類数に基づき、食事バランス数値を算出し、
   算出した食事バランス数値を出力することを特徴とする食事画像解析方法。
2. 前記コンピュータは、さらに、
   前記色頻度分布に基づいて、前記食事部分に含まれる色の割合を算出し、
   前記食事バランス数値を算出する処理において、
   さらに、前記色の割合に基づいて、該食事バランス数値を算出することを特徴とする請求項１記載の食事画像解析方法。
3. 前記色種類数が多いほど、また、前記色割合が予め設定された色割合に近いほど前記食事バランス数値が大きくなるように、前記食事バランス数値を算出することを特徴とする請求項２記載の食事画像解析方法。
4. 食事回数、食事の時間帯、食事の量、食事場所に応じて、前記食事バランス数値を増減することを特徴とする請求項１〜３のいずれか一つに記載の食事画像解析方法。
5. 所定期間内における前記食事バランス数値を統合して算出し、
   算出した所定期間における前記食事バランス数値を出力することを特徴とする請求項１〜４のいずれか一つに記載の食事画像解析方法。
6. 取得した前記画像から食器を検出し、検出した食器の内側の画像を食事部分として特定することを特徴とする請求項１〜５のいずれか一つに記載の食事画像解析方法。
7. コンピュータに、
   記憶領域に記憶された画像を取得し、
   取得した前記画像に含まれる食事部分を特定し、
   特定した前記食事部分に含まれる複数の画素各々の値に基づいて、該複数の画素の色頻度分布を作成し、
   作成した前記色頻度分布に基づいて、前記食事部分に含まれる色種類数を算出し、
   算出した前記色種類数に基づき、食事バランス数値を算出し、
   算出した食事バランス数値を出力する
   処理を実行させる食事画像解析プログラム。
8. 記憶領域に記憶された画像を取得する取得部と、
   前記取得部によって画像に含まれる食事部分を特定する特定部と、
   前記特定部によって特定された食事部分に含まれる複数の画素各々の値に基づいて、該複数の画素の色頻度分布を作成する作成部と、
   前記作成部によって作成された色頻度分布に基づいて、前記食事部分に含まれる色種類数を算出する色算出部と、
   前記色算出部によって算出された色種類数に基づき、食事バランス数値を算出するスコア算出部と、
   前記スコア算出部によって算出された食事バランス数値を出力する出力部と、
   を有することを特徴とする食事画像解析装置。

Images