JP2013025728A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】ユーザに対して摂取カロリーなどの喫食情報を正確に提供する。
【解決手段】本開示の情報処理装置は、料理を被写体として撮像された撮像画像における各料理の領域を切出すことにより料理画像を生成する切出し部と、生成された前記料理画像を同一被写体毎にグルーピングするグルーピング部とを含む。本開示は、喫食管理システムに適用することができる。
【選択図】図２

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、ユーザが喫食する料理を撮像した画像に基づいてユーザの喫食情報を管理できるようにした情報処理装置、情報処理方法、およびプログラムに関する。

従来、飲食店で喫食した料理のカロリーを知ることができるシステムが存在する。当該システムでは、飲食店で提供された料理をカメラ付き携帯端末にて撮像し、料理の画像とその飲食店の情報を所定のサーバに通知することにより、料理の喫食による摂取カロリーなどの情報がサーバからユーザのカメラ付き携帯端末に通知されるようになされている（例えば、特許文献１参照）。

特開２００４−１１８５６２号公報

上述したシステムにおいては、飲食店毎に料理とカロリーとが対応付けられているテーブルがサーバに保持されているので、例えば、テーブルに存在しない飲食店の料理や、自宅などで調理された料理については、そのカロリーなどの情報を得ることができなかった。

また、出てきた料理を撮像するに際しては、同一被写体（料理）を複数回撮像することが想定される。上述したシステムにおいては、得られる複数の画像のうちのどれをサーバに通知するかの選択がユーザに必須となり、この場合、摂取カロリーの判定に適した画像をユーザが必ずしも選択できているとは限らない。

さらに、同一被写体（料理）が写った複数の画像の選択をユーザが省略した場合、実際には１度しか喫食していない料理が複数回喫食したものとされ、摂取カロリーが誤って判定されてしまうことが起こり得た。

本開示はこのような状況に鑑みてなされたものであり、ユーザに対して摂取カロリーなどの喫食情報を正確に提供できるようにするものである。

本開示の一側面である情報処理装置は、料理を被写体として撮像された撮像画像における各料理の領域を切出すことにより料理画像を生成する切出し部と、生成された前記料理画像を同一被写体毎にグルーピングするグルーピング部とを含む。

本開示の一側面である情報処理装置は、同一被写体毎にグルーピングされた前記料理画像の各グループから代表料理画像を選択する選択部と、選択された前記代表料理画像を解析し、解析結果に基づいて前記代表料理画像の被写体である料理のカロリーまたは栄養バランスの少なくとも一方を判定する栄養判定部と、前記栄養判定部の判定結果をユーザに提示する提示部とをさらに含むことができる。

前記選択部は、同一被写体毎にグルーピングされた前記料理画像の各グループから、前記栄養判定部による判定に適した前記代表料理画像を選択することができる。

前記選択部は、ユーザからの操作に従い、同一被写体毎にグルーピングされた前記料理画像の各グループから前記代表料理画像を選択することができる。

グルーピング部は、生成された全ての前記料理画像に対してペアを設定し、前記ペアを成す２枚の料理画像の被写体が同一であるか否かの判定結果に基づいて、前記料理画像を同一被写体毎にグルーピングすることができる。

グルーピング部は、生成された全ての前記料理画像に対してペアを設定し、前記ペアを成す２枚の料理画像の撮像日時または撮像位置が所定の閾値を越える場合、前記２枚の料理画像の被写体は同一ではないと判定することができる。

前記切出し部は、前記撮像画像における各料理が盛り付けられている食器の領域を切出すことにより前記料理画像を生成することができる。

本開示の一側面である情報処理装置は、料理を被写体として撮像することにより前記撮像画像を生成する撮像部をさらに含むことができる。

本開示の一側面である情報処理方法は、情報処理装置による、料理を被写体として撮像された撮像画像における各料理の領域を切出すことにより料理画像を生成する切出しステップと、生成された前記料理画像を同一被写体毎にグルーピングするグルーピングステップとを含む。

本開示の一側面であるプログラムは、コンピュータを、料理を被写体として撮像された撮像画像における各料理の領域を切出すことにより料理画像を生成する切出し部と、生成された前記料理画像を同一被写体毎にグルーピングするグルーピング部として機能させる。

本開示の一側面においては、料理を被写体として撮像された撮像画像における各料理の領域を切出すことにより料理画像が生成され、生成された前記料理画像が同一被写体毎にグルーピングされる。

本開示の一側面によれば、摂取カロリーなどの喫食情報を正確に提供できる。

本開示を適用した喫食管理システムの構成例を示すブロック図である。 図１の重複画像除去部の構成例を示すブロック図である。 第１の喫食管理処理を説明するフローチャートである。 喫食管理処理の対象となる撮像画像などの例を示す図である。 提示部による画面表示の一例を示す図である。 提示部による画面表示の一例を示す図である。 提示部による画面表示の一例を示す図である。 提示部による画面表示の一例を示す図である。 第２の喫食管理処理を説明するフローチャートである。 喫食管理システムの要素を離散的に配置した例を示すブロック図である。 喫食管理システムの要素を離散的に配置した例を示すブロック図である。 喫食管理システムの要素を離散的に配置した例を示すブロック図である。 喫食管理システムの要素を離散的に配置した例を示すブロック図である。 リアルタイム喫食管理処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

＜１．実施の形態＞
［喫食管理システムの構成例］
図１は、本開示の実施の形態である喫食管理システムの構成例を示している。この喫食管理システム１０は、画像データベース(DB)１１、重複画像除去部１２、栄養判定部１３、および提示部１４から構成される。

画像データベース(DB)１１には、喫食する料理を被写体としてユーザが撮像した複数の撮像画像（以下、撮像画像群と称する）が保持されているものとする。各撮像画像には、撮影日時、撮影位置（緯度、経度等）などから成る属性情報が付加されている。なお、撮像画像については、皿や椀などの複数の食器に盛り付けられている複数の料理を１枚の画像にまとめて撮像したものでもいいし、食器毎に個別に撮像したものでもよい。また、同一の被写体（料理）が複数の撮像画像に重複して写っていてもよい。また、動画像をキャプチャして得られる静止画像を撮像画像とするようにしてもよい。

重複画像除去部１２は、画像データベース１１に保持されている撮像画像から料理毎の領域を切出すことによって料理画像を生成する。重複画像除去部１２は、複数の料理画像を同一の被写体が写っているものごとにグルーピングを行い、料理画像の各グループからそれぞれ１枚の代表料理画像を選択する。

栄養判定部１３は、料理画像の各グループからそれぞれ選択された代表料理画像について画像解析を行い、その解析結果に基づいて料理と量を特定する。さらに、栄養判定部１３は、予め保持する料理とカロリーおよび栄養価などの対応表に基づいて、特定した料理のカロリー、栄養価などを判定する。

提示部１４は、栄養判定部１３による判定結果に基づき、所定の単位期間（１日間、１週間、１ヶ月など）におけるユーザが喫食した料理の品目、摂取したカロリー、栄養価などを、ユーザの喫食情報としてユーザに提示する。

図２は、重複画像除去部１２の詳細な構成例を示している。重複画像除去部１２は、料理切出し部２１、同一料理判定部２２、画像選択部２３、および操作入力部２４から成る。

料理切出し部２１は、画像データベース１１に保持されている複数の撮像画像を取得し、各撮像画像から料理毎の領域を切出すことによって料理画像を生成する。具体的には、各料理はそれぞれ食器に盛られており、食器については、矩形、円形、または楕円形であると想定する。したがって、撮像画像から矩形、円形、または楕円形の食器が写っている領域を切出すことにより料理画像を生成する。

なお、上述したように食器毎に切出す方法の他、料理自体の色成分、テクスチャの特徴に基づいて、料理画像を生成するようにしてもよい。

同一料理判定部２２は、全ての料理画像について他の料理画像とのペアを設定し、各ペアを成す２枚の料理画像について同一被写体（料理）であるか否かを判定する。この判定では、画像の類似度を算出する既存のアルゴリズムを用いることができる。

なお、ペアを成す２枚の料理画像（の元の撮影画像）の撮影日時が所定の時間以上離れている場合、またはペアを成す２枚の料理画像（の元の撮影画像）の撮影場所が所定の距離以上離れている場合、たとえ類似した料理画像であってもその料理は１回で喫食したものではなく、別の機会に同じものを喫食している可能性が高いので、類似度の算出を省略して、同一被写体（料理）ではないと判定するようにしてもよい。

さらに、同一料理判定部２２は、全てのペアに対する判定結果に基づいて、同一被写体が写っている料理画像をグルーピングする。

画像選択部２３は、グループ毎に属する複数の料理画像の中から１枚の代表料理画像を選択する。具体的には、後段の栄養判定部１３にて料理の種類と量がより正確に判定できることを基準として評価値を設定し、その評価値が最も高いものを代表料理画像として選択する。評価値としては、例えば、以下の例を挙げることができる。

（１）喫食した量をより正確に判定できるので、食器内により料理が残っている料理画像ほど高い評価とする。
（２）料理の種類と喫食した量をより正確に判定できるので、料理がより真上から撮像されている料理画像ほど高い評価とする。
（３）ユーザが複数の人物と一緒に食事している場合、ユーザ側に位置する料理ほど他の人物が喫食したのではなくユーザが喫食したと考えられるので、撮像画像においてよりユーザ（撮像者）側に写っていた料理画像ほど高い評価とする。
（４）料理の種類と喫食した量をより正確に判定できるので、料理がより遮蔽なく撮像されている料理画像ほど高い評価とする。
（５）料理の種類をより正確に判定できるので、撮像時の露出に過不足なく適切な撮像条件で撮像されている料理画像ほど高い評価とする。

操作入力部２４は、ユーザの操作を入力する。すなわち、画像選択部２３による代表料理画像の選択結果を提示してユーザに修正させることができる。また、上述したように評価値に基づいて画像選択部２３が代表料理画像を選択するのではなく、同一のグループに属する料理画像をユーザに提示して、ユーザに代表料理画像を選択させるようにしてもよい。

［動作説明］
次に、喫食管理システム１０による喫食管理処理について説明する。

図３は、第１の喫食管理処理を説明するフローチャートであり、図４は、処理の対象とされる撮像画像などを示している。

なお、この喫食管理処理の前提として、既に画像データベース１１には、ユーザが喫食した料理を撮像して得られた複数の撮像画像（撮像画像群）が保持されているものとする。

ステップＳ１において、重複画像除去部１２は、画像データベース１１から、例えば図４Ａに示されるような撮像画像群を取得する。ステップＳ２において、重複画像除去部１２の料理切出し部２１は、撮像画像群の各撮像画像から料理毎の領域を切出すことによって、図４Ｂに示すような料理画像を生成する。

ステップＳ３において、同一料理判定部２２は、全ての料理画像について他の料理画像とのペアを設定する。ステップＳ４において、同一料理判定部２２は、各ペアを成す２枚の料理画像について同一被写体（料理）であるか否かを判定し、ステップＳ５において、全てのペアに対する判定結果に基づいて、図４Ｃに示すように、同一被写体が写っている料理画像をグルーピングする。

ステップＳ６において、画像選択部２３は、各グループについて、グループに属する複数の料理画像の中から１枚の代表料理画像を選択する。ステップＳ７において、栄養判定部１３は、料理画像の各グループからそれぞれ選択された料理画像について画像解析を行い、その解析結果に基づいて料理と量を特定する。さらに、栄養判定部１３は、予め保持する料理とカロリーおよび栄養価などの対応表に基づいて、特定した料理のカロリー、栄養価などを判定する。

ステップＳ８において、提示部１４は、栄養判定部１３による判定結果に基づき、ユーザの喫食情報としてユーザに提示する。具体的には、例えば、図５に示すように、処理対象とした撮像画像の一覧を表示したり、図６に示されるように、一日間で喫食した料理の料理画像を一覧表示したり、図７に示されるように、１ヶ月間毎日の摂取カロリーを一覧表示したり、図８に示されるように、１ヶ月間に摂取した料理の栄養バランスを表示したりする。なお、一覧表示される単位期間は、１日間、１週間、１ヶ月間など任意に変更が可能である。また、栄養バランスについては、図示するビタミン、タンパク質、炭水化物、脂質、ミネラル以外の要素を含めてもよい。また、主食、主菜、副菜、乳製品、果物などに分類して表示するようにしてもよい。

以上で、第１の喫食管理処理の説明を終了する。

なお、第１の喫食管理処理においては、撮像画像から直ちに料理画像を切出すようにしていたが、類似した撮像画像をグルーピングして１枚を選択し、選択した撮像画像から料理画像を切出すようにしてもよい。

図９は、第１の喫食管理処理を上述したように変更した第２の喫食管理処理を説明するフローチャートである。

第２の喫食管理処理においても、前提として、既に画像データベース１１には、ユーザが喫食した料理を撮像して得られた複数の撮像画像（撮像画像群）が保持されているものとする。

ステップＳ１１において、重複画像除去部１２は、画像データベース１１から、例えば図４Ａに示されるような撮像画像群を取得する。ステップＳ１２において、重複画像除去部１２の同一料理判定部２２は、撮像画像群の各撮像画像を、類似したものが同じグループに属するようにグルーピングを行う。ステップＳ１３において、画像選択部２３は、撮像画像の各グループについて、グループに属する複数の撮像画像の中から１枚を選択しての頃を廃棄する。この選択は、上述した第１の喫食管理処理のステップＳ６における選択と同様の基準で判断される。

ステップＳ１４乃至Ｓ２０については、上述した第１の喫食管理処理のステップＳ２乃至Ｓ８と同様なので、その説明は省略する。以上に説明した第２の喫食管理処理によれば、料理画像を切出す前段において撮像画像の数を削減することができる。

[変形例]
ところで、図１に示された喫食管理システム１０の構成例においては、その構成要素の配置について言及していないが、各構成要素を離散的に配置するようにしてもよい。

図１０乃至図１３は、喫食管理システム１０の構成要素を離散的に配置した例を示している。

図１０の場合、インターネットを介して接続されるユーザ端末３０とサーバ４０により喫食管理システム１０を構成し、ユーザ端末３０に画像データベース１１、および重複画像除去部１２を設け、サーバ４０に栄養判定部１３、および提示部１４を設けている。

図１１の場合、インターネットを介して接続されるユーザ端末３０とサーバ４０により喫食管理システム１０を構成し、ユーザ端末３０に画像データベース１１、重複画像除去部１２、および提示部１４を設け、サーバ４０に栄養判定部１３を設けている。

図１２の場合、インターネットを介して接続されるユーザ端末３０とサーバ４０により喫食管理システム１０を構成し、インターネット上に画像データベース１１を設け、ユーザ端末３０に重複画像除去部１２、および提示部１４を設け、サーバ４０に栄養判定部１３を設けている。

図１３の場合、インターネットを介して接続されるユーザ端末３０とサーバ４０により喫食管理システム１０を構成し、ユーザ端末３０に撮像部５１、および提示部１４を設け、サーバ４０に重複画像除去部１２、および栄養判定部１３を設けている。

図１３に示されたように、ユーザ端末３０に撮像部５１を設けることにより、画像データベース１１を省略できるとともに、食事中の料理を随時撮像してリアルタイムに解析し、摂取カロリーや栄養バランスなどをユーザに提示することができるリアルタイム喫食管理処理が可能となる。

図１４は、図１３に示された喫食管理システム１０によるリアルタイム喫食管理処理を説明するフローチャートである。

このリアルタイム喫食管理処理は、ユーザの食事と並行して実行されることを想定しており、ユーザ端末３０に対する所定の捜査に対応して開始される。ユーザはユーザ端末３０の撮像部５１を利用して、喫食する料理を撮像し、撮像された画像（撮像画像）はインターネットを介してサーバ５０に送信されるものとする。

ステップＳ３１において、サーバ５０の重複画像除去部１２は、ユーザ端末３０から撮像画像が送信されるまで待機し、送信された場合、処理をステップＳ３２に進める。ステップＳ３２において、重複画像除去部１２の料理切出し部２１は、撮像画像から料理毎の領域を切出すことによって料理画像を生成する。

ステップＳ３３において、同一料理判定部２２は、ステップＳ３２で切出された各料理画像について、その被写体（料理）が既に栄養判定済みの料理画像と同一であるか否かを判定し、ステップＳ３４において、その判定結果をユーザ端末３０に通知する。ユーザ端末３０の提示部１４は、撮像画像から切出された料理画像の被写体（料理）が既に栄養判定済みの料理画像と同一であるか否かの判定結果をユーザに提示する。ステップＳ３５において、ユーザ端末３０の提示部１４は、この提示に対するユーザからの修正操作を受け付けてサーバ５０に通知する。例えば、同じ料理を追加注文して２回以上食べたような場合、既に栄養判定済みの料理画像と同一であると判定されるが、そのときには、ユーザは既に栄養判定済みの料理画像とは異なると判定結果を修正するようにする。

ステップＳ３６において、栄養判定部１３は、栄養判定を行っていないと判定された料理画像について画像解析を行い、その解析結果に基づいて料理と量を特定する。さらに、栄養判定部１３は、予め保持する料理とカロリーおよび栄養価などの対応表に基づいて、特定した料理のカロリー、栄養価などを判定する。

ステップＳ３７において、栄養判定部１３は、栄養判定済みの料理画像を同一料理判定部２２に通知する。これにより、栄養判定済みの料理画像が同一料理判定部２２に登録されて、次回以降のステップＳ３３の処理で、切出された料理画像と比較されることになる。

ステップＳ３８において、栄養判定部１３は、栄養判定結果をユーザ端末３０に通知する。この通知に応じ、ユーザ端末３０の提示部１４は、栄養判定部１３による判定結果に基づき、ユーザの喫食情報としてユーザに提示する。

ステップＳ３９において、ユーザ端末３０の提示部１４は、リアルタイム喫食管理処理を終了するか否かをユーザに選択させる。ここで、終了が選択されない場合、処理はステップＳ３１に戻されてそれ以降が繰り返される。終了が選択された場合、当該リアルタイム喫食管理処理は終了される。

以上説明したように、リアルタイム喫食管理処理によれば、ユーザは食事中の料理について累積されてゆく摂取カロリー、栄養バランスなどをリアルタイムに把握することができる。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１０ 喫食管理システム， １１ 画像データベース， １２ 重複画像除去部， １３ 栄養判定部， １４ 提示部， ２１ 料理切出し部， ２２ 同一料理判定部， ２３ 画像選択部， ２４ 操作入力部， ３０ ユーザ端末， ５０ サーバ， ５１ 撮像装置， １００ コンピュータ， １０１ CPU

Claims (10)

1. 料理を被写体として撮像された撮像画像における各料理の領域を切出すことにより料理画像を生成する切出し部と、
   生成された前記料理画像を同一被写体毎にグルーピングするグルーピング部と
   を含む情報処理装置。
2. 同一被写体毎にグルーピングされた前記料理画像の各グループから代表料理画像を選択する選択部と、
   選択された前記代表料理画像を解析し、解析結果に基づいて前記代表料理画像の被写体である料理のカロリーまたは栄養バランスの少なくとも一方を判定する栄養判定部と、
   前記栄養判定部の判定結果をユーザに提示する提示部と
   をさらに含む情報処理装置。
3. 前記選択部は、同一被写体毎にグルーピングされた前記料理画像の各グループから、前記栄養判定部による判定に適した前記代表料理画像を選択する
   請求項２に記載の情報処理装置。
4. 前記選択部は、ユーザからの操作に従い、同一被写体毎にグルーピングされた前記料理画像の各グループから前記代表料理画像を選択する
   請求項２に記載の情報処理装置。
5. グルーピング部は、生成された全ての前記料理画像に対してペアを設定し、前記ペアを成す２枚の料理画像の被写体が同一であるか否かの判定結果に基づいて、前記料理画像を同一被写体毎にグルーピングする
   請求項２に記載の情報処理装置。
6. グルーピング部は、生成された全ての前記料理画像に対してペアを設定し、前記ペアを成す２枚の料理画像の撮像日時または撮像位置が所定の閾値を越える場合、前記２枚の料理画像の被写体は同一ではないと判定する
   請求項５に記載の情報処理装置。
7. 前記切出し部は、前記撮像画像における各料理が盛り付けられている食器の領域を切出すことにより前記料理画像を生成する
   請求項２に記載の情報処理装置。
8. 料理を被写体として撮像することにより前記撮像画像を生成する撮像部を
   さらに含む請求項２に記載の情報処理装置。
9. 情報処理装置の情報処理方法において、
   情報処理装置による、
   料理を被写体として撮像された撮像画像における各料理の領域を切出すことにより料理画像を生成する切出しステップと、
   生成された前記料理画像を同一被写体毎にグルーピングするグルーピングステップと
   を含む情報処理方法。
10. コンピュータを、
    料理を被写体として撮像された撮像画像における各料理の領域を切出すことにより料理画像を生成する切出し部と、
    生成された前記料理画像を同一被写体毎にグルーピングするグルーピング部と
    して機能させるプログラム。

Images