JP2012181797A - 携帯端末、及びプログラム - Google Patents

Abstract

【課題】簡単な操作で、過去の履歴に基づく、ユーザの嗜好に応じた料理を推薦することができる携帯端末を提供する。
【解決手段】履歴活用部１３２は、行動制御部１３３から指示を受け、料理ＤＢ１４１を保持するオブジェクト認識エンジン１４による認識結果を取得して、操作履歴ＤＢ１３１を更新する。また、履歴活用部１３２は、料理推薦アプリケーションから推薦を実行されたときの時間帯、及び指定された料理のジャンルに応じて、ふさわしい料理を操作履歴ＤＢ１３１から読み出して、ユーザへフィードバック（表示部１２に表示）する。
【選択図】図１

Description

本発明は、ユーザに料理を推薦する携帯端末、及びプログラムに関する。

特許文献１に記載のシステムでは、カメラを使って料理を撮影し、データベースへ保存する技術が提案されている。また、特許文献２、３に記載のシステムでは、履歴を使ってユーザへ料理を推薦する技術が提案されている。

また、特許文献４に記載のシステムでは、カメラを搭載する端末装置で、食事を内容を撮影し、画像データをネットワークを介してサーバに送信し、サーバにおいて画像分析から栄養分析し、端末装置に分析結果を返し、端末装置で分析結果を表示する技術が提案されている。

また、特許文献５に記載のシステムでは、カメラ付き携帯電話により食事を撮影し、画像データをネットワークを介してサーバに送信し、サーバにおいてデータベースを参照し、摂取カロリーを取得し、カメラ付き携帯電話に返し、カメラ付き携帯電話で摂取カロリーを表示する技術が提案されている。

これらの技術では、料理を撮影後、サーバへ送信し、カロリー計算を行なったり、履歴を使って調理するメニューを推薦したり、昼食の献立を推薦するシステムが提供されている。

特開２０１０−０３３３２６号公報 特開２００３−１２２８３８号公報 特開２００７−３３４６０５号公報 特開２００２−０７３８１８号公報 特開２００４−１１８５６２号公報

しかしながら、上記特許文献１〜５に記載の技術では、料理撮影後にユーザが画像をサーバに送信する必要があるため、サーバ連携を必要とし、料理推薦時に調理方法を提供するのみであるため、履歴蓄積時にユーザが複数の操作を必要とし、時間帯に応じて食べたい料理を推薦することができないという問題があった。

そこで本発明は、簡単な操作で、過去の履歴に基づく、ユーザの嗜好に応じた料理を推薦することができる携帯端末、及びプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明は、料理を撮影する撮影手段と、前記撮影手段により撮影された画像の特徴を分析することにより料理名を特定するオブジェクト認識手段と、前記オブジェクト認識手段により特定された料理名を履歴情報として記録する履歴記録手段と、ユーザ操作により料理の推薦要求を入力する操作手段と、前記操作手段により料理の推薦要求が入力されると、前記履歴記録手段により記録された履歴情報に基づいて、ユーザに料理を推薦する推薦手段とを備えることを特徴とする携帯端末である。

また、上記目的達成のため、請求項５記載の発明は、料理をユーザに推薦する携帯端末のコンピュータに、料理を撮影する撮影機能、前記撮影機能により撮影された画像の特徴を分析することにより料理名を特定するオブジェクト認識機能、前記オブジェクト認識機能により特定された料理名を履歴情報として記録する履歴記録機能、ユーザ操作により料理の推薦要求を入力する操作機能、前記操作機能により料理の推薦要求が入力されると、前記履歴記録機能により記録された履歴情報に基づいて、ユーザに料理を推薦する推薦機能を実行させることを特徴とするプログラムである。

この発明によれば、簡単な操作で、過去の履歴に基づく、ユーザの嗜好に応じた料理を推薦することができるという利点が得られる。

本発明の実施形態によるカメラ付き携帯端末の構成を示すブロック図である。 本実施形態による操作履歴ＤＢのデータ構成例を示す概念図である。 本実施形態によるカメラ付き携帯端末１でのカメラ撮影モード時の動作を説明するためのフローチャートである。 本実施形態によるカメラ付き携帯端末１での料理推薦モード時の動作を説明するためのフローチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。
本発明では、携帯端末などに搭載されているカメラで、食事の際に料理を撮影し、被写体（料理）をオブジェクト認識し、特徴を履歴として保持することによって、例えば別の日にユーザが洋食や和食等、食べたい料理の種類が決まっていても何を食べれば良いのか迷っている時や、夕食時に最近食べていない料理を推薦することで、ユーザに気づきや、きっかけを与えることを特徴とする。

図１は、本発明の実施形態によるカメラ付き携帯端末の構成を示すブロック図である。図において、カメラ付き携帯端末１は、カメラ部１０、操作部１１、表示部１２、被写体分析エンジン１３、オブジェクト認識エンジン１４などを備えている。

カメラ部１０は、レンズ等の光学系、ＣＣＤやＣＭＯＳ等の撮像素子などからなる。操作部１１は、数字等を入力するテンキーや、カーソルキー、各種機能キーなどを備えている。表示部１２は、液晶表示器などからなり、撮影した画像や、各種文字情報などを表示する。

カメラ付き携帯端末１は、図示しないメモリに格納されたプログラム（料理推薦アプリケーション：被写体分析エンジン、オブジェクト認識エンジンはプログラムの形態であっても、ハードウェアにより構成された形態であってもよい）を実行する。

料理推薦アプリケーションは、以下のモードを有する。
（ｉ）カメラ撮影モード：カメラ部１０を起動し、カメラ部１０により撮影した被写体（料理）に対してオブジェクト認識エンジン１４を用いて料理名を認識する。
（ｉｉ）料理推薦モード：下記条件で料理の推薦を行なうことが可能となっている。また、推薦する料理数を指定しても良い。
・時間帯（朝、昼、夜）
・料理の種類（和食、洋食、中華など）

被写体分析エンジン１３は、料理推薦アプリケーションの実行により機能するもので、操作履歴ＤＢ（データベース）１３１、履歴活用部１３２、行動制御部１３３、ルールＤＢ１３４を有する。

操作履歴ＤＢ１３１は、料理推薦アプリケーションのカメラ撮影モード実行時でのカメラ撮影時、撮影画像から履歴活用部１３２にて取得した、認識された料理に対して更新可能な管理テーブルを保持する。

図２は、本実施形態による操作履歴ＤＢのデータ構成例を示す概念図である。図２において、「料理名」には、あらかじめオブジェクト認識エンジン１４が保持する料理ＤＢ１４１と同等数の料理名が記載されている。「料理の種類」は、料理名と紐付けられた和食・洋食・イタリアン・中華・その他など料理の種類である。「時間帯別得点」は、時間帯（例：朝６時〜１２時／昼１２時〜１６時／夜１６時〜６時）毎にオブジェクト認識エンジン１４で取得した料理の回数である。

履歴活用部１３２は、行動制御部１３３から指示を受け、料理ＤＢ１４１を保持するオブジェクト認識エンジン１４による認識結果を取得して、操作履歴ＤＢ１３１を更新したり、料理推薦アプリケーションから推薦を実行されたときの時間帯、及び指定された料理のジャンルに応じて、ふさわしい料理を操作履歴ＤＢ１３１から読み出して、ユーザへフィードバック（表示部１２に表示）する。

オブジェクト認識エンジン１４は、履歴活用部１３２から指示を受け、カメラ部１０にて撮影された被写体に対して料理ＤＢ１４１を用いてオブジェクト分類を行なう。料理ＤＢ１４１は、料理の辞書データ（料理の画像と料理名）が保持されているデータベースである。

ルールＤＢ１３４は、行動制御部１３３での動作を規定するルール群を保持している。第１のルールとしては、料理推薦アプリケーション内からのカメラ撮影モード時、被写体に対してオブジェクト認識エンジン１４にてオブジェクト認識を行ない、被写体（料理）を操作履歴ＤＢ１３１内に保持する一連の動作を規定する。また、第２のルールとしては、料理推薦アプリケーション起動時、操作履歴ＤＢ１３１から料理推薦アプリケーションから指定された条件にふさわしい料理を読み出して、ユーザへフィードバックする一連の動作を規定する。

行動制御部１３３は、操作履歴ＤＢ１３１、履歴活用部１３２、ルールＤＢ１３４を制御する。具体的には、行動制御部１３３は、ルールＤＢ１３４から読み出した上記ルールに従って、料理推薦アプリケーションからのカメラ撮影モード実行時にオブジェクト認識を利用したり、料理推薦モード実行時に操作履歴ＤＢ１３１内の管理テーブルへ料理の特徴を書き換えたり、読み出したり、お勧めの料理をユーザへフィードバックするよう各部を制御する。

次に、本実施形態の動作について説明する。
図３は、本実施形態によるカメラ付き携帯端末１でのカメラ撮影モード時の動作を説明するためのフローチャートである。なお、ユーザが、特に料理を撮らなかったり、コレクションや、ブログ用として料理画像を撮り溜めているだけの場合、料理推薦アプリケーションは起動されない。

一方、ユーザがカメラ付き携帯端末１で月曜の夕食時に料理を撮影しようとする。この場合、ユーザは、料理推薦アプリケーションからカメラ撮影モードの実行を操作部１１から指示する（ステップＳ１）。行動制御部１３３は、ルールＤＢ１３４から、第１のルール「料理推薦アプリケーション内からのカメラ撮影モード時、被写体に対してオブジェクト認識エンジンにてオブジェクト認識を行ない、被写体（料理）を操作履歴ＤＢ内に保持する」を読み込み、履歴活用部１３２に指示する（ステップＳ２）。

ユーザが、献立である料理、例えば「スパゲッティ」をカメラ部１０により撮影すると（ステップＳ３）、履歴活用部１３２は、行動制御部１３３の制御の下、オブジェクト認識エンジン１４に撮影された画像データを与え、オブジェクト認識エンジン１４は、撮影された画像データから料理の特徴を抽出し、料理ＤＢ１４１を参照することにより、撮影された料理の料理名、料理の種類を特定する（ステップＳ４）。履歴活用部１３２は、オブジェクト認識エンジン１４で認識された料理名、料理の種類を取得し、撮影時刻から得られる時間帯とともに、履歴情報として操作履歴ＤＢ１３１へ保持する（ステップＳ５）。

抽出する特徴としては、下記（ａ）、（ｂ）とする。
（ａ）オブジェクト認識にて抽出した料理：スパゲッティ
（ｂ）料理を撮影した時間帯：夜

ここで、履歴活用部１３２は、操作履歴ＤＢ１３１へ保持する際に、管理テーブルへ重み付けを行なう。重み付けとして、管理テーブル内の料理名列の「スパゲッティ」の時間帯得点列の「夜」にポイント「１」を加える。

ユーザは、翌日以降も月曜の夕食時と同様、カメラ推薦アプリケーションのカメラ撮影モードにて、毎食毎に料理を撮影していく。この結果、図２に示すような管理テーブルが生成され、被写体分析エンジン１３内の操作履歴ＤＢ１３１に保持される。

図４は、本実施形態によるカメラ付き携帯端末１での料理推薦モード時の動作を説明するためのフローチャートである。ユーザは、数日後、あるいは数週間後、何を食べようか迷った場合などに、料理推薦アプリケーションから料理推薦モードの実行を操作部１１から指示する（ステップＳ１０）。行動制御部１３３は、ルールＤＢ１３４から、第２のルール「料理推薦アプリケーション起動時、操作履歴ＤＢから料理推薦アプリケーションから指定された条件に合致する料理を読み出して、ユーザへフィードバックする」を読み込み、履歴活用部１３２に指示する（ステップＳ１１）。

例えば、今日は和食を食べたいと思った場合には、ユーザは、料理推薦モードで「和食」を指定する。この場合、履歴活用部１３２は、操作履歴ＤＢ１３１内に、図２に示すような管理テーブルが保持されている場合、料理の種類「和食」の中から、最も合計得点の低い料理名「から揚げ」を取得し（ステップＳ１２）、表示部１２に料理名「から揚げ」を表示させることで、ユーザに料理名「から揚げ」を推薦する（ステップＳ１３）。

また、ユーザは、夕飯として中華を食べたいと思った場合には、操作部１１から料理推薦モードで「夕食」、「中華」を指定する。この場合、履歴活用部１３２は、操作履歴ＤＢ１３１内に、図２に示すような管理テーブルが保持されている場合、時間帯別得点「夜」、料理の種類「中華」の中から、最も得点の低い料理名「中華丼」を取得し、表示部１２に料理名「中華丼」を表示させることで、ユーザに料理名「中華丼」を推薦する。

このように、ユーザが料理の種類だけを指定した場合には、指定された料理の種類の中で、最も合計点が低い料理名を推薦し、ユーザが時間帯だけを指定した場合には、指定された時間帯の中で最も得点の低い料理名を推薦し、ユーザが料理の種類、及び時間帯を指定した場合には、指定された料理の種類の中で、かつ、指定された時間帯の中で、最も得点の低い料理名を推薦する。

上述したように、本実施形態では、携帯端末などに搭載されているカメラで、その日に食べる料理を撮影し、被写体（料理）をオブジェクト分類して履歴として保持することによって、例えば、ユーザが最近食べていない料理を推薦することが可能となる。

なお、上述した実施形態において、「洋食」、「和食」、「中華」といった料理の種類を、「麺類」、「米類」といったカテゴリで推薦することも可能である。

また、料理店の情報（店名、料理、場所）をデータベース化しておくことで、推薦する料理の種類に関する近くのお店を推薦することも可能である。

また、ユーザのアレルギーに関する情報（アレルギー対象となる料理、素材）を保持しておくことで、ユーザのアレルギーを考慮した料理の推薦を行なうことも可能である。

また、料理毎に予めカロリー計算を行なっておき、料理毎のカロリー情報をデータベース化しておくことで、摂取カロリーに応じた料理を推薦することも可能である。

上述した実施形態によれば、撮った写真を整理したり、食べた料理をメモ書きなどで記録することなく、料理の写真を撮影するだけで、最近食べていない料理を推薦することができる。

また、本実施形態によれば、料理の写真を撮れば撮るほど履歴が溜まるため、料理の推薦精度を向上させることができる。

また、本実施形態によれば、ユーザの過去の履歴の中から料理を推薦するようにしたので、撮影したユーザ個人の嗜好に合わせて最適な料理を推薦することができる。

以上、この発明の実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。

（付記１）
料理を撮影する撮影手段と、前記撮影手段により撮影された画像の特徴を分析することにより料理名を特定するオブジェクト認識手段と、前記オブジェクト認識手段により特定された料理名を履歴情報として記録する履歴記録手段と、ユーザ操作により料理の推薦要求を入力する操作手段と、前記操作手段により料理の推薦要求が入力されると、前記履歴記録手段により記録された履歴情報に基づいて、ユーザに料理を推薦する推薦手段とを備えることを特徴とする携帯端末である。

（付記２）
前記オブジェクト認識手段は、前記料理名に加え、前記撮影手段により撮影された画像から料理の種類を特定し、前記履歴記録手段は、前記料理名に加え、前記オブジェクト認識手段により特定された料理の種類を履歴情報として記録し、前記推薦手段は、前記操作手段により料理の推薦要求が入力されると、前記履歴記録手段により記録された履歴情報の中から、前記推薦要求が入力される際に指定される料理の種類と同じ種類の料理をユーザに推薦することを特徴とする付記１記載の携帯端末である。

（付記３）
前記履歴記録手段は、前記撮影手段により料理が撮影された時間帯を前記履歴情報として記録し、前記推薦手段は、前記操作手段により料理の推薦要求で入力されると、前記履歴記録手段により記録された履歴情報の中から、前記推薦要求が入力される際に指定される時間帯と同じ時間帯に撮影された料理をユーザに推薦することを特徴とする付記１または２に記載の携帯端末である。

（付記４）
前記履歴記録手段は、前記撮影手段により料理が撮影され、前記オブジェクト認識手段により料理名が特定される度に、その料理名に得点を加算することで前記履歴情報を更新し、前記推薦手段は、前記履歴記録手段により記録された履歴情報の中から、前記得点が最も低い料理をユーザに推薦することを特徴とする付記１から３のいずれかに記載の携帯端末である。

（付記５）
料理をユーザに推薦する携帯端末のコンピュータに、料理を撮影する撮影機能、前記撮影機能により撮影された画像の特徴を分析することにより料理名を特定するオブジェクト認識機能、前記オブジェクト認識機能により特定された料理名を履歴情報として記録する履歴記録機能、ユーザ操作により料理の推薦要求を入力する操作機能、前記操作機能により料理の推薦要求が入力されると、前記履歴記録機能により記録された履歴情報に基づいて、ユーザに料理を推薦する推薦機能を実行させることを特徴とするプログラムである。

（付記６）
前記オブジェクト認識機能は、前記料理名に加え、前記撮影機能により撮影された画像から料理の種類を特定し、前記履歴記録機能は、前記料理名に加え、前記オブジェクト認識機能により特定された料理の種類を履歴情報として記録し、前記推薦機能は、前記操作機能により料理の推薦要求が入力されると、前記履歴記録機能により記録された履歴情報の中から、前記推薦要求が入力される際に指定される料理の種類と同じ種類の料理をユーザに推薦することを特徴とする付記５に記載のプログラムである。

（付記７）
前記履歴記録機能は、前記撮影機能により料理が撮影された時間帯を前記履歴情報として記録し、前記推薦機能は、前記操作機能により料理の推薦要求で入力されると、前記履歴記録機能により記録された履歴情報の中から、前記推薦要求が入力される際に指定される時間帯と同じ時間帯に撮影された料理をユーザに推薦することを特徴とする付記５または６に記載のプログラムである。

（付記８）
前記履歴記録機能は、前記撮影機能により料理が撮影され、前記オブジェクト認識機能により料理名が特定される度に、その料理名に得点を加算することで前記履歴情報を更新し、前記推薦機能は、前記履歴記録機能により記録された履歴情報の中から、前記得点が最も低い料理をユーザに推薦することを特徴とする付記５から７のいずれかに記載のプログラムである。

１ カメラ付き携帯端末
１０ カメラ部
１１ 操作部
１２ 表示部
１３ 被写体分析エンジン
１３１ 操作履歴ＤＢ
１３２ 履歴活用部
１３３ 行動制御部
１３４ ルールＤＢ
１４ オブジェクト認識エンジン
１４１ 料理ＤＢ

Claims (8)

1. 料理を撮影する撮影手段と、
   前記撮影手段により撮影された画像の特徴を分析することにより料理名を特定するオブジェクト認識手段と、
   前記オブジェクト認識手段により特定された料理名を履歴情報として記録する履歴記録手段と、
   ユーザ操作により料理の推薦要求を入力する操作手段と、
   前記操作手段により料理の推薦要求が入力されると、前記履歴記録手段により記録された履歴情報に基づいて、ユーザに料理を推薦する推薦手段と
   を備えることを特徴とする携帯端末。
2. 前記オブジェクト認識手段は、
   前記料理名に加え、前記撮影手段により撮影された画像から料理の種類を特定し、
   前記履歴記録手段は、
   前記料理名に加え、前記オブジェクト認識手段により特定された料理の種類を履歴情報として記録し、
   前記推薦手段は、
   前記操作手段により料理の推薦要求が入力されると、前記履歴記録手段により記録された履歴情報の中から、前記推薦要求が入力される際に指定される料理の種類と同じ種類の料理をユーザに推薦する
   ことを特徴とする請求項１に記載の携帯端末。
3. 前記履歴記録手段は、
   前記撮影手段により料理が撮影された時間帯を前記履歴情報として記録し、
   前記推薦手段は、
   前記操作手段により料理の推薦要求で入力されると、前記履歴記録手段により記録された履歴情報の中から、前記推薦要求が入力される際に指定される時間帯と同じ時間帯に撮影された料理をユーザに推薦する
   ことを特徴とする請求項１または２に記載の携帯端末。
4. 前記履歴記録手段は、
   前記撮影手段により料理が撮影され、前記オブジェクト認識手段により料理名が特定される度に、その料理名に得点を加算することで前記履歴情報を更新し、
   前記推薦手段は、
   前記履歴記録手段により記録された履歴情報の中から、前記得点が最も低い料理をユーザに推薦する
   ことを特徴とする請求項１から３のいずれかに記載の携帯端末。
5. 料理をユーザに推薦する携帯端末のコンピュータに、
   料理を撮影する撮影機能、
   前記撮影機能により撮影された画像の特徴を分析することにより料理名を特定するオブジェクト認識機能、
   前記オブジェクト認識機能により特定された料理名を履歴情報として記録する履歴記録機能、
   ユーザ操作により料理の推薦要求を入力する操作機能、
   前記操作機能により料理の推薦要求が入力されると、前記履歴記録機能により記録された履歴情報に基づいて、ユーザに料理を推薦する推薦機能
   を実行させることを特徴とするプログラム。
6. 前記オブジェクト認識機能は、
   前記料理名に加え、前記撮影機能により撮影された画像から料理の種類を特定し、
   前記履歴記録機能は、
   前記料理名に加え、前記オブジェクト認識機能により特定された料理の種類を履歴情報として記録し、
   前記推薦機能は、
   前記操作機能により料理の推薦要求が入力されると、前記履歴記録機能により記録された履歴情報の中から、前記推薦要求が入力される際に指定される料理の種類と同じ種類の料理をユーザに推薦する
   ことを特徴とする請求項５に記載のプログラム。
7. 前記履歴記録機能は、
   前記撮影機能により料理が撮影された時間帯を前記履歴情報として記録し、
   前記推薦機能は、
   前記操作機能により料理の推薦要求で入力されると、前記履歴記録機能により記録された履歴情報の中から、前記推薦要求が入力される際に指定される時間帯と同じ時間帯に撮影された料理をユーザに推薦する
   ことを特徴とする請求項５または６に記載のプログラム。
8. 前記履歴記録機能は、
   前記撮影機能により料理が撮影され、前記オブジェクト認識機能により料理名が特定される度に、その料理名に得点を加算することで前記履歴情報を更新し、
   前記推薦機能は、
   前記履歴記録機能により記録された履歴情報の中から、前記得点が最も低い料理をユーザに推薦する
   ことを特徴とする請求項５から７のいずれかに記載のプログラム。
   

Images