JP2019023850A - Information processing system, information processing method and information processing program - Google Patents

Information processing system, information processing method and information processing program Download PDF

Info

Publication number
JP2019023850A
JP2019023850A JP2018041240A JP2018041240A JP2019023850A JP 2019023850 A JP2019023850 A JP 2019023850A JP 2018041240 A JP2018041240 A JP 2018041240A JP 2018041240 A JP2018041240 A JP 2018041240A JP 2019023850 A JP2019023850 A JP 2019023850A
Authority
JP
Japan
Prior art keywords
image
dish
data
information processing
tableware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018041240A
Other languages
Japanese (ja)
Inventor
遥平 菊田
Yohei Kikuta
遥平 菊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cookpad Inc
Original Assignee
Cookpad Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cookpad Inc filed Critical Cookpad Inc
Priority to JP2018041240A priority Critical patent/JP2019023850A/en
Publication of JP2019023850A publication Critical patent/JP2019023850A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

To provide an information processing system, an information processing method and an information processing program capable of accurately detecting a cuisine section in an image.SOLUTION: An information processing device comprises: a storage section which stores utensil data representing a shape, a pattern, a color, or texture of a dish or the combination thereof and correspondence data representing correspondence between the dish and a cuisine using the same; an image acquisition section which acquires an image; a utensil detection section which determines the dish included in the image on the basis of the acquired image and the stored utensil data; and an image extraction section which extracts an image region of the cuisine corresponding to the determined dish from the image on the basis of the correspondence data.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理システム、情報処理方法及び情報処理プログラムに関する。   The present invention relates to an information processing system, an information processing method, and an information processing program.

従来、撮像入力した画像データより料理の特徴画像を抽出して、記憶手段に登録されている特徴画像と比較演算して対応する飲食物種別を検出判断する技術がある。また、撮像装置でトレイ上の各食器に食物が載った食膳を撮像した画像においてトレイ上の各食器を抽出し、あらかじめ入力した食器データベースに照らして食器の種類とトレイ上の位置を判別する技術がある。また、画像に含まれる食事部分を決定する技術がある。また、料理を被写体として撮像された撮影画像における各料理の領域を切出すことにより料理画像を生成する技術がある。また、画像の被写体領域を検出し、検出された被写体領域の位置情報を含む特徴量を生成する技術がある(例えば、特許文献1〜5を参照)。   2. Description of the Related Art Conventionally, there is a technique in which a feature image of a dish is extracted from image data that has been imaged and input, compared with a feature image registered in a storage means, and a corresponding food type is detected and determined. In addition, a technology that extracts each tableware on the tray in an image obtained by picking up a food bowl on which food is placed on each tableware on the tray and discriminates the type of tableware and the position on the tray in light of a tableware database input in advance There is. There is also a technique for determining a meal portion included in an image. In addition, there is a technique for generating a dish image by cutting out each dish area in a photographed image captured using a dish as a subject. In addition, there is a technique for detecting a subject area of an image and generating a feature amount including position information of the detected subject area (see, for example, Patent Documents 1 to 5).

従来の技術においては、例えば、物の色や形状の特徴を示す特徴データを予め用意しておき、撮影画像と特徴データを比較することにより撮影画像に含まれる物を認識して撮影画像における物の領域を抽出することができる。   In the conventional technology, for example, feature data indicating the color or shape of an object is prepared in advance, and the object included in the photographed image is recognized by comparing the photographed image with the feature data. Can be extracted.

特開2003−173369号公報JP 2003-173369 A 特開2005−070908号公報Japanese Patent Laying-Open No. 2005-070908 特開2012−212249号公報JP 2012-212249 A 特開2013−025728号公報JP2013-255728A 特開2013−054541号公報JP 2013-045441 A

しかし、料理は様々なジャンルにおいて、様々な料理が存在する。また、同じ料理においても、使用する器具や調理手順等の調理方法、使用する食材、盛付け方法等が異なる場合がある。調理方法等が異なると、料理を撮影した撮影画像に含まれる色や形状等の特徴データは、同じ料理においても大きく異なる場合がある。従って、料理を特徴データとの比較において検出した場合、例えば、撮影画像の中に料理が含まれているにもかかわらず料理部分を検出できなかったり、撮影画像の中の料理以外の部分を料理部分として検出したり、または撮影画像の中に料理が存在しないにもかかわらず料理部分として検出したりする誤検出が発生し、撮影画像に含まれる料理部分の抽出精度が低下してしまう場合があった。   However, there are various dishes in various genres. Even in the same dish, cooking methods such as utensils and cooking procedures, ingredients to be used, and arrangement methods may differ. If the cooking method is different, the characteristic data such as the color and shape included in the photographed image of the dish may differ greatly even in the same dish. Therefore, when a dish is detected in comparison with feature data, for example, a dish portion cannot be detected even if the photographed image is included in the photographed image, or a part other than the dish in the photographed image is cooked. The detection accuracy of the cooking part included in the photographed image may be reduced due to an erroneous detection that detects it as a part or a dish part even though the dish does not exist in the photographed image. there were.

一方、様々な料理について料理部分の抽出精度を向上させるためには、それぞれの料理において、調理方法等の異なる膨大な量の特徴データを予め用意しておく必要があり、データベースの容量負荷が増大し、またデータの処理負荷が高くなる場合があった。   On the other hand, in order to improve the extraction accuracy of the cooking portion for various dishes, it is necessary to prepare a huge amount of feature data such as cooking methods in advance for each dish, increasing the capacity load of the database In addition, the data processing load may be high.

本発明は、上記の点に鑑みてなされたものであり、撮影画像に含まれる料理部分を精度よく容易に抽出することができる、情報処理システム、情報処理方法及び情報処理プログラムを提供することを目的の一つとする。   The present invention has been made in view of the above points, and provides an information processing system, an information processing method, and an information processing program capable of accurately and easily extracting a cooking portion included in a captured image. One of the purposes.

上記課題を解決するために、本発明の一態様において、情報処理システムは、料理を配する器具の外観を示す器具データと、前記器具と前記料理との対応を示す食器対応データを記憶する記憶部と、画像を取得する画像取得部と、取得された前記画像から前記器具データが示す外観と同一或いは類似する器具を検出する検出部と、検出された前記器具の前記食器対応データに対応付けられた前記料理を決定し、決定した前記料理の画像領域を前記画像から抽出する画像抽出部とを備える。   In order to solve the above-described problem, in one embodiment of the present invention, the information processing system stores appliance data indicating the appearance of an appliance that arranges dishes, and tableware correspondence data indicating correspondence between the appliances and the dishes. An image acquisition unit that acquires an image, a detection unit that detects an appliance that is the same as or similar to the appearance indicated by the appliance data from the acquired image, and the tableware correspondence data of the appliance that is detected An image extraction unit that determines the determined dish and extracts an image area of the determined dish from the image.

また、上記課題を解決するために、本発明の一態様において、情報処理方法は、料理を配する器具の外観を示す器具データと、前記器具と前記料理との対応を示す食器対応データを記憶する記憶ステップと、画像を取得する画像取得ステップと、取得された前記画像から前記器具データが示す外観と同一或いは類似する器具を検出する検出ステップと、検出された前記器具の前記食器対応データに対応付けられた前記料理を決定し、決定した前記料理の画像領域を前記画像から抽出する画像抽出ステップとを含む。   In order to solve the above problem, in one embodiment of the present invention, an information processing method stores appliance data indicating an appearance of an appliance that distributes dishes and tableware correspondence data indicating correspondence between the appliances and the dishes. A storage step, an image acquisition step of acquiring an image, a detection step of detecting an appliance having the same or similar appearance as the appliance data from the acquired image, and the tableware correspondence data of the detected appliance Determining an associated dish and extracting an image area of the determined dish from the image.

また、上記課題を解決するために、本発明の一態様において、情報処理プログラムは、料理を配する器具の外観を示す器具データと、前記器具と前記料理との対応を示す食器対応データを記憶する記憶処理と、画像を取得する画像取得処理と、取得された前記画像から前記器具データが示す外観と同一或いは類似する器具を検出する検出処理と、検出された前記器具の前記食器対応データに対応付けられた前記料理を決定し、決定した前記料理の画像領域を前記画像から抽出する画像抽出処理とをコンピュータに実行させる。   In order to solve the above-described problem, in one embodiment of the present invention, the information processing program stores appliance data indicating the appearance of an appliance that distributes dishes, and tableware correspondence data indicating correspondence between the appliances and the dishes. Storage processing, image acquisition processing for acquiring an image, detection processing for detecting an appliance that is the same as or similar to the appearance indicated by the appliance data from the acquired image, and the tableware correspondence data of the detected appliance. The associated dishes are determined, and an image extraction process for extracting an image area of the determined dishes from the images is executed by a computer.

本発明の一態様によれば、画像に含まれる料理部分を精度よく抽出することができる、情報処理システム、情報処理方法及び情報処理プログラムを提供することができる。   According to one embodiment of the present invention, it is possible to provide an information processing system, an information processing method, and an information processing program that can accurately extract a cooking portion included in an image.

実施形態における情報処理装置の機能構成の一例を示すブロック図である。It is a block diagram which shows an example of a function structure of the information processing apparatus in embodiment. 実施形態における情報処理装置を含む情報処理システムのハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of the information processing system containing the information processing apparatus in embodiment. 実施形態における情報処理装置で利用される器具データ及び対応データの一例を示す図である。It is a figure which shows an example of the appliance data utilized with the information processing apparatus in embodiment, and corresponding | compatible data. 実施形態における情報処理装置で利用される料理データの一例を示す図である。It is a figure which shows an example of the dish data utilized with the information processing apparatus in embodiment. 実施形態における情報処理装置の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the information processing apparatus in embodiment. 実施形態における情報処理装置の食器決定処理の一例を示すフローチャートである。It is a flowchart which shows an example of the tableware determination process of the information processing apparatus in embodiment. 実施形態における情報処理装置で実行された料理の画像領域抽出の第1の例を示す図である。It is a figure which shows the 1st example of the image area extraction of the dish performed with the information processing apparatus in embodiment. 実施形態における情報処理装置で実行された料理の画像領域抽出の第2の例を示す図である。It is a figure which shows the 2nd example of the image area extraction of the dish performed with the information processing apparatus in embodiment.

以下、図面を参照して本発明の一実施形態における、情報処理システム、情報処理方法及び情報処理プログラムについて詳細に説明する。   Hereinafter, an information processing system, an information processing method, and an information processing program according to an embodiment of the present invention will be described in detail with reference to the drawings.

[情報処理装置の機能構成]
図1は、実施形態における情報処理装置の機能構成の一例を示すブロック図である。
[Functional configuration of information processing device]
FIG. 1 is a block diagram illustrating an example of a functional configuration of the information processing apparatus according to the embodiment.

図1において、情報処理装置10は、画像取得部101、検出部102、画像抽出部103、料理解析部104及び記憶部105の各機能を有する。   In FIG. 1, the information processing apparatus 10 has functions of an image acquisition unit 101, a detection unit 102, an image extraction unit 103, a dish analysis unit 104, and a storage unit 105.

本実施形態における情報処理装置10の上記各機能は、例えば、情報処理装置10を制御する情報処理プログラム(ソフトウェア)によって実現される機能モジュールであるものとして説明する。   The above-described functions of the information processing apparatus 10 in the present embodiment will be described as functions modules realized by, for example, an information processing program (software) that controls the information processing apparatus 10.

画像取得部101は、画像を取得する。画像取得部101において取得される画像には、例えば、料理を撮影した撮影画像を含む。「料理」とは、食事において食べられる食べ物をいう。本実施形態における料理には、食材を調理したものに加え、調理をしないでそのまま食べられる食材等を含んでいてもよい。例えば、野菜や果物は、調理の素材であるとともに、そのまま食卓に出される場合、本実施形態における料理となる。料理には、ジュースやスープ等の液体を含んでいてもよい。   The image acquisition unit 101 acquires an image. The image acquired by the image acquisition unit 101 includes, for example, a captured image obtained by shooting a dish. “Cooking” refers to food that can be eaten in a meal. In addition to what cooked ingredients, the dish in this embodiment may contain the ingredients etc. which can be eaten as it is, without cooking. For example, vegetables and fruits are cooking materials, and when they are put on the table as they are, they become dishes in this embodiment. The dish may contain a liquid such as juice or soup.

撮影画像には、静止画像又は動画像の少なくともいずれか一方が含まれている。画像取得部101は、情報処理装置10の内部に記憶されている画像を取得してもよく、また、情報処理装置10の外部から画像を取得してもよい。情報処理装置10の外部とは、例えば、後述するネットワークを介して接続されたクライアント装置である。情報処理装置10は、画像取得部101において取得された画像の中から料理部分の画像領域を抽出するものである。しかし、画像取得部101において取得される画像には、単なる風景写真のように料理が撮影されていない画像を含む場合がある。画像取得部101は、取得した画像を記憶部105等に一時的に記憶するようにしてもよい。   The captured image includes at least one of a still image and a moving image. The image acquisition unit 101 may acquire an image stored in the information processing apparatus 10 or may acquire an image from outside the information processing apparatus 10. The outside of the information processing apparatus 10 is, for example, a client apparatus connected via a network described later. The information processing apparatus 10 extracts an image area of a cooking portion from the image acquired by the image acquisition unit 101. However, the image acquired by the image acquisition unit 101 may include an image in which a dish is not photographed, such as a simple landscape photograph. The image acquisition unit 101 may temporarily store the acquired image in the storage unit 105 or the like.

記憶部105は、器具データ、料理配置データ、食器対応データ、カトラリ対応データ及び料理データを有する。器具データは、料理を配する食器や調理器具、又はカトラリの外観を示すデータである。外観とは、例えば、器具の形状、模様、色彩若しくは質感又はこれらの結合である。料理配置データは、料理が食器や調理器具などに配されたときの、食器等の外観と料理の配置との対応(対応配置)を示すデータである。食器対応データとは、食器等との関連性が高い、食器等毎に対応する料理のデータである。また、カトラリ対応データは、カトラリとの関連性が高い、カトラリ毎に対応する料理のデータである。また、料理データは、料理の特徴量を示すデータである。   The storage unit 105 includes appliance data, dish arrangement data, tableware correspondence data, cutlery correspondence data, and dish data. The appliance data is data indicating the appearance of tableware, cooking utensils, or cutlery serving food. The appearance is, for example, the shape, pattern, color, or texture of the device, or a combination thereof. The dish arrangement data is data indicating the correspondence (corresponding arrangement) between the appearance of dishes and the like and the arrangement of dishes when dishes are arranged on tableware or cooking utensils. The tableware correspondence data is data of dishes corresponding to each tableware and the like that are highly related to the tableware and the like. Further, the cutlery-corresponding data is dish data corresponding to each cutlery that is highly related to the cutlery. The dish data is data indicating the feature amount of the dish.

記憶部105は、データベースのようにこれらのデータを長期間記憶するものであっても、キャッシュメモリのように外部の装置から取得したデータを一時的に記憶するものであってもよい。   The storage unit 105 may store these data for a long time like a database, or may temporarily store data acquired from an external device such as a cache memory.

<器具データ>
器具データは、料理を配する食器や調理器具、又はカトラリのデータである。食器や調理器具には料理が配され、カトラリで食事をする。従って、料理を撮影するときには撮影画像に料理とともに器具が含まれる可能性が高い。器具データにおける食器や調理器具には以下のような物を含む。
椀:飯椀、汁椀、ドンブリ
皿・プレート:洋食用皿、和食用皿、ガラス皿、洋食用プレート、和食用プレート
鉢・ボウル:大鉢、小鉢、サラダボウル、デザートボウル
カップ:マグカップ、ティーカップ
グラス・酒器:タンブラー、ワイングラス、猪口、ビアグラス
調理器具:フライパン、鍋、釜、ホットプレート、キッチン家電
上記のような食器や調理器具は、食事において固体又は液体の料理を配する目的で使用されるため、「容器」という場合がある。鍋やフライパンも調理後料理をそのまま配して食卓に置かれる可能性があるため、本実施形態においては、皿等と同じ器具データにおいてデータ化されている。なお、本実施形態において、料理が配される点において食器と調理器具は厳密に区別する必要はない。従って、以下の説明において「食器」という場合、調理器具を含んだものとする。
<Equipment data>
The appliance data is data of tableware and cooking utensils for serving dishes, or cutlery. Dishes are arranged on tableware and utensils, and meals are made at cutlery. Therefore, when photographing a dish, there is a high possibility that an instrument is included in the photographed image along with the dish. Tableware and cooking utensils in the utensil data include the following items.
椀: Rice bowl, soup bowl, donburi Plates and plates: Western dishes, Japanese dishes, glass dishes, Western dishes, Japanese dishes Plates and bowls: Large bowls, small bowls, salad bowls, dessert bowls Cups: mugs, teas Cup Glass / Sakeware: Tumbler, Wine Glass, Mouth, Beer Glass Cookware: Frying pan, pan, kettle, hot plate, kitchen appliances The tableware and cooking utensils above are for the purpose of arranging solid or liquid dishes in the meal. Since it is used, it may be called a “container”. Since the pan and the pan may also be placed on the table with the cooked food as it is, in the present embodiment, it is converted into data in the same instrument data as that of the plate or the like. In the present embodiment, it is not necessary to strictly distinguish tableware from cooking utensils in that dishes are arranged. Accordingly, in the following description, “tableware” includes cooking utensils.

また、器具データにおける食器には、例えば、以下のようなカトラリデータを含む。 箸:箸、割り箸、鉄箸
カトラリ:スプーン、フォーク、ナイフ、レンゲ、カニスプーン、お玉、コテ
本実施形態では、箸、ストロー、楊枝、串等も「カトラリ」とする。
Moreover, the tableware in appliance data includes the following cutlery data, for example. Chopsticks: chopsticks, disposable chopsticks, iron chopsticks Cutlery: spoons, forks, knives, lotus root, crab spoons, ladle, iron In this embodiment, chopsticks, straws, toothpicks, skewers, etc. are also “cutlery”.

器具の形状とは、例えば、食器の形、大きさ等であり、例えば皿においては、丸皿、角皿(正方形、長方形)、豆皿、小皿、大皿、八角皿等の種類がある。器具の模様とは、器具の表面に施された装飾であり、例えば、無地、草花模様、中華図柄(龍、鳳凰、雷文、双喜文)等である。器具の色彩は、器具の表面の色合いであり、単色又は複数色を含む。   The shape of the appliance is, for example, the shape and size of tableware. For example, there are various types of dishes such as round plates, square plates (square, rectangular), bean plates, small plates, large plates, octagonal plates, and the like. The pattern of the instrument is a decoration applied to the surface of the instrument, such as a plain pattern, a flower pattern, a Chinese pattern (dragon, dragon, thunder, and so on). The color of the device is a color of the surface of the device and includes a single color or a plurality of colors.

器具の質感とは、器具の表面の質感であり、見た目の光沢やヘアライン等の毛先の揃い方、又は手で直接触ったときの感触(手触り)である。本実施形態では、質感をテクスチャと表現する場合がある。例えば、和食器における焼き物の容器のテクスチャは、表面に細かな凹凸を有してザラザラとした手触りを有している。一方、洋食器における磁器の容器のテクスチャは、滑らかで光沢を有している。   The texture of the device is the texture of the surface of the device, and is the way the hair tips such as the appearance gloss and hairline are aligned, or the touch (hand) when directly touching with the hand. In the present embodiment, the texture may be expressed as a texture. For example, the texture of a pottery container in Japanese tableware has a rough texture with fine irregularities on the surface. On the other hand, the texture of the porcelain container in Western tableware is smooth and glossy.

器具データは、器具の形状、模様、色彩若しくは質感又はこれらの結合を示すデータであり、それぞれの器具において特徴量として数値化することができる。特徴量は、器具の形状、模様、色彩若しくは質感を、例えば機械学習において数値化したものであり、特徴ベクトルとして表現することができる。機械学習としては、例えば、ニューラルネットワークやサポートベクターマシン等のアルゴリズムを使用することができる。器具の形状、模様、色彩若しくは質感は、それぞれが単独で存在するのではなく、これらが結合して器具の外観を形成している。機械学習においては、1つの種類の器具に対して複数の撮影画像を学習させて、器具の形状、模様、色彩若しくは質感を学習させる。器具は、形状等によってその使用される料理(用途)が異なる。本実施形態では、1つの器具を用途毎に学習させることにより器具と用途との関係を学習させることができる。記憶部105は、学習によって数値化された器具データを予め記憶する。記憶部105は、例えば自宅等に実際に存在し、料理が配される可能性のある食器について器具データを記憶するものであってもよい。   The appliance data is data indicating the shape, pattern, color or texture of the appliance or a combination thereof, and can be quantified as a feature amount in each appliance. The feature amount is a numerical value of the shape, pattern, color, or texture of the appliance, for example, in machine learning, and can be expressed as a feature vector. As machine learning, for example, an algorithm such as a neural network or a support vector machine can be used. The shape, pattern, color, or texture of the appliance does not exist alone, but they combine to form the appearance of the appliance. In machine learning, a plurality of captured images are learned for one type of appliance, and the shape, pattern, color, or texture of the appliance is learned. The dishes used (uses) vary depending on the shape and the like. In the present embodiment, it is possible to learn the relationship between an appliance and an application by learning one appliance for each application. The storage unit 105 stores in advance appliance data digitized by learning. The memory | storage part 105 may memorize | store apparatus data about the tableware which actually exists, for example in a house etc. and a dish may be arranged.

記憶部105に記憶される対応データとは、上述した器具又はカトラリと、その器具又はカトラリを用いる料理との対応を示すデータである。対応データとして、以下、料理配置データ、食器対応データ及びカトラリ対応データを説明する。   The correspondence data stored in the storage unit 105 is data indicating the correspondence between the above-described appliance or cutlery and a dish using the appliance or cutlery. Hereinafter, dish arrangement data, tableware correspondence data, and cutlery correspondence data will be described as correspondence data.

<料理配置データ>
容器として使用される食器にはそれぞれ形状があり、食器のどの位置に料理が配されやすいかを予め対応させておくことができる。例えば、深い丸皿には、丸皿の中心部に料理が配される可能性が高い。一方、丸皿の外縁部のみに料理が配される可能性は低い。また、長方形の和食皿には、さんまの塩焼きのように皿の外側まではみ出て料理が配されたり、皿の長手方向に料理が分散されて配されたりする可能性が高い。一方、和食皿の一部のみに料理が配される可能性は低い。すなわち、それぞれの容器の形状に対応して、その容器のどの位置に料理が配されるかを予測することができる。料理配置データは、それぞれの容器について料理が配される位置を予測するデータであり、記憶部105に記憶しておくことにより、料理の画像領域を予測し、パターンマッチングにおける料理の画像領域の抽出負荷を低減させることができる。
<Cooking arrangement data>
Each tableware used as a container has a shape, and it is possible to correspond in advance to which position of the tableware the dish is easily arranged. For example, in a deep round dish, there is a high possibility that a dish is arranged in the center of the round dish. On the other hand, there is a low possibility that dishes are arranged only on the outer edge of the round plate. In addition, there is a high possibility that dishes will be arranged on the rectangular Japanese food dishes so that they stick out to the outside of the dish like Sanma's salt grill, or the dishes are distributed in the longitudinal direction of the dishes. On the other hand, it is unlikely that food will be served only on a portion of the Japanese dishes. That is, it is possible to predict in which position of the container the dish is arranged in correspondence with the shape of each container. The dish arrangement data is data for predicting the position at which the dish is arranged for each container, and is stored in the storage unit 105 to predict the dish image area and extract the dish image area in pattern matching. The load can be reduced.

<食器対応データ、カトラリ対応データ>
食器と料理には関係の深い組み合わせが存在する。例えば、和食には和食器が使用され、洋食には洋食器が使用され、中華料理には中国食器が使用され、また韓国料理には韓国食器が使用されやすい。すなわち、料理に使用されている食器の種類によって、料理の種類をある程度予想できる場合がある。例えば、雷文の模様を有する容器に配された料理は中華料理である可能性が高い。また、鉄板に配された料理は、肉料理である可能性が高い。また、上述のように、長方形の和食器に配された料理は焼き魚や和食である可能性が高い。
<Tableware data, cutlery data>
There is a close combination of tableware and cooking. For example, Japanese dishes are used for Japanese dishes, Western dishes are used for Western dishes, Chinese dishes are used for Chinese dishes, and Korean dishes are easily used for Korean dishes. In other words, depending on the type of tableware used for cooking, the type of cooking may be predicted to some extent. For example, a dish arranged in a container having a lightning pattern is likely to be a Chinese dish. Moreover, the dish arranged on the iron plate is likely to be a meat dish. In addition, as described above, the dishes arranged in the rectangular Japanese tableware are likely to be grilled fish and Japanese food.

また、カトラリについても同様に所定の料理と関係が深い組み合わせがある。例えば、鉄箸は韓国料理に使われ、レンゲはラーメンやチャーハン等の中華料理に使われる場合が多い。和食では箸が使われ、洋食ではフォークとナイフが使われる。すなわち、カトラリによってある程度料理の種類が決定できる場合がある。料理は、例えば容器とカトラリの組み合わせによってさらに決定できる場合がある。例えば、上述の雷文の模様を有する容器に配された料理にさらにレンゲが組み合わされている場合、料理はチャーハンである可能性が高く、同料理に箸が組み合わされている場合、料理がラーメン等である可能性が高い。すなわち、それぞれの食器に対してどのような料理が配されるか(対応料理)は予測ができる場合がある。料理が予想できれば料理の配置位置や料理の撮影画像の特徴量を予測することが可能となる。記憶部105は、それぞれの容器についての対応料理を記憶しておくことにより、料理の画像領域を予測し、パターンマッチングにおける料理の画像領域の抽出負荷を低減させることができる。食器対応データとカトラリ対応データを合わせて対応データという場合がある。   Similarly, cutlery has a combination closely related to a predetermined dish. For example, iron chopsticks are often used for Korean food, and lotus root is often used for Chinese food such as ramen and fried rice. Chopsticks are used in Japanese food, and forks and knives are used in Western food. In other words, the type of dish can be determined to some extent by the cutlery. Cooking may be further determined, for example, by the combination of containers and cutlery. For example, when a lotus is combined with a dish arranged in a container with the above-mentioned lightning pattern, the dish is likely to be fried rice, and when the dish is combined with chopsticks, the dish is ramen Etc. are likely. In other words, it may be possible to predict what kind of dish is arranged for each tableware (corresponding dish). If the dish can be predicted, it is possible to predict the arrangement position of the dish and the feature amount of the photographed image of the dish. The storage unit 105 stores the corresponding dish for each container, thereby predicting the dish image area and reducing the load of extracting the dish image area in pattern matching. Tableware correspondence data and cutlery correspondence data may be collectively referred to as correspondence data.

なお、料理と食器等との関係は、食文化や生活スタイルによって大きく影響を受ける。例えば、日本の食卓においては、洋食であっても食事に箸が使用される場合があり、箸と和食との関係は強くない。一方、日本の食卓において、和食にナイフとフォークが使用される可能性は低く、ナイフとフォークと洋食との関係は強い。従って、記憶部105に記憶する対応データは、例えば、国や地域、年代によってそれぞれ用意することが望ましい。例えば、記憶部105は、東日本用の対応データと西日本用の対応データをそれぞれ個別に有するようにしてもよい。   The relationship between food and tableware is greatly influenced by food culture and lifestyle. For example, in a Japanese dining table, chopsticks may be used for meals even for Western dishes, and the relationship between chopsticks and Japanese food is not strong. On the other hand, knives and forks are unlikely to be used for Japanese dishes at Japanese tables, and the relationship between knives, forks and Western food is strong. Therefore, it is desirable to prepare the correspondence data stored in the storage unit 105 according to, for example, the country, the region, and the age. For example, the storage unit 105 may have correspondence data for East Japan and correspondence data for West Japan individually.

また、対応データは、料理レシピサイトに掲載された、料理を撮影した撮影画像に基づき作成するようにしてもよい。例えば、料理レシピサイトにおいては、1つの料理(レシピ)に対して調理例の撮影画像が複数投稿されて掲載される場合がある。投稿された撮影画像においてそれぞれ使用されている食器について予め解析しておくことにより、対応データを容易に作成することができる。   Moreover, you may make it produce corresponding data based on the picked-up image which image | photographed the cooking | publishing published on the cooking recipe site. For example, in a cooking recipe site, a plurality of shot images of cooking examples may be posted and posted for one dish (recipe). Corresponding data can be easily created by analyzing in advance the tableware used in each posted photographed image.

<料理データ>
料理データとは、料理の特徴量を示すデータ(特徴データ)である。料理の特徴量とは、料理を撮影した場合、撮影された料理部分(領域)における画像の特徴量である。料理の特徴量には、例えば料理の色の特徴を示す特徴量と、料理の形状の特徴を示す特徴量等複数の特徴量が含まれる。料理の特徴量は、例えば画像に含まれる料理部分の画像を上述したような機械学習によって数値化することができる。機械学習においては、複数の特徴量の中でどの特徴量によって料理と判定するかは、学習の深度によって異なる場合がある。例えば、ある料理においては料理の形状に基づく判定精度が高くなり、別の料理においては料理の色に基づく判定精度が高くなる場合がある。機械学習は、学習するサンプル数に応じて判定アルゴリズムを自ら修正することができる。
<Cooking data>
The dish data is data (feature data) indicating the feature amount of the dish. The feature amount of a dish is a feature amount of an image in a photographed cooking portion (area) when the dish is photographed. The feature amount of the dish includes a plurality of feature amounts such as a feature amount indicating the color feature of the dish and a feature amount indicating the feature of the dish shape. The feature amount of cooking can be quantified by machine learning as described above, for example, an image of a cooking portion included in the image. In machine learning, which feature quantity among a plurality of feature quantities determines as a dish may differ depending on the depth of learning. For example, in some dishes, the determination accuracy based on the shape of the dish may be high, and in other dishes, the determination accuracy based on the color of the dish may be high. In machine learning, the determination algorithm can be corrected by itself according to the number of samples to be learned.

機械学習に用いる料理データは、例えば料理レシピサイトに掲載された料理を撮影した撮影画像を学習させることにより取得することができる。料理レシピサイトにおいては、多くの利用者から料理の撮影画像が投稿されて、そのレシピ数は数百万件にも及ぶ場合がある。例えば、同じレシピに基づき調理された料理の撮影画像を機械学習させることにより、そのレシピにおける料理の特徴量を容易に数値化することが可能となる。例えば、後述する投稿画像とレポート画像は同じレシピ情報に基づき調理されたものであり、機械学習させる画像データを効率的に収集し検出精度を高めることができる。なお、料理はレシピや調理方法の僅かな違い(バリエーション)によって撮影画像が異なる場合が生じる一方、撮影画像を人が見た場合、多少の色の相違や形状の相違があったとしても撮影された料理を容易に判別できる場合がある。料理レシピサイトに投稿されたレシピの近い料理についての特徴量を機械学習させておくことにより、料理のバリエーションに対応した料理データを記憶部105に記憶させておくことが可能となる。   The dish data used for machine learning can be acquired by learning a photographed image obtained by photographing a dish posted on a dish recipe site, for example. In the cooking recipe site, taken images of food are posted from many users, and the number of recipes may reach several million. For example, it is possible to easily digitize the feature amount of a dish in the recipe by machine learning of a shot image of the dish cooked based on the same recipe. For example, a post image and a report image, which will be described later, are cooked based on the same recipe information, and image data to be machine-learned can be efficiently collected to improve detection accuracy. In addition, while cooking images may differ due to slight differences (variations) in recipes and cooking methods, when a photograph is viewed by a person, it may be photographed even if there are some color differences or shape differences. In some cases, it is easy to distinguish the dishes. By making the machine learning the feature amount of the recipe that is posted on the cooking recipe site, it is possible to store the cooking data corresponding to the cooking variation in the storage unit 105.

検出部102は、画像取得部101において取得された画像から器具データが示す外観と同一或いは類似する器具を検出する。また、検出部102は、画像取得部101において取得された画像からカトラリデータが示す外観と同一或いは類似するカトラリをさらに検出する。また、検出部102は、記憶部105に記憶されたテクスチャデータに基づき器具を検出する。   The detection unit 102 detects an appliance that is the same as or similar to the appearance indicated by the appliance data from the image acquired by the image acquisition unit 101. The detection unit 102 further detects a cutlery that is the same as or similar to the appearance indicated by the cutlery data from the image acquired by the image acquisition unit 101. Further, the detection unit 102 detects an appliance based on the texture data stored in the storage unit 105.

たとえば、検出部102は、器具データに含まれる、形状、模様、色彩又はテクスチャの少なくともいずれか1つの特徴量と取得された画像に含まれる特徴量とを比較することにより食器を検出する。検出部102は、例えば、器具データに含まれる特徴量が所定の範囲で一致又は類似しているか否かで食器を検出する。検出部102は、器具データの中から特徴量が一番近い食器を検出するようにしてもよい。検出部102は、形状、模様、色彩又はテクスチャの特徴量中で優先順位を定めて、優先順位の高い特徴量を食器決定の条件としてもよい。   For example, the detection unit 102 detects tableware by comparing at least one feature amount of shape, pattern, color, or texture included in the appliance data with a feature amount included in the acquired image. For example, the detection unit 102 detects tableware based on whether or not the feature amounts included in the appliance data match or are similar within a predetermined range. The detection unit 102 may detect the tableware having the closest feature amount from the appliance data. The detection unit 102 may determine the priority order among the feature quantities of the shape, pattern, color, or texture, and use the feature quantity having a higher priority as a condition for determining tableware.

また、検出部102は、撮影画像に含まれているカトラリを決定する。検出部102は、決定されたカトラリと器具データに含まれる対応料理のデータに基づき、料理の種類を推定する。例えば、撮影画像に大き目のスプーンが含まれている場合、検出部102は、そのスプーンが使用される可能性が高い対応料理を推定する。   In addition, the detection unit 102 determines the cutlery included in the captured image. The detecting unit 102 estimates the type of dish based on the determined cutlery and the corresponding dish data included in the appliance data. For example, when the captured image includes a large spoon, the detection unit 102 estimates a corresponding dish that is highly likely to be used.

撮影画像が動画像である場合、動画像を所定のタイミングでキャプチャリングすることにより静止画像を取得することができる。静止画像に対して食器の決定等の画像処理を行うことにより処理の負荷を軽減することができる。   When the captured image is a moving image, a still image can be acquired by capturing the moving image at a predetermined timing. By performing image processing such as tableware determination on a still image, the processing load can be reduced.

なお、器具やカトラリの外観の類似範囲は予め設定できるようにしてもよい。例えば、スプーンは大きさによってその用途(料理)が異なる場合がある。一方、皿は同じ料理でも人数分によってサイズや形状が異なる場合がある。類似範囲を予め設定することにより、用途の異なる器具は異なる器具として検出することが可能になり、画像抽出部103における料理の決定精度を向上させることができる。   In addition, you may enable it to set beforehand the similar range of the external appearance of an instrument or a cutlery. For example, the use (cooking) of a spoon may vary depending on the size. On the other hand, even if the dish is the same dish, the size and shape may differ depending on the number of people. By setting the similar range in advance, it is possible to detect different appliances as different appliances and improve the determination accuracy of dishes in the image extraction unit 103.

画像抽出部103は、記憶部105に記憶された食器対応データに基づき、検出部102において検出された食器の食器対応データに対応付けられた料理を決定し、決定した料理の画像領域を画像取得部101において取得された画像から抽出する。また、画像抽出部103は、さらに、記憶部105に記憶されたカトラリ対応データに基づき、検出部102において検出されたカトラリのカトラリ対応データに対応付けられた料理を決定し、決定した料理の画像領域を画像取得部101において取得された画像から抽出する。   The image extraction unit 103 determines a dish associated with the tableware correspondence data detected by the detection unit 102 based on the tableware correspondence data stored in the storage unit 105, and obtains an image of the determined dish image area. Extracted from the image acquired by the unit 101. The image extraction unit 103 further determines a dish associated with the cutlery correspondence data detected by the detection unit 102 based on the cutlery correspondence data stored in the storage unit 105, and the image of the decided dish A region is extracted from the image acquired by the image acquisition unit 101.

画像抽出部103は、料理データに含まれる料理の特徴量を逐次読出し、特徴量が所定の範囲で一致又は類似した画像の有無をそれぞれの料理において確認していく。画像抽出部103は、画像の特徴量から料理部分とそれ以外の部分(食器部分、背景部分等)を検出し、連続して検出された料理部分を料理の画像領域として抽出することができる。   The image extraction unit 103 sequentially reads the feature amount of the dish included in the dish data, and checks the presence or absence of an image whose feature amount is identical or similar within a predetermined range in each dish. The image extraction unit 103 can detect a cooking portion and other portions (tableware portion, background portion, etc.) from the feature amount of the image, and extract the continuously detected cooking portion as a cooking image area.

画像抽出部103は、検出部102において決定された料理の種類について優先的に特徴量を確認する。これにより、例えば、料理データに含まれる料理をランダムに読み出して特徴量を比較していく場合に比べて比較対象のデータ量が少なくなり、特徴量が一致又は類似した画像領域を容易に決定することが可能となる。これにより、料理部分の画像領域の抽出負荷を軽減させることが可能となり、料理部分の画像領域の抽出(検出)速度及び精度を向上させることが可能となる。画像抽出部103は、特徴量の近似した画像を検出することができない場合、撮影画像に料理が含まれないと判断する。画像抽出部103は、抽出した料理の画像領域の画像を、例えば情報処理装置10の外部に提供するようにしてもよい。   The image extraction unit 103 preferentially confirms the feature amount for the type of dish determined by the detection unit 102. As a result, for example, the amount of data to be compared is reduced compared to the case where the features included in the dish data are read out at random, and the image regions having the same or similar features are easily determined. It becomes possible. As a result, the extraction load of the image area of the cooking portion can be reduced, and the extraction (detection) speed and accuracy of the image area of the cooking portion can be improved. If the image extraction unit 103 cannot detect an image with an approximate feature amount, the image extraction unit 103 determines that no dish is included in the captured image. The image extraction unit 103 may provide an image of the extracted dish image area, for example, outside the information processing apparatus 10.

また、対応配置は、上述したように、それぞれの容器のどの位置に料理が配される可能性が高いかを示すものである。画像抽出部103は、決定された容器の対応配置に基づき、容器の画像から料理の画像領域を予測する。画像抽出部103は、予測された画像領域について、料理の画像領域を抽出する。料理の画像領域の抽出は、例えば、予測された画像領域内に対して、記憶部105に記憶されている料理データに含まれる料理の特徴量が一致又は類似するか否かを確認することで実行することができる。   Further, as described above, the corresponding arrangement indicates in which position of each container the food is likely to be arranged. The image extraction unit 103 predicts an image area of the dish from the container image based on the determined corresponding arrangement of the containers. The image extraction unit 103 extracts a dish image region from the predicted image region. For example, the image area of the dish is extracted by confirming whether or not the feature amount of the dish included in the dish data stored in the storage unit 105 matches or is similar to the predicted image area. Can be executed.

本実施形態においては、対応配置に基づき料理の特徴量を確認することにより、撮影画像全体について料理の特徴量を確認する場合に比べて、料理部分の画像領域の抽出負荷を軽減させることが可能となる。また、料理が配される可能性が低い部分についての確認を行わないことにより、料理部分の画像領域の抽出(検出)精度を高くして、料理以外の部分を誤抽出する可能性を低くすることができる。   In the present embodiment, by checking the feature amount of the dish based on the corresponding arrangement, it is possible to reduce the load of extracting the image area of the dish portion compared to the case of checking the feature amount of the dish for the entire captured image. It becomes. In addition, by not confirming the portion where the possibility of food being arranged is low, the extraction (detection) accuracy of the image area of the food portion is increased, and the possibility of erroneous extraction of portions other than the food is reduced. be able to.

料理解析部104は、画像抽出部103において抽出された料理部分の画像領域に対する解析処理を行う。例えば、料理解析部104は、抽出された画像領域の大きさから、料理の量(何人分か)を解析する。また、料理解析部104は、抽出された画像領域の位置関係から、主菜と副菜を判定するようにしてもよい。   The dish analysis unit 104 performs an analysis process on the image area of the dish portion extracted by the image extraction unit 103. For example, the dish analysis unit 104 analyzes the amount of dishes (for how many people) from the size of the extracted image area. In addition, the dish analysis unit 104 may determine main dishes and side dishes from the positional relationship between the extracted image regions.

なお、情報処理装置10が有する、画像取得部101、検出部102、画像抽出部103、料理解析部104及び記憶部105の各機能は、上述の通り、ソフトウェアによって実現されるものとして説明した。しかし、情報処理装置10が有する上記機能の中の少なくとも1つ以上の機能は、ハードウェアによって実現されるものであっても良い。   Note that the functions of the image acquisition unit 101, the detection unit 102, the image extraction unit 103, the dish analysis unit 104, and the storage unit 105 included in the information processing apparatus 10 have been described as being realized by software as described above. However, at least one of the functions of the information processing apparatus 10 may be realized by hardware.

また、情報処理装置10が有する上記何れかの機能は、1つの機能を複数の機能に分割して実施してもよい。また、情報処理装置10は、上記何れか2つ以上の機能を1つの機能に集約して実施してもよい。   In addition, any one of the functions that the information processing apparatus 10 has may be implemented by dividing one function into a plurality of functions. In addition, the information processing apparatus 10 may implement any two or more functions in a single function.

また、情報処理装置10は、1つの筐体によって実現される装置であっても、ネットワーク等を介して接続された複数の装置から実現されるシステムであってもよい。すなわち、情報処理装置10は、本実施形態における情報処理システムの一形態である。また、情報処理装置10は、クラウドコンピューティングシステムによって提供されるクラウドサービス等、仮想的な装置であってもよい。また、情報処理装置10は、サーバ装置等の汎用のコンピュータであってもよく、機能が限定された専用の装置であってもよい。   Further, the information processing apparatus 10 may be an apparatus realized by a single casing or a system realized by a plurality of apparatuses connected via a network or the like. That is, the information processing apparatus 10 is a form of the information processing system in the present embodiment. Further, the information processing apparatus 10 may be a virtual apparatus such as a cloud service provided by a cloud computing system. In addition, the information processing apparatus 10 may be a general-purpose computer such as a server apparatus or a dedicated apparatus having a limited function.

また、情報処理装置10の上記各機能のうち、少なくとも1以上の機能を他の装置において実現するようにしてもよい。すなわち、情報処理装置10は上記全ての機能を有している必要はなく、一部の機能を有するものであってもよい。   Further, at least one of the above functions of the information processing apparatus 10 may be realized in another apparatus. That is, the information processing apparatus 10 does not have to have all the functions described above, and may have some functions.

[情報処理システムのハードウェア構成]
図2は、実施形態における情報処理装置10を含む情報処理システムのハードウェア構成の一例を示すブロック図である。
[Hardware configuration of information processing system]
FIG. 2 is a block diagram illustrating an example of a hardware configuration of an information processing system including the information processing apparatus 10 according to the embodiment.

情報処理システム1は、情報処理装置10、表示装置21、入力装置22、クライアント装置3(3A、3B、3C等)、サーバ4、ネットワーク91及びネットワーク92を有する。   The information processing system 1 includes an information processing device 10, a display device 21, an input device 22, a client device 3 (3A, 3B, 3C, etc.), a server 4, a network 91, and a network 92.

情報処理装置10は、CPU(Central Processing Unit)11、RAM(Random Access Memory)12、ROM(Read Only Memory)13、HDD(hard disk drive)14、表示制御部15、入力制御部16、及び通信I/F(Interface)17を有する。   The information processing apparatus 10 includes a CPU (Central Processing Unit) 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, a HDD (hard disk drive) 14, a display control unit 15, an input control unit 16, and a communication. An I / F (Interface) 17 is included.

情報処理装置10は、サーバ装置、デスクトップ型PC、タブレット型PC等の汎用装置、若しくは情報処理専用の装置である。情報処理装置10は、図1で説明した情報処理プログラムを実行する。   The information processing apparatus 10 is a general-purpose apparatus such as a server apparatus, a desktop PC, or a tablet PC, or an apparatus dedicated to information processing. The information processing apparatus 10 executes the information processing program described with reference to FIG.

CPU11は、RAM12、ROM13又はHDD14に記憶された情報処理プログラムを実行することにより、情報処理装置10の制御を行う。情報処理プログラムは、例えば、情報処理プログラムを記録した記録媒体、又はネットワークを介したプログラム配信サーバ等から取得されて、HDD14にインストールされ、RAM12にCPU11から読出し可能に記憶される。なお、RAM12、ROM13又はHDD14は、CPU11において実行されるプログラム以外に、CPU11において処理される又は処理されたデータを記憶してもよい。例えば、図1で説明した記憶部105は、RAM12、ROM13又はHDD14によって実現することができる。なお、CPU11は、単独の演算装置で構成されても複数の演算装置で構成されてもよい。CPU11は、例えばGPU(Graphics Processing Unit)等の演算装置を含むものとする。GPUは画像処理専用の演算装置であって、本実施形態において料理の種類の決定又は料理の特徴量抽出等の画像処理において有効なハードウェアである。   The CPU 11 controls the information processing apparatus 10 by executing an information processing program stored in the RAM 12, ROM 13, or HDD 14. The information processing program is acquired from, for example, a recording medium on which the information processing program is recorded, a program distribution server via a network, or the like, installed in the HDD 14, and stored in the RAM 12 so as to be readable from the CPU 11. The RAM 12, ROM 13, or HDD 14 may store data processed or processed by the CPU 11 in addition to programs executed by the CPU 11. For example, the storage unit 105 described in FIG. 1 can be realized by the RAM 12, the ROM 13, or the HDD 14. Note that the CPU 11 may be composed of a single arithmetic device or a plurality of arithmetic devices. The CPU 11 includes an arithmetic device such as a GPU (Graphics Processing Unit). The GPU is an arithmetic device dedicated to image processing, and is hardware effective in image processing such as determination of the type of dish or extraction of feature values of dish in the present embodiment.

表示制御部15は、表示装置21に表示する表示データを制御する。入力制御部16は、入力装置22から入力される入力データを制御する。表示装置21と入力装置22は、例えば、操作入力機能と表示機能とを有するタッチパネルであってもよい。   The display control unit 15 controls display data displayed on the display device 21. The input control unit 16 controls input data input from the input device 22. The display device 21 and the input device 22 may be, for example, a touch panel having an operation input function and a display function.

通信I/F17は、ネットワーク91を介して接続された複数のクライアント装置3との通信を制御する。また、通信I/F17は、ネットワーク92を介して接続されたサーバ4との通信を制御する。   The communication I / F 17 controls communication with a plurality of client devices 3 connected via the network 91. The communication I / F 17 controls communication with the server 4 connected via the network 92.

クライアント装置3は、例えば、レシピ投稿機能やレポート投稿機能を有し、情報処理装置10に対して料理が撮影された撮影画像を送信するPCやスマートフォンである。クライアント装置3は、レシピ投稿機能やレポート投稿機能を実行するアプリケーションプログラムやWebブラウザを有し、一方、情報処理装置10は、クライアント装置3に対してレシピ投稿サービスやレポート投稿サービスを提供するWebサーバであってもよい。   The client device 3 is, for example, a PC or a smartphone that has a recipe posting function and a report posting function and transmits a captured image in which a dish is captured to the information processing apparatus 10. The client device 3 includes an application program that executes a recipe posting function and a report posting function and a Web browser, while the information processing device 10 provides a recipe posting service and a report posting service to the client device 3. It may be.

ここでレシピ投稿機能とは、ユーザが作成したレシピを投稿する機能である。レシピ投稿機能においては、料理のタイトル、材料とその分量、調理方法、調理結果の料理の撮影画像等を投稿することができる。また、レポート投稿機能とは、レシピ投稿機能で投稿されたレシピを他のユーザが参照し、そのレシピに基づき調理した調理結果の料理の撮影画像等を投稿する機能である。すなわち、レシピ投稿機能で投稿された料理の投稿画像とレポート投稿機能で投稿された料理のレポート画像は、同じレシピで調理された同じ料理であり、異なるユーザにおいて調理された同じ料理の画像が複数のクライアント装置3から投稿されることになる。   Here, the recipe posting function is a function for posting a recipe created by the user. In the recipe posting function, it is possible to post a cooking title, ingredients and the amount thereof, a cooking method, a cooking image of the cooking result, and the like. In addition, the report posting function is a function in which a recipe posted by the recipe posting function is referred to by another user and a photographed image of the cooking result cooked based on the recipe is posted. That is, the post image of the food posted by the recipe posting function and the report image of the food posted by the report posting function are the same food cooked by the same recipe, and there are a plurality of images of the same food cooked by different users. Will be posted from the client device 3.

本実施形態における投稿画像とレポート画像は、上述した器具データや料理データにおいて特徴量を抽出するための機械学習として適している。例えば、機械学習に利用する料理の画像を料理の名称等でインターネット検索して収集しようとした場合、素材や調理方法等のレシピの異なる全く外観の異なる料理の画像や、収集すべき料理とは全く異なる料理の画像等のノイズが多数ヒットして、機械学習に利用できる画像を選別する手間が掛ってしまう場合がある。投稿画像とレポート画像は上述の通り同じレシピ情報に基づき調理されたものであるため、上述のようなノイズが混入することがなく、画像選別等の手間が掛らない。また、投稿画像とレポート画像における多少の特徴量の違いは、人が同じ料理であると認識できる範囲にあることが多く、同じ料理の認識精度を向上させるうえで適したデータとなる。また、投稿画像とレポート画像は多数の利用者によって投稿されるため、学習させる画像データを効率よく収集することが可能となる。   The posted image and the report image in the present embodiment are suitable as machine learning for extracting feature amounts in the above-described appliance data and cooking data. For example, when trying to collect images of dishes to be used for machine learning by searching the Internet using the names of dishes, etc., images of dishes with completely different appearances such as ingredients and cooking methods, and what to collect There are cases where many noises such as images of completely different dishes are hit and it takes time and effort to select images that can be used for machine learning. Since the posted image and the report image are cooked based on the same recipe information as described above, the above-described noise is not mixed, and time and labor for image selection are not required. In addition, there are many differences in feature amounts between the posted image and the report image in a range in which a person can recognize that they are the same dish, and the data is suitable for improving the recognition accuracy of the same dish. In addition, since the posted image and the report image are posted by many users, it is possible to efficiently collect the image data to be learned.

サーバ4は、例えば、情報処理装置10に対して器具データや料理データを提供するデータ供給機能を有するサーバであり、例えば、図1で説明した記憶部105において記憶されたデータは、サーバ4に記憶されているデータを間接的に示すものであってもよい。また、サーバ4は、情報処理装置10において抽出された料理の画像領域等の結果を記録するサーバであってもよい。   For example, the server 4 is a server having a data supply function for providing appliance data and cooking data to the information processing apparatus 10. For example, the data stored in the storage unit 105 described in FIG. The stored data may be indirectly indicated. Further, the server 4 may be a server that records the result of the image area of the dish extracted by the information processing apparatus 10.

[器具データ及び対応データのデータ構成]
図3は、実施形態における情報処理装置10で利用される器具データ及び対応データの一例を示す図である。
[Data structure of instrument data and corresponding data]
FIG. 3 is a diagram illustrating an example of appliance data and correspondence data used in the information processing apparatus 10 according to the embodiment.

図3において、器具データは、「食器NO.」、「大分類」、「小分類」、「形状特徴量」、「模様特徴量」、「色彩特徴量」及び「テクスチャ特徴量」のデータ項目を有する。また、対応データは、「対応配置」及び「対応料理」のデータ項目を有する。図3においては、器具データと対応データは同じ表に統合されている場合を示している。但し、器具データと対応データは異なる表において構成されてもよい。また、図3において器具データと対応データは表形式で構成される場合を示したが、器具データ又は対応データは、例えばXML(ExtensibleMarkupLanguage)のデータ形式で構成されてもよい。   In FIG. 3, the appliance data includes data items “tableware NO.”, “Major classification”, “small classification”, “shape feature value”, “pattern feature value”, “color feature value”, and “texture feature value”. Have The correspondence data includes data items of “corresponding arrangement” and “corresponding dish”. FIG. 3 shows a case where the instrument data and the correspondence data are integrated in the same table. However, the instrument data and the corresponding data may be configured in different tables. Moreover, although the case where the instrument data and the corresponding data are configured in a table format is shown in FIG. 3, the instrument data or the corresponding data may be configured in, for example, an XML (Extensible Markup Language) data format.

「食器NO.」は、器具データに登録している食器又はカトラリを一意に定める番号が入力されるデータ項目であり、食器等の形状等の違いによってそれぞれ異なる番号が付与されている。「大分類」と「小分類」は、食器の区分が入力されるデータ項目であり、容器とカトラリをそれぞれの区分において分類している。   “Tableware No.” is a data item to which a number that uniquely defines tableware or cutlery registered in the appliance data is input, and a different number is given depending on the shape of the tableware or the like. The “major category” and “minor category” are data items into which tableware categories are input, and containers and cutlery are classified into respective categories.

「形状特徴量」、「模様特徴量」、「色彩特徴量」及び「テクスチャ特徴量」は、撮影された食器等の画像の特徴量を表すデータ項目である。これらの特徴量は少なくとも外観において撮影可能な範囲において記録されればよい。これらの特徴量は料理が配された状態の撮影画像において比較される。従って、撮影画像に含まれることが無い、例えば容器の裏面や底面等の特徴量については記録する必要がない。また、料理の撮影では、例えば料理を斜め上方から撮影する場合が多い。このため、これらのデータ項目においては、食器を斜視したときの特徴量を記録しておくことが望ましい。例えば、どんぶりにおいては、どんぶりの内側の上部と外側が撮影される場合が多く、どんぶりの内側底部は撮影される場合が少ない。したがって、特徴量においては内側底部の特徴量より内側上部と外側の特徴量の記録が優先される。   The “shape feature value”, “pattern feature value”, “color feature value”, and “texture feature value” are data items that represent the feature value of a captured image of a tableware or the like. These feature amounts may be recorded at least within a range in which appearance can be taken. These feature amounts are compared in a captured image in a state where dishes are arranged. Therefore, it is not necessary to record the feature quantities that are not included in the captured image, such as the back and bottom surfaces of the container. In addition, when shooting a dish, for example, a dish is often shot obliquely from above. For this reason, in these data items, it is desirable to record the characteristic amount when the tableware is obliquely viewed. For example, in a bowl, the top and outside of the bowl are often photographed, and the inside bottom of the bowl is rarely photographed. Therefore, in the feature value, priority is given to the recording of the feature value of the inner upper part and the outer feature over the feature value of the inner bottom part.

なお、食器等を決定する際に「形状特徴量」、「模様特徴量」、「色彩特徴量」及び「テクスチャ特徴量」のいずれの特徴量をどのような優先順位又はどのような組み合わせで使用するかは、例えば機械学習における学習結果に応じて設定してもよい。例えば、本実施形態において同じ食器NO.に分類されるべき食器においても、使用年月や生産ロットの違いによって特徴量に差異が生じる場合がある。これらの差異は複数の食器の撮影画像について特徴を機械学習させることにより同じ食器として認識することができる。   When determining tableware, etc., use any feature quantity of “shape feature quantity”, “pattern feature quantity”, “color feature quantity”, and “texture feature quantity” in any priority or combination. Whether to do this may be set according to the learning result in machine learning, for example. For example, in the present embodiment, the same tableware NO. Even in tableware to be categorized as, there may be a difference in the feature value depending on the use date and production lot. These differences can be recognized as the same tableware by causing machine learning of the features of the captured images of the plurality of tableware.

「対応配置」は、それぞれの容器について料理が配される位置を予測する料理配置データを記録するデータ項目である。対応配置には、容器の形状に対して所定の領域が指定される。例えば、容器が斜めの角度から撮影されたものである場合、対応配置もその角度において傾斜される。例えば、ドンブリの対応配置は、ドンブリを真上から撮影した場合、ドンブリの淵に沿った円形の範囲となる。しかし、ドンブリを斜めの角度から撮影した場合、ドンブリの対応配置の一部はその角度によってドンブリの影になる。   The “corresponding arrangement” is a data item for recording dish arrangement data for predicting a position where a dish is arranged for each container. In the corresponding arrangement, a predetermined area is designated with respect to the shape of the container. For example, if the container is taken from an oblique angle, the corresponding arrangement is also inclined at that angle. For example, the corresponding arrangement of the donburi is a circular range along the donburi ridge when the donburi is photographed from directly above. However, if the image is taken from an oblique angle, a part of the corresponding arrangement of the donburi becomes a shadow of the donburi depending on the angle.

「対応料理」は、1つの食器等に対して設定される料理又は料理の種類(カテゴリ等)を示す食器対応データとカトラリ対応データを記録するデータ項目である。「対応料理」には、複数の料理の種類を記録することができる。また、1つの食器等の「対応料理」に記録された複数の料理の種類には優先順位を設定してもよい。また、食器やカトラリによって料理の推定が困難である場合、データ項目への記録を省略してもよい。なお、食器等とその食器等を使う料理との関係は、上述のように地域差等が大きいため、対応料理は地域等においてそれぞれ別のデータを用意するようにしてもよい。また、対応料理は複数の階層やタグにおいて分類分けされて登録されてもよい。例えば、「洋食」、「和食」、「ごはんもの」、「汁物」、「朝食」、「昼食」等の分類分けを対応料理に登録するようにしてもよい。   The “corresponding dish” is a data item for recording dish correspondence data and cutlery correspondence data indicating a dish or a kind of dish (category etc.) set for one tableware or the like. In the “corresponding dish”, a plurality of kinds of dishes can be recorded. In addition, a priority order may be set for a plurality of types of dishes recorded in “corresponding dishes” such as one tableware. In addition, when it is difficult to estimate a dish due to tableware or cutlery, recording in a data item may be omitted. In addition, since the relationship between dishes etc. and the dish which uses the dishes etc. has a large regional difference etc. as mentioned above, you may make it prepare corresponding data for each area | region etc. in a corresponding dish. Corresponding dishes may be classified and registered in a plurality of layers and tags. For example, classification such as “Western food”, “Japanese food”, “rice”, “soup”, “breakfast”, and “lunch” may be registered in the corresponding dish.

[料理データのデータ構成]
図4は、実施形態における情報処理装置10で利用される料理データの一例を示す図である。料理データは、例えば図1で説明した記憶部105に記憶される。
[Data structure of dish data]
FIG. 4 is a diagram illustrating an example of dish data used in the information processing apparatus 10 according to the embodiment. For example, the dish data is stored in the storage unit 105 described with reference to FIG.

図4において、料理データは、「料理」、「色特徴量」及び「形状特徴量」のデータ項目を有する。「料理」のデータ項目は、図3で説明した料理の種類に対して複数のデータを設定可能とする。例えば、料理の種類がAであった場合、上述のように同じ料理であっても調理方法等の違いによって特徴量が大きく異なる場合がある。料理データには、1つの料理の種類に対いて、複数の特徴量を記録することにより、撮影画像に含まれる料理の画像領域と近似した特徴量を有する料理データを予め用意することが可能となり、料理の画像領域の抽出精度を向上させることができる。なお、「料理」のデータ項目においても図3で説明した「対応料理」の分類分けを適用してもよい。   In FIG. 4, the dish data includes data items of “dish”, “color feature amount”, and “shape feature amount”. In the data item “cooking”, a plurality of data can be set for the type of cooking described in FIG. For example, when the type of dish is A, even if the dish is the same as described above, the feature amount may differ greatly depending on the cooking method or the like. In the dish data, by recording a plurality of feature amounts for one type of dish, it is possible to prepare in advance dish data having a feature amount approximate to the image area of the dish included in the photographed image. The extraction accuracy of the cooking image area can be improved. The classification of “corresponding dishes” described in FIG. 3 may also be applied to the data item “dishes”.

「色特徴量」は、料理の色に関する特徴量を記録するデータ項目であり、「形状特徴量」は、料理の形状に関する特徴量を記録するデータ項目である。料理を決定する際に「色特徴量」及び「形状特徴量」のいずれの特徴量をどのような優先順位又は組み合わせで使用するかは、例えば機械学習における学習結果に応じて設定してもよい。例えば、本実施形態において同じ料理(A1)に分類されるべき料理においても、調理方法のばらつき等によって特徴量に差異が生じる場合がある。これらの差異は同じレシピにおいて調理された複数の撮影画像について特徴を機械学習させることにより、差異を同じ料理として認識することが可能となり、料理の認識精度を向上させることが可能となる。   The “color feature value” is a data item that records a feature value related to the color of the dish, and the “shape feature value” is a data item that records a feature value related to the shape of the dish. Which priority value or combination of “color feature value” and “shape feature value” is used in determining a dish may be set according to the learning result in machine learning, for example. . For example, even in a dish that should be classified as the same dish (A1) in the present embodiment, there may be a difference in the feature amount due to variations in the cooking method. These differences can be recognized as the same dish by machine learning the characteristics of a plurality of captured images cooked in the same recipe, and the recognition accuracy of the dish can be improved.

[情報処理装置の動作]
図5は、実施形態における情報処理装置10の動作の一例を示すフローチャートである。また、図6は、実施形態における情報処理装置10の食器決定処理の一例を示すフローチャートである。
[Operation of information processing device]
FIG. 5 is a flowchart illustrating an example of the operation of the information processing apparatus 10 according to the embodiment. FIG. 6 is a flowchart illustrating an example of tableware determination processing of the information processing apparatus 10 according to the embodiment.

図5において、情報処理装置10は、画像を取得したか否かを判断する(ステップS11)。画像を取得したか否かは、例えば、画像取得部101がクライアント装置3から送信された料理の投稿画像を取得したか否かで判断することができる。画像を取得していないと判断した場合(ステップS11:NO)、情報処理装置10は、ステップS11の処理を繰返して、画像の取得を待機する。   In FIG. 5, the information processing apparatus 10 determines whether an image has been acquired (step S11). Whether or not an image has been acquired can be determined, for example, by whether or not the image acquisition unit 101 has acquired a posted image of a dish transmitted from the client device 3. When it is determined that an image has not been acquired (step S11: NO), the information processing apparatus 10 repeats the process of step S11 and waits for acquisition of an image.

一方、画像を取得したと判断した場合(ステップS11:YES)、情報処理装置10は、器具データを取得する(ステップS12)。器具データの取得は、例えば、検出部102が記憶部105等に記録された器具データを取得することにより実行することができる。なお、投稿されたレシピに使用した食器を決定するような決定情報(例えば、食器の品番等)が含まれる場合、決定情報に従い器具データを取得するようにしてもよい。   On the other hand, when it is determined that an image has been acquired (step S11: YES), the information processing apparatus 10 acquires instrument data (step S12). Acquisition of appliance data can be executed, for example, when the detection unit 102 acquires appliance data recorded in the storage unit 105 or the like. In addition, when the determination information (for example, the product number etc. of tableware) which determines the tableware used for the posted recipe is included, you may make it acquire instrument data according to determination information.

ステップS12の処理を実行した後、情報処理装置10は、食器決定処理を実行する(ステップS13)。食器決定処理の詳細を、図6を用いて説明する。   After performing the process of step S12, the information processing apparatus 10 performs a tableware determination process (step S13). Details of the tableware determination process will be described with reference to FIG.

図6において、情報処理装置10は、食器の形状特徴量を取得する(ステップS131)。食器の形状特徴量の取得は、例えば、検出部102が記憶部105等に記録された「形状特徴量」のデータ項目からデータを取得することにより実行することができる。   In FIG. 6, the information processing apparatus 10 acquires the shape feature quantity of tableware (step S131). The acquisition of the shape feature amount of the tableware can be executed, for example, when the detection unit 102 acquires data from the “shape feature amount” data item recorded in the storage unit 105 or the like.

ステップS131の処理を実行した後、情報処理装置10は、食器の模様特徴量を取得する(ステップS132)。食器の模様特徴量の取得は、例えば、検出部102が記憶部105に記録された「模様特徴量」のデータ項目からデータを取得することにより実行することができる。   After executing the process of step S131, the information processing apparatus 10 acquires the pattern feature amount of the tableware (step S132). The acquisition of the pattern feature amount of the tableware can be executed, for example, when the detection unit 102 acquires data from the “pattern feature amount” data item recorded in the storage unit 105.

ステップS132の処理を実行した後、情報処理装置10は、食器の色彩特徴量を取得する(ステップS133)。食器の色彩特徴量の取得は、例えば、検出部102が記憶部105等に記録された「色彩特徴量」のデータ項目からデータを取得することにより実行することができる。   After executing the process of step S132, the information processing apparatus 10 acquires the color feature amount of the tableware (step S133). The acquisition of the color feature value of the tableware can be executed, for example, when the detection unit 102 acquires data from the “color feature value” data item recorded in the storage unit 105 or the like.

ステップS133の処理を実行した後、情報処理装置10は、食器のテクスチャ特徴量を取得する(ステップS134)。食器のテクスチャ特徴量の取得は、例えば、検出部102が記憶部105等に記録された「テクスチャ特徴量」のデータ項目からデータを取得することにより実行することができる。   After executing the process of step S133, the information processing apparatus 10 acquires the texture feature amount of the tableware (step S134). The texture feature amount of the tableware can be acquired, for example, when the detection unit 102 acquires data from the “texture feature amount” data item recorded in the storage unit 105 or the like.

ステップS134の処理を実行した後、情報処理装置10は、食器のパターンマッチングを実行する(ステップS135)。食器のパターンマッチングは、例えば、検出部102が、取得した形状特徴量、模様特徴量、色彩特徴量又はテクスチャ特徴量の中から少なくとも1つのデータ項目について、ステップS11の処理で取得された画像とのマッチングをすることにより、画像の中に含まれる食器の画像領域を抽出し、さらにその食器を決定することにより実行することができる。形状又は模様のパターンマッチングは、例えば、取得した画像を微分処理して撮影された被写体の輪郭を強調し、その輪郭の形状が形状特徴量又は模様特徴量に近似しているか否かで実行することができる。形状のパターンマッチングをすることにより、撮影画像に含まれる食器等の画像領域を決定することができる。模様のパターンマッチングを形状のパターンマッチングにおいて抽出された食器の画像領域に対して実行することにより、模様のパターンマッチングの対象領域を小さくすることができるので処理の負荷を軽減することができる。   After executing the process of step S134, the information processing apparatus 10 performs pattern matching of tableware (step S135). For example, the pattern matching of tableware is performed by the detection unit 102 using the image acquired in the process of step S11 for at least one data item from the acquired shape feature amount, pattern feature amount, color feature amount, or texture feature amount. This matching can be executed by extracting the image area of the tableware included in the image and determining the tableware. The pattern matching of the shape or the pattern is executed, for example, by enhancing the contour of the subject photographed by differentiating the acquired image and determining whether the contour shape approximates the shape feature amount or the pattern feature amount. be able to. By performing pattern matching of shapes, it is possible to determine an image area such as tableware included in a captured image. By performing pattern pattern matching on the image area of tableware extracted in shape pattern matching, the target area for pattern pattern matching can be reduced, so that the processing load can be reduced.

色彩のパターンマッチングにおいては、取得された画像に含まれる画素の色情報が所定の範囲において色彩特徴量に近似しているか否かで判定することができる。なお、色彩のパターンマッチングにおいても形状のパターンマッチングにおいて抽出された食器の画像領域に対して実行することにより処理の負荷を軽減することができる。   In color pattern matching, determination can be made based on whether or not the color information of pixels included in the acquired image approximates the color feature amount within a predetermined range. Note that the processing load can be reduced by executing the color pattern matching on the image area of the tableware extracted in the shape pattern matching.

テクスチャのパターンマッチングは、取得された画像に含まれる反射光や表面の細かな凹凸によって生じる陰影がテクスチャ特徴量に近似しているか否かで判定することができる。なお、テクスチャのパターンマッチングにおいても形状のパターンマッチングにおいて抽出された食器の画像領域に対して実行することにより処理の負荷を軽減することができる。   Texture pattern matching can be determined based on whether or not the reflected light contained in the acquired image and the shadow caused by fine irregularities on the surface approximate the texture feature amount. Note that the processing load can be reduced by executing the texture pattern matching on the image area of the tableware extracted in the shape pattern matching.

ステップS135の処理を実行した後、情報処理装置10は、フローチャートで図示したステップS13の食器決定処理を終了する。なお、図6で示した食器決定処理は、ステップS131からステップS134において食器の形状特徴量、模様特徴量、色彩特徴量、テクスチャ特徴量を取得した後に、ステップS135のパターンマッチングを実行する場合を例示した。しかし、食器決定処理は、例えば、それぞれの特徴量に基づくパターンマッチングにより実行するようにしてもよい。   After executing the process of step S135, the information processing apparatus 10 ends the tableware determination process of step S13 illustrated in the flowchart. Note that the tableware determination process shown in FIG. 6 is performed when the pattern matching in step S135 is executed after the shape feature value, the pattern feature value, the color feature value, and the texture feature value of the tableware are acquired in steps S131 to S134. Illustrated. However, the tableware determination process may be executed by pattern matching based on each feature amount, for example.

また、図6で示した食器決定処理は、容器とカトラリを区別しないで同じアルゴリズムで決定する場合を例示した。しかし、食器決定処理は、例えば、容器の決定とカトラリの決定をそれぞれ異なるアルゴリズムで決定するようにしてもよい。例えば、撮影画像の中から容器を抽出するアルゴリズムとカトラリを抽出するアルゴリズムを平行して実行するようにしてもよい。   Moreover, the tableware determination process shown in FIG. 6 illustrated the case where it determines with the same algorithm, without distinguishing a container and cutlery. However, in the tableware determination process, for example, the determination of the container and the determination of the cutlery may be determined by different algorithms. For example, an algorithm for extracting a container from a captured image and an algorithm for extracting cutlery may be executed in parallel.

また、上述のように撮影された容器の形状は撮影された角度によって大きく異なるため、撮影角度による画像の倒れを補正するようにしてもよい。例えば、どんぶり等の淵は斜めから撮影すると楕円形に撮影されるが、これを円形であるものとして画像を補正してもよい。   In addition, since the shape of the container photographed as described above varies greatly depending on the photographed angle, the image tilt due to the photographing angle may be corrected. For example, a bowl such as a bowl is photographed in an oval shape when photographed from an oblique direction, but the image may be corrected by assuming that this is a circle.

再び、図5の説明に戻る。ステップS13の処理を実行した後、情報処理装置10は、ステップS13の処理において食器データの決定に成功したか否かを判断する(ステップS14)。食器データの決定に成功しなかったとは、食器(容器)の決定とカトラリの決定の両方において決定ができなかったことをいう。食器データの決定に成功していないと判断した場合(ステップS14:NO)、情報処理装置10は、フローチャートで示した動作を終了する。すなわち、図5においては、食器データの決定ができなかった場合、後述する料理の画像領域の抽出は実行しない場合を示している。これによって、料理の画像領域の誤検出を防止し、検出精度を向上させることができる。   Returning to the description of FIG. After executing the process of step S13, the information processing apparatus 10 determines whether the tableware data has been successfully determined in the process of step S13 (step S14). The failure to determine tableware data means that the tableware (container) and the cutlery cannot be determined. If it is determined that the determination of tableware data has not been successful (step S14: NO), the information processing apparatus 10 ends the operation shown in the flowchart. That is, FIG. 5 shows the case where the dish image area extraction described later is not executed when the tableware data cannot be determined. Thereby, erroneous detection of the image area of the dish can be prevented and detection accuracy can be improved.

一方、食器データの決定に成功したと判断した場合(ステップS14:YES)、情報処理装置10は、食器の決定ができたか否かを判断する(ステップS15)。食器の決定ができたと判断した場合(ステップS15:YES)、情報処理装置10は、食器についての対応データ(料理配置データ及び食器対応データ)を取得する(ステップS16)。対応データの取得は、例えば、検出部102が記憶部105等から対応データを取得することにより実行することができる。   On the other hand, if it is determined that tableware data has been successfully determined (step S14: YES), the information processing apparatus 10 determines whether tableware has been determined (step S15). When it is determined that the tableware has been determined (step S15: YES), the information processing apparatus 10 acquires correspondence data (dish arrangement data and tableware correspondence data) about the tableware (step S16). The acquisition of the correspondence data can be executed, for example, when the detection unit 102 acquires the correspondence data from the storage unit 105 or the like.

一方、食器の決定ができなかったと判断した場合(ステップS15:NO)、又はステップS16の処理を実行した後、情報処理装置10は、カトラリの決定ができたか否かを判断する(ステップS17)。カトラリの決定ができたと判断した場合(ステップS17:YES)、情報処理装置10は、カトラリについての対応データ(カトラリ対応データ)を取得する(ステップS18)。対応データの取得は、例えば、検出部102が記憶部105等から対応データを取得することにより実行することができる。   On the other hand, when it is determined that tableware could not be determined (step S15: NO), or after executing the process of step S16, the information processing apparatus 10 determines whether or not cutlery has been determined (step S17). . When it is determined that the cutlery has been determined (step S17: YES), the information processing apparatus 10 acquires correspondence data (cutlery correspondence data) about the cutlery (step S18). The acquisition of the correspondence data can be executed, for example, when the detection unit 102 acquires the correspondence data from the storage unit 105 or the like.

一方、カトラリの決定ができなかったと判断した場合(ステップS17:NO)、又はステップS18の処理を実行した後、情報処理装置10は、料理の種類を決定する(ステップS19)。ステップS19における料理の種類の決定とは、決定された食器についての対応料理と決定されたカトラリについての対応料理に基づき決定される。例えば、食器についての対応料理が「A,B、C」であり、カトラリについての対応料理が「A,B、C、D、E」である場合、検出部102は、共通した「A,B、C」を料理の種類として決定する。ここで、共通していない「D、E」については、画像領域を抽出する料理としての優先度を低くして決定するようにしてもよい。   On the other hand, when it is determined that the cutlery cannot be determined (step S17: NO), or after executing the process of step S18, the information processing apparatus 10 determines the type of dish (step S19). The determination of the type of dish in step S19 is determined based on the corresponding dish for the determined tableware and the corresponding dish for the determined cutlery. For example, when the corresponding dishes for the dishes are “A, B, C” and the corresponding dishes for the cutlery are “A, B, C, D, E”, the detection unit 102 uses the common “A, B”. , C "is determined as the type of dish. Here, “D, E” which is not common may be determined by lowering the priority as a dish from which the image area is extracted.

ステップS19の処理を実行した後、情報処理装置10は、ステップS19において決定された料理の特徴量を取得する(ステップS20)。料理の特徴量の取得は、例えば、画像抽出部103が、記憶部105等から料理データを取得することにより実行することができる。料理の特徴量は、図4で説明したように、料理に対して、色や形状等の料理の特徴を示す特徴量を設定したデータである。   After executing the process of step S19, the information processing apparatus 10 acquires the feature amount of the dish determined in step S19 (step S20). The acquisition of the feature amount of the dish can be executed, for example, when the image extraction unit 103 acquires the dish data from the storage unit 105 or the like. As described with reference to FIG. 4, the feature amount of the dish is data in which a feature amount indicating the feature of the dish such as color and shape is set for the dish.

ステップS20の処理を実行した後、情報処理装置10は、料理の画像領域を抽出する(ステップS21)。料理の画像領域の抽出は、例えば、画像抽出部103が、料理配置データに基づき、料理が配されていると予想する撮影画像上の領域について、料理データの特徴量とのパターンマッチングを実行し、特徴量が近似している連続している範囲を料理の画像領域として抽出することにより実行することができる。なお、料理の画像領域は、食器の画像領域と隣接しているため、対応配置における容器の特徴量に基づくパターンマッチングにおいてその境界を定めるようにしてもよい。   After executing the process of step S20, the information processing apparatus 10 extracts an image area of the dish (step S21). For example, the image extraction unit 103 performs pattern matching with the feature amount of the dish data for the region on the captured image where the dish is expected to be arranged based on the dish arrangement data. It can be executed by extracting a continuous range in which the feature amount is approximated as an image region of the dish. Since the dish image area is adjacent to the tableware image area, the boundary may be determined in pattern matching based on the feature amount of the container in the corresponding arrangement.

ステップS21において抽出される料理の画像領域は、1又は複数の領域が抽出される場合がある。例えば、料理が皿の上に点在するような盛り付けがされた場合、あるいは主菜と副菜を分けて盛り付けがされた場合等、料理は皿の上に複数の画像領域として抽出されることになる。なお、料理の画像領域は食器の料理配置データ(対応配置)で指定された範囲以外に存在する場合ある。例えば、料理が容器から飛び出すような盛り付けがされた場合である。画像抽出部103は、対応配置で指定された領域において料理の画像領域が閉じていないと判断した場合、料理の画像領域が閉じるまで撮影画像の中でパターンマッチングを実行し、料理の画像領域を抽出するようにしてもよい。   One or a plurality of areas may be extracted from the dish image area extracted in step S21. For example, when dishes are arranged so that they are scattered on a plate, or when main dishes and side dishes are arranged separately, dishes are extracted as multiple image areas on the plate. become. Note that the dish image area may exist outside the range specified by the dish arrangement data (corresponding arrangement) of tableware. For example, this is the case where the dishes are arranged so as to jump out of the container. If the image extraction unit 103 determines that the image area of the dish is not closed in the area specified by the corresponding arrangement, the image extraction unit 103 performs pattern matching in the captured image until the image area of the dish is closed. You may make it extract.

ステップS21の処理を実行した後、情報処理装置10は、料理領域を解析する(ステップS22)。料理領域の解析とは、抽出された料理の画像領域から得られる情報を解析する処理である。料理領域の解析は、例えば、料理解析部104が、抽出された領域の大きさを解析し、何人分の料理であるかの解析を行うことにより実行される。また、料理領域の解析は、料理の画像領域が複数抽出されたとき、抽出された領域の大きさ、位置、色彩等から主菜と付け合せを区分するものであってもよい。   After executing the process of step S21, the information processing apparatus 10 analyzes the cooking area (step S22). The analysis of the cooking area is a process of analyzing information obtained from the extracted cooking image area. For example, the cooking region analysis is performed by the cooking analysis unit 104 analyzing the size of the extracted region and analyzing how many people are cooking. In addition, the analysis of the cooking region may be performed by dividing the main dish and the garnish from the size, position, color, and the like of the extracted region when a plurality of cooking image regions are extracted.

ステップS22の処理を実行した後、情報処理装置10は、処理結果を出力し(ステップS23)、フローチャートに示した動作を終了する。出力する処理結果とは、例えばステップS21の処理において抽出された料理の画像領域、ステップS22の処理において解析された解析結果、ステップS19の処理において決定された料理の種類等である。また、処理結果の出力は、例えば、表示装置21に表示するための表示データとしての出力、サーバ4に対するデータ出力、又は図示しないプリンタへの印字出力等である。   After executing the processing of step S22, the information processing apparatus 10 outputs the processing result (step S23) and ends the operation shown in the flowchart. The processing results to be output are, for example, the dish image area extracted in the process of step S21, the analysis result analyzed in the process of step S22, the type of dish determined in the process of step S19, and the like. The output of the processing result is, for example, output as display data to be displayed on the display device 21, data output to the server 4, or print output to a printer (not shown).

なお、図5及び図6においては、1つの食器に対して、その食器に配された料理の画像領域を抽出する場合を示したが、例えば、テーブルの上に複数の食器が配置され、複数の品数が撮影された撮影画像については、それぞれの食器について、例示した処理をそれぞれ実行することにより、複数の容器に配されたそれぞれの料理の画像領域を抽出することが可能となる。   5 and 6 show the case where the image area of the dish arranged on the tableware is extracted for one tableware. For example, a plurality of tableware are arranged on the table, With respect to the photographed images in which the number of items is photographed, it is possible to extract the image regions of the dishes arranged in the plurality of containers by executing the exemplified processing for each tableware.

[料理の画像領域抽出の具体例]
図7は、実施形態における情報処理装置で実行された料理の画像領域抽出の第1の例を示す図である。
[Specific examples of cooking image area extraction]
FIG. 7 is a diagram illustrating a first example of extraction of a cooking image area performed by the information processing apparatus according to the embodiment.

図7において、図7(A)は、角皿1001とその対応配置1002を示している。角皿の器具データには、角皿の形状、模様、色彩及びテクスチャの特徴量がそれぞれ記憶されており、撮影画像に含まれる角皿を決定することが可能となる。対応配置1002は、角皿1001に料理が配される可能性が高い位置を示している。角皿は、和食において細長い料理が配される可能性が高く、対応配置1002は、皿の範囲を長手方向において超えて設定されている。   In FIG. 7, FIG. 7A shows a square dish 1001 and its corresponding arrangement 1002. In the square dish device data, the shape, pattern, color, and texture feature quantities of the square dish are stored, and the square dish included in the photographed image can be determined. Corresponding arrangement 1002 indicates a position where a dish is likely to be arranged on the square dish 1001. A square dish is highly likely to have a long and narrow dish in Japanese cuisine, and the corresponding arrangement 1002 is set beyond the range of the dish in the longitudinal direction.

図7(B)は、角皿1001にさんまの塩焼き1003が配されている撮影画像である。さんまの塩焼きの様な料理は、図示するように、長手方向に角皿から飛び出すように配される場合がある。本実施形態においては、単に容器の形状において対応配置を設定するのではなく、その容器が使われる料理を想定して対応配置を設定することができるので、料理の画像範囲の検出精度を向上させることが可能となる。   FIG. 7B is a photographed image in which a salt-fried salted mackerel 1003 is arranged on a square dish 1001. As shown in the figure, a dish such as Sanma's grilled salt may be arranged so as to jump out of the square plate in the longitudinal direction. In this embodiment, instead of simply setting the corresponding arrangement in the shape of the container, it is possible to set the corresponding arrangement assuming a dish in which the container is used, so that the detection accuracy of the image range of the dish is improved. It becomes possible.

図8は、実施形態における情報処理装置で実行された料理の画像領域抽出の第2の例を示す図である。   FIG. 8 is a diagram illustrating a second example of cooking image area extraction executed by the information processing apparatus according to the embodiment.

図8において、図8(A)は、和食丸皿1011とその対応配置1012を示している。和食丸皿1011の器具データには、丸皿の形状、模様、色彩及びテクスチャの特徴量がそれぞれ記憶されており、撮影画像に含まれる和食丸皿を決定することが可能となる。対応配置1012は、和食丸皿1011に料理が配される可能性が高い位置を示している。和食丸皿1011は、和食において皿の中心部に料理が配される可能性が高く、対応配置1012は、皿の外径の内部に円形に設定されている。   In FIG. 8, FIG. 8 (A) shows a Japanese food round dish 1011 and its corresponding arrangement 1012. The appliance data of the Japanese-style round plate 1011 stores the shape, pattern, color, and texture feature quantity of the round plate, respectively, and the Japanese round plate included in the photographed image can be determined. Corresponding arrangement 1012 indicates a position where a dish is likely to be arranged on Japanese dish 1011. The Japanese food round plate 1011 has a high possibility that dishes are arranged in the center of the plate in Japanese food, and the corresponding arrangement 1012 is set in a circle inside the outer diameter of the plate.

図8(B)は、和食丸皿1011に肉じゃが1013が配されている撮影画像である。肉じゃが1013は、図示するように、丸皿の中の1か所に偏ったりせずに、皿の上に均等に配置されている。抽出された料理の画像範囲において、例えば、和食丸皿1011の大きさに対する肉じゃが1013の面積を解析することにより、何人分の料理であるかを解析することができる。   FIG. 8B is a photographed image in which meat potatoes 1013 are arranged on a Japanese dish 1011. As shown in the drawing, the meat potatoes 1013 are evenly arranged on the plate without being biased to one place in the round plate. In the extracted image range of the dish, for example, by analyzing the area of the meat potato 1013 with respect to the size of the Japanese dish 1011, it is possible to analyze the number of dishes.

図8(C)は、洋食丸皿1014にオムライス1015が配されている撮影画像である。ここで、洋食丸皿1014は和食丸皿1011と形状と模様(無地)において特徴量が近似する。しかし、和食丸皿1011と洋食丸皿1014では、色彩とテクスチャの特徴量が大きく異なる。例えば、和食丸皿1011は、和食器独特の色彩とざらざらしたテクスチャを有している。一方、洋食丸皿1014は、白く光沢がありつるつるしたテクスチャを有している。本実施形態においては、形状のみならず、模様、色彩及びテクスチャの特徴量に基づき食器を決定しているので、和食丸皿1011と洋食丸皿1014を用途(配される料理)が異なる食器として器具データで定義しておくことが可能となる。洋食丸皿1014にオムライス1015等の洋食が配される高いため、対応料理に洋食を予め設定しておくことにより、料理がオムライスであることを決定しやすくなる。   FIG. 8C is a photographed image in which the omelet rice 1015 is arranged on the western dish 1014. Here, the feature amount of the Western dish 1014 is similar to that of the Japanese dish 1011 in shape and pattern (solid color). However, the Japanese round plate 1011 and the western round plate 1014 are greatly different in color and texture features. For example, the Japanese food round plate 1011 has a color unique to Japanese tableware and a rough texture. On the other hand, the western dish 1014 has a white, glossy and smooth texture. In the present embodiment, tableware is determined based not only on the shape but also on the features of the pattern, color, and texture, so the Japanese round plate 1011 and the western round plate 1014 are used as different types of dishes (dishes arranged). It is possible to define it with instrument data. Since western dishes such as omelet rice 1015 are arranged on the western dish 1014, it is easy to determine that the dish is omelet rice by setting the Western meal in advance for the corresponding dish.

以上説明したように、本実施形態における情報処理システムは、料理を配する器具の外観を示す器具データと、器具と料理との対応を示す食器対応データを記憶する記憶部と、 画像を取得する画像取得部と、取得された画像から器具データが示す外観と同一或いは類似する器具を検出する検出部と、検出された器具の食器対応データに対応付けられた料理を決定し、決定した料理の画像領域を画像から抽出する画像抽出部とを備える。この構成によって、画像に含まれる料理部分を精度よく検出することができる。   As described above, the information processing system according to the present embodiment acquires appliance data indicating the appearance of appliances that serve dishes, storage unit that stores tableware correspondence data indicating correspondence between appliances and dishes, and acquires images. An image acquisition unit, a detection unit that detects an appliance that is the same or similar to the appearance indicated by the appliance data from the acquired image, and a dish that is associated with the tableware correspondence data of the detected appliance is determined, and the determined dish An image extraction unit that extracts an image region from the image. With this configuration, the cooking portion included in the image can be accurately detected.

また、本実施形態における情報処理方法は、料理を配する器具の外観を示す器具データと、器具と料理との対応を示す食器対応データを記憶する記憶ステップと、画像を取得する画像取得ステップと、取得された画像から器具データが示す外観と同一或いは類似する器具を検出する検出ステップと、検出された器具の食器対応データに対応付けられた料理を決定し、決定した料理の画像領域を画像から抽出する画像抽出ステップとを含む。この構成によって、画像に含まれる料理部分を精度よく検出することができる。   The information processing method according to the present embodiment includes a storage step of storing appliance data indicating the appearance of an appliance that distributes dishes, tableware correspondence data indicating correspondence between the appliances and dishes, and an image acquisition step of acquiring an image. A detection step of detecting an appliance that is the same as or similar to the appearance indicated by the appliance data from the acquired image, a dish associated with the tableware correspondence data of the detected appliance is determined, and an image area of the determined dish is imaged And an image extracting step for extracting from the image. With this configuration, the cooking portion included in the image can be accurately detected.

なお、本実施形態で説明した、情報処理方法における各ステップ、若しくは情報処理プログラム及びそれを記憶した記録媒体における各処理は、実行順序を限定するものではない。例えば、上記ステップの実行順序は任意の順序で実行されるものであってもよい。   In addition, each step in the information processing method described in the present embodiment, or each process in the information processing program and the recording medium storing it, does not limit the execution order. For example, the execution order of the above steps may be executed in an arbitrary order.

なお、上述の情報処理装置10の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報処理装置10としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。   The information processing apparatus is recorded by recording a program for realizing the functions of the information processing apparatus 10 on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium. 10 may be performed. Here, “loading and executing a program recorded on a recording medium into a computer system” includes installing the program in the computer system. The “computer system” here includes an OS and hardware such as peripheral devices. Further, the “computer system” may include a plurality of computer devices connected via a network including a communication line such as the Internet, WAN, LAN, and dedicated line.

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。   The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. As described above, the recording medium storing the program may be a non-transitory recording medium such as a CD-ROM. The recording medium also includes a recording medium provided inside or outside that is accessible from the distribution server in order to distribute the program. The code of the program stored in the recording medium of the distribution server may be different from the code of the program that can be executed by the terminal device. That is, the format stored in the distribution server is not limited as long as it can be downloaded from the distribution server and installed in a form that can be executed by the terminal device. Note that the program may be divided into a plurality of parts, downloaded at different timings, and combined in the terminal device, or the distribution server that distributes each of the divided programs may be different. Furthermore, the “computer-readable recording medium” holds a program for a certain period of time, such as a volatile memory (RAM) inside a computer system that becomes a server or a client when the program is transmitted via a network. Including things. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

また、上述した実施形態における情報処理装置10の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。情報処理装置10の各機能部は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。   Further, a part or all of the information processing apparatus 10 in the above-described embodiment may be realized as an integrated circuit such as an LSI (Large Scale Integration). Each functional unit of the information processing apparatus 10 may be individually made into a processor, or a part or all of them may be integrated into a processor. Further, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. In addition, when an integrated circuit technology that replaces LSI appears due to the advancement of semiconductor technology, an integrated circuit based on the technology may be used.

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。また、本発明の一態様は、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。また、上記各実施形態や変形例に記載された要素であり、同様の効果を奏する要素同士を置換した構成も含まれる。   As described above, the embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above, and various design changes and the like can be made without departing from the scope of the present invention. It is possible to In addition, one aspect of the present invention can be modified in various ways within the scope of the claims, and the technical aspects of the present invention also relate to embodiments obtained by appropriately combining technical means disclosed in different embodiments. Included in the range. Moreover, it is the element described in said each embodiment and modification, and the structure which substituted the element which has the same effect is also contained.

1…情報処理システム、10…情報処理装置、11…CPU、12…RAM、13…ROM、14…HDD、15…表示制御部、16…入力制御部、17…通信I/F、101…画像取得部、102…検出部、103…画像抽出部、104…料理解析部、105…記憶部   DESCRIPTION OF SYMBOLS 1 ... Information processing system, 10 ... Information processing apparatus, 11 ... CPU, 12 ... RAM, 13 ... ROM, 14 ... HDD, 15 ... Display control part, 16 ... Input control part, 17 ... Communication I / F, 101 ... Image Acquisition unit, 102 ... detection unit, 103 ... image extraction unit, 104 ... dish analysis unit, 105 ... storage unit

Claims (8)

料理を配する器具の外観を示す器具データと、前記器具と前記料理との対応を示す食器対応データを記憶する記憶部と、
画像を取得する画像取得部と、
取得された前記画像から前記器具データが示す外観と同一或いは類似する器具を検出する検出部と、
検出された前記器具の前記食器対応データに対応付けられた前記料理を決定し、決定した前記料理の画像領域を前記画像から抽出する画像抽出部と
を備える、情報処理システム。
A storage unit that stores appliance data indicating the appearance of an appliance that distributes dishes, and tableware correspondence data that indicates correspondence between the appliances and the dishes;
An image acquisition unit for acquiring images;
A detection unit for detecting an instrument that is the same as or similar to the appearance indicated by the instrument data from the acquired image;
An information processing system comprising: an image extraction unit that determines the dish associated with the tableware correspondence data of the detected appliance and extracts an image area of the determined dish from the image.
前記記憶部は、前記料理が前記器具に配されたときの前記器具の外観と前記料理の配置との対応を示す料理配置データをさらに記憶し、
前記画像抽出部は、検出された前記器具の前記料理配置データに対応付けられた前記料理の配置に基づき前記画像領域を抽出する、請求項1に記載の情報処理システム。
The storage unit further stores dish arrangement data indicating the correspondence between the appearance of the utensil when the dish is arranged on the utensil and the arrangement of the dish,
The information processing system according to claim 1, wherein the image extraction unit extracts the image area based on the dish arrangement associated with the dish arrangement data of the detected appliance.
前記記憶部は、カトラリの外観を示すカトラリデータと、前記カトラリと前記料理との対応を示すカトラリ対応データをさらに記憶し、
前記検出部は、取得された前記画像から前記カトラリデータが示す外観と同一或いは類似するカトラリをさらに検出し、
前記画像抽出部は、検出された前記カトラリの前記カトラリ対応データに対応付けられた前記料理をさらに決定し、前記画像領域を抽出する、請求項1又は2に記載の情報処理システム。
The storage unit further stores cutlery data indicating the appearance of cutlery, and cutlery correspondence data indicating correspondence between the cutlery and the dish,
The detection unit further detects a cutlery that is the same as or similar to the appearance indicated by the cutlery data from the acquired image,
The information processing system according to claim 1, wherein the image extraction unit further determines the dish associated with the cutlery correspondence data of the detected cutlery and extracts the image region.
前記記憶部は、前記器具データとして、前記器具の表面のテクスチャを示すテクスチャデータを記憶し、
前記検出部は、記憶された前記テクスチャデータに基づき前記器具を検出する、請求項1から3のいずれか一項に記載の情報処理システム。
The storage unit stores texture data indicating the texture of the surface of the instrument as the instrument data,
The information processing system according to any one of claims 1 to 3, wherein the detection unit detects the appliance based on the stored texture data.
前記記憶部は、前記料理の撮影画像の特徴量を示す特徴量データをさらに記憶し、
前記画像抽出部は、記憶された前記特徴量に基づき、前記画像領域を抽出する、請求項1から4のいずれか一項に記載の情報処理システム。
The storage unit further stores feature amount data indicating a feature amount of a captured image of the dish,
The information processing system according to any one of claims 1 to 4, wherein the image extraction unit extracts the image region based on the stored feature amount.
料理を配する器具の外観を示す器具データと、前記器具と前記料理との対応を示す食器対応データと、画像とを取得する取得部と、
取得された前記画像から前記器具データが示す外観と同一或いは類似する器具を検出する検出部と、
検出された前記器具の前記食器対応データに対応付けられた前記料理を決定し、決定した前記料理の画像領域を前記画像から抽出する画像抽出部と
を備える、情報処理システム。
An acquisition unit that acquires appliance data indicating the appearance of an appliance that distributes dishes, tableware correspondence data indicating correspondence between the appliances and the dishes, and an image;
A detection unit for detecting an instrument that is the same as or similar to the appearance indicated by the instrument data from the acquired image;
An information processing system comprising: an image extraction unit that determines the dish associated with the tableware correspondence data of the detected appliance and extracts an image area of the determined dish from the image.
料理を配する器具の外観を示す器具データと、前記器具と前記料理との対応を示す食器対応データを記憶する記憶ステップと、
画像を取得する画像取得ステップと、
取得された前記画像から前記器具データが示す外観と同一或いは類似する器具を検出する検出ステップと、
検出された前記器具の前記食器対応データに対応付けられた前記料理を決定し、決定した前記料理の画像領域を前記画像から抽出する画像抽出ステップと
を含む、情報処理方法。
A storage step of storing appliance data indicating the appearance of the appliance to which the dish is arranged, and tableware correspondence data indicating correspondence between the appliance and the dish;
An image acquisition step of acquiring an image;
A detection step of detecting an instrument that is the same as or similar to the appearance indicated by the instrument data from the acquired image;
An information extraction method comprising: an image extraction step of determining the dish associated with the tableware correspondence data of the detected appliance and extracting an image area of the determined dish from the image.
料理を配する器具の外観を示す器具データと、前記器具と前記料理との対応を示す食器対応データを記憶する記憶処理と、
画像を取得する画像取得処理と、
取得された前記画像から前記器具データが示す外観と同一或いは類似する器具を検出する検出処理と、
検出された前記器具の前記食器対応データに対応付けられた前記料理を決定し、決定した前記料理の画像領域を前記画像から抽出する画像抽出処理と
をコンピュータに実行させる、情報処理プログラム。
A storage process for storing appliance data indicating the appearance of an appliance that distributes dishes, and tableware correspondence data indicating correspondence between the appliances and the dishes;
Image acquisition processing for acquiring images;
A detection process for detecting an instrument that is the same as or similar to the appearance indicated by the instrument data from the acquired image;
An information processing program for causing the computer to execute an image extraction process for determining the dish associated with the tableware correspondence data of the detected appliance and extracting an image area of the determined dish from the image.
JP2018041240A 2018-03-07 2018-03-07 Information processing system, information processing method and information processing program Pending JP2019023850A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018041240A JP2019023850A (en) 2018-03-07 2018-03-07 Information processing system, information processing method and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018041240A JP2019023850A (en) 2018-03-07 2018-03-07 Information processing system, information processing method and information processing program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017142817A Division JP6306785B1 (en) 2017-07-24 2017-07-24 Information processing system, information processing method, and information processing program

Publications (1)

Publication Number Publication Date
JP2019023850A true JP2019023850A (en) 2019-02-14

Family

ID=65368930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018041240A Pending JP2019023850A (en) 2018-03-07 2018-03-07 Information processing system, information processing method and information processing program

Country Status (1)

Country Link
JP (1) JP2019023850A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161295A (en) * 2019-12-30 2020-05-15 神思电子技术股份有限公司 Background stripping method for dish image
JP7557194B2 (en) 2020-08-31 2024-09-27 株式会社ブレイン Food Identification Systems and Programs

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161295A (en) * 2019-12-30 2020-05-15 神思电子技术股份有限公司 Background stripping method for dish image
CN111161295B (en) * 2019-12-30 2023-11-21 神思电子技术股份有限公司 Dish image background stripping method
JP7557194B2 (en) 2020-08-31 2024-09-27 株式会社ブレイン Food Identification Systems and Programs

Similar Documents

Publication Publication Date Title
KR102329592B1 (en) Food preparation methods and systems based on ingredient recognition
CN113194792B (en) System and method for training cooking utensil, positioning food and determining cooking progress
US11117253B2 (en) Methods and systems for food preparation in a robotic cooking kitchen
CN104730931B (en) A kind of generation method of cuisines interactive system and cuisines recipe
US20130149679A1 (en) System and methods for virtual cooking with recipe optimization
US11823042B2 (en) System for measuring food weight
US20130149676A1 (en) System and methods for virtual cooking with recipe matching
CN110179319A (en) A kind of method and device of intelligent cooking
JP6306785B1 (en) Information processing system, information processing method, and information processing program
Cappellini et al. Constructing the culinary consumer: transformative and reflective processes in Italian cookbooks
JP2019023850A (en) Information processing system, information processing method and information processing program
CN112394149B (en) Food material maturity detection prompting method and device and kitchen electric equipment
CN111414396A (en) Dish pushing method and device, storage medium and cooking equipment
JP2018147415A (en) Meal identification system and program therefor
Donnelly Cooking, cooking pots, and cultural transformation in imperial and late antique Italy
Tachibana et al. Extraction of naming concepts based on modifiers in recipe titles
JP2017167665A (en) Provision program, provision method and provision device
JP6429344B1 (en) Information processing system, information processing method, and information processing program
Raisfeld et al. The Other Mediterranean Diet: Hearty Albanian comfort food and celebrity sightings in the East Village.
Chan Chinese Cookery Secrets
Fabricant A Meaty American Menu on the Upper West Side
Dua et al. Sindhi Cuisine: A Study Of Evolution And Eating Habits
Sanip Authenticity is at heart of elusive recipe for success
CN114282091A (en) Food material management method, device, equipment and storage medium
Galkina et al. Culinary measurements in English recipes from the 14th century to the present-day