JP2017211691A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】 撮影画像に写っている撮影対象のサイズを簡易な方法で推定することのできる撮影対象サイズ推定方法を提供する。【解決手段】 画像処理装置1は、対象物特定部12により料理画像に写っている撮影対象を全て切り分ける。切り分けられた対象物はサイズ既知演算部13の既知/未知判定部131により、サイズ既知とサイズ未知を判定する。サイズ既知の対象物だった場合、画像内サイズ測定部132により画像内のサイズを測定し、撮影角度推定部により撮影角度の推定を行い、サイズ既知対象物の画像内におけるサイズをもとに未知対象物に対する基準値を算出する。未知サイズ推定部15はサイズ未知の対象物の画面内サイズを測定し、高さの判定を行い、サイズ既知演算部から受け取った基準値をもとにサイズ/容積の推定を行う。すべての対象物のサイズ/容積は記憶部16により全対象物サイズ・容積データ17に格納される。【選択図】図１

Description

本発明は、複数の料理や食器が撮影された料理画像から、料理の量を検出する画像処理装置、画像処理方法、画像処理プログラムに関するものである。

従来料理の量を料理画像から算出する手段は提供されていないため、料理画像に付加するテキストデータとして与える。

撮影画像に写っている人などの撮影対象のサイズを推定するための技術として、特許文
献１および特許文献２が開示されている。特許文献１の技術は、人の所定部位、例えば、
顔の大きさから身長を推定するものである。また特許文献２の技術は、床面上を移動する
通行者の身長を高精度に測定するものである。
また、特許文献３では撮影画像内において算出対象画素が占める画素数の代表値により、撮影対象の実空間上での算出対象サイズの代表値を除して、撮影画像内の１画素の実空間上におけるサイズの代表値を算出し、その値に、撮影対象の算出対象画素が撮影画像内において占める画素数を乗じることにより、撮影画像内に写っている撮影対象における算出対象サイズの実空間上のサイズを算出する。

特開２００９−８８７０９号公報 特開２００７−７８３５５号公報 特開２０１２−５７９７４号公報

しかしながら、特許文献１〜３の技術では、撮影時の人のサイズ等についての算出であり、大きさについては判断可能であるが、料理ごとの量といった立体的な観点のサイズ・容積算出は行っていない。

本発明は、静的に得られた料理画像から対象物を全て切り出し、それぞれの料理の量を算出することを目的としている。

上記目的を達成するために、本発明の第1の態様は、複数の料理および複数の食器の領域を構成する画像の特徴量を抽出する第1のステップと、特徴量が有する情報に基づいて、前記画像内の全ての対象物を検出する第2のステップと、第2のステップで切り出された全ての対象物がサイズ既知かサイズ未知かを検出する第3のステップと、第3のステップでサイズ既知の場合の画像内のサイズを測定する第4のステップと、第3のステップでサイズ既知の場合の対象物の撮影角度を検出する第5のステップと、第3〜5のステップで測定検出したサイズ既知の対象物の画像内サイズと、サイズ既知対象物のあらかじめ計測してデータベース化したサイズ・容積データをもとに、画面内基準値を算出する第6のステップと、第1〜2のステップでサイズ未知として検出された対象物の画像内サイズを測定する第7のステップと、第1〜2のステップでサイズ未知として検出された対象物の高さを測定し算出する第8のステップと、第6のステップで得られた画像内基準値と、前記第7〜8ステップで得られたサイズ未知の対象物の画面内サイズを組み合わせ、サイズ/容積を推定する第9のステップと、第1〜9ステップで得られた全対象物のサイズ・容積をデータベースに格納する第10のステップと、を備えることを特徴とする画像処理装置である。

コンピュータシステムを用いて、複数の料理および複数の食器の領域を構成する料理画像の特徴量を抽出し、特徴量が有する情報に基づいて、前記画像内の全ての対象物を畳み込みニューラルネットワークによって検出し、切り出し、学習されることを特徴とする、画像処理装置である。

全て切り分けられた対象物のサイズ既知・サイズ未知を分類することと、その判断のためにサイズ既知対象物があらかじめデータベース化されていることを特徴とする、画像処理装置である。

サイズ既知の対象物の画像内における長さ・幅などのサイズを画素数から計測することを特徴とする、画像処理装置である。

サイズ既知の対象物を立体的に撮影可能な角度をあらかじめ学習する畳み込みニューラルネットワークを有し、画像内における傾きから、画像の撮影角度を推定する、画像処理装置である。

サイズ既知の対象物の画像内におけるサイズと傾きから、当該画像における基準値を算出する、画像処理装置である。

サイズ既知の対象物により与えられた基準値を用い、サイズ未知の対象物のサイズ・容積を推定する、画像処理装置である。

全ての対象物のサイズ・容積をデータベースとして保存し、畳み込みニューラルネットワークに再学習させる、画像処理装置である。

本発明の第2の態様は、コンピュータを第1の態様に記載の画像処理装置として動作させるための装置である。

本発明の第3の態様は、第1の態様に記載の画像処理装置を用いた料理サイズ検出方法である。

本発明の請求項１によれば、料理写真から各々の料理の量を推定できる画像処理装置を提供することができる。

本実施形態に係る画像処理装置の概略を示すブロック図である。 図1の処理の流れを示すフロー図である。 図１の対象物特定部12の詳細を示すブロック図である。 図１の既知対象物サイズ・容積データのレコード図である。 画像処理装置を用いた料理の量の推定方法を説明する図である。

以下、本発明の実施の形態を図面を参照して詳細に説明する。

図１は、本発明の一実施の形態を示すシステム構成図である。

図１は、制御部10、画像取込部11、対象物特定部12、サイズ既知演算部13、既知対象物サイズ・容積データ14、未知サイズ推定部15、記憶部16、全対象物サイズ・容積データ17を有している。

図１に示す画像処理装置は、画像取込部11に送られる料理画像を受信すると、制御部10は対象物特定部12に料理画像データを送り、対象物特定部11は料理画像に含まれる食器、料理の対象物、そのいずれにも属さない料理以外の非対象物に分類し、制御部10に制御を戻す。

制御部10は、対象物を1件ずつサイズ既知演算部13に送り、サイズ既知演算部13は既知/未知判定部131にてサイズ既知、サイズ未知に分類し、サイズ既知の対象物については画面内サイズ測定部132で画面内におけるサイズ測定を画素数から実施し、撮影角度推定部133はサイズ測定結果と既知対象物サイズ・容積データ14との比較で撮影角度の推定を行い、基準値算出部134において画像内でサイズを推定するための基準値を算出する。

サイズ既知演算部は当該料理画像内に判定対象物が無くなるまで呼び出されるため、基準値算出部134は、複数のサイズ既知対象物が存在する場合、対象物特定部12で検出されるの対象物の位置情報、画像内サイズ測定部132が測定する対象物のサイズ、撮影角度推定値133が推定する撮影角度を用い、複数の基準値の比較を行い、基準値を補正する。

制御部10は、サイズ既知演算部13の既知/未知判定部でサイズ未知と判定された対象物を未知サイズ推定部15に1件ずつ送る。

未知サイズ推定部15は、画像内サイズ推定部151で画像内における対象物のサイズ測定を画素数から実施、高さ判定部152で基準値として渡される撮影角度と対象物のサイズから料理の高さを判定し、サイズ/容積推定部153で、基準値算出部134で算出した基準値と、画面内サイズ測定部151で測定した当該対象物の画面内サイズと、を用いサイズと容積を推定する。

制御部10は、当該料理写真内の対象物のサイズ・容積データを、記憶部16に送り、記憶部16は、全対象物サイズ・容積データ17に記録する。

図２は、図１の画像処理装置のフローである。

料理画像受信S0をきっかけに動作し、対象物特定のS1が実行され、料理画像に含まれる食器、料理の対象物、そのいずれにも属さない料理以外の非対象物に分類する。

サイズ既知S2判定で、サイズ既知対象物かサイズ未知対象物かを判定し、サイズ既知の場合、サイズ既知画像内サイズ測定S4、撮影角度推定S5、基準値算出S6、当該料理写真内に複数のサイズ既知対象物が存在するかの判定を行い、複数のサイズ既知対象物が存在する場合、基準値補正S8は、複数の基準値を用い、基準値の補正を行う。

既知未知判定対象物残S3は、当該料理写真内にサイズ既知サイズ未知判定対象物が、残り0かを判定し、残りがある場合は、サイズ既知S2判定から基準値補正S8までを実施する。

当該料理写真内のサイズ既知サイズ未知判定対象物が残り0と既知未知判定対象物残S3が判定したら、サイズ未知画像内サイズ測定S9、サイズ未知高さ判定S10、サイズ・容積推定S11、サイズ・容積記録S12を実施する。

未知対象物残S13判定は、当該料理写真内にサイズ未知のサイズ・容積推定未実行が残り0になるまで、サイズ未知画像内サイズ測定S9、サイズ未知高さ判定S10、サイズ・容積推定S11、サイズ・容積記録S12を繰り返す。

図３は、対象物特定部12を示すブロック図であり、画像メモリ121、画像データ切り出し部122、位置情報算出部123、学習部123から構成される。

画像データ切り出し部122と、位置情報算出部123は、料理画像に含まれる食器、料理の対象物、そのいずれにも属さない料理以外の非対象物に分類し、その結果を内部記憶S14に記録する。

制御部10、対象物特定部12、サイズ既知演算部13、未知サイズ推定部15は、内部記憶S14にて対象物データをやりとりする。

図４は既知対象物サイズ・容積データのレコード図である。

既知サイズレコードS15は、カテゴリコードS151、対象物コードS152、長さS153、高さS154、奥行S155、標準容量S156、情報m S257から構成される。

カテゴリコードS151は、対象物が、食器類などの非料理、規格が決まっていて外形からサイズが判断できる食品パッケージ、チェーン店などで提供される料理で、外形から規格化されているサイズが判断できる食品などを分類するものである。

対象物コードS152は、対象物に対して一意に割り振られたコードである。

既知サイズレコードS15の長さS153、高さS154、奥行S155、標準容量S156などは、カテゴリコードにより使用する項目が決定され、未使用項目の値は0である。

既知サイズレコードS15の情報m S157は、サイズ・容積を推定するために使用する、何らかの数値を格納するためのデータ項目を示す。

既知サイズ名称レコードS16は、対象物コードS161、対象物名S162から構成される。

既知サイズ名称レコードS16は、画像処理装置1内で全ての対象物が対象物コードS161で処理されるのに対し、画像処理装置外に料理の量として引き渡す際に付加するための情報である。

図5は、画像処理装置を用いた、料理の量の推定方法を説明する図である。

サイズ既知：箸S17の例では、料理、食器の中で、箸がサイズ既知対象物として使用できる例である。

サイズ既知：牛乳パックS18の例では、料理、食器の中で、牛乳パックがサイズ既知対象物として使用できる例である。

サイズ既知：ナイフ・フォークS19の例では、ナイフ・フォークがサイズ既知対象物として使用できる例である。

サイズ既知対象物の撮影された角度から、撮影角度推定部133が当該料理写真全体の撮影角度を推定する。

サイズ既知：箸S17の位置情報取得S171は、対象物特定部12の位置情報算出部123によって実施され、その位置情報は、未知サイズ推定部15の高さ判定部152、サイズ/容積推定部153で使用され、料理画像内における位置の違いによる撮影ポイントから料理までの距離として、サイズ/容積推定の補正項目となる。

１０ 制御部
１１ 画像取込部
１２ 対象物特定部
１３ サイズ既知演算部
１４ 既知対象物サイズ・容積データ
１５ 未知サイズ推定部
１６ 記憶部
１７ 全対象物サイズ・容積データ

Claims (12)

1. 複数の料理が1画像内に存在する料理画像から、料理の量を推定する画像処理システムであって、
   複数の料理および複数の食器の領域を構成する画像の特徴量を抽出する第1のステップと、
   前記特徴量が有する情報に基づいて、前記画像内の全ての対象物を検出する第2のステップと、
   前記第2のステップで切り出された全ての対象物がサイズ既知かサイズ未知かを検出する第3のステップと、
   前記第3のステップでサイズ既知の場合の画像内のサイズを測定する第4のステップと、
   前記第3のステップでサイズ既知の場合の対象物の撮影角度を検出する第5のステップと、
   前記第4のステップで測定検出したサイズ既知の対象物の画像内サイズと、サイズ既知対象物のあらかじめ計測してデータベース化したサイズ・容積データをもとに、画面内基準値を算出する第6のステップと、
   前記第3のステップでサイズ未知として検出された対象物の画像内サイズを測定する第7のステップと、
   前記第3のステップでサイズ未知として検出された対象物の高さを測定し算出する第8のステップと、
   前記第6のステップで得られた画像内基準値と、前記第7ステップで得られたサイズ未知の対象物の画面内サイズを組み合わせ、サイズ/容積を推定する第9のステップと、
   前記第1〜9ステップで得られた全対象物のサイズ・容積をデータベースに格納する第10のステップと、
   を備えることを特徴とする画像処理装置。
2. コンピュータシステムを用いて、複数の料理および複数の食器の領域を構成する料理画像の特徴量を抽出し、特徴量が有する情報に基づいて、前記画像内の全ての対象物を畳み込みニューラルネットワークによって検出し、切り出され、分類され、学習されることを特徴とする、請求項1に記載の画像処理装置。
3. 全て切り出された対象物のサイズ既知・サイズ未知を分類することと、サイズ既知対象物があらかじめデータベース化されていることを特徴とする、請求項1に記載の画像処理装置。
4. サイズ既知の対象物の画像内における長さ・幅などのサイズを画素数から計測することを特徴とする、請求項1に記載の画像処理装置。
5. サイズ既知の対象物を立体的に撮影可能な角度をあらかじめ学習する畳み込みニューラルネットワークを有し、画像内における傾きから、画像の撮影角度を推定する、請求項1に記載の画像処理装置。
6. サイズ既知の対象物の画像内におけるサイズと傾きから、当該画像における基準値を算出する、請求項1に記載の画像処理装置。
7. サイズ既知の対象物が複数存在する場合、推定した画像の撮影角度と画像内の場所から、基準値の合成を行い、当該画像における基準値の精度を向上させる仕組みを持つ、請求項1に記載の画像処理装置。
8. サイズ未知の対象物の画像内における長さ・幅などのサイズを画素数から計測することを特徴とする、請求項1に記載の画像処理装置。
9. サイズ既知の対象物の画像内におけるサイズと傾きから推定した撮影角度をもとに、サイズ未知の対象物の高さを算出する、請求項1に記載の画像処理装置。
10. サイズ未知の対象物の画像内におけるサイズと高さと、サイズ既知の対象物によって得られた当該画像のサイズ・容積を算出することを特徴とする、請求項1に記載の画像処理装置。
11. 料理画像に含まれる全ての対象物のサイズ・容積をデータベースに記録する、請求項1に記載の画像処理装置。
12. 料理画像に含まれる全ての対象物のサイズ・容積をデータベースに記録することで畳み込みニューラルネットワークに再学習させる、請求項1に記載の画像処理装置。

Images