JP2008217702A - 撮影装置および撮影方法 - Google Patents

Abstract

【課題】ユーザによる栄養管理を容易かつ身近なものにするべく、即座に食事の栄養分（カロリー、塩分、糖分、カルシウムなど）の特定を行い、摂取栄養分の自己管理を可能にする。
【解決手段】食物抽出／認識部１４０は、食物辞書を参照し、食物辞書に登録されている食物の種類ごとの色、輝度、表面形状、質感、全体形状（コントラストの高い境界で囲まれた部分）といった特徴データと、スルー画像から抽出された食物の特徴データとを比較照合して、食物の種類を認識する。食物抽出／認識部１４０は、食物辞書から、認識した食物の種類に対応するカロリーを抽出する。これを認識した食物の種類ごとに繰り返し、抽出した各食物のカロリーを総計し、これを総カロリーとする。
【選択図】 図１

Description

本発明は、撮影装置を用いた食品の含有成分の表示・記録・管理に関する。

特許文献１によると、近赤外線照射下でその吸収率を測定することでカロリーを算出する技術を用いて、携帯端末にて食事の総カロリーを算出し、サーバーにデータベース化する。

特許文献２によると、携帯端末で撮影した画像を、媒体経由またはデータ送信で栄養測定処理機に送り、解析後のデータをメディアに記録または携帯端末に返信する。

特許文献３によると、食事前と食事後の差分の画像を比較して、食物部分の変化量を面積で求め、予め作成した食事データベースに照らし合わせて摂取カロリーを算出する。
特開２００６−１０５６５５号公報 特開２００４−１６４０３８号公報 特開２００５−７０９０８号公報

特許文献１では、カロリーの計算は行えるが、物の特定が行えないため、塩分、糖分、油分、カルシウムなど、カロリー以外の算出は不可能である。

特許文献２では、食べ物の画像を一旦撮影記録して、媒体経由または携帯電話の送受信機能を使って、一旦、栄養測定処理機に送らなければ結果が分からないため、きちんと食物を認識できるような撮影ができたかどうかの判断が遅れ不便である。また、何度も撮影に失敗し複数の画像を送ることになったり、またそのことで蓄積されるべきデータベースに上書きや複数回数分のカロリーが蓄積されたりして、ユーザにとって信頼性の低いものになりやすい。

特許文献３では、食物そのものの品種が認識できないため、多品種のメニューに対応できない。

本発明は、ユーザによる栄養管理を容易かつ身近なものにするべく、即座に食事の栄養分（カロリー、塩分、糖分、カルシウムなど）の特定を行い、摂取栄養分の自己管理を可能にすることを目的とする。

本発明に係る撮影装置は、食物を被写体とした画像情報を取得する撮影部と、各食物の特徴情報と、各食物の種類、名称および栄養価に関する食物情報を対応づけて記憶する食物データベースと、撮影部の取得した画像情報から食物の特徴情報を抽出し、画像情報から抽出した食物の特徴情報と食物データベースの食物の特徴情報とを照合することで、被写体の食物の種類を識別する食物識別部と、食物識別部の識別した食物の種類に対応する食物情報を、食物データベースから抽出する抽出部と、抽出部の抽出した食物情報を出力する出力部と、を備える。

この発明によると、スルー画表示時、食物データベースへの照合によって認識された被写体中の食物のカロリーなどの食物データが、出力部によって出力されるから、目の前にある食物のデータを即座に把握することができる。

出力部は、画像情報の内、食物データベースから食物情報を抽出することができた食物の被写体部分を強調する画像とともに、食物情報と食物の被写体部分近傍に配置される画像を出力するとよい。

こうすると、対象食物の情報を視覚的に把握しやすくなる。

食物識別部による食物の識別が不可能であったことに応じ、撮影部による画像情報の撮影条件を変化させて画像情報を再度取得するよう撮影部を制御する撮影制御部をさらに備えるとよい。

こうすると、なるべくユーザが撮影のやり直しをしないまま、食物認識をすることが可能となる。

食物情報の入力を受け付ける食物情報入力部をさらに備えてもよい。

こうすると、ユーザ独自の食物情報を登録できる。

食物情報入力部は、外部記録媒体または外部ネットワークから食物情報の入力を受け付けてもよい。

こうすると、食物データベースの拡張が容易になる。

食物データベースは、食物情報入力部から入力された食物情報を記憶するとよい。

抽出部が抽出した食物情報と食物を被写体とした画像情報とを対応づけて記録する記録部をさらに備えてもよい。

記録部は、食物を被写体とした画像情報の取得日時を画像情報と対応づけて記録し、食物を被写体とした画像情報の取得日時に基づき、所定の単位期間ごとの栄養価の摂取総量を算出する算出部をさらに備え、出力部は、算出部の算出した所定の単位期間ごとの栄養価の摂取総量の画像を出力してもよい。

こうすると、摂取栄養の管理が、日、週、月、年などの所定単位ごとに行える。

ユーザ個人の身体情報の入力を受け付ける身体情報入力部をさらに備え、算出部は、身体情報入力部に入力された身体情報に基づき、所定の単位期間ごとの目標摂取栄養価を算出し、出力部は、所定の単位期間ごとの栄養価の摂取総量と目標摂取栄養価とを対応づけた画像を出力してもよい。

こうすると、個人ごとの目標栄養摂取量の管理が容易になる。

ユーザ個人の運動量を検出する運動量検出部をさらに備え、算出部は、運動量検出部の検出した運動量に基づき、所定の単位期間ごとの消費栄養価を算出し、出力部は、所定の単位期間ごとの栄養価の摂取総量と消費栄養価とを対応づけた画像を出力してもよい。

こうすると、総栄養摂取量と運動による栄養消費を加味して、実際の摂取量を正確に把握できる。

記録部は、抽出部が抽出した食物情報と食物を被写体とした画像情報とが対応づけられた単一のファイルを所定のフォルダに記録するとよい。

食物を被写体とした画像情報を取得する食物モードを設定する食物モード設定部をさらに備え、記録部は、食物モード設定部が食物モードを設定したことに応じ、食物を被写体とする画像情報と食物情報とを対応づけて記録してもよい。

本発明に係る撮影方法は、食物を被写体とした画像情報を取得するステップと、各食物の特徴情報と、各食物の種類、名称および栄養価に関する食物情報を対応づけて食物データベースに記憶するステップと、取得した画像情報から食物の特徴情報を抽出し、画像情報から抽出した食物の特徴情報と食物データベースの食物の特徴情報とを照合することで、被写体の食物の種類を識別するステップと、識別した食物の種類に対応する食物情報を、食物データベースから抽出するステップと、抽出した食物情報を出力するステップと、を含む。

この発明によると、スルー画表示時、食物データベースへの照合によって認識された被写体中の食物のカロリーなどの食物データが、出力部によって出力されるから、目の前にある食物のデータを即座に把握することができる。

＜第１実施形態＞
図１はデジタルカメラ１０の機能ブロック図である。同図において、中央処理装置（ＣＰＵ）１１２は、半押し状態Ｓ１および全押し状態Ｓ２でオンとなる２段スイッチからなるレリーズスイッチを含む操作部１０２に対する入力に基づいてデジタルカメラ１０内の各回路を統括制御する。

いま、操作部１０２によって撮影モードが設定されると、ＣＰＵ１１２は、表示部１１０に動画（スルー画）を表示させ、撮影画角を確認可能にする。即ち、撮影レンズ１１８を通過した被写体光は、撮像素子（ＣＣＤ）１２０の受光面上に結像する。ＣＣＤ１２０は、受光面に結像された被写体光をその光量に応じた量の信号電荷に変換する。このようにして蓄積された信号電荷は、ＣＰＵ１１２の指令に従って与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。

ＣＣＤ１２０から出力された信号は、撮像制御部１３０に送られ、ここで画素ごとのＲ，Ｇ，Ｂ信号がサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄコンバータ１２４に加えられる。Ａ／Ｄコンバータ１２４によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ信号は、画像ワークメモリ１２８に記憶される。尚、画像ワークメモリ１２８は、画像データの一時記憶領域として利用されるとともに、プログラムの展開領域及びＣＰＵ１１２の演算作業用領域として利用される。

ＣＰＵ１１２は、画像ワークメモリ１２８に記憶されたＲ，Ｇ，Ｂ信号を処理する。即ち、ＣＰＵ１１２は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理部として機能し、画像ワークメモリ１２８を活用しながら所定の信号処理を行う。

ＣＰＵ１１２に入力されたＲ、Ｇ、Ｂ信号は、輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。ＣＰＵ１１２で処理されたＹＣ信号は画像ワークメモリ１２８に格納される。

撮影画像を表示部１１０にモニタ出力する場合、画像ワークメモリ１２８からＹＣ信号が読み出され、ＣＰＵ１１２に送られる。ＣＰＵ１１２は、入力されたＹＣ信号を所定方式の映像信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換した上で、当該映像信号を表示部１１０に出力する表示制御部として機能する。

所定のフレームレートで処理された各フレームのＹＣ信号は、画像ワークメモリ１２８のＡ領域とＢ領域とに交互に書き込まれ、画像ワークメモリ１２８のＡ領域及びＢ領域のうち、ＹＣ信号が書き込まれている方の領域以外の領域から、書き込まれているＹＣ信号が読み出される。このようにして画像ワークメモリ１２８内のＹＣ信号が定期的に書き換えられ、そのＹＣ信号から生成される映像信号が表示部１１０に供給されることにより、撮像中の映像がリアルタイムに表示部１１０に表示される。ユーザは、表示部１１０に表示される映像（スルー画）によって撮影画角を確認できる。

また、ユーザは、操作部１０２への入力操作により撮影レンズ１１８をテレ側またはワイド側に移動することで、ズーム調節を行うことができる。

ここで、操作部１０２のレリーズスイッチを半押しすると、ＡＥ及びＡＦ処理が開始される。即ち、撮像制御部１３０は、１画面分の画像データを複数のエリア（例えば、１６×１６）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１１２に提供する。ＣＰＵ１１２は、撮像制御部１３０から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定され、これに従いＣＰＵ１１２はＣＣＤ１２０の電子シャッタを制御するとともに、図示しない絞りを制御して適正な露光量を得る。

また、撮像制御部１３０は、自動ホワイトバランス調整時には、分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ１１２に提供する。ＣＰＵ１１２は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行い、判別された光源種に適したホワイトバランス調整値に従って、例えば、各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ，Ｇ，Ｂ信号に対するゲイン値（ホワイトバランス補正値）を制御し、各色チャンネルの信号に補正をかける。

また、ＡＦ制御は、例えば画像信号のＧ信号の高周波成分が極大になるように撮影レンズ１１８を移動させるコントラストＡＦが適用される。即ち、撮像制御部１３０は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。

撮像制御部１３０で求めた積算値のデータはＣＰＵ１１２に通知される。ＣＰＵ１１２は、図示しないレンズ駆動手段によって撮影レンズ１１８を移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置に撮影レンズ１１８を移動させるようにレンズ駆動手段を制御する。尚、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。

上記ＡＥ／ＡＦ処理が行われ、レリーズスイッチが全押しされることによって記録用の撮影動作がスタートする。Ｓ２オンに応動して取得された画像データはＣＰＵ１１２において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、画像ワークメモリ１２８に格納される。

画像ワークメモリ１２８に格納されたＹ／Ｃ信号は、ＣＰＵ１１２によって所定のフォーマットに従って圧縮された後、可搬性の記録媒体４０にExif（Exchangeable Image File Format）ファイルとして記録される。画像はExifファイルのデータ格納部分に記録される。

操作部１０２によって動画記録モードが設定されたときには、レリーズスイッチの全押し操作に連動よって録画動作がスタートし、もう一度レリーズスイッチを押下すると録画動作が停止する。レリーズスイッチを押下継続している期間、録画動作を行い、押下解除によって録画を停止するようにしてもよい。動画データは、例えばモーションＪＰＥＧ（ＭＰＥＧ）形式によって記録媒体４０に記録される。

操作部１０２により再生モードが選択されると、記録媒体４０に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、ＣＰＵ１１２を介して非圧縮のＹＣ信号に伸長され、このＹＣ信号からＮＴＳＣ方式のカラー複合映像信号を作成し、これを表示部１１０に出力する。これにより、表示部１１０には記録媒体４０に記録されている最終コマのコマ画像が表示される。

その後、操作部１０２の順コマ送りスイッチが押されると、順方向にコマ送りされ、逆コマ送りスイッチが押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルが記録媒体４０から読み出され、上記と同様にしてコマ画像が表示部１１０に再生される。尚、最終コマのコマ画像が表示されている状態で順方向にコマ送りされると、記録媒体４０に記録されている１コマ目の画像ファイルが読み出され、１コマ目のコマ画像が表示部１１０に再生される。

デジタルカメラ１０は、記録内容の書き換えが可能な内蔵型のフラッシュメモリ１４９を備えている。フラッシュメモリ１４９には、ＣＰＵ１１２の実行する処理プログラムや各種パラメータが記憶されている。また、容量によっては、画像などを蓄積することもできる。

食物抽出／認識部１４０は、食物辞書を備えており、操作部１０２に含まれる食物検出ボタン１０２ｅのオンに応じ、画像ワークメモリ１２８に蓄えられた画像から、食物を認識する。食物辞書はフラッシュメモリ１４９に蓄えられていてもよい。

食物辞書には、画像データから取得可能な食物ごとの特徴を表す形状パターン・色パターンなどを含む食物特徴データと、栄養成分（炭水化物、脂肪、タンパク質、塩分、糖分、ミネラル、ビタミンなど）と食物の栄養価（食物に含まれる各栄養成分の量）、食物の総カロリーなどを含む食物データが対応づけられて蓄えられている。

例えば、図２（ａ）に示すような、ごはんＦａ、目玉焼きＦｂ、きざみキャベツＦｃという３種類の食物を、カメラ１０で撮影したとする。

この場合、図３に示すように、表示部１１０には、ごはんＦａ、目玉焼きＦｂ、きざみキャベツＦｃを被写体とした画像が表示されるとともに、食物抽出／認識部１４０が当該画像から認識した、ごはんＦａ、目玉焼きＦｂ、きざみキャベツＦｃという３種類の食物の総カロリー「１０００ｋｃａｌ」が表示される。

なお、図２（ｂ）に示すようなリンゴや、栗その他の果実は、切っただけで、あるいはまったく調理されないまま食卓に置かれることがままある。また、焼き芋、じゃがいもその他の根菜などは、調理はされても皮つきのまま丸ごと食卓に置かれたりする。このような食物は、同じ種類でも、調理方法や置き方によって形状が全く変わる。このため、同じ種類であるにも関わらず他の種類と誤って検出したり、検出不能に陥りやすくなることが想定される。

そこで、食物辞書に、同一の種類の食物について、想定されうるあらゆる角度から眺めた複数の形状パターンを、関連する食物特徴データとして、同一の食物の食物データと対応づけて登録しておく。

例えば、図２（ｂ）のようなリンゴでは、丸のままの状態を正面から見たものＦｘ、丸のままの状態を上から見たものＦｙ、半分に切り取ったものＦｚなどに相当する形状パターンを、全て、同一の種類「リンゴ」に対応づけておく。食物の形状パターンとして、Ｆｘ、Ｆｙ、Ｆｚのうち少なくともいずれか１つが認識された場合は、「リンゴ」という同一の種類を特定することができる。他の種類の食物も同様にして、形状パターンのバリエーションを同一の食物に対する食物特徴データとして登録しておけば、食物の種類の識別精度の向上および誤認識の防止になる。

また、食物の種類が特定されても、分量によって栄養価が大きく変化する場合がある。このため、以下のように、食物抽出／認識部１４０には、被写体画像からある程度の食物の分量を換算する演算式を登録しておくとともに、食物辞書には、食物の種類ごとの標準サンプル量に対応した栄養価を登録しておく。そして、認識された食物から実際の分量を検出し、検出された実際量と標準量との比を算出して、この比を食物辞書の標準量に乗じれば、実際の栄養価を算出できる。具体的には、
（１）距離センサなどから導き出される距離情報と被写体の画角から、実際の食物の大きさを算出する。

公知の技術（例えば特開平８−２６５６２６号公報）のように、撮影レンズ１１８から食物被写体までの焦点距離やズーム倍率に基づき、あるいは測距センサによる食物被写体までの測距に基づき、スルー画に写っている食物被写体の実サイズを算出する。予め、食物被写体ごとの焦点距離情報・距離情報・ズーム倍率情報に対応した実サイズを食物辞書に登録しておいてもよい。そして、食物被写体の距離の実測値に対応する実サイズを食物辞書から特定し、さらに、その実サイズと標準サイズの比から、実際の栄養価を算出する。

（２）器の形状の特徴からある程度の容量を算出する。

同じ食物種でも、盛りつけられている器の種類、形状、奥行き、深さなどにより分量が大きく異なる。例えば、ごはんを盛りつける器が茶碗かどんぶりかによって、量が倍以上変わるような場合、食物の種類がごはんであることを認識するだけでは、正確な栄養価の把握には不十分である。従って、食物の分量をある程度把握する必要がある。

この場合、器の形状の特徴を予め食物辞書に登録しておき、画像から、食物種と器の種類を検出し、分量も加味された栄養価を算出する。

器の種類に応じた栄養価の算出は次のようなものが考えられる。

ａ．食物種と器の種類を個別に照合し、食物種と容量の比例計算により栄養価を算出する。例えば、茶碗１杯のごはんのカロリーＩ、および茶碗の容量ｕおよび茶碗以外の種類の器（どんぶりなど）の容量を食物辞書に登録しておく。そして、
実際に検出された器の種類に対応する容量をｖとすると、
実際のごはんのカロリー＝Ｉ×ｖ／ｕ
で算出することができる。

ｂ．食物辞書に、器の種類ごと、および食物種類ごとのカロリーその他の食物データを登録する。例えば、茶碗１杯のごはんのカロリーその他の食物データ、どんぶり１杯のごはんのカロリーその他の食物データが別個に登録されていて、照合された器の種類および食物種類に応じた食物データを特定する。

（３）器の種類と被写体映像から、実際の食物の量を概算する。

例えば、被写体中の米１粒の表面積（単位は画素数）をＡ、被写体中のごはん上面全体の表面積（単位は画素数）をＢとする。

いま、上記（２）により、器の種類が認識されたとする。ごはんの標準サンプルの米１粒の面積をＣ、その器の種類に対応するごはんの標準サンプルの上面全体の表面積をＤ、栄養価をβとした場合、被写体中の表面のごはんの米粒数と標準サンプルの表面の米粒数の比αは、
α＝被写体の表面の米粒数／食物辞書に登録されたある種類の器に盛られたごはんの標準サンプルの表面の米粒数
＝（Ｂ／Ａ）／（Ｄ／Ｃ）
＝Ｂ・Ｃ／Ａ・Ｄ
となる。食物辞書の器の種類と実際に検出された器の種類が同じ（例えば「どんぶり」）場合、両者は相似形となると仮定すると、その体積比γは表面積αの３／２乗、すなわち
γ＝α＾（３／２）＝（Ｂ・Ｃ／Ａ・Ｄ）＾（３／２）
となる。従って、被写体の栄養価Ｐは、食物辞書の標準サンプルの栄養価βに、体積比γを乗じた値であり、
Ｐ＝β×γ
となる。

図４はカメラ１０の実行する食物撮影処理の流れを示すフローチャートである。

Ｓ１で、ユーザ操作によりカメラ１０の電源がオンされると、Ｓ２に進む。

Ｓ２では、食物を被写体とするスルー画が表示部１１０に表示される。

Ｓ３では、ユーザ操作により食物検出ボタン１０２ｅがオンされると、Ｓ４に進む。食物検出ボタン１０２ｅのオンに相当する操作メニューが指定されたことに応じてＳ４に進んでもよい。

Ｓ４では、食物抽出／認識部１４０は、食物辞書を参照し、食物辞書に登録されている食物の種類ごとの色、輝度、表面形状、質感、全体形状（コントラストの高い境界で囲まれた部分）といった特徴データと、スルー画像から抽出された食物の特徴データとを比較照合して、食物の種類を認識する。

Ｓ５では、食物抽出／認識部１４０は、食物辞書から、認識した食物の種類に対応するカロリーを抽出する。これを認識した食物の種類ごとに繰り返し、抽出した各食物のカロリーを総計し、これを総カロリーとする。

Ｓ６では、ＣＰＵ１１２は、スルー画像に総カロリーを重ねて表示させる（図３参照）。

Ｓ７では、ユーザ操作によりレリーズスイッチがオンされると、Ｓ８に進む。

Ｓ８では、記録用画像取得動作を行う。次に、画像ファイルのタグに、認識した食物の、表示位置アドレス情報、食物品種と各カロリー値、総カロリー値、含有栄養成分といった食物データを書き込むとともに、画像ファイルのデータ本体格納領域に、取得された画像データを書き込み、記録媒体４０に記録する。

このように、スルー画表示時、食物辞書への照合によって認識された被写体中の食物のカロリーなどの食物データが、表示部１１０に表示されるから、目の前にある食物のデータを即座に把握することができる。また、食物辞書から抽出された食物データは、食物を被写体とした画像とともに記録することができる。

＜第２実施形態＞
図５は、第２実施形態に係る食物撮影処理の流れを示すフローチャートである。

Ｓ１１では、ユーザ操作によりカメラ１０の電源がオンされると、Ｓ１２に進む。

Ｓ１２では、スルー画が表示部１１０に表示される。

Ｓ１３でユーザが食物以外の被写体にカメラ１０を向け、Ｓ１４でレリーズスイッチがオンされると、Ｓ１５に進む。

Ｓ１５では、レリーズスイッチのオンに応じて取得された画像データを記録媒体４０の画像用フォルダに記録する。

なお、画像用フォルダの生成は、画像データ記録時、記録媒体４０内に当該フォルダが存在しないことに応じて行われる。

Ｓ１６でユーザが食物にカメラ１０を向け、Ｓ１７で食物検出ボタン１０２ｅがオンされると、Ｓ１８に進む。

Ｓ１８では、食物抽出／認識部１４０は、食物辞書を参照し、食物辞書に登録されている食物の特徴量と、スルー画像からの食物の特徴量とを比較して、食物を認識する。

Ｓ１９では、食物抽出／認識部１４０は、認識した食物に対応するカロリーを抽出する。そして、各食物のカロリーを総計し、これを総カロリーとする。

Ｓ２０では、ＣＰＵ１１２は、スルー画像に総カロリーを重ねて表示させる。

Ｓ２１では、ユーザ操作によりレリーズスイッチがオンされると、Ｓ２２に進む。

Ｓ２２では、記録用画像取得動作を行う。次に、画像ファイルのタグに、認識した食物の、表示位置アドレス情報、食物品種と各カロリー値、総カロリー値を書き込むとともに、画像ファイルのデータ本体格納領域に画像データを書き込み、当該ファイルを記録媒体４０内の食物用フォルダに記録する。

なお、食物用フォルダの生成は、画像データ記録時、記録媒体４０内に当該フォルダが存在しないことに応じて行われる。

以上説明した通り、スルー画再生モード（撮影待機モード）状態で、食物検出ボタン１０２ｅを押さない状態で撮影した画像は、記録媒体４０内の画像用フォルダに記録され、食物検出ボタン１０２ｅを押した後で撮影した画像は、記録媒体４０内の食物用フォルダに記録される。こうすることで、通常の被写体を撮影した画像と食物を撮影した画像とが分別され、両者の区別が容易になるし、後から総カロリーを確認するのに便利である。

＜第３実施形態＞
食物抽出／認識部１４０は、食物の種類を認識したことに応じ、その食物を強調表示した上、各食物の品名と各食物個別のカロリーを表示してもよい。

例えば、（１）色および輝度、（２）表面の形状（質感）、（３）全体の形状という特徴量から優先的に食物種類の認識基準とした上、食物の種類として、それぞれ、図６に示すＦａ、Ｆｂ、Ｆｃが認識されたとする。Ｆａは、（１）（２）の特徴量、Ｆｂ・Ｆｃは（１）〜（３）の特徴量の比較でほぼ１００％認識されると考えられる。

この場合、図６に示すように、Ｆａ、目玉焼きＦｂ、きざみキャベツＦｃの存在領域をフリッカーさせたりハッチングさせたりするか、あるいは周囲の非食物部分との間に境界線を表示した上、各食物の品名として、Ｆａの近傍に「ごはん」、Ｆｂの近傍に「目玉焼き」、Ｆｃの近傍に「きざみキャベツ」を表示し、かつ、各食物のカロリーとして、Ｆａの近傍に「４００ｋｃａｌ」、Ｆｂの近傍に「４００ｋｃａｌ」、Ｆｃの近傍に「２００ｋｃａｌ」と表示する。なお、各食物のカロリーの総量も表示する。これにより、画像から食物が正しく認識されたか否か、および認識された食物の種類と各食物のカロリーを確実にユーザに伝えることができる。ユーザは、この表示に応じて、不要な食品の摂取を控えたり、必要な食品を追加することができる。

＜第４実施形態＞
図７は、第４実施形態に係る食物撮影処理の流れを示すフローチャートである。

Ｓ３１で、ユーザ操作によりカメラ１０の電源がオンされると、Ｓ３２に進む。

Ｓ３２では、食物を被写体とするスルー画が表示部１１０に表示される。

Ｓ３３では、ユーザ操作により食物検出ボタン１０２ｅがオンされると、Ｓ３４に進む。食物検出ボタン１０２ｅのオンに相当する操作メニューが指定されたことに応じてＳ３４に進んでもよい。

Ｓ３４では、食物抽出／認識部１４０は、食物辞書を参照し、食物辞書に登録されている食物の種類ごとの色、輝度、表面形状、質感、全体形状（コントラストの高い境界で囲まれた部分）といった各種特徴量と、スルー画像から抽出された食物の各種特徴量とを比較して、食物の種類を認識する。

Ｓ３５では、少なくとも１つの食物の種類が認識されたか否かを判断する。１つでも認識された場合はＳ３６、１つも認識されない場合はＳ３７に進む。

Ｓ３６では、認識された各食物について、食物の認識の確からしさが所定の閾値以上であるか否かを判断する。確からしさが閾値以上の場合はＳ４１、閾値未満の場合はＳ３８に進む。ここで、食物の認識の確からしさの指標は、画像から得られた特徴量と食物辞書に登録された特徴量の近似度を指す。

Ｓ３７では、表示部１１０の表示エリア中央に、大きく「？」を表示する。

Ｓ３８では、確からしさが閾値未満の食物の表示領域付近に「？」を表示する。

Ｓ３９では、撮影条件（例えば、露出値やホワイトバランス）を変化させる。そしてｎを１だけインクリメントする。ｎは、Ｓ３９の実行回数をカウントするパラメータである。なお、閾値を超えて認識された画像の検出結果は、画像ワークメモリ１２８に保存される。

Ｓ４０では、ｎが所定の数（例えば３）以下であるか否かを判断する。ｎが所定の数以下である場合はＳ３４に戻る。ｎが所定の数を超えた場合はＳ４１に進む。

Ｓ４１では、食物辞書から、認識された食物のカロリー値を抽出する。

Ｓ４２では、各食物のカロリー値を総計し、この総カロリーをスルー画像に重ねて表示部１１０に表示する。

Ｓ４３では、ユーザ操作によりレリーズスイッチがオンされると、Ｓ４４に進む。

Ｓ４４では、画像ファイルのタグに、認識した食物の、表示位置アドレス情報、食物品種と各カロリー値、総カロリー値を書き込むとともに、画像ファイルのデータ本体格納領域に画像データを書き込み、当該ファイルを記録媒体４０内の食物用フォルダに記録する。

以上の処理では、食物の種類認識の確からしさがある閾値未満と判断された場合、または、認識された食物がなかったり、分割画像を用いて検出されたエリアに偏りがあると判断された場合は、そのエリアに「？」を表示する。さらに、これらのエリアについて、色バランスなどの撮影条件を変化させて、確からしさを閾値以上に上げることができ、また、認識される食物が増加するか否かを、自動で確認することができる。

＜第５実施形態＞
表示部１１０がタッチパネルやタッチペン入力を受け付けるデバイスを含んでいる場合、認識されなかった食物を、画面上で直接指定し、その食物の品名、栄養分、カロリー値などの食物データを直接入力し、それを記録できるようにしてもよい。

図８は、第５実施形態に係る食物データ入力処理の流れを示すフローチャートである。

Ｓ５１では、食物が記録された画像を、記録媒体４０から読み出し、表示部１１０に表示する。

Ｓ５２では、食物検出ボタン１０２ｅの押下に応じ、画像とともに記録された食物データを読み出し、表示部１１０に表示する（図３参照）。ここでは、食物検出ボタン１０２ｅの押下は、スルー画からの食物認識の指示ではなく、記録画像に対応づけられた食物データを表示するための指示である。

Ｓ５３では、タッチパネルやタッチペンのタッチ操作により、表示された画像のうち、認識できなかった食物の画像表示エリアの指定を受け付ける。

Ｓ５４では、操作部１０２から、指定された食物について、食品名、カロリー値などの食物データの入力を受け付ける。操作部１０２からではなく、記録媒体４０から、あるいは図示しない外部ネットワークから食物データの入力を受け付けてもよい。

Ｓ５５では、入力された食物データを、表示している画像を格納するファイルのタグに追記する。

Ｓ５６では、指定された画像表示エリアと入力された食物データとを対応づけて食物辞書に追記する。なお、食物辞書には、入力された食物データを十分に蓄積できるような空き領域を確保しておく必要がある。

こうすることで、認識できない食物をユーザが直接指定した上で、それに対する食物データを画像ファイルと食物辞書に追記することができる。

あるいは、以下のような処理を行えば、表示部１１０がタッチパネルやタッチペン入力を受け付けるデバイスを含んでいない場合でも、認識できない個々の食物をユーザが直接指定した上で、それに対する食物データを画像ファイルと食物辞書に追記することができる。

図９は、食物データ入力処理の他の例を示すフローチャートである。

Ｓ６１で、ユーザ操作によりカメラ１０の電源がオンされると、Ｓ６２に進む。

Ｓ６２では、「ごはん」や「目玉焼き」など、単体の食物を被写体としたスルー画像を表示部１１０に表示する。

Ｓ６３では、食物検出ボタン１０２ｅの押下に応じ、Ｓ６４に進む。

Ｓ６４では、食物抽出／認識部１４０は、食物辞書を参照し、食物辞書に登録されている食物の特徴量と、スルー画像からの食物の特徴量とを比較して、食物を認識する。

Ｓ６５では、食物の種類が認識されたか否かを判断する。認識された場合はＳ６８、認識されない場合はＳ６６に進む。

Ｓ６６では、操作部１０２から、現在表示されている単体の食物について、食品名、カロリー値などの食物データの入力を受け付ける。

Ｓ６７では、当該単体食物の画像と入力された食物データとを対応づけて食物辞書に追記する。画像そのものを追記するのではなく、画像から抽出された特徴量を、入力された食物データと対応づけて追記してもよい。

Ｓ６８では、食物抽出／認識部１４０は、認識した食物に対応するカロリーを抽出する。そして、各食物のカロリーを総計し、これを総カロリーとする。

Ｓ６９では、ＣＰＵ１１２は、スルー画像に総カロリーを重ねて表示させる。詳細は省略するが、これ以降は、上述のＳ２１およびＳ２２の処理を行う。

＜第６実施形態＞
過去の一定期間に撮影記録された食物の画像から、一定期間に摂取したトータルの栄養価を算出して表示することもできる。

例えば、図１０に示すように、１日分、１週間分、１月分、１年分のカロリー摂取量を算出して表示する。これは、図１１に示す積算処理により実現される。

この処理は、Ｓ７１〜Ｓ７９から成るが、Ｓ７１〜Ｓ７８は、第１実施形態のＳ１〜Ｓ８と同様である。

Ｓ７９では、内蔵のフラッシュメモリ１４９に、撮影日時と総カロリー値とを対応づけた履歴データを記録する。なお、フラッシュメモリ１４９に履歴データを記録するのは、記録媒体４０が抜去された場合でも、総摂取量を継続管理できるようにするためである。

ＣＰＵ１１２は、操作部１０２から入力された「総カロリー摂取量表示」指示に応じ、フラッシュメモリ１４９に記録された履歴データを参照して、所定の時間単位（過去１日、過去１週間、過去１月、過去１年以内のように、人が一般的に栄養分摂取の目安とする時間単位）以内の撮影日時に対応づけられている総カロリー値をさらに総計する。ＣＰＵ１１２は、この総計値を、表示部１１０に表示させる。

こうすることで、図１０に示すように、過去１週間、過去１月、過去１年以内の総カロリー値を、棒グラフなどで視覚的にわかりやすく表示することができる。特に、１日の食事は、朝昼晩の毎回のカロリー量が個別に分かるように、それぞれのカロリー量を色分けするとよい。なお、ユーザの食事時間はライフスタイルにより変化しうるから、朝昼晩のカロリー量の代わりに毎食別あるいはユーザが任意に設定した時間帯ごとのカロリー量を色分けして表示してもよい。

＜第７実施形態＞
第６実施形態において、操作部１０２などから入力された栄養摂取目標量と実際に記録された履歴情報とを対比して表示させるとさらによい。

例えば、
標準体重［ｋｇ］＝（身長［ｃｍ］の２乗）×２２
１日の適正カロリー＝標準体重×３０［ｋｃａｌ］
となるとされる。この１日の適正カロリーを、１日分の総摂取カロリーの目標量とする。また、この１日分の総摂取カロリーの目標量を、７倍、２８ないし３１倍、３６５倍することで、それぞれ、１週間分、１月分、１年分の総摂取カロリーの目標量とする。なお、当然ながら、個人差を考慮して、総摂取カロリーの目標量を補正できるようにしてもよい。例えば、加齢によるカロリー消費低下に相当する補正計数を、上記１日の適正カロリー算出式に乗じてもよい。適正カロリー算出式に対する、ユーザ年齢ごとの補正値をフラッシュメモリ１４９に記憶させておき、これを適時読み出して総摂取カロリーの目標量を補正してもよい。

図１２に示すように、この各目標量と実際の総摂取カロリーの目標量との量的関係を表示部１１０に表示すれば、個人が目標とする総摂取カロリーの管理が容易になる。

＜第８実施形態＞
第６ないし７実施形態において、カメラ１０に歩数計などの運動量計測手段を設け、ユーザの実際の運動量から換算される栄養分の消費量や消費カロリーを、栄養分の摂取量や摂取カロリーと対比して、あるいは控除して表示するとさらによい。

例えば、図１３に示すように、各期間単位ごとに総計された消費カロリーを、摂取カロリーと対比して表示する。あるいは消費カロリーを摂取カロリーから差し引いた上で表示する。

あるいは、図１４に示すように、ある特定の期間単位（ここでは１日分）に消費された栄養分である、カロリー、塩分、糖分、油分の総量を、ある特定の期間単位に摂取された栄養分から差し引いた上で表示する。

こうすると、ユーザは、摂取栄養分と、運動により消費された栄養分を考慮して、消費カロリーと摂取カロリーが同等になるよう、または消費カロリーと摂取カロリーの差し引きが０となるように、過剰な栄養分の摂取を控えたり、必要な栄養分を過不足なく補給することができる。

＜第９実施形態＞
図１５は第９実施形態に係る食物撮影処理の流れを示すフローチャートである。

Ｓ８１で、ユーザ操作によりカメラ１０の電源がオンされると、Ｓ８２に進む。

Ｓ８２では、食物を被写体とするスルー画が表示部１１０に表示される。

Ｓ８３では、ユーザ操作により食物検出ボタン１０２ｅがオンされると、Ｓ８４に進む。食物検出ボタン１０２ｅのオンに相当する操作メニューが指定されたことに応じてＳ８４に進んでもよい。

Ｓ８４では、食物抽出／認識部１４０は、食物辞書を参照し、食物辞書に登録されている食物の種類ごとの色、輝度、表面形状、質感、全体形状（コントラストの高い境界で囲まれた部分）といった各種特徴量と、スルー画像から抽出された食物の各種特徴量とを比較して、食物の種類を認識する。

Ｓ８５では、少なくとも１つの食物の種類が認識されたか否かを判断する。１つでも認識された場合はＳ８７、１つも認識されない場合はＳ８６に進む。

Ｓ８６では、表示部１１０の表示エリア中央に、大きく「？」を表示する。

Ｓ８７では、食物辞書の栄養テーブルから、認識された食物のカロリー値あるいは含有栄養成分を抽出する。そして、各食物のカロリー値を、各食物の表示位置近傍に重ねて表示部１１０に表示する。

Ｓ８８では、ユーザ操作により一時保存ボタン１０２ｇがオンされると、Ｓ８９に進む。

Ｓ８９では、抽出した食物データを画像ワークメモリ１２８に一時的に保存し、食物の表示位置とは別の位置にリスト表示することで、認識された食物の食物データのみ一時的に保存したことをユーザに知らせる。

Ｓ９０では、未だ認識されていない食物があるか否かを、操作部１０２へのユーザ操作により指定させる。未だ認識されていない食物がある場合はＳ９１へ進む。未だ認識されていない食物がないことが指定された場合はＳ９２へ進む。

Ｓ９１では、認識されていない食物のみについて、撮影距離（画角）、撮影角度、露出などの各種撮影条件を変えてスルー画取得を行い、Ｓ８４に戻って、そのスルー画から上記と同様にして食物検出を行う。

Ｓ９２では、操作部１０２の「ＯＫ」ボタンなど、全ての食物が認識された旨が指定されたことに応じてＳ９３に進む。

Ｓ９３では、画像ワークメモリ１２８に保存された全ての食物データを総計し、表示部１１０に表示する。

このように、認識できた食物の食物データについては、一時保存ボタン１０２ｇの押下によって画像ワークメモリ１２８に一時的に保存しておき、その後、撮影条件を変えて、認識されなかった食物のみに集中して食物認識を試みることができるから、食物検出が成功する可能性が高まる。

デジタルカメラの機能ブロック図 食物被写体の一例を示す図 スルー画の食物被写体とともに総カロリーが表示された様子を示す図 第１実施形態に係る食物撮影処理の流れを示すフローチャート 第２実施形態に係る食物撮影処理の流れを示すフローチャート 認識された食物被写体の一例を示す図 第４実施形態に係る食物撮影処理の流れを示すフローチャート 第５実施形態に係る食物データ入力処理の流れを示すフローチャート 食物データ入力処理の他の例を示すフローチャート 所定期間ごとのカロリー摂取量が表示された様子を示す図 積算処理の流れを示すフローチャート 各目標量と実際の総摂取カロリーの目標量との量的関係が表示された様子を示す図 各期間単位ごとに総計された消費カロリーを、摂取カロリーと対比して表示した様子を示す図 ある特定の期間単位に消費された、カロリー、塩分、糖分、油分の総量を表示した様子を示す図 第９実施形態に係る食物撮影処理の流れを示すフローチャート

符号の説明

４０：記録媒体、１０２：操作部、１１０：表示部、１１８：撮影レンズ、１２０：撮像素子、１１２：ＣＰＵ、１２８：画像ワークメモリ、１４０：食物抽出／認識部、１４９：フラッシュメモリ、１３０：撮像制御部

Claims (13)

1. 食物を被写体とした画像情報を取得する撮影部と、
   各食物の特徴情報と、各食物の種類、名称および栄養価に関する食物情報を対応づけて記憶する食物データベースと、
   前記撮影部の取得した画像情報から食物の特徴情報を抽出し、前記画像情報から抽出した食物の特徴情報と前記食物データベースの食物の特徴情報とを照合することで、前記被写体の食物の種類を識別する食物識別部と、
   前記食物識別部の識別した食物の種類に対応する食物情報を、前記食物データベースから抽出する抽出部と、
   前記抽出部の抽出した食物情報を出力する出力部と、
   を備える撮影装置。
2. 前記出力部は、前記画像情報の内、前記食物データベースから食物情報を抽出することができた食物の被写体部分を強調する画像とともに、前記食物情報と前記食物の被写体部分近傍に配置される画像を出力する請求項１に記載の撮影装置。
3. 前記食物識別部による食物の識別が不可能であったことに応じ、前記撮影部による画像情報の撮影条件を変化させて画像情報を再度取得するよう前記撮影部を制御する撮影制御部をさらに備える請求項１または２のいずれかに記載の撮影装置。
4. 前記食物情報の入力を受け付ける食物情報入力部をさらに備える請求項１〜３のいずれかに記載の撮影装置。
5. 前記食物情報入力部は、外部記録媒体または外部ネットワークから食物情報の入力を受け付ける請求項４に記載の撮影装置。
6. 前記食物データベースは、前記食物情報入力部から入力された食物情報を記憶する請求項４または５に記載の撮影装置。
7. 前記抽出部が抽出した食物情報と前記食物を被写体とした画像情報とを対応づけて記録する記録部をさらに備える請求項１〜６のいずれかに記載の撮影装置。
8. 前記記録部は、前記食物を被写体とした画像情報の取得日時を前記画像情報と対応づけて記録し、
   前記食物を被写体とした画像情報の取得日時に基づき、所定の単位期間ごとの栄養価の摂取総量を算出する算出部をさらに備え、
   前記出力部は、前記算出部の算出した所定の単位期間ごとの栄養価の摂取総量の画像を出力する請求項７に記載の撮影装置。
9. ユーザ個人の身体情報の入力を受け付ける身体情報入力部をさらに備え、
   前記算出部は、前記身体情報入力部に入力された身体情報に基づき、前記所定の単位期間ごとの目標摂取栄養価を算出し、
   前記出力部は、前記所定の単位期間ごとの栄養価の摂取総量と前記目標摂取栄養価とを対応づけた画像を出力する請求項７または８に記載の撮影装置。
10. ユーザ個人の運動量を検出する運動量検出部をさらに備え、
    前記算出部は、前記運動量検出部の検出した運動量に基づき、前記所定の単位期間ごとの消費栄養価を算出し、
    前記出力部は、前記所定の単位期間ごとの栄養価の摂取総量と前記消費栄養価とを対応づけた画像を出力する請求項７〜９のいずれかに記載の撮影装置。
11. 前記記録部は、前記抽出部が抽出した食物情報と前記食物を被写体とした画像情報とが対応づけられた単一のファイルを所定のフォルダに記録する請求項７〜１０のいずれかに記載の撮影装置。
12. 食物を被写体とした画像情報を取得する食物モードを設定する食物モード設定部をさらに備え、
    前記記録部は、前記食物モード設定部が前記食物モードを設定したことに応じ、前記食物を被写体とする画像情報と前記食物情報とを対応づけて記録する請求項７〜１１のいずれかに記載の撮影装置。
13. 食物を被写体とした画像情報を取得するステップと、
    各食物の特徴情報と、各食物の種類、名称および栄養価に関する食物情報を対応づけて食物データベースに記憶するステップと、
    取得した画像情報から食物の特徴情報を抽出し、前記画像情報から抽出した食物の特徴情報と前記食物データベースの食物の特徴情報とを照合することで、前記被写体の食物の種類を識別するステップと、
    識別した食物の種類に対応する食物情報を、前記食物データベースから抽出するステップと、
    抽出した食物情報を出力するステップと、
    を含む撮影方法。

Images