JP2008193570A - Photographing system - Google Patents
Photographing system Download PDFInfo
- Publication number
- JP2008193570A JP2008193570A JP2007027901A JP2007027901A JP2008193570A JP 2008193570 A JP2008193570 A JP 2008193570A JP 2007027901 A JP2007027901 A JP 2007027901A JP 2007027901 A JP2007027901 A JP 2007027901A JP 2008193570 A JP2008193570 A JP 2008193570A
- Authority
- JP
- Japan
- Prior art keywords
- food
- drink
- dish
- beverage
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、撮影システムに関し、特に食卓に用意された飲食物を撮影する撮影システムに関する。 The present invention relates to a photographing system, and more particularly to a photographing system that photographs food and drink prepared on a dining table.
飲食した飲食物の記録を行うことは日常の健康管理のみならず、肥満、糖尿病、高血圧症、高脂血症、拒食・過食症等の治療のために必要である。 It is necessary to record foods and drinks not only for daily health management but also for the treatment of obesity, diabetes, hypertension, hyperlipidemia, anorexia and bulimia.
このような飲食物の記録に関連して、特許文献1には、食事記録用カメラ及びそれを利用した食事評価システムが開示されている。また、特許文献2には、食事の計測装置及び分析システムが開示されている。
しかしながら、特許文献1に開示された技術では、撮影者が毎食毎に撮影しなければならず、撮影することを忘れたり、怠ったりする可能性があり、その場合は、飲食物が記録されないという問題点がある。また、特許文献2に開示された技術では、ストロボを必要とするため、その分のコストが必要となるという問題点がある。
However, in the technique disclosed in
このように従来の技術では、飲食物が記録されないという問題点や、ストロボのためにコストが必要となるという問題点があった。 As described above, the conventional techniques have a problem that food and drink are not recorded and a problem that a cost is required for the strobe.
本発明は上記問題点に鑑み、容易に飲食物を記録することができると共に、コストを低減することを可能とする撮影システムを提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an imaging system that can easily record foods and drinks and can reduce costs.
上記課題を解決するために、請求項1の発明は、飲食物が用意された食卓を照明する照明手段と、前記食卓を撮影可能な状態で前記照明手段に設置された撮像手段と、前記撮像手段により撮影された飲食物を示す飲食物画像に基づき、前記飲食物の名称を特定する特定手段と、前記特定手段により特定された前記飲食物の名称を含む飲食物情報を記録する飲食物情報記録手段と、を有する。
In order to solve the above-mentioned problems, the invention of
請求項1の発明では、照明手段が飲食物が用意された食卓を照明し、撮像手段が前記食卓を撮影可能な状態で前記照明手段に設置され、特定手段が前記撮像手段により撮影された飲食物を示す飲食物画像に基づき、前記飲食物の名称を特定し、飲食物情報記録手段が前記特定手段により特定された前記飲食物の名称を含む飲食物情報を記録するため、容易に飲食物を記録することができると共に、コストを低減することを可能とする撮影システムを提供することができる。
In the invention of
請求項2の発明は、予め定められた時刻の到来を検知する時刻検知手段を更に有し、前記撮像手段は、前記検知手段により時刻の到来が検知されると、前記食卓を撮影する。
The invention of
請求項2の発明によれば、食事毎にカメラを用意する必要はなく、更に予め定められた時刻が到来すると自動的に撮影されるため、飲食物を容易に記録することができる。 According to the second aspect of the present invention, it is not necessary to prepare a camera for each meal, and since a picture is automatically taken when a predetermined time arrives, food and drink can be recorded easily.
請求項3の発明は、前記食卓に食器が存在することを検知する食器検知手段と、前記食卓で人が食事をする際に人が席に着いたことを検知する着席検知手段と、を更に有し、前記撮像手段は、前記食器検知手段により前記食卓に食器が存在することを検知され、かつ前記着席検知手段により前記食卓で人が食事をする際に人が席に着いたことを検知されると前記食卓を撮影する。
The invention of
請求項3の発明によれば、食事毎にカメラを用意する必要はなく、更に飲食物が用意され、かつ椅子に座ると自動的に撮影されるため、飲食物を容易に記録することができる。
According to the invention of
請求項4の発明は、前記飲食物画像が示す前記飲食物に含まれる色の種類毎の前記飲食物の面積に占める割合、及び飲食物名を示す飲食物種別情報が予め記録された飲食物種別情報記録手段を更に有し、前記特定手段は、前記撮像手段により撮影された飲食物画像から、該飲食物画像に示される飲食物の面積、及び該飲食物に含まれる色の種類毎の前記面積に占める割合を検出し、前記飲食物種別情報記録手段に記録された飲食物種別情報を参照することにより、類似の度合いが所定度合い以上で、かつ最も高いものを当該飲食物の名称として特定する。 The invention according to claim 4 is a food / drink in which food / drink type information indicating a ratio of the food / beverage area for each type of color included in the food / drink indicated by the food / drink image and a food / drink name is recorded in advance. It further includes a type information recording unit, and the specifying unit determines, for each type of color included in the food and drink, the area of the food and drink shown in the food and beverage image from the food and drink image captured by the imaging unit. By detecting the proportion of the area, and by referring to the food type information recorded in the food type information recording means, the highest degree of similarity is equal to or higher than a predetermined level and the name of the food or drink is the highest. Identify.
請求項4の発明によれば、比較的処理の負荷がかからない処理によって飲食物の名称を特定することができる。 According to invention of Claim 4, the name of food and drink can be specified by the process which does not take the process load comparatively.
請求項5の発明は、前記撮像手段による撮影時における前記照明手段の照明の明るさを、予め定められた明るさとなるように制御する照明制御手段を更に有する。
The invention of
請求項5の発明によれば、撮影時の明るさを予め定められた明るさとすることで、飲食物の特定を正確に行うことのできる画像を得ることができる。
According to the invention of
本発明によれば、容易に飲食物を記録することができると共に、コストを低減することを可能とする撮影システムを提供することができるという効果が得られる。 According to the present invention, it is possible to provide an imaging system that can easily record food and drink and can reduce costs.
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本実施の形態では、料理を飲食物として説明するが、飲食物には、ビールやジュースなどの飲料、バナナなどの果物、トマトなどの野菜、ケーキなどの菓子等、あらゆる飲食物が含まれる。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In this embodiment, food is described as food and drink. However, food and drink includes all food and drink such as beverages such as beer and juice, fruits such as bananas, vegetables such as tomatoes, and sweets such as cakes. It is.
まず、図1を参照して、本実施の形態に係る撮影システムについて説明する。同図に示されるように、撮影システムは、デジタルカメラ10、照明器具60、パソコン(Personal Computer)62、及び圧力センサ68を含む。また、同図には、食卓64、及び料理66が示されている。
First, the imaging system according to the present embodiment will be described with reference to FIG. As shown in the figure, the imaging system includes a
上記デジタルカメラ10、及び照明器具60は、パソコン62と接続されており、また圧力センサ68もパソコン62と接続されており、各々情報のやり取りが可能となっている。上記接続は、例えばUSB(Universal Serial Bus)や、LANケーブルなどによる有線接続や、IEEE 802b/gなどによる無線接続であっても良い。
The
上記照明器具60は、料理が用意された食卓を照明する一般的な照明器具である。従って、本実施の形態に係る撮影システムは、ストロボなどのカメラ専用の照明が不要となるため、コストを低減することを可能とする。また、この照明器具60の照明の明るさを、パソコン62により制御するようにしても良い。デジタルカメラ10は、食卓64を撮影可能な状態で照明器具60に設置される。なお、デジタルカメラ10の設置場所は被写体に影を作らないために例えばリング状の蛍光灯の場合はその内側に配置するようにしても良い。
The
また、デジタルカメラ10は、撮影した画像を示す画像データをパソコン62に送信する。パソコン62は、後述する料理種別DB(データベース)を記録しており、料理の名称の特定や、料理の記録などの処理を実行する。この処理の詳細については後にフローチャートを用いて説明する。また、パソコン62には、図示しないディスプレイなどの表示部が設けられている。圧力センサ68は、同図に示されるように椅子に設けられ、人が席に着いたことを検知し、検知した場合には、その旨をパソコン62に通知する。
Further, the
次に、図2を参照して、本実施の形態に係るデジタルカメラ10の電気系の要部構成を説明する。
Next, with reference to FIG. 2, the configuration of the main part of the electrical system of the
デジタルカメラ10は、レンズを含んで構成された光学ユニット22と、レンズの光軸後方に配設された撮像素子である電荷結合素子(以下、「CCD」という。)24と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部26と、を含んで構成されている。なお、撮像素子としてCMOSイメージセンサなどを用いても良い。
The
また、デジタルカメラ10は、入力されたアナログ信号をデジタルデータに変換するアナログ/デジタル(AD)変換器(以下、「ADC」という。)28と、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部30と、を含んで構成されている。
In addition, the
なお、デジタル信号処理部30は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ48の所定領域に直接記憶させる制御も行う。
The digital
CCD24の出力端はアナログ信号処理部26の入力端に、アナログ信号処理部26の出力端はADC28の入力端に、ADC28の出力端はデジタル信号処理部30の入力端に、各々接続されている。従って、CCD24から出力された被写体像を示すアナログ信号はアナログ信号処理部26によって所定のアナログ信号処理が施され、ADC28によってデジタル画像データ(以下、単に画像データと記すこともある)に変換された後にデジタル信号処理部30に入力される。
The output terminal of the
一方、デジタルカメラ10は、パソコン62と画像データなどの情報をやり取りするためのネットワークI/F(インタフェース)36と、デジタルカメラ10全体の動作を司るCPU(中央処理装置)40と、撮影により得られたデジタル画像データ等を記憶するメモリ48と、メモリ48に対するアクセスの制御を行うメモリインタフェース46と、を含んで構成されている。
On the other hand, the
更に、デジタルカメラ10は、デジタル画像データに対する圧縮処理及び伸張処理を行う圧縮・伸張処理回路54と、を含んで構成されている。
Furthermore, the
なお、本実施の形態のデジタルカメラ10では、メモリ48としてVRAM(Video RAM)が用いられている。
In the
デジタル信号処理部30、CPU40、メモリインタフェース46、及び圧縮・伸張処理回路54はシステムバスBUSを介して相互に接続されている。従って、CPU40は、デジタル信号処理部30及び圧縮・伸張処理回路54の作動の制御、メモリ48へのメモリインタフェース46を介したアクセスを各々行うことができる。
The digital
一方、デジタルカメラ10には、主としてCCD24を駆動させるためのタイミング信号を生成してCCD24に供給するタイミングジェネレータ32が備えられており、CCD24の駆動はCPU40によりタイミングジェネレータ32を介して制御される。
On the other hand, the
更に、デジタルカメラ10にはモータ駆動部34が備えられており、光学ユニット22に備えられた図示しない焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もCPU40によりモータ駆動部34を介して制御される。
Further, the
すなわち、本実施の形態に係るレンズ21は複数枚のレンズを有し、焦点距離の変更(変倍)が可能なズームレンズとして構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ、及び絞り駆動モータは含まれるものであり、これらのモータは各々CPU40の制御によりモータ駆動部34から供給された駆動信号によって駆動される。
In other words, the
次に、本実施の形態に係るデジタルカメラ10の撮影時における全体的な動作について簡単に説明する。
Next, an overall operation at the time of shooting of the
まず、CCD24は、光学ユニット22を介した撮像を行い、被写体像を示すR(赤)、G(緑)、B(青)毎のアナログ信号をアナログ信号処理部26に順次出力する。アナログ信号処理部26は、CCD24から入力されたアナログ信号に対して相関二重サンプリング処理等のアナログ信号処理を施した後にADC28に順次出力する。
First, the
ADC28は、アナログ信号処理部26から入力されたR、G、B毎のアナログ信号を各々12ビットのR、G、Bの信号(デジタル画像データ)に変換してデジタル信号処理部30に順次出力する。デジタル信号処理部30は、内蔵しているラインバッファにADC28から順次入力されるデジタル画像データを蓄積して一旦メモリ48の所定領域に直接格納する。
The ADC 28 converts the R, G, and B analog signals input from the analog
メモリ48の所定領域に格納されたデジタル画像データは、CPU40による制御に応じてデジタル信号処理部30により読み出され、所定の物理量に応じたデジタルゲインをかけることでホワイトバランス調整を行なうと共に、ガンマ処理及びシャープネス処理を行なって所定ビット、例えば8ビットのデジタル画像データを生成する。
Digital image data stored in a predetermined area of the memory 48 is read out by the digital
デジタル信号処理部30は、生成した所定ビットのデジタル画像データに対しYC信号処理を施して輝度信号Yとクロマ信号Cr、Cb(以下、「YC信号」という。)を生成し、YC信号をメモリ48の上記所定領域とは異なる領域に格納する。ここで生成された輝度信号Yを用いて被写体の明るさを測光する。
The digital
なお、デジタルカメラ10は、CCD24による連続的な撮像によって得られた動画像(スルー画像)をパソコン62に送信することができるものとして構成されており、パソコン62に送信する場合には、生成したYC信号を、ネットワークI/F36を介して順次送信する。これによってパソコン62の表示部にスルー画像が表示することができる。
The
ここで、パソコン62から撮影指示された場合、AE機能が働いて露出状態が設定された後、AF機能が働いて合焦制御され、その後、この時点でメモリ48に格納されているYC信号を、圧縮・伸張処理回路54によって所定の圧縮形式(例えば、JPEG形式)で圧縮した後にネットワークI/F36を介してパソコン62に送信される。
Here, when a shooting instruction is issued from the
次に、図3を用いて、パソコン62の構成について説明する。パソコン62は、CPU70と、HDD72と、RAM74と、ネットワークI/F76と、ROM78と、表示部80と、操作入力部82と、バスとを含む。
Next, the configuration of the
CPU70は、パソコン62の全体の動作を司るものであり、後述するパソコン62の処理を示すフローチャートは、CPU70により実行される。HDD72は、上述料理種別情報DBなどの料理に関する情報や、プログラム、OSなどが記録される不揮発性の記憶装置である。RAM74は、OSやプログラムやデータが展開される揮発性の記憶装置である。ネットワークI/F76は、デジタルカメラ10及び圧力センサ68に、有線或いは無線で接続するためのものであり、NICやそのドライバで構成される。ROM78は、パソコン62の起動時に動作するブートプログラムなどが記憶されている不揮発性の記憶装置である。表示部80は、パソコン62に関する情報を撮影者などのユーザに表示するものである。操作入力部82は、オペレータがパソコン62の操作や情報を入力する際に用いられるものである。バスは、情報のやりとりが行われる際に使用される。
The
次に、図4を用いて料理種別情報について説明する。この料理種別情報は上述したように料理種別DBとしてパソコン62のHDD72に予め記録されている。
Next, the dish type information will be described with reference to FIG. As described above, the dish type information is recorded in advance in the
料理種別DBは同図に示されるように、色No、輝度、及び色割合(料理に含まれる色の種類毎の料理の面積に占める割合)を含む。また、色割合には、料理名(同図では料理A、B、C)毎の割合を示す。 As shown in the figure, the dish type DB includes the color No, the luminance, and the color ratio (ratio to the area of the dish for each type of color included in the dish). The color ratio indicates a ratio for each dish name (in the figure, dishes A, B, and C).
このうち、色Noは、各色を識別するための識別情報である。輝度は色の種類をRGBの3段階の輝度で示すものである。もちろん、輝度は3段階に限るものではなく、処理の負荷や料理種別情報のデータサイズなどを考慮して段階数を定めるようにしても良い。その場合、例えばn段階とすると、色の数は、nの3乗となる。 Among these, the color No. is identification information for identifying each color. Luminance indicates the type of color with three levels of RGB. Of course, the luminance is not limited to three levels, and the number of levels may be determined in consideration of the processing load, the data size of the dish type information, and the like. In this case, for example, if there are n stages, the number of colors is n to the third power.
色割合は、各料理A、B、Cを示す画像が示す料理に含まれる色の種類毎の料理の面積に占める割合を示すものである。具体的に例えば、料理Aの場合、色No4の割合が10%、色No13の割合が30%、色No23の割合が60%となっている。 The color ratio indicates a ratio of the area of the dish for each type of color included in the dish indicated by the image indicating each dish A, B, and C. Specifically, for example, in the case of dish A, the ratio of color No. 4 is 10%, the ratio of color No. 13 is 30%, and the ratio of color No. 23 is 60%.
なお、料理は料理A、B、Cに限るものではなく、必要に応じた料理の数だけ記録されている。また、新たな料理の色割合を料理種別情報に登録することも可能である。具体的に例えば、カレーをデジタルカメラ10で撮影し、そのカレーを示す画像によりパソコン62が色割合を検出し、ユーザがその色割合の料理として、パソコン62の操作入力部82から「カレー」と入力することで、新たな料理の色割合を料理種別情報に登録することができる。
The dishes are not limited to the dishes A, B, and C, and the number of dishes as necessary is recorded. It is also possible to register the color ratio of a new dish in the dish type information. Specifically, for example, a curry is photographed by the
以下、フローチャートを用いて処理の詳細について説明する。以下に示されるフローチャートは、デジタルカメラ10、及びパソコン62により実行される処理を示している。また、以下の処理では、デジタルカメラ10からパソコン62へ上述したスルー画像が送信されているものとする。
Hereinafter, details of the processing will be described using a flowchart. The flowchart shown below shows processing executed by the
まず、図5を用いて、全体的な処理について説明する。ステップ101で、デジタルカメラ10が料理が用意された食卓を撮影する撮影処理を実行し、ステップ102で、パソコン62は撮影された料理を示す料理画像に基づき、料理の名称を特定する名称特定処理を実行する。そして、ステップ103で、パソコン62は、特定された料理の名称を含む料理情報をHDD72に記録する。
First, the overall process will be described with reference to FIG. In
上記ステップ101、及び102の詳細を説明する。まず、ステップ101の撮影処理の詳細について説明する。
Details of
図6は撮影処理(その1)を示すフローチャートである。この処理は、ユーザがパソコン62の操作入力部82に設けられた撮影スイッチを押下することで料理の撮影を行うものである。従って、ステップ201で、パソコン62は、撮影スイッチが押下されたか否かを判断し、押下されたと判断すると、ステップ202で撮影を実行する撮影実行処理を行う。この撮影実行処理の詳細については後にフローチャートを用いて説明する。
FIG. 6 is a flowchart showing the photographing process (part 1). In this process, the user photographs a dish by pressing a photographing switch provided in the
図6に示される処理により、ユーザは、食事毎にカメラを用意する必要はないため、料理を容易に記録することができる。 By the process shown in FIG. 6, the user does not need to prepare a camera for each meal, and thus can easily record a dish.
次に、図7を用いて、撮影処理(その2)について説明する。この処理は、予め定められた時刻の到来を検知することで料理の撮影を行うものである。従って、この処理は食事の時刻が定まっているユーザに有効な処理である。まず、ステップ301で、パソコン62は、予め定められた時刻が到来したか否かを判断し、到来したと判断すると、ステップ302で撮影を実行する上記撮影実行処理を行う。
Next, imaging processing (part 2) will be described with reference to FIG. In this process, a dish is photographed by detecting the arrival of a predetermined time. Therefore, this process is effective for users who have a fixed meal time. First, in
図7に示される処理により、ユーザは、食事毎にカメラを用意する必要はなく、更に予め定められた時刻が到来すると自動的に撮影されるため、料理を容易に記録することができる。また、飲食物を撮影する時刻を決めておくと、ユーザはこの時間に食事をするようにするため、毎日決まった時間に食事をするようになり、ユーザの体にかかる負担を軽減することができる。 With the process shown in FIG. 7, the user does not have to prepare a camera for each meal, and is automatically photographed when a predetermined time arrives, so that the dish can be easily recorded. In addition, if the time for photographing food and drink is determined, the user will eat at this time, so that the user will eat at a fixed time every day, reducing the burden on the user's body. it can.
次に、図8を用いて、撮影処理(その3)について説明する。この処理は、食卓に食器が存在することを検知され、かつ食卓で人が食事をする際に人が席に着いたことを検知されると食卓を撮影する処理である。 Next, imaging processing (part 3) will be described with reference to FIG. This process is a process of photographing the table when it is detected that tableware is present on the table and when it is detected that a person has taken a seat at the table.
従って、まずステップ401で、パソコン62は、料理存在判定処理を行う。この処理は後述するように料理が食卓に存在するか否かを判定する処理である。
Therefore, first, in
次のステップ402で、パソコン62は、料理が存在したか否かを判断し、料理が存在しない場合には、再びステップ401の処理を行う。一方、料理が存在した場合には、ステップ403で、圧力センサ68により圧力が検知されたか否かを判断する。圧力が検知されない場合には、再びステップ401の処理を行う。一方、圧力が検知された場合には、パソコン62は、ステップ404で、撮影実行処理を行う。
In the next step 402, the
図8に示される処理により、ユーザは、食事毎にカメラを用意する必要はなく、更に料理が用意され、かつ椅子に座ると自動的に撮影されるため、料理を容易に記録することができる。また、料理を食べるとき以外に座っても、料理が検出されないために料理が撮影されることはない。 With the processing shown in FIG. 8, the user does not need to prepare a camera for each meal, and since the dish is prepared and is automatically taken when sitting on a chair, the dish can be easily recorded. . Also, even if the person sits other than when eating a dish, the dish is not photographed because the dish is not detected.
上記ステップ401で行われる料理存在判定処理を、図9のフローチャート及び図10を用いて説明する。まず、パソコン62は、図10(A)に示されるような料理が存在しない食卓から、予め食卓の色を記録しておく。
The dish presence determination process performed in
そして、ステップ501で、パソコン62は、食卓の色と異なる色が食卓上に存在するか否か判断し、肯定判断した場合(図10(B)参照)には、ステップ502で料理が存在すると判定する。そして、パソコン62は、ステップ503で、食卓の色以外の色を検出し(図10(C)参照)、ステップ504で食卓の色以外の色が連続的に存在する固まりを料理として検出する。このとき、図10(D)に示されるように、各料理に対して番号を与えるようにしても良い。
In step 501, the
一方、ステップ501で否定判断した場合、パソコン62は、ステップ505で料理が存在しないと判定する。
On the other hand, if a negative determination is made in step 501, the
なお、食卓の色と異なる色が存在することは、料理だけではなく、箸、スプーンなどでもあり得るため、その場合も料理が存在すると判定される。また、上述した料理存在判定処理では、画像を用いて料理が存在するか否かを判断しているが、例えば食器にICタグを取り付けておき、そのICタグとパソコン62とがやり取りを行うことで、料理が存在するか否かを判断するようにしても良い。
It should be noted that the presence of a color different from the color of the table can be not only cooking, but also chopsticks, spoons, etc., and in this case as well, it is determined that there is cooking. In the dish presence determination process described above, it is determined whether a dish exists using an image. For example, an IC tag is attached to tableware, and the IC tag and the
次に、上記図6、図7、図8で説明したフローチャートで実行される撮影実行処理を、図11、図12のフローチャートを用いて説明する。 Next, photographing execution processing executed in accordance with the flowcharts described with reference to FIGS. 6, 7, and 8 will be described with reference to the flowcharts in FIGS.
まず、撮影実行処理(その1)を、図11のフローチャートを用いて説明する。ステップ601で、パソコン62は、デジタルカメラ10に撮影を指示する。撮影が指示されたデジタルカメラ10は、ステップ602で撮影する。そして、ステップ603で画像データの送受信が行われる。この処理は、デジタルカメラ10が撮影により得られた画像データをパソコン62に送信し、パソコン62がその画像データを受信する処理である。
First, photographing execution processing (part 1) will be described with reference to the flowchart of FIG. In
次に、撮影実行処理(その2)を、図12のフローチャートを用いて説明する。この処理は、撮影時における照明器具60の照明の明るさを、予め定められた明るさとなるように制御する処理である。
Next, photographing execution processing (part 2) will be described using the flowchart of FIG. This process is a process for controlling the brightness of the
まず、ステップ701で、パソコン62は、照明器具60に照明を予め定められた明るさとする指示を出力する。この明るさは、デジタルカメラ10の性能や、食卓の周りの環境などにより定まるが、撮影で得られる画像が料理の種別を判定可能な明るさとする。従って、予め定められた明るさは、一般的に通常よりも明るさよりも明るいものとなる。また、予め定められた明るさは、上記料理種別情報を記録する際に、料理を撮影した明るさと同じものとする。これにより、明るさの差が生じないため、料理の特定を正確に行うことのできる画像を得ることができる。
First, in step 701, the
次のステップ702で、パソコン62は、デジタルカメラ10に撮影を指示する。撮影が指示されたデジタルカメラ10は、ステップ703で撮影する。そして、ステップ704で画像データの送受信が行われる。その後、ステップ705で、パソコン62は、照明器具60に照明を通常の明るさとする指示を出力する。このように、通常の明るさに戻すことにより、ユーザの食事の雰囲気を壊さないようにすることができる。また、消費電力も低減することができる。
In the next step 702, the
なお、照明器具60が蛍光灯などのようにフリッカーが発生する照明の場合は、同じ露光時間でもCCD24が受ける光量に差が出てくる。その場合の蛍光灯の制御例を、図13のフローチャートを用いて説明する。ステップ801で、まず蛍光灯を消灯し、ステップ802で、蛍光灯の明るさを示す変数Lを初期化し、スルー画像を用いて、ステップ803で、予め記録されている食卓の輝度と一致するか否か判断する。一致している場合は、処理を終了し、暗い場合は、ステップ804で、LがLmax、すなわち、蛍光灯の最大光量か否かを判断する。
Note that when the
ステップ804で、LがLmaxと判断された場合には、処理を終了し、否定判断された場合には、光量を1つ上げて再びステップ803の処理を実行する。
If it is determined in
以上の処理は、図14に示されるように、露光開始するタイミングをフリッカーと同期している交流電源の位相に合せて開始させるものであり、この図14には、上記交流電源、蛍光灯のフリッカー、及び露光時間が示されており、位相が0°の時に開始した場合の一例を示している。このようにすることで、露光時と撮影時の蛍光灯フリッカーによる輝度バラツキをなくすことができる。 As shown in FIG. 14, the above process starts the exposure in accordance with the phase of the AC power source synchronized with the flicker. FIG. 14 shows the above-mentioned AC power source and fluorescent lamp. Flicker and exposure time are shown, and an example is shown in which the phase starts at 0 °. By doing so, it is possible to eliminate luminance variations due to fluorescent flicker at the time of exposure and photographing.
なお、蛍光灯の光量を上げる場合、F値とシャッター時間は変えないようにする。このようにして料理の存在しないテーブルの輝度を基準色サンプルとし、撮影画像同様の明るさになるように蛍光灯の明るさを決定することができる。 Note that the F value and the shutter time are not changed when the light quantity of the fluorescent lamp is increased. In this way, the brightness of the fluorescent lamp can be determined so that the brightness of the table where there is no dish is the reference color sample and the brightness is the same as that of the photographed image.
次に、上記図5で説明したステップ102の名称特定処理について説明する。まず、図15に示される名称特定処理に係る模式図を用いて概要を説明する。図15(A)は、料理種別DBに既に登録している料理の面積や色の割合を示す画面である。同図に示されるように、料理の面積や、その面積に占める赤や橙の割合が登録されている。そして、図15(B)に示されるように、撮影された料理画像から、その料理画像に示される料理の面積、及び料理に含まれる色の種類毎の面積に占める割合を検出し、料理種別DBを参照して、図15(C)に示されるように、料理の名称を特定する。また、料理種別DBに登録されていない新たな料理の場合は、図15(D)に示されるように、ユーザにより料理の名称を入力することとなる。 Next, the name specifying process in step 102 described with reference to FIG. 5 will be described. First, an outline will be described with reference to a schematic diagram related to the name specifying process shown in FIG. FIG. 15A is a screen showing the area and color ratio of dishes already registered in the dish type DB. As shown in the figure, the area of the dish and the ratio of red and orange in the area are registered. Then, as shown in FIG. 15B, the area of the dish shown in the dish image and the ratio of the area for each color type included in the dish are detected from the photographed dish image, and the dish type With reference to the DB, the name of the dish is specified as shown in FIG. In addition, in the case of a new dish that is not registered in the dish type DB, the name of the dish is input by the user as shown in FIG.
この名称特定処理を、図16のフローチャートを用いて説明する。この処理は、パソコン62により実行される処理である。まず、ステップ901で、画素数から料理の面積を検出し、ステップ902で、料理に含まれる色をRGBに分解する。そして、ステップ903で各画素の輝度の段階を検出することで、各画素の色を特定する。各画素の色の特定とは、各画素毎に、図4で説明した料理種別DBの色Noを特定することを意味する。
This name specifying process will be described with reference to the flowchart of FIG. This process is a process executed by the
次のステップ904で、このように特定された各色の画素数(面積)を求める。そして、ステップ905で、料理種別DBを参照し、類似の度合いが所定度合い以上で、かつ最も高いものを当該料理の名称として特定する。
In the
このステップ905の処理を、図17を用いて詳細に説明する。図17は、図4で説明した料理種別DBと、撮影された料理画像の料理の面積と、その料理に含まれる色の種類毎の面積に占める割合とを比較することで、料理の名称を特定することを示す図である。
The processing in
まず、撮影した料理の色割合を示す撮影画像の欄には、色No0が35%、色No1が5%、色No9が5%、色No21が55%であることが示されている。この色割合から、各料理A、B、Cの色割合との差分を求める。その差分の合計は、同図に示されるように、料理Aが200、料理Bが200、料理Cが20となっている。従って、料理Cの差分が最も小さいので、類似の度合いが最も高いと言える。これにより、撮影された料理画像の料理の名称を、料理Cと特定する。このように、本実施の形態では、類似の度合いを差分の合計としている。 First, the column of the photographed image showing the color ratio of the photographed food shows that color No0 is 35%, color No1 is 5%, color No9 is 5%, and color No21 is 55%. From this color ratio, the difference with the color ratio of each dish A, B, C is obtained. The total difference is 200 for dish A, 200 for dish B, and 20 for dish C, as shown in FIG. Therefore, since the difference of the dish C is the smallest, it can be said that the degree of similarity is the highest. Thereby, the name of the dish of the photographed dish image is specified as dish C. Thus, in the present embodiment, the degree of similarity is the sum of differences.
上述した処理において、RGB毎の輝度を求めることや、料理種別DBを参照することは、画像処理としては比較的処理の負荷がかからない処理であるため、パソコン62に負荷をかけずに料理の名称を特定することができる。 In the above-described processing, obtaining the luminance for each RGB or referring to the dish type DB is a process that does not require a relatively large processing load as an image process. Can be specified.
上記処理により特定された料理の名称は、図5で説明したステップ103で、図18に示されるようにHDD72に記録される。図18に示されるように、記録される内容は、日付、時刻、及び料理である。
The name of the dish specified by the above process is recorded in the
なお、名称特定処理においては、差分の合計に閾値を設けることで、全く異なる料理の名称を特定することを回避できる。具体的には、差分の合計の閾値を例えば10とし、それ以上の場合は、類似の度合いが最も高い料理であっても、その料理とは特定しない。 In the name specifying process, it is possible to avoid specifying a completely different dish name by providing a threshold for the total difference. Specifically, the threshold of the sum of differences is set to 10, for example, and if it is more than that, even the dish having the highest degree of similarity is not specified as the dish.
なお、以上説明した各フローチャートの処理の流れは一例であり、本発明の主旨を逸脱しない範囲内で処理順序を入れ替えたり、新たなステップを追加したり、不要なステップを削除したりすることができることは言うまでもない。 The processing flow of each flowchart described above is an example, and the processing order may be changed, new steps may be added, or unnecessary steps may be deleted without departing from the scope of the present invention. Needless to say, you can.
以上説明したように、本実施の形態に係る撮影システムでは、照明器具60にデジタルカメラ10を設置することで、カメラを取り出して撮影するという行為が必要なくなるため、ユーザの負荷が軽減される。また食卓上の照明にカメラを設置することにより、常に順光となり、ストロボを使用する必要がない。また照明の通常の明るさを撮影に適さない明るさにしている場合には、撮影時のみ照明を予め定められた撮影に明るさにすることができる。
As described above, in the imaging system according to the present embodiment, by installing the
更に、新たな料理は名称を入力することで料理種別DBに記録され、その後は画像から自動的に検出できるようになるため、ユーザが写真を見て料理名称を記入する必要がなくなる。 Furthermore, since a new dish is recorded in the dish type DB by inputting a name and can be automatically detected from the image thereafter, it is not necessary for the user to enter the dish name by looking at the picture.
また、以上説明した実施の形態では、料理を飲食物として説明したが、飲料、果物、野菜、菓子等の飲食物も色を有するため、本実施の形態を適用できることは言うまでもない。 Moreover, in embodiment described above, although cooking was demonstrated as food and drink, since foods and drinks, such as a drink, fruit, vegetables, and confectionery, also have a color, it cannot be overemphasized that this Embodiment can be applied.
10 デジタルカメラ
40、70 CPU
48 メモリ
60 照明器具
62 パソコン
64 食卓
66 料理
68 圧力センサ
72 HDD
10
48
Claims (5)
前記食卓を撮影可能な状態で前記照明手段に設置された撮像手段と、
前記撮像手段により撮影された飲食物を示す飲食物画像に基づき、前記飲食物の名称を特定する特定手段と、
前記特定手段により特定された前記飲食物の名称を含む飲食物情報を記録する飲食物情報記録手段と、
を有する撮影システム。 Lighting means for illuminating a table with food and drinks;
Imaging means installed in the lighting means in a state where the table can be photographed;
Based on the food and drink image showing the food and drink taken by the imaging means, a specifying means for specifying the name of the food and drink,
Food and beverage information recording means for recording food and drink information including the name of the food and drink specified by the specifying means;
A shooting system.
前記撮像手段は、前記検知手段により時刻の到来が検知されると、前記食卓を撮影する請求項1に記載の撮影システム。 It further has time detection means for detecting the arrival of a predetermined time,
The imaging system according to claim 1, wherein when the arrival of time is detected by the detection unit, the imaging unit captures the table.
前記食卓で人が食事をする際に人が席に着いたことを検知する着席検知手段と、
を更に有し、
前記撮像手段は、前記食器検知手段により前記食卓に食器が存在することを検知され、かつ前記着席検知手段により前記食卓で人が食事をする際に人が席に着いたことを検知されると前記食卓を撮影する請求項1又は請求項2に記載の撮影システム。 Tableware detection means for detecting the presence of tableware on the table;
Seating detection means for detecting that a person has been seated when a person eats at the table;
Further comprising
When the imaging means detects that the tableware is present on the table by the tableware detection means, and the seating detection means detects that a person has taken a seat when eating at the table The imaging system according to claim 1, wherein the table is photographed.
前記特定手段は、前記撮像手段により撮影された飲食物画像から、該飲食物画像に示される飲食物の面積、及び該飲食物に含まれる色の種類毎の前記面積に占める割合を検出し、前記飲食物種別情報記録手段に記録された飲食物種別情報を参照することにより、類似の度合いが所定度合い以上で、かつ最も高いものを当該飲食物の名称として特定する請求項1から請求項3のいずれか1項に記載の撮影システム。 The food / beverage type information recording means in which the ratio of the food / beverage to the area of the food / beverage displayed in the food / beverage image and the food / beverage type information indicating the food / beverage name are recorded in advance. And
The identification means detects an area of the food and drink shown in the food and drink image, and a ratio of the area for each type of color included in the food and drink from the food and drink image photographed by the imaging means, 4. The food and beverage type information recorded in the food and beverage type information recording means is used to identify the highest degree of similarity as the name of the food and beverage with the highest degree of similarity. The imaging system according to any one of the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007027901A JP2008193570A (en) | 2007-02-07 | 2007-02-07 | Photographing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007027901A JP2008193570A (en) | 2007-02-07 | 2007-02-07 | Photographing system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008193570A true JP2008193570A (en) | 2008-08-21 |
Family
ID=39753203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007027901A Pending JP2008193570A (en) | 2007-02-07 | 2007-02-07 | Photographing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008193570A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013124813A1 (en) * | 2012-02-21 | 2013-08-29 | Julien Burlat Vof | Photo studio for use in a kitchen |
WO2014168177A1 (en) * | 2013-04-09 | 2014-10-16 | 国立大学法人 東京大学 | Image processing device |
US9799232B2 (en) | 2013-04-18 | 2017-10-24 | Sony Corporation | Information processing apparatus and storage medium |
-
2007
- 2007-02-07 JP JP2007027901A patent/JP2008193570A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013124813A1 (en) * | 2012-02-21 | 2013-08-29 | Julien Burlat Vof | Photo studio for use in a kitchen |
BE1020398A4 (en) * | 2012-02-21 | 2013-09-03 | Julien Burlat Vof | PHOTO STUDIO FOR USE IN A KITCHEN. |
WO2014168177A1 (en) * | 2013-04-09 | 2014-10-16 | 国立大学法人 東京大学 | Image processing device |
JP2014203387A (en) * | 2013-04-09 | 2014-10-27 | 国立大学法人 東京大学 | Image processing apparatus and program |
US10331953B2 (en) | 2013-04-09 | 2019-06-25 | The University Of Tokyo | Image processing apparatus |
US9799232B2 (en) | 2013-04-18 | 2017-10-24 | Sony Corporation | Information processing apparatus and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI444041B (en) | Image processing apparatus, image processing method, and storage medium thereof | |
US8224036B2 (en) | Image editing apparatus, method for controlling image editing apparatus, and recording medium storing image editing program | |
JP4008778B2 (en) | Imaging device | |
US20040252217A1 (en) | System and method for analyzing a digital image | |
TWI448151B (en) | Image capture apparatus, image capture method and computer readable medium | |
US20050046703A1 (en) | Color calibration in photographic devices | |
JP2008141740A (en) | Apparatus, method and program for photography | |
TW201041378A (en) | Image capturing device suitable for photographing a person | |
JP2001211362A (en) | Composition assisting frame selecting method for digital camera and digital camera | |
JP4200428B2 (en) | Face area extraction method and apparatus | |
EP1542453A1 (en) | Image pickup system | |
JP2008193570A (en) | Photographing system | |
US20040201726A1 (en) | Digital camera and method for balancing color in a digital image | |
US7701489B1 (en) | Method and apparatus for color correction | |
JP3630149B2 (en) | Imaging apparatus, white balance control method, and white balance control program | |
US8311325B2 (en) | Method of detecting and rectifying red-eyes automatically when taking photos | |
KR100723060B1 (en) | Portable terminal having intensity of radiation control function of flash | |
US8227738B2 (en) | Image capture device for creating image data from a plurality of image capture data, and recording medium therefor | |
JP5282480B2 (en) | Electronic camera | |
JP2003309854A (en) | Digital camera | |
JP4887680B2 (en) | White balance adjusting device and white balance adjusting method | |
JP2003143623A (en) | Method and apparatus for photographing image | |
JP2014197162A (en) | Imaging device | |
JP5088189B2 (en) | Camera device, photographing auxiliary light control method, photographing auxiliary light control program | |
JP2008219805A (en) | Photographing apparatus and photographing method |