JP2009089046A

JP2009089046A - Image data process method and photographing device

Info

Publication number: JP2009089046A
Application number: JP2007256329A
Authority: JP
Inventors: Nobuaki Takeshita; 暢明武下
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-09-28
Filing date: 2007-09-28
Publication date: 2009-04-23

Abstract

PROBLEM TO BE SOLVED: To mutually classify image data stored in record media with image data to be photographed by the collation image data in a face area, whereby the same person is stored by grouping without limiting the number of sorts, so that a search operation of a specific person after stored is simplified. SOLUTION: Since image data are grouped in response to a photographing subject upon photographing, a desired image is easy to search upon playback. Further, when a person is photographed, in many cases, a user's target subject person is the same person. For this reason, when a plurality of users own a single digital camera 10 jointly, the images can be automatically distributed for storing. COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、撮像した画像データを記憶媒体に記憶する画像データ処理方法及び撮影装置に関する。 The present invention relates to an image data processing method and a photographing apparatus that store captured image data in a storage medium.

近年、ＤＳＣ（デジタル・スチル・カメラ）を代表とする撮影装置では、記憶媒体（内臓メモリ又は着脱可能な記録メディア）の大容量化に伴い、撮影した画像データを含め、１枚の記録メディアに大量の画像データ（撮影単位としても大量の撮影枚数）が保存可能である。 In recent years, in a photographing apparatus represented by a DSC (digital still camera), as a storage medium (an internal memory or a removable recording medium) has been increased in capacity, a single recording medium including photographed image data can be used. A large amount of image data (a large number of shots as a shooting unit) can be saved.

ここで、撮影装置には撮影した画像を表示再生する表示装置が設けられているのが一般的である。前記大容量記録メディアから、所望の画像データ（所望の画像コマ）を表示装置に表示する場合、最大は記憶されている画像コマ分のコマ送りが必要となる。 Here, the image capturing apparatus is generally provided with a display device for displaying and reproducing the captured image. When desired image data (desired image frames) is displayed on the display device from the large-capacity recording medium, it is necessary to advance the frame for the stored image frames at the maximum.

また、表示装置では、サムネイル画像として、一度に複数コマ分の画像が表示可能であるものの、少なからず所望の画像を検索するのは煩雑な作業となっている。 Further, although the display device can display images for a plurality of frames at a time as thumbnail images, it is a complicated task to search for a desired image.

これは、ＰＣ（パーソナル・コンピュータ）へ画像データを転送した上でサムネイル画像を表示したとしても同様に検索作業は煩雑となる。 Even if the thumbnail image is displayed after the image data is transferred to a PC (personal computer), the search operation is similarly complicated.

関連技術として、特許文献１には、カメラ撮影時において、予め対象者の画像をメモリ上に登録しておき、本撮影時に、登録人物が被写体画像中に出現した場合には、撮影者に対して案内を行うことが提案されている。特許文献１は、被写体に応じた撮影画像の分類は行っているが、撮影し終え、かつ保存されている画像を対象としていない。 As a related technique, in Patent Document 1, an image of a subject is registered in a memory in advance at the time of camera shooting, and when a registered person appears in a subject image at the time of main shooting, It has been proposed to provide guidance. Japanese Patent Application Laid-Open No. 2004-228561 classifies captured images according to the subject, but does not target images that have been captured and stored.

また、特許文献２には、登録した参照画像と撮影画像の人物相関を取ることで、画像の分類を行うことが提案されている。特許文献２は、登録した参照画像を基準とした分類のみであり、所謂分類幅が狭い。 Patent Document 2 proposes to classify images by taking a person correlation between a registered reference image and a captured image. Patent Document 2 is only classified based on registered reference images, and the so-called classification range is narrow.

さらに、特許文献３には、撮影画像について、ピントが合っているかどうかの判定を自動で行い、ピントが合っていない場合には、メディアへの記録のする／しないを選択できることが開示されている。特許文献３は、ピントの判定（ピントが合っているか否かの分類）を行っているのみである。
特開２００５−３４１０１７公報特開２００５−３２３２２７公報特開２００６−２５３７６１公報 Further, Patent Document 3 discloses that it is possible to automatically determine whether or not a photographed image is in focus, and to select whether or not to record on a medium when the image is not in focus. . Patent Document 3 only performs focus determination (classification of whether or not focus is achieved).
JP-A-2005-341017 JP 2005-323227 A JP 2006-253761 A

しかしながら、特許文献１〜特許文献３は、それぞれ、被写体に応じた撮影画像の分類、登録した参照画像を基準とした分類、ピントが合っているか否かの分類、を行っているが、いずれにおいても、記録メディアに記憶されている画像データ（画像コマ）の検索のための作業の煩雑さを解消できるものではない。 However, Patent Documents 1 to 3 each classify a photographed image according to a subject, classify based on a registered reference image, and classify whether or not focus is achieved. However, the complexity of the work for searching for image data (image frames) stored in the recording medium cannot be solved.

本発明は上記事実を考慮し、記録メディアに記憶された画像データと、撮影される画像データとを相互に顔領域の画像データの照合によって分類することで、分類数が制限されることなく、同一人物をグループ化して記憶することで、記憶後の特定の人物の検索作業を簡便化することができる画像データ処理方法及び撮影装置を得ることが目的である。 In consideration of the above fact, the present invention classifies image data stored in a recording medium and captured image data by collating face image data with each other without limiting the number of classifications. It is an object of the present invention to obtain an image data processing method and a photographing apparatus capable of simplifying a search operation for a specific person after storage by grouping and storing the same person.

請求項１に記載の発明は、撮像手段により被写体を撮像する撮像機能、並びに画像データに基づいて表示装置へ画像を表示再生する再生機能を持つ撮影装置に用いられ、前記撮像により得た前記被写体の画像データを、記憶媒体に記憶するための画像データ処理方法であって、前記撮像手段が撮像した前記画像データから人物の顔に相当する領域を抽出し、抽出した顔領域の画像データに基づいて、同一性を判別し、判別した同一人物単位で、それぞれ識別可能な状態で前記記憶媒体に記憶すると共に、少なくとも前記同一人物単位でグループ化して、前記記憶媒体に画像データを記憶することを特徴としている。 The invention described in claim 1 is used in an imaging device having an imaging function for imaging a subject by an imaging means and a playback function for displaying and reproducing an image on a display device based on image data, and the subject obtained by imaging An image data processing method for storing the image data in a storage medium, wherein an area corresponding to a human face is extracted from the image data captured by the imaging means, and based on the extracted image data of the face area Determining identity, storing the same in the identified person unit in the storage medium in an identifiable state, and grouping at least the same person unit and storing the image data in the storage medium. It is a feature.

請求項１記載の発明によれば、最初から決めるのではなく、撮影しながら相互の同一人物を検索しグループ化するため、分類数に制限がなく、記憶媒体への記憶後の特定の人物の検索が容易となる。 According to the first aspect of the present invention, since the same person is searched and grouped while photographing instead of deciding from the beginning, there is no limit to the number of classifications, and a specific person after storage in the storage medium Search becomes easy.

請求項２に記載の発明は、前記請求項１に記載の発明において、前記記憶媒体が、着脱可能かつ複数の記録メディアを含み、前記グループ単位で、前記複数の記録メディアのいずれか１つに集約して画像データを記憶することを特徴としている。 According to a second aspect of the present invention, in the first aspect of the present invention, the storage medium includes a plurality of detachable recording media, and the group unit includes any one of the plurality of recording media. It is characterized by storing image data in an aggregated manner.

請求項２記載の発明によれば、記憶媒体には、撮影装置から着脱可能な記録メディアを含んでおり、例えば、複数の記録メディアが同時に装着されている場合、グループ単位で、前記複数の記録メディアのいずれか１つに集約して画像データを記憶する。この場合、既に記憶されている同一のグループ単位の画像データが、装着された２以上の記録メディアに存在する場合、装着された時点でいずれかに集約する。 According to the second aspect of the present invention, the storage medium includes a recording medium that is detachable from the photographing apparatus. For example, when a plurality of recording media are loaded at the same time, the plurality of recording media are grouped. The image data is stored in one of the media. In this case, when the same group-unit image data that has already been stored exists in two or more mounted recording media, they are collected into one at the time of mounting.

請求項３に記載の発明は、撮像手段により被写体を撮像し、当該撮像により得た前記被写体の画像データを、記憶媒体に記憶する撮像機能、並びに画像データに基づいて表示装置へ画像を表示再生する再生機能を持つ撮影装置であって、前記撮像手段が撮像した前記画像データから人物の顔に相当する領域を抽出する顔領域抽出手段と、前記顔領域抽出手段により抽出した顔領域の画像データに基づいて、同一性を判別する判別手段と、前記判別手段で判別した同一人物単位で、それぞれ識別可能な状態で前記記憶媒体に記憶する記憶制御手段と、を有している。 According to a third aspect of the present invention, the subject is imaged by the imaging means, and the image data of the subject obtained by the imaging is stored in a storage medium, and the image is displayed and reproduced on the display device based on the image data. An image capturing apparatus having a reproducing function for extracting a region corresponding to a person's face from the image data captured by the image capturing unit, and image data of the face region extracted by the face region extracting unit And a storage control means for storing in the storage medium in an identifiable state in units of the same person determined by the determination means.

請求項３記載の発明によれば、撮像手段によって被写体が撮像されると、この撮像された被写体の画像データは、記憶媒体に記憶される。 According to the third aspect of the present invention, when the subject is imaged by the imaging means, the image data of the imaged subject is stored in the storage medium.

顔領域抽出手段では、記憶媒体に記憶する画像データの中から顔を抽出し、既に記憶されている画像データ、或いは次に撮影されて記憶される画像データとの比較により、同一性を判別する（判別手段）。 The face area extraction means extracts a face from the image data stored in the storage medium, and determines the identity by comparing with the image data that has already been stored or image data that has been captured and stored next time. (Determination means).

この判別手段で判別した結果、同一人物の場合は、それぞれを識別可能な状態で記憶媒体に記憶する。 As a result of discrimination by this discrimination means, in the case of the same person, each is stored in a storage medium in an identifiable state.

このように、最初から決めるのではなく、撮影しながら相互に同一性を判別していくため、分類数に制限がなく、記憶媒体への記憶後の特定の人物の検索が容易となる。 In this way, since identity is determined while photographing rather than determining from the beginning, there is no limit to the number of classifications, and it becomes easy to search for a specific person after storage in a storage medium.

請求項４に記載の発明は、前記請求項３に記載の発明において、前記記憶媒体が、着脱可能かつ複数の記録メディアを含み、前記記憶制御手段では、少なくとも前記同一人物単位でグループ化して、グループ単位で、前記複数の記録メディアのいずれか１つに集約して画像データを記憶することを特徴としている。 The invention according to claim 4 is the invention according to claim 3, wherein the storage medium includes a plurality of detachable recording media, and the storage control means groups at least the same person unit, The image data is stored in a group unit on any one of the plurality of recording media.

請求項４記載の発明によれば、記憶媒体には、撮影装置から着脱可能な記録メディアを含んでおり、例えば、複数の記録メディアが同時に装着されている場合、グループ単位で、前記複数の記録メディアのいずれか１つに集約して画像データを記憶する。この場合、既に記憶されている同一のグループ単位の画像データが、装着された２以上の記録メディアに存在する場合、装着された時点でいずれかに集約する。 According to a fourth aspect of the present invention, the storage medium includes a recording medium that is detachable from the photographing apparatus. For example, when a plurality of recording media are loaded at the same time, the plurality of recording media are grouped. The image data is stored in one of the media. In this case, when the same group-unit image data that has already been stored exists in two or more mounted recording media, they are collected into one at the time of mounting.

請求項５に記載の発明は、前記請求項４に記載の発明において、前記記憶制御手段が、前記グループを指定することで、前記複数の記録メディア間での切取又は複製、並びに貼付を含む画像データ移管処理を実行することを特徴としている。 According to a fifth aspect of the present invention, in the invention according to the fourth aspect, the storage control means designates the group and thereby includes an image including cutting or duplicating between the plurality of recording media and pasting. It is characterized by executing data transfer processing.

請求項５に記載の発明によれば、例えば、記憶メディアに、以前に撮影、或いは別の撮影装置で撮影、或いはＰＣ等を介して保存された画像データが含まれている場合がある。このとき、当該記録メディア並びに別の記録メディアを装着し、グループを指定することで、画像データ移管処理を実行し、必要に応じて切取、複製、並びに貼付を行うことで、同一人物を単一のグループに集約することができる。 According to the fifth aspect of the present invention, for example, the storage medium may include image data that was previously captured, captured by another capturing device, or stored via a PC or the like. At this time, by mounting the recording medium and another recording medium, specifying the group, the image data transfer process is executed, and if necessary, the same person can be identified by cutting, duplicating, and pasting. Can be aggregated into groups.

請求項６に記載の発明は、前記請求項４に記載の発明において、前記顔抽出手段による顔抽出処理が、前記撮像手段以外で撮像されて前記記録メディアに記憶された画像データを対象として実行され、前記記憶制御手段が、当該顔抽出により前記同一人物と判断された画像データを集約するように複数の記録メディア間で切取又は複製、並びに貼付を含む画像データ移管処理を実行することを特徴としている。 According to a sixth aspect of the present invention, in the fourth aspect of the invention, the face extraction processing by the face extraction unit is performed on image data captured by other than the imaging unit and stored in the recording medium. The storage control means executes image data transfer processing including cutting or duplicating between a plurality of recording media and pasting so as to aggregate the image data determined to be the same person by the face extraction. It is said.

請求項６に記載の発明によれば、例えば、撮影装置に撮像手段以外で撮像されて前記複数の記録メディアが装着された場合、自動的に顔抽出により前記同一人物と判断された画像データを集約するように複数の記録メディア間で切取又は複製、並びに貼付を含む画像データ移管処理を実行する。 According to the sixth aspect of the present invention, for example, when the plurality of recording media are mounted on the image capturing apparatus other than the image capturing unit and the plurality of recording media are mounted, the image data automatically determined as the same person by face extraction is obtained. Image data transfer processing including cutting or copying and pasting between a plurality of recording media so as to be aggregated is executed.

請求項７に記載の発明は、請求項３に記載の発明〜請求項６のいずれか１項記載の発明において、前記記録メディアには、予め当該記録メディアを優先的に使用する人物の比較照合用の顔領域の画像データが記憶され、前記判別手段が、前記顔抽出手段で抽出された顔領域の画像データと照合することで判別することを特徴としている。 The invention according to claim 7 is the invention according to any one of claims 3 to 6, wherein the recording medium is compared with a person who preferentially uses the recording medium in advance. The image data of the face area for use is stored, and the discriminating means discriminates by comparing with the image data of the face area extracted by the face extracting means.

請求項７に記載の発明によれば、記録メディアを優先して使用する人物の顔領域の画像データを照合用として記憶しておくことで、この記録メディアを装着して撮影した場合、少なくとも記録メディアを優先して使用する人物を含む画像データが１つのグループに集約されて記憶されるため、検索が容易となる。 According to the seventh aspect of the present invention, when image data of a face area of a person who preferentially uses a recording medium is stored for comparison, at least recording is performed when the recording medium is mounted and photographed. Since image data including persons who use media preferentially is collected and stored in one group, searching is easy.

以上説明した如く本発明では、記録メディアに記憶された画像データと、撮影される画像データとを相互に顔領域の画像データの照合によって分類することで、分類数が制限されることなく、同一人物をグループ化して記憶することで、記憶後の特定の人物の検索作業を簡便化することができるという優れた効果を有する。 As described above, according to the present invention, the image data stored in the recording medium and the captured image data are classified by collating the image data of the face area with each other, so that the number of classifications is the same without any limitation. By storing a group of persons, it is possible to simplify the search operation for a specific person after storage.

図１には、本実施の形態に係るデジタルカメラ１０の外観上の構成を示している。 FIG. 1 shows an external configuration of a digital camera 10 according to the present embodiment.

図１（Ａ）に示すように、デジタルカメラ１０の正面には、被写体像を結像させるためのレンズ１２と、撮影する被写体の構図を決定するために用いられるファインダ１４と、撮影時に必要に応じて被写体に照射する光を発するストロボ５４と、が備えられている。また、図１（Ｂ）に示すように、デジタルカメラ１０の上面には、撮影を実行する際に撮影者によって押圧操作されるレリーズボタン（所謂シャッター）１６Ａと、電源スイッチ１６Ｂと、が備えられている。 As shown in FIG. 1A, on the front side of the digital camera 10, a lens 12 for forming a subject image, a finder 14 used for determining the composition of the subject to be photographed, and necessary for photographing. And a strobe 54 that emits light for irradiating the subject. Further, as shown in FIG. 1B, the upper surface of the digital camera 10 is provided with a release button (so-called shutter) 16A that is pressed by a photographer when shooting, and a power switch 16B. ing.

本実施の形態に係るレリーズボタン１６Ａは、中間位置まで押下される状態（以下、「半押し状態」という。）と、当該中間位置を超えた最終押下位置まで押下される状態（以下、「全押し状態」という。）と、の２段階の押圧操作が検出可能に構成されている。 The release button 16A according to the present embodiment is in a state of being pressed down to an intermediate position (hereinafter referred to as “half-pressed state”) and in a state of being pressed down to a final pressed position that exceeds the intermediate position (hereinafter referred to as “all It is configured to be able to detect a two-stage pressing operation called “pressed state”.

また、本実施の形態に係るデジタルカメラ１０では、レリーズボタン１６Ａを半押し状態にすることによりＡＥ（ＡｕｔｏｍａｔｉｃＥｘｐｏｓｕｒｅ、自動露出）機能が働いて露出状態（シャッタースピード、絞り状態）が設定された後、ＡＦ（ＡｕｔｏＦｏｃｕｓ、自動合焦）機能が働いて合焦制御され、その後、引き続き全押し状態にすると露光（撮影）が行われる。 In the digital camera 10 according to the present embodiment, after the release button 16A is pressed halfway, the AE (Automatic Exposure) function is activated and the exposure state (shutter speed, aperture state) is set. , AF (Auto Focus, automatic focusing) function works to control focusing, and then exposure (photographing) is performed when it is fully pressed.

一方、図１（Ｃ）に示すように、デジタルカメラ１０の背面には、前述のファインダ１４の接眼部と、撮影によって得られたデジタル画像データにより示される被写体像や各種メニュー画面、メッセージ等を表示するための液晶ディスプレイ（以下、「ＬＣＤ」という。）１８と、撮影を行うモードである撮影モード及び撮影によって得られたデジタル画像データにより示される被写体像をＬＣＤ１８に表示（再生）するモードである再生モードの何れかのモードに設定するためにスライド操作されるモード切替スイッチ１６Ｃと、ＬＣＤ１８の表示領域における上・下・左・右の４方向の移動方向を示す４つの矢印キーを含んで構成された十字カーソルボタン１６Ｄと、が備えられている。 On the other hand, as shown in FIG. 1C, on the back of the digital camera 10, the eyepiece of the finder 14 described above, the subject image indicated by the digital image data obtained by photographing, various menu screens, messages, etc. , A liquid crystal display (hereinafter referred to as “LCD”) 18, a shooting mode that is a mode for shooting, and a mode for displaying (reproducing) a subject image indicated by digital image data obtained by shooting on the LCD 18. A mode changeover switch 16C that is slid to set any one of the playback modes, and four arrow keys that indicate up, down, left, and right movement directions in the display area of the LCD 18. And a cross-cursor button 16D composed of

また、デジタルカメラ１０の背面には、ＬＣＤ１８にメインメニュー画面を表示する際に押圧操作されるメニューキー１６Ｅと、メニュー画面で指定された処理を実行する際に押圧操作される実行キー１６Ｆと、各種操作を中止（キャンセル）する際に押圧操作されるキャンセルキー１６Ｇと、が備えられている。 On the back of the digital camera 10, a menu key 16E that is pressed when displaying the main menu screen on the LCD 18, an execution key 16F that is pressed when executing processing specified on the menu screen, A cancel key 16G that is pressed when various operations are canceled (cancelled) is provided.

なお、後述する図２では、レリーズボタン１６Ａ、電源スイッチ１６Ｂ、モード切替スイッチ１６Ｃ、十字カーソルボタン１６Ｄ、メニューキー１６Ｅ、実行キー１６Ｆ、並びに、キャンセルキー１６Ｇを総称して、操作部１６としている。 In FIG. 2 to be described later, the release button 16A, the power switch 16B, the mode switch 16C, the cross cursor button 16D, the menu key 16E, the execution key 16F, and the cancel key 16G are collectively referred to as the operation unit 16.

図２には、本実施の形態に係るデジタルカメラ１０の制御系の構成を示している。 FIG. 2 shows a configuration of a control system of the digital camera 10 according to the present embodiment.

図２に示すように、デジタルカメラ１０は、前述のレンズ１２を含んで構成された光学ユニット２０と、レンズ１２の光軸後方に配設されたＣＣＤ２２と、相関二重サンプリング回路（以下、「ＣＤＳ」という。）２４と、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２６と、を含んで構成されており、ＣＣＤ２２の出力端子はＣＤＳ２４の入力端子に、ＣＤＳ２４の出力端子はＡＤＣ１８の入力端子に、各々接続されている。 As shown in FIG. 2, the digital camera 10 includes an optical unit 20 including the lens 12 described above, a CCD 22 disposed behind the optical axis of the lens 12, and a correlated double sampling circuit (hereinafter, “ CDS ”) 24 and an analog / digital converter (hereinafter referred to as“ ADC ”) 26 for converting the input analog signal into digital data, and the output terminal of the CCD 22 is the CDS 24. The output terminal of the CDS 24 is connected to the input terminal of the ADC 18.

ここで、ＣＤＳ２４による相関二重サンプリング処理は、固体撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、固体撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理である。 Here, the correlated double sampling processing by the CDS 24 is a feed included in the output signal for each pixel of the solid-state image sensor for the purpose of reducing noise (particularly thermal noise) included in the output signal of the solid-state image sensor. This is processing for obtaining accurate pixel data by taking the difference between the through component level and the pixel signal component level.

一方、デジタルカメラ１０は、所定容量のラインバッファを内蔵すると共に入力されたデジタル画像データを後述する第２メモリ４４の所定領域に直接記憶させる制御を行う画像入力コントローラ２８と、デジタル画像データに対して各種画像処理を施す画像信号処理回路３０と、所定の圧縮形式でデジタル画像データに圧縮処理を施す一方、圧縮されたデジタル画像データに伸張処理を施す圧縮・伸張処理回路３２と、デジタル画像データにより示される画像やメニュー画面等をＬＣＤ１８に表示させるための信号を生成してＬＣＤ１８に供給するＬＣＤＩ／Ｆ（インタフェース）３４と、を含んで構成されている。なお、画像入力コントローラ２８の入力端子はＡＤＣ２６の出力端子に接続されている。 On the other hand, the digital camera 10 includes a line buffer having a predetermined capacity and an image input controller 28 that performs control for directly storing input digital image data in a predetermined area of a second memory 44 described later, and the digital image data. An image signal processing circuit 30 that performs various image processing, a compression / decompression processing circuit 32 that performs compression processing on the compressed digital image data while performing compression processing on the digital image data in a predetermined compression format, and digital image data And an LCD I / F (interface) 34 that generates a signal for causing the LCD 18 to display an image, a menu screen, and the like and supplies the signal to the LCD 18. Note that the input terminal of the image input controller 28 is connected to the output terminal of the ADC 26.

また、デジタルカメラ１０は、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）３６と、ＡＦ機能を働かせるために必要とされる物理量を検出するＡＦ検出回路３８と、ＡＥ機能及びＡＷＢ（ＡｕｔｏｍａｔｉｃＷｈｉｔｅＢａｌａｎｃｅ）機能を働かせるために必要とされる物理量を検出するＡＥ・ＡＷＢ検出回路４０と、ＣＰＵ３６による各種処理の実行時のワークエリア等として用いられるＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）により構成された第１メモリ４２と、主として撮影により得られたデジタル画像データを記憶するＶＲＡＭ（ＶｉｄｅｏＲＡＭ）により構成された第２メモリ４４と、撮像することで得られるデジタル画像データから人物の顔の有無を検出する顔検出回路５２と、を含んで構成されている。なお、この第１のメモリ４２、第２のメモリ４４は、基本的には、揮発性、不揮発性を問わない。 Further, the digital camera 10 includes a CPU (central processing unit) 36 that controls the operation of the entire digital camera 10, an AF detection circuit 38 that detects a physical quantity required to operate the AF function, an AE function, and an AWB (Automatic). It is composed of an AE / AWB detection circuit 40 that detects a physical quantity required to operate a white balance function, and an SDRAM (Synchronous Dynamic Random Access Memory) that is used as a work area during execution of various processes by the CPU 36. A first memory 42, a second memory 44 composed mainly of VRAM (Video RAM) for storing digital image data obtained by photographing, and a human face from digital image data obtained by photographing. A face detection circuit 52 for detecting the presence or absence, is configured to include a. Note that the first memory 42 and the second memory 44 may be basically volatile or non-volatile.

顔検出回路５２は、例えば、予め人物の肌色に対応する輝度信号及び色信号（クロマ信号）の範囲を決定しておき、ＣＣＤ２２による撮像によって得られた被写体象を示すデジタル画像データの各画素の輝度信号及び色信号がその範囲内にあるか否かを判定し、肌色を有する１まとまりの領域を肌色領域として抽出する。色相や彩度の２次元ヒストグラムからクラスターを求め、クラスターの内部構造、形状、接続する外部構造から顔領域を判定する方法などを利用しても良い。 For example, the face detection circuit 52 determines the range of the luminance signal and the color signal (chroma signal) corresponding to the skin color of the person in advance, and sets each pixel of the digital image data indicating the subject image obtained by the imaging by the CCD 22. It is determined whether the luminance signal and the color signal are within the range, and a group of areas having skin color is extracted as a skin color area. A method may be used in which a cluster is obtained from a two-dimensional histogram of hue and saturation, and a face region is determined from the internal structure and shape of the cluster and the external structure to be connected.

更に、デジタルカメラ１０は、記録メディア４６Ａ、４６Ｂをデジタルカメラ１０でアクセス可能とするためのメディアコントローラ４６と、を含んで構成されている。すなわち、本実施の形態のデジタルカメラ１０は、一度に２枚の記録メディアを装着可能な構成となっている。なお、記録メディア４６Ａ、４６Ｂは不揮発性であり、このことから、前記第１のメモリ４２、第２のメモリ４４とは別に、本発明の記憶媒体に相当する。 Further, the digital camera 10 includes a media controller 46 for making the recording media 46 A and 46 B accessible by the digital camera 10. That is, the digital camera 10 of the present embodiment is configured to be able to mount two recording media at a time. The recording media 46A and 46B are non-volatile, and thus correspond to the storage medium of the present invention separately from the first memory 42 and the second memory 44.

以上の画像入力コントローラ２８、画像信号処理回路３０、圧縮・伸張処理回路３２、ＬＣＤＩ／Ｆ３４、ＣＰＵ３６、ＡＦ検出回路３８、ＡＥ・ＡＷＢ検出回路４０、第１メモリ４２、第２メモリ４４及びメディアコントローラ４６、顔検出回路５２は、各々バス（ＢＵＳ）を介して相互に接続されている。 Image input controller 28, image signal processing circuit 30, compression / decompression processing circuit 32, LCD I / F 34, CPU 36, AF detection circuit 38, AE / AWB detection circuit 40, first memory 42, second memory 44, and medium The controller 46 and the face detection circuit 52 are connected to each other via a bus (BUS).

一方、デジタルカメラ１０には、主としてＣＣＤ２２を駆動させるためのタイミング信号を生成してＣＣＤ２２に供給するタイミングジェネレータ４８が設けられている。当該タイミングジェネレータ４８の入力端子はＣＰＵ３６に、出力端子はＣＣＤ２２に各々接続されており、ＣＣＤ２２の駆動は、ＣＰＵ３６によりタイミングジェネレータ４８を介して制御される。 On the other hand, the digital camera 10 is provided with a timing generator 48 that mainly generates a timing signal for driving the CCD 22 and supplies the timing signal to the CCD 22. The input terminal of the timing generator 48 is connected to the CPU 36 and the output terminal is connected to the CCD 22. The driving of the CCD 22 is controlled by the CPU 36 via the timing generator 48.

更に、ＣＰＵ３６はモータ駆動部５０の入力端子に接続され、モータ駆動部５０の出力端子は光学ユニット２０に備えられた焦点調整モータ、ズームモータ及び絞り駆動モータに接続されている。 Further, the CPU 36 is connected to an input terminal of the motor drive unit 50, and an output terminal of the motor drive unit 50 is connected to a focus adjustment motor, a zoom motor, and an aperture drive motor provided in the optical unit 20.

本実施の形態に係る光学ユニット２０に含まれるレンズ１２は複数枚のレンズを有し、焦点距離の変更（変倍）が可能なズームレンズとして構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ及び絞り駆動モータは含まれるものであり、焦点調整モータ、ズームモータ及び絞り駆動モータは各々ＣＰＵ３６の制御下でモータ駆動部５０から供給された駆動信号によって駆動される。 The lens 12 included in the optical unit 20 according to the present embodiment has a plurality of lenses, is configured as a zoom lens that can change (magnify) the focal length, and includes a lens driving mechanism (not shown). Yes. The lens drive mechanism includes the focus adjustment motor, the zoom motor, and the aperture drive motor. The focus adjustment motor, the zoom motor, and the aperture drive motor are each supplied with a drive signal supplied from the motor drive unit 50 under the control of the CPU 36. Driven by.

ＣＰＵ３６は、光学ズーム倍率を変更する際にはズームモータを駆動制御して光学ユニット２０に含まれるレンズ１２の焦点距離を変化させる。 When changing the optical zoom magnification, the CPU 36 drives and controls the zoom motor to change the focal length of the lens 12 included in the optical unit 20.

また、ＣＰＵ３６は、ＣＣＤ２２による撮像によって得られた画像のコントラストが最大となるように上記焦点調整モータを駆動制御することによって合焦制御を行う。すなわち、本実施の形態に係るデジタルカメラ１０では、合焦制御として、読み取られた画像のコントラストが最大となるようにレンズの位置を設定する、所謂ＴＴＬ（ＴｈｒｏｕｇｈＴｈｅＬｅｎｓ）方式を採用している。 The CPU 36 performs focus control by driving and controlling the focus adjustment motor so that the contrast of an image obtained by imaging by the CCD 22 is maximized. That is, the digital camera 10 according to the present embodiment employs a so-called TTL (Through The Lens) system in which the lens position is set so that the contrast of the read image is maximized as the focus control. .

更に、前述のレリーズボタン１６Ａ、電源スイッチ１６Ｂ、モード切替スイッチ１６Ｃ、十字カーソルボタン１６Ｄ、メニューキー１６Ｅ、実行キー１６Ｆ及びキャンセルキー１６Ｇを含む操作部１６はＣＰＵ３６に接続されており、ＣＰＵ３６は、これら操作部１６の各々に対する操作状態を常時把握できる。 Further, the operation unit 16 including the release button 16A, the power switch 16B, the mode change switch 16C, the cross cursor button 16D, the menu key 16E, the execution key 16F, and the cancel key 16G is connected to the CPU 36. The operation state for each of the operation units 16 can be always grasped.

また、デジタルカメラ１０には、ストロボ５４とＣＰＵ３６との間に介在されると共に、ＣＰＵ３６の制御によりストロボ５４を発光させるための電力を充電する充電部５６が備えられている。更に、ストロボ５４はＣＰＵ３６にも接続されており、ストロボ５４の発光は、ＣＰＵ３６によって制御される。 In addition, the digital camera 10 includes a charging unit 56 that is interposed between the strobe 54 and the CPU 36 and charges power for causing the strobe 54 to emit light under the control of the CPU 36. Further, the strobe 54 is also connected to the CPU 36, and the light emission of the strobe 54 is controlled by the CPU 36.

なお、光学ユニット２０、ＣＣＤ２２、ＣＤＳ２４、ＡＤＣ２６、画像入力コントローラ２８、タイミングジェネレータ４８、モータ駆動部５０を撮像部６０とする。 The optical unit 20, the CCD 22, the CDS 24, the ADC 26, the image input controller 28, the timing generator 48, and the motor driving unit 50 are referred to as an imaging unit 60.

ここで、本実施の形態では、前記顔検出回路５２による顔検出結果を以下に示す画像データ分類のための要件として用いるようにしている。
（分類１）
撮影した画像データから顔を抽出し、当該抽出された顔における所定の特徴要素に基づいてサムネイル画像を生成し、記録メディア４６Ａ、４６Ｂに記憶する。このとき、同一人物とされるサムネイル画像の１つを辞書作成用の見出し画像として、第１のメモリ４２に展開する。
（分類２）
撮影した画像データから顔を抽出し、作成された辞書に基づき、一致するサムネイルがある方の記録メディア４６Ａ又は４６Ｂ（記録メディア４６Ａ、４６Ｂの双方に一致するサムネイルがある場合は両方の記録メディア４６Ａ及び４６Ｂ）に記憶する。 Here, in the present embodiment, the face detection result by the face detection circuit 52 is used as a requirement for image data classification shown below.
(Category 1)
A face is extracted from the captured image data, a thumbnail image is generated based on a predetermined feature element in the extracted face, and stored in the recording media 46A and 46B. At this time, one of the thumbnail images of the same person is developed in the first memory 42 as a headline image for creating a dictionary.
(Category 2)
A face is extracted from the photographed image data, and based on the created dictionary, the recording medium 46A or 46B having a matching thumbnail (if both recording media 46A and 46B have a matching thumbnail, both recording media 46A And 46B).

図３は、記録メディア４６Ａ、４６Ｂに撮影した画像データを記憶するときの記憶領域の状態を模式的に示したものである。全ての帯状の画像データ領域１００は、サムネイル画像データ領域１０２と、本画像データ領域１０４とで構成されている。サムネイル画像データ領域１０２には、前述したサムネイル画像データが見出し画像として付加されている。 FIG. 3 schematically shows the state of the storage area when the captured image data is stored in the recording media 46A and 46B. All the band-shaped image data areas 100 are composed of a thumbnail image data area 102 and a main image data area 104. In the thumbnail image data area 102, the above-described thumbnail image data is added as a heading image.

一方、既に撮影し記憶されている画像データを用いて、ＬＣＤ１８へ再生（表示）する場合、撮影時のサムネイル画像データの相関関係情報を基に、図４に示されるように、人物Ａ集、人物Ｂ集、人物Ｃ集、人物Ｄ集、人物Ｅ集、人物Ｆ集・・・の如く、人物見出し画面１０６を表示し、そのいずれかを選択することで、グループ化された画像データを選別されるようになっている。 On the other hand, when playing back (displaying) on the LCD 18 using image data that has already been shot and stored, as shown in FIG. The person heading screen 106 is displayed, such as person B collection, person C collection, person D collection, person E collection, person F collection, etc., and selecting one of them selects the grouped image data. It has come to be.

なお、図４では、人物の選択後、撮影日による撮影日見出し画面１０８を経て、例えば、９コマ毎の該当するサムネイル画像による選択画面１１０が表示されるようになっている。すなわち、再生する画像を階層化された各画面からの選択で絞り込むことが可能となっている。 In FIG. 4, after selection of a person, a selection screen 110 with corresponding thumbnail images for every nine frames is displayed, for example, through a shooting date heading screen 108 by shooting date. In other words, it is possible to narrow down the images to be reproduced by selecting from the hierarchized screens.

以下に、本実施の形態の作用を説明する。 The operation of the present embodiment will be described below.

光学ユニット２０を通して集光された撮像データがＣＣＤ２２により電気信号に変換され、アナログ→デジタル変換される。デジタル化された画像データは、画像信号処理処理回路３０で色補間され、エンコーダを通してＬＣＤ１８へ表示される。 Imaging data collected through the optical unit 20 is converted into an electrical signal by the CCD 22 and converted from analog to digital. The digitized image data is color-interpolated by the image signal processing circuit 30 and displayed on the LCD 18 through the encoder.

本実施の形態のデジタルカメラ１０では、顔検出機能（顔検出回路５２）を持ち、スルー画再生中に、人物が検出されたときには、ユーザーに対して検出結果を知らせる。検出の手段としては、ハードウェア、ソフトウェアプログラム処理のいずれであってもよい。 The digital camera 10 of this embodiment has a face detection function (face detection circuit 52), and notifies the user of the detection result when a person is detected during live view reproduction. The detection means may be either hardware or software program processing.

静止画撮影を行う場合、レリーズボタン１６Ａを全押しする。このとき、信号処理された画像データは、ＪＰＥＧ形式で圧縮処理され、記録メディア４６Ａ及び／又は４６Ｂに記憶される。 When taking a still image, the release button 16A is fully pressed. At this time, the signal-processed image data is compressed in the JPEG format and stored in the recording media 46A and / or 46B.

ここで、本実施の形態では、複数の記録メディア４６Ａ、４６Ｂを備えており、顔検出で撮影された被写体を基に、複数の記録メディア４６Ａ、４６Ｂ内部の画像データを検索し、同一人物が写っている画像の存在する場合は、両方の記録メディア４６Ａ、４６Ｂに保存（記憶）する。 Here, in the present embodiment, a plurality of recording media 46A and 46B are provided, and the image data in the plurality of recording media 46A and 46B is searched based on the subject photographed by the face detection. If there is a captured image, it is stored (stored) in both recording media 46A and 46B.

一方、記憶済の画像データから顔の画像データの相関を取る手段としては、図３に示される如く、記憶済のサムネイル画像データ、或いは顔検出機能によりトリミングした顔の画像データを第１のメモリ４２上に展開して辞書を作成する。 On the other hand, as a means for correlating the face image data from the stored image data, as shown in FIG. 3, the stored thumbnail image data or the face image data trimmed by the face detection function is stored in the first memory. The dictionary is developed on 42.

撮影時は、検出された顔の画像データと辞書との相関をとるおＫとで、撮影された人物がどちらの記録メディア４６Ａ及び／又は４６Ｂに存在するかを照合し判別する。同一人物と判別された場合には、参照した辞書が存在する記録メディア４６Ａ及び／又は４６Ｂに保存（記憶）する。 At the time of shooting, it is determined by checking which recording medium 46A and / or 46B the shot person is in based on the correlation between the detected face image data and the dictionary. If it is discriminated that they are the same person, they are stored (stored) in the recording media 46A and / or 46B in which the referenced dictionary exists.

再生時は、記録時の相関関係を基に、人物毎にグルーピング分けを行い、図４に示すように階層的に表示することで、検索の容易にすることができる。 At the time of reproduction, grouping is performed for each person based on the correlation at the time of recording, and the search can be facilitated by displaying hierarchically as shown in FIG.

（撮影処理）
図５は撮影時の画像データ保存（記憶）のためのルーチンであり、ステップ１１２では、記録メディア４６Ａ又は４６Ｂを選択する。次のステップ１１４では、記録メディア４６Ａ又は４６Bへの人物自動振り分け機能が有効か（オンになっているか）否かが判断され、否定判定された場合には、ステップ１１６へ移行して通常の撮影処理を実行してこのルーチンは終了する。 (Shooting process)
FIG. 5 shows a routine for saving (storing) image data at the time of shooting. In step 112, the recording medium 46A or 46B is selected. In the next step 114, it is determined whether or not the automatic person distribution function to the recording medium 46A or 46B is valid (turned on). If a negative determination is made, the process proceeds to step 116 and normal shooting is performed. Processing is executed and this routine ends.

前記ステップ１１４で肯定判定されると、ステップ１１８へ移行して各記録メディア４６Ａ及び４６Ｂ上の顔画像データを第１のメモリ４２へ転送する。 If an affirmative determination is made in step 114, the process proceeds to step 118 and the face image data on each recording medium 46 A and 46 B is transferred to the first memory 42.

次のステップ１２０では、第１のメモリ４２に、各記録メディア４６Ａ、４６Ｂの辞書を作成し、次いで、ステップ１２２でスルー画像データ中の顔画像を検出し、ＬＣＤ１８に枠表示する。 In the next step 120, a dictionary of each recording medium 46A, 46B is created in the first memory 42, and then a face image in the through image data is detected in step 122 and displayed on the LCD 18 as a frame.

次のステップ１２４では、本撮影処理を実行する。本撮影処理は、レリーズボタン１６Ａを全押しすれば撮影実行、半押しすればフォーカース等の固定、電源オフされれば上記ステップ１１２〜１２２の処理かキャンセルされる。このステップ１２４でレリーズボタン１６Ａを全押し、すなわち、本撮影処理が実行されると、ステップ１２６へ移行して顔画像を記録メディア４６Ａ、４６Ｂのデータベースとの相関比較を実行する。 In the next step 124, the main photographing process is executed. In the actual photographing process, when the release button 16A is fully pressed, the photographing is executed, when the shutter button is half-pressed, the focus is fixed, and when the power is turned off, the processes in steps 112 to 122 are canceled. When the release button 16A is fully pressed in step 124, that is, when the main photographing process is executed, the process proceeds to step 126, and the correlation between the face image and the database of the recording media 46A and 46B is executed.

次のステップ１２８では、撮影した画像データに顔画像があるか否かが判断される。このステップ１２８で肯定判定されると、ステップ１３０へ移行して、当該顔画像が記録メディア４６Ａに既に記憶されている人物と一致するか否かが判断される。また、このステップ１３２で否定判定されると、顔画像が記録メディア４６Ａに既に記憶されている人物と一致するか否かが判断される。 In the next step 128, it is determined whether or not there is a face image in the captured image data. If an affirmative determination is made in step 128, the process proceeds to step 130 to determine whether or not the face image matches a person already stored in the recording medium 46A. If a negative determination is made in step 132, it is determined whether or not the face image matches a person already stored in the recording medium 46A.

このステップ１３０、１３２の比較により、（Ａ）顔画像が記録メディア４６Ａに存在する（ステップ１３４へ移行）、（Ｂ）顔画像が記録メディア４６Ｂに存在する（ステップ１３６へ移行）、（Ｃ）顔画像が記録メディア４６Ａ、４６Ｂの何れにも存在しない（ステップ１３８へ移行）の３種類の結果を得ることができる。 By comparing the steps 130 and 132, (A) the face image exists on the recording medium 46A (transfer to step 134), (B) the face image exists on the recording medium 46B (transfer to step 136), (C). Three types of results can be obtained in which the face image does not exist in either of the recording media 46A and 46B (go to step 138).

（Ａ）ステップ１３６では、一致した顔画像のグループ属性を画像データ、又は記録メディアＡのテーブルに付加し、次いでステップ１４０へ移行して記録メディアＡに撮影画像データを保存（記憶）し、このルーチンは終了する。 (A) In step 136, the group attribute of the matched face image is added to the table of image data or recording medium A, and then the process proceeds to step 140 to save (store) the photographed image data in recording medium A. The routine ends.

（Ｂ）ステップ１３８では、一致した顔画像のグループ属性を画像データ、又は記録メディアＢのテーブルに付加し、次いでステップ１４２へ移行して記録メディアＢに撮影画像データを保存（記憶）し、このルーチンは終了する。 (B) In step 138, the group attribute of the matched face image is added to the table of the image data or the recording medium B, and then the process proceeds to step 142 to save (store) the photographed image data in the recording medium B. The routine ends.

（Ｃ）ステップ１３８では、新規の人物画像を含んだデータとしてグループ属性を何れかの記録メディア４６Ａ及び／又は４６Ｂに登録し、次いでステップ１４４へ移行して記憶メディア４６Ａ及び／又は記録メディア４６Ｂに撮影画像を保存（記憶）し、このルーチンは終了する。 (C) In step 138, the group attribute is registered in one of the recording media 46A and / or 46B as data including a new person image, and then the process proceeds to step 144 and stored in the storage media 46A and / or recording media 46B. The captured image is saved (stored), and this routine ends.

なお、前記ステップ１２８で否定判定された場合には、ステップ１４４へ移行する。 If a negative determination is made in step 128, the process proceeds to step 144.

（再生処理）
次に、図６は再生時の画像データの検索のためのルーチンであり、ステップ１５０では、記録メディア４６Ａ又は４６Ｂを選択し、次いでステップ１５２へ移行して記録メディア４６Ａ又は４６Ｂに記憶されている画像データのサムネイル画像（顔画像でもよい）を第１のメモリ４２へ転送（ロード）する。 (Reproduction processing)
Next, FIG. 6 is a routine for searching for image data at the time of reproduction. In step 150, the recording medium 46A or 46B is selected, and then the process proceeds to step 152 to be stored in the recording medium 46A or 46B. A thumbnail image (or a face image) of the image data is transferred (loaded) to the first memory 42.

次のステップ１５４では、人物毎の表示である人物見出し画面１０６を表示し、そのいずれかを選択する（ステップ１５６）。 In the next step 154, the person heading screen 106 which is a display for each person is displayed, and one of them is selected (step 156).

次のステップ１５８では、人物の選択後、撮影日による撮影日見出し画面１０８を表示し、その何れかを選択する（ステップ１６０）。 In the next step 158, after selecting a person, the shooting date heading screen 108 by shooting date is displayed, and one of them is selected (step 160).

次のステップ１６２では、選択した人物、撮影日の画像を、例えば、９コマ毎の該当するサムネイル画像による選択画面１１０を表示し、その何れかを選択する（ステップ１６４）。これにより、再生する画像を階層化された各画面からの選択で絞り込むことができ、所望の画像を迅速にＬＣＤ１８に表示することができる（ステップ１６６）。 In the next step 162, the selected person and shooting date images are displayed on the selection screen 110 with the corresponding thumbnail images for every nine frames, for example, and one of them is selected (step 164). As a result, the images to be reproduced can be narrowed down by selection from the hierarchized screens, and a desired image can be quickly displayed on the LCD 18 (step 166).

以上説明したように本実施の形態では、画像データについて、撮影時に撮影被写体に応じてグルーピングを行うため、再生時に所望の画像を探し易くなる。また、人物を撮影する際、ユーザーが対象とする被写体人物は同一人物の場合が多い。このため、１つのデジタルカメラ１０を複数のユーザーが共有するとき、自動的に画像を振り分けて記憶することができる。 As described above, in the present embodiment, image data is grouped according to the subject to be photographed at the time of photographing, so that it becomes easy to find a desired image at the time of reproduction. In addition, when shooting a person, the subject person targeted by the user is often the same person. For this reason, when a plurality of users share one digital camera 10, images can be automatically sorted and stored.

以下に本実施の形態における変形例を示す。 The modification in this Embodiment is shown below.

（変形例１）
変形例１では、２個の記録メディア４６Ａ、４６Ｂ間での相互の人物の自動振分け機能を持たせている。この自動振り分け機能は、ユーザーによる選択（オン／オフ）が可能である。自動振り分け機能がオンされると、装着されている２個の記録メディア４６Ａ、４６Ｂのそれぞれから、サムネイル画像データに基づく辞書が作成され、双方の相関関係を検証し、同一人物を、一方の記録メディア４６Ａ又は４６Ｂに集結するべく、複製（又は切取）及び貼付を実行するようになっている。 (Modification 1)
In the first modification, a function for automatically assigning persons to each other between the two recording media 46A and 46B is provided. This automatic distribution function can be selected (on / off) by the user. When the automatic distribution function is turned on, a dictionary based on thumbnail image data is created from each of the two recording media 46A and 46B that are loaded, the correlation between the two is verified, and the same person is recorded on one of the recording media. In order to gather on the media 46A or 46B, copying (or cutting) and pasting are executed.

図７は、記録メディア４６Ａ、４６Ｂに撮影した画像データを記憶するときの記憶領域の状態を模式的に示したものである。全ての画像データ領域２００は、サムネイル画像データ領域２０２と、本画像データ領域２０４とで構成されている。サムネイル画像データ領域２０２には、前述したサムネイル画像データが見出し画像として付加されている。 FIG. 7 schematically shows the state of the storage area when image data taken on the recording media 46A and 46B is stored. All the image data areas 200 are composed of a thumbnail image data area 202 and a main image data area 204. In the thumbnail image data area 202, the above-described thumbnail image data is added as a heading image.

ここで、各記録メディア４６Ａ及び４６Ｂのそれぞれのサムネイル画像を照合（相関比較）する。ここで、人物１（図７では、丸付数字）は、双方の記録メディア４６Ａ、４６Ｂに存在するものとする。 Here, the respective thumbnail images of the recording media 46A and 46B are collated (correlation comparison). Here, it is assumed that the person 1 (circled number in FIG. 7) exists in both recording media 46A and 46B.

このとき、図７に示される如く、例えば、ＬＣＤ１８に表示した画像が記録メディア４６Ａの上から３列目の人物１（図７で矢印Ａで示した画像データ）である場合に、これを記録メディア４６Ｂにコピーするか否かをユーザーに委ねる表示を行う。 At this time, as shown in FIG. 7, for example, when the image displayed on the LCD 18 is the person 1 in the third row from the top of the recording medium 46A (image data indicated by the arrow A in FIG. 7), this is recorded. A display for entrusting to the user whether or not to copy to the medium 46B is performed.

この変形例１における処理の流れを、図８のフローチャートに従い説明する。 The processing flow in the first modification will be described with reference to the flowchart of FIG.

ステップ２０６では記録メディア４６Ａ（図８では、「メディアＡ」とする。）の画像をＬＣＤ１８に再生表示する。次のステップ２０８では、特定のサムネイル画像（又は顔画像）を選択し、次いでステップ２１０へ移行して記録メディア４６Ｂ上に含まれる選択画像の人物を含む画像を記録メディア４６Ａにコピーアンドペースト（複製→貼付）することを決定し、ステップ２１２へ移行する。 In step 206, the image of the recording medium 46A (referred to as “media A” in FIG. 8) is reproduced and displayed on the LCD 18. In the next step 208, a specific thumbnail image (or face image) is selected, and then the process proceeds to step 210, and an image including the person of the selected image included on the recording medium 46B is copied and pasted (replicated) to the recording medium 46A. (→ Paste) is decided, and the process proceeds to step 212.

ステップ２１２では、記録メディア４６Ｂ（図８では、「メディアＢ」とする。）のサムネイル画像（又は顔画像）を第１のメモリ４２にロード（転送）し、次いでステップ２１４では選択画像と、ロードした画像について顔の画像データを相関比較してステップ２１６へ移行する。 In step 212, the thumbnail image (or face image) of the recording medium 46B (referred to as “media B” in FIG. 8) is loaded (transferred) to the first memory 42, and then in step 214, the selected image and the loaded image are loaded. After comparing the face image data with respect to the obtained image, the process proceeds to step 216.

ステップ２１６では、同一人物と一致したか否かが判断され、肯定判定されるとステップ２１８へ移行してロード（転送）した画像のデータを記録メディア４６Ｂから記録メディア４６Ａへコピーして、ステップ２２０へ移行する。また、ステップ２１６で否定判定された場合はステップ２２０へ移行する。 In step 216, it is determined whether or not they match the same person. If an affirmative determination is made, the process proceeds to step 218 to copy the loaded (transferred) image data from the recording medium 46B to the recording medium 46A. Migrate to On the other hand, if a negative determination is made in step 216, the process proceeds to step 220.

ステップ２２０では、記録メディア４６Ａの全ての画像データについてチェックしたか否かが判断され、否定判定されるとステップ２１２へ戻り、上記工程を繰り返す。また、ステップ２２０で肯定判定されると、このルーチンは終了する。上記図８のフローチャートにおいて、記録メディア４６Ｂから記憶メディア４６Ａへのコピーの例を挙げたが、その逆であってもよい。 In step 220, it is determined whether or not all image data on the recording medium 46A has been checked. If a negative determination is made, the process returns to step 212 to repeat the above steps. If the determination at step 220 is affirmative, this routine ends. In the flowchart of FIG. 8 described above, an example of copying from the recording medium 46B to the storage medium 46A has been described, but the reverse may be possible.

なお、同一人物を何れかの記録メディア４６Ａ又は４６Ｂに自動的に集約するようにしてもよい。この場合の処理の流れを図９のフローチャートに従い説明する。 It should be noted that the same person may be automatically collected on any recording medium 46A or 46B. The processing flow in this case will be described with reference to the flowchart of FIG.

ステップ２０６Ａでは記録メディア４６Ａの画像をＬＣＤ１８に再生表示する。次のステップ２０８Ａでは、特定のサムネイル画像（又は顔画像）を選択し、次いでステップ２１０Ａへ移行して記録メディア４６Ｂ（図９では、「メディアＢ」とする。）上に含まれる選択画像の人物を含む画像を記録メディア４６Ａ（図９では、「メディアＡ」とする。）にコピーアンドペースト（複製→貼付）することを決定し、ステップ２１２Ａへ移行する。 In step 206A, the image on the recording medium 46A is reproduced and displayed on the LCD 18. In the next step 208A, a specific thumbnail image (or face image) is selected, and then the process proceeds to step 210A to select a person of the selected image included on the recording medium 46B (referred to as “media B” in FIG. 9). Is determined to be copied and pasted (duplicated → pasted) to the recording medium 46A (referred to as “medium A” in FIG. 9), and the process proceeds to step 212A.

ステップ２１２Ａでは、記録メディア４６Ｂのサムネイル画像（又は顔画像）を第１のメモリ４２にロード（転送）し、次いでステップ２１４Ａでは選択画像と、ロードした画像について顔の画像データを相関比較してステップ２１６Ａへ移行する。 In step 212A, the thumbnail image (or face image) of the recording medium 46B is loaded (transferred) to the first memory 42, and then in step 214A, the selected image and the face image data of the loaded image are compared and compared. Move to 216A.

ステップ２１６Ａでは、同一人物と一致したか否かが判断され、肯定判定されるとステップ２２２へ移行して一致した記録メディア４６Ｂ上の画像と同一人物と分類される画像を全て記録メディア４６Ａにコピーして、このルーチンは終了する。 In step 216A, it is determined whether or not they match the same person. If an affirmative determination is made, the process proceeds to step 222, and all the images classified as the same person as the images on the recording medium 46B are copied to the recording medium 46A. Then, this routine ends.

また、前記ステップ２１６Ａで否定判定されると、ステップ２２４へ移行し、第１のメモリ４２の全ての画像についてチェックしたか否かが判断され、否定判定されるとステップ２１２Ａへ戻り、上記工程を繰り返す。また、ステップ２２４で肯定判定されると、このルーチンは終了する。上記図９のフローチャートにおいて、記録メディア４６Ｂから記憶メディア４６Ａへのコピーの例を挙げたが、その逆であってもよい。 If a negative determination is made in step 216A, the process proceeds to step 224, in which it is determined whether or not all the images in the first memory 42 have been checked. If a negative determination is made, the process returns to step 212A, and the above steps are performed. repeat. If the determination at step 224 is affirmative, this routine ends. In the flowchart of FIG. 9 described above, an example of copying from the recording medium 46B to the storage medium 46A has been described, but the reverse may be possible.

（変形例２）
同一人物であっても、顔の傾き、光源の光量差、色あい等が異なる、同一人物として判定された場合があるため、同一人物と判定された複数のサムネイル画像（例えば、図１０（Ａ）〜（Ｃ）に示すような、正面正立画像２５０、左傾斜画像２５２、右傾斜画像２５４を辞書とすることも可能である。 (Modification 2)
Even if the person is the same person, there are cases where the face is inclined, the difference in the amount of light of the light source, the hue, and the like are determined to be the same person. It is also possible to use a front erect image 250, a left inclined image 252 and a right inclined image 254 as a dictionary as shown in FIG.

図１１は、記録メディア４６Ａ又は４６Ｂに撮影した画像データを記憶するときの記憶領域の状態を模式的に示したものである。全ての画像データ領域２５６は、サムネイル画像データ領域２５８と、本画像データ領域２６０とで構成されている。サムネイル画像データ領域２５８には、前述したサムネイル画像データが見出し画像として付加されている。 FIG. 11 schematically shows the state of the storage area when the captured image data is stored in the recording medium 46A or 46B. All the image data areas 256 are composed of a thumbnail image data area 258 and a main image data area 260. The thumbnail image data described above is added to the thumbnail image data area 258 as a heading image.

画像１（図１１では、丸付数字）の画像データが既に記憶されている状態で、同一人物（例えば、図１２に示す、記録メディア４６Ａ（図１２では、メディアＡ」とする）に保存されている画像の人物Ａ）に分類される画像１２、１３（図１１では、丸付数字）の画像データを記憶するとき、すでに画像１（図１１では、丸付数字）のサムネイル画像が辞書として適用されているが、図１０（Ａ）〜（Ｃ）のような異なるポーズの場合に、複数のサムネイル画像を１つのグループの顔相関照合用に用いる。 The image data of image 1 (circled numbers in FIG. 11) is stored in the same person (for example, the recording medium 46A (referred to as medium A in FIG. 12) shown in FIG. 12) in a state where the image data is already stored. When the image data of the images 12 and 13 (circled numbers in FIG. 11) classified as the person A) is stored, the thumbnail image of the image 1 (circled numbers in FIG. 11) is already stored as a dictionary. Although applied, in the case of different poses as shown in FIGS. 10A to 10C, a plurality of thumbnail images are used for face correlation matching of one group.

以下、この変形例による処理の流れを、図１３及び図１４のフローチャートに従い説明する。 Hereinafter, the flow of processing according to this modification will be described with reference to the flowcharts of FIGS. 13 and 14.

図１３は、顔相関用画像登録モードであり、ステップ２６２では記録メディア４６Ａ（又は４６Ｂ）を選択し、次いでステップ２６４で人物Ａ（図１２参照）を選択し、ステップ２６６へ移行して顔画像を含む被写体を作成すると、当該顔画像データが人物Ａの相関用画像として登録される（ステップ２６８）。 FIG. 13 shows a face correlation image registration mode. In step 262, the recording medium 46A (or 46B) is selected, and then in step 264, the person A (see FIG. 12) is selected. Is created, the face image data is registered as a correlation image for the person A (step 268).

次のステップ２７０では、顔相関用画像撮影は終了したか否かが判断され、否定判定されると、ステップ２６６へ移行して上記工程を繰り返す。また、ステップ２７０で肯定判定されるとこのルーチンは終了する。 In the next step 270, it is determined whether or not the face correlation image capturing has been completed. If a negative determination is made, the process proceeds to step 266 and the above steps are repeated. If the determination at step 270 is affirmative, this routine ends.

図１４は、記録メディア４６Ａ（図１４のフローチャートでは、「メディアＡ」とする）の人物Ａの画像を再生表示するモードの説明であり、ステップ２７９で記録メディア４６Ａに記憶されている人物Ａの画像を再生表示し、次いでステップ２８０では、記録メディア４６Ｂ（図１４のフローチャートでは、「メディアＢ」とする）上に含まれる、人物Ａの画像を含む画像データを記録メディア４６Ａにコピーすることを決定し、次いでステップ２８２へ移行して記録メディア４６Ａの人物Ａの顔相関用画像を第１のメモリ４２にロード（転送）してステップ２８４へ移行する。 FIG. 14 illustrates a mode for reproducing and displaying the image of the person A on the recording medium 46A (referred to as “medium A” in the flowchart of FIG. 14). In step 279, the person A stored in the recording medium 46A is displayed. In step 280, the image data including the image of the person A included in the recording medium 46B (referred to as “media B” in the flowchart of FIG. 14) is copied to the recording medium 46A. Then, the process proceeds to step 282, and the face correlation image of the person A on the recording medium 46A is loaded (transferred) to the first memory 42, and the process proceeds to step 284.

ステップ２８４では、記録メディア４６Ｂの中の縮小画像又はサムネイル画像を第１のメモリ４２にロード（転送）し、ステップ２８６へ移行する。 In step 284, the reduced image or thumbnail image in the recording medium 46B is loaded (transferred) to the first memory 42, and the process proceeds to step 286.

ステップ２８６では、記録メディア４６Ａの人物Ａの相関画像全てと、記録メディア４６Ｂからロードした画像について顔の画像データを相関比較する。 In step 286, all the correlation images of the person A on the recording medium 46A are compared with the face image data for the image loaded from the recording medium 46B.

次のステップ２８８では、同一人物として一致したか否かが判断され、肯定判定されると、ステップ２９０へ移行して一致した画像について記録メディア４６Ｂから記録メディア４６Ａにコピーアンドペースト（複製→貼付）し、ステップ２９２へ移行する。また、ステップ２８８で否定判定されると、ステップ２９２へ移行する。 In the next step 288, it is determined whether or not they match as the same person. If an affirmative determination is made, the process proceeds to step 290, where the matched images are copied and pasted from the recording medium 46B to the recording medium 46A (duplication → paste). Then, the process proceeds to step 292. If a negative determination is made in step 288, the process proceeds to step 292.

ステップ２９２では、記録メディア４６Ｂについて全ての画像についてチェック済か否かが判断され、否定判定された場合はステップ２８４へ戻り上記工程を繰り返す。また、ステップ２９２で肯定判定された場合には、このルーチンは終了する。なお、図１４は、記録メディア４６Ａの人物Ａの画像を再生表示するモードを説明したが、他の記録メディア４６Ｂであってもよい、また、他の人物（Ａ以外）であってもよい。 In step 292, it is determined whether or not all images of the recording medium 46B have been checked. If a negative determination is made, the process returns to step 284 and the above steps are repeated. If the determination at step 292 is affirmative, this routine ends. 14 describes the mode for reproducing and displaying the image of the person A on the recording medium 46A. However, the recording medium 46B may be another recording medium 46B or another person (other than A).

本実施の形態に係り、（Ａ）はデジタルカメラの正面、（Ｂ）はデジタルカメラの上面、（Ｃ）はデジタルカメラの背面、を示す概観図である。1A is a schematic view illustrating a front surface of a digital camera, FIG. 2B is an upper surface of the digital camera, and FIG. 3C is a rear surface of the digital camera according to the present embodiment. 本実施の形態に係るデジタルカメラの電気系の要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of the electric system of the digital camera which concerns on this Embodiment. 本実施の形態に係り、記録メディアに撮影した画像データを記憶するときの記憶領域の状態を模式的に示した概念図である。FIG. 5 is a conceptual diagram schematically showing a state of a storage area when image data captured on a recording medium is stored according to the present embodiment. ＬＣＤ画面と、このＬＣＤへの階層的な表示形態を示す画像の正面図である。It is a front view of the image which shows a LCD screen and the hierarchical display form on this LCD. 本実施の形態に係り、撮影時の画像データ保存（記憶）のためのルーチンを示す制御フローチャートである。7 is a control flowchart showing a routine for storing (storing) image data at the time of shooting according to the present embodiment. 本実施の形態に係り、再生時の画像データの検索のためのルールーチンを示す制御フローチャートである。4 is a control flowchart showing a routine for searching for image data during reproduction according to the present embodiment. 変形例１に係り、記録メディアに撮影した画像データを記憶するときの記憶領域の状態を模式的に示した概念図である。FIG. 10 is a conceptual diagram schematically showing a state of a storage area when image data captured on a recording medium is stored according to Modification 1. 変形例１に係り、特定顔画像を含む画像データのコピーのためのルールーチンを示す制御フローチャートである。10 is a control flowchart showing a routine for copying image data including a specific face image according to Modification 1; 変形例１に係り、全ての顔画像を含む画像データのコピーのためのルールーチンを示す制御フローチャートである。10 is a control flowchart showing a routine for copying image data including all face images according to Modification 1; 変形例２に係り、同一人物の辞書候補となる顔画像の正面図である。FIG. 16 is a front view of a face image that is a candidate for a dictionary of the same person according to Modification 2. 変形例２に係り、記録メディアに撮影した画像データを記憶するときの記憶領域の状態を模式的に示した概念図である。FIG. 10 is a conceptual diagram schematically showing a state of a storage area when image data taken on a recording medium is stored according to Modification 2. 変形例２に係り、グルーピングの階層形態を示す概念図である。FIG. 10 is a conceptual diagram illustrating a hierarchical form of grouping according to Modification 2. 変形例２に係り、顔相関用画像登録モードを示す制御フローチャートである。12 is a control flowchart according to a second modification and illustrating a face correlation image registration mode. 変形例２に係り、記録メディアの特定の人物の画像を再生表示するモードを示す制御フローチャートである。10 is a control flowchart showing a mode for reproducing and displaying an image of a specific person on a recording medium according to Modification 2.

Explanation of symbols

１０デジタルカメラ（撮影装置）
１２レンズ
１４ファインダ
１６操作部
１８ＬＣＤ
２０光学ユニット
２２ＣＣＤ
３４ＬＣＤＩ／Ｆ
３６ＣＰＵ（判別手段、記憶制御手段）
４２第１メモリ
４６Ａ第１の記録メディア（記憶媒体）
４６Ｂ第２の記録メディア（記憶媒体）
５２顔検出回路（顔抽出手段）
６０撮像部
１００画像データ領域
１０２サムネイル画像データ領域
１０４本画像データ領域
１０６人物見出し画面
１０８撮影日見出し画面 10 Digital camera (photographing device)
12 Lens 14 Finder 16 Operation unit 18 LCD
20 Optical unit 22 CCD
34 LCD I / F
36 CPU (discriminating means, storage control means)
42 First memory 46A First recording medium (storage medium)
46B Second recording medium (storage medium)
52 Face detection circuit (face extraction means)
60 Image pickup unit 100 Image data area 102 Thumbnail image data area 104 Main image data area 106 Person headline screen 108 Shooting date header screen

Claims

Used in an imaging device having an imaging function for imaging a subject by an imaging means and a playback function for displaying and reproducing an image on a display device based on the image data, and storing the image data of the subject obtained by the imaging in a storage medium An image data processing method for
An area corresponding to a human face is extracted from the image data captured by the imaging means,
Based on the image data of the extracted face area, the identity is determined,
In the determined same person unit, each identifiable state is stored in the storage medium,
An image data processing method comprising: grouping at least the same person unit and storing image data in the storage medium.

2. The photographing according to claim 1, wherein the storage medium includes a plurality of detachable recording media, and the image data is stored in one of the plurality of recording media in the group unit. apparatus.

An imaging device having an imaging function for imaging a subject by imaging means, storing the image data of the subject obtained by the imaging in a storage medium, and a playback function for displaying and reproducing an image on a display device based on the image data. And
A face area extracting means for extracting an area corresponding to a human face from the image data captured by the imaging means;
Discrimination means for discriminating identity based on image data of the face area extracted by the face area extraction means;
Storage control means for storing in the storage medium in an identifiable state in units of the same person determined by the determination means;
A photographing apparatus having

The storage medium is detachable and includes a plurality of recording media, and the storage control means groups at least the same person unit and aggregates images into any one of the plurality of recording media in group units. 4. The photographing apparatus according to claim 3, wherein data is stored.

5. The photographing apparatus according to claim 4, wherein the storage control unit executes image data transfer processing including cutting or copying between the plurality of recording media and pasting by designating the group.

The face extraction process by the face extraction unit is executed on the image data captured by other than the imaging unit and stored in the recording medium, and the storage control unit is determined to be the same person by the face extraction. 5. The photographing apparatus according to claim 4, wherein image data transfer processing including cutting or duplication and pasting is performed between a plurality of recording media so as to aggregate image data.

In the recording medium, image data of a face area for comparison and collation of a person who preferentially uses the recording medium is stored in advance, and the determination unit includes image data of the face area extracted by the face extraction unit and The photographing apparatus according to claim 3, wherein the photographing device is identified by collation.