JP2012235273A - Imaging device, control method, and program - Google Patents

Imaging device, control method, and program Download PDF

Info

Publication number
JP2012235273A
JP2012235273A JP2011101889A JP2011101889A JP2012235273A JP 2012235273 A JP2012235273 A JP 2012235273A JP 2011101889 A JP2011101889 A JP 2011101889A JP 2011101889 A JP2011101889 A JP 2011101889A JP 2012235273 A JP2012235273 A JP 2012235273A
Authority
JP
Japan
Prior art keywords
subject
identification information
image
identification
shots
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011101889A
Other languages
Japanese (ja)
Inventor
Masanori Tashiro
正則 田代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Canon MJ IT Group Holdings Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Canon MJ IT Group Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc, Canon MJ IT Group Holdings Inc filed Critical Canon Marketing Japan Inc
Priority to JP2011101889A priority Critical patent/JP2012235273A/en
Publication of JP2012235273A publication Critical patent/JP2012235273A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a system which counts the number of photographs per target person by recognizing faces at photographing and prevents a user from intensively photographing a specific person.SOLUTION: An imaging device which photographs a subject by using face recognition is configured to: register information on a subject in association with a face image of the subject identified by the face recognition as identification information; store and manage the registered identification information on the subject in association with the number of images capturing the subject; detect a subject at photographing; determine whether identification information on the detected subject corresponds to the identification information on the subject already registered; display the number of images capturing the subject when it is determined that an identification image of the subject corresponds to the registered face image of the subject; and perform warning concerning the number of photographs of the subject according to the number of photographs of the subject.

Description

本発明は、撮像装置を用いた画像の撮影方法に関する。具体的には、被写体の画像を撮像する撮像部と、前記撮像された画像から顔を検出する顔検出部と、前記検出された顔の照合を行う人物照合部と、照合した画像をカウントする計測部とを備える撮影機器の制御に関する。   The present invention relates to an image capturing method using an imaging apparatus. Specifically, an imaging unit that captures an image of a subject, a face detection unit that detects a face from the captured image, a person verification unit that compares the detected face, and counts the collated images The present invention relates to control of an imaging device including a measurement unit.

従来より、顔認識技術を利用して、撮影時に人物の顔を認識して焦点を自動で合わせることを可能とする、所謂「顔認識フォーカス」機能が提案されている。これにより、顔に対して効果的に焦点を合わせることで、撮影者の意図しないボケを防ぐことが可能となっている。   Conventionally, a so-called “face recognition focus” function has been proposed that makes it possible to recognize a person's face at the time of shooting and automatically focus using a face recognition technique. Accordingly, it is possible to prevent blurring unintended by the photographer by effectively focusing on the face.

例えば、特許文献1では顔認識技術を利用し、撮影予定人数を設定することで被写体が撮影予定人数に達した場合に、自動で撮像を実行するなどの機能が開示されている。   For example, Patent Document 1 discloses a function of automatically performing imaging when a subject reaches the scheduled number of persons by using the face recognition technology and setting the scheduled number of persons to be photographed.

特開2007−329602号JP 2007-329602 A

特許文献1には、集合写真等の撮影や特定人物の撮影を容易に行なえる技術が開示されているが、例えば、旅行等で写真撮影を行った際、参加者を均等に撮影したい場合がある。しかし、撮影者が意図しなくとも、特定人物のみが偏って撮影されていることがある。   Patent Document 1 discloses a technique that can easily shoot a group photo or a specific person, but for example, when taking a photograph on a trip or the like, it may be desirable to shoot the participants evenly. is there. However, even if the photographer does not intend, only a specific person may be photographed in a biased manner.

また、小学校の遠足などに行った際、教師が複数の生徒と行動を共にしながら撮影するため、撮影した写真に各生徒が何枚ずつ写っているか把握することは不可能である。その為、特定の生徒が多く写っていたり、逆に、少なかったりとした問題が発生する。   In addition, when going to an excursion at an elementary school, it is impossible to grasp how many students are in each photograph because the teacher shoots while taking action with multiple students. For this reason, there are problems that a large number of specific students are shown, or conversely, there are few.

本発明は、予め対象者の情報を登録しておき、撮影時に顔認識することで対象者毎の撮影枚数をカウントし、特定人物のみに偏って撮影することを防ぐ仕組みを提供することを目的とする。   SUMMARY OF THE INVENTION An object of the present invention is to provide a mechanism in which information of a target person is registered in advance, the number of shots for each target person is counted by recognizing a face at the time of shooting, and shooting is not biased to a specific person. And

即ち、本発明の撮像装置は、顔認識を用いて被写体を撮影する撮像装置において、前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録手段と、前記識別情報登録手段で登録した前記被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段と、撮影時に被写体を検出する検出手段と、前記検出手段で検出した前記被写体の識別情報が、前記識別情報登録手段で登録されている前記被写体の識別情報と一致するか否かを判定する判定手段と、前記判定手段で前記被写体の識別画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影された画像の枚数を表示する撮影枚数表示手段と、前記表示手段で表示した前記被写体の撮影枚数に応じて、前記被写体の撮影枚数に関する警告を行う警告手段とを備えることを特徴とする。
また、本発明の撮像装置は、前記記憶管理手段で記憶管理している前記被写体が撮影されている画像の枚数を、該被写体毎に撮影枚数が識別可能な形式で表示する撮影枚数表示手段を更に備えることを特徴とする。
また、本発明において前記判定手段は、前記検出手段で検出した前記被写体の識別情報が撮影された画像の枚数の値と、予め設定されている最低撮影枚数の値を比較する比較手段を備え、前記警告手段は、前記比較手段で前記識別情報が撮影された枚数の値が、前記予め設定されている撮影枚数の値よりも大きい場合には、前記識別情報は既に最低枚数の撮影がなされている旨を警告し、また、前記比較手段で前記識別情報が撮影された枚数の値が、前記予め設定されている撮影枚数の値よりも小さい場合には、前記識別情報が最低撮影枚数に到達するために必要な枚数を警告することを特徴とする。
また、本発明は、撮影時に被写体の検出を行う対象とする識別グループと前記識別グループに属する識別情報の画像が撮影された期間の選択を受け付ける選択受付手段を更に備え、前記検出手段は、前記選択受付手段で受け付けた前記識別グループに属する識別情報の画像の検出を行うことを特徴とする。
また本発明は、画像を撮影する撮像手段を更に備え、前記撮像手段で撮影した画像に前記識別情報登録手段で登録した前記被写体が撮影されている場合、当該被写体が顔認識された部位と、認識された当該被写体を識別する情報を表示する撮影結果表示手段を更に備えることを特徴とする。
また本発明において前記識別情報登録手段は、前記被写体をグループに分類する識別グループの情報を前記識別情報として登録することを特徴とする。
That is, the imaging apparatus of the present invention registers the identification information by associating the subject information with the face image of the subject specified by the face recognition in an imaging apparatus that captures a subject using face recognition. Identification information registration means, storage management means for storing and managing the identification information of the subject registered by the identification information registration means, and the number of images in which the subject is photographed, and detecting the subject at the time of photographing A detection unit; a determination unit that determines whether or not the identification information of the subject detected by the detection unit matches the identification information of the subject registered by the identification information registration unit; and A number-of-photographs table that displays the number of images in which the subject is photographed when it is determined that the identification image of the subject matches the face image of the subject registered in the identification information registration unit And means, in accordance with the number of shots of the subject displayed on the display means, characterized in that it comprises a warning means for performing warning about the number of shots of the object.
The imaging apparatus according to the present invention further includes a number-of-photographing display unit that displays the number of images of the subject that is stored and managed by the storage management unit in a format in which the number of captured images can be identified for each subject. It is further provided with the feature.
Further, in the present invention, the determination unit includes a comparison unit that compares a value of the number of images in which the identification information of the subject detected by the detection unit is captured with a preset value of the minimum number of images to be captured, If the value of the number of images for which the identification information has been photographed by the comparing means is greater than the preset number of images to be photographed, the warning means has already photographed the minimum number of images. If the value of the number of shots of the identification information taken by the comparison means is smaller than the preset number of shots, the identification information reaches the minimum number of shots. This is characterized by warning the number of sheets necessary for the operation.
In addition, the present invention further includes a selection receiving unit that receives selection of an identification group that is a target for detecting a subject at the time of shooting and a period during which an image of identification information that belongs to the identification group is shot, and the detection unit includes: An image of identification information belonging to the identification group received by the selection receiving means is detected.
Further, the present invention further includes an imaging unit that captures an image, and when the subject registered by the identification information registration unit is captured in an image captured by the imaging unit, a portion of the subject whose face is recognized, The image processing apparatus further includes photographing result display means for displaying information for identifying the recognized subject.
In the present invention, the identification information registration unit registers information of an identification group for classifying the subject into a group as the identification information.

本発明によれば、予め対象者の情報を登録しておき、撮影時に顔認識することで対象者毎の撮影枚数をカウントし、特定人物のみに偏って撮影することを防ぐ仕組みを提供することが可能となる。   According to the present invention, it is possible to provide a mechanism for registering information on a target person in advance, counting the number of shots for each target person by recognizing a face at the time of shooting, and preventing shooting with bias toward a specific person. Is possible.

本発明の実施形態に係る撮影装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る撮影装置で動作するプログラムのモジュールを示す図である。It is a figure which shows the module of the program which operate | moves with the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る撮影装置が保持する識別情報データテーブルの一例を示す図である。It is a figure which shows an example of the identification information data table which the imaging device which concerns on embodiment of this invention hold | maintains. 本発明の実施形態に係る撮影装置が保持する顔認識情報データテーブルの一例を示す図である。It is a figure which shows an example of the face recognition information data table which the imaging device which concerns on embodiment of this invention hold | maintains. 本発明の実施形態に係る撮影装置が保持する識別グループデータテーブルの一例を示す図である。It is a figure which shows an example of the identification group data table which the imaging device which concerns on embodiment of this invention hold | maintains. 本発明の実施形態に係る撮影装置が保持する識別情報カウントデータテーブルの一例を示す図である。It is a figure which shows an example of the identification information count data table which the imaging device which concerns on embodiment of this invention hold | maintains. 本発明の実施形態に係る撮影装置が保持する画像データテーブルの一例を示す図である。It is a figure which shows an example of the image data table which the imaging device which concerns on embodiment of this invention hold | maintains. 本発明の実施形態に係る撮影装置の表示部で表示される識別情報登録モードへ変更する画面の一例を示す図である。It is a figure which shows an example of the screen changed into the identification information registration mode displayed on the display part of the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る撮影装置の表示部で表示される識別情報登録画面へ変更する画面の一例を示す図である。It is a figure which shows an example of the screen changed into the identification information registration screen displayed on the display part of the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る撮影装置の表示部で表示される識別情報登録画面の一例を示す図である。It is a figure which shows an example of the identification information registration screen displayed on the display part of the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る撮影装置の表示部で表示される識別グループを登録する画面の一例を示す図である。It is a figure which shows an example of the screen which registers the identification group displayed on the display part of the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る撮影装置の表示部で表示される識別グループを選択する画面の一例を示す図である。It is a figure which shows an example of the screen which selects the identification group displayed on the display part of the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る撮影装置の表示部で表示される撮影時に識別情報と一致した場合の画面の一例を示す図である。It is a figure which shows an example of a screen when it corresponds with identification information at the time of imaging | photography displayed on the display part of the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る撮影装置の表示部で表示される撮影時に被写体の撮影枚数に応じて表示される警告の一例を示す図である。It is a figure which shows an example of the warning displayed according to the imaging | photography number of a to-be-photographed object at the time of imaging | photography displayed on the display part of the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る撮影装置の表示部で表示される撮影時に識別情報と一致しない場合の画面の一例を示す図である。It is a figure which shows an example of the screen when not matching with identification information at the time of imaging | photography displayed on the display part of the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る撮影装置の表示部で表示される最低撮影枚数以下の識別結果を表示する画面の一例を示す図である。It is a figure which shows an example of the screen which displays the identification result below the minimum imaging | photography number displayed on the display part of the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る撮影装置で識別情報の登録時に実行するフローチャートである。It is a flowchart performed at the time of registration of identification information with the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る撮影装置で撮影時、及び、識別結果判定時に実行するフローチャートである。It is a flowchart performed at the time of imaging | photography with the imaging device which concerns on embodiment of this invention, and an identification result determination.

図1は、本発明に係る撮影装置の概略構成を示すブロック図である。図1において、撮影装置は、いわゆるデジタルカメラから成り、撮影用のレンズ101、撮像素子(以下、「CCD」と称する)102、カメラ信号処理部(以下、「ADC」と称する)103、画像処理部104、コントローラ110、バッファメモリ111、フラッシュROM112、インターフェース回路(以下、「I/F回路」と称する)113、カードホルダ114、記録媒体115、ディスプレイドライバ116、および操作部120を備える。   FIG. 1 is a block diagram showing a schematic configuration of a photographing apparatus according to the present invention. In FIG. 1, the photographing apparatus includes a so-called digital camera, a photographing lens 101, an image pickup element (hereinafter referred to as “CCD”) 102, a camera signal processing unit (hereinafter referred to as “ADC”) 103, image processing. Unit 104, controller 110, buffer memory 111, flash ROM 112, interface circuit (hereinafter referred to as “I / F circuit”) 113, card holder 114, recording medium 115, display driver 116, and operation unit 120.

図1は、本実施形態に係る情報付加装置を適用した撮像装置の構成を示す図である。撮像装置は、レンズ101と、撮像素子(CCD)102と、カメラ信号処理部103と、画像処理部104と、記録媒体115と、レンズ制御部127と、コントローラ110と、操作部120とを含んで構成される。   FIG. 1 is a diagram illustrating a configuration of an imaging apparatus to which the information addition apparatus according to the present embodiment is applied. The imaging apparatus includes a lens 101, an imaging device (CCD) 102, a camera signal processing unit 103, an image processing unit 104, a recording medium 115, a lens control unit 127, a controller 110, and an operation unit 120. Consists of.

レンズ101は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。   The lens 101 is a lens or the like, and includes an objective lens, a zoom lens, a focus lens, and the like. The zoom lens and the focus lens are driven in the optical axis direction by a driving mechanism (not shown).

撮像素子102は、レンズ101から入射した撮像光をを結像し、電気信号(アナログ信号)に変換するして出力するCCDイメージセンサで構成される。   The imaging element 102 is configured by a CCD image sensor that forms an image of imaging light incident from the lens 101, converts the imaging light into an electrical signal (analog signal), and outputs the electrical signal.

カメラ信号処理部(ADC)103は、撮像素子102から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。   The camera signal processing unit (ADC) 103 has a function of performing signal processing such as digital conversion and white balance adjustment on the electric signal received from the image sensor 102 and converting it into a digital signal.

コントローラ110は、画像処理部104、バッファメモリ111、フラッシュROM112、I/F回路113、ディスプレイドライバ116、サウンドドライバ118、LEDドライバ128、および操作部120に接続されている   The controller 110 is connected to the image processing unit 104, buffer memory 111, flash ROM 112, I / F circuit 113, display driver 116, sound driver 118, LED driver 128, and operation unit 120.

画像処理部104は、前処理部105、YC処理部106、電子ズーム処理部107、圧縮部108、および伸長部109を備え、カメラ信号処理部103から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。   The image processing unit 104 includes a preprocessing unit 105, a YC processing unit 106, an electronic zoom processing unit 107, a compression unit 108, and an expansion unit 109, and generates image data from a digital signal output from the camera signal processing unit 103. Have a function of performing various image processing.

前処理部105は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源(蛍光灯や太陽光など)に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部105は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。   The pre-processing unit 105 has a function of performing white balance processing for adjusting the white balance of an image based on input image data and image gamma correction processing. The white balance process is a process of adjusting the color of an image so as to be close to the actual color, or adjusting the color to an appropriate color that matches a light source (such as a fluorescent lamp or sunlight). The gamma correction process is a process for adjusting the contrast of an image. Note that the pre-processing unit 105 can also perform image processing other than white balance processing and gamma correction processing.

YC処理部106は、入力される画像データに基づく画像を、輝度情報「Y」と、輝度信号と青色の色差情報「Cb」と、輝度信号と赤色の色差情報「Cr」とに分離する機能を有する。電子ズーム処理部107は、画像の一部(例えば中央部)を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。電子ズーム処理部107は、例えば、撮影された1600×1200ドットの画像から中央の1024×768ドットの画像を切り出し、データ補間を行いながら1600×1200ドットのサイズに拡大することができる。   The YC processor 106 separates an image based on input image data into luminance information “Y”, luminance signal and blue color difference information “Cb”, and luminance signal and red color difference information “Cr”. Have The electronic zoom processing unit 107 has a function of trimming a part of an image (for example, a central part) with a predetermined size and enlarging the trimmed image to the size of the original image by signal processing. The electronic zoom processing unit 107 can, for example, cut out a central 1024 × 768 dot image from a captured 1600 × 1200 dot image and enlarge it to a size of 1600 × 1200 dot while performing data interpolation.

圧縮部108は、画像データをJPEG(Joint Photographic Expert Group)方式などの圧縮形式によって圧縮する機能を有する。伸長部109は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをJPEG方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる(DCT処理)。次に、画像の階調やグラデーションを表現する段階を数値(量子化ビット数)で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。   The compression unit 108 has a function of compressing image data in a compression format such as a JPEG (Joint Photographic Expert Group) method. The decompression unit 109 has a function of decompressing compressed image data. For example, when compressing image data using the JPEG method, first, a discrete cosine transform process is performed (DCT process) that digitizes the ratio of high-frequency components and low-frequency components of image data. Next, a quantization process is performed for expressing the gradation or gradation of the image by a numerical value (quantization bit number). Finally, the image data is compressed by the Huffman encoding process.

具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部108および伸長部109を省略することができる。また、画像データの圧縮形式は、JPEG方式に限らず、GIF(Graphical Interchange Format)形式などであっても、同様に処理を行うことができる。   Specifically, the signal character string of the image data is segmented every certain bit, and a shorter code is given to a character string having a high appearance frequency. In the case of a system that records image data without performing compression processing, the compression unit 108 and the expansion unit 109 can be omitted. Further, the image data compression format is not limited to the JPEG format, and the same processing can be performed even in a GIF (Graphical Interchange Format) format.

バッファメモリ111には、画像処理部104において画像処理が行われる際に、一時的に画像データが保存される。フラッシュROM112には、撮影装置の各種設定情報や、後述するユーザ認証情報が保存される。I/F回路113は、コントローラ110から出力される画像データを、記録媒体115に記録可能なデータ形式に変換する。また、I/F回路113は、記録媒体115から読み出された画像データ等を、コントローラ110で処理可能なデータ形式に変換する。   The buffer memory 111 temporarily stores image data when the image processing unit 104 performs image processing. The flash ROM 112 stores various setting information of the photographing apparatus and user authentication information described later. The I / F circuit 113 converts the image data output from the controller 110 into a data format that can be recorded on the recording medium 115. The I / F circuit 113 converts image data read from the recording medium 115 into a data format that can be processed by the controller 110.

カードホルダ114は、記憶媒体である記録媒体115を撮影装置に着脱可能にする機構を備えると共に、記録媒体115との間でデータ通信が可能な電気接点を備える。また、カードホルダ114は、撮影装置で利用される記憶媒体の種類に応じた構造を有する。記録媒体115は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ114に着脱可能なカード型の記憶媒体である。記録媒体115には、撮影装置で撮影された画像データを記録することができる。   The card holder 114 includes a mechanism that allows the recording medium 115 that is a storage medium to be attached to and detached from the photographing apparatus, and includes an electrical contact that enables data communication with the recording medium 115. The card holder 114 has a structure corresponding to the type of storage medium used in the photographing apparatus. The recording medium 115 is a card-type storage medium that incorporates a semiconductor storage element such as a flash memory and is detachable from the card holder 114. The recording medium 115 can record image data captured by the imaging device.

ディスプレイドライバ116は、コントローラ110から出力される画像データをディスプレイ117で表示可能な信号に変換する。具体的には、ディスプレイドライバ116は、コントローラ110から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズをディスプレイ117の表示可能エリアのサイズに適したサイズに変換する処理を行う。   The display driver 116 converts the image data output from the controller 110 into a signal that can be displayed on the display 117. Specifically, the display driver 116 performs processing for converting digital image data output from the controller 110 into an analog image signal, and then converts the image size to a size suitable for the size of the displayable area of the display 117. Perform the process.

サウンドドライバ118は、コントローラ110から出力される音声データをスピーカ219で鳴動可能な信号に変換する処理を行う。LED(Light Emitting Diode)ドライバ128は、コントローラ110から出力される命令に従いランプ129の制御を行う。   The sound driver 118 performs a process of converting the audio data output from the controller 110 into a signal that can be sounded by the speaker 219. An LED (Light Emitting Diode) driver 128 controls the lamp 129 in accordance with a command output from the controller 110.

操作部120は、電源スイッチ121、モードダイヤル122、撮影ボタン123、カーソルキー124、ズームボタン125、および閲覧(再生)ボタン126を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をコントローラ110に出力する。なお、操作部120には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。   The operation unit 120 includes a power switch 121, a mode dial 122, a shooting button 123, a cursor key 124, a zoom button 125, and a browse (playback) button 126. The operation unit 120 receives an operation input from the user and receives a signal corresponding to the operation content. Is output to the controller 110. The operation unit 120 includes operation buttons other than the illustrated operation buttons, but a description thereof is omitted.

モードダイヤル(選択ボタン)122は、撮影動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル122を操作することで、複数の撮影動作モードを選択することが可能である。なお、本発明の実施形態において、モードダイヤルは、ダイヤル式機構として記載をするが、例えば、ダイヤルではなくスライド式のボタンであってもよい。つまり、モードダイヤル122について、その機構はダイヤルに限定されず、カメラのモードを切り替えられるための機構を備えていることが本質である。   A mode dial (select button) 122 is a rotatable dial for switching the mode of the photographing operation. The user can select a plurality of shooting operation modes by operating the mode dial 122. In the embodiment of the present invention, the mode dial is described as a dial type mechanism. However, for example, a slide type button may be used instead of the dial. That is, the mechanism of the mode dial 122 is not limited to the dial, and it is essential to have a mechanism for switching the camera mode.

閲覧ボタン126は、撮影した画像データを閲覧する閲覧モード(再生モード)に切り替えるためのボタンである。閲覧ボタン126が押下されると、撮影モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、閲覧ボタン126の押下に限定されず、ディスプレイ117上のタッチパネル(不図示)などによる移行方法であってもよい。   The browsing button 126 is a button for switching to a browsing mode (playback mode) for browsing captured image data. When the browse button 126 is pressed, the shooting mode is changed to the browsing mode. Note that the method for switching to the viewing mode is not limited to pressing the viewing button 126, and may be a transition method using a touch panel (not shown) on the display 117.

閲覧モードでは、コントローラ110が、I/F回路113を介して、カードホルダ114に装着されている記録媒体115から設定情報と画像データを読み出す。設定情報は、現在装着されている記録媒体115に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像1枚分の画像データまたはサムネイルデータである。なお、記録媒体115から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。   In the browsing mode, the controller 110 reads setting information and image data from the recording medium 115 attached to the card holder 114 via the I / F circuit 113. The setting information includes the number of images recorded on the currently loaded recording medium 115 and the capacity of the recorded image data. The read image data is, for example, image data or thumbnail data for one image. Note that the image data read from the recording medium 115 is compressed in a predetermined compression format as described above.

記録媒体115から読み出された画像データは、I/F回路113およびコントローラ110を介して、ディスプレイドライバ116へ入力される。ディスプレイドライバ116は、入力された画像データをディスプレイ117に表示させる。   The image data read from the recording medium 115 is input to the display driver 116 via the I / F circuit 113 and the controller 110. The display driver 116 displays the input image data on the display 117.

カーソルキー124は、ユーザが撮影装置に対する所定の指示や機能選択を行うためのキーである。ユーザは、カーソルキー124により、撮影装置に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。また、カーソルキー124により、ディスプレイ117にメニュー画面を表示させたり、撮影装置が有する所定の機能を選択することができる。さらに、カーソルキー124により、撮影装置で撮影された画像データをディスプレイ117上にレビュー表示させることができる。レビュー表示とは、撮影装置200で撮影した画像を、その直後にディスプレイ117に表示させる機能である。   The cursor key 124 is a key for the user to perform a predetermined instruction or function selection to the photographing apparatus. The user can perform operation inputs such as various setting information and user authentication information with respect to the photographing apparatus using the cursor key 124. The cursor key 124 can display a menu screen on the display 117 or select a predetermined function of the photographing apparatus. Further, the cursor key 124 can display the image data photographed by the photographing apparatus on the display 117 as a review. The review display is a function of causing the display 117 to display an image photographed by the photographing apparatus 200 immediately after that.

なお、レビュー表示については、ディスプレイ117上に撮影した画像を1枚のみ表示する構成に限定されず、サムネイル画像を含む複数の画像を表示するように構成してもよい。また、レビュー表示の切り替えについては、カーソルキー124の押下に限らず、他のボタンの押下などの一般的な方法を利用して切り替えられる構成にしてもよい。また、レビュー表示画面において、レビュー表示画像の削除や編集などが行えるように構成してもよい。   Note that the review display is not limited to a configuration in which only one photographed image is displayed on the display 117, and a plurality of images including thumbnail images may be displayed. Further, the review display switching is not limited to the pressing of the cursor key 124 but may be switched using a general method such as pressing of another button. Further, the review display screen may be configured such that the review display image can be deleted or edited.

レンズ制御部127は、レンズ101のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮影装置は、被写体を撮像して画像データを得る撮影モードと当該撮影モードで得た画像データを表示する閲覧(再生)モードとを備える。   The lens control unit 127 controls the lens 101 such as zoom, focus, and diaphragm. In addition, the photographing apparatus includes a photographing mode for capturing an image of a subject to obtain image data and a browsing (reproducing) mode for displaying the image data obtained in the photographing mode.

なお、音声についてはマイクやスピーカを用いることで、撮像装置と同様に記録、及び再生が可能である。また、映像(動画)記録時には、通常音声記録も同時に行われ、圧縮部108および伸長部109において、映像と音声が多重化される。   Note that the sound can be recorded and reproduced in the same manner as the imaging apparatus by using a microphone or a speaker. Further, when recording video (moving image), normal audio recording is also performed at the same time, and video and audio are multiplexed in the compression unit 108 and the expansion unit 109.

また、撮影装置200における撮影動作について図1を用いて説明する。まず、ユーザが電源スイッチ121を操作し、撮影装置200の電源をONにする。すると、撮影装置200に内蔵されているバッテリー(不図示)から各回路へ電源供給されて、撮影装置200の起動処理(レンズバリアを開く動作制御およびマイクロコンピューターのリセット処理など)が行われる。撮影装置200は、電源OFF時に電源スイッチ121が押下されると電源ONとなり、自動的に撮影モードとなるように構成されている。また、電源OFF時に閲覧ボタンが押下されると電源ONとなり、自動的に閲覧モードとなるように構成されている。   In addition, a photographing operation in the photographing apparatus 200 will be described with reference to FIG. First, the user operates the power switch 121 to turn on the photographing apparatus 200. Then, power is supplied to each circuit from a battery (not shown) built in the photographing apparatus 200, and activation processing of the photographing apparatus 200 (operation control for opening the lens barrier, reset processing of the microcomputer, etc.) is performed. The photographing apparatus 200 is configured such that when the power switch 121 is pressed when the power is turned off, the power is turned on and the photographing mode is automatically set. Further, when the viewing button is pressed when the power is turned off, the power is turned on and the viewing mode is automatically set.

撮影装置200が撮影モードに移行すると、光学画像がレンズ101を介して撮影装置内へ入射し、撮像素子(CCD)102に結像される。CCD102は、入射される光学画像を電気信号に変換して、カメラ信号処理部(ADC)103へ出力する。ADC103は、入力される電気信号(アナログ信号)をデジタル信号に変換する。ADC103から出力されるデジタル信号は画像処理部104に入力される。   When the photographing apparatus 200 shifts to the photographing mode, an optical image enters the photographing apparatus through the lens 101 and is imaged on the image sensor (CCD) 102. The CCD 102 converts an incident optical image into an electric signal and outputs it to a camera signal processing unit (ADC) 103. The ADC 103 converts an input electric signal (analog signal) into a digital signal. A digital signal output from the ADC 103 is input to the image processing unit 104.

画像処理部104内の前処理部105では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部104内のYC処理部106では、画像データが輝度信号Yと色差信号CrおよびCbとに分離され、色差信号CrおよびCbの情報量を減らす処理が行われる。色差信号CrおよびCbの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「4:2:2ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「401ダウンサンプリング処理」などがある。なお、前処理部105およびYC処理部106において画像処理を行う際は、画像データを一時的にバッファメモリ111に保存し、随時バッファメモリ111に保存されている画像データを読み出しながら画像処理が行われる。   A preprocessing unit 105 in the image processing unit 104 generates image data based on an input digital signal, and performs white balance processing, gamma correction processing, and the like. In the YC processing unit 106 in the image processing unit 104, the image data is separated into the luminance signal Y and the color difference signals Cr and Cb, and processing for reducing the information amount of the color difference signals Cr and Cb is performed. The information amount reduction processing of the color difference signals Cr and Cb is, for example, “4: 2: 2 downsampling processing” for thinning out color information in the main scanning direction of an image, or “401 downsampling for thinning out color information in the vertical and horizontal directions of an image. Processing ". When image processing is performed in the preprocessing unit 105 and the YC processing unit 106, image data is temporarily stored in the buffer memory 111, and image processing is performed while reading the image data stored in the buffer memory 111 as needed. Is called.

画像処理部104から出力される画像データ(非圧縮)はコントローラ110に入力される。コントローラ110は、画像処理部104から出力される画像データを、ディスプレイドライバ116へ出力する。ディスプレイドライバ116は、入力される画像データ(デジタル信号)をアナログ画像信号に変換すると共に、アナログ画像信号に基づく画像のサイズをディスプレイ117で表示可能なサイズに調整する。   Image data (uncompressed) output from the image processing unit 104 is input to the controller 110. The controller 110 outputs the image data output from the image processing unit 104 to the display driver 116. The display driver 116 converts input image data (digital signal) into an analog image signal, and adjusts the size of the image based on the analog image signal to a size that can be displayed on the display 117.

また、ディスプレイドライバ116は、ディスプレイ117に画像を表示させるよう制御する。このとき、ディスプレイ117に表示される画像は、CCD102、ADC103、および画像処理部104において、連続的に信号処理されて生成される画像(スルー画像)である。   Further, the display driver 116 controls the display 117 to display an image. At this time, the image displayed on the display 117 is an image (through image) generated by continuously performing signal processing in the CCD 102, the ADC 103, and the image processing unit 104.

ディスプレイ117にスルー画像が表示されている状態で、ユーザが希望のタイミングで撮影ボタン123を操作すると、コントローラ110は画像処理部104に制御信号を出力する。画像処理部104に制御信号が入力されると、圧縮部108は、前処理部105およびYC処理部106において画像処理された画像データをバッファメモリ111へ保存し、圧縮処理を行う。   When the user operates the shooting button 123 at a desired timing while the through image is displayed on the display 117, the controller 110 outputs a control signal to the image processing unit 104. When a control signal is input to the image processing unit 104, the compression unit 108 stores the image data subjected to image processing in the preprocessing unit 105 and the YC processing unit 106 in the buffer memory 111, and performs compression processing.

具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理(DCT処理)や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、コントローラ110およびディスプレイドライバ116を介してディスプレイ117に表示される。また、圧縮された画像データは、カードホルダ114を介して記録媒体115に記録される。   Specifically, discrete cosine transform processing (DCT processing) that digitizes the ratio of high-frequency components and low-frequency components of image data, and quantization that expresses the gradation and gradation of an image with the number of quantization bits Processing, Huffman coding processing for dividing a signal character string of image data into fixed bits and giving a shorter code to a character string having a high appearance frequency is performed. The compressed image data is displayed on the display 117 via the controller 110 and the display driver 116. The compressed image data is recorded on the recording medium 115 via the card holder 114.

撮影ボタン123が操作される前にズームボタン125が操作されると、コントローラ110は光学ズーム処理や電子ズーム処理を実行し、画像の大きさを拡大または縮小させることができる。そして、ズームボタン125の操作後、撮影ボタン123が操作されると、拡大または縮小された画像の画像データが記録媒体115へ記録される。
以上、図1を用いて本発明を実施する撮像装置のハードウエア構成および撮影機能について説明した。
If the zoom button 125 is operated before the shooting button 123 is operated, the controller 110 can execute an optical zoom process or an electronic zoom process to enlarge or reduce the size of the image. When the shooting button 123 is operated after the zoom button 125 is operated, the image data of the enlarged or reduced image is recorded on the recording medium 115.
The hardware configuration and the imaging function of the imaging apparatus that implements the present invention have been described above with reference to FIG.

次に、本発明の処理工程について、図2〜図18を用いて説明する。まず、図2は、本発明の実施形態に係る撮影装置で動作するプログラムのモジュールを示す図である。   Next, the process of this invention is demonstrated using FIGS. First, FIG. 2 is a diagram showing a module of a program that operates in the photographing apparatus according to the embodiment of the present invention.

識別情報登録モジュール201は、撮影された画像から人物の顔画像を認識する機能を有し、認識した顔画像から識別情報を生成し、識別情報データと、顔認識情報データと、識別グループデータへ登録する機能を有する。識別情報照合モジュール202は、撮影された画像から人物の顔画像を認識する機能を有し、認識した顔画像と識別情報へ登録された特徴が一致するか照合する機能を有する。照合後、後述する撮影数カウントモジュール203を実行する。   The identification information registration module 201 has a function of recognizing a person's face image from a photographed image, generates identification information from the recognized face image, and converts the identification information data, face recognition information data, and identification group data into Has the function to register. The identification information matching module 202 has a function of recognizing a person's face image from a photographed image, and has a function of matching whether the recognized face image matches the feature registered in the identification information. After the collation, an imaging number counting module 203 described later is executed.

撮影数カウントモジュール203は、識別情報照合モジュール202によって照合された結果を基に、識別情報カウントデータテーブルへ撮影枚数を記録する機能を有する。識別結果表示モジュール204は、識別情報カウントデータと、識別情報データと、顔認識情報データと、識別グループデータを参照し、識別ID単位に識別枚数を一覧で表示する機能を有する。   The photographing number counting module 203 has a function of recording the number of photographed images in the identification information count data table based on the result collated by the identification information collating module 202. The identification result display module 204 has a function of referring to the identification information count data, the identification information data, the face recognition information data, and the identification group data, and displaying a list of identification numbers in units of identification IDs.

図3は、本発明の実施形態に係る撮影装置が保持する識別情報データテーブルの一例を示す図である。識別情報データテーブルは、識別したい人物単位に1レコードを作成する。   FIG. 3 is a diagram illustrating an example of the identification information data table held by the imaging apparatus according to the embodiment of the present invention. In the identification information data table, one record is created for each person to be identified.

識別情報データテーブルの識別ID301は、識別情報データテーブル内で一意となる文字列を設定する。識別情報データテーブルの名前302は、識別ID単位に任意の英数仮名を設定する。設定された文字が認識結果をディスプレイに表示する際に表示される。識別グループ303は、図10の識別情報登録画面で設定される、本実施の形態で識別情報を分類するためのグループである。なお、図3の識別情報データテーブルの名前302、識別グループ303の情報は、後述の図10の識別情報登録画面を通して設定される。   The identification ID 301 of the identification information data table sets a character string that is unique within the identification information data table. As the name 302 of the identification information data table, an arbitrary alphanumeric kana is set for each identification ID. The set character is displayed when the recognition result is displayed on the display. The identification group 303 is a group for classifying identification information in the present embodiment, which is set on the identification information registration screen of FIG. 3 is set through an identification information registration screen shown in FIG. 10 to be described later.

図4は、本発明の実施形態に係る撮影装置が保持する顔認識情報データテーブルの一例を示す図である。顔認識情報データテーブルは、識別情報データテーブルの識別ID401ごとに1レコードを作成する。識別ID401は、顔認識情報データテーブル内で一意となる文字列を設定する。画像名402は、後述の図10の識別情報登録画面において、識別情報として登録した顔画像のファイル名で設定する。   FIG. 4 is a diagram illustrating an example of a face recognition information data table held by the photographing apparatus according to the embodiment of the present invention. In the face recognition information data table, one record is created for each identification ID 401 in the identification information data table. The identification ID 401 sets a character string that is unique in the face recognition information data table. The image name 402 is set by the file name of the face image registered as identification information on the identification information registration screen shown in FIG.

図5は、本発明の実施形態に係る撮影装置が保持する識別グループデータテーブルの一例を示す図である。識別グループデータテーブルは、撮影者が計測したい単位に被写体の識別情報をグループ化したデータである。本図では、「Aグループ」と「Bグループ」という2つのグループに分類されている。   FIG. 5 is a diagram illustrating an example of an identification group data table held by the imaging apparatus according to the embodiment of the present invention. The identification group data table is data obtained by grouping subject identification information into units that the photographer wants to measure. In this figure, it is classified into two groups, “A group” and “B group”.

識別グループID501は、識別グループデータテーブルで一意となる文字列を設定する。グループ名502は、識別グループID501に対して任意の文字列によりグループ名を設定する。設定された文字が識別グループを選択する際に、ディスプレイ上に表示される。識別グループの登録および選択の方法については後述の図11で説明する。   The identification group ID 501 sets a character string that is unique in the identification group data table. The group name 502 sets a group name with an arbitrary character string for the identification group ID 501. The set characters are displayed on the display when selecting the identification group. An identification group registration and selection method will be described later with reference to FIG.

識別ID503は、識別グループの対象とする識別情報データテーブルの識別ID301の値を設定する。複数設定する場合は半角カンマで区切って設定する。また、ここでは例として識別ID301の値が設定されているが、識別情報データテーブルの名前302の値を用いることも勿論可能である。   The identification ID 503 sets the value of the identification ID 301 of the identification information data table that is the target of the identification group. Separate multiple settings with a comma. Further, here, the value of the identification ID 301 is set as an example, but it is of course possible to use the value of the name 302 of the identification information data table.

最低撮影枚数504は、各グループに所属する被写体の写真を、最低何枚撮影すればいいかを示す最低撮影枚数が設定されている。本実施の形態において、最低撮影枚数は、図11で、各識別グループごとに設定される方法となっている。この方法のほかには、例えば、図10の識別情報登録画面において、各被写体ごとに最低撮影枚数を設定する方法も可能である。この場合、図3の識別情報データテーブルにも、各識別情報(被写体)ごとに、最低撮影枚数の値が追加されることとなる。   The minimum number of shots 504 is set to the minimum number of shots that indicates how many photos of subjects belonging to each group should be taken. In the present embodiment, the minimum number of shots is set in each identification group in FIG. In addition to this method, for example, a method of setting the minimum number of shots for each subject on the identification information registration screen of FIG. 10 is also possible. In this case, the value of the minimum number of shots is also added to the identification information data table of FIG. 3 for each identification information (subject).

図6は、本発明の実施形態に係る撮影装置が保持する識別情報カウントデータテーブルの一例を示す図である。識別情報カウントデータテーブルは、識別対象として選択された識別グループに属する識別ID単位にレコードを作成する。   FIG. 6 is a diagram illustrating an example of the identification information count data table held by the imaging apparatus according to the embodiment of the present invention. The identification information count data table creates a record for each identification ID belonging to the identification group selected as the identification target.

識別ID601は、識別対象として選択した識別グループデータの識別ID503に設定された識別IDを設定する。また、本図の識別ID601は、先述の図3の識別ID301と同じ値を持つ。   The identification ID 601 sets the identification ID set in the identification ID 503 of the identification group data selected as the identification target. Further, the identification ID 601 in this figure has the same value as the identification ID 301 in FIG.

カウント602は、識別ID601単位に初期値は0で設定されており、撮影数カウントモジュール303により照合の結果の数値を設定する。   The initial value of the count 602 is set to 0 for each identification ID 601, and a numerical value as a result of collation is set by the shooting number counting module 303.

図7は、本発明の実施形態に係る撮影装置が保持する画像データテーブルの一例を示す図である。画像データテーブルは、撮影後、撮影された画像単位にレコードを作成する。画像ファイル701は、撮影された画像ファイル名を設定する。   FIG. 7 is a diagram illustrating an example of an image data table held by the photographing apparatus according to the embodiment of the present invention. The image data table creates a record for each captured image after capturing. The image file 701 sets the name of the captured image file.

識別ID702は、画像ファイル名701に対して識別情報照合モジュール202により、照合の結果、一致した場合の識別IDを設定する。つまり、一つの画像内で、顔認識の結果識別できた人物の情報を設定する。識別の結果、複数の識別IDが存在する場合、半角カンマ区切りで全ての識別IDを設定する。   The identification ID 702 is set to the identification ID when the identification information collating module 202 matches the image file name 701 as a result of collation. That is, information of a person who can be identified as a result of face recognition is set in one image. If there are a plurality of identification IDs as a result of identification, all the identification IDs are set by separating them with a single-byte comma.

なお、上述の図3〜図7の各データテーブルは、夫々同じ項目名を持つものがある(例えば図3の「識別ID」301と図6の「識別ID」601と図7の「識別ID」702、など)。このことより、図3乃至図7のデータテーブルはそれぞれリレーショナルデータベースとして構成されていることがわかる。また、これらのデータテーブルは、次に説明をするフローチャートの各ステップで設定されるものである。   3 to 7 have the same item name (for example, “Identification ID” 301 in FIG. 3, “Identification ID” 601 in FIG. 6 and “Identification ID” in FIG. 7). 702, etc.). From this, it can be seen that the data tables of FIGS. 3 to 7 are each configured as a relational database. These data tables are set at each step of the flowchart to be described next.

次に、図17および図18を用いて本発明の撮影のための設定処理および、撮影処理について説明をする。図17は、本発明の実施形態に係る撮影装置で識別情報の登録時に実行するフローチャートである。   Next, a setting process for photographing and a photographing process according to the present invention will be described with reference to FIGS. 17 and 18. FIG. 17 is a flowchart executed at the time of registration of identification information by the imaging apparatus according to the embodiment of the present invention.

まず、識別情報を登録するために、ステップS1701において、撮像装置100は、モード選択画面において「顔認識登録」のボタン押下を受け付ける。または、モードダイヤル122で設定モードが選択されて、設定画面(不図示)が表示されている時に、「識別情報登録」の項目選択を受け付ける。この時に撮像装置の表示部に表示されるのは、図8のモード選択画面である。   First, in order to register identification information, in step S <b> 1701, the imaging apparatus 100 accepts a “face recognition registration” button press on the mode selection screen. Alternatively, when the setting mode is selected with the mode dial 122 and the setting screen (not shown) is displayed, the item selection of “identification information registration” is accepted. At this time, the mode selection screen shown in FIG. 8 is displayed on the display unit of the imaging apparatus.

図8は、本発明の実施形態に係る撮影装置の表示部で表示される識別情報の登録を行う、識別情報登録モードへ変更する画面の一例を示す図である。   FIG. 8 is a diagram illustrating an example of a screen for changing to an identification information registration mode for registering identification information displayed on the display unit of the imaging apparatus according to the embodiment of the present invention.

「撮影モードを選択」のボタン801は、通常の撮影を行う(「撮影モード」を起動する)場合に押下を受け付けるボタンである。「カウント撮影モードを選択」のボタン802は、本発明の撮像装置に登録する識別情報(顔認識情報)を使用して、人物の照合をしながら撮影を行う(「カウント撮影モード」を起動する)場合に押下を受け付けるボタンである。   The “select shooting mode” button 801 is a button that receives a press when performing normal shooting (starting “shooting mode”). The “select count shooting mode” button 802 uses the identification information (face recognition information) registered in the imaging apparatus of the present invention to perform shooting while collating a person (activates “count shooting mode”). ) Is a button that accepts pressing in this case.

「識別情報登録モードを選択」のボタン803は、ステップS1701で、識別情報の登録を行う(「識別情報登録モード」を起動する)場合に押下を受け付けるボタンである。「識別情報登録モード」ボタン803の押下を受け付けると、撮像装置100は、更に図9で示す「識別情報登録内容選択画面」を表示する。   The “select identification information registration mode” button 803 is a button that receives a press when registering identification information (starting “identification information registration mode”) in step S1701. When the pressing of the “identification information registration mode” button 803 is accepted, the imaging apparatus 100 further displays an “identification information registration content selection screen” shown in FIG.

図9は、本発明の実施形態に係る撮影装置の表示部で表示される、識別情報の登録を行う、識別情報登録画面へ変更する画面の一例を示す図である。   FIG. 9 is a diagram illustrating an example of a screen that is displayed on the display unit of the imaging apparatus according to the embodiment of the present invention and is changed to an identification information registration screen for registering identification information.

「識別グループを登録する」のボタン901は、新規に識別グループを作成する場合に選択する。識別グループとは、識別情報(顔認識情報)を登録する際に同時に選択をする被写体のグループカテゴリである。例えば、本発明を団体旅行で使用する撮像装置として考える場合に、バスの1号車、2号車それぞれに乗っている旅行客を、図9の識別グループ登録の機能で分類しておくことで、被写体(団体旅行の参加者)の撮影枚数の管理を実行することが可能になる。   The “register identification group” button 901 is selected when a new identification group is created. An identification group is a group category of subjects that are selected simultaneously when registering identification information (face recognition information). For example, when the present invention is considered as an imaging device used in a group trip, the passengers on the first car and the second car of the bus are classified by the identification group registration function of FIG. It becomes possible to manage the number of shots of (a group travel participant).

902は識別情報登録ボタンであり、撮影した画像に対して識別情報(被写体の情報)を設定する場合に選択する。   An identification information registration button 902 is selected when setting identification information (subject information) for a captured image.

901の「識別グループ登録ボタン」の押下を受け付けると、撮像装置100は、表示部に「識別グループ登録画面(不図示)」を表示し、グループ名の登録を受け付ける。   Upon accepting pressing of the “identification group registration button” 901, the imaging apparatus 100 displays an “identification group registration screen (not shown)” on the display unit and accepts registration of the group name.

引き続き図17の説明に戻り「識別情報登録モード」が選択されると、ステップS1702において、識別情報として登録したい人物の顔を撮影する。ステップS1702で撮影された画像は、図4の顔認識情報データテーブルの顔認識画像402に設定し、顔認識情報ID401に一意となる文字列を設定して登録する。   Returning to the description of FIG. 17, when “identification information registration mode” is selected, the face of a person to be registered as identification information is photographed in step S1702. The image captured in step S1702 is set in the face recognition image 402 of the face recognition information data table in FIG. 4, and a unique character string is set and registered in the face recognition information ID 401.

複数人の識別情報を登録したい場合には、ステップS1703において、対象者が他にもいるかどうかの確認を促し、登録する対象者が他にもいる場合には、ステップS1702に戻って撮影を実行し、ステップS1702〜S1703の繰り返す。   If it is desired to register the identification information of a plurality of persons, in step S1703, confirmation is made as to whether or not there are other target persons. If there are other target persons to be registered, the process returns to step S1702 to execute photographing. Then, steps S1702 to S1703 are repeated.

全ての対象者の撮影が終了したと判断されたら(撮影後の確認画面(不図示)で、対象者が他にもいるか?の問いに対し、「いいえ(全て撮影した)」ボタンの選択を受け付けると)、ステップS1704へ進み、撮像装置100は、撮影した画像を基に図3の識別情報データテーブルを登録する。この時に撮像装置100のディスプレイ117に表示されるのが、図10の識別情報登録画面である。   When it is determined that the shooting of all the subjects has been completed (in the confirmation screen after shooting (not shown)), in response to the question of whether there are other subjects, select the “No (all shots)” button. If accepted, the process proceeds to step S1704, and the imaging apparatus 100 registers the identification information data table of FIG. 3 based on the captured image. At this time, the identification information registration screen of FIG. 10 is displayed on the display 117 of the imaging apparatus 100.

ここで、図10の識別情報登録画面について説明をする。図10は、本発明の実施形態に係る撮影装置の表示部で表示される識別情報の登録を行う「識別情報登録画面」の一例を示す図である。   Here, the identification information registration screen of FIG. 10 will be described. FIG. 10 is a diagram showing an example of an “identification information registration screen” for registering identification information displayed on the display unit of the imaging apparatus according to the embodiment of the present invention.

撮影画像1001は、識別情報を登録する人物の顔画像を表示する。この時に表示される顔画像は、図17のステップS1702で撮影し、保存された画像の中で、顔認識された一部分が自動的にトリミングされたものである。また、トリミングを行っていない状態(撮影時のまま)の画像であってもよい。識別IDラベル1002は、識別情報に対して一意となるように付与する識別IDを表示する。この識別IDラベル1002で設定される文字列は、撮像装置100で自動的に採番される文字列であっても、ユーザにより任意に設定されるものであってもよい。   The captured image 1001 displays a face image of a person whose identification information is registered. The face image displayed at this time is one obtained by automatically trimming a part of the face image recognized in step S1702 of FIG. 17 and stored. Further, it may be an image in a state where trimming is not performed (as it is at the time of photographing). The identification ID label 1002 displays an identification ID assigned to the identification information so as to be unique. The character string set by the identification ID label 1002 may be a character string automatically assigned by the imaging apparatus 100 or may be arbitrarily set by the user.

名前ラベル1003は、識別情報に対して設定する任意の文字列を表示する箇所である。本項目を設定する際には、撮像装置100の表示部に、ソフトウエアキーボードが表示されて、名前の設定を受け付ける。識別グループドロップダウンリスト1004は、識別情報をどの識別グループに所属するか表示する。識別グループドロップダウンリスト1004を選択し、表示される識別グループから選択する。識別グループについては、別途図9のUIで詳細に説明をする。   The name label 1003 is a place where an arbitrary character string set for the identification information is displayed. When setting this item, a software keyboard is displayed on the display unit of the imaging apparatus 100 to accept setting of a name. The identification group drop-down list 1004 displays which identification group the identification information belongs to. The identification group drop-down list 1004 is selected and selected from the displayed identification groups. The identification group will be described in detail separately in the UI of FIG.

登録ボタン1005は、当識別情報登録画面で設定した識別ID1002、名前ラベル1003、識別グループドロップダウンリスト1004の内容を識別情報として登録するためのボタンである。キャンセルボタン1006は、名前ラベル1003、識別グループドロップダウンリスト1004に設定した内容をキャンセルするためのボタンであり、識別情報の登録は実行されない。また、キャンセルボタン1006の押下を受け付けると、ステップS1702で登録した画像は自動的に記録媒体から削除される。   A registration button 1005 is a button for registering the contents of the identification ID 1002, the name label 1003, and the identification group drop-down list 1004 set on the identification information registration screen as identification information. A cancel button 1006 is a button for canceling the contents set in the name label 1003 and the identification group drop-down list 1004, and registration of identification information is not executed. If the user presses the cancel button 1006, the image registered in step S1702 is automatically deleted from the recording medium.

また、図11は、本発明の実施形態に係る撮影装置の表示部で表示される、識別グループを登録する画面の一例を示す図である。図11の識別グループ登録画面は、図9の識別グループ情報登録ボタン901の押下を受け付けることにより表示される。
識別グループ名1101は、登録した識別グループ名を表示する。
FIG. 11 is a diagram showing an example of a screen for registering an identification group displayed on the display unit of the photographing apparatus according to the embodiment of the present invention. The identification group registration screen of FIG. 11 is displayed upon accepting the pressing of the identification group information registration button 901 of FIG.
The identification group name 1101 displays the registered identification group name.

最低撮影枚数1102は、識別グループに登録した識別情報(被写体)ごとの最低撮影枚数が表示される。最低撮影枚数増減ボタン1103は、「+」表示されたボタンを押下すると最低撮影枚数1102に表示されている値を1増加させ、「−」表示されたボタンを押下すると最低撮影枚数1102に表示されている値を1減少させる。   The minimum number of shots 1102 displays the minimum number of shots for each piece of identification information (subject) registered in the identification group. A minimum photograph number increase / decrease button 1103 increases the value displayed in the minimum number of shots 1102 by 1 when a button labeled “+” is pressed, and is displayed in the minimum number of shots 1102 when a button labeled “−” is pressed. Decrease the current value by one.

登録ボタン1104は、識別グループ名1101、最低撮影枚数1102に設定した内容を識別グループ情報として登録する。   A registration button 1104 registers the contents set in the identification group name 1101 and the minimum number of shots 1102 as identification group information.

キャンセルボタン1105は、識別グループ名1101、最低撮影枚数1102に設定した内容をキャンセルし、識別グループ情報の登録はせずに図9の識別情報登録内容選択画面に戻る。   A cancel button 1105 cancels the contents set in the identification group name 1101 and the minimum number of shots 1102, and returns to the identification information registration content selection screen in FIG. 9 without registering the identification group information.

引き続き、図17の説明に戻り、ステップS1704で、撮像装置100は、図10の識別情報登録画面を表示する。この時には、先述のステップS1702で撮影をした時に設定をした図4の顔認識情報データテーブルのうち「識別ID401」の情報をキーにして、図3の識別情報データテーブルの「識別ID301」に同じ値を設定する。名前302は名前ラベル1003に表示された内容を設定し、画像名403にはステップS1702で撮影した、画像が設定される。ステップS1704の登録処理により図3の識別情報データテーブルが生成される。   Subsequently, returning to the description of FIG. 17, in step S1704, the imaging apparatus 100 displays the identification information registration screen of FIG. At this time, the information of “identification ID 401” in the face recognition information data table of FIG. 4 set at the time of shooting in the above-described step S1702 is used as a key, and the same as “identification ID 301” of the identification information data table of FIG. Set the value. The name 302 sets the content displayed on the name label 1003, and the image name 403 is set to the image taken in step S1702. The identification information data table in FIG. 3 is generated by the registration process in step S1704.

次に、図18は、本発明の実施形態に係る撮影装置で撮影時、及び、識別結果判定時に実行するフローチャートである。   Next, FIG. 18 is a flowchart executed at the time of shooting by the imaging device according to the embodiment of the present invention and at the time of determination of the identification result.

まず、識別情報を使用して、人物の照合をしながら撮影を行うために、ステップS1801において、撮像装置100は、図8のモード選択画面を表示し「顔認識登録」のボタン押下を受け付ける。または、モードダイヤル122で設定モードが選択されて、設定画面(不図示)が表示されている時に、「カウント撮影モード」の項目選択802を受け付ける。この時に撮像装置の表示部に表示されるのは、図8のモード選択画面である。また、モード選択画面を表示しない場合には、モードダイヤル122が「カウント撮影モード」に設定されていることを確認し、設定されていればステップS1802へ進む。   First, in order to shoot while collating a person using identification information, in step S1801, the imaging apparatus 100 displays a mode selection screen in FIG. 8 and accepts a “face recognition registration” button press. Alternatively, when the setting mode is selected with the mode dial 122 and a setting screen (not shown) is displayed, an item selection 802 of “count photographing mode” is accepted. At this time, the mode selection screen shown in FIG. 8 is displayed on the display unit of the imaging apparatus. If the mode selection screen is not displayed, it is confirmed that the mode dial 122 is set to “count shooting mode”, and if it is set, the process proceeds to step S1802.

ステップS1802において、撮像装置100は、「カウント撮影モード」を実行するために撮影する識別グループの選択を受け付ける。この時に表示されるのが、図12の識別グループ選択画面である。   In step S1802, the imaging apparatus 100 accepts selection of an identification group to be imaged in order to execute the “count imaging mode”. The identification group selection screen shown in FIG. 12 is displayed at this time.

図12は、本発明の実施形態に係る撮影装置の表示部で表示される識別情報を使用して、人物の照合をしながら撮影を行う場合に、識別グループを選択する画面の一例を示す図である。グループボタン1201および1202は、撮影を行う時に、撮影する対象とする識別グループを選択するボタンであり、選択された識別グループが照合対象に設定される。本実施例では、「Aグループ」と「Bグループ」の二つが識別グループとして図9および識別グループ設定画面(不図示)で設定されていることを図9では示している。   FIG. 12 is a diagram showing an example of a screen for selecting an identification group when photographing is performed while collating a person using identification information displayed on the display unit of the photographing apparatus according to the embodiment of the present invention. It is. Group buttons 1201 and 1202 are buttons for selecting an identification group to be photographed when photographing, and the selected identification group is set as a collation target. In this embodiment, FIG. 9 shows that “A group” and “B group” are set as identification groups in FIG. 9 and the identification group setting screen (not shown).

また、識別グループに属する識別情報が撮影された期間を選択することにより、選択された期間内で何枚撮影されたのかを判断することが可能になる。例えば、団体旅行などで、各旅行客を一日最低5枚は画像に収めなければならない場合など、撮影期間を当日(例えば2011年4月1日から2011年4月1日まで、など)に設定しておけば、撮影日当日で各識別情報が撮影された枚数を抽出することが可能である。   Further, by selecting a period during which the identification information belonging to the identification group is captured, it is possible to determine how many images have been captured within the selected period. For example, when taking a group trip or the like, a minimum of five images per day must be included in the image, and the shooting period is set to the current day (for example, from April 1, 2011 to April 1, 2011). If it is set, it is possible to extract the number of pieces of imaged identification information on the shooting date.

ステップS1802で、撮影カウントを行いたい被写体の識別グループと、被写体(識別情報)が撮影された期間の選択を受け付ける(ボタン1201若しくは1202の押下を受け付ける)と、図5の識別グループデータテーブルから、選択を受け付けた識別グループに設定されている(所属している)識別ID503の値を基に識別情報カウントデータテーブル(図6)を作成する。   In step S1802, when the selection of the identification group of the subject to be photographed and the period during which the subject (identification information) was photographed is accepted (when the button 1201 or 1202 is pressed), the identification group data table of FIG. An identification information count data table (FIG. 6) is created based on the value of the identification ID 503 set (belonging to) the identification group that has received the selection.

識別グループの選択と、識別グループに属する被写体の撮影された期間の設定が終わると、撮像装置100は撮影状態でスタンバイとなり、ステップS1803にて撮影を開始する。シャッターの押下を受け付け、半押し状態にすると、撮像装置の焦点機能が作動し、
レンズでとらえた被写体の検出をして、顔認識を行う。
When the selection of the identification group and the setting of the shooting period of the subject belonging to the identification group are completed, the imaging apparatus 100 enters a standby state in the shooting state, and starts shooting in step S1803. When the shutter press is accepted and pressed halfway, the focus function of the imaging device is activated.
Face recognition is performed by detecting the subject captured by the lens.

ステップS1804において、撮像装置100の識別情報照合モジュール202が、図4の顔認識情報データテーブルに記憶されている顔認識情報から、撮影した画像で顔認識できた部分と一致する識別情報があるか否かの判定を行う。判定の結果、識別情報が記憶されている場合には、ステップS1806に進む。識別情報が記憶されていいない場合にはステップS1805に進む。   In step S1804, the identification information matching module 202 of the imaging apparatus 100 has identification information that matches the portion of the captured image that can be recognized by the face recognition information stored in the face recognition information data table of FIG. Determine whether or not. If the identification information is stored as a result of the determination, the process proceeds to step S1806. If no identification information is stored, the process advances to step S1805.

ステップS1806へ進むと、撮像装置100は、表示部(ディスプレイ117)に、識別情報画像1301と識別被写体1302を表示する。この時に表示される画面例が、図13の顔認識情報が一致した場合の撮影画像確認画面である。   In step S1806, the imaging apparatus 100 displays the identification information image 1301 and the identification subject 1302 on the display unit (display 117). The screen example displayed at this time is a captured image confirmation screen when the face recognition information in FIG. 13 matches.

図13は、本発明の実施形態に係る撮影装置の表示部で表示される、識別情報を使用して、人物の照合をしながら撮影を行う場合に、撮影時に顔認識情報データテーブルに記憶されている被写体の識別情報と一致した場合の画面の一例を示す図(撮影枚数表示画面)である。撮像装置100のディスプレイ117に撮影画像が表示され、撮影時に識別情報照合モジュール202にて保存されている識別情報と照合結果が一致した顔認識情報が、1302に示すように識別可能に表示されている(例えば、顔認識された部位を太点線で囲むなど)。また、一致した顔認識情報は、1301に示すとおり、顔画像(識別情報)とともに名前とステップS1802で選択した期間内にこの識別情報が撮影された画像の枚数が表示される。この表示方法によれば、誰が被写体として識別されているのか、またそれぞれの被写体(識別情報)が今まで何枚撮影されてきたのかを瞬時に確認することが可能である。   FIG. 13 is stored in the face recognition information data table at the time of shooting when shooting is performed while collating a person using identification information displayed on the display unit of the shooting apparatus according to the embodiment of the present invention. It is a figure (an imaging | photography number display screen) which shows an example when it corresponds with the identification information of the to-be-photographed object. The captured image is displayed on the display 117 of the imaging apparatus 100, and the face recognition information whose matching result matches the identification information stored in the identification information matching module 202 at the time of shooting is displayed in an identifiable manner as indicated by 1302. (For example, a face-recognized part is surrounded by a thick dotted line). Further, as indicated by reference numeral 1301, the matching face recognition information displays the name and the number of images in which the identification information is photographed within the period selected in step S1802, together with the face image (identification information). According to this display method, it is possible to instantly confirm who has been identified as a subject and how many images of each subject (identification information) have been taken.

また、ステップS1805に進むと、撮像装置は、表示部(ディスプレイ117)に、非識別被写体を表示する。この時に表示される画面例が、図13の顔認識情報と一致しない場合の撮影画像確認画面である。   In step S1805, the imaging apparatus displays a non-identified subject on the display unit (display 117). The screen example displayed at this time is a captured image confirmation screen when the face recognition information in FIG. 13 does not match.

図15は、本発明の実施形態に係る撮影装置の表示部で表示される、識別情報を使用して人物の照合をしながら撮影を行う場合に、撮影時に識別情報と一致しない場合の画面の一例を示す図である。   FIG. 15 shows a screen displayed when the image is not matched with the identification information at the time of photographing when photographing while collating a person using the identification information displayed on the display unit of the photographing apparatus according to the embodiment of the present invention. It is a figure which shows an example.

非識別被写体1401は、撮影時に識別情報照合モジュール302にて識別情報と照合結果が一致しなかった場合、一致しなかった被写体の周りを点線で囲み、表示する。また、識別情報カウントデータテーブルに非識別データとして、識別ID601に『ZZZZZ』を設定し、カウント602に非識別被写体1501の合計数を加算した値を設定し、登録する。   When the identification information collation module 302 does not match the identification information with the collation result at the time of shooting, the non-identification subject 1401 is surrounded by a dotted line and displayed. Also, “ZZZZZ” is set in the identification ID 601 as the non-identification data in the identification information count data table, and a value obtained by adding the total number of the non-identification subjects 1501 to the count 602 is set and registered.

引き続き図18の説明に戻り、ステップS1807において、撮像装置100は、認識した被写体(識別情報)がステップS1802で設定した期間内に撮影された枚数を取得し、最低撮影枚数に達しているかの判定を行う。   Returning to the description of FIG. 18, in step S1807, the imaging apparatus 100 acquires the number of images of the recognized subject (identification information) captured within the period set in step S1802, and determines whether the minimum number of images has been reached. I do.

方法としては、すでに被写体として識別されている識別情報の識別IDをキーにして、図7の画像データテーブルから画像を抽出する。例えば、今回の撮影で識別IDが「00002」の人が被写体として識別されているとしたら、図7の画像データテーブルからは、s木別情報「00002」を含む画像が抽出される。   As a method, an image is extracted from the image data table of FIG. 7 using the identification ID of identification information already identified as a subject as a key. For example, if a person with identification ID “00002” is identified as a subject in the current shooting, an image including s-tree-specific information “00002” is extracted from the image data table of FIG.

次に、抽出された画像の中から、先のステップS1802で設定した期間内に撮影された画像の抽出を行う。ステップS1802で、「2011年4月1日から2011年4月4日まで」と設定した場合には、「IM00001.jpg」と「IM00003.jpg」が抽出される。ここで抽出された撮影画像枚数が、図5で設定されている最低撮影枚数504の値よりも大きいか否かを判定することとなる。最低撮影枚数に撮影画像枚数が達している場合(YES)には、ステップS1808へ進み、達していない場合(NO)には、ステップS1809に進む。   Next, an image captured within the period set in the previous step S1802 is extracted from the extracted images. If “from April 1, 2011 to April 4, 2011” is set in step S1802, “IM00001.jpg” and “IM00003.jpg” are extracted. It is determined whether or not the number of captured images extracted here is larger than the value of the minimum number of captured images 504 set in FIG. If the number of shot images has reached the minimum number of shots (YES), the process proceeds to step S1808, and if not (NO), the process proceeds to step S1809.

ステップS1808で、撮像装置100は、被写体として識別されている識別情報は、すでに最低撮影枚数に達している旨の警告を行う。例えば、図14では、“識別まる子”さんがすでに7枚の画像に撮影されているため、1403では、「識別まる子さんは既に最低枚数撮影されています。」という旨の警告文が表示されている。   In step S1808, the imaging apparatus 100 issues a warning that the identification information identified as the subject has already reached the minimum number of shots. For example, in FIG. 14, “Identified Maruko” has already been photographed in seven images, and in 1403, a warning message “Identified Maruko has already been photographed in the minimum number” is displayed. Yes.

またステップS1809で、撮像装置100は、被写体として識別されている識別情報が、最低撮影枚数に達していない旨の警告を行う。例えば、図14では、“識別出来田”さんが1枚の画像にしか撮影されていないため、「識別出来田さんをあと4枚撮影してください」という警告文が表示されている。この時に、“あと○枚”という具体的な指示を表示させるとよりバランスよく、多くの識別情報を画像に収めることが可能である。   In step S1809, the imaging apparatus 100 issues a warning that the identification information identified as the subject has not reached the minimum number of shots. For example, in FIG. 14, “identified Kanda” has been photographed in only one image, so a warning message “Please shoot another four, Mr. Kanda is identified” is displayed. At this time, it is possible to store a lot of identification information in an image with a better balance by displaying a specific instruction of “remaining ○”.

ステップS1810で、撮像装置100は、検出した被写体(識別情報)全ての撮影枚数確認が終わったか否かの判定を行う。すなわち、検出された全ての被写体(識別情報)に対して、ステップS1808もしくはステップS1809で何らかの警告を行ったか否かの判定を行う。全ての被写体に対する警告が終わっている場合(YES)には、ステップS1811に進む。全ての被写体に対する警告が終わっていない場合(NO)には、ステップS1807に戻る。   In step S1810, the imaging apparatus 100 determines whether or not the number of captured images for all detected subjects (identification information) has been confirmed. That is, it is determined whether or not any warning has been given to all detected subjects (identification information) in step S1808 or step S1809. If warnings for all subjects have been completed (YES), the process proceeds to step S1811. If the warning for all the subjects has not ended (NO), the process returns to step S1807.

ステップS1811で、撮像装置100は、シャッターの全押し指示を受け付け、画像の撮影を行う。撮影された画像は、画像データテーブル(図7)に記憶され、さらに、画像の被写体として識別されていた識別情報の撮影回数が、図6の識別情報カウントデータテーブルにおいてカウントアップされる。   In step S1811, the imaging apparatus 100 receives an instruction to fully press the shutter, and captures an image. The photographed image is stored in the image data table (FIG. 7), and the number of times the identification information that has been identified as the subject of the image is photographed is counted up in the identification information count data table in FIG.

識別情報を使用した人物の撮影を終了するかステップS1812にて判断(具体的には、メニューの切り替え指示や、電源オフの指示を受け付けたかを判断)し、撮影を継続する場合、ステップS1803〜S1811の処理を繰り返す。継続しない場合はステップS1813に進み、撮影結果を表示する。   If it is determined in step S1812 whether or not to shoot the person using the identification information (specifically, it is determined whether a menu switching instruction or a power-off instruction has been received), and if shooting continues, step S1803 is executed. The process of S1811 is repeated. When not continuing, it progresses to step S1813 and a photography result is displayed.

ステップS1813では、識別情報カウントデータテーブル、識別情報データテーブル、顔認識情報データテーブルを参照し、被写体毎の撮影枚数を表示した図16の識別結果一覧表示画面を表示する。   In step S1813, the identification information count data table, the identification information data table, and the face recognition information data table are referred to, and the identification result list display screen shown in FIG. 16 displaying the number of shots for each subject is displayed.

図16は、本発明の実施形態に係る撮影装置の表示部で表示される、識別情報を使用して、人物の照合をしながら撮影を行った場合に、識別結果を表示する画面の一例を示す図である。   FIG. 16 shows an example of a screen for displaying an identification result when photographing is performed while collating a person using identification information displayed on the display unit of the photographing apparatus according to the embodiment of the present invention. FIG.

識別情報の名前1601は、画像に撮影された識別情報の名前が表示され、撮影画面で被写体を識別したときに、図13の1301などに表示される名前と同一である。識別情報画像1602は、図10で設定される識別情報ごとの画像である。撮影枚数1603は、識別情報が今までに撮影された枚数を示す。撮影状況表示文1604は、1603の撮影枚数と、各識別グループ(もしくは各識別情報)ごとに設定されている最低撮影枚数との差を表すものであり、すでに最低撮影枚数に達している場合には、「既に最低撮影枚数撮影されています。」が表示される。また、最低撮影枚数に届いていない場合には、「最低撮影枚数まであと○枚です。」が表示される。   The name 1601 of the identification information is the same as the name displayed in 1301 of FIG. 13 when the name of the identification information photographed on the image is displayed and the subject is identified on the photographing screen. The identification information image 1602 is an image for each identification information set in FIG. The number of shots 1603 indicates the number of shots whose identification information has been shot so far. The shooting state display text 1604 indicates the difference between the number of shots 1603 and the minimum number of shots set for each identification group (or each identification information), and when the minimum number of shots has already been reached. Displays “Minimum number of shots already taken” is displayed. If the minimum number of shots has not been reached, “The number of shots left until the minimum number of shots.” Is displayed.

以上で、本発明の撮像装置で実行する処理の説明を終える。なお、本発明の実施形態では、撮像装置の表示部(ディスプレイ)6が、タッチパネル機能を有しているものであれば、ユーザからの指示受付は、操作入力部のカーソルキーによる操作を受け付けではなく、表示部(ディスプレイ)6へ押下を直接受け付けることにより、制御を実行することが可能である。   Above, description of the process performed with the imaging device of this invention is finished. In the embodiment of the present invention, if the display unit (display) 6 of the imaging apparatus has a touch panel function, the instruction reception from the user is not the operation by the cursor key of the operation input unit. Instead, the control can be executed by directly accepting the pressing to the display unit (display) 6.

以上、本発明によれば、予め対象者の情報を登録しておき、撮影時に顔認識することで対象者毎の撮影枚数をカウントし、特定人物のみに偏って撮影することを防ぐ仕組みを提供することが可能となる。   As described above, according to the present invention, there is provided a mechanism for registering information on a target person in advance, counting the number of shots for each target person by recognizing the face at the time of shooting, and preventing shooting with bias toward a specific person. It becomes possible to do.

具体的に、本発明の撮像装置は、顔認識を用いて被写体を撮影する撮像装置において、前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録手段(図17のステップS1701〜S1704)と、前記識別情報登録手段で登録した前記被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段(図3、図4、図5、図6、図7)と、撮影時に被写体を検出する検出手段(図18のステップS1803)と、前記検出手段で検出した前記被写体の識別情報が、前記識別情報登録手段で登録されている前記被写体の識別情報と一致するか否かを判定する判定手段(図18のステップS1804)と、前記判定手段で前記被写体の識別画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影された画像の枚数を表示する撮影枚数表示手段(図18のステップS1808、S1809)と、前記表示手段で表示した前記被写体の撮影枚数に応じて、前記被写体の撮影枚数に関する警告を行う警告手段(図18のステップS1808、S1809)とを備えることを特徴とする。   Specifically, the imaging apparatus according to the present invention, in an imaging apparatus that captures a subject using face recognition, associates the information on the subject and the face image of the subject specified by the face recognition as identification information. The identification information registration means to be registered (steps S1701 to S1704 in FIG. 17), the identification information of the subject registered by the identification information registration means, and the number of images in which the subject is photographed are linked and stored and managed. Storage management means (FIGS. 3, 4, 5, 6, and 7), detection means for detecting a subject at the time of shooting (step S1803 in FIG. 18), and identification information of the subject detected by the detection means Determining means (step S1804 in FIG. 18) for determining whether or not the identification information coincides with the identification information of the subject registered by the identification information registering means; Is determined to match the face image of the subject registered by the identification information registration means, the number-of-photographing display means for displaying the number of images taken of the subject (steps S1808 and S1809 in FIG. 18). And warning means (steps S1808 and S1809 in FIG. 18) for giving a warning regarding the number of shots of the subject in accordance with the number of shots of the subject displayed by the display means.

以上説明したように、本発明におけるプログラムは、図17および図18に示すフローチャートの処理に従って撮像装置としてコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図17および図18の処理方法を撮像装置が実行可能なプログラムを記憶されている。なお、本発明におけるプログラムは図17および図18の各装置の処理方法ごと、別の独立したプログラムであってもよい。   As described above, the program in the present invention is a program that can be executed by a computer as an imaging apparatus in accordance with the processing of the flowcharts shown in FIGS. 17 and 18, and the storage medium of the present invention uses the processing method in FIGS. A program executable by the imaging apparatus is stored. Note that the program in the present invention may be a separate independent program for each processing method of each apparatus shown in FIGS.

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。   As described above, a recording medium that records a program that implements the functions of the above-described embodiments is supplied to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus stores the program stored in the recording medium. It goes without saying that the object of the present invention can also be achieved by executing the reading. In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium storing the program constitutes the present invention.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,DVD−ROM,磁気テープ,不揮発性のメモリカード,ROM,EEPROM,シリコンディスク等を用いることができる。   As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, EEPROM, silicon A disk or the like can be used.

また、撮像装置が読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Further, by executing the program read by the imaging apparatus, not only the functions of the above-described embodiments are realized, but also an OS (operating system) running on the computer is actually executed based on the instructions of the program. It goes without saying that a case where the function of the above-described embodiment is realized by performing a part or all of the process and the process is included.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Furthermore, after the program read from the recording medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is based on the instructions of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。   Needless to say, the present invention can be applied to a case where the present invention is achieved by supplying a program to a system or apparatus. In this case, by reading a recording medium storing a program for achieving the present invention into the system or apparatus, the system or apparatus can enjoy the effects of the present invention.

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。   Furthermore, by downloading and reading a program for achieving the present invention from a server, database, etc. on a network using a communication program, the system or apparatus can enjoy the effects of the present invention. In addition, all the structures which combined each embodiment mentioned above and its modification are also included in this invention.

また上記のソフトウェアで実現する各処理を、ファームウェアやハードウェア構成にして、各処理を各手段として実現することも可能であり、本発明の技術的範囲はこのようなファームウェアやハードウェア構成による実現も含むものである。   In addition, each process realized by the above-described software can be realized as firmware or hardware configuration, and each process can be realized as each means. The technical scope of the present invention is realized by such firmware or hardware configuration. Is also included.

100 撮像装置
101 光学系(レンズ)
102 撮像素子(CCD)
103 カメラ信号処理部
110 システムコントローラ
117 ディスプレイ
120 操作部
100 Imaging device 101 Optical system (lens)
102 Image sensor (CCD)
103 Camera Signal Processing Unit 110 System Controller 117 Display 120 Operation Unit

Claims (7)

顔認識を用いて被写体を撮影する撮像装置において、
前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録手段と、
前記識別情報登録手段で登録した前記被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段と、
撮影時に被写体を検出する検出手段と、
前記検出手段で検出した前記被写体の識別情報が、前記識別情報登録手段で登録されている前記被写体の識別情報と一致するか否かを判定する判定手段と、
前記判定手段で前記被写体の識別画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影された画像の枚数を表示する撮影枚数表示手段と、
前記撮影枚数表示手段で表示した前記被写体の撮影枚数に応じて、前記被写体の撮影枚数に関する警告を行う警告手段と
を備えることを特徴とする撮像装置。
In an imaging device that captures a subject using face recognition,
Identification information registration means for associating and registering the subject information and the face image of the subject specified by the face recognition as identification information;
Storage management means for storing and managing the identification information of the subject registered by the identification information registration means and the number of images in which the subject is captured;
Detection means for detecting a subject at the time of shooting;
Determination means for determining whether or not the identification information of the subject detected by the detection means matches the identification information of the subject registered by the identification information registration means;
When the determination unit determines that the identification image of the subject matches the face image of the subject registered by the identification information registration unit, the number-of-photographing display unit displays the number of images taken of the subject When,
An image pickup apparatus comprising: warning means for performing a warning regarding the number of shots of the subject according to the number of shots of the subject displayed by the shot number display means.
前記判定手段は、前記検出手段で検出した前記被写体の識別情報が撮影された画像の枚数の値と、予め設定されている最低撮影枚数の値を比較する比較手段を備え、
前記警告手段は、前記比較手段で前記識別情報が撮影された枚数の値が、前記予め設定されている撮影枚数の値よりも大きい場合には、前記識別情報は既に最低枚数の撮影がなされている旨を警告し、また、前記比較手段で前記識別情報が撮影された枚数の値が、前記予め設定されている撮影枚数の値よりも小さい場合には、前記識別情報が最低撮影枚数に到達するために必要な枚数を警告することを特徴とする請求項1に記載の撮像装置。
The determination unit includes a comparison unit that compares a value of the number of images in which the identification information of the subject detected by the detection unit is captured with a preset value of the minimum number of images to be captured,
If the value of the number of images for which the identification information has been photographed by the comparing means is greater than the preset number of images to be photographed, the warning means has already photographed the minimum number of images. If the value of the number of shots of the identification information taken by the comparison means is smaller than the preset number of shots, the identification information reaches the minimum number of shots. The image pickup apparatus according to claim 1, wherein a warning is issued for a number of sheets required to perform the operation.
撮影時に被写体の検出を行う対象とする識別グループと前記識別グループに属する識別情報の画像が撮影された期間の選択を受け付ける選択受付手段を更に備え、
前記検出手段は、前記選択受付手段で受け付けた前記識別グループに属する識別情報の画像の検出を行うことを特徴とする請求項1または2に記載の撮像装置。
A selection receiving means for receiving selection of an identification group to be subjected to detection of a subject at the time of shooting and a period in which an image of identification information belonging to the identification group was shot;
The imaging device according to claim 1, wherein the detection unit detects an image of identification information belonging to the identification group received by the selection reception unit.
画像を撮影する撮像手段を更に備え、
前記撮像手段で撮影した画像に前記識別情報登録手段で登録した前記被写体が撮影されている場合、当該被写体が顔認識された部位と、認識された当該被写体を識別する情報を表示する撮影結果表示手段を更に備えることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
It further comprises imaging means for taking an image,
When the subject registered by the identification information registration unit is photographed in the image captured by the imaging unit, a photographing result display for displaying a part where the subject is face-recognized and information for identifying the recognized subject The imaging apparatus according to claim 1, further comprising means.
前記識別情報登録手段は、前記被写体をグループに分類する識別グループの情報を前記識別情報として登録することを特徴とする請求項1乃至4のいずれか1項に記載に撮像装置。   The imaging apparatus according to claim 1, wherein the identification information registration unit registers information of an identification group that classifies the subject into a group as the identification information. 被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段を備え、顔認識を用いて被写体を撮影する撮像装置の制御方法であって、
前記撮像装置の識別情報登録手段が、前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録ステップと、
前記撮像装置の検出手段が、撮影時に被写体を検出する検出ステップと、
前記撮像装置の判定手段が、前記検出ステップで検出した前記被写体の識別情報が、前記識別情報登録ステップで登録されている前記被写体の識別情報と一致するか否かを判定する判定ステップと、
前記撮像装置の撮影枚数表示手段が、前記判定ステップで前記被写体の識別画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影された画像の枚数を表示する撮影枚数表示ステップと、
前記撮像装置の警告手段が、前記撮影枚数表示ステップで表示した前記被写体の撮影枚数に応じて、前記被写体の撮影枚数に関する警告を行う警告ステップ
とを含むことを特徴とする制御方法。
A control method for an imaging apparatus that includes storage management means for storing and managing subject identification information and the number of images in which the subject is photographed, and photographing the subject using face recognition,
An identification information registration step in which identification information registration means of the imaging device associates and registers the subject information and the face image of the subject specified by the face recognition as identification information;
A detection step in which the detection means of the imaging device detects a subject at the time of shooting;
A determination step of determining whether or not the identification information of the subject detected in the detection step matches the identification information of the subject registered in the identification information registration step;
When the number-of-photographing number display unit of the imaging apparatus determines that the identification image of the subject matches the face image of the subject registered by the identification information registration unit in the determination step, the subject is captured A number of shots display step for displaying the number of images;
A control method, wherein the warning means of the imaging apparatus includes a warning step of issuing a warning regarding the number of shots of the subject in accordance with the number of shots of the subject displayed in the shooting number display step.
被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段を備え、顔認識を用いて被写体を撮影する撮像装置を制御するプログラムであって、
前記撮像装置を、
前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録手段と、
撮影時に被写体を検出する検出手段と、
前記検出手段で検出した前記被写体の識別情報が、前記識別情報登録手段で登録されている前記被写体の識別情報と一致するか否かを判定する判定手段と、
前記判定手段で前記被写体の識別画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影された画像の枚数を表示する撮影枚数表示手段と、
前記撮影枚数表示手段で表示した前記被写体の撮影枚数に応じて、前記被写体の撮影枚数に関する警告を行う警告手段
として機能させることを特徴とするコンピュータで読み取り実行可能なプログラム。
A program for controlling an image pickup apparatus for photographing a subject using face recognition, comprising storage management means for storing and managing subject identification information and the number of images taken of the subject.
The imaging device;
Identification information registration means for associating and registering the subject information and the face image of the subject specified by the face recognition as identification information;
Detection means for detecting a subject at the time of shooting;
Determination means for determining whether or not the identification information of the subject detected by the detection means matches the identification information of the subject registered by the identification information registration means;
When the determination unit determines that the identification image of the subject matches the face image of the subject registered by the identification information registration unit, the number-of-photographing display unit displays the number of images taken of the subject When,
A computer-readable and executable program that functions as warning means for issuing a warning regarding the number of shots of the subject in accordance with the number of shots of the subject displayed by the shot number display means.
JP2011101889A 2011-04-28 2011-04-28 Imaging device, control method, and program Withdrawn JP2012235273A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011101889A JP2012235273A (en) 2011-04-28 2011-04-28 Imaging device, control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011101889A JP2012235273A (en) 2011-04-28 2011-04-28 Imaging device, control method, and program

Publications (1)

Publication Number Publication Date
JP2012235273A true JP2012235273A (en) 2012-11-29

Family

ID=47435185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011101889A Withdrawn JP2012235273A (en) 2011-04-28 2011-04-28 Imaging device, control method, and program

Country Status (1)

Country Link
JP (1) JP2012235273A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014216658A (en) * 2013-04-22 2014-11-17 株式会社ニコン Imaging apparatus and imaging assist program
JP2017538983A (en) * 2015-11-13 2017-12-28 小米科技有限責任公司Xiaomi Inc. Game image identification method and apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014216658A (en) * 2013-04-22 2014-11-17 株式会社ニコン Imaging apparatus and imaging assist program
JP2017538983A (en) * 2015-11-13 2017-12-28 小米科技有限責任公司Xiaomi Inc. Game image identification method and apparatus

Similar Documents

Publication Publication Date Title
JP5056061B2 (en) Imaging device
US11004474B2 (en) Recording apparatus, reproducing apparatus, recording/reproducing apparatus, image pickup apparatus, recording method, and program
US20120249853A1 (en) Digital camera for reviewing related images
US20100134644A1 (en) Image pick-up apparatus, method of producing file of obtained image, and recording medium
JP5124994B2 (en) Image reproduction system, digital camera, and image reproduction apparatus
CN102474585A (en) Image processing apparatus and image processing method
JP2012084052A (en) Imaging apparatus, control method and program
JP2012235273A (en) Imaging device, control method, and program
JP2013135459A (en) Imaging apparatus and control method and program thereof
JP2016012869A (en) Network camera system, information processing method and program
JP2015106843A (en) Imaging device, imaging control method and program
JP2012129659A (en) Image pickup device, operation control method, and program
JP2014168207A (en) Imaging apparatus, control method of the same, and program
JP5392244B2 (en) Imaging apparatus, control method, and program
JP4882525B2 (en) Image reproduction system, digital camera, and image reproduction apparatus
WO2006016461A1 (en) Imaging device
US8934738B2 (en) Image processing apparatus and method for controlling the same
JP5294091B2 (en) Imaging apparatus, control method thereof, and program
JP2010193478A (en) Digital camera, method of controlling the same, and program
JP5386915B2 (en) Movie imaging apparatus, movie imaging method, and program
JP2015115741A (en) Image management device, image management method, and program
JP5621757B2 (en) Imaging apparatus, control method thereof, and program
JP6075415B2 (en) Imaging apparatus, control method thereof, and program
JP2013042255A (en) Photographing device, control method therefor, and program
JP5768355B2 (en) Imaging apparatus, control method, and program

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130531

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130531

A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140701