JP2017085204A - Registration control of meta-data - Google Patents

Registration control of meta-data Download PDF

Info

Publication number
JP2017085204A
JP2017085204A JP2015208463A JP2015208463A JP2017085204A JP 2017085204 A JP2017085204 A JP 2017085204A JP 2015208463 A JP2015208463 A JP 2015208463A JP 2015208463 A JP2015208463 A JP 2015208463A JP 2017085204 A JP2017085204 A JP 2017085204A
Authority
JP
Japan
Prior art keywords
image
metadata
information
image recognition
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015208463A
Other languages
Japanese (ja)
Inventor
健一郎 笹井
Kenichiro Sasai
健一郎 笹井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015208463A priority Critical patent/JP2017085204A/en
Publication of JP2017085204A publication Critical patent/JP2017085204A/en
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device which reduce a lode of an image retrieval with meta-data by simplifying a registration control of the meta-data and registering only meta-data selected and designated by a user.SOLUTION: An imaging device comprises: photographing means of photographing an image imaged by an imaging optical system; image recognition means of detecting image information from the image; image recognition region display means of displaying the image information acquired by the image recognition means as image recognition region information; meta-data selection means of selecting the image recognition region information as a registration candidate of meta-data; and meta-data registration means of registering the meta-data selected by the meta-data selection means corresponding to the photographing image.SELECTED DRAWING: Figure 3

Description

本発明は、撮像装置及びその制御方法に関し、特に撮影画像から得られる画像認識情報をメタデータとして登録する制御方法に関する。   The present invention relates to an imaging apparatus and a control method thereof, and more particularly to a control method for registering image recognition information obtained from a captured image as metadata.

従来、デジタルカメラによって撮影された画像データの被写体に関する撮影情報をメタデータとしてユーザが手動で入力する方法がある。   2. Description of the Related Art Conventionally, there is a method in which a user manually inputs shooting information regarding a subject of image data shot by a digital camera as metadata.

しかしながら、撮影情報の入力は、撮影画像枚数及び、個々の撮影画像データ内の被写体が増加するほどユーザーにとって煩雑な作業となっていた。   However, the input of shooting information has become more complicated for the user as the number of shot images and the number of subjects in each shot image data increase.

煩雑な入力作業を避けるために、撮影された画像から文字認識によって得られたテキストデータを、画像のメタデータとして記録する方法がある。特許文献1ではカチンコに書いたテイク情報を画像のメタデータに登録する撮像装置が提案されている。また、特許文献2では画像から検出された顔に枠を付して表示し、タッチで選択された顔枠に対応付け、人名等のキーワードを画像のメタデータとして記録する方法が提案されている。   In order to avoid complicated input operations, there is a method of recording text data obtained by character recognition from a photographed image as image metadata. Patent Document 1 proposes an imaging apparatus that registers take information written on a clapperboard in image metadata. Patent Document 2 proposes a method in which a face detected from an image is displayed with a frame, and a keyword such as a person's name is recorded as image metadata in association with the face frame selected by touch. .

特開2005-39354号公報JP 2005-39354 A 特開2010-252011号公報JP 2010-252011

しかしながら、上述の特許文献1に開示された従来技術では、撮影画像の画像認識によって検出された文字列情報の全てをメタデータとして記録するため、余計な情報もメタデータとして登録されてしまい、メタデータが適切に付与されない。ユーザーの意図しないメタデータが登録されると、メタデータを用いた画像検索の際に余計なメタデータ情報がヒットし、検索が困難になるという問題が発生する。 また、上述の特許文献2に開示された従来技術では、メタデータに登録する被写体情報を選択することができるが被写体情報を手動で入力する必要があるため煩雑な作業となる。   However, in the prior art disclosed in Patent Document 1 described above, all character string information detected by image recognition of a captured image is recorded as metadata, so that unnecessary information is also registered as metadata. Data is not given properly. When metadata unintended by the user is registered, there is a problem that extra metadata information hits when searching for an image using metadata, making it difficult to search. In the prior art disclosed in Patent Document 2 described above, the subject information to be registered in the metadata can be selected, but the subject information needs to be manually input, which is a complicated operation.

本発明は、上述の課題を解決するためになされたものであり、メタデータの登録制御を簡単にし、またユーザーの選択指定したメタデータのみ登録することでメタデータを用いた画像検索の負荷を軽減することを目的とする。   The present invention has been made in order to solve the above-mentioned problems, simplify the registration control of metadata, and register only the metadata selected and specified by the user, thereby reducing the load of image search using metadata. The purpose is to reduce.

上記の目的を達成するために、本発明に係る撮像装置は、
撮像光学系により結像された画像を撮影する撮影手段と、前記画像から画像情報を検出する画像認識手段と、前記画像認識手段より得られた画像情報を画像認識領域情報として表示する画像認識領域表示手段と、前記画像認識領域情報をメタデータの登録候補として選択するメタデータ選択手段と、前記メタデータ選択手段で選択されたメタデータを前記撮影画像に対応づけて登録するメタデータ登録手段と、を有することを特徴とする。
In order to achieve the above object, an imaging apparatus according to the present invention includes:
Image capturing means for capturing an image formed by the imaging optical system, image recognition means for detecting image information from the image, and image recognition area for displaying image information obtained from the image recognition means as image recognition area information Display means; metadata selection means for selecting the image recognition area information as a metadata registration candidate; and metadata registration means for registering the metadata selected by the metadata selection means in association with the photographed image. It is characterized by having.

本発明に係る撮像装置によれば、撮影画像から検出された人物と文字列情報について表示画面上にカーソル枠等の表示を行い、ユーザーが選択した情報をメタデータに登録を行うことで、画像認識から検出された情報のうち、ユーザーに指定された情報のみメタデータとして登録することでメタデータを用いた画像検索の負荷を軽減する機能を提供することができる。   According to the imaging device of the present invention, a cursor frame or the like is displayed on the display screen for the person and character string information detected from the captured image, and the information selected by the user is registered in the metadata. Of the information detected from the recognition, only the information specified by the user is registered as metadata, thereby providing a function of reducing the load of image search using metadata.

実施形態のデジタルカメラのシステム構成図System configuration diagram of digital camera of embodiment 実施形態のデジタルカメラの外概観External view of digital camera of embodiment 実施例1のメタデータ登録における「選択登録モード」のシーケンスを表すフローチャートA flowchart showing a sequence of “selective registration mode” in metadata registration according to the first embodiment. 実施例2のメタデータ登録における「選択登録通知モード」のシーケンスを表すフローチャート9 is a flowchart showing a sequence of “selection registration notification mode” in metadata registration according to the second embodiment. 実施例3のメタデータ登録における「画像領域判別モード」のシーケンスを表すフローチャート10 is a flowchart showing a sequence of “image area determination mode” in metadata registration according to the third embodiment. 実施例4のメタデータ登録における「人物判別モード」のシーケンスを表すフローチャートA flowchart showing a sequence of “person discrimination mode” in metadata registration according to the fourth embodiment. 実施例1のメタデータ登録における「選択登録モード」の説明図Explanatory drawing of "selection registration mode" in metadata registration of Example 1 実施例4のメタデータ登録における「人物判別モード」の説明図Explanatory drawing of "person discrimination mode" in the metadata registration of Example 4

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

[実施例1]
図1に、本発明を適用できるデジタルカメラのシステム構成図を示す。
[Example 1]
FIG. 1 shows a system configuration diagram of a digital camera to which the present invention can be applied.

被写体像は光学レンズ(10)を通過した後、イメージセンサ(11)に結像される。撮像制御回路(12)はイメージセンサ(11)の駆動制御を行うとともに、イメージセンサ(11)からの画像信号をアナログ/デジタル変換してシステム制御回路(20)に送る。イメージセンサ(11)はCCDやCMOSで構成され、被写体像を画像信号に変換して出力する。   The subject image passes through the optical lens (10) and is then formed on the image sensor (11). The imaging control circuit (12) controls the drive of the image sensor (11), converts the image signal from the image sensor (11) from analog to digital, and sends it to the system control circuit (20). The image sensor (11) is composed of a CCD or a CMOS, and converts a subject image into an image signal and outputs it.

文字認識回路(13)は撮影画像から文字領域を切り出して文字認識を行うことにより、文字列情報を得る。顔認識回路は公知の顔認識制御により人物の顔領域の判別と人物の顔認証を行う。メモリ制御回路(21)は、システム制御回路(20)の制御のもと、揮発性メモリ(25)、イメージセンサ(11)、画像処理回路(22)、記録用メモリ(23)、表示部(24)におけるデータ送受の制御を行う。システム制御回路(20)はカメラ全体を制御する回路であり、かつ、諸所の演算を行う演算回路もかねている。   A character recognition circuit (13) obtains character string information by cutting out a character region from a captured image and performing character recognition. The face recognition circuit determines the face area of a person and performs face authentication of the person by known face recognition control. Under the control of the system control circuit (20), the memory control circuit (21) is a volatile memory (25), an image sensor (11), an image processing circuit (22), a recording memory (23), a display unit ( Control data transmission / reception in 24). The system control circuit (20) is a circuit for controlling the entire camera, and also serves as an arithmetic circuit for performing various arithmetic operations.

揮発性メモリ(25)はSDRAMなどの高速アクセス可能なメモリである。不揮発性メモリ(26)はシステム制御回路(20)の動作用の定数、変数、プログラムを記録するメモリである。記録用メモリ(23)はデジタルカメラから着脱可能なメモリである。メモリの空き容量が不足した場合は交換が可能な仕組みとなっている。システム制御回路(20)の動作はレリーズ操作ボタン(15)、MENU操作ボタン(16)、選択操作ボタン(17)、選択決定ボタン(18)、メタデータ登録ボタン(19)からの指示信号により決定される。MENU操作ボタン(16)は各種カメラの設定を行う画面を表示し各モードの設定を行う際に使用する。   The volatile memory (25) is a high-speed accessible memory such as SDRAM. The nonvolatile memory (26) is a memory for recording constants, variables, and programs for the operation of the system control circuit (20). The recording memory (23) is a memory that can be detached from the digital camera. If the memory capacity is insufficient, it can be replaced. The operation of the system control circuit (20) is determined by an instruction signal from the release operation button (15), MENU operation button (16), selection operation button (17), selection decision button (18), and metadata registration button (19). Is done. The MENU operation button (16) displays a screen for setting various cameras and is used for setting each mode.

図2に、デジタルカメラの外観図を示す。   FIG. 2 shows an external view of the digital camera.

デジタルカメラ本体(201)の背面には図1における表示部(24)が設けられている。また、図1におけるレリーズ操作ボタン(15)、 MENU操作ボタン(16)、選択操作ボタン(17)、選択決定ボタン(18)、メタデータ登録ボタン(19)が設けられている。   A display unit (24) in FIG. 1 is provided on the back of the digital camera body (201). Further, a release operation button (15), a MENU operation button (16), a selection operation button (17), a selection determination button (18), and a metadata registration button (19) in FIG. 1 are provided.

画像認識モードには、メタデータ選択登録モードとメタデータ自動登録モードの2つのモードがある。メタデータ選択登録モードは撮影画像から検出された人物と文字列情報のうち、ユーザーが選択した情報をメタデータに登録するモードである。一方、メタデータ自動登録モードは撮影画像から検出された人物と文字列情報の全てをメタデータに自動登録するモードである。メタデータ選択登録モードは4つのモードを持つ。   There are two image recognition modes: a metadata selection registration mode and a metadata automatic registration mode. The metadata selection / registration mode is a mode in which information selected by the user among the person and character string information detected from the photographed image is registered in the metadata. On the other hand, the metadata automatic registration mode is a mode in which all of the person and character string information detected from the captured image are automatically registered in the metadata. The metadata selection registration mode has four modes.

1つ目のモードは、撮影画像から検出された人物と文字列情報について表示画面上に枠等の表示を行い、その中からユーザーが選択した情報をメタデータに登録する「選択登録モードで」ある。2つ目のモードは、撮影画像から検出された人物と文字列情報の合計個数を算出し、算出した合計個数によってメタデータの選択登録を行うか否かを判別する「選択登録通知モード」である。3つ目のモードは、予め画像認識を行う画像領域のサイズを設定しておき、撮影画像から所定の画像認識領域サイズの人物と文字列情報に絞って検出する「画像領域判別モード」である。4つ目のモードは、撮影画像から顔認識の領域情報と、撮影レンズの焦点距離情報と、被写体距離情報を用いて所定の顔認識領域のサイズの顔を人物と判別する「人物判別モード」である。   The first mode displays a frame etc. on the display screen for the person and character string information detected from the photographed image, and registers the information selected by the user in the metadata in “selection registration mode” is there. The second mode is a “selection registration notification mode” that calculates the total number of persons and character string information detected from the captured image and determines whether or not to perform selective registration of metadata based on the calculated total number. is there. The third mode is an “image region discrimination mode” in which the size of an image region for performing image recognition is set in advance, and detection is performed by narrowing down a person having a predetermined image recognition region size and character string information from a captured image. . The fourth mode is a “person discrimination mode” in which a face having a predetermined face recognition area size is identified as a person using face recognition area information, photographing lens focal length information, and subject distance information from the photographed image. It is.

図3に、本実施形態の撮影及びメタデータ登録シーケンスについてフローチャートを用いて説明する。本フローチャートは、撮影画像から検出された人物と文字列情報について表示画面上に枠等の表示を行い、ユーザーが選択した情報をメタデータに登録する「選択登録モード」のシーケンスである。   FIG. 3 illustrates a shooting and metadata registration sequence according to the present embodiment with reference to a flowchart. This flowchart is a “selection registration mode” sequence in which a frame or the like is displayed on the display screen for the person and character string information detected from the photographed image, and the information selected by the user is registered in the metadata.

撮影が開始されるとフローチャートに従うシーケンスが開始される。撮像制御回路(12)にて撮像処理が行われると(S301)、次の(S302)へ進み撮影画像の保存処理を行い画像データとして記録用メモリ(23)へ保存する。次に(S303)へ進み記録用メモリ(23)に保存された画像を表示部(24)に表示する。次に(S304)へ進み、顔認識回路(14)にて表示画像から顔検出を行い、顔認識ができた場合(S305)へ進み、人物の顔領域へカーソル等の枠を表示する。次に(S306)へ進み、人物の顔領域へ表示されたカーソル等の枠領域を選択操作ボタン(17)と選択決定ボタン(18)を用いたメタデータ登録候補の選択操作があるか否かを判定する。選択決定ボタン(18)によりメタデータ登録候補の選択操作が完了した場合、不揮発性メモリ(26)へ選択データを保存し、次の(S307)へ進む。   When shooting is started, a sequence according to the flowchart is started. When the imaging process is performed by the imaging control circuit (12) (S301), the process proceeds to the next (S302), where the captured image is stored and stored as image data in the recording memory (23). Next, the process proceeds to (S303), and the image stored in the recording memory (23) is displayed on the display unit (24). Next, the process proceeds to (S304), and the face recognition circuit (14) detects the face from the display image. If the face is recognized, the process proceeds to (S305), and a frame such as a cursor is displayed in the face area of the person. Next, the process proceeds to (S306), and whether or not there is an operation for selecting a metadata registration candidate using the selection operation button (17) and the selection determination button (18) for a frame area such as a cursor displayed on the face area of the person. Determine. When the selection operation of the metadata registration candidate is completed by the selection decision button (18), the selection data is stored in the nonvolatile memory (26), and the process proceeds to the next (S307).

一方、(S306)にて登録候補の選択操作がキャンセル操作(図示無し)、もしくは所定の期間メタデータ登録候補の選択操作が完了しない場合はメタデータの登録を行わず一連のシーケンスを終了する。   On the other hand, if the registration candidate selection operation is a cancel operation (not shown) or the metadata registration candidate selection operation is not completed for a predetermined period in (S306), the series of sequences is terminated without registering metadata.

一方、(S304)にて顔認識ができなかった場合は(S307)へ進み、文字認識回路(13)にて表示画像から文字列情報の検出を行う。文字列情報の検出ができた場合、(S308)へ進み、文字認識領域へカーソル等の枠を表示する。次に(S309)へ進み検出した文字列情報から取得したテキストデータをカーソル等の枠の表示内に表示する。次に(S310)へ進み、文字認識領域へ表示されたカーソル等の枠領域を選択操作ボタン(17) と選択決定ボタン(18)を用いたメタデータ登録候補の選択操作があるか否かを判定する。選択決定ボタン(18)によりメタデータ登録候補の選択操作が完了した場合、次の(S311)へ進む。   On the other hand, if the face cannot be recognized in (S304), the process proceeds to (S307), and character string information is detected from the display image in the character recognition circuit (13). When the character string information is detected, the process proceeds to (S308), and a frame such as a cursor is displayed in the character recognition area. Next, the process proceeds to (S309), and the text data acquired from the detected character string information is displayed in a frame such as a cursor. Next, the process proceeds to (S310), and whether or not there is an operation for selecting a metadata registration candidate using the selection operation button (17) and the selection determination button (18) for a frame area such as a cursor displayed in the character recognition area. judge. When the selection operation of the metadata registration candidate is completed by the selection decision button (18), the process proceeds to the next (S311).

一方、(S310)にて登録候補の選択操作がキャンセル操作(図示無し)、もしくは所定の期間メタデータ登録候補の選択操作が完了しない場合はメタデータの登録を行わず一連のシーケンスを終了する。   On the other hand, if the registration candidate selection operation is a cancel operation (not shown) or the metadata registration candidate selection operation is not completed for a predetermined period in (S310), the series of sequences is terminated without performing metadata registration.

一方、(S307)にて文字認識ができなかった場合は(S311)へ進み、(S306)と(S310)で行われた画像認識による顔検出及び、文字検出からメタデータ候補の選択有無の判定を行う。メタデータ候補の選択が一つ以上あった場合、次の(S312)へ進み、メタデータ登録ボタン(19)の操作の判定を行う。メタデータ登録ボタン(19)の操作が行われると、(S313)へ進み、(S306)と(S310)で選択されたメタデータ登録候補の選択データを不揮発性メモリ(26)から読み出し表示画像のメタデータに対応づけて登録する。   On the other hand, if character recognition could not be performed in (S307), the process proceeds to (S311), and face detection by image recognition performed in (S306) and (S310) and determination of metadata candidate selection from character detection I do. If one or more metadata candidates are selected, the process proceeds to the next (S312), and the operation of the metadata registration button (19) is determined. When the operation of the metadata registration button (19) is performed, the process proceeds to (S313), the selection data of the metadata registration candidates selected in (S306) and (S310) is read from the nonvolatile memory (26), and the display image is displayed. Register in association with metadata.

一方、(S311)において(S306)と(S310)で表示画像から顔検出及び、文字認識によるメタデータ候補の選択検出が行われなかった場合はメタデータの登録を行わず一連のシーケンスを終了する。一方、(S312)において所定の期間メタデータ登録ボタン(19)の操作がされない場合、もしくはメタデータ登録キャンセルの操作(図示無し)がなされた場合はメタデータの登録を行わず一連のシーケンスを終了する。   On the other hand, in (S311), when face detection from the display image in (S306) and (S310) and selection / detection of metadata candidates by character recognition are not performed, the series of sequences is completed without registering metadata. . On the other hand, if the metadata registration button (19) is not operated for a predetermined period in (S312), or if the metadata registration cancellation operation (not shown) is performed, the series of sequences is terminated without registering metadata. To do.

図7に、本実施形態で表示される画像認識情報の表示例を示す。図7 (a)は撮影された画像を表示した状態を示す。図7(b)は図7 (a)の撮影画像から検出された人物と文字列情報の領域にカーソル枠を表示した状態の例を示す。   FIG. 7 shows a display example of the image recognition information displayed in the present embodiment. FIG. 7A shows a state in which a photographed image is displayed. FIG. 7B shows an example of a state in which a cursor frame is displayed in the area of the person and character string information detected from the photographed image of FIG.

(701)は人物の顔領域の枠表示を示し、(702)、(703)は文字列情報の領域のカーソル枠表示を示す。また、(702)、(703)で示された文字列情報のカーソル枠の表示内に、文字列情報から取得したテキストデータを表示している例を示す。図7 (c)は図7 (b)の検出された文字列情報の内、(703)のカーソル枠を選択解除し、カーソル枠が消去されメタデータ登録候補から除外された状態を示す。   (701) indicates the frame display of the human face area, and (702) and (703) indicate the cursor frame display of the character string information area. Further, an example is shown in which text data acquired from the character string information is displayed in the display of the cursor frame of the character string information indicated by (702) and (703). FIG. 7 (c) shows a state in which the cursor frame of (703) is deselected from the detected character string information of FIG. 7 (b), the cursor frame is erased and excluded from the metadata registration candidates.

上記の通り、撮影画像から検出された人物と文字列情報について表示画面上にカーソル枠等の表示を行い、ユーザーが選択した情報をメタデータに登録を行うことで、画像認識から検出された情報のうち、ユーザーに指定された情報のみメタデータとして登録する機能を提供することができる。   Information detected from image recognition by displaying a cursor frame etc. on the display screen for the person and character string information detected from the captured image as described above, and registering the information selected by the user in the metadata Among them, it is possible to provide a function of registering only information designated by the user as metadata.

[実施例2]
図4に、本実施形態の撮影及びメタデータ登録シーケンスについてフローチャートを用いて説明する。本フローチャートは、撮影画像から検出された人物と文字列情報の合計個数を算出し、その個数よってメタデータの選択登録を行うか否かを判別する「選択登録通知モード」のシーケンスである。
[Example 2]
FIG. 4 illustrates a shooting and metadata registration sequence according to this embodiment with reference to a flowchart. This flowchart is a “selection registration notification mode” sequence in which the total number of persons and character string information detected from a captured image is calculated, and it is determined whether or not to perform selective registration of metadata based on the number.

撮影が開始されるとフローチャートに従うシーケンスが開始される。撮像制御回路(12)にて撮像処理撮像処理が行われると(S401)、次の(S402)へ進み撮影画像の保存処理を行い画像データとして記録用メモリ(23)へ保存する。次に(S403)へ進み記録用メモリ(23)に保存された画像を表示部(24)に表示する。次に(S404)へ進み、顔認識回路(14)にて表示画像から顔検出を行い、顔認識ができた場合、(S405)へ進み、人物の顔領域へカーソル等の枠を表示し次の(S406)へ進む。   When shooting is started, a sequence according to the flowchart is started. When the imaging process is performed by the imaging control circuit (12) (S401), the process proceeds to the next (S402), the captured image is stored, and is stored in the recording memory (23) as image data. Next, the process proceeds to (S403), and the image stored in the recording memory (23) is displayed on the display unit (24). Next, proceed to (S404), face detection is performed from the display image in the face recognition circuit (14), and if face recognition is possible, proceed to (S405) and display a frame such as a cursor on the face area of the person. Go to (S406).

一方、(S404)にて顔認識ができなかった場合は(S406)へ進み、文字認識回路(13)にて表示画像から文字列情報の検出を行う。文字列情報の検出ができた場合、(S407)へ進み、文字認識領域へカーソル等の枠を表示する。次に(S408)へ進み、検出した文字列情報から取得したテキストデータをカーソル等の枠の表示内に表示し、次の(S409)へ進む。   On the other hand, if the face cannot be recognized in (S404), the process proceeds to (S406), and character string information is detected from the display image in the character recognition circuit (13). If the character string information can be detected, the process proceeds to (S407), and a frame such as a cursor is displayed in the character recognition area. Next, the process proceeds to (S408), the text data acquired from the detected character string information is displayed in the display of a frame such as a cursor, and the process proceeds to the next (S409).

一方、(S406)にて文字認識ができなかった場合は(S409)へ進み、(S404)と(S406)で行われた画像認識による顔検出及び、文字検出からメタデータ候補の検出有無の確認を行う。メタデータ候補の検出があった場合、次の(S410)へ進み、(S405)及び(S408)にて検出された顔領域及び、文字認識領域の合計個数を算出し、検出領域の合計個数の閾値(Ath)と比較判別を行う。もし閾値以上の「Ath≦A」である場合、次の(S411)へ進み、メタデータ登録候補の選択を行うモードへ移行することを示す通知表示を行う。   On the other hand, if character recognition could not be performed in (S406), the process proceeds to (S409), and face detection by image recognition performed in (S404) and (S406) and confirmation of metadata candidate detection from character detection I do. If metadata candidates are detected, proceed to the next (S410), calculate the total number of face areas and character recognition areas detected in (S405) and (S408), and calculate the total number of detection areas. Comparison with the threshold (Ath) is performed. If “Ath ≦ A” that is equal to or greater than the threshold value, the process proceeds to the next (S411), and a notification display indicating that the mode is shifted to a mode for selecting a metadata registration candidate is performed.

次に(S412)へ進み、(S405)及び(S408)で表示された人物の顔領域及び文字認識領域へ表示されたカーソル等の枠領域を選択操作ボタン(17)と選択決定ボタン(18) を用いたメタデータ登録候補の選択操作があるか否かを判定する。選択決定ボタン(18)によりメタデータ登録候補の選択操作が完了した場合、不揮発性メモリ(26)へ選択データを保存し、次の(S413)へ進み、メタデータ登録ボタン(19)の操作の判定を行う。メタデータ登録ボタン(19)の操作が行われると、(S414)へ進み、(S412)で選択されたメタデータ登録候補の選択データを不揮発性メモリ(26)から読み出し表示画像のメタデータに対応づけて登録する。   Next, proceed to (S412), select operation buttons (17) and selection decision buttons (18) for the frame area such as the cursor displayed in the face area and character recognition area of the person displayed in (S405) and (S408) It is determined whether or not there is an operation for selecting a metadata registration candidate using. When the selection operation of the metadata registration candidate is completed by the selection decision button (18), the selection data is stored in the nonvolatile memory (26), and the process proceeds to the next (S413), and the operation of the metadata registration button (19) is performed. Make a decision. When the operation of the metadata registration button (19) is performed, the process proceeds to (S414), the selection data of the metadata registration candidate selected in (S412) is read from the nonvolatile memory (26), and the display image metadata is supported. Then register.

一方、(S409)において(S404)と(S406)で表示画像から顔検出及び、文字認識による画像認識検出が行われなかった場合はメタデータの登録を行わず一連のシーケンスを終了する。一方、(S410)において検出領域の合計個数の閾値(Ath)と比較判別を行い、もし閾値以下の「Ath≧A」である場合、(S414)へ進み(S405)及び(S408)で表示された人物の顔領域及び文字認識領域の文字列情報を自動的に表示画像のメタデータに対応づけて登録する。一方、(S412)において登録候補の選択操作がキャンセル操作(図示無し)、もしくは所定の期間メタデータ登録候補の選択操作が完了しない場合はメタデータの登録を行わず一連のシーケンスを終了する。   On the other hand, when face detection and image recognition detection by character recognition are not performed from the display image in (S409) and (S406) in (S409), the series of sequences is terminated without registering metadata. On the other hand, in (S410), comparison with the threshold value (Ath) of the total number of detection areas is performed, and if `` Ath ≧ A '' below the threshold value, proceed to (S414) and be displayed in (S405) and (S408) The character string information of the person's face area and character recognition area is automatically registered in association with the metadata of the display image. On the other hand, in (S412), if the registration candidate selection operation is a cancel operation (not shown) or the metadata registration candidate selection operation is not completed for a predetermined period, the series of sequences is terminated without performing metadata registration.

一方、(S413)において所定の期間メタデータ登録ボタン(19)の操作がされない場合、もしくはメタデータ登録キャンセルの操作(図示無し)がなされた場合はメタデータの登録を行わず一連のシーケンスを終了する。   On the other hand, if the metadata registration button (19) is not operated for a predetermined period in (S413), or if the metadata registration cancellation operation (not shown) is performed, the series of sequences is terminated without registering metadata. To do.

上記の通り、撮影画像から検出された人物と文字列情報について表示画面上に枠等の表示を行い、検出された領域の合計個数に所定の閾値を設けた。所定の閾値以上の領域数を検出した場合のみメタデータ登録候補の選択操作に移行し、閾値以下であれば撮影画像から検出された全ての人物と文字列情報を自動的にメタデータに登録することで、メタデータ登録の負荷を軽減する機能を提供することができる。   As described above, a frame or the like is displayed on the display screen for the person and character string information detected from the captured image, and a predetermined threshold is set for the total number of detected areas. Only when the number of areas equal to or greater than a predetermined threshold is detected, the process proceeds to a metadata registration candidate selection operation. When the number of areas is equal to or less than the threshold, all persons and character string information detected from the captured image are automatically registered in the metadata. Thus, it is possible to provide a function for reducing the load of metadata registration.

[実施例3]
図5に、本実施形態の撮影及びメタデータ登録シーケンスについてフローチャートを用いて説明する。本フローチャートは、撮影画像から予め画像認識を行う画像領域のサイズを設定しておき、所定の画像認識領域サイズの人物と文字列情報のみ検出する「画像領域判別モード」のシーケンスである。
[Example 3]
FIG. 5 illustrates a shooting and metadata registration sequence according to the present embodiment with reference to a flowchart. This flowchart is a sequence of “image region discrimination mode” in which the size of an image region for performing image recognition is set in advance from a captured image, and only a person having a predetermined image recognition region size and character string information are detected.

撮影が開始されるとフローチャートに従うシーケンスが開始される。撮像制御回路(12)にて撮像処理が行われると(S501)、次の(S502)へ進み撮影画像の保存処理を行い画像データとして記録用メモリ(23)へ保存する。次に(S503)へ進み記録用メモリ(23)に保存された画像を表示部(24)に表示する。次に(S504)へ進み、顔認識回路(14)にて表示画像から顔検出を行い、顔認識ができた場合(S505)へ進み、(S504)にて検出された顔領域の領域サイズを算出し、顔領域サイズの閾値(Kth1、Kth2)と比較判別を行う。   When shooting is started, a sequence according to the flowchart is started. When the imaging process is performed by the imaging control circuit (12) (S501), the process proceeds to the next (S502), where the captured image is stored and stored as image data in the recording memory (23). Next, the process proceeds to (S503), and the image stored in the recording memory (23) is displayed on the display unit (24). Next, proceed to (S504), perform face detection from the display image in the face recognition circuit (14), and if face recognition is possible, proceed to (S505), and set the area size of the face area detected in (S504). It is calculated and compared with the face area size threshold values (Kth1, Kth2).

もし閾値以内の「Kth1≦K≦Kth2」である場合、次の(S506)へ進み、人物の顔領域へカーソル等の枠を表示する。次に(S507)へ進み、人物の顔領域へ表示されたカーソル等の枠領域を選択操作ボタン(17) と選択決定ボタン(18)を用いたメタデータ登録候補の選択操作があるか否かを判定する。選択決定ボタン(18)によりメタデータ登録候補の選択操作が完了した場合、不揮発性メモリ(26)へ選択データを保存し、次の(S507)へ進む。   If “Kth1 ≦ K ≦ Kth2” within the threshold, the process proceeds to the next (S506), and a frame such as a cursor is displayed on the face area of the person. Next, proceed to (S507), and whether or not there is a metadata registration candidate selection operation using the selection operation button (17) and selection decision button (18) for the frame area such as the cursor displayed on the face area of the person Determine. When the selection operation of the metadata registration candidate is completed by the selection decision button (18), the selection data is stored in the nonvolatile memory (26), and the process proceeds to the next (S507).

一方、(S507)にて登録候補の選択操作がキャンセル操作(図示無し)、もしくは所定の期間メタデータ登録候補の選択操作が完了しない場合はメタデータの登録を行わず一連のシーケンスを終了する。一方、(S505)にて顔領域サイズが閾値「Kth1≦K≦Kth2」以外であった場合は(S508)へ進む。一方、(S504)にて顔認識ができなかった場合は(S508)へ進み、文字認識回路(13)にて表示画像から文字列情報の検出を行う。   On the other hand, if the registration candidate selection operation is a cancel operation (not shown) or the metadata registration candidate selection operation is not completed for a predetermined period in (S507), the series of sequences is terminated without performing metadata registration. On the other hand, if the face area size is other than the threshold value “Kth1 ≦ K ≦ Kth2” in (S505), the process proceeds to (S508). On the other hand, if the face cannot be recognized in (S504), the process proceeds to (S508), and character string information is detected from the display image in the character recognition circuit (13).

文字列情報の検出ができた場合、(S509)へ進み、(S508)にて検出された文字領域の領域サイズを算出し、文字領域サイズの閾値(Mth1、Mth2)と比較判別を行う。もし閾値以内の「Mth1≦M≦Mth2」である場合次の(S510)へ進み、指定領域サイズの文字認識領域へカーソル等の枠を表示する。次に(S511)へ進み、検出した文字列情報から取得したテキストデータをカーソル等の枠の表示内に表示する。次に(S512)へ進み、文字認識領域へ表示されたカーソル等の枠領域を選択操作ボタン(17) と選択決定ボタン(18)を用いたメタデータ登録候補の選択操作があるか否かを判定する。選択決定ボタン(18)によりメタデータ登録候補の選択操作が完了した場合、次の(S513)へ進む。   If the character string information can be detected, the process proceeds to (S509), where the area size of the character area detected in (S508) is calculated, and compared with the threshold values (Mth1, Mth2) of the character area size. If “Mth1 ≦ M ≦ Mth2” within the threshold, the process proceeds to the next (S510), and a frame such as a cursor is displayed in the character recognition area of the designated area size. Next, proceeding to (S511), the text data acquired from the detected character string information is displayed in the display of a frame such as a cursor. Next, proceed to (S512) and check whether there is a metadata registration candidate selection operation using the selection operation button (17) and selection decision button (18) for the frame area such as the cursor displayed in the character recognition area. judge. When the selection operation of the metadata registration candidate is completed by the selection decision button (18), the process proceeds to the next (S513).

一方、(S512)にて登録候補の選択操作がキャンセル操作(図示無し)、もしくは所定の期間メタデータ登録候補の選択操作が完了しない場合はメタデータの登録を行わず一連のシーケンスを終了する。一方、(S509)にて文字領域サイズが閾値「Mth1≦M≦Mth2」以外であった場合は(S513
)へ進む。
On the other hand, if the registration candidate selection operation is a cancel operation (not shown) or the metadata registration candidate selection operation is not completed for a predetermined period in (S512), the series of sequences is terminated without registering metadata. On the other hand, if the character area size is other than the threshold value “Mth1 ≦ M ≦ Mth2” in (S509) (S513
Go to).

一方、(S508)にて文字認識ができなかった場合は(S513)へ進み、(S507)と(S512)で行われた画像認識による顔検出及び、文字検出からメタデータ候補の選択有無の判定を行う。メタデータ候補の選択が一つ以上あった場合、次の(S513)へ進み、メタデータ登録ボタン(19)の操作の判定を行う。メタデータ登録ボタン(19)の操作が行われると、(S514)へ進み、(S507)と(S512)で選択されたメタデータ登録候補の選択データを不揮発性メモリ(26)から読み出し表示画像のメタデータに対応づけて登録する。   On the other hand, if character recognition could not be performed in (S508), proceed to (S513), face detection by image recognition performed in (S507) and (S512), and determination of whether metadata candidates are selected from character detection I do. When one or more metadata candidates are selected, the process proceeds to the next (S513), and the operation of the metadata registration button (19) is determined. When the operation of the metadata registration button (19) is performed, the process proceeds to (S514), the selection data of the metadata registration candidate selected in (S507) and (S512) is read from the nonvolatile memory (26), and the display image is displayed. Register in association with metadata.

一方、(S513)において(S507)と(S512)で表示画像から顔検出及び、文字認識によるメタデータ候補の選択検出が行われなかった場合はメタデータの登録を行わず一連のシーケンスを終了する。一方、(S514)において所定の期間メタデータ登録ボタン(19)の操作がされない場合、もしくはメタデータ登録キャンセルの操作(図示無し)がなされた場合はメタデータの登録を行わず一連のシーケンスを終了する。   On the other hand, in (S513), if face detection from the display image in (S507) and (S512) and selection of metadata candidates by character recognition are not detected, the series of sequences is terminated without registering metadata. . On the other hand, if the metadata registration button (19) is not operated for a predetermined period in (S514), or if the metadata registration cancellation operation (not shown) is performed, the series of sequences is terminated without registering the metadata. To do.

上記の通り、撮影画像から顔や文字を検出する検出領域サイズに閾値をもたせることで、メタデータ登録候補として検出する情報を絞り込み、且つメタデータの選択登録を行うことでメタデータ登録の負荷を軽減する機能を提供することができる。   As described above, by setting a threshold for the detection area size for detecting a face or character from a captured image, the information to be detected as metadata registration candidates is narrowed down, and the metadata registration load is reduced by performing metadata selective registration. The function to reduce can be provided.

[実施例4]
図6に、本実施形態の撮影及びメタデータ登録シーケンスについてフローチャートを用いて説明する。本フローチャートは、撮影画像から検出された顔認識の領域情報と、撮影レンズの焦点距離情報と、被写体距離情報を用いて所定の顔認識領域のサイズの顔を人物と判別する「人物判別モード」のシーケンスである。
[Example 4]
FIG. 6 illustrates a shooting and metadata registration sequence according to the present embodiment with reference to a flowchart. This flowchart is a “person discrimination mode” for discriminating a face of a predetermined face recognition area size from a person using face recognition area information detected from a photographed image, focal length information of a photographing lens, and subject distance information. This is the sequence.

撮影が開始されるとフローチャートに従うシーケンスが開始される。撮像制御回路(12)にて撮像処理が行われると(S601)、次の(S602)へ進み顔認識回路(14)にて撮影画角内の顔検出を行い、顔領域の領域サイズを算出する。次に(S603)へ進み、(S602)で算出した顔領域までの被写体距離情報を取得する。被写体距離情報の取得方法は公知の近赤外光の反射を用いた方法等がある。次に (S604)へ進み、光学レンズ(10)の焦点距離情報を取得する。   When shooting is started, a sequence according to the flowchart is started. When imaging processing is performed in the imaging control circuit (12) (S601), the process proceeds to the next (S602), and the face recognition circuit (14) detects the face within the shooting angle of view and calculates the area size of the face area. To do. Next, the process proceeds to (S603), and the subject distance information to the face area calculated in (S602) is acquired. As a method for acquiring subject distance information, there is a known method using reflection of near-infrared light. Next, proceeding to (S604), the focal length information of the optical lens (10) is acquired.

次に(S605)へ進み、撮像制御回路(12)にて撮像処理を行い、撮影画像の保存処理を行う。保存処理は (S602) にて検出された顔認識情報と、(S603)にて取得した被写体距離情報と、(S604)にて取得したレンズ焦距離情報を関連づけてメタデータとし、画像データとともに記録用メモリ(23)へ保存する。次に(S606)へ進み、記録用メモリ(23)に保存された画像を表示部(24)に表示する。   Next, proceeding to (S605), the imaging control circuit (12) performs imaging processing, and performs captured image storage processing. The storage process associates the face recognition information detected in (S602), the subject distance information acquired in (S603), and the lens focal distance information acquired in (S604) into metadata, which is recorded together with the image data. Save to memory (23). Next, the process proceeds to (S606), and the image stored in the recording memory (23) is displayed on the display unit (24).

次に(S607)へ進み、(S606) で表示された画像に関連づけられた顔領域の領域サイズと被写体距離情報と焦点距離情報を用いて顔認識領域サイズの実寸法を算出し、顔認識領域サイズの閾値(Hth1、Hth2)と比較し人物の顔判別を行う。もし閾値以内の「Hth1≦H≦Hth2」である場合、次の(S608)へ進み、人物と判別された顔認識領域へカーソル等の枠を表示する。次に(S609)へ進み、人物の顔領域へ表示されたカーソル等の枠領域を選択操作ボタン(17) と選択決定ボタン(18)を用いたメタデータ登録候補の選択操作があるか否かを判定する。選択決定ボタン(18)によりメタデータ登録候補の選択操作が完了した場合、不揮発性メモリ(26)へ選択データを保存し、次の(S610)へ進む。   Next, proceed to (S607), calculate the actual size of the face recognition area size using the area size of the face area associated with the image displayed in (S606), the subject distance information, and the focal length information. The person's face is discriminated by comparison with size thresholds (Hth1, Hth2). If “Hth1 ≦ H ≦ Hth2” within the threshold, the process proceeds to the next (S608), and a frame such as a cursor is displayed in the face recognition area determined to be a person. Next, proceed to (S609), and whether or not there is a metadata registration candidate selection operation using the selection operation button (17) and selection decision button (18) for the frame area such as the cursor displayed on the face area of the person Determine. When the selection operation of the metadata registration candidate is completed by the selection determination button (18), the selection data is stored in the nonvolatile memory (26), and the process proceeds to the next (S610).

一方、(S610)にて登録候補の選択操作がキャンセル操作(図示無し)、もしくは所定の期間メタデータ登録候補の選択操作が完了しない場合はメタデータの登録を行わず一連のシーケンスを終了する。   On the other hand, if the registration candidate selection operation is a cancel operation (not shown) or the metadata registration candidate selection operation is not completed for a predetermined period in (S610), the series of sequences is terminated without registering metadata.

一方、(S607)にて顔認識領域サイズが閾値「Hth1≦H≦Hth2」以外であった場合は(S610)へ進み、文字認識回路(13)にて表示画像から文字列情報の検出を行う。文字列情報の検出ができた場合、(S611)へ進み、文字認識領域へカーソル等の枠を表示する。次に(S612)へ進み検出した文字列情報から取得したテキストデータをカーソル等の枠の表示内に表示する。   On the other hand, if the face recognition area size is other than the threshold value “Hth1 ≦ H ≦ Hth2” in (S607), the process proceeds to (S610), and character string information is detected from the display image in the character recognition circuit (13). . If the character string information can be detected, the process proceeds to (S611), and a frame such as a cursor is displayed in the character recognition area. Next, proceeding to (S612), the text data acquired from the detected character string information is displayed in the display of a frame such as a cursor.

次に(S613)へ進み、文字認識領域へ表示されたカーソル等の枠領域を選択操作ボタン(17) と選択決定ボタン(18)を用いたメタデータ登録候補の選択操作があるか否かを判定する。選択決定ボタン(18)によりメタデータ登録候補の選択操作が完了した場合、次の(S614)へ進む。   Next, proceed to (S613) and check whether there is an operation for selecting a metadata registration candidate using the selection operation button (17) and the selection decision button (18) for the frame area such as the cursor displayed in the character recognition area. judge. When the selection operation of the metadata registration candidate is completed by the selection decision button (18), the process proceeds to the next (S614).

一方、(S614)にて登録候補の選択操作がキャンセル操作(図示無し)、もしくは所定の期間メタデータ登録候補の選択操作が完了しない場合はメタデータの登録を行わず一連のシーケンスを終了する。   On the other hand, if the registration candidate selection operation is a cancel operation (not shown) or the metadata registration candidate selection operation is not completed for a predetermined period in (S614), the series of sequences is terminated without registering metadata.

一方、(S610)にて文字認識ができなかった場合は(S614)へ進み、(S609)と(S613)で行われた画像認識による顔検出及び、文字検出からメタデータ候補の選択有無の判定を行う。メタデータ候補の選択が一つ以上あった場合、次の(S615)へ進み、メタデータ登録ボタン(19)の操作の判定を行う。メタデータ登録ボタン(19)の操作が行われると、(S616)へ進み、(S609)と(S613)で選択されたメタデータ登録候補の選択データを不揮発性メモリ(26)から読み出し表示画像のメタデータに対応づけて登録する。   On the other hand, if character recognition could not be performed in (S610), the process proceeds to (S614), and face detection by image recognition performed in (S609) and (S613) and determination of metadata candidate selection from character detection I do. When one or more metadata candidates are selected, the process proceeds to the next (S615), and the operation of the metadata registration button (19) is determined. When the operation of the metadata registration button (19) is performed, the process proceeds to (S616), the selection data of the metadata registration candidates selected in (S609) and (S613) is read from the nonvolatile memory (26), and the display image is displayed. Register in association with metadata.

一方、(S614)において(S609)と(S613)で表示画像から顔検出及び、文字認識によるメタデータ候補の選択検出が行われなかった場合はメタデータの登録を行わず一連のシーケンスを終了する。一方、(S614)において(S607)における顔認識領域サイズが閾値「Hth1≦H≦Hth2」以外であり、また(S610)で表示画像から文字認識による画像認識検出が行われなかった場合はメタデータの登録を行わず一連のシーケンスを終了する。一方、(S615)において所定の期間メタデータ登録ボタン(19)の操作がされない場合、もしくはメタデータ登録キャンセルの操作(図示無し)がなされた場合はメタデータの登録を行わず一連のシーケンスを終了する。   On the other hand, in (S614), if face detection from the display image in (S609) and (S613) and selection / detection of metadata candidates by character recognition are not performed, the series of sequences is terminated without registering metadata. . On the other hand, if the face recognition area size in (S607) is other than the threshold value “Hth1 ≦ H ≦ Hth2” in (S614), and if image recognition detection by character recognition is not performed from the display image in (S610), metadata A series of sequences is completed without registering. On the other hand, if the metadata registration button (19) is not operated for a predetermined period in (S615), or if the metadata registration cancellation operation (not shown) is performed, the series of sequences is terminated without registering the metadata. To do.

図8に、本実施形態で表示される画像認識情報の表示例を示す。図8は撮影された画像内に顔検出候補が3つある状態を示した図である。
(801)は人物の顔領域を特定し、顔の領域に枠表示を示している。(802)は部屋の壁に人物が描かれたポスターが貼られている状態を示すが、ポスターの顔は人物の顔として検出せず、顔の領域に枠を表示していない状態を示す。(803)は椅子に人形が置かれている状態を示すが、人形の顔は人物の顔として検出せず、人形の顔の領域に枠を表示していない状態を示す。
FIG. 8 shows a display example of the image recognition information displayed in the present embodiment. FIG. 8 is a diagram showing a state where there are three face detection candidates in the photographed image.
(801) specifies a face area of a person and shows a frame display in the face area. (802) shows a state in which a poster with a person drawn on the wall of the room is pasted, but the face of the poster is not detected as a person's face, and a frame is not displayed in the face area. (803) shows a state where the doll is placed on the chair, but the face of the doll is not detected as a human face, and a frame is not displayed in the area of the face of the doll.

上記の通り、撮影画像から検出する顔検出情報について、画像に関連づけられた顔領域の領域サイズと被写体距離情報と焦点距離情報から顔の実寸法を算出し、人物の顔を特定することでメタデータ登録の負荷を軽減する機能を提供することができる。   As described above, the face detection information detected from the captured image is calculated by calculating the actual size of the face from the area size of the face area associated with the image, subject distance information, and focal length information, and specifying the face of the person. A function for reducing the load of data registration can be provided.

上述した一実施例の形態では撮影画像から検出された人物と文字列情報を表示画面上に枠等の表示を行うことで示したが、この一実施形態の動作に限定されない。例えば、撮影画像から検出するものは人物や文字列情報以外のものでもよい。また、撮影画像から検出された情報をリスト等で表示を行い、選択操作を行う構成としてもよい。また、メタデータ登録候補として選択する方法は、画像から検出された人物や文字列情報から不必要な情報を選択し除外する方法を示したが、必要な情報のみ選択する構成でもよい。また、メタデータ登録候補として選択する選択操作に関しても、ボタン操作を用いて指定する例を示したが、タッチパネルを用いた操作で指定する構成としてもよい。   In the embodiment described above, the person and the character string information detected from the captured image are displayed by displaying a frame or the like on the display screen. However, the operation is not limited to this embodiment. For example, what is detected from the photographed image may be other than person or character string information. Moreover, it is good also as a structure which displays the information detected from the picked-up image by a list etc., and performs selection operation. In addition, as a method for selecting as metadata registration candidates, a method for selecting and excluding unnecessary information from a person or character string information detected from an image has been described. However, only necessary information may be selected. Also, regarding the selection operation to be selected as the metadata registration candidate, an example in which the selection operation is specified using the button operation has been shown, but the configuration may be such that it is specified by an operation using the touch panel.

また、撮影画像から検出された人物と文字列情報について表示画面上に枠等の表示を行い、検出された領域の合計個数に所定の閾値を設けた。所定の閾値以上の領域数を検出した場合のみメタデータ登録候補の選択操作に移行し、閾値以下であれば撮影画像から検出された全ての人物と文字列情報を自動的にメタデータに登録することで、メタデータ登録の負荷を軽減する機能を提供することができる。また、撮影画像から顔や文字を検出する検出領域サイズに閾値をもたせることで、メタデータ登録候補として検出する情報を絞り込み、且つメタデータの選択登録を行うことでメタデータ登録の負荷を軽減する機能を提供することができる。   In addition, a frame or the like is displayed on the display screen for the person and character string information detected from the captured image, and a predetermined threshold is set for the total number of detected areas. Only when the number of areas equal to or greater than a predetermined threshold is detected, the process proceeds to a metadata registration candidate selection operation. When the number of areas is equal to or less than the threshold, all persons and character string information detected from the captured image are automatically registered in the metadata. Thus, it is possible to provide a function for reducing the load of metadata registration. Also, by setting a threshold for the detection area size for detecting faces and characters from captured images, the information to be detected as metadata registration candidates is narrowed down, and metadata registration load is reduced by selecting and registering metadata. Function can be provided.

また、撮影画像から検出する顔検出情報について、画像に関連づけられた顔領域の領域サイズと被写体距離情報と焦点距離情報から顔の実寸法を算出し、人物の顔を特定することでメタデータ登録の負荷を軽減する機能を提供することができる。   In addition, for face detection information detected from a captured image, metadata registration is performed by calculating the actual size of the face from the area size of the face area associated with the image, subject distance information, and focal length information, and specifying the person's face It is possible to provide a function for reducing the load on the device.

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

10 光学レンズ、11 イメージセンサ、12 撮像制御回路、13 文字認識回路、
14 顔認識回路、15 レリーズ操作ボタン、16 MENU操作ボタン、
17 方向キー操作ボタン、18 選択操作ボタン、19 メタデータ登録ボタン、
20 システム制御回路、21 メモリ制御回路、22 画像処理回路、23 記録用メモリ、
24 表示部、25 揮発性メモリ、26 不揮発性メモリ
10 optical lens, 11 image sensor, 12 imaging control circuit, 13 character recognition circuit,
14 face recognition circuit, 15 release operation buttons, 16 MENU operation buttons,
17 direction key operation buttons, 18 selection operation buttons, 19 metadata registration buttons,
20 System control circuit, 21 Memory control circuit, 22 Image processing circuit, 23 Recording memory,
24 display, 25 volatile memory, 26 non-volatile memory

Claims (5)

撮像光学系により結像された画像を撮影する撮影手段(11)と、
前記画像から画像情報を検出する画像認識手段(20)と、
前記画像認識手段(20)より得られた画像情報を画像認識領域情報として表示する画像認識領域表示手段(24)と、
前記画像認識領域情報をメタデータの登録候補として選択するメタデータ選択手段(17)(18)と、
前記メタデータ選択手段で選択されたメタデータを前記撮影画像に対応づけて登録するメタデータ登録手段(19)と、
を有することを特徴とする撮像装置。
Photographing means (11) for photographing an image formed by the imaging optical system;
Image recognition means (20) for detecting image information from the image;
Image recognition area display means (24) for displaying the image information obtained from the image recognition means (20) as image recognition area information;
Metadata selection means (17) (18) for selecting the image recognition area information as metadata registration candidates;
Metadata registration means (19) for registering the metadata selected by the metadata selection means in association with the captured image;
An imaging device comprising:
前記画像認識手段(20)は前記画像から人物の顔を認識して顔の領域情報を検出する顔認識手段(14)と、
前記撮影画像から文字部分を認識して、文字列情報を取得する文字認識手段(13)を有し、
前記画像認識領域表示手段(24)は前記顔認識手段(14)と文字認識手段(13)より得られた顔の領域情報と文字列情報を画像認識領域情報として表示することを特徴とする請求項1に記載の撮像装置。
The image recognition means (20) is a face recognition means (14) for recognizing a human face from the image and detecting face area information;
Recognizing a character part from the photographed image, and having character recognition means (13) for acquiring character string information,
The image recognition area display means (24) displays face area information and character string information obtained by the face recognition means (14) and character recognition means (13) as image recognition area information. Item 2. The imaging device according to Item 1.
前記画像認識領域表示手段(24)で表示される画像認識領域情報の個数を算出し、画像認識領域情報が所定の個数以上の場合は通知表示を行う通知手段(24)を備え、
前記通知手段(24)により通知表示が発生した場合は、前記メタデータ選択手段(17)(18)へ移行し、通知表示が発生しない場合は、メタデータ登録手段(19)へ自動的に移行することを特徴とする請求項1に記載の撮像装置。
The number of image recognition area information displayed by the image recognition area display means (24) is calculated, and when the image recognition area information is a predetermined number or more, a notification means (24) for displaying a notification is provided.
If a notification display is generated by the notification means (24), the process proceeds to the metadata selection means (17) (18). If a notification display does not occur, the process automatically proceeds to the metadata registration means (19). The imaging apparatus according to claim 1, wherein:
前記画像認識領域表示手段(24)は画像認識領域情報の領域サイズを判別する画像認識領域サイズ判別手段(20)を備え、
前記画像認識領域表示手段(24)は前記御画像認識領域サイズ判別手段(20)を用いて、画像認識領域情報が所定の領域サイズ以下の場合は画像認識領域情報として表示しないことを特徴とする請求項1に記載の撮像装置。
The image recognition area display means (24) includes image recognition area size determination means (20) for determining the area size of the image recognition area information,
The image recognition area display means (24) uses the image recognition area size determination means (20), and does not display the image recognition area information as image recognition area information when the image recognition area information is a predetermined area size or less. The imaging device according to claim 1.
撮像光学系レンズから焦点距離情報取得する焦点距離情報取得手段(20)と、
被写体距離情報を取得する被写体距離情報取得手段(11)を備え、
前記顔認識手段(14)は、前記焦点距離情報と前記被写体距離情報を用いて人物の顔の領域情報を検出することを特徴とする請求項1に記載の撮像装置。
Focal length information acquisition means (20) for acquiring focal length information from the imaging optical system lens;
Subject distance information acquisition means (11) for acquiring subject distance information is provided,
The imaging apparatus according to claim 1, wherein the face recognition means (14) detects area information of a person's face using the focal length information and the subject distance information.
JP2015208463A 2015-10-23 2015-10-23 Registration control of meta-data Pending JP2017085204A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015208463A JP2017085204A (en) 2015-10-23 2015-10-23 Registration control of meta-data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015208463A JP2017085204A (en) 2015-10-23 2015-10-23 Registration control of meta-data

Publications (1)

Publication Number Publication Date
JP2017085204A true JP2017085204A (en) 2017-05-18

Family

ID=58712083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015208463A Pending JP2017085204A (en) 2015-10-23 2015-10-23 Registration control of meta-data

Country Status (1)

Country Link
JP (1) JP2017085204A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019041942A (en) * 2017-08-31 2019-03-22 株式会社ソフイア Game machine
JP2019041944A (en) * 2017-08-31 2019-03-22 株式会社ソフイア Game machine
JP2019041943A (en) * 2017-08-31 2019-03-22 株式会社ソフイア Game machine
JP2019041938A (en) * 2017-08-31 2019-03-22 株式会社ソフイア Game machine
JP7360775B2 (en) 2020-11-16 2023-10-13 Kddi株式会社 Smart glasses, program and display control method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019041942A (en) * 2017-08-31 2019-03-22 株式会社ソフイア Game machine
JP2019041944A (en) * 2017-08-31 2019-03-22 株式会社ソフイア Game machine
JP2019041943A (en) * 2017-08-31 2019-03-22 株式会社ソフイア Game machine
JP2019041938A (en) * 2017-08-31 2019-03-22 株式会社ソフイア Game machine
JP7360775B2 (en) 2020-11-16 2023-10-13 Kddi株式会社 Smart glasses, program and display control method

Similar Documents

Publication Publication Date Title
JP5206095B2 (en) Composition determination apparatus, composition determination method, and program
CN101996044B (en) Method and apparatus for controlling zoom using a touch screen
JP4702418B2 (en) Imaging apparatus, image region existence determination method and program
JP2017085204A (en) Registration control of meta-data
CN101998056B (en) Imaging apparatus having autofocus function, and control method for the imaging apparatus
CN104243800B (en) Control device and storage medium
CN105027553B (en) Image processing apparatus, image processing method and the storage medium for storing image processing program
KR20150061277A (en) image photographing apparatus and photographing method thereof
CN103024265A (en) Imaging device and imaging method for imaging device
JP2008276214A (en) Digital camera
JP5540762B2 (en) Imaging device, image display device, and image display program
KR20100075167A (en) Apparatus and method for capturing digital image using face recognition function
KR102121529B1 (en) Method for proccessing digital image and apparatus of the same
JP2010117948A5 (en)
KR20110102694A (en) Digital photographing apparatus, mdthod for controlling the same and recording medium
US20160316134A1 (en) Image pickup apparatus for taking static image, control method therefor, and storage medium storing control program therefor
JP2016081428A (en) Information terminal, information processing device, and program
JP2018007082A (en) Image reproduction device, control method therefor, and program
JP2018029270A (en) Image processing apparatus, control method thereof, imaging apparatus, and program
JP2019153874A (en) Information recording device, image recording device, operation auxiliary device, operation auxiliary system, information recording method, image recording method, and operation auxiliary method
JP2010200084A (en) Imaging apparatus
JP6631166B2 (en) Imaging device, program, and imaging method
JP5383207B2 (en) Information processing apparatus, control method, computer program, and storage medium
JP2011035769A (en) Photographing apparatus
JP2014204249A (en) Imaging apparatus