JP2007140897A - Image search device and method, and program - Google Patents

Image search device and method, and program Download PDF

Info

Publication number
JP2007140897A
JP2007140897A JP2005333616A JP2005333616A JP2007140897A JP 2007140897 A JP2007140897 A JP 2007140897A JP 2005333616 A JP2005333616 A JP 2005333616A JP 2005333616 A JP2005333616 A JP 2005333616A JP 2007140897 A JP2007140897 A JP 2007140897A
Authority
JP
Japan
Prior art keywords
person
images
image
search
persons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005333616A
Other languages
Japanese (ja)
Inventor
Yoshiko Shiimori
佳子 椎森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005333616A priority Critical patent/JP2007140897A/en
Publication of JP2007140897A publication Critical patent/JP2007140897A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To enable the selection of, for example, images to be printed out from a plurality of images while dispensing with complicated operations. <P>SOLUTION: A face detection part 32 detects face areas from a plurality of images read out from a memory card 2. A person identification part 34 identifies persons included in the plurality of images according to the detected face areas. A search part 36 searches the plurality of images for images including the person out of the identified persons who is included most frequently in the plurality of images. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、複数の画像からプリント等に利用する画像を検索する画像検索装置および方法並びに画像検索方法をコンピュータに実行させるためのプログラムに関するものである。   The present invention relates to an image search apparatus and method for searching for an image to be used for printing or the like from a plurality of images, and a program for causing a computer to execute the image search method.

デジタルカメラ等を用いて撮影を行うことにより取得した画像やネガフィルムから読み取ることにより取得した画像を、ホームプリンタや写真店のプリンタにおいてプリント出力することが行われている。また、より簡単に画像をプリント出力するための各種手法が提案されている。例えば、特許文献1には、ネガフィルム等の原稿から読み取った画像をプリントする際に、画像のサイズに応じてプリントする用紙のサイズを選択してプリント出力する手法が記載されている。   An image acquired by photographing using a digital camera or the like or an image acquired by reading from a negative film is printed out by a home printer or a printer of a photo shop. Various methods for printing out images more easily have been proposed. For example, Patent Document 1 describes a method of selecting and outputting a paper size to be printed according to the size of an image when printing an image read from a document such as a negative film.

ところで、画像をプリント出力する際には、取得した複数の画像をすべてプリントすることもあるが、多くの場合、複数の画像からユーザがプリントを所望する画像を選択し、選択した画像のみをプリント出力している。この場合、ビューアソフト等を用いて複数の画像の一覧を表示し、表示した一覧を見ながらプリントを所望する画像を選択するようにしている。
特開平5−292262号公報
By the way, when printing out an image, all of a plurality of acquired images may be printed. In many cases, a user selects an image desired to be printed from a plurality of images, and only the selected image is printed. Output. In this case, a list of a plurality of images is displayed using viewer software or the like, and an image desired to be printed is selected while viewing the displayed list.
JP-A-5-292262

しかしながら、複数の画像から所望とする画像を選択する作業は非常に煩雑である。とくに一覧には画像を縮小したサムネイル画像が表示されるため、画像に含まれる人物を確認することが難しいことから、人物を確認するためには一つ一つ画像を拡大して確認する必要があり、画像を選択する作業をより繁雑なものとしている。   However, the operation of selecting a desired image from a plurality of images is very complicated. In particular, thumbnail images with reduced images are displayed in the list, so it is difficult to check the person included in the image. To check the person, it is necessary to enlarge each image and check it. Yes, making the work of selecting images more complicated.

本発明は上記事情に鑑みなされたものであり、例えばプリント出力等に利用する画像を、繁雑な作業を行うことなく複数の画像から選択できるようにすることを目的とする。   The present invention has been made in view of the above circumstances, and an object of the present invention is to make it possible to select, for example, an image used for print output from a plurality of images without performing complicated operations.

本発明による第1の画像検索装置は、複数の画像のそれぞれから顔領域を検出する顔検出手段と、
前記検出した顔領域に基づいて、前記複数の画像に含まれる人物を特定する人物特定手段と、
前記特定された人物のうち、前記複数の画像に最も多く含まれる人物を含む画像を前記複数の画像から検索する検索手段とを備えたことを特徴とするものである。
A first image search apparatus according to the present invention includes a face detection unit that detects a face region from each of a plurality of images,
A person specifying means for specifying a person included in the plurality of images based on the detected face area;
Search means for searching the plurality of images for an image including the person most frequently included in the plurality of images among the specified persons is provided.

なお、本発明による第1の画像検索装置においては、前記検索手段を、前記複数の画像から人物を含まない画像をさらに検索する手段としてもよい。   In the first image search apparatus according to the present invention, the search means may be means for further searching for an image not including a person from the plurality of images.

本発明による第2の画像検索装置は、複数の画像に含まれる人物のうち、検索する少なくとも一人の人物の指定を受け付ける指定手段と、
前記複数の画像のそれぞれから顔領域を検出する顔検出手段と、
前記検出した顔領域に基づいて、前記指定された少なくとも一人の人物を含む画像を前記複数の画像から検索する検索手段とを備えたことを特徴とするものである。
A second image search device according to the present invention includes a specifying unit that receives a specification of at least one person to be searched among persons included in a plurality of images.
Face detecting means for detecting a face area from each of the plurality of images;
The image processing apparatus includes a search unit that searches the plurality of images for an image including the specified at least one person based on the detected face area.

「指定された少なくとも一人の人物を含む画像」とは、指定された人物が一人の場合はその人物を含む画像である。また、指定された人物が複数の場合は、指定された個々の人物を含む画像、指定された個々の人物のみを含む画像、および指定されたすべての人物を含む画像のいずれであってもよい。   The “image including at least one designated person” is an image including that person when the designated person is one person. In addition, when there are a plurality of designated persons, any of an image including the specified individual person, an image including only the specified individual person, and an image including all the specified persons may be used. .

なお、本発明による第2の画像検索装置においては、前記検索手段を、前記指定された人物が一人の場合において、該指定された人物と表情が一致する画像を前記複数の画像から検索する手段としてもよい。   In the second image retrieval apparatus according to the present invention, the retrieval means retrieves, from the plurality of images, an image whose facial expression matches that of the designated person when the designated person is one person. It is good.

また、本発明による第2の画像検索装置においては、前記検索手段を、前記複数の画像から人物を含まない画像をさらに検索する手段としてもよい。   In the second image search apparatus according to the present invention, the search means may be means for further searching for an image not including a person from the plurality of images.

本発明による第1の画像検索方法は、複数の画像のそれぞれから顔領域を検出し、
前記検出した顔領域に基づいて、前記複数の画像に含まれる人物を特定し、
前記特定された人物のうち、前記複数の画像に最も多く含まれる人物を含む画像を前記複数の画像から検索することを特徴とするものである。
A first image search method according to the present invention detects a face region from each of a plurality of images,
Based on the detected face area, the person included in the plurality of images is identified,
Among the identified persons, an image including the person most frequently included in the plurality of images is searched from the plurality of images.

本発明による第2の画像検索方法は、複数の画像に含まれる人物のうち、検索する少なくとも一人の人物の指定を受け付け、
前記複数の画像のそれぞれから顔領域を検出し、
前記検出した顔領域に基づいて、前記指定された少なくとも一人の人物を含む画像を前記複数の画像から検索することを特徴とするものである。
The second image search method according to the present invention accepts designation of at least one person to be searched among persons included in a plurality of images,
Detecting a face region from each of the plurality of images;
Based on the detected face area, an image including the designated at least one person is searched from the plurality of images.

なお、本発明による第1および第2の画像検索方法をコンピュータに実行させるためのプログラムとして提供してもよい。   In addition, you may provide as a program for making a computer perform the 1st and 2nd image search method by this invention.

ユーザが複数の画像からプリント等に利用する画像を選択する場合には、ユーザが含まれる画像を選択することが多く、また、ユーザが所有している画像にはそのユーザが最も多く含まれているものである。   When a user selects an image to be used for printing or the like from a plurality of images, the user often selects an image included in the user, and the image owned by the user includes the most users. It is what.

本発明の第1の画像検索装置および方法によれば、複数の画像のそれぞれから顔領域を検出し、検出した顔領域に基づいて、複数の画像に含まれる人物を特定し、特定した人物のうち複数の画像に最も多く含まれる人物を含む画像を複数の画像から検索するようにしたため、ユーザは画像を選択する作業を行わなくても、プリント等に利用する画像を複数の画像から選び出すことができる。   According to the first image search device and method of the present invention, a face area is detected from each of a plurality of images, a person included in the plurality of images is identified based on the detected face area, and the identified person's Among them, the image including the person most frequently included in the plurality of images is searched from the plurality of images, so that the user can select an image to be used for printing or the like from the plurality of images without performing the operation of selecting the image. Can do.

一方、ユーザが複数の画像からプリント等に利用する画像を選択する場合において、例えば友人にプリントを渡したい場合には、その友人が含まれる画像をプリントする必要が生じる。   On the other hand, when the user selects an image to be used for printing or the like from a plurality of images, for example, when the user wants to give a print to a friend, it is necessary to print an image including the friend.

本発明の第2の画像検索装置および方法によれば、複数の画像に含まれる人物のうち、検索する少なくとも一人の人物の指定を受け付け、複数の画像のそれぞれから顔領域を検出し、検出した顔領域に基づいて、指定された少なくとも一人の人物を含む画像を複数の画像から検索するようにしたため、とくに、友人に友人が写っている画像をプリントして渡したい場合に、ユーザは画像を選択する作業を行わなくても、プリント等に利用する画像を複数の画像から選び出すことができる。   According to the second image search apparatus and method of the present invention, the designation of at least one person to be searched among the persons included in the plurality of images is accepted, the face area is detected from each of the plurality of images, and the detection is performed. Since the image including at least one specified person is searched from a plurality of images based on the face area, the user can display the image especially when he / she wants to print and pass an image showing a friend to a friend. An image used for printing or the like can be selected from a plurality of images without performing a selection operation.

また、指定された人物が一人の場合において、指定された人物を表情が一致する画像を複数の画像から検索することにより、ユーザが所望とする表情を有する人物の画像を、複数の画像から選び出すことができる。   Further, when the designated person is one person, the image of the person having the desired facial expression is selected from the plurality of images by searching the plurality of images for images that match the expression of the designated person. be able to.

また、複数の画像からプリント等に利用する画像を選択する場合には、人物が含まれない風景等の画像が選択されることも多い。このため、複数の画像から人物を含まない画像をさらに検索することにより、繁雑な作業を行うことなく、人物を含まない風景等の画像をも複数の画像から選び出すことができる。   In addition, when selecting an image to be used for printing or the like from a plurality of images, an image such as a landscape that does not include a person is often selected. Therefore, by further searching for an image that does not include a person from a plurality of images, an image such as a landscape that does not include a person can be selected from the plurality of images without performing complicated operations.

以下、図面を参照して本発明の実施形態について説明する。図1は本発明の実施形態による画像選択装置を適用した画像のプリント注文受付装置の外観斜視図である。図1に示すように、本実施形態によるプリント注文受付装置1は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されてなるものであり、プリント注文するための画像が記録された各種メモリカード2を装填し、メモリカード2から画像を読み出したり、メモリカード2に画像を記録したりするための複数種類のカードスロット4と、プリント注文のための各種表示を行う表示部6とを備え、写真店に設置されたプリンタ8と接続されている。なお、表示部6はタッチパネル式の入力部を備え、ユーザはモニタ6の表示にしたがって表示部6にタッチすることにより、プリント注文に必要な入力を行うことができる。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is an external perspective view of an image print order receiving apparatus to which an image selection apparatus according to an embodiment of the present invention is applied. As shown in FIG. 1, a print order receiving apparatus 1 according to the present embodiment is installed at a photo shop in order to receive an image print order by a user, and an image for ordering a print is recorded. Various memory cards 2 are loaded, a plurality of card slots 4 for reading out images from the memory card 2 and recording images on the memory card 2, and a display unit 6 for performing various displays for ordering prints. And is connected to a printer 8 installed in the photo shop. The display unit 6 includes a touch panel type input unit, and the user can input necessary for the print order by touching the display unit 6 according to the display on the monitor 6.

図2は本発明の第1の実施形態によるプリント注文受付装置の構成を示す概略ブロック図である。図2に示すように、プリント注文受付装置1は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置1を構成する各部の制御を行うCPU12と、装置1を動作させるための基本的なプログラムおよび各種定数が記録されているROM並びにCPU12が処理を実行する際の作業領域となるRAMにより構成されるシステムメモリ14と、種々の指示を装置1に対して行うためのタッチパネル式の入力部16と、上述した表示部6とを備える。   FIG. 2 is a schematic block diagram showing the configuration of the print order receiving apparatus according to the first embodiment of the present invention. As shown in FIG. 2, the print order receiving apparatus 1 performs various controls such as recording control and display control of image data representing an image, and operates the apparatus 1 and a CPU 12 that controls each part of the apparatus 1. A system memory 14 composed of a ROM in which a basic program and various constants for recording are recorded, and a RAM serving as a work area when the CPU 12 executes processing, and various instructions to the device 1 Touch panel type input unit 16 and the display unit 6 described above.

また、プリント注文受付装置1は、上述したカードスロット4と、画像データをJPEGに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部22と、メモリカード2から読み出した画像データ、画像のプリント注文を行うためのプリント注文プログラム等のCPU12が実行する各種プログラム等を記録するハードディスク24と、システムメモリ14、カードスロット4およびハードディスク24を制御するメモリ制御部26と、表示部6の表示を制御する表示制御部28と、プリンタ8を装置1に接続するためのプリンタインターフェース30とを備える。   The print order receiving apparatus 1 also includes the card slot 4 described above, a compression / decompression unit 22 that compresses image data by a technique typified by JPEG, and decompresses the compressed image data, and an image read from the memory card 2. A hard disk 24 that records various programs executed by the CPU 12 such as a print ordering program for ordering data and images, a memory control unit 26 that controls the system memory 14, the card slot 4, and the hard disk 24, and a display unit 6, and a printer interface 30 for connecting the printer 8 to the apparatus 1.

なお、カードスロット4はメモリカード2の種類に応じて複数用意されているが、図2においては1つのカードスロット4のみを示している。   Although a plurality of card slots 4 are prepared according to the type of the memory card 2, only one card slot 4 is shown in FIG.

また、プリント注文受付装置1は、後述するようにメモリカード2に記録された複数の画像のそれぞれからすべての顔領域を検出する顔検出部32と、検出した顔領域に基づいて、複数の画像に最も多く含まれる人物を特定する人物特定部34と、特定された人物を含む画像を複数の画像から検索する検索部36とを備える。   The print order receiving apparatus 1 also detects a face detection unit 32 that detects all face areas from each of a plurality of images recorded on the memory card 2 and a plurality of images based on the detected face areas, as will be described later. Are provided with a person specifying unit 34 for specifying the person most frequently included, and a search unit 36 for searching for an image including the specified person from a plurality of images.

以下、顔検出部32、人物特定部34および検索部36の機能について、本実施形態において行われる処理と併せて説明する。   Hereinafter, functions of the face detection unit 32, the person identification unit 34, and the search unit 36 will be described together with processing performed in this embodiment.

図3は第1の実施形態において行われる画像の読み込み時に行われる処理を示すフローチャートである。ユーザがメモリカード2をカードスロット4に装填し、画像読み込みの指示を入力部16から行うことによりCPU12が処理を開始し、メモリカード2に記録された複数の画像を読み込む(ステップST1)。次いで、顔検出部32が複数の画像のそれぞれから人物の顔領域をすべて検出する(ステップST2)。具体的には、例えば画像における肌色を有しかつ顔の輪郭形状をなす領域を顔領域として検出する。なお、顔領域が含まれていない背景や静物等の画像については、顔領域は検出されない。   FIG. 3 is a flowchart showing processing performed at the time of image reading performed in the first embodiment. When the user loads the memory card 2 into the card slot 4 and issues an image reading instruction from the input unit 16, the CPU 12 starts processing, and reads a plurality of images recorded on the memory card 2 (step ST1). Next, the face detection unit 32 detects all face areas of the person from each of the plurality of images (step ST2). Specifically, for example, an area having a flesh color in an image and forming a face outline shape is detected as a face area. Note that a face area is not detected for an image such as a background or a still life that does not include a face area.

次いで、人物特定部34が画像のファイル名順に、顔領域が検出された画像について、顔領域の人物を特定する(ステップST3)。人物を特定する手法としては、例えば、顔領域から輪郭形状、目、口および鼻等の顔を構成する顔パーツの位置、肌の色等の顔の特徴を表す複数の特徴量を求め、まずファイル名が最初の画像に含まれている人物と求めた特徴量とを対応づけるとともに、含まれている人物の数に応じて、画像に含まれている人物に識別番号を付与する。   Next, the person specifying unit 34 specifies the person in the face area for the image in which the face area is detected in the order of the file names of the images (step ST3). As a method for identifying a person, for example, a plurality of feature amounts representing facial features such as contour shapes, face parts constituting the face such as eyes, mouth and nose, and skin color are obtained from the face region. The file name associates the person included in the first image with the obtained feature quantity, and assigns an identification number to the person included in the image according to the number of persons included.

具体的には、まずファイル名が最初の画像について、特徴量を求めた人物に対して識別番号を1から順に付与する。そして、2番目以降の画像については、顔領域から求めた複数の特徴量と、すでに特定した人物の複数の特徴量とをそれぞれ比較し、求めた各特徴量とすでに特定した人物の各特徴量との差があらかじめ定めた所定の範囲内にある場合に、検出した顔領域の人物を上記差が所定の範囲内となった特徴量に対応する人物と見なし、検出した顔領域の人物に、対応する特徴量を得た人物の識別番号を付与する。なお、すでに検出したすべての人物に対応する特徴量との差が所定の範囲内とならない場合には、検出した顔領域の人物に新たな識別番号を付与する。   Specifically, first, with respect to the image whose file name is the first, identification numbers are sequentially assigned from 1 to the person whose feature value has been obtained. For the second and subsequent images, the feature quantities obtained from the face area are compared with the feature quantities of the already identified person, and the obtained feature quantities and the feature quantities of the already identified person are compared. If the difference between and is within a predetermined range, the person in the detected face area is regarded as a person corresponding to the feature amount for which the difference is within the predetermined range. The identification number of the person who obtained the corresponding feature amount is assigned. In addition, when the difference with the feature-value corresponding to all the already detected persons does not become in a predetermined range, a new identification number is provided to the person of the detected face area.

なお、抽出した顔領域同士で相関値を求め、相関値が所定値以上となる顔領域同士に同一の識別番号を付与することにより人物を特定してもよい。   A person may be specified by obtaining a correlation value between extracted face areas and assigning the same identification number to face areas having a correlation value equal to or greater than a predetermined value.

人物特定部34は、すべての画像について、人物数および含まれている人物に対応する識別番号を記述した人物情報ファイルを作成し、画像と対応づけてハードディスク24に保存する(ステップST4)。なお、顔領域が検出されなかった画像は、人物情報ファイルにおいて人物数=0と記述される。   The person specifying unit 34 creates a person information file describing the number of persons and an identification number corresponding to the included person for all the images, and stores them in the hard disk 24 in association with the images (step ST4). An image in which no face area is detected is described as the number of persons = 0 in the person information file.

そして、すべての画像について人物を特定すると、人物特定部34は、識別番号と識別番号に対応する人物が含まれている画像数とを対応づけた集計ファイルを作成し、これをハードディスク24に保存し(ステップST5)、処理を終了する。   When the person is specified for all the images, the person specifying unit 34 creates an aggregation file in which the identification number is associated with the number of images including the person corresponding to the identification number, and this is stored in the hard disk 24. (Step ST5), and the process ends.

図4はメモリカード2から読み出した画像が7枚あった場合の画像、人物情報ファイルおよび集計ファイルの内容を示す図である。図4に示すように各画像はJPEG形式の画像であり、ファイル名が同一で拡張子がテキストの人物情報ファイルが対応づけられている。ここで、各画像に対応づけられた人物情報ファイルを参照することにより、例えばファイル名がDSCF0727.JPGの画像は「人物数=0」と記述されていることから人物が含まれない画像であり、ファイル名がDSCF0740.JPGの画像は「人物数=3、人物1:識別番号=1、人物2:識別番号=2、人物3:識別番号=3」と記述されていることから、人物が3人含まれており、そのそれぞれの識別番号が1,2,3であることが分かる。また、ファイル名がinfo.txtの集計ファイルを参照することにより、処理の対象となった7枚の画像に含まれる人物数は3であり、識別番号が1の人物は1枚の画像に、識別番号が2の人物は4枚の画像に、そして識別番号が3の人物は3枚の画像に含まれていることが分かる。   FIG. 4 is a diagram showing the contents of an image, a person information file, and a total file when there are seven images read from the memory card 2. As shown in FIG. 4, each image is an image in JPEG format, and is associated with a person information file having the same file name and a text extension. Here, by referring to the person information file associated with each image, for example, the file name is DSCF0727. Since the JPG image is described as “number of persons = 0”, no person is included, and the file name is DSCF0740. Since the JPG image is described as “number of persons = 3, person 1: identification number = 1, person 2: identification number = 2, person 3: identification number = 3”, three persons are included. It can be seen that the respective identification numbers are 1, 2, and 3. In addition, by referring to the summary file whose file name is info.txt, the number of persons included in the seven images to be processed is 3, and the person whose identification number is 1 is included in one image. It can be seen that the person with the identification number 2 is included in the four images, and the person with the identification number 3 is included in the three images.

次いで、第1の実施形態におけるプリント時に行われる処理について説明する。図5は第1の実施形態においてプリント時に行われる処理を示すフローチャートである。ユーザがプリント実行の指示を入力部16から行うことによりCPU12が処理を開始し、まず検索部36が処理対象をファイル名が最初の画像に設定し(ステップST11)、集計ファイルおよび処理対象の画像の人物情報ファイルを参照して、処理対象の画像が人物を含むか否かを判定する(ステップST12)。この場合、処理対象の画像に付与された人物情報ファイルに「人物数=0」と記述されている場合にはステップST12は否定され、人物数に0以外の数値が記述されている場合にはステップST12が肯定される。ステップST12が否定されると処理対象の画像を複数の画像から選択する(ステップST13)。   Next, processing performed at the time of printing in the first embodiment will be described. FIG. 5 is a flowchart showing processing performed at the time of printing in the first embodiment. When the user issues a print execution instruction from the input unit 16, the CPU 12 starts processing. First, the search unit 36 sets the processing target to the first image with the file name (step ST11), and the total file and processing target image. Referring to the person information file, it is determined whether or not the image to be processed includes a person (step ST12). In this case, if “number of persons = 0” is described in the person information file attached to the image to be processed, step ST12 is negative, and if a number other than 0 is described in the number of persons. Step ST12 is affirmed. If step ST12 is negative, a processing target image is selected from a plurality of images (step ST13).

ステップST12が肯定されると、検索部36は、集計ファイルの記述と、処理対象の画像に付与された人物情報ファイルの記述とを比較することにより、処理対象の画像が人物特定部34が特定した人物のうちメモリカード2から読み出した複数の画像に最も多く写っている人物を含むか否かを判定する(ステップST14)。ステップST14が肯定されると、ステップST13に進み、処理対象の画像を複数の画像から選択する。   When step ST12 is affirmed, the search unit 36 compares the description of the summary file with the description of the person information file given to the processing target image, so that the person specifying unit 34 specifies the processing target image. It is determined whether or not the included person includes the person most frequently captured in a plurality of images read from the memory card 2 (step ST14). If step ST14 is affirmed, the process proceeds to step ST13, and an image to be processed is selected from a plurality of images.

ステップST13に続いて、およびステップST14が否定されると、すべての画像の処理を終了したか否かを判定し(ステップST15)、ステップST15が否定されると、処理対象の画像を次の画像に設定し(ステップST16)、ステップST12に戻り、ステップST12以降の処理を繰り返す。ステップST15が肯定されると、選択した画像をプリンタ8からプリント出力し(ステップST17)、処理を終了する。   Subsequent to step ST13 and when step ST14 is negative, it is determined whether or not the processing of all images has been completed (step ST15). When step ST15 is negative, the image to be processed is set to the next image. (Step ST16), the process returns to step ST12, and the processes after step ST12 are repeated. If step ST15 is affirmed, the selected image is printed out from the printer 8 (step ST17), and the process ends.

これにより、人物を含まない画像および最も多く写っている人物を含む画像のみが検索されて、プリント出力されることとなる。具体的には、図4に示すように複数の画像に最も多く含まれる人物は識別番号=2の人物であるから、識別番号=2の人物が写っているファイル名がDSCF0740.JPG、DSCF0741.JPG、DSCF07443.JPG、DSCF0747.JPGの画像、および人物を含まないファイル名がDSCF0727.JPG、DSCF0728.JPGの画像が複数の画像から検索され、プリント出力される。   As a result, only an image that does not include a person and an image that includes a person who is captured most frequently are retrieved and printed out. Specifically, as shown in FIG. 4, since the person most frequently included in the plurality of images is the person with the identification number = 2, the file name in which the person with the identification number = 2 is shown is DSCF0740. JPG, DSCF0741. JPG, DSCF07443. JPG, DSCF0747. JPG images and file names that do not contain people are DSCF0727. JPG, DSCF0728. A JPG image is retrieved from a plurality of images and printed out.

このように、第1の実施形態によれば、複数の画像のそれぞれから顔領域を検出し、検出した顔領域に基づいて複数の画像に含まれる人物を特定し、特定した人物のうち複数の画像に最も多く写っている人物を含む画像を複数の画像から検索するようにしたため、ユーザは画像を選択する作業を行わなくても、プリント等に利用する画像を複数の画像から選び出すことができる。   As described above, according to the first embodiment, a face area is detected from each of a plurality of images, a person included in the plurality of images is identified based on the detected face area, and a plurality of the identified persons are identified. Since the image including the person most frequently shown in the image is searched from a plurality of images, the user can select an image to be used for printing or the like from the plurality of images without performing an operation of selecting the image. .

また、複数の画像からプリント等に利用する画像を選択する場合には、人物が含まれない風景等の画像が選択されることも多い。このため、複数の画像から人物を含まない画像をさらに検索することにより、繁雑な作業を行うことなく、人物を含まない風景等の画像も複数の画像から選び出すことができる。   In addition, when selecting an image to be used for printing or the like from a plurality of images, an image such as a landscape that does not include a person is often selected. For this reason, by further searching for an image that does not include a person from a plurality of images, it is possible to select an image such as a landscape that does not include a person from the plurality of images without performing complicated operations.

次いで、本発明の第2の実施形態について説明する。図6は本発明の第2の実施形態によるプリント注文受付装置の構成を示す概略ブロック図である。なお、第2の実施形態において第1の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第2の実施形態によるプリント注文受付装置1Aは、第1の実施形態における人物特定部34および検索部36とは異なる処理を行う人物特定部34Aおよび検索部36Aを備えてなる。   Next, a second embodiment of the present invention will be described. FIG. 6 is a schematic block diagram showing the configuration of the print order receiving apparatus according to the second embodiment of the present invention. In the second embodiment, the same components as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted here. The print order receiving apparatus 1A according to the second embodiment includes a person specifying unit 34A and a searching unit 36A that perform processing different from the person specifying unit 34 and the searching unit 36 in the first embodiment.

次いで、第2の実施形態において行われる処理について説明する。   Next, processing performed in the second embodiment will be described.

図7は第2の実施形態において行われる画像の読み込み時に行われる処理を示すフローチャートである。ユーザがメモリカード2をカードスロット4に装填し、画像読み込みの指示を入力部16から行うことによりCPU12が処理を開始し、メモリカード2に記録された複数の画像を読み込む(ステップST21)。次いで、顔検出部32が複数の画像のそれぞれから人物の顔領域を検出する(ステップST22)。   FIG. 7 is a flowchart showing processing performed at the time of image reading performed in the second embodiment. When the user loads the memory card 2 into the card slot 4 and issues an image reading instruction from the input unit 16, the CPU 12 starts processing, and reads a plurality of images recorded on the memory card 2 (step ST21). Next, the face detection unit 32 detects a human face area from each of the plurality of images (step ST22).

次いで、人物特定部34Aが画像のファイル名順に、顔領域が含まれている画像について、上記第1の実施形態と同様に人物を特定する(ステップST23)。   Next, the person specifying unit 34A specifies a person in the order of the file names of the images in the same manner as in the first embodiment with respect to the image including the face area (step ST23).

そして、人物特定部34は、人物を特定した画像について、人物数および人物が含まれている場合の識別番号を記述した人物情報ファイルを作成し、画像と対応づけてハードディスク24に保存し(ステップST24)、処理を終了する。なお、人物情報ファイルは上記第1の実施形態と同一のものとなる。   Then, the person specifying unit 34 creates a person information file describing the number of persons and an identification number when the person is included for the image specifying the person, and stores it in the hard disk 24 in association with the image (step ST24), the process ends. The person information file is the same as that in the first embodiment.

次いで、第2の実施形態における検索する人物を指定する処理について説明する。図8は第2の実施形態における人物指定処理のフローチャートである。ユーザが人物指定の指示を入力部16から行うことによりCPU12が処理を開始し、ユーザに人物の指定を行わせるための人物指定画面を表示部18に表示する(ステップST31)。   Next, processing for designating a person to be searched in the second embodiment will be described. FIG. 8 is a flowchart of person designation processing in the second embodiment. When the user issues a person designation instruction from the input unit 16, the CPU 12 starts processing, and a person designation screen for allowing the user to designate a person is displayed on the display unit 18 (step ST31).

図9は第2の実施形態における人物指定画面を示す図である。図9に示すように人物指定画面40は、人物を指定するための画像を表示する画像エリア40Aと、指定された人物を検索の対象に設定するための設定ボタン40Bと、複数の人物を指定した場合に、指定した人物全員を含む画像を検索の対象に設定するためのandボタン40Cと、複数の人物を指定した場合に、指定した人物のみを含む画像を検索の対象に設定するためのorボタン40Dとが表示されている。   FIG. 9 is a diagram showing a person designation screen in the second embodiment. As shown in FIG. 9, the person designation screen 40 includes an image area 40A for displaying an image for designating a person, a setting button 40B for setting the designated person as a search target, and designating a plurality of persons. And an AND button 40C for setting an image including all the specified persons as a search target, and when a plurality of persons are specified, an image including only the specified person is set as a search target. or button 40D is displayed.

ここで、画像エリア40Aに表示される画像は、メモリカード2から読み出した複数の画像に含まれるすべての人物が含まれる最小限の画像となる。例えば、上記第1と実施形態と同様の画像がメモリカード2に記録されていた場合、複数の画像には合計3人の人物が含まれることから、3人の人物のすべてが写っているファイル名がDSCF0740.JPGの画像が画像エリア40Aに表示される。   Here, the image displayed in the image area 40A is a minimum image including all persons included in the plurality of images read from the memory card 2. For example, when images similar to those in the first and the above-described embodiments are recorded on the memory card 2, a plurality of images include a total of three persons, and therefore a file in which all three persons are shown. The name is DSCF0740. A JPG image is displayed in the image area 40A.

ユーザは入力部16を用いて表示されている画像において所望とする人物を指定する。なお、人物の指定の方法としては矩形の領域により人物の顔を囲む等の手法を用いることができる。そして人物を指定して設定ボタン40Bを選択すると、人物特定部34Aは、選択した人物を表す識別番号を記述した指定人物ファイルを生成し、ハードディスク24に保存し(ステップST33)、処理を終了する。人物を一人のみ指定した場合の指定人物ファイルの記述内容を図10(a)に示す。図10(a)に示すように指定人物ファイルには、検索候補が1つであることを示す情報(検索候補=1)と、指定した人物の識別番号とが記述されている。   The user designates a desired person in the displayed image using the input unit 16. In addition, as a method of designating a person, a technique such as enclosing a person's face with a rectangular area can be used. When a person is specified and the setting button 40B is selected, the person specifying unit 34A generates a specified person file describing an identification number representing the selected person, stores it in the hard disk 24 (step ST33), and ends the process. . FIG. 10A shows the description content of the designated person file when only one person is designated. As shown in FIG. 10A, in the designated person file, information (search candidate = 1) indicating that there is one search candidate and the identification number of the designated person are described.

なお、この際、複数の人物を指定してもよい。そして、複数の人物を指定した場合に設定ボタン40Bを選択した後にandボタン40Cを選択すると、指定したすべての人物を含む画像を後述する検索の対象とすべく、人物特定部34Aは、選択した人物を表す識別番号をまとめて記述した指定人物ファイルを生成する。この場合の指定人物ファイルの記述内容を図10(b)に示す。図10(b)に示すように指定人物ファイルには、検索候補が1つであることを示す情報と、指定した複数の人物の識別番号とが記述されている。   At this time, a plurality of persons may be designated. When a plurality of persons are specified and the setting button 40B is selected and then the and button 40C is selected, the person specifying unit 34A selects the image including all the specified persons as a search target to be described later. A designated person file in which identification numbers representing persons are collectively described is generated. The description content of the designated person file in this case is shown in FIG. As shown in FIG. 10B, in the designated person file, information indicating that there is one search candidate and identification numbers of a plurality of designated persons are described.

また、複数の人物を指定した場合に設定ボタン40Bを選択した後にorボタン40Dを選択すると、指定した人物をのみ含む画像を人物単位で後述する検索の対象とすべく、人物特定部34Aは、選択した人物を表す識別番号を個別に記述した指定人物ファイルを生成する。この場合の指定人物ファイルの記述内容を図10(c)に示す。図10(c)に示すように指定人物ファイルには、検索候補が複数(ここでは2つ)あることを示す情報と、指定した人物の識別番号と、指定した人物のみを含む画像の検索を表す「or=1」の情報が記述されている。   When the or button 40D is selected after selecting the setting button 40B when a plurality of persons are specified, the person specifying unit 34A selects an image including only the specified person as a search target to be described later in units of persons. A designated person file in which an identification number representing the selected person is individually described is generated. The description content of the designated person file in this case is shown in FIG. As shown in FIG. 10C, the designated person file is searched for information including a plurality of search candidates (here, two), an identification number of the designated person, and an image including only the designated person. Information of “or = 1” is described.

また、複数の人物を指定した場合に設定ボタン40Bを選択すると、指定した人物を含む画像を人物単位で後述する検索の対象とすべく、人物特定部34Aは、選択した人物を表す識別番号を個別に記述した指定人物ファイルを生成する。この場合の指定人物ファイルの記述内容を図10(d)に示す。図10(d)に示すように指定人物ファイルには、検索候補が複数(ここでは2つ)あることを示す情報と、指定した人物の識別番号と、指定した人物(のみではない)を含む画像の検索を表す「or=0」の情報が記述されている。   When the setting button 40B is selected when a plurality of persons are specified, the person specifying unit 34A sets an identification number representing the selected person so that an image including the specified person is a search target to be described later in units of persons. Generate individually specified person files. The description content of the designated person file in this case is shown in FIG. As shown in FIG. 10D, the designated person file includes information indicating that there are a plurality of search candidates (here, two), the identification number of the designated person, and the designated person (not only). Information of “or = 0” representing image search is described.

次いで、第2の実施形態におけるプリント時に行われる処理について説明する。図11は第2の実施形態においてプリント時に行われる処理を示すフローチャートである。なお、ここではユーザが一人の人物のみを指定したものとして説明する。ユーザがプリント実行の指示を入力部16から行うことによりCPU12が処理を開始し、まず検索部36Aが処理対象をファイル名が最初の画像に設定し(ステップST41)、指定人物ファイルおよび処理対象の画像の人物情報ファイルを参照して、処理対象の画像が人物を含むか否かを判定する(ステップST42)。ステップST42が否定されると処理対象の画像を複数の画像から選択する(ステップST43)。   Next, processing performed at the time of printing in the second embodiment will be described. FIG. 11 is a flowchart showing processing performed at the time of printing in the second embodiment. In the following description, it is assumed that the user designates only one person. When the user issues a print execution instruction from the input unit 16, the CPU 12 starts processing. First, the search unit 36A sets the processing target as the first image (step ST41), and designates the designated person file and the processing target. With reference to the person information file of the image, it is determined whether or not the image to be processed includes a person (step ST42). If step ST42 is negative, an image to be processed is selected from a plurality of images (step ST43).

ステップST42が肯定されると、検索部36Aは、処理対象の画像がユーザが指定した人物を含むか否かを判定する(ステップST44)。ステップST44が肯定されると、ステップST43に進み、処理対象の画像を複数の画像から選択する。なお、これにより、複数の画像から人物を含まない画像およびユーザが指定した人物を含む画像が検索される。   If step ST42 is positive, the search unit 36A determines whether or not the processing target image includes a person designated by the user (step ST44). If step ST44 is affirmed, the process proceeds to step ST43, and an image to be processed is selected from a plurality of images. As a result, an image not including a person and an image including a person designated by the user are searched from a plurality of images.

ステップST43に続いて、およびステップST44が否定されると、すべての画像の処理を終了したか否かを判定し(ステップST45)、ステップST45が否定されると、処理対象の画像を次の画像に設定し(ステップST46)、ステップST42に戻り、ステップST42以降の処理を繰り返す。ステップST45が肯定されると、選択した画像をプリンタ8からプリント出力し(ステップST47)、処理を終了する。   Subsequent to step ST43 and when step ST44 is negative, it is determined whether or not the processing of all images has been completed (step ST45). When step ST45 is negative, the image to be processed is set to the next image. (Step ST46), the process returns to step ST42, and the processes after step ST42 are repeated. If step ST45 is affirmed, the selected image is printed out from the printer 8 (step ST47), and the process is terminated.

これにより、人物を含まない画像およびユーザが指定した人物を含む画像のみがプリント出力されることとなる。具体的には、ユーザが指定した人物が識別番号=2の人物であるとすると、識別番号=2の人物が写っているファイル名がDSCF0740.JPG、DSCF0741.JPG、DSCF0744.JPG、DSCF0747.JPGの画像、および人物を含まないファイル名がDSCF0727.JPG、DSCF0728.JPGの画像が複数の画像から検索され、プリント出力される。   As a result, only an image including no person and an image including a person designated by the user are printed out. Specifically, if the person designated by the user is a person with identification number = 2, the file name in which the person with identification number = 2 is shown is DSCF0740. JPG, DSCF0741. JPG, DSCF0744. JPG, DSCF0747. JPG images and file names that do not contain people are DSCF0727. JPG, DSCF0728. A JPG image is retrieved from a plurality of images and printed out.

なお、指定人物ファイルが図10(b)に示すように識別番号=2,3の人物の双方を含む画像の検索を指定するものである場合には、識別番号=2,3の双方の人物が写っているファイル名がDSCF0740.JPG、DSCF0741.JPGの画像、および人物を含まないファイル名がDSCF0727.JPG、DSCF0728.JPGの画像が複数の画像から検索され、プリント出力される。   When the designated person file designates a search for an image including both persons having identification numbers = 2 and 3 as shown in FIG. 10B, both persons having identification numbers = 2 and 3 are specified. Is the file name DSCF0740. JPG, DSCF0741. JPG images and file names that do not contain people are DSCF0727. JPG, DSCF0728. A JPG image is retrieved from a plurality of images and printed out.

また、指定人物ファイルが図10(c)に示すように識別番号=2,3の人物のみを個別に含む画像の検索を指定するものである場合には、まず識別番号=2の人物のみが写っているファイル名がDSCF0744.JPG、DSCF0747.JPGの画像、および人物を含まないファイル名がDSCF0727.JPG、DSCF0728.JPGの画像が複数の画像から検索され、プリント出力される。次いで、識別番号=3の人物のみが写っているファイル名がDSCF0742.JPGの画像、および人物を含まないファイル名がDSCF0727.JPG、DSCF0728.JPGの画像が複数の画像から検索され、プリント出力される。   Further, when the designated person file designates a search for an image including only the persons with identification numbers = 2 and 3 as shown in FIG. 10C, only the person with the identification number = 2 is first selected. The file name shown is DSCF0744. JPG, DSCF0747. JPG images and file names that do not contain people are DSCF0727. JPG, DSCF0728. A JPG image is retrieved from a plurality of images and printed out. Next, the file name in which only the person with the identification number = 3 is shown is DSCF0742. JPG images and file names that do not contain people are DSCF0727. JPG, DSCF0728. A JPG image is retrieved from a plurality of images and printed out.

また、指定人物ファイルが図10(d)に示すように識別番号=2,3の人物のそれぞれを含む画像の検索を指定するものである場合には、まず識別番号=2の人物が写っているファイル名がDSCF0740.JPG、DSCF0741.JPG、DSCF0744.JPG、DSCF0747.JPGの画像、および人物を含まないファイル名がDSCF0727.JPG、DSCF0728.JPGの画像が複数の画像から検索され、プリント出力される。次いで、識別番号=3の人物が写っているファイル名がDSCF0740.JPG、DSCF0741.JPG、DSCF0742.JPGの画像、および人物を含まないファイル名がDSCF0727.JPG、DSCF0728.JPGの画像が複数の画像から検索され、プリント出力される。   If the designated person file designates a search for an image including each of the persons with identification numbers = 2 and 3 as shown in FIG. 10D, the person with the identification number = 2 is shown first. File name is DSCF0740. JPG, DSCF0741. JPG, DSCF0744. JPG, DSCF0747. JPG images and file names that do not contain people are DSCF0727. JPG, DSCF0728. A JPG image is retrieved from a plurality of images and printed out. Next, the file name in which the person with the identification number = 3 is shown is DSCF0740. JPG, DSCF0741. JPG, DSCF0742. JPG images and file names that do not contain people are DSCF0727. JPG, DSCF0728. A JPG image is retrieved from a plurality of images and printed out.

このように、本発明の第2の実施形態によれば、検索する少なくとも一人の人物の指定を受け付け、複数の画像のそれぞれから顔領域を検出し、検出した顔領域に基づいて、指定された少なくとも一人の人物を含む画像を複数の画像から検索するようにしたため、とくに、友人が写っている画像をプリントして友人に渡したい場合に、ユーザは画像を選択する作業を行わなくても、プリント等に利用する画像を複数の画像から選び出すことができる。   As described above, according to the second embodiment of the present invention, the designation of at least one person to be searched is accepted, the face area is detected from each of the plurality of images, and the designation is made based on the detected face area. Since the image including at least one person is searched from a plurality of images, the user does not need to select the image, especially when the image showing the friend is printed and given to the friend. Images to be used for printing can be selected from a plurality of images.

なお、第2の実施形態において、一人の人物を指定した後に、設定ボタン40Bに続いてorボタン40Dを選択した場合に、指定した人物のみを含む画像を選択するようにしてもよい。   In the second embodiment, when an or button 40D is selected subsequent to the setting button 40B after one person is designated, an image including only the designated person may be selected.

次いで、本発明の第3の実施形態について説明する。図12は本発明の第3の実施形態によるプリント注文受付装置の構成を示す概略ブロック図である。なお、第3の実施形態において第2の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第3の実施形態によるプリント注文受付装置1Bは、第2の実施形態における人物特定部34Aおよび検索部36Aとは異なる処理を行う人物特定部34Bおよび検索部36Bを備えてなる。   Next, a third embodiment of the present invention will be described. FIG. 12 is a schematic block diagram showing a configuration of a print order receiving apparatus according to the third embodiment of the present invention. In the third embodiment, the same components as those in the second embodiment are denoted by the same reference numerals, and detailed description thereof is omitted here. The print order receiving apparatus 1B according to the third embodiment includes a person specifying unit 34B and a search unit 36B that perform processing different from the person specifying unit 34A and the search unit 36A in the second embodiment.

次いで、第3の実施形態において行われる処理について説明する。なお、第3の実施形態において画像の読み込み時に行われる処理については、第2の実施形態と同一であるため、ここでは詳細な説明は省略し、検索する人物を指定する処理から説明する。図13は第3の実施形態における人物指定処理のフローチャートである。ユーザが人物指定の指示を入力部16から行うことによりCPU12が処理を開始し、ユーザの人物の指定を行わせるための人物指定画面を表示部18に表示する(ステップST51)。   Next, processing performed in the third embodiment will be described. Note that the processing performed at the time of reading an image in the third embodiment is the same as that in the second embodiment, so detailed description thereof will be omitted here, and processing from designating a person to be searched will be described. FIG. 13 is a flowchart of person designation processing in the third embodiment. When the user gives an instruction to specify a person from the input unit 16, the CPU 12 starts processing, and displays a person specifying screen for specifying the user's person on the display unit 18 (step ST51).

図14は第3の実施形態における人物指定画面を示す図である。図14に示すように人物指定画面42は、人物を指定するための画像を表示する画像エリア42Aと、指定された人物を検索の対象に設定するための設定ボタン42Bとが表示されている。   FIG. 14 is a diagram showing a person designation screen in the third embodiment. As shown in FIG. 14, the person designation screen 42 displays an image area 42A for displaying an image for designating a person, and a setting button 42B for setting the designated person as a search target.

図14に示すように画像エリア42Aに表示される画像は、メモリカード2から読み出した複数の画像のうちの人物が含まれる画像となる。   As shown in FIG. 14, the image displayed in the image area 42 </ b> A is an image including a person among a plurality of images read from the memory card 2.

ユーザは入力部16を用いて表示されている画像において所望とする表情を有する人物が一人写っている画像を指定する。なお、人物の指定の方法としては矩形の領域により人物の顔を囲む等の手法を用いることができる。そして人物を囲んで設定ボタン42Bを選択すると、人物特定部34Bは、選択した人物を表す識別番号を登録した指定人物ファイルを生成し、ハードディスク24に保存し(ステップST53)、処理を終了する。この場合の指定人物ファイルの記述内容は上記図10(a)に示すものとなる。   The user uses the input unit 16 to specify an image in which one person having a desired facial expression is shown in the displayed image. In addition, as a method of designating a person, a technique such as enclosing a person's face with a rectangular area can be used. When the setting button 42B is selected surrounding the person, the person specifying unit 34B generates a designated person file in which an identification number representing the selected person is registered, stores it in the hard disk 24 (step ST53), and ends the process. The description content of the designated person file in this case is as shown in FIG.

次いで、第3の実施形態におけるプリント時に行われる処理について説明する。図15は第3の実施形態においてプリント時に行われる処理を示すフローチャートである。ユーザがプリント実行の指示を入力部16から行うことによりCPU12が処理を開始し、まず検索部36Bが処理対象をファイル名が最初の画像に設定し(ステップST61)、指定人物ファイルおよび処理対象の画像の人物情報ファイルを参照して、処理対象の画像が人物を含むか否かを判定する(ステップST62)。ステップST62が否定されると処理対象の画像を複数の画像から選択する(ステップST63)。   Next, processing performed at the time of printing in the third embodiment will be described. FIG. 15 is a flowchart showing processing performed at the time of printing in the third embodiment. When the user issues a print execution instruction from the input unit 16, the CPU 12 starts processing. First, the search unit 36B sets the processing target as the first image (step ST61), and designates the designated person file and the processing target. With reference to the person information file of the image, it is determined whether or not the image to be processed includes a person (step ST62). If step ST62 is negative, an image to be processed is selected from a plurality of images (step ST63).

ステップST62が肯定されると、検索部36Bは、処理対象の画像がユーザが指定した人物を含むか否かを判定する(ステップST64)。この際、検索部36Bは、ユーザが指定した画像に含まれる人物の顔領域から求めた複数の特徴量と、処理対象の画像に含まれる顔領域から求めた複数の特徴量とを比較し、各特徴量の差が所定の範囲内にある場合に、処理対象の画像がユーザが指定した人物を含むと判定する。なお、第3の実施形態における「所定の範囲」とは、第2の実施形態における「所定の範囲」よりも小さい。これにより、例えば、ユーザが指定した人物が笑った表情をしている場合には、処理対象の画像にユーザが指定した人物が含まれている場合であっても、処理対象の画像に含まれる人物の表情が笑った表情をしている場合にのみ、処理対象の画像が複数の画像から選択されることとなる。   If step ST62 is positive, the search unit 36B determines whether or not the processing target image includes a person designated by the user (step ST64). At this time, the search unit 36B compares the plurality of feature amounts obtained from the face area of the person included in the image designated by the user with the plurality of feature amounts obtained from the face area included in the processing target image, When the difference between the feature amounts is within a predetermined range, it is determined that the processing target image includes a person designated by the user. Note that the “predetermined range” in the third embodiment is smaller than the “predetermined range” in the second embodiment. Thereby, for example, when the person designated by the user has a smiling expression, even if the person designated by the user is included in the image to be processed, it is included in the image to be processed. Only when the person's facial expression is a laughing expression, the image to be processed is selected from a plurality of images.

そして、ステップST64が肯定されると、ステップST63に進み、処理対象の画像を複数の画像から選択する。これにより、複数の画像から人物を含まない画像およびユーザが指定した人物を含む画像が検索される。   When step ST64 is affirmed, the process proceeds to step ST63, and an image to be processed is selected from a plurality of images. Thereby, an image including no person and an image including a person designated by the user are searched from a plurality of images.

ステップST63に続いて、およびステップST64が否定されると、すべての画像の処理を終了したか否かを判定し(ステップST65)、ステップST65が否定されると、処理対象の画像を次の画像に設定し(ステップST66)、ステップST62に戻り、ステップST62以降の処理を繰り返す。ステップST65が肯定されると、選択した画像をプリンタ8からプリント出力し(ステップST67)、処理を終了する。   Subsequent to step ST63 and when step ST64 is denied, it is determined whether or not all the images have been processed (step ST65). When step ST65 is denied, the image to be processed is set to the next image. (Step ST66), the process returns to step ST62, and the processes after step ST62 are repeated. If step ST65 is positive, the selected image is printed out from the printer 8 (step ST67), and the process ends.

これにより、人物を含まない画像およびユーザが指定した人物を含む画像のみがプリント出力されることとなる。具体的には、ユーザが指定した人物が識別番号=2の人物であり、その人物が笑った表情をしている場合、識別番号=2の人物を含みかつその人物が笑った表情をしている画像および人物を含まない画像が複数の画像から検索され、プリント出力される。   As a result, only an image including no person and an image including a person designated by the user are printed out. Specifically, when the person designated by the user is a person with identification number = 2 and the person has a laughing expression, the person including the person with identification number = 2 has a laughing expression. An image that does not include a person and an image that does not include a person are retrieved from a plurality of images and printed out.

なお、上記第1から第3の実施形態においては、人物を含まない画像を検索してプリント出力しているが、人物を含まない画像について、検索およびプリント出力を行わないようにしてもよい。   In the first to third embodiments, an image that does not include a person is retrieved and printed out. However, an image that does not include a person may not be searched and printed out.

また、上記実施形態においては、本発明による画像検索装置をプリント注文受付装置に用いているが、本発明による画像検索装置を単体で用いてもよく、デジタルカメラ等の画像を扱う機器に設けてもよい。   In the above embodiment, the image search apparatus according to the present invention is used as a print order receiving apparatus. However, the image search apparatus according to the present invention may be used alone or provided in a device that handles images such as a digital camera. Also good.

以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の顔検出部32、人物特定部34,34A,34Bおよび検索部36,36A,36Bに対応する手段として機能させ、図3,5,7,8,11,13,15に示すような処理を行わせるプログラムも、本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の1つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。   Although the apparatus according to the embodiment of the present invention has been described above, the computer functions as a unit corresponding to the face detection unit 32, the person identification units 34, 34A, 34B, and the search units 36, 36A, 36B. A program that performs processing as shown in 3, 5, 7, 8, 11, 13, and 15 is also one embodiment of the present invention. A computer-readable recording medium in which such a program is recorded is also one embodiment of the present invention. Further, such a program may be incorporated in viewer software for browsing images.

本発明の第1の実施形態による画像選択装置を適用したプリント注文受付装置の外観斜視図1 is an external perspective view of a print order receiving apparatus to which an image selection apparatus according to a first embodiment of the present invention is applied. 本発明の第1の実施形態によるプリント注文受付装置の構成を示す概略ブロック図1 is a schematic block diagram showing the configuration of a print order receiving apparatus according to a first embodiment of the present invention. 第1の実施形態において行われる画像の読み込み時に行われる処理を示すフローチャートThe flowchart which shows the process performed at the time of the image reading performed in 1st Embodiment 画像、人物情報ファイルおよび集計ファイルの内容を示す図Diagram showing contents of image, person information file and summary file 第1の実施形態においてプリント時に行われる処理を示すフローチャートThe flowchart which shows the process performed at the time of printing in 1st Embodiment. 本発明の第2の実施形態によるプリント注文受付装置の構成を示す概略ブロック図Schematic block diagram showing the configuration of a print order receiving apparatus according to a second embodiment of the present invention 第2の実施形態において行われる画像の読み込み時に行われる処理を示すフローチャートThe flowchart which shows the process performed at the time of the reading of the image performed in 2nd Embodiment 第2の実施形態における人物指定処理のフローチャートFlowchart of person designation processing in the second embodiment 第2の実施形態における人物指定画面を示す図The figure which shows the person designation | designated screen in 2nd Embodiment 指定人物ファイルの記述内容を示す図Diagram showing the contents of the specified person file 第2の実施形態においてプリント時に行われる処理を示すフローチャートThe flowchart which shows the process performed at the time of printing in 2nd Embodiment 本発明の第3の実施形態によるプリント注文受付装置の構成を示す概略ブロック図Schematic block diagram showing the configuration of a print order receiving apparatus according to a third embodiment of the present invention 第3の実施形態における人物指定処理のフローチャートFlowchart of person designation processing in the third embodiment 第3の実施形態における人物指定画面を示す図The figure which shows the person designation | designated screen in 3rd Embodiment 第3の実施形態においてプリント時に行われる処理を示すフローチャートThe flowchart which shows the process performed at the time of printing in 3rd Embodiment

符号の説明Explanation of symbols

1,1A,1B プリント注文受付装置
2 メモリカード
4 カードスロット
6 表示部
8 プリンタ
12 CPU
14 システムメモリ
16 入力部
22 圧縮解凍部
24 ハードディスク
26 メモリ制御部
28 表示制御部
30 プリンタインターフェース
32 顔検出部
34,34A,34B 人物特定部
36,36A,36B 検索部
1, 1A, 1B Print order acceptance device 2 Memory card 4 Card slot 6 Display unit 8 Printer 12 CPU
14 System memory 16 Input unit 22 Compression / decompression unit 24 Hard disk 26 Memory control unit 28 Display control unit 30 Printer interface 32 Face detection unit 34, 34A, 34B Person identification unit 36, 36A, 36B Search unit

Claims (9)

複数の画像のそれぞれから顔領域を検出する顔検出手段と、
前記検出した顔領域に基づいて、前記複数の画像に含まれる人物を特定する人物特定手段と、
前記特定された人物のうち、前記複数の画像に最も多く含まれる人物を含む画像を前記複数の画像から検索する検索手段とを備えたことを特徴とする画像検索装置。
Face detection means for detecting a face area from each of a plurality of images;
A person specifying means for specifying a person included in the plurality of images based on the detected face area;
An image search apparatus comprising: search means for searching the plurality of images for an image including the person most frequently included in the plurality of images among the specified persons.
前記検索手段は、前記複数の画像から人物を含まない画像をさらに検索する手段であることを特徴とする請求項1記載の画像検索装置。   2. The image search apparatus according to claim 1, wherein the search means is means for further searching for an image not including a person from the plurality of images. 複数の画像に含まれる人物のうち、検索する少なくとも一人の人物の指定を受け付ける指定手段と、
前記複数の画像のそれぞれから顔領域を検出する顔検出手段と、
前記検出した顔領域に基づいて、前記指定された少なくとも一人の人物を含む画像を前記複数の画像から検索する検索手段とを備えたことを特徴とする画像検索装置。
A designation means for accepting designation of at least one person to be searched among persons included in the plurality of images;
Face detecting means for detecting a face area from each of the plurality of images;
An image search apparatus comprising: search means for searching an image including the specified at least one person from the plurality of images based on the detected face area.
前記検索手段は、前記指定された人物が一人の場合において、該指定された人物と表情が一致する画像を前記複数の画像から検索する手段であることを特徴とする請求項3記載の画像検索装置。   4. The image search according to claim 3, wherein, when the designated person is one person, the retrieval means is a means for retrieving an image whose facial expression matches the designated person from the plurality of images. apparatus. 前記検索手段は、前記複数の画像から人物を含まない画像をさらに検索する手段であることを特徴とする請求項3または4記載の画像検索装置。   5. The image search apparatus according to claim 3, wherein the search means is means for further searching for an image not including a person from the plurality of images. 複数の画像のそれぞれから顔領域を検出し、
前記検出した顔領域に基づいて、前記複数の画像に含まれる人物を特定し、
前記特定された人物のうち、前記複数の画像に最も多く含まれる人物を含む画像を前記複数の画像から検索することを特徴とする画像検索方法。
Detect the face area from each of multiple images,
Based on the detected face area, the person included in the plurality of images is identified,
An image search method, wherein an image including a person most frequently included in the plurality of images among the specified persons is searched from the plurality of images.
複数の画像に含まれる人物のうち、検索する少なくとも一人の人物の指定を受け付け、
前記複数の画像のそれぞれから顔領域を検出し、
前記検出した顔領域に基づいて、前記指定された少なくとも一人の人物を含む画像を前記複数の画像から検索することを特徴とする画像検索方法。
Accept the designation of at least one person to search among people included in multiple images,
Detecting a face region from each of the plurality of images;
An image search method, wherein an image including the specified at least one person is searched from the plurality of images based on the detected face area.
複数の画像のそれぞれから顔領域を検出する手順と、
前記検出した顔領域に基づいて、前記複数の画像に含まれる人物を特定する手順と、
前記特定された人物のうち、前記複数の画像に最も多く含まれる人物を含む画像を前記複数の画像から検索する手順とを有することを特徴とする画像検索方法をコンピュータに実行させるためのプログラム。
A procedure for detecting a face area from each of a plurality of images;
A procedure for identifying a person included in the plurality of images based on the detected face area;
A program for causing a computer to execute an image search method, comprising: a step of searching the plurality of images for an image including a person most frequently included in the plurality of images among the specified persons.
複数の画像に含まれる人物のうち、検索する少なくとも一人の人物の指定を受け付ける手順と、
前記複数の画像のそれぞれから顔領域を検出する手順と、
前記検出した顔領域に基づいて、前記指定された少なくとも一人の人物を含む画像を前記複数の画像から検索する手順とを有することを特徴とする画像検索方法をコンピュータに実行させるためのプログラム。
A procedure for accepting designation of at least one person to be searched among persons included in a plurality of images,
Detecting a face region from each of the plurality of images;
A program for causing a computer to execute an image search method comprising: searching for an image including the specified at least one person from the plurality of images based on the detected face area.
JP2005333616A 2005-11-18 2005-11-18 Image search device and method, and program Pending JP2007140897A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005333616A JP2007140897A (en) 2005-11-18 2005-11-18 Image search device and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005333616A JP2007140897A (en) 2005-11-18 2005-11-18 Image search device and method, and program

Publications (1)

Publication Number Publication Date
JP2007140897A true JP2007140897A (en) 2007-06-07

Family

ID=38203674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005333616A Pending JP2007140897A (en) 2005-11-18 2005-11-18 Image search device and method, and program

Country Status (1)

Country Link
JP (1) JP2007140897A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102651793A (en) * 2011-02-28 2012-08-29 兄弟工业株式会社 Print instruction device and print instruction system
US8463052B2 (en) 2009-09-15 2013-06-11 Kabushiki Kaisha Toshiba Electronic apparatus and image search method
CN104461410A (en) * 2013-09-24 2015-03-25 Lg电子株式会社 Mobile communications system, mobile terminal, and control method of mobile terminal
JP2015191358A (en) * 2014-03-27 2015-11-02 富士フイルム株式会社 Central person determination system, information terminal to be used by central person determination system, central person determination method, central person determination program, and recording medium
CN105677263A (en) * 2014-11-21 2016-06-15 株式会社理光 Print set-up method, print set-up device, print system and method for adopting print set-up method
KR101770262B1 (en) * 2011-03-16 2017-08-22 엘지전자 주식회사 Mobile terminal and control method for mobile terminal

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183205A (en) * 2000-12-11 2002-06-28 Minolta Co Ltd Computer-readable recording medium with database construction program recorded thereon, method and device for constructing database, computer-readable recording medium with database retrieval program recorded thereon, and method and device for retrieving database
JP2005049968A (en) * 2003-07-30 2005-02-24 Seiko Epson Corp Image management device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183205A (en) * 2000-12-11 2002-06-28 Minolta Co Ltd Computer-readable recording medium with database construction program recorded thereon, method and device for constructing database, computer-readable recording medium with database retrieval program recorded thereon, and method and device for retrieving database
JP2005049968A (en) * 2003-07-30 2005-02-24 Seiko Epson Corp Image management device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463052B2 (en) 2009-09-15 2013-06-11 Kabushiki Kaisha Toshiba Electronic apparatus and image search method
CN102651793A (en) * 2011-02-28 2012-08-29 兄弟工业株式会社 Print instruction device and print instruction system
JP2012194968A (en) * 2011-02-28 2012-10-11 Brother Ind Ltd Print instruction device and print instruction system
US8797588B2 (en) 2011-02-28 2014-08-05 Brother Kogyo Kabushiki Kaisha Print instruction device and print instruction system
CN102651793B (en) * 2011-02-28 2014-10-22 兄弟工业株式会社 Print instruction device and print instruction system
KR101770262B1 (en) * 2011-03-16 2017-08-22 엘지전자 주식회사 Mobile terminal and control method for mobile terminal
CN104461410A (en) * 2013-09-24 2015-03-25 Lg电子株式会社 Mobile communications system, mobile terminal, and control method of mobile terminal
CN104461410B (en) * 2013-09-24 2019-05-21 Lg电子株式会社 Mobile communication system, mobile terminal and its control method
JP2015191358A (en) * 2014-03-27 2015-11-02 富士フイルム株式会社 Central person determination system, information terminal to be used by central person determination system, central person determination method, central person determination program, and recording medium
US9721145B2 (en) 2014-03-27 2017-08-01 Fujifilm Corporation Central person determining system, information terminal used in the same, central person determining method, and recording medium for central person determining program
CN105677263A (en) * 2014-11-21 2016-06-15 株式会社理光 Print set-up method, print set-up device, print system and method for adopting print set-up method

Similar Documents

Publication Publication Date Title
US8743410B2 (en) Method, apparatus, and program for laying out images
JP5009577B2 (en) Image search apparatus and method, and program
JP5993642B2 (en) Information processing apparatus, control method thereof, and program
JP6074182B2 (en) Image processing apparatus, image processing method, and program
JP5478999B2 (en) Imaging device
JP6031278B2 (en) Information processing apparatus, control method thereof, and program
JP6080409B2 (en) Information processing apparatus, information processing method, and program
JP2007140897A (en) Image search device and method, and program
US20120051646A1 (en) Object recognition apparatus, recognition method thereof, and non-transitory computer-readable storage medium
JP2007094990A (en) Image sorting device, method, and program
US20050157952A1 (en) Image retrieval apparatus and method, and image display apparatus and method thereof
US20070031066A1 (en) Device and method for image searching, and recording medium in which image searching program is recorded
JP4412552B2 (en) Image layout apparatus and method, and program
JP2006079460A (en) System, method and program for displaying electronic album and device, method, and program for classifying image
JP2013196417A (en) Image display device, image display method and program
JP4065470B2 (en) Information retrieval apparatus and control method thereof
JP2010225082A (en) Image data management system and image data management method
JP2007199924A (en) Device, method, and program for determining title of image group
JP2008158777A (en) Image processing apparatus and method, computer program, and storage medium
JP2006252455A (en) File management device, file management method and file management program
JP2007080164A (en) Order reception apparatus and method, and program
JP4895201B2 (en) Image sorting apparatus, method, and program
JP2006004157A (en) Image retrieval program, image retrieval method, image retrieval device, and storage medium
JP2006146591A (en) Image display apparatus
JP2007101573A (en) Print order receiving device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110315

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110610

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110620

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20110708