CN107209772A - 图像显示控制装置、图像显示控制方法、图像显示控制程序以及存放有该程序的记录介质 - Google Patents

图像显示控制装置、图像显示控制方法、图像显示控制程序以及存放有该程序的记录介质 Download PDF

Info

Publication number
CN107209772A
CN107209772A CN201580073898.8A CN201580073898A CN107209772A CN 107209772 A CN107209772 A CN 107209772A CN 201580073898 A CN201580073898 A CN 201580073898A CN 107209772 A CN107209772 A CN 107209772A
Authority
CN
China
Prior art keywords
image
face
mentioned
display control
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580073898.8A
Other languages
English (en)
Inventor
横内康治
胡学斌
濑川英生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN107209772A publication Critical patent/CN107209772A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0677—Optical disk device, e.g. CD-ROM, DVD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Abstract

本发明提供一种不仅能够从许多图像中找出所要求的人的图像，还能够比较简单地找到适合于进行打印的图像的图像显示控制装置，图像显示方法、图像显示控制装置的程序以及存放有该程序的记录介质。点击从显示在第1面部图像显示区域(91)的多个检测面部图像中用户想要找出的面部图像，被点击的面部图像(F1)显示在第3面部图像显示区域(93)。从显示在第1面部图像显示区域(91)的多个检测面部图像中找到与显示在第3面部图像显示区域(93)的面部图像(F1)相似且适合于进行打印的面部图像，从而显示在第2面部图像显示区域(92)。用户从显示在第2面部图像显示区域(92)的面部图像中点击想要查找的人的面部图像。被点击的面部图像显示在第3面部图像显示区域(93)。

Description

图像显示控制装置、图像显示控制方法、图像显示控制程序以 及存放有该程序的记录介质
技术领域
本发明涉及一种图像显示控制装置、图像显示控制方法、图像显示控制程序以及存放有该程序的记录介质。
背景技术
已提出对在学校活动等中拍摄的照片进行管理的学校照片管理系统(专利文献1)。该学校照片管理系统中，通过预先登记面部图像来进行面部图像识别处理，浏览图像限定在包含与面部图像相似度高的面部的图像中。并且，还有对照片进行面部检测以及面部识别，从而辅助整理照片的系统(专利文献2、3)，并且计算图像的模糊、抖动的程度而进行校正的系统(专利文献4)。此外，还有通过面部图像识别来特别指定人而显示相关的图像的系统(专利文献5)。
以往技术文献
专利文献
专利文献1：日本特开2014-102715号公报
专利文献2：日本专利第5388399
专利文献3：日本专利第5485254
专利文献4：日本特开2005-332381号公报
专利文献5：日本特开2013-161394号公报
发明内容
发明要解决的技术课题
专利文献1中记载的系统中，利用面部识别技术仅将同一人呈现给监护人，因此在无法准确地识别时，会存在未呈现所需图像的情况。并且，专利文献2、3中记载的系统中，利用相似度对照片进行了整理，因此并未考虑是否是适合于打印的图像。此外，专利文献4中记载的系统仅对图像的抖动进行了校正。此外，专利文献5中记载的系统也仅显示了所有相关图像，并未考虑查出适合于打印的图像的情况。
本发明的目的在于，不仅从许多图像中找出所要求的人的图像，而且比较简单地找到适合于打印的图像。
用于解决技术课题的手段
基于本发明的图像显示控制装置，其具备：第1显示控制单元，将从多个原始图像中检测出的多个检测面部图像中的至少一个以上的面部图像显示在第1面部图像显示区域；第1特定面部图像确定单元，将从通过第1显示控制单元显示在第1面部图像显示区域的至少一个以上的面部图像中由第1面部图像指定单元指定的面部图像确定为特定面部图像，所述特定面部图像用于查找与已指定的面部图像相似的面部图像；第2显示控制单元，将具有第规定数个为止的优先级的检测面部图像作为相似面部图像候选而显示在第2面部图像显示区域，所述优先级是根据相似度和适合度对多个检测面部图像算出的优先级，所述相似度是多个检测面部图像各自的检测面部图像与由第1特定面部图像确定单元确定的特定面部图像之间的相似度，所述适合度表示适合于打印的程度；以及第2特定面部图像确定单元，对于从通过第2显示控制单元显示在第2面部图像显示区域的面部图像中由第2面部图像指定单元指定的面部图像，(除由第1特定面部图像确定单元确定的特定面部图像以外)也确定为特定面部图像。
本发明还提供适合于图像显示控制装置的图像显示方法。即，该方法中，第1显示控制单元将从多个原始图像中检测出的多个检测面部图像中的至少一个以上的面部图像显示在第1面部图像显示区域，第1特定面部图像确定单元将从通过第1显示控制单元显示在第1面部图像显示区域的至少一个以上的面部图像中由第1面部图像指定单元指定的面部图像确定为特定面部图像，所述特定面部图像用于查找与已指定的面部图像相似的面部图像，第2显示控制单元将具有第规定数个为止的优先级的检测面部图像作为相似面部图像候选而显示在第2面部图像显示区域，所述优先级是根据相似度和适合度对多个检测面部图像算出的优先级，所述相似度是多个检测面部图像各自的检测面部图像与由第1特定面部图像确定单元确定的特定面部图像之间的相似度，所述适合度表示适合于打印的程度，第2特定面部图像确定单元对于从通过第2显示控制单元显示在第2面部图像显示区域的面部图像中由第2面部图像指定单元指定的面部图像，也确定为特定面部图像。
本发明还提供控制图像显示控制装置的计算机的程序以及存放有该程序的记录介质。
可以还具备将由第2面部图像指定单元指定的面部图像显示在第3面部图像显示区域的第3显示控制单元。
优先级是例如根据相似度和适合度而对多个检测面部图像算出的，所述相似度是与由第1特定面部图像确定单元确定的特定面部图像以及由第2特定面部图像确定单元确定的特定面部图像中的至少一个以上的特定面部图像之间的相似度。
可以还具备：第1更新单元，将从多个检测面部图像中除去由第1面部图像指定单元指定的面部图像以及已显示在第2面部图像显示区域的面部图像而得的面部图像设为新的多个检测面部图像；以及控制单元，重复由第2显示控制单元进行的处理以及由第2特定面部图像确定单元进行的处理。
第2显示控制单元例如将检测面部图像按照优先级的高低顺序显示在第2面部图像显示区域。
可以还具备第1警告单元，所述第1警告单元根据由第2用户已经指定的面部图像被第1用户使用第1面部图像指定单元或第2面部图像指定单元指定的情况来发出警告，所述第2用户与使用第1面部图像指定单元或第2面部图像指定单元指定了面部图像的第1用户不同。
可以还具备第1优先级校正单元，所述第1优先级校正单元降低对于由第2用户已经指定的面部图像的优先级，所述第2用户与使用第1面部图像指定单元或第2面部图像指定单元指定了面部图像的第1用户不同。
可以还具备第2更新单元，所述第2更新单元将从多个检测面部图像中除去由第2用户已经指定的面部图像而得的面部图像设为新的上述多个检测面部图像，所述第2用户与使用第1面部图像指定单元或第2面部图像指定单元指定了面部图像的第1用户不同。
可以还具备第2警告单元，所述第2警告单元根据由第1面部图像指定单元以及第2面部图像指定单元中的至少一方指定的至少两个面部图像是从同一原始图像中检测出的情况来发出警告。
可以还具备第2优先级校正单元，所述第2优先级校正单元降低对于如下面部图像的优先级，所述面部图像是从检测出已确定为特定面部图像的面部图像的原始图像所含的面部图像中除去已确定为特定面部图像的面部图像而得的。
可以还具备删除单元，所述删除单元从多个面部图像中删除如下面部图像，所述面部图像是从检测出已确定为特定面部图像的面部图像的原始图像所含的面部图像中除去已确定为特定面部图像的面部图像而得的。
可以还具备第3优先级校正单元，所述第3优先级校正单元对于同一图像所含的多个面部图像，适合度越低，越降低优先级。
第2显示控制单元可以将具有第规定数个为止的优先级的检测面部图像作为相似面部图像候选而显示在第2面部图像显示区域，所述优先级是根据与在上一次图像显示控制装置的处理时确定的特定面部图像之间的相似度和适合度对多个检测面部图像算出的优先级。
可以还具备：原始图像输入单元，输入多个原始图像；面部图像检测单元，从使用原始图像输入单元输入的多个原始图像中检测面部图像，从而得到多个检测面部图像；以及适合度计算单元，对由面部图像检测单元检测出的多个检测面部图像各自的面部图像计算适合度。
优选第1显示控制单元将从拍摄有多个面部的集合图像中检测出的多个检测面部图像中的至少一个以上的面部图像显示在第1面部图像显示区域。
可以还具备：预想张数计算单元，计算由第1更新单元设为新的多个检测面部图像的多个检测面部图像所含的面部图像中可能由第2面部图像指定单元指定的面部图像的预想张数；以及第4显示控制单元，显示由预想张数计算单元算出的预想张数。
可以还具备第3警告单元，所述第3警告单元根据由预想张数计算单元算出的预想张数为一定张数以下的情况来发出警告。
可以还具备第5显示控制单元，所述第5显示控制单元在包含显示在第3面部图像显示区域的面部图像在内的原始图像或原始图像的缩略图像上标注标记而显示。
可以还具备第6显示控制单元，所述第6显示控制单元对特定面部图像标注标记而显示在检测出特定面部图像的原始图像的周围。
可以还具备输入年级或班级的输入单元。该情况下，会成为第1显示控制单元将由属于通过上述输入单元输入的年级或班级的人得到的多个检测面部图像显示在第1面部图像显示区域。
可以还具备群组化单元，所述群组化单元对多个检测面部图像中具有阈值以上的相似度的2以上的检测面部图像进行分组。该情况下，会成为第2显示控制单元将通过群组化单元分组的2以上的检测面部图像按照各群组显示在第2面部图像显示区域。
可以还具备输入年龄的年龄输入单元。该情况下，会成为群组化单元中，从年龄输入单元输入的年龄越低，越提高阈值。
可以还具备特征存储单元，按照各用户存储特定面部图像中要求打印的面部图像的特征；以及第4优先级校正单元，提高具有如下特征的面部图像的优先级，所述特征是存储在特征存储单元的特征中与操作图像显示控制装置的用户对应的特征。
上述第5显示控制单元可以在显示在第3面部图像显示区域的面部图像的部分标注标记，而显示包含显示在第3面部图像显示区域的面部图像在内的原始图像或缩略原始图像。
可以还具备第7显示控制单元，所述第7显示控制单元在包含通过第1更新单元得到的新的多个检测面部图像中各自的面部图像在内的原始图像即未确认原始图像或原始图像的缩略原始图像即未确认缩略原始图像上标注表示是未确认的情况的标记而显示，或者在未确认面部图像或未确认缩略原始图像中新的多个检测面部图像所含的面部图像上标注表示是未确认的情况的标记而显示。
可以还具备第8显示控制单元，所述第8显示控制单元将通过第1更新单元得到的新的多个检测面部图像所含的面部图像，在检测出面部图像的原始图像的周围标注标记而显示。
第1面部图像显示区域、第2面部图像显示区域以及第3面部图像显示区域例如形成在能够与图像显示控制装置进行通信的用户终端的显示画面上。该情况下，会成为第1显示控制单元向用户终端发送至少一个以上的面部图像显示在第1面部图像显示区域的网页数据，第2显示控制单元向用户终端发送将具有第规定数个为止的优先级的检测面部图像作为相似面部图像候选而显示在第2面部图像显示区域的网页数据，第3显示控制单元向用户终端发送由第2面部图像指定单元指定的面部图像显示在第3面部图像显示区域的网页数据。
并且，第4显示控制单元例如向用户终端发送通过预想张数计算单元算出的预想张数显示在用户终端的显示画面上的网页数据，第5显示控制单元例如向用户终端发送在包含显示在第3面部图像的面部图像在内的原始图像或原始图像的缩略原始图像上标注标记而显示在用户终端的显示画面上的网页数据。此外，第6显示控制单元例如向用户终端发送在用户终端的显示画面上对特定面部图像标注标记而显示在检测出特定面部图像的原始图像的周围的网页数据，第7显示控制单元例如向用户终端发送，在包含通过第1更新单元得到的新的多个检测面部图像中各自的面部图像在内的原始图像即未确认原始图像或原始图像的缩略原始图像即未确认缩略原始图像上标注表示是未确认的情况的标记而显示在用户终端的显示画面上的网页数据，或者向用户终端发送在未确认面部图像或未确认缩略原始图像中新的多个检测面部图像所含的面部图像上标注表示是未确认的情况的标记而显示在用户终端的显示画面上的网页数据。
发明效果
根据本发明，多个检测面部图像中的至少一个以上的面部图像显示在第1面部图像显示区域。从显示在第1面部图像显示区域的面部图像中指定用户想要查找的人的面部图像。已指定的面部图像确定为用于查找与已指定的面部图像相似的面部图像的特定面部图像。具有优先级的第规定数个为止的优先级的检测面部图像作为相似面部图像候选而显示在第2面部图像显示区域，所述优先级是根据与已确定的特定面部图像之间的相似度和表示适合于打印的程度的适合度算出的。从已显示在第2面部图像显示区域的面部图像中指定面部图像，已指定的面部图像确定为特定面部图像。这样，已确定的特定面部图像为用户想要查找的人的面部图像。并非找到与用户找到的面部图像单纯相似的面部图像而显示在第2面部图像显示区域，而是还考虑适合度而找到面部图像从而显示在第2面部图像显示区域，因此能够比较简单地找到适合于打印的面部图像。
附图说明
图1是学校照片系统的概要。
图2是表示用户终端装置的电结构的框图。
图3是表示学校照片服务器的电结构的框图。
图4示出存放在原始图像数据库中的原始图像。
图5示出存放在面部图像数据库中的面部图像。
图6示出相关信息表。
图7示出适合度表。
图8示出面部相似度表。
图9是表示学校照片服务器的处理步骤的流程图。
图10是表示学校照片系统的处理步骤的流程图。
图11是表示学校照片系统的处理步骤的流程图。
图12是表示学校照片系统的处理步骤的流程图。
图13是显示在用户终端装置的窗口的一例。
图14是显示在用户终端装置的窗口的一例。
图15是显示在用户终端装置的窗口的一例。
图16是显示在用户终端装置的窗口的一例。
图17是显示在用户终端装置的窗口的一例。
图18示出特定面部表。
图19示出检测面部图像表。
图20是表示学校照片网页生成处理步骤的流程图。
图21是显示在用户终端的窗口的一例。
图22是表示优先级确定处理步骤的流程图。
图23是表示学校照片系统的处理步骤的一部分的流程图。
图24是表示学校照片网页生成处理步骤的流程图。
图25是显示在用户终端装置的窗口的一例。
图26是表示优先级确定处理步骤的流程图。
图27是表示优先级确定处理步骤的流程图。
图28是表示学校照片系统的处理步骤的一部分的流程图。
图29是表示学校照片系统的处理步骤的一部分的流程图。
图30是表示学校照片系统的处理步骤的一部分的流程图。
图31是显示在用户终端装置的窗口的一例。
图32是表示预想张数计算处理步骤的流程图。
图33示出面部图像呈现率与特定面部图像收集率之间的关系。
图34是显示在用户终端装置的窗口的一例。
图35是显示在用户终端装置的窗口的一例。
图36是表示学校照片系统的处理步骤的一部分的流程图。
图37是显示在用户终端装置的窗口的一例。
图38是表示学校照片系统的处理步骤的一部分的流程图。
图39是显示在用户终端装置的窗口的一例。
图40是表示学校照片系统的处理步骤的一部分的流程图。
图41是表示学校照片服务器的处理步骤的一部分的流程图。
图42是显示在用户终端装置的窗口的一例。
图43是显示在用户终端装置的窗口的一例。
图44是表示学校照片服务器的处理步骤的一部分的流程图。
图45是表示学校照片系统的处理步骤的流程图。
图46打印要求表的一例。
图47是表示优先级确定处理步骤的流程图。
图48是表示学校照片系统的处理步骤的流程图。
图49是显示在用户终端装置的窗口的一例。
具体实施方式
图1表示本发明的实施例，示出学校照片系统的概要。
学校照片系统是在如学校活动等活动中，从摄影师等拍摄学生等而得到的许多图像中查找用户(例如监护人)所要求的图像(例如自己的孩子的图像)的系统。
学校照片系统包括经由如互联网这种网络而能够相互通信的用户终端1以及学校照片服务器20。用户终端1是智能手机(多功能移动电话)、移动电话、放置在用户家中的个人计算机等，是能够与学校照片服务器20进行通信的装置即可。
图2是表示用户终端1的电结构的框图。图2所示的用户终端1为个人计算机，示出个人计算机的电结构。
由CPU(中央处理器(Central Processing Unit))2总括用户终端1的整体的操作。
用户终端1包括如后述那样在显示画面显示面部图像等的显示装置4、控制显示装置4的显示的显示控制装置3、从存放有用户终端1的操作程序的CD-ROM(光盘只读存储器(Compact Disc Read Only Memory))6中读取操作程序的CD-ROM(光盘只读存储器)驱动器5、存储规定的数据等的存储器7、向用户终端1输入指令的输入装置8(键盘、鼠标)等。并且，用户终端1包括硬盘驱动器9、硬盘10、用于经由互联网与学校照片服务器20进行通信的通信装置12以及用于控制通信装置12的通信控制装置11。用户终端1的操作程序不仅可以从CD-ROM6等记录介质中读取，还可以经由互联网下载而安装到用户终端1。
图3是表示学校照片服务器20的电结构的框图。
由CPU(中央处理器)21总括学校照片服务器20的整体的操作。
学校照片服务器20包括用于经由互联网与用户终端1等进行通信的通信装置22、控制通信装置22的通信控制装置23、原始图像数据库24、面部图像数据库25、向学校照片服务器20发出指令的输入装置26等。并且，学校照片服务器20还包括从存放有后述的操作程序的CD-ROM(光盘只读存储器)28中读取操作程序的CD-ROM(光盘只读存储器)驱动器27以及存储数据等的存储器29。学校照片服务器20的操作程序不仅可以从CD-ROM28中读取，还可以经由互联网下载而下载到学校照片服务器20。
图4示出存放在原始图像数据库24中的许多原始图像。
存放在原始图像数据库24中的原始图像1至原始图像n是在活动等中由摄影师拍摄的图像。这些原始图像1至原始图像n可经由互联网上传到学校照片服务器20从而存放在学校照片服务器20的原始图像数据库24中，而当原始图像1至原始图像n存放在存储卡(省略图示)中时，也可以从该存储卡中读取。当从存储卡中读取原始图像1至原始图像n时，当然会利用设有存储卡读卡器的学校照片服务器20。
图5示出存放在面部图像数据库25中的许多面部图像。
面部图像F1至面部图像Fm是从存放在原始图像数据库24中的原始图像1至原始图像n中检测出的面部图像(多个检测面部图像)。通过学校照片服务器20的CPU21读取存放在原始图像数据库24中的原始图像1至原始图像n。根据所读取的原始图像1至原始图像n，通过CPU21进行面部图像检测处理，得到面部图像F1至面部图像Fm。已得到的面部图像F1至面部图像Fm通过CPU21存放在面部图像数据库25中。也可以通过其他计算机而非学校照片服务器20来进行面部图像检测。表示在其他计算机中检测出的面部图像的图像数据从其他计算机发送至学校照片服务器20，由此面部图像F1至面部图像Fm存放在面部图像数据库25中。
图6是相关信息表的一例。
相关信息表存放关于存放在面部图像数据库25中的面部图像F1至面部图像Fm的信息。相关信息表存放在学校照片服务器20的存储器29中。
相关信息表中按照各面部图像存放有表示其面部图像的原始图像、原始图像中的面部的坐标以及是否从集合图像(集合图像是指包含有多个面部图像、多个人图像的原始图像)中得到面部图像的信息。当从集合图像中得到面部图像时存放有符号Y，当从集合图像中未得到面部图像时存放有符号N。
图7是适合度表的一例。
适合度表在打印面部图像(原始图像)时按照各面部图像存放表示适合于打印的程度的适合度。按照从原始图像检测出的各面部图像，表示其面部图像的模糊程度的对焦点、表示面部图像相对于原始图像的大小比例的尺寸点以及适合度点存放在适合度表中。图7的例子中，适合度点是对焦点与尺寸点的相加值，但未必一定要是相加值。关于对焦点，面部图像越不模糊，点数越大，关于尺寸点，面部图像相对于原始图像的大小比例越大，点数越大。适合度点越大，越会成为适合于打印的图像。面部的适合度点根据原始图像内的面部的尺寸、原始图像内的位置、对焦于面部的程度、微笑程度、眼睛的开闭、面部的朝向、面部相像度的得分等、表示面部的适合度的多个指标中的一个以上来计算即可。
通过学校照片服务器20的CPU21计算这些对焦点、尺寸点以及适合度点。但也可以通过除学校照片服务器20以外的其他计算机来计算。适合度表存放在学校照片服务器20的存储器29中。
图8是面部相似度表的一例。
面部相似度表存放被存放在面部图像数据库25中的面部图像F1至面部图像Fm的面部图像彼此之间的相似度。面部相似度在0至1.0之间，越相似，面部相似度越大。如果是同一面部图像彼此，则面部图像相似度为1.0。
例如，面部图像F1与面部图像F2的面部相似度为0.2，可知并不相似。即，可知面部图像F1的人与面部图像F2的人并非同一人。相对于此，面部图像F1与面部图像F5的面部相似度为0.88，可知面部图像F1的人与面部图像F5的人是同一人的可能性较高。存放在面部相似度表中的相似度也通过学校照片服务器20的CPU21来计算，但也可以通过除学校照片服务器20以外的计算机来计算。面部相似度表存放在学校照片服务器20的存储器29中。
图9是表示学校照片服务器20的处理步骤的流程图。
图9所示的流程图示出计算上述面部相似度等的处理步骤。
通过CPU21从存放在原始图像数据库24中的原始图像中读取未进行图9所示的处理的未处理原始图像(步骤31)。通过CPU21对所读取的未处理原始图像进行面部图像检测处理(步骤32)。检测出的面部图像通过CPU21保存于面部图像数据库25中(步骤33)。并且，从检测出的面部图像中通过CPU21检测面部特征量(步骤34)。面部特征量表示构成面部的眼睛、鼻子等的形状和它们的相对位置关系、面部表面的颜色和浓淡分布等，用于计算面部彼此之间的相似度。检测出的面部特征量按照各面部图像存放在存储器29中(步骤35)。并且，与检测出的面部图像对应地进行检测出面部图像的原始图像的识别数据(文件名)、原始图像中的面部的坐标、检测出面部图像的原始图像是否为集合图像的信息的检测，这些信息存放在图6所示的相关信息表中。此外，对于检测出的面部图像，通过CPU21计算对焦点以及尺寸点，得到适合度点。对焦点、尺寸点以及适合度点按照各面部图像存放在图7所示的适合度表中。
对于一个未处理原始图像所含的所有面部图像，重复步骤34以及步骤35的处理(步骤36)。若对于一个未处理原始图像所含的所有面部图像，步骤34以及步骤35的处理结束(步骤36中的是)，则对于存放在原始图像数据库24中的所有原始图像1至原始图像n，确认步骤31至步骤36的处理是否结束(步骤37)。若对于所有原始图像1至原始图像n，步骤31至步骤36的处理结束(步骤37中的是)，则利用存放在存储器29中的面部特征量，通过CPU21计算面部图像彼此之间的相似度(步骤38)。算出的相似度通过CPU21存放在如图8所示的面部相似度表中(步骤39)。
通过进行上述处理，生成相关信息表、适合度表、面部相似度表等而存放在存储器29中。
图10～图12是表示学校照片系统的处理步骤的流程图。另外，在图10～图12中，左侧的流程图示出用户终端1中的处理步骤，右侧的流程图示出学校照片服务器20中的处理步骤。
该处理步骤比较简单地找出存放在面部图像数据库25中的许多面部图像中用户要找的人的面部图像且适合于打印的面部图像。
操作用户终端1的用户向用户终端1输入用户ID。从用户终端1向学校照片服务器20发送学校照片网页请求以及用户ID(步骤51)。
若在学校照片服务器20中接收从用户终端1发送的学校照片网页请求以及用户ID，则通过CPU21生成如图13所示的包含学校照片窗口90的学校照片网页(步骤71)。已生成的学校照片网页从学校照片服务器20发送至用户终端1(步骤72)。
若在用户终端1中接收从学校照片服务器20发送的学校照片网页，则在用户终端1的显示装置4的显示画面上显示图13所示的包含学校照片窗口90的学校照片网页(步骤52)。
参照图13，窗口90包括第1面部图像显示区域91、第2面部图像显示区域92以及第3面部图像显示区域93。第1面部图像显示区域91中显示有存放在面部图像数据库25中的许多面部图像。通过学校照片服务器20的CPU21、通信装置22以及通信控制装置23(第1显示控制单元的一例)，从多个原始图像中检测出的多个检测面部图像中的至少一个以上的面部图像显示在第1面部图像显示区域。并且，窗口90还包括在发出进行接下来的处理的指令时由用户点击的下一步按钮94。
用户终端1的用户使用鼠标(第1面部图像指定单元的一例)点击从显示在第1面部图像显示区域91的面部图像中想要找出的人的面部图像(例如，存放在面部图像数据库25中的面部图像为学校学生的面部图像，若用户是学生的监护人，则会变成自己的孩子的面部图像或相识的孩子的面部图像)(步骤53)(面部图像的指定)。若由用户进行点击(步骤53中的是)，被点击的面部图像的识别数据从用户终端1发送至学校照片服务器20(步骤54)。
若在学校照片服务器20中接收从用户终端1发送的识别数据，则通过用于查找与由用户终端1的用户指定的面部图像相似的面部图像的特定面部图像和CPU21确定由该接收的识别数据特别指定的面部图像(步骤73)。(第1特定面部图像确定单元的一例)
图18是特定面部表的一例。
特定面部表按照各用户存放根据用户的指定而确定的特定面部图像，且存放在存储器29中。例如，用户终端1的用户是第1用户1，由该第1用户1指定面部图像F1，若面部图像F1确定为特定面部图像，则与第1用户1对应而特别指定特定面部图像F1的数据存放在特定面部表中。
返回图10，通过CPU21生成已确定的特定面部图像显示在第3面部图像显示区域的学校照片网页(步骤74)。已生成的学校照片网页从学校照片服务器20发送至用户终端1(步骤75)。
若在用户终端1中接收从学校照片服务器20发送的学校照片网页，则在用户终端1的显示装置4的显示画面上显示如下窗口90，该窗口90中，如图14所示那样在第3面部图像显示区域93显示有用户点击的面部图像F1(步骤55)。
并且，在学校照片服务器20中，从图8所示的相似度表中找到如上述那样确定的特定面部图像与多个检测面部图像(最初的多个检测面部图像为存放在面部图像数据库25中的面部图像，如后述那样，多个检测面部图像被更新。)之间的相似度(步骤76)。根据找到的相似度和存放在适合度表中的适合度点(适合度的一例)，通过CPU21计算作为与已确定的特定面部图像相似的面部图像而显示的优先级(步骤77)。算出的优先级存放在检测面部图像表中。
图19是检测面部图像表的一例。
检测面部图像表按照各用户生成，且存放在存储器29中。
图19所示的检测面部图像表是在特定面部图像设为面部图像F1时的表。检测面部图像表中包含与面部图像F1的面部图像相似度、适合度点、优先级点(优先级的一例)、优先顺序以及相似面部图像候选等项目。优先级点由面部相似度与适合度点的乘积来获得。按照优先级点的大小顺序确定优先顺序。优先顺序与已确定的特定面部图像(该情况下为面部图像F1)相似，且表示作为适合于打印的面部图像而显示在第2面部图像显示区域92的顺序。相似面部图像候选是关于成为候选的面部图像的信息，所述候选作为相似面部图像候选而显示在第2面部图像显示区域92。与相似面部图像候选的项目“相当”的面部图像(例如，面部图像F3、F4等)为显示在第2面部图像显示区域92的面部图像，与相似面部图像候选的项目“不相当”的面部图像(例如，面部图像F2、F5等)为眼下未显示在第2面部图像显示区域92的面部图像。
通过CPU21生成检测面部图像表的优先顺序为1至15的15个的面部图像(具有第规定数个为止的优先级的检测面部图像)作为相似面部图像候选而显示在第2面部图像显示区域92的学校照片网页(步骤78)。设为15个(规定数个)面部图像显示在第2面部图像显示区域92，但并非一定是15个。也可以设为少于15个或多于15个的面部图像显示在第2面部图像显示区域92。已生成的学校照片网页从学校照片服务器20发送至用户终端1(步骤79)。
若在用户终端1中接收从学校照片服务器20发送的学校照片网页，则在用户终端1的显示装置4的显示画面上显示在第2面部图像显示区域92显示有相似面部图像候选的窗口90(步骤56)。
图15是在第2面部图像显示区域92显示有相似面部图像候选的窗口90的一例。
在第2面部图像显示区域92显示有如上述那样已确定为相似面部图像候选的面部图像F6、F9等。在第1面部图像显示区域91显示有除已确定为相似面部图像候选的面部图像以外的面部图像以及除特定面部图像以外的面部图像。在第3面部图像显示区域93显示有如上述那样由用户指定的面部图像(特定面部图像)。
如此，通过学校照片服务器20的CPU21、通信装置22以及通信控制装置23(第2显示控制单元的一例)，能够将具有第规定数个为止的优先级的检测面部图像按照优先级的高低顺序，作为相似度面部图像候选而显示在第2面部图像显示区域92。
若由用户终端1的用户使用鼠标点击显示在第2面部图像显示区域92的面部图像(相似面部图像候选)中的任意面部图像(第2面部图像指定单元的一例)(步骤57中的是)，则被点击的面部图像的识别数据从用户终端1发送至学校照片服务器20(步骤58)。
若在学校照片服务器20中接收从用户终端1发送的识别数据，则通过特定面部图像和CPU21确定由该识别数据特别指定的面部图像(步骤80)(第2特定面部图像确定单元)。在特定面部表中存放特定面部图像的识别数据。通过CPU21生成新确定的特定面部图像显示在第3面部图像显示区域的学校照片网页(步骤81)，已生成的学校照片网页从学校照片服务器20发送至用户终端1(步骤82)。
若在用户终端1中接收从学校照片服务器20发送的学校照片网页，则在用户终端1的显示装置4的显示画面上显示如下窗口90，该窗口90中，如图16所示那样在第3面部图像显示区域93显示有新确定为特定面部图像的面部图像(该情况下，为面部图像F6、F15)(步骤59)。
图16是学校照片窗口90的一例。
由用户指定的面部图像F1、F6以及F15作为特定面部图像而显示在第3面部图像显示区域93。
这样，通过学校照片服务器20的CPU21、通信装置22以及通信控制装置23(第3显示控制单元)，能够将显示在第2面部图像显示区域92的面部图像中使用鼠标(第2面部图像指定单元)指定的面部图像显示在第3面部图像显示区域93。
参照图12，若由用户终端1的用户点击下一步按钮94(步骤60中的是)，则按钮点击指令从用户终端1发送至学校照片服务器20(步骤61)。
若在学校照片服务器20中接收从用户终端1发送的按钮点击指令，则通过CPU21从检测面部图像表(参照图19)中删除关于优先顺序为第1至第15的面部图像的数据(步骤83)。关于检测面部图像表中剩余的面部图像，从多个检测面部图像除去用户使用鼠标(第1面部图像指定单元的一例)指定的面部图像和已显示在第2面部图像显示区域的面部图像而得的面部图像被设为新的多个检测面部图像(第1更新单元的处理例)。如此，检测面部图像表中剩余的面部图像设为新的多个检测面部图像，检测面部图像表的优先顺序以及相似面部图像候选得到更新(步骤86)，并通过CPU21生成更新后的优先顺序为第1至第15的面部图像显示在第2面部图像显示区域92的学校照片网页(步骤78)。已生成的学校照片网页从学校照片服务器20发送至用户终端1(步骤79)。
若在用户终端1中接收从学校照片服务器20发送的学校照片网页(步骤62中的是)，则在用户终端1的显示装置4的显示画面上，如图17所示，在第2面部图像显示区域92显示更新后的优先顺序为第1至第15的面部图像(步骤56)。如此，通过CPU21(控制单元的一例)重复在第2面部图像显示区域显示作为相似面部图像候选的面部图像的处理(由第2显示控制单元进行的处理例)、将已指定的面部图像显示在第3面部图像显示区域的处理(由第3显示控制单元进行的处理例)、从已显示在第2面部图像显示区域的面部图像中作为特定面部图像而确定的处理(由第2特定面部图像确定单元进行的处理例)。
已显示在第1面部图像显示区域91的面部图像中与由用户指定的面部图像(特定面部图像)F1相似的面部图像且适合于打印的面部图像按照优先级顺序(推荐顺序)显示在第2面部图像显示区域92，而对于已显示在第2面部图像显示区域92的面部图像，从多个检测面部图像中被删除，并在已更新的多个检测面部图像中再次重复进行与由用户指定的面部图像F1相似的面部图像且适合于打印的面部图像按照优先级顺序显示在第2面部图像显示区域92的处理，因此能够以比较短的时间找到适合于打印的面部图像且想要查找的人的面部图像。
上述实施例中，找到了与已确定为最初的特定面部的面部图像F1相似的面部图像且适合于打印的面部图像，但不仅是已确定为最初的特定面部的面部图像F1，如图16所示，也可以将与新确定为特定面部的面部图像F6或面部图像F15相似的面部图像且适合于打印的面部图像，以与上述相同的方式显示在第2面部图像显示区域92。该情况下，按照各已确定的特定面部(例如，按照各面部图像F1、F6、F15)生成图19所示的检测面部图像表，根据已生成的所有检测面部图像表中的优先级点确定优先顺序，并将优先顺序为第1至第15的面部图像作为相似面部图像候选而显示在第2面部图像显示区域即可。由此，根据与显示在第2面部图像显示区域92的面部图像中的至少一个以上的特定面部图像的相似度和适合度，对多个检测面部图像计算优先级。该情况下，也当然优选从检测面部图像表中删除已显示在第2面部图像显示区域92的面部图像，并如上述那样进行更新处理。
在上述实施例中，已确定的特定面部图像显示在第3面部图像显示区域93，但可以设为不进行显示。并且，可设为在第2面部图像显示区域92作为相似面部图像候选而显示的面部图像按照优先级的高低顺序(按照优先顺序)进行显示，也可以并非一定要如此显示。
图20是表示学校照片网页生成处理步骤(图10的步骤74、图11的步骤78、图12的步骤81的处理步骤等)的变形例的流程图。
该处理步骤中，在由用户指定的特定面部图像已经由其他用户指定为特定面部图像时，向用户发出警告。
参照图18所示的特定面部表判断由用户指定的特定面部是否是由其他用户已经指定的面部图像(步骤101)。
当由用户(第1用户)指定的特定面部是由其他用户(第2用户)已经指定的面部图像时(步骤101中的是)，通过CPU21(第1警告单元的一例)，生成包含对用户的警告在内的学校照片网页(步骤102)。当由用户指定的特定面部不是由其他用户已经指定的面部图像时(步骤101中的否)，通过CPU21生成不包含这种警告的学校照片网页(步骤103)。
图21是包含对用户的警告在内的学校网页所含的窗口90的一例。
如上所述，当由用户指定的特定面部是由其他用户已经指定的面部图像时，在第3面部图像显示区域93(可以并非一定显示在第3面部图像显示区域，也可以显示在其他区域)显示警告语句95。通过察看该警告语句95，用户可知存在错误地指定面部图像的可能性。这样，能够根据由第2用户已经指定的面部图像被第1用户使用鼠标(第1面部图像指定单元以及第2面部图像指定单元的一例)指定的情况来发出警告，所述第2用户与使用鼠标(第1面部图像指定单元以及第2面部图像指定单元的一例)指定了面部图像的第1用户不同。
图22是表示优先级计算处理步骤(图11，步骤77的处理步骤)的变形例的流程图。
在该优先级计算处理步骤中，如上所述，降低对于由其他用户(第2用户的一例)指定的面部图像的优先级，所述其他用户(第2用户的一例)与使用用户终端1的鼠标(第1面部图像指定单元、第2面部图像指定单元)指定了面部图像的用户(第1用户的一例)不同。
首先，参照特定面部表确认由操作用户终端1的用户指定的特定面部图像是否为由其他用户已经指定为特定面部图像的面部图像(步骤105)。若是由其他用户已经指定为特定面部图像的面部图像(步骤105中的是)，则如上述那样，根据与已指定的面部图像之间的相似度和适合度计算优先级(步骤106)，并通过CPU21(第1优先级校正单元)降低算出的优先级(步骤107)。例如，通过算出的优先级乘以大于0且小于1的系数来降低算出的优先级。认为由其他用户已经指定为特定面部图像的面部图像是操作用户终端1的用户所查找的面部图像的情况较少，因此通过降低优先级，显示在第2面部图像显示区域92的概率变低。但是，还可能存在其他用户误指定为特定面部图像的情况，因此在优先级降低之前的优先级比较高的情况下，即使降低了优先级，优先顺序也较高，因此会显示在第2面部图像显示区域92，能够对其他用户误指定的特定面部图像也进行指定。若不是由其他用户已经指定为特定面部图像的面部图像(步骤105中的否)，则对于根据相似度和适合度计算的优先级(步骤108)不进行降低优先级的处理。
图23是表示学校照片系统的处理步骤的一部分的流程图。另外，在图23中，左侧的流程图示出用户终端1中的处理步骤，右侧的流程图示出学校照片服务器20中的处理步骤。
如上所述，若从用户终端1向学校照片服务器20发送学校照片网页请求以及用户ID(步骤51)，并在学校照片服务器20中接收这些请求以及用户ID，则从多个检测面部图像中除去除已请求的用户以外的用户指定为特定面部的面部图像(步骤70)。当从用户终端1发送了学校照片请求时，存放在面部图像数据库25中的所有面部图像被设为多个检测面部图像，因此从这种多个检测面部图像中除去除已请求的用户以外的用户指定为特定面部的面部图像。通过参照特定面部图像表，可知是否为除已请求的用户以外的用户指定为特定面部的面部图像。从存放在面部图像数据库25中的所有面部图像中除去除已请求的用户以外的用户指定为特定面部的面部图像而得的面部图像通过CPU21被设为新的多个检测面部图像(第2更新单元的处理例)。生成如该新的多个检测面部图像显示在第1面部图像显示区域91这样的学校照片网页(步骤71)，已生成的学校照片网页从学校照片服务器20发送至用户终端1(步骤72)。
如此，将从多个检测面部图像中除去由第2用户已经指定的面部图像而得的面部图像设为新的多个检测面部图像，所述第2用户与使用用户终端1的鼠标(第1面部图像指定单元以及第2面部图像指定单元的一例)指定了面部图像的第1用户不同。由此，显示在用户终端1的显示装置4的显示画面的学校照片网页所含的第1面部图像显示区域91中不显示由其他用户指定的面部图像，因此可事先防止将由其他用户指定的面部图像误指定为特定面部的情况。
图24是学校照片网页生成处理步骤(图12的步骤81的处理步骤)的变形例的一例。
该处理步骤中，当在图10的步骤53中用户使用鼠标(第1面部图像指定单元的一例)从显示在第1面部图像显示区域91的面部图像(多个检测面部图像的一例)中选择的面部图像与、在图12的步骤57中用户使用鼠标(第2面部图像指定单元的一例)从显示在第2面部图像显示区域92的面部图像(相似面部图像候选的一例)中选择的面部图像是从同一原始图像中检测出的面部图像时，或者当进行多次在图12的步骤57中用户使用鼠标(第2面部图像指定单元的一例)从显示在第2面部图像显示区域92的面部图像(相似面部图像候选的一例)中选择的处理而得到的多个面部图像是从同一原始图像中检测出的面部图像时，生成包含对用户的警告在内的学校照片网页。这是因为，用户所查找的面部图像为某特定的一人的面部图像等，且一个原始图像中包含多个面部图像时，该多个面部图像中的任意一个都不会是某特定的一人。
如上所述，确认由用户确定的至少两个特定面部图像是否是从同一原始图像中检测出的(步骤111)。能够通过参照相关信息表或适合度表来确认该情况。当是从同一原始图像中检测出的情况下(步骤111中的是)，通过CPU21生成包含对用户的警告语句(由第2警告单元进行的处理例)在内的学校照片网页(步骤112)。当并非从同一原始图像检测出的情况下(步骤111中的否)，生成不包含警告语句的学校照片网页(步骤113)。已生成的学校照片网页从学校照片网络服务器20发送至用户终端1。
图25是显示在用户终端1的显示装置4的显示画面的学校照片网页所含的窗口90的一例。
在第3面部图像显示区域93显示有警告语句95。警告语句95也可以显示在除第3面部图像显示区域93以外的区域。用户通过察看警告语句95，可知存在作为特定面部图像显示在第3面部图像显示区域93的面部图像中包含除所查找的面部图像以外的面部图像的可能性。这样，能够根据用户终端1的用户使用鼠标(第1面部图像指定单元以及第2面部图像指定单元的一例)指定的至少两个面部图像是从同一原始图像中检测出的情况来发出警告。
图26是表示优先级计算处理步骤(图11的步骤77的处理步骤)的变形例的流程图。
该处理步骤中，降低对已确定为特定面部图像的原始图像所含的面部图像中除去特定面部图像而得的面部图像的优先级。
首先，参照相关信息表确认是否对从与已经确定的特定面部图像相同的原始图像中检测出的面部图像计算优先级(步骤115)。当对这种面部图像计算优先级时(步骤115中的是)，根据相似度和适合度计算面部图像的优先级(步骤116)，并通过CPU21降低算出的优先级(步骤117)(第2优先级校正单元的操作例)。这是因为，认为用户所查找的面部图像是关于某一人的面部图像，在这种情况下，认为在与特定面部图像相同的原始图像中不包含用户所查找的面部图像，因此降低显示在第2面部图像显示区域92的优先级。当对从与已经确定的特定面部图像相同的原始图像中检测出的面部图像不计算优先级时(步骤115中的否)，不进行降低优先级的处理(步骤118)。
在图26所示的处理中，降低了对从与已经确定的特定面部图像相同的原始图像中检测出的面部图像的优先级，但也可以不降低优先级，而设为在特定面部图像被确定时，通过CPU21从多个检测面部图像中删除已确定为特定面部图像的原始图像所含的面部图像中除去已确定为特定面部图像的面部图像而得的面部图像(删除单元的处理例)。例如，当A、B、C三人包含在同一原始图像中，且A的面部图像被选择为特定面部图像时，从多个检测面部图像中删除同一原始图像所含的B以及C的面部图像。由此，同一原始图像所含的B以及C的面部图像不会显示在第1面部图像显示区域91。图19所示的检测面部图像表中不存放关于已确定为特定面部图像的原始图像所含的面部图像中除去已确定为特定面部图像的面部图像而得的面部图像的信息即可。例如，当A、B、C三人包含在同一原始图像中，且A的面部图像被选择为特定面部图像时，在图19中，若A的面部图像为面部图像F1，B的面部图像为F2，C的面部图像为F3，则从检测面部图像表中删除面部图像F2以及面部图像F3。由此，可事先防止B的面部图像F2以及C的面部图像显示在第2面部图像显示区域92。
图27是表示优先级计算处理步骤(图11的步骤77的处理步骤)的其他变形例的流程图。
该处理步骤中，对于同一原始图像所含的多个面部图像，适合度越低，越降低优先级。通过参照相关信息表，可知是否包含在同一原始图像中。
确认是否对从一个同一原始图像中检测出的面部图像计算优先级(步骤121)。若对从一个同一原始图像中检测出的面部图像计算优先级(步骤121中的是)，则通过CPU21降低根据相似度和适合度算出的优先级(步骤122)中适合度低的面部图像的优先级(步骤123)(第3优先级校正单元的处理例)。若不对从一个同一原始图像中检测出的面部图像计算优先级(步骤121中的否)，则不进行降低适合度低的面部图像的优先级的处理(步骤124)。适合度高的面部图像变得容易显示在第2面部图像显示区域92。
图28是表示学校照片系统的处理步骤的一部分的流程图。另外，在图28中，左侧的流程图示出用户终端1中的处理步骤，右侧的流程图示出学校照片服务器20中的处理步骤。
该处理步骤中，将同一用户进行上一次学校照片服务器20的处理时，根据与已确定的特定面部图像之间的相似度和适合度对多个检测面部图像算出的优先级的靠前第15个(第规定数个的一例)为止的面部图像作为相似面部图像候选而显示在第2面部图像显示区域92。
若用户ID以及学校照片网页从用户终端1发送至学校照片服务器20(步骤51)，则从特定面部表中读取由该用户ID特别指定的用户在上一次处理时指定的特定面部图像。如果需要，特定面部表中还存放用户指定的特定面部图像的指定日期等，以便得知在上一次处理时指定的特定面部图像是哪个。根据在上一次处理时指定的特定面部图像对多个检测面部图像(如上述那样被更新，且检测面部图像表中剩余的面部图像)计算优先级，以算出的优先级的靠前15个的面部图像显示在第2面部图像显示区域92的方式通过CPU21生成学校照片网页(步骤71A)。已生成的学校照片网页从学校照片服务器20发送至用户终端1(步骤72)。并且，对于在上一次处理时指定的特定面部图像，也可以对存放在面部图像数据库25中的所有检测面部图像计算优先级，算出的优先级的靠前15个的面部图像显示在第2面部图像显示区域92。
使用在上一次处理时指定的特定面部图像确定作为相似面部图像候选而显示在第2面部图像显示区域92的面部图像，因此可缩短面部图像显示在第2面部图像显示区域92为止的时间。这样，通过学校照片服务器20的CPU21、通信装置22以及通信控制装置23(第4显示控制单元的操作例)，在上一次处理时具有第规定数个为止的优先级的面部图像作为相似面部图像候选而显示在第2面部图像显示区域92。
图29是表示学校照片系统的处理步骤的一部分的流程图。另外，在图29中，左侧的流程图示出用户终端1中的处理步骤，右侧的流程图示出学校照片服务器20中的处理步骤。
如上所述，若从用户终端1向学校照片服务器20发送学校照片网页请求以及用户ID(步骤51)，且在学校照片服务器20中接收这些请求以及用户ID，则通过学校照片服务器20的CPU21，存放在面部图像数据库25中的多个检测面部图像中从集合图像(包含多个面部图像的原始图像)中检测出的面部图像设为新的多个检测面部图像。通过CPU21生成如该新的多个检测面部图像显示在第1面部图像显示区域91这样的学校照片网页(步骤71B)。已生成的学校照片网页从学校照片服务器20发送至用户终端1(步骤72)。
若在用户终端1中接收从学校照片服务器20发送的学校照片网页，则在用户终端1的显示装置4的显示画面上显示在第1面部图像显示区域91显示有从集合图像中检测出的面部图像的学校照片网页。
图30是表示学校照片系统的处理步骤的一部分的流程图。另外，在图30中，左侧的流程图示出用户终端1中的处理步骤，右侧的流程图示出学校照片服务器20中的处理步骤。
用户拥有的一个以上的原始图像(1个或多个原始图像)和学校照片网页请求从用户终端1发送至学校照片服务器20(步骤131)。
在学校照片服务器20中，在通信装置22(输入多个原始图像的原始图像输入单元的一例)接收从用户终端1发送的一个以上的原始图像，并存放在原始图像数据库24中。根据存放在原始图像数据库24中的多个原始图像中从用户终端1发送的一个以上的原始图像，通过CPU21检测多个面部图像(面部图像检测单元的处理例)。检测出的一个以上的面部图像存放在面部图像数据库25中。并且，通过CPU21生成将检测出的一个以上的面部图像设为特定面部图像选择用面部图像的学校照片网页(步骤142)。已生成的学校照片网页从学校照片服务器20发送至用户终端1(步骤143)。
若在用户终端1中接收从学校照片服务器20发送的学校照片网页，则在用户终端1的显示装置4的显示画面上显示包含特定面部图像选择用面部图像的学校照片网页(步骤132)。
图31是显示在用户终端1的显示装置4的显示画面的学校照片网页的一例。
学校照片网页所含的窗口90除包括第1面部图像显示区域91、第2面部图像显示区域92以及第3面部图像显示区域93以外，还包括特定面部选择用面部图像显示区域150。
特定面部选择用面部图像显示区域150包括：显示由用户输入的原始图像的原始图像显示区域151；显示从原始图像中检测出的面部图像152、153以及154的区域；显示有确定文字的确定按钮155以及显示有取消文字的取消按钮156。作为特定面部而选择的面部图像在面部图像152、153以及154中时，由用户使用鼠标点击所选择的面部图像。若在点击后点击确定按钮155，则进行面部图像的选择，若在点击后点击取消按钮156，则取消被点击的面部图像的选择。
返回图30，若由用户选择特定面部选择用面部图像中任意的面部图像(步骤133中的是)，则所选择的面部图像的识别数据从用户终端1发送至学校照片服务器20(步骤134)。
若在学校照片服务器20中接收从用户终端1发送的识别数据，则由该识别数据特别指定的面部图像通过学校照片服务器20的CPU21确定为特定面部(步骤144)。生成已确定的特定面部显示在第3面部图像显示区域的学校照片网页(步骤145)，已生成的学校照片网页从学校照片服务器20发送至用户终端1(步骤146)。
如图14所示，在用户终端1的显示装置4的显示画面上显示在第3面部图像显示区域93显示了特定面部的窗口90。
这样，对于从用户发送的原始图像中检测出的检测面部图像，通过学校照片服务器20的CPU21，当然也能计算适合度(适合度计算单元)。
图32～图35是关于显示预想张数的处理的图。
图32是表示预想张数计算处理步骤(图11的步骤77的处理中进行的处理步骤)的流程图。
首先，通过CPU21计算作为相似面部图像候选已显示在第2面部图像显示区域92的面部图像张数以及由用户指定的特定面部图像的张数(步骤161)。根据这些张数，如下通过CPU21(预想张数计算单元的一例)计算预想张数(步骤162)。
图33示出面部图像呈现率与特定面部图像收集率之间的关系。
面部图像呈现率表示相对于存放在面部图像数据库25中的所有检测面部图像的、作为相似面部图像候选而显示在第2面部图像显示区域92的面部图像的比例。当以由面部图像呈现率表示的比例显示作为面部图像候选的面部图像时，特定面部图像收集率表示存放在面部图像数据库25中的所有检测面部图像中认为由用户指定的特定面部图像的比例。例如，面部图像呈现率为2％时特定面部图像收集率约为50％，表示面部图像呈现率为2％时存放在面部图像数据库25中的检测面部图像所含的可能由用户指定的面部图像中50％的面部图像指定为特定面部图像。面部图像呈现率为3％时特定面部图像收集率约为60％，面部图像呈现率为5％时特定面部图像收集率约为70％，面部图像呈现率为10％时特定面部图像收集率约为80％，面部图像呈现率为15％时特定面部图像收集率约为90％，面部图像呈现率约为30％时特定面部图像收集率约为100％。若面部图像呈现率成为约30％，则成为用户查找的所有面部图像指定为特定面部图像。可通过使用样品进行实际操作而得到这些面部图像呈现率与特定面部图像收集率之间的关系。
能够由面部图像呈现率的函数f表示特定面部图像收集率，因此能够由特定面部图像收集率＝f(面部图像呈现率)来表示。并且，若将存放在面部图像数据库25中的多个检测面部图像的张数设为a张、将已经作为相似面部图像候选而显示在第2面部图像显示区域92的面部图像的张数设为b张、将已经指定为特定面部图像的面部图像的张数设为c张，则式1成立。
预想张数＝c张×{100/f(100×b张/a张)}-c张……式1
式1中，c张×{100/f(100×b张/a张)}这项表示存放在面部数据库25中的所有检测面部图像中所含的由用户指定的特定面部图像的预想张数。
假设，若存放在面部数据库25中的多个检测面部图像设为1000张(a＝1000)、已经作为相似面部图像候选而显示在第2面部图像显示区域92的面部图像的张数设为100张(b＝100)、已经指定为特定面部图像的面部图像的张数设为10张(c＝10)，则式1成为式2。
预想张数＝10×{100/f(100×100/1000)}-10……式2
式2中，f(100×100/1000)成为式3。
f(100×100/1000)＝f(10)……式3
特定面部图像收集率＝f(面部图像呈现率)，因此根据图33所示的特定面部图像收集率与面部图像呈现率之间的关系，式3成为式4。
f(10)＝80……式4
根据式3以及式4，式2成为式5。
预想张数＝10×(100/80)-10……式5
求解式5，则用户指定为特定面部图像的面部图像的剩余的预想张数成为2.5。
返回图32，若算出的张数成为一定张数以下(例如，1张以下)(步骤163中的是)，则认为存放在面部图像数据库25中的所有多个检测面部图像中未显示在第2面部图像显示区域92的检测面部图像中几乎没有剩下用户所查找的面部图像。为此，构建不存在标志(步骤164)。若算出的张数不是一定张数以下(步骤163中的否)，则认为存放在面部图像数据库25中的所有多个检测面部图像中未显示在第2面部图像显示区域92的检测面部图像中还剩下一定张数以上的用户所查找的面部图像，因此跳过步骤164的处理。
图34是学校照片网页所含的窗口90的一例。
若如上述那样计算预想张数，则该算出的张数显示在第3面部图像显示区域93(也可以显示在除第3面部图像显示区域93以外的区域)。在第3面部图像显示区域93形成预想张数显示区域97，在该预想张数显示区域97显示算出的预想张数。如图34所示，通过学校照片服务器20的CPU21生成显示预想张数显示区域97的学校照片网页，已生成的学校照片网页从学校照片服务器20发送至用户终端1，由此，如图34所示的窗口90显示在用户终端1的显示装置4的显示画面。如此，通过学校照片服务器20的CPU21、通信装置22以及通信控制装置23(第4显示控制单元的一例)显示预想张数。
并且，当如上述那样(图32的步骤164的处理)构建了不存在标志时，通过学校照片服务器20的CPU21生成包含如图35所示的窗口90在内的学校照片网页。
参照图35，在第3面部图像显示区域93形成有警告区域98。警告区域98中显示有“所查找的面部大概已经几乎没有。”，通知用户所查找的面部图像大概没有剩余的情况。警告区域98当然也可以显示在除第3面部图像显示区域93以外的区域。如此，通过学校照片服务器20的CPU21生成包含图35所示的窗口90在内的学校照片网页，由此能够对用户发出警告(第3警告单元的一例)。
图36是表示学校照片系统的处理步骤的流程图。另外，在图36中，左侧的流程图示出用户终端1中的处理步骤，右侧的流程图示出学校照片服务器20中的处理步骤。
如已上述那样，在由用户选择特定面部之后进行该处理步骤。
从用户终端1向学校照片服务器20发送原始图像/缩略原始图像的请求(步骤171)。
若在学校照片服务器20中接收从用户终端1发送的请求，则在存放在原始图像数据库24中的原始图像以及缩略原始图像(根据原始图像生成缩略原始图像，该缩略原始图像也存放在原始图像数据库24中)中包含用户所选的特定面部图像在内的原始图像以及缩略原始图像上标注标记(步骤173)。标有标记的原始图像和标有标记的缩略原始图像以及未标有标记的原始图像和未标有标记的缩略原始图像从学校照片服务器20发送至用户终端1(步骤74)。
若在用户终端1中接收原始图像以及缩略原始图像，则在用户终端1的显示装置4的显示画面上显示原始图像以及缩略原始图像(步骤172)。
图37是缩略原始图像一览显示窗口180的一例。
在缩略原始图像一览显示窗口180中一览显示存放在原始图像数据库24中的许多缩略原始图像。对于所显示的缩略原始图像181、182、183等中包含由用户选择为特定面部的面部图像在内的缩略原始图像，在其周围标注标记(星标记)184。用户通过察看标记184，能够确认包含所选择的面部图像的缩略原始图像。若需要打印，则与该缩略原始图像对应的原始图像的打印指令从用户终端1发送至学校照片服务器20。可以不显示缩略原始图像，而是标注标记而显示原始图像本身，也可以标注标记而显示原始图像和缩略原始图像这二者。并且，电可以不是标记184，而是以矩形等形状185包围与所选择的特定面部对应的部分。这种形状185也成为标记。通过从相关信息表中读取选择为特定面部的面部图像的面部的坐标，从而可知包围位置。
这样，通过学校照片服务器20的CPU21、通信装置22以及通信控制装置23，能够在包含显示在第3面部图像显示区域93的面部图像在内的原始图像或原始图像的缩略图像上标注标记而显示(第5显示控制单元)。
图36以及图37所示的实施例中，在包含用户所选的特定面部图像在内的原始图像或缩略原始图像上标注标记而显示，但也可以不是特定图像，而是在包含更新显示在第1面部图像显示区域91的新的多个检测面部图像中的各自的面部图像在内的原始图像或原始图像的缩略原始图像上标注表示是未确认的情况的标记，从而通过CPU21、通信装置22以及通信控制装置23来显示(第7显示控制单元的处理例)。例如，在图37中，倘若星标记184是表示是未确认的情况的标记，则原始图像181所含的面部图像是如上述那样并未由用户显示在第2面部图像显示区域92的图像，可知是未确认的原始图像或缩略原始图像。
并且，也可以设为图37的原始图像183所示的形状185表示未确认的面部图像。该情况下，以形状185包围的面部图像成为如下情况，即，对未确认原始图像或未确认缩略原始图像中显示在第1面部图像显示区域91的面部图像(新的多个检测面部图像所含的面部图像)，以形状185标注表示是未确认的情况的标记。这种显示也通过学校照片服务器20的CPU21、通信装置22以及通信控制装置23来控制(第7显示控制单元的处理例)。
图38是表示学校照片系统的处理步骤的流程图，与图36对应。另外，在图38中，左侧的流程图示出用户终端1中的处理步骤，右侧的流程图示出学校照片服务器20中的处理步骤。
若原始图像请求从用户终端1发送至学校照片服务器20(步骤191)，且在学校照片服务器20中接收该请求，则通过学校照片服务器20的CPU21生成对用户所选的特定面部标注标记且用户所选的特定面部配置并显示在检测出特定面部的原始图像的周围的数据(步骤193)。已生成的数据从学校照片服务器20发送至用户终端1(步骤194)。
若在用户终端1中接收从学校照片服务器20发送的数据，则在显示装置4的显示画面上显示原始图像(步骤192)。
图39是显示在用户终端1的显示装置4的显示画面的原始图像显示窗口的一例。
原始图像显示窗口230中存在显示包含已选择为特定面部的面部图像在内的原始图像的区域206，在该区域的上侧(周围的一例)显示有从区域206中检测出的面部图像201、202以及203。对于这些面部图像201、202以及203中由用户指定的特定面部，标注有标记205。由于显示原始图像和从原始图像中检测出的面部图像201、202以及203，且对于特定面部，在面部图像201上标注有标记205，因此能够确认用户从哪个原始图像中选择了特定面部以及选择了哪种特定面部。
这样，通过学校照片系统20的CPU21、通信装置22以及通信控制装置23，能够对特定面部图像标注标记而显示在检测出特定面部图像的原始图像的周围(第6显示控制单元的处理例)。
图38以及图39所示的实施例中，在用户所选的特定图像上标注标记而配置在检测出特定面部图像的原始图像的周围。但是，也可以对已显示在第1面部图像显示区域91的更新后的新的多个检测面部图像，在检测出面部图像的原始图像的周围标注星标记205而显示。就图39所示的例子而言，原始图像206所含的面部图像201、202以及203显示在原始图像206的周围，标有标记205的面部图像201表示是未显示在第2面部图像显示区域92的面部图像，且表示是未由用户确认的图像，未标有标记205的面部图像202以及面部图像203表示是已显示在第2面部图像显示区域92的面部图像，且表示是由用户确认的图像。这种显示也通过学校照片服务器20的CPU21、通信装置22以及通信控制装置23来控制(第8显示控制单元的处理例)。
图40是表示学校照片系统的处理步骤的一部分的流程图。另外，在图40中，左侧的流程图示出用户终端1中的处理步骤，右侧的流程图示出学校照片服务器20中的处理步骤。
从用户终端1输入想要找到面部图像的人的年级或班级(步骤211)，表示已输入的年级或班级的数据以及学校照片网页请求从用户终端1发送至学校照片服务器20(步骤212)。
在学校照片服务器20的通信装置22接收表示从用户终端1发送的年级或班级的数据以及学校照片网页请求(输入年级或班级的输入单元)，通过CPU21从存放在面部图像数据库25中的多个检测面部图像中找到相当于由所接收的数据表示的年级或班级的多个检测面部图像(步骤214)。通过CPU21生成如已找到的多个检测面部图像显示在第1面部图像显示区域91这样的学校照片网页(步骤215)，已生成的学校照片网页发送至用户终端1(步骤216)。
若在用户终端1中接收学校照片网页，则在显示装置4的显示画面上显示相当于已输入的年级或班级的多个检测面部图像显示在第1面部图像显示区域91的窗口90。
图41是表示学校照片服务器20的处理步骤的一部分的流程图。
首先，通过CPU21计算存放在面部图像数据库25中的多个检测面部图像的面部图像彼此之间的相似度(步骤221)。
如果是算出的相似度为阈值以上的面部图像彼此的情况(步骤222中的是)，则这种2以上的检测面部图像通过CPU21分组(步骤223)(群组化单元的处理例)。通过CPU21生成如已分组的2以上的检测面部图像按照各群组显示在第1面部显示区域91这样的学校照片网页(步骤224)。如果不是算出的相似度为阈值以上的面部图像彼此的情况(步骤222中的否)，则不会分组而生成如检测面部图像显示在第1面部图像显示区域91这样的学校照片网页(步骤225)。已生成的学校照片网页从学校照片服务器20发送至用户终端1(步骤226)。
图42是显示在学校照片网页的窗口90的一例。
如上所述，在第1面部图像显示区域91，按各群组显示有已分组的多个检测面部图像。用户使用用户终端1的鼠标点击从显示在第1面部图像显示区域91的群组中查找的人的面部图像的群组。然后，识别被点击的群组的数据从用户终端1发送至学校照片服务器20。若在学校照片服务器20中接收该识别数据，则在学校照片服务器20中生成如被点击的群组所含的面部图像显示在第3面部图像显示区域93这样的学校照片网页。已生成的学校照片网页从学校照片网络服务器20发送至用户终端1。然后，如图42所示，在显示装置4的显示画面上显示被点击的群组所含的面部图像显示在第3面部图像显示区域93的窗口90。
若在第3面部图像显示区域93显示已选择的群组所含的面部图像(是特定面部图像，该情况下设为面部图像F1、F6、F15)，则计算显示在第1面部图像显示区域91的多个检测面部图像群组中的代表性的面部图像与面部图像F1、F6以及F15中的至少一个面部图像之间的优先级。以包含优先级高的面部图像的靠前15群组显示在第2面部图像显示区域92的方式，在学校照片服务器20中生成学校照片网页。已生成的学校照片网页从学校照片服务器20发送至用户终端1。然后，如图43所示，在第2面部图像显示区域92显示如下群组，该群组包含与显示在第3面部图像显示区域93的特定面部图像F1、F6以及F15中的至少一个特定面部图像相似的相似面部图像候选。
用户使用鼠标点击与从显示在第2面部图像显示区域92的群组中想要找到的面部图像接近的面部图像的群组。然后，与上述方式相同地，识别该已点击的群组的数据从用户终端1发送至学校照片服务器20。通过学校照片服务器20的CPU21生成如由识别数据特别指定的群组所含的面部图像显示在第3面部图像显示区域93这样的学校照片网页，已生成的学校照片网页从学校照片服务器20发送至用户终端1。在用户终端1的显示装置4的显示画面上显示如下窗口90，该窗口90中，已显示在第2面部图像显示区域92的群组中被用户点击的群组所含的面部图像显示在第3面部图像显示区域93。
图44与图41对应，是表示学校照片服务器20的处理步骤的一部分的流程图。在图44中，对与图41的处理相同的处理标注相同符号并省略说明。
当摄影师、照片馆的员工等将原始图像存放在原始图像数据库24中时，用输入装置(年龄输入单元的一例)26输入被摄体的大致年龄(幼儿园小朋友的年龄、小学生的年龄等)(步骤231)。然后，通过CPU21，以所输入的年龄越低阈值越高的方式确定阈值(步骤232)。如上述那样计算多个检测面部图像彼此之间的相似度(步骤233)，根据算出的相似度进行分组。
年龄越低，面部越相似，很难判断是否是同一人。通过年龄越低，越提高阈值，由此能够避免将他人的面部彼此分为同一群组的误分组。
图45是表示学校照片系统的处理步骤的流程图。另外，在图45中，左侧的流程图示出用户终端1中的处理步骤，右侧的流程图示出学校照片服务器20中的处理步骤。该处理步骤是如上述那样在确定特定面部之后进行的处理步骤，是关于打印要求的处理步骤。
如上述那样从显示在第3面部图像显示区域93的特定面部图像中，通过点击选择要打印的面部图像(原始图像)(步骤241)。然后，已选择的特定面部图像的识别数据以及用户ID从用户终端装置1发送至学校照片服务器20(步骤242)。
若在学校照片服务器20中接收识别数据以及用户ID，则通过学校照片服务器20的CPU21按照各用户生成打印要求表(步骤243)。在学校照片服务器20中打印包含由识别数据特别指定的特定面部图像的原始图像(步骤244)。当在学校照片服务器20中进行打印时，当然在学校照片服务器20上连接打印机。
图46是打印要求表的一例。
打印要求表如上述那样按照各用户而生成，且按照用户所选的特定面部图像的识别数据而存放包含其面部图像的原始图像的要求(打印要求)的有无、面部图像的尺寸(例如，相对于原始图像的比例)、面部图像的位置、模糊状态、微笑程度、适合度。从相关信息表、适合度表等中读取存放在打印要求表中的信息，并通过CPU21生成未存放在这些表中的信息。这样，在打印要求表中按照各用户存储特定面部图像中要求打印的面部图像的特征。打印要求表存放在存储器29(特征存储单元的一例)中。
图47是表示优先级计算处理步骤(图11的步骤44的处理步骤)的一例的流程图。
如上所述，在找到特定面部图像的处理中，通过CPU21判断多个检测面部图像是否具有与用户要求打印的面部图像的特征接近的特征(步骤251)。若具有接近的特征(步骤251中的是)，则通过CPU21提高根据相似度和适合度算出的优先级(步骤252、253)(第4优先级校正单元的处理例)。若不具有接近的特征(步骤251中的否)，则不对算出的优先级进行与打印要求的特征对应的校正(步骤254)。
与用户的要求倾向对应的面部图像容易被显示在第2面部图像显示区域92。
图48是学校照片系统的处理步骤的一例。
从用户终端1发送至学校照片服务器20原始图像/缩略原始图像请求(步骤261)。若在学校照片服务器20中接收来自用户终端1的请求，则通过CPU21生成包含原始图像以及缩略原始图像中用户尚未确认的面部图像在内的在原始图像以及缩略原始图像上标注标记而显示的这种数据(步骤263)。用户尚未确认的面部图像是指多个检测面部图像中未显示在第2面部图像显示区域92的面部图像。表示标有标记的原始图像/缩略原始图像的数据从学校照片服务器20发送至用户终端装置1(步骤264)。
若在用户终端1中接收从学校照片服务器20发送的数据，则对于用户尚未确认的原始图像或缩略原始图像，标有标记的原始图像或缩略原始图像被显示在用户终端1的显示装置4的显示画面(步骤262)。
图49是显示在用户终端1的显示装置4的显示画面的缩略原始图像一览窗口的一例。
窗口270中显示有缩略图像271、272、273等。对这些缩略图像271、272、273等中尚未由用户确认的缩略图像271以及缩略图像273标注标记274。用户通过察看标记274可知尚未确认的面部图像。
符号说明
1-用户终端，20-学校照片服务器，21-CPU，22-通信装置，23-通信控制装置，24-原始图像数据库，25-面部图像数据库，26-输入装置，27-CD-ROM驱动器，28-CD-ROM，29-存储器。

Claims (29)

1.一种图像显示控制装置，其具备：
第1显示控制单元，将从多个原始图像中检测出的多个检测面部图像中的至少一个以上的面部图像显示在第1面部图像显示区域；
第1特定面部图像确定单元，将从通过上述第1显示控制单元显示在上述第1面部图像显示区域的上述至少一个以上的面部图像中由第1面部图像指定单元指定的面部图像确定为特定面部图像，上述特定面部图像用于查找与已指定的面部图像相似的面部图像；
第2显示控制单元，将具有第规定数目个为止的优先级的上述检测面部图像作为相似面部图像候选而显示在上述第2面部图像显示区域，上述优先级是根据相似度和适合度针对上述多个检测面部图像算出的优先级，上述相似度是上述多个检测面部图像的每个检测面部图像与由上述第1特定面部图像确定单元确定的特定面部图像之间的相似度，上述适合度表示适合于进行打印的程度；以及
第2特定面部图像确定单元，对于从通过上述第2显示控制单元显示在上述第2面部图像显示区域的面部图像中由第2面部图像指定单元指定的面部图像，也确定为上述特定面部图像。
2.根据权利要求1所述的图像显示控制装置，
该图像显示控制装置还具备第3显示控制单元，上述第3显示控制单元将由上述第2面部图像指定单元指定的面部图像显示在第3面部图像显示区域。
3.根据权利要求1或2所述的图像显示控制装置，其中，
上述优先级根据如下相似度和上述适合度针对上述多个检测面部图像算出，上述相似度是与由上述第1特定面部图像确定单元确定的特定面部图像以及由上述第2特定面部图像确定单元确定的特定面部图像中的至少一个以上的特定面部图像之间的相似度。
4.根据权利要求1所述的图像显示控制装置，该图像显示控制装置还具备：
第1更新单元，将从上述多个检测面部图像中除去由上述第1面部图像指定单元指定的面部图像及已显示在上述第2面部图像显示区域的面部图像而得的面部图像设为新的上述多个检测面部图像；以及
控制单元，重复由上述第2显示控制单元进行的处理以及由上述第2特定面部图像确定单元进行的处理。
5.根据权利要求1至4中任一项所述的图像显示控制装置，其中，
上述第2显示控制单元将上述检测面部图像按照上述优先级从高到低的顺序显示在上述第2面部图像显示区域。
6.根据权利要求1至5中任一项所述的图像显示控制装置，
该图像显示控制装置还具备第1警告单元，上述第1警告单元根据由第2用户已经指定的面部图像被上述第1用户使用上述第1面部图像指定单元或上述第2面部图像指定单元指定的情况来发出警告，上述第2用户与使用上述第1面部图像指定单元或上述第2面部图像指定单元指定了面部图像的第1用户不同。
7.根据权利要求1至6中任一项所述的图像显示控制装置，
该图像显示控制装置还具备第1优先级校正单元，上述第1优先级校正单元降低对于由上述第2用户已经指定的面部图像的上述优先级，上述第2用户与使用上述第1面部图像指定单元或上述第2面部图像指定单元指定了面部图像的上述第1用户不同。
8.根据权利要求1至7中任一项所述的图像显示控制装置，
该图像显示控制装置还具备第2更新单元，上述第2更新单元将从上述多个检测面部图像中除去第2用户已经指定的面部图像而得的面部图像设为新的上述多个检测面部图像，上述第2用户与使用上述第1面部图像指定单元或上述第2面部图像指定单元指定了面部图像的第1用户不同。
9.根据权利要求1至8中任一项所述的图像显示控制装置，
该图像显示控制装置还具备第2警告单元，上述第2警告单元根据由上述第1面部图像指定单元以及上述第2面部图像指定单元中的至少一方指定的至少两个面部图像是从同一原始图像中检测出的情况来发出警告。
10.根据权利要求1至9中任一项所述的图像显示控制装置，
该图像显示控制装置还具备第2优先级校正单元，上述第2优先级校正单元降低对于如下面部图像的上述优先级，上述面部图像是从检测出已确定为上述特定面部图像的面部图像的原始图像所含的面部图像中除去已确定为上述特定面部图像的面部图像而得的。
11.根据权利要求1至9中任一项所述的图像显示控制装置，
该图像显示控制装置还具备删除单元，上述删除单元从上述多个面部图像中删除如下面部图像，上述面部图像是从检测出已确定为上述特定面部图像的面部图像的原始图像所含的面部图像中除去已确定为上述特定面部图像的面部图像而得的。
12.根据权利要求1至11中任一项所述的图像显示控制装置，
第3优先级校正单元，上述第3优先级校正单元对于同一图像所含的多个面部图像，上述适合度越低，越降低上述优先级。
13.根据权利要求1至12中任一项所述的图像显示控制装置，其中，
上述第2显示控制单元将具有上述第规定数目个为止的优先级的检测面部图像作为上述相似面部图像候选而显示在上述第2面部图像显示区域，上述优先级是根据与在上一次上述图像显示控制装置的处理时确定的特定面部图像之间的相似度和上述适合度针对上述多个检测面部图像算出的优先级。
14.根据权利要求1至13中任一项所述的图像显示控制装置，该图像显示控制装置还具备：
原始图像输入单元，输入多个原始图像；
面部图像检测单元，从使用上述原始图像输入单元输入的多个原始图像中检测面部图像，从而得到上述多个检测面部图像；以及
适合度计算单元，对由上述面部图像检测单元检测出的多个检测面部图像的每个面部图像计算上述适合度。
15.根据权利要求1至14中任一项所述的图像显示控制装置，其中，
上述第1显示控制单元将从拍摄有多个面部的集合图像中检测出的多个检测面部图像中的至少一个以上的面部图像显示在第1面部图像显示区域。
16.根据权利要求4所述的图像显示控制装置，该图像显示控制装置还具备：
预想张数计算单元，计算由上述第1更新单元设为新的上述多个检测面部图像的上述多个检测面部图像所含的面部图像中能由上述第2面部图像指定单元指定的面部图像的预想张数；以及
第4显示控制单元，显示由上述预想张数计算单元算出的预想张数。
17.根据权利要求16所述的图像显示控制装置，
该图像显示控制装置还具备第3警告单元，上述第3警告单元根据由上述预想张数计算单元算出的预想张数为一定张数以下的情况来发出警告。
18.根据权利要求2至16中任一项所述的图像显示控制装置，
该图像显示控制装置还具备第5显示控制单元，上述第5显示控制单元在包含显示在上述第3面部图像显示区域的面部图像在内的原始图像或原始图像的缩略图像上标注标记而显示。
19.根据权利要求1至18中任一项所述的图像显示控制装置，
该图像显示控制装置还具备第6显示控制单元，上述第6显示控制单元对上述特定面部图像标注标记而显示在检测出上述特定面部图像的原始图像的周围。
20.根据权利要求1至19中任一项所述的图像显示控制装置，
该图像显示控制装置还具备输入年级或班级的输入单元，
上述第1显示控制单元将由属于通过上述输入单元输入的年级或班级的人得到的上述多个检测面部图像显示在上述第1面部图像显示区域。
21.根据权利要求1至20中任一项所述的图像显示控制装置，
该图像显示控制装置还具备群组化单元，上述群组化单元对上述多个检测面部图像中具有阈值以上的相似度的2个以上的检测面部图像进行分组，
上述第2显示控制单元将通过上述群组化单元分组的2个以上的检测面部图像按照各群组显示在上述第2面部图像显示区域。
22.根据权利要求21所述的图像显示控制装置，
该图像显示控制装置还具备输入年龄的年龄输入单元，
上述群组化单元中，从上述年龄输入单元输入的年龄越低，越提高上述阈值。
23.根据权利要求1所述的图像显示控制装置，该图像显示控制装置还具备：
特征存储单元，按照各用户存储上述特定面部图像中要求打印的面部图像的特征；以及
第4优先级校正单元，提高具有如下特征的面部图像的上述优先级，上述特征是存储在上述特征存储单元的特征中与操作上述图像显示控制装置的用户对应的特征。
24.根据权利要求18所述的图像显示控制装置，其中，
上述第5显示控制单元在显示在上述第3面部图像显示区域的面部图像的部分标注标记，而显示包含显示在上述第3面部图像显示区域的面部图像在内的原始图像或缩略原始图像。
25.根据权利要求4所述的图像显示控制装置，
该图像显示控制装置还具备第7显示控制单元，上述第7显示控制单元在包含通过上述第1更新单元得到的新的上述多个检测面部图像中的每个检测面部图像在内的原始图像即未确认原始图像或原始图像的缩略原始图像即未确认缩略原始图像上标注表示是未确认的情况的标记而显示，或者在上述未确认面部图像或上述未确认缩略原始图像中新的上述多个检测面部图像所含的面部图像上标注表示是未确认的情况的标记而显示。
26.根据权利要求4所述的图像显示控制装置，
该图像显示控制装置还具备第8显示控制单元，上述第8显示控制单元将通过上述第1更新单元得到的新的上述多个检测面部图像所含的面部图像，在检测出上述面部图像的原始图像的周围标注标记而显示。
27.一种图像显示控制方法，其中，
第1显示控制单元将从多个原始图像中检测出的多个检测面部图像中的至少一个以上的面部图像显示在第1面部图像显示区域，
第1特定面部图像确定单元将从通过上述第1显示控制单元显示在上述第1面部图像显示区域的上述至少一个以上的面部图像中由第1面部图像指定单元指定的面部图像确定为特定面部图像，上述特定面部图像用于查找与已指定的面部图像相似的面部图像，
第2显示控制单元将具有第规定数目个为止的优先级的上述检测面部图像作为相似面部图像候选而显示在上述第2面部图像显示区域，上述优先级是根据相似度和适合度对上述多个检测面部图像算出的优先级，上述相似度是上述多个检测面部图像的每个检测面部图像与由上述第1特定面部图像确定单元确定的特定面部图像之间的相似度，上述适合度表示适合于进行打印的程度，
第2特定面部图像确定单元对于从通过上述第2显示控制单元显示在上述第2面部图像显示区域的面部图像中由第2面部图像指定单元指定的面部图像，也确定为上述特定面部图像。
28.一种程序，其为控制图像显示控制装置的计算机的程序，且为以如下方式控制图像显示控制装置的计算机的计算机能够读取的程序：
将从多个原始图像中检测出的多个检测面部图像中的至少一个以上的面部图像显示在第1面部图像显示区域，
将从显示在上述第1面部图像显示区域的上述至少一个以上的面部图像中由第1面部图像指定单元指定的面部图像确定为特定面部图像，上述特定面部图像用于查找与已指定的面部图像相似的面部图像，
将具有第规定数目个为止的优先级的上述检测面部图像作为相似面部图像候选而显示在上述第2面部图像显示区域，上述优先级是根据相似度和适合度对上述多个检测面部图像算出的优先级，上述相似度是多个检测面部图像各自的检测面部图像与已确定的特定面部图像之间的相似度，上述适合度表示适合于进行打印的程度，
对于从显示在上述第2面部图像显示区域的面部图像中由第2面部图像指定单元指定的面部图像，也确定为上述特定面部图像。
29.一种记录介质，其存放有权利要求28所述的程序。
CN201580073898.8A 2015-02-04 2015-12-25 图像显示控制装置、图像显示控制方法、图像显示控制程序以及存放有该程序的记录介质 Pending CN107209772A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015020567A JP6318102B2 (ja) 2015-02-04 2015-02-04 画像表示制御装置，画像表示制御方法，および画像表示制御プログラムならびにそのプログラムを格納した記録媒体
JP2015-020567 2015-02-04
PCT/JP2015/086220 WO2016125418A1 (ja) 2015-02-04 2015-12-25 画像表示制御装置，画像表示制御方法，および画像表示制御プログラムならびにそのプログラムを格納した記録媒体

Publications (1)

Publication Number Publication Date
CN107209772A true CN107209772A (zh) 2017-09-26

Family

ID=56563775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580073898.8A Pending CN107209772A (zh) 2015-02-04 2015-12-25 图像显示控制装置、图像显示控制方法、图像显示控制程序以及存放有该程序的记录介质

Country Status (4)

Country Link
US (1) US10572111B2 (zh)
JP (1) JP6318102B2 (zh)
CN (1) CN107209772A (zh)
WO (1) WO2016125418A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106560827B (zh) * 2015-09-30 2021-11-26 松下知识产权经营株式会社 控制方法
US11169661B2 (en) 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
US20200151453A1 (en) * 2018-11-08 2020-05-14 International Business Machines Corporation Reducing overlap among a collection of photographs
WO2020235724A1 (ko) * 2019-05-23 2020-11-26 엘지전자 주식회사 디스플레이 장치

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1099888A (zh) * 1993-05-25 1995-03-08 卡西欧计算机公司 脸部图像数据处理装置
US20030210808A1 (en) * 2002-05-10 2003-11-13 Eastman Kodak Company Method and apparatus for organizing and retrieving images containing human faces
US20050105806A1 (en) * 2003-11-14 2005-05-19 Yasuhiko Nagaoka Method and apparatus for organizing digital media based on face recognition
JP2005332381A (ja) * 2004-04-22 2005-12-02 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2007179198A (ja) * 2005-12-27 2007-07-12 Canon Marketing Japan Inc 画像管理サーバおよび画像掲載情報生成方法およびプログラムおよび記録媒体
US20070258645A1 (en) * 2006-03-12 2007-11-08 Gokturk Salih B Techniques for enabling or establishing the use of face recognition algorithms
US20110052069A1 (en) * 2009-08-27 2011-03-03 Hitachi Kokusai Electric Inc. Image search apparatus
US20120008837A1 (en) * 2005-07-18 2012-01-12 Goldberg David A Manually-assisted automated indexing of images using facial recognition
WO2012114727A1 (ja) * 2011-02-24 2012-08-30 パナソニック株式会社 画像処理装置および画像処理方法
WO2013069605A1 (ja) * 2011-11-07 2013-05-16 株式会社日立国際電気 類似画像検索システム
CN103250180A (zh) * 2011-06-24 2013-08-14 乐天株式会社 图像提供装置、图像处理方法、图像处理程序以及记录介质
JP2013161394A (ja) * 2012-02-08 2013-08-19 Mitsubishi Electric Corp イベント写真注文システムおよびイベント写真注文方法
JP5485254B2 (ja) * 2011-12-19 2014-05-07 富士フイルム株式会社 画像整理装置および方法ならびにプログラム
JP2014089625A (ja) * 2012-10-31 2014-05-15 Tadao Ueda プライバシーに配慮した静止画または動画の人物画像検索方法
JP2014102715A (ja) * 2012-11-21 2014-06-05 Dainippon Printing Co Ltd スクールフォト管理サーバ、スクールフォト管理システム、スクールフォト管理方法、プログラム、及び記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5388399A (en) 1977-01-13 1978-08-03 Kaneko Agricult Machinery Tobacco leaves drying apparatus using solar heat
JPS5485254A (en) 1977-10-25 1979-07-06 Daburiyuu Batsukuba Richiyaado Embossed products and manufacture thereof

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1099888A (zh) * 1993-05-25 1995-03-08 卡西欧计算机公司 脸部图像数据处理装置
US20030210808A1 (en) * 2002-05-10 2003-11-13 Eastman Kodak Company Method and apparatus for organizing and retrieving images containing human faces
US20050105806A1 (en) * 2003-11-14 2005-05-19 Yasuhiko Nagaoka Method and apparatus for organizing digital media based on face recognition
JP5388399B2 (ja) * 2003-11-14 2014-01-15 富士フイルム株式会社 顔認識に基づいたデジタル媒体の整理方法および装置
JP2005332381A (ja) * 2004-04-22 2005-12-02 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
US20120008837A1 (en) * 2005-07-18 2012-01-12 Goldberg David A Manually-assisted automated indexing of images using facial recognition
JP2007179198A (ja) * 2005-12-27 2007-07-12 Canon Marketing Japan Inc 画像管理サーバおよび画像掲載情報生成方法およびプログラムおよび記録媒体
US20070258645A1 (en) * 2006-03-12 2007-11-08 Gokturk Salih B Techniques for enabling or establishing the use of face recognition algorithms
US20110052069A1 (en) * 2009-08-27 2011-03-03 Hitachi Kokusai Electric Inc. Image search apparatus
JP2011048668A (ja) * 2009-08-27 2011-03-10 Hitachi Kokusai Electric Inc 画像検索装置
CN102859525A (zh) * 2011-02-24 2013-01-02 松下电器产业株式会社 图像处理装置以及图像处理方法
US20130022244A1 (en) * 2011-02-24 2013-01-24 Minehisa Nagata Image processing apparatus and image processing method
WO2012114727A1 (ja) * 2011-02-24 2012-08-30 パナソニック株式会社 画像処理装置および画像処理方法
CN103250180A (zh) * 2011-06-24 2013-08-14 乐天株式会社 图像提供装置、图像处理方法、图像处理程序以及记录介质
WO2013069605A1 (ja) * 2011-11-07 2013-05-16 株式会社日立国際電気 類似画像検索システム
JP2013101431A (ja) * 2011-11-07 2013-05-23 Hitachi Kokusai Electric Inc 類似画像検索システム
JP5485254B2 (ja) * 2011-12-19 2014-05-07 富士フイルム株式会社 画像整理装置および方法ならびにプログラム
JP2013161394A (ja) * 2012-02-08 2013-08-19 Mitsubishi Electric Corp イベント写真注文システムおよびイベント写真注文方法
JP2014089625A (ja) * 2012-10-31 2014-05-15 Tadao Ueda プライバシーに配慮した静止画または動画の人物画像検索方法
JP2014102715A (ja) * 2012-11-21 2014-06-05 Dainippon Printing Co Ltd スクールフォト管理サーバ、スクールフォト管理システム、スクールフォト管理方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
JP2016143338A (ja) 2016-08-08
US10572111B2 (en) 2020-02-25
US20170308254A1 (en) 2017-10-26
WO2016125418A1 (ja) 2016-08-11
JP6318102B2 (ja) 2018-04-25

Similar Documents

Publication Publication Date Title
US20230145743A1 (en) System and method for separation and classification of unstructured documents
US8358811B2 (en) Method and apparatus to incorporate automatic face recognition in digital image collections
JP7111632B2 (ja) 画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP6323465B2 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
CN107209772A (zh) 图像显示控制装置、图像显示控制方法、图像显示控制程序以及存放有该程序的记录介质
JP7250567B2 (ja) 装置、方法、及びプログラム
US9798741B2 (en) Interactive image selection method
US20080162450A1 (en) Metadata generation for image files
US20120114257A1 (en) Interactive image selection method
JP2020140577A (ja) 装置、方法、及びプログラム
KR20070006760A (ko) 한 그룹의 이미지를 나타내는 아이콘을 생성하는 방법,컴퓨터 시스템, 컴퓨터 프로그램 제품 및 이 방법을실행하기 위해 마련된 데이터 운반매체
JP6080409B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN102591868A (zh) 用于拍照指南自动生成的系统和方法
US10572769B2 (en) Automatic image piling
GB2537965A (en) Recommending form fragments
JP2020140557A (ja) 画像処理装置、制御方法、及びプログラム
JP2020140555A (ja) 画像処理装置、制御方法、及びプログラム
CN108733637A (zh) 信息处理设备和信息处理方法
JP7336210B2 (ja) 画像処理装置、制御方法、及びプログラム
JP7336212B2 (ja) 画像処理装置、制御方法、及びプログラム
Springmann Building Blocks for Adaptable Image Search in Digital Libraries

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170926