CN109598748B - 图像提取装置、图像提取方法及图像提取程序以及存储有该程序的记录介质 - Google Patents

图像提取装置、图像提取方法及图像提取程序以及存储有该程序的记录介质 Download PDF

Info

Publication number
CN109598748B
CN109598748B CN201811144335.5A CN201811144335A CN109598748B CN 109598748 B CN109598748 B CN 109598748B CN 201811144335 A CN201811144335 A CN 201811144335A CN 109598748 B CN109598748 B CN 109598748B
Authority
CN
China
Prior art keywords
image
similar
images
condition
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811144335.5A
Other languages
English (en)
Other versions
CN109598748A (zh
Inventor
古谷宏行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to CN202310819333.6A priority Critical patent/CN116862956A/zh
Publication of CN109598748A publication Critical patent/CN109598748A/zh
Application granted granted Critical
Publication of CN109598748B publication Critical patent/CN109598748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种找出符合用户意愿的相似图像的图像提取装置及其方法。显示出显示有多个相似判断条件的相似判断条件指定窗口(60)。用户从已显示的相似判断条件指定窗口(60)中所显示的多个相似判断条件中选择所希望的相似判断条件。用户能够确定相似判断条件，因此能够找出符合用户意愿的相似图像。

Description

图像提取装置、图像提取方法及图像提取程序以及存储有该 程序的记录介质
技术领域
本发明涉及一种图像提取装置、图像提取方法及图像提取程序以及存储有该程序的记录介质。
背景技术
在婚礼等活动中，拍摄很多图像。在这些很多图像中，选择拍摄质量好的图像而例如制作相册。于是，可以考虑自动选择适合用于相册的图像的装置(专利文献1)、指定插入于相册的图像插入区域的图像状态并将与所指定的状态相符的图像插入于图像插入区域的装置(专利文献2)等。并且，还可以考虑在打印之前将失败图像通知给用户的装置(专利文献3)、通过放大显示图像的规定范围的区域而进行焦点确认的装置(专利文献4)等。～
而且，还可以考虑一边确认写真集的布局一边选择图像的装置(专利文献5)、有效再现显示数量庞大的图像的装置(专利文献6)、轻松地搜索照片的装置(专利文献7)、能够轻松地切换相似图像画面与包含不相似图像的画面的装置(专利文献8)等。
专利文献1：日本专利第5655112号
专利文献2：日本专利第4455302号
专利文献3：日本专利公开2002-187329号公报
专利文献4：日本专利第4346859号
专利文献5：日本专利公开2017-010247号公报
专利文献6：日本专利公开2013-246555号公报
专利文献7：日本专利公开2017-054552号公报
专利文献8：日本专利公开2011-257980号公报
专利文献1中所记载的装置，选择评价值高的图像，因此会导致只要图像的评价值高就会选择多个相似的图像。在专利文献2中所记载的装置中，将与所指定的状态相符的图像插入于图像插入区域，因此也会导致多个相似的图像插入于相册。专利文献3中所记载的装置为在打印之前将失败图像通知给用户的装置，专利文献4中所记载的装置为通过放大显示图像的规定范围的区域而进行焦点确认的装置，因此对多个相似的图像未给予任何考虑。
并且，专利文献5中所记载的装置，选择图像，从所选择的图像中设定相似条件，并将满足相似条件的候选图像显示于显示区域。专利文献5中所记载的装置，若不选择图像则无法设定相似条件，因此当有多个图像时，需确认每一个图像。专利文献6中所记载的装置为显示表示显示顺序连续的2张图像是否为相似图像的相似图像信息的装置，因此对什么样的图像判断为相似图像未给予考虑。专利文献7中所记载的装置例如通过输入“玫瑰”这一关键词而显示与“玫瑰”相关联的图像，但对关于图像的相似判断的条件未给予考虑。而且，专利文献8中所记载的装置为在画面中横排显示实时取景的狗的图像的相似图像的装置，而对关于图像的相似判断的条件未给予考虑。因此，有时无法找出符合用户意愿的相似图像。
发明内容
本发明的目的在于设成能够找出符合用户意愿的相似图像。
基于本发明的图像提取装置的特征在于，具备：相似判断条件接收机构，接收在多个图像中对比任意2个图像时判断是否为彼此相似的相似判断条件的输入；相似图像组确定机构，按照相似判断条件接收机构所接收的相似判断条件，确定由彼此相似的2个以上的图像构成的1个或多个相似图像组；及图像提取机构，在由相似图像组确定机构确定的1个或多个相似图像组的各个相似图像组中，提取至少1个图像。
基于本发明的图像提取装置可以具备：相似判断条件接收设备，接收在多个图像中对比任意2个图像时判断是否为彼此相似的相似判断条件的输入；以及处理器，按照相似判断条件接收设备所接收的相似判断条件，确定由彼此相似的2个以上的图像构成的1个或多个相似图像组及在所确定的1个或多个相似图像组的各个相似图像组中提取至少1个图像。
本发明还提供适合于图像提取装置的图像提取方法。即，该方法的特征在于，相似判断条件接收机构接收在多个图像中对比任意2个图像时判断是否为彼此相似的相似判断条件的输入，相似图像组确定机构按照相似判断条件接收机构所接收的相似判断条件，确定由彼此相似的2个以上的图像构成的1个或多个相似图像组，图像提取机构在由相似图像组确定机构确定的1个或多个相似图像组的各个相似图像组中，提取至少1个图像。
图像提取装置还可以具备：第1图像显示控制机构，将多个图像显示于显示装置的显示画面中所形成的第1显示窗口，且区别显示由相似图像组确定机构确定的1个或多个相似图像组中所包含的图像与相似图像组中不包含的图像。
第1图像显示控制机构优选在多个相似图像组中，区别显示一个相似图像组与其他相似图像组。
图像提取装置还可以具备：相似图像组指定机构，指定由相似图像组确定机构确定的1个或多个相似图像组中的1个相似图像组；及相似图像显示控制机构，在与第1显示窗口不同的第2显示窗口中，相邻显示由相似图像组指定机构指定的相似图像组中所包含的彼此相似的图像。相邻显示彼此相似的图像是指在彼此相似的图像(摄影图像)与图像(摄影图像)之间没有插入与这些图像不相似的图像而连续显示，若在这些图像之间没有插入不相似的图像，则可以在彼此相似的图像与图像之间插入文章或标记等装饰。图像的排列方式可以是横向也可以是纵向。并且，第1显示窗口与第2显示窗口可以以不重叠的方式显示，也可以以第2显示窗口的一部分从上面重叠于第1显示窗口的一部分的方式显示，还可以以包含于第1显示窗口内的方式且以第2显示窗口重叠于第1显示窗口上的方式显示。
图像提取装置还可以具备：相似判断条件指定窗口显示控制机构，将显示有多个相似判断条件的相似判断条件指定窗口显示于显示装置的显示画面。在该情况下，相似判断条件接收机构例如通过从相似判断条件指定窗口内所显示的多个相似判断条件中进行指定而接收相似图像判断条件的输入。
图像提取装置还可以具备：相似图像组指定机构，指定由相似图像组确定机构确定的1个或多个相似图像组中的1个相似图像组；符合条件接收机构，接收图像的符合条件的输入；符合度计算机构，对由相似图像组指定机构指定的相似图像组中所包含的彼此相似的图像中被指定的图像，计算由符合条件接收机构接收的符合条件下的符合度；及符合度通知机构，通知由符合度计算机构计算出的符合度。
图像提取装置还可以具备：符合条件指定窗口显示控制机构，将显示有多个符合条件的符合条件指定窗口显示于显示装置的显示画面。在该情况下，符合条件接收机构例如接收从符合条件指定窗口内所显示的多个符合条件中指定的符合条件的输入。
在多个相似图像组中，一个相似图像组中所包含的图像与其他相似图像组中所包含的图像例如在基于相似判断条件接收机构中所接收的相似判断条件的判断上为不相似。
图像提取装置还可以具备：相似判断条件输入窗口显示控制机构，将输入相似判断条件的相似判断条件输入窗口显示于显示装置的显示画面。在该情况下，相似判断条件接收机构例如接收在相似判断条件输入窗口中输入的相似判断条件的输入。
图像提取装置还可以具备：符合条件输入窗口显示控制机构，将输入符合条件的符合条件输入窗口显示于显示装置的显示画面。在该情况下，符合条件接收机构例如接收在符合条件输入窗口中输入的符合条件的输入。
图像提取装置还可以具备：相似图像组指定机构，指定由相似图像组确定机构确定的1个或多个相似图像组中的1个相似图像组；符合度计算机构，对由相似图像组指定机构指定的相似图像组中所包含的图像，计算由符合条件接收机构接收的符合条件的符合度；及推荐图像通知机构，由符合度计算机构计算出的符合度中，将具有最高的符合度的图像作为由图像提取机构提取的推荐图像来进行通知。
发明效果
接收在对比任意2个图像时判断是否为彼此相似的相似判断条件的输入，并按照所接收的相似判断条件确定由彼此相似的2个以上的图像构成的1个或多个相似图像组。在所确定的相似图像组中，提取至少1个图像。用户能够确定相似判断条件，并能够按照用户确定的相似判断条件确定相似图像组。用户能够确定如下相似判断条件，即，当仅进行基于图像比较的相似时，将判断为不相似的图像判断为相似，相反地，当仅进行基于图像比较的相似判断时，将判断为相似的图像判断为不相似。能够找出符合用户意愿的相似图像。由于确定相似图像组，因此即便存在多个图像，也能够较简单地知晓哪一图像为相似。能够对每一个相似图像组提取至少1个图像。
附图说明
图1是表示图像提取装置的电结构的框图。
图2是表示图像提取装置的处理顺序的流程图。
图3是表示图像提取装置的处理顺序的流程图。
图4是表示图像提取装置的处理顺序的流程图。
图5是表示图像提取装置的处理顺序的流程图。
图6是表示图像提取装置的处理顺序的流程图。
图7是图像一览窗口的一例。
图8是相似判断条件指定窗口的一例。
图9是相似判断条件追加窗口的一例。
图10是相似判断条件输入窗口的一例。
图11是编辑用窗口的一例。
图12是图像确认窗口的一例。
图13是符合条件指定窗口的一例。
图14是符合条件输入窗口的一例。
图15是图像确认窗口的一例。
图16是编辑用窗口的一例。
图17是表示图像提取装置的处理顺序的一例的流程图。
图18是编辑用窗口的一例。
图19是图像确认窗口的一例。
具体实施方式
(第1实施例)
图1是表示本发明的实施例的图，是表示图像提取装置1的电结构的框图。
图像提取装置1整体的动作由CPU(Central Processing Unit：中央处理单元)2集中控制。
在图像提取装置1中包含将图像和其他信息显示于显示画面的显示装置3及连接于互联网和其他网络而与除了图像提取装置1以外的装置等进行通信的通信装置4。并且，在图像提取装置1中还包含硬盘5、访问硬盘5的硬盘驱动器6、存储数据等的存储器7、输入命令等的键盘8及鼠标9。而且，在图像提取装置1中还包含访问光盘11的光盘驱动器10以及进行对存储卡13的数据的写入及存储于存储卡13中的数据的读取的存储卡读卡器12。
后述的图像提取装置1的动作程序经由互联网由通信装置4接收。所接收的动作程序安装于图像提取装置1。动作程序也可以不是经由如互联网等网络来由图像提取装置1接收并安装于图像提取装置1，而是记录于光盘11等便携式记录介质并从该便携式记录介质中读取。在该情况下，从便携式记录介质中读取的动作程序安装于图像提取装置1。图像提取装置1的计算机(CPU2)能够读取动作程序是不言而喻的。
图2至图6是表示图像提取装置1的处理顺序的流程图。
在该实施例中，从多数(多个)图像中找出相似的图像，且使用户知晓多个图像中哪一图像为相似。尤其，接收在多个图像中对比2个图像时判断是否为彼此相似的相似判断条件的输入，并按照所接收的相似判断条件找出相似的图像。用户能够变更或制作相似判断条件，因此能够以用户的意愿来确定什么样的图像为相似。
表示多数(多个)图像的图像数据存储于存储卡13，通过存储卡读卡器12读取存储于存储卡13的图像数据(图2步骤21)。由所读取的图像数据表示的多数(多个)图像一览显示于显示装置3的显示画面(图2步骤22)。
图7是显示于显示装置3的显示画面的图像一览窗口50的一例。
在图像一览窗口50中形成有图像一览显示区域51。由从存储卡13中读取的图像数据表示的多个图像显示于图像一览显示区域51。在图像一览显示区域51的右侧形成有根据来自用户的命令(拖动动作)沿上下滑动自如的滑块52。在图像一览显示区域51的右下角点击自如地形成有的标有“相似判断条件”这一文字的相似判断条件按钮53。
在图像一览显示区域51显示有图像I1至图像I28(关于图像I22至图像I28为图像的一部分)。通过使滑块52向下方向移动，由从存储卡13中读取的图像数据表示的图像且未显示于图像一览显示区域51的图像显示于图像一览显示区域51。
若由用户使用鼠标9点击相似判断条件按钮53(图2步骤23中“是”)，则通过CPU2(是相似判断条件指定窗口显示控制机构的一例)的控制在显示装置3的显示画面显示图8所示的相似判断条件指定窗口60。相似判断条件指定窗口60可以以包含于图像一览窗口50内的方式重叠显示，也可以与图像一览窗口50的一部分重叠显示，还可以以不与图像一览窗口50重叠的方式显示。
参考图8，在相似判断条件指定窗口60中形成有5个勾选框61至65。这些勾选框61至65使用鼠标9勾选自如。通过勾选勾选框61至65中的任一个或全部而从多个相似判断条件中指定相似判断条件，从而图像提取装置1接收相似判断条件的输入。
分别与勾选框61至65对应地显示有预先设定的相似判断条件。在第1勾选框61的右侧显示有“仅将相同人物的图像设为相似”这一第1相似判断条件。关于第1相似判断条件，当对比了2个图像时，在仅包含相同人物的图像的2个图像的匹配度为阈值以上时判断为相似(因此，当一方图像中包含相同人物以外的图像时，不会判断为相似)。通常，当对2个图像进行匹配时，根据匹配度为阈值以上时为相似的判断基准来进行判断，但在本实施例中，能够在该判断基准中附加不同的条件而将相似的判断基准设为更严格的基准，或者设为更宽松的基准。第1相似判断条件为即使在这种匹配度高的情况下，只要2个图像中所包含的人物不一致则不会判断为相似的相似判断条件(相当于相似的判断基准变严格的情况。以下到第4相似判断条件为止为相同)。
在第2勾选框62的右侧显示有“仅将表情(笑容)相同的图像设为相似”这一第2相似判断条件。关于第2相似判断条件，当2个图像的匹配度为阈值以上且判断为2个图像中所包含的人物的表情相同(表情的一致度为阈值以上)时判断为相似(因此，当判断为2个图像中所包含的人物的表情不同时，即便2个图像的匹配度为阈值以上，也不会判断为相似)。
在第3勾选框63的右侧显示有“仅将人物被摄体的大小相同的图像设为相似”这一第3相似判断条件。关于第3相似判断条件，仅将2个图像的匹配度为阈值以上且2个图像中所包含的人物被摄体的大小程度(相对于图像整体大小的人物被摄体的大小比例)相同(一定范围内)的图像判断为相似(因此，只要2个图像中所包含的人物被摄体的大小不是相同的程度，则即便2个图像的匹配度为阈值以上，也不会判断为相似)。
在第4勾选框64的右侧显示有“仅将摄影时间连续的图像设为相似”这一第4相似判断条件。关于第4相似判断条件，将2个图像的匹配度为阈值以上且如2个图像的摄影时间连续的图像即判断相似的所对比的2个图像之间不存在被拍摄的其他图像的2个图像判断为相似(因此，当所对比的2个图像之间存在被拍摄的其他图像时，即便2个图像的匹配度为阈值以上，也不会判断为相似)。
在第5勾选框65的右侧显示有“将纵向图像与横向图像设为相似”这一第5相似判断条件。在本实施例中，当不适用第5相似判断条件时，并不计算纵向图像(纵向长度长于横向长度的图像)与横向图像(横向长度长于纵向长度的图像)之间的匹配度(因此，判断为不相似)。但是，当适用第5相似判断条件时，计算2个图像的匹配度，若匹配度为阈值以上，则判断为相似图像(纵向图像与横向图像的匹配度例如剪切中心的正方形部分后进行比较，将纵横比对准一边等，对某一个或两个图像进行各种操作之后计算即可。并且，当混有正方形图像时，勾选第5勾选框较好。)。在适用第5相似判断条件的情况下，与不适用第5相似判断条件的情况相比，有可能更多的图像被判断为相似(相对于相似的判断基准变得宽松的情况)。
当勾选了2个以上的勾选框时，将均满足各自所示的相似判断条件的图像作为相似的图像来提取(作为AND条件来判断)。另外，当勾选了2个以上的勾选框时，可以将满足任一条件的图像作为相似的图像来提取(作为OR条件来判断)。并且，也可以是如下，即，设置能够输入逻辑式的GUI(Graphical User Interface：图形用户界面)，而用户能够输入对2个以上的勾选框所示的条件是作为AND条件来判断，还是作为OR条件来判断。
在相似判断条件指定窗口60的下部以能够点击的方式形成有标有“追加相似判断条件”这一文字的相似判断条件追加按钮66及标有“确定”这一文字的确定按钮67。相似判断条件追加按钮66在将相似判断条件指定窗口60中所显示的相似判断条件以外的条件作为相似判断条件来追加时被用户点击。确定按钮67在确定了相似判断条件时被用户点击。
当追加相似判断条件时(图2步骤25中“是”)，使用鼠标9点击相似判断条件追加按钮66。于是，在显示装置3的显示画面显示图9所示的相似判断条件追加窗口70(图3步骤26)。
参考图9，在相似判断条件追加窗口70中也包含5个勾选框71至75。在勾选框71的右侧显示有“仅将色调相同的图像设为相似”这一追加的相似判断条件。关于该追加的相似判断条件，将2个图像的匹配度为阈值以上且色调程度相同(在阈值以上方面相同)的图像判断为相似，即便2个图像的匹配度为阈值以上，但如黑白图像和彩色图像色调不同的图像不会判断为相似。在其他勾选框72至75的右侧也显示有追加的相似判断条件。
通过勾选勾选框71至75，能够追加指定能够使用图8所示的相似判断条件指定窗口60来指定的除了相似判断条件以外的相似判断条件。
在相似判断条件追加窗口70的下部形成有标有“相似判断条件的制作”这一文字的相似判断条件制作按钮76及标有“返回”这一文字的返回按钮77。
图8所示的相似判断条件指定窗口60中所显示的相似判断条件及图9所示的相似判断条件追加窗口70中所显示的追加的相似判断条件为在图像提取装置1中预先设定的条件，并从预先设定的相似判断条件及追加的相似判断条件中指定相似判断条件，但用户能够制作除了这些相似判断条件以外的相似判断条件。如此用户制作相似判断条件时被点击的是相似判断条件制作按钮76。返回按钮77在从图9所示的相似判断条件追加窗口70返回到图8所示的相似判断条件指定窗口60时被用户点击。
当制作相似判断条件时(图3步骤27中“是”)，如上所述，点击相似判断条件制作按钮76。于是，通过CPU2(为相似判断条件输入窗口显示控制机构的一例)在显示装置3的显示画面显示图10所示的相似判断条件输入窗口80(图3步骤28)。
参考图10，在相似判断条件输入窗口80中形成有相似判断条件输入区域81。用户制作相似判断条件并使用键盘8对相似判断条件输入窗口80输入相似判断条件。由此，图像提取装置1接收所输入的相似判断条件的输入。
图像提取装置1具有未图示的相似判断条件分析机构。相似判断条件分析机构对由用户输入的自然语言进行形态分析，并制作图像提取装置1可处理的相似判断条件。另外，相似判断条件分析机构也可以对由用户输入的自然语言适用预先进行学习的学习模型来制作图像提取装置1可处理的相似判断条件。
在相似判断条件输入区域81的下方形成有标有“确定”这一文字的确定按钮82及标有“返回”这一文字的返回按钮83。若用户点击确定按钮82，则将输入到相似判断条件输入区域81的条件作为相似判断条件来确定。若用户点击返回按钮83(图3步骤29中“是”)，则相似判断条件输入窗口80从显示画面消失。在显示画面显示图8所示的相似判断条件指定窗口60。若点击相似判断条件指定窗口60中所包含的确定按钮67(图4步骤30中“是”)，则通过CPU2按照相似判断条件确定相似图像组(图4步骤31)。在显示有图9所示的相似判断条件追加窗口70的状态下，当点击相似判断条件追加窗口70中所包含的返回按钮77时(图3步骤27中“否”，图3步骤29中“是”)，相似判断条件追加窗口70也从显示画面消失，在显示画面显示图8所示的相似判断条件指定窗口60。若点击相似判断条件指定窗口60中所包含的确定按钮67(图4步骤30中“是”)，则通过CPU2按照相似判断条件确定相似图像组(图4步骤31)。在显示有图8所示的相似判断条件指定窗口60的状态下，当不点击相似判断条件追加按钮66而点击确定按钮67时(图2步骤25中“否”，图4步骤30中“是”)，也通过CPU2按照相似判断条件确定相似图像组(图4步骤30中“是”)。在由从存储卡13中读取的图像数据表示的图像中，确定特定图像，并通过CPU2对由从存储卡13中读取的图像数据表示的所有图像计算与该特定图像的匹配度。关于计算出的匹配度为阈值以上的图像，通过CPU2以与所确定的特定图像的关系来判断是否为符合相似判断条件的图像，其结果，是否为与特定图像相似的图像得以确定。
键盘8、鼠标9、显示装置3的显示画面中所显示的相似判断条件指定窗口60、相似判断条件追加窗口70及相似判断条件输入窗口80等成为接收在对比多个图像中任意2个图像时判断是否为彼此相似的相似条件的输入的相似判断条件接收机构。并且，CPU2成为按照所接收的相似判断条件确定由彼此相似的2个以上的图像构成的1个或多个相似图像组的相似图像组确定机构。
作为相似判断条件，设为已指定图8所示的相似判断条件指定窗口60中所包含的第1相似判断条件“仅将相同人物的图像设为相似”。于是，在彼此的图像的匹配度为阈值以上的图像中，包含有相同人物的图像被确定为相似图像组。例如，在图7所示的图像一览窗口50的图像一览显示区域51中，通过CPU2，图像I1、I2、I3及I11判断为相似图像，并确定为包含这些图像I1、I2、I3及I11的第1相似图像组G1。相同地，在图7所示的图像一览窗口50的图像一览显示区域51中，图像I6与图像I13判断为相似，并确定为第2相似图像组G2。相同地，图像I8、I9、I10及I12判断为相似，并确定为第3相似图像组G3，图像I16、I17及I18判断为相似，并确定为第4相似图像组G4，图像I19及I20判断为相似，并确定为第5相似图像组G5，图像I22及I23判断为相似，并确定为第6相似图像组G6。
若确定相似图像组，则显示装置3的显示画面中所显示的图像一览窗口50从显示画面消失，图11所示的编辑用窗口50A显示于显示装置3的显示画面。
图11是编辑用窗口50A的一例。
在编辑用窗口50A中与图像一览窗口50相同地包含有图像一览显示区域51。如上所述，在该图像一览显示区域51中一览显示有由从存储卡13中读取的图像数据表示的多个图像。
并且，在图像览显示区域51的下方形成有编辑用缩略图页面图像一览显示区域54。在编辑用缩略图页面图像一览显示区域54中一览显示有表示构成电子相册(影集)的各页面布局的缩略图页面图像P1至P5。在缩略图页面图像P1中，规定有电子相册的双联页中形成于第1页的图像粘贴区域A1至A8。相同地，在缩略图页面图像P2中，规定有电子相册的双联页中形成于第2页的图像粘贴区域A11至A16。在缩略图页面图像P3、P4及P5中，分别形成有电子相册的双联页中形成于第3页、第4页及第5页的图像粘贴区域A21至A25、A31至A35及A41至A46。在编辑用缩略图页面图像一览显示区域54的右侧形成有标有“结束”这一文字的结束按钮55。
如上所述，在编辑用窗口50A(第1显示用窗口)的图像一览显示区域51，包含相似的图像I1、I2、I3及I11的第1相似图像组G1被点划线包围。由此，区别显示第1相似图像组G1中所包含的图像I1、I2、I3及I11与第1相似图像组G1中未包含的其他图像。相同地，包含有相似的图像I6及图像I13的第2相似图像组G2被点划线包围，包含有相似的图像I8、I9、I10及I12的第3相似图像组G3被点划线包围，包含有相似的图像I16、I17及I18的第4相似图像组G4被点划线包围，包含有相似的图像I19及I20的第5相似图像组G5被点划线包围，包含有相似的图像I22及I23的第6相似图像组G6被点划线包围。如此，彼此相似的图像与其他图像区别显示，因此用户能够知晓多个图像中的图像是否为相似的图像。而且，相似判断条件是用户指定的，因此能够将符合用户意愿的图像确定为相似的图像。
在相似图像组G1至G5中，一个相似图像组中所包含的图像与其他相似图像组中所包含的图像在相似判断条件下的判断上为彼此不相似。例如，相似图像组G1中所包含的图像I1、I2、I3及I11与相似图像组G3中所包含的图像I8、I9、I10及I12为彼此不相似。
在图11中，相似图像组G1至G5均被点划线包围，但在相似图像组G1至G5中，也可以设为区别显示一个相似图像组与其他相似图像组。例如，在相似图像组G1至G5中，也可以设为改变包围每一个相似图像组的框的方式。变得容易区别相似图像组。并且，只要能够区别相似图像组中所包含的图像与相似图像组中不包含的图像即可，因此也可以设为不是用框来包围每一个相似图像组，而是改变颜色来高亮显示每一个相似图像组等。
在图11中，若指定有“仅将摄影时间连续的图像设为相似”相似判断条件(参考图8)，则图像I3和图像I11、图像I6和图像I13及图像I10和图像I12分别不是连续拍摄，因此不会判断为相似的图像。其结果，从第1相似图像组G1中图像I11被排除，第1相似图像组G1中所包含的相似的图像成为图像I1、I2及I3。并且，第2相似图像组G2中所包含的图像I6与图像I13被视为不相似。而且，从第3相似图像组G3中图像I12被排除，第3相似图像组G3中所包含的相似的图像成为图像I8、I9及I10。
并且，例如，若设为没有指定“仅将相同人物的图像设为相似”相似判断条件(参考图8)，则图像I21与图像I19或图像I20判断为相似，在第5相似图像组G5中除了图像I19及I20以外还包含图像I21。
在图像一览显示区域51中所显示的相似图像组中，若使用鼠标9(为相似图像组指定机构的一例)将任一个相似图像组拖放到缩略图页面图像P1至P5中的任一图像粘贴区域(图4步骤33中“是”)，则在显示装置3的显示画面显示图12所示的图像确认窗口90(与第1显示窗口不同的第2显示窗口)(图5步骤35)。若相似图像组未被拖放到缩略图页面图像P1至P5中的任一缩略图页面图像中所形成的图像粘贴区域，而相似图像组中未包含的图像(称为单独图像)被拖放到缩略图页面图像P1至P5中的任一缩略图页面图像中所形成的图像粘贴区域(图4步骤33中“否”，图4步骤34中“是”)，则进行其他处理。在该实施例中，设为第3相似图像组G3被拖放到缩略图页面图像P1的图像粘贴区域A1。鼠标9与指定1个或多个相似图像组中的1个相似图像组的相似图像组指定机构对应。
参考图12，在图像确认窗口90中包含有相似图像显示区域91。在该相似图像显示区域91显示有被拖放的相似图像组G3中所包含的相似的图像I8、I9、I10及I12。相似的图像I8、I9、I10及I12通过CPU2(为相似图像显示控制机构的一例)相邻显示。相似的图像I8、I9、I10及I12的图像之间没有显示不相似的图像，并且图像之间密接显示。并且在图像之间也没有显示除了图像以外的文章等。但是，图像之间未必一定要密接，在图像之间可以显示有文章等。并且，即使在图像之间包含有不相似的图像，只要能够区别不相似的图像与相似的图像即可。也可以明亮显示相似的图像，较暗显示不相似的图像。例如，可以在相似图像显示区域91显示图像I8、I9、I10、I11及I12，将相似的图像I8、I9、I10及I12明亮显示，将不相似的图像I11较暗显示。
在相似图像显示区域91的下方形成有图像确认区域92。图像确认区域92在显示于相似图像显示区域91的相似的图像中显示由用户点击的图像(最初为预先确定的图像，例如显示于相似图像显示区域91的图像中最初拍摄的图像)。
在相似图像显示区域91的右侧形成有标有“符合条件”这一文字的符合条件按钮93。在图像确认区域92的右侧形成有标有“确定”这一文字的确定按钮94。
可以将图12所示的图像确认窗口90的大小设为与图11所示的编辑用窗口50A的大小相同，且以与图11所示的编辑用窗口50A一致的方式在编辑用窗口50A上显示图像确认窗口90，也可以以与编辑用窗口50A的一部分重叠的方式显示图像确认窗口90，还可以以与编辑用窗口50A不重叠的方式显示图像确认窗口90。
若由用户使用鼠标9点击符合条件按钮(图5步骤36中“是”)，则通过CPU2(为符合条件指定窗口显示控制机构的一例)在显示装置3的显示画面显示图13所示的符合条件指定窗口100(图5步骤37)。
图13是符合条件指定窗口100的一例。
符合条件为确定作为图像的完成度的评价中所使用的条件。可以使符合条件包含于相似判断条件中。在符合条件指定窗口100(为符合条件接收机构的一例)中包含4个勾选框101至104。显示有分别与这些4个勾选框101至104对应的符合条件。在符合条件指定窗口100中显示有多个符合条件。
在第1勾选框101的右侧显示有“闭眼”这一文字。通过勾选第1勾选框101，能够将图像中所包含的人物的闭眼情况的程度作为符合条件来指定。在“闭眼”这一文字的右侧形成有在左端标有“完全”这一文字、在右端标有“稍微”这一文字的标尺。在该标尺上，能够使用鼠标9使滑块105左右移动。将滑块105越向左侧移动，越是完全没有闭眼的图像而符合度变高，将滑块105越向右侧移动，关于闭眼的符合度，即便多少存在闭眼符合度也会变高。通过勾选勾选框101并移动滑块105，能够调整相对于符合度的闭眼的影响。
在第2勾选框102的右侧显示有“模糊”这一文字。通过勾选第2勾选框102，能够将图像的模糊程度作为符合条件来指定。在“模糊”这一文字的右侧形成有在左端标有“严重”这一文字、在右端标有“轻微”这一文字的标尺。在该标尺上，能够使用鼠标9使滑块106左右移动。将滑块106越向左侧移动，越是没有模糊的图像而符合度变高，将滑块106越向右侧移动，关于模糊的符合度，即便多少存在模糊符合度也会变高。通过勾选勾选框102并移动滑块106，能够调整相对于符合度的模糊的影响。
在第3勾选框103的右侧显示有“曝光”这一文字。通过勾选第3勾选框103，能够将图像的明度程度作为符合条件来指定。在“曝光”这一文字的右侧形成有在左端标有“明亮”这一文字、在右端标有“暗”这一文字的标尺。在该标尺上，能够使用鼠标9使滑块107左右移动。将滑块107越向左侧移动，越是明亮图像而符合度变高，将滑块107越向右侧移动，越暗的图像符合度变高。通过勾选勾选框103并移动滑块107，能够调整相对于符合度的曝光的影响。
在第4勾选框104的右侧显示有“表情”这一文字。通过勾选第4勾选框104，能够将图像中所包含的人物的表情作为符合条件来指定。在“表情”这一文字的右侧显示有“笑”这一文字、“微笑”这一文字、“严肃”这一文字及“哭泣”这一文字。在“笑”这一文字、“微笑”这一文字、“严肃”这一文字及“哭泣”这一文字的各自的下方形成有勾选框108、109、110及111。越是与勾选框108、109、110及111中被勾选的勾选框对应的文字的表情接近的表情符合度变高。通过勾选勾选框104且勾选勾选框108、109、110及111中的任一勾选框，能够调整相对于符合度的脸部表情的影响。
在符合条件指定窗口100的下部形成有标有“符合条件的输入”这一文字的符合条件输入按钮112及标有“确定”这一文字的确定按钮113。
若点击符合条件输入按钮112(图5步骤38中“是”)，则通过CPU2(为符合条件输入窗口显示控制机构的一例)在显示装置3的显示画面显示图14所示的符合条件输入窗口120(符合条件接收机构的一例)(图5步骤39)。
图14是符合条件输入窗口120的一例。
在符合条件输入窗口120包含有3个符合条件输入区域121、122及123。在符合条件输入窗口120的右下角形成有标有“返回”这一文字的返回按钮124。
若用键盘8在符合条件输入区域121、122及123中的至少一个区域输入符合条件，则成为由用户指定符合条件。例如，若在符合条件输入区域121、122或123中的任一区域输入“分辨率”，则分辨率成为符合条件，分辨率越高符合度变高。如图13所示，也可以设为显示滑块且能够使用滑块来调整所输入的符合条件的符合度的影响。成为图像提取装置1接收符合条件的输入。
若点击返回按钮124(图5步骤40中“是”)，则图14所示的符合条件输入窗口120从显示装置3的显示画面中消失，图13所示的符合条件指定窗口100显示于显示装置3的显示画面(图5步骤37)。若点击符合条件指定窗口100中所包含的确定按钮113(图5步骤38中“否”，图5步骤41中“是”)，则通过CPU2(为符合度计算机构的一例)按照所指定的符合条件计算图12所示的图像确认窗口90的图像确认区域92中所显示的图像的符合度(图6步骤42)。若计算出符合度，则图像确认窗口90通过CPU2更新显示于显示装置3的显示画面(图6步骤47)。
图15是已更新的图像确认窗口90的一例。
在图像确认窗口90中显示有符合度显示区域95。在该实施例中，设为作为符合条件指定有“闭眼”、“模糊”及“表情(笑)”。在符合度显示区域95显示有所指定的符合度“闭眼”、“模糊”及“表情(笑)”，在各符合度的右侧显示有A、B及C的评价。关于“闭眼”的符合度，A被圆圈包围，可知图像确认区域92中所显示的图像I8的符合度的针对“闭眼”为评价A。相同地，关于“模糊”的符合度，B被圆圈包围，可知图像I8的符合度的针对“模糊”为评价B。关于“表情(笑)”的符合度，A被圆圈包围，可知图像I8的符合度的针对“表情(笑)”为评价A。
若在相似图像显示区域91中所显示的相似的图像I8、I9、I10及I11中，使用鼠标9点击图像确认区域92中所显示的除了图像I8以外的图像(图6步骤44中“是”)，则通过CPU2(为符合度计算机构的一例)根据所指定的符合条件计算关于被点击的图像的符合度(图6步骤42)。图像确认窗口90被更新，计算出的符合度显示于符合度显示区域95(为符合度通知机构的一例)(图6步骤47)。
若点击确定按钮94(图6步骤45中“是”)，则图像确认窗口90从显示装置3的显示画面中消失，如图16所示，编辑用窗口50A显示于显示装置3的显示画面(图6步骤46)。
参考图16，在编辑用窗口50A中，通过CPU2在拖放有相似图像组G3的图像粘贴区域A1粘贴点击确定按钮94时显示于图像确认区域92的图像。由此通过CPU2(为相似图像提取机构的一例)从相似图像组G3中提取至少1个图像。
直至点击编辑用窗口50A的结束按钮55，重复进行图4步骤33至图6步骤46的处理(图6步骤47)。
根据第1实施例，用户能够指定相似判断条件，因此能够找出与用户的意愿相应的相似图像。
(第2实施例)
图17至图19表示第2实施例。
在第2实施例中，在所指定的相似图像组中所包含的图像中，将符合度高的图像作为推荐图像而通知给用户。
图17表示与图4的步骤33及步骤34对应的处理顺序，是表示图像提取装置1的处理顺序的一部分的流程图。
如参考图2至图6的流程图进行的说明，若图16所示的编辑用窗口50A更新显示，只要不按结束按钮55(图6步骤47)，则转到图17步骤131的处理，通过CPU2按每一个相似图像组计算相似图像组中所包含的图像的符合度(该符合度为基于由用户指定或制作出的符合条件的符合度)(图17步骤131)。于是，按每一个相似图像组，相似图像组中所包含的图像中符合度最高的图像与相似图像组中所包含的其他图像相比相对明亮显示(图17步骤132)。
图18是编辑用窗口50A的一例。
在第1相似图像组G1中包含有相似的图像I1、I2、I3及I11，且设为在这些图像[1、I2、I3及I11中，图像[2的符合度相对高于其他图像I1、I3及I11。于是，图像T2比其他图像I1、I3及I11相对明亮显示。在图18所示的例子中，对图像I1、I3及I11施加了阴影线，而对图像I2未施加阴影线，由此表示图像I2比图像I1、I3及I11相对明亮。如此，通过将符合度相对高的图像I2与符合度相对低的图像区别显示，可知相似图像组中所包含的图像中符合度高的图像。
相同地，可知在第2相似图像组G2中，图像I13的符合度相对高于图像I6，在第3相似图像组G3中，图像I9的符合度相对高于图像I8、I10及I12，在第4相似图像组G4中，图像I18的符合度相对高于图像I16及I17，在第5相似图像组G5中，图像I19的符合度相对高于图像120及I21，在第6相似图像组G6中，图像I22的符合度相对高于图像I23。
与上述相同地，例如，若第3相似图像组G3被拖放到页面图像P1的图像粘贴区域A1(图17步骤33中“是”)，则如图19所示那样的图像确认窗口90显示于显示装置3的显示画面。
参考图19，在图像确认窗口90的相似图像显示区域91(为推荐图像通知机构的一例)显示有被拖放的第3相似图像组G3中所包含的图像I8、I9、I10及I12，但与编辑用窗口50A中的显示相同地，符合度相对高的图像I9明亮(为了示出明亮，未施加阴影线)显示，符合度相对低的图像I8、I10及I12较暗(为了示出较暗，施加有阴影线)显示。
并且，在图像确认区域92(为推荐图像通知机构的一例)显示符合度相对高的图像I9，在符合度显示区域95显示图像确认区域92中所显示的图像I9的符合度。
根据第2实施例，在相似图像组中所包含的图像中，轻松地知道符合度相对高的图像。
并且，在上述的第1实施例及第2实施例中，设成预先设定有相似判断条件及符合条件，根据需要，显示图10所示的相似判断条件输入窗口 80而用户输入相似判断条件，或显示图14所示的符合条件输入窗口120而用户输入符合条件，但也可以设成并不预先设定相似判断条件、符合条件等而用户使用图10所示的相似判断条件输入窗口80输入相似判断条件，或使用图14所示的符合条件输入窗口120输入相似判断条件。
而且，在上述的第1实施例及第2实施例中，在显示图7所示的图像一览窗口50之后，显示图8所示的相似判断条件指定窗口60、图9所示的相似判断条件追加窗口70、图10所示的相似判断条件输入窗口80、图13所示的符合条件指定窗口100及图14所示的符合条件输入窗口120等，但也可以在显示图7所示的图像一览窗口50之前，显示这些窗口60、70、80、100、120等，且在最初确定相似判断条件、符合条件等。总之，只要用户能够指定或输入(制作)相似判断条件、符合条件等即可。
在执行上述处理的处理部除了执行软件而作为各种处理部发挥功能的CPU2以外，还包含如FPGA(field-programmable gate array：现场可编程门阵列)等在制造后能够变更电路结构的可编程逻辑器件、ASIC(application sp ecific integrated circuit：专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器及专用电气电路等。
1个处理部可以由这些各种处理器中的1个处理器构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA、CPU及FPGA的组合)构成。作为将多个处理部由1个处理器来构成的例子，有如下方式：第1，如以客户端计算机或服务器等计算机为代表，由1个以上的CPU与软件的组合来构成1个处理器，该处理器作为多个处理部而发挥功能。第2，如以系统单芯片等为代表，使用1个IC(integrated circuit：集成电路)芯片来实现包含多个处理部的系统整体的功能的处理器。如此，各种处理部由作为硬件结构使用1个以上的各种处理器而构成。
而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的电气电路。
在上述实施例中，图像提取装置1以专用装置的方式进行了记载，但可以不是由专用装置而是由个人计算机构成，也可以由如智能手机、平板装置那样的所谓的智能设备构成，还可以由如功能手机那样的移动电话构成。
符号说明
1-图像提取装置，2-CPU，3-显示装置，4-通信装置，5-硬盘，6-硬盘驱动器，7-存储器，8-键盘，9-鼠标，10-光盘驱动器，11-光盘，12-存储卡读卡器，13-存储卡，50-图像一览窗口，50A-编辑用窗口，51-图像一览显示区域，52-滑块，53-相似判断条件按钮，54-页面图像一览显示区域，55-结束按钮，60-相似判断条件指定窗口，61～65-勾选框，66-相似判断条件追加按钮，67-确定按钮，70-相似判断条件追加窗口，71～72-勾选框，76-相似判断条件制作按钮，77-返回按钮，80-相似判断条件输入窗口，81-相似判断条件输入区域，82-确定按钮，83-返回按钮，90-图像确认窗口，91-相似图像显示区域，92-图像确认区域，93-符合条件按钮，94-确定按钮，95-符合度显示区域，100-符合条件指定窗口，101～104-勾选框，105～107-滑块，108～110-勾选框，112-符合条件输入按钮，113-确定按钮，120-符合条件输入窗口，121-符合条件输入区域，122-符合条件输入区域，123-符合条件输入区域，124-返回按钮，A1～A18-图像粘贴区域，A11～A16-图像粘贴区域，A21～A25-图像粘贴区域，A31～A36-图像粘贴区域，A41～A46-图像粘贴区域，G1-第1相似图像组，G2-第2相似图像组，G3-第3相似图像组，G4-第4相似图像组，G5-第5相似图像组，G6-第6相似图像组，I1～I28-图像，P1～P5-页面图像。

Claims (13)

1.一种图像提取装置，其特征在于，具备：
显示控制机构，对显示装置进行控制，以使得将在多个图像中对比任意2个图像时用于判断该2个图像是否为彼此相似的多个独立的相似判断条件显示于显示画面；
相似判断条件接收机构，从显示于所述显示画面的多个相似判断条件中接收用户的相似判断条件的选择；
相似图像组确定机构，按照所述相似判断条件接收机构所接收的相似判断条件，确定由彼此相似的2个以上的图像构成的1个或多个相似图像组；及
图像提取机构，在由所述相似图像组确定机构确定的1个或多个相似图像组的各个相似图像组中，提取至少1个图像。
2.根据权利要求1所述的图像提取装置，其中，
所述图像提取装置还具备：
第1图像显示控制机构，将多个图像显示于显示装置的显示画面中所形成的第1显示窗口，且区别显示由所述相似图像组确定机构确定的1个或多个相似图像组中所包含的图像与相似图像组中不包含的图像。
3.根据权利要求2所述的图像提取装置，其中，
所述第1图像显示控制机构在多个相似图像组中，区别显示一个相似图像组与其他相似图像组。
4.根据权利要求2或3所述的图像提取装置，其中，
所述图像提取装置还具备：
相似图像组指定机构，指定由所述相似图像组确定机构确定的1个或多个相似图像组中的1个相似图像组；及
相似图像显示控制机构，在与所述第1显示窗口不同的第2显示窗口中，相邻显示由所述相似图像组指定机构指定的相似图像组中所包含的彼此相似的图像。
5.根据权利要求1或2所述的图像提取装置，其中，
所述图像提取装置还具备：
相似判断条件指定窗口显示控制机构，将显示有多个相似判断条件的相似判断条件指定窗口显示于显示装置的显示画面，
所述相似判断条件接收机构通过从所述相似判断条件指定窗口内所显示的多个相似判断条件中进行指定而接收相似图像判断条件的输入。
6.根据权利要求1或2所述的图像提取装置，其中，
所述图像提取装置还具备：
相似图像组指定机构，指定由所述相似图像组确定机构确定的1个或多个相似图像组中的1个相似图像组；
符合条件接收机构，接收图像的符合条件的输入；
符合度计算机构，对由所述相似图像组指定机构指定的相似图像组中所包含的彼此相似的图像中被指定的图像，计算由所述符合条件接收机构接收的符合条件的符合度；及
符合度通知机构，通知由所述符合度计算机构计算出的符合度。
7.根据权利要求6所述的图像提取装置，其中，
所述图像提取装置还具备：
符合条件指定窗口显示控制机构，将显示有多个符合条件的符合条件指定窗口显示于显示装置的显示画面，
所述符合条件接收机构接收从所述符合条件指定窗口内所显示的多个符合条件中指定的符合条件的输入。
8.根据权利要求1或2所述的图像提取装置，其中，
在多个相似图像组中，一个相似图像组中所包含的图像与其他相似图像组中所包含的图像在基于所述相似判断条件接收机构中所接收的相似判断条件的判断上为不相似。
9.根据权利要求1或2所述的图像提取装置，其中，
所述图像提取装置还具备：
相似判断条件输入窗口显示控制机构，将输入相似判断条件的相似判断条件输入窗口显示于显示装置的显示画面，
所述相似判断条件接收机构接收在所述相似判断条件输入窗口中输入的相似判断条件的输入。
10.根据权利要求6所述的图像提取装置，其中，
所述图像提取装置还具备：
符合条件输入窗口显示控制机构，将输入符合条件的符合条件输入窗口显示于显示装置的显示画面，
所述符合条件接收机构接收在所述符合条件输入窗口中输入的符合条件的输入。
11.根据权利要求6所述的图像提取装置，其中，
所述图像提取装置还具备：
相似图像组指定机构，指定由所述相似图像组确定机构确定的1个或多个相似图像组中的1个相似图像组；
符合度计算机构，对由所述相似图像组指定机构指定的相似图像组中所包含的图像，计算由所述符合条件接收机构接收的符合条件的符合度；及
推荐图像通知机构，在由所述符合度计算机构计算出的符合度中，将具有最高的符合度的图像作为由所述图像提取机构提取的推荐图像来进行通知。
12.一种图像提取方法，其特征在于，
显示控制机构对显示装置进行控制，以使得将在多个图像中对比任意2个图像时用于判断该2个图像是否为彼此相似的多个独立的相似判断条件显示于显示画面，
相似判断条件接收机构从显示于所述显示画面的多个相似判断条件中接收用户的相似判断条件的选择；
相似图像组确定机构按照所述相似判断条件接收机构所接收的相似判断条件，确定由彼此相似的2个以上的图像构成的1个或多个相似图像组，
图像提取机构在由所述相似图像组确定机构确定的1个或多个相似图像组的各个相似图像组中，提取至少1个图像。
13.一种记录有计算机可读取的程序的记录介质，所述计算机可读取的程序控制图像提取装置的计算机，
所述记录介质的特征在于，所述计算机可读取的程序以如下方式控制图像提取装置的计算机：
对显示装置进行控制，以使得将在多个图像中对比任意2个图像时用于判断该2个图像是否为彼此相似的多个独立的相似判断条件显示于显示画面，
从显示于所述显示画面的多个相似判断条件中接收用户的相似判断条件的选择；
按照所接收的相似判断条件，确定由彼此相似的2个以上的图像构成的1个或多个相似图像组，
在所确定的1个或多个相似图像组的各个相似图像组中，提取至少1个图像。
CN201811144335.5A 2017-10-02 2018-09-28 图像提取装置、图像提取方法及图像提取程序以及存储有该程序的记录介质 Active CN109598748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310819333.6A CN116862956A (zh) 2017-10-02 2018-09-28 图像提取装置、图像提取方法及记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-192326 2017-10-02
JP2017192326A JP6857586B2 (ja) 2017-10-02 2017-10-02 画像抽出装置，画像抽出方法および画像抽出プログラムならびにそのプログラムを格納した記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310819333.6A Division CN116862956A (zh) 2017-10-02 2018-09-28 图像提取装置、图像提取方法及记录介质

Publications (2)

Publication Number Publication Date
CN109598748A CN109598748A (zh) 2019-04-09
CN109598748B true CN109598748B (zh) 2023-07-28

Family

ID=65896148

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811144335.5A Active CN109598748B (zh) 2017-10-02 2018-09-28 图像提取装置、图像提取方法及图像提取程序以及存储有该程序的记录介质
CN202310819333.6A Pending CN116862956A (zh) 2017-10-02 2018-09-28 图像提取装置、图像提取方法及记录介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310819333.6A Pending CN116862956A (zh) 2017-10-02 2018-09-28 图像提取装置、图像提取方法及记录介质

Country Status (3)

Country Link
US (1) US11163821B2 (zh)
JP (1) JP6857586B2 (zh)
CN (2) CN109598748B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6857586B2 (ja) * 2017-10-02 2021-04-14 富士フイルム株式会社 画像抽出装置，画像抽出方法および画像抽出プログラムならびにそのプログラムを格納した記録媒体
CN108563767B (zh) * 2018-04-19 2020-11-27 深圳市商汤科技有限公司 图像检索方法及装置
KR102114223B1 (ko) * 2019-12-10 2020-05-22 셀렉트스타 주식회사 딥러닝 기반 유사 이미지를 필터링하는 방법 및 그를 이용한 장치
CN114220068B (zh) * 2021-11-08 2023-09-01 珠海优特电力科技股份有限公司 刀闸分合状态确定方法、装置、设备、介质及产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005236646A (ja) * 2004-02-19 2005-09-02 Fuji Xerox Co Ltd 画像表示装置および方法およびプログラム
JP2006058959A (ja) * 2004-08-17 2006-03-02 Fujifilm Software Co Ltd 類似画像判定方法、プログラム及び装置
JP2007058792A (ja) * 2005-08-26 2007-03-08 Fujifilm Holdings Corp 画像処理装置、画像処理方法及び画像処理プログラム
CN102136062A (zh) * 2011-03-08 2011-07-27 西安交通大学 一种基于多分辨lbp的人脸检索方法
JP2012099147A (ja) * 2012-02-07 2012-05-24 Canon Inc 画像処理装置およびプログラム
CN105072337A (zh) * 2015-07-31 2015-11-18 小米科技有限责任公司 图片处理方法及装置
CN109598748A (zh) * 2017-10-02 2019-04-09 富士胶片株式会社 图像提取装置、图像提取方法及图像提取程序以及存储有该程序的记录介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4674257B2 (ja) * 1999-01-27 2011-04-20 株式会社リコー 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002187329A (ja) 2000-12-22 2002-07-02 Canon Inc 画像印刷装置及び方法
JP2003037798A (ja) * 2001-07-26 2003-02-07 Fuji Color Service Co Ltd 写真撮影受付方法、写真撮影受付プログラム及び写真プリント作成方法
JP2003281540A (ja) * 2002-03-19 2003-10-03 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、画像処理プログラムならびに画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4346859B2 (ja) 2002-03-27 2009-10-21 富士フイルム株式会社 画像撮像装置、画像撮像装置における画像表示方法およびプログラム
US20030210808A1 (en) * 2002-05-10 2003-11-13 Eastman Kodak Company Method and apparatus for organizing and retrieving images containing human faces
JP2004118573A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像整理装置およびプログラム
JP4455302B2 (ja) 2003-12-25 2010-04-21 富士フイルム株式会社 画像編集装置および方法並びにプログラム
JP2006338620A (ja) * 2005-06-06 2006-12-14 Canon Inc 画像データ検索装置及び方法、並びにプログラム
JP2007097090A (ja) * 2005-09-30 2007-04-12 Fujifilm Corp 画像表示装置および方法ならびにプログラム、さらに写真プリント注文受付装置
US7644373B2 (en) * 2006-01-23 2010-01-05 Microsoft Corporation User interface for viewing clusters of images
KR100785928B1 (ko) * 2006-07-04 2007-12-17 삼성전자주식회사 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색시스템
JP4436858B2 (ja) * 2007-04-09 2010-03-24 シャープ株式会社 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
JP4375442B2 (ja) * 2007-06-04 2009-12-02 ソニー株式会社 画像管理装置、画像管理方法および画像管理プログラム
US8352465B1 (en) * 2009-09-03 2013-01-08 Google Inc. Grouping of image search results
JP2011257980A (ja) 2010-06-09 2011-12-22 Olympus Imaging Corp 画像表示装置、画像表示方法、およびプログラム
JP5485254B2 (ja) * 2011-12-19 2014-05-07 富士フイルム株式会社 画像整理装置および方法ならびにプログラム
JP5802171B2 (ja) 2012-05-24 2015-10-28 富士フイルム株式会社 画像表示装置、画像表示方法およびプログラム
JP5655112B2 (ja) 2012-09-14 2015-01-14 富士フイルム株式会社 合成画像作成システム、画像処理装置および画像処理方法
JP5713279B2 (ja) * 2012-09-20 2015-05-07 カシオ計算機株式会社 画像分類装置、電子アルバム作成装置、及び画像分類方法、プログラム
JP2016502194A (ja) * 2012-11-30 2016-01-21 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ検索方法及び装置
US11222044B2 (en) * 2014-05-16 2022-01-11 Microsoft Technology Licensing, Llc Natural language image search
JP6590547B2 (ja) 2015-06-22 2019-10-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP6276375B2 (ja) 2016-12-16 2018-02-07 オリンパス株式会社 画像検索装置、画像表示装置、画像検索方法、および画像表示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005236646A (ja) * 2004-02-19 2005-09-02 Fuji Xerox Co Ltd 画像表示装置および方法およびプログラム
JP2006058959A (ja) * 2004-08-17 2006-03-02 Fujifilm Software Co Ltd 類似画像判定方法、プログラム及び装置
JP2007058792A (ja) * 2005-08-26 2007-03-08 Fujifilm Holdings Corp 画像処理装置、画像処理方法及び画像処理プログラム
CN102136062A (zh) * 2011-03-08 2011-07-27 西安交通大学 一种基于多分辨lbp的人脸检索方法
JP2012099147A (ja) * 2012-02-07 2012-05-24 Canon Inc 画像処理装置およびプログラム
CN105072337A (zh) * 2015-07-31 2015-11-18 小米科技有限责任公司 图片处理方法及装置
CN109598748A (zh) * 2017-10-02 2019-04-09 富士胶片株式会社 图像提取装置、图像提取方法及图像提取程序以及存储有该程序的记录介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Personalized Image Recommendation via Exploratory Search from Large-Scale Flickr Image Collections》;jianping fan et al.;《IEEE transactions on circuits and systems for video technology》;全文 *
《基于内容的数码照片检索系统的设计与实现》;张妍妍;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;全文 *
《照片事件浏览中基于文本信息的个性化照片排序》;陆晔琦;《中国优秀硕士学位论文全文数据库 (信息科技辑)》(第8期);全文 *

Also Published As

Publication number Publication date
CN116862956A (zh) 2023-10-10
CN109598748A (zh) 2019-04-09
JP2019067163A (ja) 2019-04-25
US11163821B2 (en) 2021-11-02
JP6857586B2 (ja) 2021-04-14
US20190102650A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
CN109598748B (zh) 图像提取装置、图像提取方法及图像提取程序以及存储有该程序的记录介质
US10810454B2 (en) Apparatus, method and program for image search
US10872420B2 (en) Electronic device and method for automatic human segmentation in image
EP2797053B1 (en) Image compositing device and image compositing method
US20150277686A1 (en) Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format
KR102173123B1 (ko) 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
US9483858B2 (en) Text resizing within an embedded image
CN111460192A (zh) 图像候选确定装置、图像候选确定方法及存储控制图像候选确定装置的程序的记录介质
JP2008015854A (ja) 画像処理装置及び画像処理プログラム
JP2022159514A (ja) 画像処理装置，画像処理方法ならびに画像処理プログラムおよびそのプログラムを格納した記録媒体
CN112753049A (zh) 图像处理装置、图像处理方法及图像处理程序
WO2021068613A1 (zh) 面部识别方法、装置、设备及计算机可读存储介质
CN111164642A (zh) 图像候选确定装置、图像候选确定方法、控制图像候选确定装置的程序以及存储该程序的记录介质
US11775618B2 (en) Image processing device, image processing method, and image processing program for deciding a similarity between a captured image and a sample image
JP2020140555A (ja) 画像処理装置、制御方法、及びプログラム
JP2010262531A (ja) 画像情報処理装置、画像情報処理方法及びプログラム
JP2014085814A (ja) 情報処理装置及びその制御方法、プログラム
JP7203877B2 (ja) 画像抽出装置，画像抽出方法および画像抽出プログラムならびにそのプログラムを格納した記録媒体
KR20150096552A (ko) 사진 앨범 또는 사진 액자를 이용한 온라인 사진 서비스 시스템 및 방법
US20220283698A1 (en) Method for operating an electronic device in order to browse through photos
JP2019067259A (ja) 画像処理装置、制御方法及びプログラム
CN110235174B (zh) 图像评价装置、图像评价方法及记录介质
WO2024062912A1 (ja) 表示制御装置、表示制御装置の作動方法、および表示制御装置の作動プログラム
JP7558730B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2024050628A (ja) 画像判別装置，画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant