CN110933223B - 图像处理装置、图像处理方法及记录介质 - Google Patents

图像处理装置、图像处理方法及记录介质 Download PDF

Info

Publication number
CN110933223B
CN110933223B CN201910787471.4A CN201910787471A CN110933223B CN 110933223 B CN110933223 B CN 110933223B CN 201910787471 A CN201910787471 A CN 201910787471A CN 110933223 B CN110933223 B CN 110933223B
Authority
CN
China
Prior art keywords
image
images
group
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910787471.4A
Other languages
English (en)
Other versions
CN110933223A (zh
Inventor
野田晋平
松本彻也
臼杵壮也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN110933223A publication Critical patent/CN110933223A/zh
Application granted granted Critical
Publication of CN110933223B publication Critical patent/CN110933223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169—Digital image input
    • H04N1/00177—Digital image input from a user terminal, e.g. personal computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185—Image output
    • H04N1/00188—Printing, e.g. prints or reprints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185—Image output
    • H04N1/00196—Creation of a photo-montage, e.g. photoalbum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00461—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet marking or otherwise tagging one or more displayed image, e.g. for selective reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种能够选择与已选择的图像有共同性的图像的图像处理装置、图像处理方法及图像处理程序以及存储该程序的记录介质。若选自第1图像组的第1图像与选自第2图像组的第2图像共同包含同时拍摄有孩子与父亲的图像，则在智能手机的显示面板(21)上显示通知用户的对话框(200)，以便从对象图像组中选择这种图像(IR1)。若用户选择同时拍摄有孩子与父亲的图像(IR1)，则保持与以前选择的图像的共同性。

Description

图像处理装置、图像处理方法及记录介质
技术领域
本发明涉及一种图像处理装置、图像处理方法及图像处理程序。
背景技术
随着数码相机、智能手机的普及，图像的拍摄张数显著增加。仅将表示所拍摄的图像的图像数据保存于存储卡或智能手机的主体，则所拍摄的图像会被埋没。为了找出图像，考虑进行制作重印的数据检索(专利文献1)、检索相似的图像(专利文献2)，抽取对用户而言重要度高的图像(专利文献3)，能够推荐与人的感性匹配的图像(专利文献4)等内容。并且，还可提供如下服务：若预约按月支付固定费用，并从用户接收一定张数的照片数据的指定，则提供打印这些照片或合成这些照片而构成的写真集(非专利文献1)。
专利文献1：日本特开2003-288350号公报
专利文献2：日本特开2005-065728号公报
专利文献3：日本特开2017-010251号公报
专利文献4：日本特开2013-196417号公报
非专利文献1：d照片打印服务功能(https://photo-collection.nttdocomo.co.jp/dphoto/service/)
考虑到购买如非专利文献1的服务，且从拍摄的图像中选择一定张数的图像并定期打印的情况下，没有对从多个图像中选择什么样的图像会对用户而言优选的内容进行讨论的技术。专利文献1中，由于进行重印，所以未对从没有打印的图像中选择什么样的图像为较佳的内容进行考虑。专利文献2中，检索与诊断对象相似的图像，但完全没有对定期找出什么样的图像为较佳的内容进行考虑。专利文献3中，抽取重要度高的图像，但未对定期选择什么样的图像为较佳的内容进行考虑。专利文献4中，推荐与所选择的人的感性匹配的图像，但仍然未对定期选择什么样的图像为较佳的内容进行考虑。
发明内容
本发明的目的在于，定期选择图像时，能够从多个图像中选择对用户而言优选的图像。
本发明人发现若从多个图像定期选择图像时，在各期间内选择的图像组有共同性，则对用户而言为优选，从而实现了本发明。基于本发明的图像处理装置的特征在于，具备：图像组输入机构，输入选择1个或多个图像的对象图像组；及第1通知控制机构，根据通过选择基准制作机构由选自第1图像组中的1个或多个第1图像和选自第2图像组中的1个或多个第2图像制作的、选择图像的基准，将关于作为选自由上述图像组输入机构输入的对象图像组中的图像来推荐的图像的第1信息通知到第1通知机构。选择基准制作机构可具备图像处理装置，也可以具备与图像处理装置不同的装置。例如，智能手机(客户计算机)与图像服务器一边进行通信一边进行处理时，智能手机(客户计算机)可以具备选择基准制作机构，图像服务器也可以具备选择基准制作机构。
本发明还提供适于图像处理装置的图像处理方法。即，该方法的特征在于，图像组输入机构输入选择1个或多个图像的对象图像组，第1通知控制机构根据通过选择基准制作机构由选自第1图像组中的1个或多个第1图像和选自第2图像组中的1个或多个第2图像制作的、选择图像的基准，将关于作为选自由图像组输入机构输入的对象图像组中的图像来推荐的图像的第1信息通知到第1通知机构。
本发明还提供一种能够由图像处理装置的计算机读取的程序及存储该程序的记录介质。
并且，图像处理装置具备处理器，处理器可以输入选择1个或多个图像的对象图像组，根据通过选择基准制作机构由选自第1图像组中的1个或多个第1图像和选自第2图像组中的1个或多个第2图像制作的、选择图像的基准，将关于作为选自输入的对象图像组中的图像来推荐的图像的第1信息通知到第1通知机构。
选择基准制作机构例如可以以选择具有由第1图像和第2图像共同获得的主题的图像的方式制作基准。
选择基准制作机构例如可以以选择具有由多个第1图像中的一个图像和多个第2图像中的一个图像共同获得的主题且是除了由多个第1图像中的另一个图像和多个第2图像中的另一个图像共同获得的主题之外的主题的图像的方式制作基准。
选择基准制作机构例如以选择具有由多个第1图像的全部主题和多个第2图像的全部主题共同获得的主题的图像的方式制作基准。
选择基准制作机构例如可以以从对象图像组中选择与第1图像和第2图像的双方相似的第1相似度为第1阈值以上的图像的方式制作基准。
选择基准制作机构例如可以以选择表示第1图像包含的被摄体和第2图像包含的被摄体的共同被摄体发生变化的情形的图像的方式制作基准。
可以进一步具备选择基准制作机构。
可以进一步具备接收机构，该接收机构接收表示在选择基准制作机构中制作的基准的数据。此时，例如，第1通知控制机构根据通过在接收机构中接收的数据表示的基准将第1信息通知到第1通知机构即可。
第1通知控制机构中的第1信息的通知例如为将作为选自对象图像组中的图像来推荐的图像与对象图像组中除了所推荐的图像之外的图像相区分的显示。
第1通知控制机构中的第1信息的通知例如为对作为选自对象图像组中的图像来推荐的图像赋予标记来显示。
第1通知控制机构中的第1信息的通知例如为通过字符串或样品图像来显示作为选自对象图像组中的图像来推荐的图像中的被摄体的情形。
第1通知控制机构中的第1信息的通知例如为显示第1图像或第2图像中的与选自对象图像组中的图像之间的第2相似度为第2阈值以上的图像。
可以进一步具备第2通知控制机构，该第2通知控制机构以拍摄具有由第1图像和第2图像获得的主题的图像的方式通知关于主题的第2信息。
第2通知控制机构中的第2信息的通知例如为主题的显示。
第2通知控制机构中的第2信息的通知例如为按照主题的样品图像的显示。
第2通知控制机构中的第2信息的通知例如为显示第1图像或第2图像中的具有共同主题的图像。
可以进一步具备显示控制机构，该显示控制机构以如下方式控制显示装置：将上述多个第1图像和上述多个第2图像中具有共同主题的图像以多个第1图像和多个第2图像分别逐个依次显示一定时间期间的方式来显示。
第1图像组的拍摄时期、第2图像组的拍摄时期及对象图像组的拍摄时期可以不同。
发明效果
通过本发明，根据由所选择的第1图像和第2图像制作的基准，通知关于作为选自对象图像组中的图像推荐的图像的第1信息。因此，根据该第1信息，能够从对象图像组选择所选择的第1图像与第2图像中具有共同性的图像。作为结果，从多个图像定期选择图像时，能够选择对于用户而言优选的图像。
附图说明
图1表示智能手机的外观。
图2是表示智能手机的电构成的框图。
图3是表示智能手机的处理顺序的流程图。
图4是表示智能手机的处理顺序的流程图。
图5是在智能手机的显示面板显示的画面的一例。
图6是在智能手机的显示面板显示的画面的一例。
图7是在智能手机的显示面板显示的画面的一例。
图8是表示推荐图像的决定处理顺序的流程图。
图9是第1图像组的一例。
图10是在智能手机的显示面板显示的画面的一例。
图11是第2图像组的一例。
图12是在智能手机的显示面板显示的画面的一例。
图13是对象图像组的一例。
图14是在智能手机的显示面板显示的画面的一例。
图15是在智能手机的显示面板显示的画面的一例。
图16是在智能手机的显示面板显示的画面的一例。
图17是在智能手机的显示面板显示的画面的一例。
图18是在智能手机的显示面板显示的画面的一例。
图19是在智能手机的显示面板显示的画面的一例。
图20是在智能手机的显示面板显示的画面的一例。
图21是表示拍摄辅助处理顺序的流程图。
图22是在智能手机的显示面板显示的画面的一例。
图23是表示短片的播放处理顺序的流程图。
图24是在智能手机的显示面板显示的画面的一例。
图25表示短片的播放内容。
图26表示智能手机与图像服务器的关系。
图27是表示智能手机与图像服务器的处理顺序的流程图。
具体实施方式
[主实施例]
图1是表示作为本发明的图像处理装置的一实施方式的智能手机1的外观。图1所示的智能手机1具有平板状的壳体2，在壳体2的一个面具备作为显示部的显示面板21与作为输入部的操作面板22成为一体的显示输入部20。并且，该壳体2具备麦克风32、扬声器31、操作部40及相机部41。另外，壳体2的结构并不限定于此，例如，还能够采用显示部与输入部独立的结构，或采用具有折叠结构或滑动机构的构成。
图2是表示图1所示的智能手机1的结构的框图。如图2所示，作为智能手机的主要构成要件，具备无线通信部10、显示输入部20、通话部30、操作部40、相机部41、存储部50、外部输入输出部60、GPS(Global Positioning System：全球定位系统)接收部70、动作传感器部80、电源部90及主控制部100。并且，作为智能手机1的主要功能，具备进行经由基站装置BS和移动通信网NW的移动无线通信的无线通信功能。
无线通信部10按照主控制部100的指示，对收容于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行音频数据，图像数据等各种文件数据，电子邮件数据等的收发或者Web数据或流数据等的接收。
显示输入部20为通过主控制部100的控制显示图像(静态图像及动态图像)或字符信息等而在视觉上向用户传递信息，并且检测与所显示的信息对应的用户操作的所谓的触摸面板，具备显示面板21及操作面板22。
显示面板21将LCD(Liquid Crystal Display：液晶显示器)、OELD(Or ganicElectro-Luminescence Display：有机电致发光显示器)等用作显示设备。操作面板22为能够视觉辨别在显示面板21的显示面上显示的图像的方式载置，且检测通过用户的手指或笔尖操作的1个或多个坐标的设备。若通过用户的手指或笔尖操作该设备，则向主控制部100输出因操作产生的检测信号。接着，主控制部100根据所接收的检测信号检测显示面板21上的操作位置(坐标)。
如图1所示，作为本发明的图像处理装置的一实施方式例示的智能手机1的显示面板21与操作面板22成为一体而构成显示输入部20，但操作面板22成为如完全覆盖显示面板21的配置。采用该配置时，操作面板22可以具备对于显示面板21之外的区域也检测用户操作的功能。换言之，操作面板22可以具备关于与显示面板21重叠的重叠部分的检测区域(以下，称作显示区域)及关于与除此之外的显示面板21不重叠的外缘部分的检测区域(以下，称作非显示区域)。
另外，可以使显示区域的大小与显示面板21的大小完全一致，但未必一定使两者一致。并且，操作面板22可以具备外缘部分及除此之外的内侧部分的2个感应区域。另外，外缘部分的宽度根据壳体2的大小等适当设计。另外，作为由操作面板22采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，也能够采用任一方式。
通话部30具备扬声器31及麦克风32，且将通过麦克风32输入的用户的音频转换为能够由主控制部100处理的音频数据并输出到主控制部100，或者解码通过无线通信部10或外部输入输出部60接收的音频数据并由扬声器31输出。并且，如图1所示，例如，将扬声器31搭载于与设有显示输入部20的面相同的面，且能够将麦克风32搭载于壳体2的侧面。
操作部40为利用键开关等的硬件键，并接收来自用户的指示。例如，如图1所示，操作部40为搭载于智能手机1的壳体2的侧面，且由手指等按压时接通，移开手指时通过弹簧等的还原力成为断开状态的按钮式开关。
存储部50存储主控制部100的控制程序或控制数据，将应用软件、通信对象的名称或电话号等建立对应关联的地址数据、收发的电子邮件的数据、通过Web浏览下载的Web数据或下载的内容数据，并且暂时存储流数据等。并且，存储部50由智能手机内置的内部存储部51及具有装卸自如的外部存储器用的插槽的外部存储部52构成。另外，构成存储部50的各内部存储部51与外部存储部52使用闪存类型(flash memory type)、硬盘类型(harddisk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如MicroSD(注册商标)存储器等)、RAM(Random Access Memory：随机存取存储器)、ROM(ReadOnly Memory：只读存储器)等存储介质来实现。
外部输入输出部60发挥与连结于智能手机1的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification：射频识别)、红外线通信(Infrared Data Asso ciation：IrDA)(注册商标)、UWB(Ultra Wideband：超宽频)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机1连结的外部设备，例如有：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储卡(Memorycard)或SIM(SubscriberIdentity Module：用户识别模块)/UIM(User I dentity Module：用户身份模块)卡、经由音频/视频I/O(输入/输出，Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的P DA、有线/无线连接的耳机等。外部输入输出部能够设为向智能手机1的内部的各构成要件传递由这种外部设备接收的传输的数据，或者智能手机1的内部的数据传送到外部设备。
GPS接收部70根据主控制部100的指示接收由GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测该智能手机1的由纬度、经度、高度构成的位置。GPS接收部70能够由无线通信部10或外部输入输出部60(例如无线LAN)获取位置信息时，也能够使用该位置信息检测位置。
动作传感器部80例如具备三轴加速度传感器等，根据主控制部100的指示，检测智能手机1的物理动作。通过检测智能手机1的物理动作，检测智能手机1的移动方向或加速度。该检测结果被输出至主控制部100。
电源部90根据主控制部100的指示向智能手机1的各部供给蓄积于蓄电池(未图示)的电力。
主控制部100具备微处理器，且根据存储部50所存储的控制程序或控制数据进行动作，并集中控制智能手机1的各部。并且，主控制部100为了通过无线通信部10进行音频通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用程序处理功能。
应用程序处理功能通过根据存储部50所存储的应用软件由主控制部100进行动作来实现。作为应用程序处理功能，例如有控制外部输入输出部60与对方设备进行数据通信的红外线通信功能或进行电子邮件的收发的电子邮件功能、浏览web网页的Web浏览功能等。
并且，主控制部100具备根据接收数据或下载的流数据等图像数据(静态图像或动态图像的数据)将影像显示于显示输入部20等的图像处理功能。图像处理功能是指主控制部100解码上述图像数据，并对该解码结果实施图像处理，而将图像显示于显示输入部20的功能。
另外，主控制部100执行相对于显示面板21的显示控制及检测通过操作部40、操作面板22的用户操作的操作检测控制。通过显示控制的执行，主控制部100显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于对无法完全落入显示面板21的显示区域的大图像等，接收移动图像的显示部分的指示的软件键。
并且，通过操作检测控制的执行，主控制部100检测通过操作部40的用户操作，或者通过操作面板22接收相对于上述图标的操作或接收相对于上述窗口的输入栏的字符串的输入，或者接收通过滚动条的显示图像的滚动请求。
另外，通过操作检测控制的执行，主控制部100具备判定相对于操作面板22的操作位置是与显示面板21重叠的重叠部分(显示区域)还是除此之外的不与显示面板21重叠的外缘部分(非显示区域)，并控制操作面板22的感应区域或软件键的显示位置的触摸面板控制功能。
并且，主控制部100还能够检测相对于操作面板22的手势操作，且根据所检测的手势操作执行预先设定的功能。手势操作是指通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些而从多个位置对至少1个描绘轨迹的操作，而不是以往的单纯的触摸操作。
相机部41为使用CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)或CCD(Charge-Coupled Device：电荷耦合器件)等成像元件进行电子拍摄的数码相机。并且，相机部41能够通过主控制部100的控制将通过拍摄得到的图像数据例如转换成JPEG(Joint Photographic Experts Group：联合图像编码专家组)等压缩的图像数据并记录于存储部50，或者通过外部输入输出部60或无线通信部10输出。在图1所示的智能手机1中，相机部41搭载于与显示输入部20相同的面，但相机部41的搭载位置并不限定于此，可以搭载于显示输入部20的背面，或者，也可以搭载多个相机部41。另外，搭载有多个相机部41时，还能够切换供于拍摄的相机部41单独拍摄，或者同时使用多个相机部41拍摄。
并且，相机部41能够利用于智能手机1的各种功能。例如，在显示面板21显示由相机部41获取的图像，或作为操作面板22的操作输入之一，能够利用相机部41的图像。并且，GPS接收部70检测位置时，还能够参考来自相机部41的图像检测位置。另外，能够参考来自相机部41的图像，且不使用三轴加速度传感器，或者与三轴加速度传感器并用，来判断智能手机1的相机部41的光轴方向或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部41的图像。
除此之外，还能够在静态图像或动态图像的图像数据中附加通过GPS接收部70获取的位置信息、通过麦克风32获取的音频信息(可以通过主控制部等进行音频文本转换而成为字符信息)、通过动作传感器部80获取的姿势信息等并记录于存储部50，或通过外部输入输出部60或无线通信部10输出。
图3及图4是表示智能手机1的处理顺序的流程图。
经由互联网等得到的程序预先安装于智能手机1，并通过启动该程序，开始图3及图4所示的处理。并且，程序也可以存储于外部存储部52等记录介质，且由外部存储部52读出的程序安装于智能手机1。该程序进行从某月拍摄的图像中选择所打印的图像的处理，因此，尤其进行将从某月拍摄的图像中推荐的图像作为打印的图像通知到用户的处理。
若启动程序，则智能手机1的显示面板21显示图5所示的主页画面(步骤S101)。
在遍及几乎整个主页画面形成11个图像显示区域129(图像显示区域129可少于11个，也可为12个以上)。在主页画面的大致左上方显示拍摄月份显示区域128。在拍摄月份显示区域128显示“6月”的字符串与“2018年”的字符串。在启动程序后的主页画面的拍摄月份显示区域128显示与启动程序时对应的年月。在图5所示的主页画面上成为在2018年6月启动程序。
在主页画面的上部形成有拍摄年月指定区域121。在拍摄年月指定区域121形成有拍摄年显示区域122及下拉按钮123。通过将下拉按钮123下拉，出现下拉菜单，从而用户能够选择所期望的拍摄年。在拍摄年显示区域122的右侧形成有拍摄月份指定区域124、125及126。通过左右滚动拍摄年月指定区域121，切换在这些拍摄月份指定区域124、125及126显示的月份。在图5所示的主页画面中，在拍摄月份指定区域124、125及126分别显示“5月”、“6月”及“7月”，围绕在中央的拍摄月份指定区域125显示的“6月”的字符串。由于围绕“6月”，所以表示作为拍摄在图像显示区域129显示的图像的月选择了“6月”。在拍摄月份指定区域125的右侧形成有检索按钮127。在图像显示区域129的左下方形成有图像追加区域130。通过触摸图像追加区域130，在主页画面显示的图像显示区域129的个数增加1个。
在主页画面的下部显示有显示“订购”字符串的订购按钮131。订购图像的打印时触摸订购按钮131。并且，在主页画面的最下部形成有显示“主页”字符串的主页按钮132、显示“购物”字符串的购物按钮133及显示“菜单”字符串的菜单按钮134。
未选择图像的状态下，在图像显示区域129未显示图像。在未显示图像的状态下，若触摸11个图像显示区域129中的任一个图像显示区域129(步骤S102中的是)，则在显示面板21显示图6所示的图像文件夹画面。
图6是在显示面板21显示的图像文件夹画面的一例。
在图像文件夹画面显示图像文件夹图标141至146，在这些图像文件夹图标141至146的各个右侧显示有文件夹名。图像文件夹图标141表示存储在某月(图6所示的例子中为2018年6月)拍摄的图像的所有图像的图像文件夹。除此之外，图像文件夹图标142至146表示在该月份拍摄的图像中通过用户生成的图像文件夹的图标。存在除了在显示面板21显示的图像文件夹图标141至146之外的图像文件夹图标时，通过滚动显示面板21的表面，在显示面板21显示未显示于显示面板21的图像文件夹图标。在该实施例中，仅生成有图像文件夹图标141至146。若触摸图像文件夹图标141至146中的任一个图像文件夹图标(步骤S104中的是)，则在显示面板21显示图像选择画面(步骤S105)，在显示面板21显示存储于通过所触摸的图像文件夹图标特定的图像文件夹的图像。
图7是一览显示存储于通过所触摸的图像文件夹图标特定的图像文件夹的图像的图像选择画面的一例。
在图像选择画面显示有多个图像显示区域151，在这些图像显示区域151显示有图像。当存在未在显示面板21显示的图像时，通过在显示面板21的画面上进行滚动，在显示面板21显示未在显示面板21显示的图像。
图像选择画面的下部形成有显示有“推荐图像”字符串的推荐图像按钮152、显示有“图像分析”字符串的图像分析按钮153及显示有“确定”字符串的确定按钮154。根据以前选择的图像的趋势，通知关于作为用户所选择的图像推荐的图像的信息(第1信息的一例)时触摸推荐图像按钮152。将分析图像而判定为拍摄良好的图像通知到用户时触摸图像分析按钮153。确定所打印的图像时触摸确定按钮154。
若触摸推荐图像按钮152(步骤S106中的是)，则进行推荐图像的决定处理(步骤S107)。
图8是表示推荐图像决定处理顺序的流程图。
该实施例中，根据作为打印的图像从在2018年4月拍摄的图像的集合即图像组(为第1图像组的一例，并存储于内部存储部51)中选择的1个或多个图像(为1个或多个第1图像的一例，无论选择任何图像均存储于内部存储部51)、和作为打印的图像从在2018年5月拍摄的图像的集合即图像组(为第2图像组的一例，并存储于内部存储部51)中选择的1个或多个图像(为1个或多个第2图像的一例，无论选择任何图像均存储于内部存储部51)，从在2018年6月通过相机部41(为图像组输入机构的一例)拍摄的图像的集合即图像组(为对象图像组的一例，并存储于内部存储部51)中决定作为打印的图像而推荐的图像。根据在2018年4月拍摄的图像与在2018年5月拍摄的图像的这2个月拍摄的图像，从在2018年6月拍摄的图像中决定推荐图像，但是不仅由在2018年4月和2018年5月这2个月拍摄的图像决定推荐图像，也可以由经2018年3月以前的1个月或数月选择的图像中从在2018年6月拍摄的图像中决定推荐图像。根据作为打印的图像从经数月拍摄的各个图像组中选择的图像，从在某个特定的月份拍摄的图像中决定所打印的图像的推荐图像即可。并且，作为图像的集合的图像组并不一定是月单位，捕获成多个图像的集合即可，优选第1图像组(中包含的图像)的拍摄时期、第2图像组(中包含的图像)的拍摄时期及对象图像组的拍摄时期不同，但也可以是不同的。
通过智能手机1的主控制部100分别分析选自在2018年4月拍摄的图像的集合即第1图像组中的第1图像与选自在2018年5月拍摄的图像的集合即第2图像组中的第2图像(步骤S191)。
图9表示在2018年4月拍摄的图像的集合即第1图像组160和选自第1图像组160中的第1图像161。
第1图像组160包含图像I1至图像I100，成为在2018年4月拍摄了100张图像。作为第1图像161从这些图像I1至图像I100中选择图像I1至图像I11这11张图像。
图10表示从在2018年4月拍摄的图像中选择所打印的图像时的显示面板21。
在形成于显示面板21的11个图像显示区域129显示有选自第1图像组160中的第1图像161所包含的图像I1至I11。为了便于理解，在图像显示区域129显示有I1至I11的字符串，但并非必须显示这些I1至I11的字符串。
图11表示在2018年5月拍摄的图像的集合即第2图像组170和选自第2图像组170中的第2图像171。
第2图像组170包含图像I101至图像I200，成为在2018年5月拍摄了100张图像。作为第2图像171从这些图像I101至图像I200中选择图像I101至图像I111这11张图像。
图12表示从在2018年5月拍摄的图像中选择所打印的图像时的显示面板21。
在形成于显示面板21的11个图像显示区域129显示有选自第2图像组170中的第2图像171所包含的图像I101至I111。为了便于理解，在图像显示区域129显示有I101至I111的字符串，但并非必须显示这些I101至I111的字符串。
接着，通过主控制部100(选择基准制作机构的一例)制作选择图像的基准(步骤S192)。基准中有各种基准，例如，以作为推荐图像决定对象图像组180所包含的图像中的与第1图像161或第2图像171的相似度为阈值(第1阈值的一例)以上的图像的方式制作基准。也可以以作为推荐图像决定与第1图像161及第2图像171的任何图像的相似度均为阈值(第1阈值的一例)以上的图像的方式制作基准。
图13是在2018年6月拍摄的图像的一例。
在2018年6月拍摄有图像I201至I300这100张图像，构成图像组(对象图像组的一例)。若这些图像I201至I300中与第1图像161或第2图像171的相似度为阈值(第1阈值的一例)以上的图像设为图像I201至I211这11张，则作为所推荐的图像181决定这些图像I201至I211(步骤S193)。所推荐的图像可以多于或少于11张。
如图14所示，若决定所推荐的图像，则通过主控制部100(第1通知控制机构的一例)的控制在显示面板21的图像显示区域151显示已决定的推荐的图像(第1信息的一例)。与除了所推荐的图像之外的图像区别显示。在显示面板21的上部显示“选择与下方的照片相似的图像”的字符串，用户可知在图像显示区域显示与以前选择的图像相似的图像。
由此，在显示面板21显示关于推荐图像的信息(图4步骤S108)。用户得到关于推荐图像的信息，因此能够参考该信息决定订购的图像。
若不触摸推荐图像按钮152(图4步骤S106中的否)，而触摸图像分析按钮153(图4步骤S109中的是)，则通过主控制部100进行对象图像组180(此时为在2018年6月拍摄的100张图像I201至I300)的分析(图4步骤S110)。通过该分析，从对象图像组180所包含的图像I201至I300中发现良好的图像，如图15所示显示于显示面板21(图4步骤S111)。良好的图像是指图像的客观评价高的图像，聚焦的图像、主要被摄体位于中央的图像、认为主要被摄体的大小相对合适的图像、构图比较准确的图像、亮度适当的图像等判断为良好的图像。根据图像分析的结果计算出这些图像的评价。
参考图15，在显示面板21的图像显示区域151以评价高的顺序显示判断为良好的图像。通过滚动显示面板21在显示面板21显示未显示于显示面板21的图像。在显示于图像显示区域151的各个图像的下部显示有星号标记(也可以不是星号)240至242。星号个数越多图像的评价越高。用户能够参考星号标记240至242等选择打印的图像。并不是简单对图像分析的结果良好的图像赋予星号标记240至242等，也可以在根据由第1图像161及第2图像171制作的基准也进行推荐的图像赋予星号等标记(第1信息的一例)。
若触摸在图像显示区域151中显示的图像中的任一个图像(图4步骤S112中的是)，则触摸的图像比其他图像更暗地显示(图4步骤S113)。
若触摸11张图像，并触摸确定按钮154(图4步骤S114中的是)，则在显示面板21显示图16所示的主页画面(图4步骤S115)。在显示面板21的图像显示区域129显示通过用户触摸的图像。
若触摸主页画面的订购按钮131(图3步骤S116中的是)，则将在图像显示区域129显示的11张图像的表示各个图像的图像数据从智能手机1发送到图像服务器280(参考图26)。在图像服务器280中打印图像，并将打印物发送给用户。
若不触摸订购按钮131而触摸其他区域(图3步骤S117中的是)，则进行与其所触摸的区域对应的处理。
与以前选择的图像具有共同性的图像作为推荐图像通知到用户，因此通过从推荐图像中选择所打印的图像，获得与以前选择的图像具有共同性的图像的打印物。
上述的实施例中，将与选自第1图像组160的第1图像161或选自第2图像组170的第2图像171相似的图像设为选择图像的基准(图8步骤S192)，但也可以以选择具有由第1图像161和第2图像171共同获得的主题(由主要被摄体掌握的主题)的图像的方式制作基准。
例如，若从图像分析获知如图10所示从在2018年4月拍摄的图像中选择同时拍摄有孩子和父亲的图像I8，且如图12所示从在2018年5月拍摄的图像中也选择同时拍摄有孩子和父亲的图像I110，则制成选择具有如“同时拍摄有孩子和父亲的图像”主题的图像的基准。如此，由第1图像161中的一个图像I8和第2图像171中的一个图像I110获得的共同主题例如为“同时拍摄有孩子和父亲的图像”，但该共同主题也可以作为由除了第1图像161中的除了一个图像I8之外的其他图像和第2图像171中的除了一个图像I110之外的其他图像得到的共同主题之外的主题。
并且，由第1图像161和第2图像171共同获得的主题也可以作为由第1图像161所包含的图像I1至I11的各个图像的主要被摄体的行为和第2图像171所包含的图像I101至I111的各个图像的主要被摄体的行为共同获得的主题。
若获知由此得到的主题，则以推荐以与该主题一致的图像的方式通知到用户。以下，对通知的方法的一例进行说明。
参考图17，若由在2018年6月拍摄的多个图像构成的对象图像组中发现与所得到的主题一致的图像，则作为所选择的图像推荐该图像的信息显示于显示面板21。
例如，若“同时拍摄有孩子和父亲的图像”成为主题，并以选择与这种主题一致的图像的方式制成基准，则存在与该主题一致的图像时，在图像显示区域显示与该主题一致的图像。
如图17所示，图像IR1与“同时拍摄有孩子和父亲的图像”的主题一致时，在图像显示区域151显示图像IR1。另外，与该图像UR1匹配显示通知所推荐的信息(第1信息的一例)的对话框200。在对话框200中，由于以前也选择“同时拍摄有孩子和父亲的图像”，因此显示推荐选择这种图像的字符串201。并且，在对话框200中显示有在该共同主题下显示以前选择的图像的完成选择图像显示区域202及203。在完成选择图像显示区域202中，显示在2018年4月选择的图像中与“同时拍摄有孩子和父亲的图像”的主题具有共同的主题的图像，在完成选择图像显示区域203中，显示在2018年5月选择的图像中与“同时拍摄有孩子和父亲的图像”的主题具有共同主题的图像。另外，在对话框200中形成有推荐图像显示区域204，在该推荐图像显示区域204中显示有与对话框200匹配显示的所推荐的图像IR1。用户能够比较简单地选择“同时拍摄有孩子和父亲的图像”，从而每月得到具有共同主题的图像的打印物。
同样地，如同如图10所示在2018年4月选择的图像中的图像I1、如图12所示在2018年5月选择的图像中的图像I104所示，作为共同主题得到“孩子就餐的图像”时，以该主题为基准制作。
如图17所示，在2018年6月拍摄的图像中存在与“孩子就餐的图像”的主题一致的图像IR2时，与该图像IR2匹配显示对话框210。另外，某一图像为“就餐的图像”例如能够通过进行对象识别、检测拍摄有食物或餐具而决定。该对话框210中包含推荐选择“孩子就餐的图像”的字符串211。并且，也显示完成选择图像显示区域212及213，在2018年4月选择的图像中与如“孩子就餐的图像”的主题匹配的图像I1显示于完成选择图像显示区域212，在2018年5月选择的图像中与如“孩子就餐的图像”的主体匹配的图像I104显示于完成选择图像显示区域213。另外，在对话框210中形成有推荐图像显示区域214，在该推荐图像显示区域214中显示有与对话框210匹配显示的所推荐的图像IR2。用户能够比较简单地选择“孩子就餐的图像”，从而每月得到具有共同主题的图像的打印物。
基于“同时拍摄有孩子和父亲的图像”的主题的基准例如通过关于在2018年6月拍摄的对象图像组所包含的所有图像计算与在图10所示的2018年4月选择的图像I1至I11中的任一个图像和在2018年5月选择的图像I101至I111中的任一个图像双方相似的相似度(第1相似度的一例)，并将所计算的相似度为阈值(第1阈值的一例)以上的图像设为推荐图像而获得。通过制作这种基准，从在2018年6月拍摄的图像中找出图像I8及图像I110的相似度均为阈值以上的图像IR1。同样地，通过制作基于“孩子就餐的图像”的主题的基准，从在2018年6月拍摄的图像中找出在2018年4月选择的孩子就餐的图像I1及图像I104的相似度均为阈值(第1阈值的一例)以上的图像IR2。
图18为在显示面板21显示的图像的一例。
根据如可知共同被摄体发生变化的情形的图像成为推荐图像的基准决定推荐图像的例子。
图10所示的例子中，在2018年4月拍摄的图像中选择孩子的图像I6，图12所示的例子中，在2018年5月拍摄的图像中选择拍摄有与在图像I6所拍摄的孩子相同的孩子的图像I105。在2018年6月拍摄的图像中存在拍摄有与选择的图像I6及I105的共同的孩子(主要被摄体)相同的孩子(共同被摄体的一例)的图像IR3时，该图像IR3设为推荐图像。与图像IR3对应地显示对话框220。在对话框220显示表示“可知孩子成长的情形的图像”的字符串221。在对话框220中，与对话框200及210同样地也显示有完成选择图像显示区域222及223，在2018年4月选择的图像中与“可知孩子成长的图像”的主题匹配的图像I6显示于完成选择图像显示区域222，在2018年5月选择的图像中与“可知孩子成长的图像”的主题匹配的图像I105显示于完成选择图像显示区域223。另外，在对话框220形成有推荐图像显示区域224，在该推荐图像显示区域224显示有与对话框220匹配显示的所推荐的图像IR3。用户能够比较简单地选择“可知孩子成长的图像”，从而每月得到具有共同主题的图像的打印物。另外，关于“可知孩子成长的图像”，若预先检测到具体的图像如“孩子翻身的图像”、“孩子点头的图像”，“孩子扶站的图像”等，则判定为“可知孩子成长的图像”即可。由此，能够将具有可知孩子成长的情形的共同性的图像更准确地设为推荐图像。
另外，关于如“可知孩子成长的图像”的抽象概念，可以单独使用已完成学习的模型来判断。作为一例，在一般使用的图像检索引擎中，将输入“孩子、成长、图像”等关键词而抽取的图像视为“可知孩子成长的图像”的正解图像，从而能够学习用于判断“可知孩子成长的图像”的模型。作为其他例，在本实施例的程序中，将订购时汇总该月份的图像组的字符信息输入给用户，将所有用户的订购信息设为检索总体，将输入包含如“孩子、成长、图像”的单词的字符信息的月份的图像视为“可知孩子成长的图像”的正解图像，从而能够学习用于判断“可知孩子成长的图像”的模型。
图19是在显示面板21显示的图像的一例。
图19所示的例子为考虑到每月被选到失败的图像时，在显示面板21显示的对话框230的一例。在此所指的失败的图像是指包含以“跌倒”“哭泣的脸”等对于被摄体本人而言不优选的状态拍摄到的图像。
如图10所示，在2018年4月选择的图像中包含孩子失败的图像I11，且如图12所示，在2018年5月选择的图像也包含孩子失败的图像I111时，在对话框230中显示推荐选择所失败的图像的字符串231。与上述同样地，在对话框230中还显示有完成选择图像显示区域232及233，在这些完成选择图像显示区域232及233显示以前选择的孩子失败的图像I11及I111。并且，在对话框230中形成有推荐图像显示区域234，在该推荐图像显示区域234中显示有与对话框230匹配显示的所推荐的失败图像IR4。可以说通过在每月选择的图像的一部分中包含孩子的失败的图像，用户能够怀念孩子的行为，或将其他图像重新捕捉为更珍贵的图像，用户能够选择更优选的图像。
图20是在显示面板21显示的主页画面的一例。
若在图3所示的步骤S101中显示主页画面，则在图20所示的显示面板21所包含的图像显示区域129显示图标IR5及IR6(样品图像的一例)。图标IR5为表示孩子就餐的图标，图标IR6为表示孩子与父亲在一起的图标。通过观察这些图标IR5及IR6(第1信息的一例)，用户可知在2018年6月拍摄的图像中推荐有孩子就餐的图像、孩子与父亲在一起的图像。通过程序启动，且分析在2018年4月拍摄的图像中被选择的图像I1至I11和在2018年5月拍摄的图像中被选择的图像I101至I111来检测共同主题，与所检测的主题对应的图标IR5及IR6显示于图像显示区域129。可以代替图标IR5及IR6，在图像显示区域129显示有孩子就餐的样品图像及孩子与父亲在一起的样品图像，也可以以“推荐孩子就餐的图像”及“推荐孩子与父亲在一起的图像”的方式显示字符串。
另外，可以以具有由与以前选择的图像所有图像的主题共同的主题、例如第1主题和第2主题共同获得的主题的图像选自在2018年6月拍摄的图像中的方式制作基准，第1主题由选自在2018年4月拍摄的图像中的图像I1至I11得到，第2主题由选自在2018年5月拍摄的图像中的图像I101至I111得到。例如，第1主题判断为如幼儿园的入圆式(例如，入圆式的图像多)的主题，第2主题判断为如幼儿园的郊游(例如郊游的图像多)的主题时，如幼儿园的活动在所有的主题中均成为上位概念的主题设为共同主题，以将具有这种主题的图像设为推荐图像的方式制作基准。根据这种主题，从在2018年6月拍摄的图像中，幼儿园中的活动图像被决定为推荐图像。
每月容易选择按照共同被摄体(主要被摄体)、被摄体在做什么等情况、拍摄场所、被摄体的表情、被摄体所属的属性等共同主题的图像，且容易选择有共同性的图像。
[变形例]
图21是表示拍摄辅助处理顺序的流程图。图21所示的处理根据智能手机1设定为相机模式来开始。
通过相机部41开始被摄体的拍摄(步骤S252)，在显示面板21显示图22所示的拍摄辅助画面。
图22是拍摄辅助画面的一例。
在拍摄辅助画面显示有孩子与父亲在一起的图标IR6(第2信息、主题、按照主题的样品图像的一例)。通过观察该图标IR6，用户可知从以前就选择了同时拍摄有孩子和父亲的图像。可以代替图标IR6而显示第1图像161中的图像I8或第2图像171中的图像I110(具有共同主题的图像的一例)。并且，与图17所示的显示面板21同样地，对话框200显示于显示面板21。在对话框200中显示有表示选择了孩子与父亲在一起的图像的字符串201、完成选择图像显示区域202及203。
若打开快门(步骤S253中的是)，则通过拍摄得到的图像数据存储于内部存储部51(步骤S254)。从而成为用户记录孩子与父亲在一起的图像。
图23是表示在智能手机1中进行的短片的播放处理顺序的流程图。
在智能手机1的显示面板21显示短片按钮(省略图示)，若触摸该短片按钮(步骤S261中的是)，则在显示面板21一览显示短片图标(步骤S262)。
图24是短片图标一览显示画面的一例。
在显示面板21显示有短片图标271及273。在短片图标271以短片的内容命名为“就餐的小花子”。在短片图标273以短片的内容命名为“父亲与太郎君”。通过由智能手机的主控制部100分析作为短片显示的图像的内容而赋予这些名称。例如，通过短片图标271显示的短片的内容中就餐的场面多，可推测为就餐的短片，并命名为“就餐的小花子”。由用户输入如称作“小花子”的名字。通过短片图标273显示的短片的内容中成年男性与婴儿一起拍摄的场景多，可推测为亲子短片，并命名为“父亲与太郎君”。由用户输入称作“太郎君”的名字。短片的名称也可以不利用主控制部100的分析而是全部由用户输入。在短片图标271及273中分别形成有播放按钮272及274。若触摸播放按钮272或274(步骤S263中的是)，则与触摸的播放按钮的短片图标271或273对应的短片进行播放，而在显示面板21显示(步骤S264)。
图25表示短片的播放内容。
若触摸短片图标271的播放按钮272，则如上述选择的“就餐的孩子”的图像按一定时间显示，若经过一定时间，则切换为下一图像。在图25中示出在2018年4月选择的图像I1、在2018年5月选择的图像I104及在2018年6月选择的图像IR2按一定时间依次显示的内容。短片为例如按照共同主题的1年的图像按一定时间切换而显示。若作为短片显示的图像为由如上述制作的基准推荐的图像，则可从该推荐的图像中理解图像，并且也可以从所选择的图像选择具有共同主题的图像。
同样地，若触摸短片图标273的播放按钮274，则按一定时间显示如上述选择的“同时拍摄有父亲与孩子的图像”，若经过一定时间则切换为下一图像。在图25中显示通过主控制部100(显示控制机构的一例)控制并按一定时间依次显示在2018年4月选择的图像I8、在2018年5月选择的图像I110及在2018年6月选择的图像IR1。
图26及图27表示一边在智能手机1与图像服务器280之间通信一边进行上述处理的实施例。
如图26所示，智能手机1与图像服务器280能够经由互联网相互通信。
若触摸在智能手机1的显示面板21显示的推荐图像按钮152(步骤S291中的是)，则推荐图像决定命令由智能手机1发送到图像服务器280(步骤S292)。
若在图像服务器280接收由智能手机1发送的推荐图像决定命令(步骤S301中的是)，则在图像服务器280中进行关于图8所示的推荐图像的信息(第1信息的一例)的决定处理(步骤S302)。在图像服务器280存储有表示以前选择的图像的图像数据，根据该存储的图像数据，可知选择什么样的图像，并根据所选择的图像决定关于推荐图像的信息。关于所决定的推荐图像的信息从图像服务器280发送到智能手机1(步骤S303)。例如，从图像服务器280向智能手机1发送将“同时拍摄有父亲和孩子的图像”设为推荐图像的信息、将“就餐的孩子的图像”设为推荐图像的信息等。
若通过智能手机1的无线通信部10(接收机构的一例)接收从图像服务器280发送的信息(表示基准的数据的一例)(步骤S293中的是)，则如图17等所示，关于推荐图像的信息显示于显示面板21(步骤S294)。
如此，可以在图像服务器280中进行决定推荐图像的信息的处理(制作基准的处理)。并且，上述实施例中利用了智能手机1，但也能够利用除了智能手机1之外的专用图像处理装置、个人计算机、平板终端等而构成。
另外，可以计算与第1图像161或第2图像171中选自对象图像组180中的图像的相似度(第2相似度的一例)，从而设为显示其第2相似度为第2阈值以上的图像(第1信息的通知的一例)。能够从对象图像组180中选择如已选择的第1图像161或第2图像171的图像。
在执行上述处理的处理部中，除了执行软件而作为各种处理部发挥作用的CPU7之外，还包含如FPGA(field-programmable gate array：现场可编程门阵列)等能够在制造后变更电路结构的可编程逻辑设备、具有ASIC(application specific integratedcircuit：专用集成电路)等用于执行特定处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可由这些各种处理器中的1个构成，也可以由同种或不同的2个以上的处理器的组合(例如，多个FPGA、CPU与FPGA的组合)构成。作为由1个处理器构成多个处理部的例子，第1方式为以客户计算机或服务器等计算机为代表，由1个以上的CPU和软件的组合构成1个处理器，且该处理器作为多个处理部发挥作用。第2方式为以片上系统等为代表，使用由1个IC(in tegrated circuit：集成电路)芯片实现包含多个处理部的整个系统的功能的处理器。如此，各种处理部作为硬件结构使用1个以上各种处理器而构成。
另外，更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电路。
符号说明
1-智能手机，2-壳体，7-CPU，10-无线通信部，20-显示输入部，21-显示面板，22-操作面板，30-通话部，31-扬声器，32-麦克风，40-操作部，41-相机部，50-存储部，51-内部存储部，52-外部存储部，60-外部输入输出部，70-GPS接收部，80-动作传感器部，90-电源部，100-主控制部，121-拍摄年月指定区域，122-拍摄年显示区域，123-下拉按钮，124～125-拍摄月份指定区域，127-检索按钮，128-拍摄月份显示区域，129-图像显示区域，130-图像追加区域，131-订购按钮，132-主页按钮，133-购物按钮，134-菜单按钮，141～142-图像文件夹图标，151-图像显示区域，152-推荐图像按钮，153-图像分析按钮，154-确定按钮，160-第1图像组，161-第1图像，170-第2图像组，171-第2图像，180-对象图像组，181-图像，200-对话框，201-字符串，202-图像显示区域，203-图像显示区域，204-推荐图像显示区域，210-对话框，211-字符串，212-图像显示区域，213-图像显示区域，214-推荐图像显示区域，220-对话框，221-字符串，222～223-图像显示区域，224-推荐图像显示区域，230-对话框，231-字符串，232-图像显示区域，234-推荐图像显示区域，240-星号标记，271-短片图标，272-播放按钮，273-短片图标，274-播放按钮，280-图像服务器，BS-基站装置，I1-图像，I6-图像，I8-图像，I11-图像，I100～I101-图像，I104～I105-图像，I110～I111-图像，I200～I201-图像，IR1～IR6-图标，NW-移动通信网，ST1-GPS卫星。

Claims (21)

1.一种图像处理装置，其具备：
图像组输入机构，输入选择1个或多个图像的对象图像组；及
第1通知控制机构，根据通过选择基准制作机构由选自第1图像组中的1个或多个第1图像和选自第2图像组中的1个或多个第2图像制作的、作为所述第1图像组和所述第2图像组所共同具有的主题的、选择图像的基准，将关于作为选自由上述图像组输入机构输入的不同于所述第1图像组和所述第2图像组的对象图像组中的图像来推荐的图像的第1信息通知到第1通知机构。
2.根据权利要求1所述的图像处理装置，其中，
上述选择基准制作机构以选择具有由上述第1图像和上述第2图像共同获得的主题的图像的方式制作上述基准。
3.根据权利要求1或2所述的图像处理装置，其中，
上述选择基准制作机构以选择具有由上述多个第1图像中的一个图像和上述多个第2图像中的一个图像共同获得的主题且是除了由上述多个第1图像中的另一个图像和上述多个第2图像中的另一个图像共同获得的主题之外的主题的图像的方式制作上述基准。
4.根据权利要求1所述的图像处理装置，其中，
上述选择基准制作机构以选择具有由上述多个第1图像的全部主题和上述多个第2图像的全部主题共同获得的主题的图像的方式制作上述基准。
5.根据权利要求1、2、4中任一项所述的图像处理装置，其中，
上述选择基准制作机构以从上述对象图像组中选择与上述第1图像和上述第2图像双方相似的第1相似度为第1阈值以上的图像的方式制作上述基准。
6.根据权利要求1、2、4中任一项所述的图像处理装置，其中，
上述选择基准制作机构以选择表示上述第1图像所包含的被摄体和上述第2图像所包含的被摄体的共同被摄体发生变化的情形的图像的方式制作上述基准。
7.根据权利要求1、2、4中任一项所述的图像处理装置，其中，
该图像处理装置进一步具备上述选择基准制作机构。
8.根据权利要求1、2、4中任一项所述的图像处理装置，其中，
该图像处理装置进一步具备接收机构，该接收机构接收表示在上述选择基准制作机构中制作的基准的数据；
上述第1通知控制机构根据通过在上述接收机构中接收的数据表示的基准将上述第1信息通知到上述第1通知机构。
9.根据权利要求1、2、4中任一项所述的图像处理装置，其中，
上述第1通知控制机构中的第1信息的通知为将作为选自上述对象图像组中的图像来推荐的图像其本身与除了上述对象图像组中推荐的图像之外的图像相区分的显示。
10.根据权利要求9所述的图像处理装置，其中，
上述第1通知控制机构中的第1信息的通知为对作为选自上述对象图像组中的图像来推荐的图像赋予标记来显示。
11.根据权利要求1、2、4中任一项所述的图像处理装置，其中，
上述第1通知控制机构中的上述第1信息的通知为通过字符串或样品图像来显示作为选自上述对象图像组中的图像来推荐的图像中的被摄体的情形。
12.根据权利要求1、2、4中任一项所述的图像处理装置，其中，
上述第1通知控制机构中的上述第1信息的通知为显示上述第1图像或上述第2图像中与选自上述对象图像组中的图像之间的第2相似度为第2阈值以上的图像。
13.根据权利要求1、2、4中任一项所述的图像处理装置，其中，
该图像处理装置进一步具备第2通知控制机构，该第2通知控制机构以拍摄具有由上述第1图像和上述第2图像获得的主题的图像的方式通知关于上述主题的第2信息。
14.根据权利要求13所述的图像处理装置，其中，
上述第2通知控制机构中的第2信息的通知为上述主题的显示。
15.根据权利要求13所述的图像处理装置，其中，
上述第2通知控制机构中的第2信息的通知为按照上述主题的样品图像的显示。
16.根据权利要求13所述的图像处理装置，其中，
上述第2通知控制机构中的第2信息的通知为显示上述第1图像或上述第2图像中具有共同主题的图像。
17.根据权利要求1、2、4中任一项所述的图像处理装置，其中，
该图像处理装置进一步具备显示控制机构，该显示控制机构以如下方式控制显示装置：将上述多个第1图像和上述多个第2图像中具有共同主题的图像以多个上述第1图像和多个上述第2图像分别逐个依次显示一定时间期间的方式来显示。
18.根据权利要求1、2、4中任一项所述的图像处理装置，其中，
上述第1图像组的拍摄时期、上述第2图像组的拍摄时期及上述对象图像组的拍摄时期不同。
19.根据权利要求2所述的图像处理装置，其中，
所述共同获得的主题是被摄体在做什么的情况。
20.一种图像处理方法，其中，
图像组输入机构输入选择1个或多个图像的对象图像组，
第1通知控制机构根据通过选择基准制作机构由选自第1图像组中的1个或多个第1图像和选自第2图像组中的1个或多个第2图像制作的、作为所述第1图像组和所述第2图像组所共同具有的主题的、选择图像的基准，将关于作为选自由上述图像组输入机构输入的不同于所述第1图像组和所述第2图像组的对象图像组中的图像来推荐的图像的第1信息通知到第1通知机构。
21.一种记录介质，存放能够由计算机读取的程序，该程序以如下方式控制图像处理装置的计算机：
输入选择1个或多个图像的对象图像组，
根据通过选择基准制作机构由选自第1图像组中的1个或多个第1图像和选自第2图像组中的1个或多个第2图像制作的、作为所述第1图像组和所述第2图像组所共同具有的主题的、选择图像的基准，将关于作为选自所输入的不同于所述第1图像组和所述第2图像组的对象图像组中的图像来推荐的图像的第1信息通知到第1通知机构。
CN201910787471.4A 2018-09-19 2019-08-23 图像处理装置、图像处理方法及记录介质 Active CN110933223B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-174487 2018-09-19
JP2018174487A JP7053422B2 (ja) 2018-09-19 2018-09-19 画像処理装置，画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
CN110933223A CN110933223A (zh) 2020-03-27
CN110933223B true CN110933223B (zh) 2021-09-03

Family

ID=69773679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910787471.4A Active CN110933223B (zh) 2018-09-19 2019-08-23 图像处理装置、图像处理方法及记录介质

Country Status (3)

Country Link
US (1) US11715328B2 (zh)
JP (1) JP7053422B2 (zh)
CN (1) CN110933223B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102241486B1 (ko) * 2019-02-14 2021-05-17 엔에이치엔 주식회사 이미지의 태그어에 기반하여 모자이크 이미지를 생성해 제공하는 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408363A (zh) * 2015-07-31 2017-02-15 富士胶片株式会社 图像处理装置及图像处理方法
JP2017068331A (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003288350A (ja) 2002-01-24 2003-10-10 Fuji Photo Film Co Ltd データ検索方法
JP2005065728A (ja) 2003-08-25 2005-03-17 Fuji Photo Film Co Ltd 類似画像検索装置
US7783115B2 (en) * 2004-12-14 2010-08-24 Fujifilm Corporation Apparatus and method for setting degrees of importance, apparatus and method for representative image selection, apparatus and method for printing-recommended image selection, and programs therefor
JP4287392B2 (ja) 2005-02-18 2009-07-01 富士フイルム株式会社 プリント推奨画像選択装置、方法およびプログラム
JP2006252196A (ja) 2005-03-10 2006-09-21 Fuji Photo Film Co Ltd プリント注文支援装置、嗜好色相データベース作成装置、プリント注文支援プログラム、嗜好色相データベース作成プログラム
JP4655212B2 (ja) 2005-08-26 2011-03-23 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP4762731B2 (ja) * 2005-10-18 2011-08-31 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP4965361B2 (ja) 2007-07-03 2012-07-04 オリンパスイメージング株式会社 カメラ、撮影情報表示方法、およびサーバー
US8150098B2 (en) * 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
JP2010262531A (ja) 2009-05-08 2010-11-18 Canon Inc 画像情報処理装置、画像情報処理方法及びプログラム
JP4987943B2 (ja) * 2009-11-11 2012-08-01 株式会社東芝 電子機器及び画像表示方法
US8805124B2 (en) * 2010-02-17 2014-08-12 Shutterfly, Inc. System and method for automatically creating a photo calendar
JP5727476B2 (ja) * 2010-06-23 2015-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像評価装置、画像評価方法、プログラム、集積回路
JP2012079174A (ja) * 2010-10-04 2012-04-19 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP5449460B2 (ja) * 2011-06-28 2014-03-19 富士フイルム株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2013196417A (ja) 2012-03-21 2013-09-30 Dainippon Printing Co Ltd 画像表示装置、画像表示方法、およびプログラム
JP5802171B2 (ja) * 2012-05-24 2015-10-28 富士フイルム株式会社 画像表示装置、画像表示方法およびプログラム
JP5719406B2 (ja) * 2012-09-14 2015-05-20 富士フイルム株式会社 合成画像作成システム、画像処理装置および画像処理方法
KR102065418B1 (ko) * 2013-09-24 2020-01-13 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN105227811A (zh) * 2014-06-30 2016-01-06 卡西欧计算机株式会社 图像生成装置以及图像生成方法
US10031928B2 (en) * 2014-07-02 2018-07-24 BicDroid Inc. Display, visualization, and management of images based on content analytics
JP6389801B2 (ja) * 2015-05-27 2018-09-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2017010251A (ja) 2015-06-22 2017-01-12 富士フイルム株式会社 画像抽出装置、画像抽出方法、プログラムおよび記録媒体
JP6743819B2 (ja) * 2015-07-17 2020-08-19 日本電気株式会社 投射装置、投射方法および投射プログラム
CN105512255A (zh) 2015-12-01 2016-04-20 上海斐讯数据通信技术有限公司 图片筛选方法及装置、移动终端
JP6719206B2 (ja) * 2015-12-25 2020-07-08 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2018045358A1 (en) * 2016-09-05 2018-03-08 Google Llc Generating theme-based videos
EP3706015A4 (en) * 2017-12-05 2020-09-23 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR DISPLAYING A STORY ALBUM

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408363A (zh) * 2015-07-31 2017-02-15 富士胶片株式会社 图像处理装置及图像处理方法
JP2017068331A (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
JP2020046901A (ja) 2020-03-26
US20200089936A1 (en) 2020-03-19
CN110933223A (zh) 2020-03-27
US11715328B2 (en) 2023-08-01
JP7053422B2 (ja) 2022-04-12

Similar Documents

Publication Publication Date Title
JP6748025B2 (ja) 情報取得システム、携帯情報機器、サーバ、及びプログラム
US10685059B2 (en) Portable electronic device and method for generating a summary of video data
US9900498B2 (en) Glass-type terminal and method for controlling the same
US9674448B2 (en) Mobile terminal and method for controlling the same
EP2945043B1 (en) Eyewear-type terminal and method of controlling the same
EP2471254B1 (en) METHOD FOR TRANSMITTING an IMAGE photographed by an IMAGE PICKUP APPARATUS
EP3413184B1 (en) Mobile terminal and method for controlling the same
EP3173969B1 (en) Method, apparatus and terminal device for playing music based on a target face photo album
US10638041B2 (en) Mobile terminal and method for controlling the same and operating in an always on camera mode
EP3182265B1 (en) Mobile terminal and method for controlling the same
CN107729946B (zh) 图片分类方法、装置、终端及存储介质
CN104239416A (zh) 一种用户识别方法和系统
KR102093328B1 (ko) 사용자 사진의 의류 및 환경 정보를 이용하여 의류를 추천하는 방법 및 시스템
CN112486394A (zh) 信息处理方法、装置、电子设备及可读存储介质
CN109669710B (zh) 便签处理方法及终端
CN110933223B (zh) 图像处理装置、图像处理方法及记录介质
JP7148624B2 (ja) 画像提案装置、画像提案方法及び画像提案プログラム
CN110968710B (zh) 图像处理装置、图像处理方法及图像处理程序
JP6958795B1 (ja) 情報処理方法、コンピュータプログラム及び情報処理装置
CN110971752B (zh) 图像处理装置、图像处理方法及记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant