CN110866148A - 信息处理系统、信息处理装置及存储介质 - Google Patents

信息处理系统、信息处理装置及存储介质 Download PDF

Info

Publication number
CN110866148A
CN110866148A CN201910173347.9A CN201910173347A CN110866148A CN 110866148 A CN110866148 A CN 110866148A CN 201910173347 A CN201910173347 A CN 201910173347A CN 110866148 A CN110866148 A CN 110866148A
Authority
CN
China
Prior art keywords
image
images
information processing
specific image
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910173347.9A
Other languages
English (en)
Inventor
维格奈西·夏勒斯
苏雷什·穆拉里
関根晃
内桥真吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN110866148A publication Critical patent/CN110866148A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种信息处理系统、信息处理装置及存储介质，从多个对象图像中提取可能获得好评的图像。信息处理系统包括：受理部件，受理多个对象图像；内容确定部件，确定与多个对象图像的内容有关的内容信息；选择部件，从国际互联网媒体中刊载的刊载图像中，选择基于内容信息的特定图像；及提取部件，从多个对象图像中提取与特定图像类似的图像。

Description

信息处理系统、信息处理装置及存储介质
技术领域
本发明涉及一种信息处理系统、信息处理装置及存储介质。
背景技术
例如专利文献1中记载包括下述步骤，即：针对连续拍摄的多个图像数据，分别基于图像数据所含的被摄体来算出评价值，从多个图像数据中选择任一图像数据的步骤；及将所选择的图像数据存储于存储部件的步骤，在选择任一图像数据的步骤中，从多个图像数据中选择评价值高于其他图像数据的图像数据，且即便多个图像数据中，后拍摄所得的图像的评价值高于先拍摄所得的图像的评价值，也在这些评价值之差为规定值以下时，选择先拍摄所得的图像。
[现有技术文献]
[专利文献]
[专利文献1]日本专利特开2015-43603号公报
发明内容
[发明所要解决的问题]
例如，当欲从构成视频的图像等多个对象图像中提取可能获得好评的图像时，用户需要确认多个对象图像，或需要判断哪种图像会获得好评。
本发明的目的在于从多个对象图像中提取可能获得好评的图像。
[解决问题的技术手段]
技术方案1所记载的发明是一种信息处理系统，其包括：受理部件，从用户受理多个对象图像；内容确定部件，确定与所述多个对象图像的内容有关的内容信息；选择部件，从国际互联网媒体中刊载的刊载图像中，选择基于所述内容信息的特定图像；及提取部件，从所述多个对象图像中提取与所述特定图像类似的图像。
技术方案2所记载的发明是技术方案1所记载的信息处理系统，其中所述多个对象图像是构成视频的多个帧图像，所述提取部件从所述多个帧图像中提取与所述特定图像类似的帧图像。
技术方案3所记载的发明是技术方案2所记载的信息处理系统，其中所述内容确定部件根据所述视频的图像分析而获得所述内容信息。
技术方案4所记载的发明是技术方案2所记载的信息处理系统，其中所述内容确定部件从所述用户获取所述视频的所述内容信息。
技术方案5所记载的发明是技术方案1至4中任一项所记载的信息处理系统，其中所述选择部件从所述刊载图像中，选择与衍生信息对应的特定图像，所述衍生信息是将所述内容确定部件所确定的所述内容信息衍生所得。
技术方案6所记载的发明是技术方案1所记载的信息处理系统，其中所述选择部件从所述刊载图像中，基于所述刊载图像的阅览者对所述刊载图像的评价来选择所述特定图像。
技术方案7所记载的发明是技术方案6所记载的信息处理系统，其中所述选择部件从所述刊载图像中，基于在预定期间内统计的所述评价来选择所述特定图像。
技术方案8所记载的发明是技术方案1所记载的信息处理系统，其中所述提取部件从所述多个对象图像中，提取具有所述特定图像的特征点的图像。
技术方案9所记载的发明是技术方案8所记载的信息处理系统，其中所述提取部件使用所述特定图像中的人的姿势(pose)作为所述特征点。
技术方案10所记载的发明是技术方案8所记载的信息处理系统，其中所述提取部件使用所述特定图像中的人或物的构图作为所述特征点。
技术方案11所记载的发明是技术方案8所记载的信息处理系统，其中所述提取部件使用所述特定图像的色彩结构作为所述特征点。
技术方案12所记载的发明是技术方案1所记载的信息处理系统，其中所述提取部件从所述多个对象图像中，提取具有多个所述特定图像的共同点的图像。
技术方案13所记载的发明是一种信息处理装置，其包括：受理部件，从用户受理多个对象图像；提取部件，基于国际互联网媒体中刊载的刊载图像的、由阅览者所给予的评价信息，从所述多个对象图像中至少提取一个对象图像；及提示部件，将所述一个对象图像与所述评价信息一起提示给用户。
技术方案14所记载的发明是一种存储介质，其存储用于使计算机作为如下部发挥功能的程序，使作为信息处理装置发挥功能的计算机实现下述功能：确定与从用户受理的多个对象图像的内容有关的内容信息；从国际互联网媒体中刊载的刊载图像中，选择基于所述内容信息的特定图像；及从所述多个对象图像中提取与所述特定图像类似的图像。
技术方案15所记载的发明是一种存储介质，其存储用于使计算机作为如下部发挥功能的程序，使作为信息处理装置发挥功能的计算机实现下述功能：从用户受理多个对象图像；基于国际互联网媒体中刊载的刊载图像的、由阅览者所给予的评价信息，从所述多个对象图像中至少提取一个对象图像；及将所述一个对象图像与所述评价信息一起提示给用户。
[发明的效果]
根据技术方案1、13、14及15的发明，可从多个对象图像中提取可能获得好评的图像。
根据技术方案2的发明，可从为了确认内容而需要播放的视频中提取可能获得好评的图像。
根据技术方案3的发明，可基于根据视频本身所确定的内容信息来提取图像。
根据技术方案4的发明，可基于从用户获取的内容信息来提取图像。
根据技术方案5的发明，可不仅基于所确定的内容信息，而且基于更广的概念来确定特定图像。
根据技术方案6的发明，可确定反映出其他阅览者的评价的特定图像。
根据技术方案7的发明，可确定在预定期间中流行的特定图像。
根据技术方案8的发明，能进行具有特定图像中的特征点的对象图像的提取。
根据技术方案9的发明，能进行具有好评姿势的对象图像的提取。
根据技术方案10的发明，能进行具有好评构图的对象图像的提取。
根据技术方案11的发明，能进行具有好评色彩结构的对象图像的提取。
根据技术方案12的发明，能进行具有多个特定图像中的共同点的对象图像的提取。
附图说明
图1是本实施方式的图像提取系统的总体图。
图2是表示本实施方式的服务器装置的功能结构的图。
图3(A)、图3(B)及图3(C)是本实施方式的特定图像中的特征点的说明图。
图4是本实施方式的图像提取系统的动作流程图。
图5是从多个帧图像中进行提取图像的提取的具体例。
图6是本实施方式中提示提取图像时的画面结构例。
[符号的说明]
1：图像提取系统
10：终端装置
20：服务器装置
21：图像受理部
22：内容信息确定部
23：检索部
24：提取部
100：画面
110：评价信息
120：检索关键词
130：指示按钮
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
[图像提取系统1]
图1是本实施方式的图像提取系统1的总体图。
如图1所示，本实施方式的图像提取系统1(信息处理系统的一例)包括用户操作的终端装置10、及从自终端装置10获取的多个对象图像中提取至少一个对象图像的服务器装置20。另外，图像提取系统1中，终端装置10及服务器装置20经由网络而相互可进行信息通信。
而且，网络只要是用于各装置间的数据通信的通信网络，则并无特别限定，例如可设为局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、国际互联网(Internet)等。用于数据通信的通信线路为有线或无线均可，也可将它们并用。而且，各装置也可使用网关(gateway)装置或路由器(router)等中继装置，经由多个网络或通信线路而连接。
进而，图1所示的示例中表示了一个服务器装置20，但服务器装置20不限定于服务器机器单体。服务器装置20也可分散于设于网络上的多个服务器机器而实现服务器装置20的功能(所谓云环境等)。
另外，虽省略图示，但图1所示的网络中连接着提供社会性网络服务(SocialNetworking Service，SNS)等各种网页服务的多个服务器装置。
另外，以下的说明中例如对下述示例进行说明，即：当用户欲从用户所拍摄的视频的多个拍摄场景中提取至少一个拍摄场景的图像时，系统支援提取会从他人获得好评的拍摄场景的图像。
[终端装置10]
终端装置10是经由网络而与外部可进行信息通信的装置。而且，终端装置10是存储由装置本体上搭载的摄像部所拍摄的图像，或存储由其他摄影机器等拍摄的图像的装置。
例如，对于终端装置10，能使用智能电话(smartphone)等移动电话或平板个人电脑(PersonalComputer，PC)等便携式终端机器、或台式PC等固定式终端机器等。而且，对于终端装置10，只要经由网络而可与外部进行信息通信，则也能使用拍摄视频的摄像机或拍摄静止图像的静态相机(以下称为相机)。
[服务器装置20]
图2是表示本实施方式的服务器装置20的功能结构的图。
如图2所示，服务器装置20包括：图像受理部21，从终端装置10受理视频(多个对象图像的一例)；内容信息确定部22，确定与视频的内容有关的内容信息；检索部23，在国际互联网媒体中刊载的刊载图像中，基于内容信息来检索特定图像；及提取部24，从视频中提取与特定图像类似的图像。
(图像受理部21)
图像受理部21(受理部件的一例)经由终端装置10从用户接收视频。视频可预先保存在终端装置10中，也可从连接于终端装置10的可移动媒体等各种存储介质、或连接于终端装置10的相机获取。
(内容信息确定部22)
内容信息确定部22(内容确定部件的一例)确定与图像受理部21所受理的视频的内容有关的内容信息。另外，本实施方式的内容信息确定部22将文本化的内容信息送至检索部23。
内容信息确定部22通过对构成视频的多个帧图像进行图像分析，而确定视频的内容信息。本实施方式的内容信息确定部22存储有多数个分析用图像。而且，对于各分析用图像，分别利用文本而关联有表示图像的内容的信息。例如，对于作为分析用图像的篮球选手的图像，关联有“篮球”这一文本。另外，内容信息确定部22进行构成视频的多个帧图像与多数个分析用图像的匹配。另外，内容信息确定部22确定与构成视频的帧图像相符的分析用图像，并获取所确定的分析用图像的文本。另外，内容信息确定部22将所获取的文本作为表示成为图像分析对象的视频的内容的内容信息。
另外，关于帧图像与分析用图像的匹配，可使用提取部24进行的后述从多个对象图像中提取特定图像时的方法，除此以外，也能使用现有的匹配技术。
另外，在通过对视频进行图像分析而获得视频的内容信息时，也能使用通过机械学习所进行的图像分类。例如，使用分别关联有表示图像内容的文本的多个分析用图像即数据群(学习数据组)来进行机械学习，由此构建经学习模型。然后，经学习模型基于所学习的分类规则，对从用户受理的视频进行分类。此时，内容信息确定部22将与分类关联的文本确定为表示所述图像的内容的内容信息。
而且，内容信息确定部22也可从用户直接获取视频的内容信息。内容信息确定部22在图像受理部21中受理视频时，从用户受理视频的内容信息。例如，拍摄海上落日的视频的情况下，用户将“海边夕阳”这一文本送至图像受理部21。内容信息确定部22将由用户所指定的文本确定为表示视频的内容的内容信息。
(检索部23)
检索部23(选择部件的一例)将内容信息确定部22所确定的内容信息作为关键词(keyword)，进行国际互联网媒体的检索。本实施方式中，国际互联网媒体是国际互联网上可利用的信息介质。例如，作为国际互联网媒体，能例示SNS、电子公告牌、博客(blog)等。
另外，检索部23从国际互联网媒体中刊载的刊载图像中，进行与将内容信息文本化所得的关键词对应的刊载图像(以下称为特定图像)的检索。
而且，本实施方式的检索部23不仅使用内容信息确定部22所确定的内容信息，而且使用将内容信息衍生所得的衍生内容信息，来进行国际互联网媒体的检索。衍生内容信息是将作为内容信息的概念衍生而得。例如，衍生内容信息是将内容信息换个说法的词汇、将内容信息翻译成其他语言的词汇、根据内容信息联想的词汇、或与内容信息类似的词汇等。例如当内容信息为“篮球”时，检索部23将“篮框”、“Basketball”、“投篮”、“灌篮”等词汇或篮球的有名选手名等确定为衍生内容信息。
另外，检索部23在基于内容信息来确定衍生内容信息时，既可使用预先存储于服务器装置20的词典等语言数据库，也可参照国际互联网上可利用的语言数据库。
另外，检索部23也收集针对基于内容信息及衍生内容信息的关键词所检索出的特定图像的、评价信息。例如在SNS等中，有时设有针对某个用户投稿的图像而受理来自其他用户的评价的功能。这样，在对国际互联网媒体中刊载的刊载图像进行了评价时，检索部23在确定刊载图像的同时，确定与所述刊载图像的评价有关的评价信息。
而且，例如在阅览特定图像的阅览者给出肯定评价时，与评价有关的计数增加1的结构的情况下，评价能根据计数量的合计来进行确定。此时，合计的计数量越多则评价越高。
进而，评价也可作为对特定图像或显示特定图像的网页等的访问数来确定。此时，对特定图像或显示特定图像的网页的访问数越多，评价越高。
(提取部24)
提取部24(提取部件的一例、提示部件的一例)从图像受理部21中受理的多个对象图像中，进行与所确定的特定图像类似的对象图像的提取。本实施方式的提取部24针对作为多个对象图像的构成视频的多个帧图像，进行与特定图像的匹配，提取多个帧图像中与特定图像的类似度最高的帧图像。然后，本实施方式中，提取部24将所提取的对象图像(以下称为提取图像)在终端装置10的画面中提示给用户。
另外，本实施方式的提取部24进行与检索部23所确定的国际互联网媒体中评价高的特定图像类似的帧图像的提取。此时，提取部24也可基于评价最高的特定图像、或随后评价高的特定图像等多个特定图像，从视频中提取多个帧图像。即，提取部24有时基于不同的特定图像，从视频中提取各不相同的场景的帧图像。
进而，提取部24也可使用基于由检索部23在预定期间而非整个期间内统计的评价所确定的特定图像，来进行提取图像的提取。例如，检索部23确定距检索时间点几个月以内等相对较近期获得了高评价的特定图像。另外，提取部24提取与近期获得了高评价的特定图像类似的提取图像。
另外，提取部24也可基于与构成图像的颜色分布有关的直方图，来确定对象图像与特定图像的类似度。此时，直方图的类似度越高，则提取部24判断为对象图像与特定图像的类似度越高。
进而，提取部24也可基于图像中的特征部分，来确定对象图像与特定图像的类似度。即，提取部24着眼于特定图像的一个部分而非整体。另外，提取部24针对具有与特定图像中的一个特征部分类似的部分的对象图像，判断为与特定图像的类似度高。
而且，提取部24也可基于图像中的特征点的距离，来确定对象图像与特定图像的类似度。提取部24在对象图像与特定图像中，分别检测多个共同的特征点。进而，提取部24确定特定图像中的特征点彼此的距离。另一方面，提取部24确定对象图像中的特征点彼此的距离。另外，对应的特征点彼此的距离的类似度越高，则提取部24判断为对象图像与特定图像的类似度越高。
另外，提取部24也可将直方图、特征部分及特征点的距离的观点中的多个组合，来进行对象图像与特定图像的类似度的确定。
进而，提取部24从用户受理从多个对象图像中提取的提取图像的数量指定。另外，在未由用户指定提取图像的数量时，提取部24进行预定数量(例如2张等)的提取。
另外，例如在拍摄了某同样场景的视频中，设想存在多个类似的帧图像。此时，提取部24在类似的多个帧图像中，基于预定条件来选择一个帧图像。所谓预定条件，例如能使用时间轴(timeline)上时间最早的帧图像、或图像最清晰等各种条件。
图3(A)、图3(B)及图3(C)是本实施方式的特定图像中的特征点的说明图。
对由本实施方式的提取部24从多个对象图像中进行与特定图像类似的对象图像的提取时所着眼的特征点进行说明。本实施方式中，作为特征点，提取部24将(1)特定图像中的人的姿势、(2)特定图像中的人或物的构图、及(3)特定图像的色彩结构设定为条件。
(1)特定图像中的人的姿势
如图3(A)所示，当特定图像T1中拍摄到人时，提取部24确定此人的姿势(pose)。另外，提取部24在多个对象图像中，提取拍摄到摆出与特定图像中的人的姿势类似或一致的姿势的人的对象图像作为提取图像。
例如，作为特定图像T1中的特征性的人的姿势，能例示田径赛的有名选手获胜时摆出的特征性姿势e1。此时，提取部24在多个对象图像中，针对拍摄到摆出与有名选手的姿势e1类似或一致的姿势的人的对象图像，例如即便其他图像要素的类似度低时，也提高作为提取图像而选择的位次。
(2)特定图像中的人或物的构图
如图3(B)所示，提取部24分析特定图像T2中的人或物的构图。另外，提取部24在多个对象图像中，提取人或物的构图类似或一致的对象图像。
视结构物与人、结构物彼此、人彼此的位置关系不同，即便拍摄了相同的被摄体时，由图像所得的印象也会大幅改变。例如，作为特定图像T2中的特征性的人及物的构图，能例示在建筑物的近前侧配置小于建筑物的人的构图e2。此时，提取部24在多个对象图像中，针对人或物的构图e2类似或一致的对象图像，例如即便其他部位的类似度低时，也提高作为提取图像而选择的位次。
(3)特定图像的色彩结构
如图3(C)所示，提取部24分析特定图像T3中的色彩结构。另外，提取部24在多个对象图像中，提取色彩结构类似或一致的对象图像。
例如，作为特定图像T3中的特征性的色彩结构，能例示由晚霞所致的天空颜色的色彩结构e3。此时，提取部24在多个对象图像中，针对色彩结构e3类似或一致的对象图像，例如即便其他部位的类似度低，也提高作为提取图像而选择的位次。
另外，提取部24也可通过将所述(1)特定图像中的人的姿势、(2)特定图像中的人或物的构图、及(3)特定图像的色彩结构组合多个，而从多个对象图像中进行提取图像的提取。
而且，提取部24也可无关乎对特定图像的评价，而基于多个特定图像来从多个对象图像中进行一个对象图像的提取。具体而言，由检索部23基于某关键词将多个特定图像确定为检索结果。然后，提取部24进行多个特定图像的图像分析，对多个特定图像中共同的特征点进行分析。然后，提取部24也可将多个对象图像中具有共同的特征点的对象图像作为提取图像而提取。
接下来，对本实施方式的图像提取系统1的动作进行说明。
图4是本实施方式的图像提取系统的动作流程图。
如图4所示，图像受理部21经由终端装置10从用户受理由摄像机拍摄的视频(S101)。
进而，图像受理部21判断是否从用户获取了视频的内容信息(S102)。当从用户获取了视频的内容信息时(S102中为是)，进入步骤104。
另一方面，当未从用户获取视频的内容信息时(S102中为否)，内容信息确定部22基于所受理的视频的视频分析来确定视频的内容信息(S103)。
然后，检索部23基于内容信息确定部22所确定的内容信息、或从用户受理的内容信息，来确定衍生内容信息(S104)。
进而，检索部23使用内容信息及衍生内容信息的关键词，进行国际互联网媒体的检索(S105)。其结果，检索部23根据国际互联网媒体的检索结果而确定特定图像(S106)。
然后，提取部24从构成视频的多个帧图像中，提取与特定图像类似的对象图像(S107)。
而且，提取部24判断是否由用户指定了提取图像的提取张数(S108)。另外，当从用户有张数指定时(S108中为是)，在终端装置10的画面100中提示用户指定张数的提取图像(S109)。另一方面，当未由用户指定提取张数时(S108中为否)，在终端装置10的画面100中提示预定张数的提取图像(S110)。
图5是从多个帧图像中进行提取图像的提取的具体例。
图6是本实施方式中提示提取图像时的画面结构例。
接下来，对从多个帧图像中进行提取图像的提取的具体例进行说明。
如图5所示，存在从用户受理的构成视频的多个帧图像。图5所示的示例中，视频是拍摄街舞(street dance)而成。进而，作为构成视频的多个帧图像，表示了4张帧图像(F1、F2、F3及F4)作为代表例。另外，图5中为方便起见而仅表示了4张帧图像，但也存在其他帧图像。
另外，本示例中，基于视频的内容信息及衍生内容信息来进行国际互联网媒体的检索。首先，通过街舞视频的视频分析，而确定内容信息为“街舞”。进而，确定“街舞”的衍生内容信息为“嘻哈(hip hop)”、“滚地板舞(floor movement dance)”及“倒立(handstand)”。
进而，通过以所确定的内容信息及衍生内容信息为关键词的国际互联网媒体的检索，而如图5所示，确定特定图像A、特定图像B及特定图像C。另外，国际互联网媒体中，阅览者的评价数由少到多依次为特定图像C、特定图像B、特定图像A。本示例中，特定图像A获得了“10,000赞！”的评价计数量。特定图像B获得了“7,000赞！”的评价计数量。进而，特定图像C获得了“5,000赞！”的评价计数量。
接着，从多个帧图像中，进行与特定图像A、特定图像B或特定图像C类似的帧图像的提取。另外，本示例中，由用户指定了提取2个图像。
图5所示的示例中，作为与特定图像A类似的对象图像，提取帧图像F1作为提取图像。同样地，图5所示的示例中，作为与特定图像C类似的对象图像，提取帧图像F4作为提取图像。
另外，如图6所示，提取图像显示于终端装置10的画面100中。本实施方式中，终端装置10的画面100中显示帧图像F1及帧图像F4作为2个提取图像。进而，对于2个提取图像，分别显示针对成为提取源的特定图像的评价信息110。具体而言，显示国际互联网媒体中的评价计数量作为评价信息110。
而且，图6所示的示例中，显示用于检索特定图像的检索关键词120。例如，用户也可在通过视频分析所确定的内容信息及衍生内容信息的关键词与用户的设想内容不同时，重新由用户进行内容信息的输入，变更关键词。
进而，画面100中，也显示通过进行所提取的提取图像的选择(点击)，而可将提取图像作为静止图像下载至终端装置10中的指示按钮130。
如以上所说明，本实施方式的图像提取系统1中，从用户的视频中，基于在国际互联网媒体中确定的特定图像来进行提取图像的提取。
另外，所述示例中，作为多个对象图像，受理了构成视频的多个帧图像，但不限定于此示例。例如，图像受理部21也可受理由相机所拍摄的多个静止图像作为多个对象图像。此时，也从多个静止图像中，基于在国际互联网媒体中确定的特定图像来进行提取图像的提取。
接下来，对本实施方式的终端装置10及服务器装置20的硬件结构进行说明。
本实施方式的终端装置10及服务器装置20分别包括作为运算部件的中央处理器(Central Processing Unit，CPU)、作为主存储部件的存储器、磁盘装置(硬盘驱动器(HardDisk Drive，HDD))、网络接口、包含显示器装置的显示机构、声音机构、及键盘或鼠标等输入设备等。
另外，磁盘装置中保存着操作系统(Operation System，OS)的程序(program)或应用程序(application program)。另外，通过将这些程序读入存储器中并由CPU执行，而实现本实施方式的服务器装置20各自的各功能部的功能。
进而，使终端装置10或服务器装置20分别实现本实施方式的图像提取系统1的一系列动作的程序例如当然可由通信部件提供，也可保存于各种记录介质而提供。
另外，用于实现本实施方式的图像提取系统1中进行的一系列功能的结构不限定于所述示例。例如，所述实施方式中服务器装置20实现的功能无需全部由服务器装置20实现，例如也可由终端装置10实现一部分或全部功能。

Claims (15)

1.一种信息处理系统，其特征在于，包括：
受理部件，从用户受理多个对象图像；
内容确定部件，确定与所述多个对象图像的内容有关的内容信息；
选择部件，从国际互联网媒体中刊载的刊载图像中，选择基于所述内容信息的特定图像；及
提取部件，从所述多个对象图像中提取与所述特定图像类似的图像。
2.根据权利要求1所记载的信息处理系统，其特征在于，所述多个对象图像是构成视频的多个帧图像，
所述提取部件从所述多个帧图像中提取与所述特定图像类似的帧图像。
3.根据权利要求2所记载的信息处理系统，其特征在于，所述内容确定部件根据所述视频的图像分析而获得所述内容信息。
4.根据权利要求2所记载的信息处理系统，其特征在于，所述内容确定部件从所述用户获取所述视频的所述内容信息。
5.根据权利要求1至4中任一项所记载的信息处理系统，其特征在于，所述选择部件从所述刊载图像中，选择与衍生信息对应的特定图像，所述衍生信息是将所述内容确定部件所确定的所述内容信息衍生所得。
6.根据权利要求1所记载的信息处理系统，其特征在于，所述选择部件从所述刊载图像中，基于所述刊载图像的阅览者对所述刊载图像的评价来选择所述特定图像。
7.根据权利要求6所记载的信息处理系统，其特征在于，所述选择部件从所述刊载图像中，基于在预定期间内统计的所述评价来选择所述特定图像。
8.根据权利要求1所记载的信息处理系统，其特征在于，所述提取部件从所述多个对象图像中提取具有所述特定图像的特征点的图像。
9.根据权利要求8所记载的信息处理系统，其特征在于，所述提取部件使用所述特定图像中的人的姿势作为所述特征点。
10.根据权利要求8所记载的信息处理系统，其特征在于，所述提取部件使用所述特定图像中的人或物的构图作为所述特征点。
11.根据权利要求8所记载的信息处理系统，其特征在于，所述提取部件使用所述特定图像的色彩结构作为所述特征点。
12.根据权利要求1所记载的信息处理系统，其特征在于，所述提取部件从所述多个对象图像中提取具有多个所述特定图像的共同点的图像。
13.一种信息处理装置，其特征在于，包括：
受理部件，从用户受理多个对象图像；
提取部件，基于国际互联网媒体中刊载的刊载图像的、由阅览者所给予的评价信息，从所述多个对象图像中至少提取一个对象图像；及
提示部件，将所述一个对象图像与所述评价信息一起提示给用户。
14.一种存储介质，其存储用于使计算机作为如下部发挥功能的程序，用于使作为信息处理装置发挥功能的计算机实现下述功能：
确定与从用户受理的多个对象图像的内容有关的内容信息；
从国际互联网媒体中刊载的刊载图像中，选择基于所述内容信息的特定图像；及
从所述多个对象图像中提取与所述特定图像类似的图像。
15.一种存储介质，其存储用于使计算机作为如下部发挥功能的程序，用于使作为信息处理装置发挥功能的计算机实现下述功能：
从用户受理多个对象图像；
基于国际互联网媒体中刊载的刊载图像的、由阅览者所给予的评价信息，从所述多个对象图像中至少提取一个对象图像；及
将所述一个对象图像与所述评价信息一起提示给用户。
CN201910173347.9A 2018-08-28 2019-03-07 信息处理系统、信息处理装置及存储介质 Pending CN110866148A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018159540A JP2020035086A (ja) 2018-08-28 2018-08-28 情報処理システム、情報処理装置およびプログラム
JP2018-159540 2018-08-28

Publications (1)

Publication Number Publication Date
CN110866148A true CN110866148A (zh) 2020-03-06

Family

ID=69639896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910173347.9A Pending CN110866148A (zh) 2018-08-28 2019-03-07 信息处理系统、信息处理装置及存储介质

Country Status (3)

Country Link
US (1) US20200074218A1 (zh)
JP (1) JP2020035086A (zh)
CN (1) CN110866148A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102539413B1 (ko) * 2023-03-03 2023-06-02 주식회사 웜브로 포토 키오스크 및 이의 동작 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006185029A (ja) * 2004-12-27 2006-07-13 Excite Japan Co Ltd 情報処理システム及び情報処理方法、並びに情報処理プログラム
US20060257005A1 (en) * 2005-05-11 2006-11-16 Optosecurity Inc. Method and system for screening cargo containers
CN103780973A (zh) * 2012-10-17 2014-05-07 三星电子（中国）研发中心 视频标签添加方法及装置
CN103984738A (zh) * 2014-05-22 2014-08-13 中国科学院自动化研究所 一种基于搜索匹配的角色标注方法
US20160004911A1 (en) * 2012-04-23 2016-01-07 Sri International Recognizing salient video events through learning-based multimodal analysis of visual features and audio-based analytics
CN105760472A (zh) * 2016-02-06 2016-07-13 中国农业大学 视频检索方法及系统
US9471676B1 (en) * 2012-10-11 2016-10-18 Google Inc. System and method for suggesting keywords based on image contents
CN107636653A (zh) * 2015-06-10 2018-01-26 维尔股份有限公司 图像信息处理系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4021149B2 (ja) * 2001-01-15 2007-12-12 株式会社リコー コーディネートサービス方法、コンピュータ及びプログラム
US8036416B2 (en) * 2007-11-06 2011-10-11 Palo Alto Research Center Incorporated Method and apparatus for augmenting a mirror with information related to the mirrored contents and motion
JP5476236B2 (ja) * 2010-07-02 2014-04-23 日本電信電話株式会社 コーディネート推薦装置、コーディネート推薦方法及びそのプログラム
JP2013196553A (ja) * 2012-03-22 2013-09-30 Dainippon Printing Co Ltd 衣服管理及びレコメンド装置
WO2013145530A1 (ja) * 2012-03-28 2013-10-03 日本電気株式会社 解析システム
JP6080409B2 (ja) * 2012-07-09 2017-02-15 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP6319981B2 (ja) * 2013-09-30 2018-05-09 キヤノン株式会社 撮影装置、情報処理方法及びプログラム
JP2016213810A (ja) * 2015-05-01 2016-12-15 株式会社リコー 画像表示システム、情報処理装置、プログラム、画像表示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006185029A (ja) * 2004-12-27 2006-07-13 Excite Japan Co Ltd 情報処理システム及び情報処理方法、並びに情報処理プログラム
US20060257005A1 (en) * 2005-05-11 2006-11-16 Optosecurity Inc. Method and system for screening cargo containers
US20160004911A1 (en) * 2012-04-23 2016-01-07 Sri International Recognizing salient video events through learning-based multimodal analysis of visual features and audio-based analytics
US9471676B1 (en) * 2012-10-11 2016-10-18 Google Inc. System and method for suggesting keywords based on image contents
CN103780973A (zh) * 2012-10-17 2014-05-07 三星电子（中国）研发中心 视频标签添加方法及装置
CN103984738A (zh) * 2014-05-22 2014-08-13 中国科学院自动化研究所 一种基于搜索匹配的角色标注方法
CN107636653A (zh) * 2015-06-10 2018-01-26 维尔股份有限公司 图像信息处理系统
CN105760472A (zh) * 2016-02-06 2016-07-13 中国农业大学 视频检索方法及系统

Also Published As

Publication number Publication date
JP2020035086A (ja) 2020-03-05
US20200074218A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
US9076069B2 (en) Registering metadata apparatus
US10459968B2 (en) Image processing system and image processing method
JP5358083B2 (ja) 人物画像検索装置及び画像検索装置
CN113115099B (zh) 一种视频录制方法、装置、电子设备以及存储介质
US9665959B2 (en) Composite image creation assist apparatus using images of users other than target user, and non-transitory computer readable recording medium
WO2011161889A1 (ja) 画像評価装置、画像評価方法、プログラム、集積回路
JP5667069B2 (ja) コンテンツ管理装置、コンテンツ管理方法、コンテンツ管理プログラムおよび集積回路
CN103988202A (zh) 基于索引和搜索的图像吸引力
US20230336671A1 (en) Imaging apparatus
CN111699478A (zh) 图像检索装置、图像检索方法、电子设备及其控制方法
JP2022128493A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2016015018A (ja) サービス提供装置、方法、及びプログラム
US20130308864A1 (en) Information processing apparatus, information processing method, computer program, and image display apparatus
CN110169055A (zh) 一种生成镜头信息的方法和装置
JP2020095615A (ja) 生成装置、生成方法および生成プログラム
JP6410427B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN110879944A (zh) 基于人脸相似度的主播推荐方法、存储介质、设备及系统
Henze et al. Snap and share your photobooks
CN110866148A (zh) 信息处理系统、信息处理装置及存储介质
US20230196769A1 (en) Posting support apparatus, and posting support method
KR101523349B1 (ko) 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템
JP6204957B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US11283945B2 (en) Image processing apparatus, image processing method, program, and recording medium
CN110008364B (zh) 图像处理方法、装置和系统
JP6465328B1 (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant before: Fuji Xerox Co.,Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination