CN104050208A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN104050208A
CN104050208A CN201410015958.8A CN201410015958A CN104050208A CN 104050208 A CN104050208 A CN 104050208A CN 201410015958 A CN201410015958 A CN 201410015958A CN 104050208 A CN104050208 A CN 104050208A
Authority
CN
China
Prior art keywords
people
correlation
degree
interval
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410015958.8A
Other languages
English (en)
Inventor
深沢健太郎
田中健司
高桥义博
吉田恭助
田中和政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104050208A publication Critical patent/CN104050208A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • G06F16/739Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Digital Computer Display Output (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种信息处理装置、信息处理方法和程序。所述信息处理装置包括:分组单元,其从内容中检测出对象的一部分且对每个对象进行分组;相关度计算单元,其计算被所述分组单元分组的对象之间的相关度;和显示控制单元,其基于由所述相关度计算单元计算的对象之间的所述相关度,控制对象之间的相关图的显示,所述相关图用于表示对象之间的相关性。所述信息处理装置、信息处理方法和程序能够更加精确地在内容上获取对象之间的相关度。

Description

信息处理装置、信息处理方法和程序
技术领域
本发明涉及信息处理装置、信息处理方法和程序,具体地,涉及能够更精确地在内容上获取对象之间的相关度的信息处理装置、信息处理方法和程序。
背景技术
在日本待审查专利申请公开(PCT申请的翻译)号2011-133988中,公开了如下一种相关技术:从多幅静态图像和多幅动态图像获取人之间的相关图。在日本待审查专利申请公开(PCT申请的翻译)号2011-133988所描述的技术中,从图像中提取脸部,同时从记录的频率计算人之间的相关度,并且获取人之间的相关图。
此外,在日本待审查专利申请公开号2011-82915和日本待审查专利申请公开号2011-70277中公开了如下技术:通过从多幅静态图像和多幅动态图像仅提取出现有一个所指定的人的图像、出现了所指定的多个人的图像以及它们的区间来生成摘要动态图像。
此外,在日本待审查专利申请公开号2008-129682中,公开了通过使用多个人之间的相关性来提高个人识别的性能的技术。
然而,在日本待审查专利申请公开(PCT申请的翻译)号2011-133988、日本待审查专利申请公开号2011-82915、日本待审查专利申请公开2011-70277和日本待审查专利申请公开号2008-129682中,当多个人没有同时出现在屏幕上而是通过使用多个相机单独拍摄而在时间上交替地出现时,没有同时记录下多个人,且因此确定出多个人之间的相关度低。
发明内容
鉴于这样的情况而提出了本发明,且因此本发明能够更加精确地在内容上获取对象之间的相关度。
根据本发明的实施例,提出了一种信息处理装置,其包括:分组单元,其从内容中检测出对象的一部分且对每个对象进行分组;相关度计算单元,其计算被所述分组单元分组的对象之间的相关度;和显示控制单元,其基于由所述相关度计算单元计算的对象之间的所述相关度,控制对象之间的相关图的显示,所述相关图用于表示对象之间的相关性。
在实施例中,所述相关度计算单元可以包括:出现区间获取单元,其获取每个对象的出现区间,同时出现相关度计算单元,其基于由所述出现区间获取单元获取的每个对象的出现区间,从多个对象同时出现的频率计算所述相关度,和轮换出现相关度计算单元,其基于由所述出现区间获取单元获取的每个对象的出现区间,从多个对象在时间上轮换出现的频率计算所述相关度。
在实施例中,所述显示控制单元基于由所述同时出现相关度计算单元和所述轮换出现相关度计算单元计算的对象之间的所述相关度,在对象之间的所述相关图中控制用于表示对象之间的关系度的链路的宽度的显示。
在实施例中,所述同时出现相关度计算单元基于由所述出现区间获取单元获取的每个对象的出现区间,计算每个对象的重要度,且所述显示控制单元基于由所述同时出现相关度计算单元计算的每个对象的重要度,在对象之间的所述相关图中控制用于表示对象的对象图像的尺寸的显示。
在实施例中,所述显示控制单元基于由所述同时出现相关度计算单元和所述轮换出现相关度计算单元以每个预定时间间隔计算的对象之间的所述相关度,在对象之间的所述相关图中控制动态图像显示。
在实施例中,所述显示控制单元基于由所述同时出现相关度计算单元和所述轮换出现相关度计算单元以每个预定时间间隔计算的对象之间的所述相关度,在对象之间的所述相关图中控制时间线上的显示。
在实施例中,所述信息处理装置还可以包括:摘要生成单元,其在显示被所述显示控制单元控制的对象之间的所述相关图中,根据对所述对象图像的选择或根据对用于表示对象之间的关系度的所述链路的选择,生成由如下场景构成的内容的摘要,在该场景中出现有与所选的对象图像或所选的链路相连接的多个对象。
在实施例中,所述信息处理装置还可以包括:切割点插入单元,其在显示被所述显示控制单元控制的对象之间的所述相关图中,根据对所述对象图像的选择或对用于表示对象之间的所述关系度的所述链路的选择,将切割点插入与所选的对象图像或所选的链路相连接的多个对象出现的场景中。
在实施例中,所述信息处理装置还可以包括:人之间相关度数据库,其存储由所述同时出现相关度计算单元和所述轮换出现相关度计算单元计算的对象之间的所述相关度。
在实施例中,所述信息处理装置还可以包括:输入单元,其输入对象名称;和搜索单元,其从所述人之间相关度数据库搜索与由所述输入单元输入的对象名称相对应的对象的所述相关度,其中,所述显示控制单元控制以由所述搜索单元搜索的对象为中心的对象之间的所述相关图的显示。
在实施例中,所述信息处理装置还可以包括:输入单元,其输入对象之间的所述相关图的设置;和搜索单元,其从所述人之间相关度数据库搜索与由所述输入单元输入的对象之间的所述相关图的所述设置相对应的对象的所述相关度。
在实施例中,所述信息处理装置还可以包括:候选人获取单元,其使用所述人之间相关度数据库,通过检测出现在图像中的所有脸部且将相对于所检测的脸部具有大相似度的人来获取候选人列表;和人确定单元,其使用由所述候选人获取单元获取的所述候选人列表来确定人。
在实施例中,所述人确定单元通过采用由所述候选人获取单元获取的所述获选人列表的所述相关度作为评价值来确定人。
在实施例中,所述人确定单元通过采用如下值作为评价值来确定人,该值是通过对由所述候选人获取单元获取的所述候选人列表的所述相关度和每个人的相似度进行组合而获得的。
在实施例中,对象的所述一部分是脸部图像,且对象是人。
根据本发明的另一个实施例,提出了一种信息处理方法,其包括:通过信息处理装置;从内容检测对象的一部分且对每个对象进行分组;计算被分组的对象之间的相关度;和基于所计算的对象之间的所述相关度,控制对象之间的相关图的显示,所述相关图用于表示对象之间的所述相关性。
根据本发明的又一个实施例,提出了一种程序,所述程序使计算机起到以下作用:分组单元,其从内容中检测出对象的一部分且对每个对象进行分组;相关度计算单元,其计算被所述分组单元分组的对象之间的相关度;和显示控制单元,其基于由所述相关度计算单元计算的对象之间的所述相关度,控制对象之间的相关图的显示,对象之间的所述相关图用于表示对象之间的相关性。
在本发明的实施例中,检测来自内容的对象的一部分、对每个对象进行分组和计算被分组的对象之间的相关度。基于计算出的对象之间的所述相关度,控制用于表示对象之间的所述相关性的对象之间的相关图的显示。
根据本发明的实施例,可以更加精确地在内容上获取对象之间的相关度。
附图说明
图1是图示了本发明的信息处理装置的配置示例的方框图;
图2是图示了在信息处理装置中获取和显示人之间的相关度的处理的流程图;
图3是图示了脸部分组的处理的流程图;
图4是图示了人之间相关度获取单元的配置示例的方框图;
图5图示了视频文件中的人的出现区间的示例;
图6是图示了获取人之间的相关度的处理的流程图;
图7是图示了获取同时出现区间的处理的流程图;
图8是图示了获取轮换出现区间的处理的流程图;
图9是图示了获取轮换频率的处理的流程图;
图10图示了人之间的相关图的示例;
图11图示了人之间的相关图的另一个示例;
图12图示了人之间的相关图的又一个示例;
图13图示了人之间的相关图的另一个示例;
图14是图示了对人之间的相关图进行显示的处理的流程图;
图15是图示了应用了本发明的信息处理装置的另一个配置示例的方框图;
图16是图示了个人识别的处理的流程图;
图17图示了对人进行确认的处理的示例;
图18图示了对人进行确认的处理的另一个示例;和
图19是图示了计算机的配置示例的方框图。
具体实施方式
在下文中,将说明用于实施本发明的实施方式(以下,被称作实施例)。以下面的顺序进行说明。
1.实施例(信息处理装置)
2.实施例(显示示例)
3.实施例(变形示例)
1.实施例(信息处理装置)
本发明的信息处理装置的配置
图1图示了本发明的信息处理装置的配置示例。
在图1中,信息处理装置11获取在视频内容中出现的人之间的相关性,且展示人之间的相关图。此外,信息处理装置11使用个人姓名或人之间的相关图作为搜索关键字进行视频内容的搜索。或替代地,信息处理装置11使用所获取的相关性进行个人识别。例如,信息处理装置11由个人计算机配置而成。
本发明不限于所要说明的人之间的相关性,且还适用于人和物之间的相关性以及物之间的相关性。
在图1的示例中,信息处理装置11被配置为包括图像数据输入单元21、脸部分组单元22、人之间相关度获取单元23、人之间相关度数据库24、显示控制单元25、操作输入单元26和显示单元27。此外,信息处理装置11被配置为包括搜索单元28和摘要生成单元29。
图像数据输入单元21输入来自内容档案(未示出)的视频内容的数据,且将视频内容的输入数据(动态图像文件)提供给脸部分组单元22。
脸部分组单元22检测在视频内容中出现的脸部图像,根据每个人对检测到的脸部图像进行分组,并将每个人的分组信息以及动态图像文件一起提供给人之间相关度获取单元23。
人之间相关度获取单元23计算由脸部分组单元22分组的人之间的相关度,且将计算出的人之间的相关度提供给显示控制单元25。此外,人之间相关度获取单元23将计算出的人之间的相关度以及动态图像文件一起提供给人之间相关度数据库24。
人之间相关度数据库24将来自人之间相关度获取单元23的人之间的相关度的数据以及动态图像文件存储在一起。
例如,人之间的相关度的数据由与动态图像文件相关的信息、与出现的每个人(出现)相关的信息以及与两个人之间的人相关的信息构成。
例如,与动态图像文件相关的信息由动态图像文件名称或动态图像文件的时间范围等形成。例如,与出现的每个人相关的信息由出现的每个人的重要度、出现的每个人的出现帧、脸部的位置、脸部的尺寸、出现的每个人的个人姓名、出现的每个人的脸部图像特征量或出现的每个人的声音特征量等形成。例如,与两个人之间的人相关的信息由两个人之间的相关度或两个人出现的时间范围等形成。
基于来自人之间相关度获取单元23或搜索单元28的人之间的相关度的数据,显示控制单元25生成人之间的相关图以用于表示人之间的相关度,且将生成的人之间的相关图显示在显示单元27上。例如,在多个人的情况下,人之间的相关图由示出了至少一个人的脸部图像和用于表示人之间的关系的线(链路)的组合构成,以便一目了然地知道视频内容内的人之间的关系。
例如,操作输入单元26由鼠标、键盘和层压在显示单元27上的触摸板等构成,且将与用户的操作相对应的信号提供给显示控制单元25。例如,经由显示控制单元25将人之间的相关图中的链路和人的选择信号提供给摘要生成单元29。此外,例如,经由显示控制单元25将在进行视频内容搜索情况下的个人姓名提供给搜索单元28。
例如,显示单元27由LCD(液晶显示器)等构成,并显示来自显示控制单元25的人之间的相关图。
搜索单元28被提供有来自显示控制单元25的个人姓名,且通过搜索人之间相关度数据库24获取相关度的数据,以便显示以被提供姓名的人为中心的人之间的相关图。利用被写入到全部相关度数据中的所有人的脸部图像特征量,搜索单元28进行脸部分组,且获取每个人的重要度以及人之间的相关度。搜索单元28将所获取的每个人的重要度和所获取的人之间的相关度提供给显示控制单元25。
根据链路和人的选择信号,摘要生成单元29在来自显示控制单元25的人之间的相关图中进行摘要的生成和切割点的插入。
信息处理装置的操作
接着,参照图2的流程图,将对在信息处理装置11中获取和显示人之间的相关度的处理进行说明。
图像数据输入单元21输入来自档案(未示出)的视频内容的数据,且将视频内容的输入数据提供给脸部分组单元22。
据此,在步骤S11中,脸部分组单元22进行脸部分组的处理。将在后面参照图3对脸部分组的处理进行说明。
根据步骤S11的处理,检测在视频内容内出现的脸部图像、针对每个人对检测到的脸部图像进行分组、并将每个人的分组信息以及视频内容的数据一起提供给人之间相关度获取单元23。
在步骤S12中,人之间相关度获取单元23进行获取人之间的相关度的处理。将在后面参照图6对获取人之间的相关度的处理进行说明。
根据步骤S12的处理,计算由脸部分组单元22分组的人之间的相关度,且将计算出的人之间的相关度以及视频内容的数据一起提供给人之间相关度数据库24。
响应于此,在步骤S13中,人之间相关度数据库24将人之间的相关度的数据以及视频内容的数据登记在一起。
另一方面,将由人之间相关度获取单元23计算出的人之间的相关度的数据以及视频内容的数据一起提供给显示控制单元25。
在步骤S14中,显示控制单元25进行人之间的相关图(其用于表示人之间的相关性)的显示。即,显示控制单元25基于来自人之间相关度获取单元23的人之间的相关度的数据生成人之间的相关图,且将生成的人之间的相关图显示在显示单元27上。
如果以上面的方式控制人之间的相关图的显示,可以一目了然地了解动态图像文件内的人之间的关系。
脸部分组的处理的示例
接着,参照图3的流程图,将对图2的步骤S11中的脸部分组的处理进行说明。从视频的头帧开始以任意时间间隔对整个视频进行该处理。
在步骤S31中,脸部分组单元22判断是否检测到脸部图像。如果确定在步骤S31中检测到脸部图像,那么处理转到步骤S32。
在步骤S32中,脸部分组单元22判断当前组的数量是否大于0。在步骤S32中,如果确定当前组的数量为1以上,那么处理转到步骤S33。
在步骤S33中,脸部分组单元22进行每个组的相似度评价。换言之,脸部分组单元22对被登记在现有组中的脸部图像与当前检测到的脸部图像之间的相似度进行评价。
在步骤S34中,脸部分组单元22判断在每个组中计算出的最大的相似度(最大相似度)是否大于阈值。在步骤S34中,如果确定最大相似度大于阈值,那么处理转到步骤S35。
在步骤S35中,脸部分组单元22将检测到的脸部图像添加到最大相似度的组。即,在认为检测到的脸部图像是与被登记在所计算出的最大相似度的组中的人的脸部相同的脸部的情况下,脸部分组单元22将检测到的脸部图像添加为该组的成员。
另一方面,在步骤S32中,如果确定当前组的数量是0,那么处理转到步骤S36。此外,在步骤S34中,如果确定最大相似度等于或小于阈值,那么认为检测到的脸部图像与所有组的脸部不同,处理转到步骤S36。在步骤S36中,脸部分组单元22生成新的脸部组,且将检测到的脸部图像添加为该脸部组的成员。
在步骤S31中,如果确定没有检测到脸部图像,那么处理转到步骤S37。在步骤S37中,脸部分组单元22判断用于形成动态图像的所有帧是否结束。
在步骤S37中,如果确定所有帧没有结束,那么处理返回步骤S31。因此,在任意时间间隔的帧中,重复后续的处理。在步骤S37中,如果确定所有帧结束,那么脸部分组的处理结束,且处理返回到图2的步骤S11。
然而,脸部分组的处理不限于参照图3说明的处理,且如果可以的话,可以使用任何方式的分组。此外,在脸部分组的处理中,利用将在后面参照图15和后续的附图说明的个人识别的功能,可以分配对应于每个组的个人姓名。
此外,在上面的说明中,当在任意时间间隔的帧中进行处理时,说明了处理的示例,但是可以以每帧进行处理。
人之间相关度获取单元的配置示例
图4图示了图1的人之间相关度获取单元的配置示例。
在图4的示例中,人之间相关度获取单元23被配置为包括出现区间获取单元51、同时出现区间获取单元52和轮换出现区间获取单元53。
出现区间获取单元51从动态图像文件获取由脸部分组单元22分组的每个脸部组的出现区间,且将获取的出现区间信息提供给同时出现区间获取单元52和轮换出现区间获取单元53。
同时出现区间获取单元52基于由出现区间获取单元51获取的每个脸部组的出现区间来计算多个人(脸部图像)同时出现的频率,并从计算出的频率获取人之间的相关度的数据。此外,基于由出现区间获取单元51获取的每个脸部组的出现区间,同时出现区间获取单元52还获取每个脸部组的重要度的数据。
轮换出现区间获取单元53计算多个人在时间上轮换出现的频率,且从计算出的频率获取人之间的相关度的数据。在时间上轮换出现的场景意味着诸如两个人交谈的场景等两个人的脸部交替地出现的场景,例如,使用两个相机对说话者进行单独拍摄并在改变说话者的情况下切换相机的场景。
将由同时出现区间获取单元52获取的人之间的相关度的数据和重要度的数据、由轮换出现区间获取单元53获取的人之间的相关度的数据、以及动态图像文件一起提供给人之间相关度数据库24和显示控制单元25。
出现区间的示例
图5图示了视频文件中的人的出现区间的示例。
在视频文件中,人a出现在时刻t0至t1的区间S0、时刻t1至t2的区间S1、时刻t3至t4的区间S3、时刻t6至t7的区间S6和时刻t8至t9的区间S8。
在视频文件中,人b出现在时刻t0至t1的区间S0和时刻t4至t5的区间S4。
在视频文件中,人c出现在时刻t4至t5的区间S4、时刻t5至t6的区间S5、时刻t7至t8的区间S7和时刻t9至t10的区间S9。
在上述出现区间中,人a和人b同时出现的同时出现区间是区间S0,且人b和人c的同时出现区间是区间S4。
另一方面,人a和人c交替出现的轮换出现区间是区间S3至区间S9。
获取人之间的相关度的处理的示例
接着,参照图6的流程图,将对图2的步骤S12中的获取人之间的相关度的处理进行说明。
在步骤S51中,出现区间获取单元51从动态图像文件获取由脸部分组单元22分组的每个脸部组(即,人)的出现区间。
在步骤S52中,出现区间获取单元51将区间分成每个出现区间的开始位置和结束位置。出现区间获取单元51将含有开始位置和结束位置的出现区间信息提供给同时出现区间获取单元52和轮换出现区间获取单元53。
在步骤S53中,同时出现区间获取单元52进行获取同时出现区间的处理。将在后面参照图7对获取同时出现区间的处理进行说明,但是,根据步骤S53的处理,获取同时出现区间中的相关度的数据以及每个人的重要度的数据,且将获取的数据提供给人之间相关度数据库24和显示控制单元25。
在步骤S54中,轮换出现区间获取单元53进行获取轮换出现区间的处理。将在后面参照图8对获取轮换出现区间的处理进行说明,但是,根据步骤S54的处理,获取轮换出现区间中的相关度的数据,且将获取的数据提供给人之间相关度数据库24和显示控制单元25。
在步骤S54之后,获取人之间的相关度的处理结束,且处理返回到图2的步骤S12。
获取同时出现区间的处理的示例
接着,参照图7的流程图,将对图6的步骤S53中的获取同时出现区间的处理进行说明。在处理中,判断作为目标区间的脸部是否从图5中的头区间S0开始依次出现。
在步骤S71中,同时出现区间获取单元52判断目标区间中的脸部的数量是否大于0。在步骤S71中,如果确定脸部的数量等于或大于1,那么处理转到步骤S72。
在步骤S72中,同时出现区间获取单元52获取每个脸部(人)的重要度的数据。这里,获取目标区间的长度、目标区间内的脸部的尺寸、出现位置的平均值和同时出现的人的数量的平均值,以作为重要度的数据。
在步骤S73中,同时出现区间获取单元52判断是否有另一个人出现在相同区间中。在步骤S73中,如果确定另一个人出现在相同区间中,那么处理转到步骤S74。
在步骤S74中,同时出现区间获取单元52获取每个脸部组合的相关度的数据。即,在步骤S74中,分别获取目标区间的长度的平均值、两个人之间的脸部尺寸的比率、两个人之间的脸部的距离和同时出现的人的数量,以作为人之间的相关度的数据。
在步骤S71中,如果确定脸部的数量是0,那么跳过步骤S72至步骤S74的处理且处理转到步骤S75。此外,在步骤S73中,如果确定另一个人没有出现在相同的区间,那么跳过步骤S74且处理转到步骤S75。
在步骤S75中,同时出现区间获取单元52判断是否所有的区间结束。在步骤S75中,如果确定所有的区间没有结束,那么处理转到步骤S76。在步骤S76中,同时出现区间获取单元52将目标区间更新为下一个区间,处理返回到步骤S71,并且对更新的区间重复后续的处理。
以上述方式,从多个人同时出现的频率获取相关度的数据,此外,从每个人的出现频率获取重要度的数据。
获取人之间的相关度的处理的示例
接着,参照图8的流程图,将对图6的步骤S54中的获取轮换出现区间的处理进行说明。
在步骤S91中,轮换出现区间获取单元53将在脸部组的群组内的一个组设置为脸部组A。
在步骤S92中,轮换出现区间获取单元53将与被设置为脸部组A的脸部组不同的脸部组设置为脸部组B。
在步骤S93中,轮换出现区间获取单元53进行获取特定组之间的轮换频率的处理。将在后面参照图9对获取在特定组之间的轮换频率的处理进行说明。根据步骤S93的处理,基于在脸部组A与脸部组B之间的轮换频率,获取相关度的数据。
在步骤S94中,轮换出现区间获取单元53判断脸部组B的处理是否结束。在步骤S94中,如果确定脸部组B的处理没有结束,那么处理返回到步骤S92,因此,将其他的脸部组设置为脸部组B,且重复后续的处理。
当将除被设置为脸部组A的脸部组之外的所有脸部组设置为脸部组B的处理结束时,处理转到步骤S95。
在步骤S95中,轮换出现区间获取单元53判断脸部组A的处理是否结束。在步骤S95中,如果确定脸部组A的处理没有结束,那么处理返回到步骤S91,因此,将其他的脸部组设置为脸部组A,且重复后续的处理。
当将所有的脸部组设置为脸部组A的处理结束时,获取轮换出现区间的处理结束,且处理转到图6的步骤S54。
获取轮换频率的处理的示例
接着,参照图9的流程图,将对图8的步骤S93中的获取轮换频率的处理进行说明。
在步骤S111中,轮换出现区间获取单元53移动到头区间(例如,图5的区间S0)。在步骤S112中,轮换出现区间获取单元53假定脸部组A出现标志为0且脸部组B出现标志为0。
在步骤S113中,轮换出现区间获取单元53判断脸部组A和脸部组B是否均出现在目标区间中。在步骤S113中,如果确定脸部组A和脸部组B均没有出现,那么处理转到步骤S114。
在步骤S114中,轮换出现区间获取单元53判断目标区间是否是脸部组A出现的区间。在步骤S114中,如果确定目标区间是脸部组A出现的区间,那么处理转到步骤S115。在步骤S115中,轮换出现区间获取单元53认为脸部组A出现标志是1。
在步骤S114中,如果确定目标区间不是脸部组A出现的区间,那么处理转到步骤S116。在步骤S116中,轮换出现区间获取单元53判断目标区间是否是脸部组B出现的区间。在步骤S116中,如果确定目标区间是脸部组B出现的区间,那么处理转到步骤S117。在步骤S117中,轮换出现区间获取单元53认为脸部组B出现标志是1,且处理转到步骤S118。
在步骤S118中,轮换出现区间获取单元53判断是否没有设置开始区间。在步骤S118中,如果确定没有设置开始区间,那么处理转到步骤S119。在步骤S119中,轮换出现区间获取单元53设置开始区间。换言之,将目标区间设置为开始区间,且处理转到步骤S124。
在步骤S118中,如果没有确定没有设置开始区间,即,如果确定设置了开始区间,那么处理转到步骤S124。
在步骤S116中,如果确定目标区间不是脸部组B出现的区间,那么处理转到步骤S120。在步骤S120,轮换出现区间获取单元53判断脸部组A出现标志和脸部组B出现标志是否均是1。在步骤S120中,如果确定脸部组A出现标志和脸部组B出现标志均是1,那么处理转到步骤S121。
在步骤S121中,轮换出现区间获取单元53设置结束区间。换言之,将目标区间的前一区间设置为结束区间。
在步骤S122中,轮换出现区间获取单元53获取在开始区间与结束区间之间的相关度的数据。即,在步骤S122中,分别获取开始区间到结束区间的长度的平均值、两个人之间的脸部的尺寸的比率、两个人之间的脸部的位置关系和同时出现的人的数量,以作为与两个人相关的人之间的相关度的数据,且处理转到步骤S123。
在步骤S120中,当轮换出现区间获取单元53确定脸部组A出现标志和脸部组B出现标志均不是1时,处理转到步骤S123。在步骤S123中,如果轮换出现区间获取单元53认为脸部组A出现标志和脸部组B出现标志均是0,那么处理转到步骤S124。
在步骤S124中,轮换出现区间获取单元53判断目标区间是否是视频文件的末尾区间。在步骤S124中,如果确定是末尾区间,那么图9中的获取轮换频率的处理结束,处理返回到图8的步骤S93。
在步骤S124中,如果确定不是末尾区间,那么处理转到步骤S125。在步骤S125中,轮换出现区间获取单元53更新目标区间,即,将目标区间移动到下一个区间,处理返回到步骤S113,并且重复后续的处理。
以上述方式,从多个人在时间上轮换出现的频率获取相关度的数据。
2.实施例(显示示例)
人之间的相关图的显示示例
图10图示了基于以上述方式获取的人之间的相关度的数据生成和显示的人之间的相关图的示例。
在图10的示例中,示出了人之间的相关图101。在人之间的相关图101中,显示了图5所示的人a的脸部图像A、人b的脸部图像B和人c的脸部图像C。脸部图像A至脸部图像C是由脸部分组单元22获取的每个脸部组的代表性图像。在图10的示例中,表征出的是脸部图像C大于脸部图像B且小于脸部图像A。
假定脸部图像A至脸部图像C的尺寸根据出现频率变化。即,基于用于表明由同时出现区间获取单元52获取的每个人的重要度的数据,确定脸部图像A至脸部图像C的尺寸。例如,除了目标脸部的出现时间相对于动态图像的总长度的比率之外,还可以从出现时的脸部的尺寸、脸部的位置(在中心处的脸部的位置有多长等等)以及与同时出现的人的数量相对应的值,来确定脸部图像A至脸部图像C的尺寸。此外,还可以使用诸如谈话时间的长度和出现时的脸部的朝向等信息。
此外,在人之间的相关图101中,用于表示人之间的关系的线(以下,线被称作链路)ab、bc和ca显示在脸部图像A至脸部图像C的每个脸部图像之间。假定链路的宽度根据同时出现的频率变化。即,显示在脸部图像A与脸部图像B之间的链路ab由普通链路宽度表示。显示在脸部图像B与脸部图像C之间的链路bc由宽度窄于链路ab的链路来表示。显示在脸部图像C与脸部图像A之间的链路ca由宽度宽于链路ab的链路来表示。
基于由同时出现区间获取单元52和轮换出现区间获取单元53获取的人之间的相关度的数据,确定链路的宽度的粗细。例如,除了与两个人相关的人之间的出现时间相对于动态图像的总长度的比率之外,还可以从脸部的位置、出现时的脸部的尺寸以及与同时出现的人的数量相对应的值,来确定线的宽度的粗细。
通过如上所述地显示人之间的相关图,可以一目了然地了解动态图像内的人之间的关系,以及重要的人。
人之间的相关图的另一个显示示例
图11图示了人之间的相关图的另一个示例。
图10的人之间的相关图101是以如下方式显示的:以单个的方式表示动态图像内的人之间的相关性,然而,为了容易地注意到动态图像内的人之间的相关性如何随着时间轮换变化,图11中的人之间的相关图102-1至人之间的相关图102-3是以如下方式显示的:显示动态图像。在人之间的相关图102-1至人之间的相关图102-3中,由上面参照图10描述的粗细来表示链路ab、链路bc和链路ca,但也可以随着时间轮换通过改变相关度来改变链路的粗细。
例如,作为某个时间处的人之间的相关性的代表,显示了人之间的相关图102-1。因为只有人a和人b出现在动态图像中,所以只有对应于人a的脸部图像A、对应于人b的脸部图像B和用于表示它们关系的链路ab显示在人之间的相关图102-1中。
在从上述某个时间开始经过预定时间间隔之后,作为此时的人之间的相关性的代表,人之间的相关图102-1轮换到人之间的相关图102-2。因为人a至人c出现在动态图像之内,所以对应于人a的脸部图像A、对应于人b的脸部图像B、对应于人c的脸部图像C和用于表示它们关系的链路ab、链路bc和链路ca显示在人之间的相关图102-2中。
此外,在从上述某个时间开始经过两次预定时间间隔之后,作为此时的人之间的相关性的表示,人之间的相关图102-2轮换到人之间的相关图102-3。因为只有人a和人c出现在动态图像之内,所以只有对应于人a的脸部图像A、对应于人c的脸部图像C和用于表示它们关系的链路ca显示在人之间的相关图102-3中。
在这种情况下,在同时出现区间获取单元52和轮换出现区间获取单元53中,可以使用每个任意时间间隔获取人之间的相关度。
此外,不基于动态图像内的时间轮换,而是例如可以替代地基于用户所具有的多幅动态图像的拍摄时间,或广播时间,来每次获取人之间的相关度。在这种情况下,不获取每幅动态图像的人之间的相关度,而是替代地从多幅动态图像获取人之间的一个相关度。
通过如上所述地显示人之间的相关图,能够在动态图像内容易地注意到人之间的相关性如何随着时间轮换而变化。
在图11的示例中,尽管说明了在动态图像中显示人之间的相关性的时间轮换的示例,但如图12所示,也可以在时间线上显示人之间的相关性的时间轮换。
人之间的相关图的另一个显示示例
图12图示了人之间的相关图的另一个示例。
在图12的示例中,示出了人之间的相关图111,该图将人之间的相关性的时间轮换显示在时间线上。即,在图12的人之间的相关图111中,在上面参照图5描述的情况下将每个人的出现区间标记(阴影线)在时间线上,且将同时出现的人的脸部图像显示在标记区(用点标记)。
在图12的示例中,不仅包含了同时出现(出现)在屏幕中的情况,而且包含了在时间上轮换出现的情况,以作为同时出现。如上所述,当也包括出现在时间轮换中的情况时,在图12中,以与同时出现(出现)的区间相同的方式来显示出现在时间轮换中的区间,然而,为了提高可视性,可以通过改变标记的颜色和脸部图像的颜色来显示同时出现区间和轮换出现区间。
具体地,在人之间的相关图111中,从上部开始依次地,将对应于人a的脸部图像A显示在左端,且通过标记(阴影线)将人a的出现区间显示在脸部图像A的右侧。接着,将对应于人b的脸部图像B显示在左端,且通过标记(阴影线)将人b的出现区间显示在脸部图像B的右侧。最后,将对应于人c的脸部图像C显示在左端,且通过标记(阴影线)将人c的出现区间显示在脸部图像C的右侧。
在时刻t0至t1的区间S0中,人a和人b同时出现,但在区间S0的前部区间和后部区间中不存在轮换出现。相应地,在区间S0中,人b的脸部图像B显示在用于表示人a的出现区间的阴影线区上,且人a的脸部图像A显示在用于表示人b的出现区间的阴影线区上。
在时刻t1至t2的区间S1中,只有人a出现,在区间S1的前部区间和后部区间中不存在轮换出现。因此,在区间S1中,只显示用于表示人a的出现区间的阴影线区。
在时刻t2至t3的区间S3中,没有人出现,且在区间S3的前部区间和后部区间中不存在轮换出现。相应地,在区间S2中,不显示任何内容。
在时刻t3至t4的区间S3中,只有人a出现,但是在区间S3的后部区间中存在有人b和人c的轮换出现。因此,在区间S3中,人b的脸部图像B和人c的脸部图像C显示在用于表示人a的出现区间的阴影线区上。
在时刻t4至t5的区间S4中,人b和人c出现,但是在区间S4的前部区间中存在有人a的轮换出现。相应地,在区间S4中,人a(轮换)的脸部图像A和人c(同时)的脸部图像C显示在用于表示人b的出现区间的阴影线区上。此外,在区间S4中,人a(轮换)的脸部图像A和人b(同时)的脸部图像B显示在用于表示人c的出现区间的阴影线区上。
在时刻t5至t6的区间S5中,人c出现,但是在区间S5的后部区间中存在有人a的轮换出现。因此,在区间S5中,人a(轮换)的脸部图像A显示在用于表示人c的出现区间的阴影线区上。
在时刻t6至t7的区间S6中,人a出现,但是在区间S6的前部区间和后部区间中存在有人c的轮换出现。相应地,在区间S6中,人c(轮换)的脸部图像C显示在用于表示人a的出现区间的阴影线区上。
在时刻t7至t8的区间S7中,人c出现,但是在区间S7的前部区间和后部区间中存在有人a的轮换出现。因此,在区间S7中,人a(轮换)的脸部图像A显示在用于表示人c的出现区间的阴影线区上。
在时刻t8至t9的区间S8中,人a出现,但是在区间S8的前部区间和后部区间中存在有人c的轮换出现。相应地,在区间S8中,人c(轮换)的脸部图像C显示在用于表示人a的出现区间的阴影线区上。
在时刻t9至t10的区间S9中,人c出现,但是在区间S9的前部区间和后部区间中存在有人a的轮换出现。因此,在区间S9中,人a(轮换)的脸部图像A显示在用于表示人c的出现区间的阴影线区上。
如上所述,不仅将人之间的相关性的时间轮换显示在时间线上,而且将每个人的出现区间标记在时间线上,且此外,可以便于理解哪个人是通过共同显示同时出现的人的脸部图像来反映的。
人之间的相关图的另一个显示示例
图13图示了人之间的相关图的又一个示例。
在图13的示例中,示出了人之间的相关图121,该相关图将人之间的相关性的时间轮换显示在时间线上。即,在图13的人之间的相关图121中,通过标记将上面参照图5描述的情况下的每个人的出现区间以及人的每种组合显示在时间线上。
具体地,在人之间的相关图121中,从上部开始依次地,将人a的脸部图像A显示在左端,且通过标记(阴影线)将人a的出现区间显示在脸部图像A的右侧。接着,将人a的脸部图像A和人b的脸部图像B显示在左端,且通过标记(阴影线)将人a和人b的组合的出现区间显示在脸部图像A和脸部图像B的右侧。最后,将人a的脸部图像A和人c的脸部图像C显示在左端,通过标记(阴影线)将人a和人c的组合的出现区间显示在脸部图像A和脸部图像C的右侧。
在时刻t0至t1的区间S0和时刻t3至t4的区间S3中,因为人a和人b同时出现,所以向人a的脸部图像A和人b的脸部图像B的右侧的区间S0和区间S3添加阴影线。在时刻t1至t2的区间S1中,因为只有人a出现,所以向人a的脸部图像A的右侧的区间S1添加阴影线。
然而,在图13中的示例的情况下,因为人a和人c没有同时出现在图5所示的时间线上,所以不向人a的脸部图像A和人c的脸部图像C的右侧的任何区间添加阴影线。
如上所述,因为不仅准备了每个人的时间线而且准备了人的每种组合的时间线,所以便于通过组合来标记出现时间段来了解人之间的相关性。
此外,作为人之间的相关图的另一个示例,例如,通过按年划分特定的人,可以使用每年的人之间的相关图。因此,可以提供往往识别随着时间的推移而变化的人的关系的人之间的相关图。
此外,虽然时间线的高度根据出现的脸部的数量变化,但是可以将同时出现的人的脸部图像显示在时间段中。
3.实施例(变形示例)
摘要生成、切割功能
例如,在显示单元27上显示的人之间的相关图101中,用户通过操作操作输入单元26来选择脸部图像A至脸部图像C中的一个脸部图像。根据选择,摘要生成单元29生成仅由只有所选的人出现的场景形成的摘要,且可以进行再现(reproduction)。
或替代地,在人之间的相关图101中,通过操作操作输入单元26,用户选择用于表示脸部图像A至脸部图像C中每者之间关系的链路ab、bc和ca中的一条链路。根据选择,摘要生成单元29仅生成由出现有所选链路示出多个人的场景形成的摘要,且可以进行再现。
以如上所述生成摘要相同的方式,通过所选择的人或仅通过上述多个人将切割点放入场景中,且也可以为了容易进行诸如编辑等重复利用而形成。
在视频内容搜索时显示人之间的相关图的处理
接着,参照图14的流程图,将说明在信息处理装置11的视频内容搜索时显示人之间的相关图的处理。在图14的示例中,当使用作为关键字的个人姓名进行视频内容搜索时,输入个人姓名,且将说明显示以某人为中心的人之间的相关图的示例。
例如,通过用户操作的操作输入单元26来输入个人姓名。经由显示控制单元25将输入的个人姓名提供给搜索单元28。响应于此,在步骤S141中,搜索单元28从人之间相关度数据库24获取相关度的数据。在这里,用于获取相关度的数据的范围可以是用户具有的所有动态图像,或也可以限于拍摄时间和拍摄位置。
在步骤S142中,搜索单元28使用在相关度的全部数据中写入的所有人的脸部图像特征量进行脸部分组。在步骤S143中,获取每个人的重要度和人之间的相关度。搜索单元28将获取的每个人的重要度和获取的人之间的相关度提供给显示控制单元25。
在步骤S144中,显示控制单元25基于获取的每个人的重要度和获取的人之间的相关度生成以输入的作为关键字的个人姓名(人)为中心的人之间的相关图,且将生成的人之间的相关图显示在显示单元27上。
因为每当输入个人姓名时不必进行上述处理,所以预先进行处理,且可以使用该处理的结果。
此外,在如上所述地显示的人之间的相关图中,选择人,且可以对人单独出现的场景进行搜索。在人之间的相关图中,选择用于表示人之间或多幅脸部图像之间的关系的链路,且可以对链路的两端上的人共同出现的场景或所选择的多个人共同出现的场景进行搜索。据此,可以促进搜索的精准。
此外,在图14的示例中,说明了输入的个人姓名作为关键字的示例,但是替代地,可以使用由用户生成的人之间的相关图作为关键字进行搜索。即,信息处理装置11可以被配置成用来设置人之间的相关图中的脸部图像的选择、每个所选脸部的尺寸和用于表示人之间的关系的链路的宽度。因此,可以通过将由用户生成的人之间的相关图中的每个设置的脸部的尺寸和链路的宽度轮换成每个人的重要度和每个人之间的相关度,来搜索相似的内容。
当在视频内容中进行使用个人姓名作为关键字的搜索时,可以根据视频内的人的重要度来表示搜索的结果。在多个个人姓名作为关键字的情况下,可以按照每个人的重要度和人之间的相关度的递减顺序来表示搜索结果。
在用于个人识别的情况下的配置示例
还可以将人之间相关度数据库24中所登记的人之间的相关度用于个人识别。图15图示了这种情况下的信息处理装置11的配置示例。
在图15的示例中,信息处理装置11被配置为包括图像数据输入单元21、人之间相关度数据库24、候选人获取单元221、个人识别用字典数据库222和人确定单元223。
与图1的信息处理装置11相同的是,信息处理装置11被配置为具有图像数据输入单元21和人之间相关度数据库24。与图1的信息处理装置11不同的是,在信息处理装置11的配置中移除了脸部分组单元22、人之间相关度获取单元23、显示控制单元25、操作输入单元26和显示单元27。与图1的信息处理装置11不同的是,信息处理装置11的配置中添加了候选人获取单元221、个人识别用字典数据库222和人确定单元223。
换言之,图像数据输入单元21将输入图像数据提供给候选人获取单元221。候选人获取单元221在个人识别用字典数据库222内获取与图像内的每个人具有高相似度的人的列表,且将获取的列表提供给人确定单元223。
在个人识别用字典数据库222中,登记有多个个人姓名和脸部图像特征量的集合以用于个人识别。
人确定单元223使用来自候选人获取单元221的列表和来自人之间相关度数据库24的相关度来确定人。
个人识别的处理的示例
接着,将参照图16的流程图对个人识别的处理进行说明。例如,将由图像数据输入单元21输入的图像数据提供给候选人获取单元221,且开始个人识别的处理。
在步骤S211中,候选人获取单元221进行获取候选人的处理。即,候选人获取单元221检测在图像的特定帧内出现的所有脸部,且针对每个检测到的脸部,使用个人识别用字典数据库222来进行指定人的处理。候选人获取单元221针对输入图像内的每个脸部使用个人识别用字典数据库222内的所有人的脸部图像特征量来评价相似度,且当相似度大于阈值时,将其作为每个脸部的候选人添加到列表。候选人获取单元221将获取的列表提供给人确定单元223。
在步骤S212中,基于由候选人获取单元221获取的每个脸部的列表,人确定单元223进行确定每个人的处理。将参照图17对该处理进行说明。
在图17的示例中,示出了两个脸部出现在屏幕中的情况下的示例。
候选人获取单元221获取了用于表示脸部(图像)A的候选人是人1和人5两个人的列表以及用于表示脸部(图像)B的候选人是人3、人2和人6三个人的列表。
人确定单元223从人之间相关度数据库24中获取脸部A和脸部B中每者的候选人之间的相关度。此时,优选地,获取的相关度是由同时出现区间获取单元52获取的值。
在图17的示例中,当脸部A是人1且脸部B是人3时,候选人之间的相关度是0.1,且当脸部A是人5且脸部B是人3时,候选人之间的相关度是0.0。当脸部A是人1且脸部B是人2时,候选人之间的相关度是0.2,当脸部A是人5且脸部B是人2时,候选人之间的相关度是0.0。当脸部A是人1且脸部B是人6时,候选人之间的相关度是0.8,当脸部A是人5且脸部B是人6时,候选人之间的相关度是0.3。
在这种情况下,因为人1和人6的组合具有最高的相关度,所以人确定单元223确定脸部A是人1且脸部B是人6。因此,人确定单元223通过从每个组合中选择具有最高相关度的组合来确定最终的人。
此外,如图18所示,组合的确定可以使用通过将每个人的相似度与每个组合的相关度相乘而获得的值。
在图18的示例中,当脸部A是人1且脸部B是人3时,候选人之间的相关度是0.1、人1的相似度是0.9和人3的相似度是0.7。因此,当脸部A是人1且脸部B是人3时,它们的评价值变成由0.9、0.7与0.1相乘而获得的值0.063。当脸部A是人5且脸部B是人3时,候选人之间的相关度是0.0、人5的相似度是0.6和人3的相似度是0.7。相应地,当脸部A是人5且脸部B是人3时,它们的评价值变成由0.7、0.6与0.0相乘而获得的值0.0。
当脸部A是人1且脸部B是人2时,候选人之间的相关度是0.2、人1的相似度是0.9和人2的相似度是0.6。因此,当脸部A是人1且脸部B是人2时,它们的评价值变成由0.9、0.6与0.2相乘而获得的值0.108。当脸部A是人5且脸部B是人2时,候选人之间的相关度是0.0、人5的相似度是0.6和人2的相似度是0.6。相应地,当脸部A是人5且脸部B是人2时,它们的评价值变成由0.6、0.6与0.0相乘而获得的值0.0。
当脸部A是人1且脸部B是人6时,候选人之间的相关度是0.8、人1的相似度是0.9和人6的相似度是0.5。因此,但脸部A是人1且脸部B是人6时,它们的评价值变成由0.9、0.5与0.8相乘而获得的值0.36。当脸部A是人5且脸部B是人6时,候选人之间的相关度是0.3、人5的相似度是0.6和人6的相似度是0.5。相应地,当脸部A是人5且脸部B是人6时,它们的评价值变成由0.6、0.5与0.3相乘而获得的值0.09。
据此,人确定单元223通过针对所有组合获取它们的评价值并选择具有最高评价值的组合来进行确定。在图18中的示例的情况下,如果人1和人6的组合具有最高的评价值,那么人确定单元223确定脸部A是人1且脸部B是人6。
在图18的示例中,说明了相似度与相关度相乘的示例,但是如果通过相似度与相关度的组合来获得评价值,那么组合的计算不限于相乘。
如上所述,与由于巧合而发生错误的相关技术相比,因为通过使用相关度来将最相似的人分配给个人识别,所以可以提高个人识别的性能。
如上所述,根据本发明,即使由于通过使用多个相机单独拍摄,多个人在时间上交替地出现在屏幕中而在没有同时出现在屏幕中,也可以恰当地获取人之间的相关度。此外,基于此生成的人之间的相关图在内容上更加精确地表示人之间的相关度。因此,可以促进对内容的理解。
例如,在日本待审查专利申请公开号No.2007-281680中,公开了对用于容易地注意到动态图像中出现的人的脸部的显示,并说明了出现区间,但是在该技术中,只容易注意到每个人的出现区间。与此相反,根据本发明,显示了人之间的相关图,且可以容易地理解人之间的关系。
根据本发明,可以在一幅动态图像内的每个时间带和多幅动态图像的拍摄时间中每者处显示围绕着特定人的人之间的相关图,因此,可以容易地理解随着时间轮换变化的个人关系。
此外,根据本发明,在搜索视频时,可以通过使用人之间的相关图作为关键字输入的辅助,来提高可操作性。可以通过使用人之间的相关性来控制搜索结果的显示顺序,由此提高搜索的精确度。
根据本发明,可以通过将人之间的相关性的信息用于个人识别来提高个人识别的性能。
上述处理系列可以由硬件执行,且能够由软件执行。如果处理系列由软件执行,那么将用于形成软件的程序安装于计算机中。这里,在计算机中,可以通过安装各种程序和构建在专用硬件中的计算机(例如,包括通用个人计算机)来执行各种功能。
计算机的配置示例
图19示出了通过程序来执行上述处理系列的计算机的硬件的配置示例。
在计算机300中,CPU(中央处理器)301、ROM(只读存储器)302、和ROM(随机存取存储器)303经由总线304彼此连接。
此外,总线304连接到输入输出接口305。输入输出接口305连接到输入单元306、输出单元307、存储单元308、通信单元309和驱动310。
输入单元306由键盘、鼠标和麦克风形成。输出单元307由显示器和扬声器形成。存储单元308由硬盘和非易失性存储器形成。通信单元309由网络接口形成。驱动310驱动诸如磁盘、光盘、磁光盘和半导体存储器等可移除记录介质311。
在具有上述配置的计算机中,例如,CPU301通过经由输入输出接口305和总线304将程序下载到RAM303上来执行存储在存储单元308中的程序,且进行上述处理系列。
例如,能够通过记录在诸如封装介质等可移除记录介质311上来提供由计算机(CPU301)执行的程序。此外,可以经由诸如局域网、因特网和数字卫星广播等有线或无线传输介质来提供程序。
在计算机中,通过将可移除记录介质311安装在驱动310上,经由输入输出接口305能够将程序安装于存储单元308中。此外,经由有线或无线传输介质,能够由通信单元309接收程序,且能够将程序安装于存储单元308中。或替代地,可以预先将程序安装于ROM302和存储单元308中。
由计算机执行的程序可以是根据本说明书所述的顺序沿时间序列进行处理的程序,且程序可以是并行地或在诸如进行调用等必要时刻进行处理的程序。
在本说明书中,写入有上述处理系列的步骤可以包括根据写入顺序沿时间序列进行的处理,且即使处理不一定沿时间序列进行,步骤也可以包括并行地或单独地执行的处理。
此外,根据本发明的实施例不限于上述实施例,且可以在不脱离本发明的主旨的范围的情况下进行各种修改。
例如,本发明能够采用经由网络与多个装置共用一个功能且共同处理的云计算的配置。
此外,使用一个装置执行上述流程图中所述的每个步骤,此外,可以通过与多个装置共用来执行。
此外,当多个处理包括在一个步骤中时,使用一个装置执行一个步骤中所包含的多个处理,此外,可以通过与多个装置共用来执行。
此外,在上面,通过将作为一个装置(或处理单元)进行说明的配置进行分割将它配置为多个装置(或处理单元)。另一方面,在上面,通过将作为多个装置(或处理单元)进行说明的配置进行共同布置将它配置为一个装置(或处理单元)。除上述配置之外的配置可以添加到每个装置(或每个处理单元)的配置。此外,如果操作和整个系统的配置大致上相同,那么装置(或处理单元)的部分配置可以包括在其他装置(或其他处理单元)的配置中。换言之,本发明不限于上述的实施例,且在不脱离本发明的主旨的范围的情况下可以做出各种修改。
在上文中,参照附图详细地说明了根据本发明的适当的实施例,但是本发明不限于此。根据在属于本发明的技术领域中的技术人员,显然理解在写入权利要求书中的技术思想的范围之内的各种变形示例或修改示例,且应理解属于本发明的技术范围的示例。
此外,本发明能够如下地进行配置。
(1)一种信息处理装置,其包括:分组单元,其从内容中检测出对象的一部分且对每个对象进行分组;相关度计算单元,其计算被所述分组单元分组的对象之间的相关度;和显示控制单元,其基于由所述相关度计算单元计算的对象之间的所述相关度,控制对象之间的相关图的显示,所述相关图用于表示对象之间的相关性。
(2)根据上述(1)中所述的信息处理装置,其中,所述相关度计算单元包括:出现区间获取单元,其获取每个对象的出现区间,同时出现相关度计算单元,其基于由所述出现区间获取单元获取的每个对象的出现区间,从多个对象同时出现的频率计算所述相关度,和轮换出现相关度计算单元,其基于由所述出现区间获取单元获取的每个对象的出现区间,从多个对象在时间上轮换出现的频率计算所述相关度。
(3)根据上述(1)或(2)中所述的信息处理装置,其中,所述显示控制单元基于由所述同时出现相关度计算单元和所述轮换出现相关度计算单元计算的对象之间的所述相关度,在对象之间的所述相关图中控制用于表示对象之间的关系度的链路的宽度的显示。
(4)根据上述(1)至(3)中任一项所述的信息处理装置,其中,所述同时出现相关度计算单元基于由所述出现区间获取单元获取的每个对象的出现区间,计算每个对象的重要度,且所述显示控制单元基于由所述同时出现相关度计算单元计算的每个对象的重要度,在对象之间的所述相关图中控制用于表示对象的对象图像的尺寸的显示。
(5)根据上述(1)或(2)中所述的信息处理装置,其中,所述显示控制单元基于由所述同时出现相关度计算单元和所述轮换出现相关度计算单元以每个预定时间间隔计算的对象之间的所述相关度,在对象之间的所述相关图中控制动态图像显示。
(6)根据上述(1)或(2)中所述的信息处理装置,其中,所述显示控制单元基于由所述同时出现相关度计算单元和所述轮换出现相关度计算单元以每个预定时间间隔计算的对象之间的所述相关度,在对象之间的所述相关图中控制时间线上的显示。
(7)根据上述(1)至(6)中任一项所述的信息处理装置,还包括:摘要生成单元,其在显示被所述显示控制单元控制的对象之间的所述相关图中,根据对所述对象图像的选择或根据对用于表示对象之间的关系度的所述链路的选择,生成由如下场景构成的内容的摘要,在该场景中出现有与所选的对象图像或所选的链路相连接的多个对象。
(8)根据上述(1)至(6)中任一项所述的信息处理装置,还包括:切割点插入单元,其在显示被所述显示控制单元控制的对象之间的所述相关图中,根据对所述对象图像的选择或对用于表示对象之间的所述关系度的所述链路的选择,将切割点插入与所选的对象图像或所选的链路相连接的多个对象出现的所述场景中。
(9)根据上述(1)至(8)中任一项所述的信息处理装置,还包括:人之间相关度数据库,其存储由所述同时出现相关度计算单元和所述轮换出现相关度计算单元计算的对象之间的所述相关度。
(10)根据上述(9)中所述的信息处理装置,还包括:输入单元,其输入对象名称;和搜索单元,其从所述人之间相关度数据库搜索与由所述输入单元输入的对象名称相对应的对象的所述相关度,其中,所述显示控制单元控制以由所述搜索单元搜索的对象为中心的对象之间的所述相关图的显示。
(11)根据上述(9)中所述的信息处理装置,还包括:输入单元,其输入对象之间的所述相关图的设置;和搜索单元,其从所述人之间相关度数据库搜索与由所述输入单元输入的对象之间的所述相关图的所述设置相对应的对象的所述相关度。
(12)根据上述(9)中所述的信息处理装置,还包括:候选人获取单元,其使用所述人之间相关度数据库,通过检测出现在图像中的所有脸部且将相对于所检测的脸部具有大相似度的人来获取候选人列表;和人确定单元,其使用由所述候选人获取单元获取的所述候选人列表来确定人。
(13)根据上述(12)中所述的信息处理装置,其中,所述人确定单元通过采用由所述候选人获取单元获取的所述获选人列表的所述相关度作为评价值来确定人。
(14)根据上述(12)中所述的信息处理装置,其中,所述人确定单元通过采用如下值作为评价值来确定人,该值是通过对由所述候选人获取单元获取的所述候选人列表的所述相关度和每个人的相似度进行组合而获得的。
(15)根据上述(1)至(14)中任一项所述的信息处理装置,其中,对象的所述一部分是脸部图像,且对象是人。
(16)一种信息处理方法,其包括:通过信息处理装置;从内容检测对象的一部分且对每个对象进行分组;计算被分组的对象之间的相关度;和基于所计算的对象之间的所述相关度,控制对象之间的相关图的显示,所述相关图用于表示对象之间的所述相关性。
(17)一种程序,所述程序使计算机起到以下作用:分组单元,其从内容中检测出对象的一部分且对每个对象进行分组;相关度计算单元,其计算被所述分组单元分组的对象之间的相关度;和显示控制单元,其基于由所述相关度计算单元计算的对象之间的所述相关度,控制对象之间的相关图的显示,对象之间的所述相关图用于表示对象之间的相关性。
本领域技术人员应当理解,依据设计要求和其他因素,可以在本发明随附的权利要求或其等同物的范围内进行各种修改、组合、次组合以及改变。
本申请主张享有于2013年1月21日提交的日本优先权专利申请JP2013-008368的优先权,并且将该日本优先权申请的全部内容以引用的方式并入本文。

Claims (19)

1.一种信息处理装置,其包括: 
分组单元,其从内容中检测出对象的一部分且对每个对象进行分组; 
相关度计算单元,其计算被所述分组单元分组的对象之间的相关度;和 
显示控制单元,其基于由所述相关度计算单元计算的对象之间的所述相关度,控制对象之间的相关图的显示,所述相关图用于表示对象之间的相关性。 
2.根据权利要求1所述的信息处理装置,其中,所述相关度计算单元包括: 
出现区间获取单元,其获取每个对象的出现区间, 
同时出现相关度计算单元,其基于由所述出现区间获取单元获取的每个对象的出现区间,从多个对象同时出现的频率计算所述相关度,和 
轮换出现相关度计算单元,其基于由所述出现区间获取单元获取的每个对象的出现区间,从多个对象在时间上轮换出现的频率计算所述相关度。 
3.根据权利要求2所述的信息处理装置,其中,所述显示控制单元基于由所述同时出现相关度计算单元和所述轮换出现相关度计算单元计算的对象之间的所述相关度,在对象之间的所述相关图中控制用于表示对象之间的关系度的链路的宽度的显示。 
4.根据权利要求2所述的信息处理装置,其中, 
所述同时出现相关度计算单元基于由所述出现区间获取单元获取的每个对象的出现区间,计算每个对象的重要度,且 
所述显示控制单元基于由所述同时出现相关度计算单元计算的每个对象的重要度,在对象之间的所述相关图中控制用于表示对象的对象图像的尺寸的显示。 
5.根据权利要求2所述的信息处理装置,其中,所述显示控制单元基于由所述同时出现相关度计算单元和所述轮换出现相关度计算单元以每个预定时间间隔计算的对象之间的所述相关度,在对象之间的所述相关图中控制动态图像显示。 
6.根据权利要求2所述的信息处理装置,其中,所述显示控制单元基于由所述同时出现相关度计算单元和所述轮换出现相关度计算单元以每个预定时间间隔计算的对象之间的所述相关度,在对象之间的所述相关图中控制时间线上的显示。 
7.根据权利要求3所述的信息处理装置,其还包括: 
摘要生成单元,其在显示被所述显示控制单元控制的对象之间的所述相关图中,根据对用于表示对象之间的关系度的所述链路的选择,生成由如下场景构成的内容的摘要,在该场景中出现有所选的链路相连接的多个对象。 
8.根据权利要求4所述的信息处理装置,其还包括: 
摘要生成单元,其在显示被所述显示控制单元控制的对象之间的所述相关图中,根据对所述对象图像的选择,生成由如下场景构成的内容的摘要,在该场景中出现有与所选的对象图像相连接的多个对象。 
9.根据权利要求3所述的信息处理装置,其还包括: 
切割点插入单元,其在显示被所述显示控制单元控制的对象之间的所述相关图中,根据对用于表示对象之间的所述关系度的所述链路的选择,将切割点插入与所选的链路相连接的多个对象出现的场景中。 
10.根据权利要求4所述的信息处理装置,其还包括: 
切割点插入单元,其在显示被所述显示控制单元控制的对象之间的所述相关图中,根据对所述对象图像的选择,将切割点插入与所选的对象图像相连接的多个对象出现的场景中。 
11.根据权利要求2所述的信息处理装置,其还包括: 
人之间相关度数据库,其存储由所述同时出现相关度计算单元和所述轮换出现相关度计算单元计算的对象之间的所述相关度。 
12.根据权利要求11所述的信息处理装置,其还包括: 
输入单元,其输入对象名称;和 
搜索单元,其从所述人之间相关度数据库搜索与由所述输入单元输入的对象名称相对应的对象的所述相关度, 
其中,所述显示控制单元控制以由所述搜索单元搜索的对象为中心的对象之间的所述相关图的显示。 
13.根据权利要求11所述的信息处理装置,其还包括: 
输入单元,其输入对象之间的所述相关图的设置;和 
搜索单元,其从所述人之间相关度数据库搜索与由所述输入单元输入的对象之间的所述相关图的所述设置相对应的对象的所述相关度。 
14.根据权利要求11所述的信息处理装置,其还包括: 
候选人获取单元,其使用所述人之间相关度数据库,通过检测出现在所述内容中的所有所述一部分且添加相对于所检测的脸部具有最大相似度的对象来获取候选人列表;和 
人确定单元,其使用由所述候选人获取单元获取的所述候选人列表来进行个体识别。 
15.根据权利要求14所述的信息处理装置,其中,所述人确定单元通过采用由所述候选人获取单元获取的所述获选人列表的所述相关度作为评价值来进行所述个体识别。 
16.根据权利要求14所述的信息处理装置,其中,所述人确定单元通过采用如下值作为评价值来进行所述个体识别,该值是通过对由所述候选人获取单元获取的所述候选人列表的所述相关度和每个人的相似度进行组合而获得的。 
17.根据权利要求1-16中任一项所述的信息处理装置,其中,对象的所述一部分是脸部图像,且对象是人。 
18.一种信息处理方法,其包括: 
从内容检测对象的一部分且对每个对象进行分组; 
计算被分组的对象之间的相关度;和 
基于所计算的对象之间的所述相关度,控制对象之间的相关图的显示,所述相关图用于表示对象之间的相关性。 
19.一种程序,所述程序使计算机起到以下作用: 
分组单元,其从内容中检测出对象的一部分且对每个对象进行分组; 
相关度计算单元,其计算被所述分组单元分组的对象之间的相关度;和 
显示控制单元,其基于由所述相关度计算单元计算的对象之间的所述相关度,控制对象之间的相关图的显示,对象之间的所述相关图用于表示对象之间的相关性。 
CN201410015958.8A 2013-01-21 2014-01-14 信息处理装置、信息处理方法和程序 Pending CN104050208A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-008368 2013-01-21
JP2013008368A JP2014139734A (ja) 2013-01-21 2013-01-21 情報処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN104050208A true CN104050208A (zh) 2014-09-17

Family

ID=51207709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410015958.8A Pending CN104050208A (zh) 2013-01-21 2014-01-14 信息处理装置、信息处理方法和程序

Country Status (3)

Country Link
US (1) US9361511B2 (zh)
JP (1) JP2014139734A (zh)
CN (1) CN104050208A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665515A (zh) * 2017-03-28 2018-10-16 卡西欧计算机株式会社 图像处理装置、图像处理方法以及存储介质
US12033666B2 (en) 2021-06-30 2024-07-09 Samsung Electronics Co., Ltd. Method and electronic device for a slow motion video

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2413592B1 (en) * 2009-03-25 2016-08-31 Fujitsu Limited Playback control program, playback control method, and playback device
KR20140132171A (ko) * 2013-05-07 2014-11-17 삼성전자주식회사 터치용 펜을 이용하는 휴대 단말기 및 이를 이용한 필기 입력 방법
US9495761B2 (en) * 2013-11-04 2016-11-15 The Regents Of The University Of California Environment mapping with automatic motion model selection
JP2017010251A (ja) * 2015-06-22 2017-01-12 富士フイルム株式会社 画像抽出装置、画像抽出方法、プログラムおよび記録媒体
JP6533713B2 (ja) * 2015-07-31 2019-06-19 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6667224B2 (ja) * 2015-08-07 2020-03-18 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
US9728229B2 (en) * 2015-09-24 2017-08-08 International Business Machines Corporation Searching video content to fit a script
JP6433928B2 (ja) * 2016-02-15 2018-12-05 株式会社東芝 検索装置、検索方法および検索システム
JP6922768B2 (ja) * 2018-02-02 2021-08-18 オムロン株式会社 情報処理装置
JP7176242B2 (ja) * 2018-06-15 2022-11-22 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
SG10201807678WA (en) * 2018-09-06 2020-04-29 Nec Asia Pacific Pte Ltd A method for identifying potential associates of at least one target person, and an identification device
JP7172472B2 (ja) * 2018-11-09 2022-11-16 富士通株式会社 ルール生成装置、ルール生成方法及びルール生成プログラム
KR102179591B1 (ko) * 2018-12-12 2020-11-17 인하대학교 산학협력단 동영상 내 인물 영역 추출 장치
JP7356244B2 (ja) * 2019-03-25 2023-10-04 グローリー株式会社 顔情報管理システム、顔情報管理方法、および、プログラム
CN111783507A (zh) * 2019-07-24 2020-10-16 北京京东尚科信息技术有限公司 目标搜索方法、装置及计算机可读存储介质
US11334752B2 (en) * 2019-11-19 2022-05-17 Netflix, Inc. Techniques for automatically extracting compelling portions of a media content item
JP7539685B2 (ja) 2020-04-01 2024-08-26 学校法人立命館 ストーリーの展開をユーザに提示する方法、ストーリー展開提示装置、そのコンピュータプログラム、ストーリーの展開を解析する方法、ストーリー展開解析装置、そのコンピュータプログラム
WO2024194936A1 (ja) * 2023-03-17 2024-09-26 マクセル株式会社 携帯情報端末及び仮想現実オブジェクトの表示方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100215586B1 (ko) * 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
DE69635101T2 (de) * 1995-11-01 2006-06-01 Canon K.K. Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät
US6853389B1 (en) * 1999-04-26 2005-02-08 Canon Kabushiki Kaisha Information searching apparatus, information searching method, and storage medium
US7130466B2 (en) * 2000-12-21 2006-10-31 Cobion Ag System and method for compiling images from a database and comparing the compiled images with known images
JP3790680B2 (ja) * 2001-05-25 2006-06-28 株式会社東芝 画像処理システム及びこれを用いた運転支援システム
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
US7283654B2 (en) * 2004-08-26 2007-10-16 Lumeniq, Inc. Dynamic contrast visualization (DCV)
WO2007049381A1 (ja) * 2005-10-27 2007-05-03 Mitsubishi Electric Corporation 映像要約装置
JP2007206919A (ja) * 2006-02-01 2007-08-16 Sony Corp 表示制御装置および方法、プログラム、並びに記録媒体
JP4388939B2 (ja) * 2006-09-25 2009-12-24 富士フイルム株式会社 画像再生装置ならびにその制御方法およびその制御プログラム
JP2008085632A (ja) * 2006-09-27 2008-04-10 Toshiba Corp カメラ装置およびカメラ装置におけるタイトル編集方法
JP4456617B2 (ja) * 2007-04-16 2010-04-28 富士通株式会社 類似分析装置、画像表示装置、および画像表示プログラム
CN101939980B (zh) * 2008-02-06 2012-08-08 松下电器产业株式会社 电子摄像机和图像处理方法
JP4475547B2 (ja) * 2008-07-29 2010-06-09 パナソニック株式会社 画像検索装置、画像検索方法及び画像推定装置
IL197996A (en) * 2009-04-05 2014-07-31 Rafael Advanced Defense Sys A method for locating people
US8428354B2 (en) * 2009-06-23 2013-04-23 Los Alamos National Security, Llc Image segmentation by hierarchial agglomeration of polygons using ecological statistics
CN102439630B (zh) * 2010-02-10 2015-05-20 松下电器(美国)知识产权公司 图像评价装置、图像评价方法、程序、集成电路
JP2011223287A (ja) * 2010-04-09 2011-11-04 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
US8705813B2 (en) * 2010-06-21 2014-04-22 Canon Kabushiki Kaisha Identification device, identification method, and storage medium
JP5753966B2 (ja) * 2010-08-05 2015-07-22 パナソニックIpマネジメント株式会社 顔画像登録装置および方法
US8885944B2 (en) * 2011-02-17 2014-11-11 Panasonic Intellectual Property Corporation Of America Image evaluation device, image evaluation method, program, integrated circuit
JP5703898B2 (ja) * 2011-03-30 2015-04-22 富士通株式会社 帳票管理システム、帳票画像管理方法、及びプログラム
JP5751898B2 (ja) * 2011-04-05 2015-07-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム及び記憶媒体
JP5693369B2 (ja) * 2011-05-13 2015-04-01 キヤノン株式会社 情報処理装置、その制御方法及びコンピュータプログラム
JP5791364B2 (ja) * 2011-05-16 2015-10-07 キヤノン株式会社 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体
US20140198234A1 (en) * 2011-09-21 2014-07-17 Nikon Corporation Image processing apparatus, program, image processing method, and imaging apparatus
JP5939705B2 (ja) * 2012-02-08 2016-06-22 カシオ計算機株式会社 被写体判定装置、被写体判定方法及びプログラム
JP6026119B2 (ja) * 2012-03-19 2016-11-16 株式会社東芝 生体情報処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665515A (zh) * 2017-03-28 2018-10-16 卡西欧计算机株式会社 图像处理装置、图像处理方法以及存储介质
US12033666B2 (en) 2021-06-30 2024-07-09 Samsung Electronics Co., Ltd. Method and electronic device for a slow motion video

Also Published As

Publication number Publication date
JP2014139734A (ja) 2014-07-31
US20140205158A1 (en) 2014-07-24
US9361511B2 (en) 2016-06-07

Similar Documents

Publication Publication Date Title
CN104050208A (zh) 信息处理装置、信息处理方法和程序
JP6873321B2 (ja) 自動コンテンツ認識のための広告フレームのフラッギング
CN108024145A (zh) 视频推荐方法、装置、计算机设备和存储介质
US8345742B2 (en) Method of processing moving picture and apparatus thereof
CN108712665A (zh) 一种直播列表的生成方法、装置、服务器及存储介质
KR20140023596A (ko) 이미지 분석에 의한 이미지 자동 편집 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US11818428B2 (en) Identifying viewing characteristics of an audience of a content channel
CN110046263B (zh) 多媒体推荐方法、装置、服务器及存储介质
JP6678167B2 (ja) 記憶デバイスに記憶されたデータに関連付けられたメディア情報を特定する方法及び装置
CN114565768A (zh) 图像分割方法及装置
CN104573132A (zh) 歌曲查找方法及装置
CN116600156A (zh) 视频内容推荐方法、装置、计算机设备和存储介质
US20110304779A1 (en) Electronic Apparatus and Image Processing Method
JP2003069946A (ja) 映像解析装置,映像解析方法,映像解析プログラムおよびそのプログラム記録媒体
CN113536026B (zh) 音频搜索方法、装置及设备
JP5213164B2 (ja) 画像評価装置
KR101805349B1 (ko) 편집 콘텐츠 제공 방법 및 장치
KR20160145132A (ko) 카툰 검색 방법 및 장치
JP2020119368A (ja) 映像情報管理システムおよび映像情報管理方法
US10504559B2 (en) Recorded data processing method and recorded data processing device
US10225459B2 (en) Image reproducing apparatus that selects image from multiple images and reproduces same, method of controlling image reproducing apparatus, and storage medium
KR20090125527A (ko) 동영상 처리 방법 및 그 장치
US10572217B2 (en) Content playback apparatus and control method thereof
JP5149616B2 (ja) ファイル管理装置、ファイル管理方法およびファイル管理プログラム
CN114550025A (zh) 生成模型的评估方法、设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140917