CN117178285A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN117178285A
CN117178285A CN202280029439.XA CN202280029439A CN117178285A CN 117178285 A CN117178285 A CN 117178285A CN 202280029439 A CN202280029439 A CN 202280029439A CN 117178285 A CN117178285 A CN 117178285A
Authority
CN
China
Prior art keywords
information
video
scene
clip
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280029439.XA
Other languages
English (en)
Inventor
山下裕也
田中和政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN117178285A publication Critical patent/CN117178285A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H04N21/44226—Monitoring of user activity on external systems, e.g. Internet browsing on social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供了一种信息处理装置，包括指定单元，其基于关于事件中出现的场景的场景相关信息指定用于生成摘要视频的辅助信息。

Description

信息处理装置、信息处理方法和程序
技术领域
本技术涉及用于生成摘要视频的信息处理装置、信息处理方法和程序的技术领域。
背景技术
期望基于观看视频内容的用户的兴趣或关注来创建视频内容。
例如，下面的专利文献1公开了一种系统，该系统根据在社交网络服务(SNS)上发布的信息生成电视内容以包括具有观看者的高兴趣度的内容。
引文列表
专利文献
专利文献1：日本专利申请公开号2017-107404
发明内容
本发明要解决的问题
然而，难以从由SNS等获得的信息中掌握观看者感兴趣/关注哪个特定场景，并且存在不能生成适当的视频内容的情况。
本技术是鉴于这样的问题而完成的，其一个目的在于提供反映了观看者的兴趣/关注的视频内容。
针对问题的解决方案
根据本技术的信息处理装置包括指定单元，其基于关于事件中出现的场景的场景相关信息指定用于生成摘要视频的辅助信息。
例如，事件是诸如体育比赛或音乐会之类的聚会。此外，辅助信息是例如用于生成摘要视频的信息，并且是用于确定从所拍摄的视频中切出视频的哪个部分的信息。例如，在体育比赛的情况下，具体地，诸如选手姓名、场景类型和比赛类型之类的信息被用作辅助信息。
附图说明
图1是示出包括信息处理装置的系统配置示例的图。
图2是示出视频生成单元的功能配置的图。
图3是示出由每个成像设备拍摄的视频的示例的图。
图4是与图5～图7中的每一个一起示出的第一处理流程的图，图4是示出发布数据提取单元执行的处理的示例的流程图。
图5是示出第一处理流程中的元数据提取单元所执行的处理的示例的流程图。
图6是示出第一处理流程中的视频分析单元所执行的处理的示例的流程图。
图7是示出第一处理流程中的视频生成单元所执行的处理的示例的流程图。
图8是与图9～图11中的每一个一起示出的第二处理流程的图，图8是示出发布数据提取单元执行的处理的示例的流程图。
图9是示出第二处理流程中的元数据提取单元所执行的处理的示例的流程图。
图10是示出第二处理流程中的视频分析单元所执行的处理的示例的流程图。
图11是示出第二处理流程中的视频生成单元所执行的处理的示例的流程图。
图12是示出生成剪辑集合的处理的示例的流程图。
图13是示出生成剪辑视频和剪辑集合的处理的示例的流程图。
图14是示出赋予给成像设备的视频的得分的示例的示例。
图15是示出组合剪辑视频以生成目标场景的剪辑集合的处理的示例的流程图。
图16是示出生成剪辑视频和剪辑集合的处理的示例的流程图。
图17是示出生成剪辑视频和剪辑集合的处理的另一示例的流程图。
图18是计算机设备的框图。
具体实施方式
在下文中，将参考附图以下面的顺序描述根据本技术的信息处理装置的实施例。
<1.系统配置>
<2.处理流程>
<2-1.第一处理流程>
<2-2.第二处理流程>
<2-3.第三处理流程>
<2-4.生成剪辑集合的处理的流程>
<3.得分>
<3-1.得分方法>
<3-2.使用得分的视频选择中的处理流程>
<4.修改>
<5.计算机设备>
<6.总结>
<7.本技术>
<1.系统配置>
将参考图1描述本实施例的系统配置示例。
本实施例的信息处理装置1是生成关于诸如体育比赛、音乐会或舞台之类的聚会的摘要视频DV的装置。将所生成的摘要视频DV分发给观看者。
注意，在以下描述中，将描述体育比赛作为聚会的示例。特别地，将描述生成美式足球比赛的摘要视频DV的信息处理装置1。
摘要视频DV是收集了用于理解比赛的流程的重要场景的视频。此外，摘要视频DV可以被理解为精彩视频。
信息处理装置1包括发布数据提取单元2、元数据提取单元3、视频分析单元4和视频生成单元5。
发布数据提取单元2进行从在社交网络服务(SNS)中发布的文章、散列标签、视频等中提取关键字的处理。因此，信息处理装置1被配置为能够经由通信网络NW与SNS服务器100通信。
由发布数据提取单元2提取的关键字例如是参加比赛的选手的选手姓名、其队服号码、管理者或裁判员的姓名等。这些信息是能够识别人的信息。选手姓名不仅包括名和姓，而且包括昵称。
此外，发布数据提取单元2提取的关键字可以是表示游戏内容的场景类别的信息。具体地，该信息包括关于诸如持球触地(touch down)或场地进球(field goal)之类的得分场景的类型信息，以及关于诸如越位或拉人犯规(holding)之类的各种犯规的类型信息。或者，表示比通常更好的游戏的信息或表示失败的游戏的信息可以是诸如超级游戏或错误之类的类型。
由发布数据提取单元2提取的信息是用作生成摘要视频DV的指标的信息。特别地，在SNS上发布的信息是用于根据观看者的兴趣/关注产生摘要视频DV的信息。
由发布数据提取单元2提取的信息是关于事件中的特定场景的信息，并且被描述为“场景相关信息”。
元数据提取单元3执行提取包括指示比赛的进度等的信息的元数据的处理。元数据可以是例如由经营比赛的公司独立分发的信息、由在观看比赛时记录诸如游戏的进度之类的各种类型的信息的记录人员(记分员)输入的信息、或者从处理关于体育的信息的公司分发的数据。或者，该信息可以是上传到网络上的关于比赛进度的信息。
作为元数据的示例，元数据是其中诸如在比赛期间发生的持球触地、场地进球、犯规、选手的改变或选手的退出之类的场景类型信息、场景的出现时间、与场景相关的选手信息和诸如伴随场景的出现的得分的改变之类的信息相关联的信息。
元数据可以在每次比赛中出现特定场景时被分发，或者可以在比赛结束之后被集体地分发。
元数据提取单元3是关于事件中的特定场景的信息，并且也被称为“场景相关信息”。
信息处理装置1被配置为能够经由通信网络NW与元数据服务器200通信，以便元数据提取单元3可以执行元数据提取处理。
视频分析单元4进行从布置在比赛场所中的多个成像设备CA接收视频的处理，并对所接收的视频进行图像分析处理。
此外，视频分析单元4执行获取作为广播视频的广播视频VA的处理，并且对广播视频VA执行图像分析处理。
注意，尽管图1示出第一成像设备CA1、第二成像设备CA2和第三成像设备CA3作为成像设备CA的示例，但这是示例，并且在比赛场所中可以仅安装一个成像设备CA，或者可以在比赛场所中安装四个或更多个成像设备CA。
此外，从第一成像设备CA1获得的视频称为第一视频V1，从第二成像设备CA2获得的视频称为第二视频V2，从第三成像设备CA3获得的第三视频称为V3。
使各成像设备CA同步，并且通过参照时间码，能够识别在同一定时拍摄的各图像。
视频分析单元4通过图像分析处理获得每次成像的被摄体的信息。被摄体的信息的示例包括被摄体的名称，诸如选手姓名、队服编号信息、成像角度和被摄体的姿势。此外，可以基于面部特征、发型、头发颜色、表情等来指定被摄体。
视频分析单元4通过图像分析处理获得指定场景的场景类型的信息。场景类型信息是例如指示所成像的场景是得分场景、犯规场景、选手更换的场景还是受伤场景的信息。场景类型可以通过被摄体的上述姿势检测来指定。例如，可以通过检测裁判的姿势来估计裁判的裁判内容，并且可以指定场景类型，或者可以通过检测选手的凝视姿势来检测得分场景。
视频分析单元4通过图像分析处理指定入点和出点。入点和出点是用于指定由成像设备CA拍摄的视频的切出范围的信息。在以下的说明中，将通过一组入点和出点切出的预定范围的视频描述为“剪辑视频CV”。
例如，通过由图像分析处理指定检测对象的游戏发生的时刻并使用所指定的时刻作为基点，可以确定入点和出点。
此外，在基于广播视频VA检测入点和出点的情况下，可以通过检测视频切换定时来检测入点和出点。即，视频分析单元4可以通过对广播视频VA执行图像分析处理并检测成像设备CA的切换点来指定入点和出点。
视频分析单元4将通过图像分析处理获得的信息赋予视频。例如，将选手A和选手B在第一视频V1中的某个时间区中被成像的事实和该时间区具有持球触地场景的事实彼此关联地存储。
因此，例如，在期望通过使用对特定选手成像的场景来创建摘要视频DV的情况下，可以容易地指定对特定选手成像的时间区。
视频分析单元4通过对广播视频VA执行图像分析处理来指定比赛的进程。
广播视频VA是通过使用第一视频V1、第二视频V2和第三视频V3作为素材连接特定部分视频(剪辑视频CV)并且叠加诸如得分信息和选手姓名信息之类的各种类型的信息而生成的。
在图像分析处理中，通过识别叠加在视频上的字幕、三维图像等，指定得分的转变、选手改变、在图像中拍摄的选手的选手姓名、比赛中经过的时间等。
此外，视频分析单元4可以通过执行图像分析处理来向每个视频赋予得分。该得分可以被计算为在指定了被成像的被摄体的情况下的可能性，或者可以被计算为指示视频是否适合作为要呈现给观看者的视频的指标。
注意，在图1中，示出了视频分析单元4从成像设备CA获取视频的配置，但是视频分析单元4也可以从存储成像设备CA所拍摄的视频的存储设备获取视频。
视频生成单元5通过使用第一视频V1、第二视频V2、第三视频V3进行摘要视频DV的生成处理。
为此，视频生成单元5包括指定单元10、剪辑集合生成单元11和摘要视频生成单元12(见图2)。
指定单元10进行指定用于生成摘要视频DV的辅助信息SD的处理。这里，将描述摘要视频DV的生成流程的示例。
假设得分场景出现在某一体育比赛中。在这种情况下，生成用于得分场景的剪辑集合CS。剪辑集合CS是通过组合多个剪辑视频CV获得的，并且例如，通过从由第一成像设备CA1成像的第一视频V1中切出对得分场景成像的时间区获得的剪辑视频CV、通过从由第二成像设备CA2成像的第二视频V2中切出对得分场景成像的时间区获得的剪辑视频CV、以及通过从由第三成像设备CA3成像的第三视频V3中切出对得分场景成像的时间区获得的剪辑视频CV被组合以生成用于得分场景的剪辑集合CS。
例如，通过得分场景的数量、犯规场景的数量或选手改变的场景的数量来生成这样的剪辑集合CS。
摘要视频DV是通过从以这种方式生成的多个剪辑集合CS中选择并组合要呈现给观看者的剪辑集合CS而生成的。
例如，辅助信息SD用于选择要包括在剪辑集合CS中的剪辑视频CV。辅助信息SD是当从多个剪辑集合CS中选择包括在摘要视频DV中的剪辑集合CS时使用的关键字。在SNS上频繁发布某选手的名字的情况下，可以确定观看者对该选手的关注度高。在这种情况下，与选手相关的得分场景、犯规场景等被选择并被结合到摘要视频DV中。
注意，不仅可以使用上述选手姓名和昵称，还可以使用能够识别选手的信息，例如，可以使用诸如位置名和裁判员之类的关键字。
或者，辅助信息SD可以是作为场景类型信息的关键字。例如，在SNS上存在许多关于犯规场景的帖子的情况下，可以确定观看者对犯规场景的关注度高。在这种情况下，犯规场景的剪辑集合CS被选择并被结合到摘要视频DV中。
注意，辅助信息SD可以是诸如得分场景或犯规场景之类的类型信息，或者可以是比上述更精细的指示诸如场地进球场景、持球触地场景或特定犯规名称之类的类型信息的关键字。
此外，辅助信息SD可以指示包括在剪辑集合CS中的剪辑视频CV的组合顺序。
通过基于辅助信息SD生成剪辑集合CS，例如，如图3所示，在第一视频V1是从场地侧以鸟瞰视角拍摄的广角视频、第二视频V2是在持球的选手附近拍摄的远摄视频、并且第三视频V3是从球门柱侧拍摄的视频的情况下，可以以适当的顺序组合从每个视频切出的剪辑视频CV。
注意，指示组合顺序的辅助信息SD可以根据场景类型而不同。例如，得分场景可以从广角视频开始，并且犯规场景可以从远摄视频开始。
另外，辅助信息SD可以是指示是否广播视频的信息。存在观看者已经观看了比赛的广播视频VA的可能性。
即使使这样的观看者观看相同的视频，也未向观看者提供有意义的信息。因此，可以想到生成摘要视频DV以包括从观看者未观看的角度拍摄的视频。在这种情况下，使用表示视频是否是广播视频的辅助信息SD来选择剪辑集合CS或剪辑视频CV。
剪辑集合生成单元11基于辅助信息SD生成剪辑视频CV。具体地，通过将诸如选手姓名之类的指定辅助信息SD提供给视频分析单元4，使得视频分析单元4确定对选手成像的视频的入点和出点，并生成剪辑视频CV。
剪辑集合生成单元11组合剪辑视频CV以生成剪辑集合CS。剪辑视频CV的组合顺序可以基于辅助信息SD或者可以是预定顺序。
也就是说，剪辑集合生成单元11通过使用视频分析单元4的图像分析处理的分析结果和辅助信息SD来生成剪辑集合CS。
注意，当组合两个剪辑视频CV时，剪辑集合生成单元11可以在剪辑视频CV之间插入表示切换了视频的图像。
摘要视频生成单元12组合由剪辑集合生成单元11生成的剪辑集合CS以生成摘要视频DV。
例如，沿着每个场景的出现时间来确定剪辑集合CS的组合顺序。可以在剪辑集合CS之间插入表示视频被切换的图像等。
所生成的摘要视频DV可以被发布在SNS上或者被上传到网页上。
<2.处理流程>
将描述由信息处理装置1执行的处理的一些示例。
<2-1.第一处理流程>
图4～图7分别示出了第一处理流程的例子。具体地说，图4示出了信息处理装置1的发布数据提取单元2执行的处理流程的例子，图5示出了元数据提取单元3执行的处理流程的例子，图6示出了视频分析单元4执行的处理流程的例子，图7示出了视频生成单元5执行的处理流程的例子。
在图4的步骤S101中，发布数据提取单元2分析SNS的发布数据。通过该分析处理，提取出现频率高的关键字或关注度高的关键字。这些关键字是例如上述的选手姓名和场景类型。
接着，在步骤S102中，发布数据提取单元2确定所提取的关键字是否与目标事件相关。具体而言，确定所提取的姓名的人物是否作为参加为其生成摘要视频DV的比赛的团队的成员而存在，或者所提取的关键字是否与目标比赛相关。
在确定所提取的关键字与目标事件相关的情况下，在步骤S103中，发布数据提取单元2执行将所提取的关键字输出到元数据提取单元3的处理。
另一方面，在确定关键字不与目标事件相关的情况下，在步骤S104中，在不进行步骤S103的处理的情况下，发布数据提取单元2确定事件是否已结束。
在确定事件尚未结束的情况下，发布数据提取单元2返回到步骤S101的处理以继续关键字的提取。
另一方面，发布数据提取单元2在确定事件已结束的情况下，结束图4所示的一系列的处理。
注意，图4和以下附图是与事件的进展并行地生成用于生成摘要视频DV的剪辑集合CS的示例，因此，执行在步骤S104中确定事件是否已经结束的处理。
另一方面，在事件结束后生成剪辑集合CS和摘要视频DV的情况下，取代步骤S104的确定处理，仅需要执行确定是否对在事件已被举办的时间区中在SNS上发布的所有发布数据已经完成了关键字等的提取的处理。
当发布数据提取单元2执行图4所示的一系列处理时，从诸如体育比赛之类的事件开始到事件结束，从SNS上所发布的发布数据中持续地提取关键字，并将其适当地输出到元数据提取单元3。
与发布数据提取单元2执行图4所示的处理并行地，元数据提取单元3执行图5所示的一系列处理。
具体地，在步骤S201中，元数据提取单元3分析从元数据服务器200获取的元数据，并提取用于指定事件中出现的场景的信息。例如，在美式足球比赛的情况下，提取与作为场景类型之一的持球触地相对应的场景出现的时间、通过持球触地获得得分的选手的姓名、关于通过持球触地的得分的变化的信息等。
随后，在步骤S202中，元数据提取单元3确定是否已经从发布数据提取单元2获得了从SNS的帖子中提取的关键字。
在没有获得关键字信息的情况下，元数据提取单元3返回到步骤S201的处理。
在获得关键字信息的情况下，元数据提取单元3指定与在步骤S203中获取的关键字相关的元数据。
随后，在步骤S204中，元数据提取单元3将指定的元数据输出到视频分析单元4。
然后，在步骤S205中，元数据提取单元3确定事件是否已经结束。
在确定事件没有结束的情况下，元数据提取单元3返回到步骤S201的处理以执行分析元数据的处理。
另一方面，在确定事件已经结束的情况下，元数据提取单元3结束图5中所示的一系列处理。
当元数据提取单元3执行图5所示的一系列处理时，从诸如体育比赛之类的事件开始到事件结束持续地执行对作为外部信息处理装置的元数据服务器200中累积的元数据的分析处理，并且提取在比赛期间出现的每个场景的信息。
与发布数据提取单元2执行图4所示的处理、元数据提取单元3执行图5所示的处理并行地，视频分析单元4执行图6所示的一系列处理。
在步骤S301中，视频分析单元4通过对诸如第一视频V1、第二视频V2、第三视频V3和广播视频VA之类的多个视频执行图像识别处理来执行视频分析，并且识别在视频中拍摄的队服编号、选手的面部、球等。此外，视频分析单元4还可以指定相机角度，或者可以指定用于生成剪辑视频CV的入点和出点。
在面部识别处理中，可以计算指示识别结果的似然性的似然性信息。似然性信息用于后续阶段的视频生成单元5中的视频选择处理。
通过图像识别处理指定的信息与时间信息相关联地存储，所述时间信息诸如比赛经过时间和从多个视频中的每一个的记录开始起经过的时间。
在步骤S302中，视频分析单元4确定事件是否已经结束。
在确定事件没有结束的情况下，视频分析单元4返回到步骤S301的处理以继续视频分析处理。
另一方面，在确定事件已经结束的情况下，视频分析单元4结束图6中所示的一系列处理。
通过视频分析单元4执行图6所示的一系列处理，针对从诸如体育比赛之类的事件开始到事件结束所拍摄的视频，提取各种类型的信息。
视频生成单元5根据发布数据提取单元2、元数据提取单元3和视频分析单元4的处理结果生成摘要视频DV。
具体地，在图7的步骤S401中，视频生成单元5确定是否已经获取了关键字或元数据。
在从发布数据提取单元2获取发布在SNS上的关键字的情况下或者从元数据提取单元3获取关于元数据的信息的情况下，视频生成单元5进行到步骤S402，并且基于关键字或元数据执行生成目标场景的剪辑视频CV的处理。该处理基于由视频分析单元4针对目标场景指定的入点和出点来生成剪辑视频CV。
在生成剪辑视频CV之后，在步骤S403中，视频生成单元5通过组合剪辑视频CV来生成目标场景的剪辑集合CS。例如，可以通过以预定顺序组合第一视频V1、第二视频V2和第三视频V3来生成剪辑视频CV。
或者，可以准备模板，使得根据场景类型以预定相机角度的顺序组合视频，并且通过基于每个成像设备CA的相机角度的信息将每个剪辑视频CV应用于模板，可以以最佳的顺序组合剪辑视频CV。
在生成了剪辑视频CV之后，视频生成单元5返回到步骤S401的处理。
在步骤S401的确定处理中确定没有获取关键字或元数据的情况下，视频生成单元5进行到步骤S404，并且确定事件是否已经结束。
在确定事件还没有结束的情况下，视频生成单元5返回到步骤S401以继续生成剪辑视频CV和剪辑集合CS。
另一方面，在确定事件已经结束的情况下，视频生成单元5进行到步骤S405，并且组合剪辑集合CS以生成摘要视频DV。
摘要视频DV基本上是通过按时间顺序组合在比赛期间出现的每个场景的剪辑集合CS而生成的。
注意，在摘要视频DV的再现时间长度有限的情况下，在从剪辑集合CS中执行选择的同时生成摘要视频DV，从而包括具有高优先级的剪辑集合CS。
具有高优先级的剪辑集合CS是与任何团队得分的场景相对应的剪辑集合CS、与根据SNS的发布数据估计的观看者高度关注的场景相对应的剪辑集合CS等。
注意，在选择剪辑集合CS时，可以使用在比赛结束之后的预定时间段(10分钟、30分钟等)期间发布的发布数据。例如，估计在比赛结束之后的预定时间段期间发布的发布数据包括总结比赛的帖子、涉及期望在比赛中再次看到的场景的帖子等。
通过基于这样的发布数据选择剪辑集合CS，可以生成其中观看者具有高兴趣度/关注的摘要视频DV。
在生成摘要视频DV之后，在步骤S406中，视频生成单元5执行存储摘要视频DV的处理。摘要视频DV被存储的位置可以是信息处理装置1内部的存储单元，或者可以是不同于信息处理装置1的服务器设备的存储单元。
<2-2.第二处理流程>
图8到11的每一个中示出了第二处理流程的示例。注意，与第一处理流程中描述的处理类似的处理由相同的步骤编号表示，并且将适当地省略其描述。
在图8的步骤S101中，发布数据提取单元2分析SNS的发布数据。通过该分析处理，提取诸如选手姓名或场景类型之类的具有高出现频率的关键字或具有高关注度的关键字。
接着，在步骤S102中，发布数据提取单元2确定所提取的关键字是否与目标事件相关。
在确定提取的关键字与目标事件相关的情况下，在步骤S110中，发布数据提取单元2执行对提取的关键字进行分类的处理。
例如，所提取的关键字被分类为与诸如选手、裁判或经理之类的人有关的关键字、与诸如场地进球或持球触地之类的得分场景有关的关键字、以及与诸如越位或持球之类的犯规场景有关的关键字中的任何一个。
注意，这里描述的三个分类仅仅是示例，并且关键字可以被分类成其他类别。
在对关键字进行分类之后，在步骤S111中，发布数据提取单元2将分类结果输出到元数据提取单元3。
另一方面，在确定发布数据与目标事件不相关的情况下，或者在执行了步骤S111之后，在不进行步骤S110以及步骤S111的每个处理的情况下，在步骤S104中，发布数据提取单元2确定事件是否结束。
在确定事件尚未结束的情况下，发布数据提取单元2返回到步骤S101的处理以继续关键字的提取。
另一方面，在确定事件结束的情况下，发布数据提取单元2结束图8所示的一系列的处理。
与发布数据提取单元2执行图8所示的处理并行地，元数据提取单元3执行图9所示的一系列处理。
在图9的步骤S210中，元数据提取单元3确定是否已经获取关键字分类结果。
在确定已经获取分类结果的情况下，在步骤S211中，元数据提取单元3执行与分类结果相对应的分支处理。
例如，在所提取的关键字与人有关的情况下，在步骤S212中，元数据提取单元3指定包括与关键字有关的人的元数据。
可选地，在所提取的关键字与得分场景相关的情况下，在步骤S213中，元数据提取单元3指定关于得分场景的元数据。
此外，在所提取的关键字与犯规场景相关的情况下，在步骤S214中，元数据提取单元3指定关于犯规场景的元数据。
在执行步骤S212、S213和S214中的任何一个之后，元数据提取单元3进行到步骤S204，并且将指定的元数据和上述分类结果输出到视频分析单元4。
然后，在步骤S205中，元数据提取单元3确定事件是否已经结束。
在确定事件没有结束的情况下，元数据提取单元3返回到步骤S210的处理以执行分类结果的获取确定。
另一方面，在确定事件已经结束的情况下，元数据提取单元3结束图9中所示的一系列处理。
与发布数据提取单元2进行的图8所示的处理和元数据提取单元3进行的图9所示的处理并行地，视频分析单元4执行图10所示的一系列处理。
在步骤S310中，视频分析单元4确定是否已经从元数据提取单元3获取了元数据或分类结果。
在确定没有获取元数据的情况下，视频分析单元4再次执行步骤S310的处理。
另一方面，在确定获取了元数据的情况下，视频分析单元4进行到步骤S311，并且执行与分类结果相对应的分支处理。
例如，在元数据与人物相关的情况下，在步骤S312中，视频分析单元4通过图像识别处理执行队服编号识别和面部识别，以指定对所指定的人物进行成像的时间区。
可选地，在元数据与得分场景相关的情况下，在步骤S313中，视频分析单元4通过图像识别处理执行得分板识别，以便指定得分场景。
在通过图像识别处理的得分板识别中，例如，可以执行检测对安装在场地中的得分板成像的地点并提取得分板的得分的处理，或者可以通过分析广播视频VA以识别叠加在拍摄图像上的字幕、图形等来检测两队的得分的变化。
注意，由于元数据示出了出现得分场景的时间，因此仅需要对指定时间周围的预定范围内的视频执行图像识别处理，而不是对整个拍摄视频执行图像识别处理。因此，可以减少根据图像识别处理的处理负荷，并缩短处理时间。
此外，在提取的关键字与犯规场景相关的情况下，在步骤S314中，视频分析单元4通过图像识别处理检测犯规显示，以便指定犯规场景。
作为指定犯规场景的图像识别处理，例如，既可以通过识别被投入到现场的黄色标志来指定犯规场景的出现定时，也可以通过分析广播视频VA来识别叠加在摄像图像上的字幕、图形等，来指定犯规场景。
此外，在足球的情况下，通过检测裁判员的姿势，可以将裁判员将黄牌或红牌对着目标选手举起的场景指定为犯规场景。
同样在步骤S314的图像分析处理中，类似于步骤S313，仅需要基于元数据对预定部分的视频执行处理。
在执行步骤S312、S313和S314中的任何一个之后，视频分析单元4进入步骤S315，并且通过图像分析处理指定相机角度。
在此指定的相机角度的信息被用于在后续阶段中生成剪辑集合CS的处理中。
随后，在步骤S316中，视频分析单元4执行用于指定入点和出点的图像分析处理。
注意，可以基于场景出现定时来确定入点和出点。例如，在场景出现定时之前的十五秒可以被设置为入点，并且在入点之后的二十秒可以被设置为出点。
在步骤S302中，视频分析单元4确定事件是否已经结束。
在确定事件没有结束的情况下，视频分析单元4返回到步骤S310的处理。
另一方面，在确定事件已经结束的情况下，视频分析单元4结束图10中所示的一系列处理。
视频生成单元5根据发布数据提取单元2、元数据提取单元3和视频分析单元4的处理结果生成摘要视频DV。
具体地，在图11的步骤S410中，视频生成单元5确定是否检测到已指定了入点和出点。
在检测到已指定了入点和出点的情况下，视频生成单元5进入步骤S411，并基于入点和出点执行生成剪辑视频CV的处理。
在生成剪辑视频CV之后，在步骤S403中，视频生成单元5通过组合剪辑视频CV来生成目标场景的剪辑集合CS。
在生成了剪辑视频CV之后，视频生成单元5返回到步骤S410的处理。
在步骤S410的确定处理中确定没有指定入点和出点的情况下，视频生成单元5前进到步骤S404，并确定事件是否已经结束。
在确定事件还没有结束的情况下，视频生成单元5返回到步骤S410。
另一方面，在确定事件已经结束的情况下，视频生成单元5进行到步骤S405，并且通过组合剪辑集合CS来生成摘要视频DV，并且在随后的步骤S406中，执行存储摘要视频DV的处理。
<2-3.第三处理流程>
第三处理流程是在不使用元数据而生成摘要视频DV的情况下的示例。
将参考图8、10和11中的每一个给出具体描述。
发布数据提取单元2执行图8所示的一系列处理，以提取与事件相关的关键字并进行分类。在步骤S111中，分类结果被输出到视频分析单元4。
元数据提取单元3不需要分析元数据，因此不执行处理。
在图10的步骤S310中，视频分析单元4确定是否获取了关键字的分类结果，而不是确定是否已经获取了元数据。
然后，根据关键字分类结果适当地执行步骤S311至S316的每个处理。
视频生成单元5通过执行图11中所示的一系列处理来生成摘要视频DV。
如上所述，可以仅使用SNS上的发布数据而不使用元数据来生成对观看者有吸引力的摘要视频DV。
<2-4.生成剪辑集合的处理的流程>
将描述图7和图11的步骤S403中描述的生成剪辑集合CS的处理的具体流程。
第一示例是其中对每种类型的场景使用不同模板的示例。
在图12的步骤S501中，视频生成单元5执行与目标场景的场景类型相对应的分支处理。目标场景的类型可以根据关键字来估计，或者可以基于元数据确定。
在场景类型是持球触地场景的情况下，在步骤S502中，视频生成单元5选择用于持球触地场景的模板。
如上所述，模板是定义以什么顺序组合什么相机角度的视频的信息。
在场景类型是场地进球场景的情况下，在步骤S503中，视频生成单元5选择场地进球场景的模板。
在场景类型是犯规场景的情况下，在步骤S504中，视频生成单元5选择犯规场景的模板。
在步骤S502、S503或S504中选择了任何模板之后，在步骤S505中，视频生成单元5通过使用所选择的模板来执行生成剪辑集合CS的处理。
此外，在步骤S501中确定场景类型不对应于任何场景的情况下，在步骤S506中，视频生成单元5采用广播视频VA中的目标区间作为剪辑集合CS。
例如，可以基于向SNS的发布时间来确定目标区间，或者可以基于元数据中的场景出现时间来确定目标区间。
在执行步骤S505或S506的处理之后，视频生成单元5结束生成剪辑集合CS的处理。
在另一示例中，不仅针对剪辑集合CS的生成而且针对剪辑视频CV的生成的入点和出点的确定是与目标场景的场景类型相对应地执行的。
具体来说，代替图7的步骤S402和步骤S403而执行处理，代替图11的步骤S411和步骤S403而执行处理。将该处理作为步骤S421(参照图13)进行说明。
在步骤S501中，视频生成单元5执行与目标场景的场景类型相对应的分支处理。
在场景类型是持球触地场景的情况下，在步骤S510中，视频生成单元5确定持球触地场景的入点和出点，并生成剪辑视频CV。此时，可以确定入点和出点，例如使得剪辑视频CV具有最佳长度。
接下来，在步骤S502中，视频生成单元5选择用于持球触地场景的模板。
此外，在场景类型是场地进球场景的情况下，在步骤S511中，视频生成单元5确定场地进球场景的入点和出点，并生成剪辑视频CV。
接下来，在步骤S503中，视频生成单元5选择场地进球场景的模板。
另外，在场景类型是犯规场景的情况下，在步骤S512中，视频生成单元5确定犯规场景的入点和出点，并生成剪辑视频CV。
接着，在步骤S504中，视频生成单元5选择犯规场景的模板。
在执行步骤S502、S503和S504中的任何一个之后，在步骤S505中，视频生成单元5通过使用所选择的模板来执行生成剪辑集合CS的处理。
此外，在步骤S501中确定场景类型不对应于任何场景的情况下，在步骤S506中，视频生成单元5采用广播视频VA中的目标区间作为剪辑集合CS。
例如，可以基于向SNS的发布时间来确定目标区间，或者可以基于元数据中的场景出现时间来确定目标区间。
在执行步骤S505或S506的处理之后，视频生成单元5结束生成剪辑集合CS的处理。
注意，在图12和13中，示出了一个实例，其中为犯规场景准备一个模板，但是可以根据犯规的类型准备不同的模板。此外，不仅可以为所示情况，而且可以为诸如受伤场景之类的其他场景类型准备模板。
<3.评分>
<3-1.评分方法>
在剪辑集合CS的再现时间长度有限的情况下，可能不能组合所有选择的剪辑视频CV。在这种情况下，可以执行向每个剪辑视频CV添加得分的评分处理，使得具有高得分的剪辑视频CV优先地被包括在剪辑集合CS中。
图14示出了作为针对被摄体的尺寸进行评分的结果而赋予每个成像设备CA的剪辑视频CV的得分和作为针对被摄体的取向进行评分的结果而赋予剪辑视频CV的得分的示例。注意，每个得分是0到1范围内的值，并且该值越大，得分越好。
第一视频V1是鸟瞰视频，并且以小尺寸对被摄体成像，使得被摄体的尺寸的得分是0.02。此外，同样关于被摄体的朝向，被摄体较小，使得难以理解朝向，并且不能清楚地区分被摄体的面部的部分，使得被摄体的朝向的得分为0.1。
第二视频V2是对持球的选手进行较大投影的远摄视频，并且针对被摄体的大小的得分为0.85。此外，被摄体的朝向相对于成像设备CA朝向前方，并且被摄体的面部的各部分被清晰地成像，因此针对被摄体的朝向的得分为0.9。
第三视频V3是通过对相对窄的区域成像获得的鸟瞰视频，并且被摄体的尺寸也不太大，使得针对被摄体尺寸的得分为0.1。此外，同样关于被摄体的朝向，被摄体较小，使得难以理解朝向，并且不能清楚地区分被摄体的面部的各部分，使得针对被摄体的朝向的得分为0.1。
第四视频V4是由第四成像设备CA4拍摄的视频。第四视频V4是其中被摄体被很大地成像的远摄视频，并且针对被摄体的尺寸的得分是0.92。然而，被摄体的取向不直接面对成像设备CA，因此针对被摄体取向的得分是0.1。
在对被摄体看起来较大的视频给予优先级的情况下，优先选择第四视频V4。
此外，在对通过对被摄体的正面进行成像而得到的视频赋予优先级的情况下，优先选择第二视频V2。
如上所述，通过参考取决于目的而变化的得分来选择剪辑视频CV，可以生成具有吸引力的剪辑集合CS和摘要视频DV。
注意，不仅可以针对每个剪辑视频CV计算得分，还可以针对包括多个剪辑视频CV的每个剪辑集合CS计算得分。
然后，在选择了包括在摘要视频DV中的剪辑集合CS的情况下，可以容易地包括其中对于每个剪辑集合CS通过评分赋予的得分高的剪辑集合CS。
此外，在剪辑视频CV的评分处理中，可以选择包括被赋予最高得分的拍摄图像的剪辑视频CV，或者可以基于每个拍摄图像的平均得分来选择剪辑视频CV。平均得分是例如针对包括在剪辑视频CV中的每个拍摄图像计算的得分的平均值。
<3-2.使用得分的视频选择中的处理流程>
将描述图7和图11的步骤S403中描述的生成剪辑集合CS的处理的具体处理过程。特别地，在本示例中，将描述通过使用得分来生成剪辑集合CS的示例。
注意，在图6的步骤S301或图10的步骤S316之后，由视频分析单元4执行得分处理。因此，在图15所示的一系列处理的执行阶段中，对每个剪辑视频CV赋予各种得分。
在图15的步骤S601中，视频生成单元5选择其得分等于或高于阈值的剪辑视频CV。因此，可以省略具有低得分并且对观看者没有吸引力的视频。
在步骤S602中，视频生成单元5通过按得分的顺序组合各剪辑视频CV来生成剪辑集合CS。
通过评分处理赋予的得分可以被认为是指示视频对于观看者而言容易看到并且适合于掌握场景中已经发生了什么的指标。
通过顺序地组合具有较高得分的剪辑视频CV以生成剪辑集合CS，观看了剪辑集合CS的观看者可以正确地理解场景中发生了什么。即，能够防止由于观看得分低的剪辑视频CV而导致观看者无法理解场景中发生的事件的状态。
将参考图16描述通过使用得分生成剪辑集合CS的处理的另一示例。
注意，本示例是生成剪辑视频CV和生成剪辑集合CS的处理，并且是代替图7中的步骤S402和S403执行的处理或者代替图11中的步骤S411和S403执行的处理。
与上述示例类似，将参考图16将该处理描述为步骤S421。注意，图16中所示的每个处理将被描述为由视频生成单元5执行，但是一些处理可以由视频分析单元4执行。
在步骤S501中，视频生成单元5执行与目标场景的场景类型相对应的分支处理。
在场景类型是持球触地场景的情况下，在步骤S610中，视频生成单元5选择对于持球触地场景最优的视频(成像设备CA)。可以选择多个视频。即，可以选择多个成像设备CA。
接下来，在步骤S502中，视频生成单元5选择用于持球触地场景的模板。
此外，在场景类型是场地进球场景的情况下，在步骤S611中，视频生成单元5选择对于场地进球场景最优的视频。
接下来，在步骤S503中，视频生成单元5选择场地进球场景的模板。
另外，在场景类别为犯规场景的情况下，在步骤S612中，视频生成单元5选择对犯规场景最佳的视频。
接着，在步骤S504中，视频生成单元5选择犯规场景的模板。
在执行步骤S502、S503和S504中的任何一个之后，在步骤S613中，视频生成单元5从目标场景被成像的区间中确定具有等于或高于阈值的得分的区间的入点和出点，并生成剪辑视频CV。对每个选择的视频执行该处理。
接下来，在步骤S505中，视频生成单元5通过使用所选择的模板来执行生成剪辑集合CS的处理。
此外，在步骤S501中确定场景类型不对应于任何场景的情况下，在步骤S506中，视频生成单元5采用广播视频VA中的目标区间作为剪辑集合CS。
例如，可以基于向SNS的发布时间来确定目标区间，或者可以基于元数据中的场景出现时间来确定目标区间。
在执行步骤S505或S506的处理之后，视频生成单元5结束生成剪辑集合CS的处理。
将参考图17描述通过使用得分生成剪辑集合CS的处理的又一示例。
注意，本示例是生成剪辑视频CV和生成剪辑集合CS的处理，并且是代替图7中的步骤S402和S403执行的处理或者代替图11中的步骤S411和S403执行的处理。
在图17的步骤S601中，视频生成单元5选择其得分等于或高于阈值的剪辑视频CV。因此，可以排除具有低得分并且对观看者没有吸引力的视频。
在步骤S613中，视频生成单元5从所选择的剪辑视频CV中切出得分等于或高于阈值的区间，并且重新生成该区间作为剪辑视频CV。
具体地说，确定具有高于阈值的得分的区间的入点和出点，以生成剪辑视频CV。对每个选择的视频执行该处理。
在步骤S602中，视频生成单元5通过按得分的顺序组合各剪辑视频CV来生成剪辑集合CS。
因此，从得分高的剪辑视频CV中进一步仔细地选择并切出得分高的区间，由此，可以仅使用观看者的兴趣/关心度高的视频来生成摘要视频DV等。
<4.修改>
在上述示例中，已经描述了从SNS中提取发布数据。这里，发布数据的提取对象可以是大量未指定账户或者可以是特定账户。通过从大量未指定的账户中提取发布数据，可以进一步掌握观看者的兴趣/关注。
另一方面，通过从参赛者、比赛解说者等使用的特定账户中提取发布数据，能够降低提取错误信息的可能性。也就是说，可以去除一定量的噪声。
另外，发布数据的提取可以是发布数据本身的提取，也可以是对发布数据进行统计处理后得到的信息的提取。例如，该信息可以是诸如在最近预定时间中发布的信息中具有高出现频率的关键字之类的信息，其通过统计处理来提取。
这些信息可以由管理SNS上的帖子的SNS服务器100提取，或者可以从分析SNS服务器100的帖子的另一个服务器设备获得。
已经描述了视频分析单元4分析广播视频VA的示例。在分析广播视频VA时，不仅可以执行图像分析处理，而且可以执行分析评论员或评论者的语音的语音分析处理。因此，可以更具体地和准确地指定在比赛期间出现的场景，并且也容易指定与场景相关的选手。此外，可以通过语音分析处理来确定用于生成剪辑视频CV的入点和出点。
此外，可以通过对观众的欢呼等执行语音分析来掌握场景的出现定时或者指定场景的类型。
除了上述场景类型之外，可以检测粗略游戏场景、未命中游戏场景、好游戏场景、纪念游戏场景等以包括在摘要视频DV中。
注意，纪念游戏是在某一选手的总分达到预定数值时的游戏、在打破先前记录时的游戏等。
在使用模板的示例中，在不存在相应视频的情况下，可以在不组合视频的情况下生成剪辑集合CS。例如，在不存在具有由模板指定的视角的放大视频的情况下，生成剪辑集合CS而不包括该视频。
在一些比赛中，裁判员的姿态可以根据游戏类型或犯规类型来精细地设置。
在这种情况下，将用于对裁判员进行成像的专用成像设备CA布置在场地中，并且通过图像分析处理来指定裁判员的姿势或姿态，从而可以指定在比赛期间出现的游戏内容，即场景类型等。
例如，可以使用以这种方式获得的场景类型的信息来代替元数据。
注意，要经受图像分析处理的裁判不仅可以包括主裁判，而且可以包括副裁判等。
此外，在上述示例中，已经描述了通过组合多个剪辑集合CS来生成摘要视频DV的示例，但是摘要视频DV可以由一个剪辑集合CS生成。具体地，在存在要呈现给观看者的一个剪辑集合CS的情况下，可以生成摘要视频DV以仅包括一个剪辑集合CS。
<5.计算机设备>
将参考图18描述包括实现上述信息处理装置1的运算处理单元的计算机设备的配置。
计算机设备的CPU 71作为进行上述各种处理的运算处理单元发挥功能，根据ROM72、电可擦除可编程只读存储器(EEP-ROM)等非易失性存储器单元74中存储的程序、或从存储装置79向RAM 73加载的程序，执行各种处理。另外，RAM 73还适当存储CPU 71执行各种处理所需的数据等。
CPU 71、ROM 72、RAM 73和非易失性存储器单元74通过总线83相互连接。输入/输出接口(I/F)75也连接到总线83。
包括操作元件和操作装置的输入单元76连接到输入/输出接口75。
例如，作为输入单元76，假定各种类型的操作元件和操作设备，诸如键盘、鼠标、键、拨盘、触摸面板、触摸板、遥控器等。
输入单元76检测用户操作，并且CPU 71解释与输入操作相对应的信号。
另外，包括LCD、有机EL面板等的显示单元77和包括扬声器等的语音输出单元78整体地或单独地连接到输入/输出接口75。
显示单元77是执行各种显示的显示单元，并且包括例如设置在计算机设备的外壳中的显示装置、连接到计算机设备的单独的显示装置等。
显示单元77基于来自CPU 71的指令在显示屏幕上执行用于各种类型的图像处理的图像、要处理的运动图像等的显示。另外，显示单元77显示各种类型的操作菜单、图标、消息等，即，基于来自CPU 71的指令显示为图形用户界面(GUI)。
在一些情况下，包括硬盘、固态存储器等的存储单元79和包括调制解调器等的通信单元80连接到输入/输出接口75。
通信单元80经由诸如因特网的传输路径、与各种类型的设备的有线/无线通信、总线通信等执行通信处理。
驱动器81也根据需要连接到输入/输出接口75，并且适当地安装诸如磁盘、光盘、磁光盘或半导体存储器的可移除存储介质82。
驱动器81可以从可移除存储介质82中读取诸如用于每个处理的程序的数据文件。所读取的数据文件存储在存储单元79中，并且包括在数据文件中的图像和语音由显示单元77和声音输出单元78输出。此外，根据需要，从可移除存储介质82中读取的计算机程序等安装在存储单元79中。
在该计算机设备中，例如，本实施例的处理软件可以通过通信单元80或可移除存储介质82经由网络通信安装。或者，该软件可以预先存储在ROM 72、存储单元79等中。
CPU 71通过基于各种程序执行处理操作来执行包括上述运算处理单元的信息处理装置1所需的信息处理和通信处理。
注意，信息处理装置1不限于如图2所示的单个计算机设备，并且可以通过系统化多个计算机设备来配置。多个计算机设备可以通过局域网(LAN)等系统化，或者可以通过使用因特网等的虚拟专用网(VPN)等布置在远程位置。多个计算机设备可以包括作为可以通过云计算服务使用的服务器组(云)的计算机装置。
<6.总结>
如在上述的每个例子中所描述的，信息处理装置1包括指定单元10，其基于关于在诸如体育比赛之类的事件中出现的场景的场景相关信息，指定用于生成摘要视频DV的辅助信息SD。
例如，事件是诸如体育比赛或音乐会之类的聚会。此外，辅助信息SD是例如用于生成摘要视频DV的信息，并且是用于确定从所拍摄的视频中切出哪个部分的视频的信息。例如，在体育比赛的情况下，具体地，诸如选手姓名、场景类型和游戏类型之类的信息被用作辅助信息。
由于可以通过指定辅助信息SD来指定要从所拍摄的视频中切出的时间区，因此可以生成摘要视频DV。
场景相关信息可以是包括从另一信息处理装置(元数据服务器200)分发的元数据的信息。
元数据是包括诸如体育之类的聚会的进展状态的信息，并且当以体育比赛为例时，包括特定游戏的发生的时间信息、与游戏相关的选手姓名、作为游戏结果而改变的得分的信息等。
通过基于这样的元数据指定辅助信息SD，可以更适当地指定要从所拍摄视频中切出的时间区。
场景相关信息可以包括与社交网络服务(SNS)的用户的发帖相关的信息。
在SNS中，根据聚会的进展状态做出各种帖子。然后，通过分析发布到SNS的内容，可以指定观看者高度感兴趣/关注的场景。
通过基于作为从这样的SNS获得的信息的场景相关信息指定辅助信息SD，可以生成包括适合于观看者的兴趣/关注的适当场景的摘要视频DV。
注意，如上所述，关于SNS的用户的帖子的信息是与在SNS上发布的信息相关的信息，并且包括例如在最近的预定时间中具有高出现频率的关键字等。作为该信息，可以基于在SNS上发布的信息来提取关键字，可以获取通过附属于SNS的服务呈现的关键字，或者可以获取通过不同于SNS的服务呈现的关键字。
辅助信息SD可以是指示是否执行作为广播视频VA的采用的信息。
例如，如果可以在所拍摄的视频中指定被采用作为广播视频VA的区间，则可以指定未被采用作为广播视频VA的区间。
因此，摘要视频DV可以被生成为包括不被用作广播视频VA的剪辑视频CV。因此，可以向观看者提供包括新视频的摘要视频DV。
辅助信息SD可以是关键字信息。
关键字信息是例如诸如选手姓名信息、场景类型信息、游戏类型通用和工具名称之类的信息。
通过使用关键字信息，可以以较小的处理负荷实现指定要从拍摄视频中切出的时间区的处理。
关键字信息可以是场景类型信息。
例如，基于场景类型信息确定要从拍摄的视频中切出的剪辑视频CV。
因此，可以生成包括与预定场景类型相对应的剪辑视频CV的摘要视频DV。
关键字信息可以是用于指定事件的参与者的信息。
在事件是体育比赛的情况下，基于诸如参与比赛的选手的选手姓名或队服号码之类的关键字信息来确定要从所拍摄的视频中切出的场景。
因此，可以生成聚焦于特定选手的摘要视频DV等。
辅助信息SD可以是用于生成包括从拍摄事件的多个成像设备CA获得的一个或多个剪辑视频CV的剪辑集合CS的信息。
例如，在选择特定游戏类型作为辅助信息SD的情况下，从多个成像设备CA成像的多个视频(第一视频V1、第二视频V2等)中切出对特定游戏类型进行成像的区间并将其组合，从而生成与游戏类型有关的剪辑集合CS。
通过生成摘要视频DV以包括以这种方式生成的剪辑集合CS，可以从不同的角度观看一个游戏，并且可以生成其中观看者可以更容易地掌握游戏状态的摘要视频DV。
剪辑集合CS可以通过组合通过在事件中拍摄特定场景而获得的剪辑视频CV来获得，并且辅助信息SD可以包括剪辑视频CV的预定组合顺序的信息。
剪辑集合CS是通过将多个剪辑视频CV组合为通过从不同角度对一个游戏进行成像而获得的部分视频而获得的。
在剪辑集合CS的这种生成中，通过以预定顺序连接视频，可以向观看者提供可以从不同角度观看一个游戏的视频，并且可以减少用于确定组合顺序的处理负荷。
剪辑视频CV的组合顺序的信息可以是与特定场景的场景类型相对应的信息。
也就是说，预定顺序可以是对于每种类型的场景不同的适当顺序。
例如，在针对美国足球比赛中出现的一个场地进球生成一个剪辑集合CS的情况下，可以通过以特定顺序组合剪辑视频CV来生成用于场地进球的适当剪辑集合CS，以便观看者正确地识别关于场地进球的状态或增强真实感觉。具有特定顺序的模板被定义为以预定顺序组合从不同角度拍摄的视频，诸如来自侧面的视频、来自球门背面的视频、来自球门正面的视频以及鸟瞰图。通过根据模板应用每个成像设备CA的视频，可以自动生成适当的剪辑集合CS。然后，可以减少用于确定视频组合顺序的处理负荷。
此外，模板可以根据场景类型而不同。
信息处理装置1可以包括剪辑集合生成单元11，其通过使用辅助信息SD生成剪辑集合CS。
因此，在信息处理装置1中执行从辅助信息SD的指定到剪辑视频CV的生成和剪辑集合CS的生成的一系列处理。
在信息处理装置1是单个装置的情况下，不需要将从辅助信息SD的指定到剪辑集合CS的生成所必需的信息发送到另一信息处理装置，从而可以减少处理负荷。
注意，短的不同视频、图像等可以插入在剪辑视频CV和剪辑视频CV之间。
信息处理装置1的剪辑集合生成单元11可以通过组合剪辑视频CV来生成剪辑集合CS。
例如，仅通过组合剪辑视频CV而不插入另一视频来生成剪辑集合CS。
因此，可以减少生成剪辑集合CS所需的处理负荷。
可以通过组合通过对事件中的特定场景进行成像而获得的剪辑视频CV来获得剪辑集合CS。
通过组合通过剪切针对某一场景从不同角度拍摄的视频而获得的多个剪辑视频CV，生成能够从不同角度确认场景的剪辑集合CS。
因此，可以生成用户可以容易地掌握在每个场景中发生的事件的摘要视频DV。
信息处理装置1的剪辑集合生成单元11可以通过使用通过对从拍摄事件的成像设备CA获得的视频进行图像分析处理而获得的分析结果和辅助信息SD来生成剪辑集合CS。
可以通过对视频的图像分析处理来指定关于视频的被摄体的信息、场景类型信息等。
因此，可以生成与辅助信息SD相对应的剪辑集合CS，并且可以生成适当的摘要视频DV。
图像分析处理可以是指定视频中出现的人的处理。
通过由图像分析处理适当地指定视频中出现的人，可以基于诸如选手姓名之类的关键字来指定要包括在剪辑集合CS中的剪辑视频CV。
因此，可以减少与剪辑视频CV的选择相应的处理负荷。
图像分析处理可以是指定视频中出现的场景的类型的处理。
通过由图像分析处理适当地指定视频中出现的场景的类型，可以基于诸如场景类型之类的关键字来指定要包括在剪辑集合CS中的剪辑视频CV。
因此，可以减少与剪辑视频CV的选择相应的处理负荷。
图像分析处理可以是指定入点和出点的处理。
通过由图像分析处理指定入点和出点，可以将适当区间中的视频剪切为剪辑视频CV。
因此，可以适当地生成剪辑集合CS并生成摘要视频DV。
图像分析处理可以包括对每个剪辑视频CV赋予得分的处理。
根据剪辑视频CV的时间长度，可能无法将通过对场景进行成像而获得的所有剪辑视频CV包括在一个剪辑集合CS中。此外，存在不期望包括在剪辑集合CS中的剪辑视频CV等。
通过对每个剪辑视频CV进行评分，可以生成通过仅组合适当的剪辑视频CV而获得的剪辑集合CS。
在根据本实施例的信息处理方法中，计算机设备执行基于关于事件中出现的场景的场景相关信息来指定用于生成摘要视频的辅助信息的处理。
上述信息处理装置1执行的程序可以预先记录在作为内置于诸如计算机设备的设备中的记录介质的硬盘驱动器(HDD)中、具有CPU的微计算机中的ROM等中。或者，程序可以临时或永久地存储(记录)在可移除记录介质中，例如软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、蓝光盘(注册商标)、磁盘、半导体存储器或存储卡。这种可移除记录介质可以作为所谓的软件包来提供。
此外，这样的程序可以从可移除记录介质安装到个人计算机等中，或者可以经由诸如局域网(LAN)或因特网之类的网络从下载站点下载。
注意，本说明书中描述的效果仅仅是示例而非限制，并且可以提供其他效果。
此外，上述示例可以以任何方式组合，并且即使在使用各种组合的情况下也可以获得上述各种功能和效果。
<7.本技术>
本技术还可以采用以下配置。
(1)一种信息处理装置，包括：
指定单元，指定单元基于关于事件中出现的场景的场景相关信息来指定用于生成摘要视频的辅助信息。
(2)根据(1)所述的信息处理装置，其中所述场景相关信息是包括从另一信息处理装置分发的元数据的信息。
(3)根据(1)或(2)所述的信息处理装置，其中所述场景相关信息包括与社交网络服务的用户的帖子相关的信息。
(4)根据(1)到(3)中任何一项的信息处理装置，其中所述辅助信息是指示是否执行作为广播视频的采用的信息。
(5)根据(1)到(4)中任意一项的信息处理装置，其中所述辅助信息是关键字信息。
(6)根据(5)所述的信息处理装置，其中所述关键字信息是场景类型信息。
(7)根据(5)所述的信息处理装置，其中所述关键字信息是用于指定事件的参与者的信息。
(8)根据(1)到(7)中任意一项的信息处理装置，其中所述辅助信息是用于生成包括从拍摄事件的多个成像设备获得的一个或更多个剪辑视频的剪辑集合的信息。
(9)根据(8)所述的信息处理装置，其中
剪辑集合是通过对事件中的特定场景进行成像而获得的剪辑视频的组合，以及
辅助信息包括剪辑视频的预定组合顺序的信息。
(10)根据(9)所述的信息处理装置，其中所述组合顺序的信息是与所述特定场景的场景类型相对应的信息。
(11)根据(8)至(10)中任一项所述的信息处理装置，还包括：
剪辑集合生成单元，剪辑集合生成单元通过使用辅助信息来生成所述剪辑集合。
(12)根据(11)所述的信息处理装置，其中剪辑集合生成单元通过组合剪辑视频来生成所述剪辑集合。
(13)根据(12)所述的信息处理装置，其中通过组合通过对事件中的特定场景进行成像而获得的剪辑视频来获得所述剪辑集合。
(14)根据(11)至(13)中任一项所述的信息处理装置，其中剪辑集合生成单元通过使用分析结果和所述辅助信息生成所述剪辑集合，所述分析结果是通过对从对事件进行成像的成像设备获得的视频进行图像分析处理而获得的。
(15)根据(14)所述的信息处理装置，其中所述图像分析处理是指定出现在视频中的人的处理。
(16)根据(14)所述的信息处理装置，其中所述图像分析处理是指定视频中出现的场景的类型的处理。
(17)根据(14)所述的信息处理装置，其中所述图像分析处理是指定入点和出点的处理。
(18)根据(14)所述的信息处理装置，其中所述图像分析处理包括对所述剪辑视频中的每一个赋予得分的处理。
(19)一种由计算机设备执行的信息处理方法，包括：
用于基于关于事件中出现的场景的场景相关信息来指定用于生成摘要视频的辅助信息的处理。
(20)一种程序，用于使运算处理装置执行处理功能，该处理功能用于基于关于事件中出现的场景的场景相关信息来指定用于生成摘要视频的辅助信息。
附图标记列表
1信息处理装置
10指定单元
11剪辑集合生成单元
200元数据服务器(另一信息处理装置)
CA成像设备
DV摘要视频
SD辅助信息
CV剪辑视频
CS剪辑集合
VA广播视频

Claims (20)

1.一种信息处理装置，包括：
指定单元，指定单元基于关于事件中出现的场景的场景相关信息来指定用于生成摘要视频的辅助信息。
2.根据权利要求1所述的信息处理装置，其中所述场景相关信息是包括从另一信息处理装置分发的元数据的信息。
3.根据权利要求1所述的信息处理装置，其中所述场景相关信息包括与社交网络服务的用户的帖子相关的信息。
4.根据权利要求1所述的信息处理装置，其中所述辅助信息是指示是否执行作为广播视频的采用的信息。
5.根据权利要求1所述的信息处理装置，其中所述辅助信息是关键字信息。
6.根据权利要求5所述的信息处理装置，其中所述关键字信息是场景类型信息。
7.根据权利要求5所述的信息处理装置，其中所述关键字信息是用于指定事件的参与者的信息。
8.根据权利要求1所述的信息处理装置，其中所述辅助信息是用于生成包括从拍摄事件的多个成像设备获得的一个或更多个剪辑视频的剪辑集合的信息。
9.根据权利要求8所述的信息处理装置，其中
剪辑集合是通过对事件中的特定场景进行成像而获得的剪辑视频的组合，以及
辅助信息包括剪辑视频的预定组合顺序的信息。
10.根据权利要求9所述的信息处理装置，其中所述组合顺序的信息是与所述特定场景的场景类型相对应的信息。
11.根据权利要求8所述的信息处理装置，还包括：
剪辑集合生成单元，剪辑集合生成单元通过使用辅助信息来生成所述剪辑集合。
12.根据权利要求11所述的信息处理装置，其中剪辑集合生成单元通过组合剪辑视频来生成所述剪辑集合。
13.根据权利要求12所述的信息处理装置，其中，通过组合通过对事件中的特定场景进行成像而获得的剪辑视频来获得所述剪辑集合。
14.根据权利要求11所述的信息处理装置，其中剪辑集合生成单元通过使用分析结果和所述辅助信息生成所述剪辑集合，所述分析结果是通过对从对事件进行成像的成像设备获得的视频进行图像分析处理而获得的。
15.根据权利要求14所述的信息处理装置，其中所述图像分析处理是指定出现在视频中的人的处理。
16.根据权利要求14所述的信息处理装置，其中所述图像分析处理是指定视频中出现的场景的类型的处理。
17.根据权利要求14所述的信息处理装置，其中所述图像分析处理是指定入点和出点的处理。
18.根据权利要求14所述的信息处理装置，其中所述图像分析处理包括对所述剪辑视频中的每一个赋予得分的处理。
19.一种由计算机设备执行的信息处理方法，包括：
用于基于关于事件中出现的场景的场景相关信息来指定用于生成摘要视频的辅助信息的处理。
20.一种程序，用于使运算处理装置执行处理功能，该处理功能用于基于关于事件中出现的场景的场景相关信息来指定用于生成摘要视频的辅助信息。
CN202280029439.XA 2021-04-26 2022-02-08 信息处理装置、信息处理方法和程序 Pending CN117178285A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-074249 2021-04-26
JP2021074249 2021-04-26
PCT/JP2022/004897 WO2022230291A1 (ja) 2021-04-26 2022-02-08 情報処理装置、情報処理方法、プログラム

Publications (1)

Publication Number Publication Date
CN117178285A true CN117178285A (zh) 2023-12-05

Family

ID=83848273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280029439.XA Pending CN117178285A (zh) 2021-04-26 2022-02-08 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US20240196069A1 (zh)
EP (1) EP4332871A4 (zh)
JP (1) JPWO2022230291A1 (zh)
CN (1) CN117178285A (zh)
WO (1) WO2022230291A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008489B2 (en) * 2012-02-17 2015-04-14 Kddi Corporation Keyword-tagging of scenes of interest within video content
JP2017107404A (ja) 2015-12-10 2017-06-15 ｂｏｔＰｒｅｓｓ株式会社 コンテンツ生成装置
US11521387B2 (en) * 2018-04-03 2022-12-06 Sony Corporation Information processing apparatus and information processing method
JP6765558B1 (ja) * 2020-02-28 2020-10-07 株式会社ドワンゴ コンテンツ配信装置、コンテンツ配信方法、コンテンツ配信システム、および、コンテンツ配信プログラム

Also Published As

Publication number Publication date
JPWO2022230291A1 (zh) 2022-11-03
EP4332871A4 (en) 2024-10-09
EP4332871A1 (en) 2024-03-06
US20240196069A1 (en) 2024-06-13
WO2022230291A1 (ja) 2022-11-03

Similar Documents

Publication Publication Date Title
US9124856B2 (en) Method and system for video event detection for contextual annotation and synchronization
US8121462B2 (en) Video edition device and method
Merler et al. Automatic curation of sports highlights using multimodal excitement features
US20040017389A1 (en) Summarization of soccer video content
CN103200463A (zh) 一种视频摘要生成方法和装置
TWI590856B (zh) 擷取方法及裝置
Wang et al. Affection arousal based highlight extraction for soccer video
US9681200B2 (en) Data processing method and device
US20230179778A1 (en) Information processing apparatus, information processing method, and program
US9530061B2 (en) Extraction method for extracting a pitching scene and device for the same
US20080269924A1 (en) Method of summarizing sports video and apparatus thereof
CN112182297A (zh) 训练信息融合模型、生成集锦视频的方法和装置
JP2018081630A (ja) 検索装置、検索方法およびプログラム
CN112287771A (zh) 用于检测视频事件的方法、装置、服务器和介质
US8300894B2 (en) Method for decomposition and rendering of video content and user interface for operating the method thereof
KR101701632B1 (ko) 판정 방법 및 장치
KR20180089977A (ko) 영상 이벤트 단위 세그멘테이션 시스템 및 그 방법
CN117178285A (zh) 信息处理装置、信息处理方法和程序
JP2012221322A (ja) オーサリング支援装置、オーサリング支援方法およびプログラム
TW201620592A (zh) 資訊處理方法及裝置
KR101983739B1 (ko) 비디오 스코어보드 서비스 장치
Lee et al. Highlight generation for basketball video using probabilistic excitement
JP2010081531A (ja) 映像処理装置及びその方法
JP4214990B2 (ja) イベント検出方法及び装置及びプログラム
US9538244B2 (en) Extraction method for extracting a pitching scene and device for the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination