CN114793486A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN114793486A
CN114793486A CN202080086211.5A CN202080086211A CN114793486A CN 114793486 A CN114793486 A CN 114793486A CN 202080086211 A CN202080086211 A CN 202080086211A CN 114793486 A CN114793486 A CN 114793486A
Authority
CN
China
Prior art keywords
image
information
processing apparatus
information processing
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080086211.5A
Other languages
English (en)
Inventor
加茂学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114793486A publication Critical patent/CN114793486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25875Management of end-user data involving end-user authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Abstract

例如,在诸如比赛之类其中与其他人进行比较重要的竞赛中,存在同时看到整个竞赛的动作和每个选手的动作之间的关系的需求。为此,一种信息处理装置包括:内容生成单元,所述内容生成单元通过组合由第一成像设备捕捉的第一图像和由第一成像设备或其他成像设备捕捉的第二图像来生成显示内容,所述第二图像将第一图像中的被摄体的一部分作为被摄体。

Description

信息处理装置、信息处理方法和程序
技术领域
本技术涉及信息处理装置、信息处理方法和程序,特别涉及一种生成其中组合两个图像的内容的技术。
背景技术
例如,在观看体育竞赛等的情况下,难以同时在视觉上识别多个被摄体的表现。另一方面,专利文献1公开了组合由多个电视摄像机捕捉的流式数据,以生成一个组合的流式数据,并且响应来自观看者终端的请求,经由网络分发组合的流式数据。
引文列表
专利文献
专利文献1:日本专利申请公开No.2003-18583
发明内容
本发明要解决的问题
然而,例如,在诸如比赛之类其中与其他人进行比较是重要的竞赛中,存在同时看到整个竞赛的动作和每个选手的动作之间的关系的需求。
于是,本技术的目的是生成用于在整体上掌握被摄体的动作的适当内容。
问题的解决方案
按照本技术的信息处理装置包括:内容生成单元,所述内容生成单元通过组合由第一成像设备捕捉的第一图像和由第一成像设备或其他成像设备捕捉的第二图像来生成显示内容,所述第二图像将第一图像中的被摄体的一部分作为被摄体。
在对多个被摄体成像的情况下,存在同时记录每个被摄体的图像或视角改变的图像的需求,或者浏览的需求。
上述信息处理装置可以包括同步处理单元,所述同步处理单元进行使第一图像和第二图像同步的同步处理。
于是,可以将通过组合第一图像和第二图像而获得的显示内容发送到用户终端等。
上述信息处理装置可以包括使第一图像和第二图像同步的同步处理单元。
于是,即使当以不同的视角捕捉第一图像和第二图像时,也可以掌握时间关系。
在上述信息处理装置中,显示内容可以包括叠加信息。
叠加信息例如是字符(文本)信息、图像信息等。
在上述信息处理装置中,叠加信息可以是关于第一图像或第二图像的说明信息。
例如,在比赛图像的情况下,说明信息是在浏览图像时有助于理解的说明信息,比如举办日期和时间、举办地点、比赛名称和参赛者姓名。
在上述信息处理装置中,叠加信息可以是对于第二图像的被摄体的比较信息。
比较信息例如是指示与作为第二图像的被摄体的选手的目标记录的差异的信息。具体地,比较信息是指示被摄体领先于或落后于目标记录多少的信息。
在上述信息处理装置中,比较信息可以是指示第二图像的被摄体的成绩的信息。
第二图像的被摄体的成绩例如是第二图像的被摄体的选手本人的过去记录。
在上述信息处理装置中,比较信息可以是指示除第二图像的被摄体以外的人物的成绩的信息。
除第二图像的被摄体以外的人物的成绩例如是参加同一比赛的其他选手当中成绩最好的选手的记录。或者,成绩可以是诸如日本记录或世界记录之类的成绩。
上述信息处理装置可以包括分析处理单元,所述分析处理单元进行关于第二图像的被摄体的图像分析,并提取影响第二图像的被摄体的成绩的特征量。叠加信息可以是与特征量有关的信息。
例如,在游泳的情况下,影响第二图像的被摄体的成绩的特征量是呼吸的次数或频率、手划水的次数等。
上述信息处理装置可以包括认证处理单元,所述认证处理单元基于接收的用户信息进行用户认证。所述发送处理单元可以基于认证结果来选择并发送显示内容。
显示内容是包括个人信息的图像内容。这样的内容只有在用户认证成功的情况下才发送。
上述信息处理装置可以包括内容管理单元,所述内容管理单元针对每个显示内容设定公开范围。
取决于被摄体的选手,显示内容可以有或者可以没有浏览限制。
上述信息处理装置可以包括认证处理单元,所述认证处理单元基于接收的用户信息进行用户认证。所述发送处理单元可以基于认证结果和公开范围来发送显示内容。
例如,通过用户认证来指定用户,并基于在显示内容中设定的公开范围来判定是否接受用户的请求。
在上述信息处理装置中,在同步处理中,可以进行第一图像和第二图像之间的图像比较。
例如,在第一图像和第二图像是运动图像的情况下,通过部分相互比较两个图像来计算一致度,进行同步处理。
在上述信息处理装置中,所述发送处理单元可以进行流式分发。
例如,通过组合通过在竞赛中以俯瞰方式捕捉整体图像而获得的官方第一图像和聚焦于特定选手的官方第二图像,进行流式分发。
本技术的信息处理方法由信息处理装置执行。所述方法包括:通过组合由第一成像设备捕捉的第一图像和由第一成像设备或其他成像设备捕捉的第二图像来生成显示内容,所述第二图像将第一图像中的被摄体的一部分作为被摄体。
本技术的程序使信息处理装置执行:生成处理,所述生成处理通过组合由第一成像设备捕捉的第一图像和由第一成像设备或其他成像设备捕捉的第二图像来生成显示内容,所述第二图像将第一图像中的被摄体的一部分作为被摄体。
于是,可以生成用于整体上掌握被摄体的动作的适当内容。
附图说明
图1是图解说明按照实施例的分发系统的构成的示图。
图2是按照实施例的信息处理装置的方框图。
图3是实施例中的分发服务器设备的功能方框图。
图4是按照实施例的分发内容的例子。
图5是按照实施例的分发内容的另一个例子。
图6是图解说明按照实施例的分发内容生成处理的例子的流程图。
图7是图解说明按照实施例的指导信息提取处理的例子的流程图。
图8是图解说明按照实施例的请求响应处理的例子的流程图。
图9是图解说明按照实施例的分发内容发送处理的例子的流程图。
图10是图解说明按照实施例的指导信息发送处理的例子的流程图。
图11是图解说明按照实施例的直播分发处理的例子的流程图。
图12是用于说明按照实施例的捕捉图像数据的编辑例子的第一变形例的示图。
图13是图解说明按照实施例的分发内容生成请求接收处理的例子的流程图。
具体实施方式
下面,将按照以下顺序说明实施例。
<1.系统构成>
<2.分发服务器设备的构成>
<3.捕捉图像数据的编辑例子>
<4.分发服务器设备中的处理例子>
<4-1.分发内容生成处理>
<4-2.指导信息提取处理>
<4-3.请求响应处理>
<5.直播分发>
<6.变形例>
<6-1.捕捉图像数据的编辑例子的第一变形例>
<6-2.捕捉图像数据的编辑例子的第二变形例>
<7.总结>
<8.本技术>
<1.系统构成>
将参考图1,说明本实施例中的分发系统1的构成。注意,在下面的说明中,作为分发系统1的例子,将说明分发与作为体育竞赛的游泳有关的图像的系统。这里的“图像”包括运动图像和静止图像两者。
分发系统1包括经由通信网络2相互通信连接的分发服务器设备3、团队终端4和个人终端5。
此外,分发服务器设备3可以与场馆设施系统6通信。场馆设施系统6包括多个成像设备7。
作为通信网络2,例如,设想因特网、家庭网络、局域网(LAN)、卫星通信网络和其他各种网络。
分发服务器设备3例如是由运营与游泳有关的各种锦标赛和赛事的运营组织管理的信息处理装置,包括个人计算机(PC)、工作站等。
分发服务器设备3进行游泳锦标赛、游泳赛事等的日程管理、竞赛项目的管理、参赛者(选手)的管理等。分发服务器设备3将日程信息和与竞赛项目和参赛者有关的信息发送到团队终端4和个人终端5。
此外,分发服务器设备3接收锦标赛的报名请求,并执行锦标赛的报名处理。
分发服务器设备3是向团队终端4和个人终端5分发由安装在游泳场馆中的成像设备7捕捉的图像的设备。分发服务器设备3可以与包含在场馆设施系统6中的成像设备7通信。
注意,分发服务器设备3和成像设备7之间的通信可以经由网络来实现,或者可以通过直接连接来实现。此外,场馆设施系统6可以包括全面管理各个成像设备7的管理终端,并且分发服务器设备3可以经由管理设备与成像设备7通信。
此外,场馆设施系统6可以连接到通信网络2,并且分发服务器设备3可以经由通信网络2与成像设备7通信。
分发服务器设备3通过使用从成像设备7获取的捕捉图像数据来生成用于分发的内容(下文中称为“分发内容”)。分发内容例如是通过组合从多个成像设备7获取的捕捉图像数据而获得的图像数据,并且可以叠加诸如说明文字信息和元数据之类的文本信息或图像数据。
分发内容是将在各个信息处理装置上显示的内容,从而也可以被称为显示内容。
由分发服务器设备3生成的分发内容被适当地分发给团队终端4和个人终端5。
分发服务器设备3可以是在锦标赛期间临时安装在场馆内的信息处理装置。此外,在这种情况下,可以通过永久式信息处理装置和临时安装式信息处理装置之间的协作来构成分发服务器设备3,所述永久式信息处理装置是由运营组织拥有的信息处理装置,并执行在除锦标赛期间以外经常执行的各种处理,比如日程管理、选手信息管理和报名处理,临时安装式信息处理装置是临时安装在场馆信息处理装置,并执行特别是在锦标赛期间执行的各种处理,比如成像设备7的控制和对于捕捉图像数据的处理。
在下面的例子中,将说明分发服务器设备3包括永久式信息处理装置和临时安装式信息处理装置两者的例子。
团队终端4是游泳队或俱乐部队拥有的信息处理装置,例如是PC、个人数字助手(PDA)等。例如,团队终端4只能由属于游泳队的用户(工作人员或竞赛者)使用,可以向分发服务器设备3提出各种请求。例如,所述各种请求包括分发内容的发送请求、锦标赛信息的发送请求等。
此外,团队终端4可以通过指定锦标赛、竞赛项目和竞赛者,向分发服务器设备3发送锦标赛的报名请求。
团队终端4管理与游泳队的所属竞赛者有关的信息。例如,团队终端4可以响应来自个人终端5的请求,发送所属竞赛者的成绩、参赛信息等。
个人终端5是竞赛者拥有的信息处理装置,例如是具有通信功能的设备,比如诸如智能电话机或平板电脑之类的便携式终端设备、移动电话机、PC、游戏设备、视频设备、或PDA。
个人终端5可以向团队终端4发送获取锦标赛成绩和个人信息的请求,以获得各项信息,此外,个人终端5可以被配置成能够从分发服务器设备3接收锦标赛信息和分发内容。
此外,个人终端5能够向团队终端4或分发服务器设备3发送登录请求。例如,通过将标识(ID)和密码作为登录信息发送到各个设备,以便取得各种信息,在各个设备中执行认证处理。
场馆设施系统6包括安装在游泳场馆中的成像设备7。如上所述,可以包括全面管理各个成像设备7的管理终端。
成像设备7是安装在游泳场馆中的摄像机等,并且例如是作为对整个游泳池进行成像的成像设备7、捕捉每条泳道的图像的成像设备7、对电子公告板进行成像的成像设备7、对观众席进行成像的成像设备7等设置的。
<2.分发服务器设备的构成>
将说明分发服务器设备3的构成。如上所述,这里,将说明其中分发服务器设备3具有安装在游泳场馆中的成像设备7的管理功能的例子。例如,分发服务器设备3包括多个信息处理装置。
多个信息处理装置中的每一个例如具有如图2中图解所示的构成。
信息处理装置的CPU 71按照存储在ROM 72中的程序或者从存储单元79加载到RAM73的程序,执行各种处理。RAM 73还适当地存储为CPU 71执行各种处理所需的数据等。
CPU 71、ROM 72和RAM 73经由总线74相互连接。输入/输出接口75也连接到总线74。
包括操作器和操作设备的输入单元76连接到输入/输出接口75。
例如,作为输入单元76,设想诸如键盘、鼠标、按键、旋钮、触摸面板、触控板和遥控器之类的各种操作器和操作设备。
输入单元76检测用户的操作,并且CPU 71解释与输入操作对应的信号。
另外,包括LCD、有机EL面板等的显示单元77和包括扬声器等的音频输出单元78集成地或者分别地连接到输入/输出接口75。
显示单元77是进行各种显示的显示单元,例如包括设置在分发服务器设备3的壳体中的显示设备、连接到分发服务器设备3的独立显示设备等。
显示单元77基于来自CPU 71的指令,在显示屏幕上执行用于各种图像处理的图像、要处理的运动图像等的显示。另外,显示单元77基于来自CPU 71的指令,显示各种操作菜单、图标、消息等,即,显示为图形用户界面(GUI)。
在一些情况下,包括硬盘、固态存储器等的存储单元79,和包括调制解调器等的通信单元80连接到输入/输出接口75。
通信单元80进行经由诸如因特网之类的传输路径的通信处理、与各种设备的有线/无线通信、总线通信等。
在本实施例的情况下,通信单元80具有与成像设备7通信的功能。
驱动器82也根据需要连接到输入/输出接口75,并适当地安装诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动记录介质81。
通过驱动器82,可以从可移动记录介质81中读取各种计算机程序等。从可移动记录介质81中读取的计算机程序等根据需要安装在存储单元79中。
在分发服务器设备3中,例如,可以经由通过通信单元80的网络通信,或者经由可移动记录介质81,安装用于本公开的处理的软件。或者,所述软件可以预先安装在ROM 72、存储单元79等中。
例如,通过这样的软件(应用程序),在分发服务器设备3的CPU71中构建如图3中图解所示的功能构成。
分发服务器设备3具有摄像机控制器11、切换器12、选手信息管理单元13、内容管理单元14、图像编辑处理单元15、分析处理单元16、同步处理单元17、认证处理单元18、分发控制单元19等的各个功能。
摄像机控制器11进行对于安装在场馆内的成像设备7的控制。具体地,所述控制包括用于使成像设备7在横摇方向或俯仰方向上执行旋转操作的控制,用于执行推进操作或拉远操作的控制,用于改变捕捉图像数据的质量,比如画质或色调的控制等。此外,摄像机控制器11还可以进行发送由成像设备7捕捉的捕捉图像数据的控制等。
切换器12通过切换多个成像设备7的图像,执行变更直播分发图像的处理、切换要在安装在场馆内的大型显示器上显示的图像的处理等。
注意,摄像机控制器11和切换器12可以实现成独立的设备。
选手信息管理单元13管理与运营组织的所属选手有关的各种信息。例如,用于识别个人的诸如选手姓名、选手ID、团队信息、住址、联系地址、出生日期和锦标赛时的国际年龄的信息,与参加的锦标赛有关的信息,记录信息等用作选手信息。
内容管理单元14管理为了分发而生成的图像内容信息。图像内容例如是通过组合从多个成像设备7获取的捕捉图像数据而生成的内容,用于分发给团队终端4或个人终端5的分发内容,以及要显示在各个终端上的显示内容。
内容管理单元14管理图像内容,以及与图像内容关联的元数据或说明文字信息。元数据或说明文字信息例如是与图像内容有关的被摄体姓名(选手姓名)、锦标赛名称、锦标赛举办场馆、成像日期和时间、游泳竞赛项目、选手使用的泳道号、游泳记录、名次等。此外,可以记录用于指定对选手成像的成像设备7的信息、成像设备7的成像设定等。
内容管理单元14为每个图像内容设定并存储公开范围。作为公开范围,例如,可以考虑诸如“只能向被摄体的选手本人分发”、“可以向选手所属的团队分发”和“可以向任何人分发”之类的设定。
图像编辑处理单元15进行对于从成像设备7获取的捕捉图像数据的编辑处理。可以考虑各种编辑处理,例如,处理包括组合从多个成像设备7获取的多个捕捉图像数据以生成一个图像数据的处理,叠加文本信息或图像的处理,从获取的捕捉图像数据中剪切预定范围中的图像的处理等。
例如,要叠加的文本信息包括选手信息、锦标赛信息、游泳记录等。此外,要叠加的图像是用于直观地指示作为获取的捕捉图像数据的被摄体的选手的过去成绩的图像,用于直观地指示各个锦标赛和国家的记录信息的图像等。
分析处理单元16是对从成像设备7获取的捕捉图像数据进行图像分析,并获取指导信息的处理单元。例如,在游泳的情况下,通过图像分析获取在游泳50m的时候进行的呼吸的次数、划水的次数、踢水的次数等。此外,通过图像分析可以计算选手的位置和此时的速度(游泳速度)。
这些信息是可以用于指导的指导信息。在提取指导信息时,例如,可以使用诸如卷积神经网络(CNN)之类的深度学习方法。
在组合多个捕捉图像数据以生成一个分发内容的情况下,同步处理单元17进行使多个捕捉图像数据同步的处理。
认证处理单元18基于从诸如团队终端4或个人终端5之类的其他终端接收的ID信息和密码信息,进行判定用户是否是会员的认证处理。
注意,认证处理单元18可被配置成对于认证处理已成功的用户或终端,发送例如二维条形码等作为指示会员的信息。例如,接收到二维条形码信息的用户通过将二维条形码放在安装在场馆等中的读取器等上方,可以顺利地进入场馆或进入相关人员区域。此外,在游泳场馆中获得成像许可时也可以使用二维条形码。
分发控制单元19从数据库获取图像内容,并进行分发控制,以将图像内容分发到发送了图像内容的分发请求的终端。此外,分发控制单元19可以基于图像内容的公开范围来进行分发控制。
此外,分发控制单元19可以进行用于直播分发在游泳场馆中实时捕捉的捕捉图像数据的控制。例如,可以向作为家庭成员来到游泳场馆的用户分发直播图像。此时,对于每个用户可以分发不同的直播图像。具体地,例如,在图像编辑处理单元15中可以组合来自以俯瞰方式对整个游泳池成像的成像设备7的捕捉图像数据(整体图像)和来自以推进模式对选手个人成像的成像设备7的捕捉图像数据(推进图像、个人图像),并且通过组合而获得的针对每个选手的单独的图像内容可以作为直播图像分发给每个用户。于是,用户可以接收到专门为他/她的孩子创建的图像内容。
注意,在包含在上述分发服务器设备3中的各种功能当中,至少一些功能可以是通过云计算提供的功能。
此外,例如,在不在游泳场馆中安装分发服务器设备3的情况下,可以作为运营组织拥有的固定式服务器设备来设置分发服务器设备3,并且该分发服务器设备3可以具有各种功能。
<3.捕捉图像数据的编辑例子>
将说明由分发服务器设备3的图像编辑处理单元15编辑的图像内容的例子。
存在用户期望观看其中以推进模式捕捉与用户相关的选手的竞赛期间的图像、以俯瞰方式对整个比赛成像的图像、以及在其上显示与比赛相关的记录的电子公告板的信息的情况。为了满足这种需求,例如,通过编辑从成像设备7获取的捕捉图像数据来生成如图4中图解所示的图像内容。
图4图解说明为了分发给用户而生成的图像内容的场景。
图像内容包括多个区域。例如,第一区域AR1是其中显示用于直观地识别整个比赛的进展的图像的区域,从对整个游泳池成像的成像设备7获取的捕捉图像数据显示在其中。下文中,以这种方式通过组合多个图像数据而生成的图像数据将被称为“合成图像数据”。
在第二区域AR2中,显示从捕捉选手个人的推进图像的成像设备7获取的捕捉图像数据。
注意,在通过捕捉整个游泳池而获得的图像具有足够高的分辨率的情况下,在第二区域AR2中可以显示通过剪切显示在第一区域AR1中的图像之中的对选手个人成像的特定区域,并放大该区域而获得的图像。即,可以通过使用从一个成像设备7获取的捕捉图像数据,在第一区域AR1和第二区域AR2每一个中显示图像。
图4中,设置了其中显示捕捉图像数据的两个区域,不过,这当然只是例子,也可以设置三个或更多的区域。在这种情况下,例如,如图4中图解所示,除第一区域AR1和第二区域AR2之外,可以设置其中显示从对电子公告板成像的成像设备7获取的捕捉图像数据的第三区域AR3。
此外,各个区域可以被设定成具有相同的大小,或者可以被设定成具有不同的大小。此外,某个区域可以被布置成叠加在另一个区域上。
注意,代替图像可以显示字符信息。其例子示于图5中。字符信息例如是用于说明图像的说明信息等。
图5图解说明除显示以俯瞰方式整体捕捉的图像的第一区域AR1,和显示通过以推进模式对选手个人成像而获得的图像的第二区域AR2之外,还设置用于显示从显示在电子公告板上的信息中提取的文本信息的第三区域AR3的例子。
第三区域AR3是叠加显示在第二区域AR2上的区域。
例如,通过对电子公告板进行成像而获得的捕捉图像数据进行图像分析,可以获取作为说明信息显示在第三区域AR3中的文本信息。从电子公告板的捕捉图像数据进行字符识别,以获得文本信息。或者,可以获取为了在电子公告板上显示而发送的文本信息,并且可以从中提取要显示为说明信息的文本信息。
此外,可以从自数据库获取参加竞赛的参赛者的信息并管理游泳的过程信息(例如,每50m的来回时间信息)的设备获取时间信息,并且可以从获取的信息生成文本信息。
另外,作为文本信息,可以获取锦标赛名称、锦标赛举办场馆、成像日期和时间、游泳竞赛项目、第二区域AR2中显示的选手的选手姓名、该选手使用的泳道号、游泳记录、名次、个人最好成绩信息等。
在显示文本信息的情况下,可以将图4中图解所示的合成图像数据和文本信息分别发送到诸如团队终端4和个人终端5之类的其他终端,通过所述其他终端的处理,可以将文本信息叠加显示在合成图像数据上。在这种情况下,用户易于自由地设定叠加文本信息的位置,并且易于设定文本信息的显示和不显示之间的切换。
或者,在作为图像信息预先由分发服务器设备3的图像编辑处理单元15并入合成图像数据中的状态下,文本信息可以被发送到其他终端。
此外,可以在不设置第三区域AR3的情况下显示文本信息。例如,当文本信息被并入要在第二区域AR2中显示的捕捉图像数据中时,不必设置用于显示文本信息的第三区域AR3。
<4.分发服务器设备中的处理例子>
<4-1.分发内容生成处理>
将说明由分发服务器设备3执行的各种处理。
首先,参考图6说明生成分发内容的处理。分发内容生成处理例如是在游泳锦标赛之后执行的处理,并且是针对每个选手生成单独的分发内容的处理。
在分发内容生成处理中,在步骤S101,分发服务器设备3选择一位选手。分发内容生成处理例如是通过使用从多个成像设备7获取的捕捉图像数据,在锦标赛结束之后执行的处理。于是,在步骤S101,该处理是从参加锦标赛的选手当中选择一位选手的处理。注意,当在一个锦标赛中,存在参加多场比赛的选手时,例如,在存在既参加预赛又参加决赛的选手的情况下,在步骤S101执行选择比赛和选手两者的处理。
在步骤S102,分发服务器设备3执行选择整体图像的处理。具体地,选择从以俯瞰方式捕捉整体图像的成像设备7获取的捕捉图像数据。此外,获取的捕捉图像数据用于在步骤S101选择的选手所参加的特定比赛。
在步骤S103,分发服务器设备3执行选择选手的个人图像的处理。该处理是关于在步骤S101指定的选手的捕捉图像数据。在选手参加多场比赛的情况下,基于在步骤S101选择的比赛信息选择一个捕捉图像数据。
在步骤S104,分发服务器设备3获取文本信息。进行该处理,以便例如获取要在图5的第三区域AR3中显示的文本信息。要获取的信息例如是诸如游泳场馆信息、锦标赛名称、比赛信息、选手在竞赛中使用的泳道号、选手姓名、诸如一次来回所用时间之类的该比赛中的成绩信息、以及个人最好成绩之类的信息。
注意,在不使用文本信息的情况下,不必执行步骤S104的处理。
在步骤S105,分发服务器设备3进行组合捕捉图像数据的处理。通过该处理,生成如图4或5中图解所示的分发内容。
通过分发服务器设备3执行步骤S106的处理,生成的分发内容被存储在存储单元79等中。
在步骤S107,分发服务器设备3判定是否对于参加锦标赛的所有选手都完成了上述各种类型的处理。在还存在未处理的选手的情况下,分发服务器设备3返回步骤S101的处理。
另一方面,在不存在未处理的选手的情况下,分发服务器设备3结束图6中图解所示的一系列处理。
通过执行图6中图解所示的分发内容生成处理,为参加锦标赛的每个选手生成不同的分发内容。
注意,尽管说明了其中对于参加锦标赛的所有选手执行图6中图解所示的处理的例子,不过可以对一些选手执行所述处理。此外,当从团队终端4或个人终端5接收到分发内容的分发请求时,可以适当地执行。在响应分发请求的接收而执行图6中图解所示的分发内容生成处理的情况下,不必执行不需要的处理,使得分发服务器设备3的处理负担被减轻。
<4-2.指导信息提取处理>
参考图7,说明由分发服务器设备3执行的指导信息提取处理。指导信息提取处理是通过分析从成像设备7获取的捕捉图像数据,提取用于指导的信息的处理。指导信息提取处理例如是在锦标赛后执行的处理。
在步骤S201,分发服务器设备3选择一位选手。该处理是与图6中的步骤S101的处理类似的处理,是选择参加了锦标赛的一位选手的处理。
在步骤S202,分发服务器设备3选择选手的个人图像。该处理是与图6中的步骤S102的处理类似的处理。
在步骤S203,分发服务器设备3进行图像分析处理。图像分析处理是分析在步骤S202选择的捕捉图像数据并提取特征量的处理。在分析中,例如,可以使用诸如CNN之类的深度学习方法。
在步骤S204,分发服务器设备3提取指导信息。在该处理中,基于先前的图像分析处理的分析结果,提取呼吸的次数、划水的次数、踢水的次数等作为指导信息。此外,可以提取从竞赛开始到结束的游泳速度的变化。
在步骤S205,分发服务器设备3执行存储指导信息的处理。具体地,与选手参加的锦标赛、比赛等关联地存储指导信息。
在步骤S206,分发服务器设备3判定是否对于参加锦标赛的所有选手都完成了上述各种类型的处理。在还存在未处理的选手的情况下,分发服务器设备3返回步骤S201的处理。
另一方面,在不存在未处理的选手的情况下,分发服务器设备3结束图7中图解所示的一系列处理。
通过执行图7中图解所示的指导信息提取处理,提取针对参加锦标赛的每位选手的指导信息。
注意,尽管说明了其中对于参加锦标赛的所有选手执行图7中图解所示的处理的例子,不过可以对一些选手执行所述处理。此外,当从团队终端4或个人终端5接收到指导信息的发送请求时,可以适当地执行。在响应发送请求的接收而执行图7中图解所示的指导信息提取处理的情况下,不必执行不需要的处理,使得分发服务器设备3的处理负担被减轻。
注意,这里提取的指导信息可以作为文本信息显示在图5中图解所示的第三区域AR3中。
<4-3.请求响应处理>
分发服务器设备3从团队终端4或个人终端5接收各种请求。于是,分发服务器设备3确认各种请求的接收,并对于每个请求执行响应处理。
图8中图解说明由分发服务器设备3执行的请求响应处理的例子。
在步骤S301,分发服务器设备3判定是否接收到会员注册请求。在判定接收到会员注册请求的情况下,作为响应处理,分发服务器设备3执行步骤S302的会员注册处理。
在会员注册处理中,例如,向发送了请求的其他信息处理装置发送用于会员注册的网页数据。于是,在其他信息处理装置中显示用于会员注册的网页。
此外,在会员注册处理中,执行接收在其他信息处理装置中输入的会员信息,并确认输入的信息是否不完整的处理,在确认输入的信息不完整的情况下提示重新输入的处理,在输入的信息没有问题的情况下将新会员信息登记在会员数据库中的处理等。
此外,在会员注册处理中,还执行发布ID和密码以便进行用于启用各种服务的登录的处理等。
在执行步骤S302的处理之后,分发服务器设备3再次返回到步骤S301的处理。
当在步骤S301,判定没有接收到会员注册请求时,分发服务器设备3在步骤S303,判定是否接收到锦标赛报名请求。在判定接收到锦标赛报名请求的情况下,作为响应处理,分发服务器设备3执行步骤S304的锦标赛报名处理。
在锦标赛报名处理中,例如,向接收到请求的其他信息处理装置发送用于进行竞赛报名申请的网页数据。于是,在其他信息处理装置上显示用于申请锦标赛报名的网页。
在用于进行锦标赛报名申请的网页中,例如,选择作为报名对象的锦标赛的操作,或者输入要报名参加的选手姓名、选手ID等的操作是可能的。分发服务器设备3接收输入的各项信息,并通过将信息登记在管理参加锦标赛的选手的数据库中来完成锦标赛报名。
此外,在由于成绩等而无法进行锦标赛的报名的情况下,向其他信息处理装置发送用于通知无法进行报名的网页数据。
在执行步骤S304的处理之后,分发服务器设备3再次返回到步骤S301的处理。
当在步骤S303,判定没有接收到锦标赛报名请求时,分发服务器设备3在步骤S305,判定是否接收到分发内容发送请求。在判定接收到分发内容发送请求的情况下,作为响应处理,分发服务器设备3执行步骤S306的分发内容发送处理。
参考图9说明分发内容发送处理的例子。
在步骤S401,分发服务器设备3判定请求分发内容的发送的用户是否处于登录状态。
在用户不处于登录状态的情况下,在步骤S402,分发服务器设备3执行登录处理。
在登录处理中,从发出请求的用户所使用的其他信息处理装置接收ID和密码,并与存储在登录用数据库中的信息进行对照,以判定是否允许登录。
将是否允许登录发送到发出请求的其他信息处理装置。于是,在其他信息处理装置中显示登录成功/失败信息。
在登录处理正常结束之后,或者当在步骤S401,判定用户是已处于登录状态的用户时,在步骤S403,分发服务器设备3接收分发内容选择信息。分发内容选择信息是用于从多个分发内容中选择一个分发内容的信息,并且例如是由用户指定的关于针对其期望发送分发内容的选手、锦标赛和比赛的信息。
在接收到分发内容选择信息之后,在步骤S404,分发服务器设备3执行获取指定的分发内容的公开范围信息的处理。公开范围信息例如是与分发内容关联地存储在数据库中的信息。
在步骤S405,分发服务器设备3判定是否可以发送指定的分发内容。是否允许发送的判定是基于发出发送请求的请求用户和公开范围信息来进行的。例如,在发出分发请求的用户是选手本人的情况下,则假设请求用户包含在公开范围内,允许分发内容的发送。
此外,在请求用户是选手的家庭成员,并且由于公开范围还包括该家庭成员而被允许的情况下,允许分发内容的发送。
另一方面,在请求用户是除选手以外的人,并且公开范围只包括选手本人或者最多包括其团队的情况下,则假设请求用户不包含在公开范围内,从而不允许分发内容的发送。
注意,在公开范围是所有用户的情况下,则允许分发内容的发送,而不管请求用户是谁。
在允许分发内容的发送的情况下,在步骤S406,分发服务器设备3发送分发内容。另一方面,在不允许分发内容的发送的情况下,在步骤S407,分发服务器设备3进行向发出请求的信息处理装置发送分发内容的发送不被允许的事实的处理。
说明返回到图8。
在步骤S306执行分发内容发送处理之后,分发服务器设备3返回到步骤S301的处理,并判定是否接收到各种请求。
在判定没有接收到分发内容发送请求的情况下,在步骤S307,分发服务器设备3判定是否接收到指导信息发送请求。在判定接收到指导信息发送请求的情况下,作为响应处理,分发服务器设备3执行步骤S308的指导信息发送处理。
参考图10说明指导信息发送处理的例子。
在步骤S501,分发服务器设备3判定请求指导信息的发送的用户是否处于登录状态,并根据需要执行步骤S502的登录处理。这些处理类似于图9中的步骤S401和S402的处理。
在登录处理正常结束的情况下,或者当在步骤S501,判定用户是已处于登录状态的用户时,在步骤S503,分发服务器设备3接收用于选择指导信息的类型的指导信息选择信息。该信息是用于指定用户期望的教导信息的信息,是至少包括锦标赛名称、比赛名称、选手姓名等用于指定目标表现的信息。
此外,指导信息选择信息可以包括用于指定用户从诸如出发时的入水位置、呼吸的次数、划水的次数、踢水的次数、为了转身而开始伸手的时机、转身的开始位置、以及游泳速度的变化之类的各个项目中选择的项目的信息。
通过接收这些指导信息选择信息,分发服务器设备3可以掌握要从多个指导信息当中发送哪些信息。
在步骤S504,分发服务器设备3基于在步骤S503接收的信息获取指导信息。
随后,在步骤S505,分发服务器设备3发送指导信息。
注意,可以在指导信息中设定公开范围。在这种情况下,在步骤S503之后,只需要执行判定是否可以发送指定的指导信息的处理,例如,图9中的步骤S404和S405的处理。然后,只有在判定可以发送的情况下,才需要执行步骤S504和步骤S505的处理。
说明返回到图8。
在执行步骤S308的指导信息发送处理之后,分发服务器设备3再次返回到步骤S301的处理。
在步骤S309,判定没有接收到指导信息发送请求的分发服务器设备3判定是否接收到报名信息请求。报名信息的请求例如由预定参加锦标赛的选手发出,是发送与预定参加的锦标赛有关的各种信息等的请求。
在判定接收到报名信息请求的情况下,在步骤S310,分发服务器设备3执行报名信息发送处理。报名信息发送处理是按照发出请求的用户将必要的信息发送到其他信息处理装置的处理。注意,从个人信息保护的角度来看,可以限制报名信息的发送对象。在这种情况下,当从非目标用户接收到发送请求时,不发送报名信息。
在接收到报名信息请求或者判定没有接收到报名信息请求之后,分发服务器设备3返回到步骤S301的处理。
分发服务器设备3反复执行图8中图解所示的步骤S301、S303、S305、S307和S309的各个处理,以判定是否从其他信息处理装置接收到各种请求,并适当地执行响应处理。
注意,除了图8中图解所示的之外,还可以监视选手信息的变更请求的接收,以及退出请求的接收。
<5.直播分发>
分发服务器设备3可以具有在锦标赛当天进行直播分发(流式分发)的功能。在这种情况下,参考图11说明分发服务器设备3为了直播分发而执行的处理的例子。
在步骤S601,分发服务器设备3判定请求直播分发的用户是否处于登录状态,然后在步骤S602,分发服务器设备3适当地进行登录处理。这些处理类似于图9中的步骤S401和S402的处理。
在请求用户进入登录状态之后,在步骤S603,分发服务器设备3接收选手选择信息。选手选择信息是用于从当前竞赛中的选手当中选择期望进行直播分发的选手的信息,例如由请求用户指定。
在接收到选手选择信息之后,在步骤S604,分发服务器设备3进行组合捕捉图像数据的处理。于是,例如,生成如图4和5中图解所示的合成图像数据。
在步骤S605,分发服务器设备3将组合的图像数据分发给各个用户。分发对象终端例如是请求用户所使用的团队终端4或个人终端5。
在步骤S606,分发服务器设备3判定是否结束直播分发。直播分发例如在竞赛结束时结束。或者,直播分发在用户进行用于结束分发的操作时结束。
在不结束直播分发的情况下,分发服务器设备3再次执行步骤S604和S605的各个处理。
例如,对于捕捉图像数据中的每一帧执行步骤S604和S605的处理。
另一方面,在判定要结束直播分发的情况下,在步骤S607,分发服务器设备3执行结束直播分发的处理。
注意,对于直播分发,可取的是使用与诸如第四代(4G)之类的线路相比,能够进行高速、大容量、低延迟和其他连接通信的诸如第五代(5G)之类的线路。于是,可以进行舒适的观看。
此外,在一些情况下,优选的是向竞赛场馆内的用户进行直播分发。例如,在竞赛期间在安装在场馆内的大型监视器上经常显示顶尖选手,与其他选手相关的人员无法看到他想要看到的图像。于是,可以想到的是用肉眼观看想要观看的选手的竞赛,但是可能由于与该选手的距离较远而难以观看,或者在游泳竞赛的情况下,可能由于溅起的水花等的影响而难以观看。在这点上,可以想到的是也向竞赛场馆内的用户进行直播分发。
在只对场馆内的用户进行直播分发的情况下,优选的是使用在限定的范围内,比如在场馆内构建的本地5G(专用5G)线路、本地4G/LTE(专用4G/LTE)线路等。于是,可以在不使用通信运营商的网络的情况下进行高速且安全的分发。
注意,对于直播分发,针对每位选手发送不同的捕捉图像数据和合成图像数据,不过可以限制分发对象。例如,可以只将某位选手的合成图像数据分发给家庭成员。在这种情况下,在步骤S603接收到分发的选手的选择信息之后,可以执行判定当前登录的用户是否适合作为分发对象的处理,只有在判定当前登录的用户是适合的的情况下,才执行步骤S604及之后的各个处理。
<6.变形例>
<6-1.捕捉图像数据的编辑例子的第一变形例>
尽管参考图4和5说明了捕捉图像数据的编辑例子,不过这里将参考图12说明另外的编辑例子。
在图12中,用于指示目标记录或参考记录的图像G1叠加显示在通过以推进模式对选手成像而获得的图像上。图像G1是用于指示目标记录或参考记录的线条,并显示在被摄体的选手的前进方向的前方、后方等处。或者,作为图像G1,也可以使用指示在比赛中处于最前面位置进行竞赛的选手的位置的线条。
在图12中图解所示的例子中,在选手的前方显示作为指示选手的目录记录的图像G1的线条,浏览该分发内容的用户通过检查图像G1和选手之间的位置关系,能够了解选手在目标记录的后面。
为了叠加图像G1,首先,需要计算图像G1的叠加位置。具体地,根据诸如目标记录或参考记录之类记录的一次来回所用时间或终点时间、作为被摄体的选手的当前位置、以及从出发开始过去的时间,计算图像G1的重叠位置。于是,例如,计算出在作为被摄体的选手前面1m的位置作为叠加位置。
接下来,掌握图像中的哪个位置是前面1m的位置。为了计算图像的叠加位置,例如,可以使用从捕捉该捕捉图像的成像设备7获取的信息,或者可以进行图像分析。
这样,计算出图像G1的叠加位置。
将通过叠加图像G1而生成的图像作为图像内容提供给用户。例如,在图9的分发内容发送处理中,用户可以选择其中如本例中那样叠加显示了图像G1的分发内容。此外,在图10中图解所示的指导信息发送处理中,用户可以选择其中如本例中那样叠加显示了图像G1的图像内容作为指导信息。
或者,在图11的直播分发处理中,可以实时分发上面叠加了图像G1的内容。
注意,在图12中,说明了其中在通过以推进模式对选手成像而获得的图像上叠加图像G1的例子,不过,图像G1可以叠加显示在图4的第一区域AR1或图5的第一区域AR1中显示的通过对整个游泳池成像而获得的图像上。当然,图像G1可以叠加在第一区域AR1中显示的通过对整个游泳池成像而获得的图像和在第二区域AR2中显示的选手的推进图像两者之上。此外,首先,将图像G1叠加在第二区域AR2中显示的选手的推进图像上,但是在选手的当前位置和基于参考记录或目标记录的位置彼此偏离,使得图像G1无法叠加在第二区域AR2中显示的推进图像上的情况下,图像G1可以被切换成叠加在第一区域AR1中显示的整体图像上。
注意,代替叠加用于指示目标记录或参考记录的图像G1,可以显示多个图像。例如,可以组合图像,使得并排显示通过对选手在达到个人最好成绩时的游泳成像而获得的捕捉图像数据,和同一选手的本次比赛的捕捉图像数据。于是,可以发现呼吸时机的差异和手划水时机的差异。
当然,可以组合图像,使得并排显示其他选手的捕捉图像数据。例如,可以产生这样的构成,使得通过组合通过对某位选手的游泳进行成像而获得的捕捉图像数据和通过对世界顶尖游泳运动员的游泳进行成像而获得的捕捉图像数据,来获得关于所述某位选手的指导信息。
<6-2.捕捉图像数据的编辑例子的第二变形例>
在上述各个例子中,说明了其中例如通过使用从安装在场馆中的成像设备7获取的捕捉图像数据来生成图4和5中图解所示的图像内容的例子。
在本变形例中,将说明其中通过使用由用户个人拥有的成像设备捕捉的捕捉图像数据来生成图像内容的例子。
图13图解说明由分发服务器设备3执行的处理的例子。
在步骤S701,分发服务器设备3判定是否接收到分发内容生成请求。该请求是请求使用由用户个人捕捉的捕捉图像数据的分发内容的生成。
在没有接收到请求的情况下,分发服务器设备3再次执行步骤S701的处理。
另一方面,在判定接收到这样的分发内容生成请求的情况下,在步骤S702,分发服务器设备3获取由用户捕捉的捕捉图像数据。于是,诸如发送了请求的个人终端5之类的信息处理装置进行将捕捉图像数据上传到分发服务器设备3的处理。注意,可以连同步骤S701的请求接收一起获取捕捉图像数据。
接下来,在步骤S703,分发服务器设备3获取用于指定对象比赛的信息。该信息例如在用户进行选择对象比赛的操作时,从个人终端5等发送到分发服务器设备3。注意,代替从分发服务器设备3接收,该信息可以通过分析包含在上传的捕捉图像数据中的元数据等来获得。具体地,可以根据成像日期和时间或全球定位系统(GPS)信息来指定对象锦标赛或比赛。
在步骤S704,分发服务器设备3获取对象比赛的整体图像。整体图像是从安装在场馆中的成像设备7获取的捕捉图像数据当中,关于在步骤S703指定的对象比赛的捕捉图像数据,例如是通过对整个游泳池成像而获得的图像。
在步骤S705,分发服务器设备3进行同步处理。当用于生成分发内容的各个捕捉图像数据是从设置在场馆中的成像设备7获取的时,可以通过例如匹配成像设备7的时间信息来使捕捉图像数据同步。然而,在本例中,至少一部分的捕捉图像数据由用户个人捕捉,并且成像设备彼此不同步。
于是,需要步骤S705的同步处理。
在同步处理中,可以想到的是通过对获取的各个捕捉图像数据进行图像分析,根据被摄体的特征动作或水花,或者观众或安排在游泳池边的工作人员等的动作,提取并同步被认为是同一场景的定时。
或者,在各个捕捉图像数据中包含音频数据的情况下,可以通过分析音频数据来进行同步。
在进行各个捕捉图像数据的同步处理之后,在步骤S706,分发服务器设备3获取文本信息。该处理是与图6中的步骤S104的处理相类似的处理。
在步骤S707,分发服务器设备3进行组合处理。该组合处理基于在步骤S705中进行的同步处理的处理结果来进行。即,例如,进行组合处理,使得彼此同步地显示在图4或5中图解所示的第一区域AR1中显示的捕捉图像数据和在第二区域AR2中显示的捕捉图像数据。
通过执行图13中图解所示的一系列处理,分发服务器设备3可以生成其中使由个人成像的捕捉图像数据与由官方成像的捕捉图像数据等同步的分发内容
<7.总结>
如使用各个例子所述,分发服务器设备3包括内容生成单元(内容管理单元14),所述内容生成单元通过组合由第一成像设备(成像设备7)捕捉的第一图像和由第一成像设备(成像设备7)或其他成像设备(可以是个人终端5等)捕捉的第二图像来生成显示内容(分发内容),所述第二图像将第一图像的被摄体的一部分作为被摄体。
在对多个被摄体成像的情况下,存在同时记录每个被摄体的图像或视角改变的图像的需求,或者浏览的需求。
例如,在游泳图像的情况下,每个被摄体的图像是在第一泳道竞赛的选手和在第八泳道竞赛的选手各自的推进图像等。
此外,例如,在比赛图像的情况下,视角改变的图像是通过对整个比赛进行成像而获得的视角、用于只对参加比赛的一位选手进行成像的视角等。
然而,由于成像环境和摄影者的不足,将这样的多种类型的图像留存为记录图像来对个人用户来说是很困难的。
按照上述各种构成,生成其中组合通过捕捉整个比赛而获得的官方比赛图像和由个人成像的一位选手的比赛图像的显示内容,从而不需要个人同时准备用于对整个比赛进行成像的器材和用于对要成像的选手进行成像的器材。此外,在对于要成像的选手的图像准备了官方图像的情况下,不需要由个人进行成像,从而可以提高便利性。
此外,在通过捕捉整个比赛而获得的官方比赛图像具有足够高的分辨率的情况下,通过从整体图像进行剪切可以生成要捕捉的选手的推进图像。于是,可以尽可能减少必要的成像器材,有助于降低成本。
此外,通过组合整体图像和选手个人的图像,可以掌握选手个人的特征、改进点等,这可以用于提取指导信息。
分发服务器设备3可以包括发送处理单元(分发控制单元19),所述发送处理单元发送显示内容。
于是,可以将通过组合第一图像和第二图像而获得的显示内容(例如,图4或5中图解所示的分发内容)发送到用户终端等。
如在捕捉图像数据的编辑例子的第二变形例中所述,分发服务器设备3可以包括同步处理单元17,同步处理单元17进行使第一图像和第二图像同步的同步处理。
于是,即使当以不同的视角捕捉第一图像和第二图像时,也可以掌握时间关系。
例如,在比赛图像等中,使整体图像和选手个人的图像同步,使得可以容易地掌握选手在整个比赛中的位置等。
如在捕捉图像数据的编辑例子(图4和5)中所述,显示内容(分发内容)可以包括叠加信息。
叠加信息例如是字符(文本)信息、图像信息等。
当通过在第一图像和第二图像的组合上叠加字符信息和图像信息来生成显示内容时,可以增加包含在显示内容中的信息量,从而可以更深刻地了解该内容的内容。
如在捕捉图像数据的编辑例子(图5)中所述,叠加信息可以是关于第一图像或第二图像的说明信息。
例如,在比赛图像的情况下,说明信息是举办日期和时间、举办地点、比赛名称、参赛者姓名等。
通过叠加显示这些信息,例如,即使在存在相似显示内容时,也可以容易地掌握捕捉的内容。
如在捕捉图像数据的编辑例子的第一变形例中所述,叠加信息可以是关于第二图像的被摄体的比较信息。
比较信息例如是指示与作为第二图像的被摄体的选手的目标记录的差异的信息(例如,图像G1)。具体地,比较信息是指示被摄体领先于或落后于目标记录多少的信息。
通过叠加显示这样的信息,可以掌握在场馆中不知道的选手的节奏分配等。
如在捕捉图像数据的编辑例子的第一变形例中所述,比较信息可以是指示第二图像的被摄体的成绩的信息。
第二图像的被摄体的成绩例如是第二图像的被摄体的选手本人的过去记录。
即,可以通过图像比较过去的个人最好成绩记录和当前记录。此外,例如,通过叠加显示诸如指示个人最好成绩的记录的线条之类的图像,可以直观地掌握比赛中优秀的部分和较差的部分,这可以用于今后的训练等。
如在捕捉图像数据的编辑例子的第一变形例中所述,比较信息可以是指示除第二图像的被摄体以外的人物(例如,世界顶尖游泳运动员)的成绩的信息。
除第二图像的被摄体以外的人物的成绩例如是参加同一比赛的其他选手当中成绩最好的选手的记录。或者,成绩可以是诸如日本记录或世界记录之类的成绩等。
于是,可以比较选手的目标成绩和本次比赛的成绩。特别地,如上所述,通过进行基于目标记录的线条显示等,可以直观地掌握选手的弱点等。
如在指导信息提取处理中所述,可以设置分析处理单元16,分析处理单元16进行关于第二图像的被摄体的图像分析,并提取影响第二图像的被摄体的成绩的特征量,叠加信息(例如,在第三区域AR3中显示的文本信息)可以是与特征量有关的信息。
例如,在游泳的情况下,影响第二图像的被摄体的成绩的特征量是呼吸的次数或频率、手划水的次数、呼吸的次数等。
通过提取、叠加并显示影响成绩的特征量,可以更细致地分析选手的动作,从而可以获得用于提高成绩的指导信息。
如在诸如分发内容发送处理(图9)之类的各个例子中所述,可以设置认证处理单元18,认证处理单元18基于接收的用户信息进行用户认证,发送处理单元(分发控制单元19)可以基于认证结果来选择并发送显示内容(分发内容)。
显示内容是包括个人信息的图像内容。这样的内容只有在用户认证成功的情况下才发送。
于是,可以保护个人信息。
如在分发内容发送处理(图9)中所述,可以设置内容管理单元14,内容管理单元14针对每个显示内容(分发内容)设定公开范围。
取决于被摄体的选手,显示内容可以有或者可以没有浏览限制。
由于可以设定公开范围,因此可以考虑到用户的意图进行内容管理。
如在分发内容发送处理(图9)中所述,可以设置认证处理单元18,认证处理单元18基于接收的用户信息进行用户认证,发送处理单元(分发控制单元19)可以基于认证结果和公开范围来发送显示内容(分发内容)。
例如,通过用户认证来指定用户,并基于在显示内容中设定的公开范围来判定是否接受用户的请求。
于是,可以进行与用户的意图相应的内容管理,并适当地分发内容。
如在捕捉图像数据的编辑例子的第二变形例(图13)中所述,在同步处理单元17进行的同步处理中,可以进行第一图像(例如,在第一区域AR1中显示的图像)和第二图像(例如,在第二区域AR2中显示的图像)之间的图像比较。
例如,在第一图像和第二图像是运动图像的情况下,通过部分相互比较两个图像来计算一致度,进行同步处理。
于是,即使时间戳信息不与图像关联,也可以使两个图像同步。此外,即使时间戳信息与图像关联,在图像由不同步的成像设备捕捉的情况下,也难以根据时间戳信息使两个图像同步。即使在这种情况下,按照本构成,也可以通过图像处理来搜索匹配点,并使匹配点同步。
如在直播分发(图11)中所述,发送处理单元(分发控制单元19)可以进行流式分发。
例如,通过组合通过在竞赛中以俯瞰方式捕捉整体图像而获得的官方第一图像和聚焦于特定选手的官方第二图像,进行流式分发。
此外,通过使第二图像对于每位选手不同,流式分发对于每位选手不同的显示内容。于是,可以在期望的图像对每个用户来说不同的情况下,流式分发适合于每个用户的显示内容。
如上所述,在直播分发中可以使用5G/本地5G(或本地4G/LTE)线路。在这种情况下,可以使用其中将网络虚拟化,对网络资源进行分割(切片),并按照要传送的信息的用途和优先级恰当地使用切片的网络切片技术。
具体地,例如,分发服务器设备3经由安装在场馆内,在场馆内构建本地5G通信环境,并控制通信的基站,向要分发给的各个终端分发各种数据和图像数据。在这种情况下,例如,各个终端可以进行组合图像数据,或者将各种数据叠加在图像数据上的处理。
此时,分发服务器设备3按照要分发的数据的用途和特性,生成用于指定要分配的切片的信息,并且将数据和用于指定信号要被分配给的切片的信息(元数据)相互关联地发送到基站。
基站将各个接收数据分配给由各个元数据指定的切片,并通过使用分配的切片将各个数据发送到要分发给的各个终端。
这里,作为切片分配的例子,可以想到的是将优选无延迟地观看的图像数据分配给用于低延迟发送的切片。此外,在诸如主要进行视觉比赛观看的情况之类的允许图像数据的延迟的情况下,例如,可以想到的是将图像数据分配给用于大容量发送的切片,而将优选及时掌握的叠加在图像数据上的各种信息(例如,诸如一次来回所用时间之类的进展信息)分配给用于低延迟发送的切片。
注意,在上述例子中,作为例子说明了游泳比赛,不过也可以将其他竞赛作为对象。例如,对象可以是诸如100m短跑或110m跨栏之类的田径竞赛,或者可以是诸如花样游泳之类的团体竞赛。此外,除了竞赛之外,本发明也可以应用于管乐队演奏会、管弦乐队演奏会等。
具体地,在团体竞赛的情况下,通过对团体的所有成员进行成像而获得的捕捉图像数据可以用作整体图像,通过以推进模式对成员中的一个竞赛者进行成像而获得的捕捉图像数据可以用作推进图像,并且可以组合捕捉图像数据来生成分发内容。
或者,在管乐队演奏会的情况下,通过对所有演奏者进行成像而获得的捕捉图像数据可以用作整体图像,通过以推进模式对演奏者中的一个演奏者进行成像而获得的捕捉图像数据可以用作推进图像,并且可以组合捕捉图像数据来生成分发内容。
即,在多人进行的表演或竞赛中,可以应用上述各种构成。
按照实施例的程序是用于例如使CPU、DSP等,或者包括CPU或DSP的设备执行在图6、7、8、9、10、11和13每一个中图解说明的各个处理的程序。
即,按照实施例的程序使分发服务器设备3的控制单元执行生成处理,所述生成处理通过组合由第一成像设备捕捉的第一图像和由第一成像设备或其他成像设备捕捉的第二图像来生成显示内容,所述第二图像将第一图像中的被摄体的一部分作为被摄体。
通过这样的程序,可以实现上述的分发服务器设备3。
这样的用于实现分发服务器设备3的程序可以预先记录在作为内置于诸如计算机设备之类设备中的记录介质的HDD,具有CPU的微计算机中的ROM等中。
或者,程序可以临时或永久地存储(记录)在可移动记录介质中,比如软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用光盘(DVD)、蓝光光盘(注册商标)、磁盘、半导体存储器或存储卡。这样的可移动记录介质可以作为所谓的套装软件来提供。
此外,除了从可移动记录介质将这样的程序安装到个人计算机等之外,所述程序也可以经由诸如局域网(LAN)或因特网之类的网络从下载站点下载。
另外,这样的程序适合于实施例的分发服务器设备3的广泛提供。例如,当程序下载到诸如智能电话机或平板电脑之类的便携式终端设备,或者诸如移动电话机、个人计算机、游戏设备、视频设备或个人数字助手(PDA)之类具有摄像机功能的设备时,可以使智能电话机等起本公开的分发服务器设备3的作用。
注意,记载在本说明书中的效果仅仅是例子,并不受限制,可以提供其他效果。
<8.本技术>
(1)一种信息处理装置,包括:
内容生成单元,所述内容生成单元通过组合由第一成像设备捕捉的第一图像和由第一成像设备或其他成像设备捕捉的第二图像来生成显示内容,所述第二图像将第一图像中的被摄体的一部分作为被摄体。
(2)按照(1)所述的信息处理装置,还包括:
发送处理单元,所述发送处理单元发送显示内容。
(3)按照(1)或(2)所述的信息处理装置,还包括:
同步处理单元,所述同步处理单元进行使第一图像和第二图像同步的同步处理。
(4)按照(1)~(3)任意之一所述的信息处理装置,
其中显示内容包括叠加信息。
(5)按照(4)所述的信息处理装置,
其中叠加信息是关于第一图像或第二图像的说明信息。
(6)按照(4)或(5)所述的信息处理装置,
其中叠加信息是对于第二图像的被摄体的比较信息。
(7)按照(6)所述的信息处理装置,
其中比较信息是指示第二图像的被摄体的成绩的信息。
(8)按照(6)或(7)所述的信息处理装置,
比较信息是指示除第二图像的被摄体以外的人物的成绩的信息。
(9)按照(4)~(8)任意之一所述的信息处理装置,还包括:
分析处理单元,所述分析处理单元进行关于第二图像的被摄体的图像分析,并提取影响第二图像的被摄体的成绩的特征量,
其中叠加信息是与特征量有关的信息。
(10)按照(2)所述的信息处理装置,还包括:
认证处理单元,所述认证处理单元基于接收的用户信息进行用户认证,
其中所述发送处理单元基于认证结果来选择并发送显示内容。
(11)按照(2)所述的信息处理装置,还包括:
内容管理单元,所述内容管理单元针对每个显示内容设定公开范围。
(12)按照(2)所述的信息处理装置,还包括:
认证处理单元,所述认证处理单元基于接收的用户信息进行用户认证,
其中所述发送处理单元基于认证结果和公开范围来发送显示内容。
(13)按照(3)所述的信息处理装置,
其中在同步处理中,进行第一图像和第二图像之间的图像比较。
(14)按照(2)、(10)、(11)或(12)所述的信息处理装置,
其中所述发送处理单元进行流式分发。
(15)一种由信息处理装置执行的信息处理方法,所述方法包括:
通过组合由第一成像设备捕捉的第一图像和由第一成像设备或其他成像设备捕捉的第二图像来生成显示内容,所述第二图像将第一图像中的被摄体的一部分作为被摄体。
(16)一种程序,所述程序用于使信息处理装置执行:
生成处理,所述生成处理通过组合由第一成像设备捕捉的第一图像和由第一成像设备或其他成像设备捕捉的第二图像来生成显示内容,所述第二图像将第一图像中的被摄体的一部分作为被摄体。
附图标记列表
3 分发服务器设备
7 成像设备
14 内容管理单元
16 分析处理单元
17 同步处理单元
18 认证处理单元
19 分发控制单元(发送处理单元)。

Claims (16)

1.一种信息处理装置,包括:
内容生成单元,所述内容生成单元通过组合由第一成像设备捕捉的第一图像和由第一成像设备或其他成像设备捕捉的第二图像来生成显示内容,所述第二图像将第一图像中的被摄体的一部分作为被摄体。
2.按照权利要求1所述的信息处理装置,还包括:
发送处理单元,所述发送处理单元发送显示内容。
3.按照权利要求1所述的信息处理装置,还包括:
同步处理单元,所述同步处理单元进行使第一图像和第二图像同步的同步处理。
4.按照权利要求1所述的信息处理装置,
其中显示内容包括叠加信息。
5.按照权利要求4所述的信息处理装置,
其中叠加信息是关于第一图像或第二图像的说明信息。
6.按照权利要求4所述的信息处理装置,
其中叠加信息是对于第二图像的被摄体的比较信息。
7.按照权利要求6所述的信息处理装置,
其中比较信息是指示第二图像的被摄体的成绩的信息。
8.按照权利要求6所述的信息处理装置,
比较信息是指示除第二图像的被摄体以外的人物的成绩的信息。
9.按照权利要求4所述的信息处理装置,还包括:
分析处理单元,所述分析处理单元进行关于第二图像的被摄体的图像分析,并提取影响第二图像的被摄体的成绩的特征量,
其中叠加信息是与特征量有关的信息。
10.按照权利要求2所述的信息处理装置,还包括:
认证处理单元,所述认证处理单元基于接收的用户信息进行用户认证,
其中所述发送处理单元基于认证结果来选择并发送显示内容。
11.按照权利要求2所述的信息处理装置,还包括:
内容管理单元,所述内容管理单元针对每个显示内容设定公开范围。
12.按照权利要求11所述的信息处理装置,还包括:
认证处理单元,所述认证处理单元基于接收的用户信息进行用户认证,
其中所述发送处理单元基于认证结果和公开范围来发送显示内容。
13.按照权利要求3所述的信息处理装置,
其中在同步处理中,进行第一图像和第二图像之间的图像比较。
14.按照权利要求2所述的信息处理装置,
其中所述发送处理单元进行流式分发。
15.一种由信息处理装置执行的信息处理方法,所述方法包括:
通过组合由第一成像设备捕捉的第一图像和由第一成像设备或其他成像设备捕捉的第二图像来生成显示内容,所述第二图像将第一图像中的被摄体的一部分作为被摄体。
16.一种程序,所述程序用于使信息处理装置执行:
生成处理,所述生成处理通过组合由第一成像设备捕捉的第一图像和由第一成像设备或其他成像设备捕捉的第二图像来生成显示内容,所述第二图像将第一图像中的被摄体的一部分作为被摄体。
CN202080086211.5A 2019-12-20 2020-11-13 信息处理装置、信息处理方法和程序 Pending CN114793486A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-230431 2019-12-20
JP2019230431 2019-12-20
PCT/JP2020/042413 WO2021124750A1 (ja) 2019-12-20 2020-11-13 情報処理装置、情報処理方法、プログラム

Publications (1)

Publication Number Publication Date
CN114793486A true CN114793486A (zh) 2022-07-26

Family

ID=76477216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080086211.5A Pending CN114793486A (zh) 2019-12-20 2020-11-13 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US20220417618A1 (zh)
EP (1) EP4068762A4 (zh)
JP (1) JPWO2021124750A1 (zh)
CN (1) CN114793486A (zh)
WO (1) WO2021124750A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174824A (zh) * 2021-03-19 2022-10-11 阿里巴巴新加坡控股有限公司 视频生成方法及装置、宣传类型视频生成方法及装置
WO2023187929A1 (ja) * 2022-03-28 2023-10-05 日本電気株式会社 販売管理装置、販売管理方法、及び販売管理システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179908A (ja) * 2001-09-07 2003-06-27 Matsushita Electric Ind Co Ltd 映像配信装置および映像受信装置
CN101834999A (zh) * 2009-02-04 2010-09-15 索尼公司 视频处理装置、视频处理方法以及程序
US20180262708A1 (en) * 2015-05-18 2018-09-13 Lg Electronics Inc. Display device and control method therefor
JP2019013057A (ja) * 2018-10-29 2019-01-24 みこらった株式会社 スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末
US20190261027A1 (en) * 2018-02-16 2019-08-22 Sony Corporation Image processing apparatuses and methods

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2102442A1 (en) * 1992-11-20 1994-05-21 William Gobush Method and apparatus to determine object striking instrument movement conditions
US5697791A (en) * 1994-11-29 1997-12-16 Nashner; Lewis M. Apparatus and method for assessment and biofeedback training of body coordination skills critical and ball-strike power and accuracy during athletic activitites
US20020064764A1 (en) * 2000-11-29 2002-05-30 Fishman Lewis R. Multimedia analysis system and method of use therefor
JP2003018583A (ja) 2001-07-05 2003-01-17 Sony Corp 多視点任意選択型映像視聴システム、ストリームデータ合成装置、及び、合成ストリームデータ配信サーバ
US20040070691A1 (en) * 2002-10-11 2004-04-15 Akio Kojima Image processing method of sporting events
EP1654864A4 (en) * 2003-03-20 2009-05-27 Ge Security Inc SYSTEMS AND METHOD FOR MULTISTRIBBIT PROCESSING
US8754755B2 (en) * 2010-10-18 2014-06-17 John S. Lapides Athletic event timing and display systems
US10616663B2 (en) * 2012-07-02 2020-04-07 Russell Brands, Llc Computer-implemented capture of live sporting event data
US9409081B2 (en) * 2012-11-16 2016-08-09 Rovi Guides, Inc. Methods and systems for visually distinguishing objects appearing in a media asset
JP6056664B2 (ja) * 2013-06-04 2017-01-11 株式会社Jvcケンウッド 画像処理装置および撮像システム
US9589207B2 (en) * 2013-11-21 2017-03-07 Mo' Motion Ventures Jump shot and athletic activity analysis system
US10521671B2 (en) * 2014-02-28 2019-12-31 Second Spectrum, Inc. Methods and systems of spatiotemporal pattern recognition for video content development
EP3869469A1 (en) * 2014-07-28 2021-08-25 Panasonic Intellectual Property Management Co., Ltd. Augmented reality display system, terminal device and augmented reality display method
US10531137B1 (en) * 2015-12-31 2020-01-07 Mayfonk Athletic Llc Athletic telemetry system
JP6110968B1 (ja) * 2016-02-22 2017-04-05 株式会社Jストリーム コンテンツ付加情報提供システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179908A (ja) * 2001-09-07 2003-06-27 Matsushita Electric Ind Co Ltd 映像配信装置および映像受信装置
CN101834999A (zh) * 2009-02-04 2010-09-15 索尼公司 视频处理装置、视频处理方法以及程序
US20180262708A1 (en) * 2015-05-18 2018-09-13 Lg Electronics Inc. Display device and control method therefor
US20190261027A1 (en) * 2018-02-16 2019-08-22 Sony Corporation Image processing apparatuses and methods
JP2019013057A (ja) * 2018-10-29 2019-01-24 みこらった株式会社 スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末

Also Published As

Publication number Publication date
EP4068762A1 (en) 2022-10-05
JPWO2021124750A1 (zh) 2021-06-24
US20220417618A1 (en) 2022-12-29
WO2021124750A1 (ja) 2021-06-24
EP4068762A4 (en) 2023-02-01

Similar Documents

Publication Publication Date Title
US10182270B2 (en) Methods and apparatus for content interaction
JP7132730B2 (ja) 情報処理装置および情報処理方法
JP4185333B2 (ja) 映像配信装置および映像受信装置
CN114793486A (zh) 信息处理装置、信息处理方法和程序
RU2683499C1 (ru) Система автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов
CN114390193B (zh) 图像处理方法、装置、电子设备及存储介质
US20160367891A1 (en) System and Method for Positioning, Tracking and Streaming in an Event
JP4401220B2 (ja) ハイライトシーン抽出装置およびハイライトシーン配信システム
EP2407922B1 (en) Horse body information provision system, horse body still image data extraction method, horse body still image data extraction program, and computer-readable recording medium
JP2007089648A (ja) 競技情報の配信システム、携帯機器、配信方法、及びプログラム
US20230356082A1 (en) Method and apparatus for displaying event pop-ups, device, medium and program product
JP2001275101A (ja) 携帯型端末装置及び放送装置並びに情報提供システム
JP2006174124A (ja) 映像配信再生システム、映像配信装置及び映像再生装置
US10349001B1 (en) Venue based event capture organizational and distribution system and method
US20220226719A1 (en) System and method for bowling game through network interconnect
KR101943554B1 (ko) 스포츠 경기 정보 제공 방법 및 시스템
CN109361931A (zh) 一种赛事直播中进行提示的方法及系统
KR20230091747A (ko) 야구 경기의 스케줄링 정보를 통한 경기 영상 자동 획득 및 메이킹 시스템
JP6909513B2 (ja) スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末
CN110166825B (zh) 视频数据处理方法及装置、视频播放方法及装置
CN116234614A (zh) 通过可穿戴设备的逐场预测
CN113273171A (zh) 图像处理装置、图像处理服务器、图像处理方法、计算机程序和存储介质
CN108463997A (zh) 支持众包视频
JP6912750B1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2021065089A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination