CN110326302A - 信息处理设备、信息处理方法以及程序 - Google Patents

信息处理设备、信息处理方法以及程序 Download PDF

Info

Publication number
CN110326302A
CN110326302A CN201780087091.9A CN201780087091A CN110326302A CN 110326302 A CN110326302 A CN 110326302A CN 201780087091 A CN201780087091 A CN 201780087091A CN 110326302 A CN110326302 A CN 110326302A
Authority
CN
China
Prior art keywords
video
imaging
information
unit
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780087091.9A
Other languages
English (en)
Inventor
塚谷浩司
浅子祥宏
水落大
大石壮一郎
熊谷隆夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110326302A publication Critical patent/CN110326302A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

在用于将作为一系列捕获的运动图像中的部分的运动图像部分分发给用户的系统中,本发明通过便于运动图像部分的范围校正来减轻捕获运动图像的人上的负担。根据本技术的信息处理装置包括:信息获取单元,其获取与指定由图像捕获装置捕获的运动图像的部分范围作为要分发给用户的运动图像部分的入点和出点有关的信息;以及发送控制单元,其使由信息获取单元获取的与入点和出点有关的信息和捕获的运动图像被发送到外部装置。

Description

信息处理设备、信息处理方法以及程序
技术领域
本技术涉及信息处理设备、信息处理方法以及程序,尤其涉及适合于将通过多个成像装置的多个成像视频中的每一个的部分设置为给用户的分发对象视频的情况的技术。
背景技术
例如,如下面的专利文献1和2中所述,使用入点和出点进行编辑以切出视频的一部分。例如,关于要编辑的视频(素材视频),执行删除从入点到出点的范围之外的视频并且仅切出该范围中的视频部分的编辑。
注意,可以引用以下专利文献,例如,作为相关的传统技术。
引用列表
专利文献
专利文献1:日本专利申请公开No.2005-267677
专利文献2:日本专利申请公开No.2004-104468
发明内容
本发明要解决的问题
这里,作为视频分发服务之一,例如,可以想到在诸如实况屋(live house)的预定成像环境中对表演者进行成像,并且将通过成像获得的视频从服务器装置分发给表演者。
例如,实况屋中的表演活动通常采用多个表演者根据预定的时间表顺序地给出表演的形式。可以想到个体表演者将他/她自己的表演视频上载到所需的视频发布站点以执行他/她自己的推广等。因此,可以想到开发一种对整个表演活动进行成像,从成像视频中切出各个表演者的表演部分,并将切出的各个视频部分分发给对应表演者的终端的服务。
为了实现这种分发服务,可以想到在成像环境侧设置的终端装置为个体表演者的每个表演部分设置入点和出点,并将根据该入点和出点的切出视频部分发送到服务器装置。
然而,在切出视频部分被发送到服务器装置的情况下,难以校正视频部分的范围。例如,即使由于某个表演者的入点和出点设置不正确而导致表演部分的一部分丢失,校正也很困难,因为切出完成状态下的视频部分已经被发送到服务器装置。
在这种情况下,可以想到再成像,但是这给包括表演者在内的视频成像中涉及的人带来了沉重的负担。
此外,在种服务中,还可以想到使表演者能够进行编辑,作为给表演者的视频分发。特别地,在表演者想要创建他/她自己的推广视频的情况下,期望创建具有良好外观的视频,因此添加编辑功能是有效的。
然而,如果编辑的自由度增加太大,优先考虑视频的外观,则对用户的关于编辑工作的负担将增加,便利性受损,并且促进编辑功能的使用变得困难。
鉴于上述情况做出了本技术,并且首先,目的是促进视频部分的范围校正,以减少用于将一系列成像视频中的部分视频部分分发给用户的系统中的视频成像中涉及的人的负担。
此外,第二,本技术的目的是在防止编辑视频的外观减少的同时减少用户的关于编辑的负担,并且便于编辑功能的使用。
问题的解决方案
根据本技术的第一信息处理设备包括:信息获取单元,被配置为获取指定通过成像装置的成像视频中的部分视频部分的范围的入点和出点的信息;以及发送控制单元,被配置为执行将由所述信息获取单元获取的入点和出点的信息和成像视频发送到外部装置,从而使得根据入点和出点指定的视频部分被作为给用户的分发对象视频管理的控制。
如上所述,成像视频以及入点和出点的信息被发送到外部装置,从而即使入点或出点被设置为错误的位置,也可以对正确的视频范围执行校正。换句话说,防止了由于入点或出点的错误设置而导致再成像的发生。
在根据上述本技术的第一信息处理设备中,发送控制单元期望执行将通过多个成像装置的多个成像视频作为成像视频发送到外部装置的控制。
利用该配置,可以实现分发视点切换视频的系统。
在根据上述本技术的第一信息处理设备中,发送控制单元期望执行将视频部分和用于标识视频部分的视频部分标识信息相互关联地发送到外部装置的控制。
利用该配置,便于管理外部装置中的视频部分。
在根据上述本技术的第一信息处理设备中,信息获取单元期望获取用于标识视频部分将被分发到的对象者的对象者标识信息,并且发送控制单元期望执行将视频部分标识信息和对象者标识信息彼此相关联地发送到外部装置的控制。
利用该配置,可以在外部装置中管理视频部分和分发对象者之间的对应关系。
在根据上述本技术的第一信息处理设备中,信息获取单元期望获取多组入点和出点的信息作为入点和出点的信息,并针对每个视频部分获取对象者标识信息,其中多组入点和出点的信息分别指定成像视频中的多个不同的视频部分,并且发送控制单元期望对于已经获取了对象者标识信息的每个视频部分,执行将视频部分标识信息和对象者标识信息彼此相关联地发送到外部装置的控制。
利用该配置,视频部分每个与不同的对象者标识信息(用户标识信息)相关联并被发送到外部装置。
根据上述本技术的第一信息处理设备期望还包括信息显示控制单元,其被配置为在画面上显示表示成像视频中的视频部分的时间轴上的位置的视觉信息、用于指示成像视频中的时间轴上的位置的指针、用于指示由指针指示的位置作为入点的位置的入点指示操作符、以及用于指示由指针指示的位置作为出点的位置的出点指示操作符,并且所述信息显示控制单元期望使表示视觉信息中的视频部分的显示区域中靠近入点的区域的显示形式和靠近出点的区域的显示形式不同,并且期望使靠近入点的区域的显示形式与入点指示操作符的显示形式一致,使靠近出点的区域的显示形式与出点指示操作符的显示形式一致。
利用该配置,当执行入点或出点的校正操作时,可以清楚地显示在将指针定位在靠近入点的区域附近时操作入点指示操作符,以及在将指针定位在靠近出点的区域时操作出点指示操作符。
根据上述本技术的第一信息处理设备期望还包括输入表生成指示单元,其被配置为响应于对成像视频的出点的指示,执行关于与所指示的出点相对应的视频部分的购买信息输入表的生成指示。
利用该配置,生成购买信息输入表,并且即使在终止记录成像视频之前,用户也可以执行购买过程。
此外,根据本技术的第一信息处理方法包括通过信息处理设备执行:获取指定通过成像装置的成像视频中的部分范围作为要分发给用户的视频部分的入点和出点的信息的信息获取步骤;以及执行将通过所述信息获取步骤获取的入点和出点的信息和成像视频发送到外部装置的控制的发送控制步骤。
根据这种信息处理方法,可以获得与根据上述本技术的第一信息处理设备的效果类似的效果。
此外,根据本技术的第一程序是用于使计算机装置执行作为第一信息处理方法执行的处理的程序。
该程序实现了第一信息处理设备。
根据本技术的第二信息处理设备是如下信息处理设备,其包括:指示接受单元,被配置为接受成像视点的切换间隔的指示作为用于生成一个视点切换视频的指示,其中,在所述一个视点切换视频中,基于通过从不同成像视点对被摄体进行成像而获得的多个成像视频,随时间切换成像视点;以及随机选择单元,被配置为从所述多个成像视频中随机选择要在由所述切换间隔分割的视点切换视频的每个视频区间中使用的视频。
根据上述配置,由用户简单地指示成像视点的切换间隔来生成其中随时间随机切换成像视点的视点切换视频。
在根据上述本技术的第二信息处理设备中,指示接受单元期望接受要作为视点切换视频生成的视频的整个时间长度的指示,并且期望向用户呈现关于基于所指示的整个时间长度计算的切换间隔的信息。
利用该配置,可以向用户呈现根据视点切换视频的时间长度的适当的视点切换间隔。
在根据上述本技术的第二信息处理设备中,期望将声音信息附加到成像视频,并且指示接受单元期望向用户呈现关于基于声音信息的声音特性计算的切换间隔的信息。
利用该配置,可以向用户呈现根据与视点切换视频一起再现的声音信息的声音特性的适当的视点切换间隔。
在根据上述本技术的第二信息处理设备中,随机选择单元期望选择通过放大成像视频的部分像素区域而获得的放大的视频作为要在视点切换视频的各视频区间中使用的视频中的至少一个。
利用该配置,可以增加可切换视点的数量。
在根据上述本技术的第二信息处理设备中,随机选择单元期望随机选择是否使用放大的视频作为要在视点切换视频的每个视频区间中使用的视频。
利用该配置,成像视点的切换的随机性增加。
在根据上述本技术的第二信息处理设备中,指示接受单元期望接受随机选择单元对选择的重新执行指示。
重新执行要在每个视频区间中使用的视频的随机选择,使得可以重新生成根据用户意图的视点切换视频。
在根据上述本技术的第二信息处理设备中,指示接受单元期望接受指定除了所述多个成像视频之外的视频的指示,并且期望包括视频发送控制单元,其被配置为执行将所指示的视频以及随机选择单元的选择结果发送到外部装置的控制。
利用该配置,可以由外部装置生成其中任意视频被连接到视点切换视频的视频。
根据上述本技术的第二信息处理设备期望还包括:成像单元,被配置为对被摄体进行成像,并且指示接受单元期望从通过成像单元成像的视频中接受对要连接到视点切换视频的视频的指定指示。
例如,利用该配置,在获得其中任意视频被连接到视点切换视频的视频时,用户可以使用诸如智能电话的具有相机的移动终端容易地获得要连接的视频。
根据上述本技术的第二信息处理设备期望还包括:成像视频获取单元,被配置为从外部装置获取已经被应用了数据量减少处理的所述多个成像视频;以及视频显示控制单元,被配置为基于已经被应用了数据量减少处理的所述多个成像视频,根据随机选择单元的选择结果来执行视点切换视频的显示控制。
利用该配置,减少了信息处理设备中关于视点切换视频的显示的处理负荷。
此外,根据本技术的第二信息处理方法包括通过信息处理设备执行:接收成像视点的切换间隔的指示作为用于生成一个视点切换视频的指示的指示接受步骤,其中,在所述一个视点切换视频中,基于通过从不同成像视点对被摄体进行成像而获得的多个成像视频,随时间切换成像视点;以及从所述多个成像视频中随机选择要在由所述切换间隔分割的视点切换视频的每个视频区间中使用的视频的随机选择步骤。
根据这种信息处理方法,可以获得与根据上述本技术的第二信息处理设备的效果类似的效果。
此外,根据本技术的第二程序是用于使计算机装置执行作为第二信息处理方法执行的处理的程序。
该程序实现了第二信息处理设备。
发明效果
根据本技术,首先,用于将一系列成像视频中的部分视频部分分发给用户的系统便于视频部分的范围校正,从而减轻了视频成像中涉及的人的负担。
此外,第二,根据本技术,在防止编辑视频的外观的减少的同时减少了用户的关于编辑的负担,从而可以便于编辑功能的使用。
注意,这里描述的效果不必受限制,并且可以发挥本公开中描述的任何效果。
附图说明
图1是示出在实施例中前提的视频分发系统的示例的图。
图2是关于成像装置的成像操作的开始指示操作和初始章节标记的指示输入操作的画面转换的说明图。
图3是关于章节标记校正操作和成像视频上载操作的画面转换的说明图。
图4是关于成像视频的购买接受的操作的说明图。
图5是购买信息输入表的生成定时的说明图。
图6是示意性地示出在执行视点切换视频的购买的情况下成像视频的转换状态的图。
图7是示出该实施例中的计算机装置的硬件配置的框图。
图8是用于描述作为由控制终端实现的第一实施例的各种功能的功能框图。
图9是示出关于作为初始章节标记的入点和出点的指示操作接受的处理的流程图。
图10是示出关于初始章节标记校正操作接受的处理的流程图。
图11是示出关于实况ID和视频部分ID的生成的处理的流程图。
图12是示出关于视频部分的购买信息输入接受的处理的流程图。
图13是示出该实施例中的服务器装置执行的处理的流程图。
图14是示出在生成视点切换视频时关于视频编辑的画面示例的图。
图15是用于描述作为由用户终端实现的第一实施例的各种功能的功能框图。
图16是示意性地示出视点切换视频中的视频区间与成像视点(视点切换周期)的切换周期之间的关系的图。
图17是示出作为第一实施例的用户终端与图20一起执行的处理的流程图。
图18是用于描述根据第一实施例中的输入操作的处理(S504)的流程图。
图19是示出根据第一实施例中的输入信息的视点切换视频生成处理(S506)的示例的流程图。
图20是示出作为第一实施例的用户终端与图17一起执行的处理的流程图。
图21是示出由根据第二实施例的用户终端执行的处理的流程图。
图22是放大的视频的说明图。
图23是示出由根据第三实施例的用户终端执行的处理的流程图。
图24是示出根据附加视频的指示操作的画面显示的示例的图。
图25是示出作为第四实施例的用户终端与图26一起执行的处理的流程图。
图26是示出作为第四实施例的用户终端与图25一起执行的处理的流程图。
图27是示意性地示出手术室系统的整体配置的图。
图28是示出集中操作面板上的操作画面的显示示例的图。
图29是示出应用手术室系统的外科手术的状态的示例的图。
图30是示出图29中所示的相机头和CCU的功能配置的示例的框图。
图31是示出车辆控制系统的示意性配置的示例的框图。
图32是示出车辆外部信息检测单元和成像单元的安装位置的示例的说明图。
具体实施方式
在下文中,将参考附图以下面的顺序描述根据本公开的实施例。
<1.第一实施例>
[1-1.视频分发系统的配置概述]
[1-2.视频分发系统的操作概述]
[1-3.计算机装置的硬件配置]
[1-4.控制终端的功能]
[1-5.控制终端、成像管理终端和服务器装置的处理]
[1-6.视点切换视频的生成]
[1-7.用户终端的功能]
[1-8.用户终端的处理]
[1-9.第一实施例的结论]
<2.第二实施例>
[2-1.用户终端的功能]
[2-2.用户终端的处理]
[2-3.第二实施例的结论]
<3.第三实施例>
[3-1.用户终端的功能]
[3-2.用户终端的处理]
[3-3.第三实施例的结论]
<4.第四实施例>
[4-1.用户终端的功能]
[4-2.用户终端的处理]
[4-3.第四实施例的结论]
<5.程序>
<6.修改>
<7.第一应用>
<8.第二应用>
<9.本技术>
<1.第一实施例>
[1-1.视频分发系统的配置概述]
图1示出了在实施例前提下的视频分发系统的示例。
视频分发系统至少包括每个装置,其包括在活动场所Si中设置的控制终端1、服务器装置9和用户终端10。例如,服务器装置9和用户终端10是设置有计算机并且能够经由诸如因特网的网络8彼此进行数据通信的装置。
活动场所Si在本示例中是实况屋。虽然省略了图示,但是作为实况屋的活动场所Si至少设置有作为表演者表演和唱歌的场所的舞台,以及作为观众等观看舞台上的表演者的场所的观看空间。
在活动场所Si中,多个成像装置2、为各个成像装置2设置的中继器3、路由装置4、成像管理终端5、存储装置6和线路终端装置7被设置为包括控制终端1。
每个成像装置2被配置为能够对视频进行成像的相机装置。成像装置2包括麦克风并且能够基于麦克风的声音收集信号生成具有声音信息的成像视频。
在本示例的活动场所Si中,设置至少三个成像装置2,并且每个成像装置2被安装在成像装置2可以对舞台进行成像的位置处。三个成像装置2具有不同的成像视点。成像装置2之一被放置在舞台的前面,另一个成像装置2被安装在舞台相对于前面的右侧,并且另一个成像装置2被安装在舞台相对于前面的左侧。成像装置2可以以前角、右角度和左角度对舞台上的表演者进行成像。
在下文中,以作为前角度的成像视点执行成像的成像装置2被描述为“第一相机”,以作为右角度的成像视点执行成像的成像装置2被描述为“第二相机”,并且以作为左角度的成像视点执行成像的成像装置2被描述为“第三相机”。
路由装置4被配置为例如无线局域网(LAN)路由器,并且具有实现在活动场所Si中内置的LAN中的装置之间的通信,并且实现在经由网络8连接到LAN和外部装置的装置之间进行通信的功能。本示例中的路由装置4具有LAN终端并且还支持使用LAN线缆的有线连接。
线路终端装置7例如是光网络单元(ONU:光线路终端装置),并且将从网络8侧输入的光信号转换为预定格式的电信号(数字信号)或将从路由装置4侧输入的电信号转换为光信号,并将转换后的信号输出到网络8侧。
中继器3连接到成像装置2和路由装置4,并且中继在成像装置2和路由装置4之间交换的信号。例如,基于成像装置2的成像视频的视频数据经由中继器3被传送到路由装置4。
控制终端1包括计算机装置,并且被配置为能够与连接到活动场所Si的LAN的外部装置执行数据通信。控制终端1例如是平板型信息处理终端,并且用作活动场所Si处的工作人员等的终端以执行关于使用成像装置2的视频成像的操作输入(例如,诸如成像的开始或终止的操作输入)。
在本示例中,控制终端1无线连接到路由装置4,但是与路由装置4的连接可以是有线连接。
存储装置6包括计算机装置并存储各种类型的信息。存储装置6连接到路由装置4并存储经由路由装置4输入的各种类型的信息,或者读出存储的信息并将读取的信息输出到路由装置4侧。
在本示例中,存储装置6主要用作用于存储通过成像装置2的成像视频(换句话说,记录成像视频)的装置。
成像管理终端5包括计算机装置,并且被配置为能够与连接到活动场所Si的LAN的外部装置执行数据通信,并且具有经由网络8与外部装置(尤其是服务器装置9)进行通信的功能。
成像管理终端5被配置为例如个人计算机,并且基于经由控制终端1的操作输入或使用连接到成像管理终端5的诸如鼠标的操作输入装置的操作输入,执行用于管理成像装置2的成像视频的各种类型的处理。各种类型的处理包括用于将由每个成像装置2成像并存储在存储装置6中的成像视频发送(上载)到服务器装置9的处理,以及与成像视频的购买有关的处理。
假设用户终端10作为本示例中在活动场所Si处实况表演的表演者使用的终端装置,并且被配置为诸如智能电话的信息处理终端。本示例中的用户终端10包括成像单元10a,所述成像单元10a对被摄体进行成像以获得成像视频。
在该实施例的视频分发系统中,每个成像装置2的成像视频被上载到服务器装置9,并且从服务器装置9向用户终端10分发基于上载的成像视频的视频。具体地,每个成像装置2的成像视频(即,基于在不同成像视点处成像的多个成像视频生成的视点切换视频)被分发到用户终端10。这将在下面再次描述。
注意,在图1中,假设了网络8的配置的各种示例。例如,包括因特网在内假设内联网、外联网、局域网(LAN)、社区天线电视(CATV)通信网络、虚拟专用网络、电话网络、移动通信网络、卫星通信网络等。
此外,假设用于配置网络8的全部或部分的传输介质的各种示例。例如,可以使用诸如电气和电子工程师协会(IEEE)1394、通用串行总线(USB)、电力线载波或者电话线的有线装置,诸如红外数据协会(IrDA)的红外装置,或诸如蓝牙(注册商标)、802.11无线、便携式电话网络、卫星链路或地面数字网络的无线装置。
[1-2.视频分发系统的操作概述]
接下来,将参考图2至6描述根据上述配置的视频分发系统中的操作的概述。
图2是关于成像装置2的成像操作的开始指示操作和初始章节标记的指示输入操作的画面转换的说明图。
如上所述,实况屋中的实况活动采取各个表演者根据预定的时间表顺序地进行表演(有时伴随着唱歌)的形式。在本实施例中,在各个表演者以这种方式顺序地进行表演的情况下,成像视频中的每个表演者的每个表演被作为入点和出点的章节标记分割,并且每个分割的视频部分被作为每个表演者的购买对象视频部分管理。
注意,这里提到的“每个表演者的表演部分”可以被重新描述为表演者正在表演的部分。例如,在表演者每一场表演播放多首歌曲的情况下,“每个表演者的表演部分”意味着从多首歌曲的播放开始到多首歌曲的播放结束的部分。
然而,在这种情况下,难以实时地(与成像并行地)严格分割每个表演者的表演部分。因此,本实施例使得能够在成像结束之后(记录结束之后)重新分配(修改)章节标记,并且实时将大致分划每个表演者的视频部分的章节标记分配为“初始章节标记”。
此时,对于作为素材(作为主体)的成像视频,成像开始定时(记录开始定时)被设置为充分在第一表演者的表演开始之前的定时并且成像结束定时(记录结束定时)被设定为充分在最后一个表演者的表演结束之后的定时,以便不引起必要部分的泄露。
将基于上述前提描述图2。
首先,在本示例中,假设活动场所Si处的工作人员在控制终端1上执行关于成像装置2的成像操作的操作(开始或终止的指示)以及初始章节标记指示输入操作。换句话说,图2所示的画面转换示出了控制终端1中的画面转换。
在本示例中的控制终端1中,安装了用于执行如图2所示的画面显示并接收操作输入的应用(应用程序)。在下文中,该应用被描述为“控制操作应用Ap1”。
在开始每个成像装置2的成像操作(成像视频的记录操作)时,活动场所Si处的工作人员对控制终端1执行操作输入以激活控制操作应用Ap1。然后,在控制终端1上显示如图2A所示的顶部画面G11。在顶部画面G11上,可以选择新的实况成像或实况列表。当选择实况列表时,显示记录在存储装置6中的成像视频的列表。
当选择新的实况成像时,显示图2B所示的状态画面G12。在状态画面G12上,显示因特网的连接状态、盘的剩余量(存储装置6的可存储容量)和每个成像装置2的当前成像图像作为相机图像。注意,图2示出了设置四个成像装置2的情况。在本示例中,静止图像被显示为相机图像,并且当操作图2中的“图像更新”按钮时,对每个成像装置2执行图像更新指示,并且将最新成像的图像传送到控制终端1以更新显示图像。
此外,在状态画面G12上,显示用于执行状态确认的完成的指示输入的“OK”按钮。
当操作“OK”按钮时,显示用于执行记录开始指示的“开始”按钮B1的开始操作画面G13,如图2C所示。当操作“开始”按钮B1时,控制终端1向成像管理终端5执行记录的开始指示。
成像管理终端5响应于记录的开始指示,执行将通过每个成像装置2的成像视频存储在存储装置6中的控制。也就是说,利用该控制,开始记录通过每个成像装置2的成像视频。
此外,当操作“开始”按钮B1时,在控制终端1上显示如图2D所示的开始后操作画面G14。“入点设置”按钮B2、“出点设置”按钮B3和“成像终止”按钮B4被显示在开始后操作画面G14上。
“入点设置”按钮B2和“出点设置”按钮B3是用于将章节标记作为上述初始章节标记分配给成像视频的按钮。每当表演者的表演部分开始和结束时,活动场所Si处的工作人员分别操作“入点设置”按钮B2和“出点设置”按钮B3,从而向控制终端1执行作为初始章节标记的入点和出点定时的指示输入。
此外,工作人员操作“成像终止”按钮B4,从而向控制终端1执行通过每个成像装置2的成像视频的记录终止的指示输入。控制终端1响应于指示输入向成像管理终端5执行记录的终止指示。
成像管理终端5响应于记录的终止指示,执行终止每个成像装置2的成像视频向存储装置6的记录操作的控制。
接下来,将参考图3描述关于章节标记校正操作和成像视频上载操作的画面转换。
图3A示出了章节标记校正操作画面G15的示例。
在本示例中,假设控制终端1接受章节标记校正操作和用于将记录的成像视频上载到服务器装置9的操作。具体地,在本示例中,这些操作接受功能在上面描述的控制操作应用Ap1中实现。
当试图校正记录的成像视频的章节标记时,工作人员执行操作输入以激活控制操作应用Ap1并在显示图2A所示的顶部画面G11的状态下选择实况列表,并响应于选择从显示的记录的成像视频的列表中选择对应的成像视频。
如图3A所示,在校正操作画面G15上显示关于成像视频的预览图像ip、表示整个成像视频的长度(时间长度)的全长条ba、表示通过章节标记(包括初始章节标记)分割并且在全长条ba中指示的视频部分的视频部分显示条bp、以及表示与全长条ba时间同步地附加到成像视频的声音信息的波形的波形信息aw。
此外,在校正操作画面G15上显示用于指示入点和出点的位置的滑块SL、用于选择视频部分作为要对章节标记进行校正的对象的对象选择按钮B5、用于执行将由滑块SL指示的位置设置为入点的指示的“入点设置”按钮B6、以及用于执行将由滑块SL指示的位置设置为出点的指示的“出点设置”按钮B7、以及用于确认入点和出点的“确认”按钮B8。
图3A示出了两组入点和出点被指定为初始章节标记、两个视频部分显示条bp被显示、以及用于分别选择第一视频部分和第二视频部分的按钮被显示为对象选择按钮B5的情况。
视频部分显示条bp根据包括初始章节标记的正在设置的章节标记显示视频部分。在图3A中,假设显示表示与设置的初始章节标记对应的视频部分的视频部分显示条bp。
在校正章节标记时,首先,操作滑块SL以指示时间轴上的位置(全长条ba上的位置)被设置为入点或出点。此时,作为预览图像ip,适当地显示成像视频中与滑块SL的指示时间对应的帧图像。显示可以允许用户容易地掌握视频上的位置。
注意,在本示例中,作为预览图像ip,使用来自通过成像装置2中的预定成像装置2(例如,作为用于以前角度进行成像的第一相机的成像装置2)的成像视频的提取图像。
例如,为了校正第一视频部分的入点,滑块SL被移动到与第一视频部分对应的视频部分显示条bp的开始位置附近(在所示示例中的左端附近),并且在适当地参考预览图像ip的同时搜索成像视频中的期望位置。
在用滑块SL指示成像视频中的特定位置之后,用对象选择按钮B5和“入点设置”按钮B6或“出点设置”按钮B7指示指示位置所要设置的任何视频部分的入点或出点。例如,为了将指示位置设置为第一视频部分的入点,操作对象选择按钮B5中描述为“1”的按钮,然后操作“入点设置”按钮B6。利用该操作,可以将由滑块SL指示的位置作为所选视频部分的入点位置指示给控制终端1。
通过如上所述操作滑块SL、对象选择按钮B5、“入点设置”按钮B6和“出点设置”按钮B7,可以执行对作为初始章节标记设置的入点和出点的重置,换言之,校正。注意,存在至少部分初始章节标记不需要校正的情况。在这种情况下,通过不对初始章节标记执行校正操作来按原样接管章节位置。
这里,由于本示例的校正操作画面G15显示波形信息aw,因此可以使用户容易地推断成像视频中正在播放的部分。
此外,在本示例的校正操作画面G15上,使表示视频部分的显示区域的视频部分显示条bp(即,靠近入点的区域和靠近出点的区域)在显示形式上不同。具体地,在本示例中,使两个区域在显示颜色上不同,将靠近入点的区域显示为红色,且将靠近出点的区域显示为蓝色。注意,从入点侧到出点侧的从红色到蓝色的颜色逐渐变化的渐变被应用于靠近入点的区域和靠近出点的区域之间的区域。
然后,在本示例中,在视频部分显示条bp中靠近入点的区域的显示形式和“入点设置”按钮B6的显示形式匹配(例如,显示颜色在红色上匹配)。此外,在视频部分显示条bp中靠近出点的区域的显示形式和“出点设置”按钮B7的显示形式匹配(例如,显示颜色在蓝色上匹配)。
利用该配置,在用滑块SL指示时间轴上的位置并且用“入点设置”按钮B6或“出点设置”按钮B7执行指示位置上的入点或出点的设置指示前提的情况下,可以防止用于章节标记设置的错误操作,诸如,尽管应该设置入点,但是错误地操作“出点设置”按钮B7。
活动场所Si处的工作人员在校正操作画面G15上根据需要校正初始章节标记。然后,当确认设置了章节标记位置时,工作人员操作“确认”按钮B8。
当操作“确认”按钮B8时,控制终端1发送入点和出点的确认信息,并且向成像管理终端5执行成像视频的上载指令。
成像管理终端5响应于上载指令执行将记录在存储装置6中的入点和出点的确认信息以及成像视频发送到服务器装置9的控制。
此外,当操作“确认”按钮B8时,控制终端1显示上载画面G16,如图3B所示。上载画面G16的显示指示正在将成像视频上载到用户。
接下来,将参考图4描述关于成像视频的购买接受的操作。
在本实施例的视频分发系统中,对应的成像视频被分发给已经执行购买过程的表演者。在本示例中,使用成像管理终端5执行成像视频的购买过程。
在本示例的成像管理终端5中,安装了用于执行如图4所示的画面显示并接受关于购买的操作输入的应用。以下,将该应用称为“购买操作应用Ap2”。在允许表演者执行购买过程时,活动场所Si的工作人员在成像管理终端5上激活购买操作应用Ap2。
图4A示出了响应于购买操作应用Ap2的激活而显示的实况列表画面G17。可购买的成像视频显示为实况列表画面G17上的实时ID列表。注意,尽管如下所述,实况ID是在开始记录成像视频时由成像管理终端5生成的标识信息,并且为每个成像视频分发不同的值。在本示例中的实况列表画面G17上,为了便于标识每个成像视频,与实时ID相关联地显示成像视频的记录开始日期和时间(在图4A中描述为“成像日期和时间”)。
当在实况列表画面G17上选择所需的成像视频时,显示如图4B所示的购买信息输入画面G18。在购买信息输入画面G18上,针对在实况列表画面G17上选择的成像视频显示在购买时要输入的每个项目的信息和“下一个”按钮B9。在本示例中,显示表演时间分割、相机数量和要购买的对象的项目信息作为每个项目的信息。
本示例的购买信息输入画面G18被配置为能够接受包括在成像视频中的每个视频部分的购买信息的输入。具体地,在这种情况下,在购买信息输入画面G18上显示用于选择每个视频部分的标签T。图3B示出了在实况列表画面G17上选择的成像视频中包括三个视频部分,并且显示用于单独选择视频部分的标签T1至T3的示例。在转换到购买信息输入画面G18的初始状态中,标签T1处于选择状态,并且第一视频部分的购买信息的输入可用,如图4B所示。
这里,作为关于表演时间分割的信息,例如,提供最多30分钟、30到60分钟和60分钟或更长的分割,并且应当选择对应于用标签T选择的视频部分的时间长度的分割。此外,在本示例中,可选择三个或四个作为相机的数量。例如,在第四相机(成像装置2)是用于对诸如乐队的鼓表演者的特定表演者进行成像的相机的情况下,对于省略特定表演者的乐队,第四相机图像是不必要的。在这种情况下,可以选择相机的数量。
此外,在本示例中,至少提供素材集和摘要的分割作为要购买的对象的项目。素材集是指所设置的对应的成像装置2的成像视频中的对应视频部分的规模。
摘要是指上述视点切换视频的规模。
注意,在本示例中,根据表演时间分割和相机数量的组合,采用对于要购买的每个对象具有不同购买价格的费用系统。换句话说,根据所选择的表演时间和相机数量的项目的状态,改变与要购买的对象相对应地显示的购买价格的显示内容。
在选择相应的标签T并选择相应视频部分的每个项目之后,工作人员或表演者操作“下一个”按钮B9。
响应于“下一个”按钮B9的操作,显示具有如图4C所示的“OK”按钮B10的购买确认画面G19,并且用户可以通过操作“OK”按钮B10操作“下一个”按钮B9向成像管理终端5指示关于在购买信息输入画面G18上选择的要购买的对象的购买确认。
响应于“OK”按钮B10的操作,显示如图4D所示的确认画面G20。
确认画面G20是提示作为购买者(表演者)的用户输入帐户信息或新注册帐户信息的画面。
在本示例的视频分发系统中,服务器装置9使购买者输入帐户信息或者使尚未注册帐户信息的购买者重新注册帐户信息,以使用户成为可标识的购买者。帐户信息例如是用户ID和密码的组合信息。
在确认画面G20上设置“OK”按钮B11,并且在输入或新注册帐户信息的情况下,用户操作“OK”按钮B11。
虽然省略了图示,但是例如响应于“OK”按钮B11的操作,显示用于选择帐户信息的输入或新注册的画面,并且在已经选择了帐户信息的输入的情况下显示帐户信息输入画面,并且在已经选择了帐户信息的新注册的情况下显示帐户信息新注册画面。在帐户信息输入画面上输入的帐户信息和在帐户信息新注册画面上注册的帐户信息与要购买的视频指定信息I1一起被发送到服务器装置9。注意,要购买的视频指定信息I1是由成像管理终端5根据关于图4B所示的购买信息输入画面G18的输入信息生成的信息,并且下面将描述细节。
注意,购买价格支付方法不受特别限制。
图5是购买信息输入表的生成定时的说明图。
购买信息输入表是用于显示图4B所示的购买信息输入画面G18的表格信息,并且在成像视频中存在多个视频部分的情况下为每个视频部分生成。
图5对比地示出了成像视频的记录示例和购买信息输入表的生成示例,并且示出了示例之间的关系。
在图5的记录示例中,在三个表演者A、B和C在实况活动中按顺序给出表演的情况下,针对表演者A、B和C的每个表演部分执行作为初始章节标记的入点和出点的指示。
在本示例中,成像管理终端5响应于对成像视频的初始出点的指示,生成对应于所指示的出点的视频部分的购买信息输入表。
具体地,观察图5中的表演者A,响应于对于表演者A的表演部分的初始出点的指示,生成通过初始出点分割的表演者A的视频部分的购买信息输入表。对于其他表演者B和C,响应于初始出点的指示,类似地为对应的视频部分生成购买信息输入表。
利用该配置,生成购买信息输入表,并且即使在终止记录成像视频之前,用户也可以执行购买过程。
因此,在轮到用户结束后,用户可以执行视频部分的购买过程而无需等到成像视频的记录结束,从而可以提高用户的便利性。
图6是示意性地示出在已经执行“摘要”的购买,换句话说,视点切换视频的购买的情况下的成像视频的转换状态的图。注意,图6示出了使用通过第一至第三相机的三个成像装置2的成像视频生成视点切换视频的示例。在这种情况下,假设三个表演者A至C的表演部分被记录为成像视频,并且表演者A购买了视点切换视频。
对于活动场所Si处的成像视频,使用控制终端1根据需要在初始章节标记指示和章节标记校正之后设置分割每个表演者的视频部分的入点和出点。注意,因为如上所述,在第一表演者(表演者A)的表演开始之前开始记录成像视频并且在最后表演者(表演者C)的表演结束之后终止,在第一个表演者的表演开始之前的准备状态等以及在最后一个表演者的表演结束之后的整理状态等可以记录在成像的视频中。
当如上所述指示上载成像视频时,成像装置2(在这种情况下为第一至第三相机)的成像视频以及入点和出点的信息被发送到服务器装置9。
如图6B所示,服务器装置9根据接收到的入点和出点的信息,切出每个成像视频中的每个视频部分。注意,图6B示出了已经执行了针对所有表演者A至C的视频部分的切出的示例。然而,对于尚未执行购买过程的表演者来说,视频部分的切出不是必需的。
这里,视频部分的切出可以被重新描述为作为独立的视频文件的视频部分的生成。
注意,本示例的服务器装置9对上载的成像视频执行同步处理(换句话说,视点处的视频的同步)等。然而,下面将描述服务器装置9的处理。
购买了“摘要”的表演者A使用用户终端10获得表演者A的表演部分的视点切换视频。
如图6C所示,通过组合由成像装置2成像的表演者A的视频部分的各个部分来生成视点切换视频。由此,实现了成像视点随时间切换的视频。
在本实施例中,基于用户终端10的用户的操作来执行视点切换视频的生成。下面将描述这种关于响应于操作的视点切换视频的生成的处理。
[1-3.计算机装置的硬件配置]
图7示出了配置控制终端1、成像管理终端5、服务器装置9和用户终端10中的每一个的计算机装置的硬件配置。
在图7中,计算机装置的中央处理单元(CPU)101根据存储在只读存储器(ROM)102中的程序或从存储单元108加载到随机存取存储器(RAM)103的程序执行各种类型的处理。此外,RAM103适当地存储CPU 101执行各种处理所需的数据等。
CPU 101、ROM 102和RAM 103经由总线104相互连接。输入/输出接口105也连接到总线104。
包括键盘、鼠标、触摸板等的输入单元106,包括显示器(显示装置)(包括液晶显示器(LCD)、阴极射线管(CRT)、有机电致发光(EL)面板等)和扬声器等的输出装置107、包括硬盘驱动器(HDD)、闪存装置等的存储单元108、以及用于与外部装置进行通信的通信单元109连接到输入/输出接口105。
这里,特别地,作为用户终端10的计算机装置包括被描述为输入单元106的成像单元10a。
此外,介质驱动器110根据需要连接到输入/输出接口105,并且适当地安装诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质111,并且执行从可移动介质111读取信息和向可移动介质111写入信息。
在这样的计算机装置中,可以通过通信单元109的通信来执行数据和程序的上载和下载,并且可以经由可移动介质111传送数据和程序。
当CPU 101基于各种程序执行处理操作时,特别是在作为控制终端1、成像管理终端5、服务器装置9和用户终端10的计算机装置中执行下面将描述的信息处理和通信。
注意,图1中所示的每个装置(诸如特别是服务器装置9)不限于如图7所示的单个计算机装置的配置,并且可以被配置为多个计算机装置的系统。多个计算机装置可以由LAN等系统化,或者可以使用因特网等通过VPN等远程定位。
[1-4.控制终端的功能]
将参考图8中的框图描述由控制终端1实现的作为第一实施例的各种功能。
在图8中,控制终端1可以表示为具有按功能划分的信息获取处理单元F1、发送控制处理单元F2、信息显示控制处理单元F3和输入表生成指示处理单元F4的控制终端。在本示例中,通过上述控制操作应用Ap1实现这些功能。
信息获取处理单元F1获取用于指定成像装置2的成像视频中的部分视频部分的范围的入点和出点的信息。这对应于获取作为上述初始章节标记的入点和出点的信息,以及在初始章节标记的校正时指示的入点和出点的信息。
发送控制处理单元F2执行将由信息获取处理单元F1获取的入点和出点的信息以及成像视频到服务器装置9的发送控制,使得根据入点和出点指定的视频部分被作为给用户的分发对象视频管理。
在本示例中,发送控制对应于控制终端1将确认的入点和出点信息发送到成像管理终端5的控制,并使成像管理终端5将记录在存储装置6中的成像视频信息以及入点和出点的确认信息发送到服务器装置9。
如上所述,成像视频以及入点和出点的信息被发送到服务器装置9,从而即使入点或出点被设置到错误的位置,也可以对正确的视频范围执行校正。换句话说,防止了由于入点或出点的错误设置而发生再成像。
因此,用于将一系列成像视频中的部分视频部分分发给用户的系统便于视频部分的范围校正,从而减轻了视频成像中涉及的人的负担。
本实施例中的发送控制处理单元F2执行将通过多个成像装置2将多个成像视频发送到服务器装置9控制。换句话说,如图6所示,发送控制处理单元F2执行将第一至第三相机的各个成像视频发送到服务器装置9的控制。
利用该配置,可以实现分发视点切换视频的系统。
此外,在图8中,信息显示控制处理单元F3在画面上显示表示成像视频中的视频部分的时间轴上的位置的视觉信息、用于指示成像视频中的时间轴上的位置的指针、用于指示由指针指示的位置作为入点位置的入点指示操作符、以及用于指示由指针指向的位置作为出点位置的出点指示操作符。
在本示例中,视觉信息对应于图3A中所示的全长条ba和视频部分显示条bp,并且指针、入点指示操作符和出点指示操作符分别对应于滑块SL、“入点设置”按钮B6和“出点设置”按钮B7。
然后,本实施例的信息显示控制处理单元F3在表示视觉信息中的视频部分的显示区域中使靠近入点的区域的显示形式和靠近出点的区域的显示形式不同,并且使靠近入点的区域的显示形式与入点指示操作符的显示形式匹配,并且使靠近出点的区域的显示形式与出点指示操作符显示区域匹配。
也就是说,在本示例中,如图3A所示,使视频部分显示条bp中靠近入点的区域和靠近出点的区域的显示颜色不同(例如,蓝色和红色),而将靠近入点的区域和“入点设置”按钮B6设置为相同的显示颜色(例如,红色),并且将靠近出点的区域和“出点设置”按钮B7设置为相同的显示颜色(例如,蓝色)。
利用该配置,防止了关于入点或出点的校正的错误操作。
输入表生成指示处理单元F4响应于对成像视频的出点的指示,执行关于与所指示的出点相对应的视频部分的购买信息输入表的生成指示。在本示例中,这对应于控制终端1响应于初始出点的指示操作将出点信息作为初始出点发送到成像管理终端5。
[1-5.控制终端、成像管理终端和服务器装置的处理]
将参考图9至13中的流程图描述第一实施例中的控制终端1、成像管理终端5和服务器装置9要执行的处理。
图9和10中所示的处理分别通过控制终端1的CPU 101根据作为上述控制操作应用Ap1的程序执行。在图9和10中,除非另有说明,否则术语“控制终端1”指的是控制终端1的CPU 101。
注意,当开始图9所示的处理时,假设已经显示了开始操作画面G13(图2C)。
首先,在步骤S101中,控制终端1等待记录开始操作。换句话说,控制终端1等待直到操作开始操作画面G13上的“开始”按钮B1。
在执行记录开始操作的情况下,控制终端1在步骤S102中向成像管理终端5发送记录开始通知。
在随后的步骤S103中,控制终端1等待入点指示。换句话说,在本示例中,控制终端1等待开始后操作画面G14上的“入点设置”按钮B2的操作。注意,图9中的入点和出点是作为初始章节标记的入点和出点。
在执行入点指示的情况下,控制终端1进行到步骤S104并执行入点存储处理。换句话说,控制终端1执行将所指示的入点信息(例如,从记录开始的时间信息)存储在预定存储装置中的处理。
响应于步骤S104中的处理的执行,控制终端1在步骤S105中执行出点等待处理,换句话说,等待“出点设置”按钮B3的操作的处理。在执行出点指示的情况下,控制终端1在步骤S106中执行出点存储处理。
此外,在随后的步骤S107中,控制终端1向成像管理终端5通知存在出点的指示作为出点通知处理。
在步骤S107中执行通知处理之后,控制终端1在步骤S108中确定是否已经执行了记录终止操作,即,是否已经操作了“成像终止”按钮B4。
在尚未执行记录终止操作的情况下,控制终端1返回到步骤S103。以这种方式,对应于多个表演者顺序地给出表演的情况,可以接收每个表演部分的入点和出点的指示。
另一方面,在已经执行了记录终止操作的情况下,控制终端1在步骤S109中向成像控制终端5发送记录终止通知,并且终止图9所示的处理。
图10示出了关于初始章节标记校正操作接受的处理。
在步骤S110中,控制终端1等待校正操作画面G15的显示指示。换句话说,在本示例中,控制终端1等待直到在从图2所示的顶部画面G11显示实况列表的状态下执行从实况列表中选择一个实况的操作。
在存在校正操作画面G15的显示指示的情况下,控制终端1在步骤S111中执行显示必要信息获取处理。换句话说,控制终端1至少获取对校正操作画面G15的显示必要的入点和出点的信息以及要校正的成像视频的全长(记录时间的全长)的信息。注意,可以通过查询成像控制终端5来获取成像视频的全长信息,或者可以通过计算从记录开始到记录结束的时间来由控制终端1自身获取成像视频的全长信息。
响应于在步骤S111中获取显示必要信息,控制终端1在步骤S112中执行校正操作画面G15的显示处理。
然后,在随后的步骤S113和S114中,控制终端1执行入点/出点校正接受处理,直到执行确定操作。步骤S113中的入点/出点校正接受处理是使用图3A中描述的滑块SL、对象选择按钮B5、“入点设置”按钮B6以及“出点设置”按钮B7接受对入点和出点的校正操作的处理。在通过“入点设置”按钮B6和“出点设置”按钮B7新指示入点和出点的情况下,更新对应的入点和出点的信息。
步骤S114中的确认操作等待处理是等待图3A所示的“确认”按钮B8的操作的处理。
在步骤S114中执行确认操作的情况下,控制终端1进行到步骤S115,并且对整个记录的成像视频、实况ID、视频部分ID和入点和出点信息进行发送控制。
换句话说,控制终端1将确认的入点和出点信息发送到成像管理终端5,并使成像管理终端5将记录在存储装置6中的对应的整个成像视频、所发送的入点和出点信息以及下面要描述的实况ID和视频部分ID发送到服务器装置9。
响应于步骤S115中的发送控制,控制终端1终止图10所示的处理。
注意,如图3A所示,可以在校正操作画面G15上确认多个视频部分的入点和出点。因此,在成像视频中存在多个视频部分的情况下,在步骤S115的处理中,将多个视频部分的入点和出点的信息发送到成像管理终端5。
图11和12示出了由成像管理终端5基于作为上述购买操作应用Ap2的程序执行的处理。注意,在图11和12中,除非另有说明,否则术语“成像管理终端5”指的是成像管理终端5的CPU 101。
图11示出了关于实况ID和视频部分ID的生成的处理。
在图11中,在步骤S201中,成像管理终端5等待记录开始通知(S102),并且响应于记录开始通知,在步骤S202中生成对应的实况ID。
实况ID是用于唯一地标识活动场所Si处的实况事件的标识信息。在步骤S202的处理中,生成能够唯一标识在步骤S201中通知记录开始的成像视频的实况ID。
在随后的步骤S203中,成像管理终端5等待出点通知(S106),并且在存在出点通知的情况下,在步骤S204中生成对应的视频部分ID。
视频部分ID是用于唯一标识成像视频中的视频部分的标识信息。在步骤S204的处理中,生成能够唯一标识在步骤S203中通知出点的视频部分的视频部分ID。
成像管理终端5响应于步骤S204中的生成处理的执行,执行步骤S205中的购买信息输入生成处理。换句话说,在步骤S203中生成与在步骤S203中通知出点的视频部分对应的购买信息输入表(用于由其表演被记录在视频部分中的表演者的购买过程的购买信息输入表)。
通过步骤S205的处理,根据初始出点的指定生成新视频部分的购买信息输入表。生成的购买信息输入表反映在为对应的成像视频显示的购买信息输入画面G18(图4B)上。具体地,每当在步骤S205中生成购买信息输入表时,在购买信息输入画面G18上针对对应的成像视频显示的标签T的数量增加,并且新视频部分的购买信息的输入变得可用。
在步骤S206中,成像管理终端5响应于执行步骤S205中的生成处理,等待记录终止通知(S109)。在没有记录终止通知的情况下,成像管理终端5返回到步骤S203。结果,执行针对新生成的视频部分的视频部分ID的生成(S204)和购买信息输入表的生成(S205)。
另一方面,在存在记录终止通知的情况下,成像管理终端5终止图11所示的处理。
图12示出了关于视频部分的购买信息输入接受的处理。
注意,当开始图12所示的处理时,假设已经显示了购买信息输入画面G18(参见图4B)。
在图12中,成像管理终端5通过步骤S301和S302中的处理执行画面输入信息获取,直到满足输入完成条件。步骤S302中的输入完成条件被设置为上述帐户信息的输入操作完成或帐户信息的新注册操作完成。
步骤S301中的获取处理是获取关于购买信息输入画面G18、购买确认画面G19(图4C)和确认画面G20(图4D)的输入信息以及帐户信息的处理。具体地,在步骤S301的获取处理中,获取购买信息输入画面G18上的标签T的选择输入信息,以及作为演出时间分割、相机数量和要购买的对象的项目的输入信息。
在步骤S302中已完成帐户信息的输入操作或新注册操作并且已确定满足输入完成条件的情况下,成像管理终端5前进到步骤S303并执行将要购买的视频指定信息I1和帐户信息发送到服务器装置9的处理。
要购买的视频指定信息I1是包括已经执行购买过程的视频部分的标识信息(实况ID和视频部分ID)和要购买的对象的标识信息(在本示例中,素材集和摘要)的信息。
成像管理终端5响应于步骤S303中的发送处理的执行,终止图12所示的处理。
这里,通过执行图12中的处理,多个表演者可以通过购买信息输入画面G18执行对对应的视频部分的购买过程。换句话说,成像管理终端5可以将每个表演者的视频部分与帐户信息一起(与帐户信息相关联)发送到服务器装置9。
由此,服务器装置9侧可以管理每个视频部分的购买和购买者的存在或不存在。
注意,如上所述,在本示例中,通过控制终端1和成像管理终端5执行以下处理。
(1)接受成像视频记录开始和结束的指示
(2)接受初始章标的指示
(3)接受初始章标的校正
(4)接收成像视频以及入点和出点的信息的上载指令(在本例中接受“确认”按钮B8的操作)
(5)购买信息输入接受
可选地,诸如控制终端1或成像管理终端5的装置执行这些处理。例如,控制终端1或成像管理终端5可以执行上述所有处理。或者,控制终端1可以执行处理(1)和(2),并且成像管理终端5可以执行剩余处理(3)至(5)。
这里,在诸如控制终端1和成像管理终端5之一的单个计算机装置执行所有处理(1)至(5)的情况下,计算机装置包括图8中描述的信息获取处理单元F1、发送控制处理单元F2、信息显示控制处理单元F3和输入表生成指示处理单元F4。
然后,在这种情况下,信息获取处理单元F1获取用于标识视频部分将被分发到的对象者的对象者标识信息,并且发送控制处理单元F2执行将唯一地标识视频部分的视频标识信息和对象者标识信息彼此相关联地发送到服务器装置9的控制。
上述“对象者标识信息”对应于图4D中描述的帐户信息。此外,“视频部分标识信息”对应于成像管理终端5响应于初始出点的指示而生成的“视频部分ID”。
如上所述,视频部分标识信息和对象者标识信息被关联并发送到服务器装置9,从而可以在服务器装置9中管理视频部分和分发对象者之间的对应关系。
此外,在这种情况下,信息获取处理单元F1获取每组指定成像视频中的不同视频部分的多组入点和出点的信息作为入点和出点的信息,并获取每个视频部分的对象者标识信息,并且发送控制单元执行控制以对于已经获取了对象者标识信息的每个视频部分将彼此相互关联的视频部分标识信息和对象者标识信息发送到服务器装置9。例如,这对应于在如图6所示、三个表演者A至C的表演部分被记录在成像视频中的情况下,获取每组指定对应于每个表演部分的视频部分的范围的入点和出点的多组信息、通过图4中描述的购买过程时的处理获取每个视频部分的帐户信息,并执行控制以对于已经获取了帐户信息的每个视频部分,将下面将要描述的视频部分ID和帐户信息彼此相关联地发送到服务器装置9。
利用该配置,视频部分分别与不同的对象者标识信息(用户标识信息)相关联并被发送到服务器装置9。
因此,在为多个视频部分设置不同的分发对象者的情况下,可以响应于来自除分发对象者之外的人的请求,防止每个视频部分被分发。
此外,在这种情况下,发送控制处理单元F2执行控制以将每个视频部分的入点和出点的信息发送到服务器装置9,而不管获取对象者标识信息。即,在上面的示例中,发送控制处理单元F2执行控制以将未购买的视频部分的入点和出点的信息发送到服务器装置9。
利用该配置,使得在设置入点或出点错误的情况下的校正成为可能,并且使得对不需要分发到服务器装置9的视频部分的指定成为可能。
因此,可以在服务器装置9中删除不需要分发的部分,并且可以防止服务器装置9中的存储容量的压缩。
图13是示出该实施例中的服务器装置9执行的处理的流程图。注意,例如,图13所示的处理由服务器装置9的CPU 101基于存储在诸如服务器装置9的ROM 102的必要存储装置中的程序来执行。在图13中,除非另有说明,否则术语“服务器装置9”指的是服务器装置9的CPU 101。
在图13中,在步骤S401中,服务器装置9执行各个视点的视频的同步处理。
在本示例的情况下,对于用相同的实况ID管理的各组成像视频中尚未执行同步处理的一组成像视频,步骤S401中的同步处理是基于附加到每个成像视频的声音信息来执行的。具体地,分析每个声音信息的声音波形,并且使成像视频同步,使得声音波形匹配。在本示例中,通过向每个成像视频添加时间码来实现同步。
在随后的步骤S402中,服务器装置9执行视频部分的切出处理。基于已经执行了上述要购买的视频指定信息I1的购买过程的视频部分执行视频部分的切出处理。
服务器装置9响应于步骤S402中的切出处理的执行,在步骤S403中执行为摘要购买视频生成每个视点的视频的容量减小视频的处理。换句话说,服务器装置9对于利用指示“摘要”作为要购买的对象而购买的每个视点的视频部分,执行生成具有减小的数据容量的容量减小视频的处理。
在本示例中,执行降低对象视频部分的分辨率的处理作为容量减小处理。
注意,容量减小处理不限于降低分辨率的处理,并且对处理没有限制,只要处理是减少数据容量的处理,诸如在视频部分是彩色运动图像的情况下,使对象视频部分为单色视频部分的处理,稀疏视频部分的一部分的处理,压缩视频数据的处理,或者在视频部分是渐进的运动图像的情况下将对象视频部分转换成隔行视频部分的处理。
这里,步骤S402中的处理不会删除容量减小之前的原始数据。换句话说,通过执行步骤S402中的处理,对于作为摘要购买视频的每个视频部分,非容量减小视频和容量减小视频两者共存。
注意,下面将描述为摘要购买视频生成容量减小视频的重要性。
在随后的步骤S404中,服务器装置9执行未购买的视频部分删除处理。换句话说,服务器装置9基于要购买的视频指定信息I1删除尚未执行购买过程的视频部分。结果,可以防止不需要分发的视频部分被保存在服务器装置9的存储装置中,并且可以防止服务器装置9中的存储容量的压缩。此外,版权处理成为可能。
此外,在步骤S405中,服务器装置9执行视点切换视频生成处理。响应于来自用户终端10的指令,对摘要购买视频执行视点切换视频生成处理。
注意,上述步骤S401至S405中的处理不必作为一系列处理来执行,并且可以响应于满足预定开始条件而独立地开始每个处理。步骤S401至S404中的处理的顺序可以是任意的,但是期望在步骤S402中的切出处理之前执行步骤S401中的同步处理。
应当响应于针对对象摘要购买视频完成步骤S401、S402和S403中的所有处理,执行步骤S405中的视点切换视频生成处理。可以在步骤S405中的生成处理之后执行步骤S404中的删除处理。
[1-6.视点切换视频的生成]
在本实施例的视频分发系统中,假设作为表演者的用户使用用户终端10从服务器装置9下载购买的视频。用户可以将下载的视频上载到必要的视频发布站点等,以进行他/她自己的推广等。
在下文中,特别地,将描述当购买作为“摘要”的视点切换视频时下载所购买的视频的流程。
首先,在本示例中,在将视点切换视频下载到用户终端10时,假设作为表演者的用户将预定应用(在下文中,描述为“视频获取支持应用Ap3”)安装到用户终端10。在本示例中,视频获取支持应用Ap3具有用于生成视点切换视频的视频编辑功能。
这里,可以想到以下将视频获取支持应用Ap3安装到用户终端10的流程。
首先,作为上述帐户信息的ID,请求用户输入电子邮件地址。然后,响应于帐户信息的新注册,将包括到视频获取支持应用Ap3的下载页面的链接信息的电子邮件发送到作为ID注册的邮件地址,并且用户将下载页面上的视频获取支持应用Ap3下载并安装到用户终端10。
注意,下面描述的视频获取支持应用Ap3的功能也可以通过所谓的web应用来实现。在这种情况下,通过用户终端10的web浏览器根据包括在页面数据中的程序执行处理来实现该功能。
图14示出了在生成视点切换视频时关于视频编辑的画面示例。
图14A示出了用于在生成视点切换视频时接受关于视频编辑的操作输入的编辑画面G21的示例。
首先,在包括由视频获取支持应用Ap3提供的编辑画面G21的画面上显示列表画面按钮B20、编辑画面按钮B21和预览画面按钮B22。列表画面按钮B20是用于给出关于显示用户购买的视频的列表信息的列表画面(未示出)的显示的指令的按钮。在本示例中,视频获取支持应用Ap3至少在第一次激活时接受来自用户的账户信息的输入。通过输入帐户信息,视频获取支持应用Ap3可以从服务器装置9获取与帐户信息相关联的购买视频的信息。所购买视频的列表信息显示在列表画面上,并且用户可以从列表中选择要为其生成视点切换视频的摘要购买视频。
响应于在列表画面上选择摘要购买视频,显示如图4A所示的编辑画面G21。
编辑画面G21设置有用于显示从以上列表中选择的购买视频(视频部分)的图像的图像显示区域Ai、用于执行开始时间的指示操作的开始时间操作部TS、用于执行视点切换视频的全长的指示操作的时间长度操作部TL、用于执行结束时间的指示操作的结束时间操作部TE、用于执行视点切换周期的指示操作的切换周期操作部Fs、以及“编辑执行”按钮B23。
开始时间操作部TS和结束时间操作部TE是用于分别指示来自作为视点切换视频的生成源的视频部分的视频切换视频的开始点时间和结束点时间的操作部。如图所示,可以在开始时间操作部TS和结束时间操作部TE上执行以小时:分钟:秒为单位的开始时间和结束时间的指示。
此外,在本示例中,可以在时间长度操作部TL和切换周期操作部Fs上分别以秒为单位执行时间长度和视点切换周期的指示。
注意,视点切换不限于以恒定周期切换,并且切换间隔可以部分地不同。从这个意义上讲,切换周期可以改述为“切换间隔”。
在本示例中,在生成视点切换视频时,用户使用开始时间操作部TS指示开始时间,并且使用时间长度操作部TL指示视点切换视频的时间长度或者使用结束时间操作部TE指示结束时间。对应于时间长度操作部TL和结束时间操作部TE分别提供单选按钮rb1和单选按钮rb2,并且用户可以通过操作单选按钮rb1激活时间长度的指示并且可以通过操作单选按钮rb2激活结束时间的指示。
在本示例中,当在开始时间操作部TS上改变开始时间的值时,在图像显示区域Ai中显示与由改变后的值表示的时间对应的帧图像。类似地,当在结束时间操作部TE上改变结束时间的值时,在图像显示区域Ai中显示与由改变后的值表示的时间对应的帧图像。通过该显示,搜索开始时间和结束时间变得容易。
在本示例中,默认显示在图像显示区域Ai中的帧图像是包括在所购买的各个视点的视频部分中由预定成像装置2(例如,作为具有正视图的第一相机的成像装置2)成像的视频部分中的帧图像。注意,可以使得在编辑画面G21上进行给出关于视点切换的指令的操作,并且可以将在图像显示区域Ai中显示的帧图像切换到在指令中给出的视点的视频部分中的帧图像。
此外,用户在生成视点切换视频时使用切换周期操作部Fs指示视点切换周期。
用户可以通过操作“编辑执行”按钮B23,基于所指示的信息向用户终端10执行视点切换视频的生成指令。
注意,尽管如下所述,但是响应于“编辑执行”按钮B23的操作的视点切换视频的生成是由用户终端10基于已经应用上述容量减小处理的视频部分来执行的。
图14B示出了用于预览视点切换视频的预览画面G22。注意,在本示例中,响应于完成响应于“编辑执行”按钮B23的操作生成视点切换视频,自动执行从编辑画面G21到预览画面G22的显示转换。
预览画面G22设置有回放按钮B24、“重做”按钮B25和“确认”按钮B26,连同列表画面按钮B20、编辑画面按钮B21和预览画面按钮B22。
用户可以通过操作回放按钮B24在预览画面G22中显示所生成的视点切换视频的预览视频mp。
此外,用户可以通过操作“重做”按钮B25对用户终端10执行重新编辑指令。响应于重新编辑指令在用户终端10中执行到编辑画面G21的显示转换,并且用户指示诸如开始时间和视点切换周期的信息,以使得用户终端10基于不同的指示信息生成视点切换视频。
用户可以通过操作“确认”按钮B26来执行从服务器装置9到用户终端10的所生成的视点切换视频的下载指令。
在本示例中,从服务器装置9下载的视点切换视频是基于尚未应用容量减小处理的视频部分生成的视频。
[1-7.用户终端的功能]
将参考图15中的功能框图描述由用户终端10实现的作为第一实施例的各种功能。
在图8中,用户终端10可以表示为具有按功能分割的指示接受处理单元F11、随机选择处理单元F12、成像视频获取处理单元F13和视频显示控制处理单元F14的用户终端。在本示例中,通过上述视频获取支持应用Ap3实现这些功能。
指示接受处理单元F11接受成像视点的切换周期的指示,作为用于生成一个视点切换视频的指示,其中,基于通过从不同的成像视点对被摄体成像而获得的多个成像视频来随时间切换成像视点。具体地,在本示例中,这对应于使用图14A中所示的切换周期操作部Fs接受视点切换周期的指示。
随机选择处理单元F12从多个成像视频中随机选择要用于按切换周期分割的视点切换视频的每个视频区间的视频。
图16示意性地示出了成像视点的切换周期(视点切换周期)与视点切换视频中的视频区间之间的关系。视频区间是指通过在成像视点的切换周期的一个周期的每个时间分割视点切换视频而形成的区间。在本示例中,由于成像视点的切换周期在相同的视点切换视频中是恒定的,因此除了一个视频区间之外,每个视频区间的时间长度是相同的。取决于所指示的视点切换视频的时间长度与视点切换周期之间的关系,位于视点切换视频的结束边缘侧(或开始边缘侧)的视频区间的时间长度可以与其他视频区间不同。
例如,本示例的随机选择处理单元F12从视点切换视频的开始边缘侧顺序地选择要在每个视频区间中使用的视频。此时,随机选择处理单元F12根据开始点和结束点的时间信息管理每个视频区间。当选择要用于第n视频区间的视频时,随机选择处理单元F12从各个视点的视频部分中随机选择一个视频部分。然后,随机选择处理单元F12将所选择的视频部分的标识信息和第n视频区间的时间信息(开始点和结束点的时间信息)相互关联地保存(存储)。通过对每个视频区间执行这样的处理,保存了用于指定要用于视点切换视频的每个视频区间的视频的信息。
注意,例如,尽管已经描述了为所有视频区间随机选择视频的示例,但是可以从随机视频选择中排除一些视频区间。例如,各个视点的视频中的预定视频部分中的视频用于被排除的视频区间。
在本示例中,指示接受处理单元F11接受要作为视点切换视频生成的视频的整个时间长度的指示,并且向用户呈现基于所指示的整个时间长度计算的切换周期的信息。
具体地,指示接受处理单元F11基于使用开始时间操作部TS和结束时间操作部TE指示的视点切换视频的时间长度或使用编辑画面G21上的时间长度操作部TL指示的时间长度来计算切换周期。执行这种情况下的计算,使得当指示的时间长度更长时,计算更长的切换周期。
本示例的指示接受处理单元F11响应于时间长度的指示操作,每当指示的时间长度改变时计算切换周期,并且在切换周期操作部Fs中显示计算的切换周期的信息。具体地,在这种情况下,显示计算的切换周期的信息,并且将在切换周期操作部Fs中计算的切换周期设置为所选状态。利用该配置,可以向用户呈现根据视点切换视频的时间长度的适当的视点切换周期。
例如,在短时间视点切换视频中使视点切换周期变长的情况下,观看者更可能感觉到视点切换的频率较低,并且减小通过视点切换改善视频的外观的效果。相反,在长时间视点切换视频中使视点切换周期变短的情况下,视点切换频率过度增加以给观看者带来忙碌的印象,并且视频的外观可能劣化。因此,如上所述的切换周期的计算和呈现在改善视频的外观方面是有效的。
此外,本示例中的指示接受处理单元F11接受随机选择处理单元F12对选择的重新执行指示。这对应于接受参考图14B描述的预览画面G22上的“重做”按钮B25的操作。
重新执行要在每个视频区间中使用的视频的随机选择,从而使得可以重新生成根据用户意图的视点切换视频。
因此,可以增强用户的利益。
成像视频获取处理单元F13从服务器装置9获取已经应用了数据量减少处理的多个成像视频。
视频显示控制处理单元F14基于已经应用了数据量减少处理的多个成像视频,根据随机选择处理单元F12的选择结果来执行视点切换视频的显示控制。这对应于本示例中在预览画面G22上显示视点切换视频的预览视频mp的上述控制。
通过成像视频获取处理单元F13和视频显示控制处理单元F14减少关于用户终端10中的视点切换视频的显示的处理负荷。具体地,在本示例中,减少了关于视点切换视频的预览视频mp的生成的处理负荷。
[1-8.用户终端处理]
将参考图17至20的流程图描述由第一实施例中的用户终端4执行的处理。
通过用户终端10的CPU 101根据作为视频获取支持的应用Ap3的程序执行图17至20的处理。在图17至20中,除非另有说明,否则术语“用户终端10”指的是用户终端10的CPU101。
在图17中,在步骤S501中,用户终端10等待直到执行摘要购买视频的选择。换句话说,用户终端10等待直到在上述列表画面上选择了摘要购买视频。
用户终端10响应于摘要购买视频的选择,在步骤S502中执行容量减小视频获取处理。换句话说,用户终端10将与在步骤S501中选择的视频(每个视频部分)相对应的容量减小视频的发送请求发送到服务器装置9,并获取响应于请求从服务器装置9发送的容量减小视频。
在随后的步骤S503中,用户终端10执行编辑画面G21的显示处理,并且还根据输入操作执行处理,直到通过后续步骤S504和S505中的处理操作“编辑执行”按钮B23。
根据步骤S504中的输入操作的处理是根据对编辑画面G21上设置的诸如开始时间操作部TS、结束时间操作部TE、时间长度操作部TL、切换周期操作部Fs或单选按钮rb1和rb2的每个操作部的操作的处理的执行。
图18是用于描述根据步骤S504中的输入操作的处理的流程图。
在步骤S601中,用户终端10确定是否已经执行了视频时间长度指示操作。也就是说,在本示例的情况下,确定是否已经执行了开始时间操作部TS的操作或由结束时间操作部TL或时间长度操作部TE的对应单选按钮rb的操作激活的操作部的操作。
注意,在本示例中,开始时间操作部TS中的时间信息的初始值是表示在步骤S501中选择的视频的开始点的时间的值。此外,结束时间操作部TE中的时间信息的初始值是表示在步骤S501中选择的视频的结束点的时间的值。
尽管省略了图示,但是在用户终端10在步骤S601中确定尚未执行视频时间长度指示操作的情况下,用户终端10在编辑画面G21上确定是否存在另一操作并且在已经执行对应操作的情况下执行根据操作的处理。例如,在已经执行了切换周期操作部Fs的操作的情况下,根据操作执行诸如更新切换周期信息的显示内容的处理。
另一方面,在用户终端10在步骤S601中确定已经执行了视频时间长度指示操作的情况下,用户终端10前进到步骤S602并执行视频时间长度获取处理。换句话说,用户终端10基于在步骤S601中检测到的操作所指示的开始时间和结束时间的信息或视频时间长度的信息来获取视点切换视频的时间长度。
用户终端10响应于步骤S602中的获取处理的执行,执行步骤S603中的切换周期计算处理。换句话说,用户终端10计算视点切换周期。在本示例中,计算视点切换周期,使得随着在步骤S602中获取的时间长度更长,计算更长的周期。
例如,可以想到将视点切换周期设置为2秒直到视频时间长度达到1分钟,并且在视频时间长度超过1分钟的情况下将视点切换周期设置为4秒。
在随后的步骤S604中,用户终端10执行在切换周期操作部Fs中显示在步骤S603中计算的视点切换周期的信息的处理,作为切换周期显示处理。通过该处理,将计算出的视点切换周期的信息呈现给用户。
描述返回到图17。
在步骤S505中确定了“编辑执行”按钮B23的操作的情况下,用户终端10前进到步骤S506并根据输入信息执行视点切换视频生成处理。
图19示出了根据步骤S506中的输入信息的视点切换视频生成处理的示例。
首先,在步骤S701中,用户终端10根据指示的切换周期执行视频区间分割处理。换句话说,用户终端10根据指示的视点切换周期分割从“编辑执行”按钮B23的操作时指示的开始时间到结束时间的区间,以获得每个视频区间。
在随后的步骤S702中,用户终端10设置视频区间的总数=N,并且在随后的步骤S703中,用户终端10将“1”设置为视频区间标识符n。
在步骤S704中,用户终端10响应于在步骤S703中设置“1”作为视频区间标识符n,随机选择各个视点的视频部分之一。换句话说,在步骤S501中选择的视频是分别由第一相机、第二相机和第三相机成像的视频部分的情况下,用户终端10从三个视频部分中随机选择一个视频部分。
在随后的步骤S705中,用户终端10将所选择的视频部分的标识信息和第n区间信息相互关联地存储。在本示例中,视频部分ID用作视频部分的标识信息。在下文中,在用于标识用于对应视频区间的视频部分的信息意义上,以这种方式选择的视频部分的标识信息被描述为“使用视频标识信息”。
此外,第n区间信息是指示第n视频区间的开始点和结束点的时间的信息。
在步骤S705的处理中,例如,将使用视频标识信息和区间信息保存(存储)在用户终端10中的诸如RAM 103的预定存储装置中。
在步骤S706中,用户终端10响应于在步骤S705中执行存储处理,确定视频区间标识符n是否等于或大于视频区间的总数N。用户终端10前进到步骤S707,并且在获得否定结果的情况下将视频区间标识符n的值增加1,并且返回到步骤S704。
由此,对在步骤S701中的分割处理中获得的每个视频区间执行步骤S704中的随机选择处理和步骤S705中的存储处理,并且存储要在每个视频区间中使用的视频部分的标识信息和每个视频区间的开始时间和结束时间的时间信息。
在步骤S706中获得肯定结果的情况下,用户终端10前进到步骤S708,并基于容量减小视频和存储的信息生成视点切换视频的预览视频mp。
具体地,对于作为在步骤S502中获取的容量减小视频的每个视频部分,用户终端10选择由使用视频标识信息表示的视频部分,并从第一个视频区间开始按顺序从所选择的视频部分中提取由区间信息指定的区间中的视频,以及按时间顺序连接提取的视频,以生成一个视频文件。
通过使用容量减小视频,可以减少用户终端10中预览视频mp的生成的处理负荷。
描述再次返回到图17。
用户终端10在步骤S507中执行预览画面G22的显示处理,并且响应于步骤S506中的生成处理的执行,使处理前进到步骤S508。
用户终端10通过步骤S508、S509和S510中的处理等待回放按钮B24的操作、“重做”按钮B25的操作和“确认”按钮B26的操作中的任何操作。换句话说,用户终端10在步骤S508中确定是否存在回放按钮B24的操作,在获得否定结果的情况下,在步骤S509中确定是否存在“重做”按钮B25的操作,在步骤S509中获得否定结果的情况下,在步骤S510中确定是否存在“确认”按钮B26的操作,并且在步骤S510中获得否定结果的情况下,返回步骤S508。
在步骤S508中确定了回放按钮B24的操作的情况下,用户终端10进行到步骤S511,执行预览回放处理,并返回到步骤S508。作为预览回放处理,执行在步骤S506中生成的预览视频mp的回放处理,并且在预览画面G22上显示预览视频mp。
此外,在步骤S509中已经确定了“重做”按钮B25的操作的情况下,用户终端10返回到步骤S503并执行编辑画面G21的显示处理。由此,能够重做视点切换视频的生成。
此外,在步骤S510中已经确定了“确认”按钮B26的操作的情况下,用户终端10使处理前进到图20所示的步骤S512。
在图20中,用户终端10在步骤S512中执行将每个视频区间的使用视频标识信息和区间信息发送到服务器装置9的处理。换句话说,用户终端10将通过步骤S705中的处理存储的每个视频区间的使用视频标识信息和区间信息发送到服务器装置9。
服务器装置9接收由此所发送的每个视频区间的使用视频标识信息和区间信息,并且通过步骤S405中的处理(参见图13)执行视点切换视频生成处理。注意,服务器装置9中基于每个视频区间的使用视频标识信息和区间信息的视点切换视频生成技术类似于步骤S708中描述的视点切换视频(预览视频mp)生成技术,除了要使用的视频部分不是容量减小视频,而是作为生成容量减小视频的基础的视频部分。
服务器装置9响应于视点切换视频的生成的完成,向用户终端10发送生成完成通知。
用户终端10响应于步骤S512中的发送处理的执行在步骤S513中等待来自服务器装置9的生成完成通知,在存在生成完成通知的情况下在步骤S514中执行视点切换视频的下载处理,并终止17至20中所示的一系列处理。
注意,服务器装置9不限于单个装置的配置。例如,可以通过不同的装置实现接受来自成像管理终端5的成像视频的上载的功能和生成视点切换视频并将视点切换视频分发到用户终端4的功能。
[1-9.第一实施例的结论]
如上所述,根据第一实施例的信息处理设备(例如,控制终端1)包括信息获取单元(信息获取处理单元F1)和发送控制单元(发送控制处理单元F2),其中,信息获取单元被配置为获取指定成像装置的成像视频中的部分范围作为要分发给用户的视频部分的入点和出点的信息,且发送控制单元被配置为执行将信息获取单元获取的入点和出点的信息以及成像视频发送到外部装置的控制。
如上所述,成像视频以及入点和出点的信息被发送到外部装置(例如,服务器装置),由此即使入点或出点被设置为错误的位置,也可以对正确的视频范围执行校正。换句话说,防止了由于入点或出点的错误设置而发生再成像。
因此,用于将一系列成像视频中的部分视频部分分发给用户的系统便于视频部分的范围校正,从而减轻了视频成像中涉及的人的负担。
此外,在第一实施例的信息处理设备(例如,控制终端1)中,发送控制单元将通过多个成像装置的多个成像视频作为成像视频发送到外部装置。
利用该配置,可以实现分发视点切换视频的系统。
因此,可以改善分发对象视频的外观,并且可以增强接收视频分发的用户的益处。
此外,在第一实施例的信息处理设备(例如,控制终端1或成像管理终端5)中,发送控制单元将视频部分和用于标识视频部分的视频部分标识信息彼此相互关联地发送到外部装置。
利用该配置,可以便于管理外部装置中的视频部分。
此外,在第一实施例的信息处理设备(例如,控制终端1或成像管理终端5)中,信息获取单元获取用于标识视频部分将被分发到的对象者的对象者标识信息,并且发送控制单元将视频部分标识信息和对象者标识信息彼此相关联地发送到外部装置。
利用该配置,可以在外部装置中管理视频部分和分发对象者之间的对应关系。
因此,可以防止响应于来自除分发对象者之外的人的请求分发视频部分。
此外,在第一实施例的信息处理设备(例如,控制终端1或成像管理终端5)中,信息获取单元获取每组指定成像视频中的多个不同视频部分的入点和出点的多组信息作为入点和出点的信息,并获取每个视频部分的对象者标识信息,并且发送控制单元针对已经获取了对象者标识信息的每个视频部分,将视频部分标识信息和对象者标识信息彼此相关联地发送到外部装置。
利用该配置,视频部分分别与不同的对象者标识信息(用户标识信息)相关联并被发送到外部装置。
因此,在为多个视频部分设置不同的分发对象者的情况下,可以防止响应于来自除分发对象者之外的人的请求分发每个视频部分。
此外,在第一实施例的信息处理设备(例如,控制终端1或成像管理终端5)中,发送控制单元将关于每个视频部分的入点和出点的信息发送到服务器装置,无论是否存在对象者标识信息的获取。
利用该配置,使得在设置入点或出点错误的情况下的校正成为可能,并且使得不需要分发到服务器装置的视频部分的指定成为可能。
因此,可以在外部装置中删除不需要分发的部分,并且可以防止外部装置中的存储容量的压缩。
此外,第一实施例的信息处理设备(例如,控制终端1)还包括信息显示控制单元(信息显示控制处理单元F3),其被配置为在画面上显示表示成像视频中的视频部分的时间轴上的位置的视觉信息、用于指示成像视频中的时间轴上的位置的指针、用于指示由指针指示的位置作为入点的位置的入点指示操作符、以及用于指示由指针指示的位置作为出点的位置的出点指示操作符,其中所述信息显示控制单元使表示视觉信息中的视频部分的显示区域中靠近入点的区域的显示形式和靠近出点的区域的显示形式不同,并且使靠近入点的区域的显示形式与入点指示操作符的显示形式一致,且使靠近出点的区域的显示形式与出点指示操作符的显示形式一致。
利用该配置,当执行入点或出点的校正操作时,可以清楚地显示在将指针定位在靠近入点的区域附近时操作入点指示操作符,并在将指针定位在靠近出点的区域附近时操作出点指示操作符。
因此,可以防止关于入点或出点的校正的错误操作,诸如尽管指针所指示的位置应该被指示为入点,但操作出点指示操作器。
此外,第一实施例的信息处理设备(例如,控制终端1)包括输入表生成指示单元(输入表生成指示处理单元F4),其被配置为响应于对成像视频出点的指示而执行关于与指示的出点对应的视频部分的购买信息输入表的生成指示。
利用该配置,生成购买信息输入表,并且即使在终止记录成像视频之前,用户也可以执行购买过程。
因此,在轮到用户结束后,用户可以执行视频部分的购买过程而无需等到成像视频的记录结束,从而可以提高用户的便利性。
第一实施例的另一信息处理设备(用户终端4)包括指示接受单元(指示接受处理单元F11)以及随机选择单元(随机选择处理单元F12),其中,指示接受单元被配置为接受成像视点的切换间隔的指示,作为用于生成其中基于通过从不同的成像视点对被摄体成像而获得的多个成像视频随时间切换成像视点的一个视点切换视频的指示,且随机选择单元被配置为从多个成像视频中随机选择要在通过切换间隔分割的视点切换视频的每个视频区间中使用的视频。
根据上述配置,由用户简单地指示成像视点的切换间隔来生成其中随时间随机切换成像视点的视点切换视频。
因此,可以生成在某种程度上看起来良好的视频而不会给用户带来沉重的负担。换句话说,减少了用户关于编辑的负担,同时防止了编辑视频的外观的减少,从而可以便于编辑功能的使用。
此外,在第一实施例的另一信息处理设备中,指示接受单元接受要生成的视频的整个时间长度的指示作为视点切换视频,并将关于基于所指示的整个时间长度计算的切换间隔的信息呈现给用户。
利用该配置,可以向用户呈现根据视点切换视频的时间长度的适当的视点切换间隔。
此外,在第一实施例的另一信息处理设备中,指示接受单元接受随机选择单元的选择的重新执行指示。
重新执行要在每个视频区间中使用的视频的随机选择,从而可以重新生成根据用户意图的视点切换视频。
因此,可以增强用户的利益。
此外,第一实施例的另一信息处理设备包括:成像视频获取单元(成像视频获取处理单元F13)以及视频显示控制单元(视频显示控制处理单元F14),其中,成像视频获取单元被配置为从外部装置获取已应用数据量减少处理的多个成像视频,且视频显示控制单元被配置为基于已经应用了数据量减少处理的多个成像视频,根据随机选择单元的选择结果来执行视点切换视频的显示控制。
利用该配置,减少了信息处理设备中关于视点切换视频的显示的处理负荷。
<2.第二实施例>
[2-1.用户终端的功能]
接下来,将描述第二实施例。
第二实施例与第一实施例的不同之处在于计算要呈现给用户的视点切换周期的技术。
注意,在以下描述中,除非另有说明,否则与已经描述的部件类似的部件被赋予相同的附图标记和步骤编号,并且省略其描述。在以下描述中,视频分发系统的配置和控制终端1、成像管理终端5、服务器装置9和用户终端10的硬件配置与第一实施例的配置类似,因此省略其描述。
在第二实施例中,视频获取支持应用Ap3A已经代替视频获取支持应用Ap3安装在用户终端10中。
由视频获取支持应用Ap3A实现的功能包括上面图15中描述的指示接受处理单元F11、随机选择处理单元F12、成像视频获取处理单元F13和视频显示控制处理单元F14。在这种情况下,由指示接受处理单元F11计算视点切换周期的功能与第一实施例的情况不同。
这种情况下的指示接受处理单元F11向用户呈现基于附加到成像视频的声音信息的声音特性计算的切换周期的信息。具体地,在显示编辑画面G21时,对附加到要编辑的视频部分的声音信息执行节奏分析,基于分析的节奏计算视点切换周期,并且在切换周期操作部TL中显示计算出的视点切换周期的信息。
如果对于具有快节奏的歌曲将视点切换周期设置得长,则观看者更可能感觉到视点切换的频率较低,并且减少了通过视点切换改善视频外观的效果。相反,在慢速歌曲中将视点切换周期设置得短的情况下,该设置给观看者带来忙碌的印象,并且视频的外观可能劣化。
因此,在本示例中,执行计算使得当节奏较慢时计算较长的视点切换周期。
[2-2.用户终端的处理]
将参考图21中的流程图描述作为第二实施例的由用户终端10执行的处理。
注意,图21所示的处理由用户终端10根据作为视频获取支持应用Ap3A的程序来执行。在这种情况下由用户终端10执行的处理类似于第一实施例的情况,除了上面的图17和18中所示的步骤S504中的处理。因此,下面将描述在第二实施例的情况下要执行的步骤S504中的处理。
在图21中,用户终端10(用户终端10的CPU 101:以下类似地应用于图21)在步骤S801中确定是否已经执行了生成的视频范围指示操作。生成的视频范围指示操作意味着指示从视点切换视频的开始点到结束点的时间范围的操作,并且“执行生成的视频范围指示操作”意味着执行开始时间操作部TS的操作和由结束时间操作部TE或时间长度操作部TL的对应单选按钮rb的操作激活的操作部的操作两者。
尽管省略了图示,但是在步骤S801中确定尚未执行所生成的视频范围指示操作的情况下,用户终端10在编辑画面G21上确定是否存在另一操作,并在已经执行相应操作的情况下根据该操作执行处理。
在步骤S801中确定已经执行了所生成的视频范围指示操作的情况下,用户终端10前进到步骤S802并执行视频范围获取处理。换句话说,用户终端10获取由所生成的视频范围指示操作指示的视点切换视频的视频范围(从开始点到结束点的范围)的信息。
在随后的步骤S803中,用户终端10执行该范围内的声音特性分析。也就是说,用户终端10对附加到要编辑的视频部分的整个声音信息执行与在步骤S802中获取的视频范围相同的范围内的声音信息的节奏的分析。
用户终端10响应于在步骤S803中执行分析处理,根据步骤S804中的声音特性执行切换周期计算处理。也就是说,在本示例中,基于分析的节奏计算视点切换周期。如上所述,执行本示例中的视点切换周期的计算,使得当节奏较慢时计算较长的视点切换周期。
用户终端10响应于步骤S804中的视点切换周期的计算,执行上述步骤S604中的切换周期显示处理。通过该处理,将在步骤S804中计算出的视点切换周期的信息呈现给用户。
注意,除了基于节奏的计算之外,可以想到用于基于声音特性计算视点切换周期(间隔)的各种方法。例如,可以想到基于声压级、频率特性等估计曲调,并且基于曲调计算视点切换周期。例如,在诸如硬摇滚的强曲调的情况下,可以想到将短周期计算为视点切换周期。
此外,还可以基于视点切换视频的声音特性和整个时间长度来计算要呈现给用户的视点切换周期。
例如,与第一实施例的情况一样,可以想到利用一种根据节奏速度的系数调节根据视点切换视频的整个时间长度计算的视点切换周期的方法。
[2-3.第二实施例的结论]
如上所述,在第二实施例的信息处理设备(用户终端10)中,声音信息被附加到成像视频,并且指示接受单元(指示接受处理单元F11)将关于基于声音信息的声音特性计算的切换间隔的信息呈现给用户。
利用该配置,可以将根据与视点切换视频一起再现的声音信息的声音特性的适当的视点切换间隔呈现给用户。
<3.第三实施例>
[3-1.用户终端的功能]
第三实施例是通过组合使用放大的视频来实现可切换视点的数量的增加。
在第三实施例中,视频获取支持应用Ap3B已经代替视频获取支持应用Ap3安装在用户终端10中。
由视频获取支持应用Ap3B实现的功能包括上面图15中描述的指示接受处理单元F11、随机选择处理单元F12、成像视频获取处理单元F13和视频显示控制处理单元F14。在这种情况下,随机选择处理单元F12的功能与第一实施例的情况不同。
这种情况下的随机选择处理单元F12选择通过放大成像视频的部分像素区域而获得的放大的视频作为要在视点切换视频的视频区间中使用的视频中的至少一个。
图22是放大的视频的说明图。
例如,在图22中的示例的情况下,通过相对于原始成像视频放大图22中由粗框围绕的部分而获得的视频对应于放大的视频。这里,成像视频的“部分像素区域”意味着成像视频中包括的像素中由部分像素构成的区域。换句话说,在图22的示例中,粗框中的视频对应于原始成像视频的“部分像素区域”。
在本示例中,作为放大的视频,选择作为要为视点切换视频生成的对象的视频部分的放大的视频。
这里,放大的视频的大小与原始视频部分的大小相同。这是为了防止当放大的视频被合并到视点切换视频中时与非放大图像在图像尺寸方面出现差异。
如可以参考图22看到的,放大的视频是与原始成像视频在深度方向上具有不同视点的视频。因此,通过使用放大的视频作为视点切换视频,可以增加可切换视点的数量。
此外,本示例中的随机选择处理单元F12随机选择是否使用放大的视频作为要在视点切换视频的每个视频区间中使用的视频。具体地,在本示例中,在选择要在第n视频区间中使用的视频时,随机选择处理单元F12从视频部分中随机选择一个视频区间,并随机选择是否使用所选视频部分的放大的视频。
[3-2.用户终端的处理]
将参考图23中的流程图描述作为第三实施例的由用户终端10执行的处理。
注意,图23所示的处理由用户终端10根据作为视频获取支持应用Ap3B的程序来执行。在这种情况下由用户终端10执行的处理类似于第一实施例的情况,除了图17和图19中所示的步骤S506中的处理。因此,在下文中,将描述在第三实施例的情况下执行的步骤S506中的处理。
从与图19的比较可以理解,在这种情况下,作为步骤S506中的处理执行步骤S701至S704中的处理。
用户终端10(用户终端10的CPU 101:以下同样适用于图23)在这种情况下响应于步骤S704中的各个视点中的视频部分之一的随机选择,在步骤S901中随机选择是否存在放大。
然后,在随后的步骤S902中,用户终端10执行将所选视频部分的标识信息(使用视频标识信息)、放大存在/不存在信息和第n区间信息相互关联地存储的处理,并使处理前进到步骤S706。
用户终端10在这种情况下响应于在步骤S706中获得肯定结果(n≥N)而使处理前进到步骤S903。
在步骤S903中,用户终端10基于容量减小视频和存储的信息生成视点切换视频的预览视频mp。与步骤S708中的生成处理相比,步骤S903中的生成处理在选择由使用视频标识信息表示的视频部分以及针对每个视频区间从所选视频部分中提取由区间信息指定的区间中的视频方面类似于上述步骤S708中的生成处理。然而,在步骤S903的处理中,用户终端10在提取由区间信息指定的区间中的视频时参考放大存在/不存在信息,并且生成所提取的视频的放大的视频并在指示存在放大的情况下,使用放大的视频作为视点切换视频,并且在指示不存在放大的情况下,使用提取的视频作为视点切换视频。
注意,尽管省略了图示,但是在这种情况下,用户终端10将每个视频区间的放大存在/不存在信息与每个视频区间的使用视频标识信息和区间信息一起发送到服务器装置9,作为图20所示的步骤S512中的发送处理,以使服务器装置9生成视点切换视频。
这种情况的服务器装置9中的视点切换视频生成处理类似于上述步骤S903中的生成处理,除了要使用的视频部分不是容量减小视频,而是作为生成容量减小视频基础的视频部分。
注意,在第三实施例中,在从原始成像视频中切出要用作放大的视频的像素范围时,可以根据用户操作等使切出位置可变。
此外,可以根据原始成像视频的每个视点的视频内容使得切出位置可变。例如,可以想到执行图像分析以指定捕获人的范围,并将切出位置设置为包括该范围。在这种情况下,能够通过在原始成像视频的预览图像(可以是视频或静止图像)上显示表示切出位置的帧,使用户掌握切出位置的设置状态。
[3-3.第三实施例的结论]
如上所述,在第三实施例的信息处理设备(用户终端10)中,随机选择单元(随机选择处理单元F12)选择通过放大成像视频的部分像素区域而获得的放大的视频作为至少一个要在视点切换视频的视频区间中使用的视频。
利用该配置,可以增加可切换视点的数量。
因此,为了改善视点切换视频的外观,可以减少在成像环境中准备的成像装置的数量。
此外,在第三实施例的信息处理设备中,随机选择单元随机选择是否使用放大的视频作为要在视点切换视频的每个视频区间中使用的视频。
利用该配置,成像视点的切换的随机性增加。
因此,可以进一步改善视点切换视频的外观。
<4.第四实施例>
[4-1.用户终端的功能]
第四实施例使得任意运动图像能够连接到视点切换视频。
在第四实施例中,视频获取支持应用Ap3C已经代替视频获取支持应用Ap3安装在用户终端10中。
由视频获取支持应用程序Ap3C实现的功能包括上面图15中描述的指示接受处理单元F11、随机选择处理单元F12、成像视频获取处理单元F13以及视频显示控制处理单元F14。在这种情况下,指示接受处理单元F11的功能与第一实施例的情况不同。此外,作为下面将描述的视频发送控制处理单元F15的功能的添加与第一实施例不同。
在这种情况下,指示接受处理单元F11接受指定除了多个成像视频之外的视频的指令。这里提到的除了多个成像视频之外的视频是指除了用于生成视点切换视频的多个成像视频之外的视频。
视频发送控制处理单元F15执行控制以将指定视频和随机选择处理单元F12的选择结果发送到服务器装置9。随机选择处理单元F12的选择结果对应于上述本示例中的使用视频标识信息。
视频发送控制处理单元F15可以使服务器装置9生成其中任意视频连接到视点切换视频的视频。
在下文中,连接到视点切换视频的视频也被描述为“附加视频”。
例如,作为附加视频,可以想到捕获正在评论歌曲介绍的表演者的歌曲介绍视频等。
在本示例中,假设附加视频连接到视点切换视频的开始点侧。
图24示出了根据附加视频的指示操作的画面显示的示例。
图24A示出了第三实施例中由用户终端10显示的编辑画面G21的示例。
在这种情况下,在包括由视频获取支持应用Ap3C提供的编辑画面G21的画面上,与上述列表画面按钮B20、编辑画面按钮B21和预览画面按钮B22一起显示附加视频画面按钮B27。
用户可以通过操作附加视频画面按钮B27使用户终端10显示如图24B所示的附加视频画面G23。
附加视频画面G23设置有“成像开始”按钮B28。用户可以通过操作“成像开始”按钮B28向用户终端10指示附加视频的成像开始(记录开始)。如所述用于确认,用户终端10中的视频成像由成像单元10a执行(参见图1)。
注意,尽管省略了图示,但是可以在附加视频画面G23内显示正在记录的成像视频。作为记录终止操作的接受,可以想到响应于“成像开始”按钮B28的操作,显示“成像终止”按钮代替“成像开始”按钮B28,并接受“成像终止”按钮的操作。
当终止附加视频的记录时,附加视频画面G23的显示内容转变为图24C所示的显示内容。在这种情况下,附加视频画面G23设置有“重放”按钮B29、“再成像按钮”B30和“确认”按钮B31。响应于“回放”按钮B29的操作,在附加视频画面G23中显示附加视频的预览视频ma的回放视频。
此外,响应于“再成像按钮”B30的操作,附加视频画面G23的显示内容返回到图24B所示的状态,并且用户可以通过再次操作“成像开始”按钮B28对附加视频进行再成像(再记录)。
响应于“确认”按钮B31的操作,将成像的附加视频确认为要连接到视点切换视频的视频。
注意,在本示例中,用户可以选择是否生成具有附加视频的视点切换视频,或者生成没有附加视频的视点切换视频。具体地,在生成没有附加视频的视点切换视频的情况下,用户在编辑画面G21上执行诸如开始时间操作部TS的操作的必要编辑操作之后操作“编辑执行”按钮B23。由此,与第一实施例的情况类似地生成视点切换视频。
同时,在生成具有附加视频的视点切换视频的情况下,用户在编辑画面G21上执行编辑操作,并且在通过附加视频画面G23上的操作对附加视频进行成像并操作“确认”按钮B31之后操作“编辑执行”按钮B23。因此,可以生成具有附加视频的视点切换视频,如下所述。
[4-2.用户终端的处理]
将参考图25和26中的流程图描述作为第四实施例的由用户终端10执行的处理。
由用户终端10根据作为视频获取支持应用Ap3C的程序执行图25和26所示的处理。在这种情况下由用户终端10执行的处理在图17和18所示的步骤S504中的处理和图17和20所示的一系列处理中的图20所示的处理(响应于“编辑执行”按钮B23的操作而执行的处理)方面是不同的。因此,下面将描述在第四实施例的情况下要执行的这些处理。
在图25中,用户终端10(用户终端10的CPU 101:以下类似地应用于图25和26)在步骤S1001中确定是否已经执行了附加视频画面按钮B27的操作。
尽管省略了图示,但是在步骤S1001中确定尚未执行附加视频画面按钮B27的操作的情况下,用户终端10确定是否存在另一操作并且在已执行对应操作的情况下根据该操作执行处理。
在步骤S1001中确定已经执行了附加视频画面按钮B27的操作的情况下,用户终端10进行到步骤S1002,执行附加视频画面G23的显示处理,并等待直到在后续步骤S1003中执行成像开始操作,即,在本示例中,操作“成像开始”按钮B28。
在执行成像开始操作的情况下,用户终端10前进到步骤S1004并执行成像处理。换句话说,用户终端10通过成像单元10a对成像视频执行记录处理。
例如,在响应于满足预定终止条件而终止步骤S1004中的成像处理(诸如操作“成像终止”按钮)的情况下,用户终端10在步骤S1005中执行附加视频画面G23的显示更新处理。也就是说,在本示例中,附加视频画面G23的显示内容被更新为图24C中描述的显示内容。
响应于在步骤S1005中执行显示更新处理,用户终端10将处理前进到步骤S1006。用户终端10通过步骤S1006、S1007以及S1007中的处理等待“重放”按钮B29的操作、“再成像”按钮B30的操作和“确认”按钮B31的操作中的任何操作。
在步骤S1006中确定了“回放”按钮B29的操作的情况下,用户终端10进行到步骤S1009并执行回放处理,然后返回到步骤S1006。作为步骤S1009中的回放处理,执行所记录的附加视频的预览视频ma的回放处理,并且执行在附加视频画面G23中显示预览视频ma的处理。
在步骤S1007中确定了“再成像”按钮B30的操作的情况下,用户终端10返回到步骤S1003并再次等待成像开始操作。从而,能够对附加视频进行再记录。
此外,在步骤S1008中确定了“确认”按钮B31的操作的情况下,用户终端10进入步骤S1010并将附加视频标志设置为“ON(打开)”。
接下来,将描述图26中的处理。
在这种情况下,用户终端10响应于确定在图17的步骤S510中已经操作“确认”按钮B26而在图26的步骤S1101中确定附加视频标志是否为“ON”。
如果附加视频标志不是“ON”,则用户终端10以与第一实施例的情况类似的方式执行步骤S512、S513和S514中的处理,并且终止从图17到图26的一系列处理。
换句话说,在这种情况下,在服务器装置9中生成没有附加视频的视点切换视频并将其下载到用户终端10。
另一方面,在附加视频标志为“ON”的情况下,用户终端10前进到步骤S1102,并且执行将每个视频区间的使用视频标识信息和区间信息以及附加视频发送到服务器装置9的处理。这里的附加视频是在步骤S1004的成像处理中记录的最新视频。
在这种情况下,服务器装置9基于在步骤S1102中发送的使用视频标识信息和区间信息来生成视点切换视频,并且通过其中附加视频连接到生成的视点切换视频的一个视频文件生成具有附加视频的视点切换视频。
在步骤S1102之后的步骤S1103中,用户终端10等待来自服务器装置9的生成完成通知,并且在存在生成完成通知的情况下,在步骤S1104中执行对具有附加视频的视点切换视频的下载处理。
用户终端10响应于步骤S1104中的处理的执行,终止从图17到图26的一系列处理。
注意,已经描述了附加视频连接到视点切换视频的开始点侧的示例。然而,附加视频与视点切换视频的连接位置是任意的。此外,可以根据用户操作等使连接位置可变。
此外,在用户终端10中,附加视频连接到视点切换视频(到容量减小图像),并且在用户终端10中,可以执行具有附加视频的视点切换视频的预览视频的回放和显示。
[4-3.第四实施例的结论]
如上所述,在第四实施例的信息处理设备(用户终端10)中,指示接受单元(指示接受处理单元F11)接受指定除了多个成像视频之外的视频的指示,并且包括视频发送控制单元(视频发送控制处理单元F15),其被配置为执行控制以将指示的视频和随机选择单元的选择结果发送到外部装置。
利用该配置,可以由外部装置生成其中任意视频连接到视点切换视频的视频。
因此,可以提高视频内容的自由度,并且可以增强用户的益处。
此外,第四实施例的信息处理设备包括被配置为对被摄体进行成像的成像单元(成像单元10a),其中指示接受单元接受来自通过成像单元成像的视频中对连接到视点切换视频的视频的指定指示。
例如,利用该配置,在获得其中任意视频连接到视点切换视频的视频时,用户可以使用诸如智能电话的具有相机的移动终端容易地获得要连接的视频。
因此,可以实现用户的益处的提高和便利性的提高。
<5.程序>
已经描述了作为根据本技术的信息处理设备的实施例的控制终端1和用户终端10。然而,实施例的第一程序是用于使信息处理设备(CPU等)执行控制终端1(或成像管理终端5)的处理的程序。
根据实施例的第一程序是用于使信息处理设备实现信息获取功能和发送控制功能的程序,其中,信息获取功能用于获取指定通过成像装置的成像视频中的部分范围作为要分发给用户的视频部分的入点和出点的信息;以及发送控制功能用于执行将由所述信息获取功能获取的入点和出点的信息和成像视频发送到外部装置的控制。
换句话说,该程序对应于用于使诸如控制终端1的信息处理设备执行图10中描述的处理等的程序。
此外,实施例的第二程序是用于使信息处理设备实现指示接受功能和随机选择功能的程序,其中,指示接受功能用于接收成像视点的切换间隔的指示作为用于生成一个视点切换视频的指示,其中,在所述一个视点切换视频中,基于通过从不同成像视点对被摄体进行成像而获得的多个成像视频,随时间切换成像视点;以及随机选择功能用于从所述多个成像视频中随机选择要在由所述切换间隔分割的视点切换视频的每个视频区间中使用的视频。
换句话说,该程序对应于用于使诸如用户终端10的计算机装置执行图17和19中描述的处理等的程序。
可以通过上述第一或第二程序实现作为上述控制终端1或用户终端10的信息处理设备。
然后,这样的程序可以预先存储在作为内置在诸如计算机装置的装置中的存储介质的HDD、具有CPU的微计算机中的ROM等中。或者,程序可以临时或永久地存储(保存)在诸如半导体存储器、存储卡、光盘、磁光盘或磁盘的可移除存储介质中。此外,这种可移除存储介质可以作为所谓的封装软件设置。
此外,除了从可移除存储介质安装到个人计算机等之外,还可以经由诸如LAN或因特网的网络从下载站点下载这样的程序。
注意,本说明书中描述的效果仅是示例而不是限制,并且可以表现出其他效果。
<6.修改>
本技术不限于上述具体示例,并且可以想到各种修改。
例如,已经描述了将本技术应用于实况表演的成像的示例。然而,本技术可以有利地应用于除实况表演之外的其他对象(诸如多个人按顺序进行讲座的讲座活动)的成像。
<7.第一应用>
根据本公开的技术(本技术)可以应用于各种产品。例如,根据本公开的技术可以应用于手术室系统。
图27是示意性地示出可应用根据本公开的技术的手术室系统5100的整体配置的图。参照图27,手术室系统5100被配置为使得安装在手术室中的装置被连接以能够经由视听控制器(AV控制器)5107和手术室控制装置5109彼此协作。
可以在手术室中安装各种装置。作为示例,图27示出了一组用于内窥镜手术的各种装置5101、设置在手术室的天花板上并对操作者的手进行成像的天花板相机5187、设置在天花板上并对手术室的整个状态进行成像的手术视野相机5189、多个显示装置5103A至5103D、记录器5105、病床5183和照明装置5191。
这里,在这些装置中,装置组5101属于下面描述并且包括内窥镜、显示由内窥镜成像的图像的显示装置等的内窥镜手术系统5113。属于内窥镜手术系统5113的每个装置也称为医疗装置。同时,显示装置5103A至5103D、记录器5105、病床5183和照明装置5191是设置在例如与内窥镜手术系统5113分开的手术室中的装置。不属于内窥镜手术系统5113的每个装置都被称为非医疗装置。视听控制器5107和/或手术室控制装置5109彼此协作地控制医疗装置和非医疗装置。
视听控制器5107集中控制与医疗装置和非医疗装置中的图像显示有关的处理。具体地,在手术室系统5100中包括的装置中,装置组5101、天花板照相机5187和手术视野相机5189可以是具有发送在外科手术期间显示的信息(下文中,该信息也称为显示信息)的功能的装置(在下文中,也称为发送源处的装置)。此外,显示装置5103A至5103D可以是输出显示信息的装置(下文中,也称为输出目的地处的装置)。此外,记录器5105可以是与发送源处的装置和输出目的地处的装置两者相对应的装置。视听控制器5107具有控制发送源处的装置和输出目的地处的装置的操作、从发送源处的装置获取显示信息、将显示信息发送到输出目的地处的装置、以及显示或记录显示信息的功能。注意,显示信息是在外科手术期间成像的各种图像、关于外科手术的各种类型的信息(例如,患者的身体信息、过去的检查结果的信息、操作方法的信息等)等。
具体地,可以将关于由内窥镜成像的患者体腔中的手术部位的图像的信息作为显示信息从装置组5101发送到视听控制器5107。此外,可以将关于由天花板相机5187成像的操作者的手的图像的信息作为显示信息从天花板相机5187发送。此外,可以将关于示出由手术视野相机5189成像的整个手术室的状态的图像的信息作为显示信息从手术视野相机5189发送。注意,在手术室系统5100中存在具有成像功能的另一装置的情况下,视听控制器5107可以从另一装置获取关于由另一装置成像的图像的信息作为显示信息。
或者,例如,关于过去成像的这些图像的信息由视听控制器5107记录在记录器5105中。视听控制器5107可以从记录器5105获取关于过去成像的图像的信息作为显示信息。注意,记录器5105还可以预先记录关于外科手术的各种类型的信息。
视听控制器5107使得显示装置5103A至5103D中的至少任何一个作为输出目的地处的装置显示所获取的显示信息(换句话说,在外科手术期间成像的图像和关于外科手术的各种类型的信息)。在所示的示例中,显示装置5103A是从手术室的天花板悬挂和安装的显示装置,显示装置5103B是安装在手术室的墙壁上的显示装置,显示装置5103C是安装在手术室的桌子上的显示装置,并且显示装置5103D是具有显示功能的移动装置(例如,平板个人计算机(PC))。
此外,尽管在图27中省略了图示,但是手术室系统5100可以包括手术室外部的装置。手术室外部的装置可以是例如连接到在医院内部或外部构建的网络的服务器、医务人员使用的PC、安装在医院的会议室中的投影仪等。在这样的外部装置在医院外部的情况下,视听控制器5107还可以经由视频会议系统等使另一家医院的显示装置显示显示信息以用于远程医疗。
手术室控制装置5109集中控制除了关于非医疗装置中的图像显示的处理之外的处理。例如,手术室控制装置5109控制病床5183、天花板相机5187、手术视野相机5189和照明装置5191的驱动。
手术室系统5100设置有集中操作面板5111,并且用户可以通过集中操作面板5111向视听控制器5107给出关于图像显示的指令,并且可以向手术室控制装置5109给出关于非医疗装置的操作的指令。集中操作面板5111在显示装置的显示面上设置有触摸板。
图28是示出集中操作面板5111上的操作画面的显示示例的图。作为示例,图28示出了对应于在手术室系统5100中设置两个显示装置作为输出目的地处的装置的情况的操作画面。参考图28,操作画面5193设置有发送源选择区域5195、预览区域5197和控制区域5201。
发送源选择区域5195将设置在手术室系统5100中的发送源装置和表示由发送源装置保持的显示信息的缩略图画面彼此相关联地显示。用户可以从显示在发送源选择区域5195中的任何发送源装置中选择要在显示装置上显示的显示信息。
预览区域5197显示在作为输出目的地处的装置的两个显示装置(监视器1和监视器2)上显示的画面的预览。在所示的示例中,在一个显示装置上的画中画(PinP)中显示四个图像。四个图像对应于从在发送源选择区域5195中选择的发送源装置发送的显示信息。四个图像中的一个作为主图像显示得相对较大,而剩余的三个图像作为子图像显示得相对较小。用户可以通过适当地选择显示四个图像的区域来切换主图像和子图像。此外,在显示四个图像的区域下方设置状态显示区域5199,并且在该地区中适当地显示关于外科手术的状态(例如,外科手术的经过时间、患者的身体信息等)。
控制区域5201设置有其中显示用于操作发送源处的装置的图形用户界面(GUI)组件的发送源操作区域5203,以及其中显示用于操作输出目的地处的装置的GUI组件的输出目的地操作区域5205。在所示的示例中,发送源操作区域5203设置有GUI组件,用于执行发送源处的具有成像功能的装置中的相机的各种操作(平移、倾斜和变焦)。用户可以通过适当地选择这些GUI组件来操作发送源处的装置中的相机的操作。注意,尽管省略了图示,但是在发送源选择区域5195中选择的发送源处的装置是记录器的情况下(换句话说,在预览区域5197中显示在记录器中过去记录的图像的情况下),发送源操作区域5203可以设置有GUI组件,用于执行诸如图像的再现、再现停止、倒带和快进的操作。
此外,输出目的地操作区域5205设置有GUI组件,用于对作为输出目的地处的装置的显示装置中的显示执行各种操作(交换、翻转、颜色调节、对比度调节以及2D显示和3D显示之间的切换)。用户可以通过适当地选择这些GUI组件来操作显示装置中的显示。
注意,集中操作面板5111上显示的操作画面不限于所示示例,并且用户可以能够经由集中操作面板5111对可由设置在手术室系统5100中的视听控制器5107和手术室控制装置5109控制的装置执行操作输入。
图29是示出应用了上述手术室系统的外科手术的状态的示例的图。天花板照相机5187和手术视野相机5189设置在手术室的天花板上,并且可以对对病床5183上的患者5185的患部进行治疗的操作者(医生)5181的手和整个手术室的状态进行成像。天花板照相机5187和手术视野相机5189可以设置有放大率调节功能、焦距调节功能、成像方向调节功能等。照明装置5191设置在手术室的天花板上并且至少照亮操作者5181的手。照明5191可以能够适当地调节照射光量、照射光的波长(颜色)、光的照射方向等。
如图27所示,内窥镜手术系统5113、病床5183、天花板照相机5187、手术视野相机5189和照明装置5191经由视听控制器5107和手术室控制装置5109(图中未示出)彼此协作地连接。集中操作面板5111设置在手术室中,并且如上所述,用户可以经由集中操作面板5111适当地操作存在于手术室中的这些装置。
在下文中,将详细描述内窥镜手术系统5113的配置。如图所示,内窥镜手术系统5113包括内窥镜5115、其他手术工具5131、支撑内窥镜5115的支撑臂装置5141、以及安装有用于内窥镜手术的各种装置的推车5151。
在内窥镜手术中,将称为套管针5139a至5139d的多个圆柱形穿刺装置刺入腹壁而不是切开腹壁以打开腹部。然后,内窥镜5115的镜筒5117和其他手术工具5131通过套管针5139a至5139d插入患者5185的体腔中。在所示的示例中,作为其他手术工具5131,将气腹管5133、能量治疗工具5135和一对钳子5137插入患者5185的体腔中。此外,能量治疗工具5135是用于利用高频电流或超声波振动进行组织切开和分离、血管密封等的治疗工具。注意,图示的手术工具5131仅仅是示例,并且通常在内窥镜手术中使用的各种手术工具(诸如镊子、牵开器等)可以用作手术工具5131。
在显示装置5155上显示由内窥镜5115成像的患者5185的体腔中的手术部位的图像。操作者5181在实时查看显示在显示装置5155上的手术部位的图像的同时,使用能量治疗工具5135和钳子5137执行诸如移除患部的治疗。注意,尽管省略了图示,但是在外科手术期间,由操作者5181、助手等支撑气腹管5133、能量治疗工具5135和钳子5137。
(支撑臂装置)
支撑臂装置5141包括从基座单元5143延伸的臂单元5145。在所示的示例中,臂单元5145包括接头部5147a、5147b和5147c,以及连杆5149a和5149b,并且在臂控制装置5159的控制下驱动。内窥镜5115由臂单元5145支撑,并且控制内窥镜5115的位置和姿势。利用该控制,可以实现内窥镜5115的位置的稳定固定。
(内窥镜)
内窥镜5115包括镜筒5117以及连接到镜筒5117的近端的相机头5119,其中,镜筒5117具有从插入患者5185的体腔的远端起具有预定长度的区域。在所示的示例中,示出了被配置为包括硬镜筒5117的所谓的硬内窥镜的内窥镜5115。然而,内窥镜5115可以被配置为包括软镜筒5117的所谓的软内窥镜。
镜筒5117的远端设置有其中安装物镜的开口。光源装置5157连接到内窥镜5115,并且由光源装置5157生成的光通过在镜筒5117内部延伸的导光件被引导到镜筒5117的远端,且利用通过物镜的光照射患者5185的体腔中观察到的对象。注意,内窥镜5115可以是直视内窥镜,可以是倾斜观察内窥镜,或者可以是侧视内窥镜。
光学系统和成像元件设置在相机头5119内,并且来自待观察对象的反射光(观察光)通过光学系统会聚到成像元件。观察光由成像元件光电转换,并且生成对应于观察光的电信号,即,对应于观察图像的图像信号。图像信号作为原始数据被发送到相机控制单元(CCU)5153。注意,相机头5119具有通过适当地驱动光学系统来调节放大率和焦距的功能。
注意,例如,为了应对立体视图(3D显示)等,可以在相机头5119中设置多个成像元件。在这种情况下,在镜筒5117内部设置多个中继光学系统,以将观察光引导到多个成像元件中的每一个。
(安装在购物车中的各种装置)
CCU 5153包括中央处理单元(CPU)、图形处理单元(GPU)等,并集中控制内窥镜5115和显示装置5155的操作。具体地,CCU 5153将用于显示基于图像信号的图像的各种类型的图像处理(诸如显影处理(去马赛克处理))应用到从相机头5119接收到的图像信号。CCU 5153将已经应用了图像处理的图像信号提供给显示装置5155。此外,图27所示的视听控制器5107连接到CCU 5153。CCU 5153还将已应用图像处理的图像信号提供给视听控制器5107。此外,CCU 5153将控制信号发送到相机头5119以控制其驱动。控制信号可以包括关于成像条件(诸如放大率和焦距)的信息。关于成像条件的信息可以经由输入装置5161输入,或者可以经由上述集中操作面板5111输入。
显示装置5155在CCU5153的控制下显示已经由CCU5153对其应用了图像处理的基于图像信号的图像。在内窥镜5115支持诸如4K(水平像素数3840×垂直像素数2160)或8K(水平像素数7680×垂直像素数4320)的高分辨率成像的情况下,和/或在内窥镜5115支持3D显示的情况下,例如,可以对应于每种情况使用可以执行高分辨率显示和/或3D显示的显示装置5155。在内窥镜5115支持诸如4K或8K的高分辨率成像的情况下,通过使用尺寸为55英寸或更大的显示装置5155,可以获得更大的沉浸感。此外,可以根据用途提供具有不同分辨率和尺寸的多个显示装置5155。
光源装置5157例如包括诸如发光二极管(LED)的光源,并且在对手术部位等进行成像时将照射光提供给内窥镜5115。
臂控制装置5159包括诸如CPU的处理器,并且根据预定程序操作,从而根据预定控制方法控制支撑臂装置5141的臂单元5145的驱动。
输入装置5161是用于内窥镜手术系统5113的输入接口。用户可以经由输入装置5161向内窥镜手术系统5113输入各种类型的信息和指令。例如,用户经由输入装置5161输入关于外科手术的各种类型的信息,诸如患者的身体信息和关于外科手术的操作方法的信息。此外,例如,用户经由输入装置5161输入驱动臂单元5145的指令、改变内窥镜5115的成像条件(诸如,照射光的类型、放大率和焦距)的指令、驱动能量处理工具5135的指令等。
输入装置5161的类型不受限制,并且输入装置5161可以是各种已知输入装置之一。例如,鼠标、键盘、触摸板、开关、脚踏开关5171和/或杆可以应用于输入装置5161。在使用触摸板作为输入装置5161的情况下,触摸板可以设置在显示装置5155的显示面上。
或者,输入装置5161例如是用户佩戴的装置,诸如眼镜式可穿戴装置或头戴式显示器(HMD),并且根据装置检测到的用户的手势或视线执行各种输入。此外,输入装置5161包括能够检测用户的移动的相机,并且根据从由相机成像的图像检测到的用户的手势或视线来执行各种输入。此外,输入装置5161包括能够收集用户的语音的麦克风,并且通过经由麦克风的声音执行各种输入。输入装置5161被配置为能够以非接触方式输入各种类型的信息,如上所述,使得特别属于清洁区域的用户(例如,操作员5181)可以以非接触方式操作属于污秽区域的装置。此外,由于用户可以在不从拥有的手术工具释放他/她的手的情况下操作该装置,因此提高了用户的便利性。
治疗工具控制装置5163控制能量处理工具5135的驱动,以用于组织的烧灼和切口、血管的密封等。气腹装置5165通过气腹管5133将气体送入患者5185的体腔中,以扩张体腔,以便确保内窥镜5115的视野和操作者的工作空间。记录器5167是可以记录关于外科手术的各种类型的信息的装置。打印机5169是可以以各种格式(诸如文本、图像或图形)打印关于手术的各种类型的信息的装置。
在下文中,将进一步详细描述内窥镜手术系统5113中的特别特性配置。
(支撑臂装置)
支撑臂装置5141包括作为基部的基部单元5143和从基部单元5143延伸的臂单元5145。在所示的示例中,臂单元5145包括多个接头部5147a、5147b和5147c,以及通过接头部5147b连接的多个连杆5149a和5149b。然而,图29示出了臂单元5145的简化配置,以简化。实际上,可以适当地设置接头部5147a至5147c和连杆5149a和5149b的形状、数量和布置,接头部5147a至5147c的旋转轴的方向等,使得臂单元5145具有所需的自由度。例如,臂单元5145可以有利地具有六个或更多个自由度。利用该配置,内窥镜5115可以在臂单元5145的可移动范围内自由移动。因此,内窥镜5115的镜筒5117可以从期望的方向插入到患者5185的体腔中。
致动器设置在接头部5147a至5147c中,并且接头部5147a至5147c被构造成通过致动器的驱动可绕预定旋转轴旋转。通过臂控制装置5159控制致动器的驱动,使得控制接头部5147a至5147c的旋转角度并控制臂单元5145的驱动。通过该控制,可以实现对内窥镜5115的位置和姿势的控制。此时,臂控制装置5159可以通过诸如力控制或位置控制的各种已知控制方法来控制臂单元5145的驱动。
例如,通过操作者5181经由输入装置5161(包括脚踏开关5171)适当地执行操作输入,臂单元5145的驱动可以由臂控制装置5159根据操作输入适当地控制,并且可以控制内窥镜5115的位置和姿势。通过该控制,臂单元5145的远端处的内窥镜5115可以从任意位置移动到任意位置,然后可以在移动之后的位置处被固定地支撑。注意,臂单元5145可以由所谓的主从系统操作。在这种情况下,可以由用户经由安装在远离手术室的地方的输入装置5161远程操作臂单元5145。
此外,在施加力控制的情况下,臂控制装置5159接收来自用户的外力,并且可以执行所谓的动力辅助控制以驱动接头部5147a至5147c的致动器,使得臂单元5145可以根据外力平稳地移动。通过该控制,用户可以在移动臂单元5145的同时以相对轻的力移动臂单元5145,同时与臂单元5145直接接触。因此,用户可以通过更简单的操作更直观地移动内窥镜5115,并且用户的便利性可以得到改善。
这里,在内窥镜手术中,内窥镜5115通常由称为内窥镜师(scopist)的医生支撑。相反,通过使用支撑臂装置5141,可以在没有手动操作的情况下可靠地固定内窥镜5115的位置,因此可以稳定地获得手术部位的图像并且可以平稳地执行外科手术。
注意,臂控制装置5159不一定设置在推车5151中。此外,臂控制装置5159不一定是一个装置。例如,臂控制装置5159可以设置在支撑臂装置5141的臂单元5145的接头部5147a至5147c中的每个中,并且臂单元5145的驱动控制可以通过多个臂控制装置5159的相互配合来实现。
(光源装置)
光源装置5157将用于对手术部位进行成像的照射光提供给内窥镜5115。光源装置5157包括由激光源的组合配置的LED、激光光源或白光源。在通过RGB激光光源的组合配置白光源的情况下,可以高精度地控制各个颜色(波长)的输出强度和输出定时。因此,可以在光源装置5157中调节成像图像的白平衡。此外,在这种情况下,以时分方式用来自每个RGB激光光源的激光照射待观察对象,并且与照射定时同步地控制相机头5119的成像元件的驱动,使得每个对应于RGB的图像可以以时分方式成像。根据该方法,可以在不向成像元件提供滤色器的情况下获得彩色图像。
此外,可以控制光源装置5157的驱动以改变每个预定时间输出的光的强度。相机头5119的成像元件的驱动与光强度的改变定时同步地被控制,并且图像以时分方式被获取并被合成,使得可以生成没有被剪切的黑色和闪光高亮(flared highlight)的高动态范围图像。
此外,光源装置5157可以被配置为能够提供对应于特殊光观察的预定波段的光。在特殊光观察中,例如,所谓的窄带成像是使用身体组织中的光的吸收的波长依赖性,通过在正常观察时以比照射光(即白光)更窄的波段辐射光来执行的,从而以高对比度对预定组织(诸如粘膜表面层中的血管)进行成像。或者,在特殊光观察中,可以进行通过激发光的辐射生成的荧光的荧光观察来获得图像。在荧光观察中,可以执行用激发光照射身体组织以观察来自身体组织的荧光(自荧光观察),将诸如吲哚菁绿(ICG)的试剂注射到身体组织中并用对应于试剂的荧光波长的激发光照射身体组织,以获得荧光图像等。光源装置5157可以被配置为能够提供与这种特殊光观察相对应的窄带光和/或激发光。
(相机头和CCU)
将参考图30更详细地描述内窥镜5115的相机头5119和CCU5153的功能。图30是示出图29中图示的相机头5119和CCU 5153的功能配置的示例的框图。
参考图30,相机头5119具有透镜单元5121、成像单元5123、驱动单元5125、通信单元5127和相机头控制单元5129作为其功能。此外,CCU 5153包括通信单元5173、图像处理单元5175和控制单元5177作为其功能。相机头5119和CCU 5153通过发送线缆5179可通信地相互连接。
首先,将描述相机头5119的功能配置。透镜单元5121是设置在透镜单元5121和镜筒5117之间的连接部分中的光学系统。通过镜筒5117的远端带入的观察光被引导到相机头5119并进入透镜单元5121。透镜单元5121由包括变焦透镜和聚焦透镜的多个透镜的组合配置。调节透镜单元5121的光学特性以将观察光会聚在成像单元5123的成像元件的光接收表面上。此外,变焦透镜和聚焦透镜的光轴上的位置被配置为可移动,以调节成像图像的放大率和焦点。
成像单元5123包括成像元件,并且设置在透镜单元5121的后级。已经通过透镜单元5121的观察光聚焦在成像元件的光接收表面上,并且通过光电转换生成对应于观察图像的图像信号。由成像单元5123生成的图像信号被提供给通信单元5127。
作为构成成像单元5123的成像元件,例如,使用具有拜耳排列并且能够进行彩色成像的互补金属氧化物半导体(CMOS)型图像传感器。注意,作为成像元件,例如,可以使用能够成像4K或更高的高分辨率图像的成像元件。通过以高分辨率获得手术部位的图像,操作者5181可以更详细地掌握手术部位的状态,并且可以更平稳地推进手术操作。
此外,配置成像单元5123的成像元件包括一对成像元件,用于分别获得对应于3D显示的右眼和左眼的图像信号。通过3D显示,操作者5181可以更准确地掌握手术部位中的生物组织的深度。注意,在成像单元5123由多个成像元件配置的情况下,可以对应于成像元件设置多个透镜单元5121的系统。
此外,成像单元5123不一定设置在相机头5119中。例如,成像单元5123可以紧接在镜筒5117内的物镜之后设置。
驱动单元5125包括致动器,并且在相机头控制单元5129的控制下沿着光轴将透镜单元5121的变焦透镜和聚焦透镜移动预定距离。随着移动,可以适当地调节成像单元5123的成像图像的放大率和焦点。
通信单元5127包括用于向CCU 5153发送或从CCU 5153接收各种类型的信息的通信装置。通信单元5127通过发送线缆5179将从成像单元5123获得的图像信号作为原始数据发送到CCU 5153。此时,为了以低等待时间显示手术部位的成像图像,通过光通信有利地发送图像信号。这是因为,在外科手术中,操作者5181在利用捕获图像观察患部的状态的同时执行外科手术,因此为了更安全、更可靠的外科手术,需要尽可能实时地显示手术部位的运动图像。在光通信的情况下,通信单元5127设置有光电转换模块,该光电转换模块将电信号转换为光信号。图像信号由光电转换模块转换为光信号,然后通过发送线缆5179发送到CCU5153。
此外,通信单元5127从CCU 5153接收用于控制相机头5119的驱动的控制信号。例如,控制信号包括关于成像条件的信息,诸如用于指定成像图像的帧速率的信息、用于指定成像时的曝光值的信息、和/或用于指定成像图像的放大率和焦点的信息。通信单元5127将所接收的控制信号提供给相机头控制单元5129。注意,来自CCU 5153的控制信号也可以通过光通信发送。在这种情况下,通信单元5127设置有光电转换模块,该光电转换模块将光信号转换为电信号,并且控制信号由光电转换模块转换为电信号,然后提供给相机头控制单元5129。
注意,诸如帧速率、曝光值、放大率和焦点的成像条件由CCU5153的控制单元5177基于所获取的图像信号自动设置。也就是说,所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能被结合在内窥镜5115中。
相机头控制单元5129基于经由通信单元5127从CCU 5153接收的控制信号来控制相机头5119的驱动。例如,相机头控制单元5129基于用于指定成像图像的帧速率的信息和/或用于指定成像时的曝光的信息控制成像单元5123的成像元件的驱动。此外,例如,相机头控制单元5129基于用于指定成像图像的放大率和焦点的信息,经由驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。相机头控制单元5129还可以具有存储用于识别镜筒5117和相机头5119的信息的功能。
注意,透镜单元5121、成像单元5123等的配置被布置为具有高气密性和防水性的气密密封结构,使得相机头5119可以具有耐高压灭菌处理的能力。
接下来,将描述CCU 5153的功能配置。通信单元5173包括用于向相机头5119发送或从相机头5119接收各种信息的通信装置。通信单元5173通过发送线缆5179接收从相机头5119发送的图像信号。此时,如上所述,可以通过光通信有利地发送图像信号。在这种情况下,通信单元5173设置有光电转换模块,该光电转换模块对应于光通信将光信号转换为的电信号。通信单元5173将转换为电信号的图像信号提供给图像处理单元5175。
此外,通信单元5173将用于控制相机头5119的驱动的控制信号发送到相机头5119。还可以通过光通信发送控制信号。
图像处理单元5175对从相机头5119发送的作为原始数据的图像信号应用各种类型的图像处理。图像处理包括例如各种类型的已知信号处理,诸如显影处理、高图像质量处理(诸如,频带增强处理、超分辨率处理、降噪(NR)处理和/或相机抖动校正处理)、和/或放大处理(电子变焦处理)。此外,图像处理单元5175对图像信号执行波检测处理,以执行AE、AF和AWB。
图像处理单元5175包括诸如CPU或GPU的处理器,并且处理器根据预定程序进行操作,从而执行上述图像处理和波检测处理。注意,在图像处理单元5175包括多个GPU的情况下,图像处理单元5175适当地分割关于图像信号的信息,并且通过多个GPU并行地执行图像处理。
控制单元5177执行与内窥镜5115对手术部位的成像以及成像图像的显示有关的各种类型的控制。例如,控制单元5177生成用于控制相机头5119的驱动的控制信号。此时,在由用户输入成像条件的情况下,控制单元5177基于由用户的输入生成控制信号。或者,在AE功能、AF功能和AWB功能被包含在内窥镜5115中的情况下,控制单元5177根据通过图像处理单元5175的波检测处理的结果适当地计算最佳曝光值、焦距和白平衡,并生成控制信号。
此外,控制单元5177基于由图像处理单元5175应用图像处理的图像信号,在显示装置5155中显示操作部的图像等。此时,控制单元5177使用各种图像识别技术识别手术部位的图像中的各种对象。例如,控制单元5177可以通过检测包括在成像图像中的对象的边缘形状、颜色等来识别诸如钳子的手术器械、特定生物体部分、血液、使用能量处理工具5135时的雾等。通过使用识别结果,在显示装置5155上显示手术部位的图像时,控制单元5177在手术部位的图像上叠加并显示各种类型的手术支持信息。手术支持信息被叠加、显示并呈现给操作者5181,从而可以更安全和可靠地推进外科手术。
连接相机头5119和CCU 5153的发送线缆5179是支持电信号通信的电信号线缆、支持光通信的光纤或其复合线缆。
这里,在所示的示例中,使用发送线缆5179以有线方式执行通信。然而,可以无线地执行相机头5119和CCU 5153之间的通信。在无线地执行相机头5119和CCU 5153之间的通信的情况下,不必将发送线缆5179放置在手术室中。因此,可以消除发送线缆5179阻碍医务人员在手术室中移动的情况。
已经描述了可应用根据本公开的技术的手术室系统5100的示例。注意,这里,已经描述了应用手术室系统5100的医疗系统是内窥镜手术系统5113的情况作为示例。然而,手术室系统5100的配置不限于该示例。例如,手术室系统5100可以应用于用于检查的柔性内窥镜系统或显微外科系统,而不是内窥镜手术系统5113。
根据本公开的技术还有利地用于可通过上述配置实现的手术视野的视频编辑。在这种情况下,操作者或医务工作者对应于本技术中假设的“用户”,并且可以想到使用相机头5119、天花板相机头5187或手术视野相机头5189作为本技术中的“成像装置”。
<8.第二应用>
根据本公开的技术可以应用于各种产品。例如,根据本公开的技术可以实现为安装在包括汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人移动装置、飞机、无人机、船舶、机器人等的任何类型的移动体上的装置。
图31是示出作为可应用根据本公开的技术的移动体控制系统的示例的车辆控制系统的示意性配置示例的框图。
车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图31所示的示例中,车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车辆外部信息检测单元12030、车辆内部信息检测单元12040和集成控制单元12050。此外,作为集成控制单元12050的功能配置,示出了微计算机12051、声像输出单元12052和车内网络接口(I/F)12053。
驱动系统控制单元12010根据各种程序控制关于车辆的驱动系统的装置的操作。例如,驱动系统控制单元12010起用于产生车辆的驱动力的驱动力产生装置(诸如内燃机或驱动电机)、用于将驱动力传递到车轮的驱动力传递机构、调节车辆转向角的转向机构、产生车辆制动力的制动装置等的控制装置的作用。
车身系统控制单元12020根据各种程序控制装配在车身中的各种装置的操作。例如,车身系统控制单元12020起无钥匙进入系统、智能钥匙系统、自动车窗装置以及诸如前照灯、后照灯、制动灯、转向灯和雾灯的各种灯的控制装置的作用。在这种情况下,从移动装置发送的代替钥匙的无线电波或各种开关的信号可以被输入到车身系统控制单元12020。车身系统控制单元12020接收无线电波或信号的输入,并控制车辆的门锁装置、自动车窗装置、灯等。
车辆外部信息检测单元12030检测安装车辆控制系统12000的车辆外部的信息。例如,成像单元12031连接到车辆外部信息检测单元12030。车辆外部信息检测单元12030使成像单元12031对车辆外部的图像进行成像,并接收成像图像。车辆外部信息检测单元12030可以基于所接收的图像对路面上的人、车辆、障碍物、标记、字母等执行物体检测处理或距离检测处理。
成像单元12031是光学传感器,其接收光并输出根据接收的光量的电信号。成像单元12031可以将电信号作为图像输出,并且可以将电信号作为距离测量的信息输出。此外,由成像单元12031接收的光可以是可见光,或者可以是诸如红外光的不可见光。
车辆内部信息检测单元12040检测车辆内的信息。例如,检测驾驶员的状态的驾驶员状态检测单元12041连接到车辆内部信息检测单元12040。驾驶员状态检测单元12041包括例如对驾驶员进行成像的相机,并且车辆内部信息检测单元12040可以基于从驾驶员状态检测单元12041输入的检测信息计算驾驶员的疲劳程度或集中程度,或者可以确定驾驶员是否睡着了。
微计算机12051基于在车辆外部信息检测单元12030或车辆内部信息检测单元中获取的车辆内外的信息来计算驱动力产生装置、转向机构或制动装置的控制目标值,并且可以向驱动系统控制单元12010输出控制命令。例如,微计算机12051可以执行协同控制,以实现高级驾驶员辅助系统(ADAS)功能,包括车辆的碰撞避免或减震、基于车间距的跟随行驶、车辆速度保持行驶、车辆的碰撞警告、车辆的车道偏离(lane out)警告等。
此外,微计算机12051基于在车辆外部信息检测单元12030或车辆内部信息检测单元12040中获取的车辆附近的信息来控制驱动力产生装置、转向机构、制动装置等以执行协作控制,以便于自动行驶的自动驾驶,而不依赖于驾驶员的操作等。
此外,微计算机12051可以基于在车辆外部信息检测单元12030中获取的车辆外部的信息向车身系统控制单元12030输出控制命令。例如,微计算机12051可以通过根据在车辆外部信息检测单元12030中检测到的前导车辆或迎面而来的车辆的位置控制前照灯并将远光灯切换到近光灯执行协同控制来实现无眩光的目的。
声像图像输出单元12052将声音或图像中的至少一个的输出信号发送到输出装置,该输出装置可以在视觉上和听觉上向车辆的乘客或车辆的外部通知信息。在图31的示例中,作为输出装置,示例性地示出了音频扬声器12061、显示单元12062和仪表板12063。显示单元12062可以包括例如车载显示器或平视显示器中的至少一个。
图32是示出成像单元12031的安装位置的示例的图。
在图32中,包括成像单元12101、12102、12103、12104和12105作为成像单元12031。
例如,成像单元12101、12102、12103、12104和12105被设置在诸如前鼻、后视镜、后保险杠、后门和车辆12100内部的挡风玻璃的上部的位置处。设置在前鼻的成像单元12101和设置在车辆内部的挡风玻璃的上部的成像单元12105主要获取车辆12100的前方图像。设置在后视镜上的成像单元12102和12103主要获取车辆12100的侧面图像。设置在后保险杠或后门的成像单元12104主要获取车辆12100的后方图像。设置在车辆内部的挡风玻璃的上部的成像单元12105主要用于检测前行车辆、行人、障碍物、交通信号灯、交通标记、车道等。
注意,图32示出了成像单元12101至12104的成像范围的示例。成像范围12111表示设置在前鼻的成像单元12101的成像范围,成像范围12112和12113分别表示设置在后视镜上的成像单元12102和12103的成像范围,以及成像范围12114表示设置在后保险杠或后门的成像单元12104的成像范围。例如,通过叠加由成像单元12101至12104成像的图像数据,可以获得从上方观察的车辆12100的俯瞰图像。
成像单元12101至12104中的至少一个可以具有获取距离信息的功能。例如,成像单元12101至12104中的至少一个可以是包括多个成像元件的立体相机,或者可以是具有用于相位差检测的像素的成像元件。
例如,微计算机12051基于从成像单元12101至12104获得的距离信息,获得到成像范围12111至12114中的三维物体的距离和距离的时间变化(到车辆12100的相对速度),从而特别地提取在行驶道路上最靠近车辆12100并且在与作为前车的车辆12100基本相同的方向上以预定速度(例如,0km/h或更高)行驶的三维物体。此外,微计算机12051可以预先设置距离前导车辆确保的车间距,并且执行自动制动控制(包括跟随停止控制)和自动加速控制(包括跟随启动控制)等。以这种方式,可以执行协同控制,以便于自动行驶的自动驾驶,而不依赖于驾驶员的操作等。
例如,微计算机12051基于从成像单元12101到12104获得的距离信息将关于三维物体的三维物体数据分类为两轮车辆、普通汽车、大型车辆、行人以及要提取的诸如电杆的其他三维物体,并且可以使用该数据来自动避开障碍物。例如,微计算机12051将车辆12100周围的障碍物区分为车辆12100的驾驶员在视觉上可识别的障碍物和驾驶员在视觉上不可识别的障碍物。然后,微计算机12051确定指示与每个障碍物碰撞的风险的碰撞风险,并且在碰撞风险是设定值或更大并且存在碰撞可能性的情况下,可以通过经由音频扬声器12061或显示单元12062向驾驶员输出警告并经由驱动系统控制单元12010执行强制减速或者回避转向来执行用于碰撞避免的驾驶辅助。
成像单元12101至12104中的至少一个可以是检测红外光的红外相机。例如,微计算机12051确定行人是否存在于成像单元12101至12104的成像图像中,从而识别行人。例如,通过提取作为红外相机的成像单元12101至12104的成像图像中的特征点的处理,以及对指示物体的轮廓的一系列特征点执行模式匹配处理并区分物体是否是行人的处理来执行对行人的识别。当微计算机12051确定行人存在于成像单元12101至12104的成像图像中并识别行人时,声像图像输出单元12052控制显示单元12062叠加并显示方形轮廓线以强调所识别的行人。此外,声像图像输出单元12052可以使显示单元12062在期望位置处显示表示行人的图标等。
已经描述了可应用根据本公开的技术的车辆控制系统的示例。根据本公开的技术还有利地用于行车记录仪的视频编辑。在这种情况下,例如,驾驶员、诸如汽车保险的保险提供者对应于本技术中假设的“用户”,并且可以想到使用成像单元12101至12104中的至少一个作为本技术中的“成像装置”。
<9.本技术>
注意,本技术还可以具有以下配置。
(1)一种信息处理设备,包括:
信息获取单元,被配置为获取指定通过成像装置的成像视频中的部分范围作为要分发给用户的视频部分的入点和出点的信息;以及
发送控制单元,被配置为执行将由所述信息获取单元获取的入点和出点的信息和成像视频发送到外部装置的控制。
(2)根据(1)所述的信息处理设备,其中,
所述发送控制单元执行将通过多个成像装置的多个成像视频作为成像视频发送到外部装置的控制。
(3)根据(1)或(2)所述的信息处理设备,其中,
所述发送控制单元执行将视频部分和用于标识所述视频部分的视频部分标识信息彼此相关联地发送到外部装置的控制。
(4)根据(3)所述的信息处理设备,其中,
所述信息获取单元获取用于标识视频部分将被分发到的对象者的对象者标识信息,以及
所述发送控制单元执行将视频部分标识信息和对象者标识信息彼此相关联地发送到外部装置的控制。
(5)根据(4)所述的信息处理设备,其中,
所述信息获取单元获取多组入点和出点的信息作为入点和出点的信息,并针对视频部分中的每一个获取对象者标识信息,其中多组入点和出点的信息分别指定成像视频中的多个不同视频部分,以及
所述发送控制单元针对已经获取了对象者标识信息的视频部分中的每一个,执行将视频部分标识信息和对象者标识信息彼此相关联地发送到外部装置的控制。
(6)根据(1)至(5)中任一项所述的信息处理设备,还包括:
信息显示控制单元,被配置为使得在画面上显示表示成像视频中的视频部分的时间轴上的位置的视觉信息、用于指示成像视频中的时间轴上的位置的指针、用于指示由指针指示的位置作为入点的位置的入点指示操作符、以及用于指示由指针指示的位置作为出点的位置的出点指示操作符,其中
所述信息显示控制单元使表示视觉信息中的视频部分的显示区域中靠近入点的区域的显示形式和靠近出点的区域的显示形式不同,并且使靠近入点的区域的显示形式与入点指示操作符的显示形式一致,使靠近出点的区域的显示形式与出点指示操作符的显示形式一致。
(7)根据(1)至(6)中任一项所述的信息处理设备,还包括:
输入表生成指示单元,被配置为响应于对成像视频的出点的指示,执行关于与所指示的出点相对应的视频部分的购买信息输入表的生成指示。
(8)一种信息处理设备,包括:
指示接受单元,被配置为接受成像视点的切换间隔的指示作为用于生成一个视点切换视频的指示,其中,在所述一个视点切换视频中,基于通过从不同成像视点对被摄体进行成像而获得的多个成像视频,随时间切换成像视点;以及
随机选择单元,被配置为从所述多个成像视频中随机选择要在由所述切换间隔分割的视点切换视频的每个视频区间中使用的视频。
(9)根据(8)所述的信息处理设备,其中,
所述指示接受单元接受将作为视点切换视频生成的视频的整个时间长度的指示,以及
将关于基于所指示的整个时间长度计算的切换间隔的信息呈现给用户。
(10)根据(8)或(9)所述的信息处理设备,其中,
声音信息被附加到成像视频,以及
所述指示接受单元将关于基于声音信息的声音特性计算的切换间隔的信息呈现给用户。
(11)根据(8)至(10)中任一项所述的信息处理设备,其中,所述随机选择单元选择通过放大成像视频的部分像素区域而获得的放大的视频作为要在视点切换视频的各视频区间中使用的视频中的至少一个。
(12)根据(11)所述的信息处理设备,其中,
所述随机选择单元随机选择是否使用放大的视频作为要在视点切换视频的每个视频区间中使用的视频。
(13)根据(8)至(12)中任一项所述的信息处理设备,其中,所述指示接受单元接受随机选择单元对选择的重新执行指示。
(14)根据(8)至(13)中任一项所述的信息处理设备,其中,
所述指示接受单元接受指定除了所述多个成像视频之外的视频的指示,以及
包括视频发送控制单元,被配置为执行将所指示的视频和随机选择单元的选择结果发送到外部装置的控制。
(15)根据(14)所述的信息处理设备,还包括:
成像单元,被配置为对被摄体进行成像,其中
所述指示接受单元从通过成像单元成像的视频中接受要连接到视点切换视频的视频的指定指示。
(16)根据(8)至(15)中任一项所述的信息处理设备,还包括:
成像视频获取单元,被配置为从外部装置获取已经被应用了数据量减少处理的所述多个成像视频;以及
视频显示控制单元,被配置为基于已经被应用了数据量减少处理的所述多个成像视频,根据随机选择单元的选择结果来执行视点切换视频的显示控制。
附图标记列表
1控制终端
2成像装置
5成像管理终端
9服务器装置
10用户终端
10a成像单元
G15校正操作画面
ip预览图像
aw波形信息
ba全长条
bp视频部分显示条
SL滑块
B5对象选择按钮
B6“入点设置”按钮
B7“出点设置”按钮
G18购买信息输入画面
G19购买确认画面
F1信息获取处理单元
F2发送控制处理单元
F3信息显示控制处理单元
F4输入表生成指示处理单元
G21编辑画面
G23附加视频画面
F11指示接受处理单元
F12随机选择处理单元
F13成像视频获取处理单元
F14视频显示控制处理单元
F15视频发送控制处理单元

Claims (20)

1.一种信息处理设备,包括:
信息获取单元,被配置为获取指定通过成像装置的成像视频中的部分范围作为要分发给用户的视频部分的入点和出点的信息;以及
发送控制单元,被配置为执行将由所述信息获取单元获取的入点和出点的信息和成像视频发送到外部装置的控制。
2.根据权利要求1所述的信息处理设备,其中,
所述发送控制单元执行将通过多个成像装置的多个成像视频作为成像视频发送到外部装置的控制。
3.根据权利要求1所述的信息处理设备,其中,
所述发送控制单元执行将视频部分和用于标识所述视频部分的视频部分标识信息彼此相关联地发送到外部装置的控制。
4.根据权利要求3所述的信息处理设备,其中,
所述信息获取单元获取用于标识视频部分将被分发到的对象者的对象者标识信息,以及
所述发送控制单元执行将视频部分标识信息和对象者标识信息彼此相关联地发送到外部装置的控制。
5.根据权利要求4所述的信息处理设备,其中,
所述信息获取单元获取多组入点和出点的信息作为入点和出点的信息,并针对视频部分中的每一个获取对象者标识信息,其中多组入点和出点的信息分别指定成像视频中的多个不同视频部分,以及
所述发送控制单元针对已经获取了对象者标识信息的视频部分中的每一个,执行将视频部分标识信息和对象者标识信息彼此相关联地发送到外部装置的控制。
6.根据权利要求1所述的信息处理设备,还包括:
信息显示控制单元,被配置为使得在画面上显示表示成像视频中的视频部分的时间轴上的位置的视觉信息、用于指示成像视频中的时间轴上的位置的指针、用于指示由指针指示的位置作为入点的位置的入点指示操作符、以及用于指示由指针指示的位置作为出点的位置的出点指示操作符,其中
所述信息显示控制单元使表示视觉信息中的视频部分的显示区域中靠近入点的区域的显示形式和靠近出点的区域的显示形式不同,并且使靠近入点的区域的显示形式与入点指示操作符的显示形式一致,使靠近出点的区域的显示形式与出点指示操作符的显示形式一致。
7.根据权利要求1所述的信息处理设备,还包括:
输入表生成指示单元,被配置为响应于对成像视频的出点的指示,执行关于与所指示的出点相对应的视频部分的购买信息输入表的生成指示。
8.一种信息处理方法,包括通过信息处理设备执行:
获取指定通过成像装置的成像视频中的部分范围作为要分发给用户的视频部分的入点和出点的信息的信息获取步骤;以及
执行将通过所述信息获取步骤获取的入点和出点的信息和成像视频发送到外部装置的控制的发送控制步骤。
9.一种用于使信息处理设备实现如下功能的程序:
信息获取功能,用于获取指定通过成像装置的成像视频中的部分范围作为要分发给用户的视频部分的入点和出点的信息;以及
发送控制功能,用于执行将由所述信息获取功能获取的入点和出点的信息和成像视频发送到外部装置的控制。
10.一种信息处理设备,包括:
指示接受单元,被配置为接受成像视点的切换间隔的指示作为用于生成一个视点切换视频的指示,其中,在所述一个视点切换视频中,基于通过从不同成像视点对被摄体进行成像而获得的多个成像视频,随时间切换成像视点;以及
随机选择单元,被配置为从所述多个成像视频中随机选择要在由所述切换间隔分割的视点切换视频的每个视频区间中使用的视频。
11.根据权利要求10所述的信息处理设备,其中,
所述指示接受单元接受将作为视点切换视频生成的视频的整个时间长度的指示,以及
将关于基于所指示的整个时间长度计算的切换间隔的信息呈现给用户。
12.根据权利要求10所述的信息处理设备,其中,
声音信息被附加到成像视频,以及
所述指示接受单元将关于基于声音信息的声音特性计算的切换间隔的信息呈现给用户。
13.根据权利要求10所述的信息处理设备,其中,
所述随机选择单元选择通过放大成像视频的部分像素区域而获得的放大的视频作为要在视点切换视频的各视频区间中使用的视频中的至少一个。
14.根据权利要求13所述的信息处理设备,其中,
所述随机选择单元随机选择是否使用放大的视频作为要在视点切换视频的每个视频区间中使用的视频。
15.根据权利要求10所述的信息处理设备,其中,
所述指示接受单元接受随机选择单元对选择的重新执行指示。
16.根据权利要求10所述的信息处理设备,其中,
所述指示接受单元接受指定除了所述多个成像视频之外的视频的指示,以及
包括视频发送控制单元,被配置为执行将所指示的视频和随机选择单元的选择结果发送到外部装置的控制。
17.根据权利要求16所述的信息处理设备,还包括:
成像单元,被配置为对被摄体进行成像,其中
所述指示接受单元从通过成像单元成像的视频中接受要连接到视点切换视频的视频的指定指示。
18.根据权利要求10所述的信息处理设备,还包括:
成像视频获取单元,被配置为从外部装置获取已经被应用了数据量减少处理的所述多个成像视频;以及
视频显示控制单元,被配置为基于已经被应用了数据量减少处理的所述多个成像视频,根据随机选择单元的选择结果来执行视点切换视频的显示控制。
19.一种信息处理方法,包括通过信息处理设备执行:
接收成像视点的切换间隔的指示作为用于生成一个视点切换视频的指示的指示接受步骤,其中,在所述一个视点切换视频中,基于通过从不同成像视点对被摄体进行成像而获得的多个成像视频,随时间切换成像视点;以及
从所述多个成像视频中随机选择要在由所述切换间隔分割的视点切换视频的每个视频区间中使用的视频的随机选择步骤。
20.一种用于使信息处理设备实现以下功能的程序:
指示接受功能,用于接收成像视点的切换间隔的指示作为用于生成一个视点切换视频的指示,其中,在所述一个视点切换视频中,基于通过从不同成像视点对被摄体进行成像而获得的多个成像视频,随时间切换成像视点;以及
随机选择功能,用于从所述多个成像视频中随机选择要在由所述切换间隔分割的视点切换视频的每个视频区间中使用的视频。
CN201780087091.9A 2017-02-28 2017-12-06 信息处理设备、信息处理方法以及程序 Pending CN110326302A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-037785 2017-02-28
JP2017037785 2017-02-28
PCT/JP2017/043822 WO2018159054A1 (ja) 2017-02-28 2017-12-06 情報処理装置、情報処理方法、プログラム

Publications (1)

Publication Number Publication Date
CN110326302A true CN110326302A (zh) 2019-10-11

Family

ID=63369886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087091.9A Pending CN110326302A (zh) 2017-02-28 2017-12-06 信息处理设备、信息处理方法以及程序

Country Status (5)

Country Link
US (1) US20200059705A1 (zh)
EP (1) EP3591984A4 (zh)
JP (2) JP7095677B2 (zh)
CN (1) CN110326302A (zh)
WO (1) WO2018159054A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111163264A (zh) * 2019-12-31 2020-05-15 维沃移动通信有限公司 一种信息显示方法及电子设备
CN113747119A (zh) * 2021-07-30 2021-12-03 的卢技术有限公司 一种远程查看车辆周围环境的方法及系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP1632925S (zh) * 2018-05-23 2019-06-03
JP1633295S (zh) * 2018-05-23 2019-06-03
JP7163115B2 (ja) * 2018-09-12 2022-10-31 キヤノン株式会社 ロボットシステム、ロボットシステムの制御方法、物品の製造方法、制御装置、操作装置、撮像装置、制御プログラム及び記録媒体
USD902946S1 (en) * 2019-01-31 2020-11-24 Salesforce.Com, Inc. Display screen or portion thereof with graphical user interface
USD888084S1 (en) * 2019-01-31 2020-06-23 Salesforce.Com, Inc. Display screen or portion thereof with graphical user interface
USD888085S1 (en) * 2019-01-31 2020-06-23 Salesforce.Com, Inc. Display screen or portion thereof with graphical user interface
USD967835S1 (en) * 2019-09-23 2022-10-25 NBCUniversal Media, LLC. Display screen with graphical user interface
EP3813388B1 (de) 2019-10-24 2022-04-20 Steinberg Media Technologies GmbH Verfahren zur steuerung einer synchronen, verteilten abgabe von licht
US11483523B2 (en) 2019-11-26 2022-10-25 The Toronto-Dominion Bank System and method for obtaining video for use with photo-based estimation
CA3180246A1 (en) * 2020-06-04 2021-12-09 Kevin R. Imes Autonomous golf competition systems and methods
US11190828B1 (en) * 2020-11-03 2021-11-30 Dish Network L.L.C. Systems and methods for versatile video recording
KR102377080B1 (ko) * 2021-07-30 2022-03-22 아이디아이디 주식회사 멀티 트랙 ui 기반의 디지털 컨텐츠 생성장치
CN115022545B (zh) * 2022-06-02 2024-04-02 北京字跳网络技术有限公司 用于内容拍摄的方法、装置、设备和存储介质
JP7377483B1 (ja) * 2023-04-14 2023-11-10 株式会社モルフォ 動画要約装置、動画要約方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1746890A (zh) * 2004-09-07 2006-03-15 索尼株式会社 视频资料管理装置和方法、记录介质以及程序
US20100153520A1 (en) * 2008-12-16 2010-06-17 Michael Daun Methods, systems, and media for creating, producing, and distributing video templates and video clips
US20100287473A1 (en) * 2006-01-17 2010-11-11 Arthur Recesso Video analysis tool systems and methods
CN103097987A (zh) * 2010-09-08 2013-05-08 索尼公司 提供视频剪辑的系统和方法及其创建
US20130254816A1 (en) * 2012-03-21 2013-09-26 Sony Corporation Temporal video tagging and distribution
CN104796781A (zh) * 2015-03-31 2015-07-22 小米科技有限责任公司 视频片段提取方法及装置
CN106021496A (zh) * 2016-05-19 2016-10-12 海信集团有限公司 视频搜索方法及视频搜索装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3615055B2 (ja) * 1997-07-07 2005-01-26 株式会社東芝 多画面表示システム
JP2002176613A (ja) 2000-12-06 2002-06-21 Minolta Co Ltd 動画像編集装置、動画像編集方法および記録媒体
US8150906B2 (en) * 2001-11-12 2012-04-03 Sony Corporation Information delivery system for generating a data stream with a server system based on a content file received from a client device
JP2004104468A (ja) 2002-09-10 2004-04-02 Sony Corp 動画編集装置、動画編集方法、動画編集のプログラム及び動画編集のプログラムを記録した記録媒体
JP3781301B2 (ja) 2003-04-23 2006-05-31 船井電機株式会社 Dvdプレーヤ、及び映像再生装置
JP4300953B2 (ja) 2003-09-25 2009-07-22 ソニー株式会社 カメラシステムおよびカメラ通信方法
JP4252915B2 (ja) 2004-03-16 2009-04-08 株式会社バッファロー データ処理装置およびデータ処理方法
JP4230959B2 (ja) 2004-05-19 2009-02-25 株式会社東芝 メディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラム
JP4490776B2 (ja) * 2004-09-27 2010-06-30 パナソニック株式会社 画像処理装置、情報端末装置、及び画像処理方法
JP2007028137A (ja) 2005-07-15 2007-02-01 Fujifilm Holdings Corp 画像編集装置および方法並びにプログラム
US20080313541A1 (en) * 2007-06-14 2008-12-18 Yahoo! Inc. Method and system for personalized segmentation and indexing of media
JP4466724B2 (ja) * 2007-11-22 2010-05-26 ソニー株式会社 単位映像表現装置、編集卓装置
US8633984B2 (en) * 2008-12-18 2014-01-21 Honeywell International, Inc. Process of sequentially dubbing a camera for investigation and review
JP5237174B2 (ja) * 2009-04-09 2013-07-17 Kddi株式会社 携帯端末によって原コンテンツを編集するコンテンツ編集方法、コンテンツサーバ、システム及びプログラム
US9323438B2 (en) * 2010-07-15 2016-04-26 Apple Inc. Media-editing application with live dragging and live editing capabilities
JP2012049693A (ja) * 2010-08-25 2012-03-08 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP6326892B2 (ja) 2014-03-20 2018-05-23 大日本印刷株式会社 撮像システム、撮像方法、画像再生装置及びプログラム
JP6598109B2 (ja) 2014-12-25 2019-10-30 パナソニックIpマネジメント株式会社 映像受信方法及び端末装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1746890A (zh) * 2004-09-07 2006-03-15 索尼株式会社 视频资料管理装置和方法、记录介质以及程序
US20100287473A1 (en) * 2006-01-17 2010-11-11 Arthur Recesso Video analysis tool systems and methods
US20100153520A1 (en) * 2008-12-16 2010-06-17 Michael Daun Methods, systems, and media for creating, producing, and distributing video templates and video clips
CN103097987A (zh) * 2010-09-08 2013-05-08 索尼公司 提供视频剪辑的系统和方法及其创建
US20130254816A1 (en) * 2012-03-21 2013-09-26 Sony Corporation Temporal video tagging and distribution
CN104796781A (zh) * 2015-03-31 2015-07-22 小米科技有限责任公司 视频片段提取方法及装置
CN106021496A (zh) * 2016-05-19 2016-10-12 海信集团有限公司 视频搜索方法及视频搜索装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111163264A (zh) * 2019-12-31 2020-05-15 维沃移动通信有限公司 一种信息显示方法及电子设备
CN111163264B (zh) * 2019-12-31 2022-02-01 维沃移动通信有限公司 一种信息显示方法及电子设备
CN113747119A (zh) * 2021-07-30 2021-12-03 的卢技术有限公司 一种远程查看车辆周围环境的方法及系统

Also Published As

Publication number Publication date
JP7367807B2 (ja) 2023-10-24
US20200059705A1 (en) 2020-02-20
EP3591984A1 (en) 2020-01-08
JPWO2018159054A1 (ja) 2019-12-19
EP3591984A4 (en) 2020-07-22
JP2022121503A (ja) 2022-08-19
JP7095677B2 (ja) 2022-07-05
WO2018159054A1 (ja) 2018-09-07

Similar Documents

Publication Publication Date Title
CN110326302A (zh) 信息处理设备、信息处理方法以及程序
JP7283037B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020045539A1 (ja) 固体撮像装置、情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7196833B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
JPWO2018088239A1 (ja) 情報処理装置および方法、並びにプログラム
CN111480332B (zh) 控制器和控制方法
JPWO2020100664A1 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2017051570A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN105383411B (zh) 用于操作运输工具中的多媒体-内容的方法和装置
JP2014053180A5 (zh)
JP2013212723A (ja) 駐車支援装置、及び駐車支援方法
EP3846442A1 (en) Electronic apparatus and solid-state image capture device
KR102493223B1 (ko) 정보 처리 장치, 정보 처리 방법 및 정보 처리 프로그램
WO2020021651A1 (ja) 自動映像演出装置、自動映像演出方法、及び、それに用いる映像記録媒体
CN111108753A (zh) 接收设备、接收方法、流传输设备、手术室系统以及车辆控制系统
JPWO2018221068A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2008141622A (ja) 車両周辺情報表示装置
WO2020090516A1 (en) Image processing device, image processing method, and program
JP7235043B2 (ja) 情報処理装置、情報処理方法、プログラム
CN116400805A (zh) 车载娱乐交互方法、装置、车辆及存储介质
CN106383581A (zh) 再现型虚拟现实娱乐系统及其方法
DE102021116641A1 (de) Verfahren, System und Computerprogramm zur interaktiven Auswahl und Wiedergabe von in Echtzeit erzeugten Audio- und/oder Videosequenzen in einem Kraftfahrzeug
CN114724274A (zh) 处理实时影像的方法及计算机存储介质
JP2024028904A (ja) 動画再生装置、動画再生方法、動画再生プログラム及び記録媒体
CN116610212A (zh) 一种多模态娱乐交互方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191011