CN110720214A - 显示控制设备和显示控制方法 - Google Patents

显示控制设备和显示控制方法 Download PDF

Info

Publication number
CN110720214A
CN110720214A CN201880037860.9A CN201880037860A CN110720214A CN 110720214 A CN110720214 A CN 110720214A CN 201880037860 A CN201880037860 A CN 201880037860A CN 110720214 A CN110720214 A CN 110720214A
Authority
CN
China
Prior art keywords
virtual
virtual viewpoint
display control
visual point
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880037860.9A
Other languages
English (en)
Other versions
CN110720214B (zh
Inventor
奥谷泰夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110720214A publication Critical patent/CN110720214A/zh
Application granted granted Critical
Publication of CN110720214B publication Critical patent/CN110720214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/04—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of a single character by selection from a plurality of characters, or by composing the character by combination of individual elements, e.g. segments using a combination of such display devices for composing words, rows or the like, in a frame with fixed character positions
    • G09G3/06—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of a single character by selection from a plurality of characters, or by composing the character by combination of individual elements, e.g. segments using a combination of such display devices for composing words, rows or the like, in a frame with fixed character positions using controlled light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/068—Adjustment of display parameters for control of viewing angle adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

在用于与虚拟视点的位置和方向有关的操作的操作画面上显示与多个虚拟视点的位置和方向相对应的多个虚拟视点图像。基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像来生成与多个虚拟视点中的被选择作为位置和方向操作对象的虚拟视点相对应的虚拟视点图像，并将该虚拟视点图像发送到其它设备。

Description

显示控制设备和显示控制方法
技术领域
本发明涉及一种基于拍摄图像显示虚拟视点图像的技术。
背景技术
近年来，使用放置在不同位置的多个照相机在多视点进行同步摄像、并且使用通过摄像获得的多个图像(多个视点图像)不仅生成来自照相机安装位置的图像而且生成来自任意视点(虚拟视点)的图像(虚拟视点图像)的技术已经受到关注。
可以通过以下处理来实现基于多个视点图像的虚拟视点图像的生成和查看。即，在诸如服务器等的图像处理单元中收集由多个照相机拍摄的图像，图像处理单元执行诸如基于虚拟视点的渲染等的处理以生成虚拟视点图像，然后在用户终端上显示虚拟视点图像。
使用虚拟视点图像的服务使得视频制作者能够根据例如通过拍摄足球比赛或篮球比赛所获得的视频来制作强大的视点内容。另外，该服务还使得正在查看内容的用户能够通过自由地移动他/她的视点来观看比赛，从而向用户提供高临场感。专利文献1公开了由用户选择多个虚拟视点之一的技术。
现有技术文献
专利文献
专利文献1：日本特开2014-215828
发明内容
发明要解决的问题
根据专利文献1中描述的发明，用户可以选择多个准备的虚拟视点之一，以显示选择的虚拟视点处的虚拟视点图像。另外，由于虚拟视点的大致位置通过字符串显示，因此可以区分虚拟视点。然而，例如，如果虚拟视点的操作者在体育的实况广播中使用，则他/她在切换虚拟视点之前不能知道切换之后将在虚拟视点图像中示出什么。因此，可能无法根据性能适当地选择虚拟视点。本发明提供用于使得用户能够选择适当的虚拟视点的技术。
用于解决问题的方案
根据本发明的一个方面，提供一种显示控制设备，其特征在于，包括：获取部件，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及显示控制部件，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示由所述获取部件所获取的所述多个虚拟视点图像，其中，基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像来生成与所述多个虚拟视点中被选择作为位置和方向操作对象的虚拟视点相对应的虚拟视点图像，并且将该虚拟视点图像发送到其它设备。
发明的效果
根据本发明的布置可以使得用户能够选择适当的虚拟视点。
根据以下结合附图的描述，本发明的其它特征和优点将变得明显，其中在所有附图中，相同的附图标记表示相同或相似的部件。
附图说明
并入说明书并构成说明书的一部分的附图示出了本发明的实施例，并且与说明书一起用于说明本发明的原理。
图1是示出系统的布置的示例的框图；
图2是示出显示控制设备100的功能布置的示例的框图；
图3是示出由系统执行的处理的流程图；
图4A是示出显示画面的布置的示例的图；
图4B是示出虚拟视点的布置的示例的图；
图5是示出“与多个虚拟视点有关的信息”的结构的示例的表；
图6是示出显示控制设备100的功能布置的示例的框图；
图7是示出由系统执行的处理的流程图；
图8是示出输入装置的示例的图；
图9A是示出由系统执行的处理的流程图；
图9B是示出由系统执行的处理的流程图；
图10是示出显示控制设备100的功能布置的示例的框图；
图11A是示出由系统执行的处理的流程图；
图11B是示出由系统执行的处理的流程图；
图12A是用于说明第四实施例的图；
图12B是用于说明第四实施例的表；
图13A是用于说明第四实施例的表；
图13B是用于说明第四实施例的表；
图13C是用于说明第四实施例的表；
图13D是用于说明第四实施例的表；
图13E是用于说明第四实施例的表；
图13F是用于说明第四实施例的表；
图14A是示出虚拟视点设置的示例的图；以及
图14B是示出表信息的结构的示例的表。
具体实施方式
下面将参考附图描述实施例。注意，下面要描述的实施例是本发明的详细实现的示例或在所附权利要求中描述的布置的详细示例。
[第一实施例]
将参考图1所示的框图描述根据本实施例的系统的布置的示例。如图1所示，根据本实施例的系统包括显示控制设备100、图像生成设备110和摄像设备109-1至109-n(n是2以上的整数)。
首先，将描述摄像设备109-1至109-n。提供摄像设备109-1至109-n以从多个不同方向拍摄被摄体的视频。摄像设备109-1至109-n各自将形成拍摄视频的各个帧的图像(拍摄图像)输出至图像生成设备110。摄像设备109-1至109-n和图像生成设备110之间的连接模式不限于特定模式。也就是说，摄像设备109-1至109-n和图像生成设备110之间的连接模式可以是菊花链或星形网络。此外，连接模式可以是无线网络、有线网络或其组合。
接着将描述显示控制设备100。显示控制设备100请求图像生成设备110生成基于虚拟视点的虚拟视点图像，并进行图像生成设备110根据请求生成的虚拟视点图像的显示控制。显示控制设备100由诸如PC(个人计算机)、智能电话或平板终端设备等的计算机设备形成。
CPU(中央处理单元)101使用ROM(只读存储器)102和RAM(随机存取存储器)103中存储的计算机程序和数据来执行处理。然后，CPU 101在执行或控制稍后被描述为由显示控制设备100执行的各个处理的同时，控制整个显示控制设备100的操作。
ROM 102存储不需要重写的诸如启动程序和设置数据等的计算机程序和数据。
RAM 103具有用于存储从ROM 102或HDD(硬盘驱动器)104加载的计算机程序和数据的区域。此外，RAM 103具有用于存储经由通信I/F(接口)106从图像生成设备110接收的数据(例如，虚拟视点图像)的区域。RAM 103具有CPU 101用于执行各种处理的工作区域。这样，RAM 103可以适当地提供各种区域。
HDD 104保存OS(操作系统)以及用于使CPU 101执行或控制如由显示控制设备100执行的稍后描述的各个处理的计算机程序和数据。HDD 104中保存的数据包括在以下描述中被描述为已知信息的那些数据。HDD 104中保存的计算机程序和数据在CPU 101的控制下适当地加载到RAM 103中，并由CPU 101处理。
显示单元105由CRT或液晶画面等形成，并且可以使用图像或字符来显示CPU 101的处理结果。注意，显示单元105可以是用于将CPU 101的处理结果投影为图像或字符的投影设备。显示单元105可以是触摸面板画面、(诸如HMD(头戴式显示器)等的)头戴式显示装置、手持式显示装置、智能电话或平板终端设备。
通信I/F 106用作用于与图像生成设备110进行数据通信的接口。显示控制设备100和图像生成设备110之间的连接模式不限于特定模式。例如，显示控制设备100和图像生成设备110之间的网络可以是无线网络、有线网络或其组合。
操作单元107由诸如键盘、鼠标、操纵杆、游戏垫或触摸面板等的用户接口形成，并且可以由用户操作以向CPU 101输入各种指示。
CPU 101、ROM 102、RAM 103、HDD 104、显示单元105、通信I/F 106和操作单元107都连接到总线108。注意，图1所示的显示控制设备100的布置仅仅是示例，并且可以采用能够实现稍后被描述为由显示控制设备100执行的处理的任何布置。例如，可以将从/向诸如软盘(FD)、CD-ROM、DVD、USB存储器、MO或闪速存储器等的信息记录介质读取/写入信息的组件添加到显示控制设备100。在这种情况下，可以将被描述为HDD 104中保持的信息存储在所述信息记录介质中。经由网络连接到显示控制设备100的服务器设备可以用作用于记录信息的介质。如上所述，用于保持诸如由显示控制设备100处理的计算机程序和数据等的信息的装置不限于特定装置。
接着将描述图像生成设备110。响应于来自显示控制设备100的请求，图像生成设备110基于由摄像设备109-1至109-n中的一个或多个拍摄的图像，生成基于虚拟视点的虚拟视点图像。图像生成设备110将所生成的虚拟视点图像发送到显示控制设备100。图像生成设备110由诸如PC(个人计算机)、智能电话或台式终端设备等的计算机设备形成。
将参考图2所示的框图描述显示控制设备100的功能布置的示例。管理单元201管理HDD 104或RAM 103中保持的与多个虚拟视点有关的信息。将参考图5描述由管理单元201管理的“与多个虚拟视点有关的信息”的结构的示例。图5所示的表信息是“与多个虚拟视点有关的信息”的示例。在图5所示的表信息中，登记六个虚拟视点各自的视点信息(视点类型、视点ID、位置、方向和视角)。注意，在图5中，视点信息包括视点类型、视点ID、位置、方向和视角。然而，视点信息中包括的信息不限于此，并且视点信息可以包括除了视点类型、视点ID、位置、方向和视角之外的诸如焦距等的其它信息。此外，用于定义各个虚拟视点的信息的内容和用于定义各个视点的信息的管理方法不限于特定的内容和方法。
如图5所示，六个虚拟视点中仅一个是选择虚拟视点(视点类型)，并且其余五个虚拟视点是切换虚拟视点(视点类型)。“选择虚拟视点”表示要由用户通过操作操作单元107来操作的虚拟视点，而“切换虚拟视点”表示作为要由用户通过操作操作单元107来选择作为选择虚拟视点的候选的虚拟视点。参考图5，与视点ID＝408相对应的虚拟视点是选择虚拟视点，而与视点ID＝409至413相对应的虚拟视点是切换虚拟视点。
例如，假设用户通过操作操作单元107进行选择(指定)具有视点ID＝409的虚拟视点作为选择虚拟视点的操作。在这种情况下，管理单元201将与视点ID＝409相对应的视点类型改变为“选择虚拟视点”，并且将与视点ID＝408相对应的视点类型改变为“切换虚拟视点”。当用户以这种方式操作操作单元107时，可以选择在图5所示的表信息中登记的六个虚拟视点中的任意一个作为选择虚拟视点。为了提供下面的详细描述，假设图5所示的表信息被登记在HDD 104或RAM 103中，并且管理单元201管理该表信息。切换虚拟视点的初始值可以由用户任意地预先设置，或者可以使用由系统定义的任意值。
管理单元201读出在表信息中登记的各个切换虚拟视点的视点信息，并将视点信息输出到输出单元202。管理单元201还读出在表信息中登记的选择虚拟视点的视点信息。然后，管理单元201通过复制读出的视点信息中包括的位置来生成第二位置，通过复制视点信息中包括的方向来生成第二方向，以及通过复制视点信息中包括的视角来生成第二视角。管理单元201生成包括表信息中所登记的选择虚拟视点的视点信息中包括的视点类型和视点ID、第二位置、第二方向和第二视角的选择视点信息，并将该选择视点信息输出到输出单元202。
输出单元202通过经由通信I/F 106向图像生成设备110输出从管理单元201输出的视点信息和选择视点信息，来请求图像生成设备110生成与选择虚拟视点和各个切换虚拟视点相对应的虚拟视点图像。
接收单元203经由通信I/F 106从图像生成设备110接收由图像生成设备110响应于输出单元202的请求而已经生成的虚拟视点图像(与选择虚拟视点相对应的虚拟视点图像以及与切换虚拟视点相对应的虚拟视点图像)。注意，从图像生成设备110输出的各个虚拟视点图像都附加有与该虚拟视点图像相对应的虚拟视点的视点ID。
控制单元204将由接收单元203接收的虚拟视点图像以不彼此重叠的方式显示在显示单元105的显示画面上。例如，如图4A所示，在显示单元105的显示区域401中的显示区域402中显示由接收单元203接收的虚拟视点图像中的附加有与选择虚拟视点相对应的视点ID的虚拟视点图像。此外，在显示区域401中的显示区域403至406中显示由接收单元203接收的虚拟视点图像中的附加有切换虚拟视点的视点ID的虚拟视点图像。在图5所示的情况下，在显示区域402中显示由图像生成设备110针对具有视点ID＝408的选择虚拟视点生成的虚拟视点图像。在显示区域403至406中分别显示由图像生成设备110针对具有视点ID＝409至412的切换虚拟视点生成的虚拟视点图像。
注意，显示区域401可以与显示单元105的显示画面的整个区域或显示单元105的显示画面的部分区域(例如，在显示单元105上显示的窗口中的区域)相对应。
输入单元205通过响应于用户通过操作操作单元107所输入的操作输入(用户操作)而进行改变选择视点信息中包括的第二位置、第二方向和第二视角中的至少一个的操作，来实现用户对选择虚拟视点的操作。也就是说，即使用户通过操作操作单元107来改变选择虚拟视点的位置、方向或视角，该改变也不会被反映在表信息上，而是反映在与选择虚拟视点相对应的虚拟视点图像的生成上。
此外，如果用户通过操作操作单元107进行选择选择虚拟视点的操作，则输入单元205指示管理单元201改变选择虚拟视点。由管理单元201改变选择虚拟视点的处理如上所述。
注意，下面将通过将图2中所示的各个功能单元(管理单元201、输出单元202、接收单元203、控制单元204或输入单元205)作为处理的主要单元来进行描述。然而，实际上，当CPU 101执行用于使CPU 101执行功能单元的功能的计算机程序时，实现各个功能单元的功能。这同样适用于图6和10(稍后将描述)。注意，图2中所示的一些或所有功能组件可以由专用硬件来实现。专用硬件的示例是ASIC、FPGA和GPU。另外，图2中所示的一些功能组件可以被设置在与显示控制设备100不同的一个或多个其它设备中。
在图1中，图像生成设备110和显示控制设备100是分离的设备。然而，图像生成设备110和显示控制设备100可以被一体化为一个设备。在这种情况下，可以去除输出单元202和接收单元203。
接着，将参考图3所示的流程图描述根据本实施例的系统执行的处理。根据图3所示的流程图的处理在启动虚拟视点设置应用的状态下开始，并且执行该处理直到虚拟视点设置应用结束为止。针对在虚拟视点设置画面(例如，图4A的显示区域401)上显示的虚拟视点图像的各个帧，循环一次图3所示的步骤S302至S310中的处理。如果以60fps(帧/秒)生成虚拟视点图像，则每秒重复60次该循环。
在步骤S301中，管理单元201读出在上述表信息中登记的各个切换虚拟视点的视点信息，并且根据在上述表信息中登记的选择虚拟视点的视点信息生成选择视点信息。管理单元201将各个切换虚拟视点的视点信息和选择虚拟视点的选择视点信息各自输出到输出单元202。
在步骤S302中，输出单元202判断从管理单元201输出的所有切换虚拟视点的视点信息是否已经被发送到图像生成设备110。如果作为判断处理的结果，在从管理单元201输出的切换虚拟视点的视点信息中，剩余尚未被发送到图像生成设备110的视点信息，则处理进入步骤S303。另一方面，如果作为判断处理的结果，从管理单元201输出的所有切换虚拟视点的视点信息都已经被发送到图像生成设备110，则处理进入步骤S305。
在步骤S303中，输出单元202将从管理单元201输出的切换虚拟视点的视点信息中的未发送的视点信息经由通信I/F 106输出到图像生成设备110。图像生成设备110基于从输出单元202输出的视点信息中包括的位置、方向和视角以及由摄像设备109-1至109-n中的一个或多个拍摄的图像来生成虚拟视点图像。然后，图像生成设备110将所生成的附加有视点信息中包括的视点ID的虚拟视点图像发送到显示控制设备100。
在步骤S304中，接收单元203经由通信I/F 106接收从图像生成设备110发送的虚拟视点图像。然后，控制单元204在与附加到虚拟视点图像的视点ID相对应的显示区域(显示区域403至406中的一个)中显示接收到的虚拟视点图像。
在步骤S305中，如果用户通过操作操作单元107进行改变选择虚拟视点的位置/方向/视角的操作输入，则输入单元205根据该操作输入改变选择视点信息中包括的第二位置/第二方向/第二视角。例如，如果用户通过操作操作单元107进行改变选择虚拟视点的位置的操作输入，则输入单元205根据该操作输入改变选择视点信息中包括的第二位置。如果用户通过操作操作单元107来进行改变选择虚拟视点的方向的操作输入，则输入单元205根据该操作输入来改变选择视点信息中包括的第二方向。如果用户通过操作操作单元107来进行改变选择虚拟视点的视角的操作输入，则输入单元205根据该操作输入来改变选择视点信息中包括的第二视角。
在步骤S306中，输出单元202通过经由通信I/F 106向图像生成设备110发送选择视点信息来请求图像生成设备110基于选择视点信息生成与选择虚拟视点相对应的虚拟视点图像。响应于该请求，图像生成设备110以与步骤S303中相同的方式生成与选择视点信息相对应的虚拟视点图像，并将所生成的附加有选择视点信息中包括的视点ID的虚拟视点图像发送到显示控制设备100。
在步骤S307中，接收单元203经由通信I/F 106接收在步骤S306中从图像生成设备110发送的虚拟视点图像。然后，控制单元204在与附加到虚拟视点图像的视点ID相对应的显示区域(显示区域402)中显示接收到的虚拟视点图像。
在步骤S308中，输入单元205判断用户是否通过操作操作单元107输入了选择虚拟视点的选择指示。例如，假设用户通过操作操作单元107，进行了指定图4A所示的显示区域403至406中的显示区域405的操作。在这种情况下，输入单元205判断为已经输入了操作指示以选择与显示区域405中显示的虚拟视点图像相对应的虚拟视点作为选择虚拟视点。注意，选择虚拟视点选择操作方法不限于特定方法。
如果作为判断处理的结果，已经输入了选择虚拟视点的选择指示，则处理进入步骤S309；否则，处理进入步骤S310。
在步骤S309中，管理单元201将针对与由用户通过操作操作单元107在显示区域401中选择的虚拟视点虚拟相对应的切换虚拟视点的由表信息管理的视点类型改变为“选择虚拟视点”。然后，管理单元201将针对显示区域402中显示的虚拟视点图像的由表信息管理的视点类型改变为“切换虚拟视点”。管理单元201通过复制针对视点类型已经改变为“选择虚拟视点”的虚拟视点的由表信息管理的位置，生成第二位置。管理单元201通过复制针对视点类型已经改变为“选择虚拟视点”的虚拟视点的由表信息管理的方向，生成第二方向。管理单元201通过复制针对视点类型已经改变为“选择虚拟视点”的虚拟视点的由表信息管理的视角，生成第二视角。即，第二位置、第二方向和第二视角总是分别表示当前选择虚拟视点的最新位置、方向和视角。管理单元201生成包括在步骤S309中更新的第二位置、第二方向和第二视角以及针对视点类型已经改变为“选择虚拟视点”的虚拟视点的由表信息管理的视点ID的选择视点信息。注意，管理单元201可以将与被设置为选择虚拟视点的视点ID相对应的位置/方向/视角设置为与由切换指示指定的切换虚拟视点的那些值相同的值。
如上所述，用户(虚拟视点的操作者)可以通过在观看显示区域402中显示的虚拟视点图像的同时操作操作单元107来操作虚拟视点的位置、方向和视角，以获得期望的虚拟视点图像。此外，用户可以参照显示区域403至406来寻找期望的视点以获得期望的虚拟视点图像。如果找到了期望视点的虚拟视点图像，则通过指定虚拟视点图像的选择来在显示区域402中显示该虚拟视点图像，从而使得可以操作该虚拟视点。如图4A所示，期望显示区域402至406在彼此不重叠的情况下显示，并且期望可以一次浏览。
在步骤S310中，输入单元205判断用户是否通过操作操作单元107输入了虚拟视点设置应用的结束指示。如果作为判断处理的结果，已经输入了虚拟视点设置应用的结束指示，则根据图3所示的流程图的处理结束；否则，处理返回到步骤S302。
图4B示出虚拟视点的布置的示例。如图4B所示，虚拟视点408至413被设置成在场地407中的各个位置从各个方向观察足球场407，并且如图5所示管理虚拟视点的位置、方向和视角。例如假设各个虚拟视点的位置由针对场地407定义的坐标系中的三维位置表示，各个虚拟视点的方向由平摇、倾斜和侧倾值表示，并且各个虚拟视点的视角由虚拟视点的水平视角的值表示。显示控制设备100可以一起显示图4B所示的画面以及图4A所示的画面。显示控制设备100在要拍摄的场地407的鸟瞰图中显示表示各个虚拟视点的位置的图标(在图4B所示的示例中，表示照相机的图标)。显示控制设备100可以区分并显示选择虚拟视点的位置和切换虚拟视点的位置以使其可识别。例如，显示控制设备100可以使用不同的颜色或图标来显示选择虚拟视点的位置和切换虚拟视点的位置。可选地，显示控制设备100可以将表示各个虚拟视点的位置的图标与相应的视点ID相关联地显示。通过显示图4B所示的虚拟视点的布置，可以容易地掌握选择虚拟视点和切换虚拟视点之间的位置关系，因此可以寻找期望的视点以获得期望的虚拟视点图像。
注意，在图5所示的表信息中，与视点ID＝413相对应的视点类型是“切换虚拟视点(未显示)”，并且不是显示对象。控制单元204不显示与该视点类型相对应的虚拟视点图像。可以不生成与该视点类型相对应的虚拟视点图像。
如上所述，根据本实施例，显示与各个切换虚拟视点相对应的虚拟视点图像作为为了选择切换虚拟视点作为选择虚拟视点而要参考的参考信息。因此，例如，与显示由各个摄像设备拍摄的图像作为参考信息相比，可以更直观地掌握接下来要选择的虚拟视点。
注意，在显示区域402中显示的虚拟视点图像(与选择虚拟视点相对应的虚拟视点图像)可以例如被保存在显示控制设备100的HDD 104中，或者经由通信I/F 106被发送到外部设备。在后一情况下，例如，可以经由通信I/F 106广播在显示区域402中显示的虚拟视点图像(与选择虚拟视点相对应的虚拟视点图像)以进行广播。
<变形例>
由于虚拟视点的操作者仅需能够掌握由摄像设备拍摄的对象的状况，因此，例如，可以生成简单虚拟视点图像作为虚拟视点图像。作为简单虚拟视点图像，使用3D CG(三维计算机图形)。首先，接收单元203从图像生成设备110获取拍摄图像中的前景的位置(例如，选手和球)。在生成虚拟视点图像的处理中，通常进行分离前景和背景的处理。在该处理中通常获得前景的位置。因此，显示控制设备100能够容易地从图像生成设备110获取前景的位置。接着，显示控制设备100将准备的选手和球的3D CG模型布置在从图像生成设备110获取的位置处。假设额外准备了作为背景的体育场的场地和看台的3D CG模型。如果这些3D模型被输入到显示控制设备100的3D CG渲染引擎，则可以生成从虚拟视点看到的简单虚拟视点图像。尽管不能否认该简单虚拟视点图像在表现能力方面劣于通常的虚拟视点图像，但是操作者可以例如掌握性能的状况并减少计算机资源。另外，例如，可以以不同的帧频显示显示区域402中显示的虚拟视点图像和显示区域403至406中显示的与切换虚拟视点相对应的虚拟视点图像。
如上所述，根据本实施例，显示如下画面，其中将与多个虚拟视点中的由用户选择作为操作对象的选择虚拟视点相对应的虚拟视点图像、和与多个虚拟视点中的除了选择虚拟视点之外的虚拟视点相对应的虚拟视点图像以彼此不重叠的方式进行布置。这使得操作者能够在切换到给定虚拟视点之前知道切换之后在虚拟视点图像中将示出什么，从而适当地选择虚拟视点。
[第二实施例]
在以下实施例及变形例中，将描述与第一实施例的不同之处，并且除非另有特别说明，否则其余部分与第一实施例相同。在第一实施例中，指定所显示的虚拟视点图像中的一个，以选择与该一个指定的虚拟视点图像相对应的虚拟视点作为选择虚拟视点。然而，选择选择虚拟视点的方法不限于第一实施例中描述的选择方法。在本实施例中，将描述与第一实施例中的选择方法不同的选择方法作为选择选择虚拟视点的方法。
将参考图6所示的框图描述根据本实施例的显示控制设备100的功能布置的示例。在图6中，与图2中的附图标记相同的附图标记表示相同的功能单元，并且将省略对其的描述。处理单元601将切换虚拟视点(在图4A所示的情况下，与显示区域403至406各自相对应的切换虚拟视点)分配给操作单元107的多个选择按钮中的一个。
然后，输入单元205判断为与用户按下的选择按钮相对应的切换虚拟视点已被选择作为选择虚拟视点。管理单元201将表信息中的当前选择虚拟视点改变为切换虚拟视点，并将与用户按下的选择按钮相对应的切换虚拟视点改变为选择虚拟视点。
将参考图7所示的流程图描述根据本实施例的系统执行的处理。根据图7所示的流程图的处理在启动虚拟视点设置应用的状态下开始，并且执行该处理直到虚拟视点设置应用结束为止。在图7中，与图3中的步骤编号相同的步骤编号表示相同的处理步骤，并且将省略对其的描述。
在步骤S701中，处理单元601将切换虚拟视点(在图4A所示的情况下，与显示区域403至406各自相对应的切换虚拟视点)分配给操作单元107的多个选择按钮中的一个。
图8示出可用作操作单元107的输入装置的示例。图8所示的输入装置801设置有选择按钮803至806。处理单元601例如将显示区域403至406(即，与显示区域403至406相对应的切换虚拟视点)分别分配给选择按钮803至806。利用该布置，如果用户按下选择按钮803，则输入单元205可以判断为已经选择了显示区域403中的虚拟视点图像(已经选择了与该虚拟视点图像相对应的虚拟视点)。如果用户按下选择按钮804，则输入单元205可以判断为已经选择了显示区域404中的虚拟视点图像(已经选择与该虚拟视点图像相对应的虚拟视点)。如果用户按下选择按钮805，则输入单元205可以判断为已经选择了显示区域405中的虚拟视点图像(已经选择了与该虚拟视点图像相对应的虚拟视点)。如果用户按下选择按钮806，则输入单元205可以判断为已经选择了显示区域406中的虚拟视点图像(已经选择了与该虚拟视点图像相对应的虚拟视点)。
如上所述，如果显示区域和选择按钮水平布置，则按布置顺序将显示区域分配给选择按钮，例如，左端的显示区域分配给左端的选择按钮，从左端起的第二显示区域分配给从左端起的第二选择按钮，……。如果显示区域和选择按钮垂直布置，则按布置顺序将显示区域分配给选择按钮，例如，上端的显示区域分配给上端的选择按钮，从上端起的第二显示区域分配给从上端起的第二选择按钮，……。注意，将特定显示区域分配给特定选择按钮的方法不限于特定方法。
注意，如果切换虚拟视点的数量大于输入装置上的选择按钮的数量，则例如，从左侧起尽可能多地分配切换虚拟视点。作为特定切换虚拟视点向特定选择按钮的分配的管理方法，例如，在表信息中，各个切换虚拟视点的视点信息可以包括分配给切换虚拟视点的选择按钮的识别信息。管理方法不限于特定方法。
在步骤S308中，输入单元205判断为与用户按下的选择按钮相对应的切换虚拟视点已被选择作为选择虚拟视点(已输入选择指示)。
输入装置801设置有由用户操作以移动选择虚拟视点的操纵杆802。用户可以通过操作操纵杆802来移动视点的位置和方向。在选择视点信息中所包括的第二位置、第二方向和第二视角中，通过用户操作操纵杆802来改变与操作输入相对应的分量。
如上所述，根据本实施例，将切换虚拟视点分配给输入装置上的选择按钮使得虚拟视点的操作者能够在不将手移动到鼠标或画面的情况下在用于进行虚拟视点的操作的输入装置上选择虚拟视点。这可以快速地选择虚拟视点。
[第三实施例]
在本实施例中，可以对表信息进行编辑操作。在该实施例中，使用根据第二实施例的系统的布置。将参考图9A和9B所示的流程图描述根据本实施例的系统所执行的处理。根据图9A和9B所示的流程图的处理在启动虚拟视点设置应用的状态下开始，并且执行该处理直到虚拟视点设置应用结束为止。在图9A和9B中，与图3和7中的步骤编号相同的步骤编号表示相同的处理步骤，并且将省略对其的描述。
在步骤S901中，输入单元205判断用户是否已经通过操作操作单元107输入了将当前选择虚拟视点的位置、方向和视角登记在表信息中的指示(登记指示)。登记指示输入方法不限于特定方法。例如，可以在用户通过操作操作单元107指示显示单元105的显示画面上所显示的登记按钮时或者在用户按下操作单元107中的特定按钮时输入登记指示。如果作为判断处理的结果，输入了登记指示，则处理进入步骤S902；否则，处理进入步骤S903。
在步骤S902中，管理单元201发布新的视点ID，生成包括发布的视点ID、视点类型“切换虚拟视点”以及当前选择视点信息中包括的第二位置、第二方向和第二视角的新的视点信息，并将生成的视点信息登记在表信息中。管理单元201还在表信息中登记表示将显示区域403至406中的哪个区域用于显示与所登记的虚拟视点相对应的虚拟视点图像的信息或者表示不显示该虚拟视点图像的信息，或者将这样的信息登记为与表信息分离的信息。
在步骤S903中，输入单元205判断用户是否通过操作操作单元107输入了改变显示区域403至406中显示的虚拟视点图像的布置顺序的指示(重新布置指示)。如果作为判断处理的结果，输入了布置指示，则处理进入步骤S904；否则，处理进入步骤S905。
在步骤S904中，控制单元204根据用户通过操作操作单元107所输入的操作，改变显示区域403至406中显示的虚拟视点图像的布置顺序。用户针对该重新布置而进行的操作不限于特定操作。例如，如果用户通过操作操作单元107来指示显示单元105的显示画面上所显示的改变按钮，则输入单元205接受针对显示区域403至406中显示的虚拟视点图像的操作指示。注意，如果用户按下操作单元107中的特定按钮，则输入单元205可以接受针对显示区域403至406中显示的虚拟视点图像的操作指示。
例如，假设用户通过操作操作单元107来拖拽显示区域404中的虚拟视点图像以移动到显示区域406。在这种情况下，控制单元204将显示区域405和406中显示的虚拟视点图像分别移动到显示区域404和405。此外，控制单元204将被拖拽到显示区域406的虚拟视点图像(显示区域404中显示的虚拟视点图像)移动到显示区域406。此时，管理单元201改变各个显示区域和各个切换虚拟视点之间的对应关系。
例如，假设用户通过操作操作单元107来拖拽显示区域404中的虚拟视点图像以移动到显示区域401的外部。在这种情况下，控制单元204将显示区域405和406中显示的虚拟视点图像分别移动到显示区域404和405。管理单元201将被拖拽并移动到显示区域401外部的虚拟视点图像的视点类型设置为未显示状态，并且从视点类型被设置为未显示状态的具有视点ID＝413的切换虚拟视点的视点类型中删除未显示状态。然后，如上所述，生成与具有视点ID＝413的切换虚拟视点相对应的虚拟视点图像，并将其显示在显示区域406中。注意，提供了各种操作作为重新布置与切换虚拟视点相对应的虚拟视点图像的操作，并且重新布置操作不限于特定操作。
在步骤S905中，输入单元205判断是否已经通过用户操作操作单元107输入了删除显示区域403至406中所显示的虚拟视点图像之一的指示(删除指示)。如果作为判断处理的结果，输入了删除指示，则处理进入步骤S906；否则，处理进入步骤S907。
在步骤S906中，管理单元201从表信息中删除作为删除指示的对象的虚拟视点的视点信息，并且控制单元204从显示单元105的显示画面中擦除与作为删除指示的对象的虚拟视点相对应的虚拟视点图像。由用户执行的用于删除的操作不限于特定操作。例如，如果用户通过操作操作单元107来指示显示单元105的显示画面上所显示的删除按钮，则输入单元205接受针对显示区域403至406中所显示的虚拟视点图像的操作指示。注意，如果用户按下操作单元107中的特定按钮，则输入单元205可以接受针对显示区域403至406中所显示的虚拟视点图像的操作指示。
例如，如果用户通过操作操作单元107指定显示区域404，则管理单元201从表信息中删除与显示区域404中所显示的虚拟视点图像相对应的切换虚拟视点的视点信息。然后，控制单元204从显示区域404擦除该虚拟视点图像。
在步骤S907中，输入单元205判断用户是否通过操作操作单元107输入了将表信息中的切换虚拟视点的视点信息切换为另一切换虚拟视点的视点信息的指示(视点设置切换指示)。例如，如果按下了显示单元105的显示画面上所显示的视点设置切换按钮或操作单元107中的特定按钮，则输入单元205判断为输入了视点设置切换指示。如果作为判断处理的结果，输入了视点设置切换指示，则处理进入步骤S908；否则，处理进入步骤S310。
在步骤S908中，管理单元201在表信息中预先创建视点类型为“切换虚拟视点”的视点信息，并使用在HDD 104中登记的虚拟视点设置之一替换所创建的视点信息。如稍后将描述的，虚拟视点设置表示一个或多个虚拟视点的视点信息。可以在HDD 104中登记一个或多个虚拟视点设置。
如果在HDD 104中登记了一个虚拟视点设置，则管理单元201利用该一个虚拟视点设置来替换表信息中的视点类型为“切换虚拟视点”的视点信息。
如果在HDD 104中登记了多个虚拟视点设置，则管理单元201利用多个虚拟视点设置中之一替换表信息中的视点类型为“切换虚拟视点”的视点信息。选择多个虚拟视点集中之一用于替换的方法不限于特定方法。例如，控制单元204在显示单元105的显示画面上显示描述了多个虚拟视点设置的内容和文件名的列表。当用户通过在观看显示画面的同时操作操作单元107选择多个虚拟视点设置之一时，管理单元201利用所选择的虚拟视点设置替换表信息中视点类型为“切换虚拟视点”的视点信息。
提供多个虚拟视点设置并且选择和使用虚拟视点设置之一的布置假设例如虚拟视点的操作者根据性能的状况使用虚拟视点设置的情况。例如，预先准备用于角球(cornerkick)的虚拟视点设置、开球的虚拟视点设置和罚点球的虚拟视点设置等是有用的。针对用于罚点球的虚拟视点设置，方便准备用于从进球侧向罚点球点方向观看的虚拟视点、在相反方向上的虚拟视点、用于在罚点球点上方观看进球侧的虚拟视点以及用于观看工作台的虚拟视点等作为设置。注意，如果在步骤S908中表信息被改变，则管理单元201读出在改变的表信息中登记的各个切换虚拟视点的视点信息，并将各个切换虚拟视点的视点信息输出到输出单元202。
图14A和14B示出虚拟视点设置的示例。图14A示出各个虚拟视点设置1401、1402和1403的布置的示例。四个切换虚拟视点的视点信息登记在虚拟视点设置1401中。三个切换虚拟视点的视点信息登记在虚拟视点设置1402中。五个切换虚拟视点的视点信息登记在虚拟视点设置1403中。
图14B示出如果在步骤S908中选择了虚拟视点设置1401，则通过利用虚拟视点设置1401替换图5所示的表信息中视点类型为“切换虚拟视点”的视点信息而获得的表信息的结构的示例。在图14B所示的表信息中，与图5所示的表信息相比，切换虚拟视点的数量减少到四个，位置、方向和视角被虚拟视点设置1401中的值所替换，并且新分配视点ID(413至416)。注意，选择虚拟视点通过该操作保持不变，因此维持与图5中相同的值。
[第四实施例]
在第一至第三实施例中，在显示区域402中显示的虚拟视点图像的帧频等于在显示区域403至406中显示的虚拟视点图像的帧频。然而，所有虚拟视点的虚拟视点图像的帧频不需要彼此相等。为了通过图像生成设备110生成虚拟视点图像，需要读出许多数据并进行数据处理。因此，如第一至第三实施例中所述，需要庞大的计算机资源来生成与所有选择虚拟视点相对应的虚拟视点图像，并且以60fps(帧/秒)切换虚拟视点，从而增加了成本。在本实施例中，将描述考虑图像生成设备110的图像生成能力的帧频控制。
将参考图10所示的框图描述根据本实施例的显示控制设备100的功能布置的示例。在图10中，与图2和6中相同的附图标记表示相同的功能单元，并且将省略对其的描述。
处理单元1001根据图像生成设备110的图像生成能力，设置与选择虚拟视点相对应的虚拟视点图像的帧频和与切换虚拟视点相对应的虚拟视点图像的帧频。
将参考图11A和11B所示的流程图来描述根据本实施例的系统执行的处理。根据图11A和11B所示的流程图的处理在启动虚拟视点设置应用的状态下开始，并且执行该处理直到虚拟视点设置应用结束为止。在图11A和11B中，与图3、7、9A和9B中的步骤编号相同的步骤编号表示相同的处理步骤，并且将省略对其的描述。
在步骤S1101中，处理单元1001针对在表信息中登记的各个虚拟视点，设置与该虚拟视点相对应的虚拟视点图像的帧频。注意，在根据本实施例的步骤S303中，输出单元202经由通信I/F 106将从管理单元201输出的切换虚拟视点的视点信息中的与当前帧中要生成的虚拟视点图像相对应的视点信息输出到图像生成设备110。在根据本实施例的步骤S306中，如果当前帧是用于生成与选择虚拟视点相对应的虚拟视点图像的帧，则输出单元202经由通信I/F 106将选择视点信息发送到图像生成设备110。
将使用实际示例描述步骤S1101中的处理。假设图像生成设备110的图像生成能力为120fps(可以生成每秒120帧的图像)。考虑如图5所示存在一个选择虚拟视点和四个切换虚拟视点的情况。
与选择虚拟视点相对应的虚拟视点图像是针对选择虚拟视点的操作的必要图像，并且有必要将指定选择虚拟视点的结果无延迟地显示为虚拟视点图像。应当理解，随着从指定选择虚拟视点时起直到显示虚拟视点图像的延迟时间变长，操作选择虚拟视点变得更加困难。因此，将60fps分配给选择虚拟视点，并且将剩余的60fps成比例地分配给四个切换虚拟视点。即，如图12A所示，与选择虚拟视点相对应的虚拟视点图像以60fps生成并在显示区域402中显示，而与切换虚拟视点相对应的虚拟视点图像以15fps生成并分别在显示区域403至406中显示。与各个切换虚拟视点相对应的虚拟视点图像的显示不是那么平滑，但帧频足以掌握在虚拟视点处看到的内容。在本实施例中，如果在步骤S1101中决定了针对各个虚拟视点的帧频，则如图12B所示，将针对各个虚拟视点的帧频登记在由管理单元201管理的表信息中。
将参考图13A至13F描述在步骤S303和S306中由图像生成设备110生成的各个帧的虚拟视点图像。由于图像生成设备110的图像生成能力为120fps，并且与选择虚拟视点相对应的虚拟视点图像的帧频为60fps，因此每两帧一次地生成并显示与选择虚拟视点相对应的虚拟视点图像。在图13A至13F中，针对第一帧生成并显示与选择虚拟视点相对应的虚拟视点图像，并且因此此后针对第(2×f+1)帧(f是1或更大的整数)生成并显示该虚拟视点图像。
此外，由于图像生成设备110的图像生成能力为120fps，并且与四个切换虚拟视点各自相对应的虚拟视点图像的帧频为15fps，因此每八帧一次地生成并显示与各个切换虚拟视点相对应的虚拟视点图像。例如，在图13A至13F中，针对第二帧生成并显示与切换虚拟视点1相对应的虚拟视点图像，并且因此此后针对第(8×f+2)帧生成并显示该虚拟视点图像。同样地，针对第四、第六和第八帧显示切换虚拟视点2、3和4，然后此后针对第(8×f+4)帧、第(8×f+6)帧和第(8×f+8)帧生成并显示这些切换虚拟视点。
因此，输出单元202向图像生成设备110输出与要针对当前帧生成并显示的虚拟视点图像相对应的虚拟视点的视点信息，并且图像生成设备110生成与从输出单元202接收的视点信息相对应的虚拟视点图像。通过均等地分配生成虚拟视点图像的定时，可以更平滑地显示图像。
注意，上述数值仅仅是用来描述实际示例的示例。上述操作不限于数值。即，根据系统的能力和广播虚拟视点图像的广播系统的要求来适当地设置数值。
如上所述，根据本实施例，将用于生成虚拟视点的帧频适当地分配给选择虚拟视点和切换虚拟视点，从而使得可以在不增加计算机资源的情况下根据性能等实现虚拟视点的操作和虚拟视点的选择。
[第五实施例]
在第一至第四实施例中，在一个显示画面上显示与选择虚拟视点相对应的虚拟视点图像和与切换虚拟视点相对应的虚拟视点图像。然而，本发明不限于此。例如，可以在单独的显示装置上显示与选择虚拟视点相对应的虚拟视点图像和与切换虚拟视点相对应的虚拟视点图像。
在第三和第四实施例中，在虚拟视点图像的生成和显示的处理循环中进行虚拟视点登记处理、重新布置处理、删除处理和视点设置切换处理。然而，本发明不限于此。例如，可以在与虚拟视点图像的生成和显示的处理循环不同的线程中进行虚拟视点登记处理、重新布置处理、删除处理和视点设置切换处理。
注意，可以适当地组合使用一些或全部上述实施例和变形例。可选地，可以选择性地使用一些或全部上述实施例和变形例。
(其它实施例)
本发明可以通过经由网络或存储介质向系统或设备提供用于实现上述实施例的一个或多个功能的程序，并且使系统或设备的计算机中的一个或多个处理器读出并执行该程序的处理来实现。本发明还可以通过用于实现一个或多个功能的电路(例如ASIC)来实现。
本发明并不限于上述实施例，并且在本发明的精神和范围内可以进行各种改变和变形。因此，为了向公众告知本发明的范围，作出了以下权利要求。
本申请要求2017年12月21日提交的日本专利申请2017-245392的权益，其全部内容通过引用包含于此。
附图标记列表
201：管理单元，202：输出单元，203：接收单元，204：控制单元，205：输入单元

Claims (21)

1.一种显示控制设备，其特征在于，包括：
获取部件，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制部件，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示由所述获取部件所获取的所述多个虚拟视点图像，
其中，基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像来生成与所述多个虚拟视点中被选择作为位置和方向操作对象的虚拟视点相对应的虚拟视点图像，并且将该虚拟视点图像发送到其它设备。
2.根据权利要求1所述的显示控制设备，其特征在于，通过广播将所述虚拟视点图像发送到所述其它设备。
3.一种显示控制设备，其特征在于，包括：
获取部件，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制部件，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示由所述获取部件所获取的所述多个虚拟视点图像，
其中，由所述显示控制部件在所述操作画面上显示的所述多个虚拟视点图像至少之一是基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像生成的图像，以及
响应于用于添加虚拟视点的用户操作，所述显示控制部件在所述操作画面上新显示与该虚拟视点的位置和方向相对应的虚拟视点图像。
4.一种显示控制设备，其特征在于，包括：
获取部件，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制部件，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示由所述获取部件所获取的所述多个虚拟视点图像，
其中，由所述显示控制部件在所述操作画面上显示的所述多个虚拟视点图像至少之一是基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像生成的图像，以及
响应于预定的用户操作，所述显示控制部件从在所述操作画面上显示与多个第一虚拟视点相对应的多个第一虚拟视点图像的状态切换到在所述操作画面上显示与多个第二虚拟视点相对应的多个第二虚拟视点图像的状态。
5.一种显示控制设备，其特征在于，包括：
获取部件，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制部件，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示由所述获取部件所获取的所述多个虚拟视点图像，
其中，由所述显示控制部件在所述操作画面上显示的所述多个虚拟视点图像至少之一是基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像生成的图像，以及
响应于用于删除虚拟视点的用户操作，所述显示控制部件进行控制以不在所述操作画面上显示与该虚拟视点的位置和方向相对应的虚拟视点图像。
6.一种显示控制设备，其特征在于，包括：
获取部件，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制部件，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示由所述获取部件所获取的所述多个虚拟视点图像，
其中，由所述显示控制部件在所述操作画面上显示的所述多个虚拟视点图像至少之一是基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像生成的图像，以及
响应于用于重新布置虚拟视点图像的用户操作，所述显示控制部件改变所述操作画面上显示的所述多个虚拟视点图像中的至少一些虚拟视点图像的显示顺序。
7.根据权利要求1至6中任一项所述的显示控制设备，其特征在于，同与所述多个虚拟视点中的未被用户选择的虚拟视点相对应的虚拟视点图像相比，所述显示控制部件将与所述多个虚拟视点中的被用户选择的虚拟视点相对应的虚拟视点图像显示得更大。
8.根据权利要求1至6中任一项所述的显示控制设备，其特征在于，与所述多个虚拟视点中的未被用户选择的虚拟视点相对应的虚拟视点图像是相比与所述多个虚拟视点中的被用户选择的虚拟视点相对应的虚拟视点图像通过负荷更小的生成处理来生成的图像。
9.根据权利要求1至6中任一项所述的显示控制设备，其特征在于，同与所述多个虚拟视点中的未被用户选择的虚拟视点相对应的虚拟视点图像的帧频相比，所述显示控制部件以更高的帧频显示与所述多个虚拟视点中的被用户选择的虚拟视点相对应的虚拟视点图像。
10.根据权利要求1至9中任一项所述的显示控制设备，其特征在于，还包括接受部件，所述接受部件用于接受用户从与所述显示控制部件所显示的所述多个虚拟视点图像相对应的所述多个虚拟视点中选择作为位置和方向操作对象的虚拟视点的操作。
11.根据权利要求1至9中任一项所述的显示控制设备，其特征在于，还包括接受部件，所述接受部件用于接受改变与所述显示控制部件所显示的所述多个虚拟视点图像相对应的所述多个虚拟视点中的用户选择的虚拟视点的位置和方向的用户操作。
12.根据权利要求1或2所述的显示控制设备，其特征在于，还包括接收部件，所述接收部件用于从输入装置接收与被按下的按钮相对应的信号，其中在所述输入装置中，多个按钮和所述多个虚拟视点分别彼此相关联，
其中，基于由所述接收部件所接收到的信号进行所述选择。
13.一种显示控制设备的显示控制方法，其特征在于，包括：
获取步骤，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制步骤，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示在所述获取步骤中获取的所述多个虚拟视点图像，
其中，基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像来生成与所述多个虚拟视点中被选择作为位置和方向操作对象的虚拟视点相对应的虚拟视点图像，并且将该虚拟视点图像发送到其它设备。
14.根据权利要求13所述的显示控制方法，其特征在于，通过广播将所述虚拟视点图像发送到所述其它设备。
15.一种显示控制设备的显示控制方法，其特征在于，包括：
获取步骤，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制步骤，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示在所述获取步骤中获取的所述多个虚拟视点图像，
其中，在所述显示控制步骤中显示在所述操作画面上的所述多个虚拟视点图像至少之一是基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像生成的图像，以及
响应于用于添加虚拟视点的用户操作，在所述操作画面上新显示与该虚拟视点的位置和方向相对应的虚拟视点图像。
16.一种显示控制设备的显示控制方法，其特征在于，包括：
获取步骤，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制步骤，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示在所述获取步骤中获取的所述多个虚拟视点图像，
其中，在所述显示控制步骤中显示在所述操作画面上的所述多个虚拟视点图像至少之一是基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像生成的图像，以及
响应于预定的用户操作，将在所述操作画面上显示与多个第一虚拟视点相对应的多个第一虚拟视点图像的状态切换到在所述操作画面上显示与多个第二虚拟视点相对应的多个第二虚拟视点图像的状态。
17.一种显示控制设备的显示控制方法，其特征在于，包括：
获取步骤，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制步骤，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示在所述获取步骤中获取的所述多个虚拟视点图像，
其中，在所述显示控制步骤中显示在所述操作画面上的所述多个虚拟视点图像至少之一是基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像生成的图像，以及
响应于用于删除虚拟视点的用户操作，进行控制以不在所述操作画面上显示与作为删除对象的虚拟视点的位置和方向相对应的虚拟视点图像。
18.一种显示控制设备的显示控制方法，其特征在于，包括：
获取步骤，用于获取与多个虚拟视点的位置和方向相对应的多个虚拟视点图像；以及
显示控制步骤，用于在用于与所述虚拟视点的位置和方向有关的操作的操作画面上显示在所述获取步骤中获取的所述多个虚拟视点图像，
其中，在所述显示控制步骤中显示在所述操作画面上的所述多个虚拟视点图像至少之一是基于通过由多个照相机对摄像对象区域进行拍摄而获得的多个拍摄图像生成的图像，以及
响应于用于重新布置虚拟视点图像的用户操作，改变所述操作画面上显示的所述多个虚拟视点图像中的至少一些虚拟视点图像的显示顺序。
19.根据权利要求13至18中任一项所述的显示控制方法，其特征在于，在所述显示控制步骤中，同与所述多个虚拟视点中的未被用户选择的虚拟视点相对应的虚拟视点图像相比，将与所述多个虚拟视点中的被用户选择的虚拟视点相对应的虚拟视点图像显示得更大。
20.根据权利要求13至18中任一项所述的显示控制方法，其特征在于，与所述多个虚拟视点中的未被用户选择的虚拟视点相对应的虚拟视点图像是相比与所述多个虚拟视点中的被用户选择的虚拟视点相对应的虚拟视点图像通过负荷更小的生成处理来生成的图像。
21.一种计算机程序，用于使计算机用作权利要求1至12中任一项所限定的显示控制设备的各个部件。
CN201880037860.9A 2017-12-21 2018-11-21 显示控制设备、显示控制方法和存储介质 Active CN110720214B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-245392 2017-12-21
JP2017245392A JP6427258B1 (ja) 2017-12-21 2017-12-21 表示制御装置、表示制御方法
PCT/JP2018/042948 WO2019123957A1 (ja) 2017-12-21 2018-11-21 表示制御装置、表示制御方法

Publications (2)

Publication Number Publication Date
CN110720214A true CN110720214A (zh) 2020-01-21
CN110720214B CN110720214B (zh) 2021-05-07

Family

ID=64394767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880037860.9A Active CN110720214B (zh) 2017-12-21 2018-11-21 显示控制设备、显示控制方法和存储介质

Country Status (10)

Country Link
US (2) US10733925B2 (zh)
EP (1) EP3621300B1 (zh)
JP (1) JP6427258B1 (zh)
KR (1) KR102207457B1 (zh)
CN (1) CN110720214B (zh)
AU (1) AU2018391746B2 (zh)
BR (1) BR112019025040A2 (zh)
CA (1) CA3070736C (zh)
RU (1) RU2747267C1 (zh)
WO (1) WO2019123957A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7335335B2 (ja) 2019-06-28 2023-08-29 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US20220295040A1 (en) * 2021-03-11 2022-09-15 Quintar, Inc. Augmented reality system with remote presentation including 3d graphics extending beyond frame
JP7476160B2 (ja) 2021-11-29 2024-04-30 キヤノン株式会社 情報処理装置、情報処理システム、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032012A (ja) * 2002-06-21 2004-01-29 Sony Corp 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム
CN1578435A (zh) * 2003-07-18 2005-02-09 Lg电子株式会社 具有改变屏幕比率功能的视频显示设备以及它的控制方法
CN101014123A (zh) * 2007-02-05 2007-08-08 北京大学 一种多视点视频流的自由视点视频重建方法及系统
US20110293241A1 (en) * 2010-06-01 2011-12-01 Canon Kabushiki Kaisha Video processing apparatus and control method thereof
JP2016158213A (ja) * 2015-02-26 2016-09-01 日本放送協会 要素画像群生成装置及びそのプログラム、並びにデジタル放送受信装置
WO2017204174A1 (en) * 2016-05-25 2017-11-30 Canon Kabushiki Kaisha Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with transmission of foreground and background images at different frame rates
US20170353680A1 (en) * 2016-06-03 2017-12-07 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, image processing method, and computer-readable storage medium

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US20020090217A1 (en) * 2000-06-30 2002-07-11 Daniel Limor Sporting events broadcasting system
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
GB2400513B (en) * 2003-03-14 2005-10-05 British Broadcasting Corp Video processing
US20070070210A1 (en) * 2003-04-11 2007-03-29 Piccionelli Gregory A Video production with selectable camera angles
JP2005242606A (ja) * 2004-02-26 2005-09-08 Olympus Corp 画像生成装置、画像生成プログラム、及び画像生成方法
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
JP2007020092A (ja) * 2005-07-11 2007-01-25 Matsushita Electric Ind Co Ltd 画像表示装置、画像表示方法および画像表示システム
US8428048B2 (en) * 2006-02-21 2013-04-23 Qualcomm Incorporated Multi-program viewing in a wireless apparatus
CN102461165A (zh) * 2009-06-24 2012-05-16 德耳塔维德约股份有限公司 用于动态视频电子节目指南的系统和方法
JP5517598B2 (ja) * 2009-12-22 2014-06-11 キヤノン株式会社 映像再生装置及びその制御方法
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
JP2014215828A (ja) 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
US10015551B2 (en) * 2014-12-25 2018-07-03 Panasonic Intellectual Property Management Co., Ltd. Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device
JP6555056B2 (ja) * 2015-09-30 2019-08-07 アイシン精機株式会社 周辺監視装置
JP6735592B2 (ja) * 2016-04-08 2020-08-05 キヤノン株式会社 画像処理装置及びその制御方法、画像処理システム
JP6622650B2 (ja) * 2016-05-18 2019-12-18 キヤノン株式会社 情報処理装置及びその制御方法、撮影システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032012A (ja) * 2002-06-21 2004-01-29 Sony Corp 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム
CN1578435A (zh) * 2003-07-18 2005-02-09 Lg电子株式会社 具有改变屏幕比率功能的视频显示设备以及它的控制方法
CN101014123A (zh) * 2007-02-05 2007-08-08 北京大学 一种多视点视频流的自由视点视频重建方法及系统
US20110293241A1 (en) * 2010-06-01 2011-12-01 Canon Kabushiki Kaisha Video processing apparatus and control method thereof
JP2016158213A (ja) * 2015-02-26 2016-09-01 日本放送協会 要素画像群生成装置及びそのプログラム、並びにデジタル放送受信装置
WO2017204174A1 (en) * 2016-05-25 2017-11-30 Canon Kabushiki Kaisha Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with transmission of foreground and background images at different frame rates
US20170353680A1 (en) * 2016-06-03 2017-12-07 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, image processing method, and computer-readable storage medium

Also Published As

Publication number Publication date
CA3070736C (en) 2023-01-10
JP2019114869A (ja) 2019-07-11
BR112019025040A2 (pt) 2020-06-16
US11205360B2 (en) 2021-12-21
EP3621300A1 (en) 2020-03-11
WO2019123957A1 (ja) 2019-06-27
KR20190137939A (ko) 2019-12-11
EP3621300B1 (en) 2023-05-24
US10733925B2 (en) 2020-08-04
RU2747267C1 (ru) 2021-05-04
CN110720214B (zh) 2021-05-07
US20200335020A1 (en) 2020-10-22
CA3070736A1 (en) 2019-06-27
JP6427258B1 (ja) 2018-11-21
KR102207457B1 (ko) 2021-01-26
AU2018391746B2 (en) 2020-03-12
US20200105174A1 (en) 2020-04-02
AU2018391746A1 (en) 2019-12-12
EP3621300A4 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
CN110720214B (zh) 显示控制设备、显示控制方法和存储介质
KR102187974B1 (ko) 가상 시점 화상의 생성에 관한 정보 처리 장치, 방법 및 프로그램
CN103544441B (zh) 移动图像生成装置
CN111357296B (zh) 影像分发装置、影像分发系统、影像分发方法及存储介质
US10659822B2 (en) Information processing apparatus, information processing method, and medium
US20210266511A1 (en) Information processing system, information processing method, and storage medium
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
US10908795B2 (en) Information processing apparatus, information processing method
JP2012147404A (ja) 情報処理装置
JP2024050737A (ja) 情報処理装置、情報処理装置の作動方法、及びプログラム
KR20230152589A (ko) 화상 처리 시스템, 화상 처리방법, 및 기억매체
JP2023057124A (ja) 画像処理装置及び方法、プログラム
US8972877B2 (en) Information processing device for displaying control panel image and information image on a display
JP6685364B2 (ja) 表示制御装置、表示制御方法
JP2020022189A (ja) 映像配信システム、映像データ配信装置、映像データ配信装置制御プログラム、映像データ配信方法、端末装置、端末装置制御プログラム及び端末制御方法
US20240015274A1 (en) Image processing apparatus, image processing method, and program
CN115729403A (zh) 显示画面处理方法、装置，电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant