CN109716751B - 信息处理设备、方法和计算机可读存储介质 - Google Patents

信息处理设备、方法和计算机可读存储介质 Download PDF

Info

Publication number
CN109716751B
CN109716751B CN201780057088.2A CN201780057088A CN109716751B CN 109716751 B CN109716751 B CN 109716751B CN 201780057088 A CN201780057088 A CN 201780057088A CN 109716751 B CN109716751 B CN 109716751B
Authority
CN
China
Prior art keywords
virtual
path
visual point
movement path
virtual visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780057088.2A
Other languages
English (en)
Other versions
CN109716751A (zh
Inventor
花本贵志
岩尾知赖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109716751A publication Critical patent/CN109716751A/zh
Application granted granted Critical
Publication of CN109716751B publication Critical patent/CN109716751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

目的是使得可以任意地设置虚拟照相机的高度和移动速度，并且可以通过简单操作在短时间内获得虚拟视点视频。信息处理设备是用于设置与基于多个照相机获得的多个图像所生成的虚拟视点图像有关的虚拟视点的移动路径的信息处理设备，并且包括：指定单元，用于指定虚拟视点的移动路径；显示控制单元，用于在显示画面上显示与指定单元所指定的移动路径相对应的多个虚拟视点图像；接收单元，用于接收针对显示画面上所显示的多个虚拟视点图像至少之一的操作；以及改变单元，用于根据所述接收单元接收到针对虚拟视点图像的操作来改变指定单元所指定的移动路径。

Description

信息处理设备、方法和计算机可读存储介质
技术领域
本发明涉及设置生成虚拟视点视频图像时的虚拟照相机路径的技术。
背景技术
作为通过使用多个真实照相机所拍摄的视频图像来生成来自实际上不存在但虚拟地布置在三维空间内的照相机(虚拟照相机)的视频图像的技术，存在虚拟视点视频图像技术。为了获得虚拟视点视频图像，需要设置虚拟照相机路径等，为此，需要沿时间轴(t)适当地控制虚拟照相机的诸如位置(x，y，z)、转动角度
Figure GDA0002798796700000011
视角(θ)和注视点(xo，yo，zo)等的参数。为了适当地设置和控制这许多参数，需要技能并且普通人难以进行该操作，并且只有具有专业知识的熟练和有经验的人才能进行该操作。关于这一点，专利文献1公开了如下方法：基于从上方观看作为对象的三维空间的情况下的平面图(例如，美术馆内的平面图)来设置虚拟照相机的参数，并检查指定位置处的虚拟视点视频图像。
现有技术文献
专利文献
专利文献1：日本特开2013-90257
发明内容
发明要解决的问题
然而，利用上述专利文献1的方法，需要多次重复进行诸如平面图上的虚拟照相机的参数设置、与该设置相对应的虚拟视点视频图像的所有序列的检查以及参数的修改(再设置)等的一系列操作，因此存在工作时间延长的问题。此外，利用该方法，最初，无法设置虚拟照相机的高度或移动速度，因此，无法获得这些参数被改变的虚拟视点视频图像。
用于解决问题的方案
根据本发明的信息处理装置是一种信息处理设备，其用于设置与虚拟视点图像有关的虚拟视点的移动路径，所述虚拟视点图像是基于多个照相机获得的多个图像所生成的，所述信息处理设备包括：指定单元，其被配置为指定虚拟视点的移动路径；显示控制单元，其被配置为在显示画面上显示与所述指定单元所指定的移动路径相对应的多个虚拟视点图像；接收单元，其被配置为接收针对所述显示画面上所显示的所述多个虚拟视点图像至少之一的操作；以及改变单元，其被配置为根据所述接收单元接收到针对虚拟视点图像的操作来改变所述指定单元所指定的移动路径。
发明的效果
根据本发明，还可以任意设置虚拟照相机的高度和移动速度，并且可以通过简单的操作来获得虚拟视点视频图像。
通过以下参考附图对实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出虚拟视点视频图像系统的结构的示例的图；
图2是示出构成照相机组的各照相机的布置示例的图；
图3A是示出根据第一实施例的虚拟视点视频图像生成时使用的GUI画面的示例的图；
图3B是示出根据第一实施例的虚拟视点视频图像生成时使用的GUI画面的示例的图；
图4是示出根据第一实施例的生成虚拟视点视频图像的处理的粗略流程的流程图；
图5是示出根据第一实施例的虚拟照相机设置处理的详情的流程图；
图6A是被摄体的位置和3D形状投影至的静态2D地图的示例；
图6B是指定注视点路径和照相机路径的结果的示例；
图6C是示出缩略图布置处理的结果的示例的图；
图7是示出缩略图布置处理的详情的流程图；
图8A是说明缩略图布置处理的过程的图；
图8B是说明缩略图布置处理的过程的图；
图8C是说明缩略图布置处理的过程的图；
图9是示出照相机路径调整处理的详情的流程图；
图10A是说明照相机路径调整处理的过程的图；
图10B是说明照相机路径调整处理的过程的图；
图10C是说明照相机路径调整处理的过程的图；
图11A是示出添加了渐变图标的状态的图；
图11B是说明各缩略图图像、虚拟照相机的移动速度和虚拟视点视频图像的再现时间之间的关系的图；
图12是示出注视点路径调整处理的详情的流程图；
图13A是说明注视点路径调整处理的过程的图；
图13B是说明注视点路径调整处理的过程的图；
图13C是说明注视点路径调整处理的过程的图；
图13D是说明注视点路径调整处理的过程的图；
图14是示出根据第二实施例的虚拟视点视频图像生成时的GUI画面的示例的图；
图15是示出根据第二实施例的生成虚拟视点视频图像的处理的粗略流程的流程图；
图16是示出根据第二实施例的虚拟照相机设置处理的详情的流程图；
图17A是动态2D地图的开始帧的示例；
图17B是以时间序列示出在动态2D地图上指定注视点路径的方式的图；
图17C是以时间序列示出在动态2D地图上指定注视点路径的方式的图；
图17D是以时间序列示出在动态2D地图上指定注视点路径的方式的图；
图18A是以时间序列示出在注视点路径的指定完成之后的动态2D地图上指定照相机路径的方式的图；
图18B是以时间序列示出在注视点路径的指定完成之后的动态2D地图上指定照相机路径的方式的图；
图18C是以时间序列示出在注视点路径的指定完成之后的动态2D地图上指定照相机路径的方式的图；
图19A是说明指定照相机路径时的模式之间的差异的图；
图19B是说明指定照相机路径时的模式之间的差异的图；
图20A是示出被摄体信息在空间上变窄的示例的图；
图20B是示出被摄体信息在空间上变窄的示例的图；
图21A是示出注视点路径指定接收处理的详情的流程图；
图21B是示出注视点路径指定接收处理的详情的流程图；
图22A是示出照相机路径指定接收处理的详情的流程图；
图22B是示出照相机路径指定接收处理的详情的流程图；以及
图23是示出路径调整处理的详情的流程图。
具体实施方式
在下文中，参考附图来说明本发明的实施例。以下实施例不旨在限制本发明，并且本实施例中所说明的特征的所有组合对于本发明的解决方案不一定是必不可少的。通过将相同的符号附加到相同的结构来给出说明。
[第一实施例]
图1是示出本实施例中的虚拟视点视频图像系统的结构的示例的图。图1所示的虚拟视点视频图像系统包括图像处理设备100和多个摄像设备(照相机组)109。然后，图像处理设备100包括CPU 101、主存储器102、存储单元103、输入单元104、显示单元105和外部I/F106，并且各单元经由总线107连接。图像处理设备是用于设置与基于由多个摄像设备(照相机组)获得的多个图像所生成的虚拟视点图像有关的虚拟视点的移动路径的设备。首先，CPU 101是用于通过执行存储在存储单元103等中的各种程序来集中控制图像处理设备100并进行各种处理的算术运算处理装置。主存储器102针对CPU 101以及各种处理中所使用的数据和参数等的临时存储提供工作区域。存储单元103是用于存储各种程序和GUI(图形用户界面)显示所需的各种数据的大容量存储装置，并且例如使用诸如硬盘和硅盘等的非易失性存储器。输入单元104是诸如键盘、鼠标、电子笔和触摸面板等的装置，并且从用户接收操作输入。显示单元105包括液晶面板等，并且产生用于虚拟视点视频图像生成时的虚拟照相机路径设置的GUI显示等。外部I/F单元106经由LAN 108与构成照相机组109的各照相机连接，并且进行视频图像数据和控制信号数据的发送和接收。总线107连接上述各单元并进行数据传送。
照相机组109经由LAN 108与图像处理设备100连接，并且基于来自图像处理设备100的控制信号，开始或停止摄像、改变照相机设置(快门速度和光圈等)、并且传送所拍摄的视频图像数据。
在系统结构中，除了上述那些之外还可以存在各种组件，但是省略其说明。
图2是示出构成照相机组109的各照相机的布置示例的图。这里，通过在橄榄球运动的体育场内安装十个照相机的情况给出说明。然而，构成照相机组109的照相机的数量不限于十个。在照相机数量少的情况下，数量可以是两个或三个，或者可能存在安装数百个照相机的情况。在进行游戏的场地201上，存在作为被摄体202的选手和球，并且以围绕场地201的方式布置十个照相机203。对于构成照相机组109的各照相机203，设置适当的照相机取向、焦距和曝光控制参数等，使得整个场地201或场地201的关注区域包括在视角内。
图3A和图3B是各自示出根据本实施例的虚拟视点视频图像生成时使用的GUI画面的示例的图。图3A是GUI画面的基本画面，并且包括鸟瞰图像显示区域300、操作按钮区域310和虚拟照相机设置区域320。
使得鸟瞰图像显示区域300用于用以指定虚拟照相机的移动路径和作为虚拟照相机注视的目的地的注视点的移动路径的操作和检查。还可以使用鸟瞰图像显示区域300来设置虚拟照相机的移动路径和注视点的移动路径中的仅一个。例如，还可以使得用户通过使用鸟瞰图像显示区域300来指定虚拟照相机的移动路径，并且可以根据选手等的移动来自动确定注视点的移动路径。相反，也可以根据选手等的移动来自动确定虚拟照相机的移动路径，并使得用户通过使用鸟瞰图像显示区域300来指定注视点的移动路径。在操作按钮区域310中，存在用于读取多视点视频图像数据、设置作为虚拟视点视频图像的生成对象的多视点视频图像数据的范围(时间帧)、以及设置虚拟照相机的按钮311至313。此外，在操作按钮区域310中，存在用于检查所生成的虚拟视点视频图像的检查按钮314，并且通过按下检查按钮314，转变成图3B所示的虚拟视点视频图像预览窗口330。通过该窗口，可以检查作为从虚拟照相机观看的视频图像的虚拟视点视频图像。
响应于按下虚拟照相机设置按钮313，显示虚拟照相机设置区域320。然后，在区域320内，存在用于指定注视点的移动路径和虚拟照相机的移动路径按钮321和322、以及用于给出用以根据所指定的移动路径来开始生成虚拟视点视频图像的指示的OK按钮323。此外，在虚拟照相机设置区域320中，存在用于显示虚拟照相机(照相机)和注视点(关注点)的高度和移动速度的显示栏324和325，并且存在用于切换显示对象的下拉列表326。尽管未示意性示出，但是还可以在虚拟照相机设置区域320中提供用于显示与虚拟照相机的摄像方向有关的信息(例如，角度信息)的显示栏。在这种情况下，可以根据针对下拉列表326的用户操作来设置角度。
图4是示出生成虚拟视点视频图像的处理的粗略流程的流程图。通过CPU 101从存储单元103读取预定程序、将程序加载到主存储器102、并执行程序来实现一系列处理。
在步骤401中，获取从多个视点(这里，对应于十个照相机中的各照相机的十个视点)拍摄到的视频图像数据。具体地，通过用户按下先前描述的多视点视频图像数据读取按钮311，从存储单元103读取预先拍摄的多视点视频图像数据。然而，视频图像数据的获取定时不限于按下按钮311的定时并且例如考虑各种变形例，诸如按规定时间间隔获取视频图像数据的变形例等。此外，在不存在预先拍摄的多视点视频图像数据的情况下，还可以通过响应于多视点视频图像数据读取按钮311的按下而进行摄像来直接获取多视点视频图像数据。也就是说，还可以通过从图像处理设备100向照相机组109发送诸如摄像时的曝光条件等的摄像参数以及摄像开始信号来经由LAN 108直接获取由各照相机拍摄的视频图像数据。
在步骤402中，生成从鸟瞰拍摄所获取到的多视点视频图像数据的摄像场景(这里，橄榄球场的场地)的静止图像的二维图像(下文称为“静态2D地图”)。通过使用所获取到的多视点视频图像数据中的任意帧来生成该静态2D地图。例如，可以通过对从多视点视频图像数据的任意视点(照相机)拍摄的一个视频图像数据的特定帧进行投影变换来获得静态2D地图。可选地，可以通过对各自通过对与多视点视频图像数据的两个或更多个任意视点相对应的视频图像数据的特定帧进行投影变换而获得的图像进行合成来获得静态2D地图。此外，在预先使摄像场景清晰的情况下，还可以通过读取预先创建的静态2D地图来获取静态2D地图。
在步骤403中，设置时间帧，该时间帧是所获取到的多视点视频图像数据的虚拟视点视频图像生成的对象范围。具体地，用户通过在检查在单独监视器上显示的视频图像的同时按下先前描述的时间帧设置按钮312来设置用户期望生成虚拟视点视频图像的时间范围(开始时间和结束时间)。例如，在所获取到的所有视频图像数据与120分钟相对应并且设置了从自开始起经过63分钟之后的时间点起的10秒的情况下，以开始时间是1:03:00并且结束时间是1:03:10的方式设置对象时间帧。在如上所述以60fps拍摄所获取到的多视点视频图像数据并且将对应于10秒的视频图像数据设置为对象范围的情况下，基于60(fps)×(10秒)×10(照相机)＝6000帧的静止图像数据来生成虚拟视点视频图像。
在步骤404中，在所设置的对象范围中所包括的所有帧中，估计被摄体202的位置和三维形状(下文中为3D形状)。作为估计方法，使用现有方法，诸如使用与被摄体有关的轮廓信息的Visual-hull方法和使用三角测量的多视图立体方法等。将与被摄体的估计位置和3D形状有关的信息作为被摄体信息保存在存储单元103中。在摄像场景中存在多个被摄体的情况下，对各被摄体进行位置和3D形状的估计。
在步骤405中，进行虚拟照相机的设置处理。具体地，通过用户按下先前描述的虚拟照相机设置按钮313，显示虚拟照相机设置区域320，并且用户通过操作区域320内的按钮等来设置虚拟照相机的移动路径和注视点的移动路径。稍后将描述虚拟照相机设置处理的详情。
在步骤406中，响应于用户按下先前描述的OK按钮323，基于步骤405中所设置的与虚拟照相机有关的设置内容，生成虚拟视点视频图像。可以通过针对通过从虚拟照相机观看被摄体的3D形状而获得的视频图像使用计算机图形技术来生成虚拟视点视频图像。
在步骤407中，判断是否通过改变虚拟照相机的设置内容来生成新的虚拟视点视频图像。基于来自通过观看在虚拟视点视频图像预览窗口330中所显示的虚拟视点视频图像而检查了图像质量等的用户的指示来进行该处理。在用户期望再次生成虚拟视点视频图像的情况下，用户再次按下虚拟照相机设置按钮313并且重新进行与虚拟照相机有关的设置(处理返回到步骤405)。在虚拟照相机设置区域320中改变了设置内容并且再次按下“OK”按钮的情况下，利用改变之后的内容来生成虚拟视点视频图像。另一方面，在所生成的虚拟视点视频图像没有问题的情况下，退出该处理。以上是根据本实施例的直到生成虚拟视点视频图像为止的粗略流程。在本实施例中，说明了图4中的所有处理由图像处理设备100进行的示例，但是也可以通过多个设备来进行图4中的处理。例如，还可以通过向多个设备分发任务，使得例如步骤401和步骤402由第一设备进行、步骤406由第二设备进行、以及其它处理由第三设备进行，来进行与图4有关的处理。这也适用于本实施例的其它流程图。
接着，详细说明先前描述的步骤405中的虚拟照相机设置处理。图5是示出根据本实施例的虚拟照相机设置处理的详情的流程图。该流程通过先前描述的虚拟照相机设置按钮313的按下来进行。
在步骤501中，从存储单元103读取所设置的时间帧中的被摄体信息和静态2D地图。将所读取的被摄体信息和静态2D地图存储在主存储器102中。
在步骤502中，基于所读取的被摄体信息和静态2D地图，在图3A所示的GUI画面上的鸟瞰图像显示区域300上显示投影了被摄体的位置和3D形状的静态2D地图。图6A示出将持球的选手的被摄体202投影到图2所示的场地201的静态2D地图上的结果。被摄体202的位置和形状沿着时间轴进行转变，因此，投影由用户设置的时间帧内的所有被摄体。在这种情况下，在投影了与所有帧相对应的所有被摄体的条件下，作为投影的结果，帧彼此重叠，因此，视觉可识别性和可浏览性降低。结果，以规定时间间隔(例如，5秒)对所有帧进行采样，并且仅对预定帧(在图6A的示例中为t0、t1、t2和t3)中的被摄体进行投影。此外，在图6A的示例中，显示被摄体以使得随着时间的经过变得更透明(透明度增加)。由此，用户可以一目了然地掌握所设置的时间帧内的时间的经过。在本实施例中，使被摄体的透明度不同，但是可以使用任何显示，只要从显示器已知时间经过即可，例如可以使用逐步降低亮度的其它方面等。在鸟瞰图像显示区域300中显示由此获得的投影结果。
在步骤503中，用于指定虚拟视点视频图像数据中的虚拟视点的信息即作为虚拟照相机面向的方向的注视点移动的路径(下文称为注视点路径))以及虚拟照相机移动的路径(下文称为照相机路径)由用户指定。在按下虚拟照相机设置区域320内的注视点路径指定按钮321或照相机路径指定按钮322之后，用户在鸟瞰图像显示区域300内的静态2D地图上用他/她的手指、鼠标或电子笔等绘制轨迹。由此，分别指定注视点路径和照相机路径。图6B示出注视点路径和照相机路径的指定结果。在图6B中，虚线箭头601是注视点路径，以及实线箭头602是照相机路径。也就是说，所生成的虚拟视点视频图像是在虚拟照相机的注视点在由虚线箭头601表示的曲线上移动的同时、虚拟照相机自身在由实线箭头602表示的曲线上移动的情况下的虚拟视频图像。在这种情况下，注视点和虚拟照相机相对于场地201的高度分别被设置为默认值。例如，在摄像场景是如图2所示的橄榄球比赛的情况下，设置默认值，使得作为被摄体的选手整体被包括在虚拟照相机的视角内，即例如注视点的高度是1.5米并且虚拟照相机的高度是10米。在本实施例中，假设用户可以分别自由地指定虚拟照相机和注视点的高度，但是也可以将注视点的高度设置为固定值并且使用户能够仅指定虚拟照相机的高度，或者将虚拟照相机的高度设置为固定值并使用户能够仅指定注视点的高度。此外，在使用户能够任意改变默认值的情况下，用户可以根据比赛或事件的类型来设置适当的值，因此，用户的便利性得到提高。还可以固定注视点和虚拟照相机位置中的一个，使得在步骤503由用户仅指定另一个。此外，还可以采用如下配置：例如，在用户仅指定注视点路径和照相机路径中的一个的情况下，自动确定另一个。作为注视点和虚拟照相机的移动速度，设置了通过将指定移动路径的移动距离除以图4的流程中的步骤402所设置的时间帧而获得的值。
在步骤504中，生成在沿着所设置的照相机路径在时间轴方向上以规定时间间隔从虚拟照相机观看被摄体的情况下的静止图像(缩略图图像)。该步骤中的“规定时间间隔”可以与上述步骤502中的“规定时间间隔”相同，或者可以是不同的时间间隔。此外，缩略图图像用于预测所得到的虚拟视点视频图像，并且在注视点路径或照相机路径被修改等的情况下被参考，并且设置可以达到目的的程度的分辨率(相对较低的分辨率)。由此，减轻了处理负荷并且能够进行高速处理。
在步骤505中，进行用以沿着在投影了被摄体202的静态2D地图上所绘制的照相机路径布置所生成的缩略图图像的处理(缩略图布置处理)。也就是说，在步骤505中，图像处理设备100在显示画面上显示与照相机路径和注视点路径中的至少一个相对应的多个虚拟视点视频图像。稍后将描述缩略图布置处理的详情。图6C是示出缩略图布置处理的结果的示例的图，并且沿指定的照相机路径602布置五个缩略图图像603。以这种方式，在鸟瞰图像显示区域300中，显示了沿着在静态2D地图上所绘制的照相机路径以规定时间间隔并排放置多个缩略图图像的状态。然后，用户可以通过沿着照相机路径(＝时间轴)浏览缩略图图像来瞬时了解生成了何种虚拟视点视频图像。结果，在先前描述的图4的流程中的步骤404至步骤406的重复次数明显减少。
后续步骤506至508是在调整照相机路径或注视点路径的情况下的处理。在用户对从缩略图图像所估计的虚拟视点视频图像不满意并且期望进行调整的情况下，用户选择鸟瞰图像显示区域300上所显示的多个缩略图图像之一或者注视点路径上的一个位置。在本实施例的情况下，例如，通过用户用他/她的手指等触摸缩略图图像603的任意一个或者表示注视点路径的虚线箭头601的任意部分，来进行该选择。
在步骤506中，判断用户是否进行了某种选择。也就是说，在步骤506中，图像处理设备100接收针对显示在显示画面上的多个虚拟视点视频图像中的至少一个的用户操作。在用户选择了缩略图图像的情况下，处理进入步骤507，以及在选择了注视点路径上的任意部分的情况下，处理进入步骤508。另一方面，没有选择它们中任一并且按下OK按钮323，退出该处理并且转变至虚拟视点视频图像的生成处理(图4的流程中的步骤405)。
在步骤507中，根据针对所选缩略图图像的用户指示，进行用于调整虚拟照相机的移动路径、高度和移动速度的处理(照相机路径调整处理)。也就是说，在步骤507中，图像处理设备100根据针对缩略图图像(虚拟视点视频图像)的操作的接收来改变照相机路径。稍后将描述照相机路径调整处理的详情。
在步骤508中，根据针对表示注视点路径上的所选部分的标记(本实施例中为×标记)的用户指示，进行用以调整注视点的移动路径、高度和移动速度的处理(注视点路径调整处理)。稍后将描述注视点路径调整处理的详情。以上是虚拟照相机设置处理的内容。
图7是示出缩略图布置处理的详情的流程图(步骤505)。首先，在步骤701中，沿着在步骤503中所设置的照相机路径来布置通过在时间轴方向上以规定时间间隔进行采样而生成的缩略图图像。然后，在步骤702中，优化缩略图图像之间的间隔。具体地，针对作为以规定时间间隔的布置结果而使缩略图图像聚集在一起并且发生重叠的部分，进行用以间隔剔除缩略图图像的处理以消除重叠。此外，对于照相机路径的起点和终点以及照相机路径的变化大的拐点，进行用于重新生成和添加缩略图图像的处理。然后，在步骤703中，进行用于使缩略图图像的位置移动的校正处理，使得间隔被优化的各缩略图图像与所投影的被摄体(投影被摄体)不重叠。由此，确保了各投影被摄体的视觉可识别性，并且用户可以平滑地进行后续编辑作业。
图8A～图8C是说明缩略图布置处理的过程的图。图8A是步骤701的结果，并且所生成的所有缩略图图像801沿着照相机路径以规定时间间隔布置，并且结果，使得产生如下状态：几乎所有缩略图图像与其它缩略图图像重叠。图8B是步骤702的结果，并且新的缩略图图像802被添加到照相机路径的终点并且解除了缩略图图像的重叠。然而，使得产生如下状态：从t1至t3，投影被摄体和照相机路径与缩略图图像的一部分重叠。图8C是步骤703的结果，并且使得产生如下状态：移动与投影被摄体和照相机路径重叠的缩略图图像，并且确保所有投影被摄体和缩略图图像的视觉可识别性。以上是缩略图布置处理的内容。
接着以上，说明照相机路径调整处理。图9是示出照相机路径调整处理的详情的流程图。如先前所述，该处理通过用户选择用户期望改变虚拟照相机的位置和/或高度的部分的缩略图图像而开始。图10A～图10C是说明照相机路径调整处理的过程的图。如图10A所示，由用户选择的缩略图图像1001由例如粗框突出显示。此外，此时，通过在下拉列表326中预先选择“照相机”，分别在显示栏324和325中显示位于与同选择相关的缩略图图像相对应的位置处的关注帧中的虚拟照相机的高度和移动速度。当然，不仅仅是关注帧，还可以针对生成虚拟视点视频图像的整个时间帧，通过表和图等显示虚拟照相机的高度和移动速度。此外，可以设置的虚拟照相机的参数不限于高度和移动速度。例如，还可以显示照相机的视角等。从该状态起，开始照相机路径调整处理。
在步骤901中，判断是否向突出显示的与用户选择有关的缩略图图像(下文中称为“所选缩略图”)给出用户指示。在本实施例中，在检测到通过使用用户他/她自己的手指的触摸操作的情况下，判断为给出用户指示并且处理进入步骤902。
在步骤902中，根据用户指示的内容对处理进行分支。分别地，在用户指示是利用一个手指对所选缩略图的拖拽操作的情况下，处理进入步骤903，在是利用两个手指的捏分操作的情况下，处理进入步骤904，以及在是利用两个手指的滑动操作的情况下，处理进入步骤905。
在步骤903中，根据单指拖拽操作移动所选缩略图，来改变虚拟照相机的移动路径。图10B是示出根据通过拖拽操作将所选缩略图1001移动到位置1001'的结果来改变虚拟照相机的移动路径的方式的图。已知将表示诸如图10A中的实线箭头1010等的轨迹的照相机路径改变为诸如图10B中的实线箭头1020等的不同轨迹的照相机路径。通过样条曲线等对正选择的缩略图图像与相邻的缩略图图像之间的照相机路径进行插值。
在步骤904中，根据通过双指捏分操作(通过双指增大或减小间隔)对所选缩略图的尺寸的改变来改变虚拟照相机的高度。在图10C中，示出通过捏分操作增大了尺寸的所选缩略图1002。通过捏分操作，所选缩略图的尺寸增大或减小，因此，随着尺寸增大，高度减小，以及随着尺寸减小，高度增加。当然，缩略图图像的尺寸的大小与虚拟照相机的高度之间的关系可以是相反的，并且例如，随着尺寸的增加，也可以增加高度。也就是说，所需要的是所选缩略图的尺寸和该位置处的虚拟照相机的高度彼此连动。此时，通过在下拉列表326中预先选择“照相机”，在显示栏324中显示表示与尺寸变化相对应的虚拟照相机的高度的数值。通过样条插值等来修改正选择的缩略图图像与相邻的缩略图图像之间的照相机路径。
在步骤905中，根据通过双指滑动操作向所选缩略图添加预定图标来改变虚拟照相机的移动速度。图11A是示出从开始时刻起通过对第四所选缩略图的双指滑动操作来添加浓淡逐步改变的渐变图标1100的状态的图。此时，渐变图标1100的形状和移动速度彼此相关。例如，渐变图标1100的长度越大，移动速度越高，以及渐变图标的长度越短，移动速度越低，等等。如上所述，使得要添加到所选缩略图的图标的形状表示虚拟照相机在该位置处的移动速度。此外，通过在下拉列表326中预先选择“照相机”，在显示栏325中显示表示与所添加的图标的形状的变化相对应的虚拟照相机的移动速度的数值。图11B是说明各缩略图图像、虚拟照相机的移动速度和虚拟视点视频图像的再现时间之间的关系的图，并且上部表示移动速度改变之前的状态，而下部表示移动速度改变之后的状态。然后，圆圈标记表示图11A中的五个缩略图图像，并且上部的各缩略图图像与通过均等划分所设置的时间帧的再现时间而获得的各时间相对应。这里，示出选择了从开始时刻起的第四缩略图图像并且调整移动速度的示例。这里，假设通过对所选缩略图进行滑动操作来增加虚拟照相机的移动速度。在这种情况下，如图11B中的下部的粗线箭头1101所示，缩短了正选择的第四缩略图图像与作为未来缩略图图像的左侧的缩略图图像之间的再现时间。结果，相当于这两个缩略图图像之间的帧中的被摄体的运动根据再现时间而变快。此外，相应地缩短了最终完成的所有虚拟视点视频图像的再现时间。相反，在所选缩略图的移动速度降低的情况下，再现时间相应地延长。此时，相当于这两个缩略图图像之间相对应的虚拟照相机的移动速度和注视点的移动速度不同，因此，还可以通过自动修改相应注视点的移动速度而使所有虚拟视点视频图像的再现时间彼此一致。可选地，还可以在后述的步骤1205中改变注视点的移动速度之后修改虚拟照相机的移动速度和注视点的移动速度中的一个。
在步骤906中，利用如上所述改变之后的内容来更新各缩略图图像。以上是照相机路径调整处理的内容。在本实施例中，根据使用用户指示所表示的用户他/她自己的手指的触摸操作的类型来对处理进行分支，但是在电子笔或鼠标的情况下，还可以例如根据操作是否是在按下“Ctrl”键或“Shift”键的情况下的操作来对处理进行分支。
接着，说明注视点路径调整处理。图12是示出注视点路径调整处理的详情的流程图。如先前所述，该处理通过用户选择用户期望改变位置和/或高度的注视点路径上的任意部分而开始。图13A～图13D是说明注视点路径调整处理的过程的图。如图13A所示，通过例如粗线×标记1301来突出显示与用户选择有关的注视点路径上的任意部分(所选部分)。此外，此时，通过在下拉列表326中预先选择“关注点”，分别在显示栏324和325中显示在对应于所选部分的位置处的注视点的高度和移动速度。从该状态起，开始注视点路径调整处理。
在步骤1201中，判断是否向表示注视点路径上的所选部分的×标记1301给出用户指示。在本实施例中，在检测到使用用户他/她自己的手指的触摸操作的情况下，判断为给出用户指示并且处理进入步骤1202。
在步骤1202中，根据用户指示的内容对处理进行分支。分别地，在用户指示是对表示所选部分的×标记1301的单指拖拽操作的情况下，处理进入步骤1203，在是双指捏分操作的情况下，处理进入步骤1204，以及在是双指滑动操作的情况下，处理进入步骤1205。
在步骤1203中，根据通过单指拖拽操作移动×标记1301，来改变注视点的移动路径。图13B是示出根据通过拖拽操作将×标记1301移动到位置1301'的结果来改变注视点的移动路径的方式的图。已知将表示诸如图13A中的虚线箭头1300等的轨迹的注视点路径改变为诸如图13B中的虚线箭头1300'等的不同轨迹的注视点路径。通过样条曲线等对正选择的缩略图图像与相邻的缩略图图像之间的注视点路径进行插值。
在步骤1204中，根据通过双指捏分操作对×标记1301的尺寸的改变来改变注视点的高度。在图13C中，示出通过捏分操作增大了尺寸的×标记1301”。通过捏分操作，所选缩略图的尺寸增大或减小，因此，例如，随着尺寸增大，高度减小，以及随着尺寸减小，高度增大。当然，×标记的尺寸的大小与注视点的高度之间的关系可以是相反的，并且例如也可以随着尺寸的增大而增大高度。也就是说，所需要的是表示所选部分的×标记的尺寸与该位置处的注视点的高度彼此连动。此时，通过在下拉列表326中预先选择“关注点”，在显示栏324中显示表示与尺寸变化相对应的注视点的高度的数值。此时，为了防止高度变化急剧，还通过样条插值等来修改夹着所选部分的预定范围内的注视点路径的高度。
在步骤1205中，根据通过双指滑动操作将预定图标添加到×标记1301来改变注视点的移动速度。图13D是示出通过对×标记1301的双指滑动操作来添加浓淡逐步改变的渐变图标1310的状态的图。此时，渐变图标1310的形状和移动速度彼此相关。例如，渐变图标1310的长度越大，移动速度越高，以及渐变图标1310的长度越短，移动速度越慢，等等。如上所述，使得要添加到表示所选部分的标记(这里，×标记)的图标的形状表示该位置处的注视点的移动速度。此外，通过在下拉列表326中预先选择“关注点”，在显示栏325中显示表示与所添加的图标的形状的变化相对应的注视点的移动速度的数值。
在步骤1206中，利用如上所述改变后的内容来更新注视点路径。以上是注视点路径调整处理的内容。
如上所述，根据本实施例，可以简单地且在短时间内设置虚拟照相机路径，这在视觉上是易于理解的。此外，还可以在二维图像上设置虚拟照相机的高度和移动速度，而这在过去是困难的。也就是说，根据本实施例，还可以任意地设置虚拟照相机的高度和移动速度并通过简单的操作在短时间内获得虚拟视点视频图像。
[第二实施例]
第一实施例的GUI画面具有在利用静止图像的二维图像上指定虚拟照相机的移动路径等的方面。接着，说明作为在利用运动图像的二维图像上指定虚拟照相机的移动路径等的第二实施例的方面。省略与第一实施例的部分共同的部分(诸如图像处理设备100的基本结构等)的说明，并且在下文中，主要说明作为不同点的使用运动图像的二维图像的虚拟照相机的设置处理。
图14是示出根据本实施例的虚拟视点视频图像生成时所使用的GUI画面的示例的图。图14是根据本实施例的包括鸟瞰图像显示区域1400、操作按钮区域1410和虚拟照相机设置区域1420的GUI画面的基本画面。在本实施例中，在假设利用电子笔进行诸如注视点路径或照相机路径的指定等的输入操作的情况下给出说明。
鸟瞰图像显示区域1400用于用以指定虚拟照相机的移动路径和注视点的移动路径的操作和检查，并且显示用于从鸟瞰掌握摄像场景的运动图像的二维图像(下文中称为“动态2D地图”)。然后，在鸟瞰图像显示区域1400内，可以存在用于显示与对象时间帧相对应的动态2D地图的再现、停止和进行状况的进度条1401以及用于调整动态2D地图的再现速度的调整条1402。此外，还存在用于显示指定虚拟照相机的移动路径和注视点的移动路径等时的模式的模式显示栏1403。这里，该模式包括两种，即“时间同步(Time-sync)”和“笔同步(Pen-sync)”。“时间同步”是随着动态2D地图的再现的行进而输入虚拟照相机或注视点的移动路径的模式。“笔同步”模式是动态2D地图的再现与用电子笔等所输入的移动路径的长度成比例地行进的模式。
在操作按钮区域1410中，存在各自用于读取多视点视频图像数据、设置虚拟视点视频图像生成的对象时间帧以及设置虚拟照相机的按钮1411～1413。此外，在操作按钮区域1410中，存在用于检查所生成的虚拟视点视频图像的检查按钮1414，并且通过按下该按钮，转变到虚拟视点视频图像预览窗口(参见第一实施例的图3B)。由此，可以检查作为从虚拟照相机观看的视频图像的虚拟视点视频图像。
响应于按下虚拟照相机设置按钮1413，显示虚拟照相机设置区域1420。然后，在虚拟照相机设置区域1420内，存在用于指定注视点的移动路径的按钮1421、用于指定虚拟照相机的移动路径的按钮1422、用于指定在指定移动路径时的模式的按钮1423、以及用于给出用以根据所指定的移动路径开始生成虚拟视点视频图像的指示的OK按钮1424。此外，在虚拟照相机设置区域1420中，存在用于显示虚拟照相机(照相机)和注视点(关注点)的高度和移动速度的图1425以及用于切换显示对象的下拉列表1426。在图1425中，纵轴表示高度，以及横轴表示帧数，并且各点表示将所设置的时间帧按预定数量分割的情况下的各时间点(这里为t0至t5)。在这种情况下，t0对应于起始帧，并且t5对应于最终帧。假设设置了对应于25秒的对象时间帧，诸如开始时间是1:03:00、并且结束时间是1:03:25等。在多视点视频图像数据的每秒的帧数是60fps的情况下，60(fps)×25(秒)＝1500帧是此时动态2D地图中的总帧数。用户可以通过用电子笔选择图1425上的各点并在垂直方向上移动该点来改变对象时间帧内的任意时间点的虚拟照相机或注视点的高度。
图15是示出根据本实施例的生成虚拟视点视频图像的处理的粗略流程的流程图。在下文中，主要说明与第一实施例的图4中的流程的不同之处。
在步骤1501中获取到多视点视频图像数据的情况下，在后续步骤1502中，在所获取到的多视点视频图像数据中，设置虚拟视点视频图像生成的对象时间帧(开始时间和结束时间)。动态2D地图是在从鸟瞰观看与对象时间帧相对应的摄像场景的情况下的二维运动图像，因此，在设置对象时间帧之后生成动态2D地图。
在步骤1503中，生成与所设置的时间帧相对应的动态2D地图并将其保存在存储单元103中。作为具体的动态2D地图创建方法，对与多视点视频图像数据的一个任意视点相对应的视频图像数据的设置时间帧中的视频图像进行投影变换。可选地，还可以通过对与多视点视频图像数据的两个以上的任意视点相对应的视频图像数据的设置时间帧中的各视频图像进行投影变换、并且通过对所获取到的多个视频图像数据进行合成来获得动态2D地图。在这种情况下，在后者中，抑制了被摄体形状的挤压等并且获得了高图像质量，但是处理负荷相应地增加。在前者中，尽管图像质量低，但处理负荷轻，因此，能够进行高速处理。
步骤1504至步骤1506分别对应于第一实施例的图4的流程中的步骤405至步骤407。然而，如稍后将描述的，关于步骤1504中的虚拟照相机设置处理的内容，存在如下所述的许多不同点，这是因为使用的2D地图是运动图像，而不是静止图像。
以上是在本实施例中生成虚拟视点视频图像之前的粗略流程。
接着以上，说明使用上述动态2D地图的虚拟照相机设置处理。图16是示出根据本实施例的虚拟照相机设置处理的详情的流程图。该流程通过先前描述的虚拟照相机设置按钮1413的按下来进行。
在步骤1601中，从存储单元103读取设置时间帧的动态2D地图。将所读取的动态2D地图存储在主存储器102中。
在步骤1602中，在图14所示的GUI画面上的鸟瞰图像显示区域1400上显示所读取的动态2D地图的开始帧(时间点t0处的帧)。图17A是动态2D地图的开始帧的示例。在本实施例中，在通过对用户设置的时间帧按规定时间间隔(例如，5秒)进行采样而获得的部分(t0至t5)中，以重叠方式显示从当前再现的时间点到预定时间点的帧。在图17A的示例中，以重叠方式显示从t0的开始帧到t3的帧为止的帧(对应于15秒)。此时，以更透明(透明度增加)的方式显示远离当前时间点的帧中的被摄体，这与第一实施例中的相同。由此，用户可以一目了然地掌握设置时间帧内的时间的经过，并且通过进一步按照时间来限制显示范围，可浏览性得以提高。
在步骤1603中，接收在指定注视点路径或照相机路径时的模式的用户选择，并设置“时间同步”和“笔同步”之一。将设置内容显示在鸟瞰图像显示区域1400内的模式显示栏1403中。在没有用户选择的情况下，还可以使用默认设置的内容(例如，“时间同步”)而进入下一处理。
在步骤1604中，进行用以接收注视点路径的指定的处理(注视点路径指定接收处理)。在按下虚拟照相机设置区域1420内的注视点路径指定按钮1421之后，用户通过使用电子笔来在鸟瞰图像显示区域1400内的动态2D地图上绘制轨迹。由此，指定了注视点路径。图17B～图17D是按时间序列示出在图17A所示的动态2D地图上指定注视点路径的方式的图，并且虚线箭头1701是所指定的注视点路径。分别地，图17B示出在当前时间点为t0的情况下的动态2D地图的状态，图17C示出在当前时间点为t1的情况下的动态2D地图的状态，以及图17D示出在当前时间点为t2的情况下的动态2D地图的状态。例如，在图17C中，由于当前时间点是t1，因此不再显示过去时间点t0的被摄体(帧)，作为替代，显示时间点t4的被摄体(帧)。通过如上所述按照时间来限制要显示的被摄体的范围，可以提高可浏览性。在诸如设置时间帧是短时间的情况等的预定条件下，还可以在没有按时间限制范围的情况下显示设置时间帧中的所有帧。在这种情况下，还可以通过进行用以针对过去帧以透明方式等显示被摄体的处理来使用户能够掌握时间的经过。注视点路径指定接收处理的内容根据步骤1603中指定的模式而不同。稍后将描述与该模式相对应的注视点路径指定接收处理的详情。
在步骤1605中，进行用以接收照相机路径的指定的处理(照相机路径指定接收处理)。如与上述注视点路径的情况同样地，在按下虚拟照相机设置区域1420内的照相机路径指定按钮1422之后，用户通过使用电子笔在鸟瞰图像显示区域1400内的动态2D地图上绘制轨迹。由此，指定了照相机路径。图18A～图18C是按时间序列示出在注视点路径的指定完成之后的动态2D地图(参见图17D)上指定照相机路径的方式的图。在图18A～图18C中，×标记1800表示注视点在所指定的注视点路径1701上的当前位置，而实线箭头1801表示所指定的照相机路径。分别地，图18A示出在当前时间点为t0的情况下的动态2D地图的状态，图18B示出在当前时间点为t1的情况下的动态2D地图的状态，以及图18C示出在当前时间点为t2的情况下的动态2D地图的状态。例如，在图18B中，由于当前时间点是t1，因此不再显示时间点t0的被摄体(帧)，并且作为替代，显示时间点t4的被摄体(帧)。照相机路径指定接收处理的内容也根据在步骤1603中指定的模式而不同。稍后将描述与该模式相对应的照相机路径指定接收处理的详情。
在步骤1606中，判断用户是否做出某种用于调整的选择。在用户选择了动态2D地图上的注视点或照相机路径或者图1425上的点的情况下，处理进入步骤1607。另一方面，在没有进行任何选择的状态下按下OK按钮1424的情况下，退出该处理并且转变到虚拟视点视频图像的生成处理(图15的流程中的步骤1505)。
在步骤1607中，根据对所选择的注视点路径或照相机路径的输入操作，进行用以调整虚拟照相机的移动路径、高度和移动速度的处理(路径调整处理)。稍后将描述路径调整处理的详情。
接着以上，说明注视点路径指定接收处理(步骤1604)和照相机路径指定接收处理(步骤1605)。在给出各处理的详情的说明之前，参考图19A和图19B来说明根据指定照相机路径时的模式的不同之处。分别地，图19A示出“时间同步”模式的情况，以及图19B示出“笔同步”模式的情况。在图19A和图19B中，实线箭头1901和1902分别示出所指定的移动路径。在图19A所示的“时间同步”中，通过用户在动态2D地图行进五秒期间操作电子笔所绘制的轨迹是路径1901。与此相反，在图19B所示的“笔同步”中，这意味着通过用户操作电子笔所绘制的轨迹(＝路径1902)的长度对应于五秒。在图19A和图19B中，为了便于说明，省略了不同时间轴的被摄体，但是如前所述，在实际GUI画面上，还例如以透明度变化的方式显示不同时间轴的被摄体。此外，在接收照相机路径的指定时，例如，如图20A和图20B所示，还可以通过以当前位置的注视点为中心显示预定范围的内部(仅该注视点的周边)来从空间上缩小要显示的被摄体。图20A是在进行空间缩小之前的鸟瞰视图(动态2D地图中的一帧)的示例，以及图20B是在进行空间缩小之后的鸟瞰视图的示例。如上所述，可以通过使位于远离注视点的位置处的被摄体进入不可见状态来提高可浏览性。
图21A是示出在“时间同步”的情况下的注视点路径指定接收处理的详情的流程图，以及图21B是“笔同步”的情况下的注视点路径指定接收处理的详情的流程图。如前所述，该处理通过用户按下注视点路径指定按钮1421而开始。
首先，沿着图21A中的流程来说明“时间同步”的情况。在步骤2101中，接收用户利用电子笔在动态2D地图上所进行的输入操作。在步骤2102中，基于包括在图像处理设备100内的计时器(未示意性示出)，来计算从接收到利用电子笔的输入操作的时间点起的经过时间。在步骤2103中，在显示用户利用电子笔的输入操作的轨迹(在先前描述的图17C和图17D的示例中为虚线箭头)的同时，动态2D地图行进与所计算的经过时间相对应的帧数。此时，通过对于调整条1402进行调整，可以针对所计算的经过时间来调整动态2D地图行进的程度。例如，在通过调整条1402将再现速度减半的情况下，可以进行慢速再现，其中在该慢速再现中，对于所计算的电子笔输入的经过时间即五秒，运动图像行进2.5秒。如上所述在动态2D地图上显示的使用电子笔的输入操作的轨迹是注视点路径。在步骤2104中，判断是否已经对整个设置时间帧进行了注视点路径指定。在存在未处理帧的情况下，处理返回到步骤2102并重复处理。另一方面，在针对整个对象时间帧完成了注视点路径指定的情况下，退出该处理。以上是“时间同步”情况下的注视点路径指定接收处理的内容。
接着以上，沿着图21B中的流程来说明“笔同步”的情况。在步骤2111中，接收用户利用电子笔在动态2D地图上所进行的输入操作。在步骤2112中，计算从接收到利用电子笔的输入操作的时间点起电子笔的轨迹长度的累积值(累积轨迹长度)。在步骤2113中，在显示利用电子笔的输入操作的轨迹的同时，动态2D地图行进与所计算的累积轨迹长度相对应的帧数。例如，在累积轨迹长度由动态2D地图上的等效像素数表示的情况下，考虑了运动图像针对累积轨迹长度的一个像素行进一帧的示例。此外，此时，在通过调整调整条1402使再现速度减半的情况下，可以进行慢速再现，其中在该慢速再现中，对于累积轨迹长度的两个像素，运动图像行进一帧。在步骤2114中，判断是否已经对整个设置时间帧进行了注视点路径指定。在存在未处理帧的情况下，处理返回到步骤2112并重复处理。另一方面，在针对整个对象时间帧完成了注视点路径指定的情况下，退出该处理。以上是“笔同步”情况下的注视点路径指定接收处理的内容。
图22A是示出“时间同步”的情况下的照相机路径指定接收处理的详情的流程图，以及图22B是“笔同步”的情况下的照相机路径指定接收处理的详情的流程图。如前所述，该处理通过用户按下照相机路径指定按钮1422而开始。
首先，沿着图22A中的流程来说明“时间同步”的情况。在步骤2201中，在动态2D地图上显示先前描述的步骤1604中所指定的注视点路径和注视点路径上的开始点(初始注视点)。在图18A～图18C的示例中，注视点路径是虚线箭头1701，并且初始注视点是×标记1800。在步骤2202中，接收用户利用电子笔在动态2D地图上所进行的输入操作。在步骤2203中，如在先前描述的步骤2102的情况同样地，计算从接收到利用电子笔的输入操作的时间点起的经过时间。在步骤2204中，在以所接收到的利用电子笔的输入操作的轨迹不会与注视点路径混淆的方式(例如，线的类型或颜色改变等)显示该轨迹的同时，动态2D地图行进与所计算的经过时间相对应的帧数。此时，注视点的当前位置也根据时间的经过而移动。以这种方式，利用电子笔的输入操作的轨迹被显示为照相机路径。在先前描述的图18B和图18C的示例中，通过用实线箭头1801表示照相机路径，将照相机路径与由虚线箭头1701表示的注视点路径区分开。在步骤2205中，判断是否已经对整个设置时间帧进行了照相机路径指定。在存在未处理帧的情况下，处理返回到步骤2203并重复处理。另一方面，在针对整个对象时间帧完成了照相机路径指定的情况下，退出该处理。以上是“时间同步”情况下的照相机路径指定接收处理的内容。
接着以上，沿着图22B中的流程来说明“笔同步”的情况。在步骤2211，在动态2D地图上显示在先前描述的步骤1604中所指定的注视点路径和注视点路径的初始注视点。在步骤2212，接收用户利用电子笔在动态2D地图上所进行的输入操作。在步骤2213中，计算从接收到利用电子笔的输入操作的时间点起电子笔的轨迹长度的累积值(累积轨迹长度)。在步骤2214中，在以利用电子笔的输入操作的轨迹不会与注视点路径混淆的方式(例如，线的类型或颜色改变等)显示该轨迹的同时，动态2D地图行进与所计算的累积轨迹长度相对应的帧数。此时，注视点的当前位置也根据动态2D地图的行进而移动。以这种方式，利用电子笔的输入操作的轨迹被显示为照相机路径。在步骤2215中，判断是否停止了利用电子笔的输入操作。例如，在当前帧和紧挨的前一帧之间比较电子笔的位置坐标，并且在没有变化的情况下，判断为停止了利用电子笔的输入操作。在判断结果表示利用电子笔的输入操作停止的情况下，处理进入步骤2216，以及在利用电子笔的输入操作没有停止的情况下，处理进入步骤2217。在步骤2216中，判断利用电子笔的输入操作停止的状态是否持续了预定时间(例如五秒等)以上。在判断结果表示停止状态持续了预定时间以上的情况下，处理进入步骤2217，以及在停止状态未持续预定时间以上的情况下，处理返回到步骤2213，并且继续处理。在步骤2217中，在到达图15的流程中的步骤1505之前，进行直到执行利用电子笔的输入操作的时间点为止的虚拟视点视频图像的生成。此时，根据与已完成输入操作的轨迹相对应的照相机路径来进行虚拟视点视频图像的生成。原因是有效地利用了资源的未使用时间。在步骤2218中，判断是否已经对整个设置时间帧进行了照相机路径的指定。在存在未处理帧的情况下，处理返回到步骤2213并重复处理。另一方面，在针对整个对象时间帧完成了照相机路径的指定的情况下，退出该处理。以上是“笔同步”情况下的照相机路径指定接收处理的内容。
接着以上，说明根据本实施例的路径调整处理。图23是示出本实施例的路径调整处理的详情的流程图。如前所述，该处理通过用户选择动态2D地图上的注视点路径或照相机路径或者图1425上的点而开始。在选择图1425上的点时的下拉列表1426是“照相机”的情况下，路径调整处理用于照相机路径，以及在下拉列表1426是“关注点”的情况下，路径调整处理用于注视点路径。
在步骤2301，判断是否向与用户选择相关的照相机路径或注视点路径、或者图1425上的点给出了用户指示。在本实施例中，在检测到利用电子笔的输入操作的情况下，判断为给出了用户指示并且处理进入步骤2302。
在步骤2302中，根据用户指示的内容对处理进行分支。分别地，在用户指示是针对注视点路径的拖拽操作的情况下，处理进入步骤2303，在用户指示是针对照相机路径的拖拽操作的情况下，处理进入步骤2304，以及在用户指示是针对图1425上的点的拖拽操作的情况下，处理进入步骤2305。
在步骤2303中，根据利用拖拽操作移动注视点路径，来改变注视点的移动路径。这里，假设路径指定模式是“时间同步”。在这种情况下，在用户选择注视点路径上的任意中间点的条件下，在保持移动路径的起点和终点的同时，移动路径沿着移动目的地而改变。此时，进行诸如样条插值等的处理，使得改变之后的注视点路径变得平滑。另一方面，在用户选择注视点路径的起点或终点的情况下，根据移动目的地增大或减小注视点路径的长度。此时，注视点路径的长度增大的情况意味着注视点的移动速度增加，相反，长度减小的情况意味着注视点的移动速度减小。路径指定模式是“笔同步”的情况基本相同，但是无法进行诸如用以改变注视点路径的长度的调整等的调整。原因是在“笔同步”中，路径长度等于再现时间。在“笔同步”的情况下的注视点的移动速度的调整是通过用于调整动态2D地图的再现速度的调整条1402来进行的。
在步骤2304中，根据利用拖拽操作移动照相机路径，来改变虚拟照相机的移动路径。其内容与先前描述的注视点路径的路径改变的内容相同，因此省略说明。在步骤2305中，根据利用拖拽操作移动图上的点，基于移动目的地的点的位置，在选择“照相机”的情况下改变虚拟照相机的高度，并且在选择“关注点”的情况下改变注视点的高度。以上是根据本实施例的路径调整处理的内容。
根据本实施例，除了第一实施例的效果之外，还具有如下优点。首先，不需要用于虚拟照相机设置的预处理(被摄体的位置和三维形状的估计)，因此，处理负荷轻，并且可以更早开始设置照相机路径或注视点路径。此外，没有使用缩略图图像，因此，在指定虚拟照相机等的移动路径时的画面简单并且被摄体变得更容易看到。此外，根据运动图像的进度来指定虚拟照相机等的移动路径，因此容易掌握被摄体的移动并且容易估计。通过这些效果，用户界面变成更容易供用户使用的界面。
(其它实施例)
还可以通过以下处理来实现本发明：通过网络或存储介质向系统或设备提供用于实现上述实施例的一个或多个功能的程序，并且使得系统或设备的计算机中的一个或多个处理器读取并执行该程序。此外，还可以通过实现一个或多个功能的电路(例如，ASIC)来实现本发明。
如上所述，参考实施例说明了本发明，但是不用说，本发明不限于上述实施例。所附权利要求书的范围应被赋予最宽泛的解释，以包含所有这些修改、等同的结构和功能。
本申请要求2016年9月15日提交的日本专利申请2016-180527的权益，其全部内容通过引用并入本文。

Claims (11)

1.一种信息处理设备，用于设置与虚拟视点图像有关的虚拟视点的移动路径，所述虚拟视点图像是基于多个照相机获得的多个图像所生成的，所述信息处理设备包括：
指定单元，其被配置为指定虚拟视点的移动路径；
显示控制单元，其被配置为使显示画面显示表示所述指定单元指定的所述移动路径的图和与所述图所表示的移动路径上的多个虚拟视点相对应的多个虚拟视点图像；
接收单元，其被配置为接收针对所述显示画面上所显示的所述多个虚拟视点图像至少之一的操作；以及
改变单元，其被配置为根据所述接收单元接收到针对虚拟视点图像的操作来改变所述指定单元所指定的移动路径。
2.根据权利要求1所述的信息处理设备，其中，
所述显示控制单元确定所述显示画面上所要显示的虚拟视点图像的数量，使得所述多个虚拟视点图像在所述显示画面上彼此不重叠。
3.根据权利要求1所述的信息处理设备，其中，
在所述多个虚拟视点图像按所述移动路径的预定间隔显示的条件下两个以上的虚拟视点图像在所述显示画面上彼此重叠的情况下，所述显示控制单元使所述显示画面减少所述显示画面上所要显示的虚拟视点图像的数量。
4.根据权利要求1所述的信息处理设备，其中，
所述显示控制单元使所述显示画面在从所述移动路径的起点和终点至少之一起的预定范围内显示比所述移动路径上的其它部分中的虚拟视点图像更多的虚拟视点图像。
5.根据权利要求1所述的信息处理设备，其中，
所述显示控制单元使所述显示画面在从所述移动路径中的虚拟视点的变化大的点起的预定范围内显示比所述移动路径上的其它部分中的虚拟视点图像更多的虚拟视点图像。
6.根据权利要求1所述的信息处理设备，其中，
所述显示控制单元确定所述多个虚拟视点图像中的各虚拟视点图像在所述显示画面上的显示位置，使得所述多个虚拟视点图像在所述显示画面上彼此不重叠。
7.根据权利要求1所述的信息处理设备，其中，
在所述接收单元接收到所述虚拟视点图像的移动操作的情况下，所述改变单元基于利用该虚拟视点图像的移动操作的移动之后的所述虚拟视点图像的位置来改变所述图的形状。
8.根据权利要求1所述的信息处理设备，其中，
在所述接收单元接收到所述虚拟视点图像的尺寸改变操作的情况下，所述改变单元基于利用该虚拟视点图像的尺寸改变操作的改变之后的尺寸来改变所述移动路径上的虚拟视点的高度。
9.根据权利要求1所述的信息处理设备，其中，
在所述接收单元接收到针对所述虚拟视点图像的预定用户操作的情况下，所述改变单元改变所述移动路径的基于与所述预定用户操作相对应的虚拟视点图像所指定的时间段期间的虚拟视点的移动速度。
10.一种用于设置与虚拟视点图像有关的虚拟视点的移动路径的方法，所述虚拟视点图像是基于多个照相机获得的多个图像所生成的，所述方法包括以下步骤：
指定虚拟视点的移动路径；
使显示画面显示表示所指定的移动路径的图和与所述图所表示的移动路径上的多个虚拟视点相对应的多个虚拟视点图像；
接收针对所述显示画面上所显示的所述多个虚拟视点图像至少之一的操作；以及
根据接收到针对虚拟视点图像的操作来改变所指定的移动路径。
11.一种计算机可读存储介质，其存储用于使计算机进行用于设置与虚拟视点图像有关的虚拟视点的移动路径的方法的程序，所述虚拟视点图像是基于多个照相机获得的多个图像所生成的，所述方法包括以下步骤：
指定虚拟视点的移动路径；
使显示画面显示表示所指定的移动路径的图和与所述图所表示的移动路径上的多个虚拟视点相对应的多个虚拟视点图像；
接收针对所述显示画面上所显示的所述多个虚拟视点图像至少之一的操作；以及
根据接收到针对虚拟视点图像的操作来改变所指定的移动路径。
CN201780057088.2A 2016-09-15 2017-08-09 信息处理设备、方法和计算机可读存储介质 Active CN109716751B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-180527 2016-09-15
JP2016180527A JP6742869B2 (ja) 2016-09-15 2016-09-15 画像処理装置および画像処理方法
PCT/JP2017/028876 WO2018051688A1 (ja) 2016-09-15 2017-08-09 仮想視点画像の生成に関する情報処理装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
CN109716751A CN109716751A (zh) 2019-05-03
CN109716751B true CN109716751B (zh) 2021-02-26

Family

ID=61618798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780057088.2A Active CN109716751B (zh) 2016-09-15 2017-08-09 信息处理设备、方法和计算机可读存储介质

Country Status (5)

Country Link
US (1) US20190213791A1 (zh)
JP (1) JP6742869B2 (zh)
KR (1) KR102187974B1 (zh)
CN (1) CN109716751B (zh)
WO (1) WO2018051688A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7170441B2 (ja) 2018-07-12 2022-11-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7233867B2 (ja) 2018-07-20 2023-03-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2020013470A (ja) 2018-07-20 2020-01-23 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7249755B2 (ja) * 2018-10-26 2023-03-31 キヤノン株式会社 画像処理システムおよびその制御方法、プログラム
WO2020129696A1 (ja) * 2018-12-21 2020-06-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および、情報処理システム
JP7052737B2 (ja) * 2019-01-09 2022-04-12 日本電信電話株式会社 映像編集装置、その方法、およびプログラム
JP7267753B2 (ja) * 2019-01-21 2023-05-02 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP2022051978A (ja) * 2019-02-15 2022-04-04 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
JP7277184B2 (ja) * 2019-03-04 2023-05-18 キヤノン株式会社 情報処理装置、情報処理方法ならびにプログラム。
JP7459870B2 (ja) 2019-04-18 2024-04-02 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
JP7458731B2 (ja) * 2019-09-30 2024-04-01 キヤノン株式会社 画像生成システム、画像処理装置、情報処理装置、画像生成方法、及びプログラム
JP7367198B2 (ja) * 2020-04-30 2023-10-23 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2022024594A1 (zh) * 2020-07-31 2022-02-03
CN117015805A (zh) 2021-03-31 2023-11-07 富士胶片株式会社 图像处理装置、图像处理方法及程序
CN113747138A (zh) * 2021-07-30 2021-12-03 杭州群核信息技术有限公司 虚拟场景的视频生成方法和装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1798593A (zh) * 2004-03-03 2006-07-05 科乐美股份有限公司 游戏软件和游戏机
CN101978694A (zh) * 2008-03-19 2011-02-16 三洋电机株式会社 图像处理装置和方法、驾驶支持系统、车辆
CN102932657A (zh) * 2011-08-08 2013-02-13 索尼公司 图像处理装置、图像处理方法和程序
CN102959945A (zh) * 2010-06-29 2013-03-06 皇家飞利浦电子股份有限公司 根据通过图像捕捉设备的阵列获得的数据产生虚拟输出图像的方法和系统
CN103384337A (zh) * 2012-05-02 2013-11-06 索尼公司 图像处理装置和图像处理方法
CN104103068A (zh) * 2013-04-04 2014-10-15 索尼公司 用于控制虚拟摄像机的方法与设备
CN105556956A (zh) * 2013-09-19 2016-05-04 富士通天株式会社 图像生成装置、图像显示系统、图像生成方法以及图像显示方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330831B2 (en) * 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
JP4642757B2 (ja) * 2004-07-23 2011-03-02 パナソニック株式会社 画像処理装置および画像処理方法
GB2452510A (en) * 2007-09-05 2009-03-11 Sony Corp System For Communicating A Three Dimensional Representation Of A Sporting Event
JP4760892B2 (ja) * 2008-10-10 2011-08-31 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
US8964052B1 (en) * 2010-07-19 2015-02-24 Lucasfilm Entertainment Company, Ltd. Controlling a virtual camera
EP2413286A1 (en) * 2010-07-29 2012-02-01 LiberoVision AG Image processing method and device for instant replay
JP5870618B2 (ja) 2011-10-21 2016-03-01 大日本印刷株式会社 自由視点映像表示装置
JP2014215828A (ja) * 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
US10321117B2 (en) * 2014-04-11 2019-06-11 Lucasfilm Entertainment Company Ltd. Motion-controlled body capture and reconstruction
JP6607433B2 (ja) * 2014-06-23 2019-11-20 パナソニックＩｐマネジメント株式会社 映像配信方法及びサーバ
JP6336856B2 (ja) * 2014-08-26 2018-06-06 日本放送協会 多視点映像表現装置及びそのプログラム
KR20170011190A (ko) * 2015-07-21 2017-02-02 엘지전자 주식회사 이동 단말기 및 그것의 제어방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1798593A (zh) * 2004-03-03 2006-07-05 科乐美股份有限公司 游戏软件和游戏机
CN101978694A (zh) * 2008-03-19 2011-02-16 三洋电机株式会社 图像处理装置和方法、驾驶支持系统、车辆
CN102959945A (zh) * 2010-06-29 2013-03-06 皇家飞利浦电子股份有限公司 根据通过图像捕捉设备的阵列获得的数据产生虚拟输出图像的方法和系统
CN102932657A (zh) * 2011-08-08 2013-02-13 索尼公司 图像处理装置、图像处理方法和程序
CN103384337A (zh) * 2012-05-02 2013-11-06 索尼公司 图像处理装置和图像处理方法
CN104103068A (zh) * 2013-04-04 2014-10-15 索尼公司 用于控制虚拟摄像机的方法与设备
CN105556956A (zh) * 2013-09-19 2016-05-04 富士通天株式会社 图像生成装置、图像显示系统、图像生成方法以及图像显示方法

Also Published As

Publication number Publication date
KR20190039774A (ko) 2019-04-15
JP6742869B2 (ja) 2020-08-19
KR102187974B1 (ko) 2020-12-07
JP2018046448A (ja) 2018-03-22
WO2018051688A1 (ja) 2018-03-22
CN109716751A (zh) 2019-05-03
US20190213791A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
CN109716751B (zh) 信息处理设备、方法和计算机可读存储介质
EP3367666B1 (en) Image processing apparatus, image processing method, and program for inserting a virtual object in a virtual viewpoint image
US9710068B2 (en) Apparatus and method for controlling interface
JP7051457B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6849430B2 (ja) 画像処理装置、画像処理方法、及びプログラム
TWI669635B (zh) 用於顯示彈幕的方法、裝置以及非揮發性電腦可讀儲存介質
JP6407460B1 (ja) 画像処理装置、画像処理方法およびプログラム
JP4903888B2 (ja) 画像表示装置、画像表示方法、および画像補正方法
US20160077422A1 (en) Collaborative synchronized multi-device photography
US20110083106A1 (en) Image input system
EP3291549B1 (en) Display control apparatus, display control method, and program
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
CN104364712A (zh) 用于捕获全景图像的方法和装置
JP6576536B2 (ja) 情報処理装置
JP2019152980A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20200138349A (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
JP5341126B2 (ja) 検出領域拡大装置、表示装置、検出領域拡大方法、プログラムおよび、コンピュータ読取可能な記録媒体
US20180270463A1 (en) Recording medium, image generation apparatus, and image generation method
CN110720214B (zh) 显示控制设备、显示控制方法和存储介质
CN107291237A (zh) 信息处理方法及头戴式电子设备
JP5212521B2 (ja) 画像表示装置
JP5222407B2 (ja) 画像表示装置、画像表示方法、および画像補正方法
TWI502960B (zh) 二維轉三維轉換裝置及其方法
JP5281720B1 (ja) 立体映像処理装置及び立体映像処理方法
JP6842194B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant