CN110720086A - 控制设备、控制方法和程序 - Google Patents

控制设备、控制方法和程序 Download PDF

Info

Publication number
CN110720086A
CN110720086A CN201880037599.2A CN201880037599A CN110720086A CN 110720086 A CN110720086 A CN 110720086A CN 201880037599 A CN201880037599 A CN 201880037599A CN 110720086 A CN110720086 A CN 110720086A
Authority
CN
China
Prior art keywords
coordinates
virtual viewpoint
touch operation
display surface
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880037599.2A
Other languages
English (en)
Inventor
加藤祐二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110720086A publication Critical patent/CN110720086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

视点控制单元(204)检测对用于显示虚拟视点视频的显示面的用户操作(S801)，并且根据用户操作来控制与虚拟视点视频的生成有关的虚拟视点的位置和朝向至少之一(S803、S808、S812、S814)。

Description

控制设备、控制方法和程序
技术领域
本发明涉及控制虚拟视点的方法。
背景技术
已知有从具有不同视点的多个照相机所拍摄到的多个视频来生成任意视点的视频的虚拟视点视频生成技术。作为生成虚拟视点视频的方法(绘制(render)方法)，已知有基于虚拟视点的预定移动路径来生成虚拟视点视频的方法、以及根据观看者等所指定的虚拟视点的位置和姿势等来生成虚拟视点视频的方法。
利用虚拟视点视频生成技术，观看者可以观看交互性高的视频。另一方面，对于使用触摸面板作为主要界面的诸如平板电脑和智能电话等的装置，难以按照期望操作视点。专利文献1描述了：用户选择多个视点坐标数据其中之一和多个转动起点数据其中之一，并且输入视点的转动角度和移动量以设置视点。
现有技术文献
专利文献
日本特开2015-187797
发明内容
发明要解决的问题
专利文献1中的方法使用许多操作过程来设置虚拟视点。本发明的目的是使得能够更容易地设置虚拟视点。
用于解决问题的方案
为了解决上述问题，根据本发明的控制设备具有以下结构。具体地，所述控制设备包括：检测部件，用于检测对用于显示虚拟视点视频的显示面的用户操作；以及控制部件，用于根据所述检测部件所检测到的用户操作，来控制与所述虚拟视点视频的生成有关的虚拟视点的位置和朝向至少之一。
发明的效果
根据本发明，可以更容易地设置虚拟视点。
附图说明
图1是示出控制设备100的硬件结构的框图。
图2是示出控制设备100的功能结构的框图。
图3是示出第一实施例中的、响应于用一个手指的滑动操作而如何控制虚拟视点的示例的图。
图4是示出第一实施例中的、响应于用三个手指的滑动操作而如何控制虚拟视点的示例的图。
图5是示出第一实施例中的、响应于用两个手指的滑动操作而如何控制虚拟视点的示例的图。
图6是示出第一实施例中的、响应于用两个手指的分开(pinch-out)操作而如何控制虚拟视点的示例的图。
图7是示出第一实施例的控制设备100中的处理流程的流程图。
图8是示出根据用户操作来如何控制虚拟视点的流程图。
具体实施方式
这里将参考附图来说明本发明的实施例。以下所述的实施例并不意图限制本发明，并且这些实施例中所述的特征的所有组合对于本发明的解决方案而言并非都是必需的。使用相同的附图标记来标识相同的组件以供说明。
<第一实施例>
在第一实施例中说明如下的示例：用户通过操作显示屏(触摸面板)来控制虚拟视点的位置和朝向等，以生成与虚拟视点的位置和朝向等相对应的虚拟视点视频。在本实施例中，“改变虚拟照相机的位置”和“改变虚拟视点的位置”被用于具有相同的含义。另外，“改变虚拟照相机的姿势”和“改变虚拟视点的朝向”被用于具有相同的含义。
在本实施例中，虚拟视点视频是基于由用于从不同方向拍摄视野(摄像目标区域)的图像的多个照相机拍摄到的多个视频而生成的视频，并且是根据虚拟视点(虚拟照相机)的位置和姿势等而生成的视频。本实施例的虚拟视点视频可以是通过使用特定运动图像压缩方法对各图像帧进行压缩所得到的视频数据，可以是通过使用特定静止图像压缩方法对各图像帧进行压缩所得到的视频数据，或者可以是未被压缩的视频图像。
现在将参考图1来说明本实施例中的控制设备100的示例性系统结构。参考图1，中央处理单元(CPU)101使用随机存取存储器(RAM)102作为工作存储器来执行只读存储器(ROM)103和/或硬盘驱动器(HDD)105中所存储的程序，以经由系统总线112控制以下所述的组件。这进行以下所述的各种处理。HDD接口(I/F)104是控制设备100连接至诸如HDD 105或光盘驱动器等的辅助存储器所利用的、诸如串行高级技术附件(ATA)((SATA))等的接口。CPU 101能够经由HDD接口(I/F)104从HDD 105读出数据、并且经由HDD接口(I/F)104将数据写入HDD 105中。另外，CPU 101将HDD 105中所存储的数据解压缩到RAM 102中。此外，CPU101能够将通过程序的执行所得到的RAM 102中的各种数据存储在HDD 105中。输入接口(I/F)106用于将用于输入一个或多个坐标的诸如触摸面板、键盘、鼠标、数字照相机或扫描仪等的输入装置107连接至控制设备100。输入接口(I/F)106是诸如通用串行总线(USB)或者电气和电子工程师协会(IEEE)1394等的串行总线接口。CPU 101能够经由输入I/F 106从输入装置107读取数据。输出接口(I/F)108是诸如显示器等的输出装置109连接至控制设备100所利用的、诸如数字视频接口(DVI)或高清晰度多媒体接口(HDMI)(注册商标)等的视频输出接口。CPU 101能够将与虚拟视点视频有关的数据经由输出I/F 108供给至输出装置109，以使得输出装置109显示虚拟视点视频。网络接口(I/F)110是控制设备100连接至外部服务器111所利用的诸如局域网(LAN)卡等的网卡。CPU 101能够经由网络I/F 110从外部服务器111读取数据。
在本实施例中将主要说明输入装置107是控制设备100的触摸面板的示例。换句话说，控制设备100可以是智能电话或平板终端。在这种情况下，输入装置107(触摸面板)和输出装置109(显示屏)与控制设备100一体化。另外，图1所示的所有组件并非都是必需的。例如，在重放HDD 105中所存储的虚拟视点视频时，不需要外部服务器111。相反，在生成从外部服务器111获取到的虚拟视点视频时，不需要HDD 105。此外，控制设备100可以包括多个CPU 101。此外，控制设备100可以包括不同于CPU 101的一个或多个专用硬件、或者图形处理单元(GPU)，并且CPU 101的处理的至少一部分可以由GPU或专用硬件来进行。专用硬件例如由专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)来例示。
在本实施例中将说明根据使用触摸面板的用户操作来按照用户的意图控制虚拟照相机的方法。本实施例中的用户操作应至少包括轻击操作、用一个至三个手指的滑动操作、以及捏合和分开操作。
即使初学者也能够容易地进行用一个手指的用户操作，而难以使用用一个手指的用户操作来输入复杂的信息。难以使用用三个手指的用户操作来进行细致的工作。因此，将用以控制虚拟照相机的简单处理分配给用一个手指的用户操作和用三个手指的用户操作(滑动操作)。将用以控制虚拟照相机的复杂处理分配给用两个手指的操作。
将参考图3～图6来说明具体的用户操作和虚拟照相机的行为之间的关系。图3示出虚拟照相机的位置和姿势响应于用一个手指的滑动操作而如何变化。响应于对用户操作之前的图像301的用一个手指的向左滑动操作，虚拟照相机的位置和姿势改变以显示图像302。这里，虚拟照相机的位置和姿势以在全景图像303的中心描绘的三维空间上的点304为中心从虚拟视点305变化为右侧的虚拟视点306。换句话说，在通过用户操作同时指定的显示屏(显示面)上的坐标的数量是第一数量(1个)的情况下，视点控制单元204根据坐标的移动使虚拟照相机围绕特定目标坐标转动。换句话说，在通过用户操作同时指定的显示面上的坐标的数量是第一数量(1个)的情况下，视点控制单元204根据坐标的移动来控制虚拟照相机，使得虚拟照相机在关注于特定目标坐标的同时移动。
如图3所示，在检测到用一个手指的滑动操作的情况下，虚拟照相机的移动范围被限制在圆307上并且虚拟照相机的移动方向被限制到水平方向。这使得例如在触摸操作方面不熟练的用户或者在触摸的轨迹有可能偏移的使用场景中能够进行按照用户的意图的虚拟照相机的移动。因此，可以容易地生成如子弹时间(Bullet-time)那样的无抖动的虚拟视点视频。
图4示出虚拟照相机的位置响应于用三个手指的滑动操作而如何变化。响应于对用户操作之前的图像401的用三个手指的向右滑动操作，虚拟照相机的位置改变以显示图像402。这里，如全景图像403所示，虚拟照相机的位置从虚拟视点404移动到虚拟视点405。换句话说，在通过用户操作同时指定的显示屏上的坐标的数量是第三数量(3个)的情况下，视点控制单元204根据坐标的变化来控制虚拟照相机的位置，使得虚拟照相机在三维空间中平移。
“同时指定三个坐标”不限于三个手指同时触摸显示屏的情况。例如，在保持两个手指正触摸显示屏的状态的同时第三个手指触摸显示屏的情况被判断为处于三个手指同时触摸显示屏的状态。如上所述，即使用不同的手指在不同的定时开始显示屏的触摸，也可以同时指定多个坐标。
本实施例的视点控制单元204移动虚拟照相机，使得显示屏上的手指的移动量等于根据用户操作所识别的三维点406的虚拟视点视频中的描绘位置的移动量。使手指的移动量等于三维点406的移动量，这使得用户能够更直观地控制虚拟照相机。然而，可以进行控制，使得手指的移动量不同于虚拟视点视频中的三维点406的描绘位置的移动量。另外，在用三个手指的用户操作中，作为手指的移动量，可以使用三个手指各自的移动量的平均值，可以使用中值，可以使用代表值，或者可以使用其它值。此外，在本实施例中，在进行用三个手指的滑动操作的情况下，虚拟照相机的位置改变，而虚拟照相机的姿势不改变。换句话说，在通过用户操作同时指定的显示屏上的坐标的数量是第三数量(3个)的情况下，视点控制单元204根据坐标的变化来改变虚拟照相机的位置，但不改变虚拟视点的朝向。
图5示出虚拟照相机的位置和朝向响应于用两个手指的滑动操作而如何变化。响应于对用户操作之前的图像501的用两个手指沿左下方向上的滑动操作，虚拟照相机的位置和姿势改变以显示图像502。这里，如全景图像503所示，虚拟照相机的位置和姿势围绕基于用户的手指的位置所确定的三维点504而从虚拟视点505变化为虚拟视点506。虚拟照相机的移动范围被限制到球面507。如上所述，在进行用一个手指的滑动操作的情况下，虚拟照相机的在高度方向上的位置不改变但其在水平方向上的位置改变，而在进行用两个手指的滑动操作的情况下，虚拟照相机的在高度方向和水平方向上的两个位置都改变。换句话说，在通过用户操作同时指定的显示屏上的坐标的数量是第二数量(2个)的情况下，视点控制单元204根据坐标的移动来沿第一方向和第二方向改变虚拟照相机的位置。如上所述，与进行用一个手指的滑动操作的情况相比，本实施例的控制设备100在进行用两个手指的滑动操作的情况下进行虚拟照相机的更复杂的控制处理。用两个手指的滑动操作使得能够生成从任意方向观看任意对象的虚拟视点视频。
图6示出虚拟照相机的位置响应于用两个手指的分开操作而如何变化。响应于对用户操作之前的图像601的分开操作，虚拟照相机的位置改变以显示图像602。这里，如全景图像603所示，虚拟照相机的位置从虚拟视点604移动到虚拟视点605。在进行用两个手指的捏合操作的情况下，虚拟照相机的位置从虚拟视点605移动到虚拟视点604。换句话说，在通过用户操作同时指定的显示屏上的坐标的数量是第二数量(2个)的情况下，视点控制单元204根据坐标的变化来使虚拟照相机在与虚拟照相机的视点方向相对应的方向上移动。
响应于捏合操作和分开操作，如虚线606所示，虚拟照相机的位置在前后方向上移动。由于按照与手指之间的间隔的增大相对应的量以更大的方式显示被摄体(例如，诸如选手等的对象)、并且按照与手指之间的间隔的减小相对应的量以更小的方式显示被摄体，因此能够进行直观的操作。如上所述，能够响应于用两个手指的用户操作来进行虚拟照相机的在前后方向上的移动以及转动，这实现了自由度高的对虚拟照相机的控制。代替响应于捏合操作和分开操作而改变虚拟照相机的位置，可以改变与虚拟照相机的变焦值有关的参数。
尽管在本实施例中主要说明第一数量是“1个”、第二数量是“2个”并且第三数量是“3个”的示例，但本实施例不限于此。例如，第一数量可以是“3个”，第二数量可以是“2个”，并且第三数量可以是“1个”。可选地，第一数量可以是“1个”，第二数量可以是“2个”，并且第三数量可以是“4个”。
现在将参考图2和图7来说明本实施例的控制设备100所进行的处理流程。图2是示出本实施例中的控制设备100的功能结构的框图。CPU 101读出ROM 103和/或HDD 104中所存储的程序，并且使用RAM 102作为工作区来执行这些程序，以用作图2所示的控制设备100中的各个功能块。图2中的操作单元201和显示单元206分别对应于图1中的输入装置107和输出装置109。CPU 101不必用作控制设备100中的所有功能块，并且可以设置与各个功能块相对应的专用处理电路。
图7是示出在本实施例的控制设备100中进行的处理流程的流程图。使用图7所述的各个步骤通过控制设备100中的CPU 101读出ROM 103和/或HDD 104中所存储的程序并使用RAM 102作为工作区执行这些程序来实现。
在S701中，获取数据控制单元202等待检测到对操作单元201的轻击操作。轻击操作是用手指在短时间内触摸显示屏的操作。可以将任意值设置为在轻击操作的判断中所使用的接触时间的阈值。如果在检测到轻击操作时、显示单元206中的虚拟视点视频的当前重放状态是暂停状态，则获取数据控制单元202进行向重放状态的改变。相反，如果在检测到轻击操作时、控制设备100处于虚拟视点视频的重放状态，则获取数据控制单元202进行向虚拟视点视频的暂停状态的改变。由于获取数据控制单元202以上述方式响应于对显示屏的轻击操作来改变虚拟视点视频的重放状态，因此用户能够通过直观的操作来切换重放状态。然而，S701不是必需步骤。
在S702中，视点控制单元204基于对操作单元201的用户操作的检测结果，将与虚拟照相机的位置和姿势有关的照相机参数供给至描绘单元205。以下将参考图8来详细说明S702。
在S703中，数据获取单元203从HDD 105或外部服务器111获取绘制所需的数据(多边形数据或纹理数据)，并将该数据供给至描绘单元205。数据获取单元203在正将虚拟视点视频作为运动图像进行重放的状态下，获取下一图像帧的绘制所需的数据。另一方面，如果虚拟视点视频的重放处于暂停状态，则数据获取单元203获取当前正重放的图像帧的绘制所需的数据。在暂停状态下，可以不获取数据。
在S704中，描绘单元205基于从数据获取单元203获取到的数据和从视点控制单元204获取到的照相机参数来生成虚拟视点视频，并将所生成的虚拟视点视频供给至显示单元206。显示单元206显示从描绘单元205获取到的虚拟视点视频。由于现有技术能够用于绘制，因此这里不详细说明绘制。照相机参数能够被分类为虚拟照相机的外部参数和内部参数。虚拟照相机的外部参数是表示虚拟照相机的位置和姿势的参数。虚拟照相机的内部参数是表示虚拟照相机的光学特性的参数。现在将更具体地说明外部参数和内部参数。虚拟照相机的外部参数能够用以下方式表示，其中：表示虚拟照相机的位置的矢量由t表示，并且表示转动的矩阵由R表示。
[公式1]
这里，坐标系被描述为左手坐标系。在虚拟视点处，右方向是+x方向，上方向是+y方向，并且前方向是+z方向。
虚拟照相机的内部参数K能够用以下方式表示，其中：虚拟视点视频的主点的位置由(cx,cy)表示，并且虚拟照相机的焦距由f表示。
[公式2]
Figure BDA0002303951680000092
照相机参数可以通过除矩阵以外的另一方法来表示。例如，虚拟照相机的位置可以用三维坐标表示，并且虚拟照相机的姿势可以由横摆、侧倾和俯仰的值的列表来表示。另外，外部参数和内部参数不限于上述的外部参数和内部参数。例如，可以获取表示虚拟照相机的变焦值的信息作为虚拟照相机的内部参数。如上所述，用于生成虚拟视点视频的虚拟照相机的参数存在各种变化。在本实施例的控制设备100中以上述方式进行该处理流程。
<根据用户操作的对虚拟照相机的控制>
现在将参考图8来详细说明图7的S702。在S702中，视点控制单元204获取对操作单元201的用户操作的检测结果，并且将用于虚拟视点视频的描绘的虚拟照相机的照相机参数供给至描绘单元205。
在S801中，视点控制单元204获取对操作单元201的用户操作的检测结果。用户操作的检测结果应包括在显示屏上触摸的点的数量n、所触摸的点的二维画面坐标xi(i＝1～n)和所触摸的点的代表点的二维画面坐标x'。另外，用户操作的检测结果应包括表示从先前图像帧中的代表点起的移动量的二维矢量d＝(dx,dy)和表示基于该代表点所识别的三维点的位置的三维矢量T。然而，不一定获取上述所有信息作为检测结果。例如，由于在进行用一个手指的操作的情况下、二维画面坐标xi等于代表点的二维画面坐标x'，因此可以省略这两者中的任一者。
假定在二维画面坐标系中，左上角被设置为原点，右方向是+x方向，并且下方向是+y方向。假定代表点是位于所触摸的多个点的二维画面坐标xi的重心处的坐标。然而，代表点不限于重心，并且可以是位于二维画面坐标xi的平均值处的坐标。可选地，可以随机选择多个二维画面坐标xi其中之一作为代表点，或者可以选择触摸了最长时间的点作为代表点。
假定三维点是光线与被摄体碰撞的点。该光线是从作为与虚拟照相机的位置相对应的三维坐标的起点向着虚拟照相机的摄像方向虚拟地发射的(光线投射)。该三维点在虚拟照相机的操作中被用作转动的基点或移动的基准点。另外，仅在触摸的数量相对于先前图像帧的触摸的数量变化的情况下才确定三维点，并且在触摸的数量相对于先前图像帧的触摸的数量未变化的情况下，使用在先前图像帧的处理中已确定的三维矢量T作为三维点。尽管在本实施例中说明了三维点由三维矢量T表示的示例，但三维点不一定以矢量格式表示。
在S802中，视点控制单元204响应于利用操作单元201的用户操作来判断是否要重置视点。在本实施例中，在轻击显示屏上的特定区域(例如，显示有视点重置按钮的区域)的情况下，判断为要重置视点。
在S803中，视点控制单元204重置虚拟照相机的位置和姿势等。具体地，视点控制单元204响应于在显示屏上的特定位置处检测到用户操作，将虚拟视点的位置和朝向改变为预定位置和预定朝向。然后，视点控制单元204将重置时的虚拟照相机的照相机参数供给至描绘单元205。在本实施例中，假定重置时的虚拟照相机的位置是[0 0 0]并且虚拟照相机的姿势是单位矩阵。然而，重置时的视点信息不限于上述视点信息。例如，可以使用用户预先设置的值，或者可以读出嵌入在图像数据中的推荐视点信息以供使用。
在S804中，视点控制单元204基于所触摸的点的数量n来确定控制虚拟照相机的方法。根据所触摸的手指的数量来区分用于控制虚拟照相机的方法，这使得能够实现更多种类的控制。如果所触摸的点的数量是0个，则处理进入S805，并且视点控制单元204将虚拟照相机的当前位置和姿势供给至描绘单元205。
如果所触摸的点的数量是1个(即，检测到用一个手指的操作)，则处理进入S806，并且视点控制单元204使虚拟照相机围绕用作转动中心的上述三维点转动。三维点是光线与被摄体碰撞的点。该光线是从作为与虚拟照相机的位置相对应的三维坐标(例如，虚拟照相机的中心的坐标)的起点向着虚拟照相机的摄像方向虚拟地发射的(光线投射)。换句话说，三维点是与响应于触摸而显示的虚拟视点视频的中心位置相对应的三维空间上的坐标。然而，三维点不限于该示例。以下将详细说明S806～S808。
如果所触摸的点的数量是2个(即，检测到用两个手指的操作)，则处理进入S809，并且视点控制单元204响应于用户的滑动操作而进行控制，以改变虚拟照相机的高度方向和水平方向这两者的位置。在S811中，视点控制单元204响应于捏合操作和/或分开操作而进行控制，以使虚拟照相机的位置沿前后方向移动。以下将详细说明S809～S812。
如果所触摸的点的数量是3个(即，检测到用三个手指的操作)，则处理进入S813，并且视点控制单元204响应于滑动操作而进行控制，以使虚拟照相机平移。以下将详细说明S813和S814。
在S806中，视点控制单元204确定用作虚拟照相机转动时的转动中心的三维点的坐标。视点控制单元204响应于检测到一个手指的触摸，例如使用虚拟照相机的中心作为视点来在三维空间中虚拟地发射光线，并且使用该光线与被摄体碰撞的点作为三维点。将三维点表示为三维矢量A并用作转动中心。在确定了三维点之后，在触摸状态继续时无需再次确定三维点。
在S807中，视点控制单元204获取代表点的移动量d以确定虚拟照相机的移动量。在用一个手指的用户操作的情况下，虚拟照相机的移动方向仅是围绕三维点的转动方向。另外，在用一个手指的用户操作的情况下，虚拟照相机不在垂直方向上移动，而仅在水平方向上移动。这使得虚拟照相机能够不易受到滑动操作中的手抖动的影响，从而使虚拟照相机的移动平滑。本实施例的视点控制单元204将代表点的移动量dx乘以比例系数s，以确定虚拟照相机的移动量(水平方向上的转动量θ)。通过以下的等式来表示用于根据移动量dx确定转动量θ[度]的比例s，其中：显示屏的分辨率在宽度上是w个像素，并且在进行从显示屏的一端向其另一端的滑动操作时的转动量是360度。
[公式3]
使用该比例系数，通过以下的等式来表示虚拟照相机的转动量。
[公式4]
θ＝sxdx
尽管在本实施例中主要说明基于用一个手指的用户操作的虚拟照相机的移动方向是仅水平方向的示例，但虚拟照相机的移动方向可以是仅垂直方向。可以根据用户操作的内容来确定虚拟照相机的移动方向是仅水平方向还是仅垂直方向。具体地，可以根据在检测到触摸之后的特定数量的图像帧的滑动操作的方向来确定移动方向。例如，可以将特定数量的图像帧处的滑动操作的在x方向上的移动量与在其y方向上的移动量进行比较，并且如果x方向上的移动量大于y方向上的移动量，则虚拟照相机可以仅在水平方向上移动，以及如果y方向上的移动量大于x方向上的移动量，则虚拟照相机可以仅在垂直方向上移动。另外，确定比例系数s的方法不限于上述方法。例如，用户可以指定任意值，或者可以使得用户从多个选项中选择任意选项。
在S808中，视点控制单元204根据用户的滑动操作来确定虚拟照相机的位置和姿势，并将该确定的结果供给至描绘单元205。通过以下的等式来表示在虚拟照相机的位置Rn-1和姿势tn-1在水平方向上围绕坐标A转动了θ的情况下的虚拟照相机的位置Rn和姿势tn。
[公式5]
Rn＝R(θ,0)Rn-1
tn＝R(θ,0)(tn-1-A)+A
然而，是虚拟照相机在水平方向上转动了θ且在垂直方向上转动了
Figure BDA0002303951680000133
的转动矩阵。用以计算转动了的虚拟照相机的当前位置和姿势的等式不限于上述等式。
在S809中，视点控制单元204获取代表点的移动量d，以确定虚拟照相机的移动量。在用两个手指的用户操作的情况下，不同于S807，虚拟照相机能够围绕三维点在水平方向和垂直方向这两者上转动，以实现自由度高的控制。以与S807中相同的方式计算水平方向上的转动量θ和比例s。通过以下的等式来表示垂直方向上的转动量
Figure BDA0002303951680000134
Figure BDA0002303951680000131
在S810中，视点控制单元204根据用户的滑动操作来确定虚拟照相机的位置和姿势，并将该确定的结果供给至描绘单元205。通过以下的等式表示在虚拟照相机的位置Rn-1和姿势tn-1围绕三维点T在水平方向转动了θ并且在垂直方向上转动了
Figure BDA0002303951680000143
的情况下的虚拟照相机的位置Rn和姿势t'n。
[公式6]
Figure BDA0002303951680000141
Figure BDA0002303951680000142
然而，用以计算在虚拟照相机围绕三维点T转动的情况下的虚拟照相机的位置和姿势的等式不限于上述等式。例如，使用特定系数等使得能够相对于手指的移动量而增大虚拟照相机的移动量、或者相对于手指的移动量而减小虚拟照相机的移动量。
在S811中，视点控制单元204根据用户的捏合操作和分开操作来确定虚拟照相机的在前后方向上的移动量。变化量Δd是Δd＝dn-dn-1，其中：在显示当前图像帧时的两个手指之间的距离由dn表示，并且在显示前一图像帧时的两个手指之间的距离由dn-1表示。虚拟照相机与该变化量成比例地在前后方向上移动。虚拟照相机的移动量Δz能够由Δz＝m×Δd表示，其中移动的灵敏度由m表示。换句话说，根据响应于捏合操作和分开操作的每单位时间的手指的移动量来确定虚拟照相机的移动量。确定移动量的方法不限于上述方法。例如，可以基于从虚拟照相机到三维点T的距离来确定三维空间中的移动量，以与显示屏上的手指的移动量匹配。
在S812中，视点控制单元204根据用户的捏合操作和分开操作来确定虚拟照相机的位置，并将该确定的结果供给至描绘单元205。通过以下的等式来表示在前后方向上移动了Δz的虚拟照相机的位置。
[公式7]
Figure BDA0002303951680000151
在S813中，视点控制单元204根据用户的滑动操作来确定虚拟照相机的在上下方向和左右方向上的移动量。在本实施例中，确定该移动量，使得三维点在显示屏上移动了与显示屏上的手指的移动量相等的距离。具体地，在用三个手指触摸特定对象(例如，足球运动员)的显示位置并且使这三个手指在显示屏上滑动的情况下，虚拟照相机的位置变化，以使对象的显示位置和三个手指之间的位置关系不变化。通过以下的等式来表示移动量Δx、Δy，其中从虚拟照相机到所触摸的三维点的距离由r表示。
[公式8]
Figure BDA0002303951680000152
Ax＝u×dx
Ay＝u×dy
在S814中，视点控制单元204根据用户的滑动操作来确定虚拟照相机的位置和姿势，并将该确定的结果供给至描绘单元205。通过以下的等式来表示在虚拟照相机在左右方向上移动了Δx并且在上下方向上移动了Δy的情况下的虚拟照相机的位置和姿势。
[公式9]
Rn＝Rn-1
Figure BDA0002303951680000153
手指的数量和处理的内容之间的对应关系不限于上述示例。例如，响应于用一个手指的滑动操作来控制虚拟照相机的位置和姿势的方法可被替换为响应于用三个手指的滑动操作来控制虚照相机的位置和姿势的方法。具体地，可以基于用一个手指的滑动操作来进行虚拟照相机在上下方向和左右方向上的平移，并且可以基于用三个手指的滑动操作来进行虚拟照相机围绕三维点的转动和移动。另外，手指的数量和控制方法之间的关系可以由用户任意设置。这使得能够提供与用户的技能和虚拟视点视频的显示环境等更加匹配的操作功能。尽管在本实施例中主要说明了进行在所触摸的点的数量为0个的情况下的步骤(S805)、在所触摸的点的数量为1个的情况下的步骤(S806～S808)、在所触摸的点的数量为2个的情况下的步骤(S809～S812)以及在所触摸的点的数量为3个的情况下的步骤(S813和S814)的所有步骤的示例，但本实施例不限于该示例。例如，可以仅进行在所触摸的点的数量为2个的情况下的步骤(S809～S812)和在所触摸的点的数量为3个的情况下的步骤(S813和S814)，或者可以仅进行在所触摸的点的数量为1个的情况下的步骤(S806～S808)。可以根据用户预先进行的设置来切换有效的步骤。
如上所述，本实施例的控制设备100根据对用于显示虚拟视点视频的显示面(显示屏)的用户操作来控制虚拟视点的位置和朝向至少之一。利用这种结构，用户能够比以前更容易地进行与虚拟视点有关的控制。另外，本实施例的控制设备100根据在显示面上检测到的手指的数量(用户同时指定的坐标的数量)来根据用户操作切换用于控制虚拟视点的方法。采用这种结构使得用户能够通过更直观的操作来按照用户的意图进行虚拟视点的控制。换句话说，本实施例的控制设备100具有生成更符合用户的意图的虚拟视点视频的优点。
<其它实施例>
本发明能够通过以下的处理来实现：将实现上述实施例的一个或多个功能的程序经由网络或存储介质供给至系统或设备，并且该系统或设备的计算机中的一个或多个处理器读出该程序并执行该程序。本发明能够由实现一个或多个功能的电路(例如，专用集成电路(ASIC))来实现。
本发明不限于上述实施例，并且在未背离本发明的精神和范围的情况下可利用各种改变和修改。因此，添加了所附权利要求书以宣布本发明的范围。
本申请要求2017年9月19日提交的日本专利申请2017-179581的权益，其全部内容通过引用而被包含于此。

Claims (17)

1.一种控制设备，用于控制与虚拟视点视频有关的虚拟视点的位置和朝向，所述虚拟视点视频是使用由用于从不同方向拍摄特定摄像目标区域的图像的多个照相机拍摄到的图像数据而生成的，所述控制设备包括：
检测部件，用于检测对用于显示所述虚拟视点视频的显示面的触摸操作；
确定部件，用于基于利用所述检测部件所检测到的触摸操作同时指定的坐标的数量和该坐标的变化量，来确定所述虚拟视点的位置和朝向至少之一的改变量；以及
控制部件，用于根据所述确定部件所确定的改变量来控制所述虚拟视点的位置和朝向至少之一。
2.根据权利要求1所述的控制设备，其中，
在利用所述触摸操作同时指定的所述显示面上的坐标的数量是第一数量的情况下，所述控制部件根据所述第一数量的坐标的移动来控制所述虚拟视点的位置和朝向，使得所述虚拟视点围绕特定目标坐标转动。
3.根据权利要求2所述的控制设备，其中，
所述特定目标坐标是基于在利用所述触摸操作指定所述显示面上的坐标时在所述显示面上显示的虚拟视点视频的中心位置而确定的坐标。
4.根据权利要求1所述的控制设备，其中，
在利用所述触摸操作同时指定的所述显示面上的坐标的数量是第一数量的情况下，所述控制部件根据所述第一数量的坐标的移动来控制所述虚拟视点的位置和朝向，使得在所述虚拟视点关注于特定目标坐标的同时，使所述虚拟视点的位置和朝向变化。
5.根据权利要求1至4中任一项所述的控制设备，其中，
在利用所述触摸操作同时指定的所述显示面上的坐标的数量是第一数量的情况下，所述控制部件根据所述第一数量的坐标的移动，来在第一方向上改变所述虚拟视点的位置，而在第二方向上不改变所述虚拟视点的位置，以及
在利用所述触摸操作同时指定的所述显示面上的坐标的数量是第二数量的情况下，所述控制部件根据所述第二数量的坐标的移动，来在所述第一方向和所述第二方向上改变所述虚拟视点的位置。
6.根据权利要求5所述的控制设备，其中，
所述特定目标坐标是基于利用所述触摸操作指定的所述第二数量的坐标至少之一而确定的。
7.根据权利要求1至6中任一项所述的控制设备，其中，
在利用所述触摸操作同时指定的所述显示面上的坐标的数量是第三数量的情况下，所述控制部件根据所述第三数量的坐标的变化来控制所述虚拟视点的位置，使得所述虚拟视点在三维空间中直线地移动。
8.根据权利要求1至6中任一项所述的控制设备，其中，
在利用所述触摸操作同时指定的所述显示面上的坐标的数量是第三数量的情况下，所述控制部件根据所述第三数量的坐标的变化，来改变所述虚拟视点的位置而不改变所述虚拟视点的朝向。
9.根据权利要求1至8中任一项所述的控制设备，其中，
在利用所述触摸操作同时指定的所述显示面上的坐标的数量是第二数量的情况下，所述控制部件根据所述第二数量的坐标的变化，使所述虚拟视点在与指定所述第二数量的坐标之前的所述虚拟视点的朝向相对应的方向上移动。
10.根据权利要求1至9中任一项所述的控制设备，其中，
在所述显示面上的虚拟视点视频的重放处于暂停状态时、所述检测部件检测到对所述显示面的特定触摸操作的情况下，所述控制部件将所述暂停状态改变为重放状态。
11.根据权利要求1至10中任一项所述的控制设备，其中，
响应于检测到所述显示面上的特定位置处的触摸操作，所述控制部件将所述虚拟视点的位置和朝向改变为预定位置和预定朝向。
12.根据权利要求1至11中任一项所述的控制设备，其中，
在所述特定摄像目标区域中存在一个或多个对象。
13.根据权利要求12所述的控制设备，其中，
所述对象至少之一是运动员。
14.一种控制方法，用于控制与虚拟视点视频有关的虚拟视点的位置和朝向，所述虚拟视点视频是使用由用于从不同方向拍摄特定摄像目标区域的图像的多个照相机拍摄到的图像数据而生成的，所述控制方法包括：
检测对用于显示所述虚拟视点视频的显示面的触摸操作；
基于利用所检测到的触摸操作同时指定的坐标的数量和该坐标的变化量，来确定所述虚拟视点的位置和朝向至少之一的改变量；以及
根据所确定的改变量来控制所述虚拟视点的位置和朝向至少之一。
15.根据权利要求14所述的控制方法，其中，
在利用所述触摸操作同时指定的所述显示面上的坐标的数量是第一数量的情况下，根据所述第一数量的坐标的移动来进行控制，使得所述虚拟视点围绕特定目标坐标转动。
16.根据权利要求14或15所述的控制方法，其中，
在利用所述触摸操作同时指定的所述显示面上的坐标的数量是第一数量的情况下，根据所述第一数量的坐标的移动，来在第一方向上改变所述虚拟视点的位置，而在第二方向上不改变所述虚拟视点的位置，以及
在利用所述触摸操作同时指定的所述显示面上的坐标的数量是第二数量的情况下，根据所述第二数量的坐标的移动，来在所述第一方向和所述第二方向上改变所述虚拟视点的位置。
17.一种程序，用于使得计算机作为根据权利要求1至13中任一项所述的控制设备中的各个部件而进行工作。
CN201880037599.2A 2017-09-19 2018-09-10 控制设备、控制方法和程序 Pending CN110720086A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-179581 2017-09-19
JP2017179581A JP6419278B1 (ja) 2017-09-19 2017-09-19 制御装置、制御方法、及びプログラム
PCT/JP2018/033398 WO2019059020A1 (ja) 2017-09-19 2018-09-10 制御装置、制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN110720086A true CN110720086A (zh) 2020-01-21

Family

ID=64098693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880037599.2A Pending CN110720086A (zh) 2017-09-19 2018-09-10 控制设备、控制方法和程序

Country Status (10)

Country Link
US (2) US11003350B2 (zh)
EP (1) EP3605295A4 (zh)
JP (1) JP6419278B1 (zh)
KR (2) KR20200002025A (zh)
CN (1) CN110720086A (zh)
AU (1) AU2018336341B2 (zh)
BR (1) BR112019019526A2 (zh)
CA (1) CA3072999C (zh)
RU (1) RU2720356C1 (zh)
WO (1) WO2019059020A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
WO2018067130A1 (en) * 2016-10-04 2018-04-12 Hewlett-Packard Development Company, L.P. Three-dimensional input device
JP6419278B1 (ja) 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP7174397B2 (ja) * 2018-06-18 2022-11-17 チームラボ株式会社 映像表示システム，映像表示方法，及びコンピュータプログラム
CN111669518A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角交互方法及装置、介质、终端、设备
CN111669569A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 一种视频生成方法及装置、介质、终端
WO2020262392A1 (ja) 2019-06-28 2020-12-30 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
EP4075392A4 (en) * 2019-12-10 2023-02-22 Sony Group Corporation INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND PROGRAM
US20230162378A1 (en) * 2020-05-21 2023-05-25 Intel Corporation Virtual Camera Friendly Optical Tracking
EP4300950A4 (en) * 2021-02-25 2024-07-24 Sony Group Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM AND DISPLAY DEVICE
KR102435789B1 (ko) * 2021-12-16 2022-08-24 주식회사 카펜스트리트 3차원 객체 영상을 처리하기 위한 기법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1497504A (zh) * 2002-09-30 2004-05-19 佳能株式会社 视频图像合成设备及视频图像合成方法
US20140009415A1 (en) * 2012-07-04 2014-01-09 Canon Kabushiki Kaisha Display device and control method therefor
CN103634584A (zh) * 2012-08-29 2014-03-12 广州市朗辰电子科技有限公司 一种多视点3d视频合成方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59124800A (ja) 1982-12-30 1984-07-18 アルプス電気株式会社 ステイツクマガジン供給装置
US9529440B2 (en) * 1999-01-25 2016-12-27 Apple Inc. Disambiguation of multitouch gesture recognition for 3D interaction
JP2004005272A (ja) * 2002-05-31 2004-01-08 Cad Center:Kk 仮想空間移動制御装置及び制御方法並びに制御プログラム
RU2406150C2 (ru) * 2005-09-15 2010-12-10 Олег Станиславович Рурин Способ и система для визуализации виртуальных трехмерных объектов
JP4640456B2 (ja) * 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
CA2734987A1 (en) * 2008-08-22 2010-02-25 Google Inc. Navigation in a three dimensional environment on a mobile device
KR101531363B1 (ko) * 2008-12-10 2015-07-06 삼성전자주식회사 이차원 인터랙티브 디스플레이에서 가상 객체 또는 시점을 제어하는 방법
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
JP6074894B2 (ja) 2012-02-24 2017-02-08 株式会社ニコン 情報表示装置
US9311750B2 (en) * 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US9367959B2 (en) * 2012-06-05 2016-06-14 Apple Inc. Mapping application with 3D presentation
US20150040073A1 (en) * 2012-09-24 2015-02-05 Google Inc. Zoom, Rotate, and Translate or Pan In A Single Gesture
JP5892060B2 (ja) * 2012-12-25 2016-03-23 カシオ計算機株式会社 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP2014215828A (ja) * 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
JP2014238731A (ja) * 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
JP6347934B2 (ja) * 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
US20160140733A1 (en) 2014-11-13 2016-05-19 Futurewei Technologies, Inc. Method and systems for multi-view high-speed motion capture
JP2016096449A (ja) * 2014-11-14 2016-05-26 富士通テン株式会社 画像表示装置、明るさ変更方法、及び、プログラム
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
EP3333808B1 (en) * 2015-08-06 2021-10-27 Sony Interactive Entertainment Inc. Information processing device
KR20170079198A (ko) 2015-12-30 2017-07-10 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
JP6074525B1 (ja) * 2016-02-12 2017-02-01 株式会社コロプラ 仮想空間における視界領域調整方法、およびプログラム
US10824320B2 (en) * 2016-03-07 2020-11-03 Facebook, Inc. Systems and methods for presenting content
JP2017179581A (ja) 2016-03-24 2017-10-05 Ntn株式会社 焼結拡散接合部品およびその製造方法
JP6419278B1 (ja) 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1497504A (zh) * 2002-09-30 2004-05-19 佳能株式会社 视频图像合成设备及视频图像合成方法
US20140009415A1 (en) * 2012-07-04 2014-01-09 Canon Kabushiki Kaisha Display device and control method therefor
CN103634584A (zh) * 2012-08-29 2014-03-12 广州市朗辰电子科技有限公司 一种多视点3d视频合成方法

Also Published As

Publication number Publication date
JP2019056978A (ja) 2019-04-11
RU2720356C1 (ru) 2020-04-29
CA3072999C (en) 2021-08-31
CA3072999A1 (en) 2019-03-28
KR20200002025A (ko) 2020-01-07
JP6419278B1 (ja) 2018-11-07
BR112019019526A2 (pt) 2020-04-22
EP3605295A4 (en) 2020-05-13
KR20210006005A (ko) 2021-01-15
US11586349B2 (en) 2023-02-21
US11003350B2 (en) 2021-05-11
US20210232307A1 (en) 2021-07-29
WO2019059020A1 (ja) 2019-03-28
AU2018336341A1 (en) 2019-10-10
AU2018336341B2 (en) 2020-05-07
US20200012421A1 (en) 2020-01-09
EP3605295A1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
US11586349B2 (en) Control apparatus, control method, and storage medium
JP6632681B2 (ja) 制御装置、制御方法、及びプログラム
JP7267753B2 (ja) 制御装置、制御方法、及びプログラム
US20210390721A1 (en) Display control apparatus, display control method, and storage medium
US11477432B2 (en) Information processing apparatus, information processing method and storage medium
JP7005161B2 (ja) 電子機器及びその制御方法
CN108027936B (zh) 用于在视频内容内呈现交互式元素的方法、系统和介质
US10979700B2 (en) Display control apparatus and control method
TWI499938B (zh) 觸控系統
US9843714B2 (en) Control apparatus, imaging system, control method, and storage medium
JP7005160B2 (ja) 電子機器及びその制御方法
JP7434385B2 (ja) 制御装置、制御方法、及びプログラム
US11036287B2 (en) Electronic device, control method for electronic device, and non-transitory computer readable medium
JP7118383B1 (ja) 表示システム、表示方法、及び表示プログラム
US20230269356A1 (en) Video processing apparatus and control method of the same, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200121