CN110891168A - 信息处理装置、信息处理方法和存储介质 - Google Patents

信息处理装置、信息处理方法和存储介质 Download PDF

Info

Publication number
CN110891168A
CN110891168A CN201910841881.2A CN201910841881A CN110891168A CN 110891168 A CN110891168 A CN 110891168A CN 201910841881 A CN201910841881 A CN 201910841881A CN 110891168 A CN110891168 A CN 110891168A
Authority
CN
China
Prior art keywords
virtual viewpoint
image
information processing
processing apparatus
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910841881.2A
Other languages
English (en)
Inventor
新井智昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110891168A publication Critical patent/CN110891168A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供信息处理装置、信息处理方法和存储介质。信息处理装置控制与基于多个图像而生成的虚拟视点图像相对应的虚拟视点，所述多个图像是由多个摄像装置从彼此不同的方向拍摄摄像对象区域而获得的，所述信息处理装置包括：第一获取单元，其被构造为获取指示虚拟视点图像的观看位置的第一位置信息；第二获取单元，其被构造为获取指示在摄像对象区域内且包括在虚拟视点图像中的关注位置的第二位置信息；以及控制单元，其被构造为控制虚拟视点，使得虚拟视点从由获取的第一位置信息指示的观看位置靠近由获取的第二位置信息指示的关注位置。

Description

信息处理装置、信息处理方法和存储介质
技术领域
本发明涉及用于生成虚拟视点图像的技术。
背景技术
近年来，一种技术引起了关注，其通过在不同位置安装多个相机以进行同步摄像并使用通过该摄像获得的多视点图像，来生成虚拟视点图像。通过将由多个相机拍摄的图像汇总在诸如服务器的图像处理装置中，在图像处理装置中进行基于虚拟视点的诸如渲染的处理，并在用户终端上显示虚拟视点图像，来实现对基于多视点图像的虚拟视点图像的生成和浏览。在虚拟视点图像的生成中，使多个相机面向摄像对象空间内的特定位置(下文中，有时称为注视点)。
然后，在使用诸如此类的虚拟视点图像的服务中，例如，可以从各种角度观看足球、篮球等中的特定场景，因此，与传统的拍摄图像相比，可以给予用户高度的临场感。日本特开2015-225529号公报公开了如下技术：基于用户终端的位置和朝向来确定虚拟视点的位置和朝向，并且基于所确定的虚拟视点的位置和朝向来生成虚拟视点图像。
然而，在日本特开2015-225529号公报描述的技术中，为了适当地观看特定场景，在用户终端上显示分布式虚拟视点图像之后，需要通过用户操作将虚拟视点从用户终端改变(移动)到注视点附近。例如，在摄像对象是足球的进球场景的情况下，用户需要进行使虚拟视点更接近已经进球的运动员的操作。因此，在比赛实时进行等的情况下，因为对虚拟视点的操作而分散了用户的注意力，所以用户(特别是不熟悉虚拟视点操作的用户)有可能错过比赛本身。这不仅限于体育比赛，并且在诸如音乐会的其他事件中也可能发生相同的问题。
发明内容
本发明提供了一种信息处理装置，其控制与要基于多个图像而生成的虚拟视点图像相对应的虚拟视点，所述多个图像是由多个摄像装置从彼此不同的方向拍摄摄像对象区域而获得的，所述信息处理装置包括：
第一获取单元，其被构造为获取指示虚拟视点图像的观看位置的第一位置信息；
第二获取单元，其被构造为获取指示在摄像对象区域内且包括在虚拟视点图像中的关注位置的第二位置信息；以及
控制单元，其被构造为控制虚拟视点，使得虚拟视点从由获取的第一位置信息指示的观看位置靠近由获取的第二位置信息指示的关注位置。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是图像处理系统的概要图；
图2是图像处理系统的概要构造图；
图3是图像生成装置的硬件构造图；
图4是信息处理装置的功能构造图；
图5是图像生成装置的功能构造图；
图6是示出注视点数据的构造的数据结构图；
图7是示出移动路径确定单元中的处理过程的流程图；
图8是示出由移动路径确定单元确定的虚拟视点的移动路径的示意图；
图9是示出由移动路径确定单元确定的虚拟视点的移动路径的示意图；并且
图10是示出由移动路径确定单元确定的虚拟视点的移动路径的示意图。
具体实施方式
下面参照附图来说明本发明的实施例。以下实施例不限制本发明，并且实施例中说明的特征的所有组合对于本发明的解决方案并非都是必须的。另外，不偏离本发明的实质的范围中的各种方面也包括在本发明中，并且还可以适当地组合以下实施例的各部分。
(图像处理系统)
图1是图像处理系统的概要图。如图1所示，体育场12包括观众席14和实际进行比赛等的场地16，并且安装了多个相机(摄像装置)18。多个相机18被布置成使得各个相机18拍摄作为摄像对象区域的场地16的至少一部分，并且相机18的视角彼此交叠。例如，安装多个相机18以围绕观众席14和场地16。
此外，用户10从观众席14观看比赛(这里，作为比赛的一个示例为足球)。用户10具有用户终端，并且喜欢在现场观看比赛的同时，通过按需操作用户终端来回放并观看诸如射门场景、进球场景和犯规场景等事件场景的虚拟视点图像。在本实施例中，根据对用户终端的操作(具体地，在用户终端上回放的指令)，向用户终端提供适当的事件场景的虚拟视点图像。
图2是图像处理系统的概要构造图。如图2所示，图像处理系统包括安装在体育场12中的多个相机18、图像生成装置200、信息处理装置100和用户终端300。
多个相机18被布置成使得体育场12的全部或一部分由多个相机18拍摄，并且多个相机18经由传输电缆彼此连接。此外，相机18被布置成面向预设的一个或多个真实相机注视点。也就是说，通过两个或更多个相机18从不同方向拍摄多个真实相机注视点中的一个或各个。此外，各个相机18还连接到图像生成装置200并向图像生成装置200发送通过拍摄体育场12而获取的图像。
多个相机18中的各个可以是拍摄静止图像的相机、拍摄运动图像的相机、或者拍摄静止图像和运动图像两者的相机。此外，在本实施例中，除非特别指出，否则认为术语“图像”包括运动图像和静止图像两者的概念。
图像生成装置200是生成虚拟视点图像的装置。图像生成装置200存储由多个相机18拍摄的图像(下文中，有时称为拍摄图像)。图像生成装置200通过使用拍摄图像来生成虚拟视点图像组。虚拟视点图像组是基于不同虚拟视点的多个虚拟视点图像的集合。
图像生成装置200将所生成的虚拟视点图像组和注视点数据发送到信息处理装置100。注视点数据是指示在摄像对象体育场12内设置的一个或多个注视点的位置等的信息。诸如特定运动员、球和球门的物体可以是注视点。此外，足球场的角落位置、罚球的踢球位置等也可以是注视点。应当注意，由注视点数据表示的注视点是要包括在虚拟视点图像中的关注位置，并且具有与上述真实相机注视点的概念不同的概念。然而，可以将真实相机注视点管理为由注视点数据表示的注视点之一。
此外，图像生成装置200例如是服务器装置等，并且除了用于生成上述虚拟视点图像的图像处理功能之外，还具有作为存储多个拍摄图像和生成的虚拟视点图像组的数据库的功能。另外，体育场12内的多个相机18和图像生成装置200通过诸如有线或无线通信网络线路和SDI(串行数字接口)的电缆线路连接。图像生成装置200通过该线路从多个相机18接收拍摄图像，并将拍摄图像存储在数据库中。稍后将描述注视点数据的详情。
信息处理装置100从图像生成装置200中生成的虚拟视点图像组中选择要提供给用户终端300的虚拟视点图像。更详细地，信息处理装置100基于与要输出到用户终端300的虚拟视点图像有关的虚拟视点的移动路径、以及在移动路径上移动的虚拟视点的视线方向，来选择要提供给用户终端300的虚拟视点图像。移动路径是将虚拟视点向任意位置移动时的路径。
信息处理装置100从图像生成装置200所获取的注视点数据所指示的一个或多个注视点中选择一个注视点。此外，信息处理装置100从用户终端300获取用户终端信息。然后，信息处理装置100基于所选择的注视点和从用户终端300获取的用户终端信息，来确定与要生成的虚拟视点图像有关的虚拟视点的移动路径、以及在移动路径上移动的虚拟视点的视线方向。在用户终端信息中，包括例如指示操作内容的终端操作信息、指示终端位置的位置信息等。此外，在终端操作信息中，包括例如指示诸如虚拟视点的指定和虚拟视点图像的回放等操作的信息。
信息处理装置100基于与确定的虚拟视点图像有关的虚拟视点的移动路径、以及在移动路径上移动的虚拟视点的视线方向，从图像生成装置200所生成的虚拟视点图像组中选择虚拟视点图像，并将虚拟视点图像输出到用户终端300。
不限于以上内容，本发明还可以向图像生成装置200发送指示由信息处理装置100确定的注视点以及虚拟视点的指定的信息(例如，与虚拟视点的位置、虚拟视点的视线方向等有关的信息)。在这种情况下，图像生成装置200从安装在体育场12中的多个相机18拍摄的拍摄图像中，选择与信息处理装置100确定的注视点相对应的相机组的拍摄图像。之后，通过基于指示虚拟视点的指定的信息来处理所选择的拍摄图像，图像生成装置200根据虚拟视点生成虚拟视点图像，并将虚拟视点图像输出到信息处理装置100。
此外，可以如下提供虚拟视点图像。也就是说，图像生成装置200获取来自用户终端的与用户终端的位置有关的信息、以及与注视点有关的信息，并基于获取的信息确定虚拟视点的移动路径。然后，图像生成装置200基于从多个相机18获取的多个拍摄图像，生成与确定的移动路径对应的虚拟视点图像。在该示例中，虚拟视点图像组的生成不是必须的。在本实施例中，主要以信息处理装置100和图像生成装置200是分开的装置为例进行说明，但这些装置也可以集成为一个单元。此外，在本实施例中，主要以图像生成装置200从多个相机18获取拍摄图像为例进行说明，但这不是限制的，并且多个相机18也可以对拍摄图像进行生成虚拟视点图像的部分处理。在这种情况下，由图像生成装置200获取的图像数据不是拍摄图像本身，而是可以是已经处理过的图像数据。在这种情况下，可以减少图像生成装置200生成虚拟视点图像的负荷。
作为补充，信息处理装置100例如是个人计算机等。信息处理装置100可以包含在图像生成装置200中，或者可以包含在用户终端300中，反之亦然。因此，例如，图像生成装置200可以包含在信息处理装置100中(即，信息处理装置100可以具有图像生成装置200的功能)。如上所述，信息处理装置100和图像生成装置200可以是一个集成装置，或者信息处理装置100和用户终端300可以是一个集成装置。
用户终端300基于用户10的输入，接收例如移动虚拟视点的位置、改变虚拟视点的视线方向、以及切换视点的指令。在接收到来自用户10的指令时，用户终端300生成发送信号(该发送信号包括指示所接收指令的内容的虚拟视点信息)，并将该发送信号发送到信息处理装置100。此外，用户终端300请求信息处理装置100进行基于位置信息的虚拟视点的自动设置。
还可以将用户10的唯一ID与用户终端300相关联。此外，用户终端300例如可以是个人计算机或诸如智能手机和平板电脑的移动终端。另外，用户终端300具有鼠标、键盘、6轴控制器和触摸面板中的至少一个。此外，用户终端300具有通过GPS(全球定位系统)等获取位置信息的功能。
图像生成装置200、信息处理装置100和用户终端300可以经由诸如因特网的网络彼此进行信息的发送和接收。这些装置之间的通信可以是无线通信或有线通信。
(图像生成装置的硬件构造)
图3是示出图像生成装置200的硬件构造的图。信息处理装置100和用户终端300也具有与图3所示的硬件构造类似的硬件构造。如图3所示，图像生成装置200具有控制器单元500、操作单元509和显示设备510。
控制器单元500具有CPU 501、ROM 502、RAM 503、HDD 504、操作单元I/F(接口)505、显示单元I/F 506和通信单元I/F 507。此外，这些单元经由系统总线508相互连接。
CPU(中央处理单元)501通过存储在ROM(只读存储器)502中的引导程序来启动OS(操作系统)。CPU 501在启动的OS上执行存储在HDD(硬盘驱动器)504中的应用程序。CPU501通过执行应用程序来实现各种处理。HDD 504存储如上所述的应用程序等。作为CPU 501的工作区域，使用RAM(随机存取存储器)503。此外，CPU 501可以包括一个处理器或者可以包括多个处理器。
操作单元I/F 505是与操作单元509的接口。操作单元I/F 505向CPU 501发出用户在操作单元509输入的信息。操作单元509具有例如鼠标、键盘等。显示单元I/F 506将要在显示设备510上显示的图像数据输出到显示设备510。显示设备510具有诸如液晶显示器的显示器。
通信单元I/F 507例如是用于进行诸如以太网(注册商标)的通信的接口。通信单元I/F 507连接到传输电缆，并经由传输电缆从外部设备输入信息和向外部设备输出信息。通信单元I/F 507可以是用于进行无线通信的电路或天线。此外，控制器单元500还可以进行显示控制以使经由电缆或网络连接的外部显示设备(未示意性示出)显示图像。在这种情况下，控制器单元500通过将显示数据输出到外部显示设备来实现显示控制。
如上所述，使用图3来说明图像生成装置200的硬件构造，但是图3中示出的各个构造不一定是必须的构造。例如，在图像生成装置200中，显示设备510不是必须的构造。此外，在上述说明中，在假设控制器单元500具有CPU 501的情况下给出了说明，但说明不必限于此。例如，控制器单元500可具有替代CPU 501或者作为CPU 501的附加的诸如ASIC和FPGA的硬件。在这种情况下，诸如ASIC和FPGA的硬件也可以进行由CPU 501进行的处理的一部分或全部。ASIC是专用集成电路的缩写，FPGA是现场可编程门阵列的缩写。
(信息处理装置的功能构造)
图4是示出信息处理装置100的功能构造的框图。例如，通过图3中的CPU 501读取存储在ROM 502中的各种程序并进行各个单元的控制，来实现图4中示出的各功能。此外，例如还可以通过诸如ASIC和FPGA的专用硬件来实现图4中所示的部分或全部构造。
如图4所示，信息处理装置100具有控制单元101、存储单元102、分离单元103、用户信息获取单元104、注视点确定单元105、移动路径确定单元106、图像获取单元107和图像输出单元108。此外，这些单元通过内部总线109彼此连接，并且能够在控制单元101的控制下彼此进行数据的发送和接收。
控制单元101根据存储在存储单元102中的计算机程序控制整个信息处理装置100的操作。存储单元102包括非易失性存储器并存储各种数据和程序(例如，控制整个信息处理装置100的操作的计算机程序等)。
分离单元103分离并输出从图像生成装置200获取的虚拟视点图像组和注视点数据。用户信息获取单元104从用户终端300获取包括与用户10有关的位置信息的用户终端信息。与用户10有关的位置信息例如是指示虚拟视点图像的观看位置的信息。虚拟视点图像的观看位置是用于观看虚拟视点图像的终端的位置或者观看虚拟视点图像的用户的位置。用户信息获取单元104可以从用户终端300获取由用户终端300通过GPS获取的位置信息，作为与用户10有关的位置信息。此外，用户信息获取单元104还可以从用户终端300获取指示位置(诸如体育场12的观众席14的座位号)的信息，并基于所获取的信息指定用户10的位置。此外，可以基于检测用户10的处理，从安装在体育场12内的监视相机等获取的拍摄图像中获取指示用户10的位置的位置信息。
注视点确定单元105根据从图像生成装置200获取的注视点数据来确定一个注视点。注视点确定单元105选择例如已经进球的运动员、已经犯规的运动员等，并确定为注视点。此外，注视点确定单元105还可以基于从用户终端300输入的操作信息(例如，用户指定的在场地内的位置的信息、与用户从多个候选位置中选择注视点的操作对应的信息、与用户指定虚拟视点的操作对应的信息等)来确定注视点。此外，可以基于与用户有关的信息(例如，用户是期望观看整场比赛还是只观看其关注的一个队(用户是该队的粉丝)等)从多个候选位置中选择注视点。此外，可以基于用户终端中的用户的过去观看历史或操作历史来确定注视点。
移动路径确定单元106确定与要输出到用户终端300的虚拟视点图像有关的虚拟视点的移动路径、以及在移动路径上移动的虚拟视点的视线方向。在下文中，在本实施例中进行如下假设来给出说明：移动路径确定单元106将三维坐标上的位置确定为在移动路径上移动的各个虚拟视点的位置。然而，在其他实施例中，还可以假设移动路径确定单元106将二维坐标上的位置确定为在移动路径上移动的各个虚拟视点的位置。此外，在这种情况下，移动路径确定单元106还可以将与虚拟视点图像有关的虚拟视点的位置的高度确定为任意值或固定值，而不使用用户信息获取单元104获取的位置信息。
在通过用户信息获取单元104从用户终端300获取用户终端信息的情况下，移动路径确定单元106基于注视点确定单元105确定的注视点和用户终端信息中包括的位置信息，来确定虚拟视点的移动路径。此外，移动路径确定单元106确定在移动路径上移动的各个虚拟视点的视线方向，以便面向注视点确定单元105确定的注视点。
图像获取单元107获取由移动路径确定单元106确定的虚拟视点的移动路径和与在移动路径上移动的各个虚拟视点的视线方向对应的虚拟视点图像。图像获取单元107还可以具有通过基于从图像生成装置200接收的信息进行渲染来生成虚拟视点图像的功能。图像输出单元108向用户终端300输出通过图像获取单元107获取的虚拟视点图像。
(图像生成装置的功能构造)
图5是示出图像生成装置200的功能构造的框图。如图5所示，图像生成装置200具有控制单元201、信息存储单元202、拍摄图像输入单元203、图像存储单元204、虚拟视点图像生成单元205、注视点数据生成单元206、图像分析单元207和数据输出单元208。此外，这些单元通过内部总线209彼此连接，并且能够在控制单元201的控制下彼此进行数据的发送和接收。
控制单元201根据存储在信息存储单元202中的计算机程序来控制整个图像生成装置200的操作。信息存储单元202包括非易失性存储器并存储诸如程序(例如，控制整个图像生成装置200的操作的计算机程序等)和各种数据的信息。
拍摄图像输入单元203以预定帧速率获取由安装在体育场12中的多个相机18拍摄的图像，并将图像输出到图像存储单元204。拍摄图像输入单元203通过有线或无线通信模块或诸如SDI的图像发送模块，来获取拍摄图像。
图像存储单元204例如是大容量存储设备(诸如磁盘、光盘和半导体存储器)，并且存储由拍摄图像输入单元203获取的拍摄图像和基于拍摄图像生成的虚拟视点图像组。还可以在图像生成装置200的物理外部设置图像存储单元204。此外，存储在图像存储单元204中的拍摄图像和基于拍摄图像生成的虚拟视点图像组，以例如MXF(素材交换格式)格式等的图像格式进行存储。另外，存储在图像存储单元204中的拍摄图像和基于拍摄图像生成的虚拟视点图像组，以例如MPEG 2格式等进行压缩。但是，数据格式不一定限于这些格式。
虚拟视点图像生成单元205根据存储在图像存储单元204中的多个拍摄图像生成虚拟视点图像组。作为生成虚拟视点图像组的方法，要提及的是例如使用基于图像的渲染的方法等。基于图像的渲染是从多个实际视点拍摄的图像生成虚拟视点图像而不进行建模步骤(即，通过使用几何图形创建物体形状的处理)的渲染方法。
生成虚拟视点图像组的方法不限于基于图像的渲染，并且还可以使用基于模型的渲染(MBR)。这里，MBR是通过使用三维模型来生成虚拟视点图像的渲染方法，该三维模型是基于通过从多个方向拍摄物体而获取的多个拍摄图像而生成的。具体地，MBR是如下渲染方法：通过使用通过三维形状恢复方法(例如，体积交叉法和多视点立体(MVS，MULTI-VIEW-STEREO))获取的对象场景的三维形状(模型)，根据虚拟视点生成对象场景的外观作为图像。
虚拟视点图像生成单元205向所生成的虚拟视点图像组中包括的各个虚拟视点图像提供与虚拟视点图像对应的虚拟视点(虚拟视点的位置)、视线方向以及指示由注视点数据生成单元206生成的注视点的数据(注视点数据)。虚拟视点图像生成单元205向虚拟视点图像(或虚拟视点图像组)提供包括如下数据的元数据，该数据指示例如虚拟视点、视线方向和作为注视点数据的注视点。
要生成的虚拟视点图像组包括各种虚拟视点、视线方向和注视点的虚拟视点图像，并且在本实施例中，假设诸如此类的虚拟视点图像组作为一个图像流在空间方向和时间方向上被压缩编码。然而，在其他实施例中，虚拟视点图像组可以包括彼此独立的多个图像，而不是一个图像流。或者，可以不对虚拟视点图像组进行压缩编码。
此外，图像生成装置200可以生成例如指示三维模型的信息和用于生成虚拟视点图像(诸如要映射到三维模型的图像)的信息，以代替虚拟视点图像组。也就是说，虚拟视点图像生成单元205还可以生成在信息处理装置100或用户终端300中对虚拟视点图像进行渲染所需的信息，而不是生成进行渲染的虚拟视点图像。
注视点数据生成单元206通过使用图像分析单元207所获取的关于一个或多个物体的位置信息和/或关于预定固定位置的位置信息来生成注视点数据，并且将生成的注视点数据输出到虚拟视点图像生成单元205。这里，通过使用图6来补充地说明注视点数据。
图6是示出注视点数据的构造的数据结构图。如图6所示，注视点数据包括例如注视点ID、位置信息和半径。注视点数据仅需要是能够指定注视点位置的信息，并且不限于图6所示的构造(内容)。
注视点ID包括例如字母、数字等，并且是分配给每个注视点的识别编号。位置信息以度数格式指示注视点的中心坐标的纬度和经度。半径是距注视点的中心坐标的距离，并且指示在生成虚拟视点图像的情况下的有效范围。在下文中，指示由中心坐标和半径指定的有效范围的圆形区域被称为注视点单元。
在本实施例中，注视点是应当在虚拟视点图像中拍摄的点，并且通常是用户选择的点。此外，注视点可以对应于特定运动员和诸如球和球门的物体。此外，注视点还可以对应于足球场的角落、罚球的罚球点等。此外，在注视点数据中，可以包括关于上述真实相机注视点的信息。图6中的半径信息是在注视点为真实相机注视点时有效的信息。也就是说，半径信息不是必须的。
此外，在使用面向特定真实相机注视点的多个相机18的拍摄图像生成虚拟视点图像的情况下，如果在生成对象是包括在与真实相机注视点对应的注视点单元中的区域的虚拟视点图像，则可以生成具有更高图像质量的虚拟视点图像。此外，注视点数据不限于通过图像分析单元207对拍摄图像的分析而获取的数据，也可以预先登记在图像生成装置200或信息处理装置100中。
返回图5，图像分析单元207分析输入到拍摄图像输入单元203的拍摄图像，并获取关于注视点的位置信息。图像分析单元207使用诸如视觉霍尔(Visual Hull)的技术，获取与特定物体的位置或预定固定位置有关的位置信息，作为关于注视点的位置信息。特定物体是诸如特定运动员和裁判等人物、或球等。注视点也可以是场地上的预定固定位置，例如场地中心、球门前方的位置和罚球点。另外，在安装多个相机18使得相机18的光轴面向公共位置的情况下，注视点可以是公共位置。数据输出单元208以预定的帧速率将在虚拟视点图像生成单元205中生成的虚拟视点图像组输出到信息处理装置100。
(移动路径确定处理)
图7是示出移动路径确定单元106中的处理过程的流程图。更详细地说，图7是示出如下处理的过程的流程图：确定与输出到用户终端300的虚拟视点图像有关的虚拟视点的移动路径、以及在移动路径上移动的虚拟视点的视线方向。在信息处理装置100从用户终端300接收到回放虚拟视点图像的请求的情况下进行该流程图的处理。在下文中，假设在流程图的说明中符号“S”表示步骤。
在S701，移动路径确定单元106获取由注视点确定单元105确定的注视点。此外，移动路径确定单元106经由用户信息获取单元104获取用户终端信息。
在S702，移动路径确定单元106基于由注视点确定单元105确定的注视点、以及用户终端信息中包括的关于用户终端300的位置信息，确定与要输出到用户终端300的虚拟视点图像有关的虚拟视点的移动路径。这里，使用图8来补充说明虚拟视点的移动路径。
图8是示出由移动路径确定单元106确定的虚拟视点的移动路径的示意图。在图8中，符号801是注视点，例如是已经进球的运动员。此外，在图8中，移动路径确定单元106将从用户10的位置开始朝向注视点801的位置线性延伸的线确定为移动路径。控制虚拟视点以便沿着该移动路径从用户10的位置靠近注视点801。此时，使虚拟视点的视线方向面向注视点801。用户10的位置和注视点的位置由三维坐标表示，因此，移动路径确定单元106确定移动路径，该移动路径不仅包括水平和垂直方向上的路径，还包括未示意性示出的高度方向上的路径。
此外，虚拟视点的控制不限于将虚拟视点从用户10的位置朝向注视点801移动的控制。使用图9来补充说明另一示例。图9是示出由移动路径确定单元106确定的虚拟视点的移动路径的示意图。在图9中，符号901是围绕作为中心的注视点801转动的虚拟视点的起点，并且起点位于与注视点801相距预定距离处。此外，符号902是虚拟视点从起点901转动180度时的终点。在虚拟视点到达起点901的情况下，移动路径确定单元106将从用户10向注视点801线性延伸的移动路径切换为以注视点801为中心使虚拟视点转动的移动路径，并确定移动路径以便转向转动的终点902。
在图9中，使用从用户10朝向注视点801延伸的线性移动路径作为虚拟视点的移动路径来给出说明，但是虚拟视点的移动路径不必限于此，例如可以是除直线之外的线(诸如波浪线)。此外，还可以根据注视点801周围的情况来改变使虚拟视点转动的圆的半径。例如，还可以根据注视点801周围存在的运动员的密度来改变圆的半径。在这种情况下，具体地说，在注视点801周围存在的运动员的密度高的情况下，减小圆的半径以使移动路径靠近注视点801。
另外，转动虚拟视点的形状不必限于圆形，诸如椭圆形和多边形的其他形状也可以接受。此外，转动虚拟视点的方向不必限于水平方向，并且还可以使得虚拟视点能够在沿着以注视点801为中心的球体的半径的所有方向上转动。例如，在被选择作为注视点801的运动员通过倒勾进球的情况下，也可以在运动员的头部上方转动虚拟视点或者在运动员的正面转动虚拟视点。另外，转动虚拟视点的旋转角度不限于180度，并且可以将虚拟视点转动任何角度。此外，虚拟视点的移动不限于线性移动和转动移动。例如，在注视点801移动的情况下，还可以控制虚拟视点以绕注视点801的移动方向而移动。此外，还可以控制虚拟视点以三维方式移动。
回到图7，移动路径确定单元106确定在S702中确定的移动路径上移动的虚拟视点的视线方向。这里，使用图10来补充说明虚拟视点的视线方向。
图10是示出由移动路径确定单元106确定的虚拟视点的视线方向的示意图。在图10中，符号1001至符号1007是虚拟视点，并且虚拟视点在移动路径上从移动路径的起点向终点移动。移动路径确定单元106确定各个虚拟视点的视线方向，使得在移动路径上移动的虚拟视点的视线方向面向注视点801。即，使得符号1001至符号1007的所有虚拟视点的视线方向面向注视点801。
如上所述，根据本实施例，可以基于用户的位置和注视点的位置、以及在移动路径上移动的各个虚拟视点的视线方向，来确定虚拟视点的移动路径，并基于移动路径和视线方向生成虚拟视点图像。因此，仅通过进行用于观看虚拟视点图像的开始操作，用户便可以在虚拟视点从用户终端移动到注视点的情况下观看虚拟视点图像。此外，同样在用户指定作为虚拟视点的移动目的地的注视点的情况下，用户不再需要输入虚拟视点的移动开始位置，因此，可以减少用户的时间和精力。此外，用户可以将虚拟视点的移动路径切换到以注视点为中心转动视点的移动路径，因此，用户可以观看更合适的虚拟视点图像。
(其他实施例)
在上述实施例中，假设在从用户终端300接收到回放虚拟视点图像的请求的情况下进行(开始)图7所示的流程图的处理，来给出说明，但是对图7所示的流程图的处理的执行不必限于此。因此，例如，移动路径生成单元106还可以在每当经由信息处理装置100的接收单元(未示意性示出)接收到在发生诸如射门和犯规的事件的情况下的事件触发信号时，进行图7所示的流程图的处理。
在这种情况下，信息处理装置100每次基于所确定的虚拟视点的移动路径以及在移动路径上移动的虚拟视点的视线方向来生成虚拟视点图像，并且向用户终端300发送虚拟视点图像。在接收到虚拟视点图像时，用户终端300将显示切换到虚拟视点图像的回放。或者，用户终端300可以在画面上显示提示回放虚拟视点图像的通知。这样做可以使用户观看与紧接在之前发生的事件有关的虚拟视点图像而不会错过它。此外，在上述实施例中，例示了拍摄足球比赛的情况，但是摄像对象不必限于此。例如，可以将本实施例应用于对其他体育比赛(例如橄榄球、网球、滑冰和篮球)和演出(例如现场演出和音乐会)的摄像。
还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
根据上述实施例，使得与虚拟视点的改变有关的操作简单。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (20)

1.一种信息处理装置，其控制与基于多个图像而生成的虚拟视点图像相对应的虚拟视点，所述多个图像是由多个摄像装置从彼此不同的方向拍摄摄像对象区域而获得的，所述信息处理装置包括：
第一获取单元，其被构造为获取指示虚拟视点图像的观看位置的第一位置信息；
第二获取单元，其被构造为获取指示在摄像对象区域内且包括在虚拟视点图像中的关注位置的第二位置信息；以及
控制单元，其被构造为控制虚拟视点，使得虚拟视点从由获取的第一位置信息指示的观看位置靠近由获取的第二位置信息指示的关注位置。
2.根据权利要求1所述的信息处理装置，其中，
观看位置是用于观看虚拟视点图像的终端的位置。
3.根据权利要求1所述的信息处理装置，其中，
观看位置是观看虚拟视点图像的用户的位置。
4.根据权利要求3所述的信息处理装置，其中，
第一位置信息是基于从拍摄图像检测用户的处理而获取的。
5.根据权利要求3所述的信息处理装置，其中，
第一位置信息是基于GPS数据和观众席的座位号中的至少一者而获取的。
6.根据权利要求1所述的信息处理装置，其中，
关注位置是摄像对象区域内的特定物体的位置。
7.根据权利要求1所述的信息处理装置，其中，
关注位置是由用户指定的位置。
8.根据权利要求1所述的信息处理装置，其中，
关注位置是从多个候选位置中选择的位置。
9.根据权利要求1所述的信息处理装置，其中，
虚拟视点被控制为从观看位置向关注位置移动。
10.根据权利要求1所述的信息处理装置，其中，
虚拟视点被控制为在靠近距关注位置特定距离的位置之后转动和移动。
11.根据权利要求10所述的信息处理装置，其中，
根据关注位置周围的情况来确定所述特定距离。
12.根据权利要求1所述的信息处理装置，其中，
虚拟视点被控制为视线方向面向关注位置进行移动。
13.根据权利要求1所述的信息处理装置，其中，
在关注位置移动的情况下，虚拟视点被控制为绕关注位置的移动方向而移动。
14.根据权利要求1所述的信息处理装置，其中，
虚拟视点被控制为以三维方式移动。
15.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：
生成单元，其被构造为基于所述多个图像生成与所控制的虚拟视点相对应的虚拟视点图像。
16.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：
确定单元，其被构造为基于第一位置信息和第二位置信息来确定从观看位置靠近关注位置的虚拟视点的移动路径，其中，
根据所确定的移动路径来控制虚拟视点。
17.一种信息处理方法，其控制与基于多个图像而生成的虚拟视点图像相对应的虚拟视点，所述多个图像是通过多个摄像装置从彼此不同的方向拍摄摄像对象区域而获得的，所述信息处理方法包括：
获取指示虚拟视点图像的观看位置的第一位置信息；
获取指示在摄像对象区域内且包括在虚拟视点图像中的关注位置的第二位置信息；以及
控制虚拟视点，使得虚拟视点从由获取的第一位置信息指示的观看位置靠近由获取的第二位置信息指示的关注位置。
18.根据权利要求17所述的信息处理方法，其中，
观看位置是用于观看虚拟视点图像的终端的位置。
19.根据权利要求17所述的信息处理方法，其中，
观看位置是观看虚拟视点图像的用户的位置。
20.一种非暂时性计算机可读存储介质，其存储用于使计算机进行信息处理方法的程序，所述信息处理方法包括：
获取指示虚拟视点图像的观看位置的第一位置信息；
获取指示在摄像对象区域内且包括在虚拟视点图像中的关注位置的第二位置信息；以及
控制虚拟视点，使得虚拟视点从由获取的第一位置信息指示的观看位置靠近由获取的第二位置信息指示的关注位置。
CN201910841881.2A 2018-09-07 2019-09-06 信息处理装置、信息处理方法和存储介质 Pending CN110891168A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-167879 2018-09-07
JP2018167879A JP7207913B2 (ja) 2018-09-07 2018-09-07 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN110891168A true CN110891168A (zh) 2020-03-17

Family

ID=69719922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910841881.2A Pending CN110891168A (zh) 2018-09-07 2019-09-06 信息处理装置、信息处理方法和存储介质

Country Status (4)

Country Link
US (1) US11354849B2 (zh)
JP (1) JP7207913B2 (zh)
KR (1) KR102475994B1 (zh)
CN (1) CN110891168A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN116171573A (zh) * 2020-07-21 2023-05-26 索尼集团公司 信息处理设备、信息处理方法和程序

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150009A (zh) * 2011-07-28 2013-06-12 索尼公司 信息处理装置、信息处理方法和程序
US20150145891A1 (en) * 2013-11-27 2015-05-28 Google Inc. Methods and Systems for Viewing a Three-Dimensional (3D) Virtual Object
JP2015225529A (ja) * 2014-05-28 2015-12-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20160027209A1 (en) * 2014-07-25 2016-01-28 mindHIVE Inc. Real-time immersive mediated reality experiences
CN106464847A (zh) * 2014-06-20 2017-02-22 歌乐株式会社 影像合成系统和用于其的影像合成装置与影像合成方法
CN107018355A (zh) * 2015-12-14 2017-08-04 佳能株式会社 信息处理设备、信息处理方法和计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6812128B2 (ja) 2016-04-14 2021-01-13 キヤノン株式会社 情報処理装置および情報処理方法
JP6849430B2 (ja) * 2016-12-27 2021-03-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150009A (zh) * 2011-07-28 2013-06-12 索尼公司 信息处理装置、信息处理方法和程序
US20150145891A1 (en) * 2013-11-27 2015-05-28 Google Inc. Methods and Systems for Viewing a Three-Dimensional (3D) Virtual Object
JP2015225529A (ja) * 2014-05-28 2015-12-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN106464847A (zh) * 2014-06-20 2017-02-22 歌乐株式会社 影像合成系统和用于其的影像合成装置与影像合成方法
US20160027209A1 (en) * 2014-07-25 2016-01-28 mindHIVE Inc. Real-time immersive mediated reality experiences
CN107018355A (zh) * 2015-12-14 2017-08-04 佳能株式会社 信息处理设备、信息处理方法和计算机可读存储介质

Also Published As

Publication number Publication date
US20200082603A1 (en) 2020-03-12
JP2020042407A (ja) 2020-03-19
KR102475994B1 (ko) 2022-12-09
US11354849B2 (en) 2022-06-07
KR20200028837A (ko) 2020-03-17
JP7207913B2 (ja) 2023-01-18

Similar Documents

Publication Publication Date Title
US11006089B2 (en) Information processing apparatus and information processing method
US10771760B2 (en) Information processing device, control method of information processing device, and storage medium
JP6621063B2 (ja) カメラ選択方法及び映像配信システム
US10204444B2 (en) Methods and systems for creating and manipulating an individually-manipulable volumetric model of an object
US11086395B2 (en) Image processing apparatus, image processing method, and storage medium
US20170142486A1 (en) Information processing device, display device, information processing method, program, and information processing system
US20160323559A1 (en) Method for selecting cameras and image distribution system capable of appropriately selecting cameras
US11272153B2 (en) Information processing apparatus, method for controlling the same, and recording medium
KR102475994B1 (ko) 정보 처리장치, 정보 처리방법 및 기억매체
CN104904195A (zh) 增强现实的设备和方法
JP2019036288A (ja) 画像処理装置、画像処理方法およびプログラム
US20180089842A1 (en) Image processing apparatus, image processing method, and storage medium
US11468258B2 (en) Information processing apparatus, information processing method, and storage medium
US20230353717A1 (en) Image processing system, image processing method, and storage medium
JP7514346B2 (ja) 画像処理装置及び方法、プログラム
US11831853B2 (en) Information processing apparatus, information processing method, and storage medium
WO2019142658A1 (ja) 画像処理装置および方法、並びにプログラム
JP2020067716A (ja) 情報処理装置、制御方法、及びプログラム
US20200014901A1 (en) Information processing apparatus, control method therefor and computer-readable medium
KR101809613B1 (ko) 타자 시점의 투구궤적 영상을 모델링하는 방법 및 이를 운용하는 서버
US20240078687A1 (en) Information processing apparatus, information processing method, and storage medium
US11836879B2 (en) Information processing apparatus, information processing method, and storage medium for correcting a shift between three-dimensional positions
JP2022094789A (ja) 情報処理装置、情報処理方法、及び、プログラム
US20240173602A1 (en) Image processing system, control method, and storage medium
US20240104832A1 (en) Image processing system, image processing method, and storage media

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200317

RJ01 Rejection of invention patent application after publication