CN109816766B - 图像处理装置、图像处理方法及存储介质 - Google Patents

图像处理装置、图像处理方法及存储介质 Download PDF

Info

Publication number
CN109816766B
CN109816766B CN201811382847.5A CN201811382847A CN109816766B CN 109816766 B CN109816766 B CN 109816766B CN 201811382847 A CN201811382847 A CN 201811382847A CN 109816766 B CN109816766 B CN 109816766B
Authority
CN
China
Prior art keywords
image
interest
virtual viewpoint
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811382847.5A
Other languages
English (en)
Other versions
CN109816766A (zh
Inventor
樋口州吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109816766A publication Critical patent/CN109816766A/zh
Application granted granted Critical
Publication of CN109816766B publication Critical patent/CN109816766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理装置、图像处理方法及存储介质。图像处理装置包括：图像获得单元，其被构造为获得基于在多个方向上捕获摄像区域的多个相机进行图像捕获的图像；信息获得单元，其被构造为获得指示虚拟视点的视点信息；以及生成单元，其被构造为基于由图像获得单元获得的图像和由信息获得单元获得的视点信息生成虚拟视点图像，使得在虚拟视点图像中，将位于摄像区域中的多个对象当中确定的关注对象遮蔽的位置处的对象的透明度，高于未遮蔽该关注对象的位置处的对象的透明度。

Description

图像处理装置、图像处理方法及存储介质
技术领域
本发明涉及一种基于从多个视点位置拍摄的多视点图像来从虚拟视点生成图像的技术。
背景技术
使用由多个真实相机拍摄的图像来再现来自虚拟地配置在三维空间中但实际上不存在的相机(虚拟相机)的图像的技术包括虚拟视点图像技术(日本特开2010-20487号公报)。
当生成虚拟视点图像时，在设置的虚拟视点位置的特定位置或在特定视线方向上，在某些情况下无法获得满足用户的高质量虚拟视点图像。这种无能力通常由生成虚拟视点图像的算法和多视点图像的特征引起。鉴于这一点，已知一种技术，该技术清楚地向用户示出无法预设虚拟视点的区域和视线无法指向的方向，因此限制了虚拟视点的设置范围(日本特开2007-195091号公报)。
如果像上述日本特开2007-195091号公报中那样限制虚拟视点的设置范围，则有时获得的虚拟视点图像的表现能力变得不足。关于虚拟视点图像的生成，存在这样的情况：即使以图像质量为代价，也将虚拟视点设置在特定位置以提高表现能力，并且在用户想要(intended by a user)的视线方向上密切关注特定对象。例如，当生成足球得分场景的虚拟视点图像时，即使在射门选手A被其他选手B和C阻挡的角度，有时也希望以该角度集中于选手A的虚拟视点图像。
发明内容
鉴于如上所述的这种情况，提供了一种本发明，其涉及一种图像处理装置，其包括：图像获得单元，其被构造为获得基于在多个方向上捕获摄像区域的多个相机进行图像捕获的图像；信息获得单元，其被构造为获得指示虚拟视点的视点信息；以及生成单元，其被构造为基于由图像获得单元获得的图像和由信息获得单元获得的视点信息生成虚拟视点图像，使得在虚拟视点图像中，将位于摄像区域中的多个对象当中确定的关注对象遮蔽的位置处的对象的透明度，高于未遮蔽该关注对象的位置处的对象的透明度。
参照附图，根据示例性实施例的以下描述，本发明的其他特征将变得清楚。
附图说明
图1例示了图像处理系统的摄像环境和构造。
图2例示了图像处理装置的硬件构造的示例。
图3是根据本实施例的图像处理装置的功能框图。
图4是例示虚拟视点图像生成处理的整个流程的流程图。
图5A例示了对象形状表的示例。图5B例示了分类处理之后的对象形状表的示例。图5C例示了包括另外设置的关注标志的对象形状表的示例。
图6例示了关注对象(object-of-interest)设置画面的示例。
图7A和图7B各自例示虚拟视点图像的示例。
图8是例示渲染处理的详情的流程图。
图9是例示渲染单元的内部构造的框图。
图10例示了遮蔽对象显示设置画面的示例。
图11A、图11B和图11C例示了各显示模式中的遮蔽对象的绘制示例。
图12例示了指示遮蔽对象存在的范围的UI画面的示例。
具体实施方式
在下文中，现在将根据附图详细描述本发明的优选实施例。以下实施例中呈现的构造仅是示例。本发明不限于所示的构造。
图1例示了本实施例中的摄像环境和图像处理系统的构造。在图1所示的图像处理系统中，作为摄像区域的足球场105上的选手102和103以及球104由配置为围绕场地105的十个相机101摄像。由各相机101拍摄的图像数据被作为相互具有视差的多视点图像数据发送到图像处理装置200，并且经受预定的图像处理以生成虚拟视点图像。使用运动场景的示例来描述本实施例。可选地，稍后描述的方法可广泛应用于，根据由配置成围绕充当被摄体的对象的相机所拍摄的多视点图像，生成虚拟视点图像的情况。尽管图1中的相机数量是10，但数量没有特别限制。然而，在理想(desirable)的情况下，在四个边中的各个边处可以存在至少多个相机。
图像处理装置200具有类似于以个人计算机为代表的通用信息处理装置的构造。图2例示了图像处理装置200的硬件构造的示例。图像处理装置200包括CPU 201，RAM 202，ROM 203，HDD 204，输入I/F 205和输出I/F 206。构成图像处理装置200的系统通过系统总线207相互连接。图像处理装置200经由输入I/F 205连接到相机101、操作单元210和外部存储器211。该装置还经由输出I/F 206连接到外部存储器211和显示装置212。CPU 201使用RAM 202作为工作存储器执行存储在ROM 203中的程序，并且经由系统总线207整体控制构成图像处理装置200的元件。因此，可以实现后面描述的各种处理。HDD 204是存储要由图像处理装置200处理的各种数据的大容量存储装置，并且可以是例如SSD。假设HDD 204存储包括各个相机101的安装位置和姿势(视线方向)以及各个相机101中包括的镜头的焦距的信息(下文中，这些信息统称为“相机参数”)。HDD 204还用于存储关于多视点图像和在没有任何对象的情况下的图像(背景图像)的数据。CPU 201可以将数据写入HDD 204并经由系统总线207读取存储在HDD 204中的数据。输入I/F 205是串行总线I/F，例如USB或IEEE 1394。数据和指令经由输入I/F 205从外部装置输入到图像处理装置200。图像处理装置200经由输入I/F 205从外部存储器208(例如，任何存储介质，诸如硬盘，存储卡，CF卡，SD卡和USB存储器等)获得数据。图像处理装置200使用操作单元210获得经由输入I/F 205输入的用户指令。操作单元210是诸如鼠标和键盘等的输入装置，并且用于将用户的指令输入到图像处理装置200中。输出I/F 206以类似于输入I/F 205的方式包括串行总线I/F，诸如USB或IEEE1394等。此外，例如，也可以采用诸如DVI和HDMI等的视频输出端子。数据经由输出I/F 206从图像处理装置200输出到外部装置。图像处理装置200经由输出I/F 206在诸如液晶显示器等的显示装置212上显示GUI(图形用户界面)画面和所生成的虚拟视点图像数据。还存在除了上述那些元件之外的图像处理装置200的其他构造元件。然而，这些元件不是本发明的主要点。他们的描述被省略。
随后，描述要由图像处理装置200进行的一系列图像处理。图3是根据本实施例的图像处理装置200的功能框图。本实施例中的图像处理装置200包括图像数据获得单元301，相机参数获得单元302，形状数据生成单元303，对象分类单元304，关注对象设置单元305，虚拟相机设置单元306和渲染单元307。这些元件通过图像处理装置200的CPU 201执行预定的应用程序来实现。注意，图3中所示的构造的一部分可以通过硬件实现。尽管稍后描述了元件的详情，但是以易于理解的方式如下描述本实施例的特征。
例如，使用日本特开2010-20487号公报中公开的方法从而从由具有已知位置和视线方向的多个相机101拍摄的多视点图像中获得关于摄像场景中的诸如人和球等的对象的三维形状的形状信息。可以定义三维空间中的对象的形状。因此，可以通过计算获得与各相机101拍摄的图像对应的深度图像。深度图像是表示相机的视点与对象的表面上的点之间的距离的一组像素。根据相同的原因，还可以生成从没有相机101的任何视点(虚拟视点)的视线方向上的深度图像。可以从实际拍摄图像中的对应位置处的像素值获得深度图像中的像素的颜色。通常，为了确定深度图像上的任何位置P处的颜色，使用从接近其中包括深度图像的位置P的虚拟视点的视点拍摄的图像中的像素值来计算颜色。具体地，输出的虚拟视点图像中的关注像素的像素值Q(x，y)可以通过以下式(1)获得。
在上述式(1)中，角度θ1是第一输入视点与虚拟视点之间的角度，角度θ2是第二输入视点与虚拟视点之间的角度。像素值P1(x1，y1)是第一输入视点中的对应像素(x1，y1)，并且像素值P2(x2，y2)是第二输入视点中的对应像素(x2，y2)。W1(x1，y1)表示第一输入视点的权重像素图中的对应像素(x1，y1)的权重。W2(x2，y2)表示第二输入视点的对应像素(x2，y2)的权重。权重W由以下式(2)表示。
通过重复上述计算处理，可以获得表示构成虚拟视点图像的各个像素的颜色的像素值。这里，描述了使用从靠近虚拟视点的两个视点拍摄的图像的情况。可选地，可以使用从三个或更多个视点拍摄的图像。
本实施例对虚拟视点的位置或视线方向没有限制。然而，例如，在生成包括关注对象(例如，选手A)的虚拟视点图像的情况下，其他对象(例如，选手B)可以介入虚拟视点与选手A之间，并且重要选手A被选手B遮蔽。传统上，在这种情况下，用户必须将虚拟视点改变到选手B不成为阻挡物的位置。也就是说，用户应该拒绝从原始想要的角度的虚拟视点图像。在本实施例中，可以以用户想要的角度生成使得整个关注对象能够被观看(不被其他对象阻挡)的虚拟视点图像。在下文中，适当地参照流程图，描述根据本实施例的生成虚拟视点图像的方法。
图4是例示根据本实施例的虚拟视点图像生成处理的整个流程的流程图。当用户经由例如未例示的GUI选择特定对象优先模式时，根据相应的程序执行该生成处理。注意，默认情况下可以选择特定对象优先模式。下面根据图4的流程进行描述。
在S401中，图像数据获得单元301获得由相机101在任何摄像场景上拍摄的多视点图像数据，以及在相同摄像场景上拍摄的背景图像数据。在图1所示的图像处理系统的情况下，从相机101接收(或从HDD 204读取)从十个不同的视点拍摄场地105上的足球场景的拍摄图像数据以及与各拍摄图像数据相对应的背景图像数据。这里，背景图像是不捕获诸如选手和球等的主要对象的图像。例如，作为摄像场景是足球的摄像场景的情况下的背景图像，可以使用在比赛之前或之后拍摄的图像或者在不存在选手(即主要对象)的中场时间拍摄的图像。应当注意，例如，由于户外阳光的变化的不利影响，在事件之前或之后拍摄的图像有时不适合作为背景图像。关于所获得的多视点图像和背景图像的数据被发送到形状数据生成单元303和渲染单元307。
在S402中，相机参数获得单元302获得上述相机参数。在图1所示的图像处理系统的情况下，从HDD 204读取关于相机101的安装位置、视线方向和镜头焦距的预先校准和获得的信息。可选地，可以通过对自然特征量的计算进行动态校准来获得摄像机参数，该自然特征量来自于在多视点图像拍摄期间由相机101获得的拍摄图像。关于相机参数的数据被发送到形状数据生成单元303和渲染单元307。
在S403中，形状数据生成单元303使用输入的多视点图像数据、背景图像数据和相机参数，生成关于摄像场景中存在的对象的三维形状数据。图5A例示了逐个对象地列出三维形状数据的表(对象形状表)的示例。表中的各个行对应于独立的对象。各个对象的形状由一组体素识别。存储在表的行中的信息(x，y，z)表示各体素的中心位置处的三维位置信息。此阶段的形状数据处于无法识别各个对象代表什么的状态。伴随各个对象的阴影(shade)也作为独立对象包括在数据中。关于各个对象的形状数据(聚合数据的对象形状表)被发送到对象分类单元304。
在S404中，对象分类单元304将包括在对象形状表中的形状数据分类为处于能够识别数据表示什么对象的状态的数据。例如，在如本实施例中那样分类为包括人、阴影和球的三种类型的对象的情况下，可以通过在HDD 204中预先保持关于人和球的三维模型信息(关于尺寸和形状的信息)并进行将信息与各个形状数据相匹配的处理来进行分类。具有与地面相同的高度分量的部分可以被分类为阴影对象。分类对象形状表被分配表示对象类型的信息，以及能够识别各对象的ID。被分类为阴影的对象被分配形成该形状的对象的ID，作为属性信息。图5B例示经过了分类处理的对象形状表。将上述“ID”、“类型”和“属性信息”字段添加到各对象。
在S405中，关注对象设置单元305基于用户操作，对摄像场景中的对象当中的关注对象进行设置。用户通过例如图6所示的UI画面(关注对象设置画面)指定关注对象。使用形状数据从适当的虚拟视点生成的图像601显示在关注对象设置画面上。通过鼠标和触摸操作中的任何一个在图像601上选择一个或更多个关注对象。此时，以突出显示的方式显示所选对象，或者以灰色显示除可选对象之外的背景区域。当在选择一个或更多个对象的状态下按下OK按钮602时，将对象设置为关注对象。以这种方式设置的关注对象被分配例如二值标志(关注标志)作为用于从其他对象识别的信息。图5C例示了另外将“关注标志”字段设置到图5B所示的分类对象形状表的情况。在图5C中的关注标志中，“1”表示关注对象，“0”表示非关注对象。用于使用户能够指定关注对象的UI画面不限于图6中所示的示例。例如，在许多关注对象的情况下，可以显示从不同虚拟视点生成的多个虚拟视点图像，或者平面视图中的虚拟视点图像。因此，即使在紧密存在多个人物对象的场景中，用户也可以容易地指定理想(desired)的人物对象。可选地，可以指定不想要重点突出(focus)的对象，从而将剩余对象设置为关注对象。可选地，可以显示添加了各对象的缩略图图像的分类对象形状表，以使得能够通过ID指定关注对象。可选地，默认情况下可以将多个对象当中的一个或一些对象指定为关注对象。例如，默认情况下可以将球设置为关注对象。可选地，例如，默认情况下可以将球和其周围的选手设置为关注对象。
在S406中，虚拟相机设置单元306基于通过未示出的UI画面的用户操作，在想要生成的虚拟视点图像中设置与虚拟相机有关的信息，具体地，关于虚拟视点位置和视线方向的信息。可以从HDD 204读取并且设置表示虚拟视点的位置和方向中的至少一者的预先设置虚拟视点信息(虚拟相机信息)。
在S407中，渲染单元307基于图5C中的状态中的对象形状表以及在S406中设置的虚拟相机信息来进行渲染处理，并且生成虚拟视点图像。稍后将描述渲染处理的详情。图7A和图7B例示了存在两个选手701和702以及球703的场景上的虚拟视点图像的示例；在本实施例中生成图像。图7A例示了根据传统方法的虚拟视点图像。在该图中，想要观看其运动的选手A和球被选手B遮蔽。图7B例示了在将选手A和球指定为关注对象的情况下根据本实施例的虚拟视点图像。这里，成为阻挡物的选手B以100％的透射率经受透明处理，并且要重点突出的选手A和球处于清晰可见的状态。如上所述实现的虚拟视点图像以各种模式输出；例如，图像显示在显示装置212上，或存储在HDD 204或外部存储器211中。
因此，描述了根据本实施例的虚拟视点图像生成处理的概述。
<渲染处理>
图8是例示在特定对象优先模式下由渲染单元307执行的渲染处理的详情的流程图。图9是例示渲染单元307的内部构造的框图。渲染单元307包括确定处理单元910、绘制处理单元920和合成处理单元930。此外，确定处理单元910包括阴影确定单元911、关注对象确定单元912和遮蔽确定单元913。绘制处理单元920包括关注对象绘制单元921、遮蔽对象绘制单元922和阴影对象绘制单元923。在下文中，参照图8的流程图和图9的框图描述渲染处理的详情。
首先，在S801中，确定处理单元910将对象形状表中的一个注意对象(notedobject)确定为绘制目标(下文中，注意对象)。通常，具有最小ID值的对象被确定为注意对象。在随后的S802中，阴影确定单元911参照对象形状表的“类型”字段，并确定注意对象是否是阴影对象。如果注意对象是阴影对象，则处理进行到S807。相反，如果所关注对象是除了阴影对象之外的对象，则处理进行到S803。
在S803中，关注对象确定单元912参照对象形状表的“关注标志”字段，并确定注意对象是否是关注对象。如果注意对象是关注对象，则处理进行到S805。如果不是关注对象，则处理进行到S804。
在S804中，遮蔽确定单元913确定注意对象是否遮蔽关注对象。遮蔽确定单元913基于虚拟相机的位置、注意对象的位置以及关注对象在三维空间中的位置来确定对象是否被遮蔽。例如，遮蔽确定单元913可以通过从在S406中设置的虚拟照相机信息中包括的虚拟视点位置朝向关注对象虚拟地发射光束并且通过确定光束在到达关注对象之前是否与注意对象碰撞来进行确定。例如，还可以使用以下式(3)进行遮蔽确定。
L>L'并且θ<θ_Th…(3)
上述式(3)用于确定当从虚拟视点观看时注意对象是否配置在关注对象跟前，并且两个对象的角度彼此接近。在式(3)中，距离L是虚拟视点位置与关注对象之间的距离，并且距离L'是虚拟视点位置与注意对象之间的距离。角度θ是参照虚拟视点位置在关注对象与注意对象之间的角度。阈值θ_Th是针对角度θ预设的阈值。阈值θ_Th可以从关注对象的实际尺寸和到虚拟视点位置的距离L获得。例如，在横向宽度为约1m的关注对象存在于离虚拟视点位置20m的情况下，θ小于3度使关注对象被关注对象跟前所驻留的注意对象遮蔽。也就是说，在这种情况下，在满足具有三度的θ_Th的式(3)的情况下，可以确定注意对象位于从虚拟视点观看时遮蔽关注对象的位置。作为确定的结果，当注意对象未遮蔽该关注对象时，处理进行到S805。相反，当注意对象遮蔽关注对象时，处理进行到S806。
在S805中，关注对象绘制单元921进行根据常规方法(即，在维持拍摄图像的可见性的状态下)绘制注意对象的处理。该步骤是在注意对象是关注对象的情况下或者注意对象是不遮蔽关注对象的其他对象的情况下的绘制处理。也就是说，在该步骤中充当绘制目标的对象需要在虚拟视点图像中以可视化状态(visualized state)绘制到与拍摄图像相当的程度，以使得用户能够有利地识出对象。因此，进行生成从设置的虚拟视点观看注意对象的深度图像的处理(正常绘制处理)，以及从与预定多视点图像对应的位置处的像素值获得深度图像的像素的颜色的处理。
在S806中，遮蔽对象绘制单元922在使注意对象透明地进行绘制处理。在使遮蔽对象完全透明的情况下，可以说不绘制该对象。该步骤是在注意对象遮蔽由用户指定的关注对象的情况下的绘制处理。也就是说，如果在该步骤中充当绘制目标的对象(遮蔽对象)以完全可视化状态绘制，则该对象遮蔽关注对象并阻碍可见性。理想地绘制遮蔽对象以不抑制关注对象的可见性。抑制关注对象的可见性降低的方法包括使遮蔽对象透明或半透明，例如，仅以预定颜色或用虚线显示遮蔽对象的轮廓的模式，以及仅显示遮蔽对象的阴影的模式。图10例示了用于指定遮蔽对象的显示模式的UI画面(遮蔽对象显示设置画面)的示例。用户可以通过鼠标的操作在可选方案当中指定绘制遮蔽对象的方法。图11A至图11C例示了显示模式的变化。图11A例示以半透明方式绘制遮蔽对象的情况。图11B例示仅绘制轮廓的情况。图11C例示仅绘制阴影的情况。在这种情况下，例如，当以具有100％透射率的完全透明度进行绘制时(参见图7B)，可以在排除关于遮蔽对象的形状数据的情况下进行绘制。这里，遮蔽对象也包括在用于计算像素值的多视点图像中。因此，可以进行掩模处理(mask process)，以不使用与遮蔽对象相对应的部分的像素值。例如，可以通过将遮蔽对象反向投影到要用于计算像素值的多视点图像上来获得要用于掩模处理的掩模图像。因此，可以获得二元掩模图像，其中仅遮蔽对象的形状部分用白色表示(不使用该部分的像素值)而其他部分用黑色表示(使用该部分的像素值)。可选地，可以生成具有N值(N＝分类类型的数量+1)的掩模图像，并且可以根据与对象类型对应的值确定是使用该部分的像素值(不使透明)还是不使用(使透明)。例如，在摄像场景中的移动对象是人A、人B和球的情况下，类型的数量是三个。因此，生成4值图像。当要重点突出的关注对象是人A和球时，进行掩模处理，使得使用与这些部分对应的像素值，而不使用与其他部分(人B和背景)对应的像素值。在半透明绘制的情况下，可以仅预先绘制遮蔽对象，并且可以以任何透明度进行混合。如上述图10的UI画面中所示，这种情况下的透射率可以由用户手动设置在例如0到100％的范围内，或者根据与关注对象的位置关系自动确定。例如使用上述L，L'和θ，在L<L'的情况下，在自动确定的情况下的透明度α被确定为0(不透明)，随着θ的减小(遮蔽度的增加)透明度α被确定为更高，并且随着L的减小(虚拟视点更接近关注对象)透明度α被确定为更高。可选地，可以以更简化的方式，例如，使用以下式(4)，进行确定。
α＝k/(Lxθ+C)...(4)
在上面的式(4)中，k是系数，并且C是实现非零分母的常数。遮蔽对象绘制方法不限于上述详情。关键是可以以抑制关注对象的可见性降低的方式进行绘制。
在S807中，阴影对象绘制单元923根据上述属性信息进行绘制注意对象的处理。该步骤是在注意对象是表示人或球的阴影的对象的情况下的绘制处理。通常，阴影对象不作为独立对象存在。因此，原则上，理想地绘制符合阴影对象所从属的人或球的绘制状态。也就是说，在以可视化状态(正常绘制)绘制从属目的地人物对象的情况下，也以清晰可视化状态绘制阴影对象。例如，在以透明状态绘制人物对象的情况下，也理想地以透明状态绘制阴影对象(消除阴影)。可以通过参照对象形状表的“属性信息”字段来识别阴影对象所从属的对象。当以透明状态绘制阴影对象时，在某些情况下仅通过去除形状数据不能实现自然的绘制结果。这是因为在用于计算像素值的所有多视点图像中包括阴影，并且在对应的像素位置处不存在适合于透明状态的像素值。因此，为了以自然的方式消除阴影，例如，可以使用背景图像中的对应位置处的像素值来进行绘制。在阴影对象从属于遮蔽对象的情况下，在上述图10中的UI画面中设置的细节具有优先级。也就是说，当仅将阴影指定为要显示在用于指定遮蔽对象的显示模式的UI画面上时，即使设置了以透明状态绘制从属目的地遮蔽对象，也以类似于S805的方式进行正常绘制处理。
在S808中，绘制处理单元920确定是否已完成对象形状表中的所有对象的绘制。如果剩余任何未处理的对象，则处理返回到S801，其中确定下一个注意对象并继续处理。相反，如果完成了所有对象的处理，处理进行到S809。
在S809中，合成处理单元930合成在步骤805至807中生成的所有对象的绘制结果，以生成从在S406中设置的虚拟视点观看的虚拟视点图像。
因此描述了由渲染单元307执行的渲染处理的详情。因此，假设在图8的流程图中例示的各个步骤由渲染单元执行而描述了本实施例。然而，执行不限于此。例如，可以配设具有相同构造的多个渲染单元。渲染单元可以被分类为用于绘制遮蔽对象的渲染单元和用于绘制其他对象的渲染单元，可以并行进行处理，并且可以合成由渲染单元获得的绘制结果。可选地，可以配设与确定处理单元910、绘制处理单元920和合成处理单元930相对应的独立图像处理单元，并且可以为各功能分配角色。
在上述实施例中，根据关注标志的存在或不存在确定在渲染期间是否进行透明绘制。本实施例不限于此。例如，可以为各个对象指定关注度(优先级顺序)，并且可以根据设置的关注度来确定是否将对象视为阻挡对象(在渲染处理中是否以透明的方式进行绘制)。例如，当具有比相关对象更高的关注度的人物对象被遮蔽时，具有较高关注度的对象经受透明处理。相反，即使当具有比相关对象更低的关注度的人物对象被遮蔽时，具有较低关注度的对象也不经受透明处理。当如上所述设置关注度时，代替(或除了)关注标志之外，可以将代表优先级顺序的级别信息添加到各个对象。在渲染期间，可以参照级别信息并且可以控制绘制的详情。
在上述实施例中，主要描述了用户单独指定在对象当中的关注对象的情况的示例。然而，描述不限于此。例如，用户可以设置特定条件，并且图像处理装置200可以基于关于各个对象的对象信息，自动地将满足条件的对象设置为关注对象。更具体地，用户可以设置条件“球和位于其周围的选手”，或者条件“在PK(penalty kick，罚球)期间的踢球者和守门员”。可以正常地绘制特定团队中的选手，并且可以稀疏地绘制其他团队中的选手。如果如上所述设置关注对象的方法具有自由度，则可以提高用户的可用性。
尽管在以上描述中采用了虚拟视点图像的命名术语，但是本实施例的系统可应用于静止图像和运动图像。也就是说，多视点图像可以是一个或更多个静止图像或者是运动图像。虚拟视点图像可以被生成为一个或更多个静止图像或运动图像。
在虚拟视点图像被生成为运动图像的情况下，可以由用户逐帧设置构成运动图像的各个帧中的虚拟相机信息和关注对象。可选地，可以沿时间轴连续设置这些信息和对象。例如，可以设置虚拟视点的轨迹。用户在开始帧中设置的关注对象可以根据跟踪技术自动设置到后续帧。因此，在要输入和输出的数据是运动图像的情况下，可以有效地设置可以按时间序列方式改变的虚拟相机信息和关注对象。
例如，可以通过使用存储为运动图像的多视点图像中的预定数量的帧(例如，10秒连续帧)消除运动对象来获得背景图像。例如，可以通过生成采用帧中像素值的中值的图像来获得背景图像。
在从作为运动图像的多视点图像生成作为运动图像的虚拟视点图像的情况下，关注对象有时可以根据对象的位置和运动、虚拟视点位置及其运动轨迹(虚拟相机路径)暂时(即以帧为单位)被非关注对象遮蔽。在这种情况下，可以将遮蔽关注对象的时间点(帧)通知给用户。图12例示了UI画面的示例，其在视觉上表示在设置的虚拟相机路径中，关注对象被遮蔽对象遮蔽的范围。在图12的UI画面中，在平面图中观看场地的情况下，在虚拟视点图像上用实线1201指示用户设置的虚拟相机路径。以增强的方式用粗线1202显示被遮蔽的区段，在该区段，注意对象被其他对象遮蔽。可以基于对所有注意对象的遮蔽确定的结果来确定是否存在遮蔽(图8的流程图中的S804)。在确定虚拟相机路径和关注对象两者时，识别遮蔽范围。因此，在预先设置了关注对象的情况下，可以在所识别的定时(例如，设置虚拟相机路径的时间)进行通知。这种通知使得用户能够通过改变显示遮蔽注意对象的对象的方法来获得具有更高满意度的虚拟视点视频。
如上所述，根据本实施例，即使在关注对象被设置的虚拟视点中的其他对象遮蔽的情况下，也可以抑制虚拟视点图像中关注对象的可见性的降低。
其他实施例
另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然针对示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。下述权利要求的范围应当被赋予最宽的解释，以便涵盖所有这类变型例以及等同的结构和功能。

Claims (13)

1.一种图像处理装置，所述图像处理装置包括：
图像获得单元，其被构造为基于在多个方向上捕获摄像区域的多个相机进行的多个图像捕获来获得虚拟视点图像；
确定单元，其被构造为确定位于所述摄像区域中的多个对象当中的关注对象；以及
生成单元，其被构造为，如果在从虚拟视点的视场中的所述关注对象被从所述虚拟视点的视场中的其他对象遮蔽，则改变所述其他对象的显示模式，使得抑制被遮蔽的关注对象的可见性的降低，以生成与虚拟视点对应的所述虚拟视点图像，
其中，如果不存在显示所述其他对象的阴影的指定，则所述生成单元基于所述其他对象的关于所述其他对象的阴影的改变后的显示模式来生成所述虚拟视点图像，
其中，如果存在显示所述其他对象的阴影的指定，则所述生成单元基于所述关注对象的关于所述其他对象的阴影的显示模式来生成所述虚拟视点图像。
2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括设置单元，所述设置单元被构造为针对各对象设置优先级，
其中，如果绘制目标遮蔽优先级高于所述绘制目标的对象，则所述生成单元将所述绘制目标视为所述其他对象，
其中，如果所述绘制目标遮蔽优先级低于所述绘制目标的对象，则所述生成单元将所述绘制目标视为所述关注对象。
3.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
输入单元，所述输入单元被构造为由用户输入是否显示所述其他对象的阴影。
4.根据权利要求1所述的图像处理装置，其中，所述改变后的显示模式基于预定透明度来透明地显示所述其他对象。
5.根据权利要求4所述的图像处理装置，所述图像处理装置还包括输入单元，所述输入单元被构造为由用户输入所述预定透明度。
6.根据权利要求4所述的图像处理装置，其中，基于所述关注对象与所述其他对象之间的位置关系，来确定所述预定透明度。
7.根据权利要求6所述的图像处理装置，其中，基于所述其他对象遮蔽所述关注对象的遮蔽率和从所述虚拟视点到所述关注对象的距离，来确定所述预定透明度，
其中，所述预定透明度主要随着所述遮蔽率的增大来确定，并且所述预定透明度主要随着所述距离的减小来确定。
8.根据权利要求1所述的图像处理装置，其中，所述生成单元改变所述其他对象的显示模式以生成不包括所述其他对象的所述虚拟视点图像。
9.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
模型生成单元，其被构造为基于所述多个相机的参数和所述多个图像来生成对象的三维形状；以及
分类单元，其被构造为对与由所述模型生成单元生成的三维形状相对应的对象中的各个进行能够识别地分类，
其中，所述生成单元针对所分类的对象中的各个确定是否存在遮蔽所述关注对象的至少一部分的所述其他对象，并且使用对应的三维形状来显示被确定为所述关注对象的对象中的各个和所述其他对象。
10.根据权利要求1所述的图像处理装置，所述图像处理装置还包括通知单元，所述通知单元被构造为通知用户是否存在遮蔽所述关注对象的所述其他对象。
11.根据权利要求1所述的图像处理装置，其中，所述关注对象是由用户从所述多个图像中包括的所述对象当中指定的一个或多个对象。
12.一种图像处理方法，所述图像处理方法包括：
基于在多个方向上捕获摄像区域的多个相机进行的多个图像捕获来获得虚拟视点图像；
确定位于所述摄像区域中的多个对象当中的关注对象；以及
如果在从虚拟视点的视场中的所述关注对象被从所述虚拟视点的视场中的其他对象遮蔽，则改变所述其他对象的显示模式，使得抑制被遮蔽的所述关注对象的可见性的降低，以生成与虚拟视点相对应的所述虚拟视点图像，
其中，如果不存在显示所述其他对象的阴影的指定，则基于所述其他对象的关于所述其他对象的阴影的改变后的显示模式来生成所述虚拟视点图像，
其中，如果存在显示所述其他对象的阴影的指定，则基于所述关注对象的关于所述其他对象的阴影的显示模式来生成所述虚拟视点图像。
13.一种非暂时性计算机可读存储介质，其存储程序，所述程序使计算机用作根据权利要求1至11中任一项所述的各单元。
CN201811382847.5A 2017-11-20 2018-11-20 图像处理装置、图像处理方法及存储介质 Active CN109816766B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-223080 2017-11-20
JP2017223080A JP7109907B2 (ja) 2017-11-20 2017-11-20 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN109816766A CN109816766A (zh) 2019-05-28
CN109816766B true CN109816766B (zh) 2023-11-10

Family

ID=64362356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811382847.5A Active CN109816766B (zh) 2017-11-20 2018-11-20 图像处理装置、图像处理方法及存储介质

Country Status (5)

Country Link
US (1) US10986324B2 (zh)
EP (1) EP3487176B1 (zh)
JP (1) JP7109907B2 (zh)
KR (1) KR102342668B1 (zh)
CN (1) CN109816766B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7003994B2 (ja) * 2017-08-08 2022-01-21 ソニーグループ株式会社 画像処理装置および方法
JP7091133B2 (ja) * 2018-05-09 2022-06-27 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7281923B2 (ja) * 2019-03-01 2023-05-26 キヤノン株式会社 制御装置、画像処理システム、制御方法及びプログラム
JP7446754B2 (ja) 2019-09-30 2024-03-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2021131375A1 (ja) * 2019-12-26 2021-07-01 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
WO2021149526A1 (ja) * 2020-01-23 2021-07-29 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2021152955A1 (ja) * 2020-01-30 2021-08-05 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP7427468B2 (ja) * 2020-02-18 2024-02-05 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN113066122B (zh) * 2020-05-15 2022-05-13 支付宝(杭州)信息技术有限公司 图像处理方法以及装置
US20220189103A1 (en) * 2020-12-15 2022-06-16 Canon Kabushiki Kaisha Generation apparatus, generation method, and storage medium
WO2022137907A1 (ja) * 2020-12-25 2022-06-30 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2022215347A1 (ja) * 2021-04-08 2022-10-13 株式会社Ｎｔｔドコモ コンテンツ表示制御システム
CN117354568A (zh) * 2022-06-27 2024-01-05 华为技术有限公司 一种显示方法、设备及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044868A (ja) * 2001-07-30 2003-02-14 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
CN101513062A (zh) * 2006-08-18 2009-08-19 松下电器产业株式会社 车载图像处理装置及其视点变换信息生成方法
CN102257824A (zh) * 2008-12-18 2011-11-23 Lg电子株式会社 3d图像信号处理方法和用于实现该方法的图像显示器
CN102598652A (zh) * 2009-10-30 2012-07-18 佳能株式会社 信息处理设备和方法
CN104781851A (zh) * 2012-11-19 2015-07-15 索尼电脑娱乐公司 图像处理装置和图像处理方法
JP2017102686A (ja) * 2015-12-01 2017-06-08 日本電信電話株式会社 情報取得装置、情報取得方法及び情報取得プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001276420A (ja) 2000-03-30 2001-10-09 Namco Ltd ゲーム装置および情報記憶媒体
JP3949674B2 (ja) 2004-05-11 2007-07-25 株式会社コナミデジタルエンタテインメント 表示装置、表示方法、ならびに、プログラム
ITRM20050192A1 (it) 2005-04-20 2006-10-21 Consiglio Nazionale Ricerche Sistema per la rilevazione e la classificazione di eventi durante azioni in movimento.
CN102710976B (zh) * 2005-07-22 2014-12-10 袋鼠传媒股份有限公司 用于增强观众参与现场体育赛事的体验的设备和方法
CN101268437B (zh) * 2005-11-02 2010-05-19 松下电器产业株式会社 显示目标透射装置及显示目标透射方法
JP4671873B2 (ja) 2006-01-23 2011-04-20 シャープ株式会社 合成映像生成システム
JP4895738B2 (ja) 2006-09-15 2012-03-14 株式会社カプコン 三次元映像表示装置、その表示装置を実現するためのプログラム
US8253736B2 (en) * 2007-01-29 2012-08-28 Microsoft Corporation Reducing occlusions in oblique views
US8049750B2 (en) 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
JP5011224B2 (ja) 2008-07-09 2012-08-29 日本放送協会 任意視点映像生成装置及び任意視点映像生成プログラム
WO2013086249A2 (en) * 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
US9420253B2 (en) * 2012-06-20 2016-08-16 Image Masters, Inc. Presenting realistic designs of spaces and objects
US20130342572A1 (en) * 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
JP6473577B2 (ja) 2014-05-21 2019-02-20 任天堂株式会社 情報処理システム、情報処理方法、及び情報処理プログラム
JP2016039618A (ja) 2014-08-11 2016-03-22 ソニー株式会社 情報処理装置および情報処理方法
WO2017134706A1 (ja) * 2016-02-03 2017-08-10 パナソニックＩｐマネジメント株式会社 映像表示方法及び映像表示装置
JP6778912B2 (ja) 2016-02-03 2020-11-04 パナソニックＩｐマネジメント株式会社 映像表示方法及び映像表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044868A (ja) * 2001-07-30 2003-02-14 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
CN101513062A (zh) * 2006-08-18 2009-08-19 松下电器产业株式会社 车载图像处理装置及其视点变换信息生成方法
CN102257824A (zh) * 2008-12-18 2011-11-23 Lg电子株式会社 3d图像信号处理方法和用于实现该方法的图像显示器
CN102598652A (zh) * 2009-10-30 2012-07-18 佳能株式会社 信息处理设备和方法
CN104781851A (zh) * 2012-11-19 2015-07-15 索尼电脑娱乐公司 图像处理装置和图像处理方法
JP2017102686A (ja) * 2015-12-01 2017-06-08 日本電信電話株式会社 情報取得装置、情報取得方法及び情報取得プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
二维多视点图像阵列采集及虚拟视点合成算法;吕源治等;《哈尔滨工程大学学报》;20130613(第06期);全文 *

Also Published As

Publication number Publication date
US20190158802A1 (en) 2019-05-23
CN109816766A (zh) 2019-05-28
KR20190058337A (ko) 2019-05-29
JP7109907B2 (ja) 2022-08-01
JP2019095936A (ja) 2019-06-20
US10986324B2 (en) 2021-04-20
EP3487176B1 (en) 2024-01-10
KR102342668B1 (ko) 2021-12-23
EP3487176A1 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
CN109816766B (zh) 图像处理装置、图像处理方法及存储介质
US11709545B2 (en) Gaze detection method and apparatus
US11284057B2 (en) Image processing apparatus, image processing method and storage medium
JP6371553B2 (ja) 映像表示装置および映像表示システム
US11017588B2 (en) Image processing apparatus that generates a virtual view image from multiple images captured from different directions and method controlling the same
US11270499B2 (en) Multi line trace gaze to object mapping for determining gaze focus targets
US11189041B2 (en) Image processing apparatus, control method of image processing apparatus, and non-transitory computer-readable storage medium
US10742852B2 (en) Image processing apparatus, object shape estimation method, and storage medium
US10657703B2 (en) Image processing apparatus and image processing method
US20220277512A1 (en) Generation apparatus, generation method, system, and storage medium
JP5927541B2 (ja) 画像処理装置および画像処理方法
JP2018032938A (ja) 画像処理装置、画像処理の方法およびプログラム
US11688128B2 (en) Multi line trace gaze to object mapping for determining gaze focus targets
US20240040106A1 (en) Image processing apparatus, image processing method, and storage medium
CN116366825A (zh) 图像处理装置、图像处理方法、以及存储介质
CN116549964A (zh) 控件的显示控制方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant