CN113347348A - 信息处理装置、信息处理方法以及存储介质 - Google Patents

信息处理装置、信息处理方法以及存储介质 Download PDF

Info

Publication number
CN113347348A
CN113347348A CN202110171250.1A CN202110171250A CN113347348A CN 113347348 A CN113347348 A CN 113347348A CN 202110171250 A CN202110171250 A CN 202110171250A CN 113347348 A CN113347348 A CN 113347348A
Authority
CN
China
Prior art keywords
information
region
image
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110171250.1A
Other languages
English (en)
Inventor
阿达大地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN113347348A publication Critical patent/CN113347348A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明涉及信息处理装置、信息处理方法以及存储介质。该信息处理装置获得表示摄像区域中被摄体的位置和形状的被摄体信息，其中，由多个摄像装置从不同方向对所述摄像区域进行摄像；基于所述被摄体信息，来区分摄像区域中从特定位置能够看到的可见区域和由于被被摄体遮挡而从所述特定位置无法看到的遮挡区域；生成显示基于区分结果的信息的虚拟视点图像，所述虚拟视点图像基于根据由多个摄像装置进行摄像的图像数据和指示虚拟视点的位置和方向的虚拟视点信息。

Description

信息处理装置、信息处理方法以及存储介质
技术领域
本公开涉及信息处理装置、信息处理方法和存储介质。特别是，本公开涉及对使用多个摄像装置从多个方向对被摄体进行摄像而获得的信息进行的处理。
背景技术
存在一种用设置在不同位置的多个摄像装置从多个视点同步进行摄像，并使用通过摄像获得的多个图像生成可自由改变视点的虚拟视点图像的技术。例如，基于诸如足球和篮球等比赛的多个摄像图像来生成与由用户设定的视点相对应的虚拟视点图像，从而用户可以从不同的视点观看比赛。根据摄像区域中的特定被摄体(如足球运动员和裁判等)的位置和方向来设置虚拟视点的位置和方向，从而可以生成再现运动员或裁判视场的虚拟视点图像。
日本专利第6555513号讨论了使用通过从多个方向对足球比赛进行摄像而获得的数据，提供与特定运动员的视点相对应的视频内容。日本专利第6555513号还讨论了对由其他运动员的视点坐标、视线方向和视角定义的视场进行估计，并在视频内容中显示不存在于其他运动员的视场中的盲点区域。
然而，日本专利第6555513号中讨论的方法所指定的盲点区域并不能反映摄像区域中由被摄体遮挡的不可见区域。例如，即使区域是靠近运动员的视线方向的区域，运动员也无法从运动员的视点看到被其他运动员遮挡的区域。因此，即使未包括在日本专利第6555513号中讨论的视频内容中显示的盲点区域中的区域，也可以包括表示实际盲点的区域。
发明内容
根据本公开的一个方面，提供了一种可以容易地区分从特定位置可以看到的区域和由于遮挡而无法看到的区域的技术。
根据本公开的一个方面，提供了一种信息处理装置，包括：获得单元，其被构造为获得表示摄像区域中被摄体的位置和形状的被摄体信息，其中，由多个摄像装置从不同方向对所述摄像区域进行摄像；区分单元，其被构造为基于由所述获得单元获得的所述被摄体信息，来区分摄像区域中从特定位置能够看到的可见区域和由于被被摄体遮挡而从所述特定位置无法看到的遮挡区域；以及生成单元，其被构造为生成显示基于所述区分单元的区分结果的信息的虚拟视点图像，所述虚拟视点图像基于根据由多个摄像装置进行摄像的图像数据和指示虚拟视点的位置和方向的虚拟视点信息。
根据本公开的另一个方面，提供了一种信息处理装置，包括：获得单元，其被构造为获得表示摄像区域中的被摄体的位置和形状的被摄体信息，所述被摄体信息基于由多个摄像装置从不同方向对摄像区域进行摄像而获得的图像数据而生成，生成单元，其被构造为基于由所述获得单元获得的被摄体信息，生成能够区分从与摄像区域中的指定被摄体对应的特定位置能够看到可见区域和由于被其他被摄体遮挡而从特定位置无法看到的遮挡区域的信息；以及输出单元，其构造为输出由所述生成单元生成的信息。
根据本公开的另一个方面，提供了一种信息处理方法，包括：获得表示摄像区域中被摄体的位置和形状的被摄体信息，其中，由多个摄像装置从不同方向对所述摄像区域进行摄像；基于由通过所述获得而获得的所述被摄体信息，来区分摄像区域中从特定位置能够看到的可见区域和由于被被摄体遮挡而从所述特定位置无法看到的遮挡区域；以及生成显示基于所述区分的结果的信息的虚拟视点图像，所述虚拟视点图像基于根据由多个摄像装置进行摄像的图像数据和指示虚拟视点的位置和方向的虚拟视点信息。
根据本公开的另一个方面，提供了一种信息处理方法，包括：获得表示摄像区域中的被摄体的位置和形状的被摄体信息，所述被摄体信息基于由多个摄像装置从不同方向对摄像区域进行摄像而获得的图像数据而生成，基于通过所述获得而获得的被摄体信息，生成能够区分从与摄像区域中的指定被摄体对应的特定位置能够看到可见区域和由于被其他被摄体遮挡而从特定位置无法看到的遮挡区域的信息；以及输出通过所述生成而生成的信息。
根据本公开的另一个方面，提供了一种存储介质，其存储有用于使计算机用作上述信息处理装置的程序。
通过以下参照附图对示例性实施例的描述，本公开的其他特征将变得清楚。
附图说明
图1例示了图像处理系统的构造的示例。
图2例示了信息处理装置的硬件构造的示例。
图3A和图3B是例示了信息处理装置和显示装置的操作示例的流程图。
图4A和图4B例示了用于可见性确定的处理。
图5A和图5B例示了可见性信息的示例。
图6是例示了信息处理装置的操作示例的流程图。
图7例示了可见性信息的示例。
图8例示了可见性信息的输出的示例。
具体实施方式
[系统构造]
图1例示了图像处理系统1的构造的示例。图像处理系统1生成表示从指定的虚拟视点观看的虚拟视点图像。图像处理系统1基于指定的虚拟视点和基于通过多个摄像装置进行摄像而获得的多个图像(多视点图像)来生成虚拟视点图像。根据本示例性实施例的虚拟视点图像也被称为自由视点视频。然而，虚拟视点图像并不限于与由用户自由(任意)指定的视点相对应的图像，而是包括例如与由用户从多个候选中选择的视点对应的图像。根据本示例性实施例，主要描述通过用户操作指定虚拟视点的情况，但是可以基于例如图像分析的结果来自动指定虚拟视点。此外，根据本示例性实施例，主要描述虚拟视点图像为静止图像的情况，但虚拟视点图像可以是运动图像。换句话说，图像处理系统1可以对静止图像和运动图像二者进行处理。在下面的描述中，除非另有说明，否则“图像”一词将被描述为是包括运动图像和静止图像二者的概念。
图像处理系统1包括多个摄像装置100、图像处理装置110、信息处理装置200和显示装置300。多个摄像装置100从多个方向拍摄摄像区域中要拍摄的主体(被摄体)。摄像区域的示例包括举办足球比赛和空手道比赛的体育场，以及举办音乐会和表演的舞台。根据本示例性实施例，主要描述摄像区域为足球场的情况。多个摄像装置100被各自设置在不同的位置以围绕摄像区域，并彼此同步地摄像。多个摄像装置100可以设置为不覆盖整个摄像区域的周围，而是取决于设置位置等的限制而仅设置在摄像区域的一部分的方向上。摄像装置的数量不限于图1例示的示例。例如，在摄像区域为足球场的情况下，可以围绕该球场设置约30个摄像装置。此外，还可以设置具有不同功能的摄像装置，例如远摄照相机和广角照相机。
根据本示例性实施例的多个摄像装置100中的各个是具有独立壳体的照相机，并且可以从单个视点拍摄图像。然而，本示例性实施例并不限于这种构造，同一壳体中可以包括两个或更多个摄像装置。例如，可以将包括多个镜头组和多个传感器并从多个视点进行摄像的单个照相机设置为该多个摄像装置100。
图像处理装置110基于从多个摄像装置100获得的图像数据生成被摄体信息101。被摄体信息101包括摄像区域中的前景被摄体(例如人和球)和背景被摄体(例如体育场和场地)。被摄体信息101表示各个被摄体的三维位置和三维形状。可以单独存储各个被摄体的被摄体信息101，也可以集中地存储摄像区域中的多个被摄体的被摄体信息101。
信息处理装置200包括从图像处理装置110获得被摄体信息101的被摄体信息获得单元201、获得视场信息102的视场信息获得单元202和获得虚拟视点信息103的虚拟视点获得单元203。信息处理装置200还包括可见性确定单元204和信息生成单元205。
视场信息102表示与摄像区域中的预定视点相对应的视场。视场信息102是用于下述可见性确定的基准。视场信息102包括在三维空间的水平方向和竖直方向上指示视点的位置和方向(从视点位置的视线方向)、以及与视场的大小相对应的视角的信息。视场信息102的内容不限于上述的内容。可以通过焦距或变焦值来表示视场的大小。此外，视场信息102可以包括指示从视点位置到作为视场边界的近平面和远平面的距离的信息。可以基于用户操作来指定视场信息102。可以自动指定视场信息102的至少一部分。例如，图像处理系统1可以接收用于指定视点的位置、方向和视角的用户操作，并生成视场信息102。
例如，图像处理系统1可以接收用于将特定人物指定为摄像区域中的被摄体的用户操作，并生成指定的被摄体的视场信息102，例如表示特定人物的视场的视场信息102。在这种情况下，由视场信息102指示的视点位置与指定的被摄体的头部或眼睛的位置相对应，并且由视场信息102指示的视线方向与指定的被摄体的头部或眼睛的方向相对应。
可以基于从用于检测人物的头部或眼睛的位置和方向的传感器(例如，运动拍摄、电子罗盘和全球定位系统(GPS))获得的数据来生成表示人物的视场的视场信息102。可以基于对从摄像装置100获得的图像数据或由图像处理装置110生成的被摄体信息101的分析结果来生成视场信息102。例如，人物的头部的坐标位置(由视场信息102所指示的视点位置)可以是从头顶的位置(由传感器检测或通过图像分析)向面部的前方和下方偏移预定距离的三维坐标位置。此外，例如，头部的坐标位置可以是从检测到的头部的中心位置向面部的前方偏离预定距离的三维坐标位置。此外，作为视场信息102所指示的视点位置的人的眼睛的坐标位置，可以是由传感器检测或通过图像分析的左眼和右眼中间的三维坐标位置。图像处理系统1可以从外部获得视场信息102。
虚拟视点信息103指示与虚拟视点图像相对应的虚拟视点的位置和方向(视线方向)。具体地，虚拟视点信息103包括包含表示虚拟视点在三维空间中的位置的参数和表示虚拟视点在平移、倾斜和滚动方向中的方向的参数的参数集。虚拟视点信息103的内容不限于上述信息。例如，作为虚拟视点信息103的参数集可以包括诸如变焦系数和焦距等的表示与虚拟视点相对应的视场的大小的参数、以及表示时间的参数。可以基于用户操作来指定虚拟视点信息103，或者可以自动指定虚拟视点信息103的至少一部分。例如，图像处理系统1可以接收用于指定虚拟视点的位置、方向和视角的用户操作，并生成虚拟视点信息103。图像处理系统1可以从外部获得虚拟视点信息103。
可见性确定单元204使用由被摄体信息获得单元201获得的被摄体信息101、由视场信息获得单元202获得的视场信息102、以及由虚拟视点获得单元203获得的虚拟视点信息103，来进行可见性确定。由可见性确定单元204进行的可见性确定是用于在摄像区域中将从视场信息102所指示的视点可以看到的区域与从视场信息102所指示的视点无法看到的区域进行区分的处理。信息生成单元205生成与由可见性确定单元204生成的可见性确定的结果相对应的信息，并将该信息输出到显示装置300。信息生成单元205可以使用可见性确定结果和虚拟视点信息103生成并输出与虚拟视点相对应的信息。稍后将详细描述可见性确定处理和由信息生成单元205生成的信息。
显示装置300是具有显示器的计算机，并且显示装置300将从信息生成单元205获得的信息与虚拟视点图像104相结合的显示。可以将表示视场信息102的计算机图形(CG)包括在要由显示装置300显示的图像中。显示装置300可以包括例如投影仪的视觉呈现设备来代替显示器。
图像处理系统1基于由摄像装置100获得的图像数据和虚拟视点信息103来生成虚拟视点图像104。例如，通过使用以下方法来生成虚拟视点图像104。通过从由多个摄像装置100从不同方向进行摄像而分别获得的多视点图像中提取与预定被摄体(诸如人物和球等)对应的前景区域和前景区域以外的背景区域而获得前景图像和背景图像。基于前景图像生成表示预定被摄体的三维形状的前景模型和用于给前景模型着色的纹理数据。基于背景图像生成给表示背景(例如体育场)的三维形状的背景模型着色的纹理数据。然后，将纹理数据相对于前景模型和背景模型进行映射，并根据虚拟视点信息103所指示的虚拟视点进行渲染，由此生成虚拟视点图像104。然而，虚拟视点图像104的生成方法不限于上述过程，并可以使用各种方法，例如在不使用三维模型的情况下通过对拍摄的图像进行投影变换来生成虚拟视点图像104的方法。图像处理系统1可以从外部获得虚拟视点图像104。
图像处理系统1的构造不限于图1所示的示例。例如，图像处理装置110和信息处理装置200可以被一体地构造。另外，视场信息102、虚拟视点信息103和虚拟视点图像104可以由信息处理装置200生成。作为另选，由信息生成单元205和虚拟视点图像104生成的信息可以被组合并输出到显示装置300。图像处理系统1包括存储被摄体信息101、视场信息102、虚拟视点信息103和虚拟视点图像104的存储单元，以及接收用户操作的输入单元。
[硬件构造]
图2例示了信息处理装置200的硬件构造的示例。图像处理装置110和显示装置300的硬件构造与下面描述的信息处理装置200的构造相似。信息处理装置200包括中央处理单元(CPU)211、只读存储器(ROM)212、随机存取存储器(RAM)213、辅助存储设备214、显示单元215、操作单元216、通信接口(I/F)217和总线218。
CPU 211使用存储在ROM 212和RAM 213中的计算机程序和数据来控制整个信息处理装置200，从而实现图1所示的信息处理装置200的各个功能。信息处理装置200可以包括一个或多个不同于CPU 211的专用硬件，并且专用硬件可以执行由CPU 211执行的处理的至少一部分。专用硬件的示例包括专用集成电路(ASIC)、现场可编程门阵列(FPGA)和数字信号处理器(DSP)。ROM 212存储例如不需要改变的程序。RAM213临时存储例如从辅助存储设备214提供的程序和数据，以及经由通信I/F 217从外部提供的数据。辅助存储设备214包括例如硬盘驱动器，并且存储诸如图像数据和音频数据等的各种类型的数据。
显示单元215包括例如液晶显示器和发光二极管(LED)，并且显示例如用于用户操作信息处理装置200的图形用户界面(GUI)。操作单元216包括例如键盘、鼠标、操纵杆和触摸面板，并且在接收到用户操作时向CPU 211输入各种指令。CPU 211用作用于控制显示单元215的显示控制单元和用于控制操作单元216的操作控制单元。通信I/F 217用于信息处理装置200与外部装置之间的通信。例如，在信息处理装置200与外部装置有线连接的情况下，通信线缆与通信I/F 217连接。在信息处理装置200具有与外部装置无线通信功能的情况下，通信I/F 217包括天线。总线218将信息处理装置200中包括的单元彼此连接，并在他们之间传输信息。根据本示例性实施例，在信息处理装置200中存在显示单元215和操作单元216。作为另选，显示单元215和操作单元216中的至少一个可以作为独立的装置存在于信息处理装置200的外部。
[操作流程]
图3A是例示信息处理装置200的操作示例的流程图。通过信息处理装置200中包括的CPU 211将存储在ROM 212中的程序加载到RAM 213中并执行该程序来实现图3A中例示的处理。图3A中例示的处理的至少一部分可以由与CPU 211不同的一个或更多个专用硬件来实现。这同样适用于通过下述图6所示的流程图进行的处理。在将用于生成关于可见性确定的信息的指令输入到信息处理装置200的定时，开始图3A例示的处理。然而，图3A例示的处理开始的定时不限于上述的定时。在虚拟视点图像是运动图像的情况下，可以针对在虚拟视点图像的运动图像中包括的每一帧来执行图3A所示的处理。
在步骤S2010中，被摄体信息获得单元201获得被摄体信息101。在步骤S2020中，视场信息获得单元202获得视场信息102。在步骤S2030中，虚拟视点获得单元203获得虚拟视点信息103。从步骤S2010到S2030的处理的顺序不限于上述顺序，至少一部分处理可以并行执行。在步骤S2040中，可见性确定单元204进行可见性确定。将参照图4A和图4B描述可见性确定的详情。
图4A例示了如下情形，两个运动员20和21存在于摄像区域的场地10中，并且球15位于运动员20的左手附近。运动员20和21以及球15的位置和形状由被摄体信息101表示。在图4A和图4B所示的示例中，将视场信息102指定为与裁判22的视场相对应，裁判22从摄像区域内的位置观看运动员20并位于场地10的外部。四角锥30指示裁判22的视点的视场的位置、方向和角度(角度范围)。
图4B例示了可见性确定的结果。在图4B中，附加标志“1”的可见区域51是从与视场信息102对应的视点可以看到的区域。附加标志“-1”的范围外区域52是从与视场信息102对应的视点无法看到的区域。这是因为该区域位于与视场信息102对应的视场角之外的位置。附加标志“0”的遮挡区域50是指位于与视场信息102对应的视场角中但因被运动员21遮挡而无法看到的区域。将上述范围外区域52和遮挡区域50组合的区域，是从与视场信息102对应的视点无法看到的不可见区域。遮挡区域50包括与被运动员21遮挡的运动员20对应的区域上的区域60。范围外区域52包括与运动员21对应的区域上的、脱离了与视场信息102对应的视场角的区域72。
例如，如下进行可见性确定。在可见性确定处理中，从与视场信息102对应的视点的位置在各个视角方向上发射虚拟光束40。在将四角锥30的底面视为1920*1080像素的图像的情况下，在各个像素的方向上发射光束40。将标志“1”附加在第一次被光束40击中(相交)的被摄体表面上，将标志“0”附加在第二次及以后的被光束40击中的被摄体表面上。将标志“-1”附加在位于视角之外且从未被光束40击中的被摄体表面上。在由视场信息102指定视场的近平面和远平面的情况下，如果视场的位置与光束击中被摄体的位置之间的距离比近平面近或比远平面远，则附加标志“-1”。
可见性确定的方法不限于上述处理。可以基于视场信息102和被摄体信息101进行可见性确定。例如，光束40的发射方法不限于上述处理，可以在视角中以每预定视角来发射光束40。该标志可以附加到构建被摄体三维模型的各个网格上，也可以附加到要被映射到三维模型的纹理的各个像素上。作为另选，光束40和被摄体表面的交点的三维坐标值(x、y和z)和标志值可以彼此相关联地存储。例如，可以使用用深度缓冲确定遮挡的结果来确定标志值。具体地，计算从由虚拟视点信息103指示的虚拟视点发出的光束与被摄体表面的交点到由视场信息102指示的视点位置之间的距离。然后将该距离与由视场信息102指示的视点相对应的深度值进行比较，从而可以确定遮挡。
在步骤S2050中，信息生成单元205生成与可见性确定结果相对应的可见性信息。作为可见性信息的示例，描述了生成标志图像的情况。通过将附加在被摄体上的各个位置的标志投影到由虚拟视点信息103指示的虚拟视点，并且通过将从虚拟视点观看的各个位置的标志值替换为预定辉度值，来创建标志图像。例如，标志值“1”、“0”和“-1”分别被辉度值“0”、“50”和“100”替换。与标志值“-1”对应的辉度值和与标志值“0”对应的辉度值可以分配为相同的值。在这种情况下，不能在标志图像中区分范围外区域52和遮挡区域50。在步骤S2060中，信息生成单元205将可见性信息(标志图像)输出到显示装置300。
图3B是例示显示装置300的操作示例的流程图。通过显示装置300中的CPU 211将存储在ROM 212中的程序加载到RAM 213中并执行该程序来实现图3B中例示的处理。图3B中例示的处理的至少一部分可以由不同于CPU 211的一个或更多个专用硬件实现。在信息处理装置200和显示装置300连接从而能够彼此通信的定时，开始图3B中例示的处理。然而，图3B中例示的处理开始的定时不限于该定时。在虚拟视点图像是运动图像的情况下，可以针对在虚拟视点图像的运动图像中包括的每一帧来执行图3B中的处理。
在步骤S3010中，显示装置300获得虚拟视点图像104。在步骤S3010中获得的虚拟视点图像104是与信息处理装置200用于生成可见性信息的虚拟视点相对应的图像。在步骤S3020中，显示装置300获得从信息处理装置200输出的可见性信息。在步骤S3010和S3020中例示的处理的顺序不限于上述顺序，并且至少一部分处理可以并行执行。
在步骤S3030中，显示装置300将从信息处理装置200获得的标志图像叠加在虚拟视点图像104上。显示装置300可以获得信息处理装置200在生成可见性信息时使用的视场信息102，并将表示与视场信息102对应的视点的CG叠加在虚拟视点图像104上。
图5A例示了叠加图像95，即通过将标志图像和与视场信息102对应的CG叠加在虚拟视点图像104上(叠加显示)而生成的新的虚拟视点图像。标志图像被半透明地叠加，在叠加图像95中，用预定的半透明颜色(例如红色)覆盖与标志“0”对应的遮挡区域80。叠加图像95中的照相机模型90表示与视场信息102对应的视点(裁判22的视点)的位置，边界85表示与视场信息102对应的视场的角度边缘。
可见性确定结果的表示方法不限于上述方法。可以改变对比度、虚拟视点图像中的遮挡区域的辉度值和颜色、以及纹理的渲染方法，或者显示遮挡区域的边界。根据图5A中的示例，通过处理虚拟视点图像中与遮挡区域80对应的部分，可以区分遮挡区域80和其他区域。但是，可见性信息的显示方法不限于此。例如，可以处理虚拟视点图像中的可见区域(叠加用于覆盖可见区域的图像)，或者处理范围外区域。可见区域、范围外区域和遮挡区域中的两个或更多个可以分别在不同方面进行处理，以便可以将这些区域彼此区分开来。为了区分地指示包括范围外区域和遮挡区域的不可见区域，可以对整个不可见区域进行统一处理(叠加用于覆盖不可见区域的图像)。
如图5B所示，代替照相机模型90，可以在虚拟视点图像中显示指示与视场信息102对应的视点的位置和方向的箭头图标89。根据本示例性实施例，图像处理系统1获得未显示可见性信息的虚拟视点图像104，并通过叠加在虚拟视点图像104上显示可见性信息。作为另选，图像处理系统1可以在不获得未显示可见性信息的虚拟视点图像104的情况下，基于由摄像装置100获得的图像数据、虚拟视点信息103以及可见性信息，直接生成显示可见性信息的虚拟视点图像。
如上所述，虚拟视点图像的观看者通过识别从裁判22的视点无法看到的区域(即，盲点)，并将盲点以可区分的方式显示在以鸟瞰方式看到的虚拟视点图像上，可以容易地确认裁判22的盲点。例如，观看者通过观看图5B所示的叠加图像95，可以容易地识别出球15和运动员20的一部分隐藏在裁判22的盲点中。
根据上述示例，基于视场信息102表示裁判22的视场的假设，确定从裁判22的视点的可见性。然而，视场信息102不限于此。例如，可以通过将视场信息102指定为与运动员21的视场对应，来区分从运动员21的视场的各个区域的可见性。另外，指定视场信息102以将不存在运动员的位置设置为视点的位置，从而可以区分在该位置存在运动员的情况下，可以看到哪个区域。
此外，例如，可以将视场信息102所指示的视点的位置指定为球15的位置，从而可以容易地区分从球15的位置可以看到哪个区域，换句话说，从哪个区域可以看到球15。如果将视场信息102所指示的视点的位置指定为例如球门而不是球15，则可以分辨出，从哪个区域可以看到球门。视场信息102可以不包括指示视线方向和视场大小的信息。换句话说，视场可以包括从视点的位置观看的所有方向。
[可见性信息的其他示例]
上面参照图4A、图4B、图5A和图5B所描述的示例是如下的情况，与从信息处理装置200输出的可见性确定的结果相对应的可见性信息是以可区分的方式指示摄像区域中的可见区域和不可见区域的信息。现在将描述可见性信息的另一示例。
首先，描述将多个视点的可见性的比较结果用作可见性信息的情况。在这种情况下，信息处理装置200执行图6所示的处理流程，而不是图3A所示的处理流程。在图6中例示的处理在与图3A中例示的处理相同的定时开始。
在步骤S2010中，被摄体信息获得单元201获得被摄体信息101。在步骤S2070中，视场信息获得单元202获得多个视场信息102。多个视场信息102在视点的位置、方向和视场的角度中的至少一者彼此不同。在这种情况下，由多个视场信息102指示的视点的位置不同，并获得以下信息：表示裁判22的视场的视场信息102，表示与从裁判22的视点的位置向前、后、左、右各平行移动5米各自对应的四个视点的视场信息102。然而，要获得的视场信息102的数量以及各视场信息102之间的关系不限于上述数量和关系。
在步骤S2040中，可见性确定单元204对各个视场信息102进行可见性确定，并计算各个视场信息102的遮挡区域的面积。可以通过将构建被摄体的网格当中的附加有标志“0”的网格的面积相加来计算遮挡区域的面积。
在步骤S2050中，信息生成单元205生成与可见性确定的结果相对应的可见性信息。具体地，信息生成单元205生成指示与多个视场信息102中的各个相对应的遮挡区域的标志图像。另外，信息生成单元205生成指示基于可见性确定单元204针对各个视场信息102计算的遮挡区域的面积而对视场信息102进行排序(排名)的结果的信息。可以使用快速排序作为排序算法，但也可以使用其他算法，例如冒泡排序(bubble sort)，而不限于快速排序。在步骤S2060中，信息生成单元205将标志图像和指示排序结果的信息作为可见性信息输出到显示装置300。显示装置300使用参照图3B所述的处理方法生成并显示叠加了可见性信息的虚拟视点图像。
图7例示了叠加图像96作为叠加了可见性信息的虚拟视点图像的示例。在指示裁判22的视点的照相机模型90的前、后、左、右显示指示四个不同视点的图标91。在各个图标91上，显示指示从各视点观看的遮挡区域的面积的数值。与具有最小的遮挡区域面积的视点相对应的图标91与“最佳”的字母一起被突出显示(图7的示例中箭头的颜色改变)。用于强调图标91的方法不限于此，并且可以改变图标91的渲染方法。
位于裁判22的身后的视点位于叠加图像96的范围之外。因此，不显示与该视点对应的照相机模型，仅显示指示视点所在方向的箭头和遮挡区域的面积。遮挡区域80指示从作为基准的裁判22的视点观看的遮挡区域。然而，可以以可区分的方式显示与多个视点中的各个相对应的遮挡区域。显示具有最小面积的遮挡区域不限于上述方法。这同样适用于边界85的显示。
如上所述，识别出从裁判22附近的多个视点的盲点，显示具有较小盲点的视点，从而虚拟视点图像的观看者可以容易地确认裁判22应该移动以使盲点变小的位置。
根据上述示例，进行了指示具有小遮挡区域的视点的显示。然而，不限于上述示例，例如，可以进行用于指示与各个视点对应的遮挡区域的大小顺序的显示和用于指示具有较大遮挡区域的视点的显示。可以进行用于指示具有遮挡区域大小小于阈值的视点的显示，或者反之，可以进行用于指示具有大小为阈值或更大的遮挡区域的视点的显示。根据上述示例，显示分别与多个视点对应的遮挡区域的大小的比较结果。然而，不限于上述示例，可以显示分别与多个视点相对应的可见区域的大小的比较结果，也可以显示分别与多个视点相对应的不可见区域的大小的比较结果。
根据上述示例，面积被用作指示区域大小的指标。然而，体积也可以用作指示区域大小的指标。在这种情况下，光束40从由视场信息102指示的视点发射到与摄像区域相关联的三维空间中的各个体素，并且标志“1”附加到存在于空间中的体素上，直到光束40首先击中被摄体。以上述方式附加有标志“1”的三维位置是指从视场信息102所指示的视点可以看到的位置。可见区域的体积可以通过对附加有标志“1”的体素的数量进行计数来计算。遮挡区域和范围外区域的体积也可以以类似的方式计算。在这种情况下，与各个视点对应的遮挡区域的体积可以作为可见性信息的一部分显示在叠加图像96中。
根据上述示例，多个待比较的视点以相等的间隔定位。但是，不限于上述示例，例如，可以获得分别与多个裁判的视点对应的多个视场信息102，并且可以将这些视点相互比较。由此可以确认哪个裁判的视点包括最小盲点。待比较的多个视点可以基于用户操作任意指定。
接下来，将描述将指示从指定视点观看特定被摄体的可见性的信息用作可见性信息的情况。在这种情况下，在图3A所示的步骤S2040中，可见性确定单元204确定是否能够从视场信息102指示的视点看到摄像区域中的特定被摄体。例如，假设选择球15作为可见性确定的目标的被摄体。可见性确定单元204计算在构建球15的三维模型的多个网格中包括的、附加有指示“可见”的标志“1”的网格与附加有指示“不可见”的标志“0”或“-1”的网格的比。
在标志“0”或“-1”的比超过预定比的情况下，例如，50％，信息生成单元205将指示从裁判22无法看到球15的信息作为可见性信息输出到显示装置300。上述预定比可以基于针对信息处理装置200的用户操作来设定，也可以是与从信息处理装置200的外部获得的参数对应的比。图8例示了摄像区域和显示装置300上的显示的情况的示例。在从由视场信息102指示的裁判22的视点无法看到大多数构建球15的三维模型的网格或预定比的情况下，在显示装置300上显示指示可见性确定的结果的图标94作为可见性信息。图标94可以叠加在虚拟视点图像上显示。
如上所述，通过指定从裁判22的视点的盲点，并显示指示球15是否在盲点内(球15是否位于不可见区域)，虚拟视点图像的观看者可以容易地识别出从裁判22无法看到球15。
根据上述示例，在从与视场信息102所对应的视点无法看到球15的预定比或更多的部分的情况下，显示可见性信息。相反，在能够看到球15的预定比或更多的部分的情况下，可以显示指示该情况的可见性信息。换句话说，可见性信息是指示特定被摄体球15是否位于可见区域的信息。此外，依赖于球15是否可见的情况，可以显示不同的可见性信息。另外，依赖于球15是位于遮挡区域还是范围外区域的情况，可以显示不同的可见性信息。根据上述示例，将球15描述为要成为可见性确定的目标的被摄体。然而，该被摄体可以是摄像区域中的特定的运动员和特定位置，而不限于上述示例。可以基于信息处理装置200接收的用户操作来设定可见性确定的目标，可以有多个被摄体作为可见性确定的目标。
信息处理装置200可以确定从与多个视场信息102分别对应的多个视点观看的特定被摄体的可见性。例如，信息处理装置200可以确定是否可以从多个裁判的各视点看到球15，并显示指示从哪个裁判可以看到球15的信息作为可见性信息。
如上所述参照多个示例，图像处理系统1获得表示由多个摄像装置100从不同方向拍摄的摄像区域中的被摄体的位置和形状的被摄体信息101。图像处理系统1基于被摄体信息101区分从摄像区域的特定位置可以看到的可见区域和由于被摄体被遮挡而从特定位置无法看到的遮挡区域。图像处理系统1生成显示有基于区分结果的信息的虚拟视点图像。该虚拟视点图像是基于根据由多个摄像装置100摄像的图像数据和指示虚拟视点的位置和方向的虚拟视点信息103。根据上述构造，可以容易地区分从特定位置可以看到的区域和由于遮挡而无法从特定位置看到的区域。
根据上述例示性实施例，主要描述了如下情况，即基于关于与裁判22对应的视点的视场信息102和被摄体信息101，生成指示是否可以从裁判22看到摄像区域中的各个区域的可见性信息。然而，例如，信息处理装置200可以获得与裁判22的左眼和右眼分别对应的视场信息102，并以可区分的方式生成指示仅能被左眼看到的区域、仅能被右眼看到的区域以及能被双眼看到的区域的可见性信息。视场信息102不仅可以包括关于视点的位置和方向以及视场的大小的信息，还可以包括关于人物(例如，裁判22)的视力的信息或关于摄像区域的环境的信息(例如，关于天气、亮度和光源的位置的信息)。信息处理装置200可以使用上述视场信息102以可区分的方式生成指示从特定视点可以清楚地看到的区域和从特定视点无法清楚地看到的区域的可见性信息。根据上述构造，可以更详细地验证在某场景中从特定视点在的可见性。
根据上述例示性实施例，描述了信息处理装置200在特定时间输出从视点的可见性确定的结果的示例。然而，信息处理装置200可以在视点变化的多个时间汇总并输出可见性确定的结果。例如，可以绘制并输出从四处移动的裁判22的视点每次观看的不可见区域的面积和体积。作为另选，可以测量并输出不可见区域的面积和体积超过阈值或球15进入不可见区域的时长。整场比赛的时长可用于对裁判22的动作进行评分。此外，例如，可以将指示在多个时间的可见区域的叠加部分(在任何时间都可见的区域)和不可见区域的叠加部分(在某些时间不可见的区域)的信息，作为可见性信息输出。
根据本公开，可以容易地区分从特定位置可以看到的区域和由于遮挡而无法从该位置看到的区域。
<其它实施例>
还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本公开的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本公开的实施例。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括单独的计算机或单独的处理器的网络以读出并执行计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD))、闪存设备以及存储卡等中的一个或更多个。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经针对例示性实施例描述了本公开，但是权利要求的范围应被赋予最宽的解释以涵盖所有这样的变型以及等同的结构和功能。

Claims (22)

1.一种信息处理装置，包括：
获得单元，其被构造为获得表示摄像区域中被摄体的位置和形状的被摄体信息，其中，由多个摄像装置从不同方向对所述摄像区域进行摄像；
区分单元，其被构造为基于由所述获得单元获得的所述被摄体信息，来区分摄像区域中从特定位置能够看到的可见区域和由于被被摄体遮挡而从所述特定位置无法看到的遮挡区域；以及
生成单元，其被构造为生成显示基于所述区分单元的区分结果的信息的虚拟视点图像，所述虚拟视点图像基于根据由多个摄像装置进行摄像的图像数据和指示虚拟视点的位置和方向的虚拟视点信息。
2.根据权利要求1所述的信息处理装置，其中，显示在虚拟视点图像上的基于区分结果的信息包括，指示可见区域的信息和指示遮挡区域的信息中的至少任一者。
3.根据权利要求2所述的信息处理装置，其中，显示在虚拟视点图像上的基于区分结果的信息包括，覆盖虚拟视点图像中的可见区域的图像和覆盖虚拟视点图像中的遮挡区域的图像中的至少任一者。
4.根据权利要求1至3中的任一项所述的信息处理装置，所述信息处理装置还包括视场信息获得单元，所述视场信息获得单元被构造为获得与特定位置的视点有关的视场信息，所述视场信息指示作为视点位置的特定位置、视点位置的视线方向以及以视线方向为中心的视场大小，
其中，所述区分单元将由所述视场信息获得单元获得的视场信息所指定的视场的范围中包括的区域中的、在视点的位置之间不存在被摄体的区域区分为可见区域，在视点的位置之间存在被摄体的区域区分为遮挡区域。
5.根据权利要求1至3中的任一项所述的信息处理装置，
其中，所述可见区域包括在从所述特定位置观看的预定角度范围内，并且
其中，所述区分单元对可见区域与不包括在从特定位置观看的预定角度范围内的范围外区域进行区分。
6.根据权利要求5所述的信息处理装置，其中，在虚拟视点图像上显示的基于区分结果的信息包括指示包括，遮挡区域和范围外区域的不可见区域的信息。
7.根据权利要求6所述的信息处理装置，其中，在虚拟视点图像上显示的基于区分结果的信息包括，覆盖虚拟视点图像中的不可见区域的图像。
8.根据权利要求1至3中的任一项所述的信息处理装置，其中，在虚拟视点图像上显示的基于区分结果的信息包括，指示摄像区域中的特定被摄体是否位于可见区域的信息。
9.根据权利要求1至3中的任一项所述的信息处理装置，其中，在虚拟视点图像上显示的基于区分结果的信息包括，指示遮挡区域的面积或体积的信息。
10.根据权利要求1至3中的任一项所述的信息处理装置，其中，在虚拟视点图像上显示的基于区分结果的信息包括，指示在摄像区域中的多个特定位置中由于遮挡而无法看到区域的特定位置较小的信息。
11.根据权利要求1至3中的任一项所述的信息处理装置，
其中，所述特定位置是与摄像区域中的被指定的被摄体相对应的位置，并且
其中，所述遮挡区域是指由于被其他被摄体遮挡而从所述特定位置无法看到的区域。
12.根据权利要求11所述的信息处理装置，
其中，被指定的被摄体是人物，并且
其中，所述特定位置是人物的头部或眼睛的位置。
13.根据权利要求1至3中的任一项所述的信息处理装置，其中，所述被摄体信息表示被摄体的三维位置和三维形状。
14.一种信息处理装置，包括：
获得单元，其被构造为获得表示摄像区域中的被摄体的位置和形状的被摄体信息，所述被摄体信息基于由多个摄像装置从不同方向对摄像区域进行摄像而获得的图像数据而生成，
生成单元，其被构造为基于由所述获得单元获得的被摄体信息，生成能够区分从与摄像区域中的指定被摄体对应的特定位置能够看到可见区域和由于被其他被摄体遮挡而从特定位置无法看到的遮挡区域的信息；以及
输出单元，其构造为输出由所述生成单元生成的信息。
15.根据权利要求14所述的信息处理装置，
其中，所述可见区域包括在从所述特定位置观看的预定角度范围内，并且
其中，由所述生成单元生成的信息能够对可见区域和不包括在从特定位置观看的预定角度范围内的范围外区域进行区分。
16.根据权利要求15所述的信息处理装置，其中，由所述生成单元生成的信息能够对遮挡区域和范围外区域进行区分。
17.一种信息处理方法，包括：
获得表示摄像区域中被摄体的位置和形状的被摄体信息，其中，由多个摄像装置从不同方向对所述摄像区域进行摄像；
基于由通过所述获得而获得的所述被摄体信息，来区分摄像区域中从特定位置能够看到的可见区域和由于被被摄体遮挡而从所述特定位置无法看到的遮挡区域；以及
生成显示基于所述区分的结果的信息的虚拟视点图像，所述虚拟视点图像基于根据由多个摄像装置进行摄像的图像数据和指示虚拟视点的位置和方向的虚拟视点信息。
18.根据权利要求17所述的信息处理方法，其中，在虚拟视点图像上显示的基于区分的结果的信息包括指示可见区域的信息和指示遮挡区域的信息中的至少任一者。
19.根据权利要求17或18所述的信息处理方法，
其中，所述特定位置是与摄像区域中的被指定的被摄体相对应的位置，并且
其中，所述遮挡区域是指由于被其他被摄体遮挡而从所述特定位置无法看到的区域。
20.一种信息处理方法，包括：
获得表示摄像区域中的被摄体的位置和形状的被摄体信息，所述被摄体信息基于由多个摄像装置从不同方向对摄像区域进行摄像而获得的图像数据而生成，
基于通过所述获得而获得的被摄体信息，生成能够区分从与摄像区域中的指定被摄体对应的特定位置能够看到可见区域和由于被其他被摄体遮挡而从特定位置无法看到的遮挡区域的信息；以及
输出通过所述生成而生成的信息。
21.一种非暂时性计算机可读存储介质，其存储有使计算机执行信息处理方法的程序，所述信息处理方法包括：
获得表示摄像区域中被摄体的位置和形状的被摄体信息，其中，由多个摄像装置从不同方向对所述摄像区域进行摄像；
基于由通过所述获得而获得的所述被摄体信息，来区分摄像区域中从特定位置能够看到的可见区域和由于被被摄体遮挡而从所述特定位置无法看到的遮挡区域；以及
生成显示基于所述区分的结果的信息的虚拟视点图像，所述虚拟视点图像基于根据由多个摄像装置进行摄像的图像数据和指示虚拟视点的位置和方向的虚拟视点信息。
22.一种存储介质，其存储有使计算机用作根据权利要求1至16中的任一项所述的信息处理装置的程序。
CN202110171250.1A 2020-02-18 2021-02-08 信息处理装置、信息处理方法以及存储介质 Pending CN113347348A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-024926 2020-02-18
JP2020024926A JP7427468B2 (ja) 2020-02-18 2020-02-18 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN113347348A true CN113347348A (zh) 2021-09-03

Family

ID=77273166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110171250.1A Pending CN113347348A (zh) 2020-02-18 2021-02-08 信息处理装置、信息处理方法以及存储介质

Country Status (4)

Country Link
US (1) US20210258560A1 (zh)
JP (2) JP7427468B2 (zh)
KR (1) KR102623700B1 (zh)
CN (1) CN113347348A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116736868A (zh) * 2023-08-11 2023-09-12 松灵机器人(深圳)有限公司 机器人移动控制方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024070762A1 (ja) * 2022-09-29 2024-04-04 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5302227B2 (ja) 2010-01-19 2013-10-02 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
JP6555513B2 (ja) 2015-06-30 2019-08-07 株式会社セガゲームス プログラム
JP6929047B2 (ja) * 2016-11-24 2021-09-01 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP7086522B2 (ja) * 2017-02-28 2022-06-20 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
WO2019050038A1 (ja) 2017-09-11 2019-03-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像生成方法および画像生成装置
JP7080613B2 (ja) 2017-09-27 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2019083402A (ja) 2017-10-30 2019-05-30 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP7109907B2 (ja) 2017-11-20 2022-08-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2019021333A (ja) 2018-09-19 2019-02-07 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム
US11869135B2 (en) * 2020-01-16 2024-01-09 Fyusion, Inc. Creating action shot video from multi-view capture data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116736868A (zh) * 2023-08-11 2023-09-12 松灵机器人(深圳)有限公司 机器人移动控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2021131583A (ja) 2021-09-09
US20210258560A1 (en) 2021-08-19
JP2024032826A (ja) 2024-03-12
JP7427468B2 (ja) 2024-02-05
KR20210105302A (ko) 2021-08-26
KR102623700B1 (ko) 2024-01-11

Similar Documents

Publication Publication Date Title
US10917622B2 (en) Information processing apparatus, display control method, and storage medium
US10986324B2 (en) Image processing apparatus, image processing method and storage medium for virtual viewpoint image creation
JP7277085B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2024032826A (ja) 情報処理装置、情報処理方法、及びプログラム
US11270499B2 (en) Multi line trace gaze to object mapping for determining gaze focus targets
US20120072857A1 (en) Computer-readable storage medium, display control apparatus, display control method and display control system
JP7164968B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
US11776213B2 (en) Pose generation apparatus, generation method, and storage medium
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
WO2017169273A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5735861B2 (ja) 画像表示プログラム、画像表示装置、画像表示方法、画像表示システム、マーカ
JP4214291B1 (ja) 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ
KR20180123302A (ko) 볼의 궤적을 시각화하는 방법 및 장치
US11468258B2 (en) Information processing apparatus, information processing method, and storage medium
JP2004030408A (ja) 三次元画像表示装置及び表示方法
WO2017169272A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11935182B2 (en) Information processing apparatus, information processing method, and storage medium
US20240037843A1 (en) Image processing apparatus, image processing system, image processing method, and storage medium
ES2915835T3 (es) Mapeo de mirada a objeto de traza de múltiples líneas para determinar objetivos de enfoque de mirada
US11361511B2 (en) Method, mixed reality system and recording medium for detecting real-world light source in mixed reality
US11928831B2 (en) Information processing apparatus, shape data generation method, and storage medium
US20230390622A1 (en) Sports training aid
US20240185465A1 (en) Methods, systems, and media for determining viewability of a content item in a virtual environment having particles
JP2021149192A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2021182259A (ja) 検出用マーカ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination