CN117616463A - 信息处理装置、信息处理方法及程序 - Google Patents

Abstract

本公开涉及能够扩展视频表现的范围的信息处理装置、信息处理方法和程序。提供了一种信息处理装置，包括处理单元，该处理单元基于通过3D扫描真实空间获得的扫描结果，执行用相关联的内容替换对应于真实空间的区域的处理。该处理单元基于与真实空间中的对象、形状、大小、颜色和材料中的至少一个相关的信息，将内容与对应于真实空间的区域相关联。例如，本公开可以应用于具有各种传感器的电子装置。

Description

信息处理装置、信息处理方法及程序

技术领域

本公开涉及信息处理装置、信息处理方法及程序，并且具体涉及能够扩展视频表现的范围的信息处理装置、信息处理方法及程序。

背景技术

为了将环境网格和3D对象的识别结果用于游戏或社交联网服务(SNS)的视频拍摄，在一些情况下，使用各种视频处理来生成增强现实(AR)视频。作为用于生成增强现实视频的技术，例如，已知在专利文献1中公开的技术。

引用列表

专利文献

专利文献1：JP 2020-64592 A。

发明内容

技术问题

在增强现实视频的生成中，需要用于扩展视频表现的范围的技术。

鉴于此类情况，本公开涉及扩展视频表现的范围。

问题的解决方案

根据本公开的一方面的信息处理装置是包括处理单元的信息处理装置，该处理单元基于通过真实空间的3D扫描获得的扫描结果，执行用相关联的内容替换对应于真实空间的区域的处理，其中，该处理单元基于关于真实空间中的对象、形状、大小、颜色和材料中的至少一个的信息，将内容与对应于真实空间的区域相关联。

根据本公开的一方面的信息处理方法是使信息处理装置基于通过真实空间的3D扫描获得的扫描结果，执行用于用相关联的内容替换对应于真实空间的区域的处理，以及基于关于真实空间中的对象、形状、大小、颜色和材料中的至少一个的信息，将内容与对应于真实空间的区域相关联的信息处理方法。

根据本公开的一方面的程序是使计算机用作信息处理装置的程序，该信息处理装置包括：处理单元，该处理单元基于通过真实空间的3D扫描获得的扫描结果，执行用于用相关联的内容替换对应于真实空间的区域的处理，其中，该处理单元基于关于真实空间中的对象、形状、大小、颜色和材料中的至少一个的信息，将内容与对应于真实空间的区域相关联。

在根据本公开的一方面的信息处理装置、信息处理方法及程序中，基于通过真实空间的3D扫描获得的扫描结果，用相关联的内容替换对应于真实空间的区域，以及基于关于真实空间中的对象、形状、大小、颜色和材料中的至少一个的信息，将内容与对应于真实空间的区域相关联。

根据本公开的一方面的信息处理装置可以是独立装置或者可以是构成装置的内部块。

附图说明

图1为示出应用本公开的信息处理装置的实施例的配置示例的框图。

图2是示出应用本公开的信息处理装置的功能配置示例的框图。

图3是示出AR处理单元的详细配置示例的框图。

图4是示出由应用本公开的信息处理装置执行的处理的流程的流程图。

图5是用于描述AR处理的细节的流程图。

图6示出了AR应用的显示的第一示例。

图7示出了AR应用的显示的第二示例。

图8示出了AR应用的显示的第三示例。

图9示出了包括用于执行应用本公开的处理的装置的系统的配置示例。

图10是示出电子装置的配置示例的框图。

图11是示出边缘服务器或云服务器的配置示例的框图。

图12是示出光学传感器的配置示例的框图。

具体实施方式

<1.本公开的实施例>

(装置配置)

图1是示出应用本公开的信息处理装置的实施例的配置示例的框图。

信息处理装置10是电子装置，例如，智能电话、平板型终端或移动电话。

信息处理装置10包括：控制每个单元的操作并执行各种处理的中央处理单元(CPU)100；专用于图像处理和并行处理的图形处理单元(GPU)101；例如动态随机存取存储器(DRAM)的主存储器102；以及例如闪存的辅助存储器103。这些单元和存储器经由总线112彼此连接。

辅助存储器103记录程序、各种参数和数据。CPU 100将记录在辅助存储器103中的程序和参数扩展到主存储器102中，并执行程序。当执行程序时，必要时可以使用记录在辅助存储器103中的数据。GPU 101可以类似地执行记录在辅助存储器103中的程序。

在信息处理装置10中，包括物理按钮和触摸面板的操作系统104、显示文本信息和视频的显示器105、输出声音的扬声器106、以及通信I/F 107(例如，符合预定通信方案的通信模块)附加地连接到总线112。作为通信方案，例如包括诸如第5代(5G)和无线局域网(LAN)的移动通信系统。

此外，在信息处理装置10中，RGB传感器108、惯性测量单元(IMU)109、测距传感器110和全球定位系统(GPS)111连接至总线112。

RGB传感器108是包括例如互补金属氧化物半导体(CMOS)图像传感器的图像传感器的图像传感器。RGB传感器108捕获对象的图像并输出所捕获的图像。作为所捕获的图像，输出由R(红)、G(绿)、B(蓝)三原色表现一个像素的RGB图像。

IMU 109是包括三轴加速度计和三轴陀螺仪的惯性测量单元。IMU 109测量三维加速度和角速度并且输出通过测量获得的加速度信息。

测距传感器110是例如飞行时间(ToF)传感器的测距传感器。ToF传感器可以与直接飞行时间(dToF)方案和间接飞行时间(iToF)方案中的任一个兼容。测距传感器110测量到对象的距离并且输出通过测量获得的距离测量信息。此外，测距传感器110可以是结构光传感器、光检测和测距(LiDAR)传感器或用于通过使用多个传感器测量距离的立体相机。

GPS111通过从GPS卫星接收信号来测量当前位置并且输出通过测量获得的位置信息。GPS是卫星定位系统的示例。可以替代地使用其他卫星定位系统。

图1所示的硬件配置仅是示例性的，并且可以添加其他组成元件或者可以省略一些组成元件。在图1中，CPU 100和GPU 101可以分别被配置为片上系统(SoC)。在CPU 100执行稍后将描述的用于AR处理的程序的情况下，可以省略GPU 101。

(功能配置)

图2是示出应用本公开的信息处理装置的功能配置示例的框图。

在图2中，信息处理装置10包括RGB图像获取单元151、加速度信息获取单元152、距离测量信息获取单元153、位置信息获取单元154、天气信息获取单元155、时间信息获取单元156、对象检测单元157、SLAM处理单元158、点云生成单元159、建模单元160、3D对象/材料识别单元161、网格聚类单元162、形状识别单元163、语义分割单元164和AR处理单元165。这些框被配置为执行用于增强现实(AR)的处理的处理单元。

RGB图像获取单元151获取由RGB传感器108捕获的RGB图像并且将该图像提供给对象检测单元157、SLAM处理单元158以及语义分割单元164。

加速度信息获取单元152获取由IMU 109测量的加速度信息并且将该信息提供给SLAM处理单元158。

距离测量信息获取单元153获取由测距传感器110测量的距离测量信息并且将该信息提供给SLAM处理单元158、点云生成单元159以及3D对象/材料识别单元161。

距离测量信息包括深度图像和IR反射率信息。向SLAM处理单元158和点云生成单元159提供深度图像作为距离测量信息。IR反射率信息被提供给3D对象/材料识别单元161。

深度图像例如是具有每个像素的深度值的深度图。IR反射率信息例如是具有每个像素的红外(IR)值的红外图像。例如，如果测距传感器110是ToF传感器，则根据从发光装置向目标对象照射红外光到反射光的返回的时间来计算到目标对象的表面的距离。在该方法中，从由光接收元件接收的反射光(红外光)生成图像，使得通过累积图像获得红外图像。

位置信息获取单元154获取由GPS111测量的位置信息并且将该信息提供给AR处理单元165。位置信息是指示信息处理装置10的位置的信息。

天气信息获取单元155经由通信I/F 107从网络(例如，因特网)上的服务器获取天气信息并且将该信息提供给AR处理单元165。天气信息包括指示晴、多云和多雨天气的信息和关于空气温度等的信息。

时间信息获取单元156获取包括当前时间和日期的时间信息，并将该信息提供给AR处理单元165。作为时间信息，也可以获取在信息处理装置10中管理的时间信息，或者可以通过通信I/F 107获取由网络(例如，因特网)上的服务器管理的时间信息。

对象检测单元157检测包括在从RGB图像获取单元151提供的RGB图像中的对象并且将检测结果提供给3D对象/材料识别单元161。

来自RGB图像获取单元151的RGB图像、来自加速度信息获取单元152的加速度信息、以及来自距离测量信息获取单元153的深度图像被提供给SLAM处理单元158。SLAM处理单元158基于RGB图像、加速度信息和深度图像来执行同时本地化和映射(SLAM)处理。

在SLAM处理中，执行诸如使用RGB图像和加速度信息的自身位置估计的处理，并且获得关于信息处理装置10(RGB传感器108)的位置和定向的姿态信息。SLAM处理单元158将该姿态信息提供给3D对象/材料识别单元161和建模单元160。

在SLAM处理中，深度图像并不总是必要的。然而，可以通过使用用作距离测量信息的深度图像来求解标度来提高SLAM处理的精度。此外，在SLAM处理中，可以在不使用加速度信息的情况下计算姿态信息。

点云生成单元159基于从距离测量信息获取单元153提供的深度图像生成点云，并且将该点云提供给建模单元160。点云是包括关于三维坐标和颜色等的信息的点群数据。

来自SLAM处理单元158的姿态信息和来自点云生成单元159的点云被提供给建模单元160。建模单元160基于姿态信息和点云执行建模。

在建模中，生成通过多边形网格结构表示真实空间的环境的环境网格。换句话说，真实空间的环境被三维扫描并且通过多边形网格结构来建模。建模单元160将环境网格提供给3D对象/材料识别单元161、网格聚类单元162和形状识别单元163。

来自距离测量信息获取单元153的IR反射率信息、来自对象检测单元157的对象检测结果、来自SLAM处理单元158的姿态信息、以及来自建模单元160的环境网格被提供给3D对象/材料识别单元161。3D对象/材料识别单元161基于姿态信息、对象检测结果、IR反射率信息和环境网格执行用于识别3D对象和材料的识别。

在3D对象的识别中，通过使用对象检测结果(RGB图像)和包括姿态信息的信息来识别真实空间中的诸如椅子、沙发、床、电视、人、塑料瓶和书的对象。在材料的识别中，通过使用包括对象检测结果(RGB图像)、IR反射率信息和环境网格的信息来识别诸如木材、金属、石材、织物和布的材料。3D对象/材料识别单元161将3D对象和材料的识别结果提供给AR处理单元165。

在材料的识别中，IR反射率信息和环境网格的使用并不总是必要的。当识别材料时，通过使用IR反射率信息(红外图像)以及关于RGB图像的信息来增加信息量，使得可以以更高的精度识别材料。在材料的识别中，可以另外使用由形状识别单元163识别的形状的识别结果。

网格聚类单元162基于从建模单元160提供的环境网格执行网格聚类，并且将网格聚类结果提供给AR处理单元165。

在网格聚类中，通过使用聚类方法将环境网格分组为地板、天花板、墙壁、窗户、门、椅子、沙发、以及床等。换句话说，多边形网格是包括用于定义对象的形状的顶点的集合的信息。该顶点的集合(包括地板)被识别为对顶点进行分组。

当执行网格聚类时，可以使用语义分割单元164的语义分割的识别结果。在语义分割中，可以基于RGB图像来识别形成特征类别的像素集合。

形状识别单元163基于从建模单元160提供的环境网格执行用于识别形状和大小的识别，并将形状和大小的识别结果提供给AR处理单元165。

在形状和大小的识别中，识别例如空间、突起和凹部的特定形状和大小。例如，作为空间的形状和大小，识别存在大的空间。具体地，环境网格由包括顶点的集合等的多边形网格表示，使得可以从多边形网格识别诸如正方形和凹部的特定形状。在识别中，确定多边形网格的聚类是否与特定形状一致。该确定可以是基于规则的，或者可以通过使用通过利用学习数据(诸如RGB图像)的机器学习的学习的模型来进行。

3D对象和来自3D对象/材料识别单元161的材料的识别结果、来自网格聚类单元162的聚类结果和来自形状识别单元163的形状和大小的识别结果被提供给AR处理单元165。3D对象的识别结果包括关于对象(椅子、沙发等)和颜色的信息。换句话说，将关于对象、形状、大小、颜色和材料的信息与聚类结果一起提供给AR处理单元165。可以提供关于对象、形状、大小、颜色和材料中的至少一个的信息。

此外，来自位置信息获取单元154的位置信息、来自天气信息获取单元155的天气信息以及来自时间信息获取单元156的时间信息被提供给AR处理单元165。

AR处理单元165基于3D对象和材料的识别结果、聚类结果、形状和大小的识别结果、位置信息、天气信息以及时间信息来执行用于生成增强现实(AR)视频的AR处理。在AR处理期间，AR处理单元165可以适当地读取并使用记录在辅助存储器103中的数据(关于诸如AR对象的内容的数据)。

图3示出了AR处理单元165的详细配置示例。在图3中，AR处理单元165包括对象生成单元191、变形单元(morphing unit)192和效果处理单元193。

对象生成单元191生成用作增强现实视频的AR对象。例如，作为AR对象，生成包括诸如船的交通工具、诸如房屋的建筑物、诸如树和花的植物、诸如动物和昆虫的生物、气球、火箭和人(角色)的对象。

变形单元192执行变形并替换多边形网格和对象。在变形中，执行处理以显示从一个对象到另一对象自然变形的视频。例如，在多边形网格的替换中，用例如天空、海洋、瀑布和地面的图像来替换通过网格聚类而分组的多边形网格。在对象的替换中，用对应于背景信息的计算机图形(CG)模型来替换被识别为3D对象的人。

效果处理单元193执行使用视觉效果(VFX)的效果处理，并获得在真实空间中不现实的视频效果。例如，作为VFX，可以执行处理以根据白天或夜间小时以及天气(诸如，多云天气)改变照明或者对画面产生对应于天气(例如，雨或雪)的效果。

对象生成单元191、变形单元192和效果处理单元193可以在单元处理期间使用各种信息。例如，在效果处理单元193中，可以处理内容，例如，可以基于包括位置信息、天气信息和时间信息的附加信息，根据诸如位置、天气和时间段的条件来改变照明。通过使用包括位置信息、天气信息和时间信息的信息，可以根据该信息生成增强现实视频。

在如此配置的信息处理装置10中，通过包括AR处理单元165的处理单元基于通过真实空间的3D扫描获得的扫描结果，对应于真实空间的区域被处理为用相关联的内容替换。在内容的相关联中，基于关于真实空间中的对象、形状、大小、颜色和材料中的至少一个的信息，将内容与对应于真实空间的区域相关联。

更具体地，AR处理单元165基于关于真实空间中的对象的信息将内容与具有特定对象的区域相关联。基于由RGB传感器108捕获的RGB图像来识别对象。此外，AR处理单元165基于关于真实空间中的形状的信息将内容与具有特定形状的区域相关联。基于由RGB传感器捕获的RGB图像、由IMU 109测量的加速度信息以及由测距传感器110测量的距离测量信息来识别形状。

AR处理单元165基于关于真实空间中的大小的信息将内容与具有特定大小的区域相关联。基于由RGB传感器捕获的RGB图像、由IMU 109测量的加速度信息以及由测距传感器110测量的距离测量信息来识别大小。AR处理单元165基于关于真实空间中的颜色的信息将内容与具有特定颜色的区域相关联。基于由RGB传感器108捕获的RGB图像来识别颜色。

AR处理单元165基于关于真实空间中的材料的信息将内容与具有特定材料的区域相关联。基于由RGB传感器108捕获的RGB图像和由测距传感器110测量的距离测量信息来识别材料。

在AR处理单元165中，对象生成单元191的对象生成和效果处理单元193的效果处理是根据需要执行的处理。在图2中，框之间的箭头示出了在框之间交换的信号和数据的流。虚线箭头指示信号和数据的流不是必需的。

(处理的流程)

参考图4和图5的流程图，下面将描述由应用本公开的信息处理装置执行的处理的流程。在信息处理装置10(例如，智能电话)中，从因特网上的服务器下载并启动用于显示增强现实视频的AR应用。例如，当在AR应用启动时执行预定用户操作时，在信息处理装置10中执行由图4的流程图指示的处理。

在步骤S11中，获取单元根据需要获取数据。RGB图像、加速度信息、以及距离测量信息分别由RGB图像获取单元151、加速度信息获取单元152、以及距离测量信息获取单元153获取。此外，位置信息、天气信息和时间信息分别由位置信息获取单元154、天气信息获取单元155和时间信息获取单元156获取。

在步骤S12中，SLAM处理单元158基于RGB图像、加速度信息和深度图像执行SLAM处理并且计算姿态信息。在SLAM处理中，适当使用加速度信息和深度图像，并且通过至少使用RGB图像来计算姿态信息。

在步骤S13中，点云生成单元159基于深度图像生成点云。

在步骤S14中，建模单元160基于姿态信息和点云执行建模，并且生成环境网格。

在步骤S15中，3D对象/材料识别单元161基于姿态信息、对象检测结果、IR反射率信息和环境网格执行用于识别3D对象和材料的识别。

在3D对象的识别中，通过使用包括对象检测结果(RGB图像)和姿态信息的信息来识别真实空间中的对象。在材料的识别中，通过使用包括对象检测结果(RGB图像)、IR反射率信息和环境网格的信息来识别材料。在材料的识别中，IR反射率信息和环境网格被适当地使用。

在步骤S16中，网格聚类单元162基于环境网格执行网格聚类。在网格聚类中，通过使用聚类方法对环境网格(多边形网格的聚类)进行分组。当执行网格聚类时，可以使用语义分割的识别结果。

在步骤S17中，形状识别单元163基于环境网格执行用于识别形状和大小的识别。在形状的识别中，环境网格由包括顶点等的集合的多边形网格表示，使得可以从多边形网格识别诸如正方形和凹部的特定形状和大小。

在步骤S18中，AR处理单元165基于包括3D对象和材料的识别结果、形状和大小的识别结果以及聚类结果的信息来执行AR处理。在AR处理中，可以适当地使用包括位置信息、天气信息和时间信息的附加信息。参考图5的流程图，下面将描述AR处理的细节。

在步骤S51中，对象生成单元191执行用于生成诸如船和房屋的AR对象的对象生成。

在步骤S52中，变形单元192执行诸如多边形网格的替换和对象的替换的变形。

在多边形网格的替换中，用天空和海洋的图像来替换通过网格聚类而分组的多边形网格。在对象的替换中，用CG模型等替换被识别为3D对象的人。

在步骤S53中，效果处理单元193执行包括根据诸如时间段和天气的条件改变照明以及对画面产生效果的效果处理。

如上所述，作为AR处理，通过对象生成来生成AR对象，通过变形来替换多边形网格和对象，并且通过效果处理改变照明或对画面产生效果，从而生成增强现实视频。

返回至图4，在步骤S19中，AR处理单元165将通过AR处理获得的AR视频数据输出至显示器105。因此，由AR处理单元165生成的增强现实视频显示在显示器105上。

图6和图7示出了AR应用的显示示例。如图6所示，假设操作信息处理装置10(例如，智能电话)的用户启动AR应用以捕获房间中的沙发的图像。此时，在信息处理装置10中，包括沙发200的视频显示在显示器105上。

在信息处理装置10中，通过AR应用执行图4和图5的流程图所示的处理，使得如图7所示显示增强现实视频。例如，通过执行对象生成和变形作为AR处理来显示对象211和212。通过执行变形作为AR处理，定义地板和墙壁以及沙发200的形状的多边形网格例如被替换为天空和地面。

具体地，显示增强现实视频，使得沙发200的座位部分被地面等的图像213替换，并且建筑物等的对象211和212被放置在图像213上。对象211和212可以是通过对象生成生成的AR对象或诸如通过变形的对象替换替换的CG模型的对象。此外，例如，楼梯可以用瀑布替换，地毯可以用绿地替换，桌子上的塑料瓶可以用火箭替换，或者壁挂钟可以用太阳替换。

描述了由应用本公开的信息处理装置执行的处理。在应用本公开的信息处理装置中，通过执行图4和图5的流程图所示的处理，提高用于对象生成和变形的信息量和信息精度。因此，可以扩展增强现实的视频表现的范围。此外，通过扩展增强现实的视频表现的范围来获得消除视频中的不自然的效果。

为了将环境网格和3D对象的识别结果用于游戏或SNS的视频拍摄，近来已经使用诸如CG对象生成、变形、照明改变和VFX处理的处理来生成增强现实视频。在CG对象的放置中，主要使用网格聚类的结果或3D对象的识别结果。然而，在一些情况下，因为由具有不良精度的网格聚类结果的数量不足或者具有不良精度的3D对象的识别结果的数量不足所引起的信息短缺，所以增强现实的视频表现的范围减小或者视频的吸引性丢失。

相对照地，在应用本公开的信息处理装置中，当基于通过真实空间的3D扫描获得的扫描结果用相关联的内容替换对应于真实空间的区域时，基于关于真实空间中的对象、形状、大小、颜色和材料中的至少一个的信息，内容与对应于真实空间的区域相关联。因此，AR处理中使用的信息增加，从而扩展增强现实的视频表现的范围。

<2.修改示例>

(多边形网格的显示和编辑)

在信息处理装置10中，执行处理，使得通过多边形网格结构3D扫描并建模真实空间，并且用内容替换多边形网格，从而在显示器105上显示增强现实视频。例如，通过AR应用的用户操作来开始真实空间的3D扫描。此时，在开始真实空间的3D扫描之后并且在用内容替换多边形网格之前，多边形网格的视频可以显示在显示器105上。

图8示出了AR应用的显示示例。在图8中，由房间中的多边形网格221表示的沙发、墙壁以及地板的视频显示在显示器105上。换句话说，图8的显示示例以时间序列示出了图6的捕获视频与图7的增强现实视频之间的中间状态。

此外，AR应用可以提供多边形网格的编辑功能。例如，当用户用手指触摸等对图8中的多边形网格221执行编辑操作时，可以响应于编辑操作处理(变形)多边形网格221。相关数据可以记录在辅助存储器103中以稍后编辑多边形网格221，并且然后可以基于从辅助存储器103读取的数据来编辑多边形网格221。可替代地，可以从AR应用向用户提出多边形网格221的编辑。

(扫描信息的存储)

信息处理装置10可以将通过真实空间的3D扫描获得的扫描结果数据记录在辅助存储器103中。扫描结果数据可以被发送到因特网上的服务器，可以记录在服务器中，并且可以在需要时获取。以这种方式存储扫描结果数据，使得当用户再次访问扫描的真实空间时，可以基于所存储的扫描结果数据在信息处理装置10中显示增强现实视频。

此时，信息处理装置10不需要对真实空间执行3D扫描，从而减少处理负载并缩短显示增强现实视频的时间。可以通过使用诸如位置信息和感测信息的信息来确定用户是否已经访问同一位置。

(另一电子装置的示例)

在前面的描述中，信息处理装置10是移动计算装置，例如，智能电话。信息处理装置10可以是另一电子装置，例如，头戴式显示器(HMD)、可穿戴装置或个人计算机(PC)。

(云的使用)

在前面的描述中，辅助存储器103记录关于诸如信息处理装置10中的AR对象的内容的数据。关于内容的数据可以记录在网络(例如，因特网)上的服务器中，并且可以在需要时获取。

本公开的另一实施例可以具有云计算的配置，在该配置中，通过网络由多个装置共享和协作地处理一个功能。具体地，图2中的信息处理装置10的功能配置示例的至少一些功能可以被提供给云服务器。例如，用于对真实空间执行3D扫描并形成多边形网格的处理可以由本地信息处理装置10执行，并且随后的AR处理可以由云服务器执行。可替代地，云服务器可以设置有图2中的信息处理装置10的功能配置示例的所有功能。例如，本地信息处理装置10将从各种传感器等获得的信息发送到云服务器，使得通过云服务器执行图4和图5的流程图所示的处理。将来自云服务器的处理结果发送到本地信息处理装置10，并且然后显示增强现实视频。

(另一配置示例)

图9示出了包括执行应用本公开的处理的装置的系统的配置示例。

电子装置20001是移动终端，例如，智能电话、平板型终端或移动电话。电子装置20001例如对应于图1的信息处理装置10并且包括对应于RGB传感器108(图1)和测距传感器110(图1)的光学传感器20011。光学传感器是将光转换为电信号的传感器(图像传感器)。电子装置20001通过符合预定通信方案的无线电通信连接到预定位置处的基站20020，使得电子装置20001可以经由核心网络20030连接到网络20040，例如因特网。

用于实现移动边缘计算(MEC)的边缘服务器20002设置在靠近移动终端的位置，例如基站20020与核心网络20030之间的位置。云服务器20003连接到网络20040。边缘服务器20002和云服务器20003可以根据目的执行各种处理。注意，边缘服务器20002可以设置在核心网络20030内部。

电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011执行应用本公开的处理。应用本公开的处理包括图4和图5的流程图所示的步骤中的至少任一个。

在电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011中，应用本公开的处理通过经由诸如中央处理单元(CPU)的处理器执行程序或使用专用硬件(诸如用于特定用途的处理器)来实现。例如，图形处理单元(GPU)可以用作用于特定用途的处理器。

图10示出了电子装置20001的配置示例。电子装置20001包括控制每个单元的操作并执行各种处理的CPU 20101、专用于图像处理和并行处理的GPU 20102、例如动态随机存取存储器(DRAM)的主存储器20103、以及例如闪存的辅助存储器20104。

辅助存储器20104记录包括用于应用本公开的处理的程序和各种参数的数据。CPU20101将记录在辅助存储器20104中的程序和参数扩展到主存储器20103中并执行该程序。可替代地，CPU 20101和GPU 20102将记录在辅助存储器20104中的程序和参数扩展到主存储器20103中并执行该程序。因此，GPU 20102可以用作图形处理单元上的通用计算(GPGPU)。

CPU 20101和GPU 20102可以分别被配置为片上系统(SoC)。在CPU 20101执行应用本公开的AI处理的程序的情况下，可以省略GPU 20102。

此外，电子装置20001包括光学传感器20011、包括物理按钮和触摸面板的操作单元20105、包括至少一个传感器的传感器20106、显示诸如图像和文本的信息的显示器20107、输出声音的扬声器20108、通信I/F20109(例如，符合预定通信方案的通信模块)以及连接这些单元的总线20110。

传感器20106包括各种传感器中的至少一个，各种传感器包括光学传感器(图像传感器)、声音传感器(麦克风)、振动传感器、加速度传感器、角速度传感器、压力传感器、气味传感器和生物传感器。在应用本公开的处理中，从传感器20106中的至少一个传感器获取的数据可以与从光学传感器20011获取的数据(图像数据)一起使用。换句话说，光学传感器20011对应于RGB传感器108(图1)和测距传感器110(图1)，并且传感器20106对应于IMU 109(图1)。

此外，通过传感器融合技术从两个或更多个光学传感器获取的数据或其集成数据可以用于应用本公开的处理。两个或更多个光学传感器可以是光学传感器20011和传感器20106中的光学传感器的组合，或包括在光学传感器20011中的多个传感器。例如，光学传感器包括RGB的可见光传感器、飞行时间(ToF)的测距传感器等、偏振传感器、基于事件的传感器、用于获取IR图像的传感器、以及能够获取多波长的传感器。

在电子装置20001中，诸如CPU 20101和GPU 20102的处理器可以执行应用本公开的处理。在电子装置20001的处理器执行应用本公开的处理的情况下，可以在光学传感器20011获取图像数据之后不需要时间的情况下开始处理，从而实现高速处理。因此，在电子装置20001中，当处理用于要求以短延迟时间发送信息的应用的用途时，用户可以在没有由于延迟引起的任何不舒服感觉的情况下执行操作。此外，在电子装置20001的处理器执行应用本公开的处理的情况下，不同于使用诸如云服务器20003的服务器，可以以低成本实现该处理，同时消除对于服务器使用通信线路和计算机装置的需要。

图11示出了边缘服务器20002的配置示例。边缘服务器20002包括控制每个单元的操作并执行各种处理的CPU 20201以及专用于图像处理和并行处理的GPU 20202。边缘服务器20002进一步包括主存储器20203(例如，DRAM)、辅助存储器20204(例如，硬盘驱动器(HDD)或固态驱动器(SSD))、以及通信I/F 20205(例如，网络接口卡(NIC))，并且这些单元连接至总线20206。

辅助存储器20204记录包括应用本公开的处理的程序和各种参数的数据。CPU20201将记录在辅助存储器20204中的程序和参数扩展到主存储器20203中并执行该程序。可替代地，CPU 20201和GPU 20202通过将记录在辅助存储器20204中的程序和参数在主存储器20203中扩展并执行该程序可以将GPU 20202用作GPGPU。在CPU 20201执行应用本公开的处理的程序的情况下，可以省略GPU 20202。

在边缘服务器20002中，诸如CPU 20201和GPU 20202的处理器可以执行应用本公开的处理。在边缘服务器20002的处理器执行应用本公开的处理的情况下，边缘服务器20002被设置在比云服务器20003更靠近电子装置20001的位置，从而减少处理的延迟。此外，边缘服务器20002与电子装置20001和光学传感器20011相比具有更高的吞吐量(例如，计算速度)，并且因此可以被配置用于通用目的。因此，在边缘服务器20002的处理器执行应用本公开的处理的情况下，如果可以接收数据，则可以执行应用本公开的处理，而不管电子装置20001和光学传感器20011的规格和性能的差异。在边缘服务器20002执行应用本公开的处理的情况下，可以减小电子装置20001和光学传感器20011中的处理负载。

云服务器20003的配置与边缘服务器20002的配置相同，并且因此省略其描述。

在云服务器20003中，诸如CPU 20201和GPU 20202的处理器可以执行应用本公开的处理。云服务器20003与电子装置20001和光学传感器20011相比具有更高的吞吐量(例如，计算速度)，并且因此可以被配置用于通用目的。因此，在云服务器20003的处理器执行应用本公开的处理的情况下，可以执行应用本公开的处理，而不管电子装置20001和光学传感器20011的规格和性能的差异。此外，如果电子装置20001或光学传感器20011的处理器难以执行本公开应用重负载的处理，则云服务器20003的处理器可以执行本公开应用重负载的处理，并且将处理结果的反馈提供给电子装置20001或光学传感器20011的处理器。

图12示出了光学传感器20011的配置示例。光学传感器20011可以例如被配置为具有其中堆叠有多个基板的层叠结构的一个芯片的半导体装置。光学传感器20011被配置为使得基板20301和基板20302被堆叠。光学传感器20011的配置不限于层叠结构。例如，包括成像单元的基板可以包括用于执行应用本公开的处理的CPU或数字信号处理器(DSP)的处理器。

配置有多个二维布置的像素的成像单元20321安装在上基板20301上。用于在成像单元20321中执行图像捕获的处理的成像处理单元20322、将捕获图像和信号处理结果输出至外部的输出I/F 20323、以及控制在成像单元20321中的图像捕获的成像控制单元20324安装在下基板20302上。成像单元20321、成像处理单元20322、输出I/F 20323以及成像控制单元20324构成成像块20311。

安装在下基板20302中的是控制每个单元并执行各种处理的CPU 20331、使用来自外部的捕获图像和信息执行信号处理的DSP 20332、例如静态随机存取存储器(SRAM)或动态随机存取存储器(DRAM)的存储器20333、以及与外部交换必要信息的通信I/F 20334。CPU20331、DSP 20332、存储器20333和通信I/F 20334构成信号处理块20312。CPU 20331和DSP20332中的至少一个处理器可以执行应用本公开的处理。

如上所述，用于应用本公开的处理的信号处理块20312可以安装在其中堆叠有多个基板的层叠结构中的下基板20302上。因此，通过安装在上基板20301上的用于成像的成像块20311获取的图像数据通过安装在下基板20302上的用于应用本公开的处理的信号处理块20312进行处理，从而在单芯片半导体装置中执行一系列处理。

在光学传感器20011中，CPU 20331的处理器等可以执行应用本公开的处理。在光学传感器20011的处理器执行应用本公开的处理的情况下，在单芯片半导体装置中执行一系列处理。这防止信息泄漏到传感器外部，并且因此增强信息的机密性。此外，消除了将诸如图像数据的数据发送到另一装置的需要，使得在光学传感器20011的处理器中，可以高速执行应用本公开的处理，例如，使用图像数据的处理。例如，当处理被用于要求实时性的应用的用途时，可以充分确保实时性。在这种情况下，为了确保实时性指示可以以短延迟时间发送信息。此外，当光学传感器20011的处理器执行应用本公开的处理时，由电子装置20001的处理器传送各种元数据，使得可以减少处理以获得低功耗。

根据本文所描述的程序，由计算机(CPU的处理器等)执行的处理可以不必按照描述为流程图的顺序按时间顺序执行。换句话说，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或通过对象处理)。程序可以由单个计算机(CPU的处理器等)处理，或者由多个计算机以分布式方式处理。

注意，本公开的实施例不限于所描述的实施例，并且在不脱离本公开的要旨的情况下，可以以各种方式进行修改。本说明书中描述的有益效果仅是示例性的并且不受限制，并且可以获得其他有益效果。

本公开还可以配置如下：

(1)

一种信息处理装置，包括：处理单元，该处理单元基于通过真实空间的3D扫描获得的扫描结果，执行用于用相关联的内容替换对应于真实空间的区域的处理，

其中，该处理单元基于关于真实空间中的对象、形状、大小、颜色和材料中的至少一个的信息，将内容与对应于真实空间的区域相关联。

(2)

根据(1)的信息处理装置，进一步包括：记录单元，其记录内容。

(3)

根据(1)或(2)的信息处理装置，其中，处理单元基于关于对象的信息将内容与具有特定对象的区域相关联。

(4)

根据(1)或(2)的信息处理装置，其中，处理单元基于关于形状的信息将内容与具有特定形状的区域相关联。

(5)

根据(1)或(2)的信息处理装置，其中，处理单元基于关于大小的信息将内容与具有特定大小的区域相关联。

(6)

根据(1)或(2)的信息处理装置，其中，处理单元基于关于颜色的信息将内容与具有特定颜色的区域相关联。

(7)

根据(1)或(2)的信息处理装置，其中，处理单元基于关于材料的信息将内容与具有特定材料的区域相关联。

(8)

根据(3)的信息处理装置，其中，基于由图像传感器捕获的捕获图像来识别对象。

(9)

根据(4)的信息处理装置，其中，基于由图像传感器捕获的捕获图像、由IMU测量的加速度信息以及由测距传感器测量的距离测量信息来识别形状。

(10)

根据(5)的信息处理装置，其中，基于由图像传感器捕获的捕获图像、由IMU测量的加速度信息以及由测距传感器测量的距离测量信息来识别大小。

(11)

根据(6)的信息处理装置，其中，基于由图像传感器捕获的捕获图像来识别颜色。

(12)

根据(7)的信息处理装置，其中，基于由图像传感器捕获的捕获图像和由测距传感器测量的距离测量信息来识别材料。

(13)

根据(1)至(12)中任一项的信息处理装置，其中，处理单元进一步执行用于生成布置在对应于真实空间的区域中的对象的处理和用于对对应于真实空间的区域产生效果的处理中的至少一个。

(14)

根据(13)的信息处理装置，其中，处理单元基于经由网络获取的附加信息来处理内容。

(15)

根据(14)的信息处理装置，其中，附加信息包括关于天气和时间中的至少一个的信息。

(16)

根据(1)至(15)中任一项的信息处理装置，进一步包括：显示单元，其显示用内容替换对应于真实空间的区域的视频。

(17)

根据(16)的信息处理装置，其中，处理单元执行处理，使得真实空间被3D扫描并且通过多边形网格结构被建模，并且用内容替换多边形网格，以及

在开始真实空间的3D扫描之后并且在用内容替换多边形网格之前，显示单元显示多边形网格的视频。

(18)

根据(17)的信息处理装置，其中，处理单元响应于用户的编辑操作来处理多边形网格。

(19)

一种信息处理方法，使信息处理装置：

基于通过真实空间的3D扫描获得的扫描结果，执行用于用相关联的内容替换对应于真实空间的区域的处理，以及

基于关于真实空间中的对象、形状、大小、颜色和材料中的至少一个的信息，将内容与对应于真实空间的区域相关联。

(20)

一种程序，使计算机用作：

信息处理装置，包括处理单元，该处理单元基于通过真实空间的3D扫描而获得的扫描结果，执行用相关联的内容替换对应于真实空间的区域的处理，

其中，该处理单元基于关于真实空间中的对象、形状、大小、颜色和材料中的至少一个的信息，将内容与对应于真实空间的区域相关联。

参考标记列表

10 信息处理装置

100 CPU

101 GPU

102 主存储器

103 辅助存储器

104 操作系统

105 显示器

106 扬声器

107 通信I/F

108 RGB传感器

109 IMU

110 测距传感器

111 GPS

151 RGB图像获取单元

152 加速度信息获取单元

153 距离测量信息获取单元

154 位置信息获取单元

155 天气信息获取单元

156 时间信息获取单元

157 对象检测单元

158 SLAM处理单元

159 点云生成单元

160 建模单元

161 3D对象/材料识别单元

162 网格聚类单元

163 形状识别单元

164 语义分割单元

165 AR处理单元

191 对象生成单元

192 变形单元

193 效果处理单元。

Claims (20)

1.一种信息处理装置，包括：处理单元，所述处理单元基于通过真实空间的3D扫描获得的扫描结果，执行用于用相关联的内容替换对应于所述真实空间的区域的处理，

其中，所述处理单元基于关于所述真实空间中的对象、形状、大小、颜色和材料中的至少一个的信息，将所述内容与对应于所述真实空间的区域相关联。

2.根据权利要求1所述的信息处理装置，进一步包括：记录单元，记录所述内容。

3.根据权利要求1所述的信息处理装置，其中，所述处理单元基于关于所述对象的信息将所述内容与具有特定对象的区域相关联。

4.根据权利要求1所述的信息处理装置，其中，所述处理单元基于关于所述形状的信息将所述内容与具有特定形状的区域相关联。

5.根据权利要求1所述的信息处理装置，其中，所述处理单元基于关于所述大小的信息将所述内容与具有特定大小的区域相关联。

6.根据权利要求1所述的信息处理装置，其中，所述处理单元基于关于所述颜色的信息将所述内容与具有特定颜色的区域相关联。

7.根据权利要求1所述的信息处理装置，其中，所述处理单元基于关于所述材料的信息将所述内容与具有特定材料的区域相关联。

8.根据权利要求3所述的信息处理装置，其中，基于由图像传感器捕获的捕获图像来识别所述对象。

9.根据权利要求4所述的信息处理装置，其中，基于由图像传感器捕获的捕获图像、由IMU测量的加速度信息以及由测距传感器测量的距离测量信息来识别所述形状。

10.根据权利要求5所述的信息处理装置，其中，基于由图像传感器捕获的捕获图像、由IMU测量的加速度信息以及由测距传感器测量的距离测量信息来识别所述大小。

11.根据权利要求6所述的信息处理装置，其中，基于由图像传感器捕获的捕获图像来识别所述颜色。

12.根据权利要求7所述的信息处理装置，其中，基于由图像传感器捕获的捕获图像和由测距传感器测量的距离测量信息来识别所述材料。

13.根据权利要求1所述的信息处理装置，其中，所述处理单元进一步执行用于生成布置在对应于所述真实空间的区域中的对象的处理和用于对对应于所述真实空间的区域产生效果的处理中的至少一个。

14.根据权利要求13所述的信息处理装置，其中，所述处理单元基于经由网络获取的附加信息来处理所述内容。

15.根据权利要求14所述的信息处理装置，其中，所述附加信息包括关于天气和时间中的至少一个的信息。

16.根据权利要求1所述的信息处理装置，进一步包括：显示单元，显示用所述内容替换对应于所述真实空间的区域的视频。

17.根据权利要求16所述的信息处理装置，其中，所述处理单元执行处理，使得所述真实空间被3D扫描并且通过多边形网格结构被建模，并且用所述内容替换多边形网格，以及

在开始所述真实空间的3D扫描之后并且在用所述内容替换所述多边形网格之前，所述显示单元显示所述多边形网格的视频。

18.根据权利要求17所述的信息处理装置，其中，所述处理单元响应于用户的编辑操作来处理所述多边形网格。

19.一种信息处理方法，使信息处理装置：

基于通过真实空间的3D扫描获得的扫描结果，执行用于用相关联的内容替换对应于所述真实空间的区域的处理，以及

基于关于所述真实空间中的对象、形状、大小、颜色和材料中的至少一个的信息，将所述内容与对应于所述真实空间的区域相关联。

20.一种程序，使计算机用作：

信息处理装置，包括处理单元，所述处理单元基于通过真实空间的3D扫描而获得的扫描结果，执行用于用相关联的内容替换对应于所述真实空间的区域的处理，

其中，所述处理单元基于关于所述真实空间中的对象、形状、大小、颜色和材料中的至少一个的信息，将所述内容与对应于所述真实空间的区域相关联。