CN117099129A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN117099129A
CN117099129A CN202280022433.XA CN202280022433A CN117099129A CN 117099129 A CN117099129 A CN 117099129A CN 202280022433 A CN202280022433 A CN 202280022433A CN 117099129 A CN117099129 A CN 117099129A
Authority
CN
China
Prior art keywords
image
depth
sensor
view
fields
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280022433.XA
Other languages
English (en)
Inventor
山田英史
芦谷达治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN117099129A publication Critical patent/CN117099129A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及能够校正由传感器的视场引起的待校正像素的信息处理装置、信息处理方法和程序。该信息处理装置，包括处理单元，该处理单元进行使用通过机器学习训练第一图像、第二图像以及第三图像中的至少一部分而得的已学习模型的处理，以校正包括在任意图像中的待校正像素，在第一图像中，由深度信息表示由第一传感器获取的对象，在第二图像中，由深度信息表示由第二传感器获取的对象，以及第三图像从第一图像和第二图像获得。本公开可以应用于例如具有多个深度传感器的装置。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开涉及信息处理装置、信息处理方法和程序，并且更具体地，涉及能够校正由传感器的视场引起的校正目标像素的信息处理装置、信息处理方法和程序。
背景技术
存在用于通过连接由多个深度传感器获得的深度图像来产生更宽角度的深度图像的技术。
专利文献1公开了如下技术：在深度测量数据中检测缺陷像素，定义所检测的缺陷像素的深度校正，并且将深度校正应用于所检测的缺陷像素的深度测量数据以便增强深度图质量。
引用列表
专利文献
专利文献1：PCT申请号2014-524016的日文译文。
发明内容
本发明要解决的问题
当通过布置多个深度传感器使得视场具有预定关系来生成各种深度图像时，存在待处理的深度图像由于传感器的视场而包括校正目标像素(诸如缺陷像素)的情况，并且需要校正由传感器的视场引起的校正目标像素。
本公开鉴于这种情况做出，并且能够校正由传感器的视场引起的校正目标像素。
问题的解决方案
根据本公开的第一方面的信息处理装置是一种信息处理装置，该信息处理装置包括：处理单元，该处理单元进行使用了通过机器学习训练第一图像、第二图像以及第三图像的至少一部分而得的已训练模型的处理，以校正包括在任意图像中的校正目标像素，在第一图像中，由第一传感器获取的对象由深度信息表示，在第二图像中，由第二传感器获取的对象由深度信息表示，第三图像从第一图像和第二图像获得。
根据本公开的第一方面的信息处理方法和程序是适合于根据上述本公开的第一方面的信息处理装置的信息处理方法和程序。
在根据本公开的第一方面的信息处理装置、信息处理方法和程序中，进行使用了通过机器学习训练第一图像、第二图像和第三图像的至少一部分而得的已训练模型的处理，在第一图像中，由第一传感器获取的对象由深度信息表示，在第二图像中，由第二传感器获取的对象由深度信息表示；以及第三图像从第一图像和第二图像获得，并且包括在任意一个图像中的校正目标像素被校正。
根据本公开的第二方面的信息处理装置是一种信息处理装置，包括：处理单元，进行使用了通过机器学习训练图像的至少一部分而得的已训练模型的处理，所述图像通过深度信息指示由包括第一光源和第二光源的传感器获取的对象，其中，所述第一光源和所述第二光源被设置为使得光的照射区域重叠，并且处理单元将与图像中的照射区域之间的重叠部分对应的位置识别为像素校正位置，并且使用已训练模型来校正像素校正位置的深度信息。
根据本公开的第二方面的信息处理方法和程序是适合于根据上述本公开的第二方面的信息处理装置的信息处理方法和程序。
在根据本公开的第二方面的信息处理装置、信息处理方法和程序中，进行使用了通过机器学习训练图像的至少一部分而得的已训练模型的处理，在所述图像中，由深度信息指示由包括被设置为使得光的照射区域重叠的第一光源和第二光源的传感器获取的对象，对应于图像中的照射区域之间的重叠部分的位置被识别为像素校正位置，并且使用已训练模型来校正像素校正位置的深度信息。
应注意，根据本公开内容的第一方面和第二方面的信息处理装置可以是彼此独立的装置或者构成一个装置的内部块。
附图说明
图1是示出应用了本公开的距离测量装置的配置实例的示图。
图2是用于描述两个深度传感器的视场之间的重叠部分的校正的示图。
图3是示出在使用监督学习的情况下的学习装置和推断单元的配置实例的示图。
图4是描述校正处理的流程的实例的流程图。
图5是用于描述两个深度传感器的视场之间的间隙部分的校正的示图。
图6是用于描述具有不同视场的两个深度传感器的视场之间的重叠部分的校正的示图。
图7是用于描述包括在一个深度传感器中的多个光源的照射区域之间的重叠部分的校正的示图。
图8是示出应用了本公开的距离测量装置的另一配置的第一实例的示图。
图9是示出应用了本公开的距离测量装置的又一配置的第二实例的示图。
图10是示出应用了本公开的距离测量装置的又一配置的第三实例的示图。
图11是示出应用了本公开的距离测量装置的又一配置的第四实例的示图。
图12是示出包括执行AI处理的装置的系统的配置实例的示图。
图13是示出电子装置的配置实例的框图。
图14是示出边缘服务器或云服务器的配置实例的框图。
图15是示出光学传感器的配置实例的框图。
图16是示出处理单元的配置实例的框图。
图17是示出多个装置之间的数据流的示图。
具体实施方式
<<1.本公开的实施方式>>
(装置的配置实例)
图1是示出应用了本公开的距离测量装置的配置实例的示图。
在图1中，距离测量装置10包括深度传感器11-1、深度传感器11-2、距离测量计算单元12-1、距离测量计算单元12-2、拼接处理单元13以及距离校正单元14。在距离测量装置10中，深度传感器11-1和深度传感器11-2被布置为在视场(FoV)之间具有重叠。
深度传感器11-1是诸如ToF传感器的距离测量传感器。例如，ToF传感器测量直到从光源发射的光被对象反射并且被光接收元件(光接收单元)接收的光被测量的时间，并且基于已知的光速计算距离。ToF传感器可以使用直接飞行时间(dToF)方法或间接飞行时间(iToF)方法。
注意，作为深度传感器11-1，可以使用结构光型传感器、光检测和测距(LiDAR)型传感器、立体相机等。深度传感器11-1测量对象并且将作为结果获得的原始数据提供给距离测量计算单元12-1。
距离测量计算单元12-1基于距离测量校准参数使用从深度传感器11-1提供的原始数据执行距离测量计算，并且将作为结果获得的关于到对象的距离的距离数据提供给拼接处理单元13。距离测量计算单元12-1可被设置在深度传感器11-1中。
深度传感器11-2是诸如ToF传感器的距离测量传感器。深度传感器11-2测量对象并且将作为结果获得的原始数据提供给距离测量计算单元12-2。
距离测量计算单元12-2基于距离测量校准参数使用从深度传感器11-2提供的原始数据执行距离测量计算，并且将作为结果获得的关于到对象的距离的距离数据提供给拼接处理单元13。距离测量计算单元12-2可被设置在深度传感器11-2中。
例如，距离测量校准参数包括与偏移、循环误差、失真、温度校正等相关的参数。在距离测量计算单元12-1和距离测量计算单元12-2中，可以适当地使用距离测量校准参数中的必要参数。
来自距离测量计算单元12-1的距离数据和来自距离测量计算单元12-2的距离数据被提供给拼接处理单元13。拼接处理单元13基于内部和外部校准参数执行组合多条距离数据的组合处理，并将作为结果获得的组合距离数据提供至距离校正单元14。
例如，在拼接处理单元13中，从各个深度传感器的信号获得的深度图像被提供为距离数据，并且执行连接这些深度图像的处理，使得生成其中连接两个深度图像的广角深度图像作为组合距离数据。深度图像是通过深度信息指示对象的图像。广角深度图像是通过连接多个深度图像而具有比一个深度图像更宽的角度的深度图像。
内部和外部校准参数包括与用于内部校准的透镜失真等相关的参数以及与用于外部校准的相机姿势等相关的参数。在拼接处理单元13中，可以适当地使用内部和外部校准参数中的必要参数。
距离校正单元14根据重叠部分信息执行对从拼接处理单元13提供的组合距离数据进行校正的校正处理，并且输出作为结果获得的校正之后的组合距离数据。重叠部分信息包括诸如重叠像素的映射的信息。距离校正单元14可适当地使用包括在重叠部分信息中的信息之外的必要信息。作为校正后的组合距离数据，输出点云等数据。
当执行校正处理时，距离校正单元14进行使用通过机器学习训练组合距离数据的至少一部分而得的训练模型(学习模型)的处理，并且校正组合距离数据。例如，距离校正单元14进行使用通过机器学习训练缺陷的广角深度图像而得的已训练模型(学习模型)的处理，从而生成缺陷被校正的广角深度图像。
在如上所述配置的距离测量装置10中，深度传感器11-1和深度传感器11-2这两个深度传感器被布置为在视场(FoV)之间具有重叠，并且连接(connect，结合)通过测量对象获得的两个深度图像，由此可以生成更宽角度的深度图像。
此时，例如，深度传感器11-1和深度传感器11-2的视场之间的重叠部分具有以下影响。
即，当来自一个深度传感器的光源的光入射到来自另一个深度传感器的光源的光时，在光源之间发生相互干扰，从而存在具有不良影响的可能性。这是因为多个光源增加了多路径图案的数量。此外，由于每个深度图像的与视场之间的重叠部分相对应的区域(即，图像边缘)由于透镜失真或其校正不足而劣化的可能性高。
因为光从深度传感器11-1和深度传感器11-2的相应光源发射，所以深度值由于两次曝光在视场之间的重叠部分中变成异常值。此外，如果在从另一个深度传感器的光源发射光的中间，一个深度传感器的光源从中间发射光，则置信度值变成异常值。深度传感器中的光接收元件(光接收单元)具有能够接收光的范围，但是如果光从深度传感器11-1和深度传感器11-2同时发射，则在该范围之外可能发生饱和。
图2示出了深度传感器11-1的视场相对于深度传感器11-2的视场的重叠部分。在图2中，深度传感器11-1的视场FoV1由单点划线表示，深度传感器11-2的视场FoV2由双点划线表示，并且视场FoV2相对于视场FoV1的重叠部分O由点图案表示。
如上所述，在重叠部分O中，由于来自深度传感器11-1和深度传感器11-2的两个深度传感器的光源的每一个的光的发射、从相应的深度传感器获得的深度图像的图像边缘的劣化等，对深度图像具有各种影响。
因此，在根据本公开的技术中，由于视场之间的这种重叠部分而具有缺陷的广角深度图像被校正，以获得不具有缺陷的广角深度图像。当具有缺陷的广角深度图像将被校正时，进行使用通过机器学习训练广角深度图像的至少一部分而得的已训练模型(学习模型)的处理。
(使用学习模型的处理)
在图1的距离校正单元14中，对具有缺陷的广角深度图像的至少一部分进行使用已训练模型(学习模型)的处理。图3示出了在使用监督学习的情况下在学习时进行处理的学习装置以及在推断时进行处理的推断单元的配置实例。
在图3中，在学习时进行处理的学习装置200在上部示出，并且在推断时进行处理的推断单元111在下部示出。推断单元111包括在图1的距离校正单元14中。
在图3中，学习装置200包括学习模型221。学习模型221是通过神经网络(NN)进行机器学习的模型，该神经网络接收具有深度值的缺陷的广角深度图像和表示这种缺陷像素的位置的像素位置信息(缺陷像素位置信息)作为输入，并输出广角深度图像。
例如，在学习模型221中，重复如下学习：将具有深度值缺陷的广角深度图像和表示缺陷像素位置的像素位置信息(缺陷像素位置信息)用作学习数据，并且将关于缺陷像素位置的校正(包括缺陷像素位置的区域)的信息用作监督数据，使得能够输出缺陷被校正的广角深度图像作为其输出。例如，缺陷已经被校正的广角深度图像是由两个深度传感器的视场之间的重叠部分引起的缺陷已经被校正的广角深度图像。作为神经网络，例如，可以使用深度神经网络(DNN)、自动编码器等。
以此方式在学习时由机器学习训练的学习模型221可以在推断时被用作已训练模型。
在图3中，推断单元111包括学习模型121。学习模型121对应于在学习时通过使用机器学习进行学习而训练的学习模型221。
学习模型121使用具有深度值缺陷的广角深度图像和缺陷像素位置信息作为输入来进行推断，以输出缺陷已被校正的广角深度图像。这里，在具有深度值缺陷的广角深度图像是通过连接作为由深度传感器11-1和深度传感器11-2这两个深度传感器获得的测量数据的两个深度图像而产生的广角深度图像。即，广角深度图像的缺陷由两个深度传感器的视场之间的重叠部分引起。另外，缺陷像素位置信息是关于从广角深度图像识别出的缺陷像素的位置的信息。
注意，其他机器学习可以作为监督学习来执行。例如，在学习时，可以进行学习使得关于缺陷已经被校正的像素位置的信息被输出作为学习模型221的输出，并且在推断时，学习模型121可以使用具有深度值缺陷的广角深度图像和缺陷像素位置信息作为输入，并输出关于缺陷已经被校正的像素位置的信息来执行推断。
此外，学习模型可由无监督学习生成。例如，使用通过神经网络将没有缺陷的广角深度图像用作输入来执行机器学习的学习模型，并且学习模型在不知道具有缺陷的广角深度图像的情况下重复无监督学习，从而输出其中缺陷已经消失的广角深度图像作为输出。以这种方式通过无监督学习训练的学习模型在推断时被使用，以使用具有深度值缺陷的广角深度图像作为输入来进行推断，使得可以输出其中缺陷已被校正的广角深度图像。
(校正处理)
接下来，将参照图4的流程图描述在距离校正单元14中的校正处理的流程。
在步骤S101中，拼接处理单元13通过连接两个深度图像来产生广角深度图像。
在步骤S102中，距离校正单元14确定包括在广角深度图像中的所有D像素是否已经被处理。这里，包括在广角深度图像中的像素被称为D像素。
在步骤S102中确定并非所有D像素都已经被处理的情况下，处理进行到步骤S103。在步骤S103中，距离校正单元14获取要处理的D像素的深度值和像素位置(x，y)。
在步骤S104中，距离校正单元14确定所获取的要处理的D像素的深度值是否是有效深度值。
在步骤S104中确定要处理的D像素的深度值不是有效深度值的情况下，处理进行到步骤S105。在步骤S105中，距离校正单元14获取深度值无效的D像素的像素位置(x，y)作为像素校正位置(x，y)。
当步骤S105中的处理结束时，处理返回到步骤S102。此外，在步骤S104中确定要处理的D像素的深度值是有效深度值的情况下，跳过步骤S105中的处理，并且处理返回到步骤S102。
重复上述处理，并且在步骤S102中确定已经处理了所有D像素的情况下，处理进行到步骤S106。也就是说，当所有D像素已经被处理时，在深度值广角深度图像中深度值由于两个深度传感器的视场之间的重叠部分而异常的所有D像素的像素位置(x，y)被识别为像素校正位置(x，y)。
在步骤S106中，距离校正单元14确定在广角深度图像中是否存在需要被校正的深度值。
在步骤S106中确定在广角深度图像中存在需要被校正的深度值的情况下，处理进行到步骤S107。这里，当通过重复从步骤S102至S105的处理来识别出具有异常深度值的D像素的像素校正位置(x，y)时，确定存在需要被校正的深度值。
在步骤S107中，距离校正单元14基于具有异常深度值的D像素的像素校正位置(x，y)生成像素校正位置信息。像素校正位置信息包括用于将深度值需要被校正的D像素的像素位置识别为需要被校正的像素(缺陷像素)的信息(坐标(x，y))。
在步骤S108中，距离校正单元14的推断单元111(图3)使用学习模型121使用具有深度值缺陷的广角深度图像和像素校正位置信息作为输入来执行推断，并且生成其中缺陷已被校正的广角深度图像。学习模型121是在学习时通过神经网络使用具有深度值缺陷的广角深度图像和缺陷像素位置信息作为输入来进行学习的已训练模型，并且能够输出其中缺陷已被校正的广角深度图像。
注意，这里已经描述了使用学习模型121(图3)的情况，但是可以使用另一训练模型，诸如使用具有深度值缺陷的广角深度图像作为输入来执行推断，并且输出其中缺陷已经被校正的广角深度图像的学习模型。
当步骤S108中的处理结束时，一系列处理结束。此外，在步骤S106中确定在广角深度图像中不存在需要被校正的深度值的情况下，没有缺陷的广角深度图像(完整的广角深度图像)被生成并且不需要被校正，因此，步骤S107和S108中的处理被跳过，并且该系列处理结束。
上面已经描述了校正处理的流程。在该校正处理中，识别具有由于两个深度传感器的视场之间的重叠部分引起的深度值缺陷的广角深度图像中的具有异常深度值的D像素的像素位置(像素校正位置)，并且通过使用学习模型121以具有深度值缺陷的广角深度图像和像素校正位置信息作为输入执行推断来校正具有缺陷的广角深度图像。因此，在通过连接两个深度图像而获得的广角深度图像中校正具有与两个深度传感器的视场之间的重叠部分对应的缺陷的区域。
(间隙部分的校正)
虽然在以上描述中已经描述了在两个深度传感器的视场重叠的情况下校正具有与重叠部分对应的区域的广角深度图像的情况，但是在深度传感器11-1和深度传感器11-2之间的视场不重叠(视场分离)的情况下，可以校正与从相应深度传感器获得的两个深度图像之间的间隙部分对应的区域。
图5示出了深度传感器11-1的视场与深度传感器11-2的视场之间的间隙部分。在图5中，深度传感器11-1的视场FoV1由单点划线表示，深度传感器11-2的视场FoV2由双点划线表示，并且视场FoV1和视场FoV2之间的间隙部分G由点图案表示。
在这种情况下，在已经通过组合从相应的深度传感器获得的两个深度图像来生成广角深度图像的情况下，生成具有由于两个深度传感器的视场之间的间隙部分G而引起的深度值缺陷的广角深度图像。因此，在根据本公开的技术中，校正具有由于视场之间的这种间隙部分而引起的缺陷的广角深度图像，以获得不具有缺陷的广角深度图像。这里，当具有缺陷的广角深度图像将被校正时，进行使用通过机器学习训练广角深度图像的至少一部分而得的已训练模型(学习模型)的处理。
作为这里的校正处理，执行与图4中所示的校正处理相似的处理。即，在图4所示的校正处理中，已经描述了具有由于两个深度传感器的视场之间的重叠部分而引起的异常深度值的D像素的像素位置(x，y)被识别为像素校正位置(x，y)的情况，但是这里识别了由于两个深度传感器的视场之间的间隙部分而没有被分配深度值的D像素的像素位置(x，y)。
然后，以具有深度值缺陷的广角深度图像和像素校正位置信息作为输入，执行使用学习模型的推断，从而校正具有缺陷的广角深度图像。因此，在具有缺陷的广角深度图像中校正与两个深度传感器的视场之间的间隙部分对应的区域。这里使用的学习模型是已训练模型，该已训练模型被配置为输出广角深度图像，在广角深度图像中，通过使用具有深度值缺陷的广角深度图像和像素校正位置信息作为输入的学习来校正由视场之间的间隙部分引起的深度值缺陷，并且训练该广角深度图像以便模拟例如与来自具有不同视场的多个深度图像的间隙部分对应的区域。
如上所述，即使在深度传感器11-1和深度传感器11-2的视场之间没有重叠的情况下，也可以生成没有缺陷的广角深度图像(连接部分已经被内插的广角深度图像)。此外，由于在两个深度传感器的视场之间没有重叠，因此每个深度传感器可以避免超出光接收元件可以接收光的范围的饱和度。此外，在两个深度传感器的视场之间存在重叠部分的情况下，为了眼睛安全的目的，除了重叠部分之外的区域被暗照明，因为每个光源被设置为不超过重叠部分中的限制。然而，在两个深度传感器的视场中存在间隙部分的情况下，对光源的这种限制是不必要的，并且可以避免一些区域被暗照明。
(不同视场之间的重叠部分的校正)
在上面的描述中已经描述了两个深度传感器的视场在边缘(边界区域)处重叠的情况，但是，在具有不同视场(诸如广角和远摄)的两个深度传感器的视场被设置为彼此重叠的情况下，具有由于这些深度传感器的视场之间的重叠部分而引起的缺陷的深度图像可被校正。
图6示出了广角侧的深度传感器11-1的视场和远摄侧的深度传感器11-2的视场之间的重叠部分。在图6中，广角侧的深度传感器11-1的视场FoV1由单点划线表示，远摄侧的深度传感器11-2的视场FoV2由双点划线表示，并且视场FoV2相对于视场FoV1的重叠部分O由点图案表示。
在这种情况下，在已经通过组合从相应的深度传感器获得的两个深度图像而新生成深度图像的情况下，存在深度图像由于两个深度传感器的视场之间的重叠部分O而具有深度值缺陷的可能性。即，在重叠部分O中，通过各个深度传感器的光源执行两次曝光，使得深度值可变成异常值。因此，在根据本公开的技术中，校正具有由深度传感器的视场之间的这样的重叠部分引起的缺陷的深度图像，以获得不具有缺陷的深度图像。
这里，当要校正具有深度值缺陷的深度图像时，类似于以上描述，进行使用通过机器学习训练深度图像的至少一部分而得的训练模型(学习模型)的处理。这里，作为学习模型，可以使用被配置为输出深度图像的已训练模型，在深度图像中，通过使用具有深度值缺陷的深度图像和像素校正位置信息作为输入的学习，由视场之间的重叠部分引起的深度值缺陷已经被校正。
如上所述，即使在深度传感器11-1和深度传感器11-2具有不同的视场(诸如广角和远摄)并且被布置为使得这些视场重叠的情况下，也可以生成没有缺陷的深度图像。例如，在适于广角和远摄的深度传感器被组合的情况下，深度距离测量范围(当从装置观看时在从前方到后方的方向上的距离测量范围)可以通过使用学习模型对通过组合来自深度传感器的深度图像获得的深度图像的一部分执行校正处理、并且生成没有缺陷的深度图像，来扩展。
(包括多个光源的情况下的重叠部分的校正)
即使在一个深度传感器包括多个光源并且被布置为使得多个光源的光的照射区域重叠的情况下，也假设具有由光源的照射区域之间的重叠部分引起的缺陷的深度图像。
图7示出了在光源LS1和光源LS2中的两个光源被设置用于一个深度传感器11的情况下光源LS1的光照射区域与光源LS2的光照射区域之间的重叠部分。在图7中，从光源LS1发射的光L1由单点划线表示，从光源LS2发射的光L2由双点划线表示，并且在光源LS1和光源LS2的照射区域之间的重叠部分O由点图案表示。可以认为，光源的光照射区域是对应于光源的视场的区域，并且可以认为，光源LS1的视场和光源LS2的视场在图7中重叠。
在这种情况下，当深度传感器11生成深度图像时，存在由于两个光源的照射区域之间的重叠部分O而生成具有深度值缺陷的深度图像的可能性。因此，在根据本公开的技术中，校正具有由于光源的照射区域之间的这样的重叠部分而引起的缺陷的深度图像，以获得不具有缺陷的深度图像。这里，当具有缺陷的深度图像被校正时，与以上描述类似，进行使用通过机器学习训练深度图像的至少一部分而得的已训练模型(学习模型)的处理。
这里，当应用于图4的流程图的处理时，具体地，在不执行步骤S101中的连接处理的情况下，对由一个深度传感器11获取的一个深度图像(广角深度图像)执行从步骤S102开始的处理就足够了。同时，作为在步骤S108中的推断处理中使用的学习模型，可以使用被配置为输出深度图像的已训练模型，在该深度图像中，通过使用具有深度值缺陷的深度图像和像素校正位置信息作为输入的学习，由光源的照射区域之间的重叠引起的深度值缺陷已经被校正。
<2.变形例>
(其他配置实例)
虽然在图1中示出的配置中已经示出了距离校正单元14使用学习模型121对作为组合距离数据的广角深度图像执行校正处理，但是可以在包括距离测量计算处理、拼接处理和距离校正处理的处理的至少一些处理中进行使用通过机器学习训练的已训练模型(学习模型)的处理。
(A)第一配置实例
图8示出了在使用学习模型对两个深度图像执行校正处理的情况下的配置实例。
在图8中，距离测量装置20设置有距离校正单元21-1、距离校正单元21-2以及拼接处理单元22，代替与图1中的距离测量装置10相比的拼接处理单元13和距离校正单元14。应注意，在图8中，对应于图1中的那些位置由相同的参考标号表示，并且省略其描述。
距离校正单元21-1基于重叠部分信息执行对从距离测量计算单元12-1提供的距离数据进行校正的校正处理，并且将作为结果获得的校正的距离数据提供给拼接处理单元22。即，当校正作为距离数据的深度图像(校正重叠部分)时，距离校正单元21-1使用学习模型以具有深度值缺陷的深度图像和像素校正位置信息作为输入来执行推断，并且生成其中缺陷已被校正的深度图像。
距离校正单元21-2基于重叠部分信息执行对从距离测量计算单元12-2提供的距离数据进行校正的校正处理，并且将作为结果获得的校正的距离数据提供给拼接处理单元22。在距离校正单元21-2中，类似于距离校正单元21-1，使用学习模型生成其中缺陷被校正的深度图像。
来自距离校正单元21-1的校正的距离数据和来自距离校正单元21-2的校正的距离数据被提供给拼接处理单元22。拼接处理单元22根据内部和外部的校正参数进行对校正的距离数据进行组合的组合处理，并输出作为结果获得的组合距离数据。即，拼接处理单元22执行连接作为多条校正的距离数据提供的两个校正的深度图像的处理，并且生成没有缺陷的广角深度图像。
当应用于上述图4的流程图的处理时，由距离校正单元21-1和距离校正单元21-2执行的校正处理如下。即，在不进行步骤S101中的连接处理的情况下，对两个深度图像中的每一个进行从步骤S102开始的处理就足够了。同时，在步骤S108中的推断处理中使用的学习模型是在学习时通过使用具有深度值缺陷的深度图像和像素校正位置信息作为输入来重复学习而获得的训练模型，并且可以输出由视场之间的重叠部分、间隙部分等引起的深度值缺陷已经被校正的深度图像。然后，两个校正的深度图像被组合以生成广角深度图像。
(B)第二配置实例
图9示出了使用学习模型整体执行距离校正处理和拼接处理的情况下的配置实例。
在图9中，与图1中的距离测量装置10相比，距离测量装置30设置有距离校正/拼接处理单元31，而不是拼接处理单元13和距离校正单元14。应注意，在图9中，对应于图1中的那些位置由相同的参考标号表示，并且省略其描述。
来自距离测量计算单元12-1的距离数据和来自距离测量计算单元12-2的距离数据被提供给距离校正/拼接处理单元31。距离校正/拼接处理单元31根据重叠部分信息以及内部和外部校准参数，执行从两条距离数据中生成缺陷被校正的组合距离数据的处理，并且输出作为结果获得的组合距离数据。
即，当生成校正的广角深度图像作为组合距离数据时，距离校正/拼接处理单元31通过使用以两个深度图像作为输入的学习模型来执行推断来生成校正的广角深度图像。用于该推断处理的学习模型例如是在学习时通过使用具有深度值缺陷等的深度图像作为输入来重复学习而获得的已训练模型，并且可以输出其中由视场之间的重叠部分、间隙部分等引起的深度值缺陷已经被校正的广角深度图像。
(C)第三配置实例
图10示出了使用学习模型整体进行距离测量计算处理、距离校正处理以及拼接处理的情况下的配置实例。
在图10中，距离测量装置40设置有距离测量操作/距离校正/拼接处理单元41，代替与图1中的距离测量装置10相比的距离测量计算单元12-1、距离测量计算单元12-2、拼接处理单元13和距离校正单元14。应注意，在图10中，对应于图1中的那些位置由相同的参考标号表示，并且省略其描述。
将来自深度传感器11-1的原始数据和来自深度传感器11-2的原始数据提供至距离测量计算/距离校正/拼接处理单元41。距离测量计算/距离校正/拼接处理单元41基于距离测量校准参数、重叠部分信息以及内部和外部校准参数，进行从两条原始数据生成其中缺陷已经被校正的组合距离数据的处理，并且输出作为结果获得的组合距离数据。
即，当生成校正的广角深度图像作为组合距离数据时，距离测量计算/距离校正/拼接处理单元41通过使用学习模型执行推断来生成校正的广角深度图像，其中学习模型具有两个原始数据作为输入。用于该推断处理的学习模型是例如在学习时通过使用具有缺陷等的多条原始数据作为输入重复学习而获得的已训练模型，并且可以输出其中由视场之间的重叠部分、间隙部分等引起的深度值缺陷已经被校正的广角深度图像。
(又一配置实例)
图11示出了在深度传感器包括光源的情况下光源和光接收元件同步的情况下的配置实例。
在图11中，与图1中的距离测量装置10相比，定时控制单元51被新添加到距离测量装置50中。此外，在深度传感器11-1中的光源和光接收元件中，光源被示出为光源52-1。类似地，示出了深度传感器11-2中的光源52-2。应注意，在图11中，对应于图1中的那些位置由相同的参考标号表示，并且省略其描述。
定时控制单元51生成控制信号并且将控制信号提供给深度传感器11-1和深度传感器11-2中的每一个。在深度传感器11-1中，利用光照射对象S的光源52-1和接收从对象S反射的光的光接收元件根据来自定时控制单元51的控制信号彼此同步操作。在深度传感器11-2中，利用光照射对象S的光源52-2和接收从对象S反射的光的光接收元件根据来自定时控制单元51的控制信号彼此同步操作。
(用于抑制由视场之间的重叠引起的劣化的技术)
虽然在以上描述中使用通过机器学习训练的已训练模型(学习模型)来校正由深度传感器的视场之间的重叠所引起的图像的缺陷，但是例如，通过结合地使用用于抑制由视场之间的重叠所引起的图像劣化的以下技术可以生成具有更少缺陷的图像。
即，作为用于抑制由视场之间的重叠引起的图像劣化的技术，存在使光源和带通滤波器的波长在深度传感器11-1和深度传感器11-2之间不同的技术。此外，通过使用深度传感器11-1和深度传感器11-2中的光源具有点图案的技术，可以减少视场之间的重叠的可能性。此外，存在使用原始帧图像捕获水平的死区时间交替地同步深度传感器11-1和深度传感器11-2的测量(图像捕获)的技术。当以这种方式进行交替同步测量时，可以防止视场在时间上彼此重叠。
此外，存在通过在深度传感器11-1的光源与深度传感器11-2的光源之间改变调制模式、调制频率等来执行测量(图像捕获)的技术。在通过改变光源之间的调制模式来执行测量的情况下，控制光源的调制模式，以便在同步方面地彼此不重叠，以便避免干扰。在通过改变光源之间的调制频率执行测量的情况下，进行控制使得诸如双频的测量(图像捕获)模式在时间上彼此不重叠。此外，存在通过在深度传感器11-1和深度传感器11-2中的光源和光接收元件之间偏移曝光定时来进行测量(图像捕获)的技术。当以这种方式通过偏移曝光定时来进行测量时，可以防止视场在时间上彼此重叠。
注意，用于抑制由这里描述的视场之间的重叠所引起的图像劣化的技术可以单独使用，也可以与在推断时使用学习模型的校正组合使用。即使在单独使用用于抑制由视场之间的重叠所引起的图像劣化的技术的情况下，也可以抑制由视场之间的重叠所引起的图像劣化，并且可以生成具有更少缺陷的图像。
如上所述，在根据本公开的技术中，包括在任何图像中的校正目标像素(例如，具有深度值缺陷的缺陷像素)可以通过进行使用机器学习训练由深度传感器11-1获取的深度图像、由深度传感器11-2获取的深度图像以及从这些深度图像获得的图像(例如，通过连接两个深度图像获得的广角深度图像)的至少一部分而得的训练模型的处理，来校正。因此，即使在深度传感器11-1和深度传感器11-2被布置为具有预定关系(诸如被布置为使得视场彼此重叠的情况或者被布置为使得视场彼此不重叠的情况)的情况下，也可以校正由这些视场引起的校正目标像素。
因此，获得缺陷已被校正的广角深度图像，因此，例如，广角深度图像可用于下一使用情况。即，校正的广角深度图像可用于通过在建筑施工现场或施工现场进行建筑测量或地形测量的进度管理。可选地，校正的广角深度图像可用作游戏、电影等中的计算机图形(CG)建模环境的初步绘图。此外，对于诸如汽车或建筑机械的移动体，校正的广角深度图像可用于实现周围安全感测功能和用于自动驾驶的自定位功能。
应注意，上述距离测量装置10可被视为包括处理通过多个传感器(深度传感器11-1、深度传感器11-2等)获取的深度图像的处理单元(拼接处理单元13、距离校正单元14等)的信息处理装置。距离测量装置20至50可以类似地被视为信息处理装置。此外，已经描述了距离测量装置10包括深度传感器11-1和深度传感器11-2这两个深度传感器的情况，但是根据本公开的技术可以类似地应用于设置三个以上深度传感器的情况。此外，图7示出了为一个深度传感器11设置光源LS1和光源LS2这两个光源的情况，但是根据本公开的技术可以类似地应用于设置三个以上光源的情况。
(扩展实例)
图12示出了包括执行AI处理的装置的系统的配置实例。
电子装置20001是诸如智能电话、平板终端或移动电话的移动终端。电子装置20001对应于例如图1中的距离测量装置10(信息处理装置)，并且包括对应于深度传感器11-1和11-2(图1)的光学传感器20011。光学传感器是将光转换成电信号的传感器(图像传感器)。电子装置20001可以通过经由与预定通信方法对应的无线通信连接到安装在预定地点的基站20020，经由核心网络20030连接到诸如互联网的网络20040。
在更靠近移动终端的位置，例如基站20020和核心网络20030之间，提供边缘服务器20002以实现移动边缘计算(MEC)。云服务器20003连接到网络20040。边缘服务器20002和云服务器20003可以根据目的进行各种类型的处理。注意，可以在核心网络20030中提供边缘服务器20002。
AI处理由电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011执行。AI处理是使用AI(例如，机器学习)来处理根据本公开的技术。AI处理包括学习处理和推断处理。学习处理是生成学习模型的处理。此外，学习处理还包括如稍后描述的重新学习处理。推断处理是使用学习模型来执行推断的处理。
在电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011中，处理器(诸如中央处理单元(CPU))执行程序或专用硬件(诸如专用于特定目的的处理器)被用于实现AI处理。例如，图形处理单元(GPU)可以用作专用于特定目的的处理器。
图13示出了电子装置20001的配置实例。电子装置20001包括控制每个单元的操作并执行各种类型的处理的CPU 20101、专用于图像处理和并行处理的GPU 20102、诸如动态随机存取存储器(DRAM)的主存储器20103、以及诸如闪存的辅存储器20104。
辅存储器20104记录用于AI处理的程序和诸如各种参数的数据。CPU 20101将记录在辅存储器20104中的程序和参数加载到主存储器20103中，并执行程序。可选地，CPU20101和GPU 20102在主存储器20103中开发记录在辅存储器20104中的程序和参数，并执行所述程序。因此，GPU 20102可以用作图形处理单元上的通用计算(GPGPU)。
注意，CPU 20101和GPU 20102可以被配置为片上系统(SoC)。在CPU 20101执行用于AI处理的程序的情况下，可以不提供GPU 20102。
电子装置20001还包括应用根据本公开的技术的光学传感器20011、操作单元20105(诸如物理按钮或触摸面板)、包括至少一个传感器的传感器20106、显示信息(诸如图像或文本)的显示器20107、输出声音的扬声器20108、通信I/F 20109(诸如与预定通信方法兼容的通信模块)以及连接它们的总线20110。
传感器20106包括诸如光学传感器(图像传感器)、声音传感器(麦克风)、振动传感器、加速度传感器、角速度传感器、压力传感器、气味传感器和生物特征传感器等各种传感器中的至少一个。在AI处理中，从传感器20106中的至少一个传感器获取的数据可与从光学传感器20011获取的数据(图像数据)一起使用。应注意，光学传感器20011可对应于深度传感器11-1(图1)，并且传感器20106可对应于深度传感器11-2(图1)。
注意，通过传感器融合技术从两个以上光学传感器获取的数据和通过整体处理数据获得的数据可用于AI处理。作为两个以上光学传感器，可使用光学传感器20011和传感器20106中的光学传感器的组合，或者可将多个光学传感器包括在光学传感器20011中。例如，光学传感器包括RGB可见光传感器、诸如飞行时间(ToF)的距离测量传感器、偏振传感器、基于事件的传感器、获取IR图像的传感器、能够获取多个波长的传感器等。
在电子装置20001中，AI处理可以由诸如CPU 20101或GPU 20102的处理器执行。在电子装置20001的处理器执行推断处理的情况下，由于可以在不需要光学传感器20011获取图像数据之后的时间的情况下开始处理，因此可以高速执行处理。因此，在电子装置20001中，当推断处理用于诸如需要以短延迟时间传输信息的应用的目的时，用户可以在不会由于延迟而感到不舒服的情况下执行操作。此外，在电子装置20001的处理器执行AI处理的情况下，不需要使用通信线路、用于服务器的计算机装置等，并且与使用诸如云服务器20003的服务器的情况相比，可以以低成本实现处理。
图14示出边缘服务器20002的配置实例。边缘服务器20002包括控制每个单元的操作并执行各种类型的处理的CPU 20201和专用于图像处理和并行处理的GPU 20202。边缘服务器20002还包括连接至总线20206的主存储器20203(诸如DRAM)、辅存储器20204(诸如硬盘驱动器(HDD)或固态驱动器(SSD))、以及通信I/F 20205(诸如网络接口卡(NIC))。
辅存储器20204记录用于AI处理的程序和诸如各种参数的数据。CPU 20201将记录在辅存储器20204中的程序和参数加载到主存储器20203中，并执行所述程序。可替代地，CPU 20201和GPU 20202可以在主存储器20203中开发记录在辅存储器20204中的程序或参数，并执行所述程序，由此GPU 20202被用作GPGPU。注意，在CPU 20201执行用于AI处理的程序的情况下，可以不提供GPU 20202。
在边缘服务器20002中，AI处理可以由诸如CPU 20201或GPU 20202的处理器执行。在边缘服务器20002的处理器执行AI处理的情况下，由于边缘服务器20002设置在比云服务器20003更靠近电子装置20001的位置，所以可以实现低处理延迟。此外，边缘服务器20002具有比电子装置20001和光学传感器20011更高的处理能力(诸如计算速度)，并且因此能够以通用方式配置。因此，在边缘服务器20002的处理器执行AI处理的情况下，只要能够接收数据就可以执行AI处理，而不管电子装置20001或光学传感器20011的规格或性能的差异。在由边缘服务器20002执行AI处理的情况下，可以减少电子装置20001和光学传感器20011中的处理负荷。
由于云服务器20003的配置类似于边缘服务器20002的配置，因此将省略其描述。
在云服务器20003中，AI处理可以由处理器(诸如CPU 20201或GPU 20202)执行。云服务器20003具有比电子装置20001和光学传感器20011更高的处理能力(诸如计算速度)，并且因此能够以通用方式配置。因此，在云服务器20003的处理器执行AI处理的情况下，可以执行AI处理，而不管电子装置20001和光学传感器20011的规格和性能的差异。此外，在电子装置20001的处理器或光学传感器20011难以执行高负荷AI处理的情况下，云服务器20003的处理器可以执行高负荷AI处理，并且处理结果可以被反馈到电子装置20001的处理器或光学传感器20011。
图15示出光学传感器20011的配置实例。光学传感器20011可以被配置为例如具有堆叠结构的单芯片半导体器件，在堆叠结构中多个衬底堆叠。光学传感器20011通过堆叠衬底20301和衬底20302这两个衬底来配置。注意，光学传感器20011的配置不限于堆叠结构，并且例如，包括成像单元的衬底可以包括执行AI处理的处理器，诸如CPU或数字信号处理器(DSP)。
包括二维地布置的多个像素的成像单元20321安装在上衬底20301上。执行与通过成像单元20321的图像的成像有关的处理的成像处理单元20322、将捕获图像和信号处理结果输出至外部的输出I/F 20323、以及控制通过成像单元20321的图像的成像的成像控制单元20324安装在下侧衬底20302上。成像单元20321、成像处理单元20322、输出I/F 20323以及成像控制单元20324构成成像块20311。
执行各个单元的控制和各种类型的处理的CPU 20331、使用捕获的图像、来自外部的信息等执行信号处理的DSP 20332、诸如静态随机存取存储器(SRAM)或动态随机存取存储器(DRAM)的存储器20333、以及与外部交换必要信息的通信I/F 20334安装在下侧衬底20302上。CPU 20331、DSP 20332、存储器20333和通信I/F 20334构成信号处理块20312。AI处理可以由CPU 20331和DSP 20332的至少一个处理器执行。
如上所述，用于AI处理的信号处理块20312可以安装在堆叠有多个衬底的堆叠结构的下侧衬底20302上。因此，通过安装在上侧衬底20301上的用于成像的成像块20311获取的图像数据，由安装在下侧衬底20302上的用于AI处理的信号处理块20312进行处理，使得在单芯片半导体器件中可执行一系列处理。
在光学传感器20011中，AI处理可以由诸如CPU 20331的处理器执行。在光学传感器20011的处理器执行诸如推断处理的AI处理的情况下，由于在单片半导体器件中执行一系列处理，所以信息不泄漏到传感器的外部，并且因此，可以提高信息的机密性。此外，由于不需要将诸如图像数据的数据发送到另一装置，因此光学传感器20011的处理器可使用图像数据以高速执行AI处理，诸如推断处理。例如，当推断处理用于诸如需要实时特性的应用的目的时，可以充分地确保实时特性。这里，确保实时特性意味着能够以短延迟时间传输信息。此外，当光学传感器20011的处理器执行AI处理时，电子装置20001的处理器传递各种元数据，使得可以减少处理并且可以减少功率消耗。
图16示出处理单元20401的配置实例。电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011的处理器根据程序执行各种类型的处理，从而用作处理单元20401。注意，包括在相同或不同装置中的多个处理器可用作处理单元20401。
处理单元20401包括AI处理单元20411。AI处理单元20411执行AI处理。AI处理单元20411包括学习单元20421和推断单元20422。
学习单元20421执行生成学习模型的学习处理。在学习处理中，生成已经进行了机器学习的机器已学习的学习模型，所述机器学习模型用于对包括在图像数据中的校正目标像素进行校正。此外，学习单元20421可以执行更新所生成的学习模型的重新学习处理。在以下描述中，将分开描述学习模型的生成和更新，但是由于可以认为通过更新学习模型来生成学习模型，所以学习模型的生成包括更新学习模型的含义。
此外，所生成的学习模型被记录在包括在电子装置20001、边缘服务器20002、云服务器20003、光学传感器20011等中的诸如主存储器或辅存储器的存储介质中，并且因此，可以在由推断单元20422执行的推断处理中新使用。因此，可以生成基于学习模型执行推断处理的电子装置20001、边缘服务器20002、云服务器20003、光学传感器20011等。此外，所生成的学习模型可以被记录在独立于电子装置20001、边缘服务器20002、云服务器20003、光学传感器20011等的存储介质或电子装置中，并且被提供用于在其他装置中使用。注意，电子装置20001、边缘服务器20002、云服务器20003、光学传感器20011等的生成不仅包括在制造时在存储介质中新记录学习模型，而且还更新已记录的已生成的学习模型。
推断单元20422使用学习模型来执行推断处理。在推断处理中，使用学习模型来进行识别图像数据中包括的校正目标像素或者校正所识别的校正目标像素的处理。校正目标像素是根据图像数据的图像中的多个像素中满足预定条件的将被校正的像素。
作为机器学习的技术，可以使用神经网络、深度学习等。神经网络是模拟人脑神经回路的模型，包括输入层、中间层(隐层)和输出层的三种层。深度学习是使用具有多层结构的神经网络的模型，并且可以通过在每个层中重复特征学习来学习隐藏在大量数据中的复杂模式。
监督学习可以被用作机器学习的问题设置。例如，在监督学习中，基于给定的标记的监督数据来学习特征量。因此，可以导出未知数据的标记。作为学习数据，可以使用由光学传感器实际获取的图像数据、聚集和管理的获取的图像数据、由模拟器生成的数据集等。
注意，不仅可以使用监督学习，而且可以使用无监督学习、半监督学习、强化学习等。在无监督学习中，分析大量的未标记学习数据以提取特征量，并且基于提取的特征量执行聚类等。因此，能够基于大量的未知数据来分析和预测趋势。半监督学习是混合有监督学习和无监督学习的方法，并且是通过监督学习来训练特征量，然后通过无监督学习来给出大量学习数据，并且在自动计算特征量的同时执行重复学习的方法。强化学习处理通过观察当前状态来确定代理在特定环境中应该采取的动作的问题。
如上所述，电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011的处理器用作AI处理单元20411，从而AI处理由任何一个或多个装置执行。
AI处理单元20411仅需要包括学习单元20421和推断单元20422中的至少一个。即，每个装置的处理器可以执行学习处理和推断处理中的一个，以及执行学习处理和推断处理两者。例如，在电子装置20001的处理器执行推断处理和学习处理两者的情况下，包括学习单元20421和推断单元20422，但是在仅执行推断处理的情况下，可仅包括推断单元20422。
每个装置的处理器可执行与学习处理或推断处理相关的所有处理，或可由每个装置的处理器执行一些处理，并且接着由另一装置的处理器执行剩余处理。此外，每个装置可具有用于执行AI处理的每个功能(例如，学习处理或推断处理)的共同处理器，或可针对每一功能单独地具有处理器。
注意，AI处理可以由不同于上述装置的装置来执行。例如，AI处理可以由电子装置20001可以通过无线通信等与其连接的另一电子装置执行。具体地，在电子装置20001是智能电话的情况下，执行AI处理的其他电子装置可以是诸如另一智能电话、平板终端、移动电话、个人计算机(PC)、游戏机、电视接收器、可穿戴终端、数字静态照相机或数字摄像机的装置。
此外，即使在使用安装在诸如汽车的移动体上的传感器、在远程医疗装置中使用的传感器等的配置中，也可以应用诸如推断处理等的AI处理，但是在这些环境中要求延迟时间短。在这样的环境中，可以不通过云服务器20003的处理器经由网络20040执行AI处理，而是通过本地装置(例如，作为车载装置或医疗装置的电子装置20001)的处理器执行AI处理来缩短延迟时间。此外，即使在不存在要连接到网络20040(诸如互联网)的环境的情况下或者在不能执行高速连接的环境中使用的装置的情况下，例如，也可以通过由本地装置(诸如电子装置20001或光学传感器20011)的处理器执行AI处理，在更适当的环境中执行AI处理。
应注意，上述配置是示例，并且可采用其他配置。例如，电子装置20001不限于诸如智能电话的移动终端，并且可以是诸如PC、游戏机、电视接收器、可穿戴终端、数字静态照相机或数字摄像机的电子装置、车载装置或医疗装置。此外，电子装置20001可以通过与诸如无线局域网(LAN)或有线LAN的预定通信方法相对应的无线通信或有线通信，连接到网络20040。AI处理不限于诸如每个装置的CPU或GPU的处理器，并且可以使用量子计算机、神经元形态计算机等。
顺便提及，诸如学习模型、图像数据和校正的数据的数据可以在单个装置中使用，或者可以在多个装置之间交换并且在那些装置中使用。图17示出了多个装置之间的数据流。
电子装置20001-1至20001-N(N是1以上的整数)例如由每个用户拥有，并且可以经由基站(未示出)等连接到网络20040(诸如互联网)。在制造时，学习装置20501连接至电子装置20001-1，并且由学习装置20501提供的学习模型可被记录在辅存储器20104中。学习装置20501通过使用由模拟器20502生成的数据集作为学习数据来生成学习模型，并将该学习模型提供给电子装置20001-1。注意，学习数据不限于从模拟器20502提供的数据集，并且可使用由光学传感器实际获取的图像数据、聚集并管理的获取的图像数据等。
虽然未示出，但是类似于电子装置20001-1，学习模型可以在制造阶段被记录在电子装置20001-2至20001-N中。在下文中，在不需要将电子装置彼此区分的情况下，电子装置20001-1至20001-N将被称为电子装置20001。
除了电子装置20001之外，学习模型生成服务器20503、学习模型提供服务器20504、数据提供服务器20505、以及应用服务器20506连接到网络20040，并且可以彼此交换数据。每个服务器可以被提供为云服务器。
学习模型生成服务器20503具有与云服务器20003相似的配置，并且可以通过诸如CPU的处理器执行学习处理。学习模型生成服务器20503使用学习数据生成学习模型。在所示配置中，例示在制造时电子装置20001记录学习模型的情况，但是可以从学习模型生成服务器20503提供学习模型。学习模型生成服务器20503经由网络20040将所生成的学习模型发送给电子装置20001。电子装置20001接收从学习模型生成服务器20503发送的学习模型并将学习模型记录在辅存储器20104中。因此，生成包括学习模型的电子装置20001。
即，在电子装置20001中，在制造阶段未记录学习模型的情况下，通过新记录来自学习模型生成服务器20503的学习模型，来生成记录新学习模型的电子装置20001。此外，在电子装置20001中，在制造阶段已经记录学习模型的情况下，通过将记录的学习模型更新为来自学习模型生成服务器20503的学习模型，来生成记录更新的学习模型的电子装置20001。电子装置20001可以使用适当更新的学习模型来执行推断处理。
学习模型不限于直接从学习模型生成服务器20503提供给电子装置20001，并且可以由经由网络20040聚合和管理不同学习模型的学习模型提供服务器20504提供。学习模型提供服务器20504可以通过向另一装置(不限于电子装置20001)提供学习模型来生成包括学习模型的另一装置。此外，学习模型可以通过记录在诸如闪存的可拆卸存储卡中来提供。电子装置20001可以从附接到插槽的存储卡读取和记录学习模型。因此，电子装置20001可以获取学习模型，即使在恶劣环境中使用电子装置的情况下，在电子装置不具有通信功能的情况下，在电子装置具有通信功能但可以传输的信息量小的情况下等。
电子装置20001可以经由网络20040向其他装置提供诸如图像数据、校正的数据和元数据的数据。例如，电子装置20001经由网络20040将诸如图像数据和校正的数据的数据传输到学习模型生成服务器20503。因此，学习模型生成服务器20503可以使用诸如从一个或多个电子装置20001收集的图像数据或校正的数据的数据作为学习数据来生成学习模型。通过使用更多的学习数据，可以提高学习处理的准确度。
诸如图像数据和校正的数据的数据不限于从电子装置20001直接提供给学习模型生成服务器20503，并且可以由聚集和管理各种数据的数据提供服务器20505提供。数据提供服务器20505不仅可以从电子装置20001还可以从另一装置中收集数据，或者可以不仅向学习模型生成服务器20503而且还向另一装置提供数据。
学习模型生成服务器20503可以执行重新学习处理，以将从电子装置20001或数据提供服务器20505提供的诸如图像数据和校正的数据的数据添加到关于已经生成的学习模型的学习数据以更新学习模型。更新的学习模型可以被提供给电子装置20001。在学习模型生成服务器20503中执行学习处理或重新学习处理的情况下，不管电子装置20001的规格或性能的差异如何，都可以执行处理。
此外，在电子装置20001中，在用户对校正的数据或元数据执行校正操作的情况下(例如，在用户输入校正信息的情况下)，关于校正处理的反馈数据可被用于重新学习处理。例如，通过将反馈数据从电子装置20001传输给学习模型生成服务器20503，学习模型生成服务器20503可以使用来自电子装置20001的反馈数据来执行重新学习处理并更新学习模型。注意，在电子装置20001中，当用户执行校正操作时，可使用由应用服务器20506提供的应用。
重新学习处理可以由电子装置20001执行。在电子装置20001通过使用图像数据或反馈数据执行重新学习处理来更新学习模型的情况下，可以在装置中改进学习模型。因此，生成包括更新的学习模型的电子装置20001。此外，电子装置20001可以将通过重新学习处理获得的更新之后的学习模型传输到学习模型提供服务器20504，以便被提供给另一电子装置20001。因此，更新后的学习模型可以在多个电子装置20001之间共享。
可替代地，电子装置20001可将重新学习模型的差异信息(关于更新之前的学习模型和更新之后的学习模型的差异信息)作为更新信息传输到学习模型生成服务器20503。学习模型生成服务器20503可以基于来自电子装置20001的更新信息生成改进的学习模型并且将该改进的学习模型提供给另一电子装置20001。通过交换这种差异信息，与交换所有信息的情况相比，可以保护隐私并且可以减少通信成本。注意，与电子装置20001类似，安装在电子装置20001上的光学传感器20011可以执行重新学习处理。
应用服务器20506是能够经由网络20040提供各种应用的服务器。应用程序使用诸如学习模型、校正的数据或元数据的数据提供预定功能。电子装置20001可以通过执行经由网络20040从应用服务器20506下载的应用来实现预定功能。可替代地，应用服务器20506也可以通过经由例如应用编程接口(API)等从电子装置20001获取数据并在应用服务器20506上执行应用来实现预定功能。
如上所述，在包括应用本技术的装置的系统中，在装置之间交换和分布诸如学习模型、图像数据和校正的数据的数据，并且可提供使用数据的各种服务。例如，可以经由学习模型提供服务器20504提供用于提供学习模型的服务，并且可以经由数据提供服务器20505提供用于提供诸如图像数据和校正的数据的数据的服务。此外，可以经由应用服务器20506提供用于提供应用的服务。
可替代地，从电子装置20001的光学传感器20011获取的图像数据可以被输入到由学习模型提供服务器20504提供的学习模型，并且可以提供作为其输出而获得的校正的数据。此外，可以生成并提供诸如其上配备了由学习模型提供服务器20504提供的学习模型的电子装置的装置。此外，通过将诸如学习模型、校正的数据和元数据的数据记录在可读存储介质中，可以生成并提供诸如记录数据的存储介质或者安装存储介质的电子装置的装置。存储介质可以是磁盘、光盘、磁光盘、半导体存储器等非易失性存储器，也可以是SRAM、DRAM等易失性存储器。
应注意，本公开的实施方式不限于上述实施方式，并且在不背离本公开的范围的情况下，各种修改是可行的。此外，本说明书中描述的有益效果仅是实例，并且本技术的有益效果不限于它们，并且可以包括其他效果。
此外，本公开可具有以下配置。
(1)
一种信息处理装置，包括：
处理单元，进行使用通过机器学习训练第一图像、第二图像和第三图像中的至少一部分而得的已训练模型的处理，以校正包括在任意图像中的校正目标像素，在第一图像中，由第一传感器获取的对象由深度信息表示，在第二图像中，由第二传感器获取的对象由深度信息表示，第三图像从第一图像和第二图像获得。
(2)
根据(1)的信息处理装置，其中
第一传感器和第二传感器被设置为具有彼此重叠的视场，并且
处理单元
当通过连接第一图像和第二图像生成第三图像时，将与第三图像中的所述视场之间的重叠部分对应的位置识别为像素校正位置，并且
使用已训练模型校正像素校正位置的深度信息。
(3)
根据(2)的信息处理装置，其中
已训练模型是被配置为通过使用具有由视场之间的重叠部分引起的深度信息缺陷的第三图像和像素校正位置作为输入的学习，输出缺陷已被校正的第三图像的模型，并且
所述处理单元以具有由所述视场之间的重叠部分引起的深度信息缺陷的所述第三图像和所述像素校正位置作为输入，使用已训练模型来执行推断，以生成所述缺陷已被校正的第三图像。
(4)
根据(1)的信息处理装置，其中
所述第一传感器和所述第二传感器被设置为具有彼此重叠的视场，并且
处理单元
当通过连接所述第一图像和所述第二图像生成所述第三图像时，将与所述第一图像和所述第二图像中的所述视场之间的重叠部分对应的位置识别为像素校正位置，并且
使用已训练模型校正像素校正位置的深度信息。
(5)
根据(4)的信息处理装置，其中
已训练模型是被配置为通过使用具有由视场之间的重叠部分引起的深度信息缺陷的第一图像或第二图像和像素校正位置作为输入的学习，来输出缺陷已被校正的第一图像或第二图像的模型，并且
处理单元
以具有由所述视场之间的重叠部分引起的深度信息缺陷的所述第一图像或所述第二图像和所述像素校正位置作为输入，使用已训练模型，执行推断，以生成所述缺陷已被校正的所述第一图像或所述第二图像，以及
连接所述第一图像与所述第二图像以产生所述第三图像。
(6)
根据(1)的信息处理装置，其中
所述第一传感器和所述第二传感器被设置为视场彼此不重叠，并且
处理单元
当通过连接所述第一图像和所述第二图像生成所述第三图像时，将与所述第三图像中的所述视场之间的间隙部分对应的位置识别为像素校正位置，并且
使用已训练模型校正像素校正位置的深度信息。
(7)
根据(6)的信息处理装置，其中
已训练模型是被配置为通过使用具有由视场之间的间隙部分引起的深度信息缺陷的第三图像和像素校正位置作为输入的学习，来输出缺陷已被校正的第三图像的模型，并且
所述处理单元以具有由所述视场之间的所述间隙部分引起的深度信息缺陷的所述第三图像和所述像素校正位置作为输入，使用已训练模型进行推断，以生成所述缺陷已被校正的所述第三图像。
(8)
根据(1)的信息处理装置，其中
所述第一传感器和所述第二传感器是具有不同视场的传感器，并且被布置为使所述视场彼此重叠，并且
处理单元
当通过连接所述第一图像和所述第二图像生成所述第三图像时，将与所述第三图像中的所述视场之间的重叠部分对应的位置识别为像素校正位置，并且
使用已训练模型校正像素校正位置的深度信息。
(9)
根据(8)的信息处理装置，其中
已训练模型是被配置为通过使用具有由视场之间的重叠部分引起的深度信息缺陷的第三图像和像素校正位置作为输入的学习，输出缺陷已被校正的第三图像的模型，并且
所述处理单元以具有由所述视场之间的重叠部分引起的深度信息缺陷的所述第三图像和所述像素校正位置作为输入，使用已训练模型进行推断，以生成所述缺陷已被校正的所述第三图像。
(10)
根据(8)或(9)的信息处理装置，其中
所述第一传感器具有对应于广角的视场，并且
所述第二传感器具有对应于远摄的视场。
(11)
一种信息处理方法，包括：
由信息处理装置进行使用通过机器学习训练第一图像、第二图像和第三图像中的至少一部分而得的已训练模型的处理，以校正包括在任意图像中的校正目标像素，在第一图像中，由第一传感器获取的对象由深度信息表示，在第二图像中，由第二传感器获取的对象由深度信息表示，所述第三图像从第一图像和第二图像获得。
(12)
一种程序，用于使计算机用作包括处理单元的信息处理装置，
所述处理单元进行使用通过机器学习训练第一图像、第二图像以及第三图像中的至少一部分而得的已训练模型的处理，以校正包括在任意图像中的校正目标像素，在所述第一图像中，由第一传感器获取的对象由深度信息表示，在所述第二图像中，由第二传感器获取的对象由深度信息表示，所述第三图像从第一图像和第二图像获得。
(13)
一种信息处理装置，包括：处理单元，进行使用通过机器学习训练图像的至少一部分而得的已训练模型的处理，所述图像通过深度信息表示由包括第一光源和第二光源的传感器获取的对象，
其中，所述第一光源和所述第二光源被设置为具有彼此重叠的光的照射区域，以及
处理单元
将与所述图像中的所述照射区域之间的重叠部分对应的位置识别为像素校正位置，并且
使用已训练模型校正像素校正位置的深度信息。
(14)
根据(13)的信息处理装置，其中
已训练模型是被配置为通过使用具有由照射区域之间的重叠部分引起的深度信息缺陷的图像和像素校正位置作为输入的学习，来输出缺陷已被校正的图像的模型，以及
所述处理单元以具有由所述照射区域之间的重叠部分引起的深度信息缺陷的所述图像和所述像素校正位置作为输入，使用已训练模型进行推断，以生成缺陷已被校正的图像。
(15)
一种信息处理方法，包括：
通过信息处理装置进行使用通过机器学习训练图像的至少一部分而得的已训练模型的处理，所述图像通过深度信息表示由传感器获取的对象，所述传感器包括被设置为具有彼此重叠的光的照射区域的第一光源和第二光源；
通过所述信息处理装置将与所述图像中的所述照射区域之间的重叠部分对应的位置识别为像素校正位置；以及
通过所述信息处理装置使用已训练模型校正所述像素校正位置的深度信息。
(16)
一种用于使计算机用作信息处理装置的程序，
所述信息处理装置包括处理单元，所述处理单元进行使用通过机器学习训练图像的至少一部分而得的已训练模型的处理，所述图像通过深度信息表示通过传感器获取的对象，所述传感器包括被配置为具有彼此重叠的光的照射区域的第一光源和第二光源，
处理单元
将与所述图像中的所述照射区域之间的重叠部分对应的位置识别为像素校正位置，并且
使用已训练模型校正所述像素校正位置的深度信息。
参考符号列表
10，20，30，40，50距离测量装置
11，11-1，11-2深度传感器
12-1，12-2距离测量计算单元
13 拼接处理单元
14 距离校正单元
20 学习装置
21-1，21-2距离校正单元
22拼接处理单元
31距离校正/拼接处理单元
41距离测量计算/距离校正/拼接处理单元
51定时控制单元
52-1，52-2光源
111 推断单元
121 学习模型
200 学习装置
221 学习模型。

Claims (16)

1.一种信息处理装置，包括：
处理单元，进行使用了通过机器学习训练第一图像、第二图像和第三图像中的至少一部分而得的已训练模型的处理，以校正包括在任意图像中的校正目标像素，在所述第一图像中，由第一传感器获取的对象由深度信息表示，在所述第二图像中，由第二传感器获取的对象由深度信息表示，所述第三图像从所述第一图像和所述第二图像获得。
2.根据权利要求1所述的信息处理装置，其中
所述第一传感器和所述第二传感器被设置为视场彼此重叠，并且
所述处理单元
当通过结合所述第一图像和所述第二图像以产生所述第三图像时，将与所述第三图像中的视场之间的重叠部分对应的位置识别为像素校正位置，并且
使用所述已训练模型校正所述像素校正位置的深度信息。
3.根据权利要求2所述的信息处理装置，其中
所述已训练模型是被配置为通过使用具有由所述视场之间的重叠部分引起的深度信息缺陷的所述第三图像和所述像素校正位置作为输入的学习，输出所述缺陷已被校正的所述第三图像的模型，并且
所述处理单元以具有由所述视场之间的重叠部分引起的深度信息缺陷的所述第三图像和所述像素校正位置作为输入，使用所述已训练模型进行推断，以生成所述缺陷已被校正的所述第三图像。
4.根据权利要求1所述的信息处理装置，其中
所述第一传感器和所述第二传感器被设置为视场彼此重叠，并且
所述处理单元
当通过结合所述第一图像和所述第二图像以产生所述第三图像时，将与所述第一图像和所述第二图像中的视场之间的重叠部分对应的位置识别为像素校正位置，并且
使用所述已训练模型校正所述像素校正位置的深度信息。
5.根据权利要求4所述的信息处理装置，其中
所述已训练模型是被配置为通过使用具有由所述视场之间的重叠部分引起的深度信息缺陷的第一图像或所述第二图像和所述像素校正位置作为输入的学习，来输出所述缺陷已被校正的所述第一图像或所述第二图像的模型，并且
所述处理单元
以具有由所述视场之间的重叠部分引起的所述深度信息缺陷的所述第一图像或所述第二图像与所述像素校正位置作为输入，使用所述已训练模型进行推断，以生成所述缺陷已被校正的所述第一图像或所述第二图像，以及
结合所述第一图像与所述第二图像以产生所述第三图像。
6.根据权利要求1所述的信息处理装置，其中
所述第一传感器和所述第二传感器被设置为视场彼此不重叠，并且
所述处理单元
当通过结合所述第一图像和所述第二图像以产生所述第三图像时，将与所述第三图像中的所述视场之间的间隙部分对应的位置识别为像素校正位置，并且
使用所述已训练模型校正所述像素校正位置的深度信息。
7.根据权利要求6所述的信息处理装置，其中
所述已训练模型是被配置为通过使用具有由所述视场之间的所述间隙部分引起的深度信息缺陷的所述第三图像和所述像素校正位置作为输入的学习，来输出所述缺陷已被校正的所述第三图像的模型，并且
所述处理单元以具有由所述视场之间的所述间隙部分引起的所述深度信息缺陷的所述第三图像和所述像素校正位置作为输入，使用所述已训练模型进行推断，以生成所述缺陷已被校正的所述第三图像。
8.根据权利要求1所述的信息处理装置，其中
所述第一传感器和所述第二传感器是具有不同视场的传感器，并且被布置为使所述视场彼此重叠，并且
所述处理单元
当通过结合所述第一图像和所述第二图像以产生所述第三图像时，将与所述第三图像中的所述视场之间的重叠部分对应的位置识别为像素校正位置，并且
使用所述已训练模型校正所述像素校正位置的深度信息。
9.根据权利要求8所述的信息处理装置，其中
所述已训练模型是被配置为通过使用具有由所述视场之间的重叠部分引起的深度信息缺陷的所述第三图像和所述像素校正位置作为输入的学习，输出缺陷已被校正的所述第三图像的模型，并且所述处理单元以具有由所述视场之间的重叠部分引起的所述深度信息缺陷的所述第三图像和所述像素校正位置作为输入，使用所述已训练模型来进行推断，以生成所述缺陷已被校正的所述第三图像。
10.根据权利要求8所述的信息处理装置，其中
所述第一传感器具有对应于广角的视场，并且
所述第二传感器具有对应于远摄的视场。
11.一种信息处理方法，包括：
由信息处理装置进行使用通过机器学习训练第一图像、第二图像和第三图像的至少一部分而得的已训练模型的处理，以校正包括在任意图像中的校正目标像素，在所述第一图像中，由第一传感器获取的对象由深度信息表示，在所述第二图像中，由第二传感器获取的对象由深度信息表示，所述第三图像从所述第一图像和所述第二图像获得。
12.一种程序，用于使计算机用作包括处理单元的信息处理装置，
所述处理单元进行使用通过机器学习训练第一图像、第二图像以及第三图像的至少一部分而得的已训练模型的处理，以校正包括在任意图像中的校正目标像素，在所述第一图像中，由第一传感器获取的对象由深度信息表示，在所述第二图像中，由第二传感器获取的对象由深度信息表示，所述第三图像从所述第一图像和所述第二图像获得。
13.一种信息处理装置，包括处理单元，所述处理单元进行使用通过机器学习训练图像的至少一部分而得的已训练模型的处理，所述图像通过深度信息表示通过传感器获取的对象，所述传感器包括第一光源和第二光源，
其中，所述第一光源和所述第二光源被设置为具有彼此重叠的光的照射区域，并且
所述处理单元
将与所述图像中的所述照射区域之间的重叠部分对应的位置识别为像素校正位置，并且
使用所述已训练模型校正所述像素校正位置的深度信息。
14.根据权利要求13所述的信息处理装置，其中
所述已训练模型是被配置为通过使用具有由所述照射区域之间的重叠部分引起的深度信息缺陷的图像和所述像素校正位置作为输入的学习，输出所述缺陷已被校正的所述图像的模型，以及
所述处理单元以具有由所述照射区域之间的重叠部分引起的所述深度信息缺陷的所述图像和所述像素校正位置作为输入，使用所述已训练模型进行推断，以生成所述缺陷已被校正的图像。
15.一种信息处理方法，包括：
通过信息处理装置进行使用通过机器学习训练图像的至少一部分而得的已训练模型的处理，所述图像通过深度信息表示由传感器获取的对象，所述传感器包括被设置为具有彼此重叠的光的照射区域的第一光源和第二光源；
通过所述信息处理装置将与所述图像中的所述照射区域之间的重叠部分对应的位置识别为像素校正位置；以及
通过所述信息处理装置使用所述已训练模型校正所述像素校正位置的深度信息。
16.一种用于使计算机用作信息处理装置的程序，
所述信息处理装置包括处理单元，所述处理单元进行使用通过机器学习训练图像的至少一部分而得的已训练模型的处理，所述图像通过深度信息表示通过传感器获取的对象，所述传感器包括被设置为具有彼此重叠的光的照射区域的第一光源和第二光源，
所述处理单元
将与所述图像中的所述照射区域之间的重叠部分对应的位置识别为像素校正位置，并且
使用所述已训练模型校正所述像素校正位置的深度信息。
CN202280022433.XA 2021-03-25 2022-01-20 信息处理装置、信息处理方法和程序 Pending CN117099129A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-051918 2021-03-25
JP2021051918 2021-03-25
PCT/JP2022/001919 WO2022201804A1 (ja) 2021-03-25 2022-01-20 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN117099129A true CN117099129A (zh) 2023-11-21

Family

ID=83395361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280022433.XA Pending CN117099129A (zh) 2021-03-25 2022-01-20 信息处理装置、信息处理方法和程序

Country Status (4)

Country Link
US (1) US20240169572A1 (zh)
JP (1) JPWO2022201804A1 (zh)
CN (1) CN117099129A (zh)
WO (1) WO2022201804A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101554241B1 (ko) * 2011-06-24 2015-09-18 소프트키네틱 소프트웨어 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법
US11699207B2 (en) * 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
JP2020153799A (ja) * 2019-03-20 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距方法
US10510155B1 (en) * 2019-06-11 2019-12-17 Mujin, Inc. Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera

Also Published As

Publication number Publication date
US20240169572A1 (en) 2024-05-23
JPWO2022201804A1 (zh) 2022-09-29
WO2022201804A1 (ja) 2022-09-29

Similar Documents

Publication Publication Date Title
US10970864B2 (en) Method and apparatus for recovering point cloud data
US20210042954A1 (en) Binocular matching method and apparatus, device and storage medium
US11373325B1 (en) Machine-trained network for misalignment-insensitive depth perception
JP6891873B2 (ja) 画像処理装置および方法
CN113272863A (zh) 基于双像素图像的深度预测
EP3763119B1 (en) Method for generating depth information and electronic device supporting the same
US9299011B2 (en) Signal processing apparatus, signal processing method, output apparatus, output method, and program for learning and restoring signals with sparse coefficients
WO2021193391A1 (ja) データ生成方法、学習方法及び推定方法
US20210312233A1 (en) Learning method, storage medium, and image processing device
JP2004235934A (ja) キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
CN113327318B (zh) 图像显示方法、装置、电子设备和计算机可读介质
WO2022201803A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20200164508A1 (en) System and Method for Probabilistic Multi-Robot Positioning
JPWO2019225682A1 (ja) 三次元再構成方法および三次元再構成装置
CN114862828A (zh) 光斑搜索方法装置、计算机可读介质和电子设备
EP3832600A1 (en) Image processing device and three-dimensional measuring system
JP2020064364A (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN117099129A (zh) 信息处理装置、信息处理方法和程序
CN114140837A (zh) 人脸识别方法、模板配置方法、装置、设备及存储介质
CN113034621B (zh) 联合标定方法、装置、设备、车辆及存储介质
WO2022022136A1 (zh) 深度图像生成方法及装置、参考图像生成方法及装置、电子设备以及计算机可读存储介质
WO2022009821A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113762585A (zh) 数据的处理方法、账号类型的识别方法及装置
US20240144506A1 (en) Information processing device
US20240071041A1 (en) Apparatus and method for mapping raw images between different camera sensors under arbitrary illuminations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination