CN115280754A - 数据生成方法、学习方法、估计方法、数据生成装置和程序 - Google Patents

Abstract

[问题]通过从实际的捕获图像生成的理想图像获取训练数据。[解决方案]数据生成方法是用于通过处理器生成用于训练模型的数据的方法，并且包括：从通过预定装置获取的捕获图像中生成与模型输出的数据相对应的理想图像；并且从理想图像生成与输入到模型中的数据相对应的劣化图像。

Description

数据生成方法、学习方法、估计方法、数据生成装置和程序

技术领域

本公开涉及数据生成方法、学习方法、估计方法、数据生成装置和程序。

背景技术

现在，正在广泛地研究使用诸如深度学习的机器学习生成估计模型等。在执行机器学习的情况下，需要将大量训练数据输入到要生成的模型。此外，许多训练数据对于执行验证也是必要的。在用于生成图像作为输入的模型的训练数据的收集中，需要获得作为照片或绘图的实际风景。

然而，其花费精力来收集数据，并且存在发生人为错误等的高可能性。此外，在实际捕获图像的情况下，尽管准备图像是简单的，但是已经添加了劣化元素(透镜特性、图像传感器特性以及根据信号处理的特性)，并且因此仅可以有限方式且不准确地添加劣化元素。此外，同样从教师数据的收集的观点，实际拍摄的图像已经具有包括劣化元素，因此不能说实际拍摄的图像是用于作为教师数据的理想图像。

现有技术文献

专利文献

专利文献1：JP H6-348840A

发明内容

本发明要解决的技术问题

因此，根据本公开，从实际拍摄的图像生成理想图像，并且基于该图像生成训练数据。

问题的解决方案

根据一个实施方式，提供了一种使用处理器生成在学习模型中使用的训练数据的数据产生方法，该数据产生方法包括：从由预定装置获得的捕获图像生成与模型的输出数据相对应的理想图像；并且从理想图像生成与模型的输入数据相对应的劣化图像。

可以基于与预定装置的透镜有关的劣化生成理想图像。

可以基于与预定装置的传感器有关的劣化来生成理想图像。

可以通过缩小捕获的图像来生成理想图像。

可以基于通过预定装置获得的同一场景中的多个静止图像生成理想图像。

可以以基于多个静止图像中的统计生成理想图像。

统计数据可以包括每个像素的平均值、众数、中值以及方差值中的至少一者。

可以使用所俘获图像的全局偏移来生成理想图像。

可以通过校准捕获图像来生成理想图像。

可以基于与捕获模型的输入图像的目标装置相关的信息来生成劣化图像。

可以基于与目标装置的透镜有关的劣化来生成劣化图像。

可以基于与目标装置的传感器有关的劣化来生成劣化图像。

可基于由目标装置执行的信号处理来生成劣化图像。

在学习方法中，可以使用通过在上面呈现的任一项描述中描述的数据生成方法生成的训练数据来优化模型。

在估计方法中，可以使用利用由在上面呈现的任一项描述中描述的数据生成方法生成的训练数据优化的模型来执行估计。

根据一个实施方式，数据生成装置，其是生成用于学习模型的训练数据的装置，可以包括执行在上面呈现的描述中描述的方法中的任一项的处理器。

根据一个实施方式，程序可以使计算机执行在上面呈现的任一项描述中描述的方法。

附图说明

图1是示出根据实施方式的数据生成装置的示例的图。

图2是示出根据实施方式的数据生成系统的过处理的流程图。

图3是示出根据实施方式的机器学习系统的示例的图。

图4是示出包括执行AI处理的装置的系统的配置示例的图。

图5是示出电子装置的配置示例的框图。

图6是示出边缘服务器或云服务器的配置示例的框图。

图7是示出光学传感器的构造示例的框图。

图8是示出处理单元的配置示例的框图。

图9是示出使用AI的处理的流程的流程图。

图10是示出校正处理的流程的流程图。

图11是示出使用AI的处理的流程的流程图。

图12是示出学习处理的流程的流程图。

图13是示出多个装置之间的数据流的图。

具体实施方式

在下文中，将参照附图描述本公开的实施方式。

图1是示出根据实施方式的数据生成装置的示例的图。数据生成装置1包括输入/输出接口(以下被称为输入/输出I/F 100)、存储单元102、理想图像生成单元104和劣化图像生成单元106。

输入/输出I/F 100是执行数据到数据生成装置1的输入和来自数据生成装置1的数据的输出的接口。数据通过输入/输出I/F 100输入到数据生成装置1，并且数据生成装置1通过输入/输出I/F 100将数据输出到外部。例如，数据生成装置1通过输入/输出I/F 100获得通过各种装置实际成像的图像数据。此外，输入/输出I/F 100可包括接受来自用户的命令并为用户执行特定输出的接口。配置不限于此，并且数据生成装置1可以单独包括输入I/F和输出I/F。

存储单元102临时或非临时地存储数据生成装置1所需的数据。例如，存储单元102包括存储器。此外，在使用软件执行数据生成装置1的至少一个功能的情况下，存储单元102可以存储用于执行数据生成装置1的至少一个功能的程序。例如，存储单元102可存储通过输入/输出I/F 100输入的数据或可存储产生的训练数据。此外，存储单元102可以在数据生成装置1中的计算处理中存储进行中的适当结果等。

理想图像生成单元104根据从输入/输出I/F 100输入的图像来生成理想图像。例如，通过对输入图像执行适当的图像处理，理想图像生成单元104生成理想图像。

劣化图像生成单元106从由理想图像生成单元104生成的理想图像生成劣化图像。劣化图像生成单元106基于与相机有关的参数(例如，镜头的参数、传感器的参数等)生成劣化图像。

数据生成装置1通过输入/输出I/F 100输出由理想图像生成单元104生成的理想图像和由劣化图像生成单元106生成的劣化图像作为训练数据。此外，数据生成装置1可以将训练数据存储在存储单元102中。以这种方式，数据生成装置1通过对已通过实际图像捕获获取的输入数据执行适当的图像恢复处理来生成高图像质量的理想图像，并且通过对该理想图像执行任意劣化处理来生成劣化图像。

图2是表示本实施方式的处理的流程图。

首先，数据生成装置1通过输入/输出I/F 100获得实际拍摄图像(在下文中被称为捕获图像)(S100)。例如，每个图像可以是装置规格已知的图像或者装置规格未知的图像。输入图像可以是静止图像或运动图像。在运动图像的情况下，可针对每个帧获得图像。

接下来，理想图像生成单元104从捕获图像生成通过抑制劣化因素而获取的理想图像(S102)。在已知获取捕获图像的装置的规格的情况下，理想图像生成单元104可以基于这些规格(例如，镜头和传感器的规格)来校正劣化。另一方面，在捕获捕获图像的装置的规格未知的情况下，可使用诸如逆滤波处理、校准等的一般图像校正方法。

接下来，劣化图像生成单元106对理想图像执行图像处理，从而生成劣化图像(S104)。该图像处理可以基于作为用于优化机器学习的目标的模型而确定。例如，在模型被优化使得当输入由预定装置获得的捕获图像时输出理想图像的情况下，劣化图像生成单元106可以基于该预定装置的透镜、传感器等的参数来使图像劣化。此外，劣化图像生成单元106可以执行不基于装置而是基于使用而对理想图像执行劣化的图像处理。

接下来，数据生成装置1输出一组理想图像和劣化图像作为训练数据(S106)。在此，例如，输出是还包括根据数据从数据生成装置1输出至外部文件服务器和机器学习装置而将数据存储在数据生成装置1的存储单元102中的概念。

机器学习装置使用以此方式生成的训练数据来执行模型的优化。另外，估计装置使用利用以此方式生成的训练数据优化的模型，从输入图像获得合适的估计图像。

将使用非限制性具体示例描述由理想图像生成单元104进行的处理。理想图像生成单元104从由规格已知或未知的相机拍摄的图像中生成理想图像。

在已知执行图像捕获的相机的情况下，可以确定根据相机捕获的图像劣化的若干因素。为此，通过基于透镜系统和传感器系统的劣化的原因执行图像恢复，可以获得理想的图像。例如，在可以从透镜系统获得点扩散函数(PSF)的情况下，可以基于PSF使用去卷积滤波器获得通过从捕获的图像消除模糊而获取的图像。在这种情况下，可以对该图像进一步执行适当的降噪等。在可以获得传感器系统中的噪声增加的因素的情况下，可获取通过基于噪声增加的因素执行插值等而获取的图像。此外，在可获得与劣化原因有关的参数的情况下，理想图像生成单元104可以通过基于该参数进行适当的图像处理来生成理想图像。

此外，在已执行图像捕获的相机未知或者已执行图像捕获的相机的规格未知的情况下，理想图像生成单元104可以生成如以下示例中的理想图像。

例如，理想图像生成单元104可以通过缩小图像来抑制诸如散粒噪声、图案噪声等的噪声。缩小算法可以是任何算法。在缩小之前，可通过执行诸如应用高斯滤波器等的处理来预先执行噪声消除。

例如，在生成随机噪声的情况下以及在可以使用生成噪声的图像捕获装置来进行成像的情况下，理想图像生成单元104可以连续地获得多个图像并且使用多个图像执行噪声消除处理。例如，通过计算同一场景中的多个图像的像素值的平均值，理想图像生成单元104可以抑制随机噪声。另外，在理想图像生成处理中，不仅可以使用像素的平均值，而且可以使用除了平均值之外的统计值，诸如众数、中值或方差值。

例如，理想图像生成单元104可以通过使用全局偏移(global offset)来抑制劣化。通常，存在捕获图像具有其中不存在实际黑色像素值的偏移的情况。对此可以有各种原因，诸如透镜系统、光接收系统等，并且可以通过使用图像捕获装置捕获黑色图像并且通过从所获取的图像中减去该偏移值来计算偏移来抑制图像的劣化。

理想图像生成单元104可以执行用于抑制各种像差的图像校正。例如，可通过缩小图像来抑制赛德尔像差(Seidel aberration)中的球面像差、彗形像差、像散和场曲像差。另外，可执行使用移位变化PSF的反向滤波过程。

理想图像生成单元104可以执行失真像差的校准。作为校准，例如，使用图像捕获装置对棋盘进行成像，并且根据该捕获图像的失真计算用于执行图像校正的矩阵(失真校正系数)。然后，理想图像生成单元104可以使用该矩阵校正捕获图像的失真。

尽管已经描述了使用理想图像生成单元104获取理想图像的几个示例，然而，如上所述，这些示例是非限制性的具体示例并且被描述为获取恢复图像的示例。理想图像生成单元104可以使用任何其他恢复技术(诸如例如盲去卷积)从所捕获的图像生成理想图像。另外，在存在能够通过校正理想图像获得理想图像的学习模型的情况下，理想图像生成单元104可以通过使用该学习模型来获得理想图像。此外，理想图像生成单元104可以使用多个方法来生成理想图像，而不是仅应用上述具体示例中的一个。

接下来，将使用非限制的具体示例描述由劣化图像生成单元106执行的处理。例如，劣化图像生成单元106可以使用估计模型使用与变成目标的装置的相机有关的参数来生成劣化图像。

例如，在期望通过将估计模型安装在数字相机中来自动获得用于拍摄捕获图像的理想图像的情况下，劣化图像生成单元106生成针对理想图像的数字相机的特性而调整的劣化图像。例如，数字相机的特性可使用透镜系统和传感器系统的参数来定义。此外，其劣化的原因可基于从透镜系统和传感器系统到成像表面的距离。

例如，劣化图像生成单元106使用估计模型获得捕获作为恢复目标的图像的相机的透镜系统中的与透镜系统有关的参数，诸如透镜的数量、焦度、数值孔径、焦距等。基于这些获取的参数，分析在穿过透镜系统时发生的一定劣化，并且可以使用该分析的结果执行劣化处理。这同样也适用于传感器系统，并且可以感知传感器的特性，并且可以通过假设诸如根据这些特性出现的噪声的劣化来执行劣化处理。

此外，在图像捕获装置输出作为估计目标的图像之前对原始数据执行某些信号处理(可包括图像处理)的情况下，可对已执行劣化处理的图像执行相同的信号处理，并且可输出结果图像作为劣化图像。

数据生成装置1将上述理想图像生成单元104和劣化图像生成单元106的图像彼此相关联地输出为训练数据。此外，可以单独存储由理想图像生成单元104生成的理想图像。然后，可以使用该理想图像来执行用于另一目标装置的劣化图像的生成。

如上所述，根据本实施方式的数据生成装置1，不将由某个装置捕获的图像用作理想图像，将该拍摄的图像转换为理想图像，并从中获取装置中的作为目标的劣化图像，由此能够获得用于优化能够以高精度执行估计的模型的训练数据。其原因在于，捕获图像是已经劣化的图像，并且即使当该图像被训练为理想图像时，也无法估计期望的结果。另外，能够将理想的图像适当地变更为特定的图像，能够任意地判断估计模型的估计结果成为哪个图像。

另外，根据生活才呢过理想图像的理想图像生成单元104，劣化图像生成单元106可产生各种劣化图像。其原因在于，可以对在捕获图像中没有透镜参数等问题的理想图像执行劣化处理。例如，CG数据可以用作理想图像，并且根据本实施方式的数据生成装置1，可以减少用于生成CG数据的成本。

图3示出根据这个实施方式的机器学习系统2。如图3所示，机器学习系统2包括数据生成装置1和机器学习装置3。机器学习装置3使用由数据生成装置1生成的理想图像和劣化图像作为训练数据来优化模型。此外，数据生成装置1可以被配置为包括在机器学习装置3中。

包括该模型的估计装置可从由装置捕获的图像估计期望的图像作为目标。

根据上述所有实施方式，实际的捕获图像不原样被用作理想图像(教师图像)，并且可以使用计算机模拟从该实际的捕获图像生成理想图像。此外，还可以使用计算机模拟来生成用于该理想图像的劣化图像。以这种方式，在既不存在理想图像也不存在劣化图像的状态下，可以从实际拍摄的图像生成训练数据。通过改变模拟中的参数，此经劣化的图像的产生也可应用于不同装置。为此，根据本公开的一方面，可以生成其中适当地设置根据产品而不同的参数的劣化图像。此外，虽然从理想图像生成该劣化图像，但是实际拍摄的图像不用作该理想图像，并且可以使用通过模拟恢复取决于已经执行图像捕获的装置的劣化的图像，并且因此可以生成质量更好的数据作为在机器学习的训练中的教师数据。

本公开的方面可以使用程序来实现。该程序可以存储在存储单元中，并且使用软件的信息处理可以具体地通过硬件实现。软件的处理可以由诸如中央处理单元(CPU)、图形处理单元(GPU)等的处理器执行，或者可以使用各种模拟电路或各种数字电路(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)和数字信号处理器(DSP))来实现。

<使用AI的应用示例>

在应用根据本公开的技术(本技术)的配置中，可以使用诸如机器学习的人工智能(AI)。图4示出包括执行AI处理的装置的系统的配置示例。

电子装置20001是诸如智能电话、平板型终端、移动电话等的移动终端。电子装置20001包括光学传感器20011。光学传感器是将光转换成电信号的传感器(图像传感器)。通过经由符合预定通信方案的无线通信连接到安装在预定地点的基站20020，电子装置20001可以经由核心网络20030连接到诸如互联网的网络20004。

在基站20020和核心网20030等之间更靠近移动终端的位置，设置有边缘服务器20002，用于实现移动边缘计算(MEC)。云服务器20003连接到网络20040。边缘服务器20002和云服务器20003可以执行与使用对应的各种处理。边缘服务器20002可以设置在核心网络20030内部。

AI处理由电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011执行。在AI处理中，使用诸如机器学习的AI来处理根据本公开的技术。AI处理包括学习处理和推理处理。学习处理是生成学习模型的处理。此外，在学习处理中还包括将在下面描述的重新学习处理。推理处理是使用学习模型的推理处理。在下文中，与根据本公开的在不使用AI的情况下处理的技术相关的处理将被称为正常处理，以与AI处理区分开。

在电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011中，AI处理通过诸如执行程序的中央处理单元(CPU)的处理器或通过使用诸如专用于特定用途的处理器的专用硬件来实现。例如，作为专用于特定用途的处理器，可以使用图形处理单元(GPU)。

图5示出电子装置20001的配置示例。电子装置20001包括执行每个单元的操作的控制和各种处理的CPU 20101、在图像处理和并行处理中专用的GPU 20102、诸如动态随机存取存储器(DRAM)的主存储器20103、以及诸如闪存的辅助存储器20104。

辅助存储器20104记录用于AI处理的程序和数据，诸如各种参数等。CPU 20101在主存储器20103中扩展记录在辅助存储器20104中的程序和参数，并且执行该程序。可选地，CPU 20101和GPU 20102将记录在辅助存储器20104中的程序和参数扩展到主存储器20103中，并且执行该程序。据此，GPU 20102能够用作图形处理单元上的通用计算(GPGPU)。

另外，CPU 20101和GPU 20102可以被配置为片上系统(SoC)。在CPU 20101执行用于AI处理的程序的情况下，可以不提供GPU 20102。

此外，电子装置20001包括光学传感器20011、操作单元20105(诸如物理按钮、触摸面板等)、包括至少一个或多个传感器的传感器20106、显示信息(诸如图像、文本等)的显示器20107、输出声音的扬声器20108、通信I/F20109(诸如符合预定通信方案等的通信模块)以及连接它们的总线20110。

传感器20106具有各种传感器中的至少一种，诸如光学传感器(图像传感器)、声音传感器(麦克风)、振动传感器、加速度传感器、角速度传感器、压力传感器、气味传感器和生物传感器。在AI处理中，从传感器20106中的至少一个传感器获得的数据可以与从光学传感器20011获得的图像数据一起使用。以这种方式，通过使用从各种类型的传感器获取的数据以及图像数据，可以使用多模态AI技术来实现适合于各种情况的AI处理。

此外，通过使用传感器融合技术整体处理从两个以上的光学传感器获得的图像数据所获取的数据可用于AI处理中。两个或更多个光学传感器可以是光学传感器20011和布置在传感器20106内部的光学传感器的组合，或者多个传感器可以包括在光学传感器20011内部。例如，在光学传感器中，包括RGB的可见光传感器、飞行时间(ToF)的距离测量传感器等、偏振传感器、基于事件的传感器、获得IR图像的传感器、能够获得多个波长的传感器等。

电子装置20001可以使用诸如CPU 20101、GPU 20102等的处理器来执行AI处理。在电子装置20001的处理器执行推理处理的情况下，在由光学传感器20011获得图像数据之后，可在不需要时间的情况下开始处理，从而可高速执行该处理。因此，在电子装置20001中，当使用推理处理用于在短延迟时间等内传送信息所需的应用时，用户可以执行没有由于延迟引起的不适的操作。此外，在电子装置20001的处理器执行AI处理的情况下，当与使用诸如云服务器20003的服务器的情况相比，不需要使用通信线路、用于服务器的计算机装置等，并且能够以低成本实现该处理。

图6示出边缘服务器20002的配置示例。边缘服务器20002包括CPU20201和GPU20202，CPU 20201执行每个单元的操作的控制和各种处理，GPU 20202专用于图像处理和并行处理。边缘服务器20002还包括诸如DRAM的主存储器20203、诸如硬盘驱动器(HDD)、固态驱动器(SSD)等的辅助存储器20204、以及诸如网络接口卡(NIC)的通信I/F 20205，并且这些连接至总线20206。

辅助存储器20204记录程序和数据，诸如用于AI处理的各种参数等。CPU 20201将记录在辅助存储器20204中的程序和参数扩展到主存储器20203中，并执行程序。或者，CPU20201和GPU 20202将记录在辅助存储器20204中的程序和参数扩展到主存储器20203中，并且执行该程序，由此GPU 20202可以用作GPGPU。在CPU 20201执行用于AI处理的程序的情况下，可以不提供GPU 20202。

边缘服务器20002可以使用CPU 20201、GPU 20202等的处理器执行AI处理。在边缘服务器20002的处理器执行AI处理的情况下，当与云服务器20003相比时，边缘服务器20002被布置在相对靠近电子装置20001的位置，从而可以实现在处理中实现低延迟。此外，边缘服务器20002的处理能力(诸如计算速度)高于电子装置20001和光学传感器20011的处理能力，因此可以被配置用于通用目的。因此，在边缘服务器20002的处理器执行AI处理的情况下，当可以接收数据而不依赖于电子装置20001与光学传感器20011之间的规格和性能的差异时，可以执行AI处理。在由边缘服务器20002执行AI处理的情况下，可以减少电子装置20001和光学传感器20011的处理负荷。

云服务器20003的配置与边缘服务器20002的配置相似，因此将省略其描述。

云服务器20003可以使用诸如CPU 20201、GPU 20202等的处理器来执行AI处理。云服务器20003具有高于电子装置20001和光学传感器20011的处理能力诸如计算速度等的处理能力，并且可以被配置为用于通用。为此，在云服务器20003的处理器执行AI处理的情况下，可以执行AI处理而不依赖于电子装置20001和光学传感器20011的规格和性能的差异。此外，在难以使用电子装置20001的处理器或光学传感器20011来执行高负载的AI处理的情况下，高负载的AI处理由云服务器20003的处理器执行，并且该过程的结果可以被反馈到电子装置20001的处理器或光学传感器20011。

图7示出光学传感器20011的配置示例。例如，光学传感器20011可以被配置为具有其中堆叠了多个基板的堆叠结构的一个芯片的半导体器件。光学传感器20011通过堆叠包括基板20301和基板20302的两个基板来配置。光学传感器20011的配置不限于堆叠结构，并且例如，包括成像单元的基板可以包括执行AI处理的处理器，诸如CPU或数字信号处理器(DSP)。

在上层的基板20301中，安装通过二维地对准多个像素配置的成像单元20321。在下层的基板20302中安装有：成像处理单元20322，执行与在成像单元20321中的图像捕获有关的处理；输出I/F 20323，将捕获图像和信号处理的结果输出至外部；以及成像控制单元20324，控制成像单元20321中的图像的捕获。使用成像单元20321、成像处理单元20322、输出I/F 20323以及成像控制单元20324配置成像块20311。

此外，在下层的基板20302中，安装有执行每个单元和各种处理的控制的CPU20331、使用捕获的图像执行信号处理的DSP 20332、从外部提供的信息等、诸如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等的存储器20333、以及与外部交换必要信息的通信I/F 20334。使用CPU 20331、DSP 20332、存储器20333和通信I/F 20334配置信号处理块20312。能够使用CPU 20331和DSP 20332的至少处理器来执行AI处理。

以此方式，用于AI处理的信号处理块20312可安装在下层的基板20302中，该基板20302在其中堆叠有多个基板的堆叠结构中。据此，由安装在上层的基板20301中的用于成像的成像块20311获得的图像数据由安装在下层的基板20302中的用于AI处理的信号处理块20312处理，因此，可在一个芯片的半导体装置内部执行一系列处理。

光学传感器20011能够使用诸如CPU 20331等的处理器执行AI处理。在光学传感器20011的处理器执行诸如推理处理等的AI处理的情况下，在一个芯片的半导体器件内部执行一系列处理，并且因此信息不泄漏至传感器外部，由此可提高信息的机密性。此外，诸如图像数据的数据不需要被传输到另一装置，因此光学传感器20011的处理器可使用图像数据以高速执行诸如推理处理等的AI处理。例如，当使用推理处理用于要求实时处理的应用等时，可以充分确保实时处理。这里，实时处理的确保表示能够以短延迟时间传递信息。此外，当光学传感器20011的处理器执行AI处理时，通过使用电子装置20001的处理器传输各种元数据，该过程减少，并且可以实现低功耗。

图8示出处理单元20401的配置示例。电子装置20001的处理器、边缘服务器20002、云服务器20003或光学传感器20011根据程序执行各种处理，从而用作处理单元20401。另外，可以使得包括在同一装置或不同装置中的多个处理器用作处理单元20401。

处理单元20401包括AI处理单元20411。AI处理部20411执行AI处理。AI处理单元20411包括学习单元20421和推理单元20422。

学习单元20421执行生成学习模型的学习处理。在学习处理中，生成用于校正包括在图像数据中的校正目标像素的机器学习的机器学习学习模型。此外，学习单元20421可以执行更新所生成的学习模型的重新学习处理。在以下描述中，尽管将分开描述学习模型的生成和更新，但是学习模型的更新也可以被认为是学习模型的生成，并且因此学习模型的更新的含义被假定为包括在学习模型的生成中。

此外，所生成的学习模型被记录在包括在电子装置20001、边缘服务器20002、云服务器20003、光学传感器20011等中的诸如主存储器、辅助存储器等的存储介质中，从而能够在由推理单元20422执行的推理处理中新使用。据此，可以生成基于该学习模型执行推理处理的电子装置20001、边缘服务器20002、云服务器20003、光学传感器20011等。此外，所生成的学习模型可以被记录在独立于电子装置20001、边缘服务器20002、云服务器20003、光学传感器20011等并且被提供用于由另一装置使用的存储介质或电子装置中。电子装置20001、边缘服务器20002、云服务器20003、光学传感器20011等的生成被假定为不仅包括在制造时在这样的存储媒质中新记录学习模型，而且还包括已经记录的生成的学习模型的更新。

推理单元20422使用学习模型执行推理处理。在推理处理中，使用学习模型进行用于校正包括在图像数据中的校正目标像素的处理。校正目标像素是在对应于图像数据的图像内的多个像素中作为满足预定条件的校正目标的像素。作为校正处理的示例，如在上述实施方式中所描述的，存在图像劣化的校正、噪声校正、像差校正等，但是校正处理不限于此。

作为用于机器学习的技术，可以使用神经网络、深度学习等。神经网络是模仿人的脑神经回路的模型，由包括输入层、中间层(隐藏层)和输出层的三种类型的层形成。深度学习是使用具有多层结构的神经网络的模型，并且能够通过在每层中重复独特的学习来学习存在于大量数据内的复杂模式。

作为机器学习中的问题设置，可以使用监督式学习。例如，在监督学习中，基于附加给定标签的教师数据来学习特征量。据此，可以导出未知数据的标记。作为教师数据，可使用由光学传感器实际获得的图像数据、已收集和管理的获得的图像数据、由模拟器生成的数据集等。此外，作为用于机器学习中的学习的数据集，如在上述实施方式中所描述的，可从通过诸如光学传感器等的预定装置获得的捕获的图像生成与上述模型的输出数据相对应的教师图像(理想图像)，并且可从教师数据(理想图像)生成与上述模型的输入数据相对应的劣化图像。

学习不限于受监督学习，并且可以使用无监督学习、半监督学习、强化学习等。在无监督学习中，通过分析没有附加标签的大量学习数据来提取特征量，并且基于所提取的特征量来执行聚类等。据此，可以基于大量未知数据来分析和预测趋势。半监督学习通过混合监督学习和无监督学习来获得，并且是这样的方法：在通过监督学习学习特征量之后，在通过无监督学习给出大量教师数据而自动计算特征量的同时，执行重复学习。在强化学习中，由代理人在观察当前状态的特定环境中处理确定要采取的动作的问题。

以这种方式，电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011的处理器用作AI处理单元20411，由此AI处理由这样的装置中的一个或多个装置执行。

AI处理单元20411可以包括学习单元20421和推理单元20422中的至少一个。换言之，每个装置的处理器可以被配置成执行学习处理和推理处理两者，或者被配置成执行学习处理和推理处理中的一个。例如，虽然在电子装置20001的处理器执行推理处理和学习处理的情况下，AI处理单元20411包括学习单元20421和推理单元20422，但是在仅执行推理处理的情况下，AI处理单元20411可仅包括推理单元20422。

每个装置的处理器可以执行与学习处理或推理处理相关的所有处理，或者，在由每个装置的处理器执行一些处理之后，剩余的处理可以由其他装置的处理器执行。每个装置可以具有用于执行AI处理的每个功能(诸如学习处理、推理处理等)的公共处理器，或者可以具有用于相应功能的单独处理器。

此外，AI处理可以由不同于上述装置的装置执行。例如，AI处理可以由电子装置20001可以通过无线通信等与其连接的另一电子装置执行。更具体地，在电子装置20001是智能电话的情况下，作为执行AI处理的另一电子装置，可以使用诸如另一智能电话、平板型终端、移动电话、个人计算机(PC)、游戏机、TV接收机、可穿戴终端、数字静态相机、数字视频相机等的装置。

此外，同样在使用安装在车辆等的移动体中的传感器、在远程医疗装置中使用的传感器等的配置中，尽管诸如推理处理等的AI处理是适用的，但是在这样的环境中要求延迟时间短。在这样的环境中，通过使用本地侧的装置(例如，作为车载装置或医疗装置的电子装置20001)的处理器执行AI处理而不是经由网络20040使用云服务器20003的处理器执行AI处理，可缩短延迟时间。此外，同样在不存在用于连接到网络20040(诸如互联网)的环境的情况下或者在不能执行高速连接的环境中使用的装置的情况下，例如，通过使用诸如电子装置20001、光学传感器20011等的本地侧装置的处理器执行AI处理，可以在更适当的环境中执行AI处理。

上述配置是示例，并且可以采用其他配置。例如，电子装置20001不限于诸如智能电话的移动终端，并且可以是诸如PC、游戏机、TV接收器、可穿戴终端、数字静态相机或数字摄像机的电子装置、车载装置或医疗装置。此外，电子装置20001可以使用符合诸如无线局域网(LAN)或有线LAN的预定通信方案的无线通信或有线通信来连接到网络20040。AI处理不限于通过使用诸如每个装置的CPU或GPU之类的处理器来执行，并且可以使用量子计算机、神经元形态计算机等。

(处理流程)

将参考图9中所示的流程图描述使用AI的处理流程。.

在步骤S20001中，处理单元20401从光学传感器20011获得图像数据。在步骤S20002中，例如，处理单元20401对所获得的图像数据执行校正处理。在该校正处理中，通过使用学习模型对图像数据的至少一部分执行推理处理，获取经校正的数据(即，在图像数据中包括的校正目标像素的校正之后的数据)。在步骤S20003，处理单元20401输出在校正处理中获取的经校正的数据。

这里，将参考图10所示的流程图描述在上述步骤S20002中执行的校正处理的细节。

在步骤S20021中，处理单元20401指定图像数据中包括的校正目标像素。在用于识别校正目标像素的该步骤(在下文中，被称为识别步骤(检测步骤))中，执行推理处理或者正常处理。

在执行推理处理作为识别步骤的情况下，在推理单元20422中，通过将图像数据输入到学习模型，输出用于识别输入的图像数据中包括的校正目标像素的信息(下文中被称为识别信息(检测信息))，从而可以识别校正目标像素。在此，使用具有包括校正目标像素的图像数据作为输入并且具有包括在图像数据中的校正目标像素的识别信息作为输出的学习模型。另一方面，在执行正常处理作为识别步骤的情况下，在不使用AI的情况下，使用电子装置20001或光学传感器20011的处理器或信号处理电路来执行识别包括在图像数据中的校正目标像素的处理。

在步骤S20021中，当识别出图像数据中包括的校正目标像素时，处理进入步骤S20022。在步骤S20022，处理单元20401校正所识别的校正目标像素。在该校正对象像素的校正步骤(下文中被称为校正步骤)中，进行推理处理或通常处理。

在执行推理处理作为校正步骤的情况下，在推理单元20422中，通过将图像数据和校正目标像素的识别信息输入到学习模型，输出经校正的图像数据或者经校正的校正目标像素的识别信息，从而可以校正校正目标像素。这里，使用具有包括校正目标像素和校正目标像素的识别信息的图像数据作为输入并且具有经校正的图像数据或者经校正的校正目标像素的识别信息作为输出的学习模型。另一方面，在执行正常处理作为校正步骤的情况下，在不使用AI的情况下，使用电子装置20001或光学传感器20011的处理器或信号处理电路来执行校正包括在图像数据中的校正目标像素的处理。

以这种方式，在校正处理中，在识别校正目标像素的识别步骤中执行推理处理或正常处理，并且在校正所识别的校正目标像素的校正步骤中执行推理处理或正常处理，由此在识别步骤和校正步骤中的至少一个中执行推理处理。换言之，在校正处理中，对从光学传感器20011提供的图像数据的至少一部分执行使用学习模型的推理处理。

此外，在校正处理中，通过使用推理处理，识别步骤可与校正步骤整体地执行。在进行推理处理作为这种校正步骤的情况下，在推理单元20422中，通过将图像数据输入到学习模型，输出校正了校正目标像素的图像数据，从而可以校正包含在输入图像数据中的校正目标像素。在此，使用具有包括校正目标像素的图像数据作为输入并且具有校正目标像素作为输出的图像数据的学习模型。

同时，在处理单元20401中，元数据可被配置为使用校正数据生成。图11的流程图示出在使用元数据的情况下执行的处理的流程。

在步骤S20051和S20052中，与上述步骤S20001和S20002类似，获得图像数据，并且执行使用所获得的图像数据的校正处理。在步骤S20053中，处理单元20401使用在校正处理中获取的校正数据生成元数据。在该生成元数据的步骤(下文中被称为生成步骤)中，执行推理处理或正常处理。

在执行推理处理作为生成步骤的情况下，在推理单元20422中，通过将校正数据输入学习模型，输出与输入的校正数据相关的元数据，从而可以生成元数据。在此，使用具有校正数据作为输入并且具有元数据作为输出的学习模型。例如，点云的三维数据、数据结构等包括在元数据中。另外，可以通过端到端机器学习来执行步骤S20051至S20054的处理。另一方面，在执行正常处理作为生成步骤的情况下，在不使用AI的情况下，使用电子装置20001或光学传感器20011的处理器或信号处理电路来执行从校正后的数据生成元数据的处理。

如上所述，作为使用从光学传感器20011提供的图像数据的校正处理，电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011执行识别校正目标像素的识别步骤和校正校正目标像素的校正步骤或校正包括在图像数据中的校正目标像素的校正步骤。此外，电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011可以执行使用在校正处理中获取的校正数据生成元数据的生成步骤。

此外，通过将诸如校正数据、元数据等的数据记录在可读记录介质中，还可生成记录该数据的存储介质和安装该存储介质的诸如电子装置的装置。存储介质可以是包括在电子装置20001、边缘服务器20002、云服务器20003或光学传感器20011中的存储介质(诸如主存储器、辅助存储器等)，或者可以是独立于它们的存储介质或电子装置。

在校正处理中执行识别步骤和校正步骤的情况下，可以在识别步骤、校正步骤以及生成步骤中的至少一个步骤中执行使用学习模型的推理处理。更具体地，在识别步骤中执行推理处理或正常处理之后，在校正步骤中执行推理处理或正常处理，并且在生成步骤中进一步执行推理处理或正常处理，由此在至少一个步骤中执行推理处理。

此外，在校正处理中仅执行校正步骤的情况下，在校正步骤中执行推理处理，并且在生成步骤中可执行推理处理或正常处理。更具体地，在校正步骤中执行推理处理之后，在生成过程中执行推理处理或正常处理，由此推理处理至少在一个步骤中执行。

这样，在识别步骤、校正步骤和生成步骤中，推理处理可以在所有的步骤中执行，或者可以配置为推理处理在一些步骤中执行，而正常处理在其余步骤中执行。在下文中，将描述在每个步骤中执行推理处理的情况下执行的过程。

(A)在识别步骤中执行推理处理的情况下的过程

在校正处理中执行了识别步骤和校正步骤的情况下，当在识别步骤中执行推理处理时，推理单元20422使用学习模型，该学习模型具有包括校正目标像素的图像数据作为输入并且具有包括在图像数据中的校正目标像素的识别信息作为输出。该学习模型是在学习单元20421执行的学习处理中生成的，提供给推理单元20422，并在推理处理进行时使用。

将参考图12的流程图描述当在校正处理中执行识别步骤和校正步骤的情况下在识别步骤中执行推理处理时提前执行的学习处理的流程。换言之，学习单元20421获得由光学传感器实际获得的图像数据、已收集和管理的获得的图像数据、由模拟器生成的数据集等作为教师数据(S20061)，并且使用获得的教师数据生成学习模型(S20062)。

此外，基于上述实施方式，在从通过诸如光学传感器等的预定装置获得的捕获图像生成理想图像之后，可以生成与学习模型的输出数据(包括在图像数据中的校正目标像素的识别信息)对应的教师图像，并且可以进一步从上述理想图像生成与学习模型的输入数据(包括校正目标像素的图像数据)对应的劣化图像。此外，教师图像和劣化图像中的每一者或一者可被配置为直接从捕获的图像产生。

作为该学习模型，生成具有包括校正目标像素的图像数据作为输入并且具有图像数据中包括的校正目标像素的标识信息作为输出的学习模型，并且将该学习模型输出至推理单元20422(S20063)。

(B)在校正步骤中执行推理处理的情况下的过程

在校正处理中执行识别步骤和校正步骤的情况下，当在校正步骤中执行推理处理时，推理单元20422使用学习模型，该学习模型具有包括校正目标像素和校正目标像素的识别信息的图像数据作为输入并且具有经校正的图像数据或者经校正的校正目标像素的识别信息作为输出。在由学习单元20421执行的学习处理中生成该学习模型。

将参考图12的流程图描述当在校正处理中执行识别步骤和校正步骤的情况下在校正步骤中执行推理处理时提前执行的学习处理的流程。换言之，学习单元20421获得从光学传感器提供的图像数据、从模拟器提供的数据集等作为教师数据(S20061)并且使用获得的教师数据生成学习模型(S20062)。

此外，基于上述实施方式，在从通过诸如光学传感器等的预定装置获得的捕获图像生成理想图像之后，可以生成与学习模型的输出数据(校正的图像数据或者校正的校正目标像素的识别信息)对应的教师图像，并且可以进一步从上述理想图像生成与学习模型的输入数据(包括校正目标像素和校正目标像素的识别信息的图像数据)对应的劣化图像。

此外，教师图像和劣化图像中的每一者或一者可被配置为直接从捕获的图像产生。

作为该学习模型，生成具有包括校正目标像素和校正目标像素的识别信息的图像数据作为输入并且具有校正图像数据或修正校正目标像素的识别信息作为输出的学习模型，并且将该学习模型输出至推理单元20422(S20063)。

(C)在校正步骤中执行推理处理的情况下的过程

在校正处理中仅执行校正步骤的情况下，当在校正步骤中执行推理处理时，推理单元20422使用具有包括校正目标像素的图像数据作为输入并且具有校正目标像素已经被校正的图像数据作为输出的学习模型。在由学习单元20421执行的学习处理中生成该学习模型。

将参考图12的流程图描述当在校正处理中仅执行校正步骤的情况下在校正步骤中执行推理处理时提前执行的学习处理的流程。换言之，学习单元20421获得从光学传感器提供的图像数据、从模拟器提供的数据集等作为教师数据(S20061)并且使用获得的教师数据生成学习模型(S20062)。

此外，如在上述实施方式中所描述的，可以从通过诸如光学传感器等的预定装置获得的捕获图像生成与学习模型的输出数据相对应的教师(理想)图像(校正了校正目标像素的图像数据)，并且可以进一步从教师(理想)图像生成与学习模型的输入数据相对应的劣化图像(包括校正目标像素的图像数据)。

此外，教师图像和劣化图像中的每一个可被配置为直接从捕获的图像产生。

作为该学习模型，生成具有包括校正目标像素的图像数据作为输入并且具有校正了校正目标像素的校正图像数据作为输出的学习模型，并且将该学习模型输出至推理单元20422(S20063)。

同时，学习模型和数据(诸如，图像数据、校正数据等)在单个装置内部使用并且可以在多个装置之间交换并且在这种装置内部使用。图13示出在多个装置之间的数据流。

电子装置20001-1至20001-N(这里N是等于或大于1的整数)中的每个电子装置由每个用户握持并且可以通过每个基站(未示出)等连接到网络20040(诸如互联网)。在制造时，学习装置20501连接到电子装置20001-1，并且可以在辅助存储器20104中记录由学习装置20501提供的学习模型。学习装置20501使用由模拟器20502产生的数据集作为教师数据来产生学习模型，并为电子装置20001-1提供产生的学习模型。教师数据不限于从模拟器20502提供的数据集，并且可使用通过光学传感器实际获得的图像数据、收集和管理获得的图像数据等。

此外，作为用于机器学习中的学习的数据集，如上所述，在从通过诸如光学传感器等的预定装置获得的捕获图像生成理想图像之后，可以生成与学习模型的输出数据相对应的教师图像，并且可以进一步从理想图像生成与学习模型的输入数据相对应的劣化图像。

此外，教师图像和劣化图像中的每个或一个可被配置为直接从捕获的图像产生。

另外，如在上述实施方式中描述的，可从通过诸如光学传感器等的预定装置获得的捕获图像产生与上述模型的输出数据对应的教师图像(理想图像)，并可进一步从上述教师图像(理想图像)产生与上述模型的输入数据对应的劣化图像。

此外，可从捕获的图像直接产生教师图像和劣化图像中的每个。

虽然未示出，但是与电子装置20001-1相似，电子装置20001-2至20001-N还可以在制造时的阶段中记录学习模型。在下文中，在不需要彼此区分电子装置20001-1至20001-N的情况下，其每个将被称为电子装置20001。

除了电子装置20001之外，学习模型生成服务器20503、学习模型提供服务器20504、数据提供服务器20505、以及应用服务器20506连接到网络20040，并且可以在它们之间交换数据。每个服务器可以被提供为云服务器。

学习模型生成服务器20503具有与云服务器20003相似的配置，并且可以使用诸如CPU等的处理器执行学习处理。学习模型生成服务器20503使用教师数据生成学习模型。在所示配置中，尽管已经示出电子装置20001在被制造时记录学习模型的情况，但是可以从学习模型生成服务器20503提供学习模型。学习模型生成服务器20503经由网络20040将所生成的学习模型发送给电子装置20001。电子装置20001接收从学习模型生成服务器20503发送的学习模型并将学习模型记录在辅助存储器20104中。据此，产生包括学习模型的电子装置20001。

换言之，在制造时的阶段未记录学习模型的情况下，电子装置20001新记录从学习模型生成服务器20503发送的学习模型，从而生成记录了新学习模型的电子装置20001。此外，在已经在制造时的阶段中记录了学习模型的情况下，电子装置20001利用从学习模型生成服务器20503发送的学习模型更新所记录的学习模型，从而生成其中记录了更新后的学习模型的电子装置20001。电子装置20001可以使用适当更新的学习模型来执行推理处理。

学习模型不限于直接从学习模型生成服务器20503提供给电子装置20001，并且可以经由网络20040由收集和管理不同学习模型的学习模型提供服务器20504提供。学习模型提供服务器20504不限于电子装置20001，并且通过向另一装置提供学习模型，可以生成包括学习模型的装置。此外，学习模型可以被提供为被记录在可以附接和拆卸的存储卡(诸如闪存等)中。电子装置20001可以从安装在插槽中的存储卡中读取学习模型并记录该学习模型。据此，即使在恶劣环境下使用的情况、不提供通信功能的情况、提供通信功能且可发送信息量小的情况等，电子装置20001也可以获得学习模型。

电子装置20001可以经由网络20040向其他装置提供诸如图像数据、校正数据、元数据等的数据。例如，电子装置20001经由网络20040向学习模型生成服务器20503传输诸如图像数据、校正数据等的数据。据此，学习模型生成服务器20503可以使用从一个或多个电子装置20001收集的诸如图像数据、校正数据等的数据作为教师数据来生成学习模型。通过使用更多条教师数据，可以提高学习处理的准确度。

诸如图像数据、校正数据等的数据不限于从电子装置20001直接提供给学习模型生成服务器20503，并且收集和管理各种数据的数据提供服务器20505可以提供数据。数据提供服务器20505可以不仅从电子装置20001而且还从另一个装置收集数据，并且不仅可以向学习模型生成服务器20503而且还向另一个装置提供数据。

学习模型产生服务器20503可执行将从电子装置20001或数据提供服务器20505提供的诸如图像数据、校正数据等的数据添加到用于已经产生的学习模型的教师数据并更新学习模型的重新学习处理。可以为电子装置20001提供更新的学习模型。在学习模型生成服务器20503执行学习处理或重新学习处理的情况下，可以在不依赖于电子装置20001的规格和性能的差异的情况下执行该处理。

此外，在电子装置20001中用户对校正后的数据或元数据执行校正操作的情况下(例如，在用户输入校正信息的情况下)，可在重新学习处理中使用与校正处理有关的反馈数据。例如，通过将从电子装置20001传送的反馈数据传送到学习模型生成服务器20503，学习模型生成服务器20503可以使用从电子装置20001传送的反馈数据来执行重新学习处理，并更新学习模型。此外，当用户执行校正操作时，由应用服务器20506提供的应用可由电子装置20001使用。

重新学习处理可由电子装置20001来执行。在电子装置20001通过使用图像数据和反馈数据执行重新学习处理来更新学习模型的情况下，可以在装置内部增强学习模型。据此，生成包括更新的学习模型的电子装置20001。此外，电子装置20001可以将在重新学习处理中获取的更新之后的学习模型传输到学习模型提供服务器20504，使得学习模型被提供给其他电子装置20001。据此，可以在多个电子装置20001之间共享更新之后的学习模型。

可替换地，电子装置20001可以将重新学习的学习模型的差异信息(与更新之前的学习模型和更新之后的学习模型相关的差异信息)作为更新信息发送到学习模型生成服务器20503。学习模型生成服务器20503可以生成基于从电子装置20001传输的更新信息而增强的学习模型，并且向其他电子装置20001提供所生成的学习模型。通过交换这种差异信息，与交换所有信息的情况相比可以更多地保护隐私，并且可以降低通信成本。此外，与电子装置20001类似，安装在电子装置20001中的光学传感器20011可以执行重新学习处理。

应用服务器20506是可以经由网络20040提供不同应用的服务器。该应用程序使用学习模型和数据(诸如校正数据、元数据等)提供预定功能。通过执行经由网络20040从应用服务器20506下载的应用，电子装置20001可以实现预定功能。可选地，应用服务器20506可以通过例如经由应用编程接口(API)等从电子装置20001获得数据并在应用服务器20506上执行应用来实现预定功能。

以这种方式，在包括应用本技术的装置的系统中，在装置之间交换并传递学习模型和数据(诸如，图像数据、校正数据等)，并且可提供使用这种数据的各种服务。例如，可以提供通过学习模型提供服务器20504提供学习模型的服务和通过数据提供服务器20505提供诸如图像数据、校正数据等的数据的服务。此外，可以提供通过应用服务器20506提供应用的服务。

备选地，通过将从电子装置20001的光学传感器20011获得的图像数据输入到由学习模型提供服务器20504提供的学习模型，可以提供作为其输出而获取的校正数据。此外，可以生成并提供诸如其中嵌入了由学习模型提供服务器20504提供的学习模型的电子装置的装置。此外，通过将学习模型和数据(诸如校正后的数据、元数据等)记录在可读存储介质中，可以生成并提供其中记录有这种数据的存储介质，诸如安装有存储介质的电子装置的装置。存储介质可以是诸如磁盘、光盘、磁光盘或半导体存储器的非易失性存储器，或者可以是诸如SRAM或DRAM的易失性存储器。

上述实施方式可以具有以下形式。

(1)

一种数据生成方法，使用处理器生成用于学习模型的训练数据，该数据生成方法包括：

从由预定装置获得的捕获图像生成与模型的输出数据相对应的理想图像；并且

从理想图像生成与模型的输入数据相对应的劣化图像。

(2)

在(1)中描述的数据生成方法，其中，基于与预定装置的透镜有关的劣化生成理想图像。

(3)

在(1)或(2)中描述的数据生成方法，其中，基于与预定装置的传感器有关的劣化生成理想图像。

(4)

根据(1)至(3)中任一项的数据生成方法，其中，通过缩小捕获图像来生成理想图像。

(5)

在(1)至(4)中任一项的数据生成方法，其中，基于由预定装置获得的同一场景中的多个静止图像生成理想图像。

(6)

在(5)中描述的数据生成方法，其中，基于多个静止图像中的统计值来生成理想图像。

(7)

根据(6)的数据生成方法，其中，统计值包括每个像素的平均值、众数、中值或方差值中的至少一者。

(8)

根据(1)至(7)中任一项的数据生成方法，其中，使用捕获图像的全局偏移来生成理想图像。

(9)

根据(1)至(8)中任一项的数据生成方法，通过校准捕获图像来生成理想图像。

(10)

根据(1)至(9)中任一项的数据生成方法，其中，基于与捕获模型的输入图像的目标装置相关的信息生成劣化图像。

(11)

根据(10)的数据生成方法，其中，基于与目标装置的透镜有关的劣化来生成劣化图像。

(12)

根据(10)或(11)的数据生成方法，其中，基于与目标装置的传感器有关的劣化来生成劣化图像。

(13)

根据(10)至(12)中任一项的数据生成方法，其中，基于目标装置执行的信号处理来生成劣化图像。

(14)

一种学习方法，使用由在(1)至(13)中任一项的数据生成方法而生成的训练数据来优化模型。

(15)

一种估计方法，使用通过在根据(1)至13中任一项所述的数据生成方法生成的训练数据来优化的模型。

(16)

一种数据生成装置，是生成在学习模型中使用的训练数据的装置，该数据生成装置包括执行在(1)至(15)中的一项中描述的方法的处理器。

(17)

一种程序，使计算机执行在(1)至(15)中任一项所述的方法。

本公开的方面不限于上述实施方式并且包括可想到的各种变形，并且本公开的效果不限于上述内容。实施方式的构成要素能够适当地组合。换言之，在不背离从权利要求及其等同物中规定的内容得出的本公开的概念构思和精神的范围内，可执行各种添加、改变、以及部分删除。

[参考标号列表]

1 数据生成装置

100 输入/输出I/F

102 存储单元

104 理想图像生成单元

106 劣化图像生成单元。

Claims (17)

1.一种数据生成方法，所述数据生成方法使用处理器生成用于学习模型的训练数据，所述数据生成方法包括：

从由预定装置获得的捕获图像生成与所述模型的输出数据相对应的理想图像；并且

从所述理想图像生成与所述模型的输入数据相对应的劣化图像。

2.根据权利要求1所述的数据生成方法，其中，基于与所述预定装置的透镜有关的劣化来生成所述理想图像。

3.根据权利要求1所述的数据生成方法，其中，基于与所述预定装置的传感器有关的劣化来生成所述理想图像。

4.根据权利要求1所述的数据生成方法，其中，通过缩小所述捕获图像来生成所述理想图像。

5.根据权利要求1所述的数据生成方法，其中，基于由所述预定装置获得的同一场景中的多个静止图像生成所述理想图像。

6.根据权利要求5所述的数据生成方法，其中，基于所述多个静止图像中的统计值来生成所述理想图像。

7.根据权利要求6所述的数据生成方法，其中，所述统计值包括每个像素的平均值、众数、中值以及方差值中的至少一者。

8.根据权利要求1所述的数据生成方法，其中，使用所述捕获图像的全局偏移来生成所述理想图像。

9.根据权利要求1所述的数据生成方法，其中，通过校准所述捕获图像来生成所述理想图像。

10.根据权利要求1所述的数据生成方法，其中，基于与捕获所述模型的输入图像的目标装置相关的信息生成所述劣化图像。

11.根据权利要求10所述的数据生成方法，其中，基于与所述目标装置的透镜有关的劣化来生成所述劣化图像。

12.根据权利要求10所述的数据生成方法，其中，基于与所述目标装置的传感器有关的劣化来生成所述劣化图像。

13.根据权利要求10所述的数据生成方法，其中，基于由所述目标装置执行的信号处理来生成所述劣化图像。

14.一种学习方法，使用根据权利要求1所述的数据生成方法而生成的训练数据来优化模型。

15.一种估计方法，使用通过根据权利要求1所述的数据生成方法生成的训练数据而优化的模型来执行估计。

16.一种数据生成装置，所述数据生成装置是生成在学习模型中使用的训练数据的装置，所述数据生成装置包括处理器，所述处理器：

从由预定装置获得的捕获图像生成与所述模型的输出数据相对应的理想图像；并且

从所述理想图像生成与所述模型的输入数据相对应的劣化图像。

17.一种程序，使计算机执行在使用处理器学习模型中使用的生成训练数据的方法，所述方法包括：

从由预定装置获得的捕获图像生成与所述模型的输出数据相对应的理想图像的步骤；并且

从所述理想图像生成与所述模型的输入数据相对应的劣化图像的步骤。

Images