CN117769838A - 数据生成方法、学习方法、摄像装置及程序 - Google Patents

Abstract

本发明的数据生成方法生成第1图像数据，所述第1图像数据为由摄像装置拍摄被摄体而得到的、用于机器学习的图像数据，并且具有附带信息。数据生成方法具备：第1生成工序，通过摄像装置进行第1图像处理而生成第1图像数据；及第2生成工序，生成基于与第1图像处理相关的图像处理信息的第1信息，作为附带信息中所包含的信息。

Description

数据生成方法、学习方法、摄像装置及程序

技术领域

本发明的技术涉及一种数据生成方法、学习方法、摄像装置及程序。

背景技术

在日本特开2018-152804号公报中，公开有如下方法：针对从拍摄色卡而得到的图像提取的RGB数据，通过考虑了误差的协方差矩阵的统计上最佳的方法来推定三维RGB颜色空间中的三维几何学转换。并且，在文献1中，公开有如下方法：根据多个不同的自由度的几何学转换模型的推定结果，通过几何学的模型选择来确定平衡模型的复杂性和适用性的最佳的模型，并通过三维查找表插值计算基于所选择的三维几何学转换的颜色校正处理，由此进行拍摄包含色卡的场景的不同机种的各种相机之间的颜色匹配。

在日本特开平9-284581号公报中，公开有具备第1～第4转换机构及输出机构的颜色模拟装置。第1转换机构是由通过对不依赖于光源的光谱反射率分布或光谱透射率分布进行多变量分析而得到的至少3个特征参数和特征参数系数来表现被摄体的各颜色的机构。并且，第1转换机构将所输入的颜色信息值转换为与该颜色信息值相对应的至少3个特征参数系数。第2转换机构根据通过多变量分析而得到的至少3个特征参数信号，将来自第1转换机构的至少3个特征参数系数转换为光谱反射率信号或者光谱透射率信号。第3转换机构基于所指定的光源的光谱信息，将由第2转换机构转换的光谱反射率分布或光谱透射率分布转换为颜色值信号。第4转换机构由多个神经网络构成，并且具备：在准备时，将预先从打印机输出的分色值已知的标准颜色样本的各光源的颜色值作为输入来提供，将标准颜色样本的分色值作为教师信号来提供，并使其进行神经网络的学习的功能；及在转换时，通过将来自所述第3转换机构的光源的信息已知的颜色值选择性地输入到学习完毕的各光源的网络中，输出分色值的功能。输出机构通过由第4转换机构转换的分色值而输出当前图像。

发明内容

本发明的技术所涉及的一个实施方式提供一种数据生成方法、学习方法、摄像装置及程序，所述数据生成方法能够减轻对于由进行了图像处理的图像数据显示的图像的画质，因图像处理引起的偏差。

用于解决技术课题的机构

本发明的技术所涉及的第1方式为一种数据生成方法，其生成第1图像数据，所述第1图像数据为由摄像装置拍摄被摄体而得到的、用于机器学习的图像数据，并且具有附带信息，所述数据生成方法具备：第1生成工序，通过摄像装置进行第1图像处理而生成第1图像数据；及第2生成工序，生成基于与第1图像处理相关的图像处理信息的第1信息，作为附带信息中所包含的信息。

本发明的技术所涉及的第2方式为一种摄像装置，其具备图像传感器及处理器，处理器执行如下处理：通过针对由图像传感器拍摄被摄体而生成的摄像信号进行第1图像处理，生成用于机器学习的第1图像数据，作为第1图像数据所具有的附带信息中所包含的信息，生成基于与第1图像处理相关的图像处理信息的第1信息。

本发明的技术所涉及的第3方式为一种程序，其用于使计算机执行数据生成处理，所述数据生成处理生成第1图像数据，所述第1图像数据为由摄像装置拍摄被摄体而得到的、用于机器学习的图像数据，并且具有附带信息，所述程序中，数据生成处理包括如下处理：通过摄像装置进行第1图像处理而生成第1图像数据；及生成基于与第1图像处理相关的图像处理信息的第1信息，作为附带信息中所包含的信息。

附图说明

图1是表示信息处理系统的整体结构的一例的概略结构图。

图2是表示摄像装置的电气系统的硬件结构的一例的概略结构图。

图3是表示信息处理装置的电气系统的硬件结构的一例的概略结构图。

图4是表示第1生成部的处理内容的一例的概念图。

图5是表示第2图像处理及第3图像处理的处理内容的一例的概念图。

图6是表示第2生成部的处理内容的一例的概念图。

图7是表示第1生成部及运算部的处理内容的一例的概念图。

图8是表示教师数据生成部的处理内容的一例的概念图。

图9是表示学习执行部的处理内容的一例的概念图。

图10是表示数据生成处理的流程的一例的流程图。

图11是表示机器学习处理的流程的一例的流程图。

图12是表示在使用比图6所示的比色图表色标的种类更多的比色图表时的第2生成部的处理内容的一例的概念图。

图13是表示在使用比图7所示的比色图表色标的种类更多的比色图表时的运算部的处理内容的一例的概念图。

图14是表示在摄像装置中使用的比色图表信息和在信息处理装置中使用的基准颜色信息为相同信息时的在摄像装置及信息处理装置中的处理内容的一例的概念图。

图15是表示比色图表信息的生成方法的变形例的概念图。

具体实施方式

以下，按照附图对本发明的技术所涉及的数据生成方法、学习方法、摄像装置及程序的实施方式的一例进行说明。

作为一例，如图1所示，信息处理系统10具备摄像装置12及信息处理装置14。摄像装置12及信息处理装置14以相互可通信的方式连接。另外，在本实施方式中，摄像装置12为本发明的技术所涉及的“摄像装置”的一例。

摄像装置12通过拍摄被摄体16，生成具有附带信息18的第1图像数据20。第1图像数据20为用于机器学习的图像数据。机器学习例如由信息处理装置14执行。详细内容在后面进行叙述，附带信息18为与第1图像数据20相关的元数据。

摄像装置12具备摄像装置主体21及可更换镜头22。可更换镜头22能够更换地安装于摄像装置主体21。在图1所示的例子中，作为摄像装置12的一例，示出了镜头可换式数码相机。

但是，这仅为一例，也可以为镜头固定式数码相机，也可以为搭载于智能设备、穿戴式终端、细胞观察装置、眼科观察装置或外科显微镜等各种电子设备的数码相机。

在摄像装置主体21中设置有图像传感器24。图像传感器24为本发明的技术所涉及的“图像传感器”的一例。图像传感器24为CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)图像传感器。

在摄像装置主体21的上表面设置有释放按钮25。当用户操作释放按钮25时，图像传感器24拍摄包括被摄体16在内的摄像范围。在可更换镜头22安装于摄像装置主体21的情况下，表示被摄体16的被摄体光透射可更换镜头22而在图像传感器24上成像，并通过图像传感器24生成表示被摄体16的图像的模拟图像数据56(参考图2)。

在本实施方式中，例示出CMOS图像传感器作为图像传感器24，但是本发明的技术并不限定于此，例如即使图像传感器24为CCD(Charge Coupled Device：电荷耦合器件)图像传感器等其他种类的图像传感器，本发明的技术也成立。

信息处理装置14为用于机器学习的装置。信息处理装置14具备计算机26、接收装置28及显示器30，通过注释器32使用。注释器32是指对所赋予的数据赋予机器学习用的注释的操作者(即，进行标记的操作者)。

摄像装置主体21以可通信的方式连接于计算机26。在图1所示的例子中，摄像装置主体21及计算机26通过通信电缆34连接。另外，在图1所示的例子中，示出了摄像装置主体21和计算机26有线连接的方式例，但本发明的技术并不限定于此，摄像装置主体21与计算机26的连接也可以为无线连接。

接收装置28连接于计算机26。接收装置28具有键盘36及鼠标38等，接收来自注释器32的指示。

作为一例，如图2所示，摄像装置12除了图像传感器24之外，还具备计算机40、UI(User Interface：用户界面)系统装置42、A/D(Analog/Digital：模拟/数字)转换器44及外部I/F(Interface：接口)46。

计算机40为本发明的技术所涉及的“计算机”的一例。计算机40具备处理器48、NVM(Non-volatile memory：非易失性存储器)50及RAM(Random Access Memory：随机存取存储器)52。

处理器48、NVM50及RAM52与总线54连接。并且，图像传感器24、UI系统装置42、A/D转换器44及外部I/F46也与总线54连接。

处理器48为本发明的技术所涉及的“处理器”的一例。处理器48控制摄像装置12的整体。处理器48为例如包括CPU(Central Processing Unit：中央处理单元)及GPU(Graphics Processing Unit：图形处理单元)的处理装置，GPU在CPU的控制下动作，并承担与图像相关的处理的执行。

在此，作为处理器48的一例，举出了包括CPU及GPU的处理装置，但这仅为一例，处理器48可以是集成GPU功能的1个以上的CPU，也可以是未集成GPU功能的1个以上的CPU。

NVM50是存储各种程序及各种参数等的非易失性存储装置。作为NVM50，可以举出闪存(例如，EEPROM(Electrically Erasable and Programmable Read Only Memory：电可擦除可编程只读存储器))。RAM52为临时存储信息的存储器，通过处理器48用作工作存储器。作为RAM52，例如，可以举出DRAM(Dynamic Random Access Memory：动态随机存取存储器)或SRAM(Static Random Access Memory：静态随机存取存储器)等。

引系统装置42为具有接收表示来自用户的指示的指示信号的接收功能及对用户提示信息的提示功能的装置。接收功能例如通过触摸面板及硬键(例如，释放按钮25及菜单选择键)等来实现。提示功能例如通过显示器及扬声器等来实现。

图像传感器24在处理器48的控制下，拍摄被摄体16(参考图1)。在图像传感器24中组装有A/D转换器(省略图示)，通过将通过由图像传感器24拍摄而得到的模拟图像数据进行数字化，生成作为RAW数据的第1RAW(Raw im age format：原始图像格式)数据58。第1RAW数据58为表示R(红)像素、G(绿)像素及B(蓝)像素以马赛克状排列的图像的数据。处理器48从A/D转换器44获取第1RAW数据58，并对所获取的第1RAW数据58，进行包括去马赛克处理等的第1图像处理86(参考图4及图5)。另外，第1RAW数据58为本发明的技术所涉及的“摄像信号”的一例。

外部I/F46负责存在于摄像装置12外部的装置(以下，也称为“外部装置”)与处理器48之间的各种信息的传递。作为外部I/F46的一例，可以举出USB(Universal SerialBus：通用串行总线)接口。在外部I/F46，作为外部装置，直接或问接地连接信息处理装置14、基准摄像装置60、智能设备、个人计算机、服务器、USB存储器、存储卡或打印机等。作为基准摄像装置60的一例，例如，可以举出具有相当于摄像装置12的功能的摄像装置。

通过由包括摄像装置12的多个摄像装置(例如，由不同厂商制造的多个摄像装置)的每一个拍摄被摄体16(参考图1)而得到的图像数据所显示的图像的画质，即使在摄像装置之间进行了相同种类的图像处理，也会由于在各摄像装置中进行的图像处理中所使用的参数的不同等而存在偏差。例如，当在白平衡校正处理中使用的白平衡增益(以下，也称为“WB增益”)在摄像装置之间不同时，通过由各摄像装置拍摄被摄体16而得到的各图像的色调不同。并且，不仅各图像的色调不同，而且根据摄像装置的图像处理中所使用的各种参数，也有时得到与被摄体16(参考图1)原来的色调完全不同的色调的图像。

因此，鉴于这种情况，摄像装置12构成为通过处理器48进行数据生成处理(参考图4～图7及图10)。数据生成处理通过处理器48按照数据生成处理程序62作为第1生成部64及第2生成部66进行动作来实现。数据生成处理程序62为本发明的技术所涉及的“程序”的一例。

在图2所示的例子中，在NVM50中存储有数据生成处理程序62。处理器48从NVM62读出数据生成处理程序62，并在RAM52上执行读出到的数据生成处理程序62。处理器48通过按照在RAM52上执行的数据生成处理程序62作为第1生成部64及第2生成部66进行动作来进行数据生成处理。

作为一例，如图3所示，信息处理装置14除了计算机26、接收装置28及显示器30之外，还具备外部I/F68。

计算机26具备处理器70、NVM72及RAM74。处理器70、NVM72及RAM74与总线76连接。并且，接收装置28、显示器30及外部I/F68也与总线76连接。

处理器70控制信息处理装置14的整体。处理器70、NVM72及RAM74为与上述的处理器48、NVM50及RAM52相同的硬件资源。

接收装置28接收来自注释器32(参考图1)的指示。处理器70按照由接收装置28接收到的指示进行动作。

外部I/F68为与上述的外部I/F46相同的硬件资源。外部I/F68与摄像装置12的外部I/F46连接，负责摄像装置12与处理器70的之间的各种信息的传递。

在NVM72中存储有机器学习处理程序78。处理器70从NVM72读出机器学习处理程序78，并在RAM74上执行所读出的机器学习处理程序78。处理器70按照在RAM74上执行的机器学习处理程序78进行机器学习处理。机器学习处理通过处理器70按照机器学习处理程序78作为运算部80、教师数据生成部82及学习执行部84进行动作来实现。

作为一例，如图4所示，第1生成部64通过对第1RAW数据58进行第1图像处理86而生成第1图像数据20。在此，生成第1图像数据20的工序为本发明的技术所涉及的“第1生成工序”的一例。

在第1图像处理86中，包括作为第1图像处理86的一部分的处理的第2图像处理86A、及作为第1图像处理86的一部分的处理的第3图像处理86B。在此，第2图像处理86A为本发明的技术所涉及的“相当于第1图像处理的一部分的处理的第2图像处理”的一例。

第1生成部64通过对第1RAW数据58进行第1图像处理86(例如，第2图像处理86A及第3图像处理86B)而生成处理完毕的图像数据88，并通过将附带信息18与所生成的处理完毕的图像数据88相关联而生成第1图像数据20。

作为一例，如图5所示，第1生成部64具备去马赛克处理部64A、白平衡校正部64B、颜色校正部64C、伽马校正部64D、颜色空间转换部64E、亮度处理部64F、色差处理部64G、色差处理部64H、尺寸调整处理部64I及压缩处理部64J。

作为第2图像处理86A的一例，可以举出由去马赛克处理部64A进行的处理。

作为第3图像处理86B的一例，可以举出由白平衡校正部64B进行的处理、由颜色校正部64C进行的处理、由伽马校正部64D进行的处理、由颜色空间转换部64E进行的处理、由亮度处理部64F进行的处理、由色差处理部64G进行的处理、由色差处理部64H进行的处理、由尺寸调整处理部64I进行的处理及由压缩处理部64J进行的处理。

去马赛克处理部64A对第1RAW数据58进行去马赛克处理。去马赛克处理为将第1RAW数据58三板化为R、G及B的处理。即，去马赛克处理部64A通过对第1RAW数据58中所包含的R信号、G信号及B信号实施颜色插值处理来生成表示与R对应的图像的R图像数据、表示与G对应的图像的B图像数据及表示与G对应的图像的G图像数据。在此，颜色插值处理是指从周边像素插值各像素所不具有的颜色的处理。即，在光电转换元件24A(参考图2)的各感光像素中，仅能够获得R信号、G信号或B信号(即，与R、G及B中的1个颜色的像素对应的信号值)，因此去马赛克处理部64A使用周边的像素的信号值对在各像素中无法获得的其他颜色进行插值。另外，以下，也将R图像数据、B图像数据及G图像数据称为“RGB图像数据”。

白平衡校正部64B对通过进行去马赛克处理而得到的RGB图像数据进行白平衡校正处理。白平衡校正处理为通过将针对R像素、G像素及B像素的每一个而设定的WB增益乘以RGB的颜色信号而针对RGB的颜色信号校正光源类型的颜色的影响的处理。WB增益例如为针对白色的增益。作为针对白色的增益的一例，可以举出以相对于映在图像中的白色的被摄体使R信号、G信号及B信号的各信号电平相等的方式规定的增益。WB增益例如根据通过进行图像分析确定的光源类型来设定或根据由用户等指定的光源类型来设定。

颜色校正部64C对进行了白平衡校正处理的RGB图像数据进行颜色校正处理(在此，作为一例，基于线性矩阵的颜色校正)。颜色校正处理为调整色相及色饱和特性的处理。作为颜色校正处理的一例，可以举出通过将颜色再现系数(例如，线性矩阵系数)乘以RGB图像数据来改变颜色再现性的处理。另外，颜色再现系数为以使R、G及B的光谱特性接近人类的视晰度特性的方式规定的系数。

伽马校正部64D对进行了颜色校正处理的RGB图像数据进行伽马校正处理。伽马校正处理为根据表示图像的灰度的响应特性的值，即，伽马值来校正由RGB图像数据表示的图像的灰度的处理。

颜色空间转换部64E对进行了颜色校正处理的RGB图像数据进行颜色空间转换处理。颜色空间转换处理为将进行了颜色校正处理的RGB图像数据的颜色空间从RGB颜色空间转换为YCbCr颜色空间的处理。即，颜色空间转换部64E将RGB图像数据转换为亮度/色差信号。亮度/色差信号为Y信号、Cb信号及Cr信号。Y信号为表示亮度的信号。以下，有时还将Y信号记载为亮度信号。Cb信号为通过调整从B信号减去亮度成分的信号而得到的信号。Cr信号为通过调整从R信号减去亮度成分的信号而得到的信号。以下，有时还将Cb信号及Cr信号记载为色差信号。

亮度处理部64F对Y信号进行亮度滤波处理。亮度滤波处理为使用亮度滤波器(省略图示)对Y信号进行滤波的处理。例如，亮度滤波器为降低去马赛克处理中所产生的高频噪声或强调清晰度的滤波器。针对Y信号的信号处理，即，基于亮度滤波器的滤波根据亮度滤波器参数来进行。亮度滤波器参数为对亮度滤波器设定的参数。亮度滤波器参数规定降低去马赛克处理中所产生的高频噪声的程度及强调清晰度的程度。亮度滤波器参数例如按照拍摄条件或者由UI系统装置42(参考图2)接收到的指示信号来变更。

色差处理部64G对Cb信号进行第1色差滤波处理。第1色差滤波处理为使用第1色差滤波器(省略图示)对Cb信号进行滤波的处理。例如，第1色差滤波器为降低Cb信号中所包含的高频噪声的低通滤波器。针对Cb信号的信号处理，即，基于第1色差滤波器的滤波按照所指定的第1色差滤波器参数来进行。第1色差滤波器参数为对第1色差滤波器设定的参数。第1色差滤波器参数规定降低Cb信号中所包含的高频噪声的程度。第1色差滤波器参数例如按照拍摄条件或由UI系统装置42(参考图2)接收到的指示信号来变更。

色差处理部64H对Cr信号进行第2色差滤波处理。第2色差滤波处理为使用第2色差滤波器(省略图示)对Cr信号进行滤波的处理。例如，第2色差滤波器为降低Cr信号中所包含的高频噪声的低通滤波器。针对Cr信号的信号处理，即，基于第2色差滤波器的滤波按照所指定的第2色差滤波器参数来进行。第2色差滤波器参数为对第2色差滤波器设定的参数。第2色差滤波器参数规定降低Cr信号中所包含的高频噪声的程度。第2色差滤波器参数例如按照拍摄条件或由UI系统装置42(参考图2)接收到的指示信号来变更。

尺寸调整处理部64I对亮度/色差信号进行尺寸调整处理。尺寸调整处理为以使由亮度/色差信号表示的图像的尺寸符合由用户等指定的尺寸的方式调节亮度/色差信号的处理。

压缩处理部64J对进行了尺寸调整处理的亮度/色差信号进行压缩处理。压缩处理例如为按照既定的压缩方式来压缩亮度/色差信号的处理。作为既定的压缩方式，例如，可以举出JPEG(Joint Photographic Experts Group：联合图象专家组)、TIFF(Tagged ImageFile Format：标记图像文件格式)或JPEG XR(Joint Photographic Experts GroupExtended Range：联合图象专家组扩展范围)等。通过对亮度/色差信号进行压缩处理，可以获得处理完毕的图像数据88。压缩处理部64J将处理完毕的图像数据88存储于既定的存储装置(例如，RAM52(参考图2))中。

作为一例，如图6所示，基准摄像装置60通过拍摄比色图表90生成第2RAW数据92。第2RAW数据92为本发明的技术所涉及的“比色图表摄像信号”的一例。

比色图表90包含多个色标90A。在图6所示的例子中，作为比色图表90的一例，示出排列有24色的矩形状的色标90A的板状的物体。第2RAW数据92为通过由基准摄像装置60进行与为了得到第1RAW数据58而由摄像装置12进行的处理相同的处理而得到的RAW数据。

在基准摄像装置60中，通过对第2RAW数据92进行第2图像处理86A，生成表示比色图表90的比色图表信息94。例如，比色图表信息94表示为针对多个色标90A(作为一例，24色的色标90A)的每一个的R、G及B的信号值(例如，0～255的256灰度的每个像素的输出值)。即，比色图表信息94为将多个色标90A规定为R、G及B的信号值的信息。在此，R的信号值为本发明的技术所涉及的“表示第1原色的第1信号值”的一例，G的信号值为本发明的技术所涉及的“表示第2原色的第2信号值”的一例，B的信号值为本发明的技术所涉及的“表示第3原色的第3信号值”的一例。

如此得到的比色图表信息94预先存储于摄像装置12中。在图6所示的例子中，比色图表信息94预先存储于NVM50中。

第2生成部66生成第1信息96，作为附带信息18中所包含的信息。第1信息96为基于与第1图像处理86(参考图4)相关的图像处理信息(以下，也简称为“图像处理信息”)的信息。在此，生成第1信息96的工序为本发明的技术所涉及的“第2生成工序”的一例。

作为图像处理信息的一例，可以举出在第3图像处理86B中使用的各种参数。作为各种参数，例如，可以举出在白平衡校正处理中使用的WB增益、在伽马校正处理中使用的伽马值、在颜色校正处理中使用的颜色再现系数、在颜色空间转换处理中使用的转换系数、在亮度滤波处理中使用的亮度滤波器参数、在第1色差滤波处理中使用的第1色差滤波器参数、在第2色差滤波处理中使用的第2色差滤波器参数、在尺寸调整处理中使用的参数、及在压缩处理中使用的参数。另外，图像处理信息也可以为未考虑第1图像处理86的一部分的图像处理信息。例如，图像处理信息也可以为未考虑白平衡校正处理的信息。

第1信息96为基于比色图表信息94和图像处理信息的信息。换言之，第1信息96为从比色图表信息94派生的颜色信息。作为从比色图表信息94派生的颜色信息的一例，可以举出通过对比色图表信息94所表示的R、G及B的信号值附加图像处理信息来变更比色图表信息94所表示的R、G及B的信号值而得到的信息。

第1信息96，即，基于比色图表信息94和图像处理信息的信息例如通过对比色图表信息94进行作为第1图像处理86的一部分的处理的第3图像处理86B而得到。在图6所示的例子中，生成部66从NVM50获取比色图表信息94，并通过对所获取的比色图表信息94进行第3图像处理86B而生成第1信息96。第1信息96表示为针对多个色标90A(作为一例，24色的色标90A)的每一个的R、G及B的信号值。

第2生成部66生成第2信息98，作为附带信息18中所包含的信息。第2信息98为与在第3图像处理86B中所包含的白平衡校正处理中使用的增益相关的信息。在本实施方式中，适用在对比色图表信息94进行的白平衡校正处理中使用的WB增益，作为第2信息98。

另外，这仅为一例，可以为用于计算WB增益的信号值本身，只要是与在白平衡校正处理中使用的增益相关的信息即可。

并且，在图6所示的例子中，作为附带信息18中所包含的信息，示出了第1信息96及第2信息98，但本发明的技术并不限定于此，在附带信息18中可以进一步包含如下信息：能够确定通过由摄像装置12进行被摄体检测处理(例如，AI(Artificial Intelligence：人工智能)方式或模板匹配方式的被摄体检测处理)而检测出被摄体16(参考图1)的区域的被摄体检测区域信息、或者能够确定由处理完毕的图像数据88显示的图像内的所指定的区域的指定区域信息等。

作为一例，如图7所示，第1生成部64从第2生成部66获取包含第1信息96及第2信息98的附带信息18，并通过将所获取的附带信息18与处理完毕的图像数据88相关联来生成第1图像数据20。第1生成部64将所生成的第1图像数据20发送至信息处理装置14。

信息处理装置14接收从第1生成部64发送的第1图像数据20。在信息处理装置14中，运算部80通过对第1图像数据20进行使用附带信息18的运算来生成第2图像数据104。例如，第2图像数据104通过对第1图像数据20，进行，利用了将附带信息18中所包含的第1信息96和作为表示比色图表90的基准颜色的信息的基准颜色信息100进行比较的结果的运算而生成。在此，生成第2图像数据104的工序为本发明的技术所涉及的“第3生成工序”的一例。

在运算部80生成第2图像数据104的情况下，运算部80获取基准颜色信息100。例如，基准颜色信息100预先存储于NVM72(参考图3)中，通过运算部80获取。基准颜色信息100是表示为针对多个色标90A(作为一例，24色的色标90A)的每一个的R、G及B的信号值的信息。基准颜色信息100可以为作为通常的规格而被广泛熟知的信息，也可以为通过测色仪(省略图示)对比色图表90进行测色而得到的信息。在此，“基准颜色”例如为接近人眼感知的颜色的颜色或适于AI的机器学习的颜色等。

并且，在运算部80生成第2图像数据104的情况下，运算部80获取由第1生成部生成的第1图像数据20，并从所获取的第1图像数据20提取处理完毕的图像数据88、第1信息96及第2信息98。运算部80计算第1信息96与基准颜色信息100的差分102。作为差分102的一例，可以举出比色图表90的每个色标的差分。在此，举出了差分102，但这仅仅是一例，代替差分102，也可以适用相对于第1信息96及基准颜色信息100中一方的另一方的比例，只要是表示第1信息96与基准颜色信息100的差异度的值，则可以为任何值。

运算部80通过进行利用第1信息96的运算而对处理完毕的图像数据88进行利用差分102的运算，从而生成校正的处理完毕的图像数据88。即，通过对处理完毕的图像数据88进行利用差分102的运算，将处理完毕的图像数据88转换为校正的处理完毕的图像数据88。对处理完毕的图像数据88利用差分102的运算例如是指将使第1信息96与基准颜色信息100一致所需的系数、或使第1信息96接近基准颜色信息100所需的系数以像素为单位乘以处理完毕的图像数据88的运算。由此，能够使由处理完毕的图像数据88示的图像的颜色接近基准颜色的颜色。

比色图表信息94(参考图6)通过以适当的白色光源拍摄比色图表90而生成，因此无需在白平衡校正处理中抑制基于光源的颜色的变化。另一方面，由于表示实际通过拍摄而得到的图像的第1图像数据20为通过在各种光源(即，环境光)下拍摄而得到的图像数据，因此进行白平衡校正处理来形成抑制了光源的影响的自然的颜色很重要。但是，如图7所示，在基于第1信息96进行使由第1图像数据20显示的图像的颜色接近基准颜色的颜色的校正的情况下，抵消由摄像装置12执行的白平衡校正处理的效果，其结果，会生成表示基准颜色因光源的颜色的影响而变化的图像的图像数据。这是因为，第1信息96是基于包括白平衡校正处理的第3图像处理86B而生成的。

因此，运算部80通过对通过进行利用差分102的运算而校正的处理完毕的图像数据88进行利用第2信息98的运算，对校正的处理完毕的图像数据88进行校正而生成第2图像数据104。由此，生成表示抑制光源的颜色而接近基准颜色的图像的第2图像数据104。对处理完毕的图像数据88使用第2信息98的运算例如是指将如下系数以像素为单位乘以处理完毕的图像数据88的运算：使通过对处理完毕的图像数据88进行白平衡校正处理而得到的色调与通过对比色图表信息94进行白平衡校正处理而得到的色调一致所需的系数、或使通过对处理完毕的图像数据88进行白平衡校正处理而得到的色调接近通过对比色图表信息94进行白平衡校正处理而得到的色调所需的系数。

另外，在图6中，第1信息96基于包含白平衡校正处理的第3图像处理86B的信息而生成。但是，在第3图像处理86B中未考虑白平衡校正处理而生成第1信息96的情况下，也可以跳过图7中的、对被校正的处理完毕的图像数据88使用第2信息98的运算。

如上所述，由第2图像数据104显示的图像具有接近基准颜色的颜色。因此，即使是基于由相互不同的摄像装置(即，图像处理的内容不同的摄像装置)生成的多个第1图像数据20的多个第2图像数据104，通过使由各个第2图像数据104显示的各图像的颜色接近基准颜色，降低摄像装置之间的颜色偏差。因此，与完全不考虑不同的摄像装置的图像处理的内容的情况相比，这些第2图像数据104统一了颜色的基准，因此适于AI的教师数据。

运算部80通过进行利用第2信息98的运算而对校正的处理完毕的图像数据88进行利用差分102的运算，从而生成第2图像数据104。即，通过对处理完毕的图像数据88进行利用差分102的运算，将处理完毕的图像数据88转换为第2图像数据104。对处理完毕的图像数据88利用差分102的运算例如是指将使第1信息96与基准颜色信息100一致所需的系数、或使第1信息96接近基准颜色信息100所需的系数以像素为单位乘以处理完毕的图像数据88的运算。

作为一例，如图8所示，运算部80使由第2图像数据104显示的图像显示于显示器30。在该状态下，注释器32经由接收装置28对计算机26赋予与第2图像数据104相关的正解数据106。正解数据106中例如包括：位置确定信息(例如，坐标)，确定由第2图像数据104显示的图像中的被指定的区域的位置；及被摄体信息(例如，表示被摄体的名称的信息)，能够确定在根据位置确定信息确定的区域中作为像所包含的被摄体。教师数据生成部82从运算部80获取第2图像数据104，并将所获取的第2图像数据104与从注释器32赋予的正解数据106相关联而生成教师数据1.08。

作为一例，如图9所示，在信息处理装置14中，学习执行部84获取由教师数据生成部82生成的教师数据108。然后，学习执行部84利用教师数据108执行机器学习。

在图9所示的例子中，学习执行部84具有CNN(Convolutional neural network：卷积神经网络)110。学习执行部84将教师数据108中所包含的第2图像数据104输入到CNN110。若输入第2图像数据104，则CNN110进行推论，并输出表示推论结果的CNN信号110A。学习执行部84计算CNN信号110A与教师数据108中所包含的正解数据106的误差112。

学习执行部84计算使误差112最小化的多个调整值114。然后，学习执行部84利用多个调整值114来调整CNN110内的多个优化变量从而优化CNN110。在此，多个优化变量例如是指包括在CNN110中的多个连接权重及多个偏移值等。

学习执行部84利用多个教师数据108反复进行向第2图像数据104的CNN110的输入、误差112的计算、多个调整值114的计算及CNN110内的多个优化变量的调整等学习处理。即，学习执行部84针对多个教师数据108中所包含的多个第2图像数据104的每一个，利用以使误差112成为最小的方式计算的多个调整值114来调整CNN110内的多个优化变量，从而优化CNN110。通过这样优化CNN110来生成学习完毕模型116。学习完毕模型116由学习执行部84而存储于既定的存储装置中。作为既定的存储装置，例如，可以举出信息处理装置14的NVM72(参考图3)或摄像装置12的NVM50等。存储于既定的存储装置中的学习完毕模型116，例如，通过摄像装置12而用于AI方式的被摄体检测处理。

接着，参考图10及图11对信息处理系统10的作用进行说明。

首先，参考图10，对由摄像装置12的处理器48执行的数据生成处理的流程的一例进行说明。图10所示的数据生成处理的流程为本发明的技术所涉及的“数据生成方法”的一例。

在图10所示的数据生成处理中，首先，在步骤ST10中，第1生成部64获取第1RAW数据58(参考图4)。在执行步骤ST10的处理之后，数据生成处理转移到步骤ST12。

在步骤ST1.2中，第1生成部64通过对在步骤ST1 0中获取的第1RAW数据58进行第1图像处理86来生成处理完毕的图像数据88(参考图4及图5)。在执行步骤ST12的处理之后，数据生成处理转移到步骤ST14。

在步骤ST14中，第2生成部66从NVM50获取比色图表信息94(参考图6)。在执行步骤ST14的处理之后，数据生成处理转移到步骤ST16。

在步骤ST16中，第2生成部66通过对在步骤ST14中获取的比色图表信息94进行第3图像处理86B来生成第1信息96(参考图6)。在执行步骤ST16的处理之后，数据生成处理转移到步骤ST18。

在步骤ST18中，第2生成部66生成与在步骤ST16中进行的第3图像处理86B中所包含的白平衡校正处理中所使用的增益相关的信息作为第2信息98(参考图6)。在执行步骤ST18的处理之后，数据生成处理转移到步骤ST20。

在步骤ST20中，第2生成部66生成包含在步骤ST16中生成的第1信息96及在步骤ST18中生成的第2信息98的附带信息18(参考图6)。在执行步骤ST20的处理之后，数据生成处理转移到步骤ST22。

在步骤ST22中，第1生成部64利用在步骤ST12中生成的处理完毕的图像数据88及在步骤ST20中生成的附带信息18生成第1图像数据20(参考图7)。在执行步骤ST22的处理之后，数据生成处理转移到步骤ST24。

在步骤ST24中，第1生成部64将在步骤ST22中生成的第1图像数据20发送至信息处理装置14(参考图7)。在执行步骤ST24的处理之后，数据生成处理转移到步骤ST26。

在步骤ST26中，第1生成部64判定是否满足结束数据生成处理的条件(以下，称为“数据生成处理结束条件”)。作为数据生成处理结束条件，可以举出通过UI系统装置42(参考图2)或接收装置28(参考图3)接收到结束数据生成处理的指示的条件。在步骤ST26中，在不满足数据生成处理结束条件的情况下，判定被否定，数据生成处理转移到步骤ST10。在步骤ST26中，在满足数据生成处理结束条件的情况下，判定被肯定，结束数据生成处理。

接着，参考图11，对由信息处理装置14的处理器70执行的机器学习处理的流程的一例进行说明。图11所示的机器学习处理的流程为本发明的技术所涉及的“学习方法”的一例。

在图11所示的机器学习处理中，首先，在步骤ST50中，运算部80通过执行图10所示的数据生成处理中所包括的步骤ST24的处理，判定外部I/F68(参考图3)是否接收到发送至信息处理装置14的第1图像数据20。在步骤ST50中，在外部I/F68未接收到第1图像数据20的情况下，判定被否定，机器学习处理转移到步骤ST66。在步骤ST50中，在外部I/F68接收到第1图像数据20的情况下，判定被肯定，机器学习处理转移到步骤ST52。

在步骤ST52中，运算部80计算在步骤ST50中由外部I/F68接收的第1图像数据20中所包含的第1信息96与基准颜色信息100的差分102(参考图7)。在执行步骤ST52的处理之后，机器学习处理转移至步骤ST54。

在步骤ST54中，运算部80对在步骤ST50中由外部I/F68接收的处理完毕的图像数据88执行利用在步骤ST52中计算出的差分102的运算，从而生成第2图像数据104(参考图7)。在执行步骤ST54的处理之后，机器学习处理转移到步骤ST56。

在步骤ST56中，运算部80通过对利用差分102的运算后的处理完毕的图像数据88进行利用第1图像数据20中所包含的第2信息98的运算，对处理完毕的图像数据88进行校正，从而生成第2图像数据104(参考图7)。在执行步骤ST56的处理之后，机器学习处理转移至步骤ST58。

在步骤ST58中，运算部80使由在步骤ST56中生成的第2图像数据104显示的图像显示于显示器30(参考图8)。在执行步骤ST58的处理之后，机器学习处理转移到步骤ST60。

在步骤ST60中，教师数据生成部82获取由接收装置28接收到的正解数据106(参考图8)。在执行步骤ST60的处理之后，机器学习处理转移到步骤ST62。

在步骤ST62中，教师数据生成部82对在步骤ST56中生成的第2图像数据104赋予在步骤ST60中获取的正解数据106，从而生成教师数据108(参考图9)。在执行步骤ST62的处理之后，机器学习处理转移到步骤ST64。

在步骤ST64中，学习执行部84通过利用在步骤ST62中生成的教师数据108执行机器学习来优化CNN110。通过优化CNN110来生成学习完毕模型116(参考图9)。在执行步骤ST64的处理之后，机器学习处理转移到步骤ST66。

在步骤ST66中，学习执行部84判定是否满足了结束机器学习处理的条件(以下，称为“机器学习处理结束条件”)。作为机器学习处理结束条件，可以举出由接收装置28(参考图3)接收到结束机器学习处理的指示的条件。在步骤ST66中，在不满足机器学习处理结束条件的情况下，判定被否定，机器学习处理转移到步骤ST50。在步骤ST66中，在满足机器学习处理结束条件的情况下，判定被肯定，并结束机器学习处理。

如上所述，在本实施方式所涉及的信息处理系统10中，通过利用摄像装置12的第1生成部64对第1RAW数据58进行第1图像处理86来生成第1图像数据20(参考图4)。第1图像数据20包含附带信息18(参考图4)。并且，通过摄像装置12的第2生成部66，生成基于与第1图像处理86相关的图像处理信息的第1信息96，作为附带信息18中所包含的信息(参考图6)。包含这样生成的第1信息96的附带信息18用于对第1图像数据20中所包含的处理完毕的图像数据88进行校正，由此生成第2图像数据104(参考图7)。即，通过以第1信息96成为与既定的画质相关的信息(例如，基准颜色信息100)的方式校正处理完毕的图像数据88，生成第2图像数据104。由这样生成的第2图像数据104显示的图像的画质(例如，颜色)与由校正前的处理完毕的图像数据88示的图像相比，更接近基准画质(例如，基准颜色)。若能够使由第2图像数据104显示的图像的画质接近基准画质，则即使是由相互不同的摄像装置(例如，图像处理的内容不同的摄像装置之间)生成的多个第2图像数据104，也会减少因不同的摄像装置之间的第1图像处理86引起的画质的偏差。因此，根据本结构，与对第1RAW数据58进行第1图像处理86的第1图像数据20仅具有与第1图像处理86毫无相关的信息作为附带信息的情况相比，对于由第2图像数据104显示的图像的画质，能够减轻因第1图像处理86引起的偏差(例如，因不同的摄像装置之间的第1图像处理86引起的偏差)。

并且，在本实施方式所涉及的信息处理系统10中，通过摄像装置12的第2生成部66，生成基于表示比色图表90的比色图表信息94和与第1图像处理86相关的图像处理信息的信息，作为附带信息18中所包含的第1信息96。包含这样生成的第1信息96的附带信息18用于对第1图像数据20中所包含的处理完毕的图像数据88进行校正，由此生成第2图像数据104(参考图7)。即，通过以第1信息96成为与既定的颜色相关的信息的方式校正处理完毕的图像数据88，生成第2图像数据104。由这样生成的第2图像数据104显示的图像的颜色与由校正前的处理完毕的图像数据88示的图像相比，更接近基准颜色。若能够使由第2图像数据104显示的图像的颜色接近基准颜色，则即使是由相互不同的摄像装置(例如，图像处理的内容不同的摄像装置之间)生成的多个第2图像数据104，也会减少因不同的摄像装置之间的第1图像处理86引起的颜色的偏差。因此，根据本结构，与通过对第1RAW数据58进行第1图像处理86而得到的第1图像数据20仅具有与第1图像处理86及比色图表90毫无相关的信息作为附带信息的情况相比，对于由第2图像数据104显示的图像的颜色，能够减轻因第1图像处理86引起的偏差(例如，因不同的摄像装置之间的第1图像处理86引起的偏差)。

并且，在本实施方式所涉及的信息处理系统10中，通过摄像装置12的第2生成部66，生成从比色图表信息94派生的颜色信息(例如，通过对比色图表信息94所表示的R、G及B的信号值附加图像处理信息而得到的信息)，作为附带信息18中所包含的第1信息96。包含这样生成的第1信息96的附带信息18用于对第1图像数据20中所包含的处理完毕的图像数据88进行校正，由此生成第2图像数据104(参考图7)。即，通过以从比色图表信息94派生的颜色信息成为与既定的颜色相关的信息的方式校正处理完毕的图像数据88，生成第2图像数据104。由这样生成的第2图像数据104显示的图像的颜色与由校正前的处理完毕的图像数据88显示的图像相比，更接近基准颜色。若能够使由第2图像数据104显示的图像的颜色接近基准颜色，则即使是由相互不同的摄像装置(例如，图像处理的内容不同的摄像装置之间)生成的多个第2图像数据104，也会减少因不同的摄像装置之间的第1图像处理86引起的画质的偏差。因此，根据本结构，与仅利用从比色图表信息94派生的颜色信息以外的信息来校正处理完毕的图像数据88的情况相比，对于由第2图像数据104显示的图像的颜色，能够减轻因第1图像处理86引起的偏差(例如，因不同的摄像装置之间的第1图像处理86引起的偏差)。

并且，在本实施方式所涉及的信息处理系统10中，比色图表信息94预先存储于摄像装置12的NVM50中。因此，根据本结构，能够利用第1信息96及第2信息98对处理完毕的图像数据88进行校正，而不需要在每次生成第1信息96及第2信息98时对比色图表90进行测色。

并且，在本实施方式所涉及的信息处理系统10中，使用基于R、G及B的信号值而规定多个色标90A(参考图6)的信息，作为比色图表信息94。因此，根据本结构，与表示比色图表的比色图表信息是仅由R的信号值、G的信号值或B的信号值规定的信息的情相比，比色图表信息94及基于比色图表信息94生成的第1信息96成为更详细的信息。因此，在根据基于比色图表信息94生成的第1信息96及第2信息98生成第2图像数据104的工序中，能够使由第2图像数据20显示的图像的颜色更精密地接近基准颜色。

并且，在本实施方式所涉及的信息处理系统10中，作为比色图表信息94，使用通过对通过由基准摄像装置60拍摄比色图表90而得到的第2RAM数据92，进行相当于第1图像处理86的一部分的处理的第2图像处理86A而得到的信息(参考图6)。由于比色图表信息94为成为利用第3图像处理86B生成第1信息96的基准的信息，因此优选利用相当于所有图像处理的第1图像处理86的一部分的图像处理来生成。因此，根据本结构，与将通过对第2RAW数据92进行与第2图像处理86A毫无相关的图像处理而得到的信息用作比色图表信息的情况相比，对于由第2图像数据104显示的图像的颜色，能够减轻因第2图像处理86A引起的偏差。

并且，在本实施方式所涉及的信息处理系统10中，作为包含在第1图像数据20中的附带信息18中所包含的信息，使用与在白平衡校正处理中使用的增益相关的第2信息98。由此，与附带信息18中所包含的信息是与在白平衡校正处理中使用的与增益相关的信息毫无相关的信息的情况相比，能够利用第2信息98对处理完毕的图像数据88进行与白平衡相关的运算处理。因此，根据本结构，对于由第2图像数据104显示的图像的颜色，能够减轻拍摄环境的光源的颜色(即，环境光的颜色)对第2图像数据104造成的影响。

并且，在本实施方式所涉及的信息处理系统10中，通过对第1图像数据20中所包含的处理完毕的图像数据88，进行利用第1图像数据20中所包含的附带信息18的运算，生成第2图像数据104(参考图7)。对于这样生成的第2图像数据104，进行作为正解数据106中所包含的信息的附带信息18的标记，从而生成教师数据108(参考图8)，并且将教师数据108用于机器学习(参考图9)。如此，通过利用附带信息18，对于由第2图像数据104显示的图像的颜色，能够减轻因第1图像处理 86引起的偏差(例如，因不同的摄像装置之间的第1图像处理86引起的偏差)。因此，根据本结构，与未将所标记的第2图像数据104用作机器学习的教师数据的情况相比，能够实现基于学习完毕模型116(参考图9)的高精度的推论。

并且，在本实施方式所涉及的信息处理系统10中，通过对第1图像数据20中所包含的处理完毕的图像数据88，进行利用将附带信息18中所包含的第1信息96和基准颜色信息100进行比较的结果(例如，差分102)的运算，生成第2图像数据104(参考图7)。即，通过以第1信息96成为基准颜色信息100的方式校正处理完毕的图像数据88，生成第2图像数据104。由这样生成的第2图像数据104显示的图像的颜色与由校正前的处理完毕的图像数据88显示的图像相比，更接近基准颜色。若能够使由第2图像数据104显示的图像的颜色接近基准颜色，则即使是由相互不同的摄像装置(例如，图像处理的内容不同的摄像装置之间)生成的多个第2图像数据104，也会减少因不同的摄像装置之间的第1图像处理86引起的颜色的偏差。因此，与完全不考虑不同的摄像装置的图像处理的内容的情况相比，这些第2图像数据104统一了颜色的基准，因此适于AI的教师数据。因此，根据本结构，与未将所标记的第2图像数据104用作机器学习的教师数据的情况相比，能够实现基于学习完毕模型116(参考图9)的高精度的推论。

在本实施方式所涉及的信息处理系统10中，如上所述，即使是基于由相互不同的摄像装置(例如，图像处理的内容不同的摄像装置之间)生成的多个第1图像数据20的多个第2图像数据104，通过使由各个第2图像数据104显示的各图像的颜色接近基准颜色，可以降低摄像装置之间的颜色偏差。因此，与完全不考虑不同的摄像装置的图像处理的内容的情况相比，这些第2图像数据104统一了颜色的基准，因此适于AI的教师数据。因此，在本实施方式所涉及的信息处理系统10中，利用包含第2图像数据104的教师数据108执行机器学习。因此，根据本结构，与不利用包含第2图像数据104的教师数据执行机器学习的情况相比，能够得到能够实现高精度的推论的学习完毕模型116。

并且，在上述实施方式中，例示了具有24色的色标90A(参考图6)的比色图表90，但本发明的技术并不限定于此，比色图表90中所包含的色标90A的数量也可以为超过24色的数量(例如，4096个)。在这种情况下，也与上述实施方式同样地，由与色标90A的数量相当的R、G及B的信号值(例如，0～255的256灰度的每个像素的输出值)表示比色图表信息94(参考图6)及基准颜色信息100(参考图7)即可。因此，与没有以信号值生成比色图表信息94及基准颜色信息100的情况相比，在以信号值生成比色图表信息94及基准颜色信息100的情况下，能够简单地生成比色图表信息94及基准颜色信息100。

并且，在上述实施方式中，比色图表信息94表示为针对多个色标90A(作为一例，24色的色标90A)的每一个的R、G及B的信号值。在这种情况下，可以在多个色标90A之间，R的信号值、B的信号值及G的信号值中的1个或2个不同，其余相同。由此，与将多个色标90A之间的R的信号值、B的信号值及G的信号值全部设为不同值的情况相比，比色图表信息94及基于比色图表信息94生成的第1信息96成为更详细的信息，因此能够详细地掌握第1图像处理86的特征。因此，与将多个色标90A之间的R的信号值、B的信号值及G的信号值全部设为不同值的情况相比，能够通过运算部80使由第2图像数据104显示的图像的颜色更精密地接近基准颜色。如此，作为比色图表信息94的一例，如图13所示，比色图表信息94及基准颜色信息100是表示为针对多个色标200A的每一个的R、G及B的信号值的信息。

并且，作为一例，如图12所示，也可以代替上述的比色图表90使用比色图表200。在比色图表200中排列有多个色标200A。在比色图表200中，在多个色标200A之间，彩度、明度及色相中的1个或2个不同，其余相同。

作为比色图表200的第1例，可以举出：在色标200A之间排列有彩度彼此相同(例如，256种类的彩度中的1个)但明度彼此不同且色相也彼此不同的图案数的色标200A的比色图表；在色标200A之间排列有明度彼此相同(例如，256种类的明度中的1个)但彩度彼此不同且色相也彼此不同的图案数的色标200A的比色图表；及在色标200A之间排列有色相(例如，256种类的色相中的1个)相同但彩度彼此不同且明度也彼此不同的图案数的色标200A的比色图表。并且，作为比色图表200的第2例，可以举出：在色标200A之间排列有彩度彼此相同且明度也彼此相同但色相彼此不同的图案数的色标200A的比色图表；在色标200A之间排列有明度彼此相同且彩度也彼此相同但色相彼此不同的图案数的色标200A的比色图表；及在色标200A之间排列有色相相同且彩度也彼此相同但明度彼此不同的图案数的色标200A的比色图表。

如此，通过代替比色图表90而利用比色图表200，与多个色标200A之间的彩度、明度及色相全部不同的情况相比，比色图表信息94及基于比色图表信息94生成的第1信息96成为更详细的信息，因此能够详细地掌握第1图像处理86的特征。因此，与多个色标200A之间的彩度、明度及色相全部不同的情况相比，通过运算部80能够容易抵消基于第1图像处理86的颜色变化，并使第2图像数据104的颜色精密地接近基准颜色。如上述实施方式所示，第1信息96中与各色标200A相对应的信息可以由图12的R、G及B的信号值表示，也可以由彩度、明度及色相的值表示。

并且，在上述实施方式中，将比色图表信息94和基准颜色信息100设为相互不同的信息，但作为一例，如图14所示，存储于摄像装置12的NVM50中的比色图表信息94可以为与基准颜色信息100相同的信息。

并且，在上述实施方式中，举出了未附加摄像装置12的光谱特性(即，图像传感器24的光谱特性)而得到的比色图表信息94进行了说明，但本发明的技术并不限定于此。例如，也可以基于比色图表90和摄像装置12的光谱特性(即，图像传感器24的光谱特性)而生成比色图表信息。

在这种情况下，例如，通过对通过由摄像装置12的图像传感器24拍摄比色图表90而得到的RAW数据进行第2图像处理86A，从而生成附加了摄像装置12的光谱特性的比色图表信息。

如此，考虑摄像装置光谱特性118而生成的比色图表信息与在上述实施方式中说明的比色图表信息94同样地使用。即，通过以比色图表信息122成为与既定的颜色相关的信息的方式校正处理完毕的图像数据88，生成第2图像数据104。由此，即使是基于由相互不同的摄像装置(例如，图像处理的内容不同的摄像装置之间)生成的多个第1图像数据20的多个第2图像数据104，通过使由各个第2图像数据104显示的各图像的颜色接近基准颜色，可以降低摄像装置之间的颜色偏差。因此，与和摄像装置光谱特性118毫无关系地生成比色图表信息的情况相比，对于由第2图像数据104显示的图像的颜色，能够减轻因摄像装置光谱特性118引起的偏差(例如，因不同的摄像装置之间的摄像装置光谱特性118引起的偏差)。

另外，也可以将附加有摄像装置12的光谱特性的比色图表信息预先存储于NVM50中，处理器48从NVM50获取摄像装置12的光谱特性，通过对在上述实施方式中说明的比色图表信息94附加摄像装置12的光谱特性来生成新的比色图表信息。

并且，作为一例，如图6所示，也可以通过由具备具有与摄像装置12的图像传感器24相同的光谱特性的图像传感器的基准摄像装置60拍摄比色图表90来生成比色图表信息94。如此得到的比色图表信息94成为基于摄像装置的光谱特性生成的信息。并且，如图15所示，处理器48也可以从外部获取作为摄像装置12的光谱特性的摄像装置光谱特性118及作为比色图表90的光谱特性的比色图表光谱特性120，并基于所获取的摄像装置光谱特性118及比色图表光谱特性120生成比色图表信息122。

在此，例如，摄像装置光谱特性118及比色图表光谱特性120可以经由外部I/F46从外部装置获取，也可以在NVM50中预先存储摄像装置光谱特性118及比色图表光谱特性120，并从NVM50获取摄像装置光谱特性118及比色图表光谱特性120。

比色图表信息122是通过对在上述实施方式中说明的比色图表信息94附加摄像装置光谱特性118及比色图表光谱特性120而得到的信息。处理器48将所生成的比色图表信息122存储于NVM50中。

存储于NVM50中并基于摄像装置的光谱特性信息的比色图表信息122与上述实施方式同样地使用。即，通过以比色图表信息122成为与既定的颜色相关的信息(例如，基准颜色信息100)的方式校正处理完毕的图像数据88，生成第2图像数据104。由这样生成的第2图像数据104显示的图像的颜色与由校正前的处理完毕的图像数据88显示的图像相比，更接近基准颜色。若能够使由第2图像数据104显示的图像的颜色接近基准颜色，则即使是由相互不同的摄像装置(例如，图像处理的内容不同的摄像装置之间)生成的多个第2图像数据104，也会减少因不同的摄像装置之间的第1图像处理86引起的颜色的偏差。因此，根据本结构，与和摄像装置光谱特性118及比色图表光谱特性120毫无关系地生成比色图表信息的情况相比，对于由第2图像数据104显示的图像的颜色，能够减轻因摄像装置光谱特性118引起的偏差(例如，因不同的摄像装置之间的摄像装置光谱特性118及比色图表光谱特性120引起的偏差)。

并且，在上述实施方式中，作为用于生成第1信息96的图像处理信息的一例，举出了在白平衡校正处理中使用的WB 增益、在伽马校正处理中使用的伽马值、在颜色校正处理中使用的颜色再现系数、在颜色空间转换处理中使用的转换系数、在亮度滤波处理中使用的亮度滤波器参数、在第1色差滤波处理中使用的第1色差滤波器参数、在第2色差滤波处理中使用的第2色差滤波器参数、在尺寸调整处理中使用的参数、及在压缩处理中使用的参数，但这仅仅为一例。例如，在这些信息中，可以仅将对画质产生影响的信息用作用于生成第1信息96的图像处理信息。并且，除了这些信息以外的信息(例如，在对处理完毕的图像数据88进行偏移校正处理时使用的光学黑暗区的信号值)也可以用作用于生成第1信息96的图像处理信息。

并且，在上述实施方式中，举出了将第2图像数据104用于机器学习的方式例进行了说明，但本发明的技术并不限定于此，也可以在除了机器学习以外的用途中使用第2图像数据104。例如，第2图像数据104可以存储于所指定的存储装置(例如，摄像装置12的NVM50)中。并且，第2图像数据104可以显示于UI系统装置42(参考图2)中所包括的显示器上。在这种情况下，例如，可以仅将由第2图像数据104显示的图像显示于显示器上，也可以将由处理完毕的图像数据88显示的图像和由第2图像数据104显示的图像以可对比的状态(例如，排列在同一画面内的状态)显示于显示器上，还可以以将由处理完毕的图像数据88显示的图像及由第2图像数据104显示的图像中的另一方相对于一方重叠的状态显示于显示器上。并且，可以对第2图像数据104进行图像分析处理(例如，AI方式或模板匹配方式的图像分析处理)。

并且，在上述实施方式中，举出了通过信息处理装置14进行机器学习处理的方式例进行了说明，但本发明的技术并不限定于此，也可以通过其他装置(例如，摄像装置12)进行机器学习处理的至少一部分(例如，基于运算部80的处理)。

并且，上述实施方式中，举出了通过摄像装置12进行数据生成处理的方式例进行了说明，但本发明的技术并不限定于此，也可以通过其他装置(例如，信息处理装置14)进行数据生成处理的至少一部分(例如，基于第2生成部66的处理)。

并且，在上述实施方式中，举出了对第1RAW数据58按照去马赛克处理部64A、白平衡校正部64B、颜色校正部64C及伽马校正部64D的顺序进行处理的方式例进行了说明，但这仅仅是一例，例如，对第1RAW数据58进行基于去马赛克处理部64A、白平衡校正部64B、颜色校正部64C及伽马校正部64D的各处理的顺序可以适当变更。

并且，在上述实施方式中，举出了在NVM50中存储有数据生成处理程序62的方式例进行了说明，但本发明的技术并不限定于此。例如，数据生成处理程序62可以存储于SSD(Solid State Drive：固态硬盘)或USB存储器等移动式计算机可读取的非暂时性记录介质中。存储于非暂时性存储介质中的数据生成处理程序62安装于摄像装置12的计算机40。处理器48按照数据生成处理程序62执行数据生成处理。

并且，也可以将数据生成处理程序62存储于经由网络与摄像装置12连接的其他计算机或服务器装置等的存储装置中，并根据摄像装置12的请求下载数据生成处理程序62而安装于计算机40。

另外，并不需要将数据生成处理程序62全部存储于与摄像装置12连接的其他计算机或服务器装置等的存储装置或NVM50中，也可以存储数据生成处理程序62的一部分。

并且，在图2所示的摄像装置12中内置有计算机40，但是本发明的技术并不限定于此，例如也可以设为计算机40设置于摄像装置12的外部。

在上述实施方式中，例示了出计算机40，但是本发明的技术并不限定于此，可以适用包括ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)或PLD(Programmable Logic Device：可编程逻辑器件)的设备来代替计算机40。并且，也可以使用硬件结构及软件结构的组合来代替计算机40。

作为执行在上述实施方式中说明的数据生成处理的硬件资源，能够使用如下所示的各种处理器。作为处理器，例如，可以举出作为通过执行软件即程序来执行数据生成处理的硬件资源而发挥功能的通用处理器即CPU。并且，作为处理器，例如，可以举出FPGA、PLD或ASIC等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路。任何处理器都内置或连接有存储器，任何处理器都通过使用存储器来执行数据生成处理。

执行数据生成处理的硬件资源可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA的组合或CPU与FPG.A的组合)构成。并且，执行数据生成处理的硬件资源可以是1个处理器。

作为由1个处理器构成的例子，第1，有由1个以上的CPU与软件的组合来构成1个处理器，并且该处理器作为执行数据生成处理的硬件资源而发挥功能的方式。第2，有如SoC(System-on-a-chip：片上系统)等为代表那样，使用由1个IC(Integrated Circuit：集成电路)芯片来实现包含执行数据生成处理的多个硬件资源的整个系统的功能的处理器的方式。如此，作为硬件资源使用上述各种处理器中的1个以上来实现数据生成处理。

此外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件进行了组合的电路。并且，上述数据生成处理只不过是一例。因此，当然也可以在不脱离宗旨的范围内删除不需要的步骤，或者追加新的步骤，或者更改处理顺序。

以上所示的记载内容及图示内容是对于本发明的技术所涉及的部分的详细说明，仅为本发明的技术的一例。例如，与上述结构、功能、作用及效果相关的说明是与本发明的技术所涉及的部分的结构、功能、作用及效果的一例相关的说明。因此，在不脱离本发明的技术主旨的范围内，当然能够对以上所示的记载内容及图示内容删除不需要的部分，或者追加或替换新的要素。并且，为了避免错综复杂且容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中，省略了与在能够实施本发明的技术的方面不需要特别说明的技术常识等相关的说明。

在本说明书中，“A或B”的含义与“A及B中的至少1个”相同。即，“A或B”为如下含义：可以仅为A，也可以仅为B，也可以为A及B的组合等。并且，在本说明书中，当三个以上的事体用“或”来连结而表现时，也适用与“A或B”相同的思考方式。

关于本说明书中所记载的所有文献、专利申请及技术标准，与具体且分别地记载有通过参考而并入的各个文献、专利申请及技术标准的情况相同程度地，通过参考并入本说明书中。

Claims (17)

1.一种数据生成方法，其生成第1图像数据，所述第1图像数据为由摄像装置拍摄被摄体而得到的、用于机器学习的图像数据，并且具有附带信息，所述数据生成方法具备：

第1生成工序，通过所述摄像装置进行第1图像处理而生成所述第1图像数据；及

第2生成工序，生成基于与所述第1图像处理相关的图像处理信息的第1信息，作为所述附带信息中所包含的信息。

2.根据权利要求1所述的数据生成方法，其中，

所述第1信息为基于表示比色图表的比色图表信息和所述图像处理信息的信息。

3.根据权利要求2所述的数据生成方法，其中，

所述第1信息为从所述比色图表信息派生的颜色信息。

4.根据权利要求2或3所述的数据生成方法，其中，

所述比色图表信息预先存储在所述摄像装置中。

5.根据权利要求2至4中任一项所述的数据生成方法，其中，

所述比色图表包括多个色标，

在所述多个色标之间，彩度、明度及色相中的1个或2个不同，其余相同。

6.根据权利要求2至5中任一项所述的数据生成方法，其中，

所述比色图表信息为基于多个色标表示第1原色的第1信号值、表示第2原色的第2信号值及表示第3原色的第3信号值规定的信息。

7.根据权利要求6所述的数据生成方法，其中，

在所述多个色标之间，所述第1信号值、所述第2信号值及所述第3信号值中的1个或2个不同，其余相同。

8.根据权利要求2至7中任一项所述的数据生成方法，其中，

所述比色图表信息为通过如下得到的信息：针对通过由基准摄像装置拍摄所述比色图表而得到的比色图表摄像信号，进行相当于所述第1图像处理的一部分的处理的第2图像处理。

9.根据权利要求2至8中任一项所述的数据生成方法，其中，

所述比色图表信息为基于所述比色图表和所述摄像装置的光谱特性生成的信息。

10.根据权利要求9所述的数据生成方法，其中，

所述比色图表信息为基于所述比色图表的光谱特性和所述摄像装置的光谱特性生成的信息。

11.根据权利要求2至10中任一项所述的数据生成方法，其包括：

第3生成工序，通过对所述第1图像数据进行利用了将所述第1信息和表示所述比色图表的基准颜色的基准颜色信息进行比较的结果的运算，生成第2图像数据。

12.根据权利要求1至11中任一项所述的数据生成方法，其包括：

第3生成工序，通过对所述第1图像数据进行利用了所述附带信息的运算，生成第2图像数据。

13.根据权利要求1至12中任一项所述的数据生成方法，其中，

所述第1图像处理包括白平衡校正处理，

所述附带信息包括与在所述白平衡校正处理中使用的增益相关的第2信息。

14.一种学习方法，其利用了通过权利要求11或12所述的数据生成方法生成的所述第2图像数据，所述学习方法包括：

利用包含所述第2图像数据的教师数据执行机器学习。

15.一种摄像装置，其具备：

图像传感器；及

处理器，

所述处理器执行如下处理：

通过针对由所述图像传感器拍摄被摄体而生成的摄像信号进行第1图像处理，生成用于机器学习的第1图像数据，

生成基于与所述第1图像处理相关的图像处理信息的第1信息，作为所述第1图像数据所具有的附带信息中所包含的信息。

16.根据权利要求15所述的摄像装置，其中，

所述处理器基于表示比色图表的比色图表信息和所述图像处理信息生成所述第1信息。

17.一种程序，其用于使计算机执行数据生成处理，所述数据生成处理生成第1图像数据，所述第1图像数据为由摄像装置拍摄被摄体而得到的、用于机器学习的图像数据，并且具有附带信息，所述程序中，

所述数据生成处理包括如下处理：

通过所述摄像装置进行第1图像处理而生成所述第1图像数据；及

生成基于与所述第1图像处理相关的图像处理信息的第1信息，作为所述附带信息中所包含的信息。