CN110473162A

CN110473162A - 机器学习装置、摄影时间估计装置及学习模型的生成方法

Info

Publication number: CN110473162A
Application number: CN201910382768.2A
Authority: CN
Inventors: 浅野哲也
Original assignee: Seiko Corp
Current assignee: Seiko Corp
Priority date: 2018-05-11
Filing date: 2019-05-08
Publication date: 2019-11-19
Anticipated expiration: 2039-05-08
Also published as: US10915790B2; JP2019197452A; JP6658795B2; CN110473162B; US20190347521A1

Abstract

一种机器学习装置、摄影时间估计装置及学习模型的生成方法，所述机器学习装置具备：学习对象获取部，获取多个所扫描的照片的照片数据；以及学习部，根据所述照片数据学习未记录摄影日期的所述照片的摄影时间。

Description

机器学习装置、摄影时间估计装置及学习模型的生成方法

技术领域

本发明涉及机器学习装置、摄影时间估计装置及学习模型的生成方法。

背景技术

以往，已有扫描多个照片并按照日期顺序重新排序的需求。例如，在专利文献1中公开了如下技术，对底片和影印进行扫描，根据扫描结果检索相同图像，将从底片提取的日期记录确定为印制图像的摄影日期。

专利文献1：日本特开2004-348620号公报

未记录有摄影日期的照片无法确定照片的摄影时间。

发明内容

用于达到上述目的的机器学习装置具备：学习对象获取部，获取多个所扫描的照片的照片数据；以及学习部，根据照片数据学习未记录摄影日期的照片的摄影时间。根据以上结构，即使是在照片中未记录摄影日期，也能够估计拍摄照片的摄影时间。

另外，也可以是这样的结构，学习部根据将照片数据与照片的摄影时间对应起来的示教数据进行学习。根据该结构，即使不通过人为判断来明确定义照片的特点与摄影时间的关系，也能够估计照片的摄影时间。

而且，也可以是，示教数据包含将对记录有摄影日期的照片进行扫描而得到的照片数据与表示所记录的摄影日期的摄影时间对应起来的数据。即，由于记录有摄影日期，如果扫描摄影日期明确确定的照片而生成照片数据，则通过将该摄影日期与照片数据对应起来，能够生成获得正确输出的可能性较大的示教数据。

另外，本发明提供一种摄影时间估计装置，其特征在于，从模型获取未记录摄影日期的照片的摄影时间，所述模型根据将所扫描的照片的照片数据与照片的摄影时间对应起来的示教数据进行过机器学习。

另外，本发明提供一种学习模型的生成方法，其特征在于，获取多个所扫描的照片的照片数据，生成模型，所述模型通过根据照片数据进行机器学习，从未记录摄影日期的照片的照片数据输出照片的摄影时间。

附图说明

图1是机器学习装置及图像处理装置的框图。

图2是表示机器学习处理的流程图。

图3是表示神经网络的构造的图。

图4是表示模型的一实施例的图。

图5是表示图像处理的流程图。

图6是表示界面画面的例子的图。

图7是表示图像处理的流程图。

附图标记说明：

1计算机；2扫描仪；3a鼠标；3b键盘；4显示器；10处理器；11机器学习程序；11a学习对象获取部；11b学习部；12图像处理程序；12a获取部；12b计算部；12c读取部；12d整理部；20 HDD；20a照片数据；20b学习完毕模型；20c示教数据；20d测试数据；20e训练模型；30设备接口；40显示器接口。

具体实施方式

在此，按照下述顺序对本发明的实施方式进行说明。

(1)机器学习装置及图像处理装置的结构：

(2)机器学习处理：

(3)图像处理：

(4)其它实施方式。

(1)机器学习装置及图像处理装置的结构

图1是表示本发明的实施方式的机器学习装置及图像处理装置的框图。本实施方式的机器学习装置及图像处理装置通过连接扫描仪2的计算机1来实现。计算机1具有处理器10、HDD(硬盘驱动器)20、设备接口30、显示器接口40。

设备接口30是能够连接设备的接口，该设备按照既定的通信协议(例如USB(Universal Serial Bus)规格)进行通信。在本实施方式中，设备接口30连接有扫描仪2、鼠标3a、键盘3b。扫描仪2具有向原稿照射光的光源、接收来自原稿的光并作为读取数据的彩色图像传感器和用于使各种可动部移动的机械部件等。

在本实施方式中，扫描仪2能够读取所打印的照片并输出照片数据。计算机1经由设备接口30获取扫描仪2输出的照片数据，并作为照片数据20a存储在HDD20中。扫描仪2对原稿的读取方式可以是各种方式，可以是平板扫描，也可以是对ADF的输送原稿进行读取的方式，还可以是这两种都能进行的方式。

鼠标3a具备由利用者把持并移动的操作部和按钮，输出表示操作部的移动量的信息和表示对按钮的操作结果的信息。计算机1能够经由设备接口30获取鼠标3a输出的信息，并根据该信息接收利用者的操作。键盘3b具备多个按键，输出表示对按键的操作的信息。计算机1能够经由设备接口30获取键盘3b输出的信息，并根据该信息接收利用者的操作。

显示器接口40是连接显示器4的接口。计算机1能够经由显示器接口40向显示器4输出控制信号，使得在显示器4显示各种图像。

处理器10具备CPU、RAM等，能够执行在HDD20存储的各种程序。在本实施方式中，这些程序包括机器学习程序11和图像处理程序12。机器学习程序11是使处理器10执行如下功能的程序，即根据所扫描的照片的照片数据学习未记录照片摄影日期的摄影时间。在执行机器学习程序11时，处理器10作为学习对象获取部11a、学习部11b发挥作用。

图像处理程序12是使处理器10执行如下功能的程序，即根据扫描照片得到的照片数据，计算照片的褪色程度，褪色程度越大则视为越古老的照片，并按照照片的古老度整理照片数据。在执行图像处理程序12时，处理器10作为获取部12a、计算部12b、读取部12c、整理部12d发挥作用。

(2)机器学习处理

下面，说明处理器10执行的机器学习处理。图2是表示机器学习处理的流程图。在估计照片的摄影时间前预先执行机器学习处理。在开始机器学习处理时，处理器10通过学习部11b的功能，获取训练模型(步骤S100)。在此，所谓模型是指表示用于导出估计对象数据和估计结果数据的对应关系的公式的信息，在本实施方式中，以将照片数据或者从照片数据导出的数据(褪色程度)与摄影时间建立对应关系的模型为例进行说明。

只要是将输入数据转换成输出数据，就能够对模型进行各种定义。在本实施方式中，模型的至少一部分中包含神经网络。图3是示意性表示可包含本实施方式中使用的模型的神经网络的构造的图。在图3中，用圆圈表示模拟神经的节点，用实线的直线表示节点间的结合(其中，为了简化图，对节点及结合仅示出一部分)。另外，在图3中将属于同一层的节点纵向排列示出，左端的层是输入层Li，右端的层是输出层Lo。

在此，在两层关系中，与输入层Li较近的层称为上位层，与输出层Lo较近的层称为下位层。即，在某一层中形成这样的构造，将上一层的层的输出作为输入，进行权重相乘和偏差相加，借助激活函数进行输出。例如，在图3所示的层L_P的节点数量是P个，对层L_P的各节点的输入数据是x₁，，，，x_M，偏差是b₁，，，，b_P，对层L_P的第k个节点的权重是w_k1，，，，w_kM，激活函数是h(u)时，该层L_P的各节点的中间输出u₁，，，，u_P用下面式(1)表示。

式1

因此，在将式1代入激活函数是h(u_k)时，可得到层L_P的各节点的输出y₁，，，，y_P。

模型是通过设置多层如此一般化的节点而构成的。因而，在本实施方式中，模型通过至少表示各层的权重、偏差和激活函数的数据构成。此外，激活函数可使用各种函数，例如S型(sigmoid)函数、双曲线函数(tanh)、ReLU(Rectified Linear Unit，线性整流函数)、其它函数，优选非线性函数。当然，也可以包含在进行机器学习时所需的其它条件例如优化算法的种类、学习率等参数。另外，层数量、节点数量、相关的接合关系可设为各种方式。

在本实施方式中，构建如下模型：将照片数据或者从照片数据导出的数据作为对输入层Li的输入数据，从输出层Lo输出表示照片的摄影时间的输出数据。例如，在图3所示的例子中，可以假设如下例子，对输入层Li的各节点的输入数据是照片数据的各像素的灰度值(将灰度值规则化得到的值)，来自输出层Lo的输出数据表示摄影时间范围。作为输出摄影时间的结构，例如可以举出如下结构等，对各节点分配1900年代、1910年代、1920年代等时间范围，将对输出最大值的节点分配的范围视为所输入的照片的摄影时间。

当然，也可以用已知函数表达图3所示的模型的一部分，用未知函数表达剩余部分，将未知函数作为学习对象。无论哪种情况，只要构建在输入照片数据时最终输出摄影时间的模型，就能够学习用于根据照片数据估计摄影时间的模型。在本实施方式中，基于这样的构思来构建模型，该构思依据于印制照片的颜色随着时间经过而褪色的事实。

即，在本实施方式中，视为照片的古老度对应于打印的日期与当前的时间间隔。另外，在本实施方式中，视为打印的日期和当前的时间间隔越长则褪色程度越大。而且，在本实施方式中，视为打印的日期和摄影日期大不相同(例如数年单位)的情况比较少见。这样认为的话，能够视为照片的褪色程度和摄影时间的古老度相对应，如果输入照片数据并计算褪色程度，则能够经过该计算来估计照片的古老度即摄影时间。

根据这样的构思，在图3所示的神经网络学习为对输入层Li输入照片数据而从输出层Lo输出摄影时间时，认为在其层的任意一个以上的层中输出表示褪色程度的值。如此，要能够进行基于褪色程度的对摄影时间的估计，既可以是输出褪色程度的层通过机器学习在隐藏层自动学习，也可以更明确地将褪色程度导入模型中。

例如，可以构建这样的神经网络，预先准备通过输入照片数据计算褪色程度的函数，并输入该褪色程度。这样的模型例如能够通过用已知函数f表达从图3所示的模型的输入层Li到输出褪色程度的层L_F之间来构建。即，可以构建这样的模型，预先定义根据照片数据(Ri、Gi、Bi)的灰度值计算褪色程度的函数f，将该函数的输出Fi作为对层L_F的输入。

图4是示意性表示利用该函数f计算表示褪色程度的值Fi的模型的图。即，当某一照片数据i中每个像素的各颜色通道的灰度值是(Ri、Gi、Bi)，将这些灰度值输入到函数f时，可得到表示褪色程度的输出值F_i1～F_iN。如果表示褪色程度的输出值F_i1～F_iN输入到层L_F，从层L_F到输出层Lo之间的模型通过机器学习最优化，则能够学习根据照片的褪色程度输出表示照片摄影时间的信息(T_i1～T_io)的模型。

此外，用于计算褪色程度的函数f可以用各种方法定义。另外，褪色程度可以用各种方法进行评价。例如，如果在所打印的照片中解析认为容易老化的颜色(黄色等)的反差宽度，则能够判定为该颜色的反差越狭窄则褪色程度越大。所关注的颜色既可以是照片数据的颜色成分中的至少一种，也可以是根据两种以上颜色成分计算出的颜色(黄色等)。当然，所关注的对象既可以是色相以外的对象，也可以根据明度、彩度的反差判定褪色程度。当然，除这些处理以外，还可以采用公知的各种处理。

无论哪种情况，都是预先定义用于计算表示褪色程度的值的函数f，其输出F_i1～F_iN成为对层L_F的输入值。表示褪色程度的值的数值(函数f的数值)只要是1以上即可，如果对一个照片，用一种值表达褪色程度，则层L_F的节点数成为一个。此外，无论是图3、图4的哪种情况，输入数据的范围都可以不是照片的全部范围，既可以是特定的颜色通道，也可以对特定的颜色通道设置权重。

在本说明书中，下面以图4所示的模型为例来说明实施方式，该模型根据照片数据并利用函数f计算褪色程度，将表示褪色程度的值输入到神经网络的节点。此外，在此假设用既定的期间(1900年代等)表达照片的摄影时间的模型，然而照片的摄影时间当然也可以用其它各种形式表达。此外，在图4所示的例子中，在表示摄影时间的信息是既定范围期间的情况下，在输出层Lo的输出值(T_i1～T_io)最接近1时，其节点所对应的期间估计为摄影时间。例如，在输出输出值T_i1的节点对应于1900年代，用各节点表示的期间是10年单位的情况下，在1900年代所对应的节点的输出值是0.95，其它节点的输出值是小于0.95的值时(所有节点的输出总和是1)，将摄影时间估计为1900年代。

在图2所示的流程图的步骤S100中获取训练模型。在此，所谓训练是指学习对象。即，在训练模型中，根据照片数据计算褪色程度，根据该褪色程度输出照片的摄影时间，但照片数据和照片的摄影时间的对应关系在初期是不正确的。即，在训练模型中，虽然决定由节点构成的层数量、节点数量，但是规定输入输出的关系的参数(上述的权重、偏差等)未优化。这些参数在机器学习的过程中优化(即，训练)。

训练模型既可以预先决定，也可以由利用者操作鼠标3a、键盘3b进行输入来获取。无论哪种情况，处理器10都将在图4所示例子中根据照片数据计算褪色程度的函数和输入褪色程度并输出照片摄影时间的神经网络的参数作为训练模型获取。该训练模型在HDD20中存储为训练模型20e。

然后，处理器10通过学习对象获取部11a的功能，获取示教数据(步骤S105)。在本实施方式中，示教数据20c是将所扫描的照片的照片数据与照片的摄影时间建立对应关系的示教数据。在本实施方式中，通过扫描仪2预先扫描多个照片并存储在HDD20中。处理器10能够执行读取在照片中记录的摄影日期的功能(后述的读取部12c)。

在此，处理器10根据照片数据检测具有数值的形状特点的部分，根据所检测的部分的形状特点确定数值。并且，将数值的排列视为摄影日期，获取摄影时间。在获取摄影时间的情况下，处理器10将摄影时间与该照片的照片数据对应起来。另外，在利用者知晓照片的摄影时间时，利用者根据自己记忆确定所扫描的照片的摄影时间，操作鼠标3a、键盘3b输入摄影时间。处理器10根据该输入结果将照片数据与摄影时间对应起来。

其结果，成为在HDD20中存储有与摄影时间建立对应关系的多个照片的照片数据的状态。表示摄影时间的信息只要是包含照片的摄影日期的时期即可，可以用各种形式进行定义，只要至少与利用训练模型的输出表达的摄影时间的形式一致。在图4所示的例子中，利用如1900年代等既定期间表达的摄影时间与照片数据有对应关系。在本实施方式中，这样将与摄影时间建立有对应关系的照片数据的一部分成为示教数据。因此，处理器10参照HDD20将与摄影时间建立有对应关系的照片数据，例如随机提取并视为示教数据，存储在HDD20中(示教数据20c)。

然后，处理器10通过学习对象获取部11a的功能，获取测试数据(步骤S110)。在本实施方式中，与摄影时间建立有对应关系的照片数据中未成为示教数据的数据全部或一部分成为测试数据。因此，处理器10参照HDD20从与摄影时间建立有对应关系的照片数据中未被视为示教数据的数据获取测试数据，存储在HDD20中(测试数据20d)。此外，测试数据20d的信息量(照片张数)和示教数据20c的信息量(照片张数)可以是各种数量，在本实施方式中设定为使示教数据20c多于测试数据20d。

然后，处理器10通过学习部11b的功能，决定初始值(步骤S115)。即，处理器10对在步骤S100获取的训练模型中可变的参数设置初始值。初始值可以用各种方法决定。例如，能够将随机值、0等设为初始值，利用权重和偏差以不同构思决定初始值。当然，也可以对初始值进行调整，使得参数在学习过程中优化。

然后，处理器10通过学习部11b的功能进行学习(步骤S120)。即，处理器10将在步骤S105获取的示教数据20c输入到在步骤S100获取的训练模型中，计算表示摄影时间的输出。另外，根据表示所输出的摄影时间和示教数据20c表示的摄影时间之间误差的损失函数确定误差。并且，处理器10反复进行既定次数的根据损失函数的参数微分更新参数的处理。

例如，在图4所示的模型中，处理器10将在步骤S105获取的示教数据20c表示的第i个照片的照片数据输入到函数f，由此获取第i个照片的褪色程度(F_i1～F_iN)。而且，处理器10将第i个照片的褪色程度(F_i1～F_iN)输入到层L_F的神经网络，获取表示第i个照片的摄影时间的输出值(T_i1～T_io)。表示与示教数据20c建立有对应关系的摄影时间的信息是各节点的输出值中任一个输出值为1的信息，在将这些信息表达为(t_i1～t_io)时，t_i1～t_io中任一个值是1，其它值是0。

因此，在将训练模型的输出值表达为T_i，将示教数据20c表示的摄影时间表达为t_i时，有关第i个照片的损失函数能够表达为L(T_i、t_i)。当然，损失函数能够采用各种函数，例如能够采用交叉熵误差等。对示教数据20c表示的所有照片实施如上那样计算损失函数L的处理，通过其平均、总和表达一次学习中的损失函数。例如，在通过总和表达损失函数的情况下，整体的损失函数E用下式2表达。

式2

得到损失函数E后，处理器10通过既定的优化算法例如随机梯度下降法等更新参数。

在如上那样进行既定次数的参数更新时，处理器10判定训练模型的泛化是否完成(步骤S125)。即，处理器10将在步骤S110获取的测试数据20d输入到训练模型，获取表示摄影时间的输出。并且，处理器10获取所输出的摄影时间和与测试数据建立有对应关系的摄影时间一致的数量，除以测试数据20d表示的照片数量，由此获取估计精度。在本实施方式中，处理器10在估计精度为阈值以上时判定为泛化完成。

此外，除对泛化性能的评价以外，还可以进行超参数的适合性验证。即，在调整权重和偏差以外的可变量既超参数例如节点数量等的结构中，处理器10可以根据验证数据验证超参数的适合性。可以通过与步骤S110相同的处理，预先从与摄影时间建立有对应关系的多个照片的照片数据中提取验证数据，确保为在训练中不使用的数据，从而获取验证数据。

当在步骤S125中判定为训练模型的泛化未完成的情况下，处理器10反复进行步骤S120。即，进一步更新权重及偏差。另一方面，当在步骤S125中判定为训练模型的泛化完成的情况下，处理器10存储学习完毕模型(步骤S130)。即，处理器10将训练模型作为学习完毕模型20b存储在HDD20中。

根据以上结构，通过向学习完毕模型20b输入任意照片数据并输出表示摄影时间的信息，能够估计任意照片的摄影时间。因而，即使是在照片中未记录摄影日期时，也能够估计拍摄照片的摄影时间。而且，在本实施方式中，根据将照片数据和照片的摄影时间建立对应关系的示教数据进行学习，因而即使没有通过人的判断明确定义照片的特点与摄影时间的关系，也能够估计照片的摄影时间。在图4所示的模型中包含用于计算照片数据的褪色程度的函数f，至少关于褪色程度和摄影时间的关系，没有人为明确定义，也能够估计照片的摄影时间。尤其，照片的褪色程度受照片保管环境的影响较大，因而相比由制造商定义照片的特点和摄影时间的关系，根据用户保管的照片来学习并定义照片的特点和摄影时间的关系更能准确估计摄影时间。

而且，在本实施方式的示教数据中包含通过读取记录在照片中的摄影日期来确认摄影时间，并将照片数据和摄影时间建立对应关系的数据。因而，在该示教数据中包含将准确表示照片的摄影日期的摄影时间对应起来的数据。因此，根据该示教数据，能够提高学习完毕模型20b准确输出摄影时间的可能性。

(3)图像处理

下面，说明处理器10执行的图像处理。图5是表示图像处理的流程图。在要执行有关照片数据的处理(整理、编辑等)时，由利用者来执行图像处理。即，利用者一面观察显示器4一面操作鼠标3a、键盘3b，进行用于进行图像处理的指示。该指示可以用各种方法进行，在本实施方式中用于扫描图像的应用程序的启动指示相当于该指示。

在开始图像处理时，处理器10通过获取部12a的功能，显示用户界面画面(步骤S200)。即，处理器10通过获取部12a的功能，参照在HDD20存储的未图示的图标数据等，描绘具有预先决定的显示项目的用户界面画面(将图像数据等存储在RAM中)。并且，处理器10经由显示器接口40向显示器4输出描绘内容，由此使显示器4显示界面画面。

图6是表示界面画面的例子的图。在图6所示的例子中，在画面上部显示有表示执行对象功能的按钮Bsc、Bsh、Bup、Bed、Bde。另外，在画面左侧设有示出表示照片的照片数据的保存位置的区域Z₁和用于显示在该保存位置保存的照片数据的缩小图像的区域Z₂。在区域Z₂中，当不能一览显示在同一个保存位置存储的所有照片时显示滚动条，即使存在大量照片，利用者也能够按照滚动条的指示来搜索期望的照片。而且，在画面右侧设有用于显示从区域Z₁显示的照片中选择的一个照片的区域Z₃和将照片排序时用于指示的按键的区域Z₄。排序键可以是各种按键，在本实施方式中包含摄影时间。除此之外，也可以是能够将文件名、其它条件作为排序键来选择。

按钮Bsc是用于指示执行扫描功能的按钮，按钮Bsh是用于指示分享照片(例如用邮件发送等)的按钮，按钮Bup是用于指示将照片向既定服务器上传的按钮。此外，在图1中省略了用于通信的硬件。另外，按钮Bed是用于指示编辑照片(明亮度的调整等)的按钮，按钮Bde是用于指示删除照片的按钮。在进行扫描功能以外的指示时，利用者用鼠标3a、键盘3b选择在区域Z₂显示的照片，利用按钮Bsh等指示对所选择的照片的功能。另外，被利用者指定的照片通过处理器10显示于区域Z₃。在图6所示的例子中，在区域Z₂内用粗实线表示所选择的照片的外框，该所选择的照片显示于区域Z₃。

在利用者用鼠标3a、键盘3b指示按钮Bsc时，处理器10控制设备接口30使扫描仪2开始对照片的扫描。在本实施方式中，利用者能够将在图6所示的界面画面中显示的照片排序，按照排序后的顺序进行显示。在区域Z₄中，能够以下拉形式显示排序键，在利用者选择排序键时，处理器10利用所选择的排序键将照片排序，按照排序后的顺序在区域Z₂中再次显示照片。此外，在图6所示的例子中，在区域Z₂内显示4张照片，但所显示的照片的数量当然可以是任意数量。

处理器10按照图5所示的顺序进行与利用者在用户界面画面上的操作对应的处理。因此，处理器10接收利用者的操作(步骤S205)。即，处理器10经由设备接口30接收鼠标3a、键盘3b的输出信息，判定利用者所进行的操作是对按钮Bsc、Bsh、Bup、Bed、Bde中哪一个按钮的指示和区域Z₄中排序键的选择中哪一个操作。

在利用者进行的操作是对按钮Bsc的指示时，处理器10在步骤S210判定为进行了扫描指示。当在步骤S210判定为进行了扫描指示时，处理器10通过获取部12a的功能，扫描照片并获取照片数据(步骤S215)。即，处理器10经由设备接口30向扫描仪2输出控制信号，使得扫描利用者在扫描仪2设置的照片。其结果，扫描仪2输出作为读取结果得到的照片数据，处理器10经由设备接口30获取该照片数据。此外，在本实施方式中，处理器10将所扫描的照片数据保存在HDD20中默认的保存位置(文件夹)，使得在区域Z₂内显示所扫描的照片数据表示的照片。此外，在扫描对象为多张照片时，利用者重复对扫描仪2进行照片设置，处理器10进行对多张照片的扫描。

然后，处理器10通过读取部12c的功能，读取记录在照片中的摄影日期(步骤S220)。即，处理器10根据在步骤S215所扫描的照片的照片数据检测具有数值形状特点的部分，根据所检测部分的形状特点确定数值。并且，将数值的排列视为摄影日期，获取摄影时间。例如，如果是图6所示的照片Z₂₁，由于摄影日期是1961年4月1日，因而处理器10将1960年代作为摄影时间获取。处理器10判定如上所述那样的摄影日期的读取是否成功(步骤S225)，在摄影日期的读取成功时，处理器10将该照片的照片数据与摄影时间(摄影日期)对应起来(步骤S240)。

另一方面，当在步骤S225中判定为摄影日期的读取不成功时，处理器10通过计算部12b的功能，对照片数据进行预处理(步骤S230)。即，在本实施方式中，处理器10根据学习完毕模型20b估计照片的摄影时间。学习完毕模型20b如上所述构成为按照既定模型输出所输入的照片数据的摄影时间。并且，关于用于输入照片数据的格式，例如若是图4所示的例子，则需要是能够输入到上述函数f的格式。因此，处理器10执行预处理(例如放大处理、缩小处理、规则化等)，以使得成为能够输入到学习完毕模型20b的格式。

然后，处理器10通过计算部12b及整理部12d的功能，执行基于学习完毕模型的估计(步骤S235)。即，处理器10从HDD20获取学习完毕模型20b。并且，处理器10将在步骤S230进行预处理的照片数据作为对学习完毕模型20b的输入数据，获取基于学习完毕模型20b的输出结果作为摄影时间。此外，在图4所示的例子中，学习完毕模型20b根据所输入的照片数据获取照片的褪色程度，将该褪色程度输入到神经网络，输出照片的摄影时间。因而，处理器10在步骤S235中进行计算部12b对褪色程度的估计和整理部12d对摄影时间的估计(古老度的估计)。

然后，处理器10通过整理部12d的功能，将摄影时间与照片数据对应起来进行记录(步骤S240)。即，处理器10将表示通过步骤S235所估计的摄影时间的信息与照片数据对应起来存储在HDD20中(照片数据20a)。根据以上处理，生成将摄影时间与所扫描的照片对应起来的照片数据20a。此外，通过以上处理，在本实施方式中，能够视为由计算机1执行用于生成将摄影时间对应起来的照片数据20a的方法。所谓将表示摄影时间的信息与照片数据对应起来既可以将摄影时间记入到包含对应照片数据的照片文件的内部(例如题目)，也可以将摄影时间记入到与照片数据不同的摄影时间文件中。

之后，处理器10通过整理部12d的功能，描绘按照后述的区域Z₄中通过排序键选择的基于排序键的顺序追加照片的图像，使显示器4显示所描绘的图像。

另一方面，在利用者进行的操作是区域Z₄中排序键的选择时，处理器10在步骤S245判定为进行了排序指示。当在步骤S245判定为进行了排序指示时，处理器10通过整理部12d的功能，根据排序键将照片排序(步骤S250)。即，利用者在区域Z₄中选择排序键，参照与照片数据20a对应起来的信息，根据所选择的排序键将照片排序。在进行了排序时，处理器10描绘按照排序后的顺序排列照片而成的图像，使显示器4显示所描绘的图像。

此外，在本实施方式中，利用者能够选择摄影时间作为排序键。在选择了摄影时间时，处理器10将摄影时间作为排序键将照片排序。即，在本实施方式中，通过步骤S240的处理，将摄影时间与表示所扫描照片的照片数据20a对应起来。因此，处理器10参照与照片数据20a对应起来的摄影时间，按照其升序或者降序进行排序(关于升序还是降序，既可以由利用者选择，也可以预先决定)。

此外，在本实施方式中，在步骤S220中进行摄影日期的读取，在步骤S240中将成功读取的照片数据20a与所读取的摄影时间对应起来。因而，对于该照片，与所读取的摄影时间建立有对应关系，而不是与通过学习完毕模型而估计的摄影时间建立对应关系。因此，对于进行了摄影日期的读取的照片，所读取的摄影日期成为排序键，通过学习完毕模型20b而输出的摄影时间(根据褪色程度而估计的摄影时间)不会成为排序键。因而，当在本实施方式中进行排序时，相比通过学习完毕模型20b而输出的摄影时间，优先利用通过读取而得到的摄影日期(摄影时间)、由利用者输入的摄影日期(摄影时间)。

此外，在步骤S250中，当摄影时间成为排序键时，如果存在尚未与摄影时间对应起来的照片数据20a，则尝试对摄影时间的估计，在估计成功时，按照所估计的摄影时间进行排序，在估计失败时，跳过基于该照片数据20a的照片排序。

另一方面，在利用者进行的操作是除扫描指示、排序指示以外的其它指示时(按钮Bsh、Bup、Bed、Bde中任一个时)，处理器10执行与所指示的按钮对应的其它处理(步骤S255)。即，处理器10按照利用者的指示，执行与指示对应的处理。例如，在进行了基于按钮Bsh的指示时，处理器10使显示器4显示共享所选择照片所需的信息的输入画面。当在输入后利用者指示执行时，成为作为共享对象而指定的人和照片被共享的状态。

在进行了基于按钮Bup的指示时，处理器10通过未图示的通信部，向未图示的既定服务器发送所选择照片的照片数据20a。在进行了基于按钮Bed的指示时，处理器10使显示器4显示编辑所选择照片所需的信息的输入画面。当在输入后利用者指示执行时，以反映编辑内容的状态更新照片数据20a。该编辑包含对图像自身的修剪等编辑、与图像建立对应关系的信息编辑。在利用者记得照片的摄影时间时，通过该编辑，用户输入摄影时间。在用户输入了摄影时间时，也可以根据摄影时间的输入确定，重新进行学习和估计。在进行了基于按钮Bde的指示时，处理器10将所选择的照片的照片数据20a从HDD20中删除。

根据以上所述的本实施方式，能够根据学习完毕模型20b估计任意照片的摄影时间。学习完毕模型20b构成为根据照片的特点(褪色程度等)输出照片的摄影时间，因而即使是在照片中未记录摄影日期，也能够估计照片的摄影时间。因而，通过根据所输出的摄影时间进行排序等整理，能够按照古老度整理照片。此外，在本实施方式中，在排序时根据学习完毕模型20b估计照片的摄影时间。因而，计算机1作为摄影时间估计装置发挥作用，从模型中获取尚未记录摄影日期的照片的摄影时间，该模型根据将所扫描照片的照片数据与该照片的摄影时间对应起来的示教数据进行过机器学习。

此外，在本实施方式中，在读取到记录在照片中的摄影日期时，进行相比根据学习完毕模型20b估计的摄影时间，优先参照所读取的摄影日期(摄影时间)的排序。因而，能够根据可比褪色程度更可靠地确定照片的摄影日期的、更准确的信息，进行基于古老度的整理。

(4)其它实施方式

以上实施方式是用于实施本发明的一例，也可以采用其它各种实施方式。例如，有关本发明的一个实施方式的机器学习装置、图像处理装置还可以适用于还用作读取以外目的的电子设备例如复合机等。而且，如以上实施方式那样根据照片数据，估计未记录摄影日期的照片的摄影时间的方法、进行估计用的学习的方法也可以作为程序发明、方法发明来实现。

而且，构成图像处理装置的装置数量可以是任意数量。例如，既也可以通过将计算机1和扫描仪2一体化的装置来实现，也可以将其它各种装置例如显示器4一体化。另外，也可以通过将计算机1和显示器4一体化的平板终端来控制扫描仪2。

而且，也可以采用通过多个装置来实现计算机1的功能的结构。例如，可以构成为服务器和客户端可连接，构成为在服务器和客户端中一方执行机器学习程序，在另一方执行图像处理程序。当在位于分离开的位置的装置中执行机器学习和图像处理时，学习完毕模型既可以由各装置共用，也可以存在于一个装置中。在学习完毕模型存在于进行机器学习的装置中而在进行图像处理的装置中不存在时，成为进行图像处理的装置向进行机器学习的装置询问摄影时间的结构。当然，也可以是机器学习装置分散存在于多个装置中的结构、图像处理装置分散存在于多个装置中的结构等。而且，上述实施方式是一例，可以采用一部分结构省略或追加其它结构的实施方式。

获取部只要能够获取多个扫描照片得到的照片数据即可。即，获取部只要能够获取表示成为整理对象的多个照片的照片数据即可。此外，照片数据也是计算褪色程度的对象，因此是可计算褪色程度的格式。该格式可以是各种格式，例如可以举出由多个颜色通道(R：红色，G：绿色，B：蓝色等)构成的例子。在照片数据中可以附加生成日期等附加信息，但是该照片数据是通过扫描得到的，因此并不一定是如所拍摄的照片的照片数据那样照片数据生成的日期就是摄影日期。因而，如果不存在照片中记录有摄影日期，照片的摄影日期是已知(例如在所打印的照片背面记有备注等)的等情况，则照片的摄影时间是未知的。在获取部中获取至少一张与摄影时间未对应起来的照片。

计算部只要能够对照片数据计算照片的褪色程度即可。褪色可以是所打印照片的颜色的变化、老化，在所打印照片的颜色随时间流逝而变化时，该照片褪色。褪色程度可以用各种方法进行评价。在上述实施方式中，在如构建用于输入照片数据并输出摄影时间的模型的情况等那样，即使不清楚是否明确地计算有褪色程度，由于褪色程度是与照片的古老度相关的，因此能够视为在模型中计算褪色程度。即，能够视为通过所学习的模型进行包含褪色程度计算的输出。

整理部只要能够褪色程度越大则视为越古老的照片，并按照古老度整理照片数据即可。即，通常，照片在打印后的经时越长则褪色程度越大。因此，整理部在褪色程度越大，则视为其照片越古老。

古老度是指照片打印的日期与当前的时间间隔，打印的日期与当前的时间间隔越长则越古老。在印制照片中，照片在打印后开始褪色，因此若自摄影日期起经过长时间之后打印照片，则可能会成为褪色程度与摄影日期的古老度之间的关联较小的状况。另外，根据打印后的照片保管状况，褪色程度可能变化。因而，可能存在照片的古老度与摄影日期的古老度之间的关联较强的照片和较弱的照片。但是，在大多数情况下，摄影日期和打印日期较近，即使视为根据褪色程度所评价的古老度是摄影日期的古老度，在按照古老度整理照片时，可得到利用者无需花费输入摄影时间的功夫即可进行时序排序等效果。

整理部的整理只要是根据古老度对多个照片分配各种次序的处理即可。因而，除上述实施方式那样的排序以外，各种处理都可以属于整理。例如，可举出各种处理，既可以是基于古老度的筛选，也可以是对照片数据进行附加信息的附加(摄影日期、摄影时间的分配等)，还可以是对照片数据进行文件名的分配、分类、向文件夹的保存、移动、删除、加工等。当然，排序、筛选不仅用于照片数据的显示，也可以用于其它处理例如附加信息的附加、文件名的分配等。

读取部只要能够读取记录在照片中的摄影日期即可，当然也可以是读取摄影日期的一部分的结构。例如，也可以是这样的结构，在表示摄影日期数值中的日期无法清楚地读取但能够读取摄影年份和摄影月份时，读取摄影年月。摄影日期只要记录在照片中即可。即，只要在所打印的照片边部、角部附近打印用照片中不易使用的颜色的数值表达的摄影年月日即可。

读取部的读取可以通过识别数值的各种技术来实现。因而，如上所述那样可以采用各种结构，既可以利用通过获取数值形状特点来识别摄影日期的技术，也可以采用通过机器学习根据图像识别数值的技术。此外，在识别数值时，优选的是从可能是日期的数值排列中，根据数值位置选择摄影日期。可能是日期的数值排列例如是指YYYY/MM/DD的排列，不会是如2月35日那样不可能的日期。

在摄影日期优先于褪色程度进行整理时，只要能够比根据褪色程度估计出的古老度优先所读取的摄影日期来进行整理并反映即可。优先整理是指在对同一照片获取摄影日期和根据褪色程度估计的古老度时，根据摄影日期整理该照片。例如，在整理处理是排序时，如果获取了摄影日期和根据褪色程度估计的古老度，则根据摄影日期进行排序。

摄影时间只要是所拍摄的时间即可，既可以是摄影日期，也可以是较长时间的区段(例如摄影月份、摄影年份等)。当然，既也可以是利用其它方法分类的时间例如1980年代、1980年前后等那样跨越多个年的时间、通过范围确定的时间，也可以是自当前起的时间间隔(40年前等)等。

在上述实施方式中，整理部12d根据学习完毕模型20b的输出获取照片的古老度即照片的摄影时间。但是，也可以通过其它方法判断照片的古老度。例如，既可以采用根据既定基准判断照片的古老度的结构等，也可以视为褪色程度与照片古老度匹配来进行整理。

具体来说，在上述的图1所示的实施方式中，可采用处理器10通过进行图7所示的图像处理判断照片的古老度的结构等。图7所示的图像处理是将图5所示的图像处理的一部分变更的处理，在图7中对与图5相同的处理标注相同的附图标记示出。在此，省略与图5相同处理的说明，主要说明与图5不同的处理。

在此例中，处理器10在步骤S220中通过读取部12c的功能，从记录有摄影日期的照片读取摄影日期(以后，将记录有摄影日期的照片称为第一照片)。然后，处理器10判定摄影日期的读取是否成功(步骤S225)。在读取成功时，处理器10通过整理部12d的功能，将摄影时间与照片数据对应起来存储(步骤S226)。即，处理器10将表示通过步骤S235估计的摄影时间(摄影日期)的信息与照片数据对应起来存储在HDD20中(照片数据20a)。

当在步骤S225中不能判定为读取成功时，处理器10跳过步骤S226。此时，处理器10视为所扫描的照片中未记录有摄影日期(以后，将未记录有摄影日期的照片称为第二照片)。

然后，处理器10通过计算部12b的功能，计算照片的褪色程度(步骤S227)。褪色程度的计算方法可采用各种方法。例如，可举出利用上述函数f计算褪色程度的结构、根据在基于与褪色程度对应起来的照片数据的机器学习中得到的模型计算褪色程度的结构等。在通过计算部12b的功能计算褪色程度时，处理器10将表示褪色程度的信息与各照片的照片数据20a对应起来存储在HDD20中(步骤S228)。

当处理器10如上所述那样生成照片数据20a时，成为能够根据其照片数据20a估计照片的摄影时间的状态。在本实施方式中，处理器10当在步骤S251中将照片排序时估计照片的摄影时间，按照所估计的摄影时间的顺序将照片排序。即，在本实施方式中，处理器10将记录有摄影日期的第一照片的褪色程度和未记录有摄影日期的第二照片的褪色程度进行比较，判断第一照片和第二照片的古老度并进行整理。

具体来说，处理器10将所有的第二照片依次作为判定对象，对各判定对象确定比较对象的第一照片。而且，处理器10将该比较对象的第一照片中褪色程度和判定对象的第二照片中褪色程度进行比较。并且，在第二照片中褪色程度大于第一照片中褪色程度时，处理器10判定为判定对象的第二照片比比较对象的第一照片古老。另外，在第二照片中褪色程度小于第一照片中褪色程度时，处理器10判定为比较对象的第一照片比判定对象的第二照片古老。根据以上结构，能够以摄影日期已知照片为基准，判断摄影日期未知照片的古老度。

与第二照片进行比较的比较对象可通过各种方法进行选择。例如，既可以将褪色程度最接近的第一照片作为比较对象，也可以将褪色程度接近的多个第一照片作为比较对象，也可以将特定的第一照片作为比较对象，也可以采用其它各种方法。在本实施方式中，第一照片已确定摄影时间，因此处理器10根据该摄影时间将第一照片排序。并且，处理器10以所排序的第一照片为基准，将以第一照片为基准确定古老度的第二照片插入到第一照片的时序顺序中，由此进行排序。

根据以上结构，能够将通过读取而确定摄影时间的第一照片排序并作为基准，对未通过读取而确定摄影时间的第二照片进行排序。在进行排序时，处理器10描绘按照排序后的顺序将照片排列而成的图像，使显示器4显示所描绘的图像。此外，在不能通过第一照片和第二照片的比较，对所有照片决定古老度关系时，也可以比较第二照片彼此间褪色程度来决定古老度关系。

而且，也可以是不仅是古老度关系还根据褪色程度估计摄影时间的结构。该结构可以通过如下结构等来实现，处理器10参照照片数据20a，并通过整理部12d的功能，根据第一照片的褪色程度和第二照片的褪色程度估计第二照片的摄影时间。具体来说，可采用如下结构，处理器10将第一照片的摄影时间(摄影日期)与第一照片的褪色程度建立对应关系，视为褪色程度相似的第二照片是摄影时间为相同时期。

另外，在褪色程度不同时，处理器10也可以视为摄影时间不同。而且，在存在两张以上第一照片时，也可以根据各第一照片的褪色程度差异确定与任意褪色程度对应的摄影时间。例如，可采用如下结构，在某一第二照片的褪色程度为两张第一照片的褪色程度之间时，视为该第二照片是在这些第一照片的摄影时间之间拍摄的。当然，也可以视为两张第一照片的褪色程度差异与这些第一照片的摄影时间差异相对应，根据与第一照片的褪色程度和第二照片的褪色程度之间差异相当的摄影时间差异，估计第二照片的摄影时间。根据以上结构，能够以摄影日期已知照片为基准，估计摄影日期未知照片的摄影时间。

学习对象获取部只要能够获取多个所扫描照片的照片数据即可。即，学习对象获取部只要能够获取成为机器学习对象的多个照片的照片数据即可。照片数据只要成为学习时参照的示教数据即可，既可以预先将摄影时间与照片数据对应起来，也可以根据照片估计摄影时间并对应起来。后者可以用各种方法进行，例如可采用如下结构等，在摄影时间已知照片和摄影时间未知照片中分别确定照片的褪色程度，根据褪色程度估计后者的照片摄影时间。当然，摄影时间的估计方法既可以是其它方法，也可以由利用者根据照片背面的备注、利用者的记忆等进行指定。

照片数据是学习摄影时间的对象，因此是至少间接包含表示摄影时间的信息的数据。例如，视为照片的古老度和摄影时间大致符合的估计是合理估计，因此优选照片数据反映出照片的古老度例如褪色程度。因此，照片数据是能够计算褪色程度的格式。该格式可以是各种格式，例如可举出由多个颜色通道(R：红色，G：绿色，B：蓝色等)构成的例子。

当然，也可以对照片数据进行机器学习前的预处理。例如，当在学习时需输入的照片数据尺寸(像素数等)受限时，可以通过放大、缩小等进行调整，以使得各种照片数据成为既定尺寸。另外，既可以进行将照片数据的灰度值范围转换成既定范围的规则化等，也可以是进行边缘增强、伽马转换等各种图像处理的结构等。

学习部只要能够根据照片数据学习未记录摄影日期照片的摄影时间即可。即，学习部只要能够根据照片数据和该照片的摄影时间进行机器学习即可。机器学习的方法可以是各种方法。即，只要构建模型，进行将基于该模型的输出与示教数据中摄影时间的差分极小化的学习即可，该模型用于输入照片数据、从照片数据导出的值(褪色程度等)，并输出照片的摄影时间。

因而，例如在进行基于神经网络的机器学习时，适当选择如下各种因素进行机器学习即可，构成模型的层数量、节点数量、激活函数种类、损失函数种类、梯度下降法种类、梯度下降法的优化算法种类、小批量学习的有无及批量数量、学习率、初始值、过拟合防止方法的种类及有无、卷积层的有无、卷积运算中筛选器尺寸、筛选器种类、填补及跨越种类、维环层的种类及有无、总合并层的有无、递归构造的有无等。当然，也可以通过其它机器学习例如支持向量机、分类器、深度学习等进行学习。

而且，也可以进行自动优化模型构造(例如层数量、各层节点数量等)的机器学习。而且，也可以将学习划分多个阶段进行。例如，可采用执行根据照片数据学习褪色程度的机器学习和根据褪色程度学习摄影时间的机器学习的结构。而且，对于在服务器中进行机器学习的结构，也可以是从多个客户端收集示教数据，根据该示教数据进行机器学习的结构。

关于未记录有摄影日期的照片，也可以除在所打印的照片边缘、角部附近未打印表示日期数值的状态以外，包含数值因褪色等而劣化使得不能读取的情况。即，如果数值不能读取，则与未记录有摄影日期的状态等效。记录有摄影日期的照片通过读取摄影日期，能够准确地确定摄影日期，因此不需要摄影日期的估计，当然也可以添加在用于学习的样品中。

摄影时间只要是作为照片拍摄时间而估计的时间即可，既可以是摄影日期，也可以是较长时间的区段(例如摄影月份、摄影年份等)，也可以是如1980年代、1980年前后等那样跨越多个年的时间、通过范围确定的时间，也可以是自当前起的时间间隔(40年前等)等。当然，摄影时间既可以根据连续值(例如概率、可靠度等)来确定，也可以根据离散值(例如表示是多个候选中哪一个的标志等)来确定。

此外，在根据将照片数据和照片摄影时间对应起来的示教数据进行学习时，照片数据和摄影时间既可以成为针对神经网络等模型的输入及输出，也可以是对输入进行加工而得的值(例如，表示褪色程度的值等)成为输入及输出。

学习、摄影时间的估计也可以根据用户的明确指示来进行。例如，也可以显示“摄影时间的估计”这样的按钮，通过对其按钮的操作，进行学习和估计。

另外，不限于根据褪色程度估计摄影时间，也可以使用其它因素进行估计。例如，也可以根据褪色程度和相纸老化程度进行估计。

而且，本发明还能够用作由计算机执行的程序、方法。另外，如上所述那样的程序、方法包括各种方式，既存在利用单独装置来实现的情况，也存在利用多个装置所具有的部件来实现的情况。另外，也可以进行适当变更，如一部分是软件，一部分是硬件等。而且，本发明作为程序的存储介质也可行。当然，其程序的存储介质既可以是磁存储介质，也可以是半导体存储器等，可以认为在未来可开发出的任何存储介质中都完全相同。

Claims

1.一种机器学习装置，其特征在于，具备：

学习对象获取部，获取多个所扫描的照片的照片数据；以及

学习部，根据所述照片数据学习未记录摄影日期的所述照片的摄影时间。

2.根据权利要求1所述的机器学习装置，其特征在于，

所述学习部根据将所述照片数据与所述照片的摄影时间对应起来的示教数据进行学习。

3.根据权利要求2所述的机器学习装置，其特征在于，

所述示教数据包含将对记录有摄影日期的所述照片进行扫描而得到的所述照片数据与表示所记录的摄影日期的摄影时间对应起来的数据。

4.一种摄影时间估计装置，其特征在于，从模型获取未记录摄影日期的照片的摄影时间，所述模型根据将所扫描的照片的照片数据与所述照片的摄影时间对应起来的示教数据进行过机器学习。

5.一种学习模型的生成方法，其特征在于，

获取多个所扫描的照片的照片数据，

生成模型，所述模型通过根据所述照片数据进行机器学习，从未记录摄影日期的照片的照片数据输出所述照片的摄影时间。