CN113491105A - 学习设备、学习方法、存储有控制程序的非暂时性计算机可读介质、以及估计设备 - Google Patents

学习设备、学习方法、存储有控制程序的非暂时性计算机可读介质、以及估计设备 Download PDF

Info

Publication number
CN113491105A
CN113491105A CN201980093446.4A CN201980093446A CN113491105A CN 113491105 A CN113491105 A CN 113491105A CN 201980093446 A CN201980093446 A CN 201980093446A CN 113491105 A CN113491105 A CN 113491105A
Authority
CN
China
Prior art keywords
learning
parameter
configuration
value
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980093446.4A
Other languages
English (en)
Other versions
CN113491105B (zh
Inventor
户泉贵裕
赤司竜一
荻野有加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN113491105A publication Critical patent/CN113491105A/zh
Application granted granted Critical
Publication of CN113491105B publication Critical patent/CN113491105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/52Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Optical Communication System (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

在学习设备(10)中,光学转换单元(11)接收来自学习对象的光,并且使用所接收的光以根据参数的配置值来输出光。感测单元(13)感测从光学转换单元(11)所输出的光。估计单元(15A)基于由感测单元(13)感测到的光来形成对配置问题的答案的估计结果。更新单元(15B)基于估计单元(15A)的估计结果来计算光学转换单元(11)的参数的更新值,并用计算出的更新值来更新光学转换单元(11)的参数的配置值。光学转换单元(11)包括相互独立地设定参数的配置值的多个光学器件。

Description

学习设备、学习方法、存储有控制程序的非暂时性计算机可读 介质、以及估计设备
技术领域
本公开涉及一种学习设备、一种学习方法、一种其上存储有控制程序的非暂时性计算机可读介质以及一种估计设备。
背景技术
已经提出了估计对各种配置问题的答案的估计设备(例如,专利文献1)。专利文献1中公开的设备的配置问题是获取光场。具体而言,专利文献1中公开的光场获取设备基于通过比较从图像信号恢复的恢复光场数据与基准光场数据而获得的评估值来控制编码孔径部分(即,光学转换单元)的编码孔径形状的设定。这就允许专利文献1中公开的光场获取设备能够以高分辨率获取数据量小于图像元素的像素数的场景的光场。
引文清单
专利文献
[专利文献1]日本未审查专利申请公开No.2016-157999
发明内容
技术问题
本发明人已发现,通过在光学转换单元中包括相互独立地设定参数的配置值的多个光学器件,可以实现能够更准确地估计配置问题的答案的估计设备。本发明人提出了一种学习设备,其学习多个光学器件中设定的参数的配置值。
本公开的目的在于提供一种学习设备和学习方法,其能够学习能够更准确地估计配置问题的答案的估计设备中的多个光学器件中所设定的参数的配置值,并且提供一种其上存储有控制程序的非暂时性计算机可读介质和估计设备。
问题解决方案
根据第一方面的学习设备包括:
光学转换装置,用于接收来自学习对象的光,并且使用所接收的光以根据参数的配置值来输出光;
感测装置,用于感测从光学转换装置所输出的光;
估计装置,用于基于感测到的光来形成对配置问题的答案的估计结果;以及
更新装置,用于基于估计设备的估计结果来计算参数的更新值,并用计算出的更新值来更新参数的配置值,
其中,光学转换装置包括其中参数的配置值是被相互独立地设定的多个光学器件。
根据第二方面的估计设备包括:
光学转换装置,用于使用所输入的光以根据参数的配置值来输出光;
感测装置,用于感测从光学转换装置所输出的光;以及
估计装置,用于基于感测到的光来形成对配置问题的答案的估计结果,
其中,光学转换装置包括其中参数的配置值是被相互独立地设定的多个光学器件。
根据第三方面的学习方法包括:
基于从接收来自学习对象的光且包括多个光学器件的光学转换装置所输出的光,并根据在光学转换装置中所设定的参数的配置值,形成对配置问题的答案的估计结果;
基于估计结果来计算参数的更新值;以及
使用计算出的更新值来更新参数的配置值。
根据第四方面的非暂时性计算机可读介质存储控制程序,该控制程序被配置为促使学习设备执行以下过程:
基于从接收来自学习对象的光且包括多个光学器件的光学转换装置所输出的光,并根据在光学转换装置中所设定的参数的配置值,形成对配置问题的答案的估计结果;
基于估计结果来计算参数的更新值;以及
使用计算出的更新值来更新参数的配置值。
发明有益效果
根据本公开,可以提供学习设备和学习方法,其能够学习能够更准确地估计配置问题的答案的估计设备中的多个光学器件中所设定的参数的配置值,并且可以提供上述其上存储有控制程序且具有估计设备的非暂时性计算机可读介质。
附图说明
图1是示出第一示例实施例中的学习设备示例的框图。
图2是示出第二示例实施例中的学习设备示例的框图。
图3是示出第二示例实施例中的学习设备的处理操作示例的流程图。
图4是示出第三示例实施例中的学习设备示例的框图。
图5是示出第四示例实施例中的估计设备示例的框图。
图6是示出控制设备的硬件配置示例的示图。
具体实施方式
下面将参考附图来描述示例实施例。在示例实施例中,为相同或等同的元素指配相同的附图标记,并省略赘述。
<第一示例实施例>
图1是示出第一示例实施例中的学习设备示例的框图。在图1中,学习设备10包括光学转换单元11、感测单元13和控制单元(控制设备)15。
光学转换单元11接收(输入)来自学习对象(例如,学习图像)的光,并根据参数的配置值使用所接收(输入)的光来输出光。例如,光学转换单元11包括相互独立地设定参数的配置值的光学器件12-1至12-N(N是2或更多的自然数)。下面,当光学器件12-1至12-N不彼此作区分时,可以将光学器件12-1至12-N统称为光学器件12。光学器件12-1至12-N可以是彼此相同类型的光学器件,或者可以包括多种类型的光学器件。例如,光学转换单元11执行以下中的至少一个作为对接收(输入)光的处理:衰减处理、放大处理、聚光处理、扩散处理、光波强化与合成处理、莫尔条纹生成处理、立体处理、以及偏振提取处理。
感测单元13感测从光学转换单元11所输出的光。感测单元13例如是图像传感器。即,感测单元13将感测到的光学转换成电信号并将所获得的电信号输出到控制单元15。应当指出,在图1中,光学转换单元11和感测单元13通过虚线相互连接,并且虚线表示光路。
控制单元15包括估计单元15A和更新单元15B。
估计单元15A基于由感测单元13感测到的光来形成对配置问题的答案的估计结果。配置问题例如是图像识别、物体检测、分割、异常检测、图像生成、图像转换、图像压缩、光场生成或三维图像生成。即,估计单元15A是根据配置问题执行图像分析处理的功能单元。例如,当配置问题是识别红色对象时,如果学习图像包括红色对象的图像,则估计单元15A形成并输出“1”作为估计结果,而如果学习图像不包括红色对象的图像,则估计单元15A形成并输出“0”作为估计结果。此外,例如,当配置问题是生成光场时,估计单元15A形成并输出光场作为估计结果。
更新单元15B基于估计单元15A的估计结果来计算光学转换单元11的参数的更新值,并用计算出的更新值来更新光学转换单元11的参数的配置值。
如上所述,根据第一示例实施例,在学习设备10中,光学转换单元11接收(输入)来自学习对象的光,并根据参数的配置值使用所接收(输入)的光来输出光。感测单元13感测从光学转换单元11所输出的光。估计单元15A基于由感测单元13感测到的光来形成对配置问题的答案的估计结果。更新单元15B基于估计单元15A的估计结果来计算光学转换单元11的参数的更新值,并用计算出的更新值来更新光学转换单元11的参数的配置值。光学转换单元11包括相互独立地设定参数的配置值的光学器件12-1至12-N(N是2或更多的自然数)。
通过学习设备10的配置,可以学习包括与光学器件12-1至12-N(N为2或更多的自然数)相同的多个光学器件、感测单元和估计单元的估计设备(未示出)中的多个光学器件中设定的参数的配置值。由于估计设备(未图示)能够将包含更多信息的光用于通过多个光学器件的估计处理,与光学器件的数目为一个的情况相比,估计设备(未示出)能够更准确地估计配置问题的答案。即,根据学习设备10,可以学习在能够更准确地估计配置问题的答案的估计设备中的多个光学器件中所设定的参数的配置值。应当指出,在估计设备(未示出)中,硬件神经网络能够由多个光学器件来实现。因此,能够减少估计设备(未示出)的估计单元的计算量,故该估计设备(未示出)也能应用于处理能力较差的边缘终端。
<第二示例实施例>
第二示例实施例涉及更具体的示例实施例。
<学习设备的配置例>
图2是示出第二示例实施例中的学习设备示例的框图。在图2中,学习设备20包括光学转换单元11、感测单元13、显示单元21和控制单元(控制设备)22。控制单元22包括估计单元22A、更新单元22B和学习控制单元22C。
显示单元21在学习控制单元22C的控制下显示学习图像。这就促使对应于学习图像的光被输入到光学转换单元11。应当指出,在图2中,显示单元21和光学转换单元11通过虚线相互连接,并且该虚线表示光路。
光学转换单元11包括如第一示例实施例中所述的光学器件12-1至12-N(N是2或更多的自然数)。这里,作为示例,光学器件12-1至12-N包括液晶器件,并且将在假设光学器件12-1是液晶器件的情况下予以描述。
光学器件12-1例如包括第一偏振片、偏振方向从第一偏振片的偏振方向旋转90°的第二偏振片、滤色器以及夹置于第一偏振片与第二偏光片之间的液晶单元。通过控制施加于液晶单元的电信号(即,参数的配置值),例如能够控制液晶单元的透光率。该控制能够在液晶单元的逐像素基础上执行控制。即,液晶器件能够输出光,其中在逐像素基础上强调根据参数的配置值的光学特性。
替代地,光学器件12-1具有液晶单元。通过控制施加于液晶单元的电信号(即,参数的配置值),可以控制液晶单元中液晶的螺旋结构,可以控制选择性反射的光的波长。该控制能够在液晶单元的逐像素基础上执行控制。即,液晶器件能够输出光,其中在逐像素基础上强调根据参数的配置值的光学特性。
在光学器件12中,例如,作为液晶器件的附加或作为液晶器件的替代,可以使用液体透镜、可变形镜、微通道板型光电倍增管等。液体透镜是一种能够通过电信号调节焦距的器件。可变形镜是一种能够通过电信号控制反射方向的器件。微通道板型光电倍增管是一种在器件内部将入射光学转换成电子并在内部放大电子以输出比入射光更强光的器件。
学习控制单元22C控制对光学转换单元11中参数的配置值的学习。例如,学习控制单元22C切换在显示单元21上显示的学习图像。在对光学转换单元11中参数的配置值的学习处理中,学习控制单元22C可以使用通过光学模拟所获得的参数值作为参数的初始值。这就允许对通过要执行的光学模拟所获得的参数的配置值执行微调。在此情况下,例如,学习控制单元22C可以使用通过对光学器件12-1至12-N中的每一个建模所获得的光学模型来进行模拟,通过误差反向传播法计算梯度,并优化光学模型的参数。该参数值用作上述初始值。应当指出,当估计单元22A包括神经网络时,学习控制单元22C可以控制神经网络的学习。
正如第一示例实施例的估计单元15A,估计单元22A基于由感测单元13感测到的光来形成对配置问题的答案的估计结果。估计单元22A例如包括神经网络。
更新单元22B使用与估计单元22A的估计结果与正确答案之间的误差相关的目标函数来计算梯度。然后,更新单元22B基于计算出的梯度来计算参数的更新值,并用计算出的更新值来更新光学转换单元11的参数的配置值。更新单元22B可以更新估计单元22A中所包括的神经网络的参数(权重或偏差)。对于估计单元22A中所包括的神经网络的参数(权重或偏差)的更新处理中的梯度计算,能够使用在神经网络的学习中所使用的误差反向传播法。
因为光学转换单元11中的光输入/输出现象发生在控制单元22(即,计算机)之外,无法使用在神经网络的学习中所使用的误差反向传播法。因此,更新单元22B使用随机数来形成扰动向量,并使用与在估计单元22A的估计结果与正确答案之间的误差相关的目标函数和所形成的扰动向量来计算梯度。然后,更新单元22B基于计算出的梯度来计算参数的更新值,并用计算出的更新值来更新光学转换单元11的参数的配置值。
在该梯度计算中,参数向量用“p”表示,且其随机数扰动向量用“e”表示。当光学转换单元11的整个神经网络为f(x,p)时,更新单元22B针对输入图像批次x计算f(x,p)和f(x,p+e)。在一般的梯度计算中,因为梯度是通过对参数向量p的每个元素的标量值pi独立执行计算而获得,因此需要与参数的元素数相同的运算次数。另一方面,在随机数扰动的计算中,因为扰动e是通过向量来计算,因此运算次数仅为2次。相反,更新单元22B用随机数来生成扰动向量e。例如,更新单元22B使用伯努利分布来计算随机数。结果,扰动向量e的每个元素均取值为-1或1。更新单元22B能够通过将“e”乘以超参数a来控制梯度计算的差分宽度。对于随机数,可以在每次迭代中使用相同的随机数,也可以在每次迭代中使用不同的随机数。随机数扰动不仅能够应用于向量,而且能够应用于矩阵和三层或更多层的张量。对于梯度的更新,例如可以使用随机梯度下降法、Adam等。对于随机数的计算,除了伯努利分布之外,还可以使用以0为平均值的均匀分布或高斯分布。
<学习设备的操作例>
现将描述具有上述配置的学习设备20的处理操作的示例。图3是示出第二示例实施例中的学习设备的处理操作示例的流程图。
学习控制单元22C针对光学转换单元11设定参数的初始值(步骤S101)。如上所述,通过光学模拟所获得的参数值可以用作参数的初始值。
学习控制单元22C促使显示单元21显示学习图像(步骤S102)。这就使得对应于学习图像的光被输入到光学转换单元11。
光学转换单元11接收(输入)来自学习图像的光,并根据参数的配置值使用所接收(输入)的光来输出光(步骤S103)。
感测单元13感测从光学转换单元11所输出的光(步骤S104)。
估计单元15A基于由感测单元13感测到的光来形成对配置问题的答案的估计结果(步骤S105)。
更新单元22B使用与在估计单元22A的估计结果与正确答案之间的误差相关的目标函数来计算梯度(步骤S106)。
学习控制单元22C判定是否满足结束条件(步骤S107)。例如,如果更新单元22B本次计算的梯度的符号与上次计算的梯度的符号不同,则可视为达到目标函数的最小值(或局部最小值),故学习控制单元22C判定满足结束条件。当满足结束条件时(步骤S107是),处理流程结束。
当不满足结束条件时(步骤S107否),学习控制单元22C促使更新单元22B基于计算出的梯度来计算参数的更新值,并用计算出的更新值来更新光学转换单元11的参数的配置值(步骤S108)。
学习控制单元22C切换学习图像并促使显示单元21显示切换后的图像(步骤S109)。
应当指出,在上文描述中,在对每单个图像进行学习的前提下予以描述,但不限于此,并可以执行批量学习或小批量学习。
<第三示例实施例>
在上述第二示例性实施例中,已经在使所有光学器件12-1至12-N在一定时成为参数更新对象器件的前提下予以描述。另一方面,第三示例实施例涉及在光学器件12-1至12-N当中顺序地切换更新对象器件的示例实施例。
图4是示出第三示例实施例中的学习设备示例的框图。在图4中,学习设备30包括控制单元(控制设备)31。控制单元31包括更新单元31A和学习控制单元31B。
学习控制单元31B在光学器件12-1至12-N当中顺序地切换更新对象器件,根据更新对象器件的切换来切换在显示单元21上显示的学习图像,并促使更新单元31A针对每个更新对象器件更新参数的配置值。
这里,假设所有光学器件12-1到12-N皆为液晶器件。然后,学习控制单元31B从光学器件12-1至12-N当中选择更新对象器件。学习控制单元31B将更新对象器件以外的光学器件12-1至12-N的参数的配置值设定为最大透光率。然后,学习控制单元31B促使更新单元31A通过误差反向传播法使用与在估计单元22A的估计结果与正确答案之间的误差相关的目标函数来计算更新对象器件的梯度。这里,更新目标器件以外的光学器件12的参数的配置值被设定为最大透光率,因此能够认为从光学转换单元11输出的光不受更新对象器件以外的光学器件12影响。因而,由于能够量化更新对象器件的输入和输出,能够使用误差反向传播法来计算梯度。学习控制单元31B优化一个更新对象器件的参数,然后切换更新对象器件,并推进对切换后的更新对象器件的参数的学习。即,这里以优化堆叠自动编码器的方式学习光学器件12-1至12-N的参数。
应当指出,学习控制单元31B可以推进对一个更新对象器件的批量学习,当批量学习完成时,随机选择尚未学习的光学器件12作为下一个更新对象器件,并推进对所选择的更新对象器件的学习。
<第四示例实施例>
第四示例实施例涉及一种估计设备,其中设定由第一示例实施例至第三示例实施例中描述的学习设备学习的参数值。
图5是示出第四示例实施例中的估计设备示例的框图。在图5中,估计设备50包括光学转换单元51、感测单元53、控制单元(控制设备)55和获取单元57。
光学转换单元51根据参数的配置值使用所接收(输入)的光来输出光。光学转换单元51包括相互独立地设定参数的配置值的光学器件52-1至52-N(N是2或更多的自然数)。光学器件52-1至52-N分别对应于第一示例实施例至第三示例实施例的光学器件12-1至12-N,并且由学习设备10、20或30学习的参数值被设定。即,光学转换单元51具有如第一示例实施例至第三示例实施例的光学转换单元11中的配置。
感测单元53感测从光学转换单元51所输出的光。即,感测单元53具有如第一示例实施例至第三示例实施例的感测单元13中的配置。
控制单元55包括估计单元55A和设定单元55B。
估计单元55A基于由感测单元53感测到的光来形成对配置问题的答案的估计结果。即,估计单元55A具有与第一示例实施例至第三示例实施例的估计单元15A和22A相同的配置。
设定单元55B针对光学转换单元51的光学器件12-1至12-N设定由获取单元57获取的参数值。
获取单元57获取由学习设备10、20或30学习的参数值。获取单元57可以是通过有线通信或无线通信从学习设备10、20或30获取参数值的通信单元。替代地,获取单元57可以是连接估计设备50与学习设备10、20或30的线缆所连接到的接口单元。通过获取单元57获取由学习设备10、20或30学习的参数值,例如能够下载待针对光学器件52-1至52-N设定的参数值。本实施例中的光学器件处于计算机之外,因此在器件出厂时就设定了参数值,并且能够禁止在边缘终端直接访问该参数。这样就不可能入侵边缘终端的参数。
如上所述,根据第四示例实施例,在估计设备50中,光学转换单元51根据参数的配置值使用所接收(输入)的光来输出光。感测单元53感测从光学转换单元51所输出的光。估计单元55A基于由感测单元53感测到的光来形成对配置问题的答案的估计结果。光学转换单元51包括相互独立地设定参数的配置值的光学器件52-1至52-N(N是2或更多的自然数)。
在估计设备50的配置中,光学转换单元51包括相互独立地设定参数的配置值的光学器件52-1至52-N,因此与存在一个光学器件的情况相比,包含更多信息的光可用于多个光学器件的估计处理。结果,估计设备50能够更准确地估计配置问题的答案。因为能够通过光学器件52-1至52-N来实现硬件神经网络,能够减少估计单元55A的计算量。这样即可将估计设备50应用于处理能力较差的边缘终端。
<其他示例实施例>
<1>第一示例实施例至第四示例实施例的光学转换单元11和51可以在感测单元13和53的曝光时间内将参数的配置值从第一配置值切换到第二配置值。例如,在感测单元13的曝光时间内,光学转换单元11在针对全部光学器件12-1至12-N设定由更新单元15B、22B或31A更新的参数值的状态与将光学器件12-1至12-N中的一些光学器件的参数值切换到最大透光率的状态之间进行切换。这允许感测单元13表达两种状态下的图像相加的图像。即,能够通过该操作来表达神经网络中的相加层。替代地,代替相加,上述两种状态下的图像可以并排布置在感测单元13中。这允许表达神经网络中的连接层。根据这样的方法,即可在U-Net等中使用跳跃连接。这同样适用于光学转换单元51和感测单元53。
<2>图6是示出控制设备的硬件配置示例的示图。在图6中,控制设备100包括处理器101和存储器102。处理器101可以例如是微处理器、MPU(微处理单元)或CPU(中央处理单元)。处理器101可以包括多个处理器。存储器102由易失性存储器和非易失性存储器的组合组成。存储器102可以包括远离处理器101设置的存储。在此情况下,处理器101可以经由I/O接口(未示出)访问存储器102。
第一示例实施例至第四示例实施例的控制设备(控制单元)15、22、31和55能够各自具有图6所示的硬件配置。第一示例实施例至第四示例实施例的控制设备15、22、31和55的估计单元15A、22A和55A、更新单元15B、22B和31A、学习控制单元22C和31B以及设定单元55B可以通过处理器101读取并执行存储器102中存储的程序来实现。该程序能够使用各种类型的非暂时性计算机可读介质来存储并提供给控制设备15、22、31和55。非暂时性计算机可读介质的示例包括磁记录介质(例如,软盘、磁带和硬盘驱动器)和磁光记录介质(例如,磁光盘)。另外,非暂时性计算机可读介质的示例包括CD-ROM(只读存储器)、CD-R和CD-R/W。另外,非暂时性计算机可读介质的示例包括半导体存储器。半导体存储器例如包括掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪速ROM和RAM(随机存取存储器)。程序可以通过各种类型的暂时性计算机可读介质提供给控制设备15、22、31和55。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质能够经由诸如电线和光纤的有线通信路径或无线通信路径将程序提供给控制设备15、22、31和55。
尽管上文已经参照示例实施例描述了本申请的发明,但本申请的发明不限于上述。在本发明的范围内,能够对本发明的配置和细节作出本领域技术人员能够理解的各种变更。
部分或全部上述示例实施例可描述为以下附注,但不限于以下附注。
(附注1)
一种学习设备,包括:
光学转换装置,用于接收来自学习对象的光,并且使用所接收的光以根据参数的配置值来输出光;
感测装置,用于感测从所述光学转换装置所输出的光;
估计装置,用于基于感测到的光来形成对配置问题的答案的估计结果;以及
更新装置,用于基于所述估计设备的估计结果来计算所述参数的更新值,并用计算出的更新值来更新所述参数的配置值,
其中,所述光学转换装置包括其中所述参数的配置值是被相互独立地设定的多个光学器件。
(附注2)
根据附注1所述的学习设备,进一步包括学习控制装置,用于在所述多个光学器件当中顺序地切换更新对象器件,根据所述更新对象器件的切换来切换所述学习对象,并促使所述更新装置针对每个更新对象器件更新所述参数的配置值。
(附注3)
根据附注2所述的学习设备,其中,所述学习控制装置控制每个更新对象器件的批量学习,并从所述多个光学器件中随机选择所述更新对象器件。
(附注4)
根据附注2或3所述的学习设备,其中,所述更新装置使用与在所述估计装置的估计结果与正确答案之间的误差相关的目标函数来通过误差反向传播法计算梯度,基于计算出的梯度来计算所述参数的更新值,并用计算出的更新值来更新所述参数的配置值。
(附注5)
根据附注1所述的学习设备,其中,所述更新装置使用随机数来形成扰动,使用与在所述估计装置的估计结果与正确答案之间的误差相关的目标函数和所形成的扰动来计算梯度,基于计算出的梯度来计算所述参数的更新值,并用计算出的更新值来更新所述参数的配置值。
(附注6)
根据附注1至5中任一项所述的学习设备,其中,
所述多个光学器件包括液晶器件,且
所述更新装置在所述液晶器件的逐像素基础上更新所述参数的配置值。
(附注7)
根据附注6所述的学习设备,其中,所述液晶器件输出光,在所述光中在逐像素基础上强调根据所述参数的配置值的光学特性。
(附注8)
根据附注1至7中任一项所述的学习设备,其中,所述光学转换装置在所述感测装置的曝光时间内将所述参数的配置值从第一配置值切换到第二配置值。
(附注9)
根据附注1至8中任一项所述的学习设备,其中,
所述估计装置包括神经网络,且
所述更新装置进一步更新所述神经网络的参数。
(附注10)
根据附注1至9中任一项所述的学习设备,其中,使用通过光学模拟所获得的参数值作为在学习处理中所述参数的配置值的初始值。
(附注11)
根据附注1至10中任一项所述的学习设备,其中,所述光学转换装置执行以下中的至少一种作为对接收光的处理:衰减处理、放大处理、聚光处理、扩散处理、光波强化与合成处理、莫尔条纹生成处理、立体处理、以及偏振提取处理。
(附注12)
根据附注1至11中任一项所述的学习设备,其中,所述配置问题为图像识别、物体检测、分割、异常检测、图像生成、图像转换、图像压缩、光场生成或三维图像生成。
(附注13)
一种估计设备,包括:
光学转换装置,用于使用所接收的光以根据参数的配置值来输出光;
感测装置,用于感测从所述光学转换装置所输出的光;以及
估计装置,用于基于感测到的光来形成对配置问题的答案的估计结果,
其中,所述光学转换装置包括所述参数的配置值是被相互独立地设定的多个光学器件。
(附注14)
一种学习方法,包括:
基于从接收来自学习对象的光且包括多个光学器件的光学转换装置所输出的光,并根据在所述光学转换装置中所设定的参数的配置值,形成对配置问题的答案的估计结果;
基于所述估计结果来计算所述参数的更新值;以及
使用计算出的更新值来更新所述参数的配置值。
(附注15)
一种非暂时性计算机可读介质,其存储控制程序,所述控制程序被配置为促使学习设备执行以下过程:
基于从接收来自学习对象的光且包括多个光学器件的光学转换装置所输出的光,并根据在所述光学转换装置中所设定的参数的配置值,形成对配置问题的答案的估计结果;
基于所述估计结果来计算所述参数的更新值;以及
使用计算出的更新值来更新所述参数的配置值。
附图标记列表
10 学习设备
11 光学转换单元
12 光学器件
13 感测单元
15 控制单元(控制设备)
15A 估计单元
15B 更新单元
20 学习设备
21 显示单元
22 控制单元(控制设备)
22A 估计单元
22B 更新单元
22C 学习控制单元
30 学习设备
31 控制单元(控制设备)
31A 更新单元
31B 学习控制单元
50 估计设备
51 光学转换单元
53 感测单元
55 控制单元(控制设备)
55A 估计单元
55B 设定单元
57 获取单元。

Claims (15)

1.一种学习设备,包括:
光学转换装置,用于接收来自学习对象的光,并且使用所接收的光以根据参数的配置值来输出光;
感测装置,用于感测从所述光学转换装置所输出的光;
估计装置,用于基于所感测的光来形成对配置问题的答案的估计结果;以及
更新装置,用于基于所述估计装置的所述估计结果来计算所述参数的更新值,并且以所计算的更新值来更新所述参数的所述配置值,
其中,所述光学转换装置包括多个光学器件,在所述多个光学器件中,所述参数的所述配置值是被相互独立地设定的。
2.根据权利要求1所述的学习设备,进一步包括:
学习控制装置,用于在所述多个光学器件当中顺序地切换更新对象器件,根据所述更新对象器件的切换来切换所述学习对象,并且促使所述更新装置以针对每个更新对象器件来更新所述参数的所述配置值。
3.根据权利要求2所述的学习设备,其中,
所述学习控制装置控制针对每个更新对象器件的批量学习,并且从所述多个光学器件中随机地选择所述更新对象器件。
4.根据权利要求2或3所述的学习设备,其中,
所述更新装置使用与在所述估计装置的所述估计结果与正确答案之间的误差相关的目标函数来通过误差反向传播法计算梯度,基于所计算的梯度来计算所述参数的更新值,并且以所计算的更新值来更新所述参数的所述配置值。
5.根据权利要求1所述的学习设备,其中,
所述更新装置使用随机数来形成扰动,使用与在所述估计装置的所述估计结果与正确答案之间的误差相关的目标函数和所形成的扰动来计算梯度,基于所计算的梯度来计算所述参数的更新值,并且以所计算的更新值来更新所述参数的所述配置值。
6.根据权利要求1至5中任一项所述的学习设备,其中,
所述多个光学器件包括液晶器件,并且
所述更新装置在所述液晶器件的逐像素基础上更新所述参数的所述配置值。
7.根据权利要求6所述的学习设备,其中,
所述液晶器件输出其中在逐像素基础上强调根据所述参数的所述配置值的光学特性的光。
8.根据权利要求1至7中任一项所述的学习设备,其中,
所述光学转换装置在所述感测装置的曝光时间内将所述参数的所述配置值从第一配置值切换到第二配置值。
9.根据权利要求1至8中任一项所述的学习设备,其中,
所述估计装置包括神经网络,并且
所述更新装置进一步更新所述神经网络的参数。
10.根据权利要求1至9中任一项所述的学习设备,其中,
使用通过光学模拟所获得的参数值作为在学习处理中的所述参数的所述配置值的初始值。
11.根据权利要求1至10中任一项所述的学习设备,其中,
所述光学转换装置执行以下各项中的至少一项作为针对所接收的光的处理:衰减处理、放大处理、聚光处理、扩散处理、光波强化与合成处理、莫尔条纹生成处理、立体处理以及偏振提取处理。
12.根据权利要求1至11中任一项所述的学习设备,其中,
所述配置问题为图像识别、物体检测、分割、异常检测、图像生成、图像转换、图像压缩、光场生成、或三维图像生成。
13.一种估计设备,包括:
光学转换装置,用于使用所接收的光以根据参数的配置值来输出光;
感测装置,用于感测从所述光学转换装置所输出的光;以及
估计装置,用于基于所感测的光来形成对配置问题的答案的估计结果,
其中,所述光学转换装置包括多个光学器件,在所述多个光学器件中,所述参数的所述配置值是被相互独立地设定的。
14.一种学习方法,包括:
基于从光学转换装置所输出的光并且根据在所述光学转换装置中所设定的参数的配置值,形成对配置问题的答案的估计结果,所述光学转换装置接收来自学习对象的光且包括多个光学器件;
基于所述估计结果来计算所述参数的更新值;以及
以所计算的更新值来更新所述参数的所述配置值。
15.一种存储有控制程序的非暂时性计算机可读介质,所述控制程序被配置为促使学习设备执行以下处理:
基于从光学转换装置所输出的光并且根据在所述光学转换装置中所设定的参数的配置值,形成对配置问题的答案的估计结果,所述光学转换装置接收来自学习对象的光且包括多个光学器件;
基于所述估计结果来计算所述参数的更新值;以及
以所计算的更新值来更新所述参数的所述配置值。
CN201980093446.4A 2019-02-05 2019-02-05 学习设备、学习方法、存储有控制程序的非暂时性计算机可读介质、以及估计设备 Active CN113491105B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/004045 WO2020161799A1 (ja) 2019-02-05 2019-02-05 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置

Publications (2)

Publication Number Publication Date
CN113491105A true CN113491105A (zh) 2021-10-08
CN113491105B CN113491105B (zh) 2023-09-12

Family

ID=71948159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980093446.4A Active CN113491105B (zh) 2019-02-05 2019-02-05 学习设备、学习方法、存储有控制程序的非暂时性计算机可读介质、以及估计设备

Country Status (5)

Country Link
US (1) US11825185B2 (zh)
EP (1) EP3923566A4 (zh)
JP (1) JP7251558B2 (zh)
CN (1) CN113491105B (zh)
WO (1) WO2020161799A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010052977A1 (en) * 2000-02-16 2001-12-20 Saitama University Imaging spectral device
US20050247867A1 (en) * 2004-05-06 2005-11-10 Matthlas Volgt System and methods for determining nonuniformity correction parameters in detector-array imaging
CN101718940A (zh) * 2009-11-17 2010-06-02 武汉光迅科技股份有限公司 实现掺铒光纤放大器快速收敛的控制装置及控制方法
JP2018097407A (ja) * 2016-12-08 2018-06-21 日本電信電話株式会社 摂動学習装置とその方法
CN108307153A (zh) * 2017-01-13 2018-07-20 佳能株式会社 视频监视装置及其控制方法、存储介质和视频监视系统
CN109186657A (zh) * 2018-09-26 2019-01-11 Oppo广东移动通信有限公司 接近传感器参数校准方法、装置、终端设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4413261B2 (ja) * 2008-01-10 2010-02-10 シャープ株式会社 撮像装置及び光軸制御方法
JP6230161B2 (ja) 2015-02-23 2017-11-15 日本電信電話株式会社 ライトフィールド取得装置及びライトフィールド取得方法
US10176554B2 (en) * 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP2017194498A (ja) 2016-04-18 2017-10-26 キヤノン株式会社 焦点検出装置およびその方法、撮像装置、プログラム、記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010052977A1 (en) * 2000-02-16 2001-12-20 Saitama University Imaging spectral device
US20050247867A1 (en) * 2004-05-06 2005-11-10 Matthlas Volgt System and methods for determining nonuniformity correction parameters in detector-array imaging
CN101718940A (zh) * 2009-11-17 2010-06-02 武汉光迅科技股份有限公司 实现掺铒光纤放大器快速收敛的控制装置及控制方法
JP2018097407A (ja) * 2016-12-08 2018-06-21 日本電信電話株式会社 摂動学習装置とその方法
CN108307153A (zh) * 2017-01-13 2018-07-20 佳能株式会社 视频监视装置及其控制方法、存储介质和视频监视系统
CN109186657A (zh) * 2018-09-26 2019-01-11 Oppo广东移动通信有限公司 接近传感器参数校准方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
US20220132027A1 (en) 2022-04-28
JPWO2020161799A1 (ja) 2021-11-25
EP3923566A1 (en) 2021-12-15
JP7251558B2 (ja) 2023-04-04
WO2020161799A1 (ja) 2020-08-13
EP3923566A4 (en) 2022-03-23
CN113491105B (zh) 2023-09-12
US11825185B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
US9344690B2 (en) Image demosaicing
CN103139469B (zh) 利用多分辨率过程生成鲁棒深度图的系统和方法
CN103688537A (zh) 自动自适应图像锐化
Akpinar et al. Learning wavefront coding for extended depth of field imaging
US20210342632A1 (en) Image processing method and apparatus, electronic device, and storage medium
US20210358081A1 (en) Information processing apparatus, control method thereof, imaging device, and storage medium
US11176654B2 (en) Quality assessment of a video
CN106507065B (zh) 拍摄装置、拍摄系统、图像生成装置及滤色器
CN109377532A (zh) 基于神经网络的图像处理方法及装置
US20230196512A1 (en) Learning method, high resolution processing method, learning apparatus and computer program
JP7106486B2 (ja) 学習装置、学習方法、プログラムおよび情報処理システム
CN113491105B (zh) 学习设备、学习方法、存储有控制程序的非暂时性计算机可读介质、以及估计设备
CN117037258B (zh) 面部图像的检测方法、装置、存储介质及电子设备
KR20200125491A (ko) 학습 방법, 관리 장치 및 관리 프로그램
CN111971951B (zh) 运算装置、运算方法、可移动介质和鉴别系统
CN116399259A (zh) 一种基于结构光三维测量的Gamma校正方法及系统
US9210386B2 (en) Filter setup learning for binary sensor
US11586703B2 (en) Feature transformation apparatus and method, and recording medium
WO2020161812A1 (ja) フィルタ学習装置、フィルタ学習方法、及び非一時的なコンピュータ可読媒体
Marinică et al. State feedback control with quadratic output for wavefront correction in adaptive optics
US20240144432A1 (en) Image processing apparatus, image processing method, and storage medium
JP2019121972A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
EP4386628A1 (en) Automated progressive tuning of machine-learning model for fault localization in overhead transmission line
JPH08263660A (ja) 信号認識方法、信号認識装置、信号認識装置の学習方法及び信号認識装置の学習装置
CN114586330B (zh) 颜色恒常性的多假设分类

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant