CN113491105B - 学习设备、学习方法、存储有控制程序的非暂时性计算机可读介质、以及估计设备 - Google Patents
学习设备、学习方法、存储有控制程序的非暂时性计算机可读介质、以及估计设备 Download PDFInfo
- Publication number
- CN113491105B CN113491105B CN201980093446.4A CN201980093446A CN113491105B CN 113491105 B CN113491105 B CN 113491105B CN 201980093446 A CN201980093446 A CN 201980093446A CN 113491105 B CN113491105 B CN 113491105B
- Authority
- CN
- China
- Prior art keywords
- learning
- configuration
- light
- parameter
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 24
- 230000003287 optical effect Effects 0.000 claims abstract description 158
- 238000006243 chemical reaction Methods 0.000 claims abstract description 86
- 239000004973 liquid crystal related substance Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 210000002858 crystal cell Anatomy 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000013041 optical simulation Methods 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Electromagnetism (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Optical Communication System (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Abstract
在学习设备(10)中,光学转换单元(11)接收来自学习对象的光,并且使用所接收的光以根据参数的配置值来输出光。感测单元(13)感测从光学转换单元(11)所输出的光。估计单元(15A)基于由感测单元(13)感测到的光来形成对配置问题的答案的估计结果。更新单元(15B)基于估计单元(15A)的估计结果来计算光学转换单元(11)的参数的更新值,并用计算出的更新值来更新光学转换单元(11)的参数的配置值。光学转换单元(11)包括相互独立地设定参数的配置值的多个光学器件。
Description
技术领域
本公开涉及一种学习设备、一种学习方法、一种其上存储有控制程序的非暂时性计算机可读介质以及一种估计设备。
背景技术
已经提出了估计对各种配置问题的答案的估计设备(例如,专利文献1)。专利文献1中公开的设备的配置问题是获取光场。具体而言,专利文献1中公开的光场获取设备基于通过比较从图像信号恢复的恢复光场数据与基准光场数据而获得的评估值来控制编码孔径部分(即,光学转换单元)的编码孔径形状的设定。这就允许专利文献1中公开的光场获取设备能够以高分辨率获取数据量小于图像元素的像素数的场景的光场。
引文清单
专利文献
[专利文献1]日本未审查专利申请公开No.2016-157999
发明内容
技术问题
本发明人已发现,通过在光学转换单元中包括相互独立地设定参数的配置值的多个光学器件,可以实现能够更准确地估计配置问题的答案的估计设备。本发明人提出了一种学习设备,其学习多个光学器件中设定的参数的配置值。
本公开的目的在于提供一种学习设备和学习方法,其能够学习能够更准确地估计配置问题的答案的估计设备中的多个光学器件中所设定的参数的配置值,并且提供一种其上存储有控制程序的非暂时性计算机可读介质和估计设备。
问题解决方案
根据第一方面的学习设备包括:
光学转换装置,用于接收来自学习对象的光,并且使用所接收的光以根据参数的配置值来输出光;
感测装置,用于感测从光学转换装置所输出的光;
估计装置,用于基于感测到的光来形成对配置问题的答案的估计结果;以及
更新装置,用于基于估计设备的估计结果来计算参数的更新值,并用计算出的更新值来更新参数的配置值,
其中,光学转换装置包括其中参数的配置值是被相互独立地设定的多个光学器件。
根据第二方面的估计设备包括:
光学转换装置,用于使用所输入的光以根据参数的配置值来输出光;
感测装置,用于感测从光学转换装置所输出的光;以及
估计装置,用于基于感测到的光来形成对配置问题的答案的估计结果,
其中,光学转换装置包括其中参数的配置值是被相互独立地设定的多个光学器件。
根据第三方面的学习方法包括:
基于从接收来自学习对象的光且包括多个光学器件的光学转换装置所输出的、并且根据在光学转换装置中所设定的参数的配置值的光,形成对配置问题的答案的估计结果;
基于估计结果来计算参数的更新值;以及
使用计算出的更新值来更新参数的配置值。
根据第四方面的非暂时性计算机可读介质存储控制程序,该控制程序被配置为促使学习设备执行以下过程:
基于从接收来自学习对象的光且包括多个光学器件的光学转换装置所输出的、并且根据在光学转换装置中所设定的参数的配置值的光,形成对配置问题的答案的估计结果;
基于估计结果来计算参数的更新值;以及
使用计算出的更新值来更新参数的配置值。
发明有益效果
根据本公开,可以提供学习设备和学习方法,其能够学习能够更准确地估计配置问题的答案的估计设备中的多个光学器件中所设定的参数的配置值,并且可以提供上述其上存储有控制程序且具有估计设备的非暂时性计算机可读介质。
附图说明
图1是示出第一示例实施例中的学习设备示例的框图。
图2是示出第二示例实施例中的学习设备示例的框图。
图3是示出第二示例实施例中的学习设备的处理操作示例的流程图。
图4是示出第三示例实施例中的学习设备示例的框图。
图5是示出第四示例实施例中的估计设备示例的框图。
图6是示出控制设备的硬件配置示例的示图。
具体实施方式
下面将参考附图来描述示例实施例。在示例实施例中,为相同或等同的元素指配相同的附图标记,并省略赘述。
<第一示例实施例>
图1是示出第一示例实施例中的学习设备示例的框图。在图1中,学习设备10包括光学转换单元11、感测单元13和控制单元(控制设备)15。
光学转换单元11接收(输入)来自学习对象(例如,学习图像)的光,并根据参数的配置值使用所接收(输入)的光来输出光。例如,光学转换单元11包括相互独立地设定参数的配置值的光学器件12-1至12-N(N是2或更多的自然数)。下面,当光学器件12-1至12-N不彼此作区分时,可以将光学器件12-1至12-N统称为光学器件12。光学器件12-1至12-N可以是彼此相同类型的光学器件,或者可以包括多种类型的光学器件。例如,光学转换单元11执行以下中的至少一个作为对接收(输入)光的处理:衰减处理、放大处理、聚光处理、扩散处理、光波强化与合成处理、莫尔条纹生成处理、立体处理、以及偏振提取处理。
感测单元13感测从光学转换单元11所输出的光。感测单元13例如是图像传感器。即,感测单元13将感测到的光学转换成电信号并将所获得的电信号输出到控制单元15。应当指出,在图1中,光学转换单元11和感测单元13通过虚线相互连接,并且虚线表示光路。
控制单元15包括估计单元15A和更新单元15B。
估计单元15A基于由感测单元13感测到的光来形成对配置问题的答案的估计结果。配置问题例如是图像识别、物体检测、分割、异常检测、图像生成、图像转换、图像压缩、光场生成或三维图像生成。即,估计单元15A是根据配置问题执行图像分析处理的功能单元。例如,当配置问题是识别红色对象时,如果学习图像包括红色对象的图像,则估计单元15A形成并输出“1”作为估计结果,而如果学习图像不包括红色对象的图像,则估计单元15A形成并输出“0”作为估计结果。此外,例如,当配置问题是生成光场时,估计单元15A形成并输出光场作为估计结果。
更新单元15B基于估计单元15A的估计结果来计算光学转换单元11的参数的更新值,并用计算出的更新值来更新光学转换单元11的参数的配置值。
如上所述,根据第一示例实施例,在学习设备10中,光学转换单元11接收(输入)来自学习对象的光,并根据参数的配置值使用所接收(输入)的光来输出光。感测单元13感测从光学转换单元11所输出的光。估计单元15A基于由感测单元13感测到的光来形成对配置问题的答案的估计结果。更新单元15B基于估计单元15A的估计结果来计算光学转换单元11的参数的更新值,并用计算出的更新值来更新光学转换单元11的参数的配置值。光学转换单元11包括相互独立地设定参数的配置值的光学器件12-1至12-N(N是2或更多的自然数)。
通过学习设备10的配置,可以学习包括与光学器件12-1至12-N(N为2或更多的自然数)相同的多个光学器件、感测单元和估计单元的估计设备(未示出)中的多个光学器件中设定的参数的配置值。由于估计设备(未图示)能够将包含更多信息的光用于通过多个光学器件的估计处理,与光学器件的数目为一个的情况相比,估计设备(未示出)能够更准确地估计配置问题的答案。即,根据学习设备10,可以学习在能够更准确地估计配置问题的答案的估计设备中的多个光学器件中所设定的参数的配置值。应当指出,在估计设备(未示出)中,硬件神经网络能够由多个光学器件来实现。因此,能够减少估计设备(未示出)的估计单元的计算量,故该估计设备(未示出)也能应用于处理能力较差的边缘终端。
<第二示例实施例>
第二示例实施例涉及更具体的示例实施例。
<学习设备的配置例>
图2是示出第二示例实施例中的学习设备示例的框图。在图2中,学习设备20包括光学转换单元11、感测单元13、显示单元21和控制单元(控制设备)22。控制单元22包括估计单元22A、更新单元22B和学习控制单元22C。
显示单元21在学习控制单元22C的控制下显示学习图像。这就促使对应于学习图像的光被输入到光学转换单元11。应当指出,在图2中,显示单元21和光学转换单元11通过虚线相互连接,并且该虚线表示光路。
光学转换单元11包括如第一示例实施例中所述的光学器件12-1至12-N(N是2或更多的自然数)。这里,作为示例,光学器件12-1至12-N包括液晶器件,并且将在假设光学器件12-1是液晶器件的情况下予以描述。
光学器件12-1例如包括第一偏振片、偏振方向从第一偏振片的偏振方向旋转90°的第二偏振片、滤色器以及夹置于第一偏振片与第二偏光片之间的液晶单元。通过控制施加于液晶单元的电信号(即,参数的配置值),例如能够控制液晶单元的透光率。该控制能够在液晶单元的逐像素基础上执行控制。即,液晶器件能够输出光,其中在逐像素基础上强调根据参数的配置值的光学特性。
替代地,光学器件12-1具有液晶单元。通过控制施加于液晶单元的电信号(即,参数的配置值),可以控制液晶单元中液晶的螺旋结构,可以控制选择性反射的光的波长。该控制能够在液晶单元的逐像素基础上执行控制。即,液晶器件能够输出光,其中在逐像素基础上强调根据参数的配置值的光学特性。
在光学器件12中,例如,作为液晶器件的附加或作为液晶器件的替代,可以使用液体透镜、可变形镜、微通道板型光电倍增管等。液体透镜是一种能够通过电信号调节焦距的器件。可变形镜是一种能够通过电信号控制反射方向的器件。微通道板型光电倍增管是一种在器件内部将入射光学转换成电子并在内部放大电子以输出比入射光更强光的器件。
学习控制单元22C控制对光学转换单元11中参数的配置值的学习。例如,学习控制单元22C切换在显示单元21上显示的学习图像。在对光学转换单元11中参数的配置值的学习处理中,学习控制单元22C可以使用通过光学模拟所获得的参数值作为参数的初始值。这就允许对通过要执行的光学模拟所获得的参数的配置值执行微调。在此情况下,例如,学习控制单元22C可以使用通过对光学器件12-1至12-N中的每一个建模所获得的光学模型来进行模拟,通过误差反向传播法计算梯度,并优化光学模型的参数。该参数值用作上述初始值。应当指出,当估计单元22A包括神经网络时,学习控制单元22C可以控制神经网络的学习。
正如第一示例实施例的估计单元15A,估计单元22A基于由感测单元13感测到的光来形成对配置问题的答案的估计结果。估计单元22A例如包括神经网络。
更新单元22B使用与估计单元22A的估计结果与正确答案之间的误差相关的目标函数来计算梯度。然后,更新单元22B基于计算出的梯度来计算参数的更新值,并用计算出的更新值来更新光学转换单元11的参数的配置值。更新单元22B可以更新估计单元22A中所包括的神经网络的参数(权重或偏差)。对于估计单元22A中所包括的神经网络的参数(权重或偏差)的更新处理中的梯度计算,能够使用在神经网络的学习中所使用的误差反向传播法。
因为光学转换单元11中的光输入/输出现象发生在控制单元22(即,计算机)之外,无法使用在神经网络的学习中所使用的误差反向传播法。因此,更新单元22B使用随机数来形成扰动向量,并使用与在估计单元22A的估计结果与正确答案之间的误差相关的目标函数和所形成的扰动向量来计算梯度。然后,更新单元22B基于计算出的梯度来计算参数的更新值,并用计算出的更新值来更新光学转换单元11的参数的配置值。
在该梯度计算中,参数向量用“p”表示,且其随机数扰动向量用“e”表示。当光学转换单元11的整个神经网络为f(x,p)时,更新单元22B针对输入图像批次x计算f(x,p)和f(x,p+e)。在一般的梯度计算中,因为梯度是通过对参数向量p的每个元素的标量值pi独立执行计算而获得,因此需要与参数的元素数相同的运算次数。另一方面,在随机数扰动的计算中,因为扰动e是通过向量来计算,因此运算次数仅为2次。相反,更新单元22B用随机数来生成扰动向量e。例如,更新单元22B使用伯努利分布来计算随机数。结果,扰动向量e的每个元素均取值为-1或1。更新单元22B能够通过将“e”乘以超参数a来控制梯度计算的差分宽度。对于随机数,可以在每次迭代中使用相同的随机数,也可以在每次迭代中使用不同的随机数。随机数扰动不仅能够应用于向量,而且能够应用于矩阵和三层或更多层的张量。对于梯度的更新,例如可以使用随机梯度下降法、Adam等。对于随机数的计算,除了伯努利分布之外,还可以使用以0为平均值的均匀分布或高斯分布。
<学习设备的操作例>
现将描述具有上述配置的学习设备20的处理操作的示例。图3是示出第二示例实施例中的学习设备的处理操作示例的流程图。
学习控制单元22C针对光学转换单元11设定参数的初始值(步骤S101)。如上所述,通过光学模拟所获得的参数值可以用作参数的初始值。
学习控制单元22C促使显示单元21显示学习图像(步骤S102)。这就使得对应于学习图像的光被输入到光学转换单元11。
光学转换单元11接收(输入)来自学习图像的光,并根据参数的配置值使用所接收(输入)的光来输出光(步骤S103)。
感测单元13感测从光学转换单元11所输出的光(步骤S104)。
估计单元15A基于由感测单元13感测到的光来形成对配置问题的答案的估计结果(步骤S105)。
更新单元22B使用与在估计单元22A的估计结果与正确答案之间的误差相关的目标函数来计算梯度(步骤S106)。
学习控制单元22C判定是否满足结束条件(步骤S107)。例如,如果更新单元22B本次计算的梯度的符号与上次计算的梯度的符号不同,则可视为达到目标函数的最小值(或局部最小值),故学习控制单元22C判定满足结束条件。当满足结束条件时(步骤S107是),处理流程结束。
当不满足结束条件时(步骤S107否),学习控制单元22C促使更新单元22B基于计算出的梯度来计算参数的更新值,并用计算出的更新值来更新光学转换单元11的参数的配置值(步骤S108)。
学习控制单元22C切换学习图像并促使显示单元21显示切换后的图像(步骤S109)。
应当指出,在上文描述中,在对每单个图像进行学习的前提下予以描述,但不限于此,并可以执行批量学习或小批量学习。
<第三示例实施例>
在上述第二示例性实施例中,已经在使所有光学器件12-1至12-N在一定时成为参数更新对象器件的前提下予以描述。另一方面,第三示例实施例涉及在光学器件12-1至12-N当中顺序地切换更新对象器件的示例实施例。
图4是示出第三示例实施例中的学习设备示例的框图。在图4中,学习设备30包括控制单元(控制设备)31。控制单元31包括更新单元31A和学习控制单元31B。
学习控制单元31B在光学器件12-1至12-N当中顺序地切换更新对象器件,根据更新对象器件的切换来切换在显示单元21上显示的学习图像,并促使更新单元31A针对每个更新对象器件更新参数的配置值。
这里,假设所有光学器件12-1到12-N皆为液晶器件。然后,学习控制单元31B从光学器件12-1至12-N当中选择更新对象器件。学习控制单元31B将更新对象器件以外的光学器件12-1至12-N的参数的配置值设定为最大透光率。然后,学习控制单元31B促使更新单元31A通过误差反向传播法使用与在估计单元22A的估计结果与正确答案之间的误差相关的目标函数来计算更新对象器件的梯度。这里,更新目标器件以外的光学器件12的参数的配置值被设定为最大透光率,因此能够认为从光学转换单元11输出的光不受更新对象器件以外的光学器件12影响。因而,由于能够量化更新对象器件的输入和输出,能够使用误差反向传播法来计算梯度。学习控制单元31B优化一个更新对象器件的参数,然后切换更新对象器件,并推进对切换后的更新对象器件的参数的学习。即,这里以优化堆叠自动编码器的方式学习光学器件12-1至12-N的参数。
应当指出,学习控制单元31B可以推进对一个更新对象器件的批量学习,当批量学习完成时,随机选择尚未学习的光学器件12作为下一个更新对象器件,并推进对所选择的更新对象器件的学习。
<第四示例实施例>
第四示例实施例涉及一种估计设备,其中设定由第一示例实施例至第三示例实施例中描述的学习设备学习的参数值。
图5是示出第四示例实施例中的估计设备示例的框图。在图5中,估计设备50包括光学转换单元51、感测单元53、控制单元(控制设备)55和获取单元57。
光学转换单元51根据参数的配置值使用所接收(输入)的光来输出光。光学转换单元51包括相互独立地设定参数的配置值的光学器件52-1至52-N(N是2或更多的自然数)。光学器件52-1至52-N分别对应于第一示例实施例至第三示例实施例的光学器件12-1至12-N,并且由学习设备10、20或30学习的参数值被设定。即,光学转换单元51具有如第一示例实施例至第三示例实施例的光学转换单元11中的配置。
感测单元53感测从光学转换单元51所输出的光。即,感测单元53具有如第一示例实施例至第三示例实施例的感测单元13中的配置。
控制单元55包括估计单元55A和设定单元55B。
估计单元55A基于由感测单元53感测到的光来形成对配置问题的答案的估计结果。即,估计单元55A具有与第一示例实施例至第三示例实施例的估计单元15A和22A相同的配置。
设定单元55B针对光学转换单元51的光学器件52-1至52-N设定由获取单元57获取的参数值。
获取单元57获取由学习设备10、20或30学习的参数值。获取单元57可以是通过有线通信或无线通信从学习设备10、20或30获取参数值的通信单元。替代地,获取单元57可以是连接估计设备50与学习设备10、20或30的线缆所连接到的接口单元。通过获取单元57获取由学习设备10、20或30学习的参数值,例如能够下载待针对光学器件52-1至52-N设定的参数值。本实施例中的光学器件处于计算机之外,因此在器件出厂时就设定了参数值,并且能够禁止在边缘终端直接访问该参数。这样就不可能入侵边缘终端的参数。
如上所述,根据第四示例实施例,在估计设备50中,光学转换单元51根据参数的配置值使用所接收(输入)的光来输出光。感测单元53感测从光学转换单元51所输出的光。估计单元55A基于由感测单元53感测到的光来形成对配置问题的答案的估计结果。光学转换单元51包括相互独立地设定参数的配置值的光学器件52-1至52-N(N是2或更多的自然数)。
在估计设备50的配置中,光学转换单元51包括相互独立地设定参数的配置值的光学器件52-1至52-N,因此与存在一个光学器件的情况相比,包含更多信息的光可用于多个光学器件的估计处理。结果,估计设备50能够更准确地估计配置问题的答案。因为能够通过光学器件52-1至52-N来实现硬件神经网络,能够减少估计单元55A的计算量。这样即可将估计设备50应用于处理能力较差的边缘终端。
<其他示例实施例>
<1>第一示例实施例至第四示例实施例的光学转换单元11和51可以在感测单元13和53的曝光时间内将参数的配置值从第一配置值切换到第二配置值。例如,在感测单元13的曝光时间内,光学转换单元11在针对全部光学器件12-1至12-N设定由更新单元15B、22B或31A更新的参数值的状态与将光学器件12-1至12-N中的一些光学器件的参数值切换到最大透光率的状态之间进行切换。这允许感测单元13表达两种状态下的图像相加的图像。即,能够通过该操作来表达神经网络中的相加层。替代地,代替相加,上述两种状态下的图像可以并排布置在感测单元13中。这允许表达神经网络中的连接层。根据这样的方法,即可在U-Net等中使用跳跃连接。这同样适用于光学转换单元51和感测单元53。
<2>图6是示出控制设备的硬件配置示例的示图。在图6中,控制设备100包括处理器101和存储器102。处理器101可以例如是微处理器、MPU(微处理单元)或CPU(中央处理单元)。处理器101可以包括多个处理器。存储器102由易失性存储器和非易失性存储器的组合组成。存储器102可以包括远离处理器101设置的存储。在此情况下,处理器101可以经由I/O接口(未示出)访问存储器102。
第一示例实施例至第四示例实施例的控制设备(控制单元)15、22、31和55能够各自具有图6所示的硬件配置。第一示例实施例至第四示例实施例的控制设备15、22、31和55的估计单元15A、22A和55A、更新单元15B、22B和31A、学习控制单元22C和31B以及设定单元55B可以通过处理器101读取并执行存储器102中存储的程序来实现。该程序能够使用各种类型的非暂时性计算机可读介质来存储并提供给控制设备15、22、31和55。非暂时性计算机可读介质的示例包括磁记录介质(例如,软盘、磁带和硬盘驱动器)和磁光记录介质(例如,磁光盘)。另外,非暂时性计算机可读介质的示例包括CD-ROM(只读存储器)、CD-R和CD-R/W。另外,非暂时性计算机可读介质的示例包括半导体存储器。半导体存储器例如包括掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪速ROM和RAM(随机存取存储器)。程序可以通过各种类型的暂时性计算机可读介质提供给控制设备15、22、31和55。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质能够经由诸如电线和光纤的有线通信路径或无线通信路径将程序提供给控制设备15、22、31和55。
尽管上文已经参照示例实施例描述了本申请的发明,但本申请的发明不限于上述。在本发明的范围内,能够对本发明的配置和细节作出本领域技术人员能够理解的各种变更。
部分或全部上述示例实施例可描述为以下附注,但不限于以下附注。
(附注1)
一种学习设备,包括:
光学转换装置,用于接收来自学习对象的光,并且使用所接收的光以根据参数的配置值来输出光;
感测装置,用于感测从所述光学转换装置所输出的光;
估计装置,用于基于感测到的光来形成对配置问题的答案的估计结果;以及
更新装置,用于基于所述估计设备的估计结果来计算所述参数的更新值,并用计算出的更新值来更新所述参数的配置值,
其中,所述光学转换装置包括其中所述参数的配置值是被相互独立地设定的多个光学器件。
(附注2)
根据附注1所述的学习设备,进一步包括学习控制装置,用于在所述多个光学器件当中顺序地切换更新对象器件,根据所述更新对象器件的切换来切换所述学习对象,并促使所述更新装置针对每个更新对象器件更新所述参数的配置值。
(附注3)
根据附注2所述的学习设备,其中,所述学习控制装置控制每个更新对象器件的批量学习,并从所述多个光学器件中随机选择所述更新对象器件。
(附注4)
根据附注2或3所述的学习设备,其中,所述更新装置使用与在所述估计装置的估计结果与正确答案之间的误差相关的目标函数来通过误差反向传播法计算梯度,基于计算出的梯度来计算所述参数的更新值,并用计算出的更新值来更新所述参数的配置值。
(附注5)
根据附注1所述的学习设备,其中,所述更新装置使用随机数来形成扰动,使用与在所述估计装置的估计结果与正确答案之间的误差相关的目标函数和所形成的扰动来计算梯度,基于计算出的梯度来计算所述参数的更新值,并用计算出的更新值来更新所述参数的配置值。
(附注6)
根据附注1至5中任一项所述的学习设备,其中,
所述多个光学器件包括液晶器件,且
所述更新装置在所述液晶器件的逐像素基础上更新所述参数的配置值。
(附注7)
根据附注6所述的学习设备,其中,所述液晶器件输出光,在所述光中在逐像素基础上强调根据所述参数的配置值的光学特性。
(附注8)
根据附注1至7中任一项所述的学习设备,其中,所述光学转换装置在所述感测装置的曝光时间内将所述参数的配置值从第一配置值切换到第二配置值。
(附注9)
根据附注1至8中任一项所述的学习设备,其中,
所述估计装置包括神经网络,且
所述更新装置进一步更新所述神经网络的参数。
(附注10)
根据附注1至9中任一项所述的学习设备,其中,使用通过光学模拟所获得的参数值作为在学习处理中所述参数的配置值的初始值。
(附注11)
根据附注1至10中任一项所述的学习设备,其中,所述光学转换装置执行以下中的至少一种作为对接收光的处理:衰减处理、放大处理、聚光处理、扩散处理、光波强化与合成处理、莫尔条纹生成处理、立体处理、以及偏振提取处理。
(附注12)
根据附注1至11中任一项所述的学习设备,其中,所述配置问题为图像识别、物体检测、分割、异常检测、图像生成、图像转换、图像压缩、光场生成或三维图像生成。
(附注13)
一种估计设备,包括:
光学转换装置,用于使用所接收的光以根据参数的配置值来输出光;
感测装置,用于感测从所述光学转换装置所输出的光;以及
估计装置,用于基于感测到的光来形成对配置问题的答案的估计结果,
其中,所述光学转换装置包括所述参数的配置值是被相互独立地设定的多个光学器件。
(附注14)
一种学习方法,包括:
基于从接收来自学习对象的光且包括多个光学器件的光学转换装置所输出的、并且根据在所述光学转换装置中所设定的参数的配置值的光,形成对配置问题的答案的估计结果;
基于所述估计结果来计算所述参数的更新值;以及
使用计算出的更新值来更新所述参数的配置值。
(附注15)
一种非暂时性计算机可读介质,其存储控制程序,所述控制程序被配置为促使学习设备执行以下过程:
基于从接收来自学习对象的光且包括多个光学器件的光学转换装置所输出的、并且根据在所述光学转换装置中所设定的参数的配置值的光,形成对配置问题的答案的估计结果;
基于所述估计结果来计算所述参数的更新值;以及
使用计算出的更新值来更新所述参数的配置值。
附图标记列表
10 学习设备
11 光学转换单元
12 光学器件
13 感测单元
15 控制单元(控制设备)
15A 估计单元
15B 更新单元
20 学习设备
21 显示单元
22 控制单元(控制设备)
22A 估计单元
22B 更新单元
22C 学习控制单元
30 学习设备
31 控制单元(控制设备)
31A 更新单元
31B 学习控制单元
50 估计设备
51 光学转换单元
53 感测单元
55 控制单元(控制设备)
55A 估计单元
55B 设定单元
57 获取单元
Claims (8)
1.一种学习设备,包括:
光学转换装置,用于接收来自学习对象的光,并且使用所接收的光以根据参数的配置值来输出光;
感测装置,用于感测从所述光学转换装置所输出的光;
估计装置,用于基于感测到的光来形成对配置问题的答案的估计结果,所述配置问题是图像识别、物体检测、分割、异常检测、图像生成、图像转换、图像压缩、光场生成、或三维图像生成;以及
更新装置,用于基于所述估计装置的所述估计结果来计算所述参数的更新值,并且以所计算的更新值来更新所述参数的所述配置值,
其中,所述光学转换装置包括多个光学器件,在所述多个光学器件中,所述参数的所述配置值是被相互独立地设定的,并且
所述光学转换装置在所述感测装置的曝光时间内将所述参数的所述配置值从第一配置值切换到第二配置值。
2.根据权利要求1所述的学习设备,进一步包括:
学习控制装置,用于在所述多个光学器件当中顺序地切换更新对象器件,根据所述更新对象器件的切换来切换所述学习对象,并且促使所述更新装置以针对每个更新对象器件来更新所述参数的所述配置值。
3.根据权利要求2所述的学习设备,其中,
所述学习控制装置控制针对每个更新对象器件的批量学习,并且从所述多个光学器件中随机地选择所述更新对象器件。
4.根据权利要求2或3所述的学习设备,其中,
所述更新装置使用与在所述估计装置的所述估计结果与正确答案之间的误差相关的目标函数来通过误差反向传播法计算梯度,基于所计算的梯度来计算所述参数的更新值,并且以所计算的更新值来更新所述参数的所述配置值。
5.根据权利要求1所述的学习设备,其中,
所述更新装置使用随机数来形成扰动,使用与在所述估计装置的所述估计结果与正确答案之间的误差相关的目标函数和所形成的扰动来计算梯度,基于所计算的梯度来计算所述参数的更新值,并且以所计算的更新值来更新所述参数的所述配置值。
6.根据权利要求1至3中任一项所述的学习设备,其中,
所述多个光学器件包括液晶器件,并且
所述更新装置在所述液晶器件的逐像素基础上更新所述参数的所述配置值。
7.根据权利要求6所述的学习设备,其中,
所述液晶器件输出其中在逐像素基础上强调根据所述参数的所述配置值的光学特性的光。
8.一种学习方法,包括:
基于感测到的光形成对配置问题的答案的估计结果,其中,所述感测到的光是从光学转换装置输出的并且由感测装置感测的光,所述光学转换装置接收来自学习对象的光且包括多个光学器件,并且根据在所述光学转换装置中所设定的参数的配置值来输出光,其中,所述配置问题是图像识别、物体检测、分割、异常检测、图像生成、图像转换、图像压缩、光场生成、或三维图像生成;
基于所述估计结果来计算所述参数的更新值;以及
以所计算的更新值来更新所述参数的所述配置值,其中
所述光学转换装置在所述感测装置的曝光时间内将所述参数的所述配置值从第一配置值切换到第二配置值。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/004045 WO2020161799A1 (ja) | 2019-02-05 | 2019-02-05 | 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113491105A CN113491105A (zh) | 2021-10-08 |
CN113491105B true CN113491105B (zh) | 2023-09-12 |
Family
ID=71948159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980093446.4A Active CN113491105B (zh) | 2019-02-05 | 2019-02-05 | 学习设备、学习方法、存储有控制程序的非暂时性计算机可读介质、以及估计设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11825185B2 (zh) |
EP (1) | EP3923566A4 (zh) |
JP (1) | JP7251558B2 (zh) |
CN (1) | CN113491105B (zh) |
WO (1) | WO2020161799A1 (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101718940A (zh) * | 2009-11-17 | 2010-06-02 | 武汉光迅科技股份有限公司 | 实现掺铒光纤放大器快速收敛的控制装置及控制方法 |
JP2018097407A (ja) * | 2016-12-08 | 2018-06-21 | 日本電信電話株式会社 | 摂動学習装置とその方法 |
CN108307153A (zh) * | 2017-01-13 | 2018-07-20 | 佳能株式会社 | 视频监视装置及其控制方法、存储介质和视频监视系统 |
CN109186657A (zh) * | 2018-09-26 | 2019-01-11 | Oppo广东移动通信有限公司 | 接近传感器参数校准方法、装置、终端设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3297737B2 (ja) * | 2000-02-16 | 2002-07-02 | 埼玉大学長 | 分光画像撮像装置 |
US7294817B2 (en) | 2004-05-06 | 2007-11-13 | Siemens Power Generation, Inc. | System and methods for determining nonuniformity correction parameters in detector-array imaging |
JP4413261B2 (ja) * | 2008-01-10 | 2010-02-10 | シャープ株式会社 | 撮像装置及び光軸制御方法 |
JP6230161B2 (ja) | 2015-02-23 | 2017-11-15 | 日本電信電話株式会社 | ライトフィールド取得装置及びライトフィールド取得方法 |
US10176554B2 (en) * | 2015-10-05 | 2019-01-08 | Google Llc | Camera calibration using synthetic images |
JP2017194498A (ja) | 2016-04-18 | 2017-10-26 | キヤノン株式会社 | 焦点検出装置およびその方法、撮像装置、プログラム、記憶媒体 |
-
2019
- 2019-02-05 EP EP19914303.3A patent/EP3923566A4/en not_active Withdrawn
- 2019-02-05 WO PCT/JP2019/004045 patent/WO2020161799A1/ja unknown
- 2019-02-05 JP JP2020570242A patent/JP7251558B2/ja active Active
- 2019-02-05 CN CN201980093446.4A patent/CN113491105B/zh active Active
- 2019-02-05 US US17/428,110 patent/US11825185B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101718940A (zh) * | 2009-11-17 | 2010-06-02 | 武汉光迅科技股份有限公司 | 实现掺铒光纤放大器快速收敛的控制装置及控制方法 |
JP2018097407A (ja) * | 2016-12-08 | 2018-06-21 | 日本電信電話株式会社 | 摂動学習装置とその方法 |
CN108307153A (zh) * | 2017-01-13 | 2018-07-20 | 佳能株式会社 | 视频监视装置及其控制方法、存储介质和视频监视系统 |
CN109186657A (zh) * | 2018-09-26 | 2019-01-11 | Oppo广东移动通信有限公司 | 接近传感器参数校准方法、装置、终端设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP3923566A4 (en) | 2022-03-23 |
EP3923566A1 (en) | 2021-12-15 |
US11825185B2 (en) | 2023-11-21 |
JP7251558B2 (ja) | 2023-04-04 |
US20220132027A1 (en) | 2022-04-28 |
WO2020161799A1 (ja) | 2020-08-13 |
CN113491105A (zh) | 2021-10-08 |
JPWO2020161799A1 (ja) | 2021-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101967089B1 (ko) | 컨볼루션 신경망 기반의 완전 기준 이미지 품질 평가 | |
US20150215590A1 (en) | Image demosaicing | |
CN103139469B (zh) | 利用多分辨率过程生成鲁棒深度图的系统和方法 | |
CN111062876B (zh) | 用于校正模型训练和图像校正的方法和装置及电子设备 | |
CN111986172A (zh) | 一种面向电力设备的红外图像故障检测方法及装置 | |
Akpinar et al. | Learning wavefront coding for extended depth of field imaging | |
KR20200125491A (ko) | 학습 방법, 관리 장치 및 관리 프로그램 | |
CN109377532A (zh) | 基于神经网络的图像处理方法及装置 | |
CN106507065B (zh) | 拍摄装置、拍摄系统、图像生成装置及滤色器 | |
JP7086878B2 (ja) | 学習装置、学習方法、プログラムおよび認識装置 | |
WO2021234797A1 (ja) | 学習方法、高分解能化方法、学習装置及びコンピュータープログラム | |
CN116399259A (zh) | 一种基于结构光三维测量的Gamma校正方法及系统 | |
CN113491105B (zh) | 学习设备、学习方法、存储有控制程序的非暂时性计算机可读介质、以及估计设备 | |
JP2023017091A (ja) | 推定装置、推定方法及びプログラム | |
JP2020177582A (ja) | 学習装置、学習方法、プログラムおよび認識装置 | |
KR20220154578A (ko) | 이미지 디노이징을 수행하는 이미지 프로세싱 장치 | |
CN116245965A (zh) | 基于物理模型的太赫兹单像素实时成像方法及系统 | |
CN114419327A (zh) | 图像检测方法和图像检测模型的训练方法、装置 | |
US20200145566A1 (en) | Image-processing apparatus and light-field imaging apparatus | |
EP2517172A1 (en) | Filter setup learning for binary sensor | |
CN115598740B (zh) | 气象预测方法、计算机可读存储介质以及计算机终端 | |
Chen et al. | A modified non-negative LMS algorithm and its stochastic behavior analysis | |
Marinică et al. | State feedback control with quadratic output for wavefront correction in adaptive optics | |
CN116931619B (zh) | 一种激光器的温度控制方法及系统 | |
EP4386628A1 (en) | Automated progressive tuning of machine-learning model for fault localization in overhead transmission line |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |