CN108805278A - 一种应用于深度学习的特征提取方法及系统 - Google Patents

一种应用于深度学习的特征提取方法及系统 Download PDF

Info

Publication number
CN108805278A
CN108805278A CN201810460811.8A CN201810460811A CN108805278A CN 108805278 A CN108805278 A CN 108805278A CN 201810460811 A CN201810460811 A CN 201810460811A CN 108805278 A CN108805278 A CN 108805278A
Authority
CN
China
Prior art keywords
feature extraction
converted
optical
waiting
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810460811.8A
Other languages
English (en)
Other versions
CN108805278B (zh
Inventor
周旭东
姚长呈
宋海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Idealsee Technology Co Ltd
Original Assignee
Chengdu Idealsee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Idealsee Technology Co Ltd filed Critical Chengdu Idealsee Technology Co Ltd
Priority to CN201810460811.8A priority Critical patent/CN108805278B/zh
Publication of CN108805278A publication Critical patent/CN108805278A/zh
Priority to PCT/CN2019/085836 priority patent/WO2019218895A1/zh
Application granted granted Critical
Publication of CN108805278B publication Critical patent/CN108805278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Liquid Crystal (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种应用于深度学习的特征提取方法，将待特征提取的数字信号通过显示技术转换为待特征提取的空域图像信息；将所述待特征提取的空域图像信息通过光学傅里叶变换装置转换为待特征提取的频谱图像信息；将所述待特征提取的频谱图像信息输入至其对应的光学滤波器，得到特征提取后的频谱图像信息。相应的，本发明还提供了对应的特征提取系统，将现有技术中时域上的卷积转换为频域上的点乘，有效减小深度学习计算量，且本发明实施例中傅里叶变换过程采用傅里叶变换透镜等相同功效的光学器件进行变换，其变换速度为光速，极大地缩减傅里叶变换的耗时，且通过光学方案实现频谱的点乘运算，该点乘运算速度也为光速，极大缩减频谱点乘耗时。

Description

一种应用于深度学习的特征提取方法及系统
技术领域
本发明涉及人工智能领域，尤其涉及一种应用于深度学习的特征提取方法及系统。
背景技术
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习中一种基于对数据进行表征学习的方法，在高速发展的科技环境中，其越来越多地被应用在人工智能、面部识别、虹膜识别等机器学习领域。人类也在不断探索在深度学习中如何更快地进行特征提取。
目前深度学习中卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成，卷积层用于提取技术特征，在深度学习卷积运算里，特征提取的基本原理是采用不同的滤波器与一组待特征提取的数据进行空域上的矩阵卷积运算。若待特征提取的数据为X,滤波器为Y，则特征提取后的信息则为但是，在矩阵卷积运算过程中计算复杂、计算量大、计算耗时长。因此，目前一般在计算机中将待特征提取的数据与滤波器进行傅里叶变换，从而将两组数据的空域/空域信息变换为频谱信息；相应地，空域/空域上的卷积运算便转换为频谱上的点乘运算，而点乘运算的计算量则会小很多。但即便进行傅里叶变换，也是在计算机的程序中完成，其变换时间也是由计算机性能及数据量决定。计算机性能越强，变换速度越快；数据量越大，变换速度越慢。如果要使深度学习计算能力提高，只有不断投入性能更强更多的计算机硬件，其成本高，效率低。
发明内容
本发明的目的是提供一种应用于深度学习的特征提取方法及系统，解决在有限计算机性能及数量的情况下，如何实现提升深度学习计算效率的问题。
为了实现上述发明目的，本发明提供了一种应用于深度学习的特征提取系统，包括：显示模组、光学傅里叶变换装置和光学滤波器，其中：所述显示模组用于将待特征提取的数字信号转换为待特征提取的空域图像信息；所述光学傅里叶变换装置用于将所述待特征提取的空域图像信息转换为待特征提取的频谱图像信息；所述光学滤波器用于将所述待特征提取的频谱图像信息转换为特征提取后的频谱图像信息。
优选的，所述光学滤波器不同区域光透过率不同。
优选的，所述光学滤波器为液晶光阀阵列或光刻透镜。
优选的，所述显示模组包括光纤扫描显示模组、OLED显示模组、LCD显示模组、LCoS显示模组和DLP显示模组中的一种。
优选的，所述系统还包括光学傅里叶逆变装置，用于将所述特征提取后的频谱图像信息转换为特征提取后的空域图像信息。
优选的，所述系统还包括光探测器，用于将所述特征提取后的空域图像信息转换为电信号。
优选的，所述光探测器包括CCD探测器、光电二极管、光子型探测器、光电倍增管中的一种。
优选的，所述光学傅里叶变换装置和光学傅里叶逆变装置均为傅里叶变换透镜。
相应的，本发明还提出一种应用于深度学习的特征提取方法，包括：将待特征提取的数字信号通过显示技术转换为待特征提取的空域图像信息；将所述待特征提取的空域图像信息通过光学傅里叶变换装置转换为待特征提取的频谱图像信息；将所述待特征提取的频谱图像信息输入至其对应的光学滤波器，得到特征提取后的频谱图像信息。
优选的，所述光学滤波器为液晶光阀阵列或光刻透镜，其不同区域光透过率不同。
与现有技术相比，本发明具有如下有益效果：
本发明将特征提取数字信号用显示技术变成空域信号，然后再用光学傅里叶变换装置将时域信号变成频域信号，然后通过光学方案实现频域点乘，实现特征提取，本发明可有效减小深度学习计算量，且部分运算转换为光计算后，这部分计算速度即变为光学，计算时间大幅缩小。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：
图1为本发明实施例应用于深度学习的特征提取系统的一种结构示意图；
图2为本发明实施例应用于深度学习的特征提取系统的另一种结构示意图；
图3为本发明实施例一种应用于深度学习的特征提取方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有深度学习的所有运算都是在计算机中通过运行程序所完成，即运算是全软件运算，本发明在现有技术深度学习的基础上，提出将计算机运算中的部分或全部运算通过本发明方案转换为光计算，实现提升深度学习计算效率。下面结合附图对本发明实施例进行详细介绍。
参见图1，为本发明实施例一种应用于深度学习的特征提取系统，包括：显示模组1、光学傅里叶变换装置2和光学滤波器3，其中：所述显示模组1用于将待特征提取的数字信号转换为待特征提取的空域图像信息，所述显示模组1可以为光纤扫描显示模组、OLED显示模组、LCD显示模组、LCoS显示模组或DLP显示模组等；所述光学傅里叶变换装置2用于将所述待特征提取的空域图像信息转换为待特征提取的频谱图像信息，空域图像信息照射在光学傅里叶变换装置的一端，光学傅里叶变换另一端便会输出其对应的频谱图像信息。所述光学滤波器3用于将所述待特征提取的频谱图像信息转换为特征提取后的频谱图像信息，所述光学滤波器3是基于数字滤波器制作的，数字滤波器的频谱所对应的一定透过率的光器件，将该光器件置于输入图像的频谱面上，即可在该频谱面上实现两者频谱的点乘运算，该运算是在光域上进行。
本发明实施例中，所述光学滤波器不同区域光透过率不同，所述光学滤波器可以为液晶光阀阵列或光刻透镜。光学滤波器的制作可采取如下方式：
1)将滤波器的数字信号转化为空域信号，再将该空域信号计算出其对应的频谱信号；2)将频谱信号对应的数字矩阵进行归一化得到归一化矩阵；3)根据归一化矩阵的每一个元素制作具有一定透过率的光器件，即在一个光器件上制作与归一化矩阵相同行列数的调制区域矩阵，其中归一化矩阵中元素的数值若为1，则对应位置的调制区域透过率为百分之百，元素的数值若为0.5，则对应位置的调制区域透过率为百分之五十，其他调制区域依据同理制作(透过率的设定和改变可通过液晶态的转换来实现)，若元素为负数，其对应相位变化，该相位变化通过调制区域的厚度来调制。
本发明实施例得到的特征提取后的频谱图像信息可直接用于后续特征提取，在另一些实施例中，也可以如图2所示，将其输入至光学傅里叶逆变装置，转换为特征提取后的空域图像信息。
在图2实施例中，所述系统还包括光探测器，用于将所述特征提取后的空域图像信息转换为电信号，用于后续分析、存储、使用等。所述光探测器可以为CCD探测器、光电二极管、光子型探测器或光电倍增管等。
在上述实施例中，所述光学傅里叶变换装置和光学傅里叶逆变装置均可以为傅里叶变换透镜或与傅里叶变换透镜具有相同功效的光学器件。
参见图3，为本发明实施例一种应用于深度学习的特征提取方法流程示意图，包括：将待特征提取的数字信号通过显示技术转换为待特征提取的空域图像信息；将所述待特征提取的空域图像信息通过光学傅里叶变换装置转换为待特征提取的频谱图像信息；将所述待特征提取的频谱图像信息输入至其对应的光学滤波器，得到特征提取后的频谱图像信息。其中，所述光学滤波器为液晶光阀阵列或光刻透镜，其不同区域光透过率不同，其制作可采取如下方式：
1)将滤波器的数字信号转化为空域信号，再将该空域信号计算出其对应的频谱信号；2)将频谱信号对应的数字矩阵进行归一化得到归一化矩阵；3)根据归一化矩阵的每一个元素制作具有一定透过率的光器件，即在一个光器件上制作与归一化矩阵相同行列数的调制区域矩阵，其中归一化矩阵中元素的数值若为1，则对应位置的调制区域透过率为百分之百，元素的数值若为0.5，则对应位置的调制区域透过率为百分之五十，其他调制区域依据同理制作(透过率的设定和改变可通过液晶态的转换来实现)，若元素为负数，其对应相位变化，该相位变化通过调制区域的厚度来调制。
现有计算中，深度学习中的特征提取需要将一组待特征提取的数字信号与滤波器的数字信号之间的卷积，本发明中将待特征提取的数字信号转换为光信号形式，将数字信号形式的滤波器制作为对应的光器件，此时光信号形式可简便地转换为频域，时域上的卷积等同于其对应频域上的点乘，时域上的卷积很复杂，频域点乘的运算会简单很多，因此本发明可有效减小深度学习计算量，且本发明实施例中傅里叶变换过程采用傅里叶变换透镜等相同功效的光学器件进行变换，其变换速度为光速，极大地缩减傅里叶变换的耗时，且通过光学方案实现频谱的点乘运算，该点乘运算速度也为光速，极大缩减频谱点乘耗时。
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种应用于深度学习的特征提取系统，其特征在于，包括：显示模组、光学傅里叶变换装置和光学滤波器，其中：
所述显示模组用于将待特征提取的数字信号转换为待特征提取的空域图像信息；
所述光学傅里叶变换装置用于将所述待特征提取的空域图像信息转换为待特征提取的频谱图像信息；
所述光学滤波器用于将所述待特征提取的频谱图像信息转换为特征提取后的频谱图像信息。
2.如权利要求1所述的特征提取系统，其特征在于，所述光学滤波器不同区域光透过率不同。
3.如权利要求2所述的特征提取系统，其特征在于，所述光学滤波器为液晶光阀阵列或光刻透镜。
4.如权利要求1至3任一项所述的特征提取系统，其特征在于，所述显示模组包括光纤扫描显示模组、OLED显示模组、LCD显示模组、LCoS显示模组和DLP显示模组中的一种。
5.如权利要求4所述的特征提取系统，其特征在于，所述系统还包括光学傅里叶逆变装置，用于将所述特征提取后的频谱图像信息转换为特征提取后的空域图像信息。
6.如权利要求5所述的特征提取系统，其特征在于，所述系统还包括光探测器，用于将所述特征提取后的空域图像信息转换为电信号。
7.如权利要求6所述的特征提取系统，其特征在于，所述光探测器包括CCD探测器、光电二极管、光子型探测器、光电倍增管中的一种。
8.如权利要求5所述的特征提取系统，其特征在于，所述光学傅里叶变换装置和光学傅里叶逆变装置均为傅里叶变换透镜。
9.一种应用于深度学习的特征提取方法，其特征在于，包括：
将待特征提取的数字信号通过显示技术转换为待特征提取的空域图像信息；
将所述待特征提取的空域图像信息通过光学傅里叶变换装置转换为待特征提取的频谱图像信息；
将所述待特征提取的频谱图像信息输入至其对应的光学滤波器，得到特征提取后的频谱图像信息。
10.如权利要求9所述的特征提取方法，其特征在于，所述光学滤波器为液晶光阀阵列或光刻透镜，其不同区域光透过率不同。
CN201810460811.8A 2018-05-15 2018-05-15 一种应用于深度学习的特征提取方法及系统 Active CN108805278B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810460811.8A CN108805278B (zh) 2018-05-15 2018-05-15 一种应用于深度学习的特征提取方法及系统
PCT/CN2019/085836 WO2019218895A1 (zh) 2018-05-15 2019-05-07 一种应用于深度学习的特征提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810460811.8A CN108805278B (zh) 2018-05-15 2018-05-15 一种应用于深度学习的特征提取方法及系统

Publications (2)

Publication Number Publication Date
CN108805278A true CN108805278A (zh) 2018-11-13
CN108805278B CN108805278B (zh) 2022-03-08

Family

ID=64092475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810460811.8A Active CN108805278B (zh) 2018-05-15 2018-05-15 一种应用于深度学习的特征提取方法及系统

Country Status (2)

Country Link
CN (1) CN108805278B (zh)
WO (1) WO2019218895A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309916A (zh) * 2019-06-05 2019-10-08 清华大学 多级空频域调制非线性全光学深度学习系统及方法
WO2019218895A1 (zh) * 2018-05-15 2019-11-21 成都理想境界科技有限公司 一种应用于深度学习的特征提取方法及系统
CN111325198A (zh) * 2018-12-13 2020-06-23 北京地平线机器人技术研发有限公司 视频对象特征提取方法和装置、视频对象匹配方法和装置
US11908483B2 (en) 2019-07-24 2024-02-20 Tencent Technology (Shenzhen) Company Limited Inter-channel feature extraction method, audio separation method and apparatus, and computing device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112444959B (zh) * 2020-11-20 2023-01-17 中电科思仪科技(安徽)有限公司 一种光纤图像虚影的处理装置及方法
CN113989746B (zh) * 2021-11-09 2024-06-11 国网浙江省电力有限公司信息通信分公司 一种场景中复杂事件的检测方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973976A (zh) * 2014-04-14 2014-08-06 杭州电子科技大学 一种利用光学成像的显著性提取装置及方法
CN105320495A (zh) * 2014-07-22 2016-02-10 英特尔公司 用于卷积神经网络的权重移位机制
CN205752093U (zh) * 2012-11-19 2016-11-30 魄金莱默保健科学有限公司 光学系统、光检测器、光电倍增器检测器及其系统
CN106709441A (zh) * 2016-12-16 2017-05-24 北京工业大学 一种基于卷积定理的人脸验证加速方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571919B (zh) * 2009-05-26 2011-08-31 重庆大学 基于光学非下采样轮廓波变换的人脸识别方法
CN203840438U (zh) * 2014-04-14 2014-09-17 杭州电子科技大学 一种利用光学成像的显著性提取装置
CN108805278B (zh) * 2018-05-15 2022-03-08 成都理想境界科技有限公司 一种应用于深度学习的特征提取方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205752093U (zh) * 2012-11-19 2016-11-30 魄金莱默保健科学有限公司 光学系统、光检测器、光电倍增器检测器及其系统
CN103973976A (zh) * 2014-04-14 2014-08-06 杭州电子科技大学 一种利用光学成像的显著性提取装置及方法
CN105320495A (zh) * 2014-07-22 2016-02-10 英特尔公司 用于卷积神经网络的权重移位机制
CN106709441A (zh) * 2016-12-16 2017-05-24 北京工业大学 一种基于卷积定理的人脸验证加速方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019218895A1 (zh) * 2018-05-15 2019-11-21 成都理想境界科技有限公司 一种应用于深度学习的特征提取方法及系统
CN111325198A (zh) * 2018-12-13 2020-06-23 北京地平线机器人技术研发有限公司 视频对象特征提取方法和装置、视频对象匹配方法和装置
CN111325198B (zh) * 2018-12-13 2023-05-16 北京地平线机器人技术研发有限公司 视频对象特征提取方法和装置、视频对象匹配方法和装置
CN110309916A (zh) * 2019-06-05 2019-10-08 清华大学 多级空频域调制非线性全光学深度学习系统及方法
CN110309916B (zh) * 2019-06-05 2021-09-17 清华大学 多级空频域调制非线性全光学深度学习系统及方法
US11600060B2 (en) 2019-06-05 2023-03-07 Tsinghua University Nonlinear all-optical deep-learning system and method with multistage space-frequency domain modulation
US11908483B2 (en) 2019-07-24 2024-02-20 Tencent Technology (Shenzhen) Company Limited Inter-channel feature extraction method, audio separation method and apparatus, and computing device

Also Published As

Publication number Publication date
WO2019218895A1 (zh) 2019-11-21
CN108805278B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN108805278A (zh) 一种应用于深度学习的特征提取方法及系统
Dou et al. Residual D 2 NN: training diffractive deep neural networks via learnable light shortcuts
CN111753977B (zh) 光学神经网络卷积层芯片、卷积计算方法和电子设备
CN111582435B (zh) 基于残差网络的衍射深度神经网络系统
Cheng et al. Photonic matrix computing: from fundamentals to applications
Raskatla et al. Speckle-based deep learning approach for classification of orbital angular momentum modes
CN103728809B (zh) 液晶透镜成像装置和液晶透镜成像方法
CN112180592B (zh) 一种用于光学逆向设计的快速优化方法
Giamougiannis et al. Neuromorphic silicon photonics with 50 GHz tiled matrix multiplication for deep-learning applications
CN110309916B (zh) 多级空频域调制非线性全光学深度学习系统及方法
WO2021179281A1 (en) Optimizing low precision inference models for deployment of deep neural networks
Wu et al. Hybrid neural network-based adaptive computational ghost imaging
CN114519403B (zh) 基于片上衍射神经网络的光学图神经分类网络、方法
Hu et al. Batch processing and data streaming fourier-based convolutional neural network accelerator
CN111563583B (zh) 基于神经常微分方程的光计算芯片设计方法及光计算芯片
CN111582468B (zh) 光电混合智能数据生成计算系统及方法
Kee et al. Assisting target recognition through strong turbulence with the help of neural networks
Meng et al. Photonics-enabled spiking timing-dependent convolutional neural network for real-time image classification
Ke et al. Haze removal from a single remote sensing image based on a fully convolutional neural network
CN112700000A (zh) 一种光电混合深度卷积神经网络方法
WO2024087464A1 (zh) 离水辐射光谱计算方法、装置、终端及存储介质
CN113592084B (zh) 基于反向优化超结构卷积核的片上光子神经网络
CN108805030A (zh) 一种应用于深度学习的特征提取方法及系统
CN113919486A (zh) Vgg16衍射光子神经网络及面向情境依赖处理的方法
Cheng et al. High precision reconstruction of silicon photonics chaos with stacked CNN-LSTM neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant