CN114418070A - 卷积处理方法及装置 - Google Patents

卷积处理方法及装置 Download PDF

Info

Publication number
CN114418070A
CN114418070A CN202210072390.8A CN202210072390A CN114418070A CN 114418070 A CN114418070 A CN 114418070A CN 202210072390 A CN202210072390 A CN 202210072390A CN 114418070 A CN114418070 A CN 114418070A
Authority
CN
China
Prior art keywords
mask
convolution
optical
light
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210072390.8A
Other languages
English (en)
Inventor
陈宏伟
史宛鑫
黄铮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210072390.8A priority Critical patent/CN114418070A/zh
Publication of CN114418070A publication Critical patent/CN114418070A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Processing (AREA)

Abstract

本公开的实施例提供了一种卷积处理方法、装置。本公开的卷积处理装置包括：掩膜版和光学感应部件，其中，掩膜版位于目标对象与光学感应部件之间，用于接收目标对象的对象光，对象光携带目标对象的图像信息，掩膜版上包括掩膜图案，掩膜图案是基于要对图像进行卷积处理的卷积层确定的，通过掩膜图案对所接收的对象光进行掩膜处理，掩膜处理后的光信号与对图像信息进行卷积处理后的卷积信息相对应；光学感应部件用于接收掩膜处理后的光信号，将光信号转化为电信号，并输出电信号。本公开的装置能够实现光域上的卷积计算，对后处理设备采集到的光信号进行加密处理，并且，本公开的卷积处理装置无需透镜，有效减少了卷积处理装置的尺寸和重量。

Description

卷积处理方法及装置
技术领域
本公开涉及图像识别、图像处理领域，更具体地，涉及一种光域上的卷积处理方法及装置。
背景技术
机器视觉作为当今智能时代的“智慧之眼”，在工业检测、智能家居、下一代终端等诸多领域都有着广泛的应用。图像作为一种非常重要的视觉信息，在诸多领域都作为输入信息辅助机器视觉系统完成任务。
但是机器视觉和人眼存在诸多不同，人眼可理解的自然界的图像，往往机器视觉还需要进一步的处理，才能完成分类、检测、识别的任务。目前的机器视觉系统处理流程是，图像等信息通过透镜成像设备将光线投射到感光芯片上，感光芯片采集光信号后转换为计算机能够处理的电信号，计算机对输入的电信号进行计算和处理，以实现后续的图像处理或图像识别等任务。在这种处理方式下，需要单独的透镜成像设备和后端数据处理设备、整个机器视觉系统体积较大，难以适应微型环境下的使用要求。在机器视觉系统低功耗、小体积、高计算效率的发展背景下，很难满足多场景下的应用需求。
卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，是作为当今流行的神经网络技术，常被应用于各种图像处理或图像识别等任务中。它与全神经网络相比，具有局部区域连接、权值共享等特点，计算量更小、数据处理能力更强。目前，卷积神经网络的处理基本都是在计算机、处理器等后端数据处理设备中实现的，其对后端数据处理设备性能要求较高。因此，对卷积处理过程进行研究改进，使其计算量小且实现方便是十分有必要的。
发明内容
为了解决上述问题，本公开提供了一种卷积处理方法及装置。
本公开的实施例提供了一种卷积处理装置，所述装置包括：掩膜版和光学感应部件，其中，所述掩膜版位于目标对象与光学感应部件之间，用于接收目标对象的对象光，所述对象光携带所述目标对象的图像信息，所述掩膜版上包括掩膜图案，所述掩膜图案是基于要对图像进行卷积处理的卷积层确定的，通过所述掩膜图案对所接收的对象光进行掩膜处理，以输出掩膜处理后的光信号，所述掩膜处理后的光信号与对所述图像信息进行卷积处理后的卷积信息相对应；所述光学感应部件用于接收所述掩膜处理后的光信号，将所述光信号转化为电信号，并输出所述电信号。
根据本公开的实施例，所述卷积处理装置还包括：光产生部件，用于产生携带有所述目标对象的图像信息的光学影像信号，其中，所述携带有所述目标对象的图像信息的光学影像信号为非相干光信号，其中，所述光产生部件为多个点光源，并且所述携带有所述目标对象的图像信息的光学影像信号是由所述多个点光源产生的光信号；或者所述光产生部件为显示器，并且所述携带有所述目标对象的图像信息的光学影像信号是由所述显示器产生的多像素图像信号。
本公开的实施例提供了一种卷积处理装置，其中，两个相邻的点光源或两个相邻的像素之间的距离dL、所述光产生部件与所述掩膜版之间的距离dLM、所述掩膜版与所述光学感应部件之间的距离dMS、所述光学感应部件上单个像素的尺寸Δ之间具有如下的关系：
Figure BDA0003482744100000021
其中，所述光学感应部件上的单个像素等效于所述卷积层的卷积计算后产生的单个像素。
本公开的实施例提供了一种卷积处理装置，其中，所述光学感应部件上单个像素的空间尺寸是根据所述光学影像信号传输过程中的几何模糊与光学影像信号通过掩膜版产生的衍射模糊之间的关系所确定的。
本公开的实施例提供了一种卷积处理装置，其中，所述几何模糊d1＝Δ，所述衍射模糊d2＝2.44λdMS/Δ；所述光学感应部件上单个像素的空间尺寸寸
Figure BDA0003482744100000022
Figure BDA0003482744100000023
本公开的实施例提供了一种卷积处理装置，其中，掩膜版包括一个或多个掩膜区，每个掩膜区彼此独立，并且各个掩膜区上的掩膜图案相同或不同，以及在掩膜版上经过镀膜或者刻蚀得到所述掩膜图案。
本公开的实施例提供了一种卷积处理装置，每个掩膜区的掩膜图案由多个掩膜孔构成，并且每个掩膜孔的透光程度相同或不同，其中，每个掩膜区的掩膜图案与一个卷积层相对应，每个掩膜孔的透光程度是由其相应的卷积层的参数所确定的。
根据本公开的实施例，所述卷积处理装置还包括：后处理部件，用于接收所述光学感应部件输出的电信号，并基于所述电信号产生对所述图像信息的处理结果。
本公开的实施例提供了一种卷积处理方法，所述方法包括：接收目标对象的对象光，所述对象光携带所述目标对象的图像信息；通过掩膜版对所述图像信息进行光学掩膜处理，以输出掩膜处理后的光信号，所述掩膜处理后的光信号与对所述图像信息进行卷积处理后的卷积信息相对应，其中，所述掩膜版上包括掩膜图案，所述掩膜图案是基于要对图像进行卷积处理的卷积层确定的；将所述掩膜处理后的光信号转换为电信号；以及基于所述电信号，产生对所述图像信息的处理结果。
根据本公开的实施例，所述卷积处理方法还包括：通过光产生部件来产生携带有所述目标对象的图像信息的光学影像信号，其中，所述携带有所述目标对象的图像信息的光学影像信号为非相干光信号，其中，所述携带有所述目标对象的图像信息的光学影像信号是由多个点光源产生的光信号；或者所述携带有所述目标对象的图像信息的光学影像信号是由显示器产生的多像素图像信号。
本公开的实施例提供了一种卷积处理方法：其中，两个相邻的点光源或两个相邻的像素之间的距离dL、所述光产生部件与所述掩膜版之间的距离dLM、所述掩膜版与所述光学感应部件之间的距离dMS、所述光学感应部件上单个像素的尺寸Δ之间具有如下的关系：
Figure BDA0003482744100000031
其中，所述光学感应部件上的单个像素等效于所述卷积层的卷积计算后产生的单个像素。
本公开的实施例提供了一种卷积处理方法：其中，掩膜版包括一个或多个掩膜区，每个掩膜区彼此独立，并且各个掩模区上的掩模图案相同或不同，以及在掩膜版上经过镀膜或者刻蚀得到所述掩模图案。
本公开的实施例提供了一种卷积处理方法：每个掩膜区的掩模图案由多个掩模孔构成，并且每个掩模孔的透光程度相同或不同，其中，每个掩膜区的掩模图案与一个卷积层相对应，每个掩模孔的透光程度是由其相应的卷积层的参数所确定的。
本公开的实施例提供了一种卷积处理方法、装置。根据本公开的实施例，本公开的卷积处理装置包括：掩膜版和光学感应部件，其中，所述掩膜版位于目标对象与光学感应部件之间，用于接收目标对象的对象光，所述对象光携带所述目标对象的图像信息，掩膜版上包括掩膜图案，所述掩膜图案是基于要对图像进行卷积处理的卷积层确定的，通过所述掩膜图案对所接收的对象光进行掩膜处理，以输出掩膜处理后的光信号，所述掩膜处理后的光信号与对所述图像信息进行卷积处理后的卷积信息相对应；所述光学感应部件用于接收所述掩膜处理后的光信号，将所述光信号转化为电信号，并输出所述电信号。
通过本公开的卷积处理装置能够实现光域上的卷积计算，从而减少了后处理部件的计算量，降低了计算卷积神经网络对后处理部件的性能要求，减少了后处理部件的功耗。并且，本公开采用无透镜的卷积处理装置，有效减少了卷积处理装置的尺寸、重量和成本。而且，由于卷积过程是在光域上实现的，光学感应部件采集到的结果不再是实际的光学影像，而是实际图像信息经卷积处理后的卷积信息，因此通过该方式可以实现对实际图像信息的保护和加密。
此外，本公开提供的卷积处理装置中的掩膜版可以包括多个掩膜区，从而在光学上完成并行的卷积运算，这种掩膜区的方式能够减少掩膜版的个数，节省材料，有效压缩并行卷积处理系统的体积，而且该卷积的并行处理过程无需占用更多的后处理部件资源，能够有效提升卷积处理的效率。同时，当光线通过刻有不同掩膜图案的掩膜版时，可能会得到不同的卷积处理结果，提取到不同的图像信息的特征，这种多卷积处理方式能够提高图像信息的识别精度，提升图像处理或图像识别的可靠性。
附图说明
为了更清楚地说明本公开的实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本公开的一些示例性实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是示出根据本公开的实施例的卷积处理装置的示意图；
图2是示出根据本公开的实施例的卷积处理方法的示意性的流程图；
图3是示出根据本公开的实施例的光线通过卷积处理装置传播的示意图；
图4A是示出根据本公开的实施例的图像信息的示意图；
图4B是示出根据本公开的实施例的图像信息经掩膜版处理后得到的结果的示意图；
图5是示出根据本公开的实施例的目标对象、掩膜版、光学感应部件之间距离的关系的示意图；以及
图6是示出根据本公开的实施例的具有多个掩膜区的掩膜版的示意图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
此外，在本说明书和附图中，具有基本上相同或相似步骤和元素用相同或相似的附图标记来表示，且对这些步骤和元素的重复描述将被省略。
此外，在本说明书和附图中，根据实施例，元素以单数或复数的形式来描述。然而，单数和复数形式被适当地选择用于所提出的情况仅仅是为了方便解释而无意将本公开限制于此。因此，单数形式可以包括复数形式，并且复数形式也可以包括单数形式，除非上下文另有明确说明。
此外，在本说明书和附图中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
图像处理技术是用计算机对图像信息进行处理的技术。主要包括：图像数字化、图像增强和复原、图像数据编码、图像分割和图像识别等。目前图像处理技术主要基于计算机来实现。人工神经网络(Artificial Neural Networks，ANN)是一种模拟生物神经系统的结构和行为，进行分布式并行信息处理的算法数学模型。ANN通过调整内部神经元与神经元之间的权重关系，从而达到处理信息的目的。在处理图像时，计算机把原始图像或经过适当预处理的图像作为神经网络输入信号，在神经网络的输出端得到处理后的图像信号或分类结果。
卷积神经网络是一种前馈神经网络，其在图像处理方面的表现十分出色。CNN的基本结构由输入层、卷积层(convolutional layer)、池化层(pooling layer，也称为取样层)、全连接层及输出层构成。卷积层和池化层一般会取若干个，采用卷积层和池化层交替设置，即一个卷积层连接一个池化层，池化层后再连接一个卷积层，依此类推。卷积层中输出特征图的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值，得到该神经元输入值，该过程类似于卷积的计算过程。
综上所述，本公开的实施例提供的方案涉及图像处理、神经网络等领域，下面将结合附图对本公开的实施例进行进一步地描述。
图1是示出根据本公开的实施例的卷积处理装置的示意图。
如图1所示，卷积处理装置包括：目标对象、光学掩膜版以及光学感应部件。
其中，掩膜版位于目标对象与光学感应部件之间，用于接收目标对象的对象光，对象光携带目标对象的图像信息，掩膜版上包括掩膜图案，掩膜图案是基于要对图像进行卷积处理的卷积层确定的，通过掩膜图案对所接收的对象光进行掩膜处理，以输出掩膜处理后的光信号，掩膜处理后的光信号与对图像信息进行卷积处理后的卷积信息相对应；光学感应部件用于接收掩膜处理后的光信号，将光信号转化为电信号，并输出电信号。
应当理解，本公开中描述的图像信息既可以直接来自目标对象，例如，目标对象可以是现实中的人或物，其通过反射光线使得携带有目标对象的图像信息的目标光射入掩膜版，本公开中描述的图像信息还可以来自光产生部件，例如：光产生部件可以是用于呈现的图像的显示器，或者一个点光源或多个点光源的组合。任何能够发出光线和/或反射光线到掩膜版的应用场景下，都可以使用本公开所述的卷积处理装置来进行卷积处理操作。应当理解，本公开中所描述的光线可以指漫反射光、单色光、复色光等各种形式的可见光或不可见光。
可选地，在使用光产生部件来产生携带有目标对象的图像信息的光学影像信号的情况下，携带有目标对象的图像信息的光学影像信号为非相干光信号，其中，光产生部件为多个点光源，并且携带有目标对象的图像信息的光学影像信号是由多个点光源产生的光信号；或者光产生部件为显示器，并且携带有目标对象的图像信息的光学影像信号是由显示器产生的多像素图像信号。掩膜版接收携带有目标对象的图像信息的光学影像信号，并采用与上面描述的与针对目标对象相同的方法对图像信息进行处理。
掩膜版通常包括透明基板和遮光膜。其中，透明基板常见材质有：透明玻璃(诸如，石英玻璃、苏打玻璃、低膨胀玻璃等)，透明树脂等。遮光膜通常有硬质遮光膜(例如，铬膜、氧化铁、硅化钼等)，乳胶等。掩膜版上遮光或透光的图案可以通过镀膜或者刻蚀的加工方式来实现。应当理解，这里只是掩膜版材质及加工工艺的一些示例，所有能加工为掩膜版的透明或遮光的材质，以及所有能实现对掩膜版加工以形成所需透光区和遮光区的工艺均可应用于本公开所描述的掩膜版。
光学感应部件可以是感光芯片，光电转换设备等。例如，常见光学感应部件有CCD(电荷耦合元件)型光学感应部件和CMOS(金属氧化物半导体元件)型光学感应部件等。在CCD的感光像点接受光照之后，感光元件产生对应的电流，电流大小与光强对应，感光元件直接输出模拟量形式的电信号。CMOS中的每一个感光元件都直接整合了放大器和模数转换逻辑，当感光二极管接受光照、产生模拟的电信号之后，电信号首先被该感光元件中的放大器放大，然后直接转换成对应的数字信号。不论是CCD型的光学感应部件还是CMOS型的光学感应部件的主要目的都是将采集到的光信号转换为后续电路或计算机能够处理的电信号，所有能将光信号转换为处理设备能够利用的信号的设备都可以属于本公开所描述的光学感应部件。
可选地，如果卷积的处理结果还需进一步地被处理，卷积处理装置还可以包括后处理部件。后处理部件，用于接收光学感应部件输出的电信号，并基于电信号产生对图像信息的处理结果。可选地，本公开所描述的后处理部件可以是计算机、处理器、服务器、集成电路等任何可以对信号进行计算或处理的部件，或上述一个或多个部件的组合。
通过图1可以看出，本公开采用无透镜的光学系统，有效减少了系统的尺寸、重量和成本。通常透镜系统要求较高的精确度，对使用条件和环境有较高的要求，本公开的卷积处理装置可以不通过透镜直接采集光线，相对传统用透镜采集光线的系统，操作和使用更方便，具有更广阔的应用前景。并且，通过本公开的卷积处理装置能够实现光域上的卷积计算，从而减少了后处理部件的计算量，降低了计算卷积神经网络对后处理部件的性能要求，减少了后处理部件的功耗。
图2是示出根据本公开的实施例的卷积处理方法的示意性的流程图。
如图2所示，在步骤201中，接收目标对象的对象光，所述对象光携带所述目标对象的图像信息。
可选地，可以通过光产生部件来产生携带有所述目标对象的图像信息的光学影像信号，其中，所述携带有所述目标对象的图像信息的光学影像信号为非相干光信号，其中，所述携带有所述目标对象的图像信息的光学影像信号是由多个点光源产生的光信号；或者所述携带有所述目标对象的图像信息的光学影像信号是由显示器产生的多像素图像信号。
在步骤202中，通过掩膜版对所述图像信息进行光学掩膜处理，以输出掩膜处理后的光信号，所述掩膜处理后的光信号与对所述图像信息进行卷积处理后的卷积信息相对应，其中，所述掩膜版上包括掩膜图案，所述掩膜图案是基于要对图像进行卷积处理的卷积层确定的。
可选地，两个相邻的点光源或两个相邻的像素之间的距离dL、所述光产生部件与所述掩膜版之间的距离dLM、所述掩膜版与所述光学感应部件之间的距离dMS、所述光学感应部件上单个像素的尺寸Δ之间具有如下的关系：
Figure BDA0003482744100000081
Figure BDA0003482744100000082
其中，所述光学感应部件上的单个像素等效于所述卷积层的卷积计算后产生的单个像素。
可选地，掩膜版包括一个或多个掩膜区，每个掩膜区彼此独立，并且各个掩模区上的掩模图案相同或不同，以及在掩膜版上经过镀膜或者刻蚀得到掩模图案。
可选地，每个掩膜区的掩模图案由多个掩模孔构成，并且每个掩模孔的透光程度相同或不同，其中，每个掩膜区的掩模图案与一个卷积层相对应，每个掩模孔的透光程度是由其相应的卷积层的参数所确定的。
在步骤203中，将掩膜处理后的光信号转换为电信号。
可选地，步骤203中的过程可以通过感光芯片，光电转换设备等多种方式来实现，光信号经转换后形成的电信号既可以是模拟量信号也可以是数字量信号。
通过本公开的卷积处理方法，卷积过程能够在光域上被实现，光学感应部件采集到的结果不再是实际的光学影像，而是实际图像信息经卷积处理后的卷积信息，因此通过该方式可以实现对实际图像信息的保护和加密。
在步骤204中，基于电信号，产生对所述图像信息的处理结果。
应当理解，这里产生的图像信息的处理结果是对光学影像信号进行卷积处理的结果。可选地，如果后续还需其它计算和处理，可以使用后处理部件接收光学感应部件输出的电信号，并基于电信号对图像信息继续处理。
图3是示出根据本公开的实施例的光线通过卷积处理装置传播的示意图。
根据本公开的实施例，图像信息可以通过多个点光源的形式来被传播，图3中示例性地图示了五个点光源，并分别用A、B、C、D、E表示各点对应的光强，光源分布的矩阵记为X。假设掩膜版上有一个掩膜区，且该掩膜区具有3个掩膜孔，这里用M1、M2、M3来表示掩膜版上掩膜孔的透光程度，其矩阵记为
Figure BDA0003482744100000091
对于图中的光学感应部件，其中间三点接收到的光强分布为S1、S2、S3，其矩阵记为Y，则可以按如下的公式来表示：
Y＝(S1S2S3)T
Figure BDA0003482744100000092
X＝(ABCDE)T
点光源发出的光线经过掩膜版后，在光学感应部件处被接收并检测，并经过光电转换转化为易于被计算机处理的电信号。光学感应部件上各点的光强为所有接收到的经掩膜版处理后的光强的叠加。每个掩膜区的掩膜图案由多个掩膜孔构成，并且每个掩膜孔的透光程度相同或不同。对于掩膜版上的掩膜孔，其透光程度对应于相应的卷积层的参数，即卷积核。例如，M1、M2、M3可以为01二值分布，0代表不透光，1代表全透光。类似地，M1、M2、M3可以为01二值分布，1代表不透光，0代表全透光。可选地，除了数字量，M1、M2、M3还可以为模拟量，例如，0代表不透光，1代表全透光，0.5代表透一半的光……
假设掩膜版上除了1、2、3三点的透光程度分别对应于M1、M2、M3之外，其余地方均不透光(即，用0表示)，不考虑噪声和光在传输过程中的衰减，则光学感应部件上接收的光为的S1、S2、S3可以通过如下公式来计算：
Figure BDA0003482744100000093
可以看出，上面的公式为乘加形式，其对应的矩阵形式为：
Figure BDA0003482744100000094
通过上面的公式可以看出，M1、M2、M3具有类似卷积计算时依次向前滑动的效果，将上面的公式整理为卷积形式，则有：
Figure BDA0003482744100000095
即，光学感应部件上探测到的掩膜处理后的光信号(Y)为来自点光源的光信号(X)经掩膜版上与卷积核
Figure BDA0003482744100000096
对应的掩膜图案处理后的结果。
应当理解，这里以多个点光源为示例而非限制，同样地，也可以将显示器产生的多像素图像当作多个点光源进行同样的处理，其中，每一个像素可以被等效为一个点光源；或者将目标对象等效为由多个点光源组成的对象，携带目标对象的图像信息的对象光等效为由多个点光源产生的光信号，这时卷积处理过程与上面类似，因此不再赘述。
图4A是示出根据本公开的实施例的图像信息的示意图。
在图4A中，有两个光源，即位于平面坐标系中(1,1)处的第一光源和位于平面坐标系中(4,4)处的第二光源。第一光源的中心和第二光源的中心之间的横向间距和纵向间距都为3个单位距离。
对于图4A中的图像信息，其经掩膜版处理后得到的结果如图4B所示。
假设掩膜版上的掩膜孔呈01二值分布，其中，0代表不透光，1代表全透光，那么掩膜版上的掩膜孔对应的卷积核为：
Figure BDA0003482744100000101
由于对于第一光源的中心和第二光源的中心之间的横向间距和纵向间距都为3，因此在理想情况下，第一光源经过卷积后的第一卷积结果的中心和第二光源经过卷积后的第二卷积结果的中心之间的横向间距和纵向间距都为3Δ，其中，光学感应部件上单个像素的尺寸为Δ，也称为特征尺寸。
图5是示出根据本公开的实施例的目标对象、掩膜版、光学感应部件之间距离的关系的示意图。
假设两个相邻的点光源或两个相邻的像素之间的距离为dL(单位距离)、光产生部件与掩膜版之间的距离为dLM、掩膜版与光学感应部件之间的距离为dMS、卷积核等效单个像素的空间尺寸为Δ(即，特征尺寸)。由于光线沿直线传播，因此，根据三角形相似理论(即，ΔABC～ΔFEC)可以计算得出对应的光源间距
Figure BDA0003482744100000102
对于非相干光系统，光学系统受衍射模糊和几何模糊的影响。
其中，光传输过程中的几何模糊d1和光通过掩膜版产生的衍射模糊的d2可以通过下面的公式来计算：
d1＝Δ
d2＝2.44λdMS/Δ
其中，λ为光的波长，dMS为掩膜版与光学感应部件之间的距离。
对于非相干光学系统，衍射现象不明显，光学影像信号传输过程中的几何模糊的影响大于或等于光学影像信号通过掩膜版产生的衍射模糊，即d1≥d2，经整理可以得到特征尺寸
Figure BDA0003482744100000103
即，光学感应部件上单个像素的空间尺寸Δ可以根据所述光学影像信号传输过程中的几何模糊d1与光学影像信号通过掩膜版产生的衍射模糊d2之间的关系来确定。
同时，根据公式
Figure BDA0003482744100000111
可以看出，特征尺寸越大，整个光域处理系统体积越大。在考虑整个系统应尽量小巧的情况下，Δ的取值在可行的前提下应尽量小。
例如，对于dMS＝1.02mm，且可见光的波长取λ＝550nm的示例，按照公式
Figure BDA0003482744100000112
Figure BDA0003482744100000113
计算可以得到Δ≥37μm。在实际应用中，为了使计算和处理更为简便，也可以对特征尺寸Δ向上取整，即取特征尺寸为40μm。
在考虑整个系统应尽量小巧的情况下，掩膜版与光学感应部件之间的距离dMS在结构允许的情况下应尽量小，在将掩膜版与光学感应部件尽量接近地布置后，可以通过测量获得它们之间的距离。可选地，距离测量可以采用高精度量尺、电学测距、光学测距等各种高精度的测距方法来实现。
因此，在固定的光域卷积系统下(Δ、dMS已根据上述公式确定或测量确定)，根据实际目标对象或光产生部件的尺寸和具体应用情况，可以根据公式
Figure BDA0003482744100000114
确定dLM及目标对象或光产生部件的具体位置分布。
由于卷积处理装置在安装时可能具有安装误差，Δ和dMS的计算和测量可能也会引入误差，为了保证卷积处理装置的精度，可以根据卷积的结果，对卷积处理装置进行微调。
例如，对于图4A和图4B中的示例，对于位于平面坐标系中(1,1)处的第一光源和位于平面坐标系中(4,4)处的第二光源，理论上，第一光源经过卷积后的第一卷积结果的中心和第二光源经过卷积后的第二卷积结果的中心之间的横向间距和纵向间距都应该为3Δ。如果由于系统误差，发现经过卷积处理后，第一卷积结果的中心和第二卷积结果的中心之间的横向间距和纵向间距不符合3Δ，则对系统进行微调，使得最终实际结果与理论结果相符合，从而验证卷积处理装置的处理精度能够满足使用要求。
应当理解，这里的系统微调过程是为了验证系统初次安装时，其处理结果是否与理论值有误差，如果存在误差，则通过微调来降低误差。对于已经过调试验证后的系统，这里的微调过程并不是必需的。
图6是示出根据本公开的实施例的具有多个掩膜区的掩膜版的示意图。
在图6所示的掩膜版包括一个或多个掩膜区，每个掩膜区彼此独立，并且各个掩模区上的掩模图案相同或不同。因此图6所示的掩膜版可以实现多卷积的并行计算。其中，多个卷积的参数可以是相同的，也可以是不同的，它们既可以同时实现对同一光信号的卷积处理，也可以同时实现对不同光信号的卷积处理。这种掩膜图案排布方式能够减少掩膜版的个数，节省材料，有效压缩并行卷积处理系统的体积。
由于多个卷积能够同时在光域上被并行处理，该卷积的并行处理过程无需占用更多的后处理部件资源，因此能够有效提升卷积并行处理的效率。而且，当光线通过刻有不同掩膜图案的掩膜版时，可能会得到不同的卷积处理结果，提取到不同的图像信息的特征，这种多卷积处理方式能够提高图像信息的识别精度，提升图像处理或图像识别的可靠性。
综上所述，本公开的实施例提供了一种卷积处理方法、装置。根据本公开的实施例，本公开的卷积处理装置包括：掩膜版和光学感应部件，其中，所述掩膜版位于目标对象与光学感应部件之间，用于接收目标对象的对象光，所述对象光携带所述目标对象的图像信息，掩膜版上包括掩膜图案，所述掩膜图案是基于要对图像进行卷积处理的卷积层确定的，通过所述掩膜图案对所接收的对象光进行掩膜处理，以输出掩膜处理后的光信号，所述掩膜处理后的光信号与对所述图像信息进行卷积处理后的卷积信息相对应；所述光学感应部件用于接收所述掩膜处理后的光信号，将所述光信号转化为电信号，并输出所述电信号。
通过本公开的卷积处理装置能够实现光域上的卷积计算，从而减少了后处理部件的计算量，降低了计算卷积神经网络对后处理部件的性能要求，减少了后处理部件的功耗。并且，本公开采用无透镜的卷积处理装置，有效减少了卷积处理装置的尺寸、重量和成本。而且，由于卷积过程是在光域上实现的，光学感应部件采集到的结果不再是实际的光学影像，而是实际图像信息经卷积处理后的卷积信息，因此通过该方式可以实现对实际图像信息的保护和加密。
本公开使用了特定词语来描述本公开的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本公开至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本公开的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (13)

1.一种卷积处理装置，包括：掩膜版和光学感应部件，其中，
所述掩膜版位于目标对象与光学感应部件之间，用于接收目标对象的对象光，所述对象光携带所述目标对象的图像信息，所述掩膜版上包括掩膜图案，所述掩膜图案是基于要对图像进行卷积处理的卷积层确定的，通过所述掩膜图案对所接收的对象光进行掩膜处理，以输出掩膜处理后的光信号，所述掩膜处理后的光信号与对所述图像信息进行卷积处理后的卷积信息相对应；
所述光学感应部件用于接收所述掩膜处理后的光信号，将所述光信号转化为电信号，并输出所述电信号。
2.如权利要求1所述的卷积处理装置，还包括：
光产生部件，用于产生携带有所述目标对象的图像信息的光学影像信号，其中，所述携带有所述目标对象的图像信息的光学影像信号为非相干光信号，
其中，所述光产生部件为多个点光源，并且所述携带有所述目标对象的图像信息的光学影像信号是由所述多个点光源产生的光信号；或者
所述光产生部件为显示器，并且所述携带有所述目标对象的图像信息的光学影像信号是由所述显示器产生的多像素图像信号。
3.如权利要求2所述的卷积处理装置，其中，
两个相邻的点光源或两个相邻的像素之间的距离dL、所述光产生部件与所述掩膜版之间的距离dLM、所述掩膜版与所述光学感应部件之间的距离dMS、所述光学感应部件上单个像素的尺寸Δ之间具有如下的关系：
Figure FDA0003482744090000011
其中，所述光学感应部件上的单个像素等效于所述卷积层的卷积计算后产生的单个像素。
4.如权利要求3所述的卷积处理装置，其中，所述光学感应部件上单个像素的空间尺寸是根据所述光学影像信号传输过程中的几何模糊与光学影像信号通过掩膜版产生的衍射模糊之间的关系所确定的。
5.如权利要求4所述的卷积处理装置，其中，
所述几何模糊d1＝Δ，所述衍射模糊d2＝2.44λdMS/Δ；
所述光学感应部件上单个像素的空间尺寸寸
Figure FDA0003482744090000012
6.如权利要求1所述的卷积处理装置，其中，
所述掩膜版包括一个或多个掩膜区，每个掩膜区彼此独立，并且各个掩膜区上的掩膜图案相同或不同，以及
在所述掩膜版上经过镀膜或者刻蚀得到所述掩膜图案。
7.如权利要求6所述的卷积处理装置，其中，
所述每个掩膜区的掩膜图案由多个掩膜孔构成，并且每个掩膜孔的透光程度相同或不同，
其中，所述每个掩膜区的掩膜图案与一个卷积层相对应，所述每个掩膜孔的透光程度是由其相应的卷积层的参数所确定的。
8.如权利要求1所述的卷积处理装置，还包括：
后处理部件，用于接收所述光学感应部件输出的电信号，并基于所述电信号产生对所述图像信息的处理结果。
9.一种卷积处理方法，包括：
接收目标对象的对象光，所述对象光携带所述目标对象的图像信息；
通过所述掩膜版对所述图像信息进行光学掩膜处理，以输出掩膜处理后的光信号，所述掩膜处理后的光信号与对所述图像信息进行卷积处理后的卷积信息相对应，其中，所述掩膜版上包括掩膜图案，所述掩膜图案是基于要对图像进行卷积处理的卷积层确定的；
将所述掩膜处理后的光信号转换为电信号；以及
基于所述电信号，产生对所述图像信息的处理结果。
10.如权利要求9所述的卷积处理方法，还包括：
通过光产生部件来产生携带有所述目标对象的图像信息的光学影像信号，其中，所述携带有所述目标对象的图像信息的光学影像信号为非相干光信号，
其中，所述携带有所述目标对象的图像信息的光学影像信号是由多个点光源产生的光信号；或者
所述携带有所述目标对象的图像信息的光学影像信号是由显示器产生的多像素图像信号。
11.如权利要求10所述的卷积处理方法，其中，
两个相邻的点光源或两个相邻的像素之间的距离dL、所述光产生部件与所述掩膜版之间的距离dLM、所述掩膜版与所述光学感应部件之间的距离dMS、所述光学感应部件上单个像素的尺寸Δ之间具有如下的关系：
Figure FDA0003482744090000031
其中，所述光学感应部件上的单个像素等效于所述卷积层的卷积计算后产生的单个像素。
12.如权利要求9所述的卷积处理方法，其中，
所述掩膜版包括一个或多个掩膜区，每个掩膜区彼此独立，并且各个掩模区上的掩模图案相同或不同，以及
在所述掩膜版上经过镀膜或者刻蚀得到所述掩模图案。
13.如权利要求12所述的卷积处理方法，其中，
所述每个掩膜区的掩模图案由多个掩模孔构成，并且每个掩模孔的透光程度相同或不同，
其中，所述每个掩膜区的掩模图案与一个卷积层相对应，所述每个掩模孔的透光程度是由其相应的卷积层的参数所确定的。
CN202210072390.8A 2022-01-21 2022-01-21 卷积处理方法及装置 Pending CN114418070A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210072390.8A CN114418070A (zh) 2022-01-21 2022-01-21 卷积处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210072390.8A CN114418070A (zh) 2022-01-21 2022-01-21 卷积处理方法及装置

Publications (1)

Publication Number Publication Date
CN114418070A true CN114418070A (zh) 2022-04-29

Family

ID=81275187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210072390.8A Pending CN114418070A (zh) 2022-01-21 2022-01-21 卷积处理方法及装置

Country Status (1)

Country Link
CN (1) CN114418070A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115589264A (zh) * 2022-08-29 2023-01-10 电子科技大学 一种全神经网络的全数字相干接收系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115589264A (zh) * 2022-08-29 2023-01-10 电子科技大学 一种全神经网络的全数字相干接收系统
CN115589264B (zh) * 2022-08-29 2024-03-22 电子科技大学 一种全神经网络的全数字相干接收系统

Similar Documents

Publication Publication Date Title
Haim et al. Depth estimation from a single image using deep learned phase coded mask
US20210073959A1 (en) Method and system for imaging and image processing
Zheng et al. Single image reflection removal with absorption effect
Stork et al. Optical, mathematical, and computational foundations of lensless ultra-miniature diffractive imagers and sensors
Guo et al. Deep spatial-angular regularization for light field imaging, denoising, and super-resolution
JP2021072615A (ja) 映像復元装置及び方法
CN114491592A (zh) 加密图像信息获取装置及方法
Zeng et al. Robust reconstruction with deep learning to handle model mismatch in lensless imaging
CN117313640B (zh) 光刻掩膜生成模型的训练方法、装置、设备及存储介质
Li et al. A PCB electronic components detection network design based on effective receptive field size and anchor size matching
CN114418070A (zh) 卷积处理方法及装置
Shi et al. Rapid all-in-focus imaging via physical neural network optical encoding
CN111415303A (zh) 基于深度学习的波带片编码孔径成像方法及装置
Sheng et al. DualMamba: A Lightweight Spectral-Spatial Mamba-Convolution Network for Hyperspectral Image Classification
Shen et al. U 2 PNet: An Unsupervised Underwater Image-Restoration Network Using Polarization
Ishii et al. Higher order autocorrelation vision chip
CN107300827B (zh) 低噪声的无透镜成像方法
Zhang et al. Event encryption: rethinking privacy exposure for neuromorphic imaging
US7702176B2 (en) One dimensional feature enhancement
CN115359331A (zh) 面向Transformer的多尺度特征增强模块
Gong et al. Linear approximation of mean curvature
Stork Optical elements as computational devices for low-power sensing and imaging
Zhuge et al. Calibration-free deep optics for depth estimation with precise simulation
Wei et al. Fpga design of real-time mdfd system using high level synthesis
Sha et al. Fisheye image calibration and super-resolution method based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination