CN109496316B - 图像识别系统 - Google Patents

Abstract

本发明公开了一种图像识别系统，包括具有微透镜阵列的多视角成像模组，被成像的物体的光线通过所述多个微透镜分别折射后，入射到所述感光元件的不同感光区域，形可以一次性成像得到物体的多个微弱不同视角的图像和深度信息；通过反复采集所述多视角成像模组针对被识别物体的单一视角进行成像得到的多幅不同角度的被识别物体的影像信息；将每次采集到的所述多幅不同角度的被识别物体的影像信息的集合作为样本训练数据，基于卷积神经网络模型的进行训练，得到目标模型；从而以对所述待识别物体进行图像识别。本发明采用同一物体的多个微弱不同视角的图像进行识别，大大提高了物体识别的准确率。本发明还提供一种图像识别系统。

Description

图像识别系统

技术领域

本发明涉及光学图像处理技术领域，尤其涉及一种图像识别系统。

背景技术

现有的科学研究表明，人类的学习和认知活动有80％～85％是通过视觉完成的。在人工智能领域，计算机视觉也是一个非常重要的研究方向。1963年在麻省理工学院读书的拉里：罗伯茨(Larry Roberts)在博士毕业论文《Machine Perception of Three-Dimensional Solids》中提出边缘是用来描述物体形状的最关键信息。自此计算机视觉进入了快速发展的道路，目前主要的应用场景有：身份认证领域、安防领域，无人驾驶领域，工业检测领域等。

以上种种应用都需要计算机视觉具有高准确率的物体识别能力。物体识别过程可分为：图像采集，特征提取，分类器分类，分类结果。目前图像采集主要是用普通的成像系统将三维图像信息投影成二维彩色图片，这样就丢失了实际物体的第三维信息，也就是没有了深度纵向信息，计算机最终得到的只是平面图像上的特征区别。也有少部分方法将物体进行三维图像重构再进行识别，比如：

探针法，直接用探针在物体表面进行定点，这种方法效率低，而且会破坏物体本身；

双目视觉法，通过三角形原理计算物体距离，需要使用两个摄像头，成本高，并且不适合表面光滑无纹理的物体；

结构光方法，将特定的光信号投射到物体表面，通过物体造成的光信号的变化来计算物体的位置和深度信息，不适合远距离使用，而且在强光环境下基本不能使用，因为投射的编码光会被淹没；

飞行时间法，从发射极向对象发射光脉冲，通过计算光脉冲飞行时间来确定被测量对象的距离，这种方法深度精确度低，识别距离受光源强度限制，消耗大量能源；

如公众所习知的，传统成像技术结合神经网络来做物体识别，是用普通摄像头采集到的图片输入已训练好的模型来识别物体。这种方法的一个缺点是普通摄像头采集到的图片只有二维的信息。要达到较高的准确度，就对卷积神经网络的层数要求较高，算法复杂，并且需要大量的样本来训练模型。而探针法，双目视觉法,结构光方法和飞行时间法适用范围有限，只适合特定环境下使用。

因此，有必要提供一种新的图像识别系统来解决上述技术问题。

发明内容

本发明的主要目的在于提供一种具有可以采集三维图像数据的多视角成像模组且识别率高的图像识别系统。

为实现上述目的，本发明提供一种图像识别系统，包括多视角成像模组、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，

所述多视角成像模组包括：

镜头；

感光元件；

设置于所述镜头与所述感光元件之间，且位于所述镜头的成像侧的焦平面上的微透镜阵列，所述微透镜阵列包括多个阵列排布的微透镜；

其中，被成像的物体的光线通过所述镜头从不同方向分别投射到所述微透镜阵列的所述多个微透镜上，经由所述多个微透镜分别折射后，入射到所述感光元件的不同感光区域，形成多幅不同角度的被成像的物体的影像信息；

所述处理器执行所述计算机程序时实现如下所述的图像识别方法的步骤：

反复采集所述多视角成像模组针对被识别物体的单一视角进行成像得到的多幅不同角度的被识别物体的影像信息；

将每次采集到的所述多幅不同角度的被识别物体的影像信息的集合作为样本训练数据，基于卷积神经网络模型的进行训练，得到目标模型；

将通过所述多视角成像模组获取待识别物体经成像后得到的多幅不同角度的待识别物体的影像信息带入所述目标模型，以对所述待识别物体进行图像识别。

进一步地，所述微透镜阵列中的所述多个微透镜的结构为选自以下结构中的一种：

所述多个微透镜的透镜形状与大小相同、焦距相同且固定；

所述多个微透镜的透镜形状与大小各不相同、所述多个微透镜的透镜焦距各不相同且固定；

所述多个微透镜的透镜形状与大小相同、焦距可调；

所述多个微透镜的透镜形状与大小各不相同、焦距可调。

进一步地，所述微透镜阵列中的所述多个微透镜以均匀分布或者非均匀的方式分布在透明结构上；所述透明结构为凸面透明结构、凹面透明结构或者平面透明结构。

进一步地，所述微透镜阵列为一次成像微透镜阵列或者多次成像微透镜阵列。

进一步地，所述多次成像微透镜阵列包括至少两个平行设置的微透镜阵列。

进一步地，所述感光元件为互补金属氧化物半导体图像传感器或者电荷耦合器件图像传感器。

进一步地，所述感光元件上设有多像素感光阵列，所述多像素感光阵列包括多个与所述微透镜阵列上的多个微透镜一一对应的设置的感光区域。

进一步地，反复采集所述多视角成像模组针对被识别物体的单一视角进行成像得到的多幅不同角度的被识别物体的影像信息的步骤之后，还包括：

根据所述多次成像得到的多幅不同角度的被识别物体的影像信息，通过光线重构算法获取被识别物体的多个不同角度的图像和深度信息；

所述将每次采集到的所述多幅不同角度的被识别物体的影像信息的集合作为样本训练数据，基于卷积神经网络模型的进行训练，得到目标模型的步骤，包括：

将每次采集到的所述被识别物体的多个不同角度的图像和深度信息的集合作为样本训练数据，基于卷积神经网络模型的进行训练，得到目标模型。

进一步地，还包括步骤：反复采集所述多视角成像模组针对被识别物体的多个不同视角进行成像得到的多幅不同角度的被识别物体的影像信息。

进一步地，在所述微透镜的焦距可调时，反复采集所述多视角成像模组针对被识别物体的单一视角进行成像得到的多幅不同角度的被识别物体的影像信息的步骤，包括：

调整所述微透镜阵列上的多个微透镜的焦距；

在不同的焦距下，反复采集所述多视角成像模组针对被识别物体的多个不同视角进行成像得到的多幅不同角度的被识别物体的影像信息。

在本发明中提供的提出图像识别系统中，多视角成像模组在传统成像系统中引入微透镜阵列，可以一次性成像得到物体的多个微弱不同视角的图像和深度信息，结构简单并且而且适用范围广；再结合神经网络算法模型的图像识别技术，在后期对被识别物体进行识别时，采用同一物体的多个微弱不同视角的图像进行识别，大大提高了物体识别的准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地说明，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，堆于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例中的多视角成像模组的结构示意图；

图2为图1中多视角成像模组的感光元件的结构示意图；

图3为本发明一实施例中的图像识别系统的结构示意图；

图4为本发明一实施例中的一图像识别结果的示意图；

图5为本发明一实施例中的另一图像识别结果的示意图；

图6为本发明一实施例中的图像识别方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后、横向、径向、水平、垂直……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

如图1所示，为本发明第一实施例中的多视角成像模组100的结构示意图。

多视角成像模组100包括镜头10、微透镜阵列20以及感光元件30。

其中，微透镜阵列20设置于镜头10与感光元件30之间，且位于镜头10的成像侧的焦平面上。所述微透镜阵列20包括多个阵列排布的微透镜21。

其中，被成像的物体101的光线通过所述镜头10入射到多视角成像模组100的内部，即被成像的物体101的光线通过所述镜头10从不同方向分别投射到微透镜阵列20的多个微透镜21上，经由所述多个微透镜21分别折射后，入射到感光元件30的不同感光区域31，形成多幅不同角度的被成像的物体的影像信息。由于各个感光区域31采集到的光线的来源角度是不一样的，从而可以达到记录被成像的物体101的多个微弱不同视角的图像和深度信息。

本实施例中提供的提出多视角成像模组100，在传统成像系统中引入微透镜阵列20，可以一次性成像得到物体的多个微弱不同视角的图像和深度信息，结构简单并且而且适用范围广。

进一步地，请一并结合图2，感光元件30上设有多像素感光阵列33，多像素感光阵列33包括多个与所述微透镜阵列20上的多个微透镜一一对应的设置的感光区域31。

其中，感光元件30可以为互补金属氧化物半导体(CMOS，Complementary MetalOxide Semiconductor)图像传感器或者电荷耦合器件(CCD，Charge-coupled Device)图像传感器。

具体的，微透镜阵列20设置所述镜头10的成像侧的焦平面上，感光元件30(CCD或者CMOS)放置在微透镜阵列20的后面，每个微透镜21折射出的光线可以对应覆盖到感光元件30上多个像素，形成一个大像素单元；多像素感光阵列33上对应所述每一个大像素单元，设有多个与所述微透镜阵列20上的多个微透镜一一对应的设置的感光区域31。

被成像的物体101发出的光线从多视角成像模组100的镜头10射入，然后从不同方向投射到微透镜阵列20，微透镜阵列20的每个微透镜21折射再将光线投射后方的感光元件20上，每个大像素单元对应的感光区域31就能采集到一副完整的图像；并且各个大像素单元对应的感光区域31采集到的光线角度是不一样的，从而可以记录被成像的物体101的多个微弱不同视角的图像和深度信息。

可选的，在一优选的实施例中，微透镜阵列20中的多个微透镜21的结构可以为透镜形状与大小相同、焦距相同且固定的微透镜组成。例如，每个所述微透镜21可以是两面均成凸面的凸透镜，或者一面为凸面的半凸面凸透镜；所述微透镜21的形状可以是圆形，也可以是方形，六边形，八边形等。

可选的，在一优选的实施例中，微透镜阵列20中的多个微透镜21的结构可以为透镜形状与大小各不相同、所述多个微透镜的透镜焦距各不相同且固定的微透镜组成。例如，所述微透镜21可以是多个尺寸与焦距都不相同的两面均成凸面的凸透镜，或者所述微透镜21可以是多个尺寸与焦距都不相同的一面为凸面的半凸面凸透镜。

可选的，在一优选的实施例中，微透镜阵列20中的多个微透镜21的结构可以为透镜形状与大小相同、焦距可调的微透镜组成。例如，所述微透镜21可以是多个尺寸与大小相同的，但是焦距可调的微透镜组成；其中，所述焦距可调的实现方式可以是电调，光调，热调等，本领域技术人可以根据需要进行设置，在此不再赘述。

可选的，在一优选的实施例中，微透镜阵列20中的多个微透镜21的结构可以为透镜形状与大小各不相同、焦距可调的微透镜组成。例如，所述微透镜21可以是多个尺寸与大小各不相同的，但是焦距可调的微透镜组成；其中，所述焦距可调的实现方式可以是电调，光调，热调等，本领域技术人可以根据需要进行设置，在此不再赘述。

进一步的，在一实施例中，所述微透镜阵20中的所述多个微透镜21可以是以均匀分布或者非均匀的方式分布在透明结构上；所述透明结构为凸面透明结构、凹面透明结构或者平面透明结构。

例如，所述微透镜阵20可以为平面的透明结构上均匀分布有多个凸透镜211，该多个凸透镜211通过平面的透明结构连接成一个整体的微透镜阵20；

又例如，所述微透镜阵20可以为平面的透明结构上非均匀分布有多个凸透镜211，该多个凸透镜211通过平面的透明结构连接成一个整体的微透镜阵20；

所述微透镜阵20还可以为凸面的透明结构上均匀分布有多个凸透镜211，该多个凸透镜211通过凸面的透明结构连接成一个整体的微透镜阵20。

进一步的，所述微透镜阵列20可以为一次成像微透镜阵列或者多次成像微透镜阵列。多次成像微透镜阵列20可以包括多层微透镜，例如，包括至少两个平行设置的微透镜阵列，达到所述微透镜阵列20的光线，经过多层的微透镜进行折射后，再出射到感光元件30上进行成像。

请一并结合图3，本发明还提供一种图像识别系统200，包括所述多视角成像模组100、存储器201、处理器202以及存储在所述存储器201中并可在所述处理器202上运行的计算机程序。

所述图像识别系统200通过所述多视角成像模组100对被识别物体的单一视角进行反复多次成像得到的多幅不同角度的被识别物体的影像信息进行重复采集；然后将每次采集到的所述多幅不同角度的被识别物体的影像信息的集合作为样本训练数据，基于卷积神经网络模型的进行训练，得到目标模型；将通过所述多视角成像模组获取待识别物体经成像后得到的多幅不同角度的被识别物体的影像信息带入所述目标模型，以对所述待识别物体进行图像识别。

请一并结合图4，通常的，在对待识别物体进行识别时，如果目标匹配，就会得到类似图4的结果，某个视角的图片匹配率最高，其他视角的图片匹配率依次下降；该匹配率最高的图片的视角，即为所述多视角成像模组100对被识别物体进行训练样本采集时的单一视角；

如果目标不匹配，就会得到类似图5所示，匹配率很低，而且无规律。

在一可选的实施例中，还可以反复采集所述多视角成像模组100针对被识别物体的多个不同视角进行成像得到的多幅不同角度的被识别物体的影像信息；可以理解的是，这样采集多各不同视角进行成像得到的多幅不同角度的被识别物体的影像信息作为训练样本进行训练后，可以对待识别物体的各个角度都能精确地识别。

本实施例中提供的图像识别系统200中，在传统成像系统中引入微透镜阵列20，可以一次性成像得到物体的多个微弱不同视角的图像和深度信息，再结合神经网络算法模型的图像识别技术，在后期对被识别物体进行识别时，采用同一物体的多个微弱不同视角的图像进行识别，大大提高了物体识别的准确率。

进一步地，还可以根据所述多次成像得到的多幅不同角度的被识别物体的影像信息，通过光线重构算法获取被识别物体的多个不同角度的图像和深度信息；将每次采集到的所述被识别物体的多个不同角度的图像和深度信息的集合作为样本训练数据，基于卷积神经网络模型的进行训练，得到目标模型。

通过本实施例中的图像识别系统200，可以获取被识别物体的多个不同角度的图像和深度信息；相比传统成像系统只能得到物体的二维图像信息，丢失了第三维信息的识别方式，本实施例中的图像识别系统200大大提高了提高物体识别的准确率。

可选的，在所述微透镜的焦距可调时，还可以通过调整所述微透镜阵列上的多个微透镜的焦距；在不同的焦距下，反复采集所述多视角成像模组针对被识别物体的多个不同视角进行成像得到的多幅不同角度的被识别物体的影像信息。从而可以实现对纵向范围内进行大距离的多点对调，对纵向范围内的各个物体进行精准识别。

请一并结合图6，本发明还提供一种图像识别方法300，包括步骤：

步骤S10，反复采集所述多视角成像模组针对被识别物体的单一视角进行成像得到的多幅不同角度的被识别物体的影像信息；

步骤S20，将每次采集到的所述多幅不同角度的被识别物体的影像信息的集合作为样本训练数据，基于卷积神经网络模型的进行训练，得到目标模型；

步骤S30，将通过所述多视角成像模组获取待识别物体经成像后得到的多幅不同角度的待识别物体的影像信息带入所述目标模型，以对所述待识别物体进行图像识别。

本实施例中提供的图像识别方法300中，可以一次性成像得到物体的多个微弱不同视角的图像和深度信息，再结合神经网络算法模型的图像识别技术，在后期对被识别物体进行识别时，采用同一物体的多个微弱不同视角的图像进行识别，大大提高了物体识别的准确率。

可选的，所述步骤S10之后，还包括：根据所述多次成像得到的多幅不同角度的被识别物体的影像信息，通过光线重构算法获取被识别物体的多个不同角度的图像和深度信息；

所述步骤20，具体可以包括：将每次采集到的所述被识别物体的多个不同角度的图像和深度信息的集合作为样本训练数据，基于卷积神经网络模型的进行训练，得到目标模型。

从而可以获取被识别物体的多个不同角度的图像和深度信息；相比传统成像系统只能得到物体的二维图像信息，丢失了第三维信息的识别方式，本实施例中的图像识别系统200大大提高了提高物体识别的准确率。

可选的，所述图像识别方法300，还可以包括：反复采集所述多视角成像模组针对被识别物体的多个不同视角进行成像得到的多幅不同角度的被识别物体的影像信息。

可以理解的是，在针对被识别物体的多个不同视角进行成像得到的多幅不同角度的被识别物体的影像信息后，所述步骤S20相应的在基于卷积神经网络模型的进行训练时，输入的就是被识别物体的各个角度的特征数据。这样采集多各不同视角进行成像得到的多幅不同角度的被识别物体的影像信息作为训练样本进行训练后，可以对待识别物体的各个角度都能精确地识别。

可选的，在所述微透镜的焦距可调时，所述步骤S10，可以包括：

调整所述微透镜阵列上的多个微透镜的焦距；

在不同的焦距下，反复采集所述多视角成像模组针对被识别物体的多个不同视角进行成像得到的多幅不同角度的被识别物体的影像信息。

请再次结合图3，在本发明一实施例中，在存储在所述存储器201中并可在所述处理器202上运行的计算机程序被执行时，可以实现如上述任一项所述的图像识别方法的步骤。

可以理解的是，在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第N实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种图像识别系统，包括多视角成像模组、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，

所述多视角成像模组包括：

镜头；

感光元件；

设置于所述镜头与所述感光元件之间，且位于所述镜头的成像侧的焦平面上的微透镜阵列，所述微透镜阵列包括多个阵列排布的微透镜；

其中，被成像的物体的光线通过所述镜头从不同方向分别投射到所述微透镜阵列的所述多个微透镜上，经由所述多个微透镜分别折射后，入射到所述感光元件的不同感光区域，形成多幅不同角度的被成像的物体的影像信息；

所述处理器执行所述计算机程序时实现如下所述的图像识别方法的步骤：

反复采集所述多视角成像模组针对被识别物体的单一视角进行成像得到的多幅不同角度的被识别物体的影像信息；

将每次采集到的所述多幅不同角度的被识别物体的影像信息的集合作为样本训练数据，基于卷积神经网络模型的进行训练，得到目标模型；

将通过所述多视角成像模组获取待识别物体经成像后得到的多幅不同角度的待识别物体的影像信息带入所述目标模型，以对所述待识别物体进行图像识别。

2.根据权利要求1所述的图像识别系统，其特征在于，所述微透镜阵列中的所述多个微透镜的结构为选自以下结构中的一种：

所述多个微透镜的透镜形状与大小相同、焦距相同且固定；

所述多个微透镜的透镜形状与大小各不相同、所述多个微透镜的透镜焦距各不相同且固定；

所述多个微透镜的透镜形状与大小相同、焦距可调；

所述多个微透镜的透镜形状与大小各不相同、焦距可调。

3.根据权利要求1所述的图像识别系统，其特征在于，所述微透镜阵列中的所述多个微透镜以均匀分布或者非均匀的方式分布在透明结构上；所述透明结构为凸面透明结构、凹面透明结构或者平面透明结构。

4.根据权利要求1所述的图像识别系统，其特征在于，所述微透镜阵列为一次成像微透镜阵列或者多次成像微透镜阵列。

5.根据权利要求4所述的图像识别系统，其特征在于，所述多次成像微透镜阵列包括至少两个平行设置的微透镜阵列。

6.根据权利要求1-5中任一项所述的图像识别系统，其特征在于，所述感光元件为互补金属氧化物半导体图像传感器或者电荷耦合器件图像传感器。

7.根据权利要求6所述的图像识别系统，其特征在于，所述感光元件上设有多像素感光阵列，所述多像素感光阵列包括多个与所述微透镜阵列上的多个微透镜一一对应的设置的感光区域。

8.根据权利要求1所述的图像识别系统，其特征在于，反复采集所述多视角成像模组针对被识别物体的单一视角进行成像得到的多幅不同角度的被识别物体的影像信息的步骤之后，还包括：

根据所述反复采集所述多视角成像模组针对被识别物体的单一视角进行成像得到的多幅不同角度的被识别物体的影像信息，通过光线重构算法获取被识别物体的多个不同角度的图像和深度信息；

所述将每次采集到的所述多幅不同角度的被识别物体的影像信息的集合作为样本训练数据，基于卷积神经网络模型的进行训练，得到目标模型的步骤，包括：

将每次采集到的所述被识别物体的多个不同角度的图像和深度信息的集合作为样本训练数据，基于卷积神经网络模型的进行训练，得到目标模型。

9.根据权利要求1所述的图像识别系统，其特征在于，还包括步骤：反复采集所述多视角成像模组针对被识别物体的多个不同视角进行成像得到的多幅不同角度的被识别物体的影像信息。

10.根据权利要求9所述的图像识别系统，其特征在于，在所述微透镜的焦距可调时，反复采集所述多视角成像模组针对被识别物体的单一视角进行成像得到的多幅不同角度的被识别物体的影像信息的步骤，包括：

调整所述微透镜阵列上的多个微透镜的焦距；

在不同的焦距下，反复采集所述多视角成像模组针对被识别物体的多个不同视角进行成像得到的多幅不同角度的被识别物体的影像信息。

Images