CN108694395A - 一种新型的物体3d结构识别装置和方法 - Google Patents

Abstract

本发明公开了基于滤光光栅和光敏传感器阵列的结合使用，实现手、身体或其他物体3D结构识别的方法，并且根据识别到的3D结构信息来实现3D人机交互。所述方法包括光源、滤光光栅、光敏传感器阵列以及检测电路和数据处理电路。光源照射光线到达物体后发生漫反射，反射光线通过滤光光栅到达光敏传感器阵列，滤光光栅用于滤除干扰光线实现两个或多个方向的光线通过。光敏传感器阵列接收到两个或多个特定方向的光线，并通过检测电路进行放大和转换成数字信号。数据处理电路对数字信号进行识别处理，检测出被测物体的3D结构。

Description

一种新型的物体3D结构识别装置和方法

技术领域

本发明涉及人机交互技术，尤其涉及一种基于光栅滤光的物体3D结构识别装置和方法。

背景技术

近年来，随着处理器技术的发展，在我们生活中拥有越来越多的智能设备，比如：手机、平板电脑、智能电视、智能路由以及其他的智能家居设备。设备的多样化促进了人机交互的发展，不同的应用环境对交互方式也有不同的要求。最初手机的交互都是以按键为主，直到苹果公司推出iphone，其采用电容式多点触摸屏给手机带来了新的时代，其他厂家纷纷效仿。良好的人机交互方式可以给设备带来革命性的改变，催生更多的应用。

由于通信技术的提升，高速带宽让设备可以接收更多的多媒体数据，人机交互方式也倾向于多媒体化，3D识别和3D显示技术将是未来的发展趋势。目前，3D识别技术主要有光飞时间、结构光、双目原理以及基于运动传感器的动作识别方法，主要应用于体感游戏以及虚拟现实和增强现实等设备。

光飞时间原理采用深度摄像头作为接收器，基于光线被不同距离的物体反射后，回到接收器的时间不同来识别物体深度信息。由于光速很快，因此对接收器的响应速度和处理器的处理速度都要求较高。结构光原理采用结构光投影器和摄像头接收，基于投射特定结构的图案到被测物体，物体越远图案形状变大，根据图案形状变化检测物体的深度信息。双目原理采用两个摄像头模拟人的双眼对物体深度的识别，两个不同位置摄像头采集图像信息，再进行算法分析计算出深度信息。光飞时间、结构光和双目原理都使用了摄像头，受摄像头镜头数值孔径的限制，因此在近距离都存在不同程度的检测盲区，在需要近距离识别的应用中受到较大的限制。基于运动传感器的动作识别方法采用加速度传感器、陀螺仪和重力传感器等的综合运用，多用于特定的手势或体感动作识别，无法识别物体整体的3D结构。

发明内容

为了克服上述现有技术的不足，本发明提供了一种新型的物体3D结构识别装置和方法。

本发明所采用的技术方案包括：

一方面，提供一种新型的3D物体识别装置，所述装置包括：

光源，用于照射被检测物体；

滤光光栅，用于滤除干扰光线，实现两个或多个方向的光线通过；

光敏传感器阵列，用于接收经过所述滤光光栅后，两个或多个特定方向的光线；

检测电路，用于控制所述光敏传感器阵列，并将所述光敏传感器阵列输出的模拟信号进行放大和转换成数字信号；

数据处理电路，用于对所述数字信号存储成两幅或多幅图像信息，并对所述图像信息进行处理和识别；同时用于实现对所述光源的控制；

外围设备，用于把所述处理和识别后的信息进行显示或传输到其他设备，实现3D交互。

进一步地，所述被测物体可以是手、身体或其他任何表面漫反射物体。

进一步地，所述光源可置于检测面板的两侧直接照射被检测物体，或者通过导光板扩散后均匀照射被检测物体，在外部可见光较充足的环境也可以不使用光源。所述光源可以是但不仅限于可见光和红外光，光线强弱可由所述数据处理电路控制。

进一步地，所述滤光光栅用于实现两个或多个方向的光线通过，形成两个或多个方向的光线阵列，所述两个或多个方向的光线阵列互不重叠，所述方向是指光线的传播方向。

进一步地，所述光敏传感器阵列由光敏单元排列形成，用于接收所述两个或多个方向的光线并转换成电信号。

进一步地，所述光敏单元排列方式与所述两个或多个方向的光线阵列互相对应，互不重叠的光线分别由不同位置的光敏单元接收。

进一步地，所述检测电路可以包含但不仅限于阵列控制器、模拟信号放大器和模数转换器。

进一步地，所述数据处理电路可以包含但不仅限于处理器和存储设备。

进一步地，所述处理器可以是但不仅限于微控制器、数字信号处理器或图像处理器。

进一步地，所述外围设备可以包含但不仅限于显示设备、有线传输接口和无线传输设备。

进一步地，所述滤光光栅、光敏传感器阵列以及检测电路和数据处理电路都可采用高度集成工艺。

与现有技术相比，本发明的有益效果是：

所述滤光光栅、光敏传感器阵列以及检测电路和数据处理电路都可采用高度集成工艺，使整个产品更加轻薄，便于在手势识别设备或便携式设备的应用集成。

另一方面，本发明还提供一种新型的3D物体识别方法，其特征在于，所述方法包括：

数据处理电路关闭光源，接收首幅图像分析外部光强；

基于外部光强信息打开光源并调节光源强度；

光源照射光线到达物体后发生漫反射，反射光线通过滤光光栅，形成两个或多个方向的光线阵列，到达光敏传感器阵列；

检测电路将光敏传感器阵列信号放大，并转换成数字信号输出给数据处理电路；

数据处理电路将两个或多个方向的光线阵列转换成两个或多个图像信息；并用图像算法对图像信息进行分析，识别出被测物体的3D结构。

进一步地，结合不同结构的滤光光栅，数据处理电路可将某些特定位置光敏单元组合转换成一幅图像，而将另一些特定位置光敏单元组合转换成另一幅图像。

进一步地，所述图像算法可以是但不仅限于双目图像处理算法，对图像进行两两分析计算出物体的3D结构信息。

与现有技术相比，本发明的有益效果是：

通过滤光光栅和光敏传感器阵列的结合，消除了近距离3D识别的盲区，被测物体紧挨感应器时仍能实现精确的识别，实现了在更多的应用场景中使用3D识别技术。

发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。

附图说明

图1为基于光栅滤光的3D识别系统；

图2为滤光光栅的示例性结构示意图；

图3a为滤光光栅垂直孔列的示意图；

图3b为滤光光栅垂直孔光路示意图；

图4a为滤光光栅倾斜孔列的示意图；

图4b为滤光光栅倾斜孔光路示意图；

图5为垂直列和倾斜列的组合光路示意图；

图6为光敏传感器阵列结构图示意图；

图7为通孔群示意图；

图8为光源、导光板与滤光光栅结合示意图；

图9为导光板磨砂面示意图；

图10为光敏传感器阵列、检测电路、数据处理电路以及外围设备组合结构框图；

图11为光敏传感器阵列获取两幅图像的示例性示意图；

图12为光敏传感器阵列获取五幅图像的示例性示意图；

图13为基于光栅滤光的3D识别方法流程图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，这些具体的说明只是让本领域普通技术人员更加容易、清晰理解本发明，而非对本发明的限定性解释；并且只要不构成冲突，本发明中各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

下面通过附图和具体实施例，对本发明的技术方案进行详细描述：

在本实施例中，图1示出了基于光栅滤光的3D识别装置的示例性结构系统100。结构系统100可以包括但不限于光源101、导光板102、滤光光栅103、光敏传感器阵列104、检测电路105、数据处理电路106以及外围设备107。光源101，可以是红外线光源，用于照射被检测物体108，光源的强度和开关可通过数据处理器控制；导光板102，用于光源的扩散，使光线均匀照射到被检测物体108。滤光光栅103，用于滤除干扰光线，实现两个或多个特定方向的光线阵列通过；光敏传感器阵列104，用于接收经过滤光光栅后，两个或多个特定方向的光线阵列；检测电路105，实现对光敏传感器阵列的控制和信号接收，并将模拟信号放大再转换成数字信号；数据处理电路106，可以是一个或多个处理器，接收来自检测电路的数字信号，并转换成两个或多个图像信息，再对两个或多个图像信息进行处理和识别，同时也用于控制光源的强弱和开关；外围设备107，可以包括但不限于蓝牙或Wi-Fi等通信模块，用于将识别到的信息传递到其他设备。

图2示出了滤光光栅的示例性结构，在本实施例中，滤光光栅采用在不透光材料上加工通孔阵列形成滤光作用。通孔阵列可以是单一角度通孔阵列，也可以是两个或多个不同角度的通孔阵列。在本实施例中，通孔阵列有垂直列和倾斜列两个角度，垂直列和倾斜列相邻交替排列，列间距w1为垂直列1与倾斜列1的间距，列间距w2为垂直列1与垂直列2的间距。图3a示出了垂直列的剖面示意图，孔与孔均匀排列，孔间距为a1，孔直径为d1，材料厚度为T；图3b示出了垂直通孔的光路、光敏单元309和数值孔径角α1。图4a示出了倾斜列的剖面示意图，孔与孔均匀排列，孔间距为a2，孔直径为d2，倾斜角为θ，材料厚度为T；图4b示出了倾斜通孔的光路、光敏单元409和数值孔径角α2。数值孔径角由以下公式可得出：Tanα1=d1/T。

光敏单元接收到的光线范围L决定了光敏单元的识别精度，通孔数值孔径角越小，光线范围L越小，光敏单元的识别精度越高。被测物体距离光栅高度h越高，光线范围L相应增大。孔间距a决定了光敏阵列的识别精度，在有效识别距离以内，光线范围L应小于孔间距a。光线范围L由以下公式得出： L=d1+2*h*tanα1。

图5示出了垂直列和倾斜列的组合光路示意图，光线范围L小于孔间距a，图中只示意出光路的中轴线。通过对比被测物体在垂直列和倾斜列图像，得出被测物体的位置差x，由以下三角关系，可得出被测物体高度h：Tanθ=h/x。

图6示出了在本实施例中光敏传感器阵列结构图，光敏传感器阵列由光敏单元组成，光敏单元的排列位置与滤光光栅通孔一一对应。在另一些实施例中，不是所有光敏单元上方都有滤光光栅通孔，如图11中，只在特定位置需要光敏单元接收经过滤光光栅通孔后的光信号。在一些实施例中，为增加识别精度而减小通孔直径d，通孔直径d减小通光量也减小。为补偿通光量，图7示出了通孔群示意图，通孔群为多个通孔相近并列形成，如图中连续3列相邻的垂直孔，再排列连续3列相邻的倾斜孔，以此重复，而根据需要可以选择图中3*3的9个紧邻的通孔作为一个通孔群，在后续处理中按照一个单元统一处理，一个通孔群并不限于3*3的组合，也可以是其他数目的组合。

图8示出了在本实施例中光源801、导光板802与滤光光栅803结合示意图。光源801从导光板802侧面进入导光板介质发生全反射并从另一侧面射出，导光板802通过检测平面部分磨砂破坏全反射条件，使光线从检测平面均匀射出。磨砂面的设计需避开滤光光栅的光路，图9示出了导光板磨砂面示意图。

图10显示了本实施例中光敏传感器阵列、检测电路、数据处理电路以及外围设备的组合结构框图。检测电路1005至少包括阵列控制器1015、地址译码器1025、模拟信号处理单元1035等组成。数据处理电路1006至少包括处理器1016、存储单元1026和图像分组处理单元1036等部分组成。外围设备可以包含但不仅限于显示设备、有线传输接口和无线传输设备。

检测电路1005中阵列控制器1015用于控制地址译码器按照扫描逻辑开启光敏传感器阵列中的光敏单元，以及同步地址译码器1025、模拟信号处理单元1035和数据处理电路1006中存储单元1026的动作，指示存储单元1026按照光敏元地址一一映射地存储经过所述模拟信号处理单元处理过后的光敏元数字信息。地址译码器1025用于按照指定地址开启光敏单元与所述模拟信号处理电路之间的开关。模拟信号处理单元1035用于光敏单元电信号的处理，主要包括但不限于灵敏放大、输出放大、ADC等，最后输出数字图像信号给数据处理电路中存储单元按照光敏单元地址一一映射地存储。

需要指出的，为了减少实际电路连线数量和增加电路集成度，地址译码器1025和模拟信号处理单元1035中的灵敏放大、输出放大、ADC等可以集成到光敏传感器阵列中，采用芯片制作工艺制作。

数据处理电路1006中处理器1016用于对采集的图像数据进行算法分析。存储单元1026用于按照光敏元地址一一映射地存储经过处理后的光敏元数字信号。数字图像分组单元1036用于在完成所有光敏元扫描后，在存储单元1026中读取某些特定光敏单元地址的图像信息，组成一幅图像输出给后续图像分组处理单元用于3D识别。图11示出了在滤光光栅采用图2所示结构时，接收特定垂直方向和倾斜方向的光敏元阵列。取光敏传感器阵列中的垂直孔列所有光敏元图像信息组成图像1，取光敏传感器阵列中的倾斜孔列所有光敏元图像信息组成图像2，其中垂直孔列光敏元的光线由图2所示滤光光栅中的垂直通孔照射，倾斜孔列光敏元的光线由图2所示滤光光栅中的倾斜通孔照射，如此形成了两个不同角度“观察”到的物体图像。如图12所示，在另一个实施例中，通过特定光栅结构后，形成了5个特定的光线照射方向，标号为1的所有光敏元位置为一个光线照射方向，标号为2的所有光敏元位置为另一个光线照射方向，以此类推。取标号为1的所有光敏元，其图像信息组成图像1，以此类推组成了图像2、图像3、图像4和图像5，从5个不同方向“观察”到的物体，如此可以实现对物体更精确细致的识别和定位。尽管在本文中列举了两种图像组合方式，但应当理解，本发明的实施例不限于此两种特定的图像组合方式，根据滤光光栅结构的不同，有更多可选的图像组合方式。

另外，在一些实施例中，数据处理电路1006中的存储单元1026是可以去除的组件，此时光敏元的图像信息按照类似图11或图12所示指定地址逻辑，实时地输出给后续数据处理单元完成物体3D识别，这样可以提高系统响应时间。

在本实施例中，图13示出了基于光栅滤光的3D识别方法流程图。数据处理器首先关闭光源，接收图像分析外部光强，通过外部光强信息调节光源强度，外部光线越强光源可越弱，当外部光强足够强时，可以控制不打开光源从而节省能量。光源照射光线到达物体后发生漫反射，反射光线通过滤光光栅到达光敏传感器阵列，滤光光栅滤除干扰光线实现两个或多个特定方向的光线通过。光敏传感器阵列接收到两个或多个特定方向的光线，并通过控制和检测电路转换成两个或多个图像数字信息。数据处理器对采集的图像信息进行分析，利用双目原理或多图像位置差原理，识别出被测物体的3D结构。被识别的物体3D结构，或转换成相关指令，或直接将图像信息，通过外围设备传输给其他设备。

Claims (14)

1.一种新型的3D物体识别装置，其特征在于：基于滤光光栅和光敏传感器阵列的结合使用，实现了手、身体或其他物体3D结构的识别，并且根据识别到的3D结构信息来实现3D人机交互；

所述装置包括但不仅限于：

光源，用于照射被检测物体；

滤光光栅，用于滤除干扰光线，实现两个或多个方向的光线通过；

光敏传感器阵列，用于接收经过所述滤光光栅后，两个或多个特定方向的光线；

检测电路，用于控制所述光敏传感器阵列，并将所述光敏传感器阵列输出的模拟信号进行放大和转换成数字信号；

数据处理电路，用于对所述数字信号存储成两幅或多幅图像信息，并对所述图像信息进行处理和识别；同时用于实现对所述光源的控制；

外围设备，用于把所述处理和识别后的信息进行显示或传输到其他设备，实现3D交互。

2.根据权利要求1所述的装置，其特征在于，所述被测物体可以是手、身体或其他任何表面漫反射物体。

3.根据权利要求1所述的装置，其特征在于，所述光源可置于检测面板的两侧直接照射被检测物体，或者通过导光板扩散后均匀照射被检测物体，在外部可见光较充足的环境也可以不使用光源；所述光源可以是但不仅限于可见光和红外光，光线强弱可由所述数据处理电路控制。

4.根据权利要求1所述的装置，其特征在于，所述滤光光栅用于实现两个或多个方向的光线通过，形成两个或多个方向的光线阵列，所述两个或多个方向的光线阵列互不重叠，所述方向是指光线的传播方向；所述滤光光栅可以是但不仅限于通孔式光栅、镀膜式光栅。

5.根据权利要求1所述的装置，其特征在于，所述光敏传感器阵列由光敏单元排列形成，用于接收所述两个或多个方向的光线并转换成电信号。

6.根据权利要求5所述的装置，其特征在于，所述光敏单元排列方式与所述两个或多个方向的光线阵列互相对应，互不重叠的光线分别由不同位置的光敏单元接收。

7.根据权利要求1所述的装置，其特征在于，所述检测电路可以包含但不仅限于阵列控制器、模拟信号放大器和模数转换器。

8.根据权利要求1所述的装置，其特征在于，所述数据处理电路可以包含但不仅限于处理器和存储设备。

9.根据权利要求8所述的装置，其特征在于，所述处理器可以是但不仅限于微控制器、数字信号处理器或图像处理器。

10.根据权利要求1所述的装置，其特征在于，所述外围设备可以包含但不仅限于显示设备、有线传输接口和无线传输设备。

11.根据权利要求1所述的装置，其特征在于，所述滤光光栅、光敏传感器阵列以及检测电路和数据处理电路都可采用高度集成工艺。

12.一种新型的3D物体识别方法，其特征在于，所述方法包括：数据处理电路关闭光源，接收首幅图像分析外部光强；

基于外部光强信息打开光源并调节光源强度；

光源照射光线到达物体后发生漫反射，反射光线通过滤光光栅，形成两个或多个方向的光线阵列，到达光敏传感器阵列；

检测电路将光敏传感器阵列信号放大，并转换成数字信号输出给数据处理电路；

数据处理电路将两个或多个方向的光线阵列转换成两个或多个图像信息，并用图像算法对图像信息进行分析，识别出被测物体的3D结构。

13.根据权利要求12所述的方法，其特征在于，结合不同结构的滤光光栅，数据处理电路可将某些特定位置光敏单元组合转换成一幅图像，而将另一些特定位置光敏单元组合转换成另一幅图像。

14.根据权利要求12所述的方法，其特征在于，所述图像算法，可以是但不仅限于双目图像处理算法，对图像进行两两分析计算出物体的3D结构信息。