CN111614885A - 一种镜头模组 - Google Patents

Abstract

本申请公开了一种镜头模组，涉及人工智能中计算机视觉领域。该镜头模组包括：图像传感器、图像处理器、存储器和寄存器；其中，所述图像传感器，与所述图像处理器连接，用于采集待处理图像；所述图像处理器包括AI芯片，用于接收所述待处理图像，并基于所述AI芯片，根据所述待处理图像生成所述待处理图像的分析结果；所述存储器与所述图像处理器连接，用于存储所述AI芯片的图像数据库和镜像文件；所述寄存器，与所述图像处理器连接，用于进行数据操作，以运行所述AI芯片的AI算法。通过在镜头模组中集成AI芯片，寄存器以及存储有AI芯片所需的数据库的存储器，使得镜头具备了AI分析能力，提高了镜头的应用范围和便捷性。

Description

一种镜头模组

技术领域

本申请涉及人工智能中计算机视觉领域，尤其涉及一种镜头模组。

背景技术

镜头或者摄像头，是一种图像采集设备，被广泛应用于各种行业的安全监控中。

现有的安防镜头，仅用于实时采集图像和上传所采集的图像，功能单一，需要配置相应的后台服务器，或者由人工操作方式，以进行采集图像的识别或分析，便捷性较差。

发明内容

本申请提供了一种镜头模组，具备AI分析能力，可实现多种场景下的图像识别，提高了镜头的应用范围和便捷性。

根据本申请的一方面，提供了一种镜头模组，包括：图像传感器、图像处理器、存储器和寄存器；

其中，所述图像传感器，与所述图像处理器连接，用于采集待处理图像；所述图像处理器包括人工智能AI芯片，用于接收所述待处理图像，并基于所述AI芯片，根据所述待处理图像生成所述待处理图像的分析结果；所述存储器与所述图像处理器连接，用于存储所述AI芯片的图像数据库和镜像文件；所述寄存器，与所述图像处理器连接，用于进行数据操作，以运行所述AI芯片的AI算法。

可选地，所述图像传感器包括RGB传感器和IR传感器中的至少一项。

可选地，所述图像处理器还包括光敏传感器；所述光敏传感器用于获取环境光亮度；所述镜头模组还包括：补光灯；补光灯电路，与所述光敏传感器和所述补光灯连接，用于根据所述环境光亮度调整补光灯的亮度。

可选地，所述图像传感器的镜头的光学总长至少为7.8mm，畸变率小于5％，对角视场角、水平视场角和垂直视场角分别为73°、65°和40°，分辨率至少为200W。

可选地，图像传感器包括RGB传感器和IR传感器，所述RGB传感器和IR传感器的传感器芯片为IMX307或者IMX327。

可选地，所述寄存器为1GB或者2GB的DDR4寄存器。

可选地，所述图像处理器的AI芯片为海思Hi3516DV300。

可选地，所述存储器为大小至少为8GB的存储器。

可选地，所述图像处理器的时钟芯片的时钟精度至少为20ppm。

可选地，所述镜头模组还包括：

加密电路，与所述图像传感器的AI芯片连接，用于为所述AI芯片的软件开发工具包和所述AI算法进行加密。

可选地，所述镜头模组还包括：

扩展接口；其中，所述扩展接口包括以下至少一项：

音频扩展接口，与所述图像处理器连接，用于输入和输出音频数据；Wi-Fi和网络扩展接口，与所述图像处理器和设定服务器连接，用于扩展所述AI芯片的功能；显示扩展接口，与所述图像处理器和显示器连接，用于将所述图像处理器的分析结果和/或所述待处理图像发送至所述显示器，以进行显示；外置存储接口，与所述图像处理器和预设外置存储器连接，用于扩大所述图像处理器的内存。

可选地，所述镜头模组还包括：

USB接口，与所述图像处理器连接，用于烧写镜头模组的镜像文件，为镜头模组供电，以及输出所述AI芯片的分析结果。

根据本申请的另一方面，提供了一种电子设备，包括本申请任意实施例提供的镜头模组。

根据本申请的技术方案，通过在镜头模组中设置包括AI芯片的图像处理器、存储有该AI芯片的数据库的存储器以及用于支持AI芯片的AI算法运行的寄存器，实现了将AI分析功能集成于镜头模组上，提高了镜头模组的应用范围和便捷性，同时简化了基于该镜头模组的二次开发。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的镜头模组的结构示意图；

图2是根据本申请第二实施例的镜头模组的结构示意图；

图3是根据本申请第三实施例的镜头模组的结构示意图；

图4是根据本申请第三实施例的镜头模组的电路板的TOP层的结构示意图；

图5是根据本申请第三实施例的镜头模组的电路板的BOP层的结构示意图；

图6是根据本申请第三实施例的镜头模组的结构示意图；

图7是根据本申请第四实施例的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

镜头或者摄像头，是一种图像采集设备，被广泛应用于各种行业的安全监控中，如支付行业、交通行业等，可以设置于商场、银行、路口等区域，还可以设置于支付终端上。

一个示例中，镜头可以是任意一种图像采集传感器，如RGB传感器、IR传感器等，通过镜头采集其视野范围内的图像或者视频，将该图像或者视频发送至相应的电子设备，如电脑或者服务器，以便于进行图像或视频的显示、分析等操作。

然而，上述镜头仅可以进行图像的采集，功能单一，导致镜头的应用范围受限，且便捷性较差。

本申请的发明人在经过创造性地劳动之后，得到了本申请的技术方案，本申请将AI(Artificial Intelligence，人工智能)芯片集成于镜头模组中，使得镜头模组具备了AI分析能力，提高了镜头模组的应用范围和便捷性，简化了镜头模组的二次开发。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1是根据本申请第一实施例的镜头模组的结构示意图，如图1所示，本实施例提供的镜头模组包括：图像传感器110、图像处理器120、存储器130和寄存器140。

其中，图像传感器110，与图像处理器120连接，用于采集待处理图像；图像处理器120包括AI芯片121，用于接收所述待处理图像，并基于AI芯片121，根据所述待处理图像生成所述待处理图像的分析结果；存储器130与图像处理器120连接，用于存储AI芯片121的图像数据库和镜像文件；寄存器140，与图像处理器120连接，用于进行数据操作，以运行AI芯片121的AI算法。

具体的，该镜头模组可以是用于安防的镜头，也可以是用于支付的设置于支付终端的镜头。图像传感器110的个数可以是一个或者多个，如图像传感器110可以是呈阵列排布的传感器，以获取视野范围更大的待处理图像。图像处理器120又可以称为控制芯片、主控芯片或者控制器等，包括AI芯片121、输入接口和输出接口，输入接口用于获取图像传感器110采集的待处理图像，AI芯片用于对该待处理图像进行AI分析，从而生成该待处理图像的分析结果，并通过输出接口将分析结果输出至设定电子设备或者显示器中。AI芯片中的AI算法可以是任意一种或多种现有AI算法的组合。该分析结果可以是人脸识别结果、身份验证结果、驾驶行为分析结果、姿态分析、物体识别结果等。

具体的，存储器130通过图像处理器120的SDIO接口(Secure Digital Input andOutput，安全数字输入输出接口)与图像处理器120进行数据交互，存储器130中存储有AI芯片121的数据库，如人脸数据库、物体数据库、姿态数据库等等，存储器130中还存储由系统镜像文件。

具体的，寄存器140为整个镜头模组提供了运行内存，以支持AI芯片121中相关算法的运行。

可选地，图像传感器110包括RGB传感器和IR传感器中的至少一项。其中，RGB传感器又称为色彩传感器、颜色识别传感器或者颜色传感器，基于RGB(Red Green Blue，红绿蓝)三基色原理，可以采集或生成彩色图像。IR(Infrared Radiation，红外线)传感器又称为红外传感器、红外接近传感器，通过光电二极管探测目标发射回来的红外信号，从而生成红外图像。当然，也可以采用其他图像传感器。

具体的，RGB传感器和IR传感器可以是相邻设置或者背靠背设置，RGB传感器和IR传感器的个数可以是一个，也可以是多个。

具体的，镜头模组还包括串行通讯端口(Cluster Communication Port，COM口或串口)，用于烧写程序，以对AI芯片121或者其他模块进行开发和调试，还可以通过COM口实时观察整个镜头模组的运行状态。镜头模组还包括电源驱动电路，用于连接外部电源，以为整个镜头模组供电。

进一步地，镜头模组还包括降噪电路，用于对待处理图像进行降噪，并将降噪处理后的待处理图像发送至AI芯片121，从而提高AI芯片识别的准确度。

具体的，该镜头模组可以应用于多种场景下，如人脸识别、驾驶行为分析、物体识别等。在具体使用时，可以将镜头模组设置于设定支架或者壳体内，还可以连接外接显示器或者其他输出装置，以显示或者输出镜头模组的分析结果。

在本实施例中，通过在镜头模组中设置包括AI芯片的图像处理器、存储有该AI芯片的数据库的存储器以及用于支持AI芯片的AI算法运行的寄存器，实现了将AI分析功能集成于镜头模组上，提高了镜头模组的应用范围和便捷性，同时简化了基于该镜头模组的二次开发。

图2是根据本申请第二实施例的镜头模组的结构示意图，实施例是在第一实施例的基础上，对各个组件进行细化，如图2所示，本镜头模组200包括：RGB传感器211、IR传感器212、补光灯214、补光电路215、图像处理器220、存储器230、寄存器240和加密电路250，其中，图像处理器220包括AI芯片221、光敏传感器222和时钟芯片223。

其中，光敏传感器222用于获取环境光亮度；补光灯电路215，与光敏传感器222和补光灯214连接，用于根据所述环境光亮度调整补光灯214的亮度；RGB传感器211和IR传感器212用于采集待处理图像，RGB传感器211和IR传感器212的传感器芯片可以为IMX307或者IMX327，RGB传感器211和IR传感器212的镜头的光学总长至少为7.8mm，畸变率小于5％，对角视场角、水平视场角和垂直视场角分别为73°、65°和40°，分辨率至少为200W，从而使得镜头具备较大的视野范围，提高了所采集的待处理图像的分辨率，同时减小了图像发送畸变的几率，为后续的图像分析或处理提供了良好的基础；AI芯片221可以为海思Hi3516DV300，海思Hi3516DV300芯片可以适应各种复杂光线场景，适用温度范围广，且具备较高性能的数据处理能力，易于扩展；时钟芯片223的时钟精度至少为20ppm，采用高精度的时钟信号，提高了镜头模组各种事件的时间精度，进而提高了系统的可靠性和精度；存储器230为大小至少为8GB的存储器，采用较大的内存，从而可以有效支持AI芯片221的数据库的存储，以及系统镜像文件的存储，从而使得镜头模组可以应用于多种场景，提高了镜头模组的应用范围；寄存器240为1GB或者2GB的DDR4寄存器，采用较大的运行内存，为AI算法的运行提供了硬件基础。

具体的，RGB传感器211所采集的待处理图像为彩色图像，IR传感器212采集的待处理图像为红外图像，通过设置两种不同类型的双目图像传感器进行待处理图像的采集，提高了镜头模组的图像采集能力，同时通过多维度采集图像为后续的AI分析提供了丰富的图像基础。

具体的，RGB传感器211和IR传感器212通过MIPI(Mobile Industry ProcessorInterface，移动产业处理器接口)与图像处理器220连接，用于分别将所采集的彩色图像和红外图像发送至图像处理器220，以使图像处理器220的AI芯片221对该彩色图像和红外图像，基于AI算法进行AI分析。

具体的，补光灯214为LED(Light Emitting Diode，发光二极管)灯，可以包括白光补光灯和红外补光灯，以分别为RGB传感器211和IR传感器212补光。光敏传感器222可以是任意一种光敏传感器，如光敏电阻，可以根据周边环境光的强度而输出不同的电信号，如数字信号，从而补光电路215可以根据该电信号控制补光灯214的亮度，以实现根据环境光亮度自动调整图像传感器RGB传感器211和IR传感器212的补光亮度，从而改善RGB传感器211和IR传感器212的拍摄环境，提高所拍摄图像的清晰度。

具体的，采用IMX307或者IMX327作为图像传感器RGB传感器211和IR传感器212的芯片，提高了所采集的图像的分辨率，同时提高了图像传感器的夜视能力。

可选地，镜头模组200还包括：

加密电路250，与图像传感器220的AI芯片221连接，用于为AI芯片221的软件开发工具包和所述AI算法进行加密。

通过对软件以及算法进行加密，提高了系统的安全性和防篡改性。

可选地，镜头模组200还包括：扩展接口；其中，所述扩展接口包括以下至少一项：

音频扩展接口，与所述图像处理器连接，用于输入和输出音频数据；Wi-Fi和网络扩展接口，与所述图像处理器和设定服务器连接，用于扩展所述AI芯片的功能；显示扩展接口，与所述图像处理器和显示器连接，用于将所述图像处理器的分析结果和/或所述待处理图像发送至所述显示器，以进行显示；外置存储接口，与所述图像处理器和预设外置存储器连接，用于扩大所述图像处理器的内存。

通过为镜头模组200增加各种扩展接口，提高系统的可扩展性。

具体的，基于音频扩展接口，可以通过对AI芯片的调试或开发，增加AI芯片的语音识别功能；基于Wi-Fi和网络扩展接口，可以外接其他平台或服务器，从而使得镜头模组实现更为复杂的AI分析，提高镜头模组的应用范围；通过显示扩展接口，可以提高镜头模组的可视性；通过外置存储接口，可以扩大镜头模组的数据储存量。

进一步地，还可以预留其他扩展接口，以便于根据需求对镜头模组进行扩展。

可选地，镜头模组200还包括：

USB接口，与所述图像处理器连接，用于烧写镜头模组的镜像文件，为镜头模组供电，以及输出所述AI芯片的分析结果。

通过增加USB接口，以实现数据的快速传输，提高系数据传输的效率。

在本实施例中，采用RGB-IR双目传感器进行图像采集，提高了采集图像的质量；同时，基于光敏传感器、补光灯和补光电路实现了图像传感器的自动补光，进一步提高了采集图像的清晰度；通过设置较大的存储器和寄存器，为AI算法的运行提供了硬件基础，提高了AI算法运行的效率；基于海思Hi3516DV300芯片实现AI分析功能，应用范围广，可使用各种复杂环境，且数据处理效率高。

本申请提供一种镜头模组，应用于监控技术领域中的安防镜头技术领域，在镜头中增加了AI芯片，从而使得镜头具备了AI分析能力，提高了镜头的应用范围，同时，提高了镜头模组的灵活性和便捷性。

图3是根据本申请第三实施例的镜头模组的结构示意图，如图3所示，该镜头模组具体结构为：

采用海思Hi3516DV300芯片为控制芯片，具有1.0Tops的算力，数据处理能力较强；图像传感器包括一路RGB传感器和一路IR传感器，RGB传感器和IR传感器采用IMX307或者IMX327芯片，镜头采用光学总长7.8mm，畸变率小于5％，视场角(对角/水平/垂直)分别为73°、65°和40°，分辨率为200W，RGB传感器和IR传感器与控制芯片的MIPI接口和I2C接口相连接；控制芯片的I2C对RGB传感器和IR传感器进行初始化，RGB传感器和IR传感器进行图像采集，并将所采集的图像通过MIPI接口传输给控制芯片，控制芯片可对采集的图像进行AI分析，并输出分析结果；补光模块(RGB IR LED)与控制芯片的PWM管脚和ADC管脚连接，控制芯片的ADC管脚为光敏传感器输出的环境光亮度，从而可以判断环境光亮度来调节补光模块的白色补光和红色补光的强度，从而保证采集图像的清晰度；镜头模组可通过COM口进行调试和开发，通过COM口实时观察模型运行状态；镜头模组得镜像文件可通过USB口快速烧写，同时为整个模组供电，USB接口将模组的AI分析结果和/或采集的图像传输给第三方处理器或终端，使得用户只需要处理USB传输的数据就可进行二次开发，而不需要详细了解整个模组内部处理机制，简化了二次开发；镜头模组根据应用场景采用1GB或者2GB的DDR4；为保护内部算法，镜头模组增加了加密功能(Secure IC)，保证了整个模组软件SDK、算法的使用安全性；镜头模组内置8G的存储空间，存储器EMMC与控制芯片的SDIO连接进行数据交互，可支持5W人脸库，适合使用与小中型应用场景；镜头模组集成了RTC功能，能记录事件的发生时间，精度可达20ppm；镜头模组还保留了很多扩展接口，如：音频接口、GPIO、2路SDIO、网络接口、显示接口等，为以后多场景的应用提供了扩展功能。镜头模组的电路板图如图4和图5所示，镜头模组的结构如图6所示。

图4是根据本申请第三实施例的镜头模组的电路板的TOP层的结构示意图，图5是根据本申请第三实施例的镜头模组的电路板的BOP层的结构示意图，图6是根据本申请第三实施例的镜头模组的结构示意图。结合图4、5和6可知，本申请提供的镜头模组的CPU(控制芯片或图像处理器)和存储器布局于电路板的中间部分，寄存器TOP与BOT层各放一个，方便硬件最小系统的布线，保证整个硬件的稳定性；RGB传感器与IR传感器设置于电路板两边，实现双目功能，镜头(图像传感器)与整个模组分离，从而使得镜头模组只需要更换镜头就可满足RGB+RGB，RGB+IR，IR+IR的各种双目镜头的组合，使得在不同的场合缩短了开发周期、降低开发成本；镜头模组尺寸小巧灵活(长*宽*高70mm*20mm*11mm)，受空间限制极小，并采用标准的安防M2孔径结构定位孔，使得模组可灵活集成到各种应用场景。补光板采用铝基板的材质，TOP层将补光电路全部布局布线、BOT层与主板的CPU之间夹导热金属片，将CPU热量通过补光板散出去。模组通过USB接口供电，USB接口进行了防静电干扰处理；RGB与IR电源采用DC-DC与LDO相结合的方式，保证了RGB与IR采集的图像质量，同时也满足了低功耗设计。

根据本申请的实施例，本申请还提供了一种电子设备。

图7是根据本申请第四实施例的电子设备的框图，如图7所示，该电子设备包括：镜头模组710、输入装置720和输出装置730。

其中，镜头模组710为本申请任意实施例提供的镜头模组，输入装置720可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

具体的，电子设备还可以包括镜头壳体和镜头支架。

根据本申请实施例的技术方案，通过在镜头模组中设置包括AI芯片的图像处理器、存储有该AI芯片的数据库的存储器以及用于支持AI芯片的AI算法运行的寄存器，实现了将AI分析功能集成于镜头模组上，提高了镜头模组的应用范围和便捷性，同时简化了基于该镜头模组的二次开发。上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (13)

1.一种镜头模组，包括：图像传感器、图像处理器、存储器和寄存器；

其中，所述图像传感器，与所述图像处理器连接，用于采集待处理图像；

所述图像处理器包括人工智能AI芯片，用于接收所述待处理图像，并基于所述AI芯片，根据所述待处理图像生成所述待处理图像的分析结果；

所述存储器与所述图像处理器连接，用于存储所述AI芯片的图像数据库和镜像文件；

所述寄存器，与所述图像处理器连接，用于进行数据操作，以运行所述AI芯片的AI算法。

2.根据权利要求1所述的镜头模组，其中，所述图像传感器包括RGB传感器和IR传感器中的至少一项。

3.根据权利要求2所述的镜头模组，其中，所述图像处理器还包括光敏传感器；

所述光敏传感器用于获取环境光亮度；

所述镜头模组还包括：

补光灯；

补光灯电路，与所述光敏传感器和所述补光灯连接，用于根据所述环境光亮度调整补光灯的亮度。

4.根据权利要求2所述的镜头模组，其中，所述图像传感器的镜头的光学总长至少为7.8mm，畸变率小于5％，对角视场角、水平视场角和垂直视场角分别为73°、65°和40°，分辨率至少为200W。

5.根据权利要求2所述的镜头模组，其中，图像传感器包括RGB传感器和IR传感器，所述RGB传感器和IR传感器的传感器芯片为IMX307或者IMX327。

6.根据权利要求1所述的镜头模组，其中，所述寄存器为1GB或者2GB的DDR4寄存器。

7.根据权利要求1所述的镜头模组，其中，所述图像处理器的AI芯片为海思Hi3516DV300。

8.根据权利要求1所述的镜头模组，其中，所述存储器为大小至少为8GB的存储器。

9.根据权利要求1所述的镜头模组，其中，所述图像处理器的时钟芯片的时钟精度至少为20ppm。

10.根据权利要求1所述的镜头模组，还包括：

加密电路，与所述图像传感器的AI芯片连接，用于为所述AI芯片的软件开发工具包和所述AI算法进行加密。

11.根据权利要求1-10任一项所述的镜头模组，还包括：扩展接口；

其中，所述扩展接口包括以下至少一项：

音频扩展接口，与所述图像处理器连接，用于输入和输出音频数据；

Wi-Fi和网络扩展接口，与所述图像处理器和设定服务器连接，用于扩展所述AI芯片的功能；

显示扩展接口，与所述图像处理器和显示器连接，用于将所述图像处理器的分析结果和/或所述待处理图像发送至所述显示器，以进行显示；

外置存储接口，与所述图像处理器和预设外置存储器连接，用于扩大所述图像处理器的内存。

12.根据权利要求1-10任一项所述的镜头模组，还包括：

USB接口，与所述图像处理器连接，用于烧写镜头模组的镜像文件，为镜头模组供电，以及输出所述AI芯片的分析结果。

13.一种电子设备，包括权利要求1-12任一项所述的镜头模组。

Images