CN117676097A - 基于虚拟isp的三目摄像头拼接显示装置及方法 - Google Patents

Abstract

本发明公开基于虚拟ISP的三目摄像头拼接显示装置及方法，装置包括第一摄像头、第二摄像头、第三摄像头、SOC系统及显示屏；SOC系统包括虚拟ISP模块、人脸识别模块、图像拼接模块、图像编码模块及图像显示模块，第一摄像头、第二摄像头、第三摄像头分别连接SOC系统的虚拟ISP模块，虚拟ISP模块连接人脸识别模块及图像拼接模块，图像拼接模块连接图像编码模块，图像编码模块连接图像显示模块，图像显示模块连接显示屏。本发明通过图像信号处理器对采集到的图像进行增强处理，三个摄像头采集的三路图像数据首先被ISP独立增强，其中一路经过优化处理后直接用于人脸识别；另外两路图像在增强后执行拼接操作，形成宽广的视野。

Description

基于虚拟ISP的三目摄像头拼接显示装置及方法

技术领域

本发明涉及摄像头图像处理的技术领域，特别是指一种基于虚拟ISP的三目摄像头拼接显示装置及方法。

背景技术

在当前智能门锁市场，采用IR摄像头进行人脸识别与RGB摄像头实现猫眼功能的双目人脸识别模块已经成为了主流技术。但是，采用IR摄像头进行人脸识别与RGB摄像头实现猫眼功能的双目人脸识别模块的视野角度相对有限，尚未能够同时满足全面监控门前区域以及检测门下是否有人或包裹等需求。

面对市场竞争的不断加剧，虽然三目摄像头方案呈现出解决这些问题的潜力，但在成本控制、系统稳定性和用户体验方面的挑战依然存在，需要进一步的技术和设计创新来克服。

有鉴于此，本发明人针对现有三目镜头设计上未臻完善所导致的诸多缺失及不便而深入构思，且积极研究改良试做而开发出本发明。

发明内容

本发明的目的在于克服现有技术的不足，提供一种成本相对较低，可实现广域监控的基于虚拟ISP的三目摄像头拼接显示装置及方法，提高智能门锁的监控效果及操作便利性，提升用户体验。

为了达成上述目的，本发明的解决方案是：

一种基于虚拟ISP的三目摄像头拼接显示装置，其包括第一摄像头、第二摄像头、第三摄像头、SOC系统及显示屏；SOC系统包括虚拟ISP模块、人脸识别模块、图像拼接模块、图像编码模块及图像显示模块，第一摄像头、第二摄像头、第三摄像头分别连接SOC系统的虚拟ISP模块，虚拟ISP模块连接人脸识别模块及图像拼接模块，图像拼接模块连接图像编码模块，图像编码模块连接图像显示模块，图像显示模块连接显示屏。

进一步，第一摄像头为IR摄像头，其具有连接至虚拟ISP模块的接口，该第一摄像头获取的第一路图像经过虚拟ISP模块进行ISP处理后被发送至人脸识别模块用于进行人脸识别；第二摄像头及第三摄像头分别为RGB摄像头，第二摄像头及第三摄像头分别具有连接至虚拟ISP模块的接口，第二摄像头获取第二路图像，第三摄像头获取第三路图像，第二路图像及第三路图像经过虚拟ISP模块进行ISP处理后发送至图像拼接模块进行拼接，合成为指定分辨率的2宫格图像，拼接后的2宫格图像经过图像编码模块编码后，发送至图像显示模块并通过显示屏显示。

进一步，所述第一摄像头、第二摄像头及第三摄像头的接口为MIPI 接口。

进一步，所述虚拟ISP模块根据每个摄像头中断来响应摄像头的新帧数据，动态分配ISP处理时间，并进行ISP处理，包括调整曝光，平衡色彩，降低噪声操作。

进一步，所述虚拟ISP模块包括图像捕获，图像处理及图像矫正。

进一步，所述虚拟ISP模块处理图像的过程为：第一摄像头、第二摄像头、第三摄像头的Sensor通过MIPI与虚拟ISP模块对接，将RAW图像传递给图像捕获，图像捕获计算出RAW图像的自动曝光、自动白平衡及自动对焦；然后图像捕获将RAW图像存储于DDR缓存中，图像处理从DDR缓存中读取RAW图像，并进行颜色空间转换和图像质量调整，并将YUV图像保存到DDR缓存中；图像矫正从DDR缓存中读取YUV图像，并进行图像畸变矫正，图像旋转处理，经过虚拟ISP模块处理后，分别输出IMAGE0、IMAGE1、IMAGE2，对应于第一摄像头、第二摄像头和第三摄像头。

进一步，所述图像拼接模块基于VPSS进行图像旋转，图像缩放和图像拼接处理，经虚拟ISP模块处理后的IMAGE1、IMAGE2具有不同的分辨率，IMAGE1、送入GRP2-CHO中，配置预设的宽和高，并进行旋转和缩放后作为底图，IMAGE2送入GRP1-CHO，配置图像缩放参数，并制定偏移位置作为叠加图，配置GRP1-CHO实现底图和叠加图合并，从而实现将IMAGE1、IMAGE2拼接为预设尺寸的拼接图像。

一种基于虚拟ISP的三目摄像头拼接显示方法，其包括以下步骤：

步骤S1：SOC系统初始化，虚拟ISP模块初始化，VPSS初始化，分配缓存区；

步骤S2：配置第一摄像头、第二摄像头及第三摄像头的接口，配置中断及中断处理函数接口，本实施例中，接口为MIPI接口，配置中断及中断处理函数接口；

步骤S3：配置VI和VPSS为OFFLINE模式；

步骤S4：采集第一摄像头、第二摄像头及第三摄像头的第一路图像、第二路图像及第三路图像发送给虚拟ISP模块，由虚拟ISP模块分时进行ISP处理，ISP处理包括ISP_FE，ISP_BE，ISP_CHN等部分，第一路图像经ISP处理后输出IMAGE0，第二路图像经ISP处理后输出IMAGE1，第三路图像经ISP处理后输出IMAGE2；

步骤S5：IMAGE0发送给人脸识别模块，用以人脸检测和识别；

步骤S6：IMAGE1和IMAGE2经过图像拼接模块进行图像拼接处理，合并为1088x1920的拼接图像；

步骤S7，将拼接图像经过图像编码模块，编码为MJPEG图像，并完成图像显示。

进一步，步骤S4中，虚拟ISP模块的具体流程为：

步骤S41、初始化虚拟ISP模块；

步骤S42、配置第一摄像头、第二摄像头及第三摄像头中断；

步骤S43、判断第一摄像头、第二摄像头及第三摄像头是否中断；若摄像头中断，则进入步骤S44和步骤S45，若摄像头未中断，则等待摄像头中断；

步骤S44、存储上下文到DDR0和DDR1双缓存。

步骤S45、处理第一摄像头、第二摄像头及第三摄像头，包括读帧、计算AE/AWB、存储RAW10；

步骤S46、ISP_FE（RAW10 to YUV）捕获图像；

步骤S47、ISP_BE进行图像处理；

步骤S48、ISP_CHN进行图像矫正；

步骤S49、存储图像到DDR0和DDR1双缓存。

进一步，所述步骤S6中，图像拼接模块的具体流程为：

步骤S61、初始化VPSS；

步骤S62、配置VI和VPSS离线模式；

步骤S63、捕获IMAGE1，捕获IMAGE2；

步骤S64、配置GRP2 CHN0处理IMAGE1，配置GRP1 CHN1处理IMAGE2；

步骤S65、旋转并缩放IMAGE1作为底图，对IMAGE2进行缩放并指定偏移位置作为叠加图；

步骤S66、将底图和叠加图拼接为预设尺寸的拼接图像；

步骤S67、将拼接图像编码为MJPEG。

采用上述结构后，本发明基于虚拟ISP的三目摄像头拼接显示装置及方法通过图像信号处理器（ISP）对采集到的图像进行增强处理。三个摄像头采集的三路图像数据首先被ISP独立增强，其中一路经过优化处理后直接用于人脸识别；另外两路图像在增强后执行拼接操作，形成宽广的视野。最终，拼接后的图像通过UVC（USB视频类）等协议输出，实现外部显示设备的即插即用视频显示功能。

本发明通过软件优化实现广域监控，无需重大硬件改造，提升了用户体验同时，有效控制了成本；本发明采用经济型三目摄像头，避免了昂贵的硬件升级；本发明通过软件优化实现了对门前区域的全面监控，可提升智能门锁的监控效果和操作便利性。

附图说明

图1为本发明基于虚拟ISP的三目摄像头拼接显示装置的总体模块图。

图2为本发明基于虚拟ISP的三目摄像头拼接显示方法的总体流程图。

图3为本发明虚拟ISP模块的流程图。

图4为本发明虚拟ISP模块的模块图。

图5为本发明图像拼接模块进行图像拼接的流程图。

图6为本发明图像拼接模块的模块图。

具体实施方式

为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。

一般用于智能门锁人脸识别设备的SOC系统中包含ISP和VPSS处理模块。基于此，本发明采取了创新的虚拟ISP策略，使得虚拟ISP模块能够动态地处理来自三路摄像头的图像输入，这一设计在降低成本的同时，确保了每一路图像的实时处理。

ISP即图像信号处理器，是一种专用处理模块，用于对从数字相机传感器（如CMOS或CCD）捕获的原始图像数据进行处理和优化，以生成高质量的图像，包括调整曝光，平衡色彩，降低噪声，增强细节等一系列复杂的图像处理任务，最终确保输出图像在显示或打印时具有良好的视觉效果。在智能设备中，ISP对于实现高效的图像捕捉和处理，尤其是在需要高精度如人脸识别的应用中，起着至关重要的作用。

VPSS（Video Processing Subsystem）是一种视频处理子系统，主要负责处理视频流数据，它可以进行视频的缩放、格式转换、帧率调整和多路视频流的合成等操作，以适应不同的显示和存储需求，常用于视频监控、会议系统和多媒体应用中，以提供高效且灵活的视频处理功能。VPSS 组（GRP）的通道（CHO）分为 2 种：物理通道和扩展通道，VPSS 硬件提供多个物理通道，每个通道具有缩放、裁剪等功能，扩展通道具备缩放功能，它通过绑定物理通道，将物理通道输出作为自己的输入，把图像缩放成用户设置的目标分辨率输出。

如图1及图2所示，本发明揭示了一种基于虚拟ISP的三目摄像头拼接显示装置，其包括第一摄像头、第二摄像头、第三摄像头、SOC系统及显示屏；SOC系统包括虚拟ISP模块、人脸识别模块、图像拼接模块、图像编码模块及图像显示模块，第一摄像头、第二摄像头、第三摄像头分别连接SOC系统的虚拟ISP模块，虚拟ISP模块连接人脸识别模块及图像拼接模块，图像拼接模块连接图像编码模块，图像编码模块连接图像显示模块，图像显示模块连接显示屏。其中：

第一摄像头为IR摄像头，其具有连接至虚拟ISP模块的接口，该接口可以是MIPICSI-2（Mobile Industry Processor Interface Camera Serial Interface 2）或其他适合的接口标准；该第一摄像头获取的第一路图像经过虚拟ISP模块进行ISP处理后被发送至人脸识别模块用于进行人脸识别。

第二摄像头及第三摄像头分别为RGB摄像头，第二摄像头及第三摄像头分别具有连接至虚拟ISP模块的接口，该接口可以是MIPI CSI-2（Mobile Industry ProcessorInterface Camera Serial Interface 2）或其他适合的接口标准；第二摄像头获取第二路图像，第三摄像头获取第三路图像，第二路图像及第三路图像经过虚拟ISP模块进行ISP处理后发送至图像拼接模块进行拼接，合成为指定分辨率的2宫格图像，拼接后的2宫格图像经过图像编码模块编码后，通过UVC协议发送至图像显示模块并通过显示屏显示。

虚拟ISP模块（virtual ISP）根据每个摄像头中断来响应摄像头的新帧数据，动态分配ISP处理时间，并进行ISP处理，包括调整曝光，平衡色彩，降低噪声等操作。虚拟ISP模块分为3部分，图像捕获（ISP_FE），图像处理（ISP_BE)及图像矫正（ISP_CHN）。

如图2所示，虚拟ISP模块处理图像的过程为：第一摄像头、第二摄像头、第三摄像头的Sensor通过MIPI与虚拟ISP模块对接，将RAW图像传递给ISP_FE，ISP_FE会计算出AE（自动曝光）、AWB（自动白平衡）、AF（自动对焦）等统计值；然后ISP_FE将RAW图像存储于DDR缓存中，ISP_BE从DDR缓存中读取RAW图像，并进行颜色空间转换和图像质量调整等操作，并将YUV图像保存到DDR缓存中；图像矫正（ISP_CHN）从DDR缓存中读取YUV图像，并进行图像畸变矫正，图像旋转等处理。在不同摄像头输入之间转换时，虚拟ISP模块需要保存和恢复的图像处理参数和状态，采用双缓存技术（DDR0和DDR1），优化上下文切换，减少处理延迟。经过虚拟ISP模块处理后，分别输出IMAGE0、IMAGE1、IMAGE2对应于第一摄像头、第二摄像头和第三摄像头。

如图3所示，所述图像拼接模块基于VPSS进行图像旋转，图像缩放和图像拼接处理，经虚拟ISP模块处理后的IMAGE1、IMAGE2具有不同的分辨率，假设IMAGE1的分辨率为1600×1200像素，IMAGE2的分辨率为1280×720像素，将VI和VPSS分别配置为OFFLINE（离线）模式，第二路图像送入GRP2-CHO中，配置宽为1920像素，高为1080像素进行旋转和缩放后，作为底图，第三路图像送入GRP1-CHO，配置图像缩放参数，并制定偏移位置作为叠加图，配置GRP1-CHO，实现底图和叠加图合并，从而实现将IMAGE1和IMAGE2拼接为1088×1920的拼接图像。其中，IMAGE0、IMAGE1、IMAGE2的分辨率是根据第一摄像头、第二摄像头、第三摄像头的配置而定，合成的拼接图像尺寸可预先设定。

如图1至图6所示，本发明还揭示了一种基于虚拟ISP的三目摄像头拼接显示方法，其包括以下步骤：

步骤S1：SOC系统初始化，虚拟ISP模块初始化，VPSS初始化，分配缓存区。

步骤S2：配置第一摄像头、第二摄像头及第三摄像头的接口，配置中断及中断处理函数接口，本实施例中，接口为MIPI接口，配置中断及中断处理函数接口。

步骤S3：配置VI和VPSS为OFFLINE模式。

步骤S4：采集第一摄像头、第二摄像头及第三摄像头的第一路图像、第二路图像及第三路图像发送给虚拟ISP模块，由虚拟ISP模块分时进行ISP处理，ISP处理包括ISP_FE，ISP_BE，ISP_CHN等部分，第一路图像经ISP处理后输出IMAGE0，第二路图像经ISP处理后输出IMAGE1，第三路图像经ISP处理后输出IMAGE2。

步骤S5：IMAGE0发送给人脸识别模块，用以人脸检测和识别。

步骤S6：IMAGE1和IMAGE2经过图像拼接模块进行图像拼接处理，合并为1088x1920的拼接图像。

步骤S7，将拼接图像经过图像编码模块，编码为MJPEG图像，并通过UVC协议完成图像显示。

如图3所示，步骤S4中，虚拟ISP模块的具体流程为：

步骤S41、初始化虚拟ISP模块；

步骤S42、配置第一摄像头、第二摄像头及第三摄像头中断；

步骤S43、判断第一摄像头、第二摄像头及第三摄像头是否中断；若摄像头中断，则进入步骤S44和步骤S45，若摄像头未中断，则等待摄像头中断；

步骤S44、存储上下文到DDR0和DDR1双缓存;

步骤S45、处理第一摄像头、第二摄像头及第三摄像头，包括读帧、计算AE/AWB、存储RAW10；

步骤S46、ISP_FE（RAW10 to YUV）捕获图像；

步骤S47、ISP_BE进行图像处理；

步骤S48、ISP_CHN进行图像矫正；

步骤S49、存储图像到DDR0和DDR1双缓存。

如图5所示，所述步骤S6中，图像拼接模块的具体流程为：

步骤S61、初始化VPSS；

步骤S62、配置VI和VPSS离线模式；

步骤S63、捕获第二路图像（尺寸为1600×1200），捕获第三路图像（尺寸为1280×720）；

步骤S64、配置GRP2 CHN0处理第二路图像，配置GRP1 CHN1处理第三路图像；

步骤S65、旋转并缩放第二路图像作为底图，对第三路图像进行缩放并指定偏移位置作为叠加图；

步骤S66、将底图和叠加图拼接为1088×1920的拼接图像；

步骤S67、将拼接图像编码为MJPEG。

上述实施例和图式并非限定本发明的产品形态和式样，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。

Claims (10)

1.一种基于虚拟ISP的三目摄像头拼接显示装置，其特征在于，包括：第一摄像头、第二摄像头、第三摄像头、SOC系统及显示屏；SOC系统包括虚拟ISP模块、人脸识别模块、图像拼接模块、图像编码模块及图像显示模块，第一摄像头、第二摄像头、第三摄像头分别连接SOC系统的虚拟ISP模块，虚拟ISP模块连接人脸识别模块及图像拼接模块，图像拼接模块连接图像编码模块，图像编码模块连接图像显示模块，图像显示模块连接显示屏。

2.如权利要求1所述的基于虚拟ISP的三目摄像头拼接显示装置，其特征在于：第一摄像头为IR摄像头，其具有连接至虚拟ISP模块的接口，该第一摄像头获取的第一路图像经过虚拟ISP模块进行ISP处理后被发送至人脸识别模块用于进行人脸识别；第二摄像头及第三摄像头分别为RGB摄像头，第二摄像头及第三摄像头分别具有连接至虚拟ISP模块的接口，第二摄像头获取第二路图像，第三摄像头获取第三路图像，第二路图像及第三路图像经过虚拟ISP模块进行ISP处理后发送至图像拼接模块进行拼接，合成为指定分辨率的2宫格图像，拼接后的2宫格图像经过图像编码模块编码后，发送至图像显示模块并通过显示屏显示。

3.如权利要求2所述的基于虚拟ISP的三目摄像头拼接显示装置，其特征在于：所述第一摄像头、第二摄像头及第三摄像头的接口为MIPI 接口。

4.如权利要求1所述的基于虚拟ISP的三目摄像头拼接显示装置，其特征在于：所述虚拟ISP模块根据每个摄像头中断来响应摄像头的新帧数据，动态分配ISP处理时间，并进行ISP处理，包括调整曝光，平衡色彩，降低噪声操作。

5.如权利要求1所述的基于虚拟ISP的三目摄像头拼接显示装置，其特征在于：所述虚拟ISP模块包括图像捕获，图像处理及图像矫正。

6.如权利要求1所述的基于虚拟ISP的三目摄像头拼接显示装置，其特征在于：所述虚拟ISP模块处理图像的过程为：第一摄像头、第二摄像头、第三摄像头的Sensor通过MIPI与虚拟ISP模块对接，将RAW图像传递给图像捕获，图像捕获计算出RAW图像的自动曝光、自动白平衡及自动对焦；然后图像捕获将RAW图像存储于DDR缓存中，图像处理从DDR缓存中读取RAW图像，并进行颜色空间转换和图像质量调整，并将YUV图像保存到DDR缓存中；图像矫正从DDR缓存中读取YUV图像，并进行图像畸变矫正，图像旋转处理，经过虚拟ISP模块处理后，分别输出IMAGE0、IMAGE1、IMAGE2，对应于第一摄像头、第二摄像头和第三摄像头。

7.如权利要求1所述的基于虚拟ISP的三目摄像头拼接显示装置，其特征在于：所述图像拼接模块基于VPSS进行图像旋转，图像缩放和图像拼接处理，经虚拟ISP模块处理后的IMAGE1、IMAGE2具有不同的分辨率，IMAGE1、送入GRP2-CHO中，配置预设的宽和高，并进行旋转和缩放后作为底图，IMAGE2送入GRP1-CHO，配置图像缩放参数，并制定偏移位置作为叠加图，配置GRP1-CHO实现底图和叠加图合并，从而实现将IMAGE1、IMAGE2拼接为预设尺寸的拼接图像。

8.一种基于虚拟ISP的三目摄像头拼接显示方法，其特征在于，包括以下步骤：

步骤S1：SOC系统初始化，虚拟ISP模块初始化，VPSS初始化，分配缓存区；

步骤S2：配置第一摄像头、第二摄像头及第三摄像头的接口，配置中断及中断处理函数接口，本实施例中，接口为MIPI接口，配置中断及中断处理函数接口；

步骤S3：配置VI和VPSS为OFFLINE模式；

步骤S4：采集第一摄像头、第二摄像头及第三摄像头的第一路图像、第二路图像及第三路图像发送给虚拟ISP模块，由虚拟ISP模块分时进行ISP处理，ISP处理包括ISP_FE，ISP_BE，ISP_CHN等部分，第一路图像经ISP处理后输出IMAGE0，第二路图像经ISP处理后输出IMAGE1，第三路图像经ISP处理后输出IMAGE2；

步骤S5：IMAGE0发送给人脸识别模块，用以人脸检测和识别；

步骤S6：IMAGE1和IMAGE2经过图像拼接模块进行图像拼接处理，合并为1088x1920的拼接图像；

步骤S7，将拼接图像经过图像编码模块，编码为MJPEG图像，并完成图像显示。

9.如权利要求8所述的基于虚拟ISP的三目摄像头拼接显示方法，其特征在于：步骤S4中，虚拟ISP模块的具体流程为：

步骤S41、初始化虚拟ISP模块；

步骤S42、配置第一摄像头、第二摄像头及第三摄像头中断；

步骤S43、判断第一摄像头、第二摄像头及第三摄像头是否中断；若摄像头中断，则进入步骤S44和步骤S45，若摄像头未中断，则等待摄像头中断；

步骤S44、存储上下文到DDR0和DDR1双缓存；

步骤S45、处理第一摄像头、第二摄像头及第三摄像头，包括读帧、计算AE/AWB、存储RAW10；

步骤S46、ISP_FE（RAW10 to YUV）捕获图像；

步骤S47、ISP_BE进行图像处理；

步骤S48、ISP_CHN进行图像矫正；

步骤S49、存储图像到DDR0和DDR1双缓存。

10.如权利要求8所述的基于虚拟ISP的三目摄像头拼接显示方法，其特征在于：所述步骤S6中，图像拼接模块的具体流程为：

步骤S61、初始化VPSS；

步骤S62、配置VI和VPSS离线模式；

步骤S63、捕获IMAGE1，捕获IMAGE2；

步骤S64、配置GRP2 CHN0处理IMAGE1，配置GRP1 CHN1处理IMAGE2；

步骤S65、旋转并缩放IMAGE1作为底图，对IMAGE2进行缩放并指定偏移位置作为叠加图；

步骤S66、将底图和叠加图拼接为预设尺寸的拼接图像；

步骤S67、将拼接图像编码为MJPEG。