CN117676097B - 基于虚拟isp的三目摄像头拼接显示装置及方法 - Google Patents
基于虚拟isp的三目摄像头拼接显示装置及方法 Download PDFInfo
- Publication number
- CN117676097B CN117676097B CN202410119912.4A CN202410119912A CN117676097B CN 117676097 B CN117676097 B CN 117676097B CN 202410119912 A CN202410119912 A CN 202410119912A CN 117676097 B CN117676097 B CN 117676097B
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- module
- isp
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 53
- 238000003702 image correction Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 101100441251 Arabidopsis thaliana CSP2 gene Proteins 0.000 claims description 3
- 101100033098 Arabidopsis thaliana RBG2 gene Proteins 0.000 claims description 3
- 102100034032 Cytohesin-3 Human genes 0.000 claims description 3
- 101710160297 Cytohesin-3 Proteins 0.000 claims description 3
- 101100511870 Fagus sylvatica LSM4 gene Proteins 0.000 claims description 3
- 101150095494 GRP2 gene Proteins 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 210000001503 joint Anatomy 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 description 8
- 102100036725 Epithelial discoidin domain-containing receptor 1 Human genes 0.000 description 6
- 101710131668 Epithelial discoidin domain-containing receptor 1 Proteins 0.000 description 6
- 101100498819 Caenorhabditis elegans ddr-1 gene Proteins 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 101000906927 Homo sapiens N-chimaerin Proteins 0.000 description 2
- 102100023648 N-chimaerin Human genes 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本发明公开基于虚拟ISP的三目摄像头拼接显示装置及方法,装置包括第一摄像头、第二摄像头、第三摄像头、SOC系统及显示屏;SOC系统包括虚拟ISP模块、人脸识别模块、图像拼接模块、图像编码模块及图像显示模块,第一摄像头、第二摄像头、第三摄像头分别连接SOC系统的虚拟ISP模块,虚拟ISP模块连接人脸识别模块及图像拼接模块,图像拼接模块连接图像编码模块,图像编码模块连接图像显示模块,图像显示模块连接显示屏。本发明通过图像信号处理器对采集到的图像进行增强处理,三个摄像头采集的三路图像数据首先被ISP独立增强,其中一路经过优化处理后直接用于人脸识别;另外两路图像在增强后执行拼接操作,形成宽广的视野。
Description
技术领域
本发明涉及摄像头图像处理的技术领域,特别是指一种基于虚拟ISP的三目摄像头拼接显示装置及方法。
背景技术
在当前智能门锁市场,采用IR摄像头进行人脸识别与RGB摄像头实现猫眼功能的双目人脸识别模块已经成为了主流技术。但是,采用IR摄像头进行人脸识别与RGB摄像头实现猫眼功能的双目人脸识别模块的视野角度相对有限,尚未能够同时满足全面监控门前区域以及检测门下是否有人或包裹等需求。
面对市场竞争的不断加剧,虽然三目摄像头方案呈现出解决这些问题的潜力,但在成本控制、系统稳定性和用户体验方面的挑战依然存在,需要进一步的技术和设计创新来克服。
有鉴于此,本发明人针对现有三目镜头设计上未臻完善所导致的诸多缺失及不便而深入构思,且积极研究改良试做而开发出本发明。
发明内容
本发明的目的在于克服现有技术的不足,提供一种成本相对较低,可实现广域监控的基于虚拟ISP的三目摄像头拼接显示装置及方法,提高智能门锁的监控效果及操作便利性,提升用户体验。
为了达成上述目的,本发明的解决方案是:
一种基于虚拟ISP的三目摄像头拼接显示装置,其包括第一摄像头、第二摄像头、第三摄像头、SOC系统及显示屏;SOC系统包括虚拟ISP模块、人脸识别模块、图像拼接模块、图像编码模块及图像显示模块,第一摄像头、第二摄像头、第三摄像头分别连接SOC系统的虚拟ISP模块,虚拟ISP模块连接人脸识别模块及图像拼接模块,图像拼接模块连接图像编码模块,图像编码模块连接图像显示模块,图像显示模块连接显示屏。
进一步,第一摄像头为IR摄像头,其具有连接至虚拟ISP模块的接口,该第一摄像头获取的第一路图像经过虚拟ISP模块进行ISP处理后被发送至人脸识别模块用于进行人脸识别;第二摄像头及第三摄像头分别为RGB摄像头,第二摄像头及第三摄像头分别具有连接至虚拟ISP模块的接口,第二摄像头获取第二路图像,第三摄像头获取第三路图像,第二路图像及第三路图像经过虚拟ISP模块进行ISP处理后发送至图像拼接模块进行拼接,合成为指定分辨率的2宫格图像,拼接后的2宫格图像经过图像编码模块编码后,发送至图像显示模块并通过显示屏显示。
进一步,所述第一摄像头、第二摄像头及第三摄像头的接口为MIPI 接口。
进一步,所述虚拟ISP模块根据每个摄像头中断来响应摄像头的新帧数据,动态分配ISP处理时间,并进行ISP处理,包括调整曝光,平衡色彩,降低噪声操作。
进一步,所述虚拟ISP模块包括图像捕获,图像处理及图像矫正。
进一步,所述虚拟ISP模块处理图像的过程为:第一摄像头、第二摄像头、第三摄像头的Sensor通过MIPI与虚拟ISP模块对接,将RAW图像传递给图像捕获,图像捕获计算出RAW图像的自动曝光、自动白平衡及自动对焦;然后图像捕获将RAW图像存储于DDR0缓存中,图像处理从DDR0缓存中读取RAW图像,并进行颜色空间转换和图像质量调整,并将YUV图像保存到DDR1缓存中;图像矫正从DDR1缓存中读取YUV图像,并进行图像畸变矫正,图像旋转处理,经过虚拟ISP模块处理后,分别输出IMAGE0、IMAGE1、IMAGE2,对应于第一摄像头、第二摄像头和第三摄像头。
进一步,所述图像拼接模块基于VPSS进行图像旋转,图像缩放和图像拼接处理,经虚拟ISP模块处理后的IMAGE1、IMAGE2具有不同的分辨率,IMAGE1、送入GRP2-CHO中,配置预设的宽和高,并进行旋转和缩放后作为底图,IMAGE2送入GRP1-CHO,配置图像缩放参数,并制定偏移位置作为叠加图,配置GRP1-CHO实现底图和叠加图合并,从而实现将IMAGE1、IMAGE2拼接为预设尺寸的拼接图像。
一种基于虚拟ISP的三目摄像头拼接显示方法,其包括以下步骤:
步骤S1:SOC系统初始化,虚拟ISP模块初始化,VPSS初始化,分配缓存区;
步骤S2:配置第一摄像头、第二摄像头及第三摄像头的接口,配置中断及中断处理函数接口,本实施例中,接口为MIPI接口,配置中断及中断处理函数接口;
步骤S3:配置VI和VPSS为OFFLINE模式;
步骤S4:采集第一摄像头、第二摄像头及第三摄像头的第一路图像、第二路图像及第三路图像发送给虚拟ISP模块,由虚拟ISP模块分时进行ISP处理,ISP处理包括ISP_FE,ISP_BE,ISP_CHN等部分,第一路图像经ISP处理后输出IMAGE0,第二路图像经ISP处理后输出IMAGE1,第三路图像经ISP处理后输出IMAGE2;
步骤S5:IMAGE0发送给人脸识别模块,用以人脸检测和识别;
步骤S6:IMAGE1和IMAGE2经过图像拼接模块进行图像拼接处理,合并为1088x1920的拼接图像;
步骤S7,将拼接图像经过图像编码模块,编码为MJPEG图像,并完成图像显示。
进一步,步骤S4中,虚拟ISP模块的具体流程为:
步骤S41、初始化虚拟ISP模块;
步骤S42、配置第一摄像头、第二摄像头及第三摄像头中断;
步骤S43、判断第一摄像头、第二摄像头及第三摄像头是否中断;若摄像头中断,则进入步骤S44和步骤S45,若摄像头未中断,则等待摄像头中断;
步骤S44、存储上下文到DDR0和DDR1双缓存。
步骤S45、处理第一摄像头、第二摄像头及第三摄像头,包括读帧、计算AE/AWB、存储RAW10;
步骤S46、ISP_FE(RAW10 to YUV)捕获图像;
步骤S47、ISP_BE进行图像处理;
步骤S48、ISP_CHN进行图像矫正;
步骤S49、存储图像到DDR0和DDR1双缓存。
进一步,所述步骤S6中,图像拼接模块的具体流程为:
步骤S61、初始化VPSS;
步骤S62、配置VI和VPSS离线模式;
步骤S63、捕获IMAGE1,捕获IMAGE2;
步骤S64、配置GRP2 CHN0处理IMAGE1,配置GRP1 CHN1处理IMAGE2;
步骤S65、旋转并缩放IMAGE1作为底图,对IMAGE2进行缩放并指定偏移位置作为叠加图;
步骤S66、将底图和叠加图拼接为预设尺寸的拼接图像;
步骤S67、将拼接图像编码为MJPEG。
采用上述结构后,本发明基于虚拟ISP的三目摄像头拼接显示装置及方法通过图像信号处理器(ISP)对采集到的图像进行增强处理。三个摄像头采集的三路图像数据首先被ISP独立增强,其中一路经过优化处理后直接用于人脸识别;另外两路图像在增强后执行拼接操作,形成宽广的视野。最终,拼接后的图像通过UVC(USB视频类)等协议输出,实现外部显示设备的即插即用视频显示功能。
本发明通过软件优化实现广域监控,无需重大硬件改造,提升了用户体验同时,有效控制了成本;本发明采用经济型三目摄像头,避免了昂贵的硬件升级;本发明通过软件优化实现了对门前区域的全面监控,可提升智能门锁的监控效果和操作便利性。
附图说明
图1为本发明基于虚拟ISP的三目摄像头拼接显示装置的总体模块图。
图2为本发明基于虚拟ISP的三目摄像头拼接显示方法的总体流程图。
图3为本发明虚拟ISP模块的流程图。
图4为本发明虚拟ISP模块的模块图。
图5为本发明图像拼接模块的模块图。
图6为本发明图像拼接模块进行图像拼接的流程图。
具体实施方式
为了进一步解释本发明的技术方案,下面通过具体实施例来对本发明进行详细阐述。
一般用于智能门锁人脸识别设备的SOC系统中包含ISP和VPSS处理模块。基于此,本发明采取了创新的虚拟ISP策略,使得虚拟ISP模块能够动态地处理来自三路摄像头的图像输入,这一设计在降低成本的同时,确保了每一路图像的实时处理。
ISP即图像信号处理器,是一种专用处理模块,用于对从数字相机传感器(如CMOS或CCD)捕获的原始图像数据进行处理和优化,以生成高质量的图像,包括调整曝光,平衡色彩,降低噪声,增强细节等一系列复杂的图像处理任务,最终确保输出图像在显示或打印时具有良好的视觉效果。在智能设备中,ISP对于实现高效的图像捕捉和处理,尤其是在需要高精度如人脸识别的应用中,起着至关重要的作用。
VPSS(Video Processing Subsystem)是一种视频处理子系统,主要负责处理视频流数据,它可以进行视频的缩放、格式转换、帧率调整和多路视频流的合成等操作,以适应不同的显示和存储需求,常用于视频监控、会议系统和多媒体应用中,以提供高效且灵活的视频处理功能。VPSS 组(GRP)的通道(CHO)分为 2 种:物理通道和扩展通道,VPSS 硬件提供多个物理通道,每个通道具有缩放、裁剪等功能,扩展通道具备缩放功能,它通过绑定物理通道,将物理通道输出作为自己的输入,把图像缩放成用户设置的目标分辨率输出。
如图1及图2所示,本发明揭示了一种基于虚拟ISP的三目摄像头拼接显示装置,其包括第一摄像头、第二摄像头、第三摄像头、SOC系统及显示屏;SOC系统包括虚拟ISP模块、人脸识别模块、图像拼接模块、图像编码模块及图像显示模块,第一摄像头、第二摄像头、第三摄像头分别连接SOC系统的虚拟ISP模块,虚拟ISP模块连接人脸识别模块及图像拼接模块,图像拼接模块连接图像编码模块,图像编码模块连接图像显示模块,图像显示模块连接显示屏。其中:
第一摄像头为IR摄像头,其具有连接至虚拟ISP模块的接口,该接口可以是MIPICSI-2(Mobile Industry Processor Interface Camera Serial Interface 2)或其他适合的接口标准;该第一摄像头获取的第一路图像经过虚拟ISP模块进行ISP处理后被发送至人脸识别模块用于进行人脸识别。
第二摄像头及第三摄像头分别为RGB摄像头,第二摄像头及第三摄像头分别具有连接至虚拟ISP模块的接口,该接口可以是MIPI CSI-2(Mobile Industry ProcessorInterface Camera Serial Interface 2)或其他适合的接口标准;第二摄像头获取第二路图像,第三摄像头获取第三路图像,第二路图像及第三路图像经过虚拟ISP模块进行ISP处理后发送至图像拼接模块进行拼接,合成为指定分辨率的2宫格图像,拼接后的2宫格图像经过图像编码模块编码后,通过UVC协议发送至图像显示模块并通过显示屏显示。
虚拟ISP模块(virtual ISP)根据每个摄像头中断来响应摄像头的新帧数据,动态分配ISP处理时间,并进行ISP处理,包括调整曝光,平衡色彩,降低噪声等操作。虚拟ISP模块分为3部分,图像捕获(ISP_FE),图像处理(ISP_BE)及图像矫正(ISP_CHN)。
如图4所示,虚拟ISP模块处理图像的过程为:第一摄像头、第二摄像头、第三摄像头的Sensor通过MIPI与虚拟ISP模块对接,将RAW图像传递给ISP_FE,ISP_FE会计算出AE(自动曝光)、AWB(自动白平衡)、AF(自动对焦)等统计值;然后ISP_FE将RAW图像存储于DDR0缓存中,ISP_BE从DDR0缓存中读取RAW图像,并进行颜色空间转换和图像质量调整等操作,并将YUV图像保存到DDR1缓存中;图像矫正(ISP_CHN)从DDR1缓存中读取YUV图像,并进行图像畸变矫正,图像旋转等处理。在不同摄像头输入之间转换时,虚拟ISP模块需要保存和恢复的图像处理参数和状态,采用双缓存技术(DDR0和DDR1),优化上下文切换,减少处理延迟。经过虚拟ISP模块处理后,分别输出IMAGE0、IMAGE1、IMAGE2对应于第一摄像头、第二摄像头和第三摄像头。
如图5所示,所述图像拼接模块基于VPSS进行图像旋转,图像缩放和图像拼接处理,经虚拟ISP模块处理后的IMAGE1、IMAGE2具有不同的分辨率,假设IMAGE1的分辨率为1600×1200像素,IMAGE2的分辨率为1280×720像素,将VI和VPSS分别配置为OFFLINE(离线)模式,第二路图像送入GRP2-CHO中,配置宽为1920像素,高为1080像素进行旋转和缩放后,作为底图,第三路图像送入GRP1-CHO,配置图像缩放参数,并制定偏移位置作为叠加图,配置GRP1-CHO,实现底图和叠加图合并,从而实现将IMAGE1和IMAGE2拼接为1088×1920的拼接图像。其中,IMAGE0、IMAGE1、IMAGE2的分辨率是根据第一摄像头、第二摄像头、第三摄像头的配置而定,合成的拼接图像尺寸可预先设定。
如图1至图6所示,本发明还揭示了一种基于虚拟ISP的三目摄像头拼接显示方法,其包括以下步骤:
步骤S1:SOC系统初始化,虚拟ISP模块初始化,VPSS初始化,分配缓存区。
步骤S2:配置第一摄像头、第二摄像头及第三摄像头的接口,配置中断及中断处理函数接口,本实施例中,接口为MIPI接口,配置中断及中断处理函数接口。
步骤S3:配置VI和VPSS为OFFLINE模式。
步骤S4:采集第一摄像头、第二摄像头及第三摄像头的第一路图像、第二路图像及第三路图像发送给虚拟ISP模块,由虚拟ISP模块分时进行ISP处理,ISP处理包括ISP_FE,ISP_BE,ISP_CHN等部分,第一路图像经ISP处理后输出IMAGE0,第二路图像经ISP处理后输出IMAGE1,第三路图像经ISP处理后输出IMAGE2。
步骤S5:IMAGE0发送给人脸识别模块,用以人脸检测和识别。
步骤S6:IMAGE1和IMAGE2经过图像拼接模块进行图像拼接处理,合并为1088x1920的拼接图像。
步骤S7,将拼接图像经过图像编码模块,编码为MJPEG图像,并通过UVC协议完成图像显示。
如图3所示,步骤S4中,虚拟ISP模块的具体流程为:
步骤S41、初始化虚拟ISP模块;
步骤S42、配置第一摄像头、第二摄像头及第三摄像头中断;
步骤S43、判断第一摄像头、第二摄像头及第三摄像头是否中断;若摄像头中断,则进入步骤S44和步骤S45,若摄像头未中断,则等待摄像头中断;
步骤S44、存储上下文到DDR0和DDR1双缓存;
步骤S45、处理第一摄像头、第二摄像头及第三摄像头,包括读帧、计算AE/AWB、存储RAW10;
步骤S46、ISP_FE(RAW10 to YUV)捕获图像;
步骤S47、ISP_BE进行图像处理;
步骤S48、ISP_CHN进行图像矫正;
步骤S49、存储图像到DDR0和DDR1双缓存。
如图6所示,所述步骤S6中,图像拼接模块的具体流程为:
步骤S61、初始化VPSS;
步骤S62、配置VI和VPSS离线模式;
步骤S63、捕获第二路图像(尺寸为1600×1200),捕获第三路图像(尺寸为1280×720);
步骤S64、配置GRP2 CHN0处理第二路图像,配置GRP1 CHN1处理第三路图像;
步骤S65、旋转并缩放第二路图像作为底图,对第三路图像进行缩放并指定偏移位置作为叠加图;
步骤S66、将底图和叠加图拼接为1088×1920的拼接图像;
步骤S67、将拼接图像编码为MJPEG。
上述实施例和图式并非限定本发明的产品形态和式样,任何所属技术领域的普通技术人员对其所做的适当变化或修饰,皆应视为不脱离本发明的专利范畴。
Claims (5)
1.一种基于虚拟ISP的三目摄像头拼接显示装置,其特征在于,包括:第一摄像头、第二摄像头、第三摄像头、SOC系统及显示屏;SOC系统包括虚拟ISP模块、人脸识别模块、图像拼接模块、图像编码模块及图像显示模块,第一摄像头、第二摄像头、第三摄像头分别连接SOC系统的虚拟ISP模块,虚拟ISP模块连接人脸识别模块及图像拼接模块,图像拼接模块连接图像编码模块,图像编码模块连接图像显示模块,图像显示模块连接显示屏;采集第一摄像头、第二摄像头及第三摄像头的第一路图像、第二路图像及第三路图像发送给虚拟ISP模块,由虚拟ISP模块分时进行ISP处理;第一摄像头获取的第一路图像经过虚拟ISP模块进行ISP处理后被发送至人脸识别模块用于进行人脸识别,第二路图像及第三路图像经过虚拟ISP模块进行ISP处理后发送至图像拼接模块进行拼接,合成为指定分辨率的2宫格图像,拼接后的2宫格图像经过图像编码模块编码后,发送至图像显示模块并通过显示屏显示;
所述虚拟ISP模块包括图像捕获,图像处理及图像矫正;所述虚拟ISP模块处理图像的过程为:第一摄像头、第二摄像头、第三摄像头的Sensor通过MIPI与虚拟ISP模块对接,将RAW图像传递给图像捕获,图像捕获计算出RAW图像的自动曝光、自动白平衡及自动对焦;然后图像捕获将RAW图像存储于第一DDR缓存中,图像处理从第一DDR缓存中读取RAW图像,并进行颜色空间转换和图像质量调整,并将YUV图像保存到第二DDR缓存中;图像矫正从第二DDR缓存中读取YUV图像,并进行图像畸变矫正,图像旋转处理,经过虚拟ISP模块处理后,分别输出IMAGE0、IMAGE1、IMAGE2,对应于第一摄像头、第二摄像头和第三摄像头;所述图像拼接模块基于VPSS进行图像旋转,图像缩放和图像拼接处理,经虚拟ISP模块处理后的IMAGE1、IMAGE2具有不同的分辨率,IMAGE1送入GRP2-CHO中,配置预设的宽和高,并进行旋转和缩放后作为底图,IMAGE2送入GRP1-CHO,配置图像缩放参数,并制定偏移位置作为叠加图,配置GRP1-CHO实现底图和叠加图合并,从而实现将IMAGE1、IMAGE2拼接为预设尺寸的拼接图像。
2.如权利要求1所述的基于虚拟ISP的三目摄像头拼接显示装置,其特征在于:第一摄像头为IR摄像头,其具有连接至虚拟ISP模块的接口,第二摄像头及第三摄像头分别为RGB摄像头,第二摄像头及第三摄像头分别具有连接至虚拟ISP模块的接口。
3.如权利要求2所述的基于虚拟ISP的三目摄像头拼接显示装置,其特征在于:所述第一摄像头、第二摄像头及第三摄像头的接口为MIPI 接口。
4.如权利要求1所述的基于虚拟ISP的三目摄像头拼接显示装置,其特征在于:所述虚拟ISP模块根据每个摄像头中断来响应摄像头的新帧数据,动态分配ISP处理时间,并进行ISP处理,包括调整曝光,平衡色彩,降低噪声操作。
5.一种基于虚拟ISP的三目摄像头拼接显示方法,其特征在于,包括以下步骤:
步骤S1:SOC系统初始化,虚拟ISP模块初始化,VPSS初始化,分配缓存区;
步骤S2:配置第一摄像头、第二摄像头及第三摄像头的接口,配置中断及中断处理函数接口,接口为MIPI接口;
步骤S3:配置VI和VPSS为OFFLINE模式;
步骤S4:采集第一摄像头、第二摄像头及第三摄像头的第一路图像、第二路图像及第三路图像发送给虚拟ISP模块,由虚拟ISP模块分时进行ISP处理,ISP处理包括图像捕获,图像处理,及图像矫正,第一路图像经ISP处理后输出IMAGE0,第二路图像经ISP处理后输出IMAGE1,第三路图像经ISP处理后输出IMAGE2;虚拟ISP模块的具体流程为:
步骤S41、初始化虚拟ISP模块;
步骤S42、配置第一摄像头、第二摄像头及第三摄像头中断;
步骤S43、判断第一摄像头、第二摄像头及第三摄像头是否中断;若摄像头中断,则进入步骤S44和步骤S45,若摄像头未中断,则等待摄像头中断;
步骤S44、存储上下文到第一DDR和第二DDR双缓存;
步骤S45、处理第一摄像头、第二摄像头及第三摄像头,包括读帧、计算AE/AWB、存储RAW10;
步骤S46、ISP捕获图像;
步骤S47、ISP进行图像处理;
步骤S48、ISP进行图像矫正;
步骤S49、存储图像到第一DDR和第二DDR双缓存;
步骤S5:IMAGE0发送给人脸识别模块,用以人脸检测和识别;
步骤S6:IMAGE1和IMAGE2经过图像拼接模块进行图像拼接处理,合并为1088x1920的拼接图像;图像拼接模块的具体流程为:
步骤S61、初始化VPSS;
步骤S62、配置VI和VPSS离线模式;
步骤S63、捕获IMAGE1,捕获IMAGE2;
步骤S64、配置GRP2 CHN0处理IMAGE1,配置GRP1 CHN0处理IMAGE2;
步骤S65、旋转并缩放IMAGE1作为底图,对IMAGE2进行缩放并指定偏移位置作为叠加图;
步骤S66、将底图和叠加图拼接为预设尺寸的拼接图像;
步骤S7:将拼接图像经过图像编码模块,编码为MJPEG图像,并完成图像显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410119912.4A CN117676097B (zh) | 2024-01-29 | 2024-01-29 | 基于虚拟isp的三目摄像头拼接显示装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410119912.4A CN117676097B (zh) | 2024-01-29 | 2024-01-29 | 基于虚拟isp的三目摄像头拼接显示装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117676097A CN117676097A (zh) | 2024-03-08 |
CN117676097B true CN117676097B (zh) | 2024-04-30 |
Family
ID=90066405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410119912.4A Active CN117676097B (zh) | 2024-01-29 | 2024-01-29 | 基于虚拟isp的三目摄像头拼接显示装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117676097B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101707663B1 (ko) * | 2016-08-24 | 2017-02-17 | 정재훈 | Cctv 카메라를 이용한 영상 이미지 퍼즐 보안 전송 시스템 및 그 제어방법 |
CN107995467A (zh) * | 2017-12-19 | 2018-05-04 | 内江师范学院 | 一种远程视频监控系统 |
CN108184053A (zh) * | 2017-12-27 | 2018-06-19 | 深圳进化动力数码科技有限公司 | 嵌入式图像处理方法及装置 |
CN208021321U (zh) * | 2018-02-05 | 2018-10-30 | 苏州沃科汽车科技有限公司 | 一种标清输入高清输出的车载环视系统 |
CN109087411A (zh) * | 2018-06-04 | 2018-12-25 | 上海灵纽智能科技有限公司 | 一种基于分布式摄像头阵列的人脸识别锁 |
CN208754447U (zh) * | 2018-10-09 | 2019-04-16 | 蔡永生 | 一种用于智慧城市安防物联网的图像监控器 |
CN109889753A (zh) * | 2019-01-30 | 2019-06-14 | 广东工业大学 | 双目摄像系统及其应用方法 |
CN111526341A (zh) * | 2020-07-03 | 2020-08-11 | 支付宝(杭州)信息技术有限公司 | 监控摄像机 |
CN113962859A (zh) * | 2021-10-26 | 2022-01-21 | 北京有竹居网络技术有限公司 | 一种全景图生成方法、装置、设备及介质 |
CN114598843A (zh) * | 2022-02-09 | 2022-06-07 | 上海赫千电子科技有限公司 | 一种应用于大型汽车多路摄像头的图像处理系统及方法 |
CN218497546U (zh) * | 2022-09-29 | 2023-02-17 | 北京旷视科技有限公司 | 识别模组和门锁控制系统 |
-
2024
- 2024-01-29 CN CN202410119912.4A patent/CN117676097B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101707663B1 (ko) * | 2016-08-24 | 2017-02-17 | 정재훈 | Cctv 카메라를 이용한 영상 이미지 퍼즐 보안 전송 시스템 및 그 제어방법 |
CN107995467A (zh) * | 2017-12-19 | 2018-05-04 | 内江师范学院 | 一种远程视频监控系统 |
CN108184053A (zh) * | 2017-12-27 | 2018-06-19 | 深圳进化动力数码科技有限公司 | 嵌入式图像处理方法及装置 |
CN208021321U (zh) * | 2018-02-05 | 2018-10-30 | 苏州沃科汽车科技有限公司 | 一种标清输入高清输出的车载环视系统 |
CN109087411A (zh) * | 2018-06-04 | 2018-12-25 | 上海灵纽智能科技有限公司 | 一种基于分布式摄像头阵列的人脸识别锁 |
CN208754447U (zh) * | 2018-10-09 | 2019-04-16 | 蔡永生 | 一种用于智慧城市安防物联网的图像监控器 |
CN109889753A (zh) * | 2019-01-30 | 2019-06-14 | 广东工业大学 | 双目摄像系统及其应用方法 |
CN111526341A (zh) * | 2020-07-03 | 2020-08-11 | 支付宝(杭州)信息技术有限公司 | 监控摄像机 |
CN113962859A (zh) * | 2021-10-26 | 2022-01-21 | 北京有竹居网络技术有限公司 | 一种全景图生成方法、装置、设备及介质 |
CN114598843A (zh) * | 2022-02-09 | 2022-06-07 | 上海赫千电子科技有限公司 | 一种应用于大型汽车多路摄像头的图像处理系统及方法 |
CN218497546U (zh) * | 2022-09-29 | 2023-02-17 | 北京旷视科技有限公司 | 识别模组和门锁控制系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117676097A (zh) | 2024-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8885061B2 (en) | Image processing apparatus, image processing method and program | |
US8305424B2 (en) | System, apparatus and method for panorama image display | |
US10110820B2 (en) | Imaging device, imaging system, and imaging method | |
CN1713742B (zh) | 摄像装置 | |
US20140347439A1 (en) | Mobile device and system for generating panoramic video | |
EP2498486B1 (en) | Video processing program, device and method, and imaging device mounted with video processing device | |
JP6121787B2 (ja) | 撮像装置、情報処理システム、および画像データ処理方法 | |
CN110366740B (zh) | 图像处理装置和摄像装置 | |
WO2021238522A1 (zh) | 多媒体处理芯片、电子设备和图像处理方法 | |
US20230236425A1 (en) | Image processing method, image processing apparatus, and head-mounted display | |
CA2828933A1 (en) | Video processing apparatus, video processing system, and video processing method | |
WO2021238506A1 (zh) | 多媒体处理芯片、电子设备及动态图像处理方法 | |
KR20220030877A (ko) | 다양한 인트라-프레임 아날로그 비닝을 사용하는 이미지 센서 | |
CN117676097B (zh) | 基于虚拟isp的三目摄像头拼接显示装置及方法 | |
CN113744119A (zh) | 多媒体处理芯片和电子设备 | |
CN110602410A (zh) | 一种图像处理方法、装置、航拍相机及存储介质 | |
JP7008431B2 (ja) | 撮像装置、制御方法、プログラム及び撮像システム | |
JP2011259107A (ja) | 投影装置及びその制御方法 | |
US11847807B2 (en) | Image processing system and processing method of video stream | |
WO2024125463A1 (zh) | 图像处理方法、混合式图像传感器、电子设备及存储介质 | |
JP2023157347A (ja) | 画像処理装置、画像処理装置の制御方法、プログラム、及び画像処理システム | |
CN113923341A (zh) | 电子设备 | |
JP5398359B2 (ja) | 情報処理装置、撮像装置及び制御方法 | |
JP2003259175A (ja) | ネットワークカメラ及び画像配信処理装置 | |
JP2002344803A (ja) | 携帯用電子機器における対象画像のオン・スクリーン装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |