CN112969055B - 一种针对全局监控的多曝光方法 - Google Patents

一种针对全局监控的多曝光方法 Download PDF

Info

Publication number
CN112969055B
CN112969055B CN202110224938.1A CN202110224938A CN112969055B CN 112969055 B CN112969055 B CN 112969055B CN 202110224938 A CN202110224938 A CN 202110224938A CN 112969055 B CN112969055 B CN 112969055B
Authority
CN
China
Prior art keywords
module
mode
exposure
video stream
isp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110224938.1A
Other languages
English (en)
Other versions
CN112969055A (zh
Inventor
瞿关明
黄艳
王宁
左辰龙
张旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tiandy Technologies Co Ltd
Original Assignee
Tiandy Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tiandy Technologies Co Ltd filed Critical Tiandy Technologies Co Ltd
Priority to CN202110224938.1A priority Critical patent/CN112969055B/zh
Publication of CN112969055A publication Critical patent/CN112969055A/zh
Application granted granted Critical
Publication of CN112969055B publication Critical patent/CN112969055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Abstract

本发明提供了一种针对全局监控的多曝光方法，包括依次连接的sensor、ISP模块、VI模块，所述sensor通过MIPI接口输出数据到ISP模块，ISP模块根据切换不同的工作模式转换为不同的数据流送入到VI模块；所述工作模式包括宽动态模式和多曝光模式。本发明所述的针对全局监控的多曝光方法将监控视频路和运动物体抓拍路的AE及图像处理分别控制，使其分别获得最优图像效果。同时支持宽动态模式和多曝光模式自由切换无需重启设备，提升了产品竞争力。

Description

一种针对全局监控的多曝光方法
技术领域
本发明属于视频监控技术领域，尤其是涉及一种针对全局监控的多曝光方法。
背景技术
在安防市场中，为了满足多场景和多功能的智能监控需求，既需要保证监控视频的实时图像质量，又需要获取高速运动物体的清晰抓拍图片用于数据分析。普通视频监控场景中为了保证画面质量和低照效果，通常会设置最大曝光时间为40ms，但此时因曝光时间较大，而普遍sensor采取的是逐行曝光模式，所以会造成高速运动物体的抓拍图片不清晰，同时在低照场景下因开启灯光而车牌反光引起车牌过爆，而且抓拍路视频会呈现明显的重影和拖尾现象。
如何在保证具有较高质量的监控视频的前提下，又能获取运动物体的高质量抓拍图片，是很难兼顾的问题。尤其应用在小区与园区出入口、行人与非机动车道的复杂场景，较长的曝光时间对视频监控效果有利，较短的曝光时间对抓拍运动物体的图片有利，显然两者是相互矛盾的，如何同时保证两者效果成为待解决的难题。
现有技术中，为了权衡两者会做折中处理，设置曝光时间为一个中间值，使得各路视频效果完全相同，但在夜间低照场景下，相对静态物体的视频监控效果和运动物体的抓拍效果都比较差。若采用多sensor方案，不仅会增加设备硬件成本，还会使整体结构变得冗余和复杂。
发明内容
有鉴于此，本发明旨在提出一种针对全局监控的多曝光方法，以解决现有技术中无法同时兼顾视频监控效果和运动物体抓拍图片效果的问题，适用于需要人脸抓拍、智能监控、车辆抓拍等全局监控的安防场景。
为达到上述目的，本发明的技术方案是这样实现的：
一种针对全局监控的多曝光方法，包括依次连接的sensor、ISP模块、VI模块，其特征在于:所述sensor通过MIPI接口输出数据到ISP模块，ISP模块根据切换不同的工作模式转换为不同的数据流送入到VI模块；
所述工作模式包括宽动态模式和多曝光模式。
进一步的，所述ISP模块包括融合子模块；
当工作模式处于宽动态模式时，通过融合子模块将sensor输出的长帧的视频流和短帧的视频流在ISP模块会进行融合，并将融合后的视频流VIPIPE0送入到VI模块。
进一步的，所述ISP模块包括独立控制处理子模块；
当工作模式处于多曝光模式时，通过独立控制处理子模块分别对长帧的视频流和短帧的视频流进行独立控制和处理，并将短帧视频流VIPIPE2和长帧视频流VIPIPE3分别送入到VI模块。
进一步的，在多曝光模式下，调节短帧的快门时间为1/150s，长帧的快门时间设置为1/25。
相对于现有技术，本发明所述的针对全局监控的多曝光方法具有以下优势：
本发明所述的针对全局监控的多曝光方法将监控视频路和运动物体抓拍路的AE及图像处理分别控制，使其分别获得最优图像效果。同时支持宽动态模式和多曝光模式自由切换无需重启设备，提升了产品竞争力。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的针对全局监控的多曝光方法原理框图；
图2为本发明实施例所述的宽动态模式和多曝光模式切换流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示，一种针对全局监控的多曝光方法，当摄像机开启多曝光模式时，虽然sensor处于机械宽动态HDR模式，sensor输出的是长短帧图像，但ISP对长短帧图像不做融合处理，而是通过软件Vipipe号区分长短帧图像来实现AE独立控制(长短帧的增益和曝光时间可以分开控制)和图像质量分别处理，长短帧的曝光时间没有固定的曝光比关系。使用一个sensor的HDR模式所能实现的功能等效于使用两个sensor实现的功能，可以做到节省成本、结构紧凑、单设备切换不同模式来适应不同场景。
具体方法如下：
如图1、图2所示，本发明使用的宽动态模式和多曝光模式的视频流。sensor工作在宽动态HDR模式，sensor通过MIPI接口输出数据到ISP模块，ISP会根据切换模式转换分为不同的数据流送入到VI模块。
当应用在较特殊场景，需要保证监控画面具有较大的亮度范围和细节时，可以将设备切换到sensor的机械宽动态模式，能够保证视频画面的动态范围较大。此时长短帧的视频流在ISP模块会进行融合，宽动态融合图的基本原理是：画面亮区选取短帧曝光，而画面的暗区会选取长帧曝光。长短帧的曝光时间满足固定的曝光比。融合后的视频流VIPIPE0送入到VI模块。
当应用在多功能的全局场景，既需要保证监控视频的实时图像质量，又需要获取高速运动物体的清晰抓拍图片，可以将摄像机切换到多曝光模式来满足多场景需求。多曝光模式下ISP模块不对长短帧图像进行融合，而是将长短帧解耦，长短帧的AE独立控制及分别做图像处理。短帧视频流VIPIPE2和长帧视频流VIPIPE3分别送入到VI模块。调节短帧的快门时间为1/150s，保证车牌等运动物体的抓拍图片清晰度，防止曝光时间较长造成车牌反光引起的车牌过爆及运动物体的重影问题；长帧的快门时间设置为1/25s，使低照场景中的视频监控图像效果较好，保证静态物体等周围场景的图像清晰度。
同时为支持宽动态模式和多曝光模式自由切换而无需重启设备，设计了如图2所示的宽动态(HDR)和多曝光模式(Multi_Exp)的切换流程。摄像机上电刚启动时会初始化各路视频。VIPIPE0表示宽动态HDR模式下的视频流，VIPIPE2和VIPIPE3分别表示多曝光模式下的短帧和长帧视频流。
当需要从宽动态模式切换到多曝光模式时：ISP会将VIPIPE0路的视频流暂停，而恢复多曝光模式中的VIPIPE2和VIPIPE3的长短帧视频流。因VIPIPE0路的视频流只是被暂停掉，实际并没有退出，这样当需要下一次切换宽动态模式时，无需重启设备就能快速恢复视频流。
当需要从多曝光模式切换到宽动态模式时：ISP会将多曝光模式中的VIPIPE2和VIPIPE3的长短帧视频流暂停，而恢复宽动态模式下的VIPIPE0路的视频流。因VIPIPE2和VIPIPE3的长短帧视频流只是被暂停掉，实际并没有退出，这样当需要下一次切换多曝光模式时，无需重启设备就能快速恢复视频流。
当在多曝光模式时，sensor实际处于HDR模式，所以多曝光模式下仍然需要满足sensor内部规定的各寄存器的参数约束关系。同时若保证设备在多曝光模式时正常工作，代码逻辑要做好长短帧的解耦控制及规范调用流程，保证长短帧两个线程独立控制运行，互不影响。
同时因摄像机只包含单个sensor硬件，注意当开启多曝光模式时，不支持sensor的机械宽动态。同理不开启sensor机械宽动态时才支持多曝光模式。所以需要做好多曝光和机械宽动态的互斥逻辑
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。例如，以上所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。上述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种针对全局监控的多曝光方法，包括依次连接的sensor、ISP模块、VI模块，其特征在于:所述sensor通过MIPI接口输出数据到ISP模块，ISP模块根据切换不同的工作模式转换为不同的数据流送入到VI模块；
所述工作模式包括宽动态模式和多曝光模式；
所述ISP模块包括独立控制处理子模块；
当工作模式处于多曝光模式时，通过独立控制处理子模块分别对长帧的视频流和短帧的视频流进行独立控制和处理，并将短帧视频流VIPIPE2和长帧视频流VIPIPE3分别送入到VI模块。
2.根据权利要求1所述的针对全局监控的多曝光方法，其特征在于：所述ISP模块包括融合子模块；
当工作模式处于宽动态模式时，通过融合子模块将sensor输出的长帧的视频流和短帧的视频流在ISP模块会进行融合，并将融合后的视频流VIPIPE0送入到VI模块。
3.根据权利要求1所述的针对全局监控的多曝光方法，其特征在于：在多曝光模式下，调节短帧的快门时间为1/150s，长帧的快门时间设置为1/25 s。
CN202110224938.1A 2021-03-01 2021-03-01 一种针对全局监控的多曝光方法 Active CN112969055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110224938.1A CN112969055B (zh) 2021-03-01 2021-03-01 一种针对全局监控的多曝光方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110224938.1A CN112969055B (zh) 2021-03-01 2021-03-01 一种针对全局监控的多曝光方法

Publications (2)

Publication Number Publication Date
CN112969055A CN112969055A (zh) 2021-06-15
CN112969055B true CN112969055B (zh) 2022-11-08

Family

ID=76275917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110224938.1A Active CN112969055B (zh) 2021-03-01 2021-03-01 一种针对全局监控的多曝光方法

Country Status (1)

Country Link
CN (1) CN112969055B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873781A (zh) * 2014-03-27 2014-06-18 成都动力视讯科技有限公司 一种宽动态摄像机实现方法及装置
US8830367B1 (en) * 2013-10-21 2014-09-09 Gopro, Inc. Frame manipulation to reduce rolling shutter artifacts
CN104966071A (zh) * 2015-07-03 2015-10-07 武汉烽火众智数字技术有限责任公司 一种基于红外补光的夜间车牌检测和识别方法以及装置
CN111418201A (zh) * 2018-03-27 2020-07-14 华为技术有限公司 一种拍摄方法及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090086074A1 (en) * 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
CN101867727B (zh) * 2009-04-16 2011-12-07 华为技术有限公司 一种视频处理方法及装置
CN102075688B (zh) * 2010-12-28 2012-07-25 青岛海信网络科技股份有限公司 单帧双曝光图像宽动态处理方法
CN104639920B (zh) * 2013-11-13 2018-01-26 上海微锐智能科技有限公司 基于单帧双次曝光模式的宽动态融合方法
CN104134352B (zh) * 2014-08-15 2018-01-19 青岛比特信息技术有限公司 基于长短曝光结合的视频车辆特征检测系统及其检测方法
CN111915505B (zh) * 2020-06-18 2023-10-27 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8830367B1 (en) * 2013-10-21 2014-09-09 Gopro, Inc. Frame manipulation to reduce rolling shutter artifacts
CN103873781A (zh) * 2014-03-27 2014-06-18 成都动力视讯科技有限公司 一种宽动态摄像机实现方法及装置
CN104966071A (zh) * 2015-07-03 2015-10-07 武汉烽火众智数字技术有限责任公司 一种基于红外补光的夜间车牌检测和识别方法以及装置
CN111418201A (zh) * 2018-03-27 2020-07-14 华为技术有限公司 一种拍摄方法及设备

Also Published As

Publication number Publication date
CN112969055A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
US9756247B2 (en) Dynamic camera mode switching
US11348281B1 (en) Fixed pattern calibration for multi-view stitching
JP2002171430A (ja) 複眼撮像系、撮像装置および電子機器
CN109640051A (zh) 一种大场景的分布式拼接监控系统
CN112188093A (zh) 双模态信号融合系统和方法
CN112969055B (zh) 一种针对全局监控的多曝光方法
CN105472226A (zh) 一种前后双镜头全景运动摄像机
WO2023207624A1 (zh) 数据处理方法、设备、介质及路侧协同设备、系统
CN111510629A (zh) 数据显示方法、图像处理器、拍摄装置和电子设备
WO2023029715A1 (zh) 基于屏下摄像的图像处理方法、设备、系统和存储介质
US11696039B2 (en) Smart IP camera with color night mode
EP1422659A1 (en) Image processing device
CN112702588B (zh) 双模态图像信号处理器和双模态图像信号处理系统
US20210223664A1 (en) Methods and apparatus for using a controllable physical light filter as part of an image capture system and for processing captured images
CN113994660B (zh) 智能闪光强度控制系统和方法
CN114208147B (zh) 图像传感器、相机模块和包括相机模块的光学装置
CN101848336B (zh) 一种使ccd摄像机抗纵向光晕的方法
JP2019022028A (ja) 撮像装置、その制御方法およびプログラム
US10878254B1 (en) Real-time color classification for street vehicles
WO2023181558A1 (ja) 撮像装置
CN108181771A (zh) 一种投影机及设有该投影机的图像遮挡系统
CN115118871B (zh) 一种拍照像素模式切换方法、系统、终端设备及存储介质
US10671883B1 (en) Approximate cross-check for real-time feature matching
Chen Design and implementation of Pedestrian detection based on Zynq APSoc
CN114998867A (zh) 基于单相机的红绿灯状态检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant