CN112738363A - 一种光路切换方法和监控模组 - Google Patents

一种光路切换方法和监控模组 Download PDF

Info

Publication number
CN112738363A
CN112738363A CN202010811207.2A CN202010811207A CN112738363A CN 112738363 A CN112738363 A CN 112738363A CN 202010811207 A CN202010811207 A CN 202010811207A CN 112738363 A CN112738363 A CN 112738363A
Authority
CN
China
Prior art keywords
camera
module
target
mirror
multiplying power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010811207.2A
Other languages
English (en)
Other versions
CN112738363B (zh
Inventor
王庆平
胡红旗
李瑞华
赖昌材
郑士胜
宋艳麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to EP20881908.6A priority Critical patent/EP4044577A4/en
Priority to PCT/CN2020/123719 priority patent/WO2021083082A1/zh
Publication of CN112738363A publication Critical patent/CN112738363A/zh
Priority to US17/730,426 priority patent/US11930260B2/en
Application granted granted Critical
Publication of CN112738363B publication Critical patent/CN112738363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/08Mirrors
    • G02B5/0883Mirrors with a refractive index gradient
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/15Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on an electrochromic effect
    • G02F1/163Operation of electrochromic cells, e.g. electrodeposition cells; Circuit arrangements therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/02Still-picture cameras
    • G03B19/12Reflex cameras with single objective and a movable reflector or a partly-transmitting mirror
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046Movement of one or more optical elements for zooming

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Nonlinear Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种光路切换方法,该方法应用于包括摄像头、增倍镜、切换元件和反射元件的监控模组,包括:确定目标倍率;当目标倍率小于等于摄像头的最大倍率时,将摄像头的倍率设置为所述目标倍率并确定反射元件处于第一位置或第一工作状态,摄像头单独采集图像;当目标倍率大于摄像头的最大倍率时,将摄像头的倍率设置为第一倍率并确定所述反射元件处于所述第二位置或所述第二工作状态,摄像头与增倍镜组合采集图像,其中,第一倍率与增倍镜的倍率的乘积为目标倍率。该方法能够在减小监控模组的体积和节约成本的情况下,显著增加监控模组的监控距离。

Description

一种光路切换方法和监控模组
技术领域
本申请涉及光学成像领域,尤其涉及一种光路切换方法和监控模组。
背景技术
目前,在安防领域的监控模组中常用的摄像机有单目摄像机、多目摄像机或球形摄像机,这些摄像机已经具备视频智能分析功能,例如移动检测、越线检测、区域闯入检测、徘徊检测、人员聚集等。
监控模组的视频分析功能比较强大,但是也存在一些应用缺陷。单目摄像机使用长焦镜头时,可以实现远距离细节抓拍,但是由于视场角小,因此监控范围有限;使用广角镜头,视场角大,监控范围大,但是远距离细节的抓拍又不清晰。多目摄像机的可以覆盖部分长焦段和部分短焦段,但是长焦部分的覆盖距离不够远。
城市安防场景中,视频监控模组不断追求看全(大范围监控全局态势)和看清(远距离看清有价值的细节)。在大范围和高点监控等应用场景下,现有的监控模组的摄像机选定焦段的可覆盖距离有限,更远的距离无法清晰呈现目标细节,在减小监控模组体积和节约成本的情况下,不能满足日益增长的对远距离目标进行清晰的细节监控的要求。
发明内容
本申请提出了一种光路切换方法和监控模组,能够在减小监控模组的体积和节约成本的情况下,兼顾大范围监控全局态势和远距离看清有价值的细节的要求,显著增加监控模组的监控距离,在远距离情况下,仍可以捕捉到清晰的图像细节。
本申请的第一方面,提供一种光路切换方法,该光路切换方法应用于监控模组,所述监控模组包括摄像头、增倍镜、切换元件,反射元件;其中,所述摄像头是变焦镜头,所述增倍镜是定焦镜头,且为光路折叠结构;所述增倍镜的出射光轴与所述摄像头的入射光轴不平行,所述增倍镜的入射光轴与所述摄像头的入射光轴平行;所述切换元件用于改变所述反射元件的位置或工作状态;当所述反射元件处于第一位置或第一工作状态时,所述摄像头单独采集图像;当所述反射元件处于第二位置或第二工作状态时,所述反射元件用于将所述增倍镜的出射光线沿所述摄像头的入射光轴反射至所述摄像头,所述摄像头与所述增倍镜组合采集图像;所述方法包括:
确定目标倍率;
当所述目标倍率小于等于所述摄像头的最大倍率时,将所述摄像头的倍率设置为所述目标倍率;
将所述反射元件设置为所述第一位置或所述第一工作状态,并通过所述摄像头采集图像;
当所述目标倍率大于所述摄像头的最大倍率时,将所述摄像头的倍率设置为第一倍率;其中,所述第一倍率与所述增倍镜的倍率的乘积为所述目标倍率,且所述目标倍率不大于所述摄像头的最大倍率与所述第一倍率的乘积;
将所述反射元件设置为所述第二位置或所述第二工作状态,并通过所述摄像头与所述增倍镜组合采集图像。
本申请第一方面提供的光路切换方法应用在监控模组时,能够在减小监控模组体积和节约成本的情况下,显著增加监控模组的监控距离。
根据第一方面,在第一方面的第一种可能的实现方式中,所述确定目标倍率包括:
确定目标物体在当前采集的图像中的目标大小占比;
根据所述目标大小占比确定所述目标倍率;
其中,所述目标大小占比越小,所述目标倍率越大。
根据目标物体在当前采集的图像中的目标大小占比来确定目标倍率可以使得监控模组更好的适配目标,提升所监控目标的清晰度。
根据第一方面或第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述确定目标倍率包括:
确定目标物体的类别;
根据所述目标物体的类别确定所述目标倍率;
其中,所述目标物体类别与所述目标倍率存在对应关系。
根据目标物体的类别来确定目标倍率可以使得监控模组更好的适配目标,提升所监控目标的清晰度。
根据第一方面或第一方面的第一至第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述确定目标倍率包括:
接收倍率输入指令;
根据所述倍率输入指令确定所述目标倍率。
根据接收到的倍率输入指令来确定目标倍率可以使得监控模组更好的适配目标,提升所监控目标的清晰度。
根据第一方面或第一方面的第一至第三种可能的实现方式,在第一方面的第四种可能的实现方式中,所述摄像头的倍率范围为[1,M];所述增倍镜的倍率为N;其中,M和N为大于1的整数。
根据第一方面或第一方面的第一至第四种可能的实现方式,在第一方面的第五种可能的实现方式中,M的取值范围包括[2,30],N的取值范围包括[2,5]。
根据第一方面或第一方面的第一至第五种可能的实现方式,在第一方面的第六种可能的实现方式中,所述增倍镜包括K个增倍镜头;其中,至少一个增倍镜头的结构为光路折叠结构。光路折叠结构的增倍镜头可以减小监控模组的体积。
本申请的第二方面,提供一种监控模组,所述监控模组包括:
摄像头、增倍镜、切换元件,反射元件;
所述摄像头为变焦镜头;
所述增倍镜为定焦镜头,所述增倍镜为光路折叠结构;其中,所述增倍镜的出射光轴与所述摄像头的入射光轴不平行,所述增倍镜的入射光轴与所述摄像头的入射光轴平行;
所述切换元件用于改变所述反射元件的位置或工作状态;其中,当所述反射元件处于第一位置或第一工作状态时,所述摄像头单独采集图像;当所述反射元件处于第二位置或第二工作状态时,所述反射元件用于将所述增倍镜的出射光线沿所述摄像头的入射光轴反射至所述摄像头,使得所述摄像头与所述增倍镜组合采集图像。本申请第二方面提供的光路可折叠多目摄像机,能够在减小多目摄像机体积和节约成本的情况下,显著增加多目摄像机的监控距离。
根据第二方面,在第二方面的第一种可能的实现方式中,所述摄像头的倍率范围为[1,M];所述增倍镜的倍率为N;其中,M和N为大于1的整数。
根据第二方面或第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,所述M的取值范围包括[2,30],N的取值范围包括[2,5]。
根据第二方面或第二方面的第一至第二种可能的实现方式,在第二方面的第三种可能的实现方式中,所述增倍镜包括K个增倍镜头;其中,至少一个增倍镜头的结构为光路折叠结构。光路折叠结构的增倍镜头可以减小监控模组的体积。
本申请的第三方面,提供一种光路可折叠装置,该光路可折叠装置应用于监控模组:所述监控模组包括摄像头、增倍镜、切换元件,反射元件;其中,摄像头是变焦镜头,增倍镜是定焦镜头,且为光路折叠结构;增倍镜的出射光轴与所述摄像头的入射光轴不平行,增倍镜的入射光轴与所述摄像头的入射光轴平行;切换元件用于改变所述反射元件的位置或工作状态;当反射元件处于第一位置或第一工作状态时,摄像头单独采集图像;当反射元件处于第二位置或第二工作状态时,反射元件用于将所述增倍镜的出射光线沿所述摄像头的入射光轴反射至所述摄像头,使摄像头与所述增倍镜组合采集图像;该光路切换装置包括:
切换模块,所述切换模块包括反射模块,所述反射模块包括反射镜或棱镜;所述切换模块分别与增倍镜和摄像模块相连接,所述切换模块用于切换所述反射模块的位置或状态,来实现所述摄像模块单独工作状态和所述摄像模块与所述增倍镜共同工作状态两种工作状态的切换;
其中,所述摄像模块单独工作状态时,光线从所述摄像模块进入;所述摄像模块与所述增倍镜共同工作状态时,光线从所述增倍镜进入,经过所述切换模块的反射模块反射后,再进入所述摄像模块;
控制模块,用于控制所述切换模块切换工作状态。
本申请第三方面提供的光路可折叠装置可以应用在监控领域的多目摄像机或球形摄像机,能够在减小摄像机体积和节约成本的情况下,显著增加监控摄像机的监控距离。
根据第三方面,在第三方面的第一种可能的实现方式中,所述控制模块在目标尺寸小于阈值尺寸或目标与所述摄像模块的距离大于所述摄像模块的焦段范围时,控制切换模块切换为所述摄像模块与所述增倍镜共同工作状态。摄像模块与所述增倍镜共同工作状态能够使得在摄像模块单独工作状态时清晰度不够的监控目标变得清晰。
根据第三方面或第三方面的第一种可能的实现方式,在第三方面的第二种可能的实现方式中,所述切换模块包括磁吸切换反射镜结构切换模块,所述磁吸切换反射镜结构切换模块包括缠绕线圈的铁芯和固定磁石的反射镜,所述缠绕线圈的铁芯和所述固定磁石的反射镜相斥或相吸分别对应于所述摄像模块单独工作状态或所述摄像模块与所述增倍镜共同工作状态。磁吸切换反射镜结构切换模块能够利用磁特性方便地在两种不同的工作状态之间切换。
根据第三方面或第三方面的第一至第二种可能的实现方式,在第三方面的第三种可能的实现方式中,所述切换模块包括平移反射镜结构切换模块,所述平移反射镜结构的切换模块包括平移驱动模块和反射镜,所述平移驱动模块用于平移所述反射镜的位置,所述反射镜位置与光线从所述摄像模块进入的光路重叠时,所述切换模块切换到所述摄像模块与所述增倍镜共同工作状态;所述反射镜位置与光线从所述摄像模块进入的光路不重叠时,所述切换模块切换到所述摄像模块单独工作状态。平移反射镜结构切换模块能够利用平移驱动模块方便地在两种不同的工作状态之间切换。
根据第三方面或第三方面的第一至第三种可能的实现方式,在第三方面的第四种可能的实现方式中,所述切换模块包括旋转反射镜结构切换模块,所述旋转反射镜结构的切换模块包括旋转驱动模块和反射镜,所述旋转驱动模块用于旋转所述反射镜的位置,所述反射镜位置与光线从所述摄像模块进入的光路重叠时,所述切换模块切换到所述摄像模块与所述增倍镜共同工作状态;所述反射镜位置与光线从所述摄像模块进入的光路不重叠时,所述切换模块切换到所述摄像模块单独工作状态。旋转反射镜结构切换模块能够利用旋转驱动模块方便地在两种不同的工作状态之间切换。
根据第三方面或第三方面的第一至第四种可能的实现方式,在第三方面的第五种可能的实现方式中,所述切换模块包括电致变色材料玻璃结构切换模块,所述电致变色材料玻璃结构的切换模块包括电致变色材料玻璃,所述电致变色材料在不通电的时为透明状态,相当于玻璃,光线从所述摄像模块进入;所述电致变色材料在通电时为反射镜状态,光线从所述增倍镜进入后,经过所述切换模块的反射模块反射后,再进入所述摄像模块。电致变色材料玻璃结构切换模块能够利用电致变色材料玻璃是否通电方便地在两种不同的工作状态之间切换。
本申请的第四方面,提供一种光路可折叠多目摄像机,该光路可折叠多目摄像机包括主摄模块,与所述主摄模块连接的主摄图像传感器,增倍镜,至少一个副摄模块,与所述至少一个副摄模块连接的副摄图像传感器,切换模块和控制模块;
所述主摄模块包括镜头,用于使目标光线在主摄图像传感器上成像;
所述至少一个副摄模块包括镜头,用于使目标光线在所述副摄图像传感器上成像;
所述主摄图像传感器或所述副摄图像传感器用于采集目标图像;
所述增倍镜用于增倍所述主摄模块或所述副摄模块的镜头的焦距;
所述切换模块包括反射模块,所述反射模块包括反射镜或棱镜;所述切换模块分别与增倍镜和摄像模块相连接,所述切换模块用于切换所述反射模块的位置或状态,来实现所述摄像模块单独工作状态和所述摄像模块与所述增倍镜共同工作状态两种工作状态的切换;
其中,所述摄像模块单独工作状态时,光线从所述摄像模块进入;所述摄像模块与所述增倍镜共同工作状态时,光线从所述增倍镜进入,经过所述切换模块的反射模块反射后,再进入所述摄像模块;
所述控制模块用于控制所述切换模块切换工作状态。
本申请第四方面提供的光路可折叠多目摄像机,能够在减小多目摄像机体积和节约成本的情况下,显著增加多目摄像机的监控距离。
根据第四方面,在第四方面的第一种可能的实现方式中,所述摄像模块包括所述至少一个副摄模块中的任意一个。
根据第四方面或第四方面的第一种可能的实现方式,在第四方面的第二种可能的实现方式中,所述主摄模块的镜头视场角大于任一所述副摄模块的镜头视场角。
根据第四方面或第四方面的第一至第二种可能的实现方式,在第四方面的第三种可能的实现方式中,控制模块在检测到目标尺寸小于阈值尺寸时,控制切换模块切换为所述摄像模块与所述增倍镜共同工作状态。摄像模块与所述增倍镜共同工作状态能够使得在摄像模块单独工作状态时清晰度不够的监控目标变得清晰。
根据第四方面或第四方面的第一至第三种可能的实现方式,在第四方面的第四种可能的实现方式中,所述光路可折叠多目摄像机还可以包括多路图像处理模块,所述多路图像处理模块用于对所述主摄图像传感器和/或所述至少一个副摄图像传感器采集到的图像数据进行图像处理,其中,所述图像处理包括马赛克、自动曝光、自动白平衡、自动聚焦、色彩校正、锐化增强或降噪。
根据第四方面或第四方面的第一至第四种可能的实现方式,在第四方面的第五种可能的实现方式中,所述光路可折叠多目摄像机还可以包括多目协同处理模块,用于协同处理所述主摄模块,和至少一个所述副摄模块所拍摄的图像数据或视频数据。
根据第四方面或第四方面的第一至第五种可能的实现方式,在第四方面的第六种可能的实现方式中,所述光路可折叠多目摄像机还可以包括视频/图像编码模块,所述视频/图像编码模块用于对图像处理后的图像数据或视频数据进行图像编码或视频编码。
根据第四方面或第四方面的第一至第六种可能的实现方式,在第四方面的第七种可能的实现方式中,所述光路可折叠多目摄像机还可以包括传输模块,所述传输模块用于传输编码后的图像数据或视频数据。
根据第四方面或第四方面的第一至第七种可能的实现方式,在第四方面的第八种可能的实现方式中,所述光路可折叠多目摄像机还可以包括显示模块,所述显示模块用于对传输过来的编码后的视频数据或图像数据进行解码和显示。
本申请的第五方面,提供一种光路可折叠球形摄像机,所述光路可折叠球形摄像机包括增倍镜,摄像模块,与所述摄像模块连接的图像传感器,切换模块和控制模块,其中:
所述增倍镜用于增倍所述摄像模块的镜头的焦距;
所述摄像模块包括镜头,用于使目标光线在图像传感器上成像;
所述图像传感器用于采集目标图像。
所述切换模块包括反射模块,所述反射模块包括反射镜或棱镜;所述切换模块分别与增倍镜和摄像模块相连接,所述切换模块用于切换所述反射模块的位置或状态,来实现所述摄像模块单独工作状态和所述摄像模块与所述增倍镜共同工作状态两种工作状态的切换;
其中,所述摄像模块单独工作状态时,光线从所述摄像模块进入;所述摄像模块与所述增倍镜共同工作状态时,光线从所述增倍镜进入,经过所述切换模块的反射模块反射后,再进入所述摄像模块;
所述控制模块控制所述切换模块切换工作状态。
本申请第五方面提供的光路可折叠球形摄像机,能够在减小球形摄像机体积和节约成本的情况下,显著增加球形摄像机的监控距离。
根据第五方面,在第五方面的第一种可能的实现方式中,所述球形摄像机还可以包括云台,所述云台与所述摄像模块相连接,所述云台可以在控制模块的控制下携带所述摄像模块进行水平转动和垂直转动。所述云台可以使得摄像模块便于调整拍摄方向。
根据第五方面或第五方面的第一种可能的实现方式,在第五方面的第二种可能的实现方式中,所述摄像模块为变焦镜头,所述变焦镜头的焦距变化范围为4mm~150mm。
根据第五方面或第五方面的第一至第二种可能的实现方式,在第五方面的第三种可能的实现方式中,所述增倍镜包括一个或K个增倍镜头,所述K个增倍镜头的结构为光路多次折叠结构。K个增倍镜头的优点在于可以根据监控环境适应性的调整增倍倍数。
根据第五方面或第五方面的第一至第三种可能的实现方式,在第五方面的第四种可能的实现方式中,所述光路可折叠球形摄像机还可以包括固定反射模块,所述固定反射模块包括反射镜或棱镜,所述固定反射模块用于折叠K个增倍镜头之间的光路。固定反射模块可以进一步折叠光路,减小球形摄像机的体积。
根据第五方面或第五方面的第一至第四种可能的实现方式,在第五方面的第五种可能的实现方式中,所述控制模块在检测到目标与所述摄像模块的距离大于所述摄像模块的焦段范围时,所述控制模块控制切换模块切换为所述摄像模块与所述增倍镜共同工作状态。摄像模块与所述增倍镜共同工作状态能够使得在摄像模块单独工作状态时清晰度不够的监控目标变得清晰。
根据第五方面或第五方面的第一至第五种可能的实现方式,在第五方面的第六种可能的实现方式中,所述控制模块还用于:
选择工作模式,所述工作模式手动模式、预置位扫描模式或自动模式。
根据第五方面或第五方面的第一至第六种可能的实现方式,在第五方面的第七种可能的实现方式中,所述光路可折叠球形摄像机还可以包括图像处理模块,所述图像处理模块用于对图像传感器采集到的图像数据进行图像处理,其中,所述图像处理包括马赛克、自动曝光、自动白平衡、自动聚焦、色彩校正、锐化增强或降噪。
根据第五方面或第五方面的第一至第七种可能的实现方式,在第五方面的第八种可能的实现方式中,所述光路可折叠球形摄像机还可以包括视频/图像编码模块,所述视频/图像编码模块用于对图像处理后的图像数据或视频数据进行图像编码或视频编码。
根据第五方面或第五方面的第一至第八种可能的实现方式,在第五方面的第九种可能的实现方式中,所述光路可折叠球形摄像机还可以包括传输模块,所述传输模块用于传输编码后的图像数据或视频数据。
根据第五方面或第五方面的第一至第九种可能的实现方式,在第五方面的第十种可能的实现方式中,所述光路可折叠球形摄像机还可以包括显示模块,所述显示模块用于对传输过来的编码后的视频数据或图像数据进行解码和显示。
本申请的第六方面,提供一种光路可折叠方法,应用在多目摄像机或球形摄像机,该光路可折叠方法包括:
检测目标尺寸或目标与所述摄像模块的距离;
控制切换模块切换工作状态,所述工作状态包括所述摄像模块单独工作状态和所述摄像模块与所述增倍镜共同工作状态,其中,所述摄像模块单独工作状态时,光线从所述摄像模块进入;所述摄像模块与所述增倍镜共同工作状态时,光线从所述增倍镜进入后经过所述切换模块的反射模块折叠,再进入所述摄像模块;
检测到目标尺寸小于阈值尺寸或目标与所述摄像模块的距离大于所述摄像模块的焦段范围时,控制切换模块切换为所述摄像模块与所述增倍镜共同工作状态。
本申请第六方面提供的光路可折叠方法,可以应用在监控领域的多目摄像机或球形摄像机,能够在减小摄像机体积和节约成本的情况下,显著增加监控摄像机的监控距离。
本申请的第七方面,提供一种光路切换装置,该光路切换装置应用于监控模组,监控模组包括摄像头、增倍镜、切换元件,反射元件;其中,摄像头是变焦镜头,增倍镜是定焦镜头,且为光路折叠结构;增倍镜的出射光轴与所述摄像头的入射光轴不平行,增倍镜的入射光轴与所述摄像头的入射光轴平行;切换元件用于改变所述反射元件的位置或工作状态;当反射元件处于第一位置或第一工作状态时,摄像头单独采集图像;当反射元件处于第二位置或第二工作状态时,反射元件用于将所述增倍镜的出射光线沿摄像头的入射光轴反射至所述摄像头,所述摄像头与增倍镜组合采集图像;该装置包括:
确定模块,用于确定目标倍率;
控制模块,用于当目标倍率小于等于摄像头的最大倍率时,将摄像头的倍率设置为目标倍率;
将反射元件设置为第一位置或第一工作状态,并通过摄像头采集图像;
当目标倍率大于所述摄像头的最大倍率时,将摄像头的倍率设置为第一倍率;其中,第一倍率与增倍镜的倍率的乘积为目标倍率,且目标倍率不大于摄像头的最大倍率与第一倍率的乘积;
将反射元件设置为第二位置或第二工作状态,并通过摄像头与增倍镜组合采集图像。本申请第七方面提供的光路切换装置应用在监控模组时,能够在减小监控模组体积和节约成本的情况下,显著增加监控模组的监控距离。
根据第七方面,在第七方面的第一种可能的实现方式中,确定模块具体用于:
确定目标物体在当前采集的图像中的目标大小占比;
根据所述目标大小占比确定所述目标倍率;
其中,所述目标大小占比越小,所述目标倍率越大。
根据目标物体在当前采集的图像中的目标大小占比来确定目标倍率可以使得监控模组更好的适配目标,提升所监控目标的清晰度。
根据第七方面或第七方面的第一种可能的实现方式,在第七方面的第二种可能的实现方式中,确定模块具体用于:
确定目标物体的类别;
根据所述目标物体的类别确定所述目标倍率;
其中,所述目标物体类别与所述目标倍率存在对应关系。
根据目标物体的类别来确定目标倍率可以使得监控模组更好的适配目标,提升所监控目标的清晰度。
根据第七方面或第七方面的第一至第二种可能的实现方式,在第七方面的第三种可能的实现方式中,确定模块具体用于:
接收倍率输入指令;
根据所述倍率输入指令确定所述目标倍率。
根据接收到的倍率输入指令来确定目标倍率可以使得监控模组更好的适配目标,提升所监控目标的清晰度。
根据第七方面或第七方面的第一至第三种可能的实现方式,在第七方面的第四种可能的实现方式中,所述摄像头的倍率范围为[1,M];所述增倍镜的倍率为N;其中,M和N为大于1的整数。
根据第七方面或第七方面的第一至第四种可能的实现方式,在第七方面的第五种可能的实现方式中,M的取值范围包括[2,30],N的取值范围包括[2,5]。
根据第七方面或第七方面的第一至第五种可能的实现方式,在第七方面的第六种可能的实现方式中,所述增倍镜包括K个增倍镜头;其中,至少一个增倍镜头的结构为光路折叠结构。光路折叠结构的增倍镜头可以减小监控模组的体积。
本申请的第八方面,提供一种电子设备,包括存储器和与所述存储器连接的至少一个处理器,
所述存储器用于存储指令,所述指令被所述至少一个处理器读取后,所述电子设备执行第一方面所述的方法。
本申请的第九方面,提供一种计算机可读存储介质,计算机可读存储介质包括计算机指令,当所述计算机指令在计算机上运行时,以执行第一方面所述的方法。
本申请的这些和其他方面在以下多个实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种多目摄像机结构示意图;
图2为本申请实施例一提供的一种监控范围示意图;
图3为本申请实施例一提供的一种光路可折叠装置示意图;
图4为本申请实施例一提供的一种副摄模块单独工作状态的光路示意图;
图5为本申请实施例一提供的一种副摄模块与增倍镜共同工作状态的光路示意图;
图6为本申请实施例一提供的一种磁吸切换反射镜结构示意图;
图7为本申请实施例一提供的一种平移反射镜结构示意图;
图8为本申请实施例一提供的一种旋转反射镜结构示意图;
图9为本申请实施例一提供的一种电致变色材料玻璃结构示意图;
图10为本申请实施例二提供的一种光路可折叠多目摄像机示意图;
图11为本申请实施例三提供的一种光路可折叠方法流程图;
图12为本申请实施例四提供的一种光路可折叠球形摄像机示意图;
图13为本申请实施例四提供的一种摄像模块单独工作状态的光路示意图;
图14为本申请实施例四提供的一种摄像模块与增倍镜共同工作状态的光路示意图;
图15为本申请实施例五提供的一种光路可折叠方法流程图;
图16为本申请实施例七提供的一种光路切换方法流程图;
图17为本申请实施例六提供的一种监控模组结构示意图;
图18为本申请实施例六提供的一种监控系统示意图;
图19为本申请实施例八提供的一种光路切换装置示意图。
具体实施方式
本申请主要应用于监控摄像机领域,重点应用于监控模组。
本申请实施例用到的关键术语的在一些场景下可以理解成如下解释:
增距镜(Teleconverter):用来增加相机的光学成像倍率的光学组件,不能作为独立的镜头来成像。
光路:光线的传播路径。
焦段:变焦镜头的焦距的变化范围。
多目摄像机:包含多个镜头及对应图像传感器的监控成像设备,实现同时对于多个视场的监控,多个视场的监控画面之间可以根据用户需要进行拼接,实现完整的大视场监控,也可以不拼接。多个不同规格的镜头可以自由组合。
球形摄像机:一种具有旋转云台结构,可实现大视场范围监控的设备。可实现PTZ三个维度的变化,其中PTZ在安防监控应用中是Pan/Tilt/Zoom的简写,P表示云台的水平转动,T表示云台的垂直转动,Z表示镜头的变焦控制。平移和垂直转动由云台内部的电机控制,变焦由镜头中的缩放电机控制。
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述。
图1是本申请实施例提供的一种多目摄像机结构示意图。该多目摄像机包括主摄模块101,主摄图像传感器102,副摄模块103,副摄图像传感器104,多路图像处理模块105,多目协同处理模块106,视频/图像编码模块107和显示模块108。使用广角镜头的主摄模块101与使用长焦镜头的副摄模块103在获得像信息后,分别在对应的主摄图像传感器102和副摄图像传感器104上将各自的模拟光信号的像转换为数字信号的图像数据,多路图像处理模块105对转换后的图像数据进行图像处理后,多目协同处理模块106对图像处理后的图像数据进行智能分析后,视频/图像编码模块107对图像数据进行编码压缩,编码后的数据经传输模块108传输到显示模块109,显示模块109对图像数据进行解码和显示。
主摄模块一般使用广角摄像机,广角摄像机的监测范围大,但监测的距离不够,距离变远后,监测的细节会变得不清晰,难以分辨;副摄模块一般使用长焦摄像机,长焦摄像机的监测范围小,但是拍摄远距离目标时监测的细节清晰,视野内的目标清晰度可以达到分辨的级别。如图2所示为本申请实施例提供的一种多目摄像机的监控范围示意图,多目摄像机主摄模块的监控区域201和副摄模块的监控区域202有部分互相覆盖,当监测目标与该多目摄像机的距离小于主摄模块所使用的广角摄像机的最大可清晰监测距离203时,主摄单独工作即可;当监测目标与该多目摄像机的距离大于主摄模块所使用的广角摄像机的最大可清晰监测距离203且位于副摄模块的监控区域202中时,主摄模块与副摄模块共同工作,副摄模块的长焦摄像机负责监测主摄模块的广角摄像机所无法清晰监测的目标。
然而,副摄模块的长焦摄像机选定焦段的可覆盖距离有限,更远的距离无法清晰呈现目标细节。如图2所示的监控范围示意图,当监测目标与该多目摄像机的距离大于副摄模块所使用的长焦摄像机的最大可清晰监测距离204时,监测目标将无法被该多目摄像机识别。如果副摄模块使用多个长焦镜头叠加来增加拍摄距离,由于每增加一个长焦摄像头会对应增加一个图像传感器,相应的器件成本也会增加。
为了解决以上所述问题,本申请实施例提供一种光路可折叠装置,能够利用对反射镜位置的控制,实现副摄单独工作状态和副摄与增倍镜共同工作状态两种工作状态的切换,在不增加图像传感器数量的情况下即不明显增加成本的情况下,实现不同焦段的切换,从而扩大摄像机的拍摄范围。接下来,以该光路可折叠装置和方法分别在多目摄像机和球形摄像机中的应用,对本申请实施例所提供的技术方案作进一步说明。可以理解,其它类型的光路可折叠装置也可以适用本技术方案,其具体实现可以参考接下来的实施例。
本申请实施例一,提供一种光路可折叠装置,如图3所示,该光路可折叠装置包括切换模块301和控制模块302,应用在多目摄像机中,用于对光路进行折叠,实现扩大摄像机的拍摄范围的目的。
其中,切换模块301用于切换反射模块的位置或状态来实现副摄模块单独工作状态和副摄模块与增倍镜共同工作状态两种工作状态的切换,反射模块包括反射镜或棱镜。增倍镜指的是能够增加焦距的光学组件。
具体的,图4为切换模块切换到副摄模块单独工作状态的光路示意图,该工作状态的光路为光线直接穿过切换模块401入射到副摄模块402中,没有经过反射镜4011,其中,切换模块401切换到副摄模块单独工作状态。
图5为切换模块切换到副摄模块与增倍镜共同工作状态的光路示意图,该工作状态的光路为光线先经过增倍镜501,然后通过固定反射模块502实现光路的改变,之后通过切换模块503的反射镜5031再次改变光路,再进入副摄模块504,其中,切换模块503切换到副摄模块与增倍镜共同工作状态。
在第一种可能的实现方式中,切换模块为磁吸切换反射镜结构,如图6所示为磁吸切换反射镜结构示意图。线圈缠绕在铁芯601上,磁石602固定在反射镜603上端,在线圈未通电时,磁石602和铁芯601相吸,反射镜603呈现竖直状态,与光线直接进入切换模块的光路不重叠,不影响光线传播方向,副摄模块处于单独工作状态;在线圈通电时,磁石602和铁芯601相斥,磁石带动反射镜603偏转到特定角度(例如,45°)卡槽位置并停留下来,与原光路重叠,光线改由通过增倍镜进入的路线,经过增倍镜的光线传播方向先通过反射模块偏转一个角度(例如,90°),再经过切换模块的反射镜603偏转另一个角度(例如,90°),实现光路的折叠,副摄模块处于与增倍镜共同工作的状态。可以理解的是,磁石处于不同位置时磁吸逻辑关系的改变也属于本发明的保护范围内。其中,反射镜603偏转的角度、光线偏转的角度和路线均不受限制,其他可以实现光路可折叠的光线路线也在本申请的保护范围内。
在第二种可能的实现方式中,切换模块为平移反射镜结构,如图7所示为平移反射镜的两种结构示意图。平移反射镜结构的反射镜701被固定在一个框架中,其中,反射镜可以为棱镜、平面反射镜或其他可以实现光路反射功能的组件;该框架可以为任意材料制成的框架;反射镜和框架的形状可以为长方形、正方形或圆形等任意形状,本申请在此不做限制。含反射镜的框架被固定在一个导轨上,与原光路呈特定角度(例如,45度)放置在光路中。在平移驱动模块702的驱动下,框架可以被推动从而在导轨上做平移运动,其中,平移驱动模块702可以为电机或其他任意可提供动能的组件。当反射镜处于与原光路不重叠的位置703时,光路可以直接通过,副摄处于单独工作的状态;当反射镜被平移驱动模块702平移后,处于与原光路完全重叠的位置704时,切换模块可以实现光路的折叠,副摄处于与增倍镜共同工作的状态。
在第三种可能的实现方式中,切换模块为旋转反射镜结构,如图8所示为旋转反射镜结构示意图。旋转反射镜结构的反射镜801被固定在一个框架中,其中,反射镜可以为棱镜、平面反射镜或其他可以实现光路反射功能的组件;该框架可以为任意材料制成的框架;反射镜和框架的形状可以为长方形、正方形或圆形等任意形状,本申请在此不做限制。含反射镜的框架被固定在一个导轨上,与原光路呈特定角度(例如,45度)放置在光路中。在旋转驱动模块802的驱动下,框架可以围绕一个转轴旋转,其中,旋转驱动模块802可以为电机或其他任意可提供动能的组件。当反射镜处于与原光路不重叠的位置803时,光路可以直接通过,副摄处于单独工作的状态;当反射镜被旋转驱动模块802驱动旋转后,处于与原光路完全重叠的位置804时,切换模块可以实现光路的折叠,副摄处于与增倍镜共同工作的状态。
在第四种可能的实现方式中,切换模块为电致变色材料玻璃结构,如图9所示为电致变色材料玻璃结构示意图。该电致变色材料玻璃901在玻璃中集成一层纳米颗粒层,通电后可以激活纳米颗粒层,使得纳米颗粒层聚集在一起,形成反射镜;切换到不同电压(例如,断电),则可将纳米颗粒层移开,反射镜变成透明玻璃。将该电致变色的材料玻璃901,与原光路呈特定角度(例如,45度)放置在光路中。在不通电的状态下,该材料为透明,相当于玻璃状态902,光路可以直接通过,副摄处于单独工作的状态;在通电状态下,该材料可以实现全反射功能,相当于反射镜状态903,切换模块可以实现光路的折叠,副摄处于与增倍镜共同工作的状态。
控制模块302用于根据不同的目标状态,控制切换模块301在副摄模块单独工作状态和副摄模块与增倍镜共同工作状态两种工作状态之间的切换。在一种可能的实现方式中,控制模块302根据主摄模块采集的图像数据进行目标检测和跟踪,同时记录目标的编号、目标在图像中的像素位置坐标以及目标的尺寸等特征。根据某一特定目标m在主摄模块的镜头视场中的位置,和事先标定好的主摄模块和至少一个副摄模块之间的图像映射关系,确定目标在第n个副摄模块的镜头视场中出现。在第n个副摄模块所采集的图像中,获取目标,并检测该目标的尺寸是否可满足预设的用于目标识别的阈值尺寸,例如,人脸的像素值为30。若满足,则无需控制增倍镜,若不满足,则开启增倍镜,获取更大变倍的图像,再进行检测跟踪。可选的,还可以确认该目标的清晰度是否可满足预设的用于目标识别的清晰度,若满足,则无需控制增倍镜,若不满足,则开启增倍镜,获取更大变倍、清晰度更高的图像,再进行检测跟踪。其中,如果需要开启增倍镜,则控制模块控制铁芯601上的线圈通电,可选地,控制模块还可以控制平移驱动模块702平移反射镜与原光路重叠,或者,控制旋转驱动模块802旋转反射镜与原光路重叠,或者,控制电致变色材料玻璃901通电;如果不需要开启增倍镜,则控制模块控制铁芯601上的线圈不通电,可选地,控制模块还可以控制平移驱动模块702平移反射镜与原光路不重叠,或者,控制旋转驱动模块802旋转反射镜与原光路不重叠,或者,控制电致变色材料玻璃901不通电。
可以理解的是,切换模块301的两种不同的工作状态对应了两种不同的光路选择,副摄模块单独工作状态对应光线直接进入副摄模块的光路,副摄模块与增倍镜共同工作状态对应光线从增倍镜进入后,经过切换模块的反射模块反射后,再进入副摄模块的光路。光路的选择依据的是控制模块302给出的不同的控制信号。
可选地,控制模块还可以根据不同的需求,例如,不同的目标数量,控制至少一个切换模块。在一种可能的实现方式中,需监控一个目标时,则控制模块仅控制一个切换模块和该切换模块所相应的增倍镜、副摄模块和副摄图像传感器与主摄模块和主摄图像传感器共同工作。
可选地,该光路可折叠装置还可以包括增倍镜,增倍镜与切换模块集成在一起。
可选地,该光路可折叠装置还可以包括摄像镜头,摄像镜头与切换模块集成在一起。
可选地,该光路可折叠装置还可以包括增倍镜和摄像镜头,增倍镜和摄像镜头均与切换模块集成在一起。
本申请实施例一的光路可折叠装置还可以应用于球形摄像机中,本申请实施例一的光路可折叠装置应用于球形摄像机时,副摄模块更换为摄像模块。
本申请实施例一的光路可折叠装置,可以根据目标不同的位置选择不同的光路,在不增加图像传感器数量的情况下即不明显增加成本的情况下,实现不同焦段的切换,从而扩大摄像机的拍摄范围。
本申请实施例二,提供一种光路可折叠多目摄像机,通过该光路可折叠多目摄像机中光路可折叠装置在拍摄不同距离目标时进行不同工作状态的切换,实现扩大多目摄像机拍摄范围的目的。本申请实施例二提供的光路可折叠多目摄像机如图10所示,包括:主摄模块1001,主摄图像传感器1002,增倍镜1003,副摄模块1004,副摄图像传感器1005,多路图像处理模块1006,多目协同处理模块1007,视频/图像编码模块1008,传输模块1009,显示模块1010和由切换模块1011和控制模块1012组成的光路可折叠装置。
需要说明的是,副摄模块根据成像需要可以有N个,相应的增倍镜、切换模块和副摄图像传感器也可以有N个,副摄模块1004,相应的增倍镜1003、切换模块1010和副摄图像传感器1005为其中的一个实施例。
各个模块的功能描述如下:
主摄模块1001:用于使目标光线在主摄图像传感器上成像,包括镜头、滤光片,镜头一般选用大视场角的广角镜头,实现大范围监控,在一种可能的实现方式中,镜头焦距可选择4mm-10mm的任意值,镜头可以为定焦镜头或变焦镜头,在此不限定;滤光片用于滤除干扰光线,在一种可能的实现方式中,滤光片可以为红外截止滤光片,可以阻挡环境中除可见光外的其他波长光线进入系统,影响成像效果。
主摄图像传感器1002:用于通过把光信号转换为电信号来实时采集目标图像,图像传感器包括电行耦合元件(CCD,Charge-coupled Device)传感器、互补金属氧化物半导体(CMOS,Complementary Metal Oxide Semiconductor)传感器或石墨烯材料传感器。
增倍镜1003:用于增倍镜头的变焦倍数的一种光学模块,具有固定增倍的功能,如2倍增倍镜等,可对接普通变焦镜头上,实现焦距的2倍增倍。
副摄模块1004:用于使目标光线在副摄图像传感器上成像,包括镜头、滤光片,镜头一般选用远距离的长焦镜头,实现远距离监控,镜头可以为定焦镜头或变焦镜头,在此不限定;滤光片用于滤除干扰光线,在一种可能的实现方式中,滤光片可以为红外截止滤光片,可以阻挡环境中除可见光外的其他波长光线进入系统,影响成像效果。在一种可能的实现方式中,任意一个副摄模组采集目标图像时的焦距需大于主摄镜头采集目标图像时的焦距,以清晰地获得较远区域的图像。在另一种可能的实现方式中,所述主摄模块的镜头视场角大于任一所述副摄模块的镜头视场角。
副摄图像传感器1005:用于通过把光信号转换为电信号来实时采集目标图像,图像传感器包括电行耦合元件(CCD,Charge-coupled Device)传感器、互补金属氧化物半导体(CMOS,Complementary Metal Oxide Semiconductor)传感器或石墨烯材料传感器。
多路图像处理模块1006:用于接收主摄图像传感器和/或至少一个副摄图像传感器采集到的图像数据,对采集到的图像数据进行图像处理。其中,图像处理包括对图像数据进行去马赛克、自动曝光、自动白平衡、自动聚焦、色彩校正、锐化增强、降噪等图像处理操作。其中,去马赛克是拜耳图到RGB图的处理,是将图像传感器获得的亮度不均的像素点,插值成平滑的像素点的过程。自动曝光是指,根据图像处理反馈的亮度统计信息,自动调整图像传感器的曝光时间和增益,达到调节图片亮度的目的。自动白平衡是指,根据白区统计信息,自动调节图像处理模块的RGB增益,达到色彩平衡的目的。自动聚焦是指,统计图像内容并根据统计的结果,调整主摄模块或副摄模块的硬件动作。色彩校正是指对经过白平衡处理之后的RGB图进行色彩还原度的校正,例如,对RGB图乘以一个色彩校正矩阵达到色彩还原的目的,这是由于图像传感器获取到的光谱与人眼感受到的光谱存在一定偏差,所以需要经过色彩还原校正才能呈现于人眼感受相近的正常图像。锐化增强是指对图像进行边缘、高频细节增强的处理,用于使图像更加清晰。降噪是指对图像的干扰噪声进行抑制的操作,包括空域降噪、时域降噪或色噪抑制等。可选地,该模块还可以包括存储单元,用于存储处理的过程图像数据或过程视频数据。
多目协同处理模块1007:用于协同处理主摄模块,和至少一个副摄模块所拍摄的图像数据或视频数据,即协同处理多目图像数据或视频数据,并优选出包含目标对象的最佳图像数据或视频数据。在一种可能的实现方式中,基于主摄图像传感器保存的大视场角图像数据进行目标对象的检测和/或跟踪,记录目标对象ID和/或像素位置坐标,形成目标对象轨迹,其中,目标对象包括:机动车、行人、人脸等重点监控对象。可选地,还可以选出包含检测和/或跟踪的目标的图像,并对这些图像进行裁剪。再根据标定的主摄模块和各个副摄模块之间的空间对应的图像映射关系和/或系统中时间维度(例如,记录的时间点)和空间维度(例如,位置坐标)等信息进行关联匹配。在一种可能的实现方式中,在空间装配时,根据主摄模块和各个副摄模块的位置关系,建立起各个副摄模块的覆盖区域和主摄模块的覆盖区域之间的空间映射关系,例如,采用位置变换矩阵表达该映射关系。在得到的多个含有目标对象的图像中,采用质量评价方法,获取最优的图像。其中,质量评价方法指的是对于主摄模块和副摄模块中采集的多张包含同一个目标对象的图片,根据目标对象的尺寸大小、姿态和/或清晰度等指标进行评价,优选出一张最佳图像。质量评价方法可以采用基于深度学习的质量评价方法或其他现有技术中的能够达到图像优选目的的质量评价方法。
视频/图像编码模块1008:用于对经过图像处理后的图像数据或视频数据进行图像编码或视频编码;或者,对经过图像处理后的至少一个副摄模块采集的图像数据或视频数据进行图像编码或视频编码。另一方面,还可以对通过多目协同处理模块1007优选出的包含目标对象的最佳图像数据或最佳视频数据进行图像编码或视频编码;或者,对优选出目标对象的最佳图像数据或最佳视频数据的原始图像或原始视频进行图像编码或视频编码。视频/图像编码的方法可以使用现有的视频/图像编码方法,本申请在此不作限制。
传输模块1009,用于传输编码后的图像数据或视频数据。数据传输方法可以使用现有的数据传输方法,本申请在此不作限制。
显示模块1010,用于对传输过来的编码后的视频数据或图像数据进行解码和显示。例如,在视频网站显示界面中主显示区域显示视频,主显示区域的周边显示区域可以显示一些目标的抓拍图像,尤其可以显示目标的优选出的最佳图像。
切换模块1011用于切换反射模块的位置或状态来实现副摄模块单独工作状态和副摄模块与增倍镜共同工作状态两种工作状态的切换,反射模块包括反射镜或棱镜。
具体的,图4为切换模块切换到副摄模块单独工作状态的光路示意图,该工作状态的光路为光线直接穿过切换模块401入射到副摄模块402中,没有经过反射镜4011,其中,切换模块401切换到副摄模块单独工作状态。
图5为切换模块切换到副摄模块与增倍镜共同工作状态的光路示意图,该工作状态的光路为光线先经过增倍镜501,然后通过固定反射模块502实现光路的改变,之后通过切换模块503的反射镜5031再次改变光路,再进入副摄模块504,其中,切换模块503切换到副摄模块与增倍镜共同工作状态。
在第一种可能的实现方式中,切换模块为磁吸切换反射镜结构,如图6所示为磁吸切换反射镜结构示意图。线圈缠绕在铁芯601上,磁石602固定在反射镜603上端,在线圈未通电时,磁石602和铁芯601相吸,反射镜603呈现竖直状态,与光线直接进入切换模块的光路不重叠,不影响光线传播方向,副摄模块处于单独工作状态;在线圈通电时,磁石602和铁芯601相斥,磁石带动反射镜603偏转到特定角度(例如,45°)卡槽位置并停留下来,与原光路重叠,光线改由通过增倍镜进入的路线,经过增倍镜的光线传播方向先通过反射模块偏转一个角度(例如,90°),再经过切换模块的反射镜603偏转另一个角度(例如,90°),实现光路的折叠,副摄模块处于与增倍镜共同工作的状态。可以理解的是,磁石处于不同位置时磁吸逻辑关系的改变也属于本发明的保护范围内。其中,反射镜603偏转的角度、光线偏转的角度和路线均不受限制,其他可以实现光路可折叠的光线路线也在本申请的保护范围内。
在第二种可能的实现方式中,切换模块为平移反射镜结构,如图7所示为平移反射镜的两种结构示意图。平移反射镜结构的反射镜701被固定在一个框架中,其中,反射镜可以为棱镜、平面反射镜或其他可以实现光路反射功能的组件;该框架可以为任意材料制成的框架;反射镜和框架的形状可以为长方形、正方形或圆形等任意形状,本申请在此不做限制。含反射镜的框架被固定在一个导轨上,与原光路呈特定角度(例如,45度)放置在光路中。在平移驱动模块702的驱动下,框架可以被推动从而在导轨上做平移运动,其中,平移驱动模块702可以为电机或其他任意可提供动能的组件。当反射镜处于与原光路不重叠的位置703时,光路可以直接通过,副摄处于单独工作的状态;当反射镜被平移驱动模块702平移后,处于与原光路完全重叠的位置704时,切换模块可以实现光路的折叠,副摄处于与增倍镜共同工作的状态。
在第三种可能的实现方式中,切换模块为旋转反射镜结构,如图8所示为旋转反射镜结构示意图。旋转反射镜结构的反射镜801被固定在一个框架中,其中,反射镜可以为棱镜、平面反射镜或其他可以实现光路反射功能的组件;该框架可以为任意材料制成的框架;反射镜和框架的形状可以为长方形、正方形或圆形等任意形状,本申请在此不做限制。含反射镜的框架被固定在一个导轨上,与原光路呈特定角度(例如,45度)放置在光路中。在旋转驱动模块802的驱动下,框架可以围绕一个转轴旋转,其中,旋转驱动模块802可以为电机或其他任意可提供动能的组件。当反射镜处于与原光路不重叠的位置803时,光路可以直接通过,副摄处于单独工作的状态;当反射镜被旋转驱动模块802驱动旋转后,处于与原光路完全重叠的位置804时,切换模块可以实现光路的折叠,副摄处于与增倍镜共同工作的状态。
在第四种可能的实现方式中,切换模块为电致变色材料玻璃结构,如图9所示为电致变色材料玻璃结构示意图。该电致变色材料玻璃901在玻璃中集成一层纳米颗粒层,通电后可以激活纳米颗粒层,使得纳米颗粒层聚集在一起,形成反射镜;切换到不同电压(例如,断电),则可将纳米颗粒层移开,反射镜变成透明玻璃。将该电致变色的材料玻璃901,与原光路呈特定角度(例如,45度)放置在光路中。在不通电的状态下,该材料为透明,相当于玻璃状态902,光路可以直接通过,副摄处于单独工作的状态;在通电状态下,该材料可以实现全反射功能,相当于反射镜状态903,切换模块可以实现光路的折叠,副摄处于与增倍镜共同工作的状态。
控制模块1012用于根据不同的目标状态,控制切换模块1011在副摄模块单独工作状态和副摄模块与增倍镜共同工作状态两种工作状态之间的切换。控制模块1012根据主摄模块采集的图像数据进行目标检测和跟踪,同时记录目标的编号、目标在图像中的像素位置坐标以及目标的尺寸等特征。根据某一特定目标m在主摄模块的镜头视场中的位置,和事先标定好的主摄模块和至少一个副摄模块之间的图像映射关系,确定目标在第n个副摄模块的镜头视场中出现。在第n个副摄模块所采集的图像中,获取目标,并检测该目标的尺寸是否可满足预设的用于目标识别的阈值尺寸,例如,人脸的像素值为30。若满足,则无需控制增倍镜,若不满足,则开启增倍镜,获取更大变倍的图像,再进行检测跟踪。可选的,还可以确认该目标的清晰度是否可满足预设的用于目标识别的清晰度,若满足,则无需控制增倍镜,若不满足,则开启增倍镜,获取更大变倍、清晰度更高的图像,再进行检测跟踪。其中,如果需要开启增倍镜,则控制模块控制铁芯601上的线圈通电,可选地,控制模块还可以控制平移驱动模块702平移反射镜与原光路重叠,或者,控制旋转驱动模块802旋转反射镜与原光路重叠,或者,控制电致变色材料玻璃901通电;如果不需要开启增倍镜,则控制模块控制铁芯601上的线圈不通电,可选地,控制模块还可以控制平移驱动模块702平移反射镜与原光路不重叠,或者,控制旋转驱动模块802旋转反射镜与原光路不重叠,或者,控制电致变色材料玻璃901不通电。
可以理解的是,切换模块1011的两种不同的工作状态对应了两种不同的光路选择,副摄模块单独工作状态对应光线直接进入副摄模块的光路,副摄模块与增倍镜共同工作状态对应光线从增倍镜进入后,经过切换模块的反射模块反射后,再进入副摄模块的光路。光路的选择依据的是控制模块1012给出的不同的控制信号。
可选地,控制模块还可以根据不同的需求,例如,不同的目标数量,控制至少一个切换模块。在一种可能的实现方式中,需监控一个目标时,则控制模块仅控制一个切换模块和该切换模块所相应的增倍镜、副摄模块和副摄图像传感器与主摄模块和主摄图像传感器共同工作。
本申请实施例二的光路可折叠多目摄像机,可以根据目标不同的位置选择不同的光路,在不增加图像传感器数量的情况下即不明显增加成本的情况下,实现不同焦段的切换,从而扩大多目摄像机的拍摄范围。
本申请实施例三,提供一种光路可折叠方法,如图11所示为该光路可折叠方法流程图,该光路可折叠方法应用在多目摄像机中,具体实施步骤如下:
S111:控制工作状态的切换;
控制模块根据不同的目标状态,控制切换模块在副摄模块单独工作状态和副摄模块与增倍镜共同工作状态两种工作状态之间的切换。
控制模块根据主摄模块采集的图像数据进行目标检测和跟踪,同时记录目标的编号、目标在图像中的像素位置坐标以及目标的尺寸等特征。根据某一特定目标m在主摄模块的镜头视场中的位置,和事先标定好的主摄模块和至少一个副摄模块之间的图像映射关系,确定目标在第n个副摄模块的镜头视场中出现。在第n个副摄模块所采集的图像中,获取目标,并检测该目标的尺寸是否可满足预设的用于目标识别的阈值尺寸,例如,人脸的像素值为30。若满足,则无需控制增倍镜,若不满足,则开启增倍镜,获取更大变倍的图像,再进行检测跟踪。可选的,还可以确认该目标的清晰度是否可满足预设的用于目标识别的清晰度,若满足,则无需控制增倍镜,若不满足,则开启增倍镜,获取更大变倍、清晰度更高的图像,再进行检测跟踪。其中,如果需要开启增倍镜,则在一种可能的实现方式中,控制方法为控制模块控制铁芯601上的线圈通电,可选地,控制方法还可以为控制模块控制平移驱动模块702平移反射镜与原光路重叠,或者,控制旋转驱动模块802旋转反射镜与原光路重叠,或者,控制电致变色材料玻璃901通电;如果不需要开启增倍镜,则控制模块控制铁芯601上的线圈不通电,可选地,控制模块还可以控制平移驱动模块702平移反射镜与原光路不重叠,或者,控制旋转驱动模块802旋转反射镜与原光路不重叠,或者,控制电致变色材料玻璃901不通电。
可以理解的是,切换模块切换的两种不同的工作状态对应了两种不同的光路选择,副摄模块单独工作状态对应光线直接进入副摄模块的光路,副摄模块与增倍镜共同工作状态对应光线从增倍镜进入后,经过切换模块的反射模块反射后,再进入副摄模块的光路。光路的选择依据的是控制模块给出的不同的控制信号来控制切换模块。
可选地,控制模块还可以根据不同的需求,例如,不同的目标数量,控制至少一个切换模块。在一种可能的实现方式中,需监控一个目标时,则控制模块仅控制一个切换模块和该切换模块所相应的增倍镜、副摄模块和副摄图像传感器与主摄模块和主摄图像传感器共同工作。
S112:切换工作状态;
切换模块在接收到控制模块发出的控制信号后,通过切换反射模块的位置或状态来实现副摄模块单独工作状态和副摄模块与增倍镜共同工作状态两种工作状态的切换,反射模块包括反射镜或棱镜。
具体的,图4为切换模块切换到副摄模块单独工作状态的光路示意图,该工作状态的光路为光线直接穿过切换模块401入射到副摄模块402中,没有经过反射镜4011,其中,切换模块401切换到副摄模块单独工作状态。
图5为切换模块切换到副摄模块与增倍镜共同工作状态的光路示意图,该工作状态的光路为光线先经过增倍镜501,然后通过固定反射模块502实现光路的改变,之后通过切换模块503的反射镜5031再次改变光路,再进入副摄模块504,其中,切换模块503切换到副摄模块与增倍镜共同工作状态。
在第一种可能的实现方式中,切换工作状态的方法为通过磁吸切换反射镜的方式切换工作状态。线圈缠绕在铁芯601上,磁石602固定在反射镜603上端,在线圈未通电时,磁石602和铁芯601相吸,反射镜603呈现竖直状态,与光线直接进入切换模块的光路不重叠,不影响光线传播方向,副摄模块处于单独工作状态;在线圈通电时,磁石602和铁芯601相斥,磁石带动反射镜603偏转到特定角度(例如,45°)卡槽位置并停留下来,与原光路重叠,光线改由通过增倍镜进入的路线,经过增倍镜的光线传播方向先通过反射模块偏转一个角度(例如,90°),再经过切换模块的反射镜603偏转另一个角度(例如,90°),实现光路的折叠,副摄模块处于与增倍镜共同工作的状态。可以理解的是,磁石处于不同位置时磁吸逻辑关系的改变也属于本发明的保护范围内。其中,反射镜603偏转的角度、光线偏转的角度和路线均不受限制,其他可以实现光路可折叠的光线路线也在本申请的保护范围内。
在第二种可能的实现方式中,切换工作状态的方法为通过平移反射镜的方式切换工作状态,如图7所示为平移反射镜的两种结构示意图。平移反射镜结构的反射镜701被固定在一个框架中,其中,反射镜可以为棱镜、平面反射镜或其他可以实现光路反射功能的组件;该框架可以为任意材料制成的框架;反射镜和框架的形状可以为长方形、正方形或圆形等任意形状,本申请在此不做限制。含反射镜的框架被固定在一个导轨上,与原光路呈特定角度(例如,45度)放置在光路中。在平移驱动模块702的驱动下,框架可以被推动从而在导轨上做平移运动,其中,平移驱动模块702可以为电机或其他任意可提供动能的组件。当反射镜处于与原光路不重叠的位置703时,光路可以直接通过,副摄处于单独工作的状态;当反射镜被平移驱动模块702平移后,处于与原光路完全重叠的位置704时,切换模块可以实现光路的折叠,副摄处于与增倍镜共同工作的状态。
在第三种可能的实现方式中,切换工作状态的方法为通过旋转反射镜的方式切换工作状态,如图8所示为旋转反射镜结构示意图。旋转反射镜结构的反射镜801被固定在一个框架中,其中,反射镜可以为棱镜、平面反射镜或其他可以实现光路反射功能的组件;该框架可以为任意材料制成的框架;反射镜和框架的形状可以为长方形、正方形或圆形等任意形状,本申请在此不做限制。含反射镜的框架被固定在一个导轨上,与原光路呈特定角度(例如,45度)放置在光路中。在旋转驱动模块802的驱动下,框架可以围绕一个转轴旋转,其中,旋转驱动模块802可以为电机或其他任意可提供动能的组件。当反射镜处于与原光路不重叠的位置803时,光路可以直接通过,副摄处于单独工作的状态;当反射镜被旋转驱动模块802驱动旋转后,处于与原光路完全重叠的位置804时,切换模块可以实现光路的折叠,副摄处于与增倍镜共同工作的状态。
在第四种可能的实现方式中,切换工作状态的方法为通过给电致变色材料玻璃通电或断电的方式切换工作状态,如图9所示为电致变色材料玻璃结构示意图。该电致变色材料玻璃901在玻璃中集成一层纳米颗粒层,通电后可以激活纳米颗粒层,使得纳米颗粒层聚集在一起,形成反射镜;切换到不同电压(例如,断电),则可将纳米颗粒层移开,反射镜变成透明玻璃。将该电致变色的材料玻璃901,与原光路呈特定角度(例如,45度)放置在光路中。在不通电的状态下,该材料为透明,相当于玻璃状态902,光路可以直接通过,副摄处于单独工作的状态;在通电状态下,该材料可以实现全反射功能,相当于反射镜状态903,切换模块可以实现光路的折叠,副摄处于与增倍镜共同工作的状态。
在一种可能的实现方式中,还可以包括:
S113:采集图像
根据控制模块所控制的参与图像采集的不同个数的切换模块、增倍镜、副摄模块和副摄图像传感器,以及各个切换模块所切换到的不同的工作状态,各个切换模块所对应的副摄模块的图像传感器,通过把相应副摄模块获取的光信号转换为电信号来实时采集目标图像。可选地,当只需要主摄模块参与图像采集时,主摄图像传感器采集目标图像。其中,图像传感器包括电行耦合元件(CCD,Charge-coupled Device)传感器、互补金属氧化物半导体(CMOS,Complementary Metal Oxide Semiconductor)传感器或石墨烯材料传感器。
S114:图像处理
对接收到的主摄图像传感器和/或至少一个副摄图像传感器采集到的图像数据进行图像处理。其中,图像处理包括对图像数据进行去马赛克、自动曝光、自动白平衡、自动聚焦、色彩校正、锐化增强、降噪等图像处理操作。其中,去马赛克是指拜耳图到RGB图的处理,是将图像传感器获得的亮度不均的像素点,插值成平滑的像素点的过程。自动曝光是指,根据图像处理反馈的亮度统计信息,自动调整图像传感器的曝光时间和增益,达到调节图片亮度的目的。自动白平衡是指,根据白区统计信息,自动调节图像处理模块的RGB增益,达到色彩平衡的目的。自动聚焦是指,统计图像内容并根据统计的结果,调整主摄模块或副摄模块的硬件动作。色彩校正是指对经过白平衡处理之后的RGB图进行色彩还原度的校正,例如,对RGB图乘以一个色彩校正矩阵达到色彩还原的目的,这是由于图像传感器获取到的光谱与人眼感受到的光谱存在一定偏差,所以需要经过色彩还原校正才能呈现于人眼感受相近的正常图像。锐化增强是指对图像进行边缘、高频细节增强的处理,用于使图像更加清晰。降噪是指对图像的干扰噪声进行抑制的操作,包括空域降噪、时域降噪或色噪抑制等。可选地,还可以包括存储处理的图像数据或视频数据。
S115:多目协同处理;
协同处理主摄模块,和至少一个副摄模块所拍摄的图像,即协同处理多目图像,并优选出包含目标对象的最佳图像。基于主摄图像传感器保存的大视场角图像数据进行目标对象的检测和/或跟踪,记录目标对象ID和/或像素位置坐标,形成目标对象轨迹,其中,目标对象包括:机动车、行人、人脸等重点监控对象。可选地,还可以选出包含检测和/或跟踪的目标的图像,并对这些图像进行裁剪。再根据标定的主摄模块和各个副摄模块之间的空间对应的图像映射关系和/或系统中时间维度(例如,记录的时间点)和空间维度(例如,位置坐标)等信息进行关联匹配。在一种可能的实现方式中,在空间装配时,根据主摄模块和各个副摄模块的位置关系,建立起各个副摄模块的覆盖区域和主摄模块的覆盖区域之间的空间映射关系,例如,采用位置变换矩阵表达该映射关系。在得到的多个含有目标对象的图像中,采用质量评价算法,获取最优的图像;其中,质量评价算法指的是对于主摄模块和副摄模块中采集的多张包含同一个目标对象的图片,根据目标对象的尺寸大小、姿态和/或清晰度等指标进行评价,优选出一张最佳图像。质量评价方法可以采用基于深度学习的质量评价方法或其他现有技术中的能够达到图像优选目的的质量评价方法。
S116:视频/图像编码
对经过图像处理后的图像数据或视频数据进行图像编码或视频编码;或者,对经过图像处理后的至少一个副摄模块采集的图像数据或视频数据进行图像编码或视频编码。另一方面,还可以对通过多目协同处理模块优选出的包含目标对象的最佳图像数据或最佳视频数据进行图像编码或视频编码;或者,对优选出目标对象的最佳图像数据或最佳视频数据的原始图像或原始视频进行图像编码或视频编码。视频/图像编码的方法可以使用现有的视频/图像编码方法,本申请在此不作限制。
S117:传输数据
传输编码后的图像数据或视频数据。数据传输方法可以使用现有的数据传输方法,本申请在此不作限制。
S118:显示视频/图像
对传输过来的编码后的视频数据或图像数据进行解码和显示。例如,在网站显示界面中主显示区域显示视频,主显示区域的周边显示区域可以显示一些目标的抓拍图像,尤其可以显示目标的优选出的最佳图像。
本申请实施例四,提供一种光路可折叠球形摄像机,通过该球形摄像机中光路可折叠装置在拍摄不同距离的目标时进行不同工作状态的切换,实现扩大球形摄像机拍摄范围的目的。同时,可折叠光路装置还可以进一步压缩摄像机的长度,减小球形摄像机的体积,可折叠光路球形摄像机的体积相比与其他的有着相同可变倍率的球形摄像机尺寸缩小,有利于安装和实施。本申请实施例四提供的一种光路可折叠球形摄像机如图12所示,包括:增倍镜1201,切换模块1202,摄像模块1203,图像传感器1204,图像处理模块1205,控制模块1206,视频/图像编码模块1207,传输模块1208,显示模块1209,其中,切换模块1202和控制模块1206组成了光路可折叠装置。
需要说明的是,摄像模块根据成像需要可以有N个,相应的增倍镜、切换模块和图像传感器也可以有N个,摄像模块1203,相应的增倍镜1201、切换模块1202和图像传感器1204为其中的一个实施例。
各个模块的功能描述如下:
增倍镜1201:用于增倍镜头的变焦倍数的一种光学模块,具有固定增倍的功能,如2倍增倍镜等,可对接普通变焦镜头上,实现焦距的2倍增倍。增倍镜1201可以包括包括一个或N个增倍镜头,N个增倍镜头的结构为光路多次折叠结构,即光线在N个增倍镜头之间传输时会发生光路折叠。在一种可能的实现方式中,光路可折叠球形摄像机还可以包括固定反射模块,该固定反射模块包括反射镜或棱镜或其他具有反射功能的装置,该固定反射模块用于折叠N个增倍镜头之间的光路。
切换模块1202:用于切换反射模块的位置或状态来实现摄像模块单独工作状态和摄像模块与增倍镜共同工作状态两种工作状态的切换,反射模块包括反射镜或棱镜。
具体的,图13为切换模块切换到摄像模块单独工作状态的光路示意图,该工作状态的光路为光线直接穿过切换模块1301入射到摄像模块1302中,没有经过反射镜13011,其中,切换模块1301切换到摄像模块单独工作状态。
图14为切换模块切换到摄像模块与增倍镜共同工作状态的光路示意图,该工作状态的光路为光线先经过增倍镜1401,然后通过反射模块1402实现光路的改变,之后通过切换模块1403的反射镜14031再次改变光路,再进入摄像模块1404,其中,切换模块1403切换到摄像模块与增倍镜共同工作状态。
在第一种可能的实现方式中,切换模块为磁吸切换反射镜结构,如图6所示为磁吸切换反射镜结构示意图。线圈缠绕在铁芯601上,磁石602固定在反射镜603上端,在线圈未通电时,磁石602和铁芯601相吸,反射镜603呈现竖直状态,与光线直接进入切换模块的光路不重叠,不影响光线传播方向,摄像模块处于单独工作状态;在线圈通电时,磁石602和铁芯601相斥,磁石带动反射镜603偏转到特定角度(例如,45°)卡槽位置并停留下来,与原光路重叠,光线改由通过增倍镜进入的路线,经过增倍镜的光线传播方向先通过反射模块偏转一个角度(例如,90°),再经过切换模块的反射镜603偏转另一个角度(例如,90°),实现光路的折叠,摄像模块处于与增倍镜共同工作的状态。其中,反射镜603偏转的角度、光线偏转的角度和路线均不受限制,其他可以实现光路可折叠的光线路线也在本申请的保护范围内。
在第二种可能的实现方式中,切换模块为平移反射镜结构,如图7所示为平移反射镜的两种结构示意图。平移反射镜结构的反射镜701被固定在一个框架中,其中,反射镜可以为棱镜、平面反射镜或其他可以实现光路反射功能的组件;该框架可以为任意材料制成的框架;反射镜和框架的形状可以为长方形、正方形或圆形等任意形状,本申请在此不做限制。含反射镜的框架被固定在一个导轨上,与原光路呈特定角度(例如,45度)放置在光路中。在平移驱动模块702的驱动下,框架可以被推动从而在导轨上做平移运动,其中,平移驱动模块702可以为电机或其他任意可提供动能的组件。当反射镜处于与原光路不重叠的位置703时,光路可以直接通过,摄像模块处于单独工作的状态;当反射镜被平移驱动模块702平移后,处于与原光路完全重叠的位置704时,切换模块可以实现光路的折叠,摄像模块处于与增倍镜共同工作的状态。
在第三种可能的实现方式中,切换模块为旋转反射镜结构,如图8所示为旋转反射镜结构示意图。旋转反射镜结构的反射镜801被固定在一个框架中,其中,反射镜可以为棱镜、平面反射镜或其他可以实现光路反射功能的组件;该框架可以为任意材料制成的框架;反射镜和框架的形状可以为长方形、正方形或圆形等任意形状,本申请在此不做限制。含反射镜的框架被固定在一个导轨上,与原光路呈特定角度(例如,45度)放置在光路中。在旋转驱动模块802的驱动下,框架可以围绕一个转轴旋转,其中,旋转驱动模块802可以为电机或其他任意可提供动能的组件。当反射镜处于与原光路不重叠的位置803时,光路可以直接通过,摄像模块处于单独工作的状态;当反射镜被旋转驱动模块802驱动旋转后,处于与原光路完全重叠的位置804时,切换模块可以实现光路的折叠,摄像模块处于与增倍镜共同工作的状态。
在第四种可能的实现方式中,切换模块为电致变色材料玻璃结构,如图9所示为电致变色材料玻璃结构示意图。该电致变色材料玻璃901在玻璃中集成一层纳米颗粒层,通电后可以激活纳米颗粒层,使得纳米颗粒层聚集在一起,形成反射镜;切换到不同电压(例如,断电),则可将纳米颗粒层移开,反射镜变成透明玻璃。将该电致变色的材料玻璃901,与原光路呈特定角度(例如,45度)放置在光路中。在不通电的状态下,该材料为透明,相当于玻璃状态902,光路可以直接通过,摄像模块处于单独工作的状态;在通电状态下,该材料可以实现全反射功能,相当于反射镜状态903,切换模块可以实现光路的折叠,摄像模块处于与增倍镜共同工作的状态。
摄像模块1203:用于使目标光线在图像传感器上成像,包括镜头、滤光片,镜头一般选用变焦镜头,例如,变焦范围是4mm~150mm的20倍变焦镜头;滤光片用于滤除干扰光线,在一种可能的实现方式中,滤光片可以为红外截止滤光片,可以阻挡环境中除可见光外的其他波长光线进入系统,影响成像效果。在一种可能的实现方式中,球形摄像机还包括云台,云台与摄像模块相连接,云台可以携带摄像模块进行水平转动和垂直转动。
图像传感器1204:用于通过把光信号转换为电信号来实时采集目标图像,图像传感器包括电行耦合元件(CCD,Charge-coupled Device)传感器、互补金属氧化物半导体(CMOS,Complementary Metal Oxide Semiconductor)传感器或石墨烯材料传感器。
图像处理模块1205:用于接收图像传感器采集到的图像数据,对采集到的图像数据进行图像处理。其中,图像处理包括对图像数据进行去马赛克、自动曝光、自动白平衡、自动聚焦、色彩校正、锐化增强、降噪等图像处理操作。其中,去马赛克是拜耳图到RGB图的处理,是将图像传感器获得的亮度不均的像素点,插值成平滑的像素点的过程。自动曝光是指,根据图像处理反馈的亮度统计信息,自动调整图像传感器的曝光时间和增益,达到调节图片亮度的目的。自动白平衡是指,根据白区统计信息,自动调节图像处理模块的RGB增益,达到色彩平衡的目的。自动聚焦是指,统计图像内容并根据统计的结果,调整摄像模块的硬件动作。色彩校正是指对经过白平衡处理之后的RGB图进行色彩还原度的校正,例如,对RGB图乘以一个色彩校正矩阵达到色彩还原的目的,这是由于图像传感器获取到的光谱与人眼感受到的光谱存在一定偏差,所以需要经过色彩还原校正才能呈现于人眼感受相近的正常图像。锐化增强是指对图像进行边缘、高频细节增强的处理,用于使图像更加清晰。降噪是指对图像的干扰噪声进行抑制的操作,包括空域降噪、时域降噪或色噪抑制等。可选地,该模块还可以包括存储单元,用于存储处理的图像数据或视频数据。
控制模块1206:用于根据不同的目标状态,控制切换模块1202在摄像模块单独工作状态和摄像模块与增倍镜共同工作状态两种工作状态之间的切换。在设置好工作模式后,控制模块1206可以根据视场画面中的目标的尺寸特征,调整PTZ参数,以获取尺寸合适的目标图像。其中,PTZ参数中的PTZ指的是在安防监控应用中的Pan/Tilt/Zoom的简写,P表示云台的水平转动,T表示云台的垂直转动,Z表示镜头变倍或变焦控制,云台的P运动和T运动由球形摄像机内部的两个电机控制,Z由球形摄像机内部的缩放电机控制。可选地,还可以根据目标的类型或者目标的清晰度或者其他目标特征调整PTZ参数。在摄像模块的镜头的工作焦段范围内,摄像模块根据球形摄像机的运动设定和目标特征设定,随着云台旋转来寻找目标,例如,沿着圆形轨迹循环运动和捕捉人脸特征目标。捕捉到目标后,依据目标的特征跟踪当前目标。在一种可能的实现方式中,依据目标的尺寸,例如,尺寸不够大时调整Z参数进行增倍,尺寸过大时调整Z参数进行减倍,和/或者,依据目标类型特征,例如,只跟踪人脸特征目标,车辆特征和动物特征目标不跟踪,和/或者,依据目标与摄像模块之间的距离,当检测到目标与摄像模块的距离大于所述摄像模块的焦段范围时,切换模块切换为摄像模块与增倍镜共同工作状态。并实时对当前跟踪目标在图像采集模块所采集的跟踪图像中的位置坐标,即x轴信息和y轴信息,以及深度信息,即目标与摄像机的距离,或者说,目标尺寸的大小进行更新。通过从所采集的跟踪图像的图像坐标系映射到球形摄像机所在的世界坐标系,将不断更新的当前跟踪目标在摄像模块所采集的跟踪图像中的位置坐标和深度信息,实时转换为球形摄像机的PTZ参数的值,其中,转换方式可以是一条或者多条映射曲线,或者通过查找表的方式实现。其中P和T参数通过控制相应电机的运动来实现云球形摄像机云台的水平转动和垂直转动,Z参数为镜头的变倍或变焦控制,根据Z参数值的大小,当Z参数的值在摄像模块的镜头焦段范围所对应的参数值范围内时,切换模块切换到摄像模块单独工作的状态;当Z参数的值不在摄像模块的焦段范围所对应的参数值范围内时,需要增倍镜接入光路的配合才能达到所需的工作焦段,切换模块切换到摄像模块和增倍镜共同工作的状态,实现增倍效果。控制模块根据目标的状态控制球形摄像机内部的电机调整球形摄像机的PTZ参数到目标位置所对应的PTZ值后,摄像模块开始采集目标图像。其中,如果需要开启增倍镜,则控制模块控制铁芯601上的线圈通电,可选地,控制模块还可以控制平移驱动模块702平移反射镜与原光路重叠,或者,控制旋转驱动模块802旋转反射镜与原光路重叠,或者,控制电致变色材料玻璃901通电;如果不需要开启增倍镜,则控制模块控制铁芯601上的线圈不通电,可选地,控制模块还可以控制平移驱动模块702平移反射镜与原光路不重叠,或者,控制旋转驱动模块802旋转反射镜与原光路不重叠,或者,控制电致变色材料玻璃901不通电。
其中,工作模式包括手动模式、预置位扫描模式或自动模式。下面分别进行介绍:
(1)手动模式:根据显示模块界面上用户在监控视场画面中选择的位置,以该位置为画面中心,计算球形摄像机可以清楚捕捉到画面中的目标时,即画面中的目标满足目标尺寸、目标类型或目标清晰度要求时所需的PTZ参数。其中,PTZ参数中的PTZ指的是在安防监控应用中的Pan/Tilt/Zoom的简写,P表示云台的水平转动,T表示云台的垂直转动,Z表示镜头变倍或变焦控制。其中P和T参数通过控制相应电机的运动来实现云球形摄像机云台的水平转动和垂直转动,Z参数为镜头的变倍或变焦控制,根据Z参数值的大小,当Z参数的值在摄像模块的镜头焦段范围所对应的参数值范围内时,切换模块切换到摄像模块单独工作的状态,Z参数由球形摄像机内部的缩放电机控制;当Z参数的值不在摄像模块的焦段范围所对应的参数值范围内时,需要增倍镜接入光路的配合才能达到所需的工作焦段,切换模块切换到摄像模块和增倍镜共同工作的状态,实现增倍效果,同时,球形摄像机内部的缩放电机配合控制Z参数。控制模块根据目标的状态控制球形摄像机内部的电机调整球形摄像机的PTZ参数到目标位置所对应的PTZ值后,摄像模块开始采集目标图像。
(2)预置位扫描模式:根据用户预先设定的若干个预置扫描区域所对应的球形摄像机位置,球形摄像机按照设定的顺序,逐一运动到预置位置,球形摄像机在某一预置位置停留固定时间后再运动到下一个预置位置。每个预置位置对应各自的一组PTZ参数。其中,PTZ参数中的PTZ指的是在安防监控应用中的Pan/Tilt/Zoom的简写,P表示云台的水平转动,T表示云台的垂直转动,Z表示镜头变倍或变焦控制。其中P和T参数通过控制相应电机的运动来实现云球形摄像机云台的水平转动和垂直转动,Z参数为镜头的变倍或变焦控制,根据Z参数值的大小,当Z参数的值在摄像模块的镜头焦段范围所对应的参数值范围内时,切换模块切换到摄像模块单独工作的状态,Z参数由球形摄像机内部的缩放电机控制;当Z参数的值不在摄像模块的焦段范围所对应的参数值范围内时,需要增倍镜接入光路的配合才能达到所需的工作焦段,切换模块切换到摄像模块和增倍镜共同工作的状态,实现增倍效果,同时,球形摄像机内部的缩放电机配合控制Z参数。控制模块根据目标的状态控制球形摄像机内部的电机调整球形摄像机的PTZ参数到目标位置所对应的PTZ值后,摄像模块开始采集目标图像。
(3)自动模式:根据视场画面中的目标出现的情况和球形摄像机预设的目标寻找和跟踪算法,球形摄像机根据目标位置自动调整PTZ参数。其中,PTZ参数中的PTZ指的是在安防监控应用中的Pan/Tilt/Zoom的简写,P表示云台的水平转动,T表示云台的垂直转动,Z表示镜头变倍或变焦控制。其中P和T参数通过控制相应电机的运动来实现云球形摄像机云台的水平转动和垂直转动,Z参数为镜头的变倍或变焦控制,根据Z参数值的大小,当Z参数的值在摄像模块的镜头焦段范围所对应的参数值范围内时,切换模块切换到摄像模块单独工作的状态,Z参数由球形摄像机内部的缩放电机控制;当Z参数的值不在摄像模块的焦段范围所对应的参数值范围内时,需要增倍镜接入光路的配合才能达到所需的工作焦段,切换模块切换到摄像模块和增倍镜共同工作的状态,实现增倍效果,同时,球形摄像机内部的缩放电机配合控制Z参数。控制模块根据目标的状态控制球形摄像机内部的电机调整球形摄像机的PTZ参数到目标位置所对应的PTZ值后,摄像模块开始采集目标图像。
可以理解的是,切换模块1202的两种不同的工作状态对应了两种不同的光路选择,摄像模块单独工作状态对应光线直接进入摄像模块的光路,摄像模块与增倍镜共同工作状态对应光线从增倍镜进入后,经过切换模块的反射模块反射后,再进入摄像模块的光路。光路的选择依据的是控制模块1012给出的不同的控制信号。
视频/图像编码模块1207:用于对经过图像处理后的图像数据或视频数据进行图像编码或视频编码。视频/图像编码的方法可以使用现有的视频/图像编码方法,本申请在此不作限制。
传输模块1208,用于传输编码后的图像数据或视频数据。数据传输方法可以使用现有的数据传输方法,本申请在此不作限制。
显示模块1209,用于对传输过来的编码后的视频数据或图像数据进行解码和显示。例如,在视频网站显示界面中主显示区域显示视频,主显示区域的周边显示区域可以显示一些目标的抓拍图像。可选地,显示模块还可以接受用户指令输入,指令输入包括选择工作模式或者在手动模式中选择画面位置。
可选地,球形摄像机中还可以包括一个或多个固定反射装置,固定反射装置可以为反射镜,棱镜,玻璃或其他具有反射功能的装置。固定反射装置用于折叠光路,从而缩小球形摄像机的长度。
本申请实施例五,提供另一种光路可折叠方法,如图15所示为该光路可折叠方法流程图,该光路可折叠方法应用在球形摄像机中,具体实施步骤如下:
S151:选择工作模式
用户选择工作模式。工作模式包括手动模式、预置位扫描模式或自动模式。下面分别进行介绍:
(1)手动模式:根据显示模块界面上用户在监控视场画面中选择的位置,以该位置为画面中心,计算球形摄像机可以清楚捕捉到画面中的目标时,即画面中的目标满足目标尺寸、目标类型或目标清晰度要求时所需的PTZ参数。其中,PTZ参数中的PTZ指的是在安防监控应用中的Pan/Tilt/Zoom的简写,P表示云台的水平转动,T表示云台的垂直转动,Z表示镜头变倍或变焦控制。其中P和T参数通过控制相应电机的运动来实现云球形摄像机云台的水平转动和垂直转动,Z参数为镜头的变倍或变焦控制,根据Z参数值的大小,当Z参数的值在摄像模块的镜头焦段范围所对应的参数值范围内时,切换模块切换到摄像模块单独工作的状态,Z参数由球形摄像机内部的缩放电机控制;当Z参数的值不在摄像模块的焦段范围所对应的参数值范围内时,需要增倍镜接入光路的配合才能达到所需的工作焦段,切换模块切换到摄像模块和增倍镜共同工作的状态,实现增倍效果,同时,球形摄像机内部的缩放电机配合控制Z参数。控制模块根据目标的状态控制球形摄像机内部的电机调整球形摄像机的PTZ参数到目标位置所对应的PTZ值后,摄像模块开始采集目标图像。
(2)预置位扫描模式:根据用户预先设定的若干个预置扫描区域所对应的球形摄像机位置,球形摄像机按照设定的顺序,逐一运动到预置位置,球形摄像机在某一预置位置停留固定时间后再运动到下一个预置位置。每个预置位置对应各自的一组PTZ参数。其中,PTZ参数中的PTZ指的是在安防监控应用中的Pan/Tilt/Zoom的简写,P表示云台的水平转动,T表示云台的垂直转动,Z表示镜头变倍或变焦控制。其中P和T参数通过控制相应电机的运动来实现云球形摄像机云台的水平转动和垂直转动,Z参数为镜头的变倍或变焦控制,根据Z参数值的大小,当Z参数的值在摄像模块的镜头焦段范围所对应的参数值范围内时,切换模块切换到摄像模块单独工作的状态,Z参数由球形摄像机内部的缩放电机控制;当Z参数的值不在摄像模块的焦段范围所对应的参数值范围内时,需要增倍镜接入光路的配合才能达到所需的工作焦段,切换模块切换到摄像模块和增倍镜共同工作的状态,实现增倍效果,同时,球形摄像机内部的缩放电机配合控制Z参数。控制模块根据目标的状态控制球形摄像机内部的电机调整球形摄像机的PTZ参数到目标位置所对应的PTZ值后,摄像模块开始采集目标图像。
(3)自动模式:根据视场画面中的目标出现的情况和球形摄像机预设的目标寻找和跟踪算法,球形摄像机根据目标位置自动调整PTZ参数。其中,PTZ参数中的PTZ指的是在安防监控应用中的Pan/Tilt/Zoom的简写,P表示云台的水平转动,T表示云台的垂直转动,Z表示镜头变倍或变焦控制。其中P和T参数通过控制相应电机的运动来实现云球形摄像机云台的水平转动和垂直转动,Z参数为镜头的变倍或变焦控制,根据Z参数值的大小,当Z参数的值在摄像模块的镜头焦段范围所对应的参数值范围内时,切换模块切换到摄像模块单独工作的状态,Z参数由球形摄像机内部的缩放电机控制;当Z参数的值不在摄像模块的焦段范围所对应的参数值范围内时,需要增倍镜接入光路的配合才能达到所需的工作焦段,切换模块切换到摄像模块和增倍镜共同工作的状态,实现增倍效果,同时,球形摄像机内部的缩放电机配合控制Z参数。控制模块根据目标的状态控制球形摄像机内部的电机调整球形摄像机的PTZ参数到目标位置所对应的PTZ值后,摄像模块开始采集目标图像。
S152:控制工作状态的切换
控制模块根据不同的目标状态,控制切换模块在摄像模块单独工作状态和摄像模块与增倍镜共同工作状态两种工作状态之间的切换,反射模块包括反射镜或棱镜。
在设置好工作模式后,控制模块可以根据视场画面中的目标的尺寸特征,调整PTZ参数,以获取尺寸合适的目标图像。其中,PTZ参数中的PTZ指的是在安防监控应用中的Pan/Tilt/Zoom的简写,P表示云台的水平转动,T表示云台的垂直转动,Z表示镜头变倍或变焦控制,云台的P运动和T运动由球形摄像机内部的两个电机控制,Z由球形摄像机内部的缩放电机控制。可选地,还可以根据目标的类型或者目标的清晰度或者其他目标特征调整PTZ参数。在摄像模块的镜头的工作焦段范围内,摄像模块根据球形摄像机的运动设定和目标特征设定,随着云台旋转来寻找目标,例如,沿着圆形轨迹循环运动和捕捉人脸特征目标。捕捉到目标后,依据目标的特征跟踪当前目标。在一种可能的实现方式中,依据目标的尺寸,例如,尺寸不够大时调整Z参数进行增倍,尺寸过大时调整Z参数进行减倍,和/或者,依据目标类型特征,例如,只跟踪人脸特征目标,车辆特征和动物特征目标不跟踪,和/或者,依据目标与摄像模块之间的距离,当检测到目标与摄像模块的距离大于所述摄像模块的焦段范围时,切换模块切换为摄像模块与增倍镜共同工作状态。并实时对当前跟踪目标在图像采集模块所采集的跟踪图像中的位置坐标,即x轴信息和y轴信息,以及深度信息,即目标与摄像机的距离,或者说,目标尺寸的大小进行更新。通过从所采集的跟踪图像的图像坐标系映射到球形摄像机设备所在的世界坐标系,将不断更新的当前跟踪目标在摄像模块所采集的跟踪图像中的位置坐标和深度信息,实时转换为球形摄像机的PTZ参数的值,其中,转换方式可以是一条或者多条映射曲线,或者通过查找表的方式实现。其中P和T参数通过控制相应电机的运动来实现云球形摄像机云台的水平转动和垂直转动,Z参数为镜头的变倍或变焦控制,根据Z参数值的大小,当Z参数的值在摄像模块的镜头焦段范围所对应的参数值范围内时,切换模块切换到摄像模块单独工作的状态,Z参数由球形摄像机内部的缩放电机控制;当Z参数的值不在摄像模块的焦段范围所对应的参数值范围内时,需要增倍镜接入光路的配合才能达到所需的工作焦段,切换模块切换到摄像模块和增倍镜共同工作的状态,实现增倍效果,同时,球形摄像机内部的缩放电机配合控制Z参数。控制模块根据目标的状态控制球形摄像机内部的电机调整球形摄像机的PTZ参数到目标位置所对应的PTZ值后,摄像模块开始采集目标图像。其中,如果需要开启增倍镜,则控制模块控制铁芯601上的线圈通电,可选地,控制模块还可以控制平移驱动模块702平移反射镜与原光路重叠,或者,控制旋转驱动模块802旋转反射镜与原光路重叠,或者,控制电致变色材料玻璃901通电;如果不需要开启增倍镜,则控制模块控制铁芯601上的线圈不通电,可选地,控制模块还可以控制平移驱动模块702平移反射镜与原光路不重叠,或者,控制旋转驱动模块802旋转反射镜与原光路不重叠,或者,控制电致变色材料玻璃901不通电。
可以理解的是,切换模块1202的两种不同的工作状态对应了两种不同的光路选择,摄像模块单独工作状态对应光线直接进入摄像模块的光路,摄像模块与增倍镜共同工作状态对应光线从增倍镜进入后,经过切换模块的反射模块反射后,再进入摄像模块的光路。光路的选择依据的是控制模块1012给出的不同的控制信号。
S153:切换工作状态;
切换模块在接收到控制模块发出的控制信号后,通过切换反射镜的位置或状态来实现实现摄像模块单独工作状态和摄像模块与增倍镜共同工作状态两种工作状态的切换。
具体的,图13为切换模块切换到摄像模块单独工作状态的光路示意图,该工作状态的光路为光线直接穿过切换模块1301入射到摄像模块1302中,没有经过反射镜13011,其中,切换模块1301切换到摄像模块单独工作状态。
图14为切换模块切换到摄像模块与增倍镜共同工作状态的光路示意图,该工作状态的光路为光线先经过增倍镜1401,然后通过反射模块1402实现光路的改变,之后通过切换模块1403的反射镜14031再次改变光路,再进入摄像模块1404,其中,切换模块1403切换到摄像模块与增倍镜共同工作状态。在一种可能的实现方式中,增倍镜1401可以包括包括一个或N个增倍镜头,N个增倍镜头的结构为光路多次折叠结构,即光线在N个增倍镜头之间传输时会发生光路折叠。在一种可能的实现方式中,光路可折叠球形摄像机还可以包括固定反射模块,该固定反射模块包括反射镜或棱镜或其他具有反射功能的装置,该固定反射模块用于折叠N个增倍镜头之间的光路。
在第一种可能的实现方式中,切换模块为磁吸切换反射镜结构,如图6所示为磁吸切换反射镜结构示意图。线圈缠绕在铁芯601上,磁石602固定在反射镜603上端,在线圈未通电时,磁石602和铁芯601相吸,反射镜603呈现竖直状态,与光线直接进入切换模块的光路不重叠,不影响光线传播方向,摄像模块处于单独工作状态;在线圈通电时,磁石602和铁芯601相斥,磁石带动反射镜603偏转到特定角度(例如,45°)卡槽位置并停留下来,与原光路重叠,光线改由通过增倍镜进入的路线,经过增倍镜的光线传播方向先通过反射模块偏转一个角度(例如,90°),再经过切换模块的反射镜603偏转另一个角度(例如,90°),实现光路的折叠,摄像模块处于与增倍镜共同工作的状态。其中,反射镜603偏转的角度、光线偏转的角度和路线均不受限制,其他可以实现光路可折叠的光线路线也在本申请的保护范围内。
在第二种可能的实现方式中,切换模块为平移反射镜结构,如图7所示为平移反射镜的两种结构示意图。平移反射镜结构的反射镜701被固定在一个框架中,其中,反射镜可以为棱镜、平面反射镜或其他可以实现光路反射功能的组件;该框架可以为任意材料制成的框架;反射镜和框架的形状可以为长方形、正方形或圆形等任意形状,本申请在此不做限制。含反射镜的框架被固定在一个导轨上,与原光路呈特定角度(例如,45度)放置在光路中。在平移驱动模块702的驱动下,框架可以被推动从而在导轨上做平移运动,其中,平移驱动模块702可以为电机或其他任意可提供动能的组件。当反射镜处于与原光路不重叠的位置703时,光路可以直接通过,摄像模块处于单独工作的状态;当反射镜被平移驱动模块702平移后,处于与原光路完全重叠的位置704时,切换模块可以实现光路的折叠,摄像模块处于与增倍镜共同工作的状态。
在第三种可能的实现方式中,切换模块为旋转反射镜结构,如图8所示为旋转反射镜结构示意图。旋转反射镜结构的反射镜801被固定在一个框架中,其中,反射镜可以为棱镜、平面反射镜或其他可以实现光路反射功能的组件;该框架可以为任意材料制成的框架;反射镜和框架的形状可以为长方形、正方形或圆形等任意形状,本申请在此不做限制。含反射镜的框架被固定在一个导轨上,与原光路呈特定角度(例如,45度)放置在光路中。在旋转驱动模块802的驱动下,框架可以围绕一个转轴旋转,其中,旋转驱动模块802可以为电机或其他任意可提供动能的组件。当反射镜处于与原光路不重叠的位置803时,光路可以直接通过,摄像模块处于单独工作的状态;当反射镜被旋转驱动模块802驱动旋转后,处于与原光路完全重叠的位置804时,切换模块可以实现光路的折叠,摄像模块处于与增倍镜共同工作的状态。
在第四种可能的实现方式中,切换模块为电致变色材料玻璃结构,如图9所示为电致变色材料玻璃结构示意图。该电致变色材料玻璃901在玻璃中集成一层纳米颗粒层,通电后可以激活纳米颗粒层,使得纳米颗粒层聚集在一起,形成反射镜;切换到不同电压(例如,断电),则可将纳米颗粒层移开,反射镜变成透明玻璃。将该电致变色的材料玻璃901,与原光路呈特定角度(例如,45度)放置在光路中。在不通电的状态下,该材料为透明,相当于玻璃状态902,光路可以直接通过,摄像模块处于单独工作的状态;在通电状态下,该材料可以实现全反射功能,相当于反射镜状态903,切换模块可以实现光路的折叠,摄像模块处于与增倍镜共同工作的状态。
在一种可能的实现方式中,还可以包括:
S154:采集图像
根据控制模块所控制的切换模块所切换到的不同的工作状态,图像传感器通过把摄像模块获取的光信号转换为电信号来实时采集目标图像。其中,图像传感器包括电行耦合元件(CCD,Charge-coupled Device)传感器、互补金属氧化物半导体(CMOS,Complementary Metal Oxide Semiconductor)传感器或石墨烯材料传感器。
S155:图像处理
对接收到的图像传感器采集到的图像数据进行图像处理。其中,图像处理包括对图像数据进行去马赛克、自动曝光、自动白平衡、自动聚焦、色彩校正、锐化增强、降噪等图像处理操作。其中,去马赛克是拜耳图到RGB图的处理,是将图像传感器获得的亮度不均的像素点,插值成平滑的像素点的过程。自动曝光是指,根据图像处理反馈的亮度统计信息,自动调整图像传感器的曝光时间和增益,达到调节图片亮度的目的。自动白平衡是指,根据白区统计信息,自动调节图像处理模块的RGB增益,达到色彩平衡的目的。自动聚焦是指,统计图像内容并根据统计的结果,调整摄像模块的硬件动作。色彩校正是指对经过白平衡处理之后的RGB图进行色彩还原度的校正,例如,对RGB图乘以一个色彩校正矩阵达到色彩还原的目的,这是由于图像传感器获取到的光谱与人眼感受到的光谱存在一定偏差,所以需要经过色彩还原校正才能呈现于人眼感受相近的正常图像。锐化增强是指对图像进行边缘、高频细节增强的处理,用于使图像更加清晰。降噪是指对图像的干扰噪声进行抑制的操作,包括空域降噪、时域降噪或色噪抑制等。可选地,还可以包括存储处理的图像数据或视频数据。
S156:视频/图像编码
对经过图像处理后的图像数据或视频数据进行图像编码或视频编码。视频/图像编码的方法可以使用现有的视频/图像编码方法,本申请在此不作限制。
S157:传输数据
传输编码后的图像数据或视频数据。数据传输方法可以使用现有的数据传输方法,本申请在此不作限制。
S158:显示视频/图像
对传输过来的编码后的视频数据或图像数据进行解码和显示。例如,在网站显示界面中主显示区域显示视频,主显示区域的周边显示区域可以显示一些目标的抓拍图像。可选地,显示视频/图像时,还可以接受用户指令输入,指令输入包括选择工作模式或者在手动模式中选择画面位置。
本申请实施例六,提供一种监控模组,如图17所示为一种可能的监控模组结构示意图。
监控模组包括摄像头1701、增倍镜1702、切换元件1703、第一反射元件17041和第二反射元件17042。可以应用于监控场景中,其中,监控场景包括行人监控场景、道路车辆监控场景或家庭监控场景中。
其中,摄像头可以是变焦镜头,变焦镜头指的是在一定范围内可以变换焦距,从而得到不同宽窄的视场角、不同大小的影像和不同景物范围的镜头。摄像头可以包括镜头、滤光片,用于成像;滤光片用于滤除干扰光线,在一种可能的实现方式中,滤光片可以为红外截止滤光片,可以阻挡环境中除可见光外的其他波长光线进入系统,提升成像效果。
在一种可能的实现方式中,摄像头的倍率范围为[1,M];其中M为大于1的数值。可选的,M的取值范围包括[2,30];其中,M可以为整数。
增倍镜可以采用定焦镜头。其中,增倍镜是一种光学元件,用于增倍整个监控模组的变焦倍数。增倍镜具有固定增倍的功能,如2倍增倍镜等。在具体使用过程中,可对接摄像头上,实现整个监控模组的焦距的2倍增倍。
定焦镜头指的是固定焦距的镜头。在一种可能的实现方式中,增倍镜的倍率为N,N为大于1的整数。可选的,N的取值范围包括[2,5]。
监控模组整体可以为光路折叠结构,指的是当切换增倍镜在切换元件1703和反射元件(第一反射元件17041和第二反射元件17042)与摄像头共同工作时,光线穿过监控模组时的光路为折叠的。具体来说,光路折叠结构指的是当切换元件切换反射元件处于第二位置或第二工作状态时,光路经过反射元件的反射,产生了改变,即监控模组的入射光线和出射光线不重合,或者说,出射光线相比入射光线发生了光路的改变。
在一种可能的实现方式中,增倍镜包括K个增倍镜头;其中,至少一个增倍镜头的结构为光路折叠结构。K为大于等于1的整数。
反射元件可以包括第一反射元件17041和第二反射元件17042,反射元件的实现形式可以包括反射镜或棱镜,用于反射光线,从而改变光线的光路。其中,第一反射元件17041可以被切换元件切换位置,第二反射元件17042位置固定。
切换元件可以用于改变反射元件的位置或工作状态。当第一反射元件17041处于第一位置1705或第一工作状态时,光路没有经过反射元件,摄像头单独采集图像;当第一反射元件17041处于第二位置1706或第二工作状态时,光路经过反射元件,反射元件用于将增倍镜的出射光线沿所述摄像头的入射光轴反射至摄像头,摄像头与增倍镜组合采集图像。
在第一种可能的实现方式中,切换元件为磁吸切换反射镜结构,如图6所示为磁吸切换反射镜结构示意图。线圈缠绕在铁芯601上,磁石602固定在反射镜603上端,在线圈未通电时,磁石602和铁芯601相吸,反射镜603相对于摄像头1701呈现竖直状态,不影响光线传播方向,第一反射元件17041处于第一位置或第一工作状态,摄像头单独采集图像;在线圈通电时,磁石602和铁芯601相斥,磁石带动反射镜603偏转到特定角度(例如,45°)的卡槽位置时,与原光路重叠,光线改由通过增倍镜进入的路线,经过增倍镜的光线传播方向先通过反射模块偏转一个角度(例如,90°),再经过反射镜603偏转另一个角度(例如,90°),第一反射元件17041处于第二位置或第二工作状态,光路经过反射元件,反射元件用于将增倍镜的出射光线沿摄像头的入射光轴反射至摄像头,摄像头与增倍镜组合采集图像。可以理解的是,磁石处于不同位置时磁吸逻辑关系的改变也属于本发明的保护范围内。其中,反射镜603偏转的角度、光线偏转的角度和路线均不受限制,其他可以实现光路可折叠的光线路线也在本申请的保护范围内。
在第二种可能的实现方式中,切换元件为平移反射镜结构,如图7所示为平移反射镜的两种结构示意图。平移反射镜结构的反射镜701被固定在一个框架中,其中,反射镜可以为棱镜、平面反射镜或其他可以实现光路反射功能的组件;该框架可以为任意材料制成的框架;反射镜和框架的形状可以为长方形、正方形或圆形等任意形状,本申请在此不做限制。含反射镜的框架被固定在一个导轨上,与原光路呈特定角度(例如,45度)放置在光路中。在平移驱动模块702的驱动下,框架可以被推动从而在导轨上做水平转动,其中,平移驱动模块702可以为电机或其他任意可提供动能的组件。当反射镜处于与原光路不重叠的位置703时,光路可以直接通过,第一反射元件17041处于第一位置或第一工作状态,摄像头单独采集图像;当反射镜被平移驱动模块702平移后,处于与原光路完全重叠的位置704时,第一反射元件17041处于第二位置或第二工作状态,光路经过反射元件,反射元件用于将增倍镜的出射光线沿摄像头的入射光轴反射至摄像头,摄像头与增倍镜组合采集图像。
在第三种可能的实现方式中,切换元件为旋转反射镜结构,如图8所示为旋转反射镜结构示意图。旋转反射镜结构的反射镜801被固定在一个框架中,其中,反射镜可以为棱镜、平面反射镜或其他可以实现光路反射功能的组件;该框架可以为任意材料制成的框架;反射镜和框架的形状可以为长方形、正方形或圆形等任意形状,本申请在此不做限制。含反射镜的框架被固定在一个导轨上,与原光路呈特定角度(例如,45度)放置在光路中。在旋转驱动模块802的驱动下,框架可以围绕一个转轴旋转,其中,旋转驱动模块802可以为电机或其他任意可提供动能的组件。当反射镜处于与原光路不重叠的位置803时,光路可以直接通过,第一反射元件17041处于第一位置或第一工作状态,摄像头单独采集图像;当反射镜被旋转驱动模块802驱动旋转后,处于与原光路完全重叠的位置804时,第一反射元件17041处于第二位置或第二工作状态,光路经过反射元件,反射元件用于将增倍镜的出射光线沿摄像头的入射光轴反射至摄像头,摄像头与增倍镜组合采集图像。
在第四种可能的实现方式中,切换元件为电致变色材料玻璃结构,如图9所示为电致变色材料玻璃结构示意图。该电致变色材料玻璃901在玻璃中集成一层纳米颗粒层,通电后可以激活纳米颗粒层,使得纳米颗粒层聚集在一起,形成反射镜;切换到不同电压(例如,断电),则可将纳米颗粒层移开,反射镜变成透明玻璃。将该电致变色的材料玻璃901,与原光路呈特定角度(例如,45度)放置在光路中。在不通电的状态下,该材料为透明,相当于玻璃状态902,光路可以直接通过,第一反射元件17041处于第一位置或第一工作状态,摄像头单独采集图像;在通电状态下,该材料可以实现全反射功能,相当于反射镜状态903,第一反射元件17041处于第二位置或第二工作状态,光路经过反射元件,反射元件用于将增倍镜的出射光线沿摄像头的入射光轴反射至摄像头,摄像头与增倍镜组合采集图像。
本申请还提供一种监控装置,该监控装置包括上述监控模组,还包括控制模块,控制模块用于确定目标倍率,并将目标倍率与摄像头倍率进行比较,根据比较结果设置摄像头倍率和控制切换元件。控制模块可以是处理器,该处理器可以包括一个或多个处理单元,例如:处理器可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等,该处理器还可以是其他通用处理器。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是监控模组的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器中还可以设置存储器,用于存储指令和数据。可以理解的是,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(random access memory,RAM)可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(directrambus RAM,DR RAM)。
本申请实施例七,还提供一种监控系统,如图18所示,所述监控系统包括上述监控模组的摄像头1801、增倍镜1802、切换元件1803、反射元件1804,和采集图像模组1805、处理图像模组1806。
采集图像模组用于采集图像,采集图像模组可以是图像传感器,图像传感器通过把摄像模块获取的光信号转换为电信号来实时采集目标图像。其中,图像传感器包括电行耦合元件(CCD,Charge-coupled Device)传感器、互补金属氧化物半导体(CMOS,Complementary Metal Oxide Semiconductor)传感器或石墨烯材料传感器。
处理图像模组用于处理图像,处理图像模组可以是图像处理器,也可以是上述其他处理器。其中,图像处理包括对图像数据进行去马赛克、自动曝光、自动白平衡、自动聚焦、色彩校正、锐化增强、降噪等图像处理操作。其中,去马赛克是拜耳图到RGB图的处理,是将图像传感器获得的亮度不均的像素点,插值成平滑的像素点的过程。自动曝光是指,根据图像处理反馈的亮度统计信息,自动调整图像传感器的曝光时间和增益,达到调节图片亮度的目的。自动白平衡是指,根据白区统计信息,自动调节图像处理模块的RGB增益,达到色彩平衡的目的。自动聚焦是指,统计图像内容并根据统计的结果,调整摄像模块的硬件动作。色彩校正是指对经过白平衡处理之后的RGB图进行色彩还原度的校正,例如,对RGB图乘以一个色彩校正矩阵达到色彩还原的目的,这是由于图像传感器获取到的光谱与人眼感受到的光谱存在一定偏差,所以需要经过色彩还原校正才能呈现于人眼感受相近的正常图像。锐化增强是指对图像进行边缘、高频细节增强的处理,用于使图像更加清晰。降噪是指对图像的干扰噪声进行抑制的操作,包括空域降噪、时域降噪或色噪抑制等。可选地,还可以包括存储处理的图像数据或视频数据。
本申请实施例八,基于上述监控模组,提供一种光路切换方法,如图16所示为该光路切换方法流程图,该光路切换方法应用在实施例六所提供监控模组中,其中,监控模组指的是应用于监控场景的摄像模组。如图17为该监控模组示意图。
该光路切换方法包括的具体实施步骤如下:
S161:确定目标倍率
确定目标倍率包括根据不同的目标状态来自动确定目标倍率或者根据输入指令在确定目标倍率。其中,根据不同的目标状态自动确定目标倍率可以为根据目标大小占比确定目标目标倍率,或者,根据目标的类别确定目标倍率。其中,目标倍率和目标大小占比有确定的对应关系,优选地,在一个占比区间内有对应关系。
在第一种可能的实现方式中,确定目标倍率的方法为确定目标物体在当前采集的图像中的目标大小占比,根据目标大小占比来确定目标倍率。目标物体指的是在监控模组所拍摄的某一个画面中,需要被关注的物体,例如行人或者车辆。目标大小占比指的是在监控模组所拍摄的某一个画面中,目标在其中,对于同一目标类别,目标倍率与目标物体在当前采集的图像中的目标大小占比存在确定的对应关系,可选地,目标倍率与目标物体在当前采集的图像中的目标大小占比区间存在确定的对应关系。在当前所采集的图像中的大小占比越小,为了更清晰的拍摄到目标,则目标的倍率应该越大。例如,目标在当前所采集的图像中的大小占比为20%时,当摄像头以5倍的倍率拍摄目标,目标可以清晰地被呈现,此时目标的倍率为5倍。可选地,目标在当前所采集的图像中的大小占比为20%上下浮动百分之2的区间内时(18%-22%),当摄像头以5倍的倍率拍摄目标,目标可以清晰地被呈现,此时目标的倍率为5倍。清晰地被呈现指的是目标可以达到识别要求,例如目标为人脸时,目标人脸的清晰度需要达到可以识别目标人物身份的程度。若目标向着距离摄像头更远的位置移动,当目标移动到某一位置并处于该位置时,若摄像头仍按照5倍的倍率进行拍摄,该目标在所采集的图像中的大小占比会变为10%,目标无法清晰地被呈现,则为了仍可以清晰地拍摄到目标,摄像头的倍率应该调整为10倍,此时确定所述目标的倍率为10倍。
在第二种可能的实现方式中,确定目标倍率的方法为确定目标的类别,根据目标的类别来确定目标的倍率。其中,目标类别与目标倍率存在着对应关系。当目标处于与摄像头某一距离的位置时,不同类别的目标有着不同的清晰度要求,这些不同类别的目标达到被清晰地呈现的要求时,所需要的摄像头倍率不同。例如,若目标类别为车牌,车牌在距摄像头20米的距离时,摄像头以2倍的倍率拍摄即可以清晰地识别车牌号码,此时车牌目标的目标倍率为5倍。若目标类别为人脸,人脸在距摄像头20米的距离时,由于人脸识别的清晰度要求更高,摄像头若仍以2倍的倍率拍摄人脸目标,则人脸目标的清晰度无法达到准确识别人脸的要求,此时摄像头需要更改为以5倍的倍率拍摄,达到能够清晰识别人脸的要求,此时人脸目标的目标倍率为5倍。
在第三种可能的实现方式中,确定目标倍率的方法为接收倍率输入指令,根据倍率输入指令确定目标倍率。倍率输入指令可以为人工输入,也可以为监控系统的处理器根据预设好的目标类型和目标在图像中的大小占比与所需摄像头倍率的关系自动输入。其中,监控系统包括监控模组和用于控制监控模组的处理器。例如,人工输入指令可以为人工操作监控模组时,用户通过监控系统的用户界面输入倍率为5倍的指令,该输入指令指示目标倍率应该为5倍。又例如,经过验证测试,当目标为车牌且车牌在监控模组所采集的图像中大小占比为10%时,摄像头使用5倍倍率拍摄,车牌目标的清晰度可以满足车牌识别系统对车牌的识别要求,并且识别准确率大于98%,则该监控模组应用于监控车辆的场景时,监控系统的处理器输入指令为5倍倍率,该输入指令指示目标倍率应该为5倍,摄像头以5倍的倍率拍摄某一固定距离位置的车牌目标,其中,车牌目标处于该位置时,车牌目标在监控模组所采集的图像中大小占比为10%。可以理解的是,根据倍率输入指令确定目标倍率的方法包括交互过程,即按照原目标倍率所拍摄到的画面可以被用户所查看,用户继而可以判断所拍摄到的画面是否符合需求,若符合则维持原目标倍率,若不符合则可以通过用户界面进行调整并将指令传输给监控系统。
S162:当目标倍率小于等于摄像头的最大倍率时,将摄像头的倍率设置为目标倍率。目标倍率小于等于摄像头的最大倍率,即该摄像头的倍率可以满足目标倍率的需求,此时目标倍率为多少,摄像头就被设置为多少倍率以满足目标清晰度的要求。其中,摄像头的倍率范围为[1,M]。在一种可能的实现方式中,M的取值范围包括[2,30]。目标倍率小于等于摄像头的最大倍率的情况下,控制模块用于完成目标倍率和摄像头倍率的比对,并执行将摄像头的倍率设置为目标倍率的操作步骤。
S163:确定反射元件处于第一位置或第一工作状态,此时光路没有经过反射元件,摄像头单独采集图像。其中,第一位置指的是反射原件的位置与原光路不重叠,反射元件不能够反射光线,第二工作状态指的是摄像头与增倍镜组合采集图像的工作状态。在一种可能的实现方式中,控制模块控制铁芯601上的线圈不通电,可选地,控制模块还可以控制平移驱动模块702平移反射镜与原光路不重叠,或者,控制旋转驱动模块802旋转反射镜与原光路不重叠,或者,控制电致变色材料玻璃901不通电。其中,原光路指的是光线直接进入摄像头,不经过增倍镜的光路。
S164:当目标倍率大于摄像头的最大倍率时,将摄像头的倍率设置为第一倍率;其中,第一倍率与增倍镜的倍率的乘积为目标倍率,且目标倍率不大于所述摄像头的最大倍率与第一倍率的乘积。其中,增倍镜的倍率为N。在一种可能的实现方式中,N的取值范围包括[2,5]。增倍镜包括K个增倍镜头;其中,至少一个增倍镜头的结构为光路折叠结构。该种情况下,控制模块用于完成目标倍率和摄像头倍率的比对,并控制切换元件改变反射元件位置。在一种可能的实现方式中,控制切换元件改变反射元件位置的方法为控制模块控制铁芯601上的线圈通电,可选地,控制切换元件改变反射元件位置的方法还可以为控制模块控制平移驱动模块702平移反射镜与原光路重叠,或者,控制旋转驱动模块802旋转反射镜与原光路重叠,或者,控制电致变色材料玻璃901通电。
S165:确定反射元件处于第二位置或第二工作状态,此时光路经过反射元件,并通过摄像头与增倍镜组合采集图像。其中,第二位置指的是反射原件的位置与原光路重叠,能够反射光线,第二工作状态指的是摄像头与增倍镜组合采集图像的工作状态。
本申请实施例提供的光路切换方法可以由光路切换装置执行,根据上述方法示例对光路切换装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
本申请实施例八,基于上述监控模组,提供一种光路切换装置,如图19所示为该光路切换装置示意图,如图19所示,光路切换装置可以包括:确定模块1901和控制模块1902。其中,确定模块1901用于支持该光路切换装置执行上述方法实施例中的步骤S161中确定目标倍率的动作。控制模块1902用于支持该光路切换装置执行上述方法实施例中的步骤S162-S165中,当目标倍率小于等于摄像头的最大倍率时,将摄像头的倍率设置为目标倍率;将反射元件设置为第一位置或第一工作状态,并通过摄像头采集图像;当目标倍率大于摄像头的最大倍率时,将摄像头的倍率设置为第一倍率;其中,第一倍率与增倍镜的倍率的乘积为目标倍率,且目标倍率不大于摄像头的最大倍率与第一倍率的乘积;将反射元件设置为第二位置或第二工作状态,并通过摄像头与增倍镜组合采集图像的动作。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本申请实施例九,提供了一种计算机可读介质,用于存储计算机程序代码,该计算机程序包括用于执行上述实施例三、五或七中提供的方法。该可读介质可以是ROM或RAM,本申请实施例对此不做限制。
本申请实施例十,还提供了一种计算机程序产品,该计算机程序产品包括计算机程序指令,当该计算机程序指令被执行时,以使得相应装置执行对应于上述方法的操作。
本申请实施例十一,还提供了一种系统芯片,该系统芯片包括:处理单元和通信单元,该处理单元,例如可以是处理器,该通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行计算机指令,以使该通信装置内的芯片执行上述本申请实施例提供的任一种方法。
可选地,上述本申请实施例中提供的任意一种通信装置可以包括该系统芯片。
可选地,该计算机指令被存储在存储单元中。
可选地,该存储单元为该芯片内的存储单元,如寄存器、缓存等,该存储单元还可以是该终端内的位于该芯片外部的存储单元,如ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM等。其中,上述任一处提到的处理器,可以是一个CPU,微处理器,ASIC,或一个或多个用于控制上述的光路折叠方法的程序执行的集成电路。该处理单元和该存储单元可以解耦,分别设置在不同的物理设备上,通过有线或者无线的方式连接来实现该处理单元和该存储单元的各自的功能,以支持该系统芯片实现上述实施例中的各种功能。或者,该处理单元和该存储器也可以耦合在同一个设备上。
本申请实施例十二,提供一种终端设备,该终端设备可以为智能手机、平板、数码照相机、数码摄像机、监控摄像头、车载摄像头或者工业摄像头等具有图像采集功能的装置,也可以应用于摄影摄像领域、汽车电子领域或者工业机器视觉领域等。该终端设备包括实施例一的光路可折叠装置或者实施例六的监控模组或监控系统,或者,执行实施例三或五或七所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括至少一个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含至少一个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在本申请中可能出现的对各种消息/信息/设备/网元/系统/装置/动作/操作/流程/概念等各类客体进行了赋名,可以理解的是,这些具体的名称并不构成对相关客体的限定,所赋名称可随着场景,语境或者使用习惯等因素而变更,对本申请中技术术语的技术含义的理解,应主要从其在技术方案中所体现/执行的功能和技术效果来确定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅是本申请的较佳实施例而已,并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上,然而并非用以限定本申请。任何熟悉本领域的技术人员,在不脱离本申请技术方案范围情况下,都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本申请技术方案的内容,依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本申请技术方案保护的范围内。

Claims (20)

1.一种光路切换方法,其特征在于,所述方法应用于监控模组,所述监控模组包括摄像头、增倍镜、切换元件,反射元件;其中,所述摄像头是变焦镜头,所述增倍镜是定焦镜头,且为光路折叠结构;所述增倍镜的出射光轴与所述摄像头的入射光轴不平行,所述增倍镜的入射光轴与所述摄像头的入射光轴平行;所述切换元件用于改变所述反射元件的位置或工作状态;当所述反射元件处于第一位置或第一工作状态时,所述摄像头单独采集图像;当所述反射元件处于第二位置或第二工作状态时,所述反射元件用于将所述增倍镜的出射光线沿所述摄像头的入射光轴反射至所述摄像头,使所述摄像头与所述增倍镜组合采集图像;所述方法包括:
确定目标倍率;
当所述目标倍率小于等于所述摄像头的最大倍率时,将所述摄像头的倍率设置为所述目标倍率;
将所述反射元件设置为所述第一位置或所述第一工作状态,并通过所述摄像头采集图像;
当所述目标倍率大于所述摄像头的最大倍率时,将所述摄像头的倍率设置为第一倍率;其中,所述第一倍率与所述增倍镜的倍率的乘积为所述目标倍率,且所述目标倍率不大于所述摄像头的最大倍率与所述第一倍率的乘积;
将所述反射元件设置为所述第二位置或所述第二工作状态,并通过所述摄像头与所述增倍镜组合采集图像。
2.根据权利要求1所述的方法,其特征在于,所述确定目标倍率包括:
确定目标物体在当前采集的图像中的目标大小占比;
根据所述目标大小占比确定所述目标倍率;
其中,所述目标大小占比越小,所述目标倍率越大。
3.根据权利要求1所述的方法,其特征在于,所述确定目标倍率包括:
确定目标物体的类别;
根据所述目标物体的类别确定所述目标倍率;
其中,所述目标物体类别与所述目标倍率存在对应关系。
4.根据权利要求1所述的方法,其特征在于,所述确定目标倍率包括:
接收倍率输入指令;
根据所述倍率输入指令确定所述目标倍率。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述摄像头的倍率范围为[1,M];所述增倍镜的倍率为N;其中,M和N为大于1的整数。
6.根据权利要求5所述的方法,其特征在于,M的取值范围包括[2,30],N的取值范围包括[2,5]。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述增倍镜包括K个增倍镜头;其中,至少一个增倍镜头的结构为光路折叠结构。
8.一种光路切换装置,其特征在于,所述光路切换装置应用于监控模组:所述监控模组包括摄像头、增倍镜、切换元件,反射元件;其中,所述摄像头是变焦镜头,所述增倍镜是定焦镜头,且为光路折叠结构;所述增倍镜的出射光轴与所述摄像头的入射光轴不平行,所述增倍镜的入射光轴与所述摄像头的入射光轴平行;所述切换元件用于改变所述反射元件的位置或工作状态;当所述反射元件处于第一位置或第一工作状态时,所述摄像头单独采集图像;当所述反射元件处于第二位置或第二工作状态时,所述反射元件用于将所述增倍镜的出射光线沿所述摄像头的入射光轴反射至所述摄像头,使所述摄像头与所述增倍镜组合采集图像;所述光路切换装置包括:
确定模块,所述确定模块用于确定目标倍率;
控制模块,所述控制模块用于当所述目标倍率小于等于摄像头的最大倍率时,将所述摄像头的倍率设置为所述目标倍率;
将反射元件设置为所述第一位置或所述第一工作状态,并通过所述摄像头采集图像;
当所述目标倍率大于所述摄像头的最大倍率时,将所述摄像头的倍率设置为第一倍率;其中,所述第一倍率与增倍镜的倍率的乘积为所述目标倍率,且所述目标倍率不大于所述摄像头的最大倍率与所述第一倍率的乘积;
将反射元件设置为所述第二位置或所述第二工作状态,并通过所述摄像头与所述增倍镜组合采集图像。
9.根据权利要求8所述的装置,其特征在于,所述确定模块具体用于:
确定目标物体在当前采集的图像中的目标大小占比;
根据所述目标大小占比确定所述目标倍率;
其中,所述目标大小占比越小,所述目标倍率越大。
10.根据权利要求8所述的装置,其特征在于,所述确定模块具体用于:
确定目标物体的类别;
根据所述目标物体的类别确定所述目标倍率;
其中,所述目标物体类别与所述目标倍率存在对应关系。
11.根据权利要求8所述的装置,其特征在于,所述确定模块具体用于:
接收倍率输入指令;
根据所述倍率输入指令确定所述目标倍率。
12.根据权利要求8-11任一项所述的装置,其特征在于,所述摄像头的倍率范围为[1,M];所述增倍镜的倍率为N;其中,M和N为大于1的整数。
13.根据权利要求12所述的装置,其特征在于,M的取值范围包括[2,30],N的取值范围包括[2,5]。
14.根据权利要求8-13任一项所述的装置,其特征在于,所述增倍镜包括K个增倍镜头;其中,至少一个增倍镜头的结构为光路折叠结构。
15.一种监控模组,其特征在于,所述监控模组包括:
摄像头、增倍镜、切换元件,反射元件;
所述摄像头为变焦镜头;
所述增倍镜为定焦镜头,所述增倍镜为光路折叠结构;其中,所述增倍镜的出射光轴与所述摄像头的入射光轴不平行,所述增倍镜的入射光轴与所述摄像头的入射光轴平行;
所述切换元件用于改变所述反射元件的位置或工作状态;其中,当所述反射元件处于第一位置或第一工作状态时,所述摄像头单独采集图像;当所述反射元件处于第二位置或第二工作状态时,所述反射元件用于将所述增倍镜的出射光线沿所述摄像头的入射光轴反射至所述摄像头,使得所述摄像头与所述增倍镜组合采集图像。
16.根据权利要求15所述的监控模组,其特征在于,所述摄像头的倍率范围为[1,M];所述增倍镜的倍率为N;其中,M和N为大于1的整数。
17.根据权利要求16所述的监控模组,其特征在于,M的取值范围包括[2,30],N的取值范围包括[2,5]。
18.根据权利要求15-17任一项所述的监控模组,其特征在于,所述增倍镜包括K个增倍镜头;其中,至少一个增倍镜头的结构为光路折叠结构。
19.一种电子设备,其特征在于,包括存储器和与所述存储器连接的至少一个处理器,
所述存储器用于存储指令,所述指令被所述至少一个处理器读取后,所述电子设备执行如权利要求1至7任一项所述的方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机指令,当所述计算机指令在计算机上运行时,以执行如权利要求1至7任一项所述的方法。
CN202010811207.2A 2019-10-28 2020-08-11 一种光路切换方法及装置、监控模组、电子设备和存储介质 Active CN112738363B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20881908.6A EP4044577A4 (en) 2019-10-28 2020-10-26 LIGHT PATH SWITCHING METHOD AND MONITORING MODULE
PCT/CN2020/123719 WO2021083082A1 (zh) 2019-10-28 2020-10-26 一种光路切换方法和监控模组
US17/730,426 US11930260B2 (en) 2019-10-28 2022-04-27 Optical path switching method and surveillance module

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019110328091 2019-10-28
CN201911032809 2019-10-28

Publications (2)

Publication Number Publication Date
CN112738363A true CN112738363A (zh) 2021-04-30
CN112738363B CN112738363B (zh) 2023-03-10

Family

ID=75597192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010811207.2A Active CN112738363B (zh) 2019-10-28 2020-08-11 一种光路切换方法及装置、监控模组、电子设备和存储介质

Country Status (4)

Country Link
US (1) US11930260B2 (zh)
EP (1) EP4044577A4 (zh)
CN (1) CN112738363B (zh)
WO (1) WO2021083082A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114001255A (zh) * 2021-09-16 2022-02-01 浙江大华技术股份有限公司 云台摄像机转动的控制方法、云台摄像机和电子装置
CN116980588A (zh) * 2023-09-18 2023-10-31 深圳市普太智能有限公司 摄像头检测装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542672B (zh) * 2021-05-25 2023-08-18 浙江大华技术股份有限公司 摄像机巡航方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102213822A (zh) * 2011-07-12 2011-10-12 中国电子科技集团公司第十一研究所 一种中波红外连续变焦镜头
WO2014021092A1 (ja) * 2012-08-02 2014-02-06 コニカミノルタ株式会社 光学素子ユニット及び撮像装置
CN107483791A (zh) * 2017-09-19 2017-12-15 信利光电股份有限公司 一种多摄像头模组
CN109061864A (zh) * 2018-08-29 2018-12-21 北京铂石空间科技有限公司 光路切换装置和光路切换方法
CN208739253U (zh) * 2018-10-24 2019-04-12 北京小米移动软件有限公司 摄像头模组及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10254055A (ja) * 1997-03-10 1998-09-25 Minolta Co Ltd 多焦点カメラ
KR101278239B1 (ko) * 2006-10-17 2013-06-24 삼성전자주식회사 듀얼 렌즈 광학계 및 이를 구비하는 듀얼 렌즈 카메라
JP2010061090A (ja) * 2008-08-05 2010-03-18 Mitsubishi Electric Corp 投写型表示装置
EP3220180A1 (en) * 2009-06-16 2017-09-20 INTEL Corporation Camera applications in a handheld device
US9323039B2 (en) * 2012-11-06 2016-04-26 Industrial Technology Research Institute Particle manipulation system and projection device
CN205750068U (zh) * 2016-05-17 2016-11-30 宁波舜宇电子有限公司 一种可切换的光路结构
KR20240019388A (ko) * 2018-01-26 2024-02-14 애플 인크. 광학기기를 이동시키기 위한 액추에이터를 갖는 접이식 카메라
CN208739252U (zh) * 2018-10-24 2019-04-12 北京小米移动软件有限公司 镜头组件及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102213822A (zh) * 2011-07-12 2011-10-12 中国电子科技集团公司第十一研究所 一种中波红外连续变焦镜头
WO2014021092A1 (ja) * 2012-08-02 2014-02-06 コニカミノルタ株式会社 光学素子ユニット及び撮像装置
CN107483791A (zh) * 2017-09-19 2017-12-15 信利光电股份有限公司 一种多摄像头模组
CN109061864A (zh) * 2018-08-29 2018-12-21 北京铂石空间科技有限公司 光路切换装置和光路切换方法
CN208739253U (zh) * 2018-10-24 2019-04-12 北京小米移动软件有限公司 摄像头模组及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114001255A (zh) * 2021-09-16 2022-02-01 浙江大华技术股份有限公司 云台摄像机转动的控制方法、云台摄像机和电子装置
CN116980588A (zh) * 2023-09-18 2023-10-31 深圳市普太智能有限公司 摄像头检测装置
CN116980588B (zh) * 2023-09-18 2024-01-26 深圳市普太智能有限公司 摄像头检测装置

Also Published As

Publication number Publication date
EP4044577A4 (en) 2022-11-30
EP4044577A1 (en) 2022-08-17
CN112738363B (zh) 2023-03-10
US20220263989A1 (en) 2022-08-18
WO2021083082A1 (zh) 2021-05-06
US11930260B2 (en) 2024-03-12

Similar Documents

Publication Publication Date Title
CN112738363B (zh) 一种光路切换方法及装置、监控模组、电子设备和存储介质
CN107925751B (zh) 用于多视点降噪和高动态范围的系统和方法
KR102306304B1 (ko) 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체
CN103986876B (zh) 一种图像获取终端和图像获取方法
JP4290100B2 (ja) 撮像装置及びその制御方法
JP5261805B2 (ja) 携帯用機器のカメラアプリケーション
US7412158B2 (en) Deeper depth of field for video
WO2019105206A1 (en) Method and device for image processing
US11184539B2 (en) Intelligent dual-lens photographing device and photographing method therefor
US20080136958A1 (en) Camera having a focus adjusting system and a face recognition function
WO2017025822A1 (en) Dual aperture zoom camera with video support and switching / non-switching dynamic control
JP6699898B2 (ja) 処理装置、撮像装置、及び自動制御システム
CN107172352B (zh) 对焦控制方法、装置、计算机可存储介质和移动终端
WO2011014421A2 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
CN109409147A (zh) 一种条码识别方法和装置
KR20220058593A (ko) 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법
JP5261562B2 (ja) 携帯用機器のカメラアプリケーション
CN112995529B (zh) 一种基于光流预测的成像方法和装置
JP2005175970A (ja) 撮像システム
CN111149349B (zh) 摄影装置和其控制方法及存储介质
CN114080565B (zh) 用于获得超微距图像的系统和方法
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
CN112104796B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110891098B (zh) 移动终端的控制方法和装置、移动终端、可读存储介质
CN206639229U (zh) 双摄像头成像及虹膜采集识别一体化设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant