CN113940052B - 摄像机及获取图像的方法 - Google Patents

摄像机及获取图像的方法 Download PDF

Info

Publication number
CN113940052B
CN113940052B CN202080001758.0A CN202080001758A CN113940052B CN 113940052 B CN113940052 B CN 113940052B CN 202080001758 A CN202080001758 A CN 202080001758A CN 113940052 B CN113940052 B CN 113940052B
Authority
CN
China
Prior art keywords
image
light beam
channel
infrared light
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080001758.0A
Other languages
English (en)
Other versions
CN113940052A (zh
Inventor
刘俊
邓志鹏
潘撼
杨胜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN113940052A publication Critical patent/CN113940052A/zh
Application granted granted Critical
Publication of CN113940052B publication Critical patent/CN113940052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

公开了摄像机及获取图像的方法。摄像机包括:光学模组、单个图像传感器以及与图像传感器电连接的图像处理器。传感器的像素划分为多个通道,每个通道可以被单独控制曝光时长/增益大小,一部分通道是黑白像素,另外一部分通道是彩色像素,因此生成的图片由彩色像素和灰度像素组成,黑白通道和彩色通道使用不同的曝光时长/增益大小。把彩色像素和黑白像素分开从而得到多个图像,然后对这个多个图像进行融合,得到融合图像。本申请提供的摄像机不仅结构简单、成本低,而且保证了彩色图像及灰度图像像素级对齐,可在低照环境下获取到质量较高的图像。

Description

摄像机及获取图像的方法
技术领域
本申请涉及图像拍摄技术领域,特别涉及摄像机及获取图像的方法。
背景技术
随着图像拍摄技术的发展,人们对于图像的质量要求也越来越高。在光照度较低的低照环境中,进入传感器的光子数量较少,因而会导致获取到的图像质量较差。如何在低照环境下获取高质量的图像,一直是视频监控领域亟待解决的关键问题。
对此,相关技术提供一种在低照环境中获取图像的装置。该装置包括镜头、分光棱镜、两个图像传感器及图像信号处理(image signal processing,ISP)元件。其中,两个图像传感器分别位于分光棱镜的两侧,且两个图像传感器相互垂直。在获取图像时,光束经过镜头到达分光棱镜,分光棱镜将光束分为相互垂直的红外光束及可见光束。两个图像传感器中的一个用于接收红外光束并进行光电转换,另一个用于接收可见光束并进行光电转换。之后,由ISP元件对两个图像传感器进行光电转换所得到的电信号进行信号处理,接着由融合芯片把经ISP处理的2幅图像融合在成1幅图像,得到质量较高的图像。
然而,由于相关技术中需要分光棱镜及两个图像传感器的配合才能使得两个图像传感器分别接收到红外光束及可见光束,因而需要在加工过程中对分光棱镜及两个图像传感器的位置进行精确校准,稍有偏差都会对最终的融合图片效果造成明显影响。技术所提供的获取图像的装置加工难度较大、良品率低。另外,本案需要使用到分光棱镜及两个图像传感器,因此生产成本高昂。
发明内容
本申请实施例提供了一种摄像机及获取图像的方法,可以降低在低照度场景下拍摄图像的成本和提高良品率。
一方面,提供了一种摄像机,该摄像机包括:光学模组、单个图像传感器以及与图像传感器电连接的图像处理器。图像传感器包括至少一个第一通道和至少一个第二通道,至少一个第一通道和至少一个第二通道中的每个通道均包括多个像素,不同通道的像素不同。并且,每个通道被独立的控制。
首先由光学模组收集第一光束,基于该第一光束获取包含有红外光束及可见光束的第二光束,将该第二光束发送图像传感器。之后,图像传感器根据第一通道对应的亮度调节参数对第二光束中照射至第一通道的红外光束进行光电转换,得到第一电信号。图像传感器还根据第二通道对应的亮度调节参数对第二光束中照射至第二通道的可见光束进行光电转换,得到第二电信号,其中,第一通道对应的亮度调节参数的数值和第二通道对应的亮度调节参数的数值不同。接着,图像传感器再根据第一电信号和第二电信号生成目标对象的初始图像,基于初始图像向图像处理器发送彩色图像及灰度图像。图像处理器接收彩色图像及灰度图像之后,对彩色图像及灰度图像进行融合处理,得到融合图像。
本申请实施例提供的摄像机通过单个图像传感器即可做红外光束与可见光束的分别成像,并且不需要借助分光棱镜。该摄像机结构简单、便于加工,有利于提高良品率、降低生产成本。另外,图像传感器所包括的第一通道及第二通道被独立的控制,分别有各自对应的亮度调节参数,因而第一通道可以根据第一通道对应的亮度调节参数对照射至第一通道的红外光束进行光电转换,得到第一电信号。相应地,第二通道也可以根据第二通道对应的亮度调节参数对照射至第二通道的可见光束进行光电转换,得到第二电信号。之后,可以根据第一电信号及第二电信号生成目标对象的初始图像,从而基于初始图像向图像处理器发送彩色图像及灰度图像,保证了基于可见光束生成的彩色图像与基于红外光束生成的灰度图像是像素级对齐的,这可以避免图像处理器对灰度图像与彩色图像进行融合之后,所生成的融合图像中出现“重影”的情况,且避免了因不同通道采用统一亮度调节参数而导致相互影响的情况,从而可在低照环境下获取到质量较高的图像。
在示例性实施例中,光学模组包括带通滤光片;带通滤光片,用于从第一光束中过滤得到红外光束及可见光束,作为第二光束。
由于带通滤光片仅能通过所允许波段的光束,因而第一光束中仅有红外光束及可见光束能够通过带通滤光片,从而避免了其他波段的光束照射至图像传感器,进而避免了其他波段的光束影响后续的光电转换及融合处理过程,保证了图像的质量。
在示例性实施例中,红外光束包括波段位于850纳米附近的第一红外光束,以及波段位于750纳米附近的第二红外光束。
带通滤光片允许通过的红外光束包括两种不同波段的红外光束,相比于第一红外光束,第二红外光束的波段与可见光束的波段更为接近,能够对可见光束更好的起到补光作用。
在示例性实施例中,图像传感器,还用于根据第一通道对应的亮度调节参数对第二光束中照射至第一通道的可见光束进行光电转换,得到第二电信号。
在第二光束中,除了第二光束中的红外光束可以照射至第一通道以外,第二光束中的可见光束也可以照射至第一通道,第一通道可以对照射至第一通道的可见光束进行光电转换,从而得到第二电信号。
在示例性实施例中,该装置还包括:带阻滤光膜,图像传感器的表面具有带阻滤光膜,带阻滤光膜用于屏蔽第二光束中的红外光束,以使第二光束中的可见光束照射至第二通道。
通过带阻滤光膜,可以避免红外光束照射至第二通道,而仅令红外光束通过第一通道。由此,可以使得第二光束中仅有可见光束能够通过第二通道,第二通道也仅会根据对应的亮度调节参数对可见光束进行光电转换。因此,避免了由于红外光束对可见光束造成影响所产生的偏色问题,保证了得到的图像质量。
在示例性实施例中,图像处理器,还用于根据灰度图像的亮度信息调整第一通道对应的亮度调节参数,根据彩色图像的亮度信息调整第二通道对应的亮度调节参数。
图像处理器通过分析彩色图像及灰度图像,可以确定第一通道及第二通道对应的亮度调节参数分别需要进行何种改进,从而对第一通道及第二通道对应的亮度调节参数进行调整。由此,图像传感器后续便可以通过多个通道对应的调整后的亮度调节参数对照射的光束进行光电转换,所得到的第一电信号及第二电信号可以用于得到亮度更均匀、质量更高的图像。
在示例性实施例中,亮度调节参数包括曝光时长和增益中的至少一种。
一方面,提供了一种获取图像的方法,方法包括:通过光学模组收集第一光束,基于第一光束获取第二光束,第二光束包括可见光束和红外光束;通过图像传感器根据图像传感器的第一通道对应的亮度调节参数对第二光束中照射至第一通道的红外光束进行光电转换,得到第一电信号;根据图像传感器的第二通道对应的亮度调节参数对第二光束中照射至第二通道的可见光束进行光电转换,得到第二电信号,其中,第一通道对应的亮度调节参数的数值和第二通道对应的亮度调节参数的数值不同;根据第一电信号和第二电信号生成目标对象的初始图像,基于初始图像向图像处理器发送彩色图像及灰度图像,其中,第一通道和第二通道被独立的控制,且每个通道包括多个像素,不同通道的像素不同;通过图像处理器接收彩色图像及灰度图像,对彩色图像及灰度图像进行融合处理,得到融合图像。
在示例性实施例中,光学模组包括带通滤光片,基于第一光束获取第二光束,包括:通过带通滤光片从第一光束中过滤得到红外光束及可见光束,作为第二光束。
在示例性实施例中,红外光束包括波段位于850纳米附近的第一红外光束,以及波段位于750纳米附近的第二红外光束。
在示例性实施例中,基于所述第一光束获取第二光束之后,还包括:通过所述图像传感器根据所述第一通道对应的亮度调节参数对所述第二光束中照射至所述第一通道的可见光束进行光电转换,得到第二电信号。
在示例性实施例中,图像传感器的表面具有带阻滤光膜,通过带阻滤光膜屏蔽第二光束中的红外光束,以使所述第二光束中的可见光束照射至所述第二通道,以避免第二光束中的红外光束照射至第二通道。
在示例性实施例中,对彩色图像及灰度图像进行融合处理,得到融合图像之后,方法还包括:根据灰度图像的亮度信息调整第一通道对应的亮度调节参数,根据彩色图像的亮度信息调整第二通道对应的亮度调节参数。
在示例性实施例中,亮度调节参数包括曝光时长和增益中的至少一种。
附图说明
图1为本申请实施例提供的摄像机的结构图;
图2为本申请实施例提供的像素阵列的示意图;
图3为本申请实施例提供的像素阵列的示意图;
图4为本申请实施例提供的像素阵列的示意图;
图5为本申请实施例提供的像素阵列的示意图;
图6为本申请实施例提供的像素阵列的示意图;
图7为本申请实施例提供的像素阵列的示意图;
图8为本申请实施例提供的摄像机的结构图;
图9为本申请实施例提供的响应曲线的示意图;
图10为本申请实施例提供的响应曲线的示意图;
图11为本申请实施例提供的响应曲线的示意图;
图12为本申请实施例提供的获取图像的方法的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供一种获取图像的装置,参见图1,该装置包括:光学模组101、单个图像传感器(sensor)102以及图像处理器103。光学模组101用于收集第一光束,基于第一光束向图像传感器102发送第二光束,第二光束包括可见光束及红外光束。
其中,第一光束是目标对象对应的光束,目标对象是指待拍摄得到图像的对象。响应于目标对象为可发射光束的光源,则目标对象对应的第一光束包括:目标对象自身发射的光束。响应于目标对象为不可发射光束的非光源,则目标对象对应的第一光束包括:目标对象对其他光源所发射的光束进行反射所得到的反射光束。
在示例性实施例中,光学模组101包括一个或多个透镜组,光学模组101在收集到目标对象对应的第一光束之后,可通过一个或多个透镜组对第一光束的光束传播方向进行改变,从而得到第二光束,该第二光束包括有红外光束及可见光束。示例性地,光学模组101可以与图像传感器102同轴设置,以使得光学模组101发送的第二光束能够直接照射至图像传感器102。或者,光学模组101也可以不与图像传感器102同轴设置,则光学模组101及图像传感器102之间还可以设置有用于改变光束传播方向的光学元件,以便于对光学模组101发送的第二光束的传播方向发生改变,从而使得通过光学元件之后的第二光束在光学模组101及图像传感器102不同轴的情况下仍能够照射至图像传感器102。示例性地,用于改变光束传播方向的光学元件可以是棱镜,本实施例不对该光学元件加以限定。
在示例性实施例中,图像传感器102包括至少一个第一通道和至少一个第二通道,至少一个第一通道和至少一个第二通道中的每个通道包括多个像素,不同通道的像素不同,且每个通道被独立的控制。由于光学模组101发送的第二光束能够发送至图像传感器102,因而图像传感器102可用于根据第一通道对第二光束中照射至第一通道的红外光束进行光电转换,得到第一电信号,根据第二通道对第二光束中照射至第二通道的可见光束进行光电转换,得到第二电信号。
其中,图像传感器102所包括的第一通道及第二通道分别对应有亮度调节参数,第一通道及第二通道可根据各自对应的亮度调节参数被独立的控制。也就是说,第一通道在对照射至第一通道的红外光束进行光电转换时,是根据第一通道对应的亮度调节参数进行转换的。相应地,第二通道在对照射至第二通道的可见光束进行光电转换时,是根据第二通道对应的亮度调节参数进行转换的。可以理解的是,本实施例中第一通道对应的亮度调节参数的数值和第二通道对应的亮度调节参数的数值可以有所不同。正是因为如此,第一通道及第二通道才可以被分别、独立的进行控制。因此,使用亮度调节参数时无需迁就其中的任意光束,而是不同光束均可以使用较适合该种光束的亮度调节参数。根据此种较为合适的亮度调节参数进行光电转换所得到的电信号,有利于后续融合处理过程中得到质量较高的图像。
示例性地,图像传感器102可包括像素阵列,像素阵列中包括多个不同的像素(pixel),不同像素之间组合得到多个通道,因而不同通道的像素有所不同。例如,像素阵列中可以包含彩色像素及X像素。参见图2,彩色像素可以包括红色像素(R1及R2,R表示红色)、绿色像素(Gr1、Gr2、Gb1及Gb2,Gr及Gb均表示绿色)及蓝色像素(B1及B2,B表示蓝色),X像素则为X1及X2。图2所示的像素阵列可以看作是RGBX模式(pattern)的像素阵列。在图2所示的像素阵列中,四个X1像素构成一个用于通过红外光束(或全波段光束)的第一通道,四个X2像素构成另一个用于通过红外光束(或全波段光束)的第一通道。R1、Gr1、Gb1及B1构成一个用于通过可见光束的第二通道,R2、Gr2、Gb2及B2构成另一个用于通过可见光束的第二通道。也就是说,图2所示的像素阵列中共包括四个通道,四个通道中包括两个第一通道及两个第二通道。需要说明的是,图像中的最小单元也称为像素。
需要说明的是,像素阵列包括但不限于如下几种属性,本实施例不对像素阵列的以下几种属性加以限定:
第一种属性:像素阵列中像素所组成的多个通道的数量。除了上述图2所示的通道数量为四的情况以外,通道数量也可以为三个、五个或更多个。
第二种属性:像素阵列中像素的数量。其中,本实施例不对像素阵列中像素的数量加以限定,图2所示出的包括有16个像素(4×4模式,pattern)的阵列实际上是像素阵列中的最小子阵列,像素阵列可以是一个或多个最小子阵列组合排列所形成的阵列。例如,图3所示的情况即为4个最小子阵列组合形成的像素阵列。
第三种属性:像素所组成的多个通道中第一通道及第二通道的数量。以通道数量为四个为例,除了上述图2所示的四个通道中包括两个第一通道及两个第二通道的情况以外,四个通道中也可以包括一个第一通道及三个第二通道,或者三个第一通道及一个通道。例如,图4所示的情况中,R1、Gr1、Gb1及B1组成第一个用于通过可见光束的第二通道,R2、Gr2、Gb2及B2组成第二个用于通过可见光束的第二通道,R3、Gr3、Gb3及B3组成第三个用于通过可见光束的第二通道,而四个X像素组成一个用于通过红外光束的第一通道。
第四种属性:像素阵列中像素的排列顺序。像素阵列中R、Gr、Gb及B像素可按照任意顺序进行排列,R、Gr、Gb及B像素与X像素之间也可以按照任意顺序进行排列。例如,图2所示的像素阵列与图5所示的像素阵列所包含的像素相同,但两个像素阵列中各像素的排列顺序有所不同。
第五种属性:像素阵列中彩色像素的色彩模式。对于用于通过可见光束的第二通道,组成该第二通道的像素可以采用不同的色彩模式。上述图2-图5所示的像素阵列均采用了红绿蓝(red green blue,RGB)的色彩模式,而在示例性实施例中,也可以采用红黄蓝(red yellow blue,RYB)的色彩模式得到如图6所示的像素阵列,或是采用青、品红、黄(cyan yellow magenta,CMY)的色彩模式得到如图7所示的像素阵列。
示例性地,对于图像传感器102所包括的像素阵列,该像素阵列中的每个像素均对应一个水平开关及一个垂直开关,每一行像素对应的水平开关通过一个水平寄存器进行控制,每一列像素对应的垂直开关通过一个垂直寄存器进行控制。图像传感器102接收到第二光束之后,像素阵列中的各个像素便开始进行曝光,则像素根据第二光束中的光子进行光电转换,得到模拟信号。
在示例性实施例中,图像传感器102中还包括时序控制电路、模拟信号处理元件以及模数转换元件。在各个像素开始曝光之后,时序控制电路对各行的水平寄存器及各列的垂直寄存器进行控制,使得各行的水平寄存器控制该行的各个水平开关打开,各列的垂直寄存器控制该列的各个垂直开关打开。对于任一个像素,响应于该像素对应的水平开关及垂直开关均被打开,则该像素停止曝光。接着,该像素在开始曝光及停止曝光之间进行光电转换所得到模拟信号被读出。时序控制电路将被读出的模拟信号发送给模拟信号处理元件,模拟信号处理元件可用于对模拟信号进行模拟增益,得到模拟增益后的模拟信号。模拟增益后的模拟信号被发送至模数转换元件,模数转换元件用于将模拟增益后的模拟信号转换为数字信号。模数转换元件也可以对转换得到的数字信号进行数字增益,从而将数字增益后的数字信号作为电信号。如前所述,图像传感器102中根据第一通道对应的亮度调节参数对第二光束中照射至第一通道的红外光束进行光电转换,所得到的电信号为第一电信号,根据第二通道对应的亮度调节参数对第二光束中照射至第二通道的可见光束进行光电转换,所得到的电信号为第二电信号。
在得到第一电信号及第二电信号之后,图像传感器102进一步根据第一电信号及第二电信号生成目标对象的初始图像。需要说明的是,该初始图像所包含的像素数量与图像传感器102所包括的像素数量一致,该初始图像上的每个像素的信息均是由图像传感器102上的一个像素对光束进行光电转换得到的。也就是说,图像传感器102上的像素与初始图像上的像素一一对应。由于图像传感器102上的彩色像素与X像素往往是穿插排列的,因而初始图像中的彩色像素与X像素也是穿插排列的。
对于所得到的初始图像,图像传感器102还需要基于初始图像向图像处理器103发送彩色图像以及灰度图像,以便于后续图像处理器103进行融合处理。其中,彩色图像是由初始图像中的X像素以外的其他彩色像素构成的图像,彩色图像用于在后续融合处理中提供色彩信息。而灰度图像则是由初始图像中的X像素构成的图像,灰度图像用于在后续融合处理中提供亮度信息。当然,本实施例中能够提供亮度信息的图像并不局限于灰度图像。示例性地,彩色图像也能够在后续融合处理中提供一定的亮度信息。
需要说明的是,基于初始图像获取彩色图像及灰度图像的过程,可以在图像传感器102本地执行,或者,图像传感器102也可以将生成的初始图像发送至数字信号处理器(digital signal process,DSP),由该DSP执行获取彩色图像及灰度图像的过程。无论该获取过程是由图像传感器102执行还是由DSP元件执行,在基于初始图像获取彩色图像时,可以将初始图像中的X像素移除而彩色像素在初始图像中的位置保持不变,在基于初始图像获取灰色图像时,可以将初始图像中的彩色像素移除而X像素在初始图像中的位置保持不变。
需要说明的是,彩色图像及灰度图像的分辨率均与初始图像相同。例如,初始图像的分辨率为10×10,即初始图像为每行10个像素、每列10个像素共100个像素构成的图像,则彩色图像及灰度图像的分辨率也是10×10。只不过,在彩色图像中仅包括彩色像素,由于X像素被移除,因而X像素原本所在的位置是不包含任何像素的空白位置。在灰度图像中也仅包括X像素,彩色像素原本所在的位置是不包含任何像素的空白位置。
另外,图像传感器102与图像处理器103之间进行电连接。因此,在图像传感器102得到初始图像之后,可以基于初始图像向图像处理器103发送获取的彩色图像及灰度图像。如果该彩色图像及灰度图像由图像传感器102对初始图像进行拆分得到,则由图像传感器102直接将该彩色图像及灰度图像发送给图像处理器103。如果图像传感器102生成初始图像后,将该初始图像发送给DSP,由DSP对初始图像进行拆分得到彩色图像及灰度图像,则通过该DSP向图像处理器103发送该彩色图像及灰度图像。
相应地,图像处理器103用于接收彩色图像及灰度图像,对彩色图像及灰度图像进行融合处理,得到融合图像。由于灰度图像能够提供亮度信息,因而图像处理器103可以更好的获取到彩色图像所提供的色彩信息,从而使得获取到的色彩信息较为丰富。因此,在图像处理器元件基于灰度图像及彩色图像进行融合处理时,所得到的融合图像信噪比较高、图像质量较好。
示例性地,图像处理器103可以是包括图像信号处理器(image signalprocessing,ISP)及融合处理器在内的多个处理器的集合,也可以是兼有ISP功能和图像融合功能的单个处理器,从而实现对彩色图像及灰度图像的融合处理。示例性地,ISP用于对彩色图像及灰度图像进行插值处理,得到插值处理后的彩色图像及灰度图像。之后,融合处理器用于对插值处理后的彩色图像及灰度图像进行融合处理。接下来,以彩色图像所使用的色彩模式为RGB模式,即彩色图像中包括红、绿及蓝像素为例,对插值处理及融合处理过程的两种情况分别进行说明:
第一种情况:在进行插值处理时,ISP首先对彩色图像及灰度图像中的任一个像素的颜色进行调整,得到插值处理后的彩色图像及灰度图像。接着,再对插值处理后的彩色图像及灰度图像中的空白位置进行补全,得到补全的彩色图像及灰度图像。之后,融合处理器对补全的彩色图像及灰度图像进行融合,从而得到融合图像。
其中,对于任一个像素,ISP可以根据该任一个像素周围的其他像素的颜色对该任一像素的颜色进行调整。以彩色图像中的一个红色像素为例,该红色像素周围具有其他的蓝色像素及绿色像素。在进行插值处理之前,该红色像素仅包括红色信息,而ISP在进行插值处理时,会基于该红色像素周围的蓝色像素及绿色像素进行计算,得到该红色像素对应的蓝色信息及绿色信息中的至少一种。之后,将计算得到的蓝色信息及绿色信息中的至少一种叠加至该红色像素中。因此,该红色像素不仅包括红色信息,还融合了蓝色信息及绿色信息,从而使得该红色像素对应的色彩信息更为丰富。
另外,对于灰度图像中的任一个X像素,也会根据该任一个X像素周围的其他X像素的灰度值对该任一个X像素的灰度值进行调整,以使得相邻X像素对应的灰度值相互接近,从而保证了相邻X像素提供的亮度信息较为一致,进而保证了后续生成的融合图像具有均匀的亮度。
经过上述颜色调整过程可以得到插值处理后的彩色图像及灰度图像,插值处理后的彩色图像及灰度图像中,包括经过颜色调整之后的像素及空白位置。因此,ISP会进一步对各个空白位置进行补全。示例性地,对于彩色图像及灰度图像中的任一空白位置,ISP根据该空白位置周围各个像素的颜色确定该空白位置对应的颜色,从而实现空白位置的补全。可见,补全后的彩色图像及灰度图像中不再包含空白位置。在彩色图像中,由于该空白位置周围的任一彩色像素均包括两种以上的颜色,因而该空白位置对应的颜色也为两种以上的颜色,从而使得空白位置具有较为丰富的色彩信息。
需要说明的是,在上述插值处理过程中,是先对彩色图像及灰度图像中的像素颜色进行了颜色调整,再根据调整颜色后的像素补全了空白位置。示例性地,本实施例还可以按照对像素进行颜色调整的方式直接补全空白位置。也就是说,ISP对于彩色图像及灰度图像中的任一个空白位置,直接根据该任一个空白位置周围未调整过颜色的像素来确定该任一个空白位置的颜色,从而实现空白位置的补全。
如前所述,由于彩色图像及灰度图像的分辨率相同,因而补全后的彩色图像及灰度图像的分辨率也相同,即补全后的彩色图像及灰度图像中的像素一一对应。因此,融合处理器可以对相对应的像素进行融合处理,从而得到融合图像。可以理解的是,对于融合图像中的任一个像素,该像素既能够提供色彩信息,又能够提供亮度信息。
第二种情况:ISP对彩色图像及灰度图像中的任一个像素的颜色进行调整,得到插值处理后的彩色图像及灰度图像。之后,融合处理器首先对插值处理后的彩色图像及灰度图像中的空白位置进行补全,得到补全的彩色图像及灰度图像,融合处理器再对补全的彩色图像及灰度图像进行融合,从而得到融合图像。
在插值处理过程中,对于彩色图像及灰度图像中的任一个像素,ISP根据该任一个像素周围的其他像素的颜色对该任一个像素的颜色进行调整,颜色调整过程与第一种情况中的颜色调整过程相同。需要说明的是,上述插值处理仅针对彩色图像及灰度图像中的不处于空白位置的像素。对于彩色图像及灰度图像中的空白位置,ISP元件不会根据空白位置周围的其他像素将任一对空白位置的颜色进行任何调整。换言之,在经过插值处理之后,所得到的插值处理后的彩色图像及灰度图像中的空白位置仍保持为空白状态。
ISP进行插值处理之后,将插值处理之后的彩色图像及灰度图像发送给融合处理器,以便于融合处理器进行融合处理。其中,融合处理器首先对插值处理之后的彩色图像及灰度图像中的空白位置进行补全,得到补全后的彩色图像及灰度图像,再对补全后的彩色图像及灰度图像进行融合。补全及融合过程均可以参见上述第一种情况中的说明,此处不再加以赘述。
本申请实施例提供的摄像机通过单个图像传感器即可做红外光束与可见光束的分别成像,并且不需要借助分光棱镜。该摄像机结构简单、便于加工,有利于提高良品率、降低生产成本。另外,图像传感器所包括的第一通道及第二通道被独立的控制,分别有各自对应的亮度调节参数,因而第一通道可以根据第一通道对应的亮度调节参数对照射至第一通道的红外光束进行光电转换,得到第一电信号。相应地,第二通道也可以根据第二通道对应的亮度调节参数对照射至第二通道的可见光束进行光电转换,得到第二电信号。之后,可以根据第一电信号及第二电信号生成目标对象的初始图像,从而基于初始图像向图像处理器发送彩色图像及灰度图像,保证了基于可见光束生成的彩色图像与基于红外光束生成的灰度图像是像素级对齐的,这可以避免图像处理器对灰度图像与彩色图像进行融合之后,所生成的融合图像中出现“重影”的情况,且避免了因不同通道采用统一亮度调节参数而导致相互影响的情况,从而可在低照环境下获取到质量较高的图像。
在示例性实施例中,参见图8,该装置还可以包括编码元件104,编码元件104与图像处理器103电连接。在图像处理器103通过融合处理过程得到目标对象的融合图像之后,编码元件104可以对目标对象的融合图像进行编码,也可以继续等待后续一帧或多帧融合图像与目标对象的融合图像形成视频流,再对视频流进行编码。其中,编码的作用在于:对图像或视频流进行压缩,减少图像或视频流所占用的字节数,便于对图像或视频流进行存储及传输。
在示例性实施例中,光学模组101包括带通滤光片,该带通滤光片用于从第一光束中过滤得到红外光束及可见光束,作为第二光束。其中,带通滤光片是仅允许第一参考波段的光束通过的滤光片。通过将该第一参考波段设置为红外光束波段及可见光束波段,则该带通滤光片为双通滤光片。该带通滤光片能够从第一光束中过滤得到红外光束及可见光束,从而将红外光束及可见光束作为第二光束。因此,避免了第一光束中所包含的其他波段的光束,如紫外光束,对后续融合处理所造成的影响,保证了获取到的图像的质量。示例性地,带通滤光片从第一光束中过滤得到的红外光束可以全红外波段的红外光束,也可以是固定波段的红外光束,例如约850nm波段的红外光束。例如,带通滤光片的响应曲线可参见图9,图9中的横坐标为光束波长,纵坐标为光束通过率。由图9可知,带通滤光片允许波长在400-600nm之间的可见光束以及波段位于850nm附近的红外光束通过。
在示例性实施例中,参见图10,红外光束包括波段位于850nm附近的第一红外光束及波段位于850nm附近的第二红外光束。也就是说,带通滤光片允许可见光束及两种不同波段的红外光束通过,该带通滤光片为三通滤光片。需要说明的是,对于某些材质的目标对象,该目标对象的材质对第一红外光束及可见光束的反射率不同,从而导致第一红外光束下该目标对象的成像效果与可见光束下该目标对象的成像效果存在差异。而由于第二红外光束的波段位于第一红外光束的波段与可见光束的波段之间,因而相比于第一红外光束,第二红外光束的波段与可见光束的波段更为接近。因此,在第二红外光束下对目标对象进行成像可以消除上述第一红外光束与可见光束存在的成像差异,从而提升了后续获取到的图像的图像质量。
需要说明的是,图10所示的第一红外光束和第二红外光束仅是举例,除了第一红外光束的波段位于850nm附近、第二红外光束的波段位于750nm附近之外,第一红外光束及第二红外光束还可以是近红外波段的任意波段,本申请实施例不对第一红外光束及第二红外光束的波段进行限定。
在示例性实施例中,图像传感器102,还用于根据第一通道对应的亮度调节参数对第二光束中照射至第一通道的可见光束进行光电转换,得到第二电信号。也就是说,第一通道不仅可以用于通过红外光束,也可以用于通过红外光束及可见光束。
在示例性实施例中,图像传感器102的表面具有带阻滤光膜,带阻滤光膜用于屏蔽第二光束中的红外光束,以使第二光束中的可见光束照射至第二通道,避免第二光束中的红外光束照射至第二通道。其中,带阻滤光膜是用于阻止第二参考波段的光束通过的滤光膜。通过将第二参考波段设置为红外光束波段,则该带阻滤光膜便可以屏蔽第二光束中的红外光束,带阻滤光膜也可以称为抑制红外光束(suppress infrared radiation,SIR)滤膜。例如,图11为带阻滤光膜的响应曲线。可以看出,该带阻滤光膜可屏蔽波段位于600-900nm的红外光束。通过该带阻滤光膜可以避免第二光束中的红外光束照射至第二通道,从而避免了第二通道中红外光束对可见光束所造成的影响,例如可见光束由于红外光束而导致的偏色问题。
在示例性实施例中,亮度调节参数包括曝光时长和增益中的至少一种。其中,曝光时长影响了通道中各个像素接收到的光子数量。在不过曝的前提下,曝光时长越长,则通道中各个像素接收到的光子数量越多,则后续得到的融合图像的信噪比越高、清晰度越高。
需要说明的是,第一通道对应的亮度调节参数的数值与第二通道对应的亮度调节参数的数值不同,可以是指:第一通道对应的亮度调节参数的类型与第二通道对应的亮度调节参数的类型不同。例如,第一通道对应的亮度调节参数是曝光时长,第二通道对应的亮度调节参数是增益。或者,第一通道对应的亮度调节参数是增益,第二通道对应的亮度调节参数是曝光时长。或者,第一通道对应的亮度调节参数是曝光时长或增益,第二通道对应的亮度调节参数是曝光时长及增益。再或者,第一通道对应的亮度调节参数是曝光时长及增益,第二通道对应的亮度调节参数是曝光时长或增益。
除了上述情况以外,第一通道对应的亮度调节参数的数值与第二通道对应的亮度调节参数的数值不同,还可以是指:第一通道对应的亮度调节参数的类型与第二通道对应的亮度调节参数的类型相同,但数值上存在差异。以第一通道对应的亮度调节参数及第二通道对应的亮度调节参数均为曝光时长为例,则第一通道对应的曝光时长可以为10毫秒,第二通道对应的曝光时长可以为10毫秒以外的其他时长,例如15毫秒。
以曝光时长为例,在低照场景(low light scene)下,摄像机接收到的可见光较少,而摄像机接收到的红外光相对充足。当选择彩色通道(第二通道)的曝光时间大于黑白通道(第一通道)的曝光时间,既可以使得彩色通道得到充分曝光,又不至于引起黑白通道的过曝。因此提高摄像机在低照环境下的成像效果。类似的,也可以设置彩色通道的增益大于黑白通道的增益。
另外,增益可以包括模拟增益及数字增益中的至少一种,模拟增益是指对模拟信号的放大,数字增益是指对数字信号的放大。需要说明的是,在对信号进行增益的过程中,信号中所包含的噪声也会被一并放大,从而对图像质量造成影响。因此,增益往往在信号较弱且曝光时长无法继续增大的情况下使用。
在示例性实施例中,图像处理器103还用于根据灰度图像的亮度信息调整第一通道对应的亮度调节参数,根据彩色图像的亮度信息调整第二通道对应的亮度调节参数。以调整第二通道对应的亮度调节参数为例,由于第二通道是用于通道可见光束的通道,因而根据第二通道转换得到的第二电信号所生成的图像为彩色图像。响应于彩色图像的亮度信息满足要求,则说明第二通道对应的亮度调节参数适用于当前环境亮度,因而第二通道可继续采用当前对应的亮度调节参数进行光电转换。而响应于彩色图像的亮度信息不满足要求,则需要对第二通道对应的亮度信息独立的进行定量调整,以保证第二通道根据调整后的亮度调节参数进行光电转换之后,所得到的新的第二电信号能够用于在当前环境亮度下生成亮度满足要求的彩色图像。
结合上文说明可知,响应于图像处理器103需要对曝光时长进行调整,则图像处理器103可以向图像传感器102中的时序控制电路发送信号,从而使得时序控制电路对水平寄存器及垂直寄存器开启水平开关及垂直开关的时机进行调整,从而改变所需调整的通道中各像素的曝光时长。示例性地,图像处理器103向图像传感器102中的时序控制电路发送的信号可以是水平寄存器对应的寄存器值以及垂直寄存器对应的寄存器值,水平寄存器及垂直寄存器分别根据各自对应的寄存器值对开启水平开关及垂直开关的实际进行调整。响应于图像处理103需要对模拟增益进行调整,则图像处理103可以向图像传感器102中的模拟信号处理元件发送信号,从而使得模拟信号处理元件调整对模拟信号的模拟增益倍数。响应于图像处理103需要对数字增益进行调整,则图像处理103可以向图像传感器102中的模数转换元件发送信号,从而使得模数转换元件调整对数字信号的数字增益倍数。
基于上述图1或图8所示的摄像机,本实施例提供了一种获取图像的方法。参见图12,该方法包括:
步骤1201,通过光学模组收集第一光束,基于第一光束获取第二光束,第二光束包括可见光束和红外光束。
其中,待拍摄得到图像的目标对象可以反射光束或者直接发射光束,如图1或图8所示,可通过光学模组101将该反射光束或直接发射的光束作为第一光束。之后,基于第一光束获取包括可见光束和红外光束的第二光束。响应于第一光束仅包括可见光束及红外光束,则可将第一光束直接作为第二光束。响应于第一光束除可见光束及红外光束以外,还包括可能影响到图像获取的其他光束,则需要从第一光束中过滤得到第二光束。也就是说,在示例性实施例中,基于第一光束获取第二光束,包括:从第一光束中过滤得到红外光束及可见光束,作为第二光束。示例性地,可以通过光学模组101中的带通滤光片来实现上述过滤过程。
在示例性实施例中,红外光束包括波段位于850nm附近的第一红外光束及波段位于750nm附近的第二红外光束。也就是说,可见光束、第二红外光束及第一红外光束所位于的波段依次增大。通过两种不同波段的红外光束对可见光束进行补光,补光效果较好,保证了后续获取到的图像的清晰度。
步骤1202,通过图像传感器根据图像传感器的第一通道对应的亮度调节参数对第二光束中照射至第一通道的红外光束进行光电转换,得到第一电信号。根据图像传感器的第二通道对应的亮度调节参数对第二光束中照射至第二通道的可见光束进行光电转换,得到第二电信号,第一通道对应的亮度调节参数的数值和第二通道对应的亮度调节参数的数值不同。
其中,第一通道及第二通道均是图像传感器所包括的能够被独立控制的通道,各个通道分别对应有各自的亮度调节参数,不同通道对应的亮度调节参数可以不同。并且,每个通道包括多个像素,不同通道的像素不同。当然,根据需要,本实施例中第一通道对应的亮度调节参数的数值和第二通道对应亮度调节参数的数值也可以是相同的数值,不仅仅局限于不同的数值。
在示例性实施例中,第一通道及第二通道对应的亮度调节参数包括曝光时长和增益中的至少一种。对于任一通道,曝光时长影响了通道中各像素接收到的光子数量。在没有发生过渡曝光的前提下,曝光时长越长,各像素接收到的光子数量越多,则后续获取到的图像的信噪比越高,图像就越清晰。增益包括模拟增益及数字增益,两种增益的本质均为对信号的放大。
需要说明的是,由于各个通道用于通过的光束类型不同,因而各个通道所适用的亮度调节参数也有所不同。以亮度调节参数为曝光时长为例,在光照度较低的低照环境下,用于通过红外光束的第一通道所使用的曝光时长较短,否则该第一通道便会产生过曝现象。但是,对于用于通过可见光束的第二通道,由于光照度较低,光线中包含的光子数量较少,因而适用较长的曝光时长。由此可见,若对第一通道及第二通道采用相同的亮度调节参数,则用于通过可见光束的第二通道需要迁就用于通过红外光束的第一通道,第一通道及第二通道均需要采用较短的曝光时长,才能避免用于通过红外光束的第一通道发生过曝,而较短的曝光时长便会导致用于通过可见光束的第二通道获取到的光子数量较少,后续获取的图像质量较差。
而在本实施例中,由于第一通道及第二通道可以被独立的控制,因而第一通道及第二通道均可以采用适用于该通道本身的亮度调节参数信息。仍以上述举例中的低照场景为例,则用于通过红外光束的第一通道对应的亮度调节参数可以是较短的曝光时间,以避免过曝,而用于通过可见光束的第二通道对应的亮度调节参数可以是较长的曝光时长,以保证能够获取到足够的光子数量。通过此种独立控制通道的方式,可以在低照场景下获取到亮度均匀、信噪比较高的高质量彩色图像。
除了用于通过红外光束的第一通道与用于通过可见光束的第二通道分别采用不同的亮度调节参数的情况外,均用于通过红外光束的不同第一通道也可以采用不同的亮度调节参数,均用于通过可见光束的不同第二通道也可以采用不同的亮度调节参数。例如,在用于通道红外光束的第一通道数量为两个以上的情况下,两个以上的第一通道可以分别采用不同的亮度调节参数,比如其中一个用于通过红外光束的第一通道使用较短的曝光时间,另一个用于通过红外光束的第一通道使用较长的曝光时间,两个第一通道还可以分别使用不同的增益。由此,可以使得近处较亮的目标对象与远处较暗的目标对象均能够获取足够的亮度,且两种目标对象的亮度能够保持一致,从而得到信噪比较高且亮度均匀的图像。
当然,本实施例所提供的方法也可以对各个通道采用相同的亮度调节参数。例如,在目标对象与装置的距离较远时,各个通道对应的亮度调节参数可以均为较长的曝光时长。相应地,在目标对象与装置的距离较近时,各个通道对应的亮度调节参数可以均为较短的曝光时长。
在示例性实施例中,基于第一光束获取第二光束之后,方法还包括:通过图像传感器根据第一通道对应的亮度调节参数对第二光束中照射至第一通道的可见光束进行光电转换,得到第二电信号。也就是说,第一通道可以仅用于对红外光束进行光电转换,也可以既用于对红外光束进行光电转换,又用于对可见光束进行光电转换。
在示例性实施例中,图像传感器的表面具有带阻滤光膜,根据图像传感器的第二通道对应的亮度调节参数对第二光束中照射第二通道的可见光束进行光电转换,得到第二电信号,包括:通过带阻滤光膜屏蔽第二光束中的红外光束,以使第二光束中的可见光束照射至第二通道,避免第二光束中的红外光束照射至第二通道。当第二光束传播至带阻滤光膜时,只有第二光束中的可见光束能够通过带阻滤光膜并照射至第二通道,而第二光束中的红外光束则被该带阻滤光膜屏蔽,无法照射至第二通道。由此,实现了第二通道根据对应的亮度调节参数仅对第二光束中照射至第二通道的可见光束进行光电转换,从而得到第二电信号。
步骤1203,根据第一电信号及第二电信号生成目标对象的初始图像,基于初始图像向图像处理器发送彩色图像及灰度图像。
其中,图像传感器根据第一电信号及第二电信号生成目标对象的初始图像。由于第一电信号是对红外光束进行光电转换得到的信号,而第二电信号是对可见光束进行光电转换得到的信号,因此,根据第一电信号及第二电信号生成的初始图像既包括红外光束提供的亮度信息,又包括可见光束提供的色彩信息。当然,可见光束所能提供的信息不仅仅局限于色彩信息,示例性地,可见光束也能够提供一定的亮度信息。
因此,基于初始图像可以进一步得到用于体现色彩信息的彩色图像,以及用于体现亮度信息的灰度图像。获取彩色图像及灰度图像的过程可以在图像传感器本地执行,也可以由图像传感器以外的DSP执行,本实施例不对执行主体加以限定。无论通过哪种执行主体得到彩色图像及灰度图像,均可进一步将得到的彩色图像及灰度图像发送给图像处理器,以便于图像处理器进行融合处理。
步骤1204,通过图像处理器接收彩色图像及灰度图像,对彩色图像及灰度图像进行融合处理,得到融合图像。
其中,图像处理器首先对彩色图像及灰度图像进行插值处理,得到插值处理后的彩色图像及灰度图像,再对插值处理后的彩色图像及灰度图像进行融合,从而得到目标对象的融合图像,该融合图像即为信噪比较高、亮度均匀的图像。在示例性实施例中,对彩色图像及灰度图像进行融合处理,得到融合图像之后,方法还包括:根据灰度图像的亮度信息调整第一通道对应的亮度调节参数,根据彩色图像的亮度信息调整第二通道对应的亮度调节参数。
图像处理器可以对灰度图像及彩色图像的亮度信息进行分析,从而根据分析结果对第一通道及第二通道的亮度调节参数进行调整。例如,在彩色图像的亮度信息所指示的亮度较低的情况下,图像处理器可以对第二通道对应的曝光时长进行增加,以期通过第二通道获取到更多的光子数量,从而使得亮度有所提高、图像的信噪比有所改善。再例如,在灰度图像发生过曝的情况下,图像处理器可以对第一通道对应的曝光时长进行缩短,以得到曝光量正常的灰度图像。
可以理解的是,图像处理器对于各通道对应的亮度调节参数所进行的调整过程可以在获取融合图像的过程中多次迭代进行,本实施例不对调整亮度调节参数的时机加以限定。示例性地,图像处理器可以每获取到参考数量帧图像,便基于参考数量帧图像中最后获取到的一帧图像进行分析,从而对各通道对应的亮度调节参数进行一次调整。或者,也可以每隔参考时长对最后获取到的一帧图像进行分析,从而对各通道对应的亮度调节参数进行一次调整。再或者,还可以在检测到图像的质量变化超出阈值时,确认周围环境的光照度发生了较大的变化,从而对各通道对应的亮度调节参数进行一次调整。
综上所述,本申请实施例提供的摄像机通过单个图像传感器即可做红外光束与可见光束的分别成像,并且不需要借助分光棱镜。另外,图像传感器所包括的第一通道及第二通道可被独立的控制,分别有各自对应的亮度调节参数,因而第一通道可以根据第一通道对应的亮度调节参数对照射至第一通道的红外光束进行光电转换,得到第一电信号。相应地,第二通道也可以根据第二通道对应的亮度调节参数及用于通过可见光束的第二通道可以分别根据各自对应的亮度调节参数对照射至第二通道的可见光束进行光电转换,得到第二电信号。之后,可以根据第一电信号及第二电信号生成目标对象的初始图像,从而基于初始图像向图像处理器发送彩色图像及灰度图像,保证了基于可见光束生成的彩色图像与基于红外光束生成的灰度图像是像素级对齐的,这可以避免图像处理器对灰度图像与彩色图像进行融合之后,所生成的融合图像中出现“重影”的情况,且避免了因不同通道采用统一亮度调节参数而导致相互影响的情况,从而可在低照环境下获取到质量较高的图像。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
以上所述仅为本申请的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (9)

1.一种摄像机,其特征在于,所述摄像机包括:光学模组、单个图像传感器及图像处理器,所述图像传感器与所述图像处理器电连接,所述图像传感器包括至少一个第一通道和至少一个第二通道,所述至少一个第一通道和所述至少一个第二通道中的每个通道包括多个像素,不同通道的像素不同,所述光学模组包括带通滤光片,所述带通滤光片为允许第一参考波段的光束通过的三通滤光片,所述第一参考波段为红外光束波段及可见光束波段,所述红外光束波段包括第一红外光束和第二红外光束,所述第一红外光束的波长和所述第二红外光束的波长不同,所述第二红外光束的波长位于所述第一红外光束的波长和所述可见光束的波长之间;
所述光学模组,用于收集第一光束;
所述带通滤光片,用于从所述第一光束中过滤得到所述第一红外光束、所述第二红外光束和所述可见光束,作为第二光束;
所述光学模组,还用于向所述图像传感器发送所述第二光束;
所述图像传感器,用于根据所述第一通道对应的亮度调节参数对所述第二光束中照射至所述第一通道的红外光束进行光电转换,得到第一电信号;根据所述第二通道对应的亮度调节参数对所述第二光束中照射至所述第二通道的可见光束进行光电转换,得到第二电信号,其中第一通道对应的亮度调节参数的数值和第二通道对应的亮度调节参数的数值不同;根据所述第一电信号和所述第二电信号生成目标对象的初始图像,基于所述初始图像向所述图像处理器发送彩色图像以及灰度图像;
所述图像处理器,用于接收所述彩色图像及灰度图像,对所述彩色图像及所述灰度图像进行融合处理,得到融合图像。
2.根据权利要求1所述的摄像机,其特征在于,所述第一红外光束包括波段位于850纳米附近的红外光束,所述第二红外光束包括波段位于750纳米附近的红外光束。
3.根据权利要求1所述的摄像机,其特征在于,所述图像传感器的表面具有带阻滤光膜,所述带阻滤光膜用于屏蔽所述第二光束中的红外光束,以使所述第二光束中的可见光束照射至所述第二通道。
4.根据权利要求1-3任一所述的摄像机,其特征在于,所述图像处理器,还用于根据所述灰度图像的亮度信息调整所述第一通道对应的亮度调节参数,根据所述彩色图像的亮度信息调整所述第二通道对应的亮度调节参数。
5.根据权利要求1-3任一所述的摄像机,其特征在于,所述亮度调节参数包括曝光时长和增益中的至少一种。
6.一种获取图像的方法,其特征在于,所述方法包括:
通过光学模组收集第一光束,所述光学模组包括带通滤光片,通过所述带通滤光片从所述第一光束中过滤得到第一红外光束、第二红外光束和可见光束,作为第二光束,通过所述光学模组向图像传感器发送所述第二光束,所述带通滤光片为允许第一参考波段的光束通过的三通滤光片,所述第一参考波段为红外光束波段及可见光束波段,所述红外光束波段包括所述第一红外光束和所述第二红外光束,所述第一红外光束的波长和所述第二红外光束的波长不同,所述第二红外光束的波长位于所述第一红外光束的波长和所述可见光束的波长之间;
通过图像传感器根据所述图像传感器的第一通道对应的亮度调节参数对所述第二光束中照射至所述第一通道的红外光束进行光电转换,得到第一电信号;根据所述图像传感器的第二通道对应的亮度调节参数对所述第二光束中照射至所述第二通道的可见光束进行光电转换,得到第二电信号,其中第一通道对应的亮度调节参数的数值和第二通道对应的亮度调节参数的数值不同;根据所述第一电信号和所述第二电信号生成目标对象的初始图像,基于所述初始图像向图像处理器发送彩色图像及灰度图像,其中,每个通道包括多个像素,不同通道的像素不同;
通过所述图像处理器接收所述彩色图像及灰度图像,对所述彩色图像及所述灰度图像进行融合处理,得到融合图像。
7.根据权利要求6所述的方法,其特征在于,所述图像传感器的表面具有带阻滤光膜,通过所述带阻滤光膜屏蔽所述第二光束中的红外光束,以使所述第二光束中的可见光束照射至所述第二通道。
8.根据权利要求6或7所述的方法,其特征在于,所述对所述彩色图像及所述灰度图像进行融合处理,得到融合图像之后,所述方法还包括:
根据所述灰度图像的亮度信息调整所述第一通道对应的亮度调节参数,根据所述彩色图像的亮度信息调整所述第二通道对应的亮度调节参数。
9.根据权利要求6或7所述的方法,其特征在于,所述亮度调节参数包括曝光时长和增益中的至少一种。
CN202080001758.0A 2020-04-29 2020-04-29 摄像机及获取图像的方法 Active CN113940052B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/087878 WO2021217521A1 (zh) 2020-04-29 2020-04-29 摄像机及获取图像的方法

Publications (2)

Publication Number Publication Date
CN113940052A CN113940052A (zh) 2022-01-14
CN113940052B true CN113940052B (zh) 2023-01-20

Family

ID=78331588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080001758.0A Active CN113940052B (zh) 2020-04-29 2020-04-29 摄像机及获取图像的方法

Country Status (4)

Country Link
US (1) US20230049248A1 (zh)
EP (1) EP4131916A4 (zh)
CN (1) CN113940052B (zh)
WO (1) WO2021217521A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117201693B (zh) * 2023-11-01 2024-01-16 长春汽车工业高等专科学校 一种物联网图像压缩方法、装置、终端设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951646A (zh) * 2017-12-20 2019-06-28 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013183886A1 (en) * 2012-06-07 2013-12-12 Samsung Techwin Co., Ltd Camera system with multi-spectral filter array and image processing method thereof
KR101858646B1 (ko) * 2012-12-14 2018-05-17 한화에어로스페이스 주식회사 영상 융합 장치 및 방법
JP6264233B2 (ja) * 2014-09-02 2018-01-24 株式会社Jvcケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
CN111988587B (zh) * 2017-02-10 2023-02-07 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN108419061B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
CN109688317A (zh) * 2017-10-18 2019-04-26 杭州海康威视数字技术股份有限公司 一种摄像机以及图像生成方法
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
JP7171254B2 (ja) * 2018-06-13 2022-11-15 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
CN110798623A (zh) * 2019-10-15 2020-02-14 华为技术有限公司 单目摄像机、图像处理系统以及图像处理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951646A (zh) * 2017-12-20 2019-06-28 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP4131916A4 (en) 2023-05-17
CN113940052A (zh) 2022-01-14
WO2021217521A1 (zh) 2021-11-04
US20230049248A1 (en) 2023-02-16
EP4131916A1 (en) 2023-02-08

Similar Documents

Publication Publication Date Title
US10630906B2 (en) Imaging control method, electronic device and computer readable storage medium
US10582175B2 (en) Imaging sensor and imaging device
EP2721828B1 (en) High resolution multispectral image capture
US20190066271A1 (en) Image device, image processing device, and electronic apparatus
WO2020119504A1 (zh) 一种图像处理方法和系统
US9813687B1 (en) Image-capturing device, image-processing device, image-processing method, and image-processing program
CN110493496B (zh) 图像采集装置及方法
US20200120314A1 (en) Imaging apparatus, imaging method, and computer readable recording medium
JP2014150470A (ja) 撮像装置
CN115314617A (zh) 图像处理系统及方法、计算机可读介质和电子设备
CN113940052B (zh) 摄像机及获取图像的方法
JP6303689B2 (ja) 電子機器
KR20100119712A (ko) 광 검출 소자 및 촬상 장치
JP2010193378A (ja) 調整装置及び調整方法、並びに撮像装置
US10097769B2 (en) Modulating light incident on imaging sensor
CN114513611B (zh) 用于图像的增加的动态范围的方法和电子设备
US10937230B2 (en) Image processing
KR20090081273A (ko) 적응적 노이즈 제거 장치 및 상기 장치를 이용한 이미지센서
JP7147841B2 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
CN110602420B (zh) 相机、黑电平调整方法及装置
JP2018137762A (ja) 電子機器
CN116208847A (zh) 利用成分数值检测的模型应用系统
JP7028279B2 (ja) 電子機器
US20240014233A1 (en) Image sensor, image data obtaining method, and imaging device
US20220408021A1 (en) Information processing device and method, imaging apparatus and method, program, and interchangeable lens

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant