CN112188175B - 拍摄设备及图像处理方法 - Google Patents

拍摄设备及图像处理方法 Download PDF

Info

Publication number
CN112188175B
CN112188175B CN202010865841.4A CN202010865841A CN112188175B CN 112188175 B CN112188175 B CN 112188175B CN 202010865841 A CN202010865841 A CN 202010865841A CN 112188175 B CN112188175 B CN 112188175B
Authority
CN
China
Prior art keywords
working
image
target object
light
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010865841.4A
Other languages
English (en)
Other versions
CN112188175A (zh
Inventor
郑小兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202010865841.4A priority Critical patent/CN112188175B/zh
Publication of CN112188175A publication Critical patent/CN112188175A/zh
Application granted granted Critical
Publication of CN112188175B publication Critical patent/CN112188175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种拍摄装置及图像处理方法,包括:图像传感器、红外补光阵列;图像传感器的每个像素点上设置有滤光片,相邻像素点设置的滤光片的透光波段不同,且透光波段至少有两种;补光阵列包括:多个补光单元,补光单元的工作波段至少有两种,且工作波段与透光波段一一对应,不同工作波段的补光单元具有各自的工作功率。本发明中,补光单元的工作波段和工作功率有多种,这就使得图像传感器可以同时生成针对不同工作波段的红外光线的图像,所有图像融合输出后的画面中,不同距离的目标成像都清晰。提高了拍摄场景的纵深方向上各个目标对象的成像效果。

Description

拍摄设备及图像处理方法
技术领域
本发明属于图像处理技术领域,特别是涉及一种拍摄设备及图像处理方法。
背景技术
红外相机能够很好的适应安防场景下的拍摄需求,红外成像的质量决定着红外相机的竞争力,为了红外相机的使红外成像质量更好,通常会引入红外补光策略。
在目前,常见的补光策略包括:可以基于图像的亮度(曝光程度),调整红外补光灯的强度,从而提升红外成像的质量;或者是基于图像的质量(模糊程度等),调整红外补光灯的强度,从而提升红外成像的质量;或者基于图像的分区域亮度,调整不同位置红外补光灯的强度,从而提升红外成像的质量;或者基于算法检测到的物体大小(比如人脸框),调整红外补光灯强度,从而提升红外成像的质量。
但是,目前的补光策略仅是对红外补光灯的强度进行调整,这种单一的调整过程无法适用复杂多变且纵深变化较大的实际场景,如,将红外补光灯的强度调高后,虽然远处的物体成像更清晰,但会导致近处的物体过度曝光,成像较差,反之,将红外补光灯的强度调弱后,虽然近处的物体成像变清晰,但会导致远处的物体过度曝光,成像较差。
发明内容
本发明提供一种图像处理方法及装置,以便解决现有技术中单一对红外补光灯的强度进行调整,无法适用复杂多变且纵深变化较大的实际场景的问题。
为了解决上述技术问题,本发明是这样实现的:
第一方面,本发明实施例提供了一种拍摄设备,所述拍摄设备包括:
图像传感器、红外补光阵列;
所述图像传感器的每个像素点上设置有滤光片,相邻像素点设置的滤光片的透光波段不同,且所述透光波段至少有两种;
所述补光阵列包括:多个补光单元,所述补光单元的工作波段至少有两种,且所述工作波段与所述透光波段一一对应,不同工作波段的补光单元具有各自的工作功率。
第二方面,本发明实施例提供了一种图像处理方法,应用于所述的拍摄设备中的图像处理器,所述方法包括:
在至少两种工作波段的补光单元同时工作的情况下,获取所述图像传感器针对至少两种工作波段采集的至少两张初始图像;
对所述至少两张初始图像进行融合处理,得到目标图像。
本发明实施例的第三方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现上述所述的图像处理方法的步骤。
本发明实施例的第四方面,提供了一种装置,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述所述的图像处理方法的步骤。
在本发明实施例中,本发明包括:图像传感器、红外补光阵列;图像传感器的每个像素点上设置有滤光片,相邻像素点设置的滤光片的透光波段不同,且透光波段至少有两种;补光阵列包括:多个补光单元,补光单元的工作波段至少有两种,且工作波段与透光波段一一对应,不同工作波段的补光单元具有各自的工作功率。本发明利用滤光片对图像传感器的像素点所接收光线的滤光效果,可以在接收到补光单元发出并反射回的指定工作波段的红外光线后,将基于各指定波段的红外光线成像的各图像融合输出,由于补光单元的工作波段有多种,各波段工作功率相互独立,且不同工作波段的红外光线的功率频率被设置为对不同距离的目标成像清晰,这就使得图像传感器可以同时生成针对不同工作波段的红外光线的图像,对针对不同工作波段的红外光线的图像进行融合后,所得图像画面中不同距离的目标成像都清晰。由此提高了拍摄场景的纵深方向上各个目标的成像效果。
附图说明
图1是本发明实施例提供的一种拍摄设备的结构示意图;
图2是本发明实施例提供的一种图像传感器和红外补光阵列的结构示意图;
图3是本发明实施例提供的一种图像融合示意图;
图4是本发明实施例提供的一种图像处理方法的步骤流程图;
图5是本发明实施例提供的一种装置的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例提供的一种拍摄设备的结构示意图,如图1所示,该拍摄设备10可以包括:图像传感器11、红外补光阵列12;另外,拍摄设备10还具有镜头13和图像处理器14;进一步的,参照图2,其示出了本发明实施例提供的一种图像传感器和红外补光阵列的结构示意图,图像传感器11的每个像素点111上设置有滤光片112,相邻像素点111设置的滤光片112的透光波段不同,且透光波段至少有两种;红外补光阵列12包括:多个补光单元121,补光单元121的工作波段至少有两种,且工作波段与透光波段一一对应,不同工作波段的补光单元121具有各自的工作功率。
参照图1,拍摄设备10可以为红外拍摄设备,其用来取景、存储和记录通过红外光源发出的光线,生成红外成像的图像。拍摄设备10的工作流程包括:开启面向目标对象20的红外补光阵列12,红外补光阵列12在工作波段下发出红外光线,红外光线射向目标对象20后反射至图像处理器14,使得图像处理器14生成一帧红外成像的图像。
具体的,参照图2,图像传感器11的每个方格可以表示一个像素点111(也称为像元),像素点111用于接收反射的红外光线并成像,红外补光阵列12也可以由多个红外单元组成,红外单元用于在工作频率下,发出预设波段的红外光线,实现对目标对象20的补光。
在实际的应用场景中,拍摄设备的拍摄场景较为复杂多变,且拍摄场景的纵深变化也较大,在拍摄场景的纵深方向上也会存在多个目标对象,有的目标对象离拍摄设备较近,有的拍摄设备离拍摄设备较远,单纯采用现有技术中对红外补光灯的强度调整方案,无法同时兼顾拍摄场景的纵深方向上较远和较近的目标对象的清晰成像,例如,将红外补光灯的强度调高后,虽然远处的物体成像更清晰,但会导致近处的物体过度曝光,成像较差,反之同理。
针对这种痛点,本发明实施例发现,红外补光阵列的补光单元在工作于较低工作功率下并通过对应工作波段的红外光线成像时,会对较近的目标对象成像更为清晰;补光单元在工作于较高工作功率下并通过对应工作波段的红外光线成像时,会对较远的目标对象成像更为清晰。针对这种发现,本发明实施例可以将红外补光阵列中的补光单元的工作波段设置为至少两种,并为图像传感器的每个像素点设置滤光片,且相邻像素点设置的滤光片的透光波段不同,补光单元的工作波段与滤光片的透光波段一一对应,进一步的,不同工作波段的补光单元具有各自的工作功率,其中,不同工作波段的补光单元的工作功率可以不同,另外,不同工作波段的补光单元的工作功率也可以相同,从而通过如调整滤光片的透光量等手段,改变每个图像传感器的像素点的进光量。
这种方案使得图像传感器的像素点可以通过滤光片的滤光效果,接收到补光单元发出并反射的指定工作波段的红外光线并成像,针对同一工作功率补光单元发出的补光,近距离目标对象接收到的补光量会较多,远距离目标对象接收到的补光量会较少。而由于补光单元的工作波段和工作功率有多种且有大有小,这就使得图像传感器可以针对某一工作波段和工作功率的红外光线单独生成一张图像,针对另一工作波段和工作功率的红外光线单独生成一张图像,较小工作功率对应的图像中的近距离目标对象会成像清晰,这是由于近距离目标对象接收到较小工作功率补光单元发出的合适的补光,使得近距离目标对象的成像清楚,而较大工作功率对应的图像中的远距离目标对象会成像清晰,这是由于远距离目标对象接收到较大工作功率补光单元发出的合适的补光,使得远距离目标对象的成像清楚,通过将这两张图像进行图像融合,可以得到远近目标对象成像都清晰的目标图像。
例如,参照图1和图2,假设拍摄场景中,目标对象20包括较近距离的房屋21和较远距离的树木22,图像传感器11中的滤光片112的透光波段具有A波段和B波段两种,A波段为850nm,B波段为940nm,红外补光阵列12中具有20个补光单元121,其中有10个补光单元121的工作波段为850nm,工作功率为2W,另10个补光单元121的工作波段为940nm,工作功率为4W。需要说明的是,不同工作波段的补光单元121可以相互交叉设置,也可以分区域设置。
进一步参照图3,其示出了本发明实施例提供的一种图像融合示意图,则在红外补光阵列12中的补光单元121同时工作的情况下,拍摄设备10在按下快门后,图像传感器11中的像素点111会接收到两种不同波段的红外光线,经过滤光片112过滤后,会生成两帧初始图像,这两帧初始图像可以是由同一图像传感器生成的,包括:对应A波段850nm和2W功率的第一初始图像31,以及对应B波段940nm和4W功率的第二初始图像32,其中,第一初始图像31中的较近距离的房屋21由于具有较为合适的曝光量,成像清晰,而较远距离的树木22具有较小的曝光量,成像模糊;第二初始图像32中的较近距离的房屋21由于具有过量的曝光量,成像模糊,而较远距离的树木22具有较合适的曝光量,成像清晰。在将第一初始图像31和第二初始图像32按照多帧图像融合技术进行融合后,会使得两张初始图像中的房屋21和树木22实现互补,最终得到房屋21和树木22都清晰的目标图像33。
需要说明的是,在一种实现方式中,拍摄设备的曝光时间可以根据已设定好的补光单元的工作功率求得,如,在当前已设定好的补光单元的工作功率下,近距离的目标对象在曝光时间0.1-0.2s的时间范围内成像质量符合要求,远距离的目标对象在曝光时间0.05-0.15s的时间范围内成像质量符合要求,则可以从0.1-0.15的时间范围内选一个合适的曝光时间作为拍摄设备的曝光时间。
可选的,工作波段包括:用于对第一距离范围的目标进行补光的第一工作波段、用于对第二距离范围的目标进行补光的第二工作波段;透光波段包括:与第一工作波段匹配的第一透光波段、与第二工作波段匹配的第二透光波段。
可选的,第一工作波段的补光单元具有第一工作功率,第二工作波段的补光单元具有第二工作功率,第一工作功率和第二工作功率被设置为,在第一工作功率的第一工作波段的补光单元和第二工作功率的第二工作波段的补光单元的补光下,第一距离范围内的目标的图像质量和第二距离范围内的目标的图像质量均符合图像质量要求。
可选的,第一距离范围的最大值小于第二距离范围的最小值,第一工作功率小于第二工作功率。
在本发明实施例中,可以在拍摄场景的纵深线上,设定较近的第一距离范围和较远的第二距离范围,第一距离范围可以涵盖距离拍摄设备较近的目标对象,第二距离范围可以涵盖距离拍摄设备较远的目标对象;为滤光片的透光波段设定对应第一距离范围的第一透光波段,以及对应第二距离范围的第二透光波段,并为补光单元的工作波段设定与第一透光波段相同的第一工作波段,以及与第二透光波段相同的第二工作波段。如,第一工作波段为850nm,第一工作功率为2W,第二工作波段为940nm,第二工作功率为4W。
这样能够在一次拍摄下同时生成对应第一工作波段的初始图像和对应第二工作波段的初始图像,对应第一工作波段的初始图像中较近的目标对象成像清晰,对应第二工作波段的初始图像中较远的目标对象成像清晰,通过将两种初始图像融合,可以得到较近较远目标对象成像都清晰的目标图像。
可选的,所述透光波段包括:对应第三距离范围的第三透光波段、对应第四距离范围的第四透光波段、对应第五距离范围的第五透光波段;所述工作波段包括:与所述第三透光波段相同的第三工作波段、与所述第四透光波段相同的第四工作波段、与所述第五透光波段相同的第五工作波段;所述工作功率包括:对应第三距离范围的第三工作功率、对应第四距离范围的第四工作功率、对应第五距离范围的第五工作功率,所述第三距离范围的最大值小于所述第四距离范围的最小值,所述第四距离范围的最大值小于所述第五距离范围的最小值,所述第三工作功率小于所述第四工作功率,所述第四工作功率小于所述第五工作功率。
在本发明实施例中,由于拍摄场景的纵深距离通常较长,因此为了更好的优化分布于拍摄场景的纵深线上的所有目标对象的成像效果,本发明实施例还可以在对应较近第三距离范围的第三工作波段和对应较远第五距离范围的第五工作波段的基础上,再划分大于第三距离范围但小于第五距离范围的第四距离范围,并对应第四距离范围设定对应的第四透光波段和第四工作波段。
这样能够在一次拍摄下同时生成对应第三工作波段的初始图像、对应第四工作波段的初始图像和对应第五工作波段的初始图像,对应第三工作波段的初始图像中较近的目标对象成像清晰,对应第四工作波段的初始图像中距离不远也不近的目标对象成像清晰,对应第五工作波段的初始图像中较远的目标对象成像清晰,通过将3张初始图像融合,可以得到较近、较远、距离适中的所有目标对象成像都清晰的目标图像。
需要说明的是,根据实际需求,还可以进一步在拍摄场景的纵深线上划分更多数量的距离范围,并设定更多数量的工作波段和透光波段,以进一步优化拍摄场景的纵深范围内所有目标对象的成像效果,本发明实施例对此不作限定。
综上,本发明实施例提供的一种拍摄设备,包括:图像传感器、红外补光阵列;图像传感器的每个像素点上设置有滤光片,相邻像素点设置的滤光片的透光波段不同,且透光波段至少有两种;补光阵列包括:多个补光单元,补光单元的工作波段至少有两种,且工作波段与透光波段一一对应,不同工作波段的补光单元具有各自的工作功率。本发明利用滤光片对图像传感器的像素点所接收光线的滤光效果,可以在接收到补光单元发出并反射回的指定工作波段的红外光线后,将基于各指定波段的红外光线成像的各图像融合输出,由于补光单元的工作波段有多种,各波段工作功率相互独立,且不同工作波段的红外光线的功率频率被设置为对不同距离的目标成像清晰,这就使得图像传感器可以同时生成针对不同工作波段的红外光线的图像,对针对不同工作波段的红外光线的图像进行融合后,所得图像画面中不同距离的目标成像都清晰。由此提高了拍摄场景的纵深方向上各个目标的成像效果。
图4是本发明实施例提供的一种图像处理方法的步骤流程图,应用于上述拍摄设备,如图4所示,该方法可以包括:
步骤101、在至少两种工作波段的补光单元同时工作的情况下,获取所述图像传感器针对至少两种工作波段采集的至少两张初始图像。
在本发明实施例中,基于图1和图2示出的拍摄设备10以及拍摄设备10包括的图像传感器11和红外补光列阵12的结构设置,以及红外补光阵列的补光单元在工作于较低工作功率下并通过对应工作波段的红外光线成像时,会对较近的目标对象成像更为清晰;补光单元在工作于较高工作功率下并通过对应工作波段的红外光线成像时,会对较远的目标对象成像更为清晰的发现。本发明实施例可以将红外补光阵列中的补光单元的工作波段设置为至少两种,并为图像传感器的每个像素点设置滤光片,且相邻像素点设置的滤光片的透光波段不同,补光单元的工作波段与滤光片的透光波段一一对应,进一步的,不同工作波段的补光单元具有各自的工作功率。其中,不同工作波段的补光单元的工作功率可以不同,另外,不同工作波段的补光单元的工作功率也可以相同,从而通过如调整滤光片的透光量等手段,改变每个图像传感器的像素点的进光量。
这种方案使得图像传感器的像素点可以通过滤光片的滤光效果,接收到补光单元发出并反射的指定工作波段的红外光线并成像,而由于补光单元的工作波段和工作功率有多种且有大有小,这就使得图像传感器可以针对某一工作波段和工作功率的红外光线单独生成一张初始图像,针对另一工作波段和工作功率的红外光线单独生成一张初始图像,较小工作功率对应的初始图像中的近距离目标对象会成像清晰,而较大工作功率对应的初始图像中的远距离目标对象会成像清晰。
步骤102、对所述至少两张初始图像进行融合处理,得到目标图像。
在本发明实施例中,在得到至少两张初始图像后,由于有的初始图像中近距离目标对象会成像清晰,有的初始图像中远距离目标对象会成像清晰,因此,不同初始图像中的目标对象区域可以具有不同的融合权重,利用这种融合权重对至少两张初始图像进行融合处理,可以得到目标图像,目标图像中远近目标对象成像都清晰。
例如,参照图3,在图2示出的红外补光阵列12中的所有补光单元121同时工作的情况下,拍摄设备10在按下快门后,图像传感器11中的像素点111会接收到两种不同波段的红外光线,经过滤光片112过滤后,会生成两帧初始图像,包括:对应A波段850nm和2W功率的第一初始图像31,以及对应B波段850nm和4W功率的第二初始图像32,其中,第一初始图像31中的较近距离的房屋21由于具有较为合适的曝光量,成像清晰,为第一初始图像31中房屋21区域设定较大融合权重;而较远距离的树木22具有较小的曝光量,成像模糊,为第一初始图像31中树木22区域设定较小融合权重;第二初始图像32中的较近距离的房屋21由于具有过量的曝光量,成像模糊,为第二初始图像32中房屋21区域设定较小融合权重;而较远距离的树木22具有较合适的曝光量,成像清晰,为第二初始图像32中树木22区域设定较大融合权重。在根据每个区域的融合权重,将第一初始图像31和第二初始图像32按照多帧图像融合技术进行融合后,会使得两张初始图像中的房屋21和树木22实现互补,最终得到房屋21和树木22都清晰的目标图像33。
可选的,步骤102具体可以包括:
子步骤1021、确定所述初始图像中的至少一个目标对象区域。
在本发明实施例中,可以通过图像特征识别技术,识别出初始图像中的至少一个目标对象,以及目标对象所处区域,目标对象可以包括人物、物体等特征对象。例如,可以通过卷积神经网络模型,实现对初始图像中目标对象区域的确定。
子步骤1022、根据每个所述目标对象区域的成像效果,确定每个所述目标对象区域的融合权重值。
在对初始图像进行融合时,目标对象区域的成像效果会影响该目标对象区域的融合权重值,目标对象区域的成像效果越佳,该目标对象区域的融合权重值越大。
例如,图3中,第一初始图像31中的较近距离的房屋21由于具有较为合适的曝光量,成像清晰,为第一初始图像31中房屋21区域设定较大融合权重;而较远距离的树木22具有较小的曝光量,成像模糊,为第一初始图像31中树木22区域设定较小融合权重;第二初始图像32中的较近距离的房屋21由于具有过量的曝光量,成像模糊,为第二初始图像32中房屋21区域设定较小融合权重;而较远距离的树木22具有较合适的曝光量,成像清晰,为第二初始图像32中树木22区域设定较大融合权重。
可选的,在一种实现方式中,子步骤1022可以包括:
子步骤A1、提取每个所述目标对象区域的图像参数。
在一种实现方式中,本发明实施例可以通过提取目标对象区域的图像参数,来实现根据图像参数决定融合权重值的大小。图像参数可以包括影响目标对象区域成像效果的参数。
可选的,图像参数包括:平均亮度值、亮度值方差中的一种或多种。
在一种实现方式中,红外成像效果受到亮度参数的影响较大,因此,红外成像场景中,图像参数可以包括与成像亮度值有关的参数,如平均亮度值、亮度值方差等。当然,在其他场景中,图像参数还可以包括其他类型的参数,如灰度值,对比度等。
子步骤A2、计算每个所述目标对象区域的图像参数与预设图像参数之间的差值。
子步骤A3、在所述初始图像中,为具有较小差值的目标对象区域设置较大的融合权重值,并为具有较大差值的目标对象区域设置较小的融合权重值。
具体的,可以设定一个预设图像参数,该预设图像参数可以为清晰成像所对应的参数值,如,在图像参数为亮度值的情况下,则预设图像参数可以为一个既不过大也不过小的亮度值,使得该预设图像参数可以作为评价目标对象区域成像是否清晰的标准。
通过计算每个目标对象区域的图像参数与预设图像参数之间的差值,可以判断出目标对象区域的成像效果是否较佳,在该差值较小的情况下,说明目标对象区域的成像效果较好,在该差值较大的情况下,说明目标对象区域的成像效果较差。为有较小差值的目标对象区域设置较大的融合权重值,为具有较大差值的目标对象区域设置较小的融合权重值,可以使得后续进行初始图像融合时,通过融合权重值影响目标对象区域在最终目标图像中的效果强度,从而得到远近目标对象成像都清晰的目标图像。
可选的,在另一种实现方式中,子步骤1022可以包括:
子步骤B1、提取每个所述目标对象区域的图像特征。
在一种实现方式中,图像特征可以反映成像效果的优劣,因此,可以通过提取每个目标对象区域的图像特征,来以图像特征表达每个目标对象区域的成像效果的优劣。
图像特征主要包括图像的颜色特征、纹理特征、形状特征和空间关系特征。颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质;纹理特征也是一种全局特征,它也描述了图像或图像区域所对应景物的表面性质;形状特征有两类表示方法,一类是轮廓特征,另一类是区域特征,图像的轮廓特征主要针对物体的外边界,而图像的区域特征则关系到整个形状区域;空间关系特征,是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系。图像特征可以综合表达目标对象区域的展现形式,从而反映目标对象区域的展现效果。
子步骤B2、计算每个所述目标对象区域的图像特征与预设图像特征之间的相似度值。
子步骤B3、在所述初始图像中,为具有较大相似度值的目标对象区域设置较大的融合权重值,并为具有较小相似度值的目标对象区域设置较小的融合权重值。
具体的,在对固定目标对象拍摄的场景中,由于目标对象固定,可以设定每个目标对象的标准图像特征,该预设图像特征可以为目标对象在清晰成像下所对应的图像特征。通过计算每个目标对象区域的图像特征和与目标对象的预设图像特征之间的相似度值,可以判断出目标对象区域的成像效果是否较佳,在该相似度值较大的情况下,说明目标对象区域的成像效果较好,在该相似度值较小的情况下,说明目标对象区域的成像效果较差。为具有较大相似度值的目标对象区域设置较大的融合权重值,并为具有较小相似度值的目标对象区域设置较小的融合权重值,可以使得后续进行初始图像融合时,通过融合权重值影响目标对象区域在最终目标图像中的效果强度,从而得到远近目标对象成像都清晰的目标图像。
子步骤1023、根据每个目标对象区域的融合权重值,进行所述至少两张初始图像的融合处理,得到所述目标图像。
在得到至少两张初始图像,以及每个目标对象区域的融合权重值后,利用这种融合权重对至少两张初始图像进行融合处理,可以得到目标图像,使得目标图像中远近目标对象成像都清晰。
可选的,所述方法还可以包括:
步骤C1、根据所述拍摄设备采集到的外界光强度值,确定每个所述补光单元对应的目标功率。
步骤C2、通过调整每个所述补光单元的占空比,将每个所述补光单元的工作功率调整至对应的目标功率。
在一个具体实施例中,拍摄设备安装时即确定各补光单元的工作功率。例如,可根据各补光单元所对应的距离范围确定各补光单元的工作功率。
在另一个具体实施例中,每个补光单元的工作功率可以根据拍摄设备所处环境的情况进行调整,在一种实现方式中,每个补光单元的工作功率可以根据环境中的光亮程度进行调整,即根据拍摄设备采集到的外界光强度值和各补光单元所对应的距离范围,确定每个补光单元对应的理想的目标功率,之后可以通过调整每个补光单元的发光元件的输出占空比,将每个所述补光单元的工作功率调整至对应的目标功率。
比如,拍摄设备在室外时,室外环境具有940nm波段的光,早中晚不同时间段,室外的940nm光的光强不同,因此可以按照早、中、晚外界光强度值的变化,分别确定每个补光单元的理想的目标功率,并将每个补光单元的工作功率调整至对应的目标功率。
可选的,所述方法还可以包括:
步骤D1、设定每个所述补光单元的工作功率。
步骤D2、根据多个所述工作功率,确定所述拍摄设备的目标曝光时间,所述目标曝光时间同时适用于多个所述工作功率。
目标曝光时间同时适用于多个工作功率,是指第一工作功率的第一工作波段的补光单元和第二工作功率的第二工作波段的补光单元的补光下,在用目标曝光时间进行曝光时,第一距离范围内的目标的图像质量和第二距离范围内的目标的图像质量均符合图像质量要求。
在本发明实施例中,每个补光单元的工作功率,可以根据拍摄设备的设备参数进行预先设定,设定好之后,对拍摄设备进行预运行,确定拍摄设备的理想的目标曝光时间,并且该目标曝光时间同时适用于多个工作功率,即满足最终成像中不同距离的目标成像都清晰的需求。
例如,在当前已设定好补光单元的工作功率的情况下,近距离的目标对象在曝光时间0.1-0.2s的时间范围内成像质量符合要求,远距离的目标对象在曝光时间0.05-0.15s的时间范围内成像质量符合要求,则可以从0.1-0.15的时间范围内选一个合适的曝光时间作为拍摄设备的目标曝光时间。
可选的,所述方法还可以包括:
步骤E1、设定所述拍摄设备的预设曝光时间。
步骤E2、根据所述预设曝光时间,确定每个所述补光单元的工作功率,所述预设曝光时间同时适用于多个所述工作功率。
在本发明实施例中,拍摄设备的预设曝光时间,可以根据拍摄设备的设备参数进行预先设定,设定好之后,对拍摄设备进行预运行,确定每个补光单元的理想的工作功率,并且该预设曝光时间同时适用于多个工作功率,即满足最终成像中不同距离的目标成像都清晰的需求。
例如,在当前已设定好拍摄设备的预设曝光时间的情况下,近距离的目标对象在对应的补光单元的工作功率为1.5-2.5W的范围内成像质量符合要求,远距离的目标对象在对应的补光单元的工作功率为3-4.5W的范围内成像质量符合要求,则可以从每个补光单元对应的功率范围内选一个合适的工作功率作为该补光单元的工作功率。
综上,本发明实施例提供的一种图像处理方法,包括:在红外补光阵列中所有补光单元同时工作的情况下,获取所述图像传感器针对至少两种工作波段采集的至少两张初始图像;对所述至少两张初始图像进行融合处理,得到目标图像。本发明利用滤光片对图像传感器的像素点所接收光线的滤光效果,可以在接收到补光单元发出并反射回的指定工作波段的红外光线后,将基于各指定波段的红外光线成像的各图像融合输出,由于补光单元的工作波段有多种,各波段工作功率相互独立,且不同工作波段的红外光线的功率频率被设置为对不同距离的目标成像清晰,这就使得图像传感器可以同时生成针对不同工作波段的红外光线的图像,对针对不同工作波段的红外光线的图像进行融合后,所得图像画面中不同距离的目标成像都清晰。由此提高了拍摄场景的纵深方向上各个目标的成像效果。
另外,本发明实施例还提供一种装置,具体可以参照图5,该装置600包括处理器610,存储器620以及存储在存储器620上并可在处理器610上运行的计算机程序,该计算机程序被处理器610执行时实现上述实施例的图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述的图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,可以为只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
本发明实施例还提供了一种计算机程序,该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的图像处理方法的相应步骤,并且用于实现根据本发明实施例的图像处理装置中的相应模块。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种拍摄设备,其特征在于,所述拍摄设备包括:
图像传感器、红外补光阵列;
所述图像传感器的每个像素点上设置有滤光片,相邻像素点设置的滤光片的透光波段不同,且所述透光波段至少有两种;
所述补光阵列包括:多个补光单元,所述补光单元的工作波段至少有两种,且所述工作波段与所述透光波段一一对应,不同工作波段的补光单元具有各自的工作功率;
所述工作波段包括:用于对第一距离范围的目标进行补光的第一工作波段、用于对第二距离范围的目标进行补光的第二工作波段;
所述透光波段包括:与所述第一工作波段匹配的第一透光波段、与所述第二工作波段匹配的第二透光波段;
所述第一工作波段的补光单元具有第一工作功率,所述第二工作波段的补光单元具有第二工作功率,所述第一工作功率和所述第二工作功率被设置为,在所述第一工作功率的第一工作波段的补光单元和第二工作功率的第二工作波段的补光单元的补光下,所述第一距离范围内的目标的图像质量和所述第二距离范围内的目标的图像质量均符合图像质量要求,其中,所述第一距离范围的最大值小于所述第二距离范围的最小值,所述第一工作功率小于所述第二工作功率。
2.一种图像处理方法,应用于如权利要求1所述的拍摄设备中的图像处理器,其特征在于,所述方法包括:
在至少两种工作波段的补光单元同时工作的情况下,获取所述图像传感器针对至少两种工作波段采集的至少两张初始图像;
根据每个目标对象区域的成像效果,确定每个所述目标对象区域的融合权重值,根据每个所述目标对象区域的融合权重值,对所述至少两张初始图像进行融合处理,得到目标图像,其中,所述每个所述目标对象区域设定不同的融合权重。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
根据所述拍摄设备采集到的外界光强度值,确定每个所述补光单元对应的目标功率;
通过调整每个所述补光单元的占空比,将每个所述补光单元的工作功率调整至对应的目标功率。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
设定每个所述补光单元的工作功率;
根据多个所述工作功率,确定所述拍摄设备的目标曝光时间,所述目标曝光时间同时适用于多个所述工作功率。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
设定所述拍摄设备的预设曝光时间;
根据所述预设曝光时间,确定每个所述补光单元的工作功率,所述预设曝光时间同时适用于多个所述工作功率。
6.根据权利要求2所述的方法,其特征在于,所述对所述至少两张初始图像进行融合处理,得到目标图像,包括:
确定所述初始图像中的至少一个目标对象区域;
根据每个所述目标对象区域的成像效果,确定每个所述目标对象区域的融合权重值;
根据每个目标对象区域的融合权重值,进行所述至少两张初始图像的融合处理,得到所述目标图像。
7.根据权利要求6所述的方法,其特征在于,所述根据每个所述目标对象区域的成像效果,确定每个所述目标对象区域的融合权重值,包括:
提取每个所述目标对象区域的图像参数;
计算每个所述目标对象区域的图像参数与预设图像参数之间的差值;
在所述初始图像中,为具有较小差值的目标对象区域设置较大的融合权重值,并为具有较大差值的目标对象区域设置较小的融合权重值。
8.根据权利要求7所述的方法,其特征在于,所述图像参数包括:平均亮度值、亮度值方差中的一种或多种。
9.根据权利要求6所述的方法,其特征在于,所述根据每个所述目标对象区域的成像效果,确定每个所述目标对象区域的融合权重值,包括:
提取每个所述目标对象区域的图像特征;
计算每个所述目标对象区域的图像特征与预设图像特征之间的相似度值;
在所述初始图像中,为具有较大相似度值的目标对象区域设置较大的融合权重值,并为具有较小相似度值的目标对象区域设置较小的融合权重值。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求2至9中任一项所述的图像处理方法的步骤。
11.一种图像处理装置,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求2至9中任一项所述的图像处理方法的步骤。
CN202010865841.4A 2020-08-25 2020-08-25 拍摄设备及图像处理方法 Active CN112188175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010865841.4A CN112188175B (zh) 2020-08-25 2020-08-25 拍摄设备及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010865841.4A CN112188175B (zh) 2020-08-25 2020-08-25 拍摄设备及图像处理方法

Publications (2)

Publication Number Publication Date
CN112188175A CN112188175A (zh) 2021-01-05
CN112188175B true CN112188175B (zh) 2023-05-09

Family

ID=73925733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010865841.4A Active CN112188175B (zh) 2020-08-25 2020-08-25 拍摄设备及图像处理方法

Country Status (1)

Country Link
CN (1) CN112188175B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132639B (zh) * 2021-04-22 2023-02-03 亮风台(上海)信息科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN114125241A (zh) * 2021-11-30 2022-03-01 维沃移动通信有限公司 拍摄装置、补光方法、补光装置及电子设备
CN114302068B (zh) * 2022-01-06 2023-09-26 重庆紫光华山智安科技有限公司 图像拍摄方法及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9723230B2 (en) * 2012-11-30 2017-08-01 University Of Utah Research Foundation Multi-spectral imaging with diffractive optics
CN207166624U (zh) * 2017-06-14 2018-03-30 杭州海康威视数字技术股份有限公司 抓拍装置
CN207184646U (zh) * 2017-08-28 2018-04-03 中控智慧科技股份有限公司 一种基于近红外led补光灯的手掌识别装置
CN111028190A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN112188175A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112188175B (zh) 拍摄设备及图像处理方法
US11877086B2 (en) Method and system for generating at least one image of a real environment
CN103973989B (zh) 获取高动态图像的方法及系统
US8503771B2 (en) Method and apparatus for estimating light source
JP5108093B2 (ja) 撮像装置及び撮像方法
US10991084B2 (en) Method of reducing purple fringing in images
GB2464574A (en) Combining multiple images to enhance dynamic range
JP2010016743A (ja) 測距装置、測距方法、測距プログラム又は撮像装置
KR101816449B1 (ko) 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법
CN111507930B (zh) 图像融合方法、装置、存储介质和计算机设备
US20210314501A1 (en) Dual-spectrum image automatic exposure method and apparatus, and dual-spectrum image camera and machine storage medium
CN104092955A (zh) 闪光控制方法及控制装置、图像采集方法及采集设备
CN113965679B (zh) 深度图获取方法、结构光相机、电子设备及存储介质
US20190139198A1 (en) Image Optimization Method and Device, and Terminal
KR20210155743A (ko) 화이트 밸런스를 제어하는 하이 다이나믹 레인지 센서들의 이미지 처리 방법
JP5740147B2 (ja) 光源推定装置及び光源推定方法
CN107431754A (zh) 图像处理方法、图像处理装置和摄像设备
CN109729276B (zh) 近红外摄像方法、装置、设备及存储介质
CN111935415A (zh) 亮度调整方法、装置、存储介质及电子装置
EP4167134A1 (en) System and method for maximizing inference accuracy using recaptured datasets
JP2020067503A (ja) 撮像装置、監視システム、撮像装置の制御方法およびプログラム
CN109951649B (zh) 一种局部自适应成像系统以及局部自适应成像控制方法
CN115699073A (zh) 神经网络支持的相机图像或视频处理流水线
JP2012085093A (ja) 撮像装置および取得方法
WO2020084894A1 (ja) マルチカメラシステム、制御値算出方法及び制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant