CN111524088A - 用于图像采集的方法、装置、设备及计算机可读存储介质 - Google Patents
用于图像采集的方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111524088A CN111524088A CN202010370224.7A CN202010370224A CN111524088A CN 111524088 A CN111524088 A CN 111524088A CN 202010370224 A CN202010370224 A CN 202010370224A CN 111524088 A CN111524088 A CN 111524088A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- gray value
- determining
- infrared light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000007499 fusion processing Methods 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 17
- 230000009471 action Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 abstract description 17
- 230000000694 effects Effects 0.000 abstract description 11
- 210000001747 pupil Anatomy 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004883 computer application Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 239000002313 adhesive film Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请适用于汽车自动驾驶技术领域，提供了一种用于图像采集的方法、装置、设备及计算机可读存储介质，其中，该图像采集方法包括：交替开启和关闭红外光源；分别获取红外光源为开启状态时利用红外相机拍得的第一图像和红外光源为关闭状态时利用红外相机拍得的第二图像；对所述第一图像和第二图像进行融合处理得到第三图像；输出所述第三图像。本申请通过获取开启红外光源下拍得的第一图像和关闭红外光源下拍得的第二图像进行图像融合处理，使融合处理后的图像可以减少或消除车载红外镜头中的非主动光源影响，能够满足图像检测的要求，从而提升人脸、人眼或者瞳孔检测的效果。
Description
技术领域
本申请属于汽车自动驾驶技术领域，尤其涉及一种用于图像采集的方法、装置、设备及计算机可读存储介质。
背景技术
在车载主动红外光相机拍摄时，由于阳光或其他环境光（统称为非主动光源）影响，拍摄的图像往往会局部过亮或者非主动光源过多，以至于得不到所需的细节。尤其是在车载眼动系统或者驾驶员检测系统中，非主动光源会影响人脸、人眼或者瞳孔这些细节的检测效果。
发明内容
有鉴于此，本申请实施例提供了一种用于图像采集的方法、装置、设备及计算机可读存储介质，以解决如何减少或消除车载红外镜头中由于非主动光源的影响而导致采集到的图像可能不满足图像检测要求的问题。
本申请实施例的第一方面提供了一种图像采集方法，其包括以下步骤： 交替开启和关闭红外光源；分别获取红外光源为开启状态时利用红外相机拍得的第一图像和红外光源为关闭状态时利用红外相机拍得的第二图像；对所述第一图像和第二图像进行融合处理得到第三图像；输出所述第三图像。
本申请实施例的第二方面提供了一种图像采集装置，其包括：开关模块，被配置为交替开启和关闭红外光源；图像获取模块，被配置为分别获取红外光源为开启状态时利用红外相机拍得的第一图像和红外光源为关闭状态时利用红外相机拍得的第二图像；图像融合模块，被配置为对所述第一图像和第二图像进行融合处理得到第三图像；输出模块，被配置为输出所述第三图像。
本申请实施例的第三方面提供了一种图像采集设备，包括：至少一组红外相机；至少一组红外光源；处理器，分别连接于所述至少一组红外相机和红外光源；存储器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中所述图像采集方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中所述图像采集方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请通过获取开启红外光源下拍得的第一图像和关闭红外光源下拍得的第二图像进行图像融合处理，使融合处理后的图像可以减少或消除车载红外镜头中的非主动光源影响，能够满足图像检测的要求，从而提升人脸、人眼或者瞳孔检测的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是可以应用本申请的图像采集方法的一些实施例的示例性系统架构；
图2是本申请提供的图像采集方法在一实施例中的流程图；
图3是本申请中获取第一图像的成像原理示意图；
图4是本申请中获取第二图像的成像原理示意图；
图5是本申请中第一图像和第二图像进行融合的效果示意图；
图6是本申请提供的图像区域划分的示意图一；
图7是本申请提供的图像区域划分的示意图二；
图8是本申请提供的图像采集装置在一实施例中的结构示意图；
图9是本申请提供的图像采集设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
本申请的研发过程
经申请人研究发现，在车载主动光源红外相机系统中，主要是通过主动光源发出红外光，照射到驾驶员脸上，经过漫反射射入相机中，形成驾驶员脸部红外影像，由于阳光或者一些光源仍带有红外波段，所以这些非主动光源会降低成像质量。
目前要消除车载红外相机成像中的非主动光源影响，当前的方案主要从硬件和软件两个层面来解决。
硬件层面，就是从物理上减少对车内环境的非主动光源。即给所有车窗贴上带红外光过滤效果的贴膜。贴膜对红外光的透过率越低，效果越好，但成本也会越高，也会影响可见光的通透性。而且贴膜不能对红外光达到100%的阻挡效果，因此仍会有非主动光源透进来。
软件层面，目前用的比较火的高动态光照渲染（英文为High-Dynamic Range，简称HDR）能部分解决非主动光源的问题。HDR技术通过对图像多次曝光采集并合成，能同时保留了图像高光处和暗处的细节。这种方案只是保留了更多细节，对于非主动光源导致的脸部光照不均形成的“阴阳脸”仍然无法消除，而光照不均对人脸检测和人眼检测精度影响较大。此外，市面上鲜有通过车规且支持HDR的相机。
针对以上研究过程中发现问题，申请人提出一种亮暗图融合车载红外图像采集方案，可以有效解决了红外非主动光源对红外采集系统的影响。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
应用性实施例
请参见图1，示出了可以应用本申请的图像采集方法的一些实施例的示例性系统架构100。
如图1所示，该系统架构100中包括汽车101和设置在汽车101上的图像采集系统102，图像采集系统102可以通过网络103与服务器104进行数据交互来实现驾驶员监控、自动驾驶等功能。网络103为无线网络链接介质，例如移动无线通信网络。
图像采集系统102可以包括硬件、软件或硬件与软件的结合，当图像采集系统102包括硬件时，该硬件可以包括车载电脑、传感器、红外摄像头、红外光源和网络通信模块等；当图像采集系统102为软件时，该软件可以为安装在上述车载电脑或/和红外摄像头中的计算机程序或计算机应用模块，例如人脸识别算法模块、驾驶员监控算法模块。当然，该图像采集系统102也可以具体实现为上述硬件和软件的结合。
应当理解，安装在上述车载电脑或/和红外摄像头中的计算机程序或计算机应用模块包括安装在服务器104中的计算机程序或计算机应用模块。例如，图像采集系统102通过网络103来连接服务器104，由服务器104来对图像采集系统102采集的图像信息进行分析计算，然后返回计算分析结果。
此外，图像采集系统102也可以不与服务器104交互，独自由图像采集系统102来为用户驾驶汽车101提供服务或辅助。例如，在图像采集系统102不与服务器104交互的情况下，由图像采集系统102采集车内用户的图像，并对该图像进行用户视线信息估计、人脸识别等处理，并根据该处理结果来触发相应的应用，例如打开\关闭车门、打开\关闭车窗、开启车内音响设备、播放用户感兴趣物的应用信息等。
应该理解，图1中的图像采集系统、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的车载智能终端、网络和服务器。
方法性实施例
请参见图2，示出了本申请提供的图像采集方法在一实施例中的流程图，在具体实施应用中，该图像采集方法的执行主体可以为图1所示实施例中的图像采集系统102。
如图2所示，该图像采集方法，包括以下步骤：
S201，交替开启和关闭红外光源。
在智能车载系统中，该红外光源一般与红外摄像头构成车载主动光源红外相机系统，其中，该红外光源既可以是设置在车内红外摄像头上的一部分，也可以是独立于红外摄像头设置的单独个体。车载主动光源红外相机系统中，主要是通过主动光源发出红外光，照射到驾驶员脸上，经过漫反射射入相机中，形成驾驶员脸部红外影像。在具体实施应用中，可以由红外摄像头来控制该红外光源的交替开启和关闭，也可以由图像采集系统中的车载电脑来控制该红外光源的交替开启和关闭。
S202，分别获取红外光源为开启状态时利用红外相机拍得的第一图像和红外光源为关闭状态时利用红外相机拍得的第二图像。
开启和关闭的红外光源可以是相同的一组红外光源，也可以是不同组的红外光源，也就是说，该红外光源至少包括一组红外光源，每一组红外光源包括一个或多个红外光源。
在一些示例性实施例一中，假设红外光源仅包括一组红外光源，且该组红外光源包括至少两个红外光源，那么执行上述交替开启和关闭红外光源的步骤，可以具体包括：开启该至少两个红外光源中的部分红外光源或开启该至少两个红外光源中的全部红外光源，再交替关闭该至少两个红外光源中的全部光源。
在一些示例性实施例二中，假设红外光源仅包括至少两组红外光源，且每一组红外光源包括至少一个红外光源，那么执行上述交替开启和关闭红外光源的步骤，可以具体包括：交替开启和关闭至少一组红外光源。与上述包括一组红外光源的示例相似的，先开启该至少两组红外光源中的其中一组或多组红外光源或者开启该至少两组红外光源中的全部红外光源，再交替关闭该至少两组红外光源中的全部红外光源。
由此可见，结合上述示例性实施例一和示例性实施例二说，上述步骤S201交替开启和关闭红外光源，可以概况为：交替开启和关闭至少一组红外光源，
此外，在具体实施中，在红外光源为开启状态时拍得第一图像的红外相机和在红外光源为关闭状态时拍得第二图像的红外相机可以是相同的红外相机，也可以是不相同的红外相机。也即是说，该红外相机同样至少包括一组红外相机，且每一组红外相机可以包括一个或多个红外相机。
相应的，由至少一组红外相机拍的第一图像的数量可以是包括至少一个或多个图像，同理，由至少一组红外相机拍的第二图像也可以是包括至少一个或多个图像。
例如，在一些示例性实施例三种，当交替开启和关闭至少一组红外光源时，上述步骤S202，分别获取红外光源为开启状态时利用红外相机拍得的第一图像和红外光源为关闭状态时利用红外相机拍得的第二图像，则可以具体实现为：在所述至少一组红外光源为开启状态时利用至少一组红外相机执行曝光动作来获取第一图像；在所述至少一组红外光源为关闭状态时利用至少一组红外相机执行曝光动作来获取第二图像。在本实施例中，相当于红外相机执行曝光动作的频率与交替开启和关闭至少一组红外光源的频率一致，在至少一组红外光源为开启状态和关闭状态时，分别执行一次曝光动作来获取一个第一图像和一个第二图像。
再例如，在一些示例性实施例四中，在不考虑红外光源具体数量的情况下，上述步骤S202，分别获取红外光源为开启状态时利用红外相机拍得的第一图像和红外光源为关闭状态时利用红外相机拍得的第二图像，还可以具体实现为：将相邻的开启和关闭红外光源的操作确定为一组，针对每一组，在红外光源为开启状态时获取至少一个第一图像，以及，在红外光源为关闭状态时获取一个第二图像。与上述示例性实施例三不同的是，本实施例将红外光源相邻的开启和关闭操作视为一组，在每一组中，通过红外相机在红外光源为开启状态时执行至少一次曝光动作来获取至少一个第一图像，以及在红外光源为关闭状态时执行至少一次曝光动作来获取一个第二图像，那么在每一组的红外光源开启和关闭操作中，即可对应获取至少一个第一图像和一个第二图像，从而为后续图像融合得到第三图像提供可靠的素材基础。
需要注意的是，由于在红外光源为关闭状态时获取的第二图像是非主动光源的成像图像，为了提升本图像采集方法在实现为计算机程序时的程序执行效率，在具体实施例中可以在红外光源为关闭状态时仅获取一个第二图像。
S203，对所述第一图像和第二图像进行融合处理得到第三图像。
其中，第一图像是加入红外光源（简称为：主动光源）时拍得的图像，可以视为亮帧图像，请参见图3，示出了本申请中获取第一图像的成像原理示意图，如图3所示，第一图像300是在红外光源301为开启状态时由红外相机302拍得的图像，在该第一图像300中，包括人脸图像303，其中，第一图像300可以被划分为A、B、C三个区域。具体的，区域A为红外光源作用形成的图像区域，该区域A仅为红外光影响，是图像采集系统中理想的成像；区域B是红外光和环境光304（统称为：非主动光源）同时作用得到的图像区域，该区域会比A区域明显要亮，当检测目标（如人脸图像303的眼睛或脸部）同时存在区域A和区域B时，会出现眼睛或者脸部区域不均的现象，影响目标检测；C为仅为环境光304作用得到的图像区域，该区域C可能不是系统需要的检测目标，比如无关的背景等等。
其中，第二图像是关闭红外光源时拍得的图像，可以视为为暗帧图像，请参见图4，示出了本申请中获取第二图像的成像原理示意图，如图4所示，第二图像400是在红外光源301为关闭状态时由红外相机302拍得的图像，同理，在该第二图像400中，包括人脸图像303，第二图像300同样可以被划分为A、B、C三个区域。与第一图像不同的地方在于：此时，第二图像400中仅有区域B和C有被照亮，即对应非主动光源作用下形成的像。
进一步的，再参见图5，示出了本申请中第一图像和第二图像进行融合的效果示意图，如图5所示，结合上述第一图像300和第二图像400的成像原理可知，在曝光频率和红外光源交替开启和关闭的频率较高的情况下，该第一图像300和第二图像400中的图像内容几乎是相同的，不同的地方在于曝光条件不同。显然，第一图像300和第二图像400中都包含非主动光源条件下的包括图像像素，为此，通过将第一图像300和第二图像400进行图像融合，得到减少或消除车载红外镜头中的非主动光源影响的一个融合帧图像500，将其作为用于系统检测的目标图像，以此来提升在车载眼动系统或者驾驶员检测系统等应用中，对人脸、人眼或者瞳孔检测的效果。
具体的，第一图像和第二图像的融合，是对两幅图像中相同位置的图像像素进行融合，以此消除图像中非主动光源对在红外光源下成像的影响。为便于本领域的技术人员能够更加清楚、完整的实现上述技术方案，下面将通过几个具体的图像融合实施方式来本申请的技术方案予以详细说明。
在一些示例性实施例五中，概况的来说，上述步骤S203，对所述第一图像和第二图像进行融合处理得到第三图像，可以具体包括以下步骤：
步骤S1，针对位置为第i行第j列的像素P（i,j），执行如下操作：
步骤S2，获取第一图像中像素P（i,j）的第一图像像素灰度值 G1（i,j）；
步骤S3，获取第二图像中像素P（i,j）的第二图像像素灰度值 G2（i,j）；
步骤S4，对第一图像像素灰度值G1（i,j）和第二图像像素灰度值G2（i,j）进行融合处理，得到第三图像中像素P（i,j）的第三图像像素灰度值G3（i,j）；
步骤S5，利用第三图像像素灰度值G3（i,j）形成第三图像；
步骤S6，其中，i和j均为正整数，且1≤i≤M，1≤j≤N，M和N分别为第一图像、第二图像、第三图像的行数和列数。
其中，上述实现图像融合的各步骤的原理很容易理解，即对获取的第一图像和第二图像中相同位置的图像像素灰度值进行融合处理来得到第三图像在该相同位置的图像像素灰度值，通过对整幅第一图像和第二图像中每一个像素位置的图像像素灰度值进行融合，并利用融合后的图像像素灰度值来形成第三图像，从而实现了减少或消除车载红外镜头中的非主动光源影响，提升在车载眼动系统或者驾驶员检测系统等应用中，对人脸、人眼或者瞳孔检测的效果。
具体的，针对上述示例性实施例五中的步骤S4，可以包括多种具体实现方式。
其一，上述对第一图像像素灰度值G1（i,j）和第二图像像素灰度值G2（i,j）进行融合处理，得到第三图像中像素P（i,j）的第三图像像素灰度值G3（i,j），可以具体实现为以下步骤：
步骤S411，根据第一图像像素灰度值G1（i,j）的大小，确定第一图像像素灰度值G1（i,j）的灰度值权重T1（i,j）；根据第二图像像素灰度值G2（i,j）大小，确定第二图像像素灰度值G2（i,j）的灰度值权重T2（i,j）。
在本步骤S411中，灰度值权重是由图像像素灰度值的大小来确定的，即不同的大小的图像像素灰度值可以具有相同的灰度值权重，也可以具有不同的灰度值权重。通过该灰度值权重可以避免直接对第一图像像素灰度值和第二图像像素灰度值进行简单融合的情况，保证了图像融合可以减少或消除车载红外镜头中的非主动光源影响的准确度。
步骤S412，按照如下公式计算第三图像像素灰度值G3（i,j）：
G3（i,j）= T1（i,j）* G1（i,j）–T2（i,j）* G2（i,j）。
由此可知，在本实施例中，第三图像中所有像素位置的第三图像像素灰度值G3（i,j）是第一图像与第二图像分别在该对应像素位置的图像像素灰度值和灰度值权重的乘积之差。
其二，上述对第一图像像素灰度值G1（i,j）和第二图像像素灰度值G2（i,j）进行融合处理，得到第三图像中像素P（i,j）的第三图像像素灰度值G3（i,j），可以具体实现为以下步骤：
步骤S421，根据第一图像中像素P（i,j）所属的图像区域，确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）；根据第二图像中像素P（i,j）所属的图像区域，确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j）。
在本步骤S421中，与上述其一所示实施例中步骤S411的不同之处在于：采用了位置权重来进行图像融合，其中，该位置权重是由像素在图像中的位置或区域来确定，即不同位置的像素的位置权重可以可能相同，也可能不相同；同理，不同图像在相同位置的位置权重也可以相同，或者不相同。通过该位置权重可以避免直接对第一图像像素灰度值和第二图像像素灰度值进行简单融合的情况，保证了图像融合可以减少或消除车载红外镜头中的非主动光源影响的准确度。
步骤S422，按照如下公式计算第三图像像素灰度值G3（i,j）：
G3（i,j）= Q1（i,j）* G1（i,j）–Q2（i,j）* G2（i,j）。
由此可知，在本示例中，第三图像中所有像素位置的第三图像像素灰度值G3（i,j）是第一图像与第二图像分别在该对应像素位置的图像像素灰度值和位置权重的乘积之差。
其三，上述对第一图像像素灰度值G1（i,j）和第二图像像素灰度值G2（i,j）进行融合处理，得到第三图像中像素P（i,j）的第三图像像素灰度值G3（i,j），还可以具体实现为以下步骤：
步骤S431，识别第一图像中的人脸区域，并判断像素P（i,j）是否对应于第一图像中的人脸区域，根据判断结果确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）；识别第二图像中的人脸区域，并判断像素P（i,j）是否对应于第二图像中的人脸区域，根据判断结果确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j）。
在本步骤S431中，虽然也采用了位置权重，但与上述其二所示实施例中步骤S421的不同之处在于：本实施例中的位置权重是基于第一图像和第二图像中每一像素是否位于整幅图像中的人脸区域来确定的。那么，在同一图像中，位于人脸区域的位置权重可以是相同的，而在不同图像中，位于人脸区域的位置权重可以是相同的，也可以是不相同的。通过图像中的人脸区域来确定位置权重可以避免直接对第一图像像素灰度值和第二图像像素灰度值进行简单融合的情况，从而有效减少或消除车载红外镜头中的非主动光源影响，提升在车载眼动系统或者驾驶员检测系统等应用中，对人脸、人眼或者瞳孔检测的效果。
步骤S432，按照如下公式计算第三图像像素灰度值G3（i,j）：
G3（i,j）= Q1（i,j）* G1（i,j）–Q2（i,j）* G2（i,j）。
由此可知，在本实施例中的第三图像像素灰度值的计算方式与上述其二所述实施例中的计算方式是相同的，即第三图像中所有像素位置的第三图像像素灰度值G3（i,j）是第一图像与第二图像分别在该对应像素位置的图像像素灰度值和位置权重的乘积之差。
其四，上述对第一图像像素灰度值G1（i,j）和第二图像像素灰度值G2（i,j）进行融合处理，得到第三图像中像素P（i,j）的第三图像像素灰度值G3（i,j），还可以具体实现为以下步骤：
步骤S441，根据第一图像中像素P（i,j）所属的图像区域，确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）；根据第二图像中像素P（i,j）所属的图像区域，确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j）。
显然，本步骤S441与上述其二所示实施例中的步骤S421是相同步骤，故这里不再赘述。
步骤S442，根据第一图像像素灰度值G1（i,j）的大小，确定第一图像像素灰度值G1（i,j）的灰度值权重T1（i,j）；根据第二图像像素灰度值G2（i,j）大小，确定第二图像像素灰度值G2（i,j）的灰度值权重T2（i,j）。
显然，本步骤S442与上述其一所示实施例中的步骤S411是相同步骤，故这里不再赘述。
步骤S443，按照如下公式计算第三图像像素灰度值G3（i,j）：
G3（i,j）= Q1（i,j）T1（i,j）* G1（i,j）–Q2（i,j）*T2（i,j）* G2（i,j）。
由此可见，本实施例是上述其一和其二所示实施例的技术方案的结合，通过由图像像素灰度值大小确定的灰度值权重和由像素位置确定的位置权重来共同参与第三图像像素灰度值的图像融合计算，即第三图像中所有像素位置的第三图像像素灰度值G3（i,j）是第一图像与第二图像分别在该对应像素位置的图像像素灰度值、灰度值权重和位置权重的乘积之差。
其五，上述对第一图像像素灰度值G1（i,j）和第二图像像素灰度值G2（i,j）进行融合处理，得到第三图像中像素P（i,j）的第三图像像素灰度值G3（i,j），还可以具体实现为以下步骤：
步骤S451，识别第一图像中的人脸区域，并判断像素P（i,j）是否对应于第一图像中的人脸区域，根据判断结果确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）；识别第二图像中的人脸区域，并判断像素P（i,j）是否对应于第二图像中的人脸区域，根据判断结果确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j）。
显然，本步骤S451与上述其三所示实施例中的步骤S431是相同步骤，故这里不再赘述。
步骤S452，根据第一图像像素灰度值G1（i,j）的大小，确定第一图像像素灰度值G1（i,j）的灰度值权重T1（i,j）；根据第二图像像素灰度值G2（i,j）大小，确定第二图像像素灰度值G2（i,j）的灰度值权重T2（i,j）。
显然，本步骤S453与上述其一所示实施例中的步骤S411是相同步骤，故这里不再赘述。
步骤S453，按照如下公式计算第三图像像素灰度值G3（i,j）：
G3（i,j）= Q1（i,j）*T1（i,j）* G1（i,j）–Q2（i,j）*T2（i,j）* G2（i,j）。
由此可见，本实施例是上述其一和其三所示实施例的技术方案的结合，通过由图像像素灰度值大小确定的灰度值权重和由像素是否位于图像中人脸区域确定的位置权重来共同参与第三图像像素灰度值的图像融合计算，即第三图像中所有像素位置的第三图像像素灰度值G3（i,j）是第一图像与第二图像分别在该对应像素位置的图像像素灰度值、灰度值权重和位置权重的乘积之差。
进一步地，结合以上其一至其五所示的实施方式来看，在上述其一、其四和其五所示的实施方案中，均采用由图像像素灰度值的大小确定灰度值权重的步骤方案。由此，可以预先根据灰度值的大小配置灰度值权重。
例如，可以将图像像素灰度值的取值范围划分为多个连续区间，每一个区间对应一个灰度值权重，如下表1：
| 图像像素灰度值 | 灰度值权重 |
| [0-51] | t1 |
| [52-102] | t2 |
| [103-153] | t3 |
| [154-204] | t4 |
| [205-255] | t5 |
表1
由表1可知，图像像素灰度值的取值范围为[0-255]，将该灰度值范围[0-255]划分为[0-51]、[52-102]、[103-153]、[154-204]和[205-255]不同的5个灰度值区间，然后每一个区间分别预设配置一个灰度值权重（即t1-t5），由此形成一一映射关系。具体来说，本示例中为图像像素灰度值分配的灰度值权重相当于是离散的权重分割，当确定第一图像像素灰度值和第二图像像素灰度值的大小后，即可获知相应的灰度值权重。
再例如，与上述示例不同的是，还可以将图像中每一个图像像素灰度值乘以一个系数来作为灰度值权重，由此可见每一个图像像素灰度值都对应一个基于该系数得到的灰度值权重。具体来说，在取值范围为[0-255]的图像像素灰度值中，同样对应有[0-255]个灰度值权重，也就是说本示例中为图像像素灰度值分配的灰度值权重是连续的权重分配，当确定第一图像像素灰度值和第二图像像素灰度值的大小后，即可获知一个相对应的灰度值权重。当然，该系数的大小可根据具体实施情况来具体设定，本申请对此不做限定。
具体的，在以上其一、其四或其五中任一实施方式中，则还可以包括：预先根据灰度值的大小配置灰度值权重的步骤；对应的，根据第一图像像素灰度值G1（i,j）的大小，确定第一图像像素灰度值G1（i,j）的灰度值权重T1（i,j），根据第二图像像素灰度值G2（i,j）大小，确定第二图像像素灰度值G2（i,j）的灰度值权重T2（i,j），则包括以下步骤：
步骤S461，根据第一图像像素灰度值G1（i,j）的大小，确定第一图像像素灰度值G1（i,j）对应的灰度值权重T1（i,j）。
其中，第一图像像素灰度值G1（i,j）大小对应的灰度值权重T1（i,j）可以根据上述表1示例的方式来预先配置，当然，灰度值区间的划分个数可以视具体实施而定，在极端情况下，图像像素灰度值可以划分为255个灰度值区间，相应的，也就对应255个灰度值权重。
步骤S462，根据第二图像像素灰度值G2（i,j）大小，确定第二图像像素灰度值G2（i,j）对应的灰度值权重T2（i,j）。
同理，第二图像像素灰度值G2（i,j）大小对应的灰度值权重T2（i,j）也可以采用与上述步骤S461一样的灰度值权重配置，也可以采用与上述步骤S461不一样的灰度值权重配置。也就是说，在本步骤S462中，用于确定第二图像像素灰度值G2（i,j）的大小相对应的灰度值权重T2（i,j）的配置，在灰度值区间的划分个数和相同灰度值区间的灰度值权重大小均可以采用与上述步骤S461不一样的配置方案。
应当理解，上述表1所示灰度值区间的个数划分仅为便于技术方案的理解所作的示例性说明，在具体应用中可以根据实施需要自行设置取值区间的个数，同理，每一灰度值区间对应的灰度值权重的大小同样也可以根据实施需要自行设置，本申请不予限制。
进一步地，结合以上其一至其五所示的实施方式来看，在上述其二和其四所示的实施方案中，均采用了由图像像素的位置确定位置权重的步骤方案。由此，可以预先将第一图像和第二图像划分为多个图像区域，并为第一图像和第二图像中的每个图像区域配置位置权重。
例如，见图6，示出了本申请提供的图像区域划分的示意图一，如图6所示，可以将图像600划分为中心区域601和边缘区域602，并分别为中心区域601和边缘区域602配置对应的位置权重W1和W2。结合上述实施方式来说，以第一图像来说，如果第一图像的第一图像像素灰度值G1（i,j）的位置位于中心区域601，则其对应的位置权重即为W1，同理，如果第一图像的第一图像像素灰度值G1（i,j）的位置位于边缘区域602，则其对应的位置权重即为W2。
同样的，对于第二图像来说也可以采用图6所示区域划分方案来配置位置权重。在具体实施中，可以对第一图像和第二图像两种图像的相同区域配置一样的位置权重，但考虑到第一图像光线的原因，这样很容易导致细节丢失。因此，通常情况下，对第一图像中某一划分区域配置的位置权重会稍大于第二图像在该相同区域所配置的位置权重。
再例如，见图7，示出了本申请提供的图像区域划分的示意图二，如图7所示，可以将图像700划分为第一区域701、第二区域702和第三区域703，第一区域701、第二区域702和第三区域703具有相同几何中心，且第二区域702和第三区域703为田形区域，即第二区域702和第三区域703各包括四个区域；并为第一区域配置的位置权重为W1’，为第二区域702配置的位置权重为W2’，为第三区域703上方配置的位置权重为W3，第三区域703下方配置的位置权重为W3’。应当理解，本示例仅为了便于理解本申请的技术方案所作的示例性说明，在实际应用可以与上述相似或不同的区域划分和位置权重配置方案。
以第一图像和第二图像来说，如果其上的图像像素灰度值所在位置位于第一区域701，则其对应的位置权重则为W1’，如果其上的图像像素灰度值所在位置位于第二区域702，则其对应的位置权重则为W2’，如果其上的图像像素灰度值所在位置位于第三区域703的上方，则其对应的位置权重则为W3，如果其上的图像像素灰度值所在位置位于第三区域703，则其对应的位置权重则为W3’。
同理，可以对第一图像和第二图像两种图像的相同区域配置一样的位置权重，但考虑到第一图像光线的原因，这样很容易导致细节丢失。因此，通常情况下，对第一图像中某一划分区域配置的位置权重会稍大于第二图像在该相同区域所配置的位置权重。
具体的，在以上其二或其四的实施方式中，则还可以包括：预先将第一图像和第二图像划分为多个图像区域，并为第一图像和第二图像中的每个图像区域配置位置权重的步骤；相应的，根据第一图像中像素P（i,j）所属的图像区域，确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）；根据第二图像中像素P（i,j）所属的图像区域，确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j），则包括：
步骤S471，确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）为第一图像中像素P（i,j）所属的图像区域的权重；
步骤S472，确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j）为第二图像中像素P（i,j）所属的图像区域的权重。
与上述表1所示示例一样的，不同划分区域与配置的位置权重之间具有一一映射的对应关系，当确定第一图像像素灰度值G1（i,j）或第二图像像素灰度值G2（i,j）在图像中的像素位置P（i,j）即可根据预先配置，获取到相应的位置权重。
进一步地，结合以上其一至其五所示的实施方式来看，在上述其三和其五所示的实施方案中，均采用了由图像像素的位置是否处于图像中的人脸区域确定位置权重的步骤方案。由此，可以预先为第一图像和第二图像中的人脸区域和背景区域配置位置权重。
其中，将图像可以被划分为人脸区域和背景区域，与上述图6所示实施例中将图像划分为中心区域和边缘区域是相同的技术原理，其不同之处在于，人脸区域和背景区域不是固定的，其中人脸区域可以通过人脸识别算法来确定，这类算法在本技术领域属于常规技术，故这里不作详细说明。
具体的，在以上其三或其五的实施方式中，则还可以包括：预先为第一图像和第二图像中的人脸区域和背景区域配置位置权重的步骤，相应的，识别第一图像中的人脸区域，并判断像素P（i,j）是否对应于第一图像中的人脸区域，根据判断结果确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）；识别第二图像中的人脸区域，并判断像素P（i,j）是否对应于第二图像中的人脸区域，根据判断结果确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j），则包括：
步骤S481，若像素P（i,j）对应于第一图像和第二图像中的人脸区域，则确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）为第一图像中人脸区域对应的位置权重，确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j）为第二图像中人脸区域对应的位置权重；
步骤S482，若像素P（i,j）对应于第一图像和第二图像中的背景区域，则确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）为第一图像中背景区域对应的位置权重，确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j）为第二图像中背景区域对应的位置权重。
基于上述分析可知，本实施例与图6所示实施例的原理相同，具体实现细节可以参见上述图6所示实施例，这里不再赘述。
S204，输出所述第三图像。
其中，第三图像是用于系统检测或其他应用的目标图像，因此在融合得到第三图像后可以将其输出至需要对第三图像进行处理的执行主体中，例如，可以将该第三图像输出至红外相机，或者车载电脑等。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
产品性实施例
基于与上述方法性实施例相同的申请构思，本实施例还提供了一种图像采集装置，在具体实施中，该图像采集装置可以用于安装在例如1所示实施例中的图像采集系统102中。
请参见图8，示出了本申请提供的图像采集装置在一实施例中的结构示意图。
如图8所示，该图像采集装置800包括开关模块801、图像获取模块802、图像融合模块803和输出模块804，其中，开关模块801被配置为交替开启和关闭红外光源；图像获取模块802被配置为分别获取红外光源为开启状态时利用红外相机拍得的第一图像和红外光源为关闭状态时利用红外相机拍得的第二图像；图像融合模块803被配置为对所述第一图像和第二图像进行融合处理得到第三图像；输出模块804被配置为输出所述第三图像。
由于本实施例与上述方法性实施例是相同的申请构思，其所要解决的技术问题，以及解决该技术问题所采用的技术方案和预期所能取得的技术效果都是一致的，因此，对于图像采集装置相关的技术内容可以参考上述方法性实施例，这里不再赘述。
另外，再参见图9，示出了本申请提供的图像采集设备的示意图，在具体实施中，该图像采集设备可以具体实现为图1所示实施例中的图像采集系统102，或者红外相机等。
如图9所示，该图像采集设备900包括：至少一组红外相机901、至少一组红外光源902、处理器903、存储器904以及存储在所述存储器904中并可在所述处理器903上运行的计算机程序905，处理器903分别连接于所述至少一组红外相机901和红外光源902，所述处理器903执行所述计算机程序905时实现上述方法性实施例中任一实施方式中的步骤，例如图2所示的步骤S201至S204。或者，所述处理器903执行所述计算机程序905时实现上述各图像采集装置实施例中各模块/单元的功能，例如图8所示模块801至804的功能。
示例性的，所述计算机程序905可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器904中，并由所述处理器903执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序905指令段，该指令段用于描述所述计算机程序905在图像采集设备900中的执行过程。例如，所述计算机程序905可以被分割成开关模块、图像获取模块、图像融合模块和输出模块，各模块具有上述图8所述实施例中的功能。
所述图像采集设备900可以是云端服务器、红外相机901、车载电脑等计算设备。所述图像采集设备900可包括，但不仅限于，处理器903、存储器904。本领域技术人员可以理解，图9仅仅是图像采集设备900的示例，并不构成对图像采集设备900的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述图像采集设备900还可以包括输入输出设备、网络接入设备、总线等。
所称处理器903可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器904可以是图像采集设备900的内部存储单元，例如图像采集设备900的硬盘或内存。所述存储器904也可以是图像采集设备900的外部存储设备，例如图像采集设备900上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器904还可以既包括图像采集设备900的内部存储单元也包括外部存储设备。所述存储器904用于存储所述计算机程序905以及图像采集设备900所需的其它程序和数据。所述存储器904还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序905来指令相关的硬件来完成，所述的计算机程序905可存储于一计算机可读存储介质中，该计算机程序905在被处理器903执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序905包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (15)
1.一种图像采集方法，其特征在于，包括以下步骤：
交替开启和关闭红外光源；
分别获取红外光源为开启状态时利用红外相机拍得的第一图像和红外光源为关闭状态时利用红外相机拍得的第二图像；
对所述第一图像和第二图像进行融合处理得到第三图像；
输出所述第三图像。
2.根据权利要求1所述的图像采集方法，其特征在于，
交替开启和关闭红外光源，包括：交替开启和关闭至少一组红外光源；
分别获取红外光源为开启状态时利用红外相机拍得的第一图像和红外光源为关闭状态时利用红外相机拍得的第二图像，包括：在所述至少一组红外光源为开启状态时利用至少一组红外相机执行曝光动作来获取第一图像；在所述至少一组红外光源为关闭状态时利用至少一组红外相机执行曝光动作来获取第二图像。
3.根据权利要求1所述的图像采集方法，其特征在于，对所述第一图像和第二图像进行融合处理得到第三图像，包括：
针对位置为第i行第j列的像素P（i,j），执行如下操作：
获取第一图像中像素P（i,j）的第一图像像素灰度值 G1（i,j）；
获取第二图像中像素P（i,j）的第二图像像素灰度值 G2（i,j）；
对第一图像像素灰度值G1（i,j）和第二图像像素灰度值G2（i,j）进行融合处理，得到第三图像中像素P（i,j）的第三图像像素灰度值G3（i,j）；
利用第三图像像素灰度值G3（i,j）形成第三图像；
其中，i和j均为正整数，且1≤i≤M，1≤j≤N，M和N分别为第一图像、第二图像、第三图像的行数和列数。
4.根据权利要求3所述的图像采集方法，其特征在于，对第一图像像素灰度值G1（i,j）和第二图像像素灰度值G2（i,j）进行融合处理，得到第三图像中像素P（i,j）的第三图像像素灰度值G3（i,j），包括：根据第一图像像素灰度值G1（i,j）的大小，确定第一图像像素灰度值G1（i,j）的灰度值权重T1（i,j）；根据第二图像像素灰度值G2（i,j）大小，确定第二图像像素灰度值G2（i,j）的灰度值权重T2（i,j）；
按照如下公式计算第三图像像素灰度值G3（i,j）：
G3（i,j）= T1（i,j）* G1（i,j）–T2（i,j）* G2（i,j）。
5.根据权利要求3所述的图像采集方法，其特征在于，对第一图像像素灰度值G1（i,j）和第二图像像素灰度值G2（i,j）进行融合处理，得到第三图像中像素P（i,j）的第三图像像素灰度值G3（i,j），包括：
根据第一图像中像素P（i,j）所属的图像区域，确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）；根据第二图像中像素P（i,j）所属的图像区域，确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j）；
按照如下公式计算第三图像像素灰度值G3（i,j）：
G3（i,j）= Q1（i,j）* G1（i,j）–Q2（i,j）* G2（i,j）。
6.根据权利要求3所述的图像采集方法，其特征在于，对第一图像像素灰度值G1（i,j）和第二图像像素灰度值G2（i,j）进行融合处理，得到第三图像中像素P（i,j）的第三图像像素灰度值G3（i,j），包括：
识别第一图像中的人脸区域，并判断像素P（i,j）是否对应于第一图像中的人脸区域，根据判断结果确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）；识别第二图像中的人脸区域，并判断像素P（i,j）是否对应于第二图像中的人脸区域，根据判断结果确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j）；
按照如下公式计算第三图像像素灰度值G3（i,j）：
G3（i,j）= Q1（i,j）* G1（i,j）–Q2（i,j）* G2（i,j）。
7.根据权利要求3所述的图像采集方法，其特征在于，对第一图像像素灰度值G1（i,j）和第二图像像素灰度值G2（i,j）进行融合处理，得到第三图像中像素P（i,j）的第三图像像素灰度值G3（i,j），包括：
根据第一图像中像素P（i,j）所属的图像区域，确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）；根据第二图像中像素P（i,j）所属的图像区域，确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j）；
根据第一图像像素灰度值G1（i,j）的大小，确定第一图像像素灰度值G1（i,j）的灰度值权重T1（i,j）；根据第二图像像素灰度值G2（i,j）大小，确定第二图像像素灰度值G2（i,j）的灰度值权重T2（i,j）；
按照如下公式计算第三图像像素灰度值G3（i,j）：
G3（i,j）= Q1（i,j）T1（i,j）* G1（i,j）–Q2（i,j）*T2（i,j）* G2（i,j）。
8.根据权利要求3所述的图像采集方法，其特征在于，对第一图像像素灰度值G1（i,j）和第二图像像素灰度值G2（i,j）进行融合处理，得到第三图像中像素P（i,j）的第三图像像素灰度值G3（i,j），包括：
识别第一图像中的人脸区域，并判断像素P（i,j）是否对应于第一图像中的人脸区域，根据判断结果确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）；识别第二图像中的人脸区域，并判断像素P（i,j）是否对应于第二图像中的人脸区域，根据判断结果确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j）；
根据第一图像像素灰度值G1（i,j）的大小，确定第一图像像素灰度值G1（i,j）的灰度值权重T1（i,j）；根据第二图像像素灰度值G2（i,j）大小，确定第二图像像素灰度值G2（i,j）的灰度值权重T2（i,j）；
按照如下公式计算第三图像像素灰度值G3（i,j）：
G3（i,j）= Q1（i,j）*T1（i,j）* G1（i,j）–Q2（i,j）*T2（i,j）* G2（i,j）。
9.根据权利要求4、7或8任一所述的图像采集方法，其特征在于，还包括：预先根据灰度值的大小配置灰度值权重；
则，根据第一图像像素灰度值G1（i,j）的大小，确定第一图像像素灰度值G1（i,j）的灰度值权重T1（i,j），根据第二图像像素灰度值G2（i,j）大小，确定第二图像像素灰度值G2（i,j）的灰度值权重T2（i,j），包括：
根据第一图像像素灰度值G1（i,j）的大小，确定第一图像像素灰度值G1（i,j）对应的灰度值权重T1（i,j）；
根据第二图像像素灰度值G2（i,j）大小，确定第二图像像素灰度值G2（i,j）对应的灰度值权重T2（i,j）。
10.根据权利要求5或7所述的图像采集方法，其特征在于，还包括：预先将第一图像和第二图像划分为多个图像区域，并为第一图像和第二图像中的每个图像区域配置位置权重；
则，根据第一图像中像素P（i,j）所属的图像区域，确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）；根据第二图像中像素P（i,j）所属的图像区域，确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j），包括：
确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）为第一图像中像素P（i,j）所属的图像区域的权重；
确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j）为第二图像中像素P（i,j）所属的图像区域的权重。
11.根据权利要求6或8所述的图像采集方法，其特征在于，还包括：预先为第一图像和第二图像中的人脸区域和背景区域配置位置权重；
则，识别第一图像中的人脸区域，并判断像素P（i,j）是否对应于第一图像中的人脸区域，根据判断结果确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）；识别第二图像中的人脸区域，并判断像素P（i,j）是否对应于第二图像中的人脸区域，根据判断结果确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j），包括：
若像素P（i,j）对应于第一图像和第二图像中的人脸区域，则确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）为第一图像中人脸区域对应的位置权重，确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j）为第二图像中人脸区域对应的位置权重；
若像素P（i,j）对应于第一图像和第二图像中的背景区域，则确定第一图像像素灰度值G1（i,j）的位置权重Q1（i,j）为第一图像中背景区域对应的位置权重，确定第二图像像素灰度值G2（i,j）的位置权重Q2（i,j）为第二图像中背景区域对应的位置权重。
12.根据权利要求1所述的图像采集方法，其特征在于，
分别获取红外光源为开启状态时利用红外相机拍得的第一图像和红外光源为关闭状态时利用红外相机拍得的第二图像，包括：将相邻的开启和关闭红外光源的操作确定为一组，针对每一组，在红外光源为开启状态时获取至少一个第一图像，以及，在红外光源为关闭状态时获取一个第二图像；
对所述第一图像和第二图像进行融合处理得到第三图像，包括：在每组中获取的至少一个第一图像中选取至少一个与第二图像进行融合处理得到第三图像。
13.一种图像采集装置，其特征在于，包括：
开关模块，被配置为交替开启和关闭红外光源；
图像获取模块，被配置为分别获取红外光源为开启状态时利用红外相机拍得的第一图像和红外光源为关闭状态时利用红外相机拍得的第二图像；
图像融合模块，被配置为对所述第一图像和第二图像进行融合处理得到第三图像；
输出模块，被配置为输出所述第三图像。
14.一种图像采集设备，包括：
至少一组红外相机；
至少一组红外光源；
处理器，分别连接于所述至少一组红外相机和红外光源；
存储器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至12任一项所述图像采集方法的步骤。
15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述图像采集方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010370224.7A CN111524088A (zh) | 2020-05-06 | 2020-05-06 | 用于图像采集的方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010370224.7A CN111524088A (zh) | 2020-05-06 | 2020-05-06 | 用于图像采集的方法、装置、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111524088A true CN111524088A (zh) | 2020-08-11 |
Family
ID=71906903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010370224.7A Pending CN111524088A (zh) | 2020-05-06 | 2020-05-06 | 用于图像采集的方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111524088A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113727033A (zh) * | 2021-08-12 | 2021-11-30 | 荣耀终端有限公司 | 数据获取方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104243788A (zh) * | 2013-06-06 | 2014-12-24 | 华为终端有限公司 | 一种获取目标图像的方法、装置及终端 |
| CN106152937A (zh) * | 2015-03-31 | 2016-11-23 | 深圳超多维光电子有限公司 | 空间定位装置、系统及其方法 |
| CN106469306A (zh) * | 2016-09-28 | 2017-03-01 | 深圳市优象计算技术有限公司 | 基于红外结构光的多人图像实时提取与合成方法 |
| CN108449555A (zh) * | 2018-05-04 | 2018-08-24 | 北京化工大学 | 图像融合方法及系统 |
| CN110490041A (zh) * | 2019-05-31 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 人脸图像采集装置及方法 |
-
2020
- 2020-05-06 CN CN202010370224.7A patent/CN111524088A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104243788A (zh) * | 2013-06-06 | 2014-12-24 | 华为终端有限公司 | 一种获取目标图像的方法、装置及终端 |
| CN106152937A (zh) * | 2015-03-31 | 2016-11-23 | 深圳超多维光电子有限公司 | 空间定位装置、系统及其方法 |
| CN106469306A (zh) * | 2016-09-28 | 2017-03-01 | 深圳市优象计算技术有限公司 | 基于红外结构光的多人图像实时提取与合成方法 |
| CN108449555A (zh) * | 2018-05-04 | 2018-08-24 | 北京化工大学 | 图像融合方法及系统 |
| CN110490041A (zh) * | 2019-05-31 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 人脸图像采集装置及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113727033A (zh) * | 2021-08-12 | 2021-11-30 | 荣耀终端有限公司 | 数据获取方法及装置 |
| WO2023016005A1 (zh) * | 2021-08-12 | 2023-02-16 | 荣耀终端有限公司 | 数据获取方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10884271B2 (en) | Lens masking system for a vehicle | |
| JP6801114B2 (ja) | カメラアセンブリ及び携帯電子機器 | |
| CN105450923A (zh) | 图像处理方法、图像处理装置以及电子设备 | |
| CN109729334B (zh) | 去除反射区的方法以及眼部跟踪方法和设备 | |
| KR101204556B1 (ko) | 노이즈 제거 방법 및 이를 이용한 나이트 비젼 시스템 | |
| CN109005368B (zh) | 一种高动态范围图像的生成方法、移动终端及存储介质 | |
| CN109005367B (zh) | 一种高动态范围图像的生成方法、移动终端及存储介质 | |
| EP3820141A1 (en) | Imaging control method and apparatus, electronic device, and readable storage medium | |
| CN102300049A (zh) | 图像信号处理装置 | |
| CN110226326A (zh) | 用于检测车辆的周围环境区域的摄像设备及方法 | |
| CN111524088A (zh) | 用于图像采集的方法、装置、设备及计算机可读存储介质 | |
| CN110213462B (zh) | 图像处理方法、装置、电子设备、图像处理电路及存储介质 | |
| CN115278103B (zh) | 一种基于环境感知的安防监控图像补偿处理方法及系统 | |
| CN110930340A (zh) | 一种图像处理方法及装置 | |
| US11871119B2 (en) | Method for calculating exposure evaluation value and imaging device | |
| CN115734086A (zh) | 基于屏下摄像的图像处理方法、设备、系统和存储介质 | |
| CN110312106B (zh) | 图像的显示方法、装置、计算机设备和存储介质 | |
| US11093786B2 (en) | Extraneous-matter detecting apparatus and extraneous-matter detecting method | |
| CN109951649B (zh) | 一种局部自适应成像系统以及局部自适应成像控制方法 | |
| CN209562673U (zh) | 一种局部自适应成像系统 | |
| CN113824894A (zh) | 曝光控制方法、装置、设备及存储介质 | |
| CN110049256A (zh) | 一种局部自适应成像系统以及局部自适应成像控制方法 | |
| CN113364991A (zh) | 基于lcd液晶装置的图像生成控制装置和方法 | |
| US20220254139A1 (en) | Image processing method and apparatus, training method and apparatus of machine learning model, and storage medium | |
| CN117079085B (zh) | 雨滴检测模型的训练方法及车辆控制方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200811 |
|
| RJ01 | Rejection of invention patent application after publication |