CN116895094A - 一种基于双目融合的暗环境成像方法、系统、装置及介质 - Google Patents
一种基于双目融合的暗环境成像方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN116895094A CN116895094A CN202311162395.0A CN202311162395A CN116895094A CN 116895094 A CN116895094 A CN 116895094A CN 202311162395 A CN202311162395 A CN 202311162395A CN 116895094 A CN116895094 A CN 116895094A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- infrared image
- determining
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 68
- 238000003384 imaging method Methods 0.000 title claims abstract description 40
- 230000009466 transformation Effects 0.000 claims abstract description 68
- 239000011159 matrix material Substances 0.000 claims abstract description 62
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 241000023320 Luma <angiosperm> Species 0.000 description 5
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于双目融合的暗环境成像方法、系统、装置及介质，包括：获取目标对象在图像中的初始人脸框的尺寸信息，根据预先配置的缩放比例确定目标人脸框的尺寸信息，其中，图像包括当前红外图像和当前可见光图像；基于目标人脸框的尺寸信息，通过预先配置的距离转换关系，确定目标对象与摄像设备之间的目标识别距离；根据目标识别距离确定当前红外图像相对应的仿射变换矩阵，并基于仿射变换矩阵，将当前红外图像转变为与当前可见光图像对齐的目标红外图像；基于当前可见光图像和目标红外图像进行叠加处理，得到融合图像。本申请能够在暗环境中呈现出清晰度和细节良好的图像，提供更好的使用体验给用户。
Description
技术领域
本申请涉及一种图像处理技术领域，尤其涉及一种基于双目融合的暗环境成像方法、系统、装置及介质。
背景技术
随着智能硬件发展，人们生活中的智能设备越来越多，如手机、电脑、人脸支付平板、人脸识别门禁和人脸门锁等。这些设备都需要摄像头获取图像数据，而图像质量直接影响设备性能。不同拍摄场景下，图像质量各异，尤其是暗环境，由于光线不足，可见光成像不清晰，影响用户体验。改善暗光场景的成像质量至关重要。
目前的解决方法通常是增加补光灯来提高环境亮度，但补光灯亮度有限，过强会导致发热和刺眼，用户体验不佳。另一种方法是增加红外摄像头，在黑暗环境下清晰拍摄人脸特征。然而，红外成像无色彩，用户体验不佳，同时还需要在明暗环境之间切换显示。
为此，如何改善暗环境的成像质量同时兼顾用户的使用体验是目前急需解决的问题。
发明内容
本申请的目的在于提供一种基于双目融合的暗环境成像方法、系统、装置及介质，以至少解决相关技术中如何改善暗环境的成像质量同时兼顾用户的使用体验的问题。
本申请第一方面提供一种基于双目融合的暗环境成像方法，应用于摄像设备，方法包括：
获取目标对象在图像中的初始人脸框的尺寸信息，根据预先配置的缩放比例确定目标人脸框的尺寸信息，其中，图像包括当前红外图像和当前可见光图像；
基于目标人脸框的尺寸信息，通过预先配置的距离转换关系，确定目标对象与摄像设备之间的目标识别距离；
根据目标识别距离确定当前红外图像相对应的仿射变换矩阵，并基于仿射变换矩阵，将当前红外图像转变为与当前可见光图像对齐的目标红外图像；
基于当前可见光图像和目标红外图像进行叠加处理，得到融合图像。
在一个实施例中，基于目标人脸框的尺寸信息，通过预先配置的距离转换关系，确定目标对象与摄像设备之间的目标识别距离，包括：
基于目标人脸框的尺寸信息在预先配置的人脸框尺寸-识别距离对照表中确定两个关联尺寸；
基于两个关联尺寸和相对应的识别距离确定距离转换关系；
根据两个关联尺寸和相对应的识别距离，按照距离转换关系确定目标对象与摄像设备之间的目标识别距离。
在一个实施例中，根据目标识别距离确定当前红外图像相对应的仿射变换矩阵，包括：
基于不同的预设距离，确定预设距离-仿射变换矩阵对照表；
根据目标识别距离，通过预设距离-仿射变换矩阵对照表，确定当前红外图像相对应的仿射变换矩阵。
在一个实施例中，基于不同的预设距离，确定预设距离-仿射变换矩阵对照表，包括：
获取同一预设距离的原始可见光图像和原始红外图像，确定原始可见光图像和原始红外图像中的关键点；
基于原始可见光图像和原始红外图像之间关键点的匹配程度，确定原始可见光图像和原始红外图像之间相对应的内点对；
基于内点对，确定原始红外图像相对应的仿射变换矩阵；
根据不同预设距离下获取的仿射变换矩阵，确定预设距离-仿射变换矩阵对照表。
在一个实施例中，关键点包括关键点位置和关键点描述符；确定原始可见光图像和原始红外图像之间相对应的内点对，包括：
根据原始红外图像中的关键点描述符，对原始可见光图像中的关键点描述符进行距离匹配，确定原始红外图像中的每个关键点描述符相对应的第一最短匹配距离和第二最短匹配距离；
获取第一最短匹配距离和第二最短匹配距离的比值，响应于比值小于预设阈值将第一最短匹配距离相对应的关键点描述符作为对应点，生成对应点的索引；
根据索引从原始红外图像中的关键点位置和原始可见光图像中的关键点位置提取对应点的位置；
基于对应点的位置，确定原始可见光图像和原始红外图像之间相对应的内点对。
在一个实施例中，基于当前可见光图像和目标红外图像进行叠加处理，得到融合图像，包括：
根据当前可见光图像和目标红外图像，采用预先配置的叠加比例进行叠加处理，得到融合图像。
在一个实施例中，获取目标对象在图像中的初始人脸框的尺寸信息之前，方法还包括：
获取目标对象在当前图像中的环境亮度；
根据环境亮度和预先配置的暗环境阈值，确定双目融合功能的开启和关闭；
响应于开启，则获取当前红外图像和当前可见光图像。
本申请第二方面提供一种基于双目融合的暗环境成像系统，应用于摄像设备，系统包括：
获取人脸框模块，用于获取目标对象在图像中的初始人脸框的尺寸信息，根据预先配置的缩放比例确定目标人脸框的尺寸信息，其中，图像包括当前红外图像和当前可见光图像；
获取识别距离模块，用于基于目标人脸框的尺寸信息，通过预先配置的距离转换关系，确定目标对象与摄像设备之间的目标识别距离；
图像对齐模块，用于根据目标识别距离确定当前红外图像相对应的仿射变换矩阵，并基于仿射变换矩阵，将当前红外图像转变为与当前可见光图像对齐的目标红外图像；
图像融合模块，用于基于当前可见光图像和目标红外图像进行叠加处理，得到融合图像。
本申请第三方面提供一种基于双目融合的暗环境成像装置，包括存储器和一个或多个处理器，存储器中存储有可执行代码，一个或多个处理器执行可执行代码时，用于实现上述任一项的基于双目融合的暗环境成像方法。
本申请第四方面提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述任一项的基于双目融合的暗环境成像方法。
本申请实施例提供的一种基于双目融合的暗环境成像方法、系统、装置及介质至少具有以下技术效果。
本申请通过在获取到人脸框的尺寸信息，确定了人脸与摄像设备之间的识别距离，然后根据识别距离，确定红外图像对应的仿射变换矩阵，再根据仿射变换矩阵，将红外图像转变为与可见光图像对齐的目标红外图像，最后基于可见光图像和目标红外图像进行叠加处理，得到融合图像。增强可见光图像在暗环境中的亮度，并展现更多细节，从而在暗环境中呈现出清晰度和细节良好的图像，提供更好的使用体验给用户。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的基于双目融合的暗环境成像方法的流程示意图；
图2为本申请实施例提供的获取图像的流程示意图；
图3为本申请实施例提供的确定目标识别距离的流程示意图；
图4为本申请实施例提供的确定仿射变换矩阵的流程示意图；
图5为本申请实施例提供的确定预设距离-仿射变换矩阵对照表的流程示意图；
图6为本申请实施例提供的确定内点对的流程示意图；
图7为本申请实施例提供的获取融合图像的流程示意图；
图8为本申请实施例提供的基于双目融合的暗环境成像系统的框图；
图9为本申请实施例提供的电子设备的内部结构示意图。
具体实施方式
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定持征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的”一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
基于上述情况，本申请实施例提供了一种基于双目融合的暗环境成像方法、系统、装置及介质。
第一方面，本申请实施例提供了一种基于双目融合的暗环境成像方法，应用于摄像设备，图1为本申请实施例提供的基于双目融合的暗环境成像方法的流程示意图，如图1所示，该方法包括以下步骤：
步骤S101、获取目标对象在图像中的初始人脸框的尺寸信息，根据预先配置的缩放比例确定目标人脸框的尺寸信息，其中，图像包括当前红外图像和当前可见光图像。
具体的，获取目标对象在图像中的初始人脸框的尺寸信息，包括人脸框的宽和高，并根据预先配置的缩放比例对初始人脸框进行缩放，得到目标人脸框的宽和高，优选的，缩放比例为1:1.3。利用预先配置的缩放比例对人脸框进行处理，有助于实现一定程度的尺度变换。由于拍摄距离或其他因素，人脸可能过小或过大，这可能会对后续的人脸识别、表情分析等任务产生影响。通过缩放人脸框，可以使其适应特定任务的要求，提高算法的性能和鲁棒性。
需要说明的是，在进行后续的双目融合功能时，需要考虑人与摄像设备之间的距离。当人与摄像设备的距离小于0.5米或者大于2米时，不适合进行双目融合功能的展示。对于距离太近的情况，摄像设备的屏幕无法展现完整的人脸，因此无法准确识别人脸框。这种情况下，可以选择不进行双目融合功能的展示，以避免画面显示不完整导致信息不准确。而对于距离较远无法识别人脸框的情况，也不适合进行双目融合功能的展示。在无法准确识别人脸框的情况下，进行双目融合可能会导致不准确的结果，影响用户体验。
因此，根据人与摄像设备的距离范围进行判断，并在距离小于0.5米或者大于2米时不进行双目融合功能的展示，可以提高功能的可靠性和效果的准确性。这样可以确保画面中的人脸框显示完整，并提供具有信息丰富性的双目融合画面。
图2为本申请实施例提供的获取图像的流程示意图，如图2所示，在图1所示流程的基础上，在步骤S101之前，该方法还包括以下步骤：
步骤S1011、获取目标对象在当前图像中的环境亮度。
步骤S1012、根据环境亮度和预先配置的暗环境阈值，确定双目融合功能的开启和关闭。
步骤S1013、响应于开启，则获取当前红外图像和当前可见光图像。
在步骤S1011至步骤S1013中，获取目标对象在当前图像中的环境亮度BV，将获取的环境亮度BV与暗环境阈值Tluma进行对比。暗环境阈值Tluma是事先配置好的一个数值，用于判断当前环境是否处于较暗的状态。若当前环境的环境亮度BV小于暗环境阈值Tluma，则满足条件，可以进行双目融合功能的开启，若当前环境的环境亮度BV大于等于暗环境阈值Tluma，则不满足条件，双目融合功能为关闭状态。可以采取公式（1）进行判断：
（1）
其中，sign=1为双目融合功能开启，sign=0为双目融合功能关闭。在开启状态下，摄像设备将会显示可见光图像（RGB）与红外图像（IR）融合后的画面，以提供更丰富的信息；在关闭状态下，摄像设备只显示可见光图像（RGB）。
根据环境亮度BV和暗环境阈值Tluma的对比，可以控制双目融合功能的开启与关闭，从而实现摄像设备在不同环境下显示不同类型的画面。可以提供更好的用户体验，并在暗环境下提供更清晰的图像信息。
继续参照图1，在步骤S101之后执行步骤S102，具体如下。
步骤S102、基于目标人脸框的尺寸信息，通过预先配置的距离转换关系，确定目标对象与摄像设备之间的目标识别距离。
图3为本申请实施例提供的确定目标识别距离的流程示意图，如图3所示，在图1所示流程的基础上，步骤S102包括以下步骤：
步骤S201、基于目标人脸框的尺寸信息在预先配置的人脸框尺寸-识别距离对照表中确定两个关联尺寸。
步骤S202、基于两个关联尺寸和相对应的识别距离确定距离转换关系。
步骤S203、根据两个关联尺寸和相对应的识别距离，按照距离转换关系确定目标对象与摄像设备之间的目标识别距离。
在步骤S201至步骤S203中，确定目标识别距离，以表1人脸框尺寸-识别距离对照表，以及经过步骤S101缩放后得到的目标人脸框的尺寸信息为宽220，高286为例，进行说明：
表1 人脸框尺寸-识别距离对照表
根据人脸框宽220，查找人脸框尺寸-识别距离对照表中的两个关联尺寸，优选的为靠近宽220上的尺寸为249和186，两个关联尺寸249和186所对应的识别距离分别为0.8和1.0，确定距离转换关系，如公式（2）所示： （2）
经过求解公式（2），求得目标识别距离dist=1.1（米）。
需要说明的是，上述求解中也可以以人脸框高为例，进行求解，在一个摄像设备中，以人脸框宽或人脸框高按比例算法求解需要事先定义以高为基准还是以宽为基准进行计算。
另外还需要说明的是，不同摄像设备的分辨率会导致相同距离下人脸框大小的不一致，人脸框尺寸-识别距离对照表是根据不同摄像设备自身的像素情况预先配置好的，对于不同摄像设备，可以进行测试和测量，确定在不同距离下能够正常识别的人脸框大小范围。该配置方法属于常规现有的，此处不再赘述。
继续参照图1，在步骤S102之后执行步骤S103，具体如下。
步骤S103、根据目标识别距离确定当前红外图像相对应的仿射变换矩阵，并基于仿射变换矩阵，将当前红外图像转变为与当前可见光图像对齐的目标红外图像。
由于可见光摄像头和红外摄像头不处于同一位置，并且它们之间存在一定的间隔距离，因此在拍摄画面时会导致两个图像不能完全重合。此外，由于不同距离下的物体偏移量也不相同，进一步增加了对齐的复杂性。为了解决这个问题，需要进行双目数据对齐的处理。本申请实施例中根据目标识别距离，可以确定当前红外图像相对于可见光图像的偏移和旋转程度，计算出仿射变换矩阵，将当前红外图像转变为与当前可见光图像对齐的目标红外图像，可通过OpenCV库中的cv2.warpAffine()函数来实现这个变换过程，进而实现双目数据的对齐。
图4为本申请实施例提供的确定仿射变换矩阵的流程示意图，如图4所示，在图1所示流程的基础上，步骤S103中根据目标识别距离确定当前红外图像相对应的仿射变换矩阵，包括以下步骤：
步骤S301、基于不同的预设距离，确定预设距离-仿射变换矩阵对照表。
图5为本申请实施例提供的确定预设距离-仿射变换矩阵对照表的流程示意图，如图5所示，在图4所示流程的基础上，步骤S301包括以下步骤：
步骤S401、获取同一预设距离的原始可见光图像和原始红外图像，确定原始可见光图像和原始红外图像中的关键点。
具体的，在进行双目数据对齐时，根据目标识别距离的不同，需要针对每个距离计算相应的仿射变换矩阵。这是因为不同距离下物体在图像中的位置和大小会有所变化。此时，需要在预设的相同距离下同时获取一张原始可见光图像（RGB）和一张原始红外图像（IR），然后，将原始可见光图像RGB和原始红外图像IR转换为可见光灰度图RGB_Gray和红外灰度图IR_Gray，并从可见光灰度图RGB_Gray和红外灰度图IR_Gray中提取关键点位置IR_kp、RGB_kp和关键点描述符IR_desc、RGB_desc。提取的方式采用OpenCV开源库中的SIFT算法实现。其中，每个关键点描述符是一个包含128个梯度信息的特征向量。能够通过计算不同距离下的仿射变换矩阵来实现双目数据对齐，通过提取关键点和描述符，可以获得具有丰富特征的图像表示。
步骤S402、基于原始可见光图像和原始红外图像之间关键点的匹配程度，确定原始可见光图像和原始红外图像之间相对应的内点对。
图6为本申请实施例提供的确定内点对的流程示意图，如图6所示，在图5所示流程的基础上，步骤S402中确定原始可见光图像和原始红外图像之间相对应的内点对，包括以下步骤：
步骤S501、根据原始红外图像中的关键点描述符，对原始可见光图像中的关键点描述符进行距离匹配，确定原始红外图像中的每个关键点描述符相对应的第一最短匹配距离和第二最短匹配距离。
为了匹配原始红外图像IR的每个关键点描述符并分别获得两个最短匹配距离，可以使用OpenCV开源库中的cv2.BFMatcher().knnMatch(IR_desc, RGB_desc,K=2)函数。该函数通过蛮力匹配的方式，计算每个原始红外图像IR关键点描述符与原始可见光图像RGB关键点描述符之间的欧氏距离，距离越小表示关键点越相似，蛮力匹配算法还包括K近邻匹配，在匹配的时候选择K个和关键点最相似的点，如果这K个点之间的区别足够大，则选择最相似的那个点作为匹配点，通常选择K=2，即对每个匹配返回两个最近邻关键点描述符，仅当第一个匹配与第二个匹配之间的距离足够小时，才认为这是一个匹配。
具体的，该函数将为每个原始红外图像IR关键点描述符提供两个最短匹配距离，即第一最短匹配距离（最近邻）和第二最短匹配距离（次近邻）。通过取距离最小的两个关键点描述符，可以得到G组匹配，其中每组有两个匹配。这对于后续的双目数据对齐可以利用匹配的关键点来估计两幅图像间的仿射变换矩阵。
步骤S502、获取第一最短匹配距离和第二最短匹配距离的比值，响应于比值小于预设阈值将第一最短匹配距离相对应的关键点描述符作为对应点，生成对应点的索引。
如果第一最短匹配距离与第二最短匹配距离的比值小于预设阈值，优选的阈值为0.8，表示两个最短匹配距离之间的相似性较高，可以认为是良好的匹配。在这种情况下，选择保存第一最短匹配距离作为对应点。根据上述条件，可以得到F组对应点，生成对应点的索引，其中F表示满足条件的匹配对数量，对应点的索引包括了红外图像（IR）中的关键点描述符索引和相应的可见光图像（RGB）中的关键点描述符索引。
需要注意的是，对应点的索引通常以一种数据结构的形式存储，比如列表、数组或字典。这样可以方便地访问和处理对应点的索引信息。
上述通过SIFT算法从红外图像和可见光图像中分别提取了G个和H个关键点位置及其关键点描述符。然后，通过蛮力匹配算法，在G个关键点描述符中找到与每个关键点描述符最相似的两个关键点描述符（一个最近邻和一个次近邻），总共获得了G*2个匹配。然而，并不是所有的G个关键点描述符都能在H个关键点描述符中找到满足比值测试要求的对应点。只有那些满足比值测试要求的关键点描述符的第一最短匹配距离才会被保存下来作为对应点。
从每个对应点提取的索引信息包括两部分：
queryIdx：表示某个对应点在红外图像中的索引，即IR对应点的索引。
trainIdx：表示对应点在可见光图像中相匹配的关键点的索引，即RGB关键点的索引。
因此，最终得到的对应点的索引是一个F行2列的数组，其中包含了F对对应点在红外图像和可见光图像上的索引信息。最终获得的对应点数量一般是小于等于G和小于等于H的，即F<=G且F<=H。这是因为并非所有的描述符都能找到满足要求的对应点。
步骤S503、根据索引从原始红外图像中的关键点位置和原始可见光图像中的关键点位置提取对应点的位置。
步骤S504、基于对应点的位置，确定原始可见光图像和原始红外图像之间相对应的内点对。
具体的，使用RANSAC算法对对应点的位置信息查找原始可见光图像和原始红外图像之间相对应的内点对。在RANSAC算法的步骤为：1、根据对应点的位置，随机采样P个点（此时P个点也是以一对对应点为计算基础，即为P对对应点）；2、对该P个点拟合模型；3、计算其他剩余的对应点到拟合模型的距离（也称为残差或误差）。若误差大于阈值Terr，则将对应点视为异常值，若小于等于阈值Terr，则将该对应点视为正常值，并将视为正常值的对应点归类为内点，最终获取原始可见光图像和原始红外图像之间相对应的内点对集合。本申请实施例中阈值Terr为1，获取得到内点对的数量为Q，且Q<=F<=G且Q<=F<=H。进而能够通过随机采样和内点筛选来解决含有异常值的拟合问题。
继续参照图5，在步骤S402之后执行步骤S403，具体如下。
步骤S403、基于内点对，确定原始红外图像相对应的仿射变换矩阵。
具体的，仿射变换矩阵公式为： （3）
其中，A为旋转和缩放变换的2×2矩阵，t为决定平移的2×1矢量，x’,y’为原始可见光图像的内点坐标位置，x,y为原始红外图像的内点坐标位置。仿射变换矩阵M包含6个变量：a,b,c,d,tx,ty，为了求解M需要至少3个内点，即内点对至少为3对才能用于计算仿射变换矩阵M。计算方式如公式（4）所示。 （4）
公式（4）可看作6个方程式，例如其中(x1,y1)和（x1’,y1’）是一组分别在IR和RGB上的内点坐标值，这4个数值是已知的，就是一幅图上的坐标点，取值范围是[0，图像的长]，[0，图像的宽]。同理(x2,y2)和（x2’,y2’）是一组已知的内点坐标值，(x3,y3)和（x3’,y3’）是一组已知的内点坐标值。求解得到a,b,c,d,tx,ty，生成同一预设距离相对应的仿射变换矩阵M。其中，a、b、c、d构成了一个2×2的矩阵，表示二维坐标的旋转和缩放变换。这个矩阵可以称为仿射变换矩阵的线性部分。tx和ty是一个2×1的矩阵，用来表示对二维坐标进行上下左右移动的平移向量。
步骤S404、根据不同预设距离下获取的仿射变换矩阵，确定预设距离-仿射变换矩阵对照表。
根据实际需要，预先设定不同的距离，重复步骤S401至步骤S403，获取不同预设距离下相对应的仿射变换矩阵，生成预设距离-仿射变换矩阵对照表。
例如，分别在0.5，0.8，1.0，1.2，1.5，1.7和2.0这7个距离同时抓取IR图像与RGB图像各1张，共7对不同距离的IR-RGB图像，并对每一对IR-RGB图像进行步骤S401至步骤S403生成对应的仿射变换矩阵M0-M6，得到如表2所示的预设距离-仿射变换矩阵对照表。
表2 预设距离-仿射变换矩阵对照表
继续参照图4，在步骤S301之后执行步骤S302，具体如下。
步骤S302、根据目标识别距离，通过预设距离-仿射变换矩阵对照表，确定当前红外图像相对应的仿射变换矩阵。
具体的，根据目标识别距离，按照比例算法求解当前红外图像相对应的仿射变换矩阵。
以步骤S203中获得的目标识别距离1.1米为例，通过查询表2可知，1.1米在表中的预设距离1.0至1.2之间，计算得到的1.1米相对应的仿射变换矩阵Mx，如公式（5）所示： （5）
经过求解公式（5），求得1.1米相对应的仿射变换矩阵Mx。
继续参照图1，在步骤S103之后执行步骤S104，具体如下。
步骤S104、基于当前可见光图像和目标红外图像进行叠加处理，得到融合图像。
根据目标识别距离确定当前红外图像相对应的仿射变换矩阵Mx后，在通过公式（3）将红外图像转变为可见光图像对齐的图像IR_Mx，IR_Mx=IR*Mx，具体的，*变换可通过OpenCV库中的cv2.warpAffine()函数来实现这个变换过程。对齐后得到的目标红外图像与当前可见光图像进行融合，得到融合图像。能够综合利用两种图像的信息，增强目标的可视化效果，在暗环境条件下，红外图像可以提供更清晰的目标边缘和轮廓，而可见光图像可以提供更丰富的颜色和纹理信息，从而提高目标的检测能力。
图7为本申请实施例提供的获取融合图像的流程示意图，如图7所示，在图1所示流程的基础上，步骤S104包括以下步骤：
步骤S601、根据当前可见光图像和目标红外图像，采用预先配置的叠加比例进行叠加处理，得到融合图像。
融合图像IR_RGB采用公式（6）获取：IR_RGB=IR_Mx×k+RGB×(1-k)=IR*Mx×k+RGB×(1-k) （6）
其中，k根据实际效果选取，本申请实施例中采用k为0.5，最后融合图像IR_RGB=IR_Mx×0.5+RGB×0.5。
综上所述，本申请实施例提供的一种基于双目融合的暗环境成像方法，通过在获取到人脸框的尺寸信息，确定了人脸与摄像设备之间的识别距离，然后根据识别距离，确定红外图像对应的仿射变换矩阵，再根据仿射变换矩阵，将红外图像转变为与可见光图像对齐的目标红外图像，最后基于可见光图像和目标红外图像进行叠加处理，得到融合图像。增强可见光图像在暗环境中的亮度，并展现更多细节，从而在暗环境中呈现出清晰度和细节良好的图像，提供更好的使用体验给用户。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
第二方面，本申请实施例提供了一种基于双目融合的暗环境成像系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图8为本申请实施例提供的基于双目融合的暗环境成像系统的框图，应用于摄像设备，如图8所示，该系统包括：
获取人脸框模块701，用于获取目标对象在图像中的初始人脸框的尺寸信息，根据预先配置的缩放比例确定目标人脸框的尺寸信息，其中，图像包括当前红外图像和当前可见光图像。
获取识别距离模块702，用于基于目标人脸框的尺寸信息，通过预先配置的距离转换关系，确定目标对象与摄像设备之间的目标识别距离。
图像对齐模块703，用于根据目标识别距离确定当前红外图像相对应的仿射变换矩阵，并基于仿射变换矩阵，将当前红外图像转变为与当前可见光图像对齐的目标红外图像。
图像融合模块704，用于基于当前可见光图像和目标红外图像进行叠加处理，得到融合图像。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
第三方面，本申请实施例提供了基于双目融合的暗环境成像装置，包括存储器和一个或多个处理器，存储器中存储有可执行代码，一个或多个处理器执行可执行代码时，用于实现上述任一项方法实施例中的步骤。
可选地，上述基于双目融合的暗环境成像装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的基于双目融合的暗环境成像方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意基于双目融合的暗环境成像方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于双目融合的暗环境成像方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图9为本申请实施例提供的电子设备的内部结构示意图，如图9所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图9所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现基于双目融合的暗环境成像方法，数据库用于存储数据。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于双目融合的暗环境成像方法，其特征在于，应用于摄像设备，所述方法包括：
获取目标对象在图像中的初始人脸框的尺寸信息，根据预先配置的缩放比例确定目标人脸框的尺寸信息，其中，所述图像包括当前红外图像和当前可见光图像；
基于所述目标人脸框的尺寸信息，通过预先配置的距离转换关系，确定所述目标对象与所述摄像设备之间的目标识别距离；
根据所述目标识别距离确定所述当前红外图像相对应的仿射变换矩阵，并基于所述仿射变换矩阵，将所述当前红外图像转变为与所述当前可见光图像对齐的目标红外图像；
基于所述当前可见光图像和所述目标红外图像进行叠加处理，得到融合图像。
2.根据权利要求1所述的基于双目融合的暗环境成像方法，其特征在于，所述基于所述目标人脸框的尺寸信息，通过预先配置的距离转换关系，确定所述目标对象与所述摄像设备之间的目标识别距离，包括：
基于所述目标人脸框的尺寸信息在预先配置的人脸框尺寸-识别距离对照表中确定两个关联尺寸；
基于所述两个关联尺寸和相对应的识别距离确定所述距离转换关系；
根据所述两个关联尺寸和相对应的所述识别距离，按照所述距离转换关系确定所述目标对象与所述摄像设备之间的所述目标识别距离。
3.根据权利要求1所述的基于双目融合的暗环境成像方法，其特征在于，所述根据所述目标识别距离确定所述当前红外图像相对应的仿射变换矩阵，包括：
基于不同的预设距离，确定预设距离-仿射变换矩阵对照表；
根据所述目标识别距离，通过所述预设距离-仿射变换矩阵对照表，确定所述当前红外图像相对应的所述仿射变换矩阵。
4.根据权利要求3所述的基于双目融合的暗环境成像方法，其特征在于，所述基于不同的预设距离，确定预设距离-仿射变换矩阵对照表，包括：
获取同一所述预设距离的原始可见光图像和原始红外图像，确定所述原始可见光图像和所述原始红外图像中的关键点；
基于所述原始可见光图像和所述原始红外图像之间所述关键点的匹配程度，确定所述原始可见光图像和所述原始红外图像之间相对应的内点对；
基于所述内点对，确定所述原始红外图像相对应的仿射变换矩阵；
根据不同所述预设距离下获取的所述仿射变换矩阵，确定所述预设距离-仿射变换矩阵对照表。
5.根据权利要求4所述的基于双目融合的暗环境成像方法，其特征在于，所述关键点包括关键点位置和关键点描述符；所述确定所述原始可见光图像和所述原始红外图像之间相对应的内点对，包括：
根据所述原始红外图像中的关键点描述符，对所述原始可见光图像中的关键点描述符进行距离匹配，确定所述原始红外图像中的每个关键点描述符相对应的第一最短匹配距离和第二最短匹配距离；
获取所述第一最短匹配距离和所述第二最短匹配距离的比值，响应于所述比值小于预设阈值将所述第一最短匹配距离相对应的关键点描述符作为对应点，生成所述对应点的索引；
根据所述索引从所述原始红外图像中的关键点位置和所述原始可见光图像中的关键点位置提取所述对应点的位置；
基于所述对应点的位置，确定所述原始可见光图像和所述原始红外图像之间相对应的所述内点对。
6.根据权利要求1所述的基于双目融合的暗环境成像方法，其特征在于，所述基于所述当前可见光图像和所述目标红外图像进行叠加处理，得到融合图像，包括：
根据所述当前可见光图像和所述目标红外图像，采用预先配置的叠加比例进行叠加处理，得到所述融合图像。
7.根据权利要求1所述的基于双目融合的暗环境成像方法，其特征在于，所述获取目标对象在图像中的初始人脸框的尺寸信息之前，所述方法还包括：
获取目标对象在当前图像中的环境亮度；
根据所述环境亮度和预先配置的暗环境阈值，确定双目融合功能的开启和关闭；
响应于开启，则获取所述当前红外图像和所述当前可见光图像。
8.一种基于双目融合的暗环境成像系统，其特征在于，应用于摄像设备，所述系统包括：
获取人脸框模块，用于获取目标对象在图像中的初始人脸框的尺寸信息，根据预先配置的缩放比例确定目标人脸框的尺寸信息，其中，所述图像包括当前红外图像和当前可见光图像；
获取识别距离模块，用于基于所述目标人脸框的尺寸信息，通过预先配置的距离转换关系，确定所述目标对象与所述摄像设备之间的目标识别距离；
图像对齐模块，用于根据所述目标识别距离确定所述当前红外图像相对应的仿射变换矩阵，并基于所述仿射变换矩阵，将所述当前红外图像转变为与所述当前可见光图像对齐的目标红外图像；
图像融合模块，用于基于所述当前可见光图像和所述目标红外图像进行叠加处理，得到融合图像。
9.一种基于双目融合的暗环境成像装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-7中任一项所述的基于双目融合的暗环境成像方法。
10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-7中任一项所述的基于双目融合的暗环境成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311162395.0A CN116895094B (zh) | 2023-09-11 | 2023-09-11 | 一种基于双目融合的暗环境成像方法、系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311162395.0A CN116895094B (zh) | 2023-09-11 | 2023-09-11 | 一种基于双目融合的暗环境成像方法、系统、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116895094A true CN116895094A (zh) | 2023-10-17 |
| CN116895094B CN116895094B (zh) | 2024-01-30 |
Family
ID=88312459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311162395.0A Active CN116895094B (zh) | 2023-09-11 | 2023-09-11 | 一种基于双目融合的暗环境成像方法、系统、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116895094B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994865A (zh) * | 2024-04-01 | 2024-05-07 | 杭州海康威视数字技术股份有限公司 | 一种双目面部匹配方法、装置、电子设备及存储介质 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150302594A1 (en) * | 2013-07-12 | 2015-10-22 | Richard H. Moore | System and Method For Object Detection Using Structured Light |
| CN108090477A (zh) * | 2018-01-23 | 2018-05-29 | 北京易智能科技有限公司 | 一种基于多光谱融合的人脸识别方法与装置 |
| CN108108704A (zh) * | 2017-12-28 | 2018-06-01 | 努比亚技术有限公司 | 人脸识别方法及移动终端 |
| CN109241908A (zh) * | 2018-09-04 | 2019-01-18 | 深圳市宇墨科技有限公司 | 人脸识别方法及相关装置 |
| CN112052703A (zh) * | 2019-06-05 | 2020-12-08 | 上海柏柯智能科技有限公司 | 一种基于深度神经网络的人脸识别方法和系统 |
| CN112087590A (zh) * | 2020-08-14 | 2020-12-15 | 北京大米科技有限公司 | 图像处理方法、装置、系统及计算机存储介质 |
| CN112102378A (zh) * | 2020-08-06 | 2020-12-18 | 深圳市优必选科技股份有限公司 | 图像配准方法、装置、终端设备及计算机可读存储介质 |
| CN112614164A (zh) * | 2020-12-30 | 2021-04-06 | 杭州海康微影传感科技有限公司 | 一种图像融合方法、装置、图像处理设备及双目系统 |
| CN113657198A (zh) * | 2021-07-28 | 2021-11-16 | 浙江大华技术股份有限公司 | 双目活体的人脸识别方法、装置、电子装置和存储介质 |
| CN113674230A (zh) * | 2021-08-10 | 2021-11-19 | 深圳市捷顺科技实业股份有限公司 | 一种室内逆光人脸关键点的检测方法及装置 |
| CN113987698A (zh) * | 2021-10-11 | 2022-01-28 | 常州工学院 | 一种基于数据驱动的机床功耗模型建模方法 |
| CN114627168A (zh) * | 2022-03-08 | 2022-06-14 | 云南师范大学 | 一种提高红外与可见光图像配准精度的方法 |
| CN114708644A (zh) * | 2022-06-02 | 2022-07-05 | 杭州魔点科技有限公司 | 一种基于家庭基因模板的人脸识别方法和系统 |
| CN114972458A (zh) * | 2022-05-27 | 2022-08-30 | 广东亿嘉和科技有限公司 | 一种可见光与红外热成像图像配准的方法及系统 |
| CN115063339A (zh) * | 2022-03-14 | 2022-09-16 | 杭州魔点科技有限公司 | 基于双目摄像头测距的人脸活检方法、系统、设备和介质 |
| US20220301192A1 (en) * | 2021-03-22 | 2022-09-22 | Everypoint, Inc. | Performing Object Modeling By Combining Visual Data From Images With Motion Data Of The Image Acquisition Device |
| CN115170810A (zh) * | 2022-09-08 | 2022-10-11 | 南京理工大学 | 一种可见光红外图像融合目标检测实例分割方法 |
| WO2022257794A1 (zh) * | 2021-06-08 | 2022-12-15 | 深圳光启空间技术有限公司 | 可见光图像和红外图像的处理方法及装置 |
| CN115690551A (zh) * | 2022-11-16 | 2023-02-03 | 国网智能科技股份有限公司 | 一种双光图像匹配融合方法及系统 |
| CN116342445A (zh) * | 2023-03-03 | 2023-06-27 | 武汉高德智感科技有限公司 | 一种可见光图像与红外图像融合的方法及系统 |
| CN116645304A (zh) * | 2020-09-14 | 2023-08-25 | 武汉高德智感科技有限公司 | 一种拍摄目标物体红外可见光融合图像的方法及系统 |
-
2023
- 2023-09-11 CN CN202311162395.0A patent/CN116895094B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150302594A1 (en) * | 2013-07-12 | 2015-10-22 | Richard H. Moore | System and Method For Object Detection Using Structured Light |
| CN108108704A (zh) * | 2017-12-28 | 2018-06-01 | 努比亚技术有限公司 | 人脸识别方法及移动终端 |
| CN108090477A (zh) * | 2018-01-23 | 2018-05-29 | 北京易智能科技有限公司 | 一种基于多光谱融合的人脸识别方法与装置 |
| CN109241908A (zh) * | 2018-09-04 | 2019-01-18 | 深圳市宇墨科技有限公司 | 人脸识别方法及相关装置 |
| CN112052703A (zh) * | 2019-06-05 | 2020-12-08 | 上海柏柯智能科技有限公司 | 一种基于深度神经网络的人脸识别方法和系统 |
| CN112102378A (zh) * | 2020-08-06 | 2020-12-18 | 深圳市优必选科技股份有限公司 | 图像配准方法、装置、终端设备及计算机可读存储介质 |
| CN112087590A (zh) * | 2020-08-14 | 2020-12-15 | 北京大米科技有限公司 | 图像处理方法、装置、系统及计算机存储介质 |
| CN116645304A (zh) * | 2020-09-14 | 2023-08-25 | 武汉高德智感科技有限公司 | 一种拍摄目标物体红外可见光融合图像的方法及系统 |
| CN112614164A (zh) * | 2020-12-30 | 2021-04-06 | 杭州海康微影传感科技有限公司 | 一种图像融合方法、装置、图像处理设备及双目系统 |
| US20220301192A1 (en) * | 2021-03-22 | 2022-09-22 | Everypoint, Inc. | Performing Object Modeling By Combining Visual Data From Images With Motion Data Of The Image Acquisition Device |
| WO2022257794A1 (zh) * | 2021-06-08 | 2022-12-15 | 深圳光启空间技术有限公司 | 可见光图像和红外图像的处理方法及装置 |
| CN113657198A (zh) * | 2021-07-28 | 2021-11-16 | 浙江大华技术股份有限公司 | 双目活体的人脸识别方法、装置、电子装置和存储介质 |
| CN113674230A (zh) * | 2021-08-10 | 2021-11-19 | 深圳市捷顺科技实业股份有限公司 | 一种室内逆光人脸关键点的检测方法及装置 |
| CN113987698A (zh) * | 2021-10-11 | 2022-01-28 | 常州工学院 | 一种基于数据驱动的机床功耗模型建模方法 |
| CN114627168A (zh) * | 2022-03-08 | 2022-06-14 | 云南师范大学 | 一种提高红外与可见光图像配准精度的方法 |
| CN115063339A (zh) * | 2022-03-14 | 2022-09-16 | 杭州魔点科技有限公司 | 基于双目摄像头测距的人脸活检方法、系统、设备和介质 |
| CN114972458A (zh) * | 2022-05-27 | 2022-08-30 | 广东亿嘉和科技有限公司 | 一种可见光与红外热成像图像配准的方法及系统 |
| CN114708644A (zh) * | 2022-06-02 | 2022-07-05 | 杭州魔点科技有限公司 | 一种基于家庭基因模板的人脸识别方法和系统 |
| CN115170810A (zh) * | 2022-09-08 | 2022-10-11 | 南京理工大学 | 一种可见光红外图像融合目标检测实例分割方法 |
| CN115690551A (zh) * | 2022-11-16 | 2023-02-03 | 国网智能科技股份有限公司 | 一种双光图像匹配融合方法及系统 |
| CN116342445A (zh) * | 2023-03-03 | 2023-06-27 | 武汉高德智感科技有限公司 | 一种可见光图像与红外图像融合的方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| CHAOBO MIN: "Non-rigid infrared and visible image registration by enhanced affine transformation", PATTERN RECOGNITION, pages 1 - 15 * |
| 张宝辉;张俊举;苗壮;常本康;钱芸生;: "远距离多源图像融合系统实时配准设计", 应用光学, no. 03 * |
| 李晖晖;郑平;杨宁;胡秀华;: "基于SIFT特征和角度相对距离的图像配准算法", 西北工业大学学报, no. 02 * |
| 田璐萍: "快速 PCA 与 MB-LBP 融合的人脸识别算法研究", 信息通信, pages 12 - 14 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994865A (zh) * | 2024-04-01 | 2024-05-07 | 杭州海康威视数字技术股份有限公司 | 一种双目面部匹配方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116895094B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109359592B (zh) | 视频帧的处理方法、装置、电子设备及存储介质 | |
| Jiang et al. | Face super-resolution via multilayer locality-constrained iterative neighbor embedding and intermediate dictionary learning | |
| CN111915483B (zh) | 图像拼接方法、装置、计算机设备和存储介质 | |
| JP2020523703A (ja) | ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器 | |
| CN116895094B (zh) | 一种基于双目融合的暗环境成像方法、系统、装置及介质 | |
| US12008167B2 (en) | Action recognition method and device for target object, and electronic apparatus | |
| US20100054542A1 (en) | Processing video frames with the same content but with luminance variations across frames | |
| CN109327626A (zh) | 图像采集方法、装置、电子设备和计算机可读存储介质 | |
| CN114096994A (zh) | 图像对齐方法及装置、电子设备、存储介质 | |
| CN114298902A (zh) | 一种图像对齐方法、装置、电子设备和存储介质 | |
| CN114640833A (zh) | 投影画面调整方法、装置、电子设备和存储介质 | |
| CN113642639A (zh) | 活体检测方法、装置、设备和存储介质 | |
| CN110111364B (zh) | 运动检测方法、装置、电子设备及存储介质 | |
| CN111582155A (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
| KR101586071B1 (ko) | 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법 | |
| CN111080683B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN116934591A (zh) | 多尺度特征提取的图像拼接方法、装置、设备及存储介质 | |
| CN116188535A (zh) | 基于光流估计的视频跟踪方法、装置、设备及存储介质 | |
| CN115497094A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN113436256B (zh) | 拍摄装置状态识别方法、装置、计算机设备和存储介质 | |
| CN115496664A (zh) | 一种模型训练方法、装置、电子设备及可读存储介质 | |
| KR20110136035A (ko) | 실제현실 적응형 증강현실 장치 | |
| CN114581495A (zh) | 图像处理方法、视频处理方法、装置以及电子设备 | |
| CN115514887A (zh) | 视频采集的控制方法、装置、计算机设备和存储介质 | |
| JP5975484B2 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |