CN111062378A - 图像处理方法、模型训练方法、目标检测方法及相关装置 - Google Patents
图像处理方法、模型训练方法、目标检测方法及相关装置 Download PDFInfo
- Publication number
- CN111062378A CN111062378A CN201911336669.7A CN201911336669A CN111062378A CN 111062378 A CN111062378 A CN 111062378A CN 201911336669 A CN201911336669 A CN 201911336669A CN 111062378 A CN111062378 A CN 111062378A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- visible light
- short wave
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 116
- 238000002329 infrared spectrum Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 21
- 230000003595 spectral effect Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 9
- 230000002349 favourable effect Effects 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 238000003331 infrared imaging Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 239000000779 smoke Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像处理方法、模型训练方法、目标检测方法及相关装置，涉及机器视觉领域。该图像处理方法包括：获取目标对象的可见光图像和短波红外图像；判断可见光图像的清晰度是否大于或等于第一阈值；第一阈值用于确定可见光图像与短波红外图像的图像融合方式；当清晰度大于或等于第一阈值时，则将可见光图像和短波红外图像进行融合，以获取目标对象的短波融合图像和深度融合图像。本发明结合可见光图像与短波红外图像特征以及实际应用需求，依据可见光图像的清晰度确定图像融合的方式，使得融合图像相较于单独的可见光图像或短波红外图像具有更好的图像质量，有利于获取更符合更为准确的模型和模型检测效果。
Description
技术领域
本发明涉及机器视觉领域，具体而言，涉及一种图像处理方法、模型训练方法、目标检测方法及相关装置。
背景技术
目标物检测广泛应用公共安全领域，如基于人物检测方法的公共场合人数统计、基于人物检测与人物属性分析的危险人员预警等；在实际应用中，主流目标物检测设备和装置均基于可见光图像进行开发。
可见光成像原理基于反射光成像，可以对不同颜色的光进行成像，目标细节完善，但是对光照度要求较高，透雾、透烟的能力差；因此，在夜间低光照度、大雾、浓烟场景下无法满足后端算法对图像质量的需求。
为了实现夜间等复杂环境的成像，本领域技术人员选用了黑光相机、短波红外相机等低照度成像技术。短波红外成像可在远低于可见光成像设备的光照下进行成像；此外，短波红外成像不仅可以接收目标自身发射的短波红外辐射，还可以接收物体反射的短波红外辐射，因此短波红外成像既可以反映物体短波红外辐射，又可以反映由于物体表面反射差所形成的可见光图像的大部分细节。但是，短波红外成像不具备色彩区分能力，无法为算法提供更多的细节信息，不利于后端应用算法的处理。
发明内容
有鉴于此，本发明的目的在于提供一种图像处理方法、模型训练方法、目标检测方法及相关装置。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，实施例提供一种图像处理方法，所述方法包括：获取目标对象的可见光图像和短波红外图像；所述可见光图像包括所述目标对象的颜色信息和轮廓信息，所述短波红外图像包括所述目标对象的近红外光谱信息；判断所述可见光图像的清晰度是否大于或等于第一阈值；所述第一阈值用于确定所述可见光图像与所述短波红外图像的图像融合方式；当所述清晰度大于或等于所述第一阈值时，则将所述可见光图像和所述短波红外图像进行融合，以获取所述目标对象的短波融合图像和深度融合图像。其中，所述短波融合图像包括所述颜色信息、所述轮廓信息和所述近红外光谱信息，所述深度融合图像包括所述颜色信息、所述轮廓信息和深度信息，所述深度信息表征所述目标对象被拍摄时，相对于所述可见光图像的拍摄位置和所述短波红外图像的拍摄位置的场景深度。
在可选的实施方式中，所述颜色信息包括红、绿、蓝(Red、Green、Blue，RGB)信息，当所述清晰度小于所述第一阈值时，所述方法还包括：将所述可见光图像的RGB信息转换为椎体颜色空间信息，以获取所述目标对象的椎体颜色空间图像；所述椎体颜色空间信息包括所述目标对象的色相、饱和度和明度；将所述短波红外图像与所述椎体颜色空间图像进行融合，以获取所述目标对象的像素融合图像；所述像素融合图像包括所述颜色信息、所述轮廓信息、所述近红外光谱信息。
在可选的实施方式中，所述可见光图像是由第一相机于第一位置拍摄的，所述短波红外图像是由第二相机于第二位置拍摄的。所述将所述短波红外图像与所述椎体颜色空间图像进行融合，以获取所述目标对象的像素融合图像，包括：根据标定信息，获取所述可见光图像和所述短波红外图像的极限视差；所述标定信息为所述第二位置相对于所述第一位置的旋转平移矩阵，所述极限视差是由所述目标对象所处的位置、所述第一位置和所述第二位置确定的最小视差；根据所述极限视差，将所述短波红外图像与所述椎体颜色空间图像进行像素级融合，以获取所述像素融合图像。
在可选的实施方式中，所述可见光图像是由第一相机于第一位置拍摄的，所述短波红外图像是由第二相机于第二位置拍摄的。所述将所述可见光图像和所述短波红外图像进行融合，以获取所述目标对象的短波融合图像和深度融合图像，包括：获取所述可见光图像和所述短波红外图像的视差；所述视差是由所述目标对象所处的位置、所述第一位置和所述第二位置确定的；根据所述视差，将所述近红外光谱信息添加至所述可见光图像中与所述短波红外图像匹配的图像通道，以获取所述短波融合图像。
在可选的实施方式中，所述将所述可见光图像和所述短波红外图像进行融合，以获取所述目标对象的短波融合图像和深度融合图像，还包括：根据所述视差和标定信息，获取所述深度信息；所述标定信息为所述第二位置相对于所述第一位置的旋转平移矩阵；将所述深度信息添加至所述可见光图像中与所述短波红外图像匹配的图像通道，以获取所述深度融合图像。
第二方面，实施例提供一种模型训练方法，应用于电子设备，所述方法包括：获取目标对象的训练图像集；其中，所述训练图像集包括所述目标对象的以下任意一项或组合：可见光图像、短波红外图像、短波融合图像、深度融合图像和像素融合图像，所述可见光图像包括所述目标对象的颜色信息和轮廓信息，所述短波红外图像包括所述目标对象的近红外光谱信息，所述短波融合图像包括所述颜色信息、所述轮廓信息和所述近红外光谱信息，所述深度融合图像包括所述颜色信息、所述轮廓信息和深度信息，所述像素融合图像包括所述颜色信息、所述轮廓信息、所述近红外光谱信息，所述深度信息表征所述目标对象被拍摄时，相对于所述可见光图像的拍摄位置和所述短波红外图像的拍摄位置的场景深度。根据所述训练图像集，获取符合训练处理需求的至少一个目标模型。
第三方面，实施例提供一种目标检测方法，应用于电子设备，所述电子设备维护有检测模型库，所述检测模型库包括前述实施方式所述的目标模型，所述方法包括：获取待检测图像的清晰度信息；确定所述检测模型库中与所述清晰度信息匹配的至少一个目标模型；将所述待检测图像输入至所述至少一个目标模型，获取检测结果。
第四方面，实施例提供一种图像处理装置，包括：获取模块、判断模块和执行模块。所述获取模块用于获取目标对象的可见光图像和短波红外图像；所述可见光图像包括所述目标对象的颜色信息和轮廓信息，所述短波红外图像包括所述目标对象的近红外光谱信息；所述判断模块用于判断所述可见光图像的清晰度是否大于或等于第一阈值；所述第一阈值用于确定所述可见光图像与所述短波红外图像的图像融合方式；所述执行模块用于当所述清晰度大于或等于所述第一阈值时，将所述可见光图像和所述短波红外图像进行融合，以获取所述目标对象的短波融合图像和深度融合图像。其中，所述短波融合图像包括所述颜色信息、所述轮廓信息和所述近红外光谱信息，所述深度融合图像包括所述颜色信息、所述轮廓信息和深度信息，所述深度信息表征所述目标对象被拍摄时，相对于所述可见光图像的拍摄位置和所述短波红外图像的拍摄位置的场景深度。
在可选的实施方式中，所述颜色信息包括RGB信息；所述执行模块还用于当所述清晰度小于所述第一阈值时，将所述可见光图像的RGB信息转换为椎体颜色空间信息，以获取所述目标对象的椎体颜色空间图像；所述椎体颜色空间信息包括所述目标对象的色相、饱和度和明度。所述执行模块还用于将所述短波红外图像与所述椎体颜色空间图像进行融合，以获取所述目标对象的像素融合图像；所述像素融合图像包括所述颜色信息、所述轮廓信息和所述近红外光谱信息。
第五方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的方法。
第六方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施方式任一所述的方法。
相较于现有技术，本发明提供一种图像处理方法、模型训练方法、目标检测方法及相关装置，涉及机器视觉领域。该图像处理方法包括：获取目标对象的可见光图像和短波红外图像；所述可见光图像包括所述目标对象的颜色信息和轮廓信息，所述短波红外图像包括所述目标对象的近红外光谱信息；判断所述可见光图像的清晰度是否大于或等于第一阈值；所述第一阈值用于确定所述可见光图像与所述短波红外图像的图像融合方式；当所述清晰度大于或等于所述第一阈值时，则将所述可见光图像和所述短波红外图像进行融合，以获取所述目标对象的短波融合图像和深度融合图像；其中，所述短波融合图像包括所述颜色信息、所述轮廓信息和所述近红外光谱信息，所述深度融合图像包括所述颜色信息、所述轮廓信息和深度信息，所述深度信息表征所述目标对象在被拍摄时，相对于所述可见光图像的拍摄位置和所述短波红外图像的拍摄位置的场景深度。本发明结合可见光图像与短波红外图像特征以及实际应用需求，依据可见光图像的清晰度确定图像融合的方式，使得融合图像相较于单独的可见光图像或短波红外图像具有更好的图像质量，有利于获取更符合更为准确的模型和模型检测效果。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种双目视差原理的示意图；
图2为本发明实施例提供的一种图像处理方法的流程示意图；
图3为本发明实施例提供的另一种图像处理方法的流程示意图；
图4为本发明实施例提供的另一种图像处理方法的流程示意图；
图5-A为本发明实施例提供的可见光图像和短波红外图像；
图5-B为本发明实施例提供的可见光图像和短波融合图像；
图6为本发明实施例提供的另一种图像处理方法的流程示意图；
图7为本发明实施例提供的另一种图像处理方法的流程示意图；
图8为本发明实施例提供的一种模型训练方法的流程示意图；
图9为本发明实施例提供的一种目标检测方法的流程示意图；
图10为本发明实施例提供的一只图像处理装置的方框示意图；
图11为本申请实施例提供的一种电子设备的方框示意图。
图标：60-图像处理装置，61-获取模块，62-判断模块，63-执行模块，70-电子设备，71-存储器，72-处理器，73-通信接口。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目标物检测广泛应用公共安全领域，如基于人物检测方法的公共场合人数统计、基于人物检测与人物属性分析的危险人员预警等；在实际应用中，主流目标物检测设备和装置均基于可见光图像进行开发。
公共安全领域却存在上述的应用场景，尤其是夜间和大雾场景，因此复杂环境下的目标检测成为了当前的研究热点。可见光成像原理基于反射光成像，可以对不同颜色的光进行成像，目标细节完善，但是可见光图像在夜间低光照度、大雾、浓烟场景下无法满足后端算法对图像质量的需求。
而短波红外成像技术波段范围一般在900-1700nm，可在远低于可见光成像设备的光照下进行成像；此外，短波红外成像不仅可以接收目标自身发射的短波红外辐射，还可以接收物体反射的短波红外辐射，因此短波红外成像既可以反映物体短波红外辐射，又可以反映由于物体表面反射差所形成的可见光图像的大部分细节。但是，短波红外成像不具备色彩区分能力，无法为算法提供更多的细节信息，不利于后端应用算法的处理。
基于上述的问题，本发明实施例提出一种目标对象的图像采集装置，该图像采集装置包括可见光相机和短波红外相机；其中，可见光相机的成像波段范围为400-900nm，短波红外相机的成像波段范围为900-1700nm，短波红外相机的成像波段范围可扩展至2200nm。应理解，在一些情况下，上述的短波红外相机可以替换为黑白相机或其它相机，只需能够获取到目标对象的近红外光谱信息即可。
可以理解的，由于图像采集装置采集的图像是为后端算法处理提供的，为了提高图像质量，需要后端对采集的图像进行图像融合，可见光相机和短波红外相机可以相对固定放置并放在同一水平面；另外，可以采用常规的双目相机标定方法，利用空间视差原理对相机的内参数与外参数进行标定，获取两个相机之间准确的空间位置信息。例如，请参见图1，图1为本发明实施例提供的一种双目视差原理的示意图。双目立体视觉是基于视差原理，由多幅图像获取物体三维几何信息的方法；在机器视觉系统中，双目视觉一般由双摄像机从不同角度同时获取周围景物的两幅数字图像，并基于视差原理即可恢复出物体三维几何信息，重建周围景物的三维形状与位置。请参见图1示出的Pleft(左相机，如可见光相机)和Pright(右相机，如短波红外相机)，Ol和Or分别是可见光相机处于的第一位置的中心和短波红外相机处于的第二位置的中心，B为基线距离，该基线距离表征的是可见光相机和短波红外相机的投影中心的连线距离，P(xc，yc，zc)为目标对象所处的位置特征点。可以理解的，上述实现图像采集的过程仅为本发明中一种可能的实现方式，在对图像质量有更多要求时，还可以具有更多的相机，或采用不同的相机部署方式等。
在上述图像采集装置的基础上，为了实现对获取更高质量的图像，本发明实施例提供一种图像处理方法，请参见图2，图2为本发明实施例提供的一种图像处理方法的流程示意图。该图像处理方法包括：
S31、获取目标对象的可见光图像和短波红外图像。
该可见光图像包括目标对象的颜色信息和轮廓信息，短波红外图像包括目标对象的近红外光谱信息。例如，颜色信息可以是RGB的三通道信息，近红外光谱信息可以是用来表征目标对象的亮度信息，如不同材料有不同的短波红外光谱，因此短波红外成像技术具备可见光成像不具备的材料鉴别能力，透雾、透烟能力以及一定的伪装辨别能力。
S32、判断可见光图像的清晰度是否大于或等于第一阈值。
该第一阈值用于确定可见光图像与短波红外图像的图像融合方式。例如是进行像素级图像融合，或是通道级图像融合等。
当清晰度大于或等于第一阈值时，则执行S33。
S33、将可见光图像和短波红外图像进行融合，以获取目标对象的短波融合图像和深度融合图像。
其中，短波融合图像包括上述的颜色信息、轮廓信息和近红外光谱信息，深度融合图像包括上述的颜色信息、轮廓信息和深度信息，该深度信息表征目标对象被拍摄时，相对于可见光图像的拍摄位置和短波红外图像的拍摄位置的场景深度。
应理解，本发明结合可见光图像与短波红外图像特征以及实际应用需求，依据可见光图像的清晰度确定图像融合的方式，使得融合图像相较于单独的可见光图像或短波红外图像具有更好的图像质量，有利于获取更符合更为准确的模型和模型检测效果。
要实现上述的S32，则需要获取可见光图像的清晰度，则需要使用可见光图像的清晰度评价原理，本发明实施例以Tenegrad清晰度评价函数为例进行说明：可见光图像在低照度、大雾、浓烟环境下成像效果差，导致成像细节少，且可见光图像包含较少梯度信息，而常规环境下成像细节丰富包含较多梯度信息；因此，可见光图像的梯度信息越大，其清晰度就越大；可见光图像的梯度信息越小，其清晰度就越小。在Tenegrad清晰度评价函数下，可见光图像的像素点I(x,y)的梯度为：
其中，Gx和Gy为卷积核，Gx为
Gy为
得到Tenegrad的函数值为：
最终可以通过Tenegrad的函数值Ten来确定可见光图像与短波红外图像的图像融合方式。
在可选的实施方式中，若清晰度小于第一阈值，可以是不将可见光图像与短波红外图像进行融合，还可以是将可见光图像与短波红外图像进行像素级融合。若需要对可见光图像与短波红外图像进行融合，以可见光图像的颜色信息包括RGB信息为例，请参见图2，当清晰度小于第一阈值时，该图像处理方法还包括：
S34、将可见光图像的RGB信息转换为椎体颜色空间信息，以获取目标对象的椎体颜色空间图像。
该椎体颜色空间信息包括目标对象的色相(Hue，H)、饱和度(Saturation，S)和明度(Value，V)。应理解，色相(H)是色彩的基本属性，就是平常说的颜色的名称，如红色、黄色等；饱和度(S)是指色彩的纯度，越高色彩越纯，低则逐渐变灰，取0-100％的数值；明度(V)，取0-max(计算机中HSV取值范围和存储的长度有关)；HSV颜色空间可以用一个圆锥空间模型来描述；圆锥的顶点处，V＝0，H和S无定义，代表黑色；圆锥的顶面中心处V＝max，S＝0，H无定义，代表白色。
S35、将短波红外图像与椎体颜色空间图像进行融合，以获取目标对象的像素融合图像。
该像素融合图像包括颜色信息、轮廓信息和近红外光谱信息。例如，当可见光图像的清晰度小于第一阈值时，通过将可见光图像的颜色空间进行转换，并将短波红外图像的近红外光谱信息添加到转换后的可见光图像的图像通道中，得到一个中间图像，最后将中间图像转换为像素融合图像，就可以实现可见光图像与短波红外图像的像素级融合，得到像素融合图像。应理解，当可见光图像的清晰度较低时，通过像素级融合，可以获得一张可视程度较好的融合图像，以便展示或用户查看。
在可选的实施方式中，为了实现可见光图像与短波红外图像的融合，获取上述的像素融合图像，在图2的基础上，给出一种可能的实现方式，请参见图3，图3为本发明实施例提供的另一种图像处理方法的流程示意图。上述的S35可以包括：
S351、根据标定信息，获取可见光图像和短波红外图像的极限视差。
该标定信息为第二位置相对于第一位置的旋转平移矩阵，极限视差是由目标对象所处的位置、第一位置和第二位置确定的最小视差。
S352、根据极限视差，将短波红外图像与椎体颜色空间图像进行像素级融合，以获取像素融合图像。
例如，在光照度较差或者大雾、浓烟环境下，可见光成像效果较差，此时特征匹配效果可能较差，针对远距离成像，可根据视差原理中存在的极限视差(请参见图1，当Z极大时求出视差会逼近个某个像素值，该值为最大像素差，由相机间外参数决定)对图像进行融合；另外，可见光图像的RGB三个通道反应目标对象表面反射光的颜色信息，而短波红外则主要反应亮度信息，因此本发明提出将可见光图像转至HSV三通道，其中H通道反应色相，S反应饱和度，V反应亮度，将短波红外图像的近红外光谱信息(亮度信息)与V通道进行融合以使像素融合图像更符合成像原理；本发明利用极限视差，将短波红外图像中的近红外光谱信息替换可见光图像中的V通道，实现像素级融合，最后将融合后的图像转回RGB的形式，以备后续算法使用，此时的图像中包含了短波红外图像采集的近红外光谱信息，具备较强的低照度成像能力、透烟、透雾能力。
在可选的实施方式中，假设可见光图像是由第一相机(可见光相机)于第一位置拍摄的，短波红外图像是由第二相机(短波红外相机)于第二位置拍摄的，为了获取短波融合图像，在图2的基础上，给出一种可能的实现方式，请参见图4，图4为本发明实施例提供的另一种图像处理方法的流程示意图。上述的S33可以包括：
S331、获取可见光图像和短波红外图像的视差。
该视差是由目标对象所处的位置、第一位置和第二位置确定的。例如，获取视差的方式可以是基于快速特征点提取和描述(Oriented Fast and Rotated Brief，ORB)算法进行特征点提取与Brute-Force的匹配方式，以便获取可见光图像和短波红外图像的视差。
S332、根据视差，将近红外光谱信息添加至可见光图像中与短波红外图像匹配的图像通道，以获取短波融合图像。
例如，在光照度较好时，两种成像方式效果较好，可直接利用可见光图像与短波(Shortwave)红外图像进行特征匹配，通过视差配准和通道叠加，在可见光图像中增加短波红外相机采集的近红外光谱信息，构造短波融合图像(四通道图像，包括RGB信息和Shortwave信息)，该图像具备较强的透玻璃、伪装识别能力，为后端算法提供多维度信息，提升算法性能。
为了便于理解上述的短波融合图像，请参见图5-A，图5-A为本发明实施例提供的可见光图像和短波红外图像，左侧的图像为可见光图像，右侧的图像为短波红外图像；请参见图5-B，图5-B为本发明实施例提供的可见光图像和短波融合图像，左侧的图像为可见光图像，右侧的图像为短波融合图像。
在可选的实施方式中，为了获取深度融合图像，在图4的基础上，给出一种可能的实现方式，请参见图6，图6为本发明实施例提供的另一种图像处理方法的流程示意图。上述的S33还可以包括：
S333、根据视差和标定信息，获取深度信息。
该标定信息为第二位置相对于第一位置的旋转平移矩阵。例如，通过图像视差和可见光相机和短波红外相机的外参数，获取该深度信息，该深度信息表征目标对象在被拍摄时，相对于第一位置和第二位置的场景深度。
S334、将深度信息添加至可见光图像中与短波红外图像匹配的图像通道，以获取深度融合图像。
例如，将上述得到的深度信息与可见光图像中的RGB通道进行通道叠加，构造深度融合图像(四通道图像，包括RGB信息和深度信息)，用于后端信息处理，此深度融合图像包含深度的维度信息，可以提升模型训练的算法性能。
为了便于理解上述的图像处理方法，请参见图7，图7为本发明实施例提供的另一种图像处理方法的流程示意图。进行图像处理的装置包括预处理单元、特征匹配单元和图像融合单元，将上述的可见光图像、标定信息以及短波红外图像输入至预处理单元，以便进行立体校正或行校准等操作；特征匹配单元将可见光图像和短波红外图像进行特征匹配，并获取可见光图像和短波红外图像的视差，在之后可能有三种情况：
第一种情况，当可见光图像的清晰度小于第一阈值时，对可见光图像进行颜色空间转换，并与短波红外图像进行像素级融合，获取像素融合图像。
第二种情况，当可见光图像的清晰度大于或等于第一阈值时，利用视差将可见光图像和短波红外图像进行通道级融合，获取短波融合图像。
第三种情况，当可见光图像的清晰度大于或等于第一阈值时，利用视差和标定信息获取深度信息，将短波红外图像的深度信息添加到可见光图像中与短波红外图像匹配的图像通道中，实现通道级融合，获取深度融合图像。
为了有效的使用上述提出的可见光图像、短波红外图像、短波融合图像、深度融合图像和像素融合图像，以便实现对目标对象的检测，本发明实施例提供一种模型训练方法，请参见图8，图8为本发明实施例提供的一种模型训练方法的流程示意图。该模型训练方法应用于电子设备，包括：
S41、获取目标对象的训练图像集。
其中，训练图像集包括目标对象的以下任意一项或组合：可见光图像、短波红外图像、短波融合图像、深度融合图像和像素融合图像，可见光图像包括目标对象的颜色信息和轮廓信息，短波红外图像包括目标对象的近红外光谱信息，短波融合图像包括颜色信息、轮廓信息和近红外光谱信息，深度融合图像包括颜色信息、轮廓信息和深度信息，像素融合图像包括颜色信息、轮廓信息、和近红外光谱信息，深度信息表征目标对象在被拍摄时，相对于可见光图像的拍摄位置和在短波红外图像中的拍摄位置的场景深度。
S42、根据训练图像集，获取符合训练处理需求的至少一个目标模型。
可以理解的，获取训练图像集时，可以通过上述的图像采集装置采集大量不同场景的目标对象数据(例如人头数据)，包括各种复杂场景，目标对象数据由可见光图像与短波红外图像组成，构造原始图像数据库，并利用校正信息同时获取校正原始图像数据库，对该原始图像数据库执行上述任一项的图像处理方法，以便获取训练图像集，供模型训练算法使用。例如，行人监控场景下，人头检测常应用在街道、广场、火车站等场景，因此需采集大量相应场景的可见光-短波原始图像对以及标定图像对，以便充实原始数据库；利用大量原始图像对以及标定图像对以及相应标注信息(人头位置，属性等)，构建人头检测分析数据库(训练图像集)，可根据实际需求增加标注信息。
另外，获取目标模型时刻，可以利用自适应融合算法，根据训练图像集中不同场景图像对进行融合，获取包含可见光图像、短波红外图像、短波融合图像、深度融合图像和像素融合图像在内的五种输入图像，针对不同输入图像，构造训练不同的深度检测模型。例如，当目标对象为人头时，本发明可以采用常规的卷积神经网络框架，基于Resnet主干与对象检测(Feature Pyramid Networks，FPN)网络结构，结合一次计算(You Only Look Once，YOLO)检测头部，最终输出人头的位置及置信度，以便获取与训练处理需求相符合的目标模型；可以理解的，使用本发明提供的训练图像集和模型训练方法，对训练图像集训练约200轮即可获取较好的目标模型。
为了实现对目标对象的检测，下面在图8示出的目标模型的基础上，本发明实施例提供一种目标检测方法，请参见图9，图9为本发明实施例提供的一种目标检测方法的流程示意图。该目标检测方法应用于电子设备，该电子设备维护有检测模型库，检测模型库包括前述实施方式的目标模型，该目标检测方法包括：
S51、获取待检测图像的清晰度信息。
S52、确定检测模型库中与清晰度信息匹配的至少一个目标模型。
S53、将待检测图像输入到至少一个目标模型，获取检测结果。
可以理解的，上述S52中确定目标模型的过程与图像处理方法中确定图像融合方式的方法相似，例如，将上述训练好的多种输入图像的目标模型，在不同场景不同平台进行部署；另外，在检测时通过清晰度评价判定选择哪种输入方式或者通过用户自行控制选择，从而自适应选择不同的检测模型，完成人头目标的检测，提高装置的环境适应能力，提升装置的在各种环境下的检测效果。例如，训练所得模型同时部署到硬件平台上，根据不同的环境条件，计算图像清晰度，并判定阈值，选择不同的模型对当前场景的目标进行检测，获取结构化信息；也可通过用户自行对融合方式、检测模型进行选择。
应理解，融合方式自适应、模型多样且选择自适应为通用性目标对象检测提供了更强的适应能力，可根据实际环境自适应进行选择，通用性更强，可以节省大量因环境不同造成的开发与部署成本。
为了实现上述的图像处理方法，本发明实施例提供一种图像处理装置，请参见图10，图10为本发明实施例提供的一只图像处理装置的方框示意图，该图像处理装置60包括：获取模块61、判断模块62和执行模块63。
获取模块61用于获取目标对象的可见光图像和短波红外图像。可见光图像包括目标对象的颜色信息和轮廓信息，短波红外图像包括目标对象的近红外光谱信息。
判断模块62用于判断可见光图像的清晰度是否大于或等于第一阈值。第一阈值用于确定可见光图像与短波红外图像的图像融合方式。
执行模块63用于当清晰度大于或等于第一阈值时，将可见光图像和短波红外图像进行融合，以获取目标对象的短波融合图像和深度融合图像。其中，短波融合图像包括颜色信息、轮廓信息和近红外光谱信息，深度融合图像包括颜色信息、轮廓信息和深度信息，深度信息表征目标对象在被拍摄时，相对于可见光图像的拍摄位置和在短波红外图像中的拍摄位置的场景深度。
在可选的实施方式中，颜色信息包括RGB信息。执行模块63还用于当清晰度小于第一阈值时，将可见光图像的RGB信息转换为椎体颜色空间信息，以获取目标对象的椎体颜色空间图像。椎体颜色空间信息包括目标对象的色相、饱和度和明度。执行模块63还用于将短波红外图像与椎体颜色空间图像进行融合，以获取目标对象的像素融合图像。像素融合图像包括颜色信息、轮廓信息、和近红外光谱信息。可以理解的，获取模块61、判断模块62和执行模块63可以协同上述的S31～S35及其可能的子步骤。
本申请实施例提供一种电子设备，如图11，图11为本申请实施例提供的一种电子设备的方框示意图。该电子设备70包括存储器71、处理器72和通信接口73。该存储器71、处理器72和通信接口73相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器71可用于存储软件程序及模块，如本申请实施例所提供的图像处理方法、模型训练方法或目标检测方法对应的程序指令/模块，处理器72通过执行存储在存储器71内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口73可用于与其他节点设备进行信令或数据的通信。在本申请中该电子设备70可以具有多个通信接口73。
其中，存储器71可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器72可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
电子设备70可以实现本申请提供的任一种图像处理方法、模型训练方法或目标检测方法。该电子设备70可以是，但不限于，手机、平板电脑、笔记本电脑、服务器或其它具有处理能力的电子设备。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明提供一种图像处理方法、模型训练方法、目标检测方法及相关装置，涉及机器视觉领域。该图像处理方法包括：获取目标对象的可见光图像和短波红外图像；可见光图像包括目标对象的颜色信息和轮廓信息，短波红外图像包括目标对象的近红外光谱信息；判断可见光图像的清晰度是否大于或等于第一阈值；第一阈值用于确定可见光图像与短波红外图像的图像融合方式；当清晰度大于或等于第一阈值时，则将可见光图像和短波红外图像进行融合，以获取目标对象的短波融合图像和深度融合图像；其中，短波融合图像包括颜色信息、轮廓信息和近红外光谱信息，深度融合图像包括颜色信息、轮廓信息和深度信息，深度信息表征目标对象在被拍摄时，相对于可见光图像的拍摄位置和在短波红外图像中的拍摄位置的场景深度。本发明结合可见光图像与短波红外图像特征以及实际应用需求，依据可见光图像的清晰度确定图像融合的方式，使得融合图像相较于单独的可见光图像或短波红外图像具有更好的图像质量，有利于获取更符合更为准确的模型和模型检测效果。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
获取目标对象的可见光图像和短波红外图像；所述可见光图像包括所述目标对象的颜色信息和轮廓信息，所述短波红外图像包括所述目标对象的近红外光谱信息；
判断所述可见光图像的清晰度是否大于或等于第一阈值；所述第一阈值用于确定所述可见光图像与所述短波红外图像的图像融合方式；
当所述清晰度大于或等于所述第一阈值时，则将所述可见光图像和所述短波红外图像进行融合，以获取所述目标对象的短波融合图像和深度融合图像；
其中，所述短波融合图像包括所述颜色信息、所述轮廓信息和所述近红外光谱信息，所述深度融合图像包括所述颜色信息、所述轮廓信息和深度信息，所述深度信息表征所述目标对象被拍摄时，相对于所述可见光图像的拍摄位置和所述短波红外图像的拍摄位置的场景深度。
2.根据权利要求1所述的方法，其特征在于，所述颜色信息包括红、绿、蓝RGB信息，当所述清晰度小于所述第一阈值时，所述方法还包括：
将所述可见光图像的RGB信息转换为椎体颜色空间信息，以获取所述目标对象的椎体颜色空间图像；所述椎体颜色空间信息包括所述目标对象的色相、饱和度和明度；
将所述短波红外图像与所述椎体颜色空间图像进行融合，以获取所述目标对象的像素融合图像；所述像素融合图像包括所述颜色信息、所述轮廓信息、所述近红外光谱信息。
3.根据权利要求2所述的方法，其特征在于，所述可见光图像是由第一相机于第一位置拍摄的，所述短波红外图像是由第二相机于第二位置拍摄的；
所述将所述短波红外图像与所述椎体颜色空间图像进行融合，以获取所述目标对象的像素融合图像，包括：
根据标定信息，获取所述可见光图像和所述短波红外图像的极限视差；所述标定信息为所述第二位置相对于所述第一位置的旋转平移矩阵，所述极限视差是由所述目标对象所处的位置、所述第一位置和所述第二位置确定的最小视差；
根据所述极限视差，将所述短波红外图像与所述椎体颜色空间图像进行像素级融合，以获取所述像素融合图像。
4.根据权利要求1所述的方法，其特征在于，所述可见光图像是由第一相机于第一位置拍摄的，所述短波红外图像是由第二相机于第二位置拍摄的；
所述将所述可见光图像和所述短波红外图像进行融合，以获取所述目标对象的短波融合图像和深度融合图像，包括：
获取所述可见光图像和所述短波红外图像的视差；所述视差是由所述目标对象所处的位置、所述第一位置和所述第二位置确定的；
根据所述视差，将所述近红外光谱信息添加至所述可见光图像中与所述短波红外图像匹配的图像通道，以获取所述短波融合图像。
5.根据权利要求4所述的方法，其特征在于，所述将所述可见光图像和所述短波红外图像进行融合，以获取所述目标对象的短波融合图像和深度融合图像，还包括：
根据所述视差和标定信息，获取所述深度信息；所述标定信息为所述第二位置相对于所述第一位置的旋转平移矩阵；
将所述深度信息添加至所述可见光图像中与所述短波红外图像匹配的图像通道，以获取所述深度融合图像。
6.一种模型训练方法，其特征在于，应用于电子设备，所述方法包括：
获取目标对象的训练图像集；
其中，所述训练图像集包括所述目标对象的以下任意一项或组合：可见光图像、短波红外图像、短波融合图像、深度融合图像和像素融合图像，所述可见光图像包括所述目标对象的颜色信息和轮廓信息，所述短波红外图像包括所述目标对象的近红外光谱信息，所述短波融合图像包括所述颜色信息、所述轮廓信息和所述近红外光谱信息，所述深度融合图像包括所述颜色信息、所述轮廓信息和深度信息，所述像素融合图像包括所述颜色信息、所述轮廓信息、所述近红外光谱信息，所述深度信息表征所述目标对象被拍摄时，相对于所述可见光图像的拍摄位置和所述短波红外图像的拍摄位置的场景深度；
根据所述训练图像集，获取符合训练处理需求的至少一个目标模型。
7.一种目标检测方法，其特征在于，应用于电子设备，所述电子设备维护有检测模型库，所述检测模型库包括权利要求6所述的目标模型，所述方法包括：
获取待检测图像的清晰度信息；
确定所述检测模型库中与所述清晰度信息匹配的至少一个目标模型；
将所述待检测图像输入至所述至少一个目标模型，获取检测结果。
8.一种图像处理装置，其特征在于，包括：获取模块、判断模块和执行模块；
所述获取模块，用于获取目标对象的可见光图像和短波红外图像；所述可见光图像包括所述目标对象的颜色信息和轮廓信息，所述短波红外图像包括所述目标对象的近红外光谱信息；
所述判断模块，用于判断所述可见光图像的清晰度是否大于或等于第一阈值；所述第一阈值用于确定所述可见光图像与所述短波红外图像的图像融合方式；
所述执行模块，用于当所述清晰度大于或等于所述第一阈值时，将所述可见光图像和所述短波红外图像进行融合，以获取所述目标对象的短波融合图像和深度融合图像；
其中，所述短波融合图像包括所述颜色信息、所述轮廓信息和所述近红外光谱信息，所述深度融合图像包括所述颜色信息、所述轮廓信息和深度信息，所述深度信息表征所述目标对象被拍摄时，相对于所述可见光图像的拍摄位置和所述短波红外图像的拍摄位置的场景深度。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-5任一所述的方法或权利要求6所述的方法或权利要求7所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法或权利要求6所述的方法或权利要求7所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911336669.7A CN111062378B (zh) | 2019-12-23 | 2019-12-23 | 图像处理方法、模型训练方法、目标检测方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911336669.7A CN111062378B (zh) | 2019-12-23 | 2019-12-23 | 图像处理方法、模型训练方法、目标检测方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062378A true CN111062378A (zh) | 2020-04-24 |
| CN111062378B CN111062378B (zh) | 2021-01-26 |
Family
ID=70301478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911336669.7A Active CN111062378B (zh) | 2019-12-23 | 2019-12-23 | 图像处理方法、模型训练方法、目标检测方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062378B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111756969A (zh) * | 2020-06-16 | 2020-10-09 | RealMe重庆移动通信有限公司 | 光学模组及电子设备 |
| CN112257664A (zh) * | 2020-11-12 | 2021-01-22 | Oppo广东移动通信有限公司 | 图像融合方法、装置、计算机设备和存储介质 |
| CN112991218A (zh) * | 2021-03-23 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像处理的方法、装置、设备以及存储介质 |
| CN113205470A (zh) * | 2021-03-19 | 2021-08-03 | 昆明物理研究所 | 基于色调饱和度映射的红外中短波双色融合方法 |
| CN113269701A (zh) * | 2021-05-08 | 2021-08-17 | 大连海事大学 | 一种基于注意力引导和核选择机制的低照度图像增强方法 |
| CN113284128A (zh) * | 2021-06-11 | 2021-08-20 | 中国南方电网有限责任公司超高压输电公司天生桥局 | 基于电力设备的图像融合显示方法、装置和计算机设备 |
| CN113688900A (zh) * | 2021-08-23 | 2021-11-23 | 阿波罗智联(北京)科技有限公司 | 雷达和视觉数据融合处理方法、路侧设备及智能交通系统 |
| CN113902666A (zh) * | 2021-12-13 | 2022-01-07 | 湖南警察学院 | 一种车载多波段立体视觉感知方法、装置、设备和介质 |
| CN113923444A (zh) * | 2021-10-08 | 2022-01-11 | 广州辰达精密光电科技有限公司 | 一种变焦镜头质量评价方法及装置 |
| CN114073063A (zh) * | 2020-05-27 | 2022-02-18 | 北京小米移动软件有限公司南京分公司 | 图像处理方法及装置、相机组件、电子设备、存储介质 |
| CN114468843A (zh) * | 2022-02-28 | 2022-05-13 | 烟台艾睿光电科技有限公司 | 清洁设备、系统及其清洁控制方法、装置和介质 |
| CN114693581A (zh) * | 2022-06-02 | 2022-07-01 | 深圳市海清视讯科技有限公司 | 图像融合处理方法、装置、设备及存储介质 |
| CN114758202A (zh) * | 2022-04-01 | 2022-07-15 | 山东大学 | 基于语义感知特征增强的短波红外舰船检测方法及系统 |
| CN117146780A (zh) * | 2023-10-31 | 2023-12-01 | 季华实验室 | 成像方法、终端设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103024281A (zh) * | 2013-01-11 | 2013-04-03 | 重庆大学 | 红外与可见光视频融合系统 |
| CN106780392A (zh) * | 2016-12-27 | 2017-05-31 | 浙江大华技术股份有限公司 | 一种图像融合方法及装置 |
| KR101841939B1 (ko) * | 2016-12-12 | 2018-03-27 | 인천대학교 산학협력단 | 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법 |
| CN109300097A (zh) * | 2018-08-16 | 2019-02-01 | 南京理工大学 | 基于自适应分块的多序列图像融合方法 |
| CN110493583A (zh) * | 2018-08-03 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
-
2019
- 2019-12-23 CN CN201911336669.7A patent/CN111062378B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103024281A (zh) * | 2013-01-11 | 2013-04-03 | 重庆大学 | 红外与可见光视频融合系统 |
| KR101841939B1 (ko) * | 2016-12-12 | 2018-03-27 | 인천대학교 산학협력단 | 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법 |
| CN106780392A (zh) * | 2016-12-27 | 2017-05-31 | 浙江大华技术股份有限公司 | 一种图像融合方法及装置 |
| CN110493583A (zh) * | 2018-08-03 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109300097A (zh) * | 2018-08-16 | 2019-02-01 | 南京理工大学 | 基于自适应分块的多序列图像融合方法 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114073063A (zh) * | 2020-05-27 | 2022-02-18 | 北京小米移动软件有限公司南京分公司 | 图像处理方法及装置、相机组件、电子设备、存储介质 |
| CN114073063B (zh) * | 2020-05-27 | 2024-02-13 | 北京小米移动软件有限公司南京分公司 | 图像处理方法及装置、相机组件、电子设备、存储介质 |
| CN111756969A (zh) * | 2020-06-16 | 2020-10-09 | RealMe重庆移动通信有限公司 | 光学模组及电子设备 |
| CN112257664A (zh) * | 2020-11-12 | 2021-01-22 | Oppo广东移动通信有限公司 | 图像融合方法、装置、计算机设备和存储介质 |
| CN112257664B (zh) * | 2020-11-12 | 2024-09-06 | Oppo广东移动通信有限公司 | 图像融合方法、装置、计算机设备和存储介质 |
| CN113205470A (zh) * | 2021-03-19 | 2021-08-03 | 昆明物理研究所 | 基于色调饱和度映射的红外中短波双色融合方法 |
| CN112991218A (zh) * | 2021-03-23 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像处理的方法、装置、设备以及存储介质 |
| CN113269701A (zh) * | 2021-05-08 | 2021-08-17 | 大连海事大学 | 一种基于注意力引导和核选择机制的低照度图像增强方法 |
| CN113269701B (zh) * | 2021-05-08 | 2024-04-26 | 大连海事大学 | 一种基于注意力引导和核选择机制的低照度图像增强方法 |
| CN113284128A (zh) * | 2021-06-11 | 2021-08-20 | 中国南方电网有限责任公司超高压输电公司天生桥局 | 基于电力设备的图像融合显示方法、装置和计算机设备 |
| CN113688900A (zh) * | 2021-08-23 | 2021-11-23 | 阿波罗智联(北京)科技有限公司 | 雷达和视觉数据融合处理方法、路侧设备及智能交通系统 |
| CN113923444A (zh) * | 2021-10-08 | 2022-01-11 | 广州辰达精密光电科技有限公司 | 一种变焦镜头质量评价方法及装置 |
| CN113923444B (zh) * | 2021-10-08 | 2024-04-30 | 广州辰达精密光电科技有限公司 | 一种变焦镜头质量评价方法及装置 |
| CN113902666A (zh) * | 2021-12-13 | 2022-01-07 | 湖南警察学院 | 一种车载多波段立体视觉感知方法、装置、设备和介质 |
| CN114468843A (zh) * | 2022-02-28 | 2022-05-13 | 烟台艾睿光电科技有限公司 | 清洁设备、系统及其清洁控制方法、装置和介质 |
| CN114468843B (zh) * | 2022-02-28 | 2023-09-08 | 烟台艾睿光电科技有限公司 | 清洁设备、系统及其清洁控制方法、装置和介质 |
| CN114758202A (zh) * | 2022-04-01 | 2022-07-15 | 山东大学 | 基于语义感知特征增强的短波红外舰船检测方法及系统 |
| CN114758202B (zh) * | 2022-04-01 | 2024-05-24 | 山东大学 | 基于语义感知特征增强的短波红外舰船检测方法及系统 |
| CN114693581B (zh) * | 2022-06-02 | 2022-09-06 | 深圳市海清视讯科技有限公司 | 图像融合处理方法、装置、设备及存储介质 |
| CN114693581A (zh) * | 2022-06-02 | 2022-07-01 | 深圳市海清视讯科技有限公司 | 图像融合处理方法、装置、设备及存储介质 |
| CN117146780A (zh) * | 2023-10-31 | 2023-12-01 | 季华实验室 | 成像方法、终端设备及介质 |
| CN117146780B (zh) * | 2023-10-31 | 2024-01-09 | 季华实验室 | 成像方法、终端设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062378B (zh) | 2021-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062378B (zh) | 图像处理方法、模型训练方法、目标检测方法及相关装置 | |
| CN110660088B (zh) | 一种图像处理的方法和设备 | |
| CN110519489B (zh) | 图像采集方法及装置 | |
| EP0932114B1 (en) | A method of and apparatus for detecting a face-like region | |
| CN108055452A (zh) | 图像处理方法、装置及设备 | |
| KR20160028490A (ko) | 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템 | |
| CN111462128A (zh) | 一种基于多模态光谱图像的像素级图像分割系统及方法 | |
| CN110520768B (zh) | 高光谱光场成像方法和系统 | |
| CN114697623B (zh) | 投影面选取和投影图像校正方法、装置、投影仪及介质 | |
| CN107800965A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| US20210314543A1 (en) | Imaging system and method | |
| WO2020027210A1 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| US10721448B2 (en) | Method and apparatus for adaptive exposure bracketing, segmentation and scene organization | |
| US6996266B2 (en) | Method and apparatus for generating three-dimensional data of an object by selecting the method for detecting corresponding points that is suitable to the object | |
| CN109587466A (zh) | 颜色阴影校正的方法和装置 | |
| CN111031241B (zh) | 图像处理方法及其装置、终端和计算机可读存储介质 | |
| CN113506275B (zh) | 一种基于全景城市图像处理方法 | |
| US11417019B2 (en) | Detection of a calibration object for modifying image parameters | |
| CN111105370A (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| JP7432793B1 (ja) | 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器 | |
| Kınlı et al. | Modeling the lighting in scenes as style for auto white-balance correction | |
| KR100350789B1 (ko) | 이미지 검색시스템의 분위기 칼라 자동추출 및 원래 칼라 조정방법 | |
| CN107025636B (zh) | 结合深度信息的图像去雾方法及装置和电子装置 | |
| CN111866369B (zh) | 图像处理方法及装置 | |
| CN105574844A (zh) | 辐射响应函数估计方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |