CN113496474A - 一种图像处理方法、装置、环视系统、汽车和存储介质 - Google Patents
一种图像处理方法、装置、环视系统、汽车和存储介质 Download PDFInfo
- Publication number
- CN113496474A CN113496474A CN202110659664.9A CN202110659664A CN113496474A CN 113496474 A CN113496474 A CN 113496474A CN 202110659664 A CN202110659664 A CN 202110659664A CN 113496474 A CN113496474 A CN 113496474A
- Authority
- CN
- China
- Prior art keywords
- image
- spliced
- pixel
- images
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012937 correction Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 4
- 241000023320 Luma <angiosperm> Species 0.000 claims 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像处理方法、装置、环视系统、汽车和存储介质，该方法包括：获取多个待拼接图像和多个待拼接图像中每个待拼接图像的像素值集合；多个待拼接图像中相邻的两个待拼接图像具有重叠区域；从多个待拼接图像中确定初始参考图像；基于初始参考图像的像素值集合对除初始参考图像之外的每个待拼接图像的像素值集合进行亮度调整；将初始参考图像与亮度调整后的待拼接图像进行拼接处理，得到环视图像；基于环视图像中每个像素的像素值，确定颜色调整参数；基于颜色调整参数对环视图像进行调整，得到调整后的环视图像。如此，可以消除多个拼接图像之间的拼接痕迹，使得环视图像整体亮度和饱和度趋于均衡，显示效果更加符合人眼的主观感受。
Description
技术领域
本申请涉及图像数据处理技术领域，特别涉及一种图像处理方法、装置、环视系统、汽车和存储介质。
背景技术
环视系统为自动驾驶车辆自动泊车辅助功能提供了车辆周围的环境信息。在车辆应用中，环视系统需要将安装在车辆各个方向上的摄像头采集到的图像进行拼接和融合，输出一张全景环视图像。
现有的环视系统拼接出来的环视图像，拼接痕迹明显，存在人眼可见的明显的分界线，以及由于不同的相机曝光不同，使得环视图像整体显示效果不一致，这非常影响用户体验。
发明内容
本申请实施例提供了一种图像处理方法、装置、环视系统、汽车和存储介质，可以消除多个拼接图像之间的拼接痕迹，可以应用于自动驾驶泊车场景下环视视觉感知，从而使得环视系统输出的环视图像的亮度和饱和度趋于均衡，显示效果更加符合人眼的主观感受。
一方面，本申请实施例提供了一种图像处理方法，包括：
获取多个待拼接图像和多个待拼接图像中每个待拼接图像的像素值集合；多个待拼接图像中相邻的两个待拼接图像具有重叠区域；
从多个待拼接图像中确定初始参考图像；
基于初始参考图像的像素值集合对除初始参考图像之外的每个待拼接图像的像素值集合进行亮度调整；
将初始参考图像与亮度调整后的待拼接图像进行拼接处理，得到环视图像；
基于环视图像中每个像素的像素值，确定颜色调整参数；
基于颜色调整参数对环视图像进行调整，得到调整后的环视图像。
可选的，基于初始参考图像的像素值集合对除初始参考图像之外的每个待拼接图像的像素值集合进行亮度调整，包括：
将初始参考图像确定为当前参考图像；
将当前参考图像的相邻的待拼接图像作为当前待拼接图像；
基于当前参考图像与当前待拼接图像之间的重叠区域，确定重叠区域在当前参考图像上对应的第一子区域和在相邻的待拼接图像上对应的第二子区域；
基于第一子区域对应的第一像素值子集合和第二子区域对应的第二像素值子集合，确定亮度调整参数；
根据亮度调整参数对当前待拼接图像进行调整；
将调整后的当前待拼接图像确定为当前参考图像，再次执行：将当前参考图像的相邻的待拼接图像作为当前待拼接图像；基于当前参考图像与当前待拼接图像之间的重叠区域，确定重叠区域在当前参考图像上对应的第一子区域和在相邻的待拼接图像上对应的第二子区域；基于第一子区域对应的第一像素值子集合和第二子区域对应的第二像素值子集合，确定亮度调整参数；根据亮度调整参数对当前待拼接图像进行调整，直至除初始参考图像之外的每个待拼接图像均已调整。
可选的，基于第一子区域对应的第一像素值子集合和第二子区域对应的第二像素值子集合，确定亮度调整参数，包括：
对第一像素值子集合和所第二像素值子集合分别进行灰度化处理，得到第一灰度值集合和第二灰度值集合；
基于第一灰度值集合和重叠区域的像素尺寸，确定第一灰度均值；
基于第二灰度值集合和重叠区域的像素尺寸，确定第二灰度均值；
根据第一灰度均值和第二灰度均值，确定亮度调整参数。
可选的，像素值集合包括每个像素的红、绿、蓝三个颜色通道值；颜色调整参数包括红色通道调整值、绿色通道调整值和蓝色通道调整值；
基于环视图像中每个像素的像素值，确定颜色调整参数，包括：
基于环视图像中每个像素的红、绿、蓝三个颜色通道值，确定红色通道调整值、绿色通道调整值和蓝色通道调整值；
基于颜色调整参数对环视图像进行调整，包括：
基于红色通道调整值、绿色通道调整值和蓝色通道调整值分别对环视图像中每个像素的红、绿、蓝三个颜色通道值进行调整。
可选的，基于环视图像中每个像素的红、绿、蓝三个颜色通道值，确定红色通道调整值、绿色通道调整值和蓝色通道调整值，包括：
基于环视图像中每个像素的红色通道值和环视图像的像素尺寸，确定红色通道均值；
基于环视图像中每个像素的绿色通道值和环视图像的像素尺寸，确定绿色通道均值；
基于环视图像中每个像素的蓝色通道值和环视图像的像素尺寸，确定蓝色通道均值；
基于红色通道均值、绿色通道均值和蓝色通道均值确定环视图像的像素均值；
根据像素均值和红色通道均值确定红色通道调整值；
根据像素均值和绿色通道均值确定绿色通道调整值；
根据像素均值和蓝色通道均值确定蓝色通道调整值。
可选的，获取多个待拼接图像和多个待拼接图像中每个待拼接图像的像素值集合之后，从多个待拼接图像中确定初始参考图像之前，方法还包括：
基于相机内参对每个待拼接图像进行畸变校正；
和/或，基于相机外参对每个待拼接图像进行逆透视变换处理。
另一方面，本申请实施例提供了一种图像处理装置，包括：
获取模块，用于获取多个待拼接图像和多个待拼接图像中每个待拼接图像的像素值集合；多个待拼接图像中相邻的两个待拼接图像具有重叠区域；
第一确定模块，用于从多个待拼接图像中确定初始参考图像；
第一调整模块，用于基于初始参考图像的像素值集合对除初始参考图像之外的每个待拼接图像的像素值集合进行亮度调整；
第一处理模块，用于将初始参考图像与亮度调整后的待拼接图像进行拼接处理，得到环视图像；
第二确定模块，用于基于环视图像中每个像素的像素值，确定颜色调整参数；
第二调整模块，用于基于颜色调整参数对环视图像进行调整，得到调整后的环视图像。
另一方面，本申请实施例提供了一种环视系统，包括图像采集装置和上述的图像处理装置；图像采集装置用于采集得到多个待拼接图像；图像处理装置用于从图像采集装置获取多个待拼接图像，对多个待拼接图像进行处理，得到环视图像。
另一方面，本申请实施例提供了一种汽车，包括上述的环视系统；环视系统用于通过图像采集装置采集得到多个待拼接图像，通过图像处理装置对多个待拼接图像进行处理，得到环视图像。
另一方面，本申请实施例提供了一种计算机存储介质，存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现上述的图像处理方法。
本申请实施例提供的一种图像处理方法、装置、环视系统、汽车和存储介质具有如下有益效果：
通过获取多个待拼接图像和多个待拼接图像中每个待拼接图像的像素值集合；多个待拼接图像中相邻的两个待拼接图像具有重叠区域；从多个待拼接图像中确定初始参考图像；基于初始参考图像的像素值集合对除初始参考图像之外的每个待拼接图像的像素值集合进行亮度调整；将初始参考图像与亮度调整后的待拼接图像进行拼接处理，得到环视图像；基于环视图像中每个像素的像素值，确定颜色调整参数；基于颜色调整参数对环视图像进行调整，得到调整后的环视图像。如此，可以消除多个拼接图像之间的拼接痕迹，使得环视图像整体亮度和饱和度趋于均衡，显示效果更加符合人眼的主观感受。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种应用场景的示意图；
图2是本申请实施例提供的一种图像处理方法的流程示意图；
图3是本申请实施例提供的一种亮度调整具体步骤的流程示意图；
图4是本申请实施例提供的一种确定各通道调整值具体步骤的流程示意图；
图5是本申请实施例提供的一种环视图像的显示效果对比图；
图6是本申请实施例提供的一种图像处理装置的结构示意图；
图7是本申请实施例提供的一种图像处理方法的服务器的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，图1是本申请实施例提供的一种应用场景的示意图，包括车辆101，车辆101包括环视系统，环视系统通过在车辆101的车身上设置四台相机，该四台相机用于拍摄车辆101的不同方位（前、后、左、右）的环境图像，四台相机中相邻设置的两台相机拍摄的图像存在重叠区域（A/B/C/D），该重叠区域可以是规则或不规则形状的；如图1右侧所示，通过对来自四个相机的四个待拼接图像（I/II/III/IV）进行拼接，最终形成环视图像，由图可以看出，现有技术生成的环视图像存在明显的拼接痕迹，而通过本申请实施例提供的图像处理方法，可使整体亮度和颜色均衡，消除多个拼接图像之间的拼接痕迹。
本申请实施例提供的一种图像处理方法，不仅可以在自动驾驶车辆的环视系统中应用，还可以应用在其他需要对多张拼接图像进行拼接形成全景图的场景中，以消除多个拼接图像之间的拼接痕迹，使得整体环视图像或全景图像的显示效果更加符合人眼的主观感受。
以下介绍本申请一种图像处理方法的具体实施例，图2是本申请实施例提供的一种图像处理方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境）。具体的如图2所示，该方法可以包括：
S201：获取多个待拼接图像和多个待拼接图像中每个待拼接图像的像素值集合；多个待拼接图像中相邻的两个待拼接图像具有重叠区域。
本申请实施例中，多个待拼接图像可由多个图像采集设备拍摄得到，每个图像采集设备被用于拍摄固定方位的环境图像；多个图像采集设备对应的多个待拼接图像最终可拼接为环视图像/全景图像，多个图像采集设备中相邻设置的两个图像采集设备拍摄的两个固定方位存在重叠部分，即，多个待拼接图像中任意相邻的两个待拼接图像存在重叠区域。
本申请实施例中，多个待拼接图像也可由同一图像采集设备拍摄得到，该图像采集设备通过每转动预设角度拍摄一张待拼接图像，在完成360度旋转后得到该多个待拼接图像，该多个待拼接图像最终可拼接为环视图像；其中，每次转动的预设角度小于该图像采集设备的拍摄视角，从而确保多个待拼接图像中任意相邻的两个待拼接图像存在重叠区域。
本申请实施例中，待拼接图像的像素值集合指的是，由该待拼接图像中每个像素的RGB值组成的RGB值集合。
一种可选的实施方式中，步骤S201之后，步骤S203之前，该图像处理方法还包括：基于相机内参对每个待拼接图像进行畸变校正；和/或，基于相机外参对每个待拼接图像进行逆透视变换处理。
具体的，若多个待拼接图像是由多个鱼眼相机采集得到的多个鱼眼图像，则利用标定好的多个相机的内参来对该多个鱼眼图像进行畸变矫正，和/或，基于标定好的相机对该多个鱼眼图像进行逆透视变换处理（Inverse Perspective Mapping，IPM），得到该多个待拼接图像对应的多个IPM图像。
进一步地，还可以利用现有算法，估计两个相邻相机重叠区域针对同一参照物（车体）位置下的像素位置一致性，然后通过优化相机外参，进而减小重叠区域像素位置一致性的误差。
S203：从多个待拼接图像中确定初始参考图像。
S205：基于初始参考图像的像素值集合对除初始参考图像之外的每个待拼接图像的像素值集合进行亮度调整。
本申请实施例中，考虑到多个待拼接图像对应的多个图像采集设备之间，由于曝光度不同，导致多个图像采集设备拍摄的图像具有不同的亮度，从而导致不同区域出现明暗的亮度差；或不同方位由于光线不同也将导致同一图像采集设备拍摄出亮度差明显的多个待拼接图像。
本申请实施例中，可以从多个待拼接图像中选定任一待拼接图像作为初始参考图像，将该初始参考图像的亮度作为主亮度，使得多个待拼接图像中其余的待拼接图像的亮度向该主亮度靠近；即，基于该初始参考图像的RGB值集合，对多个待拼接图像中除初始参考图像之外的每个待拼接图像的RGB值集合进行调整，以实现局部亮度均衡，消除多个拼接图像之间的拼接痕迹，从而使得显示效果更加符合人眼的主观感受。
一种可选的实施方式中，如图3所示，上述步骤S205可以包括：
S2051：将初始参考图像确定为当前参考图像；
S2052：将当前参考图像的相邻的待拼接图像作为当前待拼接图像；
S2053：基于当前参考图像与当前待拼接图像之间的重叠区域，确定重叠区域在当前参考图像上对应的第一子区域和在相邻的待拼接图像上对应的第二子区域；
S2054：基于第一子区域对应的第一像素值子集合和第二子区域对应的第二像素值子集合，确定亮度调整参数；
S2055：根据亮度调整参数对当前待拼接图像进行调整；
S2056：将调整后的当前待拼接图像确定为当前参考图像，再次执行：上述步骤S2052~S2055，直至除初始参考图像之外的每个待拼接图像均已调整。
进一步地，一种可选的实施方式中，上述步骤S2054可以包括：
S20541：对第一像素值子集合和所第二像素值子集合分别进行灰度化处理，得到第一灰度值集合和第二灰度值集合；
具体的，第一像素值子集合包括第一子区域中每个像素的RGB值，根据下述公式（1）对每个像素进行灰度化处理：
其中，Gray表示每个像素进行灰度化之后的灰度值；
利用上述公式（1）对第一子区域中每个像素和第二子区域中每个像素进行灰度化处理之后，得到第一灰度值集合和第二灰度值集合；
S20542：基于第一灰度值集合和重叠区域的像素尺寸，确定第一灰度均值；
S20543：基于第二灰度值集合和重叠区域的像素尺寸，确定第二灰度均值；
具体的，根据下述公式（2）分别确定第一灰度均值和第二灰度均值：
其中，Mean表示灰度均值；M、N分别表示重叠区域的像素尺寸的高度和宽度；
S20544：根据第一灰度均值和第二灰度均值，确定亮度调整参数。
具体的，根据下述公式（3）确定亮度调整参数：
其中，factor表示亮度调整参数；Mean1表示第一灰度均值；Mean2表示第二灰度均值。
进一步地，一种可选的实施方式中，上述步骤S2055中，可以根据下述公式（4）对当前待拼接图像进行调整：
其中，I'(i,j)表示亮度调整后的当前待拼接图像；I(i,j)表示调整前的当前待拼接图像。
该可选的实施方式所提供的亮度调整方式，算法简单、计算量少，可以加快图像处理的速度。
下面通过一个具体的例子对上述步骤S201~S205及其可选的实施方式进行说明。基于图1所示的应用场景，假设安装于车体的四个相机拍摄的四个待拼接图像经优化算法调整外参后生成的IPM图分别为Front、Back、Left和Right；其中，前侧相机和左侧相机的重叠区域为A，前侧相机和右侧相机的重叠区域为B，右侧相机和后侧相机的重叠区域为C，左侧相机和后侧相机的重叠区域为D；选定右侧IPM图作为初始参考图像，将其亮度作为主亮度，然后使得其他三个相机的IPM图的亮度向其靠近；
首先，将右侧IPM图作为当前参考图像，将相邻的前侧IPM图作为当前待拼接图像；其次，确定右侧IPM图与前侧IPM图之间的重叠区域在右侧IPM图上对应的第一子区域为Bright，在前侧IPM图上对应的第二子区域为Bfront；其次，根据上述公式（1）对Bright和Bfront中的每个像素进行灰度化处理，再根据公式（2）确定第一子区域对应的第一灰度均值为Mean_right，第二子区域对应的第二灰度均值为Mean_front；其次，根据公式（3）确定的亮度调整参数为factor=(Mean_right)⁄(Mean_front)；其次，根据公式（4）使用亮度调整参数对前侧IPM图进行亮度调整；同理，利用上述方式对相邻的后侧IPM图进行亮度调整；对于不相邻的左侧IPM图，在前侧IPM图进行亮度调整后，将调整后的前侧IPM图作为当前参考图像，将相邻的左侧IPM图作为当前待拼接图像，执行上述流程，得到的亮度调整参数为factor=(Mean_front)⁄(Mean_left)；如此，可以使前侧、左侧和后侧IPM图的亮度与右侧IPM图的亮度达到一致。
S207：将初始参考图像与亮度调整后的待拼接图像进行拼接处理，得到环视图像。
S209：基于环视图像中每个像素的像素值，确定颜色调整参数。
S211：基于颜色调整参数对环视图像进行调整，得到调整后的环视图像。
本申请实施例中，对多个待拼接图像中除初始参考图像之外的每个待拼接图像进行亮度调整之后，将多个待拼接图像进行拼接处理，得到环视图像；为了进一步使环视图像显示效果更符合人眼主观感受，对环视图像进行整体颜色调整，即对全局红、绿、蓝三个颜色的通道值进行调整。
一种可选的实施方式中，像素值集合包括每个像素的红、绿、蓝三个颜色通道值；颜色调整参数包括红色通道调整值、绿色通道调整值和蓝色通道调整值；
则，上述步骤S209可以包括：基于环视图像中每个像素的红、绿、蓝三个颜色通道值，确定红色通道调整值、绿色通道调整值和蓝色通道调整值；
进一步地，如图4所示，一种具体的基于环视图像中每个像素的红、绿、蓝三个颜色通道值，确定红色通道调整值、绿色通道调整值和蓝色通道调整值的实施方式中，包括：
S2091：基于环视图像中每个像素的红色通道值和环视图像的像素尺寸，确定红色通道均值Mean_R；
S2092：基于环视图像中每个像素的绿色通道值和环视图像的像素尺寸，确定绿色通道均值Mean_G；
S2093：基于环视图像中每个像素的蓝色通道值和环视图像的像素尺寸，确定蓝色通道均值Mean_B；
S2094：基于红色通道均值、绿色通道均值和蓝色通道均值确定环视图像的像素均值；
具体的，环视图像的像素均值可以根据下述公式（5）确定：
其中，k表示环视图像的像素均值；
S2095：根据像素均值和红色通道均值确定红色通道调整值；
具体的，红色通道调整值可以根据下述公式（6）确定：
其中，factorR表示红色通道调整值；
S2096：根据像素均值和绿色通道均值确定绿色通道调整值；
具体的，绿色通道调整值可以根据下述公式（7）确定：
其中，factorG表示绿色通道调整值；
S2097：根据像素均值和蓝色通道均值确定蓝色通道调整值；
具体的，蓝色通道调整值可以根据下述公式（8）确定：
其中，factorB表示蓝色通道调整值。
对应的，上述步骤S211中基于颜色调整参数对环视图像进行调整，可以包括：基于红色通道调整值、绿色通道调整值和蓝色通道调整值分别对环视图像中每个像素的红、绿、蓝三个颜色通道值进行调整。
具体的，可以根据下述公式组（9）分别对环视图像中每个像素的红、绿、蓝三个颜色通道值进行调整：
其中，B'、G'、R'表示调整后的通道值。
通过上述可选的实施方式对环视图像进行整体颜色调整，计算量少，在不影响图像处理速度的前提下最大程度上优化了环视图像的整体显示效果。
请参阅图5，图5是本申请实施例提供的一种环视图像的显示效果对比图，图5（1）所示为现有技术生成的环视图像，图5（2）所示为经本申请上述步骤S201~S205处理后得到的环视图像，由图可见，本申请实施例提供的一种图像处理方法可以使得相邻两个待拼接图像的亮度趋于一致，可以有效消除消除多个拼接图像之间的拼接痕迹；图5（3）所示为经本申请后续步骤S207~S211处理后的环视图像，对比可见，本申请实施例提供的一种图像处理方法可以使得拼接后的环视图像的整体颜色亮度趋于均衡，全局显示效果更符合人眼主观感受。
本申请实施例还提供了一种图像处理装置，图6是本申请实施例提供的一种图像处理装置的结构示意图，如图6所示，该装置包括：
获取模块601，用于获取多个待拼接图像和多个待拼接图像中每个待拼接图像的像素值集合；多个待拼接图像中相邻的两个待拼接图像具有重叠区域；
第一确定模块602，用于从多个待拼接图像中确定初始参考图像；
第一调整模块603，用于基于初始参考图像的像素值集合对除初始参考图像之外的每个待拼接图像的像素值集合进行亮度调整；
第一处理模块604，用于将初始参考图像与亮度调整后的待拼接图像进行拼接处理，得到环视图像；
第二确定模块605，用于基于环视图像中每个像素的像素值，确定颜色调整参数；
第二调整模块606，用于基于颜色调整参数对环视图像进行调整，得到调整后的环视图像。
一种可选的实施方式中，第一调整模块603还用于：将初始参考图像确定为当前参考图像；将当前参考图像的相邻的待拼接图像作为当前待拼接图像；基于当前参考图像与当前待拼接图像之间的重叠区域，确定重叠区域在当前参考图像上对应的第一子区域和在相邻的待拼接图像上对应的第二子区域；基于第一子区域对应的第一像素值子集合和第二子区域对应的第二像素值子集合，确定亮度调整参数；根据亮度调整参数对当前待拼接图像进行调整；将调整后的当前待拼接图像确定为当前参考图像，再次执行：将当前参考图像的相邻的待拼接图像作为当前待拼接图像；基于当前参考图像与当前待拼接图像之间的重叠区域，确定重叠区域在当前参考图像上对应的第一子区域和在相邻的待拼接图像上对应的第二子区域；基于第一子区域对应的第一像素值子集合和第二子区域对应的第二像素值子集合，确定亮度调整参数；根据亮度调整参数对当前待拼接图像进行调整，直至除初始参考图像之外的每个待拼接图像均已调整。
一种可选的实施方式中，第一调整模块603还用于：对第一像素值子集合和所第二像素值子集合分别进行灰度化处理，得到第一灰度值集合和第二灰度值集合；基于第一灰度值集合和重叠区域的像素尺寸，确定第一灰度均值；基于第二灰度值集合和重叠区域的像素尺寸，确定第二灰度均值；根据第一灰度均值和第二灰度均值，确定亮度调整参数。
一种可选的实施方式中，像素值集合包括每个像素的红、绿、蓝三个颜色通道值；颜色调整参数包括红色通道调整值、绿色通道调整值和蓝色通道调整值；第二确定模块605还用于：基于环视图像中每个像素的红、绿、蓝三个颜色通道值，确定红色通道调整值、绿色通道调整值和蓝色通道调整值；
对应的，第二调整模块606还用于：基于红色通道调整值、绿色通道调整值和蓝色通道调整值分别对环视图像中每个像素的红、绿、蓝三个颜色通道值进行调整。
一种可选的实施方式中，第二确定模块605还用于：基于环视图像中每个像素的红色通道值和环视图像的像素尺寸，确定红色通道均值；基于环视图像中每个像素的绿色通道值和环视图像的像素尺寸，确定绿色通道均值；基于环视图像中每个像素的蓝色通道值和环视图像的像素尺寸，确定蓝色通道均值；基于红色通道均值、绿色通道均值和蓝色通道均值确定环视图像的像素均值；根据像素均值和红色通道均值确定红色通道调整值；根据像素均值和绿色通道均值确定绿色通道调整值；根据像素均值和蓝色通道均值确定蓝色通道调整值。
一种可选的实施方式中，该装置还包括校正模块；校正模块用于：基于相机内参对每个待拼接图像进行畸变校正；和/或，基于相机外参对每个待拼接图像进行逆透视变换处理。
本申请实施例还提供了一种环视系统，包括图像采集装置和上述实施例中的图像处理装置；图像采集装置用于采集得到多个待拼接图像；图像处理装置用于从图像采集装置获取多个待拼接图像，对多个待拼接图像进行处理，得到环视图像。
本申请实施例还提供了一种汽车，包括上述的环视系统；环视系统用于通过图像采集装置采集得到多个待拼接图像，通过图像处理装置对多个待拼接图像进行处理，得到环视图像。环视图像可用于实现汽车自动驾驶等其他功能，除了汽车之外，本申请实施例提供的一种环视系统还可以在任何其他需要得到环视图像的应用场景中运用。
本申请实施例中的装置、环视系统、汽车与方法实施例基于同样地申请构思。
本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图7是本申请实施例提供的一种图像处理方法的服务器的硬件结构框图。如图7所示，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（Central Processing Units，CPU）710（处理器710可以包括但不限于微处理器NCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的存储器730，一个或一个以上存储应用程序723或数据722的存储介质720（例如一个或一个以上海量存储设备）。其中，存储器730和存储介质720可以是短暂存储或持久存储。存储在存储介质720的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器710可以设置为与存储介质720通信，在服务器700上执行存储介质720中的一系列指令操作。服务器700还可以包括一个或一个以上电源760，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口740，和/或，一个或一个以上操作系统721，例如Windows，Mac OS，Unix, Linux，FreeBSD等等。
输入输出接口740可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器700的通信供应商提供的无线网络。在一个实例中，输入输出接口740包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口740可以为射频（RadioFrequency，RF）模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图7所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器700还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。
本申请的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种图像处理方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述图像处理方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的图像处理方法、装置、环视系统、汽车和存储介质的实施例可见，本申请通过获取多个待拼接图像和多个待拼接图像中每个待拼接图像的像素值集合；多个待拼接图像中相邻的两个待拼接图像具有重叠区域；从多个待拼接图像中确定初始参考图像；基于初始参考图像的像素值集合对除初始参考图像之外的每个待拼接图像的像素值集合进行亮度调整；将初始参考图像与亮度调整后的待拼接图像进行拼接处理，得到环视图像；基于环视图像中每个像素的像素值，确定颜色调整参数；基于颜色调整参数对环视图像进行调整，得到调整后的环视图像。如此，可以消除多个拼接图像之间的拼接痕迹，使得环视图像整体亮度和饱和度趋于均衡，显示效果更加符合人眼的主观感受。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取多个待拼接图像和所述多个待拼接图像中每个待拼接图像的像素值集合；所述多个待拼接图像中相邻的两个待拼接图像具有重叠区域；
从所述多个待拼接图像中确定初始参考图像；
基于所述初始参考图像的像素值集合对除所述初始参考图像之外的每个待拼接图像的像素值集合进行亮度调整；
将所述初始参考图像与亮度调整后的待拼接图像进行拼接处理，得到环视图像；
基于所述环视图像中每个像素的像素值，确定颜色调整参数；
基于所述颜色调整参数对所述环视图像进行调整，得到调整后的环视图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述初始参考图像的像素值集合对除所述初始参考图像之外的每个待拼接图像的像素值集合进行亮度调整，包括：
将所述初始参考图像确定为当前参考图像；
将所述当前参考图像的相邻的待拼接图像作为当前待拼接图像；
基于所述当前参考图像与所述当前待拼接图像之间的重叠区域，确定所述重叠区域在所述当前参考图像上对应的第一子区域和在所述相邻的待拼接图像上对应的第二子区域；
基于所述第一子区域对应的第一像素值子集合和所述第二子区域对应的第二像素值子集合，确定亮度调整参数；
根据所述亮度调整参数对所述当前待拼接图像进行调整；
将调整后的当前待拼接图像确定为所述当前参考图像，再次执行：将所述当前参考图像的相邻的待拼接图像作为当前待拼接图像；基于所述当前参考图像与所述当前待拼接图像之间的重叠区域，确定所述重叠区域在所述当前参考图像上对应的第一子区域和在所述相邻的待拼接图像上对应的第二子区域；基于所述第一子区域对应的第一像素值子集合和所述第二子区域对应的第二像素值子集合，确定亮度调整参数；根据所述亮度调整参数对所述当前待拼接图像进行调整，直至除所述初始参考图像之外的每个待拼接图像均已调整。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一子区域对应的第一像素值子集合和所述第二子区域对应的第二像素值子集合，确定亮度调整参数，包括：
对所述第一像素值子集合和所第二像素值子集合分别进行灰度化处理，得到第一灰度值集合和第二灰度值集合；
基于所述第一灰度值集合和所述重叠区域的像素尺寸，确定第一灰度均值；
基于所述第二灰度值集合和所述重叠区域的像素尺寸，确定第二灰度均值；
根据所述第一灰度均值和所述第二灰度均值，确定所述亮度调整参数。
4.根据权利要求1所述的方法，其特征在于，所述像素值集合包括每个像素的红、绿、蓝三个颜色通道值；所述颜色调整参数包括红色通道调整值、绿色通道调整值和蓝色通道调整值；
所述基于所述环视图像中每个像素的像素值，确定颜色调整参数，包括：
基于所述环视图像中每个像素的红、绿、蓝三个颜色通道值，确定红色通道调整值、绿色通道调整值和蓝色通道调整值；
所述基于所述颜色调整参数对所述环视图像进行调整，包括：
基于所述红色通道调整值、所述绿色通道调整值和所述蓝色通道调整值分别对所述环视图像中每个像素的红、绿、蓝三个颜色通道值进行调整。
5.根据权利要求4所述的方法，其特征在于，所述基于所述环视图像中每个像素的红、绿、蓝三个颜色通道值，确定红色通道调整值、绿色通道调整值和蓝色通道调整值，包括：
基于所述环视图像中每个像素的红色通道值和所述环视图像的像素尺寸，确定红色通道均值；
基于所述环视图像中每个像素的绿色通道值和所述环视图像的像素尺寸，确定绿色通道均值；
基于所述环视图像中每个像素的蓝色通道值和所述环视图像的像素尺寸，确定蓝色通道均值；
基于所述红色通道均值、所述绿色通道均值和所述蓝色通道均值确定所述环视图像的像素均值；
根据所述像素均值和所述红色通道均值确定所述红色通道调整值；
根据所述像素均值和所述绿色通道均值确定所述绿色通道调整值；
根据所述像素均值和所述蓝色通道均值确定所述蓝色通道调整值。
6.根据权利要求1所述的方法，其特征在于，所述获取多个待拼接图像和所述多个待拼接图像中每个待拼接图像的像素值集合之后，所述从所述多个待拼接图像中确定初始参考图像之前，所述方法还包括：
基于相机内参对所述每个待拼接图像进行畸变校正；
和/或，基于相机外参对所述每个待拼接图像进行逆透视变换处理。
7.一种图像处理装置，其特征在于，包括：
获取模块，用于获取多个待拼接图像和所述多个待拼接图像中每个待拼接图像的像素值集合；所述多个待拼接图像中相邻的两个待拼接图像具有重叠区域；
第一确定模块，用于从所述多个待拼接图像中确定初始参考图像；
第一调整模块，用于基于所述初始参考图像的像素值集合对除所述初始参考图像之外的每个待拼接图像的像素值集合进行亮度调整；
第一处理模块，用于将所述初始参考图像与亮度调整后的待拼接图像进行拼接处理，得到环视图像；
第二确定模块，用于基于所述环视图像中每个像素的像素值，确定颜色调整参数；
第二调整模块，用于基于所述颜色调整参数对所述环视图像进行调整，得到调整后的环视图像。
8.一种环视系统，其特征在于，包括图像采集装置和权利要求7所述的图像处理装置；
所述图像采集装置用于采集得到所述多个待拼接图像；
所述图像处理装置用于从所述图像采集装置获取所述多个待拼接图像，对所述多个待拼接图像进行处理，得到环视图像。
9.一种汽车，其特征在于，包括权利要求8所述的环视系统；
所述环视系统用于通过所述图像采集装置采集得到所述多个待拼接图像，通过所述图像处理装置对所述多个待拼接图像进行处理，得到环视图像。
10.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-6任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110659664.9A CN113496474A (zh) | 2021-06-15 | 2021-06-15 | 一种图像处理方法、装置、环视系统、汽车和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110659664.9A CN113496474A (zh) | 2021-06-15 | 2021-06-15 | 一种图像处理方法、装置、环视系统、汽车和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113496474A true CN113496474A (zh) | 2021-10-12 |
Family
ID=77997658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110659664.9A Pending CN113496474A (zh) | 2021-06-15 | 2021-06-15 | 一种图像处理方法、装置、环视系统、汽车和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113496474A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115460390A (zh) * | 2021-11-22 | 2022-12-09 | 北京罗克维尔斯科技有限公司 | 图像颜色处理方法、装置、车辆、电子设备和存储介质 |
| CN115937050A (zh) * | 2023-03-02 | 2023-04-07 | 图兮数字科技(北京)有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN116503291A (zh) * | 2023-06-21 | 2023-07-28 | 广东广宇科技发展有限公司 | 一种基于色彩增强的图像处理方法 |
| CN117177076A (zh) * | 2022-05-24 | 2023-12-05 | 格兰菲智能科技有限公司 | 通道数值计算方法、环视图生成方法、装置、设备、介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105120247A (zh) * | 2015-09-10 | 2015-12-02 | 联想(北京)有限公司 | 一种白平衡调整方法及电子设备 |
| US20180005410A1 (en) * | 2016-06-29 | 2018-01-04 | Xiaoyi Technology Co., Ltd. | System and method for adjusting brightness in multiple images |
| CN109598673A (zh) * | 2017-09-30 | 2019-04-09 | 深圳超多维科技有限公司 | 图像拼接方法、装置、终端及计算机可读存储介质 |
| CN111696052A (zh) * | 2020-05-20 | 2020-09-22 | 河海大学 | 一种基于红通道衰弱的水下图像增强方法及系统 |
-
2021
- 2021-06-15 CN CN202110659664.9A patent/CN113496474A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105120247A (zh) * | 2015-09-10 | 2015-12-02 | 联想(北京)有限公司 | 一种白平衡调整方法及电子设备 |
| US20180005410A1 (en) * | 2016-06-29 | 2018-01-04 | Xiaoyi Technology Co., Ltd. | System and method for adjusting brightness in multiple images |
| CN109598673A (zh) * | 2017-09-30 | 2019-04-09 | 深圳超多维科技有限公司 | 图像拼接方法、装置、终端及计算机可读存储介质 |
| CN111696052A (zh) * | 2020-05-20 | 2020-09-22 | 河海大学 | 一种基于红通道衰弱的水下图像增强方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115460390A (zh) * | 2021-11-22 | 2022-12-09 | 北京罗克维尔斯科技有限公司 | 图像颜色处理方法、装置、车辆、电子设备和存储介质 |
| CN117177076A (zh) * | 2022-05-24 | 2023-12-05 | 格兰菲智能科技有限公司 | 通道数值计算方法、环视图生成方法、装置、设备、介质 |
| CN115937050A (zh) * | 2023-03-02 | 2023-04-07 | 图兮数字科技(北京)有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN115937050B (zh) * | 2023-03-02 | 2023-10-13 | 图兮数字科技(北京)有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN116503291A (zh) * | 2023-06-21 | 2023-07-28 | 广东广宇科技发展有限公司 | 一种基于色彩增强的图像处理方法 |
| CN116503291B (zh) * | 2023-06-21 | 2023-10-27 | 广东广宇科技发展有限公司 | 一种基于色彩增强的图像处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113496474A (zh) | 一种图像处理方法、装置、环视系统、汽车和存储介质 | |
| CN112767289B (zh) | 图像融合方法、装置、介质及电子设备 | |
| US20170345214A1 (en) | High Resolution (HR) Panorama Generation Without Ghosting Artifacts Using Multiple HR Images Mapped to a Low-Resolution 360-Degree Image | |
| CN111062881A (zh) | 图像处理方法及装置、存储介质、电子设备 | |
| US10778910B2 (en) | System and methods for correcting overlapping digital images of a panorama | |
| CN111986129A (zh) | 基于多摄图像融合的hdr图像生成方法、设备及存储介质 | |
| CN108335272B (zh) | 一种拍摄图片的方法及设备 | |
| CN108038886A (zh) | 双目摄像系统标定方法、装置及其汽车 | |
| CN111385461B (zh) | 全景拍摄方法及装置、相机、移动终端 | |
| CN112954194B (zh) | 一种图像采集装置调整方法、系统、终端及介质 | |
| CN112669758A (zh) | 显示屏校正方法、装置、系统和计算机可读存储介质 | |
| CN111369486A (zh) | 一种图像融合处理方法及装置 | |
| CN109035183A (zh) | 一种亮度调整方法、装置及电子设备 | |
| CN111798374A (zh) | 一种图像拼接方法、装置、设备及介质 | |
| CN107292822B (zh) | 一种图像的拼接方法和装置 | |
| EP3881280B1 (en) | Methods and systems for image processing | |
| CN109672810B (zh) | 图像处理设备、图像处理方法和存储介质 | |
| CN115002345B (zh) | 一种图像校正方法、装置、电子设备及存储介质 | |
| CN107197134A (zh) | 一种用于多个鱼眼镜头的图像的曝光调整方法和装置 | |
| EP3384673B1 (en) | Noise-cancelling filter for video images | |
| CN113409196B (zh) | 一种用于实时视频拼接的高速全局色差矫正方法 | |
| CN113496527B (zh) | 一种车辆环景影像标定方法、装置、系统及存储介质 | |
| CN114119370A (zh) | 图像处理方法及装置、存储介质、电子装置 | |
| CN112053434A (zh) | 视差图的生成方法、三维重建方法及相关装置 | |
| CN113938578A (zh) | 一种图像虚化方法、存储介质及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |