CN115801983A - 图像叠加方法和装置、电子设备 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种图像叠加方法和装置、电子设备，本发明的图像叠加方法可以将上层图像以半透明的方式，叠加到下层图像上，从而获得叠加后的图像。本发明的图像叠加方法为了获得更接近使用者第一视角的画面，还原HUD虚实融合的特性，通过本发明的图像叠加方法，叠加时上层图像中亮度高的地方让其叠加时透明度降低，上层图像中暗的地方让其叠加时透明度升高，这样即能保证上层图像亮度高的像素点显示的清晰度，又能保证上层图像亮度低的像素点对底层图像遮挡较小，可以更好地模拟出第一视角使用HUD时，HUD画面叠加到真实物理实景上的视觉效果，保证了叠加后视频的虚实融合效果。

Description

图像叠加方法和装置、电子设备

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像叠加方法和装置、电子设备。

背景技术

现有技术中，在某些场景下需要将两个视频同步对比观察，或者在录制的视频上以半透明的方式叠加其他信息，以获取虚实融合的视频效果。例如在车机HUD（抬头显示器）使用中，用户开启行车记录功能后，车机HUD上的摄像头将会拍摄行驶过程中的真实环境图像，并且将拍摄的视频图像存储在后台的存储器中，同时在HUD设备界面上用户还可以进行其他的操作，例如在设备界面上显示导航、对讲等功能。HUD在使用过程中，使用者可以同时看到HUD半透明显示器中的虚拟图像，也可以看到前方的实景，通过虚实融合的效果，既能看清实景信息，也可以看到HUD中的辅助驾驶信息，从而提升驾驶安全。但是传统的行车记录仪录制的视频仅为摄像头感光元件采集的外界实景画面，这种方法应用在HUD设备上，无法真实的还原使用者第一视角虚实融合的视觉体验，也不能够直观的让视频观看者感受到拍摄者在使用时的真实场景和操作流程。

发明内容

本发明提供一种图像叠加方法，其目的在于，将两个图像叠加在一个画面中，方便用户对两个图像进行对比观察。

一方面，本发明提供一种图像叠加方法,包括：

获取待叠加的上层图像和底层图像；

获取所述上层图像的透明度；

根据所述上层图像和底层图像的YUV值以及所述上层图像的透明度，计算叠加后的目标图像的YUV值，得到所述目标图像。

根据本发明提供的一种图像叠加方法，所述获取所述上层图像的透明度包括：对于上层图像中的任意一个像素点A，通过以下公式（1）计算该像素点A的透明度：

alpha = (yh - 16)/ 220.0 （1）

上述公式（1）中，alpha 表示像素点A的透明度，yh表示像素点A对应的Y值。

根据本发明提供的一种图像叠加方法，所述根据所述上层图像和底层图像的YUV值以及所述上层图像的透明度，计算叠加后的目标图像的YUV值包括：根据以下公式分别计算叠加后的目标图像中任意一个像素点B的YUV值：

yt = yd *（1- alpha）+ yf *alpha

ut= ud *（1- alpha）+ uf *alpha

vt= vd *（1- alpha）+ vf *alpha

上述公式中，yd、ud和vd分别表示上层图像上对应像素点B的那个点的Y值、U值和V值；yf、uf和vf分别表示底层图像上对应像素点B的那个点的的Y值、U值和V值；yt、ut和vt分别叠加后的目标图像中任意一个像素点B的Y值、U值和V值。

根据本发明提供的一种图像叠加方法，在获取待叠加的上层图像和底层图像之后还包括:对所述上层图像和/或底层图像进行预处理；

所述预处理的方式包括对图像格式转换和/或图像大小缩放。

根据本发明提供的一种图像叠加方法，在根据所述上层图像和底层图像的YUV值以及所述上层图像的透明度，计算叠加后的目标图像的YUV值之前包括：

在所述底层图像上确定与所述上层图像大小相同的待叠加区域，获取所述底层图像中待叠加区域的YUV值。

根据本发明提供的一种图像叠加方法，在得到所述目标图像之后还包括：

获取所述上层图像和/或底层图像的音频数据；

将所述音频数据和所述目标图像进行合并，以得到合并后的视频信息。

根据本发明提供的一种图像叠加方法，所述获取待叠加的上层图像和底层图包括：

获取HUD的显示图像作为所述上层图像；

所述车辆行驶过程中摄像头采集的环境图像作为所述底层图像。

另一方面，本发明还提供一种图像叠加装置，包括：

第一获取模块，用于获取待叠加的上层图像和底层图；

第二获取模块，用于获取所述上层图像的透明度；

叠加模块，用于根据所述上层图像和底层图像的YUV值以及所述上层图像的透明度，计算叠加后的目标图像的YUV值，从而得到所述目标图像。

另一方面，本发明还提供一种电子设备，其包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现如上所述的图像叠加方法。

另一方面，本发明还提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上所述的图像叠加方法。

依据上述实施例的图像叠加方法, 其包括：获取待叠加的上层图像和底层图像；获取上层图像的透明度；根据上层图像和底层图像的YUV值以及上层图像的透明度，计算叠加后的目标图像的YUV值，从而得到目标图像。通过本发明的图像叠加方法，叠加时上层图像中亮度高的地方让其叠加时透明度降低，上层图像中暗的地方让其叠加时透明度升高，这样即能保证上层图像显示的清晰度，又能保证底层图像不被覆盖，保证了叠加后视频的观看效果。

附图说明

图1为本发明实施例提供的一种YUV数据格式示意图；

图2为本发明实施例提供的图像叠加示意图；

图3为本发明实施例提供的图像叠加方法流程图；

图4为本发明实施例提供的叠加后的目标图像效果图；

图5为本发明实施例提供的图像叠加装置结构示意图；

图6为本发明实施例提供的电子设备结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本申请提出一种图像叠加方法，根据图像的编码方法，一般摄像头采集的图像都是YUV（颜色编码方法）的画面输出的。“Y”表示明亮度（Luminance或Luma），也就是灰阶值；“U”和“V”表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色，Y值越大，对于的图像点位就越亮。

本发明中以车机HUD摄像头采集的视频作为底层图像，以HUD设备的显示界面的录屏视频为上层图像，在启动摄像头后，通过摄像头可以获取到NV21格式的YUV图像数据(通过摄像头获取NV21格式的YUV图像数据，具体来说是通过其相应的接口获取，此部分为常规方法不做赘述)。使用MediaProjection（安卓的一种录屏技术）来获取设备显示界面当前的屏幕画面，但是屏幕画面为ARGB格式的图像数据，这和摄像头采集的YUV图像是两种不同的颜色格式数据，因此无法直接进行图像的融合和变化。

通过Android平台相应库函数对图像数据格式进行转换和缩放，使得上层图像和底层图像均为YUV中的Nv21。Android通常使用Nv12和Nv21两种格式，Nv12和Nv21其实就是用YUV颜色空间来描述的一种格式。例如以Nv12的数据存储格式进行说明， Nv12的数据存储格式具体结构如图1的表格所示。

根据图1可知，图像数据的前2/3 为每个像素点的Y值，后1/3的数据为图像的UV值，其中每4个Y值对应一组UV值。若要将两个画面叠加起来，就是要将上层图像的Y值矩阵覆盖到底层图像的Y值矩阵的特定位置，将上层图像的UV值矩阵，覆盖到底层图像的UV值矩阵指定的位置。请参考图2，假设下层图像的宽为W，高为H，上层图像的宽为Ws，高为Hs，上层图片要覆盖下层图片的位置的左上点坐标为（x，y），根据上层图像的尺寸大小以及左上点坐标即可将上层的图像数据合并到下层的图像中，即按照以上的方法就能将两个图像叠加到一起。但是使用这种方法将两个图像叠加后，底层图像中被叠加的区域的图像信息就会因为被上层图像覆盖而完全丢失掉，这种情况下如果该区域的画面当中刚好有比较重要的内容，那么就会被灭失掉，因此不能用上述方法对图像进行叠加处理。

如果可以将使用者所能看到的HUD界面内容以半透明的方式叠加到拍摄的环境视频画面中，模拟出HUD画面叠加到真实物理实景上半透明的虚实融合效果，那么视频观察者在观看视频时便可以身临其境感受到使用HUD驾驶时候的视觉感受，可以更真实的记录第一视角的视频。这种方法录制的视频，既能够看到使用者眼前的实景画面，又能看到使用者在整个过程的中的HUD操作流程和设备显示内容，方便对行驶者的行驶轨迹、驾驶情况以及操作信息进行联合分析。本发明中经过研究发现，如果需要保证将上层图像叠加到底层图像中的效果，即能保证上层图像显示的清晰度，又能保证底层图像不被覆盖，则需要主要需要对上层图像的透明度进行调整，叠加时上层图像中亮度高的地方让其叠加时透明度降低，上层图像中暗的地方让其叠加时透明度升高。经过测试，根据上层图像的透明度以及上层图像和底层图像的YUV值，对叠加区域的每个像素点的YUV值进行处理，然后对YUV值进行重新编码后，得到的叠加后的目标图像则具有良好的显示效果，在保证上层图像显示的清晰的同时，又能保证底层图像不被覆盖。

实施例一：

本实施例提供一种图像叠加方法，如图1，该图像叠加方法包括：

步骤101：获取待叠加的上层图像和底层图像。

其中，本实施例中，获取车机HUD摄像头采集的视频作为底层图像，以HUD设备的显示界面的录屏视频为上层图像，在启动摄像头后，通过相应的接口可以获取到NV21格式的YUV图像数据。

步骤102：获取上层图像的透明度。

本实施例中，对于上层图像中的任意一个像素点A，通过以下公式（1）计算该像素点A的透明度：

alpha = (yh - 16)/ 220.0 （1）

上述公式（1）中，alpha 表示像素点A的透明度，yh表示像素点A对应的Y值，通过公式（1）即可计算得到上层图像中每个像素点的透明度。

结合HUD设备的特点，如果在进行有透明的图像叠加时，上层图像中亮度高的地方让其叠加时透明度降低，上层图像中暗的地方让其叠加时透明度升高，这样就能展示出更好的效果。根据YUV的颜色格式定义可知，Y值就是用来表示图像中像素点的亮度的。所以本实施例中根据Y值来动态的调整叠加时参与计算的透明度的大小。Alpha的取值范围（0.0~1），0表示全透，1表示不透。

步骤103：根据上层图像和底层图像的YUV值以及上层图像的透明度，计算叠加后的目标图像的YUV值，从而得到目标图像。

本实施例中，对上层图像的透明度进行调整时，上层图像中亮度高的地方让其叠加时透明度降低，上层图像中暗的地方让其叠加时透明度升高。具体的，通过以下公式计算叠加后的图像中任意一个像素点B的YUV值：

yt = yd *（1- alpha）+ yf *alpha

ut= ud *（1- alpha）+ uf *alpha

vt= vd *（1- alpha）+ vf *alpha

上述公式中，yd、ud和vd分别表示上层图像的Y值、U值和V值；yf、uf和vf分别表示底层的Y值、U值和V值；yt、ut和vt分别叠加后的目标图像中任意一个像素点B的Y值、U值和V值，alpha表示上层图像中当前像素点对应的透明度，不同像素点的Y值不同，则其对应的透明度也不同。

具体的，例如以附图2为例，将上层图像叠加到底层图像的具体实现方式包括：根据上层图像的尺寸大小以及需要在下层图像中的叠加位置，将上层的图像数据合并到下层的图像中，然后再将叠加后的图像中任意一个像素点亮度值Y设置为通过上述公式计算出的yt。然后根据上层图像的Y值计算出每个点对应的透明度，然后使用对应的透明度值，将上层图像的UV值矩阵，通过算法覆盖到底层图像的UV值矩阵指定的位置，然后通过上述公式重新计算叠加区域的Y值矩阵中的每个像素点对应的yt，将叠加后的图像的Y值设置为yt。通过以上方法即可根据上层图像的每个点与对应的下层图像的每个图像点，进行计算融合得到了在叠加显示画面中显示的最终目标图像的图像数据。

在一种实施例中，在对上层图像和底层图像进行叠加之前，还需要对上层图像或底层图像进行预处理；预处理方式包括对图像格式转换和/或图像大小缩放，例如本实施例中，将录制的设备屏幕图像（即ARGB格式的图像）数据进行格式转换，得到YUV格式的图形数据。

在一种实施例中，在根据上层图像和底层图像的YUV值以及上层图像的透明度，计算叠加后的目标图像的YUV值之前包括：在底层图像上确定与上层图像大小相同的待叠加区域（即在显示画面中的叠加区域坐标），获取底层图像中待叠加区域的YUV值。

在一种实施例中，在得到目标图像之后还包括：获取上层图像或底层图像的音频数据；将音频数据和所述目标图像进行合并，以得到合并后的视频信息。例如，本实施例中，将摄像头采集的视频和显示设备显示的界面录取的视频叠加后，同时将采集的与环境视频同步的音频数据叠加到目标图像中，即将视频和数据和音频数据进行同步编码，得到最终的视频数据。

其中，依据本实施例的视频叠加方法叠加后得到的视频如图4所示，从图4可知，得到的叠加后的目标图像则具有良好的显示效果，在保证上层图像显示的清晰的同时，又能保证底层图像不被覆盖。

实施例二：

下面对本发明提供的图像叠加装置进行描述，下文描述的图像叠加装置与上文描述的图像叠加方法可相互对应参照。

如图5，本实施例提供的图像叠加装置包括：第一获取模块201、第二获取模块202和叠加模块203。

其中，第一获取模块201用于获取待叠加的上层图像和底层图；第二获取模块202用于获取所述上层图像的透明度；叠加模块203用于根据上层图像和底层图像的YUV值以及上层图像的透明度，计算叠加后的目标图像的YUV值，从而得到目标图像。

其中，上述各个模块的功能的实现方法和上述实施例一中类似，本实施例中不再赘述。

实施例三：

图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行上述各方法所提供的图像叠加方法，该方法包括：获取待叠加的上层图像和底层图像；获取上层图像的透明度；根据上层图像和底层图像的YUV值以及上层图像的透明度，计算叠加后的目标图像的YUV值，从而得到目标图像。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像叠加方法，该方法包括：获取待叠加的上层图像和底层图像；获取上层图像的透明度；根据上层图像和底层图像的YUV值以及上层图像的透明度，计算叠加后的目标图像的YUV值，从而得到目标图像。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像叠加方法，该方法包括：获取待叠加的上层图像和底层图像；获取上层图像的透明度；根据上层图像和底层图像的YUV值以及上层图像的透明度，计算叠加后的目标图像的YUV值，从而得到目标图像。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像叠加方法, 其特征在于，包括：

获取待叠加的上层图像和底层图像；

获取所述上层图像的透明度；

根据所述上层图像和底层图像的YUV值以及所述上层图像的透明度，计算叠加后的目标图像的YUV值，从而得到所述目标图像。

2.如权利要求1所述的图像叠加方法, 其特征在于，所述获取所述上层图像的透明度包括：对于上层图像中的任意一个像素点A，通过以下公式（1）计算该像素点A的透明度：

alpha = (yh - 16)/ 220.0 （1）

上述公式（1）中，alpha 表示像素点A的透明度，yh表示像素点A对应的Y值。

3.如权利要求2所述的图像叠加方法, 其特征在于，所述根据所述上层图像和底层图像的YUV值以及所述上层图像的透明度，计算叠加后的目标图像的YUV值包括：根据以下公式分别计算叠加后的目标图像中任意一个像素点B的YUV值：

yt = yd *（1- alpha）+ yf *alpha

ut= ud *（1- alpha）+ uf *alpha

vt= vd *（1- alpha）+ vf *alpha

上述公式中，yd、ud和vd分别表示上层图像的Y值、U值和V值；yf、uf和vf分别表示底层图像的Y值、U值和V值；yt、ut和vt分别表示叠加后的目标图像中任意一个像素点B的Y值、U值和V值。

4.如权利要求1-3所述的图像叠加方法, 其特征在于，在获取待叠加的上层图像和底层图像之后还包括:对所述上层图像和/或底层图像进行预处理；

所述预处理的方式包括对图像格式转换和/或图像大小缩放。

5.如权利要求1-4中任一项所述的图像叠加方法, 其特征在于，在根据所述上层图像和底层图像的YUV值以及所述上层图像的透明度，计算叠加后的目标图像的YUV值之前包括：

在所述底层图像上确定与所述上层图像大小相同的待叠加区域，获取所述底层图像中待叠加区域的YUV值。

6. 如权利要求1-5中任一项所述的图像叠加方法, 其特征在于，在得到所述目标图像之后还包括：

获取所述上层图像和/或底层图像的音频数据；

将所述音频数据和所述目标图像进行合并，以得到合并后的视频信息。

7.如权利要求1-5中任一项所述的图像叠加方法, 其特征在于，所述获取待叠加的上层图像和底层图包括：

获取HUD的显示图像作为所述上层图像；

所述车辆行驶过程中摄像头采集的环境图像作为所述底层图像。

8.一种图像叠加装置，其特征在于，包括：

第一获取模块，用于获取待叠加的上层图像和底层图；

第二获取模块，用于获取所述上层图像的透明度；

叠加模块，用于根据所述上层图像和底层图像的YUV值以及所述上层图像的透明度，计算叠加后的目标图像的YUV值，从而得到所述目标图像。

9.一种电子设备，其特征在于包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现如权利要求1-7中任一项所述的图像叠加方法。

10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-7中任一项所述的图像叠加方法。

Images