CN103197910B - 图像更新方法和装置 - Google Patents

Abstract

本发明提供一种图像更新方法和装置，所述方法包括以预定频率重复执行下述步骤：获取第一图像当前帧中的每个像素的像素值的变化量；根据第二图像的像素位置到第一图像的像素位置的预定的有序映射关系，对于第二图像当前帧中的任一像素，根据该像素在第一图像当前帧中的对应像素及该对应像素附近预定范围内的像素的像素值的变化量，确定该像素的像素值的将要发生的变化量；以及根据第二图像当前帧中的每一像素的像素值和该像素的像素值的将要发生变化的变化量，确定第二图像下一帧中的每一像素的像素值。使用该方法能够减少图像更新时所需要的运算量。

Description

图像更新方法和装置

技术领域

本发明属于图像处理领域，具体地说，涉及一种图像更新方法和装置。

背景技术

目前，智能手机的运算能力越来越强，网络连接速度越来越快。相比之下，汽车的智能化速度却远不及智能手机。为了弥补这种不平衡，开发出了车载终端和智能手机的协作方式。图1是示意图，示出了车载终端和智能手机的协作方式。如图1所示，用户通过操作车载终端来控制智能手机，在一定程度上可将智能手机上的内容、软件应用等所包含的图像和声音发送到车载终端上显示和播放，从而可以利用智能手机提供的功能来完成某些任务，如导航、网络连接等。MirrorLink即是为该应用设计的协议。

为了将智能手机的屏显内容显示在车载终端上，通常先定时或在手机屏幕变化时采集手机的屏显内容，然后将采集到的手机屏显内容通过网络发送到车载终端。车载终端在收到从智能手机发来的一幅幅静态图像后，根据情况对其进行缩放和旋转，最终将其显示在车载终端的显示屏上。

将智能手机显示屏上的图像显示在车载终端显示屏上时需要考虑的一个问题是如何使智能手机屏显图像的尺寸与车载终端屏显图像的尺寸适配。这是因为，目前智能手机的显示屏尺寸各不相同，同样，车载终端的显示屏大小也各式各样。因此，为了能将智能手机的屏显内容友好完整地再现到车载终端的显示屏上，需要将智能手机的屏显图像转换为适合在车载终端的显示屏上显示的图像，即，需要根据情况对手机屏显内容进行缩小或放大，并根据情况对其进行旋转。

在车载终端显示屏的图像更新过程中，车载终端显示屏上每个像素点的像素值是通过对智能手机显示屏上相应的一个或多个像素点的像素值进行运算来获得的。假设获得车载终端显示屏上的一个像素点的像素值所需运算时间为t，则对一个显示屏像素为800*480的车载终端来说，获得一幅图像所需的时间为384000t，这是非常可观的时间消耗。

车载终端是嵌入式设备，其运算能力有限，为了不影响显示内容的及时更新，需要减少获得每幅图像所需的运算量。

发明内容

本发明是为了解决现有技术中存在的上述技术问题而做出，其目的在于，提供一种图像更新方法和装置，该方法和装置根据MirrorLink的使用场景的特点，能够减少图像更新时所需要的运算量。

为了实现上述目的，根据本发明的一个方面，提供一种图像更新方法，该方法包括以预定频率重复执行下述步骤：

获取第一图像当前帧中的每个像素的像素值相对于该图像前一帧中同位置像素的像素值的变化量；

根据第二图像的像素位置到所述第一图像的像素位置的预定的有序映射关系，对于所述第二图像当前帧中的任一像素，根据该像素在所述第一图像当前帧中的对应像素及该对应像素附近预定范围内的像素的像素值的所述变化量，确定该第二图像当前帧中的所述任一像素的像素值的将要发生变化的变化量；以及

根据所述第二图像当前帧中的每一像素的像素值和该像素的像素值的将要发生变化的变化量，确定所述第二图像下一帧中的每一像素的像素值。

优选地，所述第一图像可以来源于智能手机的显示屏，所述第二图像可以来源于车载终端的显示屏。

优选地，所述第二图像的像素位置到所述第一图像的像素位置的预定的有序映射关系可以为：

$(m_2,n_2)\→(m_1=[\frac{M_1}{M_2}{m}_2],n_1=[\frac{N_1}{N_2}{n}_2\left]\right)$

其中，M₁和N₁分别为所述第一图像的行像素数和列像素数，M₂和N₂分别为所述第二图像的行像素数和列像素数，(m₂,n₂)为所述第二图像的第m₂行第n₂列像素，(m₁,n₁)为所述第一图像的第m₁行第n₁列像素，[]为取整运算符，→表示对应，0≤m₂≤M₂-1，0≤n₂≤N₂-1，0≤m₁≤M₁-1，0≤n₁≤N₁-1。

优选地，对于所述第二图像当前帧中的任一像素(m₂,n₂)在所述第一图像当前帧中的对应像素(m₁,n₁)，该对应像素附近预定范围内的像素可以包括(m₁,n₁+1)、(m₁+1,n₁)和(m₁+1,n₁+1)三个像素。其中，(m₂,n₂)表示所述第二图像的第m₂行第n₂列像素，(m₁,n₁)、(m₁,n₁+1)、(m₁+1,n₁)和(m₁+1,n₁+1)分别表示所述第一图像的第m₁行第n₁列像素、第m₁行第n₁+1列像素、第m₁+1行第n₁列像素和第m₁+1行第n₁+1列像素，0≤m₂≤M₂-1，0≤n₂≤N₂-1，0≤m₁≤M₁-1，0≤n₁≤N₁-1，M₁和N₁分别为所述第一图像的行像素数和列像素数，M₂和N₂分别为所述第二图像的行像素数和列像素数。

进一步优选地，所述第二图像当前帧中的像素(m₂,n₂)的像素值的将要发生变化的变化量ΔP(m₂,n₂)可以为：

ΔP(m₂,n₂)=(1-u)(1-v)ΔP(m₁,n₁)+(1-u)vΔP(m₁,n₁+1)+u(1-v)ΔP(m₁+1,n₁)+uvΔP(m₁+1,n₁+1)

$u=\frac{M_1}{M_2}{m}_2-\left[\frac{M_1}{M_2}{m}_2\right]$ $v=\frac{N_1}{N_2}{n}_2-\left[\frac{N_1}{N_2}{n}_2\right]$

其中，ΔP(m₁,n₁)、ΔP(m₁,n₁+1)、ΔP(m₁+1,n₁)和ΔP(m₁+1,n₁+1)分别表示所述第一图像当前帧中的像素(m₁,n₁)、(m₁,n₁+1)、(m₁+1,n₁)和(m₁+1,n₁+1)的像素值相对于该图像前一帧中同位置像素的像素值的变化量，[]为取整运算符。

根据本发明的另一方面，提供一种图像更新装置，该装置包括：

第一图像像素值变化量获取单元，获取第一图像当前帧中的每个像素的像素值相对于该图像前一帧中同位置像素的像素值的变化量；

第二图像像素值变化量确定单元，根据第二图像的像素位置到所述第一图像的像素位置的预定的有序映射关系，对于所述第二图像当前帧中的任一像素，根据该像素在所述第一图像当前帧中的对应像素及该对应像素附近预定范围内的像素的像素值的所述变化量，确定该第二图像当前帧中的所述任一像素的像素值的将要发生变化的变化量；以及

第二图像像素值确定单元，根据所述第二图像当前帧中的每一像素的像素值和该像素的像素值的将要发生变化的变化量，确定所述第二图像下一帧中的每一像素的像素值。

优选地，所述第一图像可以来源于智能手机的显示屏，所述第二图像可以来源于车载终端的显示屏。

由上面的描述可知，本发明利用了MirrorLink使用场景的特点，即大多数连续两帧图像之间的变化很小，只对智能手机屏显图像的发生了变化的像素进行处理，以得到相应的车载终端屏显图像的像素的变化量，从而能够减少图像更新时所需要的运算量。本发明所述的图像更新方法和装置不仅适用于车载终端的图像随智能手机图像的更新而更新的情形，也可以适用于更普通的情形。

附图说明

通过参考以下结合附图的说明及权利要求书的内容，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1是示意图，示出了车载终端和智能手机的协作方式；

图2是流程图，示出了本发明的一个实施例所述的的图像更新方法；

图3是示意图，示出了本发明的一个实施例所述的第二图像的像素位置到第一图像的像素位置的预定的有序映射关系；

图4是示意图，示出了本发明的另一个实施例所述的第二图像的像素位置到第一图像的像素位置的预定的有序映射关系；

图5是示意图，示出了本发明的一个实施例所述的第二图像当前帧中的某个像素在第一图像当前帧中的对应像素及该对应像素附近预定范围内的像素；以及

图6是方框图，示出了本发明的一个实施例所述的图像更新装置。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

图2是流程图，示出了本发明的一个实施例所述的图像更新方法。如图2所示，本发明的一个实施例所述的图像更新方法包括以预定频率重复执行下述步骤：

步骤S101：获取第一图像当前帧中的每个像素的像素值相对于该图像前一帧中同位置像素的像素值的变化量。其中，第一图像可以来源于智能手机的显示屏。

步骤S103：根据第二图像的像素位置到所述第一图像的像素位置的预定的有序映射关系，对于所述第二图像当前帧中的任一像素，根据该像素在所述第一图像当前帧中的对应像素及该对应像素附近预定范围内的像素的像素值的所述变化量，确定该第二图像当前帧中的所述任一像素的像素值的将要发生变化的变化量。其中，第二图像可以来源于车载终端的显示屏。

步骤S105：根据所述第二图像当前帧中的每一像素的像素值和该像素的像素值的将要发生变化的变化量，确定所述第二图像下一帧中的每一像素的像素值。

所述步骤S101、S103和S105可以在智能手机或车载终端中的一者或两者上执行。

下面结合图3-图5，以示意的方式对上述步骤进行更具体的描述。

图3和图4是示意图，分别示出了本发明的实施例所述的两种情况下的第二图像的像素位置到第一图像的像素位置的预定的有序映射关系。

如图3和图4所示，在本发明的一个实施例中，所述第二图像的像素位置到所述第一图像的像素位置的预定的有序映射关系可以为：

$(m_2,n_2)\→(m_1=[\frac{M_1}{M_2}{m}_2],n_1=[\frac{N_1}{N_2}{n}_2\left]\right)$

其中，M₁和N₁分别为所述第一图像的行像素数和列像素数，M₂和N₂分别为所述第二图像的行像素数和列像素数；(m₂,n₂)为所述第二图像的第m₂行第n₂列像素，(m₁,n₁)为所述第一图像的第m₁行第n₁列像素；[]为取整运算符，对于大于等于零的数来说，它保留该数的整数部分，舍弃其小数部分；→表示对应；0≤m₂≤M₂-1，0≤n₂≤N₂-1，0≤m₁≤M₁-1，0≤n₁≤N₁-1。

在图3所示的简单例子中，第一图像为4行3列图像，第二图像为6行5列图像。以第二图像的第0行像素为例，(0,0)、(0,1)像素与第一图像的(0,0)像素对应，(0,2)、(0,3)像素与第一图像的(0,1)像素对应，(0,4)像素与第一图像的(0,2)像素对应。

在图4所示的简单例子中，第一图像为6行5列图像，第二图像为4行3列图像。以第二图像的第0行像素为例，(0,0)像素与第一图像的(0,0)像素对应，(0,1)像素与第一图像的(0,1)像素对应，(0,2)像素与第一图像的(0,3)像素对应。

显然，所述第二图像的像素位置到所述第一图像的像素位置的预定的有序映射关系不限于上述表达式所规定的映射关系。事实上，对于任一映射关系，设在该映射关系下第二图像像素到第一图像像素的任意两个映射为(m₂,n₂)→(m₁,n₁)和(i₂,j₂)→(i₁,j₁)，如果当m₂≤i₂时有m₁≤i₁，且当n₂≤j₂时有n₁≤j₁，那么该映射关系就是本发明所要求的有序映射关系。有序映射关系可以保证图像更新后不发生严重的歪曲。

图5是示意图，示出了本发明的一个实施例所述的第二图像当前帧中的某个像素在第一图像当前帧中的对应像素及该对应像素附近预定范围内的像素。

在本发明的一个实施例中，对于所述第二图像当前帧中的任一像素(m₂,n₂)在所述第一图像当前帧中的对应像素(m₁,n₁)，该对应像素附近预定范围内的像素可以包括(m₁,n₁+1)、(m₁+1,n₁)和(m₁+1,n₁+1)三个像素，其中，(m₂,n₂)表示所述第二图像的第m₂行第n₂列像素，(m₁,n₁)、(m₁,n₁+1)、(m₁+1,n₁)和(m₁+1,n₁+1)分别表示所述第一图像的第m₁行第n₁列像素、第m₁行第n₁+1列像素、第m₁+1行第n₁列像素和第m₁+1行第n₁+1列像素，0≤m₂≤M₂-1，0≤n₂≤N₂-1，0≤m₁≤M₁-1，0≤n₁≤N₁-1，M₁和N₁分别为所述第一图像的行像素数和列像素数，M₂和N₂分别为所述第二图像的行像素数和列像素数。

在图5所示的简单例子中，设第二图像当前帧上的像素(2,1)在第一图像当前帧中的对应像素为(3,1)，那么，该对应像素(3,1)附近预定范围内的像素可以包括(3,2)、(4,1)和(4,2)三个像素。

由于第一图像与第二图像的尺寸（即行像素数和列像素数）不相同，因此，在由第一图像转换为第二图像的过程中，第二图像的像素(m₂,n₂)到第一图像的像素(m₁,n₁)的映射会出现量化误差。为此，第二图像的像素(m₂,n₂)的像素值最好取其在第一图像中的对应像素(m₁,n₁)以及该对应像素(m₁,n₁)附近预定范围内的像素的像素值的加权平均值，以便使转换后的图像更加平滑自然。具体说，对于上面所述的对应像素附近预定范围的划分，第二图像的像素(m₂,n₂)的像素值P(m₂,n₂)可以表示为：

P(m₂,n₂)=w₁P(m₁,n₁)+w₂P(m₁,n₁+1)+w₃P(m₁+1,n₁)+w₄P(m₁+1,n₁+1)

w₁+w₂+w₃+w₄=1

其中，P(m₁,n₁)、P(m₁,n₁+1)、P(m₁+1,n₁)和P(m₁+1,n₁+1)分别表示所述第一图像中的像素(m₁,n₁)、(m₁,n₁+1)、(m₁+1,n₁)和(m₁+1,n₁+1)的像素值，w₁、w₂、w₃和w₄分别为加权权重。

在本发明的一个实施例中，可以采用如下的权重：

w₁=(1-u)(1-v)，w₂=(1-u)v，w₃=u(1-v)，w₄=uv

$u=\frac{M_1}{M_2}{m}_2-\left[\frac{M_1}{M_2}{m}_2\right]$ $v=\frac{N_1}{N_2}{n}_2-\left[\frac{N_1}{N_2}{n}_2\right]$

显然，上述第一图像中的对应像素附近预定范围的划分不限于上述划分，任何能使转换后的图像平滑自然的划分都落在本发明所保护的范围内。对于每种划分，相应地确定所述加权权重，以反映所述预定范围内的各像素的像素值对于转换后的第二图像的像素值的贡献。

根据本发明，在所述第二图像的更新过程中，只对第一图像的发生了变化的像素进行处理，以得到相应的第二图像像素的将要发生变化的变化量，以便减少图像更新时所需要的运算量。因此，根据本发明的一个实施例，所述第二图像当前帧中的像素(m₂,n₂)的像素值的将要发生变化的变化量ΔP(m₂,n₂)可以为：

ΔP(m₂,n₂)=(1-u)(1-v)ΔP(m₁,n₁)+(1-u)vΔP(m₁,n₁+1)+u(1-v)ΔP(m₁+1,n₁)+uvΔP(m₁+1,n₁+1)

$u=\frac{M_1}{M_2}{m}_2-\left[\frac{M_1}{M_2}{m}_2\right]$ $v=\frac{N_1}{N_2}{n}_2-\left[\frac{N_1}{N_2}{n}_2\right]$

其中，ΔP(m₁,n₁)、ΔP(m₁,n₁+1)、ΔP(m₁+1,n₁)和ΔP(m₁+1,n₁+1)分别表示所述第一图像当前帧中的像素(m₁,n₁)、(m₁,n₁+1)、(m₁+1,n₁)和(m₁+1,n₁+1)的像素值相对于该图像前一帧中同位置像素的像素值的变化量，[]为取整运算符。

在MirrorLink的使用场景中，智能手机上显示的大多数连续两帧图像之间的变化很小，因此往往只有少数像素的像素值发生了变化（即ΔP≠0）。只对这部分像素进行处理，以得到相应的车载终端的图像像素的变化量，从而能够减少图像更新时所需要的运算量。通过对第二图像当前帧中的每一像素的像素值和该像素的像素值的将要发生变化的变化量求和，可以确定第二图像下一帧中的每一像素的像素值。

本发明所述的图像更新方法不仅适用于车载终端的图像随智能手机图像的更新而更新的情形，也可以适用于更普通的情形。

如上参照图2-5描述了本发明所述的图像更新方法。本发明所述的图像更新方法可以采用软件实现，也可以采用硬件实现，或采用软件和硬件组合的方式实现。

图6是方框图，示出了本发明的一个实施例所述的图像更新装置。如图6所示，本发明的一个实施例所述的图像更新装置200包括：第一图像像素值变化量获取单元210、第二图像像素值变化量确定单元220和第二图像像素值确定单元230。

第一图像像素值变化量获取单元210获取第一图像当前帧中的每个像素的像素值相对于该图像前一帧中同位置像素的像素值的变化量。其中，第一图像可以来源于智能手机的显示屏。

第二图像像素值变化量确定单元220根据第二图像的像素位置到所述第一图像的像素位置的预定的有序映射关系，对于所述第二图像当前帧中的任一像素，根据该像素在所述第一图像当前帧中的对应像素及该对应像素附近预定范围内的像素的像素值的所述变化量，确定该第二图像当前帧中的所述任一像素的像素值的将要发生变化的变化量。其中，第二图像可以来源于车载终端的显示屏。

第二图像像素值确定单元230根据所述第二图像当前帧中的每一像素的像素值和该像素的像素值的将要发生变化的变化量，确定所述第二图像下一帧中的每一像素的像素值。

第一图像像素值变化量获取单元210、第二图像像素值变化量确定单元220和第二图像像素值确定单元230可以设置在智能手机或车载终端中的一者或两者上。

尽管已经结合详细示出并描述的优选实施例公开了本发明，但是本领域技术人员应当理解，对于上述本发明所提出的图像更新方法和装置，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (6)

1.一种图像更新方法，包括以预定频率重复执行下述步骤：

获取第一图像当前帧中的每个像素的像素值相对于该图像前一帧中同位置像素的像素值的变化量；

根据第二图像的像素位置到所述第一图像的像素位置的预定的有序映射关系，对于所述第二图像当前帧中的任一像素，根据该像素在所述第一图像当前帧中的对应像素及该对应像素附近预定范围内的像素的像素值的所述变化量，确定该第二图像当前帧中的所述任一像素的像素值的将要发生变化的变化量；以及

根据所述第二图像当前帧中的每一像素的像素值和该像素的像素值的将要发生变化的变化量，确定所述第二图像下一帧中的每一像素的像素值，

其中，所述第二图像的像素位置到所述第一图像的像素位置的预定的有序映射关系为：

$(m_2,n_2)\→(m_1=\[\frac{M_1}{M_2}{m}_2\],n_1=\[\frac{N_1}{N_2}{n}_2\])$

其中，M₁和N₁分别为所述第一图像的行像素数和列像素数，M₂和N₂分别为所述第二图像的行像素数和列像素数，(m₂,n₂)为所述第二图像的第m₂行第n₂列像素，(m₁,n₁)为所述第一图像的第m₁行第n₁列像素，[]为取整运算符，→表示对应，0≤m₂≤M₂-1，0≤n₂≤N₂-1，0≤m₁≤M₁-1，0≤n₁≤N₁-1。

2.如权利要求1所述的图像更新方法，其中，所述第一图像来源于智能手机的显示屏，所述第二图像来源于车载终端的显示屏。

3.如权利要求1所述的图像更新方法，其中，对于所述第二图像当前帧中的任一像素(m₂,n₂)在所述第一图像当前帧中的对应像素(m₁,n₁)，该对应像素附近预定范围内的像素包括(m₁,n₁+1)、(m₁+1,n₁)和(m₁+1,n₁+1)三个像素，

其中，(m₂,n₂)表示所述第二图像的第m₂行第n₂列像素，(m₁,n₁)、(m₁,n₁+1)、(m₁+1,n₁)和(m₁+1,n₁+1)分别表示所述第一图像的第m₁行第n₁列像素、第m₁行第n₁+1列像素、第m₁+1行第n₁列像素和第m₁+1行第n₁+1列像素，0≤m₂≤M₂-1，0≤n₂≤N₂-1，0≤m₁≤M₁-1，0≤n₁≤N₁-1，M₁和N₁分别为所述第一图像的行像素数和列像素数，M₂和N₂分别为所述第二图像的行像素数和列像素数。

4.如权利要求3所述的图像更新方法，其中，

所述第二图像当前帧中的像素(m₂,n₂)的像素值的将要发生变化的变化量ΔP(m₂,n₂)为：

ΔP(m₂,n₂)＝(1-u)(1-v)ΔP(m₁,n₁)+(1-u)vΔP(m₁,n₁+1)+u(1-v)ΔP(m₁+1,n₁)+uvΔP(m₁+1,n₁+1)

$\begin{array}{cc}u=\frac{M_1}{M_2}{m}_2-\[\frac{M_1}{M_2}{m}_2\]& v=\frac{N_1}{N_2}{n}_2-\[\frac{N_1}{N_2}{n}_2\]\end{array}$

其中，ΔP(m₁,n₁)、ΔP(m₁,n₁+1)、ΔP(m₁+1,n₁)和ΔP(m₁+1,n₁+1)分别表示所述第一图像当前帧中的像素(m₁,n₁)、(m₁,n₁+1)、(m₁+1,n₁)和(m₁+1,n₁+1)的像素值相对于该图像前一帧中同位置像素的像素值的变化量，[]为取整运算符。

5.一种图像更新装置，包括：

第一图像像素值变化量获取单元，获取第一图像当前帧中的每个像素的像素值相对于该图像前一帧中同位置像素的像素值的变化量；

第二图像像素值变化量确定单元，根据第二图像的像素位置到所述第一图像的像素位置的预定的有序映射关系，对于所述第二图像当前帧中的任一像素，根据该像素在所述第一图像当前帧中的对应像素及该对应像素附近预定范围内的像素的像素值的所述变化量，确定该第二图像当前帧中的所述任一像素的像素值的将要发生变化的变化量；以及

第二图像像素值确定单元，根据所述第二图像当前帧中的每一像素的像素值和该像素的像素值的将要发生变化的变化量，确定所述第二图像下一帧中的每一像素的像素值，

其中，所述第二图像的像素位置到所述第一图像的像素位置的预定的有序映射关系为：

$(m_2,n_2)\→(m_1=\[\frac{M_1}{M_2}{m}_2\],n_1=\[\frac{N_1}{N_2}{n}_2\])$

其中，M₁和N₁分别为所述第一图像的行像素数和列像素数，M₂和N₂分别为所述第二图像的行像素数和列像素数，(m₂,n₂)为所述第二图像的第m₂行第n₂列像素，(m₁,n₁)为所述第一图像的第m₁行第n₁列像素，[]为取整运算符，→表示对应，0≤m₂≤M₂-1，0≤n₂≤N₂-1，0≤m₁≤M₁-1，0≤n₁≤N₁-1。

6.如权利要求5所述的图像更新装置，其中，所述第一图像来源于智能手机的显示屏，所述第二图像来源于车载终端的显示屏。