CN106060658A - 一种图像处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法及装置，涉及显示技术领域，用以解决现有技术中对画面的调整方式不够灵活的问题。该方法包括：将待显示的第一图像分为N个数据块，N≥2；根据观众对所述数据块的关注程度，确定所述第一图像中M个数据块的图像处理方案，1≤M≤N；对所述第一图像中的M个数据块分别采用各自对应的图像处理方案进行图像处理，以得到第二图像。

Description

一种图像处理方法及装置

技术领域

本发明涉及显示技术领域，尤其涉及一种图像处理方法及装置。

背景技术

随着视频处理技术的发展和日渐完善，电视机的画面显示效果也逐步改善。特别是随着超高清电视、曲面电视的兴起，电视机已能很大程度上满足观众的观看需求。

现有技术提供了一种图像处理方法，可以根据观众与电视机的距离，自动调整显示画面的分辨率，从而保证观众在不同的观看距离时，都可以有比较好的视觉效果。但是，该方法是对整个画面进行统一调整，可见调整方式不够灵活。

发明内容

本发明的实施例提供一种图像处理方法及装置，用以结合观众对画面不同部分的关注程度，为至少一部分选择图像处理方案，并按照该图像处理方案对图像中相应的那部分进行调整，以解决现有技术中对画面的调整方式不够灵活的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明实施例提供了一种图像处理方法，包括：

将待显示的第一图像分为N个数据块，N≥2；

根据观众对所述数据块的关注程度，确定所述第一图像中M个数据块的图像处理方案，1≤M≤N；

对所述第一图像中的M个数据块分别采用各自对应的图像处理方案进行图像处理，以得到第二图像。

第二方面，本发明实施例提供了一种图像处理装置，包括：

分块单元，用于将待显示的第一图像分为N个数据块，N≥2；

确定单元，用于根据观众对所述分块单元划分得到的数据块的关注程度，确定所述第一图像中M个数据块的图像处理方案，1≤M≤N；

处理单元，用于对所述第一图像中的M个数据块分别采用各自对应的、且由所述确定单元确定的图像处理方案进行图像处理，以得到第二图像。

本发明实施例提供了一种图像处理方法及装置，由于现有技术对整个画面进行统一调整，调整方式不够灵活，所以本发明实施例将待显示的第一图像分为多个数据块，也即将第一图像划分成了多个部分。之后，根据观众对各个数据块的关注程度，为该第一图像中的一个或多个数据块确定其相应的图像处理方案；进而可以对这些数据块分别进行图像处理，以得到新的第二图像。可见，本实施例中的方式是对画面进行分部分图像处理，无需像现有技术一样对画面整体调节，从而可以增强画面调节的灵活度。进一步的，由于在选择图像处理方案的过程中，需考虑到观众对各个数据块的关注程度，这样更有利于观看效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像处理方法的流程图；

图2为本发明实施例提供的通过检测屏幕前是否有观众控制显示画面的流程图；

图3为本发明实施例提供的一种将显示屏幕前方的区域划分子区的方法；

图4为本发明实施例提供的又一种将显示屏幕前方的区域划分子区的方法；

图5为本发明实施例提供的再一种将显示屏幕前方的区域划分子区的方法；

图6为本发明实施例提供的观众的位置信息示意图；

图7为本发明实施例提供的一种学习统计的流程图；

图8为本发明实施例提供的一种图像处理装置的框图；

图9为本发明实施例提供的数据块划分示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。

本发明实施例的工作原理在于，将显示画面分割成多个部分，并结合观众对各部分的关注程度，为至少一部分选择图像处理方案，并按照该图像处理方案对图像中相应的那部分进行调整，无需像现有技术一样对画面整体调节，从而可以增强画面调节的灵活度。

下面，将详细描述本发明实施例提供的图像处理方法及装置。

实施例一、

本实施例提供的一种图像处理方法，该方法各步骤的执行主体可以是图像处理装置，该装置可单独设置，也可以设置于可支持显示的终端设备中，该终端设备可以是电视机、机顶盒、电视机与机顶盒的一体机、计算机设备的显示器、计算机设备的主机、或包含显示器和主机的一体计算机设备(例如：一体机电脑等)，在此不做限定。如图1所示，该图像处理方法包括：

S101(可选)、图像处理装置开启。

具体的，可以是终端设备在收到用户开启指令后，控制开启图像处理装置，之后图像处理装置开始工作，也即开启了图像处理功能。示例的，用户可以通过已配置的开关(或按键)来选择打开或关闭此图像处理功能。 当然，图像处理装置也可以是终端设备开机时自行启动。示例的，可以终端设备中的控制模块(例如CPU)在收到用户开启指令后，调用存储器中用于执行图像处理功能的软件程序，即开启了图像处理装置。

S102(可选)、检测显示屏幕前的监控区域内是否有观众。

由于在现实生活中，有些情况下观众打开电视后，可能会去做其他事情，电视机只是作为了一个“收音机”的功能存在。因此，本实施例中可以在一定时间内不停地检测监控区域是否有人。该检测过程可以贯穿于整个电视机的工作过程，而不是单次检测即结束。

这里若图像处理装置针对的终端设备不同，则显示屏幕也不同。本领域技术人员应该理解，若图像处理装置置于电视机、机顶盒或者电视机与机顶盒的一体机中，或者与这些终端设备中的一个连接，用于对电视画面进行调节，则此处的显示屏幕为电视机的屏幕。若图像处理装置置于计算机设备的显示器、计算机设备的主机、或包含显示器和主机的一体计算机设备中，或者与这些终端设备中的一个连接，用于对输入到显示器的数据进行调节，则此处的显示屏幕为显示器的屏幕。

示例的，图像处理装置可与信息采集装置相连(两者也可以为一体结构)，此时图像处理装置可以开启信息采集装置，并且可以由图像处理装置中的检测单元根据信息采集装置采集到的信息，确定显示屏幕前的监控区域内是否有观众。本领域技术人员应该理解，此处的监控区域由信息采集装置的安装位置、个数及其采集范围等决定，而本领域技术人员可以这些因素合理设置信息采集装置，从而对其需要的监控区域进行检测。

例如，信息采集装置可以是图像采集装置(一个普通摄像头或红外摄像机，或一组摄像头等)，该图像采集装置例如可以安装在电视机上，图像采集装置可以在开启后，对室内可观看电视节目的区域进行拍摄，得到该区域的图像，并反馈给图像处理装置，以便图像处理装置中的检测单元可以对该图像采用对称差分算法等检测方法得知监控区域内是否有观众。由于在现实场景中，观众的观看位置信息不会频繁变动，因此本着节约资源的考虑，可以采取每间隔一段时间(例如1秒)来进行一次图像采集，其余时间该图像采集装置可以关闭。

又例如，信息采集装置可以是红外热释电传感器，该红外热释电传感 器例如可以安装在电视机上，在其开启后，将生成的电信号传递给图像处理装置，以便图像处理装置可以根据该电信号得知在监控区域内是否有观众。

若此步骤中检测到监控区域内没有观众，则进行步骤S103；若检测到监控区域内有观众，则进行步骤S104。

S103(可选)、在预设的检测时长内，若监控区域内始终没有观众，则关闭显示画面。

此步骤具体为：如果图像处理装置检测到监控区域内无观众，则会在其之后的检测时长内循环进行步骤S102；若在该检测时长到达时，监控区域内始终没有观众，则为了节能，可以控制电视机或显示器进入声音播放模式，即仅播放声音且不显示画面的模式。

示例的，可参考图2，当图像处理装置中检测单元检测到监控区域内无观众时，则可以给图像处理装置中的控制单元(例如MCU，Microcontroller Unit，微控制单元)传递一个开始计时的信号，MCU开始计时，并判断统计的时长是否达到预设的检测时长。若达到检测时长，则发出关闭画面的信号；以控制电机机为例，可以通知TV端切断视频通路，同时保留音频通路的信号传输；当然也可以直接关闭显示屏幕。若未达到检测时长，则仍由检测单元检测监控区域是否有观众。

若在该检测时长到达前，监控区域内出现观众，则检测单元可以向MCU发出出现观众的信号，以使MCU退出计时模式，图像处理装置进行步骤S104。

在关闭掉显示画面之后，图像处理装置中的检测单元仍在检测监控区域内是否有观众，当检测到监控区域内重新出现观众时，检测单元可以向MCU发出出现观众的信号，以使得MCU可发出恢复画面的信号。以控制电机机为例，可以通知TV端恢复视频通路，或者，控制打开显示屏幕。

S104(可选)、获取待显示的第一图像的处理系数矩阵。

所谓第一图像是指需要在显示屏幕上显示的图像，若按照现有技术，则该第一图像可直接显示于显示屏幕上，或者，按照背景技术可以在改变分辨率后显示在显示屏幕上；然而，该第一图像作为本实施例中进行图像处理的对象，需分部分处理后再显示。该第一图像可以是静态图像、也可 以是动态图像(例如视频等)。以对电视信号进行图像处理为例，此步骤中的第一图像可以是从电视信号源接收到的视频流。本领域技术人员应该理解，这里的图像实际上是由像素点的数据(像素值)构成的。

若第一图像包括多帧，则同一处理系数矩阵可以作为其中一帧的处理依据，也可以作为第一图像中连续n(n大于或等于2)帧的处理依据。通常连续n帧的图像一般不会变化很大，因而本实施例优选为后者，这样可以不必为每帧图像确定一处理系数矩阵，从而可以加快处理速度。另外，如果图像处理装置直接检测接收到的视频流中各帧是否相对变化，就会相对复杂；因而，本实施例中可以对预设帧数的图像确定一处理系数矩阵，预设帧数可以是根据实际经验而定，在此不做限定；例如，针对视频流中的每30帧图像确定一处理系数矩阵。当然，本实施例中还可以每隔预设时长确定一次处理系数矩阵，同样的预设时长也可根据实际经验而定，在此不做限定；例如，图像处理装置可以每隔1s确定一处理系数矩阵，若显示屏幕的刷新频率为60Hz，则该处理系数矩阵可用于60帧图像的处理依据。

处理系数矩阵包括第一图像中每个像素点的处理系数，像素点的处理系数用于表征观众对该像素点的关注程度。以下提供三种优选的处理系数矩阵的获取方案。

方案1、

由于观众位置的不同，决定了观众对显示屏幕不同区域关注程度不同，例如：图6中的观众A位于显示屏幕前方的左侧，则该观众A就会更关注显示屏幕右侧的区域；因此，此方案中的处理系数矩阵可以根据当前在显示屏幕前的各个观众所在的位置分析得到。

具体的，此步骤包括：

(1)检测各个观众的位置信息。

其中，观众的位置信息用于表示该观众所在位置相对于显示屏幕中心位置的偏离信息。示例的，参考图6，此处的偏离信息可以是观众所在位置相对于显示屏幕中心位置(中线)的角度θ，为了表示观众在左侧还是在右侧，该角度θ可以有正负。由于本实施例中无需获取非常精确的偏离信息，为了降低计算复杂度，因此本实施例中优选的，将显示屏幕前方的 区域按照任一位置相对于屏幕中心位置的偏离程度分为至少两个子区，例如：参考图3，将显示屏幕前方的区域按照任一位置相对于显示屏幕中心位置的角度θ划分至少两个子区，图3中以6个子区(用a1～a6表示)为例，此时，本实施例获取的任一观众的位置信息可以是该观众所在的子区信息(a1～a6中一个的子区号)。

示例的，参考图6，此处的偏离信息可以是观众所在位置相对于显示屏幕中心位置、在沿着横对称轴(横对称轴为显示屏幕上与人眼连线近似平行的对称轴)方向上的距离d1，为了表示观众在左侧还是在右侧，该距离d1可以有正负。同样的，为了降低计算复杂度，本实施例优选的，将显示屏幕前方的区域按照任一位置相对于屏幕中心位置、在沿着横对称轴方向上的距离分为至少两个子区，图4中以6个子区(用b1～b6表示)为例，本实施例获取的任一观众的位置信息可以是该观众所在的子区信息(b1～b6中一个的子区号)。

进一步为了使得位置信息不仅可以反映出观众相对于显示屏幕在左右方向上的偏移程度，还可以反映出观众距离显示屏幕的远近，本实施例优选的，观众的位置信息还用于表示该观众所在位置相对于显示屏幕的距离信息。

具体的，该距离信息可以参考图6，是观众所在位置相对于显示屏幕中心位置的距离d2，还可以是观众所在位置到显示屏幕所在平面的距离d2’。由此可知，该位置信息可以包括：偏移信息(角度θ或距离d1)、以及距离信息d2/d2’。本实施例中优选的，可以将显示屏幕前方的区域按照任一位置相对于屏幕中心位置的偏离程度(图示中以角度θ为例，当然也可以是距离d1)、以及该位置相对于显示屏幕的距离(图示中以d2为例，当然也可以是距离d2’)划分为阵列排布的子区，例如，图5中将显示屏幕前方的区域划分为18个子区，用c1～c18表示，本实施例获取的任一观众的位置信息可以是该观众所在的子区信息(c1～c6中的一个子区号)。

(2)结合所述各个观众的位置信息，确定观众中心的位置信息。

可选的，若位置信息为上述的角度θ/距离d1，或者进一步包含距离d2，则可以将各个观众的位置信息求取平均值，得到观众中心的位置信息。

优选的，位置信息为上述的子区，本实施例中以图5划分的子区为例。此步骤可以包括：

首先，查询所述各个观众的位置信息所对应的权重值，其中，一位置信息对应的权重值用于表征该位置信息的观看效果。

示例的，参考图5屏幕前方的区域划分成c1～c18，共18个子区。本实施例中，可以预先设定每个子区对应的权重值，例如可以预先设置子区号与权重值的对应关系，该对应关系可采用映射表的形式存储。从而，当通过步骤(1)得知一观众的子区号之后，就可以从映射表中查找到其对应的权重值。

需要说明的是，本实施例中每个子区对应多大的权重值，本领域技术人员可以根据实际经验而定，通常而言，若观众位于显示屏幕的最佳观看位置(图5中的点Q)，该最佳观看位置所在的子区(c15和c16)对应的权重值最大；并且，对于距离d2相同的各子区(例如：c7-c12)而言，越靠中心的权重值越大；对于角度θ相同的各子区(例如c2、c8、c14)而言，则这些子区中与显示屏幕的最佳观看位置距离d2相同的子区，其权重值最大，且其他子区越靠近该权重值最大的子区则权重值越大。

进一步需要说明的是，若观众位于相邻两子区的分界线上，则该观众的位置信息可以是相邻两子区中任一个的子区号，如图5中的点Q既可以是c15子区内的点，也可以是c16子区内的点。示例的，假设c1～c18依次的权重值0.7，0.8，0.9，0.9，0.8，0.7，0.8，0.9，1.0，1.0，0.9，0.8，0.9，1.0，1.1，1.1，1.0，0.9(以下的计算以这组权重值为例)，这些值需要根据实际情况最终确定。又如，c1～c18的权重值也可以依次为0.4，0.6，0.9，0.9，0.6，0.4，0.6，0.8，1.1，1.1，0.8，0.6，0.8，1.0，1.3，1.3，1.0，0.8。因此只要是满足实际情况规律的一组权重值都是本实施例要保护的内容)。其中，一位置信息对应的权重值用于表征该位置信息的观看效果，权重值越大，观看效果越好，那么可知c15和c16位置的观看效果最好。

其次，根据各个观众的权重值，求取平均权重值。

可选的，不考虑是否存在操作遥控器的观众。结合图5和图6，若观众A位于c2子区，观众B位于c15子区，观众C位于c11子区，则此时 平均权重值可以是(1＊0.8+1＊1.1+1＊0.9)/3≈0.933≈0.9。

进一步的，需要更加重视操作遥控器的观众的对整个显示屏幕的观看效果，因此优选的，若各个观众包括操作遥控器的观众，那么根据各个观众的权重值，求取平均权重值时将操作遥控器的观众的权重值的2倍与剩余观众的权重值之和除以操作遥控器的观众的人数的2倍与剩余观众的人数之和，得到平均权重值，其中，剩余观众为各个观众中除了操作遥控器的观众之外的观众。例如：观众B为操作遥控器的观众，那么平均权重值是(1＊0.8+2＊1.1+1＊0.9)/4＝0.975≈1.0。

又如(图中未表示)：若c2子区有1个观众，c11子区有2个观众，c14子区有1人观众，其中，c11子区中的2个观众中有一个观众是操作遥控器的，则c11子区相当于有3个观众。那么观众的平均权重值为(1＊0.8+3＊0.9+1＊1.0)/5＝0.9。

再次，查询该平均权重值对应的位置信息作为观众中心的位置信息。

若得到的平均权重值存在于映射表中，则直接从该映射表中查询该平均权重值对应的位置信息即可。需要说明的是，若查找到的位置信息不止一个，则可选的，从这些位置信息中任选一个作为观众中心的位置信息。优选的，可以从这些位置信息中确定对应观众个数最多的位置信息作为观众中心的位置信息；举例而言，若c2子区有1个观众，c11子区有2个观众(其中，有一个观众是操作遥控器的)，c14子区有1人观众，则平均权重值为0.9，则查询平均权重值0.9对应的位置信息有c3、c4、c8、c13、c11和c18共6个子区，由于c11子区相当于有3个观众，因此可以取c11子区作为观众的中心位置，若有出现两个可选子区的观众数相同，则可任选一个。

若得到的平均权重值不存在映射表中，则可以先从映射表中找到与该平均权重值最接近的一个权重值作为优选权重值，再从该映射表中查询该优选权重值对应的位置信息即可，具体方法可以参考上面的描述。

(3)根据观众中心的位置信息，生成第一处理系数矩阵。

具体的，可以预先设定好位置信息与第一处理系数矩阵的对应关系，那么当得知观众中心的位置信息后，就可以通过该对应关系找到观众中心的位置信息所对应的第一处理系数矩阵。二者的对应关系可以是本领域技 术人员根据经验得到的，又或者，可以是让多个观众处于同一子区观看同一个显示画面，各个观众可以反馈对该显示画面不同部分的关注程度，之后，设计人员可以根据位于该子区内各观众的反馈情况设置该子区对应的第一处理系数矩阵。

例如：结合图5分成了18个子区，每个子区可以对应一个第一处理系数矩阵，若观众中心的位置信息为c11，则可找到c11对应的第一处理系数矩阵。

当然，也可以根据预先设置的由位置信息生成第一处理系数矩阵的规则，得到观众中心的位置信息对应的第一处理系数矩阵。该规则的输入为位置信息，输出为第一处理系数矩阵。且该规则的设定可以是本领域技术人员根据观众在不同子区时，对显示屏幕上各像素点的关注程度而定。

示例的，可以由计算出的观众中心的位置信息，来指导显示屏幕中心像素点及其周围像素点的处理系数。本实施例中，处理系数为大于或等于0的整数，且一像素点的处理系数越大，表明观众对该像素点的关注程度越大。一般认为，中心像素点无论对于每个位置的观众而言，均是最关注的像素点，因此该中心像素点的处理系数可以设置为0。中心像素点其周围像素点的处理系数，依赖于观众中心的位置信息。具体的，若观众中心位置在显示屏幕中心位置的左方，由于视角的关系，可能更会关注显示屏幕右侧的画面，那么可以对中心像素点右侧的像素点赋以相对较小的处理系数(即与中心像素点关系更密切)，对左侧的像素点赋以相对较大的处理系数。反之，若观众中心位置在显示屏幕中心位置的右方，也可以参考该原则得到各个像素点的处理系数。

示例的，步骤(2)中的优选实施方案中已经算出观众的中心位置为c11子区，参考图5可知，c11子区在显示屏幕的右方，由于视角的关系，观众更会关注显示屏幕左侧的画面，进而得到如下所示的第一处理系数矩阵，如下表1所示。表1中仅是为了表明位置和处理系数大小的关系，仅给出了示例的矩阵局部，其他像素点的处理系数本领域技术人员可以根据需要而设定。

表1

		1
						1	1	2
1	1	0	2	3
						2	2	2
		3

方案2、

本方案中，可以根据观众感兴趣的图像内容来获得待显示画面的第二处理系数矩阵，具体如下：

(1)确定第一图像中的至少一个第一像素点。

其中，第一像素点为该第一图像中观众感兴趣的像素点。此处需要说明的是，这里观众感兴趣的像素点可以是指当前显示屏幕前方的观众感兴趣的像素点，也可以是预先统计得到的观众(不一定是当前观看显示屏幕的观众)普遍感兴趣的像素点。

第一像素点的确定，可以通过学习的方式，例如神经网络的学习方式而确定；也可以是根据观众的观看习惯等进行统计计算，然后确定观众感兴趣的像素点。

此步骤要得到观众感兴趣的像素点，而这些像素点应属于观众感兴趣的图像内容。观众感兴趣的图像内容往往是图像中的细节信息、运动信息(例如可以包括由相邻两帧图像所确定的运动主体的轮廓)、相邻两帧图像中发生突变的图像信息(该信息可以通过计算图像的梯度信息来求取)、前景信息等。其中，图像的梯度信息是指把图像看成二维离散函数时，这个二维离散函数的求导，即：G(x，y)＝dx(i，j)+dy(i，j)；dx(i，j)＝I(i+1，j)-I(i，j)；dy(i，j)＝I(i，j+1)-I(i，j)。其中，I是图像的像素点的值，(i，j)为像素点的坐标。

基于此，本实施例优选的，此步骤可以包括：

首先，确定观众感兴趣的图像内容。

示例的，当前观众可以向终端设备输入其感兴趣的图像内容的关键字，如人物、运动、前景等关键字，相应的，终端设备(具体可以是图像处理装置)获取了观众感兴趣的图像内容。示例的，也可以是电视机在出 厂前在图像处理装置中根据广大观众的普遍感兴趣的内容而预先设置好的。当然，其他合理的确定观众感兴趣的图像内容的方法也适用本实施例，在此不再赘述。

其次，分析第一图像，将该第一图像中与观众感兴趣的图像内容匹配度最高的像素点作为第一像素点。具体的，可以是将第一图像中匹配观众感兴趣的图像内容个数最多的像素点作为第一像素点，一个像素点匹配的图像内容个数越多，则表示该像素点与观众感兴趣的图像内容匹配程度越大。

例如，观众根据自己的需要向终端设备输入其感兴趣的图像内容的关键字是人物、运动、前景，那么图像处理装置可以对第一图像进行分析得到哪些像素点属于人物，哪些像素点在运动主体的轮廓以内，哪些像素点在前景区域内，本实施例可以将三个条件都满足(即既属于人物、又在运动主体的轮廓以内、也在前景区域内)的像素点作为第一像素点。若不存在这类像素点，则可以将满足其中任意两个条件的像素点作为第一像素点；也可以是将满足特定两个条件(例如：人物、运动、前景这三个优先级依次降低，则此时特定两个条件为优先级最高的两个)的像素点作为第一像素点。依次类推，若不存在这类像素点，则可以将满足其中任一个条件的像素点、或者将满足优先级最高的一个条件的像素点作为第一像素点。

优选的，可以用以下的方法来确定观众感兴趣的图像内容匹配度最高的像素点作为第一像素点。具体的，若观众感兴趣的图像内容只有一种，例如人物，则此时图像处理装置可以分析得到第一图像中属于该图像内容的像素点，并将这些像素点作为第一像素点。更进一步的，图像处理装置可以将这些像素点标记为p(p为数值)，那么所有被标记为p的像素点即可作为第一像素点。另外，若观众感兴趣的图像内容多种(两种以上)，例如人物、前景，则此时图像处理装置可以分析得到第一图像中各个像素点与各图像内容的匹配程度，若像素点匹配程度越高，则为该像素点标记的值就可以越大。当然，也可以反之，像素点匹配程度越高，则为该像素点标记的值就可以越小。示例的，假设观众向终端设备输入其感兴趣的图像内容的关键字是人物、运动、前景，参考图7所示的流程图，图像处理 装置对第一图像进行分析和统计，其具体过程包括：针对输入的第一图像提取其前景信息，根据该前景信息将位于前景区域的像素点标记为x(例如1)。继续分析第一图像的前景区域中是否有人物，若前景区域中有人物，则已标记为x的像素点中属于人物的像素点重新标记为x+p(例如p为1，那么x+p为2)。如果已标记为x+p的像素点在运动主体的轮廓内(即人物在运动)，则将该类像素点重新标记为x+2p(即为3)；如果人物没有运动，则将人物信息的像素点保持原有标记(2)。若前景区域中没有人物，但有其他运动主体，则将在该运动主体轮廓内的像素点标记为x+p(2)；若前景区域中没有人物信息，也没有其他运动主体，则像素点的标记保存不变(为1)。如图7中所示标记序号越大，说明该像素点的关注度相应地越高。图像处理装置选择图像中标记序号最大的像素点作为第一图像的第一像素点。

(2)计算各个第二像素点和该第二像素点最接近的第一像素点之间的距离，以得到待显示画面的第二处理系数矩阵。

其中，待显示的第一图像中除第一像素点之外的像素点为第二像素点。

具体的，第二像素点与第一像素点之间的距离用于表示第二像素点与第一像素点之间的关联关系的远近。在本发明实施例中可以用欧式距离、城区距离或棋盘距离等来计算各个第二像素点和该第二像素点最接近的第一像素点之间的距离。

需要说明的是，第二像素点最接近的第一像素点所谓的最接近即为在几何距离上距离最近的点，假如与第二像素点最接近的第一像素点有两个或两个以上，那么只计算该第二像素点与其中任一个第一像素点之间的距离。

示例的，以城区距离为例来计算各个第二像素点和该第二像素点最接近的第一像素点之间的距离为例。已知图像中两像素点p(x，y)和q(s，t)的城区距离的计算公式如下：

D(p，q)＝|x-s|+|y-t|。

其中，像素点q(s，t)作为中心点，到q(s，t)的城区距离小于或等于某一值r的像素点p(x，y)，可形成中心在像素点q(s，t)、且对角线为2r的菱形。 因而可以求得的各个第二像素点p(x，y)和与其最接近的第一像素点q(s，t)之间的距离，得到待显示画面的第二处理系数矩阵如下表2所示。表2中仅是为了表明位置和处理系数大小的关系，仅给出了示例的矩阵局部，其他像素点的处理系数本领域技术人员可以根据城区距离计算得到。

表2

		2
						2	1	2
2	1	0	1	2
						2	1	2
		2

方案3、

本方案可以将前两个方案融合得到新的处理系数矩阵。具体的，可以还包括：将第二处理系数矩阵与第一处理系数矩阵中，同一像素点的处理系数进行融合处理，以得到第三处理系数矩阵。

具体的，本领域技术人员应该理解：这里的融合处理是指将同一像素点在第二处理系数矩阵中的处理系数、和第一处理系数矩阵中的处理系数，处理得到一既可反映因观众位置信息，又可以反映观众所感兴趣的图像内容的处理系数。

进行融合处理的方法包括：将第二处理系数矩阵与第一处理系数矩阵中同一像素点的处理系数相乘得到第三处理系数矩阵，或者，将第二处理系数矩阵与第一处理系数矩阵中同一像素点的处理系数相加得到第三处理系数矩阵；也可以对第二处理系数矩阵与第一处理系数矩阵分别定义权重，采用加权结合的方式来确定第三处理系数矩阵。加权结合的方式具体指：假设第一处理系数矩阵为A，设置其权重值为m，第二处理系数矩阵为B，设置其权重值为n，第三处理系数矩阵为C，那么可以运用公式C＝mA+nB得到第三处理系数矩阵。当然也可以是其他的融合方式，这里不在一一举例说明。

示例的，本发明实施例是利用将第二处理系数矩阵与第一处理系数矩阵中同一像素点的处理系数相乘得到第三处理系数矩阵，具体如下表所示。需要说明，为了最简单最直观地理解，采取了第一处理系数矩阵的中心像素点和第二处理系数矩阵中的第一像素点是重合的情况(实际情况可能不重合，这里不再赘述)。得到的第三处理系数矩阵可以参考下表3。表3中仅是为了表明位置和处理系数大小的关系，仅给出了示例的矩阵局部，其他像素点的处理系数本领域技术人员可以根据相乘的融合方式得到。

表3

		2
						2	1	4
2	1	0	2	6
						4	2	4
		6

S105、将待显示的第一图像分为N个数据块，N≥2。

可选的，此步骤可以为：将第一图像中处理系数属于同一预设的系数区间、且位置相邻的像素点划分为同一数据块，其中，预设的系数区间至少有两个。

示例的，如图9所示，将表3所示的第三处理系数矩阵局部中的处理系数，按照[0，4)、[4，6]两个区间分为数据块1和数据块2。

可选的，此步骤也可以为：按照预先设置的分块规格，将第一图像分为N个数据块。

示例的，可以按照预先设置的分块规格，将第一图像分成固定的8＊8或者16＊16的数据块，优选的，此时各个数据块的大小相同。

S106、根据观众对数据块的关注程度，确定第一图像中M个数据块的图像处理方案，1≤M≤N，优选的1≤M＜N。

其中，观众对数据块的关注程度由该数据块对应的各像素点的处理系数得到。

示例的，参考图9，将表3分成了两个数据块，由于数据块的划分由处理系数区间决定，而处理系数区间表明了观众对数据块的关注程度。于是可知观众对数据块1的关注程度大于对数据块2的关注程度。

示例的，将第一图像分成固定的8＊8的数据块。计算每个数据块的所有像素点对应处理系数矩阵中的处理系数的平均值或总和，得到一个8＊8的新的处理系数矩阵。新的处理系数矩阵中不同的处理系数代表了观众对数据块的关注程度的不同。

本实施例中，此步骤可选为，若观众对任意两个数据块的关注程度不同，则可为这两个数据块选择不同的图像处理方案。优选为，本实施例中对各个数据块中，观众的关注程度最高的M个数据块选择图像处理方案，其他N-M个数据块不进行数据处理；其中，为这M个数据块选择的图像处理方案可以是不同的，在本实施例中为了简化处理过程，优选的为这M个数据块选择相同的图像处理方案。进一步优选的，由于要对关注度较高的数据块做图像处理，因此，这里可以选择优化显示质量的图像处理方案。上述的图像处理方案可以包括：锐化处理、图像插值、图像增强、色彩渲染、动态scaler等图像处理方法中的一种或几种。

S107、对第一图像中的M个数据块分别采用各自对应的图像处理方案进行图像处理，以得到第二图像。

优选的，第一图像可以为经整屏图像处理(即目前普遍采用的显示图像处理)后的图像，这样能够在现有图像处理的基础上，采用本实施例提供的分块处理方法，可进一步提升显示效果。

此步骤可以为：采用选择的图像处理方案对第一图像中的M个数据块进行处理，举例而言，可以对第一图像中的M个关注度最高的数据块进行图像增强处理。

进一步优选的，在分块进行图像处理后，为了使显示的图像与整幅画面更好地融合而不会出现类似block(一块一块)的效果，对进行分块进行图像处理(图像增强处理)之后的整幅图像，可再进行去block处理，例如：采用Luma de-mura(亮度不均匀修复)、colorde-mura(色度不均匀修改)等的至少一种方案进行图像处理，得到第二图像，此时可以使整幅图像看起来更加舒适。

将经过处理的第二图像输出到显示电路中，同时返回开始下一次的图像处理。

本发明实施例提供了一种图像处理方法及装置，结合观众对画面不同 部分的关注程度，为至少一部分选择图像处理方案，并按照该图像处理方案对图像中相应的那部分进行调整，无需像现有技术一样对画面整体调节，从而可以增强画面调节的灵活度。

实施例二、

本发明实施例提供了一种图像处理装置，该装置可以是软件或硬件，其中各个功能模块的实现可以参考上述实施例，在此不再赘述。如图8所示，该装置包括：

分块单元81，用于将待显示的第一图像分为N个数据块，N≥2；

确定单元82，用于根据观众对所述分块单元81划分出的数据块的关注程度，确定所述第一图像中M个数据块的图像处理方案，1≤M≤N；

处理单元83，用于对所述第一图像中的M个数据块分别采用各自对应的、且由所述确定单元82确定的图像处理方案进行图像处理，以得到第二图像。

可选的，该装置还可以包括：获取单元84具体用于，获取所述第一图像的处理系数矩阵，所述处理系数矩阵包括：所述第一图像中每个像素点的处理系数，所述像素点的处理系数用于表征观众对该像素点的关注程度；所述观众对所述数据块的关注程度由所述数据块对应的各所述像素点的处理系数得到。

所述分块单元81具体用于，将所述第一图像中处理系数属于同一预设的系数区间、且位置相邻的像素点划分为同一数据块，其中，预设的系数区间至少有两个。

或者，所述分块单元81具体用于，按照预先设置的分块规格，将所述第一图像分为N个数据块。

可选的，获取单元84包括，检测子单元841，用于检测各个观众的位置信息，所述观众的位置信息用于表示该观众所在位置相对于显示屏幕中心位置的偏离信息；第一确定子单元842，用于结合所述各个观众的位置信息，确定观众中心的位置信息；生成子单元843，用于根据所述观众中心的位置信息，生成第一处理系数矩阵。

可选的，检测子单元841，所述观众的位置信息还用于表示该观众所 在位置相对于显示屏幕的距离信息。

可选的，第一确定子单元842，具体用于查询所述各个观众的位置信息所对应的权重值，其中，一位置信息对应的权重值用于表征该位置信息的观看效果；根据所述各个观众的权重值，求取平均权重值；查询所述平均权重值对应的位置信息作为所述观众中心的位置信息。

可选的，第一确定子单元842，若所述各个观众包括操作遥控器的观众；根据所述各个观众的权重值，求取平均权重值；将所述操作遥控器的观众的权重值的2倍与剩余观众的权重值之和除以所述操作遥控器的观众的人数的2倍与剩余观众的人数之和，得到平均权重值，所述剩余观众为所述各个观众中除了所述操作遥控器的观众之外的观众。

或者，获取单元84包括，第二确定子单元844，用于确定所述第一图像中的至少一个第一像素点，所述第一像素点为所述第一图像中观众感兴趣的像素点，所述第一图像中除所述第一像素点之外的像素点为第二像素点；计算子单元845，用于计算各个所述第二像素点和该第二像素点最接近的所述第一像素点之间的距离，以得到第二处理系数矩阵。

可选的，第二确定子单元844，具体用于确定观众感兴趣的图像内容；分析所述第一图像，将所述第一图像中与所述观众感兴趣的图像内容匹配度最高的像素点作为第一像素点。

或者，获取单元84还包括，融合子单元846，用于将所述第二处理系数矩阵与第一处理系数矩阵中，同一像素点的处理系数进行融合处理，以得到第三处理系数矩阵。

可选的，该装置还可以包括：检测单元85，用于检测显示屏幕前的监控区域内是否有观众。

关闭单元86，用于在预设的检测时长内，若所述监控区域内始终没有观众，则关闭显示画面。

需要说明的是，本实施例中的各单元可以为单独设立的处理器，也可以集成在图像处理装置的某一个处理器中实现，此外，也可以以程序代码的形式存储于图像处理装置的存储器中，由图像处理装置的某一个处理器调用并执行以上各个单元的功能。这里所述的处理器可以是一个中央处理器(英文全称：Central Processing Unit，英文简称：CPU)，或者是特 定集成电路(英文全称：Application Specific Integrated Circuit，英文简称：ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。

本发明实施例提供了一种图像处理方法及装置，结合观众对画面不同部分的关注程度，为至少一部分选择图像处理方案，并按照该图像处理方案对图像中相应的那部分进行调整，无需像现有技术一样对画面整体调节，从而可以增强画面调节的灵活度。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

将待显示的第一图像分为N个数据块，N≥2；

根据观众对所述数据块的关注程度，确定所述第一图像中M个数据块的图像处理方案，1≤M≤N；

对所述第一图像中的M个数据块分别采用各自对应的图像处理方案进行图像处理，以得到第二图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述第一图像的处理系数矩阵，所述处理系数矩阵包括：所述第一图像中每个像素点的处理系数，所述像素点的处理系数用于表征观众对该像素点的关注程度；

所述观众对所述数据块的关注程度由所述数据块对应的各所述像素点的处理系数得到。

3.根据权利要求2所述的方法，其特征在于，所述将待显示的第一图像分为N个数据块包括：

将所述第一图像中处理系数属于同一预设的系数区间、且位置相邻的像素点划分为同一数据块，其中，预设的系数区间至少有两个。

4.根据权利要求2所述的方法，其特征在于，所述获取所述第一图像的处理系数矩阵包括：

检测各个观众的位置信息，所述观众的位置信息用于表示该观众所在位置相对于显示屏幕中心位置的偏离信息；

结合所述各个观众的位置信息，确定观众中心的位置信息；

根据所述观众中心的位置信息，生成第一处理系数矩阵。

5.根据权利要求4所述的方法，其特征在于，所述观众的位置信息还用于表示该观众所在位置相对于显示屏幕的距离信息。

6.根据权利要求4或5所述的方法，其特征在于，所述结合所述各个观众的位置信息，确定观众中心的位置信息包括：

查询所述各个观众的位置信息所对应的权重值，其中，一位置信息对应的权重值用于表征该位置信息的观看效果；

根据所述各个观众的权重值，求取平均权重值；

查询所述平均权重值对应的位置信息作为所述观众中心的位置信息。

7.根据权利要求6所述的方法，其特征在于，若所述各个观众包括操作遥控器的观众；

根据所述各个观众的权重值，求取平均权重值；

将所述操作遥控器的观众的权重值的2倍与剩余观众的权重值之和除以所述操作遥控器的观众的人数的2倍与剩余观众的人数之和，得到平均权重值，所述剩余观众为所述各个观众中除了所述操作遥控器的观众之外的观众。

8.根据权利要求2或4所述的方法，其特征在于，所述获取所述第一图像的处理系数矩阵包括：

确定所述第一图像中的至少一个第一像素点，所述第一像素点为所述第一图像中观众感兴趣的像素点，所述第一图像中除所述第一像素点之外的像素点为第二像素点；

计算各个所述第二像素点和该第二像素点最接近的所述第一像素点之间的距离，以得到第二处理系数矩阵。

9.根据权利要求8所述的方法，其特征在于，所述确定所述第一图像中的至少一个第一像素点包括：

确定观众感兴趣的图像内容；

分析所述第一图像，将所述第一图像中与所述观众感兴趣的图像内容匹配度最高的像素点作为第一像素点。

10.根据权利要求8所述的方法，其特征在于，所述获取所述第一图像的处理系数矩阵还包括：

将所述第二处理系数矩阵与第一处理系数矩阵中，同一像素点的处理系数进行融合处理，以得到第三处理系数矩阵。

11.一种图像处理装置，其特征在于，包括：

分块单元，用于将待显示的第一图像分为N个数据块，N≥2；

确定单元，用于根据观众对所述分块单元划分得到的数据块的关注程度，确定所述第一图像中M个数据块的图像处理方案，1≤M≤N；

处理单元，用于对所述第一图像中的M个数据块分别采用各自对应的、且由所述确定单元确定的图像处理方案进行图像处理，以得到第二图像。