CN108255299A - 一种图像处理方法及装置 - Google Patents

Abstract

本发明提供了一种图像处理方法。通过检测用户的注视点，并根据该注视点在图像中的位置，确定图像中的第一区域。当注视点在该第一区域内的时长大于阈值时间时，按照预设倍数放大该第一区域处的图像，并显示于第二区域。用户可以在观赏图像的过程中，仅需移动眼睛注视位置，便可以实现对感兴趣区域的放大操作。操作方便快捷，且提升了图像显示的趣味性。

Description

一种图像处理方法及装置

技术领域

本发明涉及显示技术领域，特别是涉及一种图像处理方法及装置。

背景技术

随着数字图像处理技术的日益发展，电子画框作为一种别具新意的图片显示装置开始普及，具有图片显示、存储、播放等功能，可放置在各种地方展示图片，深受用户喜爱。

然而，现有的电子画框仅能显示一张完整的图片或照片，如果用户对画框中某一个区域内的细节感兴趣，可以通过靠近画框等方式进行更近距离的观察，这样非常不方便，也有可能即使靠近了也无法观察得更细致，同时缺乏趣味性。

发明内容

本发明要解决的技术问题是提供一种图像处理方法及装置，以解决拍摄得到的图像存在偏色的问题。

一方面，提供了一种图像处理方法，包括：

检测用户的注视点，其中，所述注视点为用户眼睛聚焦在图像上的位置；

根据所述注视点在图像中的位置，确定图像中的第一区域；

当注视点在所述第一区域内的时长大于阈值时间时，按照预设倍数放大所述第一区域处的图像，并显示于第二区域。

进一步地，所述第二区域覆盖在所述第一区域上；或者所述第二区域位于所述图像的边缘位置。

进一步地，在检测用户的注视点之后，还包括：判断用户眼睛与图像中心点之间的观看距离是否小于阈值距离；若是，则执行根据所述注视点在图像中的位置，确定图像中的第一区域。

进一步地，所述预设倍数与所述观看距离成正比。

进一步地，所述根据所述注视点在图像中的位置，确定图像中的第一区域的步骤，包括：以所述注视点在图像中的位置为中心，确定所述图像中的第一区域。

进一步地，在根据所述注视点在图像中的位置，确定图像中的第一区域之后，还包括：判断注视点是否移出所述第一区域；若注视点移出所述第一区域，则以注视点移出所述第一区域后在图像中的位置为中心，重新确定第一区域。

进一步地，在根据所述注视点在图像中的位置，确定图像中的第一区域之后，还包括：判断注视点是否移出所述图像；若注视点移出所述图像，则以注视点再次回到图像内的位置为中心，确定第一区域。

进一步地，在按照预设倍数放大所述第一区域处的图像，并显示于第二区域之后，还包括：将所述第二区域处被覆盖的图像放入缓存，作为局部备份图像；判断注视点是否移出所述第二区域；当注视点移出所述第二区域时，在所述第二区域处恢复显示所述局部备份图像。

另一方面，还提供了一种图像处理装置，包括：

侦测模块，用于检测用户的注视点，其中，所述注视点为用户双眼聚焦在图像上的位置；

定位模块，用于根据所述注视点在图像中的位置，确定图像中的第一区域；

预览模块，用于当注视点在所述第一区域内的时长大于阈值时间时，按照预设倍数放大所述第一区域处的图像，并显示于第二区域。

再一方面，还提供了一种电子画框，其特征在于，包括画框组件、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。

与现有技术相比，本发明包括以下优点：

本发明提供了一种图像处理方法及装置，在本发明提供的图像处理方法中，通过检测用户的注视点，并根据该注视点在图像中的位置，确定图像中的第一区域。当注视点在该第一区域内的时长大于阈值时间时，按照预设倍数放大该第一区域处的图像，并显示于第二区域。用户可以在观赏图像的过程中，仅需移动眼睛注视位置，便可以实现对感兴趣区域的放大操作。操作方便快捷，且提升了图像显示的趣味性。

附图说明

图1是本发明实施例提供的一种图像处理方法的流程图；

图2是本发明实施例提供的另一种图像处理方法的流程图；

图3是本发明实施例提供的一种第一区域选择示意图；

图4是本发明实施例提供的一种局部放大示意图；

图5是本发明实施例提供的另一种局部放大示意图；

图6是本发明实施例提供的一种图像处理装置的结构框图；

图7是本发明实施例提供的另一种图像处理装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的机或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合附图和实施例对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

现有技术中，当用户观看电子画框中的图像时，若用户对该图像中某一区域感兴趣，但该区域处图像的尺寸较小，难以清除辨识细节信息时，通常都需要手动选定需要放大的区域，再将该区域图像按照一定比例进行缩放。而且，在实际应用中通常还需要进行一些拖拉操作以避免放大后的图像显示位置不适于观看。为了达到上述目的，用户需要进行一系列的选定、缩放以及拖拉操作，操作方法非常繁琐。且各类操作需分时进行，无法实现操作的连续性。

参照图1，示出了本发明实施例提供的一种图像处理方法的流程图。该图像处理方法可以应用于如电子画框等具有人眼识别功能的显示设备，该图像处理方法包括：

步骤101，检测用户的注视点。

具体的，可以利用眼动仪等具有眼动轨迹识别功能的设备获取用户的注视点。其中，注视点为用户眼睛聚焦在图像上的位置。在实际应用中，可以通过摄像头实时获取用户的人脸图像，通过人脸图像识别模型检测到眼睛图像，再对眼睛图像进行灰度值、边缘化等处理，并结合用户的眼睛与显示装置的相对位置关系，可以检测出用户的注视点。例如，可以通过电子画框中设置的眼动仪，检测用户对该电子画框显示的图像的注视点。

步骤102，根据注视点在图像中的位置，确定图像中的第一区域。

具体的，在检测到用户的注视点后，便可以根据该注视点在图像中的位置，确定图像中的第一区域。该第一区域可以用于反映用户正在观看的区域。由于人眼难以一直聚焦在某一点上完全不动，因此，只要注视点未移出该第一区域，便可以表示用户在持续关注该第一区域。

步骤103，当注视点在第一区域内的时长大于阈值时间时，按照预设倍数放大该第一区域处的图像，并显示于第二区域。

具体的，通常当用户对某一区域的图像非常感兴趣时，注视点会在该区域停留较长时间。因此，该注视点在第一区域中停留的时间越长，可以表明用户对该第一区域内图像的兴趣程度越大。可以通过判断注视点在该第一区域的时间是否大于阈值时间，从而判断是否需要将该区域进行放大显示。当注视点在第一区域内的时长大于阈值时间时，可以按照预设倍数放大该第一区域处的图像，并显示于第二区域。其中，该第二区域的尺寸可以根据第一区域的尺寸确定。在实际应用中，该第二区域可以为对该第一区域按照预设倍数等比例放大后的区域。该第一区域处的图像经放大后，显示于该第二区域所在位置。从而使用户能够方便快捷地观察该第一区域出图像的细节内容。其中，该第二区域可以覆盖在第一区域上，或者位于图像的边缘位置。从而使得用户只需按照观看习惯对感兴趣的区域进行关注，该区域便能够放大显示，以满足用户对图像细节信息的观看需求。

综上所述，本发明实施例提供的图像处理方法，通过检测用户的注视点，并根据该注视点在图像中的位置，确定图像中的第一区域。当注视点在该第一区域内的时长大于阈值时间时，按照预设倍数放大该第一区域处的图像，并显示于第二区域。用户可以在观赏图像的过程中，仅需移动眼睛注视位置，便可以实现对感兴趣区域的放大操作。操作方便快捷，且提升了图像显示的趣味性。

参照图2，示出了本发明实施例提供的另一种图像处理方法的流程图。该图像处理方法包括：

步骤201，检测用户的注视点。

具体的，当用户观看电子画框中的图像时，可以利用眼动仪检测用户的注视点。若检测到的注视点在电子画框显示的图像上，则表明用户对该图像感兴趣。并且可以根据该注视点的移动轨迹，分析用户对该图像中各区域的兴趣程度。例如，若用户长时间凝视某一区域，即注视点在某一区域停留时间较长，则表明用户对该区域的兴趣程度较高。若用户快速扫过某一区域，则表明用户对该区域兴趣程度较低。因此，可以根据注视点在各区域的停留时间，判断用户对图像中各区域的兴趣程度。进而可以根据注视点在各区域的停留时间判断用户是否存在需要放大观看某一区域图像的需求。

在实际应用中，可以通过摄像头实时获取用户的人脸图像，通过人脸图像识别模型检测到眼睛图像，再对眼睛图像进行灰度值、边缘化等处理，并结合用户的眼睛与显示装置的相对位置关系，可以检测出用户的注视点。例如，可以通过电子画框中设置的眼动仪，检测用户对该电子画框显示的图像的注视点。

步骤202，确定用户眼睛与图像中心点之间的观看距离小于阈值距离。

在实际应用中，当用户与图像之间的距离较远时，眼动仪的识别精度也将随之降低。因此，可以在检测用户的注视点后，先判断用户眼睛与图像中心点之间的观看距离是否小于阈值距离，若确定用户眼睛与图像中心点之间的观看距离小于阈值距离，再执行根据注视点在图像中的位置，确定图像中的第一区域的步骤。从而可以有效避免误检。

具体的，可以根据眼动仪的有效识别距离，以及电子画框所在环境的特点，预先设定阈值距离。在对用户眼睛的位置进行检测时，可以利用红外传感器等测距设备，检测用户眼睛与图像中心点之间的观看距离。再将该观看距离与阈值距离进行比较，从而确定是否根据注视点在图像中的位置，确定图像中的第一区域。若用户眼睛与图像中心点之间的观看距离大于或者等于阈值距离，则暂不执行步骤203，直至用户眼睛与图像中心点之间的观看距离小于阈值距离，再根据注视点在图像中的位置，确定图像中的第一区域。

步骤203，根据注视点在图像中的位置，确定图像中的第一区域。

在确定注视点位于图像中，且用户眼睛与图像中心点之间的观看距离小于阈值距离时，可以确定该注视点附近的区域为用户感兴趣的区域。因此，可以根据注视点在图像中的位置，确定图像中的第一区域。利用该第一区域标记用户正在注视的区域。

具体的，在根据注视点在图像中的位置，确定图像中的第一区域时，可以将注视点作为中心点，并将该中心点周围预设范围内的区域作为第一区域。在实际应用中，可以注视点所在位置为中心，确定图像中的第一区域。例如，当通过检测用户的注视点，确定用户的注视点位于图像中时，可以将以该注视点为圆心半径为r的圆形区域标记为第一区域。在实际应用中，该第一区域可以为预先设定的圆形、椭圆形或者矩形等形状，本发明实施例中对此不作限定。

步骤204，判断注视点是否移出第一区域。

具体的，在根据注视点在图像中的位置，确定图像中的第一区域后，由于人眼难以一直聚焦在某一点上完全不动，因此，只要注视点未移出该第一区域，便可以表示用户在持续关注该第一区域。在实际应用中，可以持续检测用户的注视点，以获取该注视点的移动轨迹。若注视点移出第一区域，则执行步骤205，继续判断注视点是否移出图像。若注视点未移出第一区域，且注视点在第一区域内的时长大于阈值时间，则执行步骤206，按照预设倍数放大第一区域处的图像，并显示于第二区域。例如，如图3所示，如果用户对于一幅人物画中的人眼部位可能感兴趣，在根据注视点在图像中的位置，确定图像中的第一区域31为人物的眼睛所在区域后，可以对注视点在该第一区域31内停留的时间进行计时。若注视点在该第一区域31内停留的时间未达到阈值时间便移出该第一区域31，则表明用户并非需要观察该区域处图像的细节信息，需要跟随注视点的移动，重新确定用户可能感兴趣的区域。若注视点在该第一区域31内停留的时长大于阈值时间，仍未将注视点移出该第一区域31，则表明用户对该区域处图像兴趣程度较高，可以通过执行步骤206，按照预设倍数放大第一区域31处的图像，以便用户更仔细地进行观赏。

步骤205，判断注视点是否移出图像。

具体的，在注视点移动的过程中，可以通过判断注视点是否移出该图像，确定用户是否对该图像感兴趣。若注视点已移出该图像，则可以无需再根据注视点确定第一区域。直至注视点再次回到该图像时，再根据注视点确定第一区域即可。

具体的，若注视点未移出该图像，而只是移出第一区域，则返回执行步骤203，以注视点移出第一区域后在图像中的位置为中心，重新确定第一区域。若注视点已移出该图像，则当注视点再次回到该图像时，再返回执行步骤203，以注视点再次回到图像内的位置为中心，确定第一区域。

在实际应用中，若注视点移至图像外的时间超过预设等待时间，和/或注视点移出图像的距离超过预设等待距离，则终止对该用户注视点的检测。

步骤206，按照预设倍数放大第一区域处的图像，并显示于第二区域。

当注视点在第一区域内的时长大于阈值时间时，可以确定用户对该第一区域处图像的兴趣程度较高，可以对该第一区域处图像进行放大操作。将该第一区域处图像放大后，可以将放大后的图像显示于第二区域。其中，该第二区域可以覆盖在第一区域上，或者该第二区域位于图像的边缘位置。

具体的，作为一种可能的实现方式，可以使该第二区域覆盖在第一区域上，即如图4所示，将放大后的图像321覆盖在第一区域处图像上方，从而使得用户的注视点无需移动，便可以观看放大后的图像。作为另一种可能的实现方式，可以使该第二区域覆盖在图像的边缘位置处，即如图5所示，将放大后的图像322覆盖在图像的边缘区域。由于图像的边缘位置通常为背景部分，将放大后的图像显示在图像的边缘区域，可以有效降低放大后的图像对主体部分的遮挡，从而提升显示效果。其中，该第二区域的尺寸为将第一区域按照预设倍数放大后的尺寸。在实际应用中，可以通过图像分割、边缘提取等图像处理方法扣除第二区域处的原始图像，并将放大后的图像显示在该第二区域。

在实际应用中，该预设倍数可以与观看距离成正比。即在阈值距离范围内观看距离越远，对该第一区域处图像的放大倍数越大，以便用户能够更清晰的观看该第一区域处的图像。该预设倍数也可以通过按键、触控、手势等方式确定。

步骤207，将第二区域处被覆盖的图像放入缓存，作为局部备份图像。

具体的，在按照预设倍数放大第一区域处的图像，并显示于第二区域后，该第二区域处被覆盖的图像，可以作为局部备份图像进行缓存。以备对该区域处图像进行恢复时使用。

步骤208，判断注视点是否移出第二区域。

具体的，在用户对放大后的图像进行观看的过程中，可以持续检测注视点的移动轨迹。若注视点未移出第二区域，则在第二区域处持续显示经放大的图像。若注视点移出第二区域，则执行步骤209，在第二区域处恢复显示局部备份图像。

步骤209，在第二区域处恢复显示局部备份图像。

当注视点移出第二区域时，可以取消对第一区域处图像的放大效果。自动恢复为局部备份图像进行显示。并根据注视点移出第二区域时所在位置重新确定第一区域。

具体的，当注视点移出第二区域时，可以取消显示放大后的图像，并将预先缓存的第二区域处的局部备份图像，填补在该第二区域处。从而实现对图像的恢复。在取消对第一区域处图像的放大效果后，可以返回步骤203，重新根据注视点在图像中的位置，确定图像中的第一区域。在该过程中，用户只需按照观看习惯对感兴趣的区域进行关注，该区域便能够放大显示，当用户无需继续观看放大后的图像时，只需将注视点移开，图像又能够自动恢复为原始图像。整个过程无需复杂操作的切换，具有较好的操作连续性。

综上所述，本发明实施例提供的图像处理方法，通过检测用户的注视点，确定用户眼睛与图像中心点之间的观看距离小于阈值距离，并根据该注视点在图像中的位置，确定图像中的第一区域。从而可以有效避免用户与图像之间的距离超过眼动仪的有效识别距离，进而可以有效避免误检。通过判断注视点是否超过第一区域或者判断注视点是否移出该图像，从而实时跟随注视点的移动轨迹。并通过缓存第二区域处被覆盖的图像，作为局部备份图像，可以在注视点移出第二区域时，取消对第一区域处图像的放大效果，自动恢复为局部备份图片进行显示。从而使得用户无需继续观看放大后的图像时，只需将注视点移开，图像又能够自动恢复为原始图像。整个过程无需复杂操作的切换，具有较好的操作连续性。有效提升操作的便捷性和趣味性。

参照图6，示出了本发明实施例中一种图像处理装置的结构框图。该图像处理装置包括：侦测模块61，定位模块62和预览模块63。侦测模块61连接定位模块62，侦测模块61和定位模块62连接预览模块63。

其中，侦测模块61，用于检测用户的注视点，该注视点为用户双眼聚焦在图像上的位置。

定位模块62，用于根据注视点在图像中的位置，确定图像中的第一区域。

预览模块63，用于当注视点在第一区域内的时长大于阈值时间时，按照预设倍数放大第一区域处的图像，并显示于第二区域。

具体的，当侦测模块61检测到注视点在图像内时，将该注视点的位置信息传输给定位模块62。该定位模块62接收侦测模块61所传来的注视点的位置信息，并以该注视点所在位置为中心选取图像中的局部区域作为第一区域。并对注视点在该第一区域内的时间进行计时，当注视点在第一区域内的时长大于阈值时间时，预览模块63接收局部放大指令，以及第一区域的位置信息，按照预设倍数放大第一区域处的图像，并显示于第二区域。

参照图7，在本发明的一个优选的实施例中，在图6的基础上，该图像处理装置还包括：观看距离确定模块64和图像恢复模块65。

其中，观看距离确定模块64用于确定用户眼睛与图像中心点之间的观看距离小于阈值距离。

图像恢复模块65用于当用户无需继续观看放大后的图像时，将图像恢复为放大操作前的图像。

具体的，该图像恢复模块65包括缓存单元651、判断单元652和恢复单元653。

其中，缓存单元651用于将第二区域处被覆盖的图像放入缓存，作为局部备份图像。

判断单元652用于判断注视点是否移出所述第二区域。

恢复单元653用于当注视点移出第二区域时，在第二区域处恢复显示预先缓存的该第二区域的局部备份图像。

综上所述，本发明实施例提供的图像处理装置，通过侦测模块61检测用户的注视点，并由定位模块62根据该注视点在图像中的位置，确定图像中的第一区域。当注视点在该第一区域内的时长大于阈值时间时，由预览模块63按照预设倍数放大该第一区域处的图像，并显示于第二区域。用户可以在观赏图像的过程中，仅需移动眼睛注视位置，便可以实现对感兴趣区域的放大操作。操作方便快捷，且提升了图像显示的趣味性。

本发明实施例还提供了一种电子画框，该电子画框包括画框组件、处理器、存储器及存储在该存储器上并可在该处理器上运行的计算机程序，该计算机程序被处理器执行时实现如上所述的图像处理方法的步骤。该电子画框可以摆放在任何适合的位置。例如柜子、茶几、书桌等位置，或者也可以通过支架挂在墙上。其中，画框组件包括画架、显示屏等组件。在实际应用中，该电子画框还包括眼动仪和红外传感器等设备。其中，眼动仪用于识别用户眼睛在电子画框显示的图像中的注视点。红外传感器用于检测用户眼睛与图像中心点之间的观看距离。

除此之外，其它具有显示屏的显示装置代替电子画框，例如可以包括手机、平板电脑、电视机、笔记本电脑、数码相框、导航仪等任何具有显示功能的产品或部件均在本发明实施例保护的范围之内。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上对本发明所提供的一种图像处理方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

检测用户的注视点，其中，所述注视点为用户眼睛聚焦在图像上的位置；

根据所述注视点在图像中的位置，确定图像中的第一区域；

当注视点在所述第一区域内的时长大于阈值时间时，按照预设倍数放大所述第一区域处的图像，并显示于第二区域。

2.根据权利要求1所述的图像处理方法，其特征在于，

所述第二区域覆盖在所述第一区域上；或者

所述第二区域位于所述图像的边缘位置。

3.根据权利要求1所述的图像处理方法，其特征在于，在检测用户的注视点之后，还包括：

判断用户眼睛与图像中心点之间的观看距离是否小于阈值距离；

若是，则执行根据所述注视点在图像中的位置，确定图像中的第一区域的步骤。

4.根据权利要求3所述的方法，其特征在于，

所述预设倍数与所述观看距离成正比。

5.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述注视点在图像中的位置，确定图像中的第一区域的步骤，包括：

以所述注视点在图像中的位置为中心，确定所述图像中的第一区域。

6.根据权利要求1所述的图像处理方法，其特征在于，在根据所述注视点在图像中的位置，确定图像中的第一区域之后，还包括：

判断注视点是否移出所述第一区域；

若注视点移出所述第一区域，则以注视点移出所述第一区域后在图像中的位置为中心，重新确定第一区域。

7.根据权利要求1所述的图像处理方法，其特征在于，在根据所述注视点在图像中的位置，确定图像中的第一区域之后，还包括：

判断注视点是否移出所述图像；

若注视点移出所述图像，则以注视点再次回到图像内的位置为中心，确定第一区域。

8.根据权利要求1所述的图像处理方法，其特征在于，在按照预设倍数放大所述第一区域处的图像，并显示于第二区域之后，还包括：

将所述第二区域处被覆盖的图像放入缓存，作为局部备份图像；

判断注视点是否移出所述第二区域；

当注视点移出所述第二区域时，在所述第二区域处恢复显示所述局部备份图像。

9.一种图像处理装置，其特征在于，包括：

侦测模块，用于检测用户的注视点，其中，所述注视点为用户双眼聚焦在图像上的位置；

定位模块，用于根据所述注视点在图像中的位置，确定图像中的第一区域；

预览模块，用于当注视点在所述第一区域内的时长大于阈值时间时，按照预设倍数放大所述第一区域处的图像，并显示于第二区域。

10.一种电子画框，其特征在于，包括画框组件、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。