CN109145896B

CN109145896B - 一种兴趣区域预测方法、装置、设备及存储介质

Info

Publication number: CN109145896B
Application number: CN201810818475.XA
Authority: CN
Inventors: 钱云; 王晓斐; 高群; 王忍宝
Original assignee: Anhui Toycloud Technology Co Ltd
Current assignee: Anhui Toycloud Technology Co Ltd
Priority date: 2018-07-24
Filing date: 2018-07-24
Publication date: 2021-03-30
Anticipated expiration: 2038-07-24
Also published as: CN109145896A

Abstract

本申请提供了一种兴趣区域预测方法、装置、设备及存储介质，其中，方法包括：当指示对象未指到目标读本的目标页面中的兴趣区域时，确定指示对象在所指方向上的延长线所穿过的兴趣区域，确定出的兴趣区域组成候选兴趣区域集合；从候选兴趣区域集合中确定与指示对象最适配的兴趣区域，作为指示对象所指的兴趣区域。本申请提供的兴趣区域预测方法、装置、设备及存储介质，能够在指示对象未指到兴趣区域时，为用户预测出意向兴趣区域，进而将意向兴趣区域作为指示对象所指的兴趣区域，这使得后续能够基于预测出的兴趣区域匹配到兴趣资源并输出，用户体验较好。

Description

一种兴趣区域预测方法、装置、设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种兴趣区域预测方法、装置、设备及存储介质。

背景技术

人工智能的兴起不仅提升了人们的工作效率，而且给人们的生活带来了乐趣。图像识别技术的应用使得用户阅读读本如绘本不再变得单一无趣，读本中有诸多预先制作好的兴趣区域，当用户利用指示对象如手指或笔指到兴趣区域时，后台会为该兴趣区域匹配对应的兴趣资源并输出，以和用户互动，比如，播放一段语音。然而，由于某种原因，可能出现用户的指示对象没有指到兴趣区域的情况，这会导致后台无法为兴趣区域匹配相应的兴趣资源，进而导致用户体验较差。

发明内容

有鉴于此，本发明提供了一种兴趣区域预测方法、装置、设备及存储介质，用以解决现有技术中当指示对象没有指到兴趣区域时，后台无法为兴趣区域匹配相应的兴趣资源，进而导致用户体验较差的问题，其技术方案如下：

一种兴趣区域预测方法，包括：

当指示对象未指到目标读本的目标页面中的兴趣区域时，确定所述指示对象在所指方向上的延长线所穿过的兴趣区域，确定出的兴趣区域组成候选兴趣区域集合；

从所述候选兴趣区域集合中确定与所述指示对象最适配的兴趣区域，作为所述指示对象所指的兴趣区域。

所述兴趣区域预测方法还包括：

获取包括所述指示对象和所述目标页面的图像，作为目标图像；

从所述目标图像中确定所述指示对象的轮廓信息；

基于所述指示对象的轮廓信息，确定所述指示对象是否指到所述目标页面中的兴趣区域。

其中，所述基于所述指示对象的轮廓信息，确定所述指示对象是否指到所述目标页面中的兴趣区域，包括：

通过所述指示对象的轮廓信息，确定所述指示对象的指定部位的坐标和所述指示对象所指方向；

通过所述指示对象的指定部位的坐标以及预先获取的所述目标页面中各个兴趣区域的轮廓信息，确定所述指示对象的指定部位是否位于所述目标页面中的兴趣区域；

若所述指示对象的指定部位未位于所述目标页面中的兴趣区域，则确定所述指示对象未指到所述目标页面中的兴趣区域。

其中，所述从所述候选兴趣区域集合中确定与所述指示对象最适配的兴趣区域，包括：

对于所述候选兴趣区域集合中的每个候选兴趣区域，以目标交点为中心做预设形状的区域作为该候选兴趣区域对应的候选区域，其中，所述目标交点为所述指示对象所指方向上的延长线与该候选兴趣区域的交点中，与所述指示对象的指定部位之间的距离最短的交点；

从与各个所述候选兴趣区域对应的候选区域中确定满足预设条件的候选区域作为目标区域，其中，预设条件为所述指示对象的指定部位位于候选区域中；

基于所述目标区域确定与所述指示对象最适配的兴趣区域。

其中，所述基于所述目标区域确定与所述指示对象最适配的兴趣区域，包括：

若所述目标区域为一个，则将与所述目标区域对应的候选兴趣区域确定为与所述指示对象最适配的兴趣区域；

若所述目标区域为多个，则从多个所述目标区域中确定最优目标区域，将与所述最优目标区域对应的候选兴趣区域确定为与所述指示对象最适配的兴趣区域，其中，所述最优目标区域为多个所述目标区域中被所述指定对象所指定的概率最大的目标区域。

其中，所述候选区域的大小取决于目标参数，所述目标参数包括以下参数中的一个或多个：

所述目标读本中兴趣区域的总数量、所述目标页面中兴趣区域的总数量、用户对所述目标读本中的兴趣区域的历史操作总次数、同类用户对所述候选区域对应的候选兴趣区域的历史操作次数、用户类型与所述候选区域对应的候选兴趣区域的类型的匹配度、所述候选区域对应的候选兴趣区域的中心到所述指示对象所指方向上的延长线的垂直距离、所述候选区域的中心与所述指示对象的指定部位之间的直线距离、所述指示对象偏离所述候选区域对应的候选兴趣区域的中心的角速度。

其中，所述以目标交点为中心做预设形状的区域，包括：

将所述目标交点确定为高斯函数的中心点；

基于所述目标参数确定高斯函数阈值，并基于所述目标页面在当前视场中的尺寸和所述高斯函数阈值确定高斯函数中指定参数的参数值；

基于所述中心点和所述指定参数的参数值确定目标高斯函数，并基于所述目标高斯函数做高斯圆。

所述兴趣区域预测方法，还包括：

确定与所述指示对象最适配的兴趣区域对应的兴趣资源并输出。

其中，所述确定与所述指示对象最适配的兴趣区域对应的兴趣资源，包括：

获取所述目标读本的封面图像，基于所述封面图像确定所述目标读本的读本号作为目标读本号，并基于所述目标读本号从兴趣资源库中确定所述目标读本对应的兴趣资源集合，作为目标兴趣资源集合；

获取所述目标页面的页面图像，基于所述页面图像确定所述目标页面的页面号作为目标页面号，并基于所述目标页面号从所述目标兴趣资源集合中确定与所述目标页面对应的兴趣资源集合，作为目标兴趣资源子集；

从所述目标兴趣资源子集中确定与所述指示对象最适配的兴趣区域对应的兴趣资源。

一种兴趣区域预测装置，包括：候选兴趣区域确定模块和意向兴趣区域确定模块；

所述候选兴趣区域确定模块，用于当指示对象未指到目标读本的目标页面中的兴趣区域时，确定所述指示对象在所指方向上的延长线所穿过的兴趣区域，确定出的兴趣区域组成候选兴趣区域集合；

所述意向兴趣区域确定模块，用于从所述候选兴趣区域集合中确定与所述指示对象最适配的兴趣区域，作为所述指示对象所指的兴趣区域。

一种兴趣区域预测设备，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，所述程序具体用于：

一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述兴趣区域预测方法的各个步骤。

经由上述的技术方案可知，本申请提供的兴趣区域预测方法、装置、设备及存储介质，在指示对象未指到目标读本的目标页面中的兴趣区域时，首先确定指示对象在所指方向上的延长线所穿过的兴趣区域，确定出的兴趣区域组成候选兴趣区域集合，然后从候选兴趣区域集合中确定与指示对象最适配的兴趣区域，作为指示对象所指的兴趣区域。由此可见，本申请提供的兴趣区域预测方法、装置、设备及存储介质，能够在指示对象未指到兴趣区域时，为用户预测出意向兴趣区域，进而将意向兴趣区域作为指示对象所指的兴趣区域，这使得后续能够基于预测出的兴趣区域匹配到兴趣资源并输出，用户体验较好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的兴趣区域预测方法的一流程示意图；

图2为本申请实施例提供的兴趣区域预测方法中，指示对象在所指方向上的延长线穿过兴趣区域的示意图；

图3为本申请实施例提供的兴趣区域预测方法的另一流程示意图；

图4为本申请实施例提供的兴趣区域预测方法中，基于指示对象的轮廓信息，确定指示对象是否指到目标读本的目标页面中的兴趣区域的实现方式的流程示意图；

图5为本申请实施例提供的兴趣区域预测方法中，从候选兴趣区域集合中确定与指示对象最适配的兴趣区域的实现方式的流程示意图；

图6a和图6b分别为本申请实施例提供的以目标页面的中心为中心所做的高斯圆的示意图以及高斯函数分布示意图；

图7a和图7b分别为本申请实施例提供的指定对象的指定部位在高斯圆外的示意图以及指定对象的指定部位在高斯圆内的示意图；

图8为本发明实施例提供的兴趣区域预测方法中，确定与指示对象最适配的兴趣区域对应的兴趣资源的实现过程的流程示意图；

图9为本申请实施例提供的兴趣区域预测装置的结构示意图；

图10为本申请实施例提供的兴趣区域预测设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于读本如绘本本身的独特性，读本中的兴趣区域的外围轮廓通常无明显规则，因此，很可能出现指示对象未指到兴趣区域的情况，现有技术中，当指示对象未指到兴趣区域时，不会匹配到兴趣资源，因此，用户体验很不好。

鉴于现有方案存在的问题，本申请提供了一种兴趣区域预测方法，以便在指示对象未指到兴趣区域时，预测出意向兴趣区域，进而能够为该意向兴趣区域匹配兴趣资源并输出，请参阅图1，示出了本申请提供的兴趣区域预测方法的流程示意图，该方法可以包括：

步骤S101：当指示对象未指到目标读本的目标页面中的兴趣区域时，确定指示对象在所指方向上的延长线所穿过的兴趣区域，确定出的兴趣区域组成候选兴趣区域集合。

其中，目标读本可以但不限为纸质读本(如绘本)、电子读本等，指示对象可以但不定为用户的手指、笔、笔状物等。

需要说明的是，指示对象所指的方向通常为用户想要指到的兴趣区域所在的方向，因此，指示对象在所指方向上的延长线所穿过的兴趣区域中很可能包括用户想要指到的兴趣区域。

请参阅图2，示出了指示对象在所指方向上的延长线穿过兴趣区域的一示例的示意图，图2示出的页面中包括3个兴趣区域，3个兴趣区域分别为ROI₁、ROI₂和ROI₃，指示对象在所指方向上的延长线穿过的兴趣区域包括ROI₁和ROI₂，则ROI₁和ROI₂组成候选兴趣区域集合。

步骤S102：从候选兴趣区域集合中确定与指示对象最适配的兴趣区域，作为指示对象所指的兴趣区域。

其中，与指示对象最适配的兴趣区域为用户的意向兴趣区域，即为用户希望通过指示对象所指到的兴趣区域。

需要说明的是，在某些时候，可能存在指示对象在所指方向上的延长线所穿过的兴趣区域只有一个的情况，当出现这种情况时，可直接将该兴趣区域确定为与指示对象最适配的兴趣区域。

本申请实施例提供的兴趣区域预测方法，在指示对象未指到目标读本的目标页面中的兴趣区域时，首先确定指示对象在所指方向上的延长线所穿过的兴趣区域，确定出的兴趣区域组成候选兴趣区域集合，然后从候选兴趣区域集合中确定与指示对象最适配的兴趣区域，作为指示对象所指的兴趣区域。由此可见，本申请实施例提供的兴趣区域预测方法能够在指示对象未指到兴趣区域时，为用户预测出意向兴趣区域，进而将意向兴趣区域作为指示对象所指的兴趣区域，这使得后续能够基于预测出的兴趣区域匹配到兴趣资源并输出，用户体验较好。

可以理解的是，进行兴趣区域预测的前提为指示对象未指到兴趣区域，因此，当有指示对象在目标页面上操作时，首先需要确定指示对象是否指到兴趣区域，基于此，请参阅图3，示出了本发明实施例提供的兴趣区域预测方法的另一流程示意图，可以包括：

步骤S301：获取包括指示对象和目标页面的图像，作为目标图像。

需要说明的是，本实施例中的目标图像为指示对象处于稳定状态时获取的图像。可以理解的是，指示对象在目标页面上指兴趣区域时，有个移动过程，比如用户用手指指兴趣区域时，首先会移动至兴趣区域然后停下来，即指示对象处于稳定状态表明用户认为其通过指示对象指到了期望的位置。

步骤S302：从目标图像中确定指示对象的轮廓信息。

从目标图像中确定指示对象的轮廓信息的过程可以包括：对目标图像进行预处理，获得预处理图像；利用预设的第一分割算法从预处理图像中分割出指示对象区域，进而利用第二分割算法确定指示对象区域中指示对象的轮廓信息。

其中，预处理过程可以包括图像锐化和轮廓增强，图像锐化的目的在于减弱或剔除目标图像中某些没用的信息，轮廓增强的目的在于使目标图像中的各部分更加分明，比如，使目标页面、指示对象更加分明。

在获得预处理图像后，可利用预设的第一分割算法和第二分割算法从预处理图像中确定指示对象的轮廓信息。示例性地，指示对象为用户的手指，则第一分割算法可以为肤色单峰高斯分割算法，第二分割算法可以为Otsu分割算法，即利用肤色单峰高斯分割算法从预处理图像中分割出皮肤区域，进而利用Otsu分割算法从分割出的皮肤区域中确定出手指轮廓信息。

步骤S303：基于目标图像的轮廓信息，确定指示对象是否指到目标读本的目标页面中的兴趣区域。

请参阅图4，示出了基于指示对象的轮廓信息，确定指示对象是否指到目标读本的目标页面中的兴趣区域的一种实现方式的流程示意图，可以包括：

步骤S401：通过指示对象的轮廓信息，确定指示对象的指定部位的坐标和指示对象所指方向。

示例性地，指示对象为手指，则指示对象的指定部位可以为手指的指尖；示例性的，指示对象为点读笔，则指示对象的指定部位可以为点读笔的笔尖。

步骤S402：通过指示对象的指定部位的坐标以及预先获取的目标页面中各个兴趣区域的轮廓信息，确定指示对象的指定部位是否位于目标页面中的兴趣区域。

需要说明的是，若目标页面中的兴趣区域为一个，则当指定部位的坐标未处于该兴趣区域时，可确定指定部位未位于目标页面中的兴趣区域，若目标页面中的兴趣区域为多个，则当指定部位的坐标未处于任何兴趣区域时，可确定指定部位未位于目标页面中的兴趣区域。

步骤S403：若指示对象的指定部位未位于目标页面中的兴趣区域，则确定指示对象未指到目标页面中的兴趣区域。

步骤S305：当指示对象未指到目标读本的目标页面中的兴趣区域时，确定指示对象在所指方向上的延长线所穿过的兴趣区域，确定出的兴趣区域组成候选兴趣区域集合。

指示对象所指的方向通常为用户想要指到的兴趣区域所在的方向，因此，指示对象在所指方向上的延长线所穿过的兴趣区域中很可能包括用户想要指到的兴趣区域。

步骤S306：从候选兴趣区域集合中确定与指示对象最适配的兴趣区域，作为指示对象所指的兴趣区域。

需要说明的是，在某些时候，可能存在指示对象在所指方向上的延长线所穿过的兴趣区域只有一个情况，当出现这种情况时，可直接将该兴趣区域确定为与指示对象最适配的兴趣区域。

本申请实施例提供的兴趣区域预测方法，可确定指示对象是否指到目标读本的目标页面的兴趣区域，若指示对象未指到兴趣区域，确定指示对象在所指方向上的延长线所穿过的兴趣区域，确定出的兴趣区域组成候选兴趣区域集合，然后从候选兴趣区域集合中确定与指示对象最适配的兴趣区域，作为指示对象所指的兴趣区域。由此可见，本申请实施例提供的兴趣区域预测方法不但能够确定出指示对象是否指到兴趣区域，而且能够在指示对象未指到兴趣区域时，为用户预测出意向兴趣区域，进而将意向兴趣区域作为指示对象所指的兴趣区域，这使得后续能够基于预测出的兴趣区域匹配到兴趣资源并输出，用户体验较好。

以下对上述任一实施例中，从候选兴趣区域集合中确定与指示对象最适配的兴趣区域，作为指示对象所指的兴趣区域进行介绍。

请参阅图5，示出了从候选兴趣区域集合中确定与指示对象最适配的兴趣区域的实现方式的流程示意图，可以包括：

步骤S501：对于候选兴趣区域集合中的每个候选兴趣区域，以目标交点为中心做预设形状的区域作为该候选兴趣区域对应的候选区域。

其中，目标交点为指示对象所指方向上的延长线与该候选兴趣区域的交点中，与指示对象的指定部位之间的距离最短的交点；预设形状可以但不限定为圆形、椭圆形、矩形等。

在做与每个候选兴趣区域对应的候选区域时，除了需要确定候选区的中心外，还需要确定候选区域的尺寸，在本实施例中，候选区域的尺寸可基于目标参数确定，目标参数可以但不限定为以下参数中的一个或多个：目标读本中兴趣区域的总数量、目标页面中兴趣区域的总数量、用户对目标读本中的兴趣区域的历史操作总次数、同类用户对候选区域对应的候选兴趣区域的历史操作次数、用户类型与候选区域对应的候选兴趣区域的类型的匹配度、候选区域对应的候选兴趣区域的中心到指示对象所指方向上的延长线的垂直距离、候选区域的中心与指示对象的指定部位之间的直线距离、指示对象偏离候选区域对应的候选兴趣区域的中心的角速度。

其中，同类用户可以基于当前用户的属性确定，用户的属性可以但不限定为性别、年龄、兴趣爱好等，比如可将与当前用户性别相同、兴趣爱好相同和/或属于同一年龄段的用户确定为同类用户。其中，用户类型与候选区域对应的候选兴趣区域的类型的匹配度的确定过程可以包括：通过当前用户的属性信息确定当前用户的类型，通过候选兴趣区域确定对应的兴趣资源的类型，基于当前用户的类型、候选兴趣区域对应的兴趣资源的类型以及预先设置的用户类型与兴趣资源类型的匹配度，确定当前用户类型与候选区域对应的候选兴趣区域的类型的匹配度。

其中，确定指示对象偏离候选区域对应的候选兴趣区域的中心的角速度的过程可以包括：获取当前图像(上述的目标图像)前的M张图像(图像按预设的时间间隔获取)，分别计算每一张图像中指示对象所指方向(即从指示对象的指定部位所引的延长线)与指示对象的指定部位与候选兴趣区域中心连线的夹角，获得每张图像对应的夹角，基于每张图像对应的夹角确定指示对象偏离候选兴趣区域的中心的角速度。示例性地，t＝0s时，获取第一张图像，t＝2s时，获取第二张图像，假设通过第一张图像确定夹角为θ₀，通过第二张图像确定的夹角为θ₁，则角速度为(θ₁-θ₀)/2。

步骤S502：从与各个候选兴趣区域对应的候选区域中确定满足预设条件的候选区域作为目标区域。

其中，预设条件为指示对象的指定部位位于候选区域中。

步骤S503：基于目标区域确定与指示对象最适配的兴趣区域。

需要说明的是，目标区域可能为一个，也可能为多个，则当目标区域为一个时，将与该目标区域对应的候选兴趣区域确定为与指示对象最适配的兴趣区域；当目标区域为多个时，从多个目标区域中确定最优目标区域，将与最优目标区域对应的候选兴趣区域确定为与指示对象最适配的兴趣区域，其中，最优目标区域为多个目标区域中被指定对象所指定的概率最大的目标区域。

以下对以目标交点为中心做预设形状的区域作为候选兴趣区域对应的候选区域进行介绍。

在一种可能的实现方式中，以目标交点为中心做预设形状的区域作为候选兴趣区域对应的候选区域的过程可以包括：将目标交点确定为高斯函数的中心点；基于目标参数确定高斯函数阈值；基于目标页面在当前视场中的尺寸和高斯函数阈值确定高斯函数中指定参数的参数值，基于中心点和指定参数的参数值确定目标高斯函数，基于目标高斯函数做高斯圆。其中，指定参数为高斯函数中的方差。

在一种可能的实现方式中，高斯函数阈值p可基于下式确定：

其中，N为目标页面中兴趣区域的总数量，ω为指示对象偏离候选区域对应的候选兴趣区域的中心的角速度，d为候选区域对应的候选兴趣区域中心到指示对象所指方向上的延长线的垂直距离，n为同类用户对候选区域对应的候选兴趣区域的历史操作次数，ω₁～ω₄分别表示各因素对最终结果的贡献度，且ω₁+ω₂+ω₃+ω₄＝1，N_max为目标读本中兴趣区域的总数量，ω_min为设定的最小角速度(可以设定为一个比0大的非常小的数)，d_max为设定的最大垂直距离，n_max为用户对目标读本中的兴趣区域的历史操作总次数。

以下对基于目标页面在当前视场中的尺寸和高斯函数阈值确定高斯函数中指定参数的参数值进行介绍。

二维高斯函数的表达式为：

其中，x，y相互独立，(x₀，y₀)为高斯函数的中心点，和为方差。

在本申请中，由于方差不同，

的值会不同，即当方差改变时，高斯函数的幅值会也会改变，为了使高斯函数的幅值不受方差的影响，本实施例将上式中的

用定值A替代，以使不同方差的高斯圆中计算具体函数值就会有可比性，即：

可以理解的是，若要做高斯圆，首先需要确定出目标高斯函数，即需要确定出目标高斯函数的中心点和方差，由于中心点已经确定出，即为上述的目标交点，接下来需要确定目标高斯函数中方差的值。

在一种可能的实现方式中，可预先获取目标页面的页面初始尺寸，并基于该页面初始尺寸确定对应的初始高斯函数，在确定目标高斯函数中方差的值时，首先基于目标页面在当前视场中的尺寸和页面初始尺寸确定页面缩放因子，然后基于页面缩放因子、初始高斯函数中方差的值、高斯函数阈值确定目标高斯函数中方差的值。

示例性的，如图6a所示，假设目标页面初始尺寸为640*480，可将该尺寸的目标页面的中心点作为高斯函数的中心点做高斯圆(该高斯圆可以为椭圆，比例因子根据目标页面的长宽确定)，图6b为一维的高斯函数，可以取2*σ_x＝240，2*σ_y＝320，2*σ_x与2*σ_y即为椭圆的半径，当然也可取其它(比如3*σ_x＝240)，σ_y＝4σ_x/3＝σ₀，4/3为比例因子，σ₀就是当前页面所有高斯函数中方差(σ_x或σ_y)的最大值。确定出了高斯函数的中心点，以及，方差σ_x和σ_y的值，便可获得初始高斯函数。在确定目标函数的方差的值时，可基于σ₀和高斯函数阈值p确定当前的σ′₀，具体的，σ′₀＝p*σ₀，相应地，σ′_y＝4σ′_x/3＝σ′₀，另外需要说明的是，σ′_y＝4σ′_x/3＝σ′₀中的比例因子需要根据确定出的页面缩放因子进行调整，若目标页面在当前视场中的尺寸与页面初始尺寸相同，则保持比例因子为4/3不变。

确定出目标高斯函数中方差的值后，便获得了目标高斯函数，进而可基于目标高斯函数做高斯圆。

可以理解的是，指示对象在所指方向上的延长线所穿过的兴趣区域可能为多个，即候选兴趣区域为多个，基于每个候选兴趣区域均可做出一高斯圆，对于每个高斯圆而言，指示对象与该高斯圆的位置关系至少有两种：其一，指示对象的指定部位位于高斯圆外，如图7a所示，其二，指示对象的指定部位位于高斯圆中，如图7b所示，本实施例基于指示对象的指定部位与高斯圆的位置关系确定目标高斯圆，具体地，若指示对象的指定部位与高斯圆的位置关系满足:指示对象的指定部位位于高斯圆中，则可确定该高斯圆为目标高斯圆。目标高斯圆的确定结果包括以下三种：其一，不存在目标高斯圆，此时，认为不存在与指示对象最适配的兴趣区域，后续不会匹配兴趣资源；其二，存在目标高斯圆且目标高斯圆只有一个，此时，将该目标高斯圆对应的候选兴趣区域确定为与指示对象最适配的兴趣区域，其三，存在目标高斯圆且目标高斯圆有多个，此时，会从多个目标高斯圆中确定出最优目标高斯圆，具体地，对于每个目标高斯圆而言，基于指示对象的指定部位的位置可确定一高斯概率值，基于各个目标高斯圆对应的高斯概率值的大小确定最优目标高斯圆，比如将高斯概率值最大的目标高斯圆确定为最优目标高斯圆，然后将最优目标高斯圆对应的候选兴趣区域确定为与指示对象最适配的兴趣区域，如图7b所示，指示对象的指定部位位于多个高斯圆中，但由于其在ROI₂中计算出的高斯概率较大，因此会将ROI₂作为与指示对象最适配的兴趣区域。

上述任一实施例提供的兴趣区域预测方法，还可以包括：确定与指示对象最适配的兴趣区域对应的兴趣资源并输出。

请参阅图8，示出了确定与指示对象最适配的兴趣区域对应的兴趣资源的实现过程的流程示意图，可以包括：

步骤S801:获取目标读本的封面图像，基于封面图像确定目标读本的读本号作为目标读本号，并基于目标读本号从兴趣资源库中确定目标读本对应的兴趣资源集合，作为目标兴趣资源集合。

其中，基于封面图像确定目标读本的读本号作为目标读本号的过程可以包括：确定封面图像的特征描述，作为目标封面特征描述；从兴趣资源库中确定与目标封面特征描述相似度最高的封面特征描述作为目标读本号。在一种可能的实现方式中，确定封面图像的特征描述的过程可以包括：确定封面图像的特征向量，将该特征向量生成BOW描述，获得目标封面BOW描述。相应地，目标读本号为兴趣资源库中与目标封面BOW描述相似度最高的封面BOW描述。

则基于目标读本号从兴趣资源库中确定目标读本对应的兴趣资源集合，作为目标兴趣资源集合的过程可以包括：将兴趣资源库中与目标读本号对应的兴趣资源集合确定为目标读本对应的兴趣资源集合，作为目标兴趣资源集合。

其中，兴趣资源库中包括各个读本的封面特征描述，以及与各个封面特征描述对应的兴趣资源集合，每个封面特征描述对应的兴趣资源集合中包括对应的读本中各个页面的页面特征描述以及各个页面特征描述对应的兴趣资源子集；

步骤S802:获取目标页面的页面图像，基于页面图像确定目标页面的页面号作为目标页面号，并基于目标页面号从目标兴趣资源集合中确定与目标页面对应的兴趣资源集合，作为目标兴趣资源子集。

其中，基于页面图像确定目标页面的页面号作为目标页面号的过程可以包括：确定页面图像的特征描述，作为目标页面特征描述；从目标兴趣资源集合中确定与目标页面特征描述相似度最高的页面特征描述作为目标页面号。确定封面图像的特征描述的过程可以包括：确定页面图像的特征向量，将该特征向量生成BOW描述，获得目标页面BOW描述。相应地，目标页面号为目标兴趣资源集合中与目标页面BOW描述相似度最高的页面BOW描述。

则基于目标页面号从目标兴趣资源集合中确定与目标页面对应的兴趣资源集合，作为目标兴趣资源子集的过程可以包括：将与目标页面号对应的兴趣资源子集确定为与目标页面对应的兴趣资源集合，作为目标兴趣资源子集。

步骤S803:从目标兴趣资源子集中确定与指示对象最适配的兴趣区域对应的兴趣资源。

在确定出与指示对象最适配的兴趣区域对应的兴趣资源后，输出该兴趣资源，输出兴趣资源的方式可以但不限定播放兴趣资源。

本申请实施例提供的兴趣区域预测方法，可确定指示对象是否指到目标读本的目标页面的兴趣区域，若指示对象未指到兴趣区域，确定指示对象在所指方向上的延长线所穿过的兴趣区域，确定出的兴趣区域组成候选兴趣区域集合，然后从候选兴趣区域集合中确定与指示对象最适配的兴趣区域，作为指示对象所指的兴趣区域，最后确定与指示对象最适配的兴趣区域对应的兴趣资源并输出。由此可见，本申请实施例提供的兴趣区域预测方法不但能够确定出指示对象是否指到兴趣区域，而且能够在指示对象未指到兴趣区域时，为用户预测出意向兴趣区域，进而将意向兴趣区域作为指示对象所指的兴趣区域，从而为其匹配到兴趣资源并输出，用户体验较好。

与上述兴趣区域预测方法相对应，本申请还提供了一种兴趣区域预测装置，请参阅图9，示出了该装置的结构示意图，可以包括：候选兴趣区域确定模块901和意向兴趣区域确定模块902。

候选兴趣区域确定模块901，用于当指示对象未指到目标读本的目标页面中的兴趣区域时，确定所述指示对象在所指方向上的延长线所穿过的兴趣区域，确定出的兴趣区域组成候选兴趣区域集合；

意向兴趣区域确定模块902，用于从所述候选兴趣区域集合中确定与所述指示对象最适配的兴趣区域，作为所述指示对象所指的兴趣区域。

本申请实施例提供的兴趣区域预测装置，在指示对象未指到目标读本的目标页面中的兴趣区域时，首先确定指示对象在所指方向上的延长线所穿过的兴趣区域，确定出的兴趣区域组成候选兴趣区域集合，然后从候选兴趣区域集合中确定与指示对象最适配的兴趣区域，作为指示对象所指的兴趣区域。由此可见，本申请实施例提供的兴趣区域预测装置能够在指示对象未指到兴趣区域时，为用户预测出意向兴趣区域，进而将意向兴趣区域作为指示对象所指的兴趣区域，这使得后续能够基于预测出的兴趣区域匹配到兴趣资源并输出，用户体验较好。

在一种可能的实现方式中，上述实施例提供的兴趣区域预测装置还包括：图像获取模块、轮廓确定模块和指向确定模块。

图像获取模块，用于获取包括所述指示对象和所述目标页面的图像，作为目标图像。

轮廓确定模块，用于从所述目标图像中确定所述指示对象的轮廓信息。

指向确定模块，用于基于所述目标图像的轮廓信息，确定所述指示对象是否指到所述目标读本的目标页面中的兴趣区域。

在一种可能的实现方式中，指向确定模块可以包括：指示对象信息确定子模块和指向确定子模块。

指示对象信息确定子模块，用于通过所述指示对象的轮廓信息，确定所述指示对象的指定部位的坐标和所述指示对象所指方向。

指向确定子模块，用于通过所述指示对象的指定部位的坐标以及预先获取的所述目标页面中各个兴趣区域的轮廓信息，确定所述指示对象的指定部位是否位于所述目标页面中的兴趣区域，若所述指示对象的指定部位未位于所述目标页面中的兴趣区域，则确定所述指示对象未指到所述目标页面中的兴趣区域。

在一种可能的实现方式中，上述实施例提供的兴趣区域预测装置中的意向兴趣区域确定模块902可以包括：目标兴趣区域确定子模块、高斯圆生成子模块和意向兴趣区域确定子模块。

目标兴趣区域确定子模块，用于从所述候选兴趣区域集合中确定与所述指示对象的指定部位距离最近的兴趣区域，作为目标兴趣区域；

高斯圆生成子模块，用于以所述指示对象所指方向上的延长线与所述目标兴趣区域交点中，与所述指示对象的指定部位之间的距离最短的交点为圆心做高斯圆；

向兴趣区域确定子模块，用于当所述指示对象的指定部位位于所述高斯圆中时，确定所述目标兴趣区域为与所述指示对象最适配的兴趣区域。

在一种可能的实现方式中，高斯圆生成子模块包括：候选区域确定子模块、目标区域确定子模块和兴趣区域确定子模块。

候选区域确定子模块，用于对于所述候选兴趣区域集合中的每个候选兴趣区域，以目标交点为中心做预设形状的区域作为该候选兴趣区域对应的候选区域，其中，所述目标交点为所述指示对象所指方向上的延长线与该候选兴趣区域的交点中，与所述指示对象的指定部位之间的距离最短的交点。

目标区域确定子模块，用于从与各个所述候选兴趣区域对应的候选区域中确定满足预设条件的候选区域作为目标区域，其中，预设条件为所述指示对象的指定部位位于候选区域中。

兴趣区域确定子模块，用于基于所述目标区域确定与所述指示对象最适配的兴趣区域。

在一种可能的实现方式中，兴趣区域确定子模块，具体用于若所述目标区域为一个，则将与所述目标区域对应的候选兴趣区域确定为与所述指示对象最适配的兴趣区域；若所述目标区域为多个，则从多个所述目标区域中确定最优目标区域，将与所述最优目标区域对应的候选兴趣区域确定为与所述指示对象最适配的兴趣区域，其中，所述最优目标区域为多个所述目标区域中被所述指定对象所指定的概率最大的目标区域。

在一种可能的实现方式中，候选区域的大小取决于目标参数，所述目标参数包括以下参数中的一个或多个：

在一种可能的实现方式中，候选区域确定子模块，具体用于将所述目标交点确定为高斯函数的中心点；基于所述目标参数确定高斯函数阈值，并基于所述目标页面在当前视场中的尺寸和所述高斯函数阈值确定高斯函数中指定参数的参数值；基于所述中心点和所述指定参数的参数值确定目标高斯函数，并基于所述目标高斯函数做高斯圆。

上述实施例提供的兴趣区域预测装置，还可以包括：兴趣资源确定模块和兴趣资源输出模块。

兴趣资源确定模块，用于确定与所述指示对象最适配的兴趣区域对应的兴趣资源；

兴趣资源输出模块，用于输出与所述指示对象最适配的兴趣区域对应的兴趣资源。

在一种可能的实现方式中，兴趣资源确定模块包括：封面图像获取子模块、读本号确定子模块、兴趣资源集合确定子模块、页面图像获取子模块、页面号确定子模块、兴趣资源子集确定子模块和兴趣资源确定子模块。

封面图像获取子模块，用于获取所述目标读本的封面图像。

读本号确定子模块，用于基于所述封面图像确定所述目标读本的读本号作为目标读本号。

兴趣资源集合确定子模块，用于基于所述目标读本号从兴趣资源库中确定所述目标读本对应的兴趣资源集合，作为目标兴趣资源集合。

页面图像获取子模块，用于获取所述目标页面的页面图像。

页面号确定子模块，用于基于所述页面图像确定所述目标页面的页面号作为目标页面号。

兴趣资源子集确定子模块，用于基于所述目标页面号从所述目标兴趣资源集合中确定与所述目标页面对应的兴趣资源集合，作为目标兴趣资源子集。

兴趣资源确定子模块，用于从所述目标兴趣资源子集中确定与所述指示对象最适配的兴趣区域对应的兴趣资源。

进一步地，读本号确定子模块，具体用于确定所述封面图像的特征描述，作为目标封面特征描述；从所述兴趣资源库中确定与所述目标封面特征描述相似度最高的封面特征描述作为所述目标读本号。

兴趣资源集合确定子模块，具体用于将所述兴趣资源库中与所述目标读本号对应的兴趣资源集合确定为所述目标读本对应的兴趣资源集合，作为目标兴趣资源集合。

其中，所述兴趣资源库中包括各个读本的封面特征描述，以及与各个封面特征描述对应的兴趣资源集合，每个封面特征描述对应的兴趣资源集合中包括对应的读本中各个页面的页面特征描述以及各个页面特征描述对应的兴趣资源子集。

页面号确定子模块，具体用于确定所述页面图像的特征描述，作为目标页面特征描述，从所述目标兴趣资源集合中确定与所述目标页面特征描述相似度最高的页面特征描述作为所述目标页面号。

兴趣资源子集确定子模块，用于将与目标页面号对应的兴趣资源子集确定为与目标页面对应的兴趣资源集合，作为目标兴趣资源子集。

本申请还提供了一种兴趣区域预测设备，请参阅图10，示出了该兴趣区域预测设备的结构示意图，该设备包括：存储器1001和处理器1002；

所述存储器1001，用于存储程序；

所述处理器1002，用于执行所述程序，所述程序具体用于：

兴趣区域预测设备还可以包括：总线、通信接口1003、输入设备1004和输出设备1005。

处理器1002、存储器1001、通信接口1003、输入设备1004和输出设备1005通过总线相互连接。其中：

总线可包括一通路，在计算机系统各个部件之间传送信息。

处理器1002可以是通用处理器，例如通用中央处理器(CPU)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

处理器1002可包括主处理器，还可包括基带芯片、调制解调器等。

存储器1001中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器1001可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。

输入设备1004可包括接收用户输入的数据和信息的装置，例如摄像头、光笔、触摸屏等。

输出设备1005可包括允许输出信息给用户的装置，例如显示屏、扬声器等。

通信接口1003可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。

处理器1002执行存储器1001中所存放的程序，以及调用其他设备，可用于实现本发明实施例所提供的兴趣区域预测方法的各个步骤。

本申请还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的兴趣区域预测方法的各个步骤。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种兴趣区域预测方法，其特征在于，包括：

从所述候选兴趣区域集合中确定与所述指示对象最适配的兴趣区域，作为所述指示对象所指的兴趣区域；

确定所述候选兴趣区域集合中每个候选兴趣区域对应的候选区域，并根据确定出的候选区域，确定与所述指示对象最适配的兴趣区域，其中，一候选兴趣区域对应的候选区域为以目标交点为中心所做的预设形状的区域，所述目标交点为所述指示对象所指方向上的延长线与该候选兴趣区域的交点中，与所述指示对象的指定部位之间的距离最短的交点。

2.根据权利要求1所述的兴趣区域预测方法，其特征在于，还包括：

从所述目标图像中确定所述指示对象的轮廓信息；

3.根据权利要求2所述的兴趣区域预测方法，其特征在于，所述基于所述指示对象的轮廓信息，确定所述指示对象是否指到所述目标页面中的兴趣区域，包括：

4.根据权利要求1～3中任意一项所述的兴趣区域预测方法，其特征在于，所述根据确定出的候选区域，确定与所述指示对象最适配的兴趣区域，包括：

基于所述目标区域确定与所述指示对象最适配的兴趣区域。

5.根据权利要求4所述的兴趣区域预测方法，其特征在于，所述基于所述目标区域确定与所述指示对象最适配的兴趣区域，包括：

若所述目标区域为多个，则从多个所述目标区域中确定最优目标区域，将与所述最优目标区域对应的候选兴趣区域确定为与所述指示对象最适配的兴趣区域，其中，所述最优目标区域为多个所述目标区域中被所述指示对象所指定的概率最大的目标区域。

6.根据权利要求4所述的兴趣区域预测方法，其特征在于，所述候选区域的大小取决于目标参数，所述目标参数包括以下参数中的一个或多个：

7.根据权利要求6所述的兴趣区域预测方法，其特征在于，所述以目标交点为中心做预设形状的区域，包括：

将所述目标交点确定为高斯函数的中心点；

8.根据权利要求1所述的兴趣区域预测方法，其特征在于，还包括：

9.根据权利要求8所述的兴趣区域预测方法，其特征在于，所述确定与所述指示对象最适配的兴趣区域对应的兴趣资源，包括：

10.一种兴趣区域预测装置，其特征在于，包括：候选兴趣区域确定模块和意向兴趣区域确定模块；

所述意向兴趣区域确定模块，用于从所述候选兴趣区域集合中确定与所述指示对象最适配的兴趣区域，作为所述指示对象所指的兴趣区域；

其中，所述意向兴趣区域确定模块在从所述候选兴趣区域集合中确定与所述指示对象最适配的兴趣区域时，具体用于确定所述候选兴趣区域集合中每个候选兴趣区域对应的候选区域，并根据确定出的候选区域，确定与所述指示对象最适配的兴趣区域，其中，一候选兴趣区域对应的候选区域为以目标交点为中心所做的预设形状的区域，所述目标交点为所述指示对象所指方向上的延长线与该候选兴趣区域的交点中，与所述指示对象的指定部位之间的距离最短的交点。

11.一种兴趣区域预测设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，所述程序具体用于：

12.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至9中任一项所述的兴趣区域预测方法的各个步骤。