CN114397997B - 互动操作的控制方法和多屏互动系统 - Google Patents

Abstract

本发明实施例公开了一种互动操作的控制方法，应用于包括移动终端和显示终端的多屏互动系统，其中，所述多屏互动系统包括移动终端和显示终端，所述方法包括：通过移动终端获取用户输入的触控操作，获取对应的触控参数；在满足触控参数参考范围时，确定至少一个可操作的控件并在其中确定待选控件；根据用户的历史行为数据确定第一触控偏移参数，根据每一个待选控件对应的第二触控偏移参数，根据第一和/或第二触控偏移参数确定触控操作与待选控件间的匹配度，根据匹配度确定目标控件；获取与目标控件对应的操作指令作为触控操作请求发送给显示终端，以使多屏互动系统执行触控操作请求。采用本发明，可提高多屏互动系统操作的控制准确度。

Description

互动操作的控制方法和多屏互动系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种互动操作的控制方法和多屏互动系统。

背景技术

随着计算机和互联网的快速发展，越来越多的课程通过智能手机、电脑等计算机终端开展线上课程，提高课程的便利性。尤其是随着物联网技术以及多端互联技术的发展，越来越多的课程还可以通过智能手机、智能电视等计算机设备之间进行多端互联，实现多个终端之间的互动，提高线上课程的趣味性。

但是，线上课程的一个主要受众是学生或者年纪偏小的用户，在操作时容易产生误操作或者操作不准确，从而导致多端互联的互动操作的控制精准度偏低，导致用户体验不好。

发明内容

基于此，有必要针对上述问题，提出了一种互动操作的控制方法和多屏互动系统。

在本发明的第一部分，提供了一种互动操作的控制方法，应用于多屏互动系统，其中，所述多屏互动系统包括移动终端和显示终端，所述移动终端和显示终端通信连接，且所述显示终端上展示与所述移动终端对应的互动课程数据；

所述方法包括：

通过所述移动终端获取用户输入的触控操作，根据互动课程数据确定当前是否处于互动操作时间，若是，则获取所述触控操作的操作参数，所述操作参数包括触控参数和触控区域，所述触控参数包括触控力度、触控轨迹、触控时长，所述触控区域是根据所述触控操作的触控轨迹确定的包围所述触控轨迹的在移动终端的当前操作界面上的区域；

根据用户的历史行为数据确定触控参数参考范围，在所述触控参数满足确定的触控参数参考范围的情况下，确定移动终端的在互动课程数据的当前操作界面中的至少一个可操作的控件，在所述至少一个可操作的控件中确定至少一个待选控件；

根据用户的历史行为数据，确定用户的第一触控偏移参数，根据第一触控偏移参数和系统设定的每一个待选控件对应的第二触控偏移参数，确定所述触控操作与每一个待选控件之间的匹配度，根据匹配度在所述至少一个待选控件中确定目标控件；其中，目标控件的匹配度大于预设的匹配度值；

获取与所述目标控件对应的操作指令作为与所述触控操作对应的触控操作请求，并发送给所述显示终端，以使得所述多屏互动系统执行所述触控操作请求，将执行结果发送给所述显示终端进行展示。

在本发明的第二部分，提供了一种多屏互动系统，所述多屏互动系统包括移动终端和显示终端，所述移动终端和显示终端通信连接，且所述显示终端上展示与所述移动终端对应的互动课程数据；

所述移动终端获取用户输入的触控操作，根据互动课程数据确定当前是否处于互动操作时间，若是，则获取所述触控操作的操作参数，所述操作参数包括触控参数和触控区域，所述触控参数包括触控力度、触控轨迹、触控时长，所述触控区域是根据所述触控操作的触控轨迹确定的包围所述触控轨迹的在移动终端的当前操作界面上的区域；

所述移动终端根据用户的历史行为数据确定触控参数参考范围，在所述触控参数满足确定的触控参数参考范围的情况下，在所述移动终端上展示的在互动课程数据的当前操作界面中的至少一个可操作的控件，在所述至少一个可操作的控件中确定至少一个待选控件；

所述移动终端根据用户的历史行为数据，确定用户的第一触控偏移参数，根据第一触控偏移参数和系统设定的每一个待选控件对应的第二触控偏移参数，确定所述触控操作与每一个待选控件之间的匹配度，根据匹配度在所述至少一个待选控件中确定目标控件；其中，目标控件的匹配度大于预设的匹配度值；

所述移动终端获取与所述目标控件对应的操作指令作为与所述触控操作对应的触控操作请求，并发送给所述显示终端；

所述多屏互动系统执行所述触控操作请求，将执行结果发送给所述显示终端；

所述显示终端展示所述执行结果。

采用本发明实施例，具有如下有益效果：

采用了上述互动操作的控制方法和多屏互动系统之后，在用户通过多屏互动系统进行课程学习和互动的过程中，用户可以通过移动终端输入触控操作来实现互动，具体的，通过所述移动终端获取用户输入的触控操作，根据互动课程数据确定当前是否处于互动操作时间，若是，则获取所述触控操作的操作参数，所述操作参数包括触控参数和触控区域，所述触控参数包括触控力度、触控轨迹、触控时长，所述触控区域是根据所述触控操作的触控轨迹确定的包围所述触控轨迹的在移动终端的当前操作界面上的区域；根据用户的历史行为数据确定触控参数参考范围，在所述触控参数满足确定的触控参数参考范围的情况下，确定移动终端的在互动课程数据的当前操作界面中的至少一个可操作的控件，在所述至少一个可操作的控件中确定至少一个待选控件；根据用户的历史行为数据，确定用户的第一触控偏移参数，根据第一触控偏移参数和系统设定的每一个待选控件对应的第二触控偏移参数，确定所述触控操作与每一个待选控件之间的匹配度，根据匹配度在所述至少一个待选控件中确定目标控件；其中，目标控件的匹配度大于预设的匹配度值；获取与所述目标控件对应的操作指令作为与所述触控操作对应的触控操作请求，并发送给所述显示终端，以使得所述多屏互动系统执行所述触控操作请求，将执行结果发送给所述显示终端进行展示。也就是说，通过对触控操作的触控参数的分析以及对用户的历史行为数据进行分析，以确定用户输入的触控操作可能针对的控件，并进一步的基于用户行为数据对应的偏移情况以及系统允许的偏移情况，在可能的控件中确定目标控件，然后执行与该目标控件对应的操作指令，以实现基于用户输入的触控操作对应的互动，提高用户输入的互动操作控制的准确率，提高互动的有效性，提升用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中一种多屏互动系统的组成示意图；

图2为一个实施例中一种互动操作的控制方法的流程示意图；

图3为一个实施例中运行上述互动操作的控制方法的计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本实施例中，提供了一种多屏互动系统以及基于该系统的互动操作的控制方法。

具体的，请参见图1，图1给出了多屏互动系统的组成示意图。其中，多屏互动系统100包括移动终端200以及与移动终端200连接的显示终端300。

移动终端200与显示终端300之间可以通过蓝牙、WIFI或NFC等方式通信连接，且二者之间可以进行数据通信，例如，移动终端200将在移动终端200上展示和播放的互动课程数据发送到显示终端300上进行展示，以使得互动课程数据的多屏展示和多屏互动。在本实施例中，通过移动终端200来实现对显示终端300的控制。在一个具体的实施例中，移动终端200为便携式的移动设备，例如智能手机或平板电脑等，用户可以手持移动终端200并在移动终端200上进行操作；显示终端300可以是电视、显示屏、投影仪等显示终端设备，显示终端300可以接收移动终端200发送的数据，并在显示终端300上进行展示。

在一个具体的实施例中，用户可以通过上述多屏互动系统来进行课程的学习，例如，互动课程，用户通过在移动终端200上预设的APP或小程序等启动课程，然后通过用户的多屏分享操作将课程对应的互动课程数据发送到显示终端300，然后可以在显示终端300上播放移动终端200上的课程，并且用户可以在移动终端200上进行操作，以实现课程的互动。

进一步的，请参见图2，图2给出了上述多屏互动系统的互动操作的控制方法的示意图。

具体的，上述互动操作的控制方法包括如图2所示的步骤：

步骤S102：通过所述移动终端获取用户输入的触控操作，根据互动课程数据确定当前是否处于互动操作时间，若是，则获取所述触控操作的操作参数，所述操作参数包括触控参数和触控区域，所述触控参数包括触控力度、触控轨迹、触控时长，所述触控区域是根据所述触控操作的触控轨迹确定的包围所述触控轨迹的在移动终端的当前操作界面上的区域。

在用户通过上述多屏互动系统进行课程的学习的情况下，为了实现用户的互动，用户可以通过移动终端进行输入，以实现课程的学习和互动。具体的，用户可以通过移动终端输入触控操作，以实现对移动终端上展示的内容进行操作。其中，为了提高用户操作的准确性，首先需要确定当前是否处于预设的互动操作时间，只有在处于预设的互动操作时间的情况下，才继续对用户输入的触控操作进行解析和执行，反之，若不处于预设的互动操作时间的情况下，忽略用户输入的触控操作。其中，预设的互动操作时间是根据相应的课程来确定的，每一个课程都预设有对应的互动操作时间（例如，与课程对应的答题时间）。在本实施例中，每一个课程都预先根据课程具体的内容，确定对应的互动操作时间，该互动操作时间是根据课程的播放进度来确定的。

进一步的，获取用户输入的触控操作对应的操作参数，其中，操作参数包括触控参数以及触控区域，触控参数包括触控力度、触控轨迹、触控时长，用于标识用于输入的触控操作的相关参数，而触控区域是根据触控操作的触控轨迹确定的所述触控轨迹的在移动终端的当前操作界面上的区域。

步骤S104：根据用户的历史行为数据确定触控参数参考范围，在所述触控参数满足确定的触控参数参考范围的情况下，确定移动终端的在互动课程数据的当前操作界面中的至少一个可操作的控件，在所述至少一个可操作的控件中确定至少一个待选控件。

一般来讲，同一个用户输入的触控操作对应的触控参数在一定的范围内变化，在短时间内不会发生较大的改变，因此，可以根据的历史行为数据，确定用户在历史行为数据中的触控操作对应的触控参数的参考范围。其中，获取用户的历史行为数据，确定用户行为数据中的触控操作对应的触控参数，然后对触控参数的具体取值范围进行统计分析，以确定对应的触控参数参考范围。

进一步的，在本实施例中，用于确定触控参数参考范围的用户行为数据还需要进一步的进行确定，例如，仅根据用户行为数据中的有效触控操作来确定触控参数参考范围，或者，根据预设时间段内的用户行为数据中的触控操作来确定触控参数参考范围，或者，根据后续进一步阐述的匹配度在预设范围内的用户行为数据中的触控操作做来确定触控参数参考范围。

在触控操作的触控操作满足预设的触控参数参考范围时，判定用户当前输入的触控操作是有效的，可以进行进一步的操作；反之，若触控参数不满足触控参数参考范围，则判定当前的输入的触控操作是无效的，忽略相应的触控操作，并生成输入无效的提示信息，在显示终端和移动终端上进行展示，以提醒用户重新进行触控操作的输入。

进一步的，在一个实施例中，根据用户的历史行为数据，获取用户在历史行为数据中的多个触控操作，并确定每一个触控操作对应的触控参数。然后基于统计学习模型，将多个触控操作对应的触控参数输入到该统计学习模型，对每一个类型的触控参数对应的取值或特征值进行统计分析和聚类，以确定用户输入的有效/无效的触控操作对应的触控参数对应的分布规律。

在确定了触控参数的分布规律之后，即可进一步的确定有效的触控操作与无效的触控操作对应的触控参数的分布情况，从而可以据此确定有效的触控操作对应的触控参数参考范围。进一步的，在一个可选的实施例中，有效的触控操作对应的触控参数与无效的触控操作对应的触控参数之间可能存在重叠，在本实施例中，并不是直接将触控参数的有效、无效作为触控参数参考范围的阈值，这里还需要对触控参数的分布规律进行进一步的处理。具体的，将触控参数对应的分布规律，输入到预设的深度学习模型，以获取触控参数参考范围。

在一个具体的实施例中，根据触控参数的分布规律，选取触控参数的分布集中分布的区域，将该区域对应的触控参数的取值作为触控参数参考范围。

在另一个实施例中，将触控参数对应的分布规律，输入到预设的深度学习模型进行学习，然后，在本步骤中，直接将当前接收到的触控操作的触控参数输入到该深度学习模型，该深度学习模型可以输出用户输入的触控操作的触控参数是否满足触控参数参考范围的分类结果（包括是或否）。

在触控操作的触控参数满足触控参数参考范围的情况下，可以认为当前的触控操作是用户的合法的有效输入，在这种情况下，需要进一步的判断该触控操作是否是有效的对课程对应的操作界面（在移动终端上展示的当前操作界面）上的控件的有效输入。

首先，在当前操作界面上有一个或多个可以进行触控操作的可操作的控件，用户输入的触控操作是针对其中一个可操作的控件输入的，在本步骤中，在检测到用户输入的触控操作的情况下，在当前操作界面中确定一个或多个可操作的控件，然后，根据用户输入的触控操作在这一个或多个可操作的控件中，确定待选控件。在一个具体的实施例中，待选控件可以是根据触控操作的触控区域确定的，其中，待选控件对应的可触控范围与触控操作的触控区域之间的距离值小于预设值，或者重叠区域的面积大于或等于预设值。也就是说，在本步骤中，根据一个或多个可操作的控件对应的可触控范围（这里，可触控范围可以是控件图标所在的区域）与触控操作的触控区域之间的距离或重叠区域的面积，在一个或多个可操作的控件中确定一个或多个待选控件，这一个或多个待选控件就是用户输入的触控操作可能对应的控件。

步骤S106：根据用户的历史行为数据，确定用户的第一触控偏移参数，根据第一触控偏移参数和系统设定的每一个待选控件对应的第二触控偏移参数，确定所述触控操作与每一个待选控件之间的匹配度，根据匹配度在所述至少一个待选控件中确定目标控件；其中，目标控件的匹配度大于预设的匹配度值。

在本实施例中，因为课程对应的用户可能是小学生，年龄偏小，输入的触控操作的准确度可能存在不足，触控区域存在一定的偏差，因此，在本实施例中，还需要进一步的在触控操作可能对应的一个或多个待选控件中，进一步的确定目标控件。

具体的，根据用户的历史行为数据，确定用户在之前输入的触控操作对应的偏移情况，并基于此确定第一触控偏移参数。

并且，在本实施例中，针对每一个控件，系统都根据控件设置的位置、区域等，确定其对应的可能存在的偏移情况，即为第二触控偏移参数。

然后，根据第一触控偏移参数和第二触控偏移参数，确定用户输入的触控操作与每一个待选控件之间的匹配度，其中，匹配度用于标识触控操作对应相应的待选控件的可能性。进一步的，可以根据该匹配度，进一步的在多个待选控件中，确定一个目标控件。

在一个具体的实施例中，触控操作与目标控件之间的匹配度大于或等于触控操作与其他待选控件之间的匹配度，也就是说，将匹配度最高的待选控件作为目标控件。

进一步的，在本实施例中，目标控件的匹配度大于预设的匹配度值，只有在大于预设的匹配度值才认为触控操作是有效的，反之，若每一个待选控件与所述触控操作之间的匹配度均低于预设的匹配度值，则判定当前的输入的触控操作是无效的，并生成输入无效的提示信息；并在所述移动终端和显示终端上展示所述输入无效的提示信息，并提醒用户重新进行输入。

在一个具体的实施例中，所述第一触控偏移参数表示用户的历史行为数据中用户输入的触控操作的触控区域中心与对应的目标控件对应的控件触控区域的中心的偏移程度，具体的，可以根据历史行为数据中用户对控件输入触控操作的偏移数据，确定用户的第一触控偏移参数。其中，确定用户的历史行为数据中所有的/有效的用户输入的触控操作，并确定这些触控操作对应的触控参数，以及对应的目标控件对应的控件触控区域，然后基于此计算每一次触控操作对应的偏移情况，这里包括了触控操作的触控区域对应的中心与目标控件对应的控件触控区域的中心之间的偏移距离；另外，还需要计算触控参数中包括触控压力等参数的分布，然后基于触控参数的分布来确定每一个触控参数对应的偏移情况，据此来确定对应的偏移参数（第一触控偏移参数）。

在一个具体的实施例中，将所有触控操作对应的触控参数以及对应的目标控件对应的触控区域，输入到预设的深度学习模型中，通过深度学习模型对触控操作对应的触控区域与目标控件对应的触控区域之间的偏移情况，从而确定与触控参数中的触控区域对应的偏移参数；并且，通过深度学习模型对触控参数中除触控区域之外的其他触控参数进行学习，以确定触控参数对应的偏移参数；从而可以确定每一个触控参数对应的第一触控偏移参数。

在一个具体的实施例中，对于触控参数中包含的触控区域，确定触控操作的触控参数中的触控区域、以及触控操作对应的目标控件对应的控件触控区域，计算这2个触控区域之间的偏移特征值，然后基于预设的统计学习模型确定触控区域对应的偏移特征值对应的参数分布；基于确定的参数分布，将偏移特征值分成若干个参数区间，确定每一个参数区间的参考值、以及对应的分布概率值，然后，基于每一个参数区间的参考值以及对应的分布概率值，计算触控区域对应的第一触控偏移参数。其中，触控区域对应的第一触控偏移参数的计算，可以是基于参考值（这里可以是参考区间的平均值、或者概率值最大的参数值）以及对应的加权值（加权值可以是根据参数区间对应的分布概率值计算得到的）进行加权计算得到的。其中，参数区间对应的加权值可以是直接等于该参数区间的分布概率值，也可以与该参数区间的分布概率值成反相关关系，例如，可以是该分布概率值的倒数。

在另一个实施例中，对于其他触控参数，可以是采用类似的方法来确认第一触控偏移参数，不过这里可以是直接采用触控参数对应的特征值来计算参数分布，其余的计算方式与上述触控区间对应的特征值的计算方式是相同的，在这里不进行赘述。

进一步的，在一个实施例中，根据系统预设的触控操作允许的偏移程度，确定与当前操作界面对应的第二触控偏移参数，其中第二触控偏移参数表示当前操作界面中至少一个可操作控件对应的触控区域之间所允许的偏移程度。其中，每一个可操作空间对应的第二触控偏移参数可以是相同的，也可以是不同的。例如，在一个可选的实施例中，根据每一个控件对应的控件触控区域的形状、大小和在当前操作界面中的位置，并考虑被点击的频次，确定每一个控件对应的第二触控偏移参数。

具体的，确定控件触控区域的形状、大小和在当前操作界面的位置、被触控的频次对应的特征值，然后，根据预设的每一种特征值对应的加权系数以及特征值，确定每一个控件对应的第二触控偏移参数。在一个具体的实施例中，将各个特征值输入预设的深度学习模型，然后通过该深度学习模型确定第二触控偏移参数。

进一步的，在一个实施例中，为了确定用户输入的触控操作对应的是哪一个控件，在本实施例中，需要计算每一个待选控件与用户输入的触控操作之间的匹配度，然后根据该计算得到的匹配度来在多个待选控件中确定一个目标控件。

具体的，第一触控偏移参数和第二触控偏移参数表示的是用户的历史行为数据和系统允许的触控操作对应的偏移情况、以及每一个待选控件对应的触控区域，来计算用户输入的触控操作对应的触控区域与每一个待选控件对应的控件触控区域之间的匹配度。在一个具体的实施例中，匹配度是这两个区域之间的匹配情况。

具体执行中，根据第一触控偏移参数、第二触控偏移参数计算每一个待选控件对应的扩展触控区域，其中，扩展触控区域是根据第一触控偏移参数和第二触控偏移参数对待选控件对应的控件触控区域进行扩展，扩展就是待选控件对应的控件触控区域所允许的偏移区域。然后计算该扩展触控区域与输入的触控操作对应的触控区域之间的重叠区域，根据该重叠区域的面积与触控区域的面积之间的比值确定触控操作与待选控件之间的匹配度，其中，匹配度可以是一个[0,1]之间的数值。

进一步的，在另一个实施例中，需要首先计算每一个待选控件对应的触控区域与输入的触控操作对应的触控区域之间的重叠区域，根据该重叠区域的面积与触控区域的面积之间的比值，根据第一触控偏移参数、第二触控偏移参数所允许的偏移情况，对计算得到的比值进行修正，将修正之后的比值作为待选控件与输入的触控操作对应的触控区域之间的匹配度；其中，按照预设的第一修正函数，基于第一触控偏移参数对比值进行第一修正，并按照预设的第二修正函数，基于第二触控偏移参数对第一修正之后的比值进行第二修正，以得到待选控件与输入的触控操作对应的触控区域之间的匹配度。

在一个具体的实施例中，根据第一触控偏移参数和第一修正函数，以比值作为自变量，计算对应的修正值，以完成对比值的第一修正过程。根据第二触控偏移参数和第二修正函数，以进行过第一修正之后的比值为自变量，计算对应的修正值，以完成对比值的第二修正过程，从而得到待选控件与输入的触控操作对应的触控区域之间的匹配度。

匹配度标识的是用户输入的触控操作是针对相应的待选控件的可能性，因此，匹配度越高，则用户输入的触控操作是针对相应的待选控件的可能性越高，匹配度越低，用户输入的触控操作是针对相应的待选控件的可行性越低。一般来讲，我们会希望用户输入的触控操作与控件之间的匹配度越高越好，这就说明了用户输入的触控操作的准确度较高，存在的误操作的可能性较低。进一步的，在本实施例中，可以根据每一个待选控件与输入的触控操作之间的匹配度，确定与输入的触控操作对应的当前输入精准度；并且同时确定用户的历史行为数据对应的历史输入精准度，确定当前输入精准度与所述历史输入精准度之间的差值作为精准度差异值。当精准度差异值越大，则说明用户当前输入的触控操作存在误操作的可能性越高。具体的，需要进一步的判断精准度差异值是否小于或等于预设的差异阈值，若是，说明用户当前输入的触控操作与用户的历史行为数据是吻合的，可以进一步的执行所述取与所述目标控件对应的操作指令作为与所述触控操作对应的触控操作请求的步骤，反之，用户输入的触控操作与用户的历史行为数据之间是不吻合的，当前的触控操作有可能是误操作。在这种情况下，需要确定精准度差异值对应的差异区间，根据差异区间确定精准度提醒消息并发送给显示终端，以在显示终端展示精准度提醒消息及预设的动画效果。这里，不同的差异区间对应了不同的提示消息，当差异区间较大的情况下，说明用户可能仅仅是误操作，而差异区间较小的情况下，说明用户可能仅仅是操作的精准度不足，可以在提示的情况下重新进行调整，从而提醒用户重新进行输入即可，从而可以让用户了解自己输入的互动操作的有效情况，提高多屏互动系统的操作有效性。

步骤S108：获取与所述目标控件对应的操作指令作为与所述触控操作对应的触控操作请求，并发送给所述显示终端，以使得所述多屏互动系统执行所述触控操作请求，将执行结果发送给所述显示终端进行展示。

在确定了用户输入的触控操作对应的是哪一个目标控件之后，即可根据触控操作确定与目标控件对应的操作指令，并将该操作指令作为与触控操作对应的触控操作请求，然后执行触控操作请求。在本步骤中，在移动终端上执行该触控操作请求，然后将执行结果发送给显示终端并进行展示。或者，将该触控操作请求发送给显示终端，以使得多屏互动系统执行该触控操作请求，然后将该执行结果发送给显示终端，并在显示终端上进行展示。

通过上述基于多屏互动系统的互动操作的控制方法，在用户通过多屏互动系统进行课程学习和互动的过程中，用户可以通过移动终端输入触控操作来实现互动，其中，通过对触控操作的触控参数的分析以及对用户的历史行为数据进行分析，以确定用户输入的触控操作可能针对的控件，并进一步的基于用户行为数据对应的偏移情况以及系统允许的偏移情况，在可能的控件中确定目标控件，然后执行与该目标控件对应的操作指令，以实现基于用户输入的触控操作对应的互动，提高用户输入的互动操作控制的准确率，提高互动的有效性，提升用户体验。

图3示出了一个实施例中实现上述互动操作的控制方法的移动终端或显示终端的内部结构图。如图3所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

采用了上述互动操作的控制方法以及多屏互动系统之后，在用户通过多屏互动系统进行课程学习和互动的过程中，用户可以通过移动终端输入触控操作来实现互动，具体的，通过所述移动终端获取用户输入的触控操作，根据互动课程数据确定当前是否处于互动操作时间，若是，则获取所述触控操作的操作参数，所述操作参数包括触控参数和触控区域，所述触控参数包括触控力度、触控轨迹、触控时长，所述触控区域是根据所述触控操作的触控轨迹确定的包围所述触控轨迹的在移动终端的当前操作界面上的区域；根据用户的历史行为数据确定触控参数参考范围，在所述触控参数满足确定的触控参数参考范围的情况下，确定移动终端的在互动课程数据的当前操作界面中的至少一个可操作的控件，在所述至少一个可操作的控件中确定至少一个待选控件；根据用户的历史行为数据，确定用户的第一触控偏移参数，根据第一触控偏移参数和系统设定的每一个待选控件对应的第二触控偏移参数，确定所述触控操作与每一个待选控件之间的匹配度，根据匹配度在所述至少一个待选控件中确定目标控件；其中，目标控件的匹配度大于预设的匹配度值；获取与所述目标控件对应的操作指令作为与所述触控操作对应的触控操作请求，并发送给所述显示终端，以使得所述多屏互动系统执行所述触控操作请求，将执行结果发送给所述显示终端进行展示。也就是说，通过对触控操作的触控参数的分析以及对用户的历史行为数据进行分析，以确定用户输入的触控操作可能针对的控件，并进一步的基于用户行为数据对应的偏移情况以及系统允许的偏移情况，在可能的控件中确定目标控件，然后执行与该目标控件对应的操作指令，以实现基于用户输入的触控操作对应的互动，提高用户输入的互动操作控制的准确率，提高互动的有效性，提升用户体验。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种互动操作的控制方法，其特征在于，应用于多屏互动系统，其中，所述多屏互动系统包括移动终端和显示终端，所述移动终端和显示终端通信连接，且所述显示终端上展示与所述移动终端对应的互动课程数据；

所述方法包括：

通过所述移动终端获取用户输入的触控操作，根据互动课程数据确定当前是否处于互动操作时间，若是，则获取所述触控操作的操作参数，所述操作参数包括触控参数和触控区域，所述触控参数包括触控力度、触控轨迹、触控时长，所述触控区域是根据所述触控操作的触控轨迹确定的包围所述触控轨迹的在移动终端的当前操作界面上的区域；

根据用户的历史行为数据确定触控参数参考范围，在所述触控参数满足确定的触控参数参考范围的情况下，确定移动终端的在互动课程数据的当前操作界面中的至少一个可操作的控件，在所述至少一个可操作的控件中确定至少一个待选控件；

根据用户的历史行为数据，确定用户的第一触控偏移参数，根据第一触控偏移参数和系统设定的每一个待选控件对应的第二触控偏移参数，确定所述触控操作与每一个待选控件之间的匹配度，根据匹配度在所述至少一个待选控件中确定目标控件；其中，目标控件的匹配度大于预设的匹配度值；

获取与所述目标控件对应的操作指令作为与所述触控操作对应的触控操作请求，并发送给所述显示终端，以使得所述多屏互动系统执行所述触控操作请求，将执行结果发送给所述显示终端进行展示。

2.根据权利要求1所述的互动操作的控制方法，其特征在于，所述根据用户的历史行为数据确定触控参数参考范围，在所述触控参数满足确定的触控参数参考范围的情况下，确定移动终端的在互动课程数据的当前操作界面中的至少一个可操作的控件的步骤，还包括：

若所述触控参数不满足所述确定的触控参数参考范围，则判定当前的输入的触控操作是无效的，并生成输入无效的提示信息；

所述确定所述触控操作与每一个待选控件之间的匹配度，根据匹配度在所述至少一个待选控件中确定目标控件的步骤，还包括：

若每一个待选控件与所述触控操作之间的匹配度均低于预设的匹配度值，则判定当前的输入的触控操作是无效的，并生成输入无效的提示信息；

所述方法还包括：

在所述移动终端和显示终端上展示所述输入无效的提示信息，并提醒用户重新进行输入。

3.根据权利要求1所述的互动操作的控制方法，其特征在于，所述根据用户的历史行为数据确定触控参数参考范围的步骤，还包括：

获取用户的历史行为数据中有效的至少一个触控操作，确定获取的至少一个触控操作对应的触控参数；

基于预设的统计学习模型，确定所述至少一个触控操作对应的触控参数的参数分布；

基于参数分布确定每一个触控参数类型对应的触控参数参考范围；

其中，所述基于参数分布确定每一个触控参数类型对应的触控参数参考范围的步骤，还包括：

将触控参数对应的参数分布，输入到预设的深度学习模型，以获取触控参数参考范围；

或，根据触控参数的参数分布，选取触控参数的参数分布满足预设要求的参数区域，根据该参数区域对应的触控参数的取值确定触控参数参考范围。

4.根据权利要求1所述的互动操作的控制方法，其特征在于，所述根据用户的历史行为数据，确定用户的第一触控偏移参数，根据第一触控偏移参数和系统设定的每一个待选控件对应的第二触控偏移参数，确定所述触控操作与每一个待选控件之间的匹配度，根据匹配度在所述至少一个待选控件中确定目标控件的步骤，还包括：

根据历史行为数据中用户对控件输入触控操作的偏移数据，确定用户的第一触控偏移参数，所述第一触控偏移参数表示用户的历史行为数据中用户输入的触控操作中控件区域的中心与用户输入的触控操作的触控区域中心的偏移程度；

根据系统预设的触控操作允许的偏移程度，确定与当前操作界面对应的第二触控偏移参数，其中第二触控偏移参数表示当前操作界面中至少一个可操作控件对应的触控区域之间所允许的偏移程度；

根据第一触控偏移参数、第二触控偏移参数和每一个待选控件对应的触控区域，计算每一个待选控件与输入的触控操作对应的触控区域之间的匹配度，其中，根据第一触控偏移参数、第二触控偏移参数计算每一个待选控件对应的扩展触控区域，计算该扩展触控区域与输入的触控操作对应的触控区域之间的重叠区域，根据该重叠区域的面积与触控区域的面积之间的比值确定触控操作与待选控件之间的匹配度；

或，计算每一个待选控件对应的触控区域与输入的触控操作对应的触控区域之间的重叠区域，根据该重叠区域的面积与触控区域的面积之间的比值，根据第一触控偏移参数、第二触控偏移参数对计算得到的比值进行修正，将修正之后的比值作为待选控件与输入的触控操作对应的触控区域之间的匹配度；其中，按照预设的第一修正函数，基于第一触控偏移参数对比值进行第一修正，并按照预设的第二修正函数，基于第二触控偏移参数对第一修正之后的比值进行第二修正，以得到待选控件与输入的触控操作对应的触控区域之间的匹配度。

5.根据权利要求4所述的互动操作的控制方法，其特征在于，所述根据历史行为数据中用户对控件输入触控操作的偏移数据，确定用户的第一触控偏移参数的步骤，还包括：

确定历史行为数据中的多个触控操作，获取多个触控操作对应的触控参数；

确定每一个触控操作对应的目标控件对应的控件触控区域；

根据所述触控参数中的触控区域与所述控件触控区域，确定与触控区域对应的偏移数据；

根据除所述触控区域之外的其他触控参数的参数分布，分别确定每一个其他触控参数的偏移数据；

确定每一个触控参数对应的第一触控偏移参数。

6.根据权利要求5所述的互动操作的控制方法，其特征在于，所述根据所述触控参数中的触控区域与所述控件触控区域，确定与触控区域对应的偏移数据；根据除所述触控区域之外的其他触控参数的参数分布，分别确定每一个其他触控参数的偏移数据；确定每一个触控参数对应的第一触控偏移参数的步骤，还包括：

计算所述触控参数中的触控区域与所述控件触控区域之间的偏移特征值，基于统计学习模型确定该偏移特征值对应的第一参数分布，将第一参数分布划分成若干个参数区间，基于每一个参数区间对应的参数参考值和加权值，计算触控区域对应的第一触控偏移参数，其中，加权值是根据每一个参数区间对应的分布概率值计算得到的；

对于触控参数中除触控区域之外的其他触控参数，基于统计学习模型计算触控参数对应的第二参数分布，将第二参数分布划分成若干个参数区间，基于每一个参数区间对应的参数参考值和加权值，计算该触控参数对应的第一触控偏移参数，其中，加权值是根据每一个参数区间对应的分布概率值计算得到的。

7.根据权利要求4所述的互动操作的控制方法，其特征在于，所述根据系统预设的触控操作允许的偏移程度，确定与当前操作界面对应的第二触控偏移参数的步骤，还包括：

确定当前操作界面包括的多个控件，对于每一个控件，确定控件对应的控件触控区域，计算触控区域对应的特征值、和控件对应的触控频次对应的特征值；其中，触控区域对应的特征值包括触控区域的形状、尺寸、位置中的一个或多个；

确定每一个特征值的加权值，基于每一个特征值及其加权值，计算该控件对应的第二触控偏移参数。

8.根据权利要求4所述的互动操作的控制方法，其特征在于，所述获取与所述目标控件对应的操作指令作为与所述触控操作对应的触控操作请求，并发送给所述显示终端的步骤之前，还包括：

根据每一个待选控件与输入的触控操作之间的匹配度，确定与输入的触控操作对应的当前输入精准度；

确定用户的历史行为数据对应的历史输入精准度，确定当前输入精准度与所述历史输入精准度之间的差值作为精准度差异值；

判断精准度差异值是否小于或等于预设的差异阈值，若是，执行所述取与所述目标控件对应的操作指令作为与所述触控操作对应的触控操作请求的步骤，若否，确定精准度差异值对应的差异区间，根据差异区间确定精准度提醒消息并发送给显示终端，以在显示终端展示精准度提醒消息及预设的动画效果。

9.根据权利要求4所述的互动操作的控制方法，其特征在于，所述根据匹配度在所述至少一个待选控件中确定目标控件的步骤，还包括：

对匹配度进行大小比较，确定匹配度最大的待选控件，并判断该匹配度是否大于或等于预设的匹配度值；若是，将该匹配度对应的待选控件作为目标控件，若否，判定当前的输入的触控操作是无效的，生成输入无效的提示信息。

10.一种多屏互动系统，其特征在于，所述多屏互动系统包括移动终端和显示终端，所述移动终端和显示终端通信连接，且所述显示终端上展示与所述移动终端对应的互动课程数据；

所述移动终端获取用户输入的触控操作，根据互动课程数据确定当前是否处于互动操作时间，若是，则获取所述触控操作的操作参数，所述操作参数包括触控参数和触控区域，所述触控参数包括触控力度、触控轨迹、触控时长，所述触控区域是根据所述触控操作的触控轨迹确定的包围所述触控轨迹的在移动终端的当前操作界面上的区域；

所述移动终端根据用户的历史行为数据确定触控参数参考范围，在所述触控参数满足确定的触控参数参考范围的情况下，在所述移动终端上展示的在互动课程数据的当前操作界面中的至少一个可操作的控件，在所述至少一个可操作的控件中确定至少一个待选控件；

所述移动终端根据用户的历史行为数据，确定用户的第一触控偏移参数，根据第一触控偏移参数和系统设定的每一个待选控件对应的第二触控偏移参数，确定所述触控操作与每一个待选控件之间的匹配度，根据匹配度在所述至少一个待选控件中确定目标控件；其中，目标控件的匹配度大于预设的匹配度值；

所述移动终端获取与所述目标控件对应的操作指令作为与所述触控操作对应的触控操作请求，并发送给所述显示终端；

所述多屏互动系统执行所述触控操作请求，将执行结果发送给所述显示终端；

所述显示终端展示所述执行结果。

Images