CN117873617A - 一种语音播报与翻页同步控制方法、设备及存储介质 - Google Patents

Abstract

本发明提供一种语音播报与翻页同步控制方法、设备及存储介质，应用于具有显示屏的电子设备，其中，所述控制方法包括：判断当前资源页面的段资源是否跨页或当前控件是否展示不下全段资源，若否，执行翻页动作并同步语音播报翻页后的资源页面内容；若是，计算出当前资源页面或当前控件的自动切换资源翻页触发的延时时间t，并在语音播报完当前资源页面内容后，自动翻页并同步语音播报翻页后的资源页面内容；本发明能够实现文字资源在跨页面场景中，自动控制资源切换或翻页，并保证文字转语音后朗读的连贯性。

Description

一种语音播报与翻页同步控制方法、设备及存储介质

技术领域

本发明涉及语音播报技术领域，尤其涉及一种语音播报与翻页同步控制方法、设备及存储介质。

背景技术

目前在金融行业柜外清的业务场景中绝大多数的文字转语音并未做到语音控制自动切换到下一个文字页面保持继续朗读状态，而是通过手动点击上一页，下一页，且段资源跨页时，朗读的连贯性不佳。在现有Android系统中，文字转语音有内置的免费文字转语音（Text To Speech）引擎，并且系统API有提供文字转语音的功能（Text To Speech JavaAPI类），为使语音朗读保持连贯性，一般是以段为单位进行文字转语音进行转换，当存在段资源跨页，或者当前控件展示不下全段资源时，页面或控件的渲染文字需要有个渲染切换，此种情况下，语音的朗读不会停顿，要做到文字与音同步，则需要准确的计算出渲染切换的延时时机，才能使得跨页朗读时的语音播报和翻页同步进行。

因此，亟需一种语音播报与翻页同步控制方法、设备及存储介质，能够实现文字资源在跨页面场景中，自动控制资源进行切换或翻页，并保证文字转语音后朗读的连贯性。

发明内容

本发明的目的是提供一种语音播报与翻页同步控制方法、设备及存储介质，旨在解决文字资源在跨页面场景中，需要手动翻页，且朗读的连贯性不佳的技术问题。

为实现上述目的，第一方面，本发明提供一种语音播报与翻页同步控制方法，应用于具有显示屏的电子设备，其步骤包括：

判断当前资源页面的段资源是否跨页或当前控件是否展示不下全段资源，若否，执行翻页动作并同步语音播报翻页后的资源页面内容；

若是，计算出当前资源页面或当前控件的自动切换资源翻页触发的延时时间t，并在语音播报完当前资源页面内容后，自动翻页并同步语音播报翻页后的资源页面内容。

作为上述方案进一步的改进，所述自动切换资源翻页触发的延时时间t的计算公式如式(1)所示：

（1）

为翻页系数；为当前页面资源段长度，包括标点符号在内；表示同资源段 不同播报语速与正常播报语速下的耗时比，即 ，下标V表示播报语速，下标V= 1.0表示正常的播报语速。

作为上述方案进一步的改进，所述耗时比的获得方法具体步骤如下：

采用不同的播报语速，朗读不同段落资源，获得对应播报语速下，不同段落资源分别对应的播报总耗时的取样数据，其中一组取样数据为在正常播报语速下，不同段落资源分别对应的播报总耗时；

分别将同一段落资源下，对应播报语速的总耗时与正常播报语速的总耗时做比，获得对应播报语速的耗时比；

再将不同段落资源下的耗时比进行平均，获得对应播报语速下的耗时比。

作为上述方案进一步的改进，所述翻页系数的获得方法具体如下：

设定语音播报总耗时T与播报语速V、资源段长度L的关系式：

（2）

，代入式(2)，获得翻页系数的计算公式如下：

（3）

其中，语音播报总耗时T=播报完成时间戳-播报开始时间戳，资源段长度L为已知常量。

作为上述方案进一步的改进， 通过式（3），获得同一段落资源下，不同播报语速的翻页系数的取样数据；

再获得不同段落资源下，同一播报语速的翻页系数的取样数据；

将所获得的翻页系数的取样数据进行平均，进而得到最终的翻页系数。

作为上述方案进一步的改进，分别以包括但不限于0.5倍，1.0倍，1.5倍，2.0倍，2.5倍，3.0倍，3.5倍以及4.0倍的播报语速进行数据取样，其中1.0倍为正常播报语速。

作为上述方案进一步的改进，在播报语速为0.5倍到2.0倍之间，获得谷歌引擎下的翻页系数 λ=234，获得科大讯飞引擎下的翻页系数λ=258。

作为上述方案进一步的改进，获得谷歌引擎下的自动切换资源翻页触发的延时时 间，获得科大讯飞引擎下的自动切换资源翻页触发的延时时间。

第二方面，本发明还提供一种设备，包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被所述处理器执行时，触发所述设备执行第一方面提供的控制方法。

第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行第一方面提供的控制方法。

由于本发明采用了以上技术方案，使本申请具备的有益效果在于 ：

本发明提供一种语音播报与翻页同步控制方法，首先判断当前资源页面的段资源是否跨页或当前控件是否展示不下全段资源，若否，执行翻页动作并同步语音播报翻页后的资源页面内容；若是，计算出当前资源页面或当前控件的自动切换资源翻页触发的延时时间t，并在语音播报完当前资源页面内容后，自动翻页并展现翻页后的内容进行同步语音播报；如此的设置，通过设置自动切换资源翻页触发的延时时间t，在正好朗读完资源段长度的时间点t，控件准时的展现翻页后的内容并同步语音播报，使得在文字资源跨页面场景中，能够根据延时时间t自动控制资源进行切换或翻页，并保证文字转语音后朗读的连贯性，大大提升用户视觉听觉交互的体验。

附图说明

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为翻页系数λ取值分布表图。

本发明目的的实现、功能特点及优点将结合实施方式，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明的一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

需要说明，本发明实施方式中所有方向性指示（诸如上、下……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

并且，本发明各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

实施例1：

本发明提供本发明提供一种语音播报与翻页同步控制方法，应用于具有显示屏的电子设备，其步骤包括：

判断当前资源页面的段资源是否跨页或当前控件是否展示不下全段资源，若否，执行翻页动作并同步语音播报翻页后的资源页面内容；

若是，计算出当前资源页面或当前控件的自动切换资源翻页触发的延时时间t，并在语音播报完当前资源页面内容后，自动翻页并同步语音播报翻页后的资源页面内容；如此的设置，通过设置自动切换资源翻页触发的延时时间t，在正好朗读完资源段长度的时间点，控件准时的展现翻页后的内容并同步语音播报，使得在文字资源跨页面场景中，能够根据延时时间t自动控制资源进行切换或翻页，并保证文字转语音后朗读的连贯性，大大提升用户视觉听觉交互的体验。

作为优选的实施例，所述自动切换资源翻页触发的延时时间t的计算公式如式(1)所示：

（1）

为翻页系数；为当前页面资源段长度，包括标点符号在内；表示同资源段 不同播报语速与正常播报语速下的耗时比，即 ，下标V表示播报语速，下标V= 1.0表示正常的播报语速；在式(1)中，通过翻页系数去反应不同引擎下的翻页差异，具体的 可以通过实验获得不同引擎下的翻页系数，使得本发明的控制方法通用性较强，可适应不 同的翻页系数；另外还考虑了播报语速对于延时时间的影响，能够准确的获得延时时间，从 而保证在跨页场景中，文字转语音后朗读的连贯性。

作为优选的实施例，所述耗时比的获得方法具体步骤如下：

采用不同的播报语速，朗读不同段落资源，获得对应播报语速下，不同段落资源分别对应的播报总耗时的取样数据，其中一组取样数据为在正常播报语速下，不同段落资源分别对应的播报总耗时；

分别将同一段落资源下，对应播报语速的总耗时与正常播报语速的总耗时做比，获得对应播报语速的耗时比；

再将不同段落资源下的耗时比进行平均，获得对应播报语速下的耗时比；

具体的，参见表1，以谷歌语音引擎为例，选取104项不同长度的段落资源，首先采用正常播报语速(也即1.0倍的播报语速)，分别朗读104项不同段落资源，获得正常播报语速下不同段落资源长度分别对应的播报总耗时的取样数据，也即表1中的第四列数据；

再分别以0.5倍、1.5倍，2.0倍的不同播报语速，分别朗读104项不同段落资源，分别获得对应的播报总耗时的取样数据，也即分别对应表1中的第三列数据、第五列数据以及第六列数据；

然后将同一段落资源下，相应播报语速的总耗时分别与正常播报语速的总耗时做比(也即将第三列数据与第四列数据做比，获得0.5倍播报语速下的耗时比；将第五列数据与第四列数据做比，获得1.5倍播报语速下的耗时比；将第六列数据与第四列数据做比，获得2倍播报语速下的耗时比)，即获得对应播报语速下的耗时比；

然后将不同段落资源下的耗时比进行平均，获得对应播报语速下的耗时比；同 理，如表2所示，获得科大讯飞语音引擎实验数据表。

需要说明的是，在本实施例中，选择以0.5倍、1.0倍、1.5倍，2.0倍为例的四种不同播报语速进行取样，在实际取样过程中，包括但不限于0.5倍、1.0倍、1.5倍，2.0倍的播报语速，还可以是2.5倍，3.0倍，3.5倍以及4.0倍的播报语速进行数据取样。

需要说明的是，表1和表2中仅展示了部分取样数据，实际实验时，分别获取的是104项数据。

通过表1和表2，分别获得谷歌语音引擎下和科大讯飞语音引擎下，同一段落资源，不同播报语速的耗时比，如表3所示：

作为优选的实施例，为了获得翻页系数，首先通过时间、路程和速度关系的类比 猜想，时间 = 路程/速度；在语音播报时，播报语速越快，播报一段文字的耗时越短，也即播 报语速与播放时间成反比，同时播报耗时与资源段的长度成正比关系，进而获得语音播报 总耗时T与播报语速V、资源段长度L的关系式：

（2）

由于表示同资源段不同播报语速与正常播报语速下的耗时比，也即，代 入式(2)，获得翻页系数的计算公式如下：

（3）

其中，语音播报总耗时T=播报完成时间戳-播报开始时间戳，资源段长度L为已知常量。

由于不同播报语速的耗时比在前边已经获得，进而可以通过式（3），获得同一段 落资源下，不同播报语速的翻页系数的取样数据；

再获得不同段落资源下，同一播报语速的翻页系数的取样数据；

将所获得的翻页系数的取样数据进行平均，进而得到最终的翻页系数；

具体的，参见表4和表5，根据式（3）获得同一播报语速下，不同段落资源的翻页系数的取样数据。

需要说明的是，在表4和表5中，B代表表格中第二列对应的数据，以此类推，C、D、E、F分别代表表格中第三列、第四列、第五列、第六列对应的数据，IMDIV(被除数, 除数)为Excel中的函数；从表4和表5中得知，播报语速在0.5倍到2.0倍之间时，获得谷歌引擎下的翻页系数 λ=234，获得科大讯飞引擎下的翻页系数λ=258。

为了进一步的验证通过本发明提供的翻页系数计算公式获得数据的准确性，对获 得的不同播报语速下的不同段落资源的翻页系数λ生成数据分布图，见图1所示，在图1中， 横坐标表示获得的翻页系数λ，纵坐标表示频数；通过图1和表6可知，获得的实验数据符合 正态分布，区间为，概率>95%，符合3σ原则，可见通过本发明提供 的翻页系数的获得方法准确性高。

进而获得谷歌引擎下的自动切换资源翻页触发的延时时间，获得 科大讯飞引擎下的自动切换资源翻页触发的延时时间。

为了进一步的验证本发明提供的控制方法的有效性，首先从一篇文章104段落中随机取其中一段落资源，后再随机将取到的段资源进行随机分割在两页面，页面文件展示控件展示分割后的第一片段，然后让文字转语音引擎（Text To Speech，TTS）朗读整段资源时，在正好读完第一片段后的时间点（也即由式(1)计算获得的延时时间t）准时的让控件展现第二片段的内容并同步语音播报，在文字资源跨页面场景中，能够自动控制资源进行切换或翻页，并保证文字转语音后朗读的连贯性，大大提升用户视觉听觉交互的体验。

实施例2：

本发明还提供一种设备，包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被所述处理器执行时，触发所述设备执行实施例中的部分或全部步骤；

具体的，所述设备包括但不限于柜外清设备，本发明实施例示意的柜外清设备并不构成对设备的具体限定。

处理器可以包括一个或多个处理单元，例如：处理器可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器中的存储器为高速缓冲存储器。该存储器可以保存处理器刚用过或循环使用的指令或数据。如果处理器需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器的等待时间，因而提高了系统的效率。

实施例3：

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述实施例中的部分或全部步骤。

所述存储介质可能包含高速RAM存储器，也可能还包括非易失性存储器(nonvolatilememory)，例如至少一个磁盘存储器。可以理解的是，存储介质可以为随机存储器(RandomAccess Memory，RAM)、磁碟、硬盘、固态硬盘(solid state disk，SSD)或者非易失性存储器等各种可以存储程序代码的机器可读介质。

本领域内的技术人员应明白，本发明实施例可提供为方法或存储介质。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围。

Claims (10)

1.一种语音播报与翻页同步控制方法，应用于具有显示屏的电子设备，其特征在于，其步骤包括：

判断当前资源页面的段资源是否跨页或当前控件是否展示不下全段资源，若否，执行翻页动作并同步语音播报翻页后的资源页面内容；

若是，计算出当前资源页面或当前控件的自动切换资源翻页触发的延时时间t，并在语音播报完当前资源页面内容后，自动翻页并同步语音播报翻页后的资源页面内容。

2.根据权利要求1所述的一种语音播报与翻页同步控制方法，其特征在于，所述自动切换资源翻页触发的延时时间t的计算公式如式(1)所示：

（1）

为翻页系数；/>为当前页面资源段长度，包括标点符号在内；/>表示同资源段不同播报语速与正常播报语速下的耗时比，即 />， 下标V表示播报语速，下标V=1.0表示正常的播报语速。

3.根据权利要求2所述的一种语音播报与翻页同步控制方法，其特征在于，所述耗时比的获得方法具体步骤如下：

采用不同的播报语速，朗读不同段落资源，获得对应播报语速下，不同段落资源分别对应的播报总耗时的取样数据；其中一组取样数据为在正常播报语速下，不同段落资源分别对应的播报总耗时；

分别将同一段落资源下，对应播报语速的播报总耗时与正常播报语速的播报总耗时做比，获得对应播报语速的耗时比；

再将不同段落资源下获得的所有耗时比进行平均，得到对应播报语速下的耗时比。

4.根据权利要求2或3所述的一种语音播报与翻页同步控制方法，其特征在于，所述翻页系数的获得方法具体如下：

设语音播报总耗时T与播报语速V、资源段长度L的关系式：

（2）

，代入式(2)，获得翻页系数/>的计算公式具体如下：

（3）

其中，播报总耗时T=播报完成时间戳-播报开始时间戳。

5.根据权利要求4所述的一种语音播报与翻页同步控制方法，其特征在于，通过式（3），获得同一段落资源下，不同播报语速的翻页系数的取样数据；

再获得不同段落资源下，同一播报语速的翻页系数的取样数据；

将获得的所有翻页系数的取样数据进行平均，得到最终的翻页系数。

6.根据权利要求3或5所述的一种语音播报与翻页同步控制方法，其特征在于，分别以0.5倍，1.0倍，1.5倍，2.0倍，2.5倍，3.0倍，3.5倍以及4.0倍的播报语速进行数据取样，其中1.0倍为正常播报语速。

7.根据权利要求5所述的一种语音播报与翻页同步控制方法，其特征在于，在播报语速为0.5倍到2.0倍之间，获得谷歌引擎下的翻页系数λ=234；科大讯飞引擎下的翻页系数λ=258。

8.根据权利要求7所述的一种语音播报与翻页同步控制方法，其特征在于，获得谷歌引擎下的自动切换资源翻页触发的延时时间；

获得科大讯飞引擎下的自动切换资源翻页触发的延时时间。

9.一种设备，其特征在于，包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被所述处理器执行时，触发所述设备执行如权利要求1-8任意一项所述的语音播报与翻页同步控制方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1-8任意一项所述的语音播报与翻页同步控制方法。