CN105653729B - 一种录音文件索引的装置及方法 - Google Patents

一种录音文件索引的装置及方法 Download PDF

Info

Publication number
CN105653729B
CN105653729B CN201610058331.XA CN201610058331A CN105653729B CN 105653729 B CN105653729 B CN 105653729B CN 201610058331 A CN201610058331 A CN 201610058331A CN 105653729 B CN105653729 B CN 105653729B
Authority
CN
China
Prior art keywords
time
speech recognition
text
recording
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610058331.XA
Other languages
English (en)
Other versions
CN105653729A (zh
Inventor
申世安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nubia Technology Co Ltd
Original Assignee
Nubia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nubia Technology Co Ltd filed Critical Nubia Technology Co Ltd
Priority to CN201610058331.XA priority Critical patent/CN105653729B/zh
Publication of CN105653729A publication Critical patent/CN105653729A/zh
Application granted granted Critical
Publication of CN105653729B publication Critical patent/CN105653729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/61—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G06F16/636—Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/64—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics

Abstract

本发明公开了一种录音文件索引的装置及方法。该录音文件索引的方法，包括：开启录音和语音识别，获取录音文件和对应的语音识别文本；将所述录音文件的时间轴映射到所述语音识别文本中；将语音识别文本及其对应于时间轴中的时间对应保存为文本文件。通过在录制录音文件时对录音进行语音识别，将录音文件中的时间轴映射到语音识别文件中，将语音识别文件及其对应于时间轴中的时间对应保存，建立文本和时间轴之间的关联，通过文本实现对录音文件的索引，实现了对录音文件中内容的快速查看和切换，提高了对录音文件的浏览的效率。

Description

一种录音文件索引的装置及方法
技术领域
本发明涉及多媒体技术领域，尤其涉及一种录音文件索引的装置及方法。
背景技术
现在的移动终端已经可以很方便的进行录音工作，但涉及到时间较长的录音操作时，回放查看录音文件时，仍然需要使用滑条对有用的内容以预览的方式进行内容的检索，无法直接调整播放想要播放的内容，需要多次才能找到想要查看的内容，录音文件缺乏有效的索引方式导致录音文件的浏览效率会很低。
发明内容
本发明的主要目的在于提出一种录音文件索引的装置及方法，旨在实现对录音文件的快速索引。
为实现上述目的，本发明提出一种录音文件索引的装置，包括：
文件生成单元，用于开启录音和语音识别，获取录音文件和对应的语音识别文本；
时间映射单元，用于将所述录音文件的时间轴映射到所述语音识别文本中；
文本保存单元，用于将语音识别文本及其对应于时间轴中的时间对应保存为文本文件。
其中，所述文件生成单元，包括：
第一计时模块，用于开启录音，同时开启计时器用于记录录音过程中整句音频数据的起始时间和整句结束时间；
第二计时模块，用于将所述整句音频数据发送到语音识别服务器进行语音识别，并记录所述整句音频数据的发送时间和对应的语音识别文本的接收时间；
所述时间映射单元，包括：
时间修正模块，用于根据所述发送时间和接收时间的时间差对所述整句结束时间进行修正，得到所述整句音频数据的结束时间；
时间标记模块，用于根据所述起始时间和结束时间对所述整句音频数据对应的语音识别文本的起始时间点和结尾时间点进行标记。
其中，所述时间标记模块，包括：
字符统计子模块，用于统计所述整句音频数据对应的语音识别文本中的字符；
时长计算子模块，用于根据所述起始时间和结束时间计算出所述语音识别文本中每个字符的平均时长；
字符标记子模块，用于根据所述平均时长对每个字符进行时间轴标记，其中所述语音识别文本中的第一个字符标记起始时间点，最后一个字符标记为结尾时间点。
其中，所述装置，还包括：
文件播放单元，用于播放所述录音文件时，显示所述文本文件中记录的语音识别文本，并突出显示所述录音文件的时间轴当前对应的语音识别文本。
其中，所述装置，还包括：
索引切换单元，用于当显示的语音识别文本检测到索引指令时，将所述录音文件切换到所述索引指令指向的语音识别文本对应的时间。
另外，为实现上述目的，本发明还提出了一种录音文件索引的方法，包括：
开启录音和语音识别，获取录音文件和对应的语音识别文本；
将所述录音文件的时间轴映射到所述语音识别文本中；
将语音识别文本及其对应于时间轴中的时间对应保存为文本文件。
其中，所述开启录音和语音识别，获取录音文件和对应的语音识别文本，包括：
开启录音，同时开启计时器用于记录录音过程中整句音频数据的起始时间和整句结束时间；
将所述整句音频数据发送到语音识别服务器进行语音识别，并记录所述整句音频数据的发送时间和对应的语音识别文本的接收时间；
所述将所述录音文件的时间轴映射到所述语音识别文本中，包括：
根据所述发送时间和接收时间的时间差对所述整句结束时间进行修正，得到所述整句音频数据的结束时间；
根据所述起始时间和结束时间对所述整句音频数据对应的语音识别文本的起始时间点和结尾时间点进行标记。
其中，所述根据所述起始时间和结束时间对所述整句音频数据对应的语音识别文本的起始时间点和结尾时间点进行标记，包括：
统计所述整句音频数据对应的语音识别文本中的字符；
根据所述起始时间和结束时间计算出所述语音识别文本中每个字符的平均时长；
根据所述平均时长对每个字符进行时间轴标记，其中所述语音识别文本中的第一个字符标记起始时间点，最后一个字符标记为结尾时间点。
其中，所述将语音识别文本及其对应于时间轴中的时间对应保存为文本文件之后，还包括：
播放所述录音文件时，显示所述文本文件中记录的语音识别文本，并突出显示所述录音文件的时间轴当前对应的语音识别文本。
其中，所述播放所述录音文件时，显示所述文本文件中记录的语音识别文本，并突出显示所述录音文件的时间轴当前对应的语音识别文本之后，还包括：
当显示的语音识别文本检测到索引指令时，将所述录音文件切换到所述索引指令指向的语音识别文本对应的时间。
本发明所提出的录音文件索引的装置及方法，通过在录制录音文件时对录音进行语音识别，将录音文件中的时间轴映射到语音识别文件中，将语音识别文件及其对应于时间轴中的时间对应保存，建立文本和时间轴之间的关联，通过文本实现对录音文件的索引，实现了对录音文件中内容的快速查看和切换，提高了对录音文件的浏览的效率。
附图说明
图1为实现本发明各个实施例一个可选的移动终端的硬件结构示意图；
图2为如图1所示的移动终端的无线通信系统示意图；
图3为本发明的一种录音文件索引的方法第一实施例的方法流程图；
图4为本发明的一种录音文件索引的方法第二实施例的方法流程图；
图5为本发明的一种录音文件索引的装置第一实施例的结构方框图；
图6为本发明的一种录音文件索引的装置第二实施例的结构方框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为实现本发明各个实施例一个可选的移动终端的硬件结构示意图。
移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。
广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信模块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(DMB)的电子节目指南(EPG)、数字视频广播手持(DVB-H)的电子服务指南(ESG)等等的形式而存在。广播接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块111可以通过使用诸如多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频广播-手持(DVB-H)，前向链路媒体(MediaFLO@)的数据广播系统、地面数字广播综合服务(ISDB-T)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。
移动通信模块112将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波互联接入)、HSDPA(高速下行链路分组接入)等等。
短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂TM等等。
位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块的典型示例是GPS(全球定位系统)。根据当前的技术，GPS模块115计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、纬度和高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，GPS模块115能够通过实时地连续计算当前位置信息来计算速度信息。
A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括摄像头121和麦克风122，摄像头121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示模块151上。经摄像头121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送，可以根据移动终端的构造提供两个或更多摄像头121，在本方案中，需要更多的摄像头实现对控制体的图像采集和相关数据处理。麦克风122可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由移动通信模块112发送到移动通信基站的格式输出。麦克风122可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。在本发明实施例中，A/V输入单元120用于通过麦克风接收用户的语音信号，开启录音和语音识别，获取录音文件和对应的语音识别文本。
用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示模块151上时，可以形成触摸屏。
接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。
另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示模块151、音频输出模块152等等。
显示模块151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示模块151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时，显示模块151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。
同时，当显示模块151和触摸板以层的形式彼此叠加以形成触摸屏时，显示模块151可以用作输入装置和输出装置。显示模块151可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示模块(或其它显示装置)，例如，移动终端可以包括外部显示模块(未示出)和内部显示模块(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将无线通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。
存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。在本发明实施例中，语音识别文本及其对应于时间轴中的时间对应保存的文本文件存储在存储器160中。
控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块1810，多媒体模块181可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。控制器180与A/V输入单元120相连，将获取的录音文件的时间轴映射到所述语音识别文本中。
电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。
至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。
现在将参考图2描述其中根据本发明的移动终端能够操作的通信系统。
这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通信系统(UMTS)(特别地，长期演进(LTE))、全球移动通信系统(GSM)等等。作为非限制性示例，下面的描述涉及CDMA通信系统，但是这样的教导同样适用于其它类型的系统。
参考图2，CDMA无线通信系统可以包括多个移动终端100、多个基站(BS)270、基站控制器(BSC)275和移动交换中心(MSC)280。MSC280被构造为与公共电话交换网络(PSTN)290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如E1/T1、ATM，IP、PPP、帧中继、HDSL、ADSL或xDSL。将理解的是，如图2中所示的系统可以包括多个BSC2750。
每个BS270可以服务一个或多个分区(或区域)，由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离BS270。或者，每个分区可以由用于分集接收的两个或更多天线覆盖。每个BS270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱(例如，1.25MHz,5MHz等等)。
分区与频率分配的交叉可以被称为CDMA信道。BS270也可以被称为基站收发器子系统(BTS)或者其它等效术语。在这样的情况下，术语"基站"可以用于笼统地表示单个BSC275和至少一个BS270。基站也可以被称为"蜂窝站"。或者，特定BS270的各分区可以被称为多个蜂窝站。
如图2中所示，广播发射器(BT)295将广播信号发送给在系统内操作的移动终端100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由BT295发送的广播信号。在图2中，示出了几个全球定位系统(GPS)卫星300。卫星300帮助定位多个移动终端100中的至少一个。
在图2中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用的定位信息。如图1中所示的GPS模块115通常被构造为与卫星300配合以获得想要的定位信息。替代GPS跟踪技术或者在GPS跟踪技术之外，可以使用可以跟踪移动终端的位置的其它技术。另外，至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。
作为无线通信系统的一个典型操作，BS270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站270接收的每个反向链路信号被在特定BS270内进行处理。获得的数据被转发给相关的BSC275。BSC提供通话资源分配和包括BS270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数据路由到MSC280，其提供用于与PSTN290形成接口的额外的路由服务。类似地，PSTN290与MSC280形成接口，MSC与BSC275形成接口，并且BSC275相应地控制BS270以将正向链路信号发送到移动终端100。
基于上述移动终端硬件结构以及通信系统，提出本发明的录音文件索引的方法的各个实施例。
请参考图3，其是本发明的一种录音文件索引的方法第一实施例的方法流程图，如图所示，该方法包括以下步骤：
S11：开启录音和语音识别，获取录音文件和对应的语音识别文本。
仅就录音过程采用现有技术中常用的录音即可，与常规的录音不同的是，本方案中在录音的同时对录音的内容进行语音识别，最终录音过程会生成对应的录音文件，语音识别最后会生成对应的语音识别文本。
语音识别可以直接调用移动终端中常备的语音助手实现。具体语音识别的方法，例如隐式马尔科夫模型技术的成熟和不断完善成为语音识别的主流方法；又例如以知识为基础的语音识别，以知识为基础的语音识别在进行连续语音识别的时候，除了识别声学信息外，还会利用诸如构词、句法、语义、对话背景方面等语言学的知识来帮助进一步对语音作出识别和理解，在此基础上进一步产生了基于统计概率的语言模型；又例如基于反向传播算法的多层感知网络实现的语音识别。
具体语音识别的过程不是本方案的探讨重点，在此不做深入阐述。通过语音识别获取到录音文件对应的语音识别文本即可。
S12：将录音文件的时间轴映射到语音识别文本中。
录音文件的时间轴是连续的，而语音识别文本得到的时间则与录音文件的时间轴存在一定的异步情况，虽然现有的语音识别技术一般能够从语音中快速识别出文字，两者可以说具有相似的时间轴，但是如果是较长时间的录音，可能会将这种异步放大，最后导致录音文件的时间轴和语音识别文本的时间轴异步很明显。为了提高时间轴的同步程度，在将录音文件的时间轴映射到语音识别文本时，一般需要对识别出的语音识别文本进行一定的修正，使得语音识别文本尽可能对应识别出该语音识别文本的整句。简单而言，00:00:00开始录音的整句得到的语音识别文件最好也映射到00:00:00这一时刻，00:00:17开始录音的整句得到的语音识别文件最好也映射到00:00:17这一时刻。具体例如可以通过经验值修正的方式或计时修正的方式实现。
通过经验值修正是指估算识别出某一整句对应的语音识别文件所花的时间，将该整句对应的语音识别文件对应的时长去掉识别所花的时间，基本实现与录音文件的同步。
计时修正是指将整句的录音过程和对应的语音识别过程当成两个具有先后顺序的操作，在整句的录音结束后再对其进行语音识别，将两个操作作为一个完整的整体进行计时，并将其中语音识别的过程单独计时，最后两个计时结果的差值即为整句录音和对应的语音识别文本的时间轴变量。
S13：将语音识别文本及其对应于时间轴中的时间对应保存为文本文件。
将语音识别文本对应于时间轴中的时间对应保存，得到一文本文件，文本文件中记录的时间轴即为语音识别文本和录音文件中的纽带。由此，内容无法直观预览的录音文件可以通过语音识别文本进行直观呈现，并通过语音识别文本中对应记录的时间轴之间将录音文件调整到对应的时间轴进行播放。
本实施例的录音文件索引的方法，通过在录制录音文件时对录音进行语音识别，将录音文件中的时间轴映射到语音识别文件中，将语音识别文件及其对应于时间轴中的时间对应保存，建立文本和时间轴之间的关联，通过文本实现对录音文件的索引，实现了对录音文件中内容的快速查看和切换，提高了对录音文件的浏览的效率。
请参考图4，其是本发明的一种录音文件索引的方法第二实施例的方法流程图，如图所示，该方法包括以下步骤：
S21：开启录音，同时开启计时器用于记录录音过程中整句音频数据的起始时间和整句结束时间。
本实施例中对于时间修正的过程采用的是计时修正的方式。当用户开始录音时，立即启动语音助手进行语音识别操作，同时定时器开始计时，将当前时间：时、分、秒分别设置三个变量，时间轴格式即为hh:mm:ss，当检测到断句时，此时可认为用户说完了一句话，得到整句音频数据，记录当前的时间存入时间轴变量HH:MM:SS，由此我们可以得到整个句子所用的时间为time。
S22：将整句音频数据发送到语音识别服务器进行语音识别，并记录整句音频数据的发送时间和对应的语音识别文本的接收时间。
S23：根据发送时间和接收时间的时间差对整句结束时间进行修正，得到整句音频数据的结束时间。
为准确记录语音识别的时间，将整句音频数据发送到语音识别服务器进行语音识别。上传语音信息时记录时间为delay_time1，当得到语音识别服务器返回字符串的时，记录定时器时间为delay_time2，所以识别所用延时delay_time＝(delay_time2)-(delay_time1)，因为整句时间的终止时间会有包含识别所用时间，所以此数值作为整句时间的补偿，最终可以获得准确的整句时间，也就是整句音频数据的结束时间。
S24：根据起始时间和结束时间对整句音频数据对应的语音识别文本的起始时间点和结尾时间点进行标记。
一种简单的标记方式，直接基于整句进行时间标记，也就是标记整句音频数据对应的语音识别文本的起始时间点和结尾时间点。这一标记方式是逐句建立时间索引。
更细致的方式是：统计整句音频数据对应的语音识别文本中的字符；根据起始时间和结束时间计算出语音识别文本中每个字符的平均时长；根据平均时长对每个字符进行时间轴标记，其中语音识别文本中的第一个字符标记起始时间点，最后一个字符标记为结尾时间点。这一标记方式是逐字建立时间索引。
不论是逐句建立时间索引和逐句建立时间索引，最终创建成一个特定记录格式的文本文件。
S25：将语音识别文本及其对应于时间轴中的时间对应保存为文本文件。
S26：播放录音文件时，显示文本文件中记录的语音识别文本，并突出显示录音文件的时间轴当前对应的语音识别文本。
在正常播放录音文件时，显示文本文件中记录的语音识别文本。可以根据时间轴显示整句对应的语音识别文件；也可全文显示或显示播放进度前后的语音识别文件，并突出显示当前对应的语音识别文本，例如高亮显示，放大字体等。
S27：当显示的语音识别文本检测到索引指令时，将录音文件切换到索引指令指向的语音识别文本对应的时间。
从数据响应的角度而言，根据整个索引，也就是文本文件的终止时间来设定setMax(int max)函数的值；当显示的语音识别文本检测到索引指令时，根据该索引指令指向的语音识别文本，也就是将用户期望字符位置的时间值转化成setProgress(int value)函数的格式，将value送入该函数，从而达到根据文字内容，快速定位音频内容的目的。
本实施例的录音文件索引的方法，通过在录制录音文件时对录音进行语音识别，将录音文件中的时间轴映射到语音识别文件中，将语音识别文件及其对应于时间轴中的时间对应保存，建立文本和时间轴之间的关联，通过文本实现对录音文件的索引，实现了对录音文件中内容的快速查看和切换，提高了对录音文件的浏览的效率。逐字建立的索引使得索引的结构更加细致，后续对索引的响应进一步完善了录音文件的播放和控制过程，实现了录音文件中的高效快速查找。
本发明进一步提供了一种录音文件索引的装置，装置的实施例基于前述的方法的实施例实现，在装置的实施例中未尽的描述，请参考前述的方法的实施例。
请参考图5，其是本发明的一种录音文件索引的装置第一实施例的结构方框图，如图所示，该装置，包括：
文件生成单元10，用于开启录音和语音识别，获取录音文件和对应的语音识别文本；
时间映射单元20，用于将录音文件的时间轴映射到语音识别文本中；
文本保存单元30，用于将语音识别文本及其对应于时间轴中的时间对应保存为文本文件。
本实施例的录音文件索引的装置，通过在录制录音文件时对录音进行语音识别，将录音文件中的时间轴映射到语音识别文件中，将语音识别文件及其对应于时间轴中的时间对应保存，建立文本和时间轴之间的关联，通过文本实现对录音文件的索引，实现了对录音文件中内容的快速查看和切换，提高了对录音文件的浏览的效率。
请参考图6，其是本发明的一种录音文件索引的装置第二实施例的结构方框图，如图所示，该装置，包括：
文件生成单元10，用于开启录音和语音识别，获取录音文件和对应的语音识别文本；
时间映射单元20，用于将录音文件的时间轴映射到语音识别文本中；
文本保存单元30，用于将语音识别文本及其对应于时间轴中的时间对应保存为文本文件。
其中，文件生成单元10，包括：
第一计时模块11，用于开启录音，同时开启计时器用于记录录音过程中整句音频数据的起始时间和整句结束时间；
第二计时模块12，用于将整句音频数据发送到语音识别服务器进行语音识别，并记录整句音频数据的发送时间和对应的语音识别文本的接收时间；
时间映射单元20，包括：
时间修正模块21，用于根据发送时间和接收时间的时间差对整句结束时间进行修正，得到整句音频数据的结束时间；
时间标记模块22，用于根据起始时间和结束时间对整句音频数据对应的语音识别文本的起始时间点和结尾时间点进行标记。
其中，时间标记模块22，包括：
字符统计子模块221，用于统计整句音频数据对应的语音识别文本中的字符；
时长计算子模块222，用于根据起始时间和结束时间计算出语音识别文本中每个字符的平均时长；
字符标记子模块223，用于根据平均时长对每个字符进行时间轴标记，其中语音识别文本中的第一个字符标记起始时间点，最后一个字符标记为结尾时间点。
其中，所述装置，还包括：
文件播放单元40，用于播放录音文件时，显示文本文件中记录的语音识别文本，并突出显示录音文件的时间轴当前对应的语音识别文本。
其中，所述装置，还包括：
索引切换单元50，用于当显示的语音识别文本检测到索引指令时，将录音文件切换到索引指令指向的语音识别文本对应的时间。
本实施例的录音文件索引的装置，通过在录制录音文件时对录音进行语音识别，将录音文件中的时间轴映射到语音识别文件中，将语音识别文件及其对应于时间轴中的时间对应保存，建立文本和时间轴之间的关联，通过文本实现对录音文件的索引，实现了对录音文件中内容的快速查看和切换，提高了对录音文件的浏览的效率。逐字建立的索引使得索引的结构更加细致，后续对索引的响应进一步完善了录音文件的播放和控制过程，实现了录音文件中的高效快速查找。
上述实施例提供的录音文件索引的装置与录音文件索引的方法实施例属于同一构思，其具体实现过程详见方法实施例，且方法实施例中的技术特征在装置实施例中均对应适用，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
出于解释的目的，前面的描述使用了特定的术语，以提供对本发明的透彻理解。然而，对本领域的技术人员来说显而易见的是，为了实践本发明并不需要具体的细节。本发明的具体实施例的前述描述是为了图示和说明的目的而呈现。它们并不意在详尽的或将本发明限于所公开的准确形式。鉴于上面的教义，许多修改和变化是可能的。为了最好地解释本发明的原理及其实际应用而示出并描述了这些实施例，从而使本领域的其他技术人员能够最好地利用本发明和具有适于预期的特定使用的各种修改的各种实施例。意在本发明的范围由随后的权利要求和其等同物来限定。

Claims (8)

1.一种录音文件索引的装置，其特征在于，包括：
文件生成单元，用于开启录音和语音识别，获取录音文件和对应的语音识别文本；
时间映射单元，用于将所述录音文件的时间轴映射到所述语音识别文本中；
文本保存单元，用于将语音识别文本及其对应于时间轴中的时间对应保存为文本文件，
其中，所述文件生成单元，包括：
第一计时模块，用于开启录音，同时开启计时器用于记录录音过程中整句音频数据的起始时间和整句结束时间；
第二计时模块，用于将所述整句音频数据发送到语音识别服务器进行语音识别，并记录所述整句音频数据的发送时间和对应的语音识别文本的接收时间；
所述时间映射单元，包括：
时间修正模块，用于根据所述发送时间和接收时间的时间差对所述整句结束时间进行修正，得到所述整句音频数据的结束时间；
时间标记模块，用于根据所述起始时间和结束时间对所述整句音频数据对应的语音识别文本的起始时间点和结尾时间点进行标记。
2.根据权利要求1所述的装置，其特征在于，所述时间标记模块，包括：
字符统计子模块，用于统计所述整句音频数据对应的语音识别文本中的字符；
时长计算子模块，用于根据所述起始时间和结束时间计算出所述语音识别文本中每个字符的平均时长；
字符标记子模块，用于根据所述平均时长对每个字符进行时间轴标记，其中所述语音识别文本中的第一个字符标记起始时间点，最后一个字符标记为结尾时间点。
3.根据权利要求1所述的装置，其特征在于，所述装置，还包括：
文件播放单元，用于播放所述录音文件时，显示所述文本文件中记录的语音识别文本，并突出显示所述录音文件的时间轴当前对应的语音识别文本。
4.根据权利要求3所述的装置，其特征在于，所述装置，还包括：
索引切换单元，用于当显示的语音识别文本检测到索引指令时，将所述录音文件切换到所述索引指令指向的语音识别文本对应的时间。
5.一种录音文件索引的方法，其特征在于，包括：
开启录音和语音识别，获取录音文件和对应的语音识别文本；
将所述录音文件的时间轴映射到所述语音识别文本中；
将语音识别文本及其对应于时间轴中的时间对应保存为文本文件；
其中，所述开启录音和语音识别，获取录音文件和对应的语音识别文本，包括：
开启录音，同时开启计时器用于记录录音过程中整句音频数据的起始时间和整句结束时间；
将所述整句音频数据发送到语音识别服务器进行语音识别，并记录所述整句音频数据的发送时间和对应的语音识别文本的接收时间；
所述将所述录音文件的时间轴映射到所述语音识别文本中，包括：
根据所述发送时间和接收时间的时间差对所述整句结束时间进行修正，得到所述整句音频数据的结束时间；
根据所述起始时间和结束时间对所述整句音频数据对应的语音识别文本的起始时间点和结尾时间点进行标记。
6.根据权利要求5所述的方法，其特征在于，所述根据所述起始时间和结束时间对所述整句音频数据对应的语音识别文本的起始时间点和结尾时间点进行标记，包括：
统计所述整句音频数据对应的语音识别文本中的字符；
根据所述起始时间和结束时间计算出所述语音识别文本中每个字符的平均时长；
根据所述平均时长对每个字符进行时间轴标记，其中所述语音识别文本中的第一个字符标记起始时间点，最后一个字符标记为结尾时间点。
7.根据权利要求6所述的方法，其特征在于，所述将语音识别文本及其对应于时间轴中的时间对应保存为文本文件之后，还包括：
播放所述录音文件时，显示所述文本文件中记录的语音识别文本，并突出显示所述录音文件的时间轴当前对应的语音识别文本。
8.根据权利要求7所述的方法，其特征在于，所述播放所述录音文件时，显示所述文本文件中记录的语音识别文本，并突出显示所述录音文件的时间轴当前对应的语音识别文本之后，还包括：
当显示的语音识别文本检测到索引指令时，将所述录音文件切换到所述索引指令指向的语音识别文本对应的时间。
CN201610058331.XA 2016-01-28 2016-01-28 一种录音文件索引的装置及方法 Active CN105653729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610058331.XA CN105653729B (zh) 2016-01-28 2016-01-28 一种录音文件索引的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610058331.XA CN105653729B (zh) 2016-01-28 2016-01-28 一种录音文件索引的装置及方法

Publications (2)

Publication Number Publication Date
CN105653729A CN105653729A (zh) 2016-06-08
CN105653729B true CN105653729B (zh) 2019-10-08

Family

ID=56488064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610058331.XA Active CN105653729B (zh) 2016-01-28 2016-01-28 一种录音文件索引的装置及方法

Country Status (1)

Country Link
CN (1) CN105653729B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106168957A (zh) * 2016-06-27 2016-11-30 西南财经大学 一种调查问卷录音及定位核查的系统和方法
CN106297843A (zh) * 2016-08-04 2017-01-04 周奇 一种录音标记显示方法及装置
CN106782506A (zh) * 2016-11-23 2017-05-31 语联网（武汉）信息技术有限公司 一种将录音音频分割成段的方法
CN106653029A (zh) * 2016-12-02 2017-05-10 广东小天才科技有限公司 一种音频批量分割方法及装置
CN106710597B (zh) * 2017-01-04 2020-12-11 广东小天才科技有限公司 语音数据的录音方法及装置
CN106897379B (zh) * 2017-01-20 2019-12-03 广东小天才科技有限公司 语音文件的lrc时间轴文件自动生成方法及相关设备
CN106911832B (zh) * 2017-04-28 2020-06-02 四川音创伟业科技有限公司 一种语音记录的方法及装置
CN107230478A (zh) * 2017-05-03 2017-10-03 上海斐讯数据通信技术有限公司 一种语音信息处理方法及系统
CN107291676B (zh) * 2017-06-20 2021-11-19 广东小天才科技有限公司 截断语音文件的方法、终端设备及计算机存储介质
CN109559764A (zh) * 2017-09-27 2019-04-02 北京国双科技有限公司 音频文件的处理方法和装置
CN108172247A (zh) * 2017-12-22 2018-06-15 北京壹人壹本信息科技有限公司 录音播放方法、移动终端及具有存储功能的装置
CN108108143B (zh) * 2017-12-22 2021-08-17 北京壹人壹本信息科技有限公司 录音回放的方法、移动终端及具有存储功能的装置
CN108305622B (zh) * 2018-01-04 2021-06-11 海尔优家智能科技（北京）有限公司 一种基于语音识别的音频摘要文本创建方法及其创建装置
CN108763475B (zh) * 2018-05-29 2021-01-15 维沃移动通信有限公司 一种录制方法、录制装置及终端设备
CN108806692A (zh) * 2018-05-29 2018-11-13 深圳市云凌泰泽网络科技有限公司 一种音频内容查找及可视化播放方法
CN109410953A (zh) * 2018-12-21 2019-03-01 上海蒂茜科技有限公司 一种多媒体竖式播放系统
WO2021134548A1 (zh) * 2019-12-31 2021-07-08 李庆远 基于移动设备的录音装置
CN111276018A (zh) * 2020-03-24 2020-06-12 深圳市多亲科技有限公司 一种网课记录方法、装置和终端
CN113438434A (zh) * 2021-08-26 2021-09-24 视见科技(杭州)有限公司 基于文本的音频/视频重录方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544954A (zh) * 2012-07-17 2014-01-29 北京千橡网景科技发展有限公司 用于向语音消息添加文字标签的方法和装置
CN104078044B (zh) * 2014-07-02 2016-03-30 努比亚技术有限公司 移动终端及其录音搜索的方法和装置
CN104751846B (zh) * 2015-03-20 2019-03-01 努比亚技术有限公司 语音到文本转换的方法及装置

Also Published As

Publication number Publication date
CN105653729A (zh) 2016-06-08

Similar Documents

Publication Publication Date Title
CN105653729B (zh) 一种录音文件索引的装置及方法
CN105718027B (zh) 后台应用程序的管理方法及移动终端
CN104793929B (zh) 应用界面显示信息的自定义方法及装置
CN105100892A (zh) 视频播放装置及方法
CN104766604B (zh) 语音数据的标记方法及装置
CN104917896A (zh) 一种推送数据的方法和终端设备
CN105306457B (zh) 数据缓存装置及方法
CN105262819B (zh) 一种移动终端及其实现推送的方法
CN105824537B (zh) 截图方法和装置
CN105100482A (zh) 一种实现手语识别的移动终端、系统及其通话实现方法
CN105120135A (zh) 一种双目摄像头
CN105357370A (zh) 一种聊天消息定位方法及终端
CN105677325A (zh) 一种移动终端及图片处理方法
CN105897995B (zh) 一种添加联系人信息的方法和装置
CN104968033A (zh) 终端网络处理方法及装置
CN106534552B (zh) 移动终端及其拍照方法
CN106909681A (zh) 一种信息处理方法及其装置
CN106803860A (zh) 一种终端应用的存储处理方法和装置
CN104810033B (zh) 音频播放方法和装置
CN105227757A (zh) 一种移动终端录音方法及装置
CN105764085A (zh) 一种异常耗电的检测方法及终端
CN105049582B (zh) 一种通话录音的保存装置、方法和显示方法
CN104994121A (zh) 一种实现通知消息推送的方法及装置
CN105320547A (zh) 一种移动终端快速启动应用程序的方法及装置
CN105187911A (zh) 一种视频图片显示方法、装置及一种图片显示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant