CN107786686A - 一种用于输出多媒体数据的系统及方法 - Google Patents

一种用于输出多媒体数据的系统及方法 Download PDF

Info

Publication number
CN107786686A
CN107786686A CN201711016431.7A CN201711016431A CN107786686A CN 107786686 A CN107786686 A CN 107786686A CN 201711016431 A CN201711016431 A CN 201711016431A CN 107786686 A CN107786686 A CN 107786686A
Authority
CN
China
Prior art keywords
mobile terminal
network
current mobile
voice
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711016431.7A
Other languages
English (en)
Other versions
CN107786686B (zh
Inventor
王梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Shangrong Information Technology Co.,Ltd.
Original Assignee
王梅
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 王梅 filed Critical 王梅
Priority to CN202110188146.3A priority Critical patent/CN112951231A/zh
Priority to CN201711016431.7A priority patent/CN107786686B/zh
Publication of CN107786686A publication Critical patent/CN107786686A/zh
Application granted granted Critical
Publication of CN107786686B publication Critical patent/CN107786686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00Indexing scheme associated with group H04L61/00
    • H04L2101/60Types of network addresses
    • H04L2101/618Details of network addresses
    • H04L2101/622Layer-2 addresses, e.g. medium access control [MAC] addresses

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种用于输出数据的系统及方法,所述方法包括当前移动终端向服务器发送语音输出请求,服务器获取语音样本和网络延迟并且确定允许当前移动终端进行语音输出时发送第一应答消息,并且将当前移动终端的语音输出请求放置在请求缓冲区中;在当前移动终端从服务器接收到第一应答消息后,将当前匹配对保持在堆栈栈顶;在确定将语音输出请求放置到语音准备缓冲区中时发送第二应答消息;基于切换将当前匹配对发送所有其它移动终端;根据动态反馈值和语音信息元数据确定动态优先等级,在允许进入语音输出缓冲区时发送第三应答消息;当前移动终端发送状态更新消息并与语音输出设备建立通信连接,并且由语音输出设备对语音信息进行语音输出。

Description

一种用于输出多媒体数据的系统及方法
技术领域
本发明涉及诸如物联网通信领域的网络通信领域,并且更具体地,涉及一种用于输出多媒体数据的系统及方法。
背景技术
目前,在电话会议或现场会议中,希望进行语音输出的用户通常需要利用诸如麦克风之类的语音输入设备进行语音输入并且随后通过诸如扬声器的语音输出设备进行语音输出。然而,通常的情况是,语音输入设备的数量不足。这种语音输入设备的数量不足会导致部分用户在希望进行语音输出时,要等待其他用户将语音输入设备传递过来。此外,当两个用户在针对相同的问题进行频繁交替地语音输出时,可能需要在这两个用户之间频繁地交换语音输入设备。
在这种情况下,一方面会导致用户进行语音输出时的延迟,例如需要等待语音输入设备,另一方面也会造成用户进行语音输出的不变,例如需要进行语音输入设备的切换。
此外,当用户希望在进行语音输出的同时还进行多媒体数据的输出时,现有技术中的方案无法实现这一要求。
发明内容
根据本发明的一个方面,提供一种用于输出数据的系统,所述系统包括:
当前移动终端,在第一网络中向服务器发送语音输出请求,在从服务器接收到第一应答消息后,将地址缓冲区中包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的匹初始配对中的媒体访问控制MAC地址替换为语音信息元数据,从而生成包括所述当前移动终端在第二网络中的网络地址与语音信息元数据的当前匹配对,并且将随后从第一网络中任意移动终端接收到的匹配对存储在所述地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶;
响应于从服务器接收到第二应答消息,所述当前移动终端从第一网络切换到第二网络,并且基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端;
响应于从服务器接收到第三应答消息,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,并且阻止所述当前移动终端接收语音呼入以及阻止提醒事件的触发;向服务器发送用于指示所述当前移动终端进入语音输出状态的状态更新消息;
在与语音输出设备建立通信连接后,经由所述语音输出设备进行语音信息的输出;
服务器,在从所述当前移动终端接收的语音输出请求中提取所述当前移动终端的语音样本并且基于语音输出请求中的时间信息确定网络延迟,在基于所述语音样本和网络延迟确定允许所述当前移动终端进行语音输出时,向所述当前移动终端发送第一应答消息,并且将所述当前移动终端的语音输出请求放置在请求缓冲区中;
当所述当前移动终端的语音输出请求在所述请求缓冲区中等待的时间达到等待时间阈值后,服务器确定将所述当前移动终端的语音输出请求放置到语音准备缓冲区中时,向所述当前移动终端发送第二应答消息;
根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级,当所述服务器基于动态优先等级确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区时,向所述移动终端发送第三应答消息,其中基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值;
响应于接收到指示所述当前移动终端进入语音输出状态的状态更新消息,所述服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备;以及
语音输出设备,基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,并且对所述当前移动终端经由所述通信连接发送的语音信息进行语音输出。
根据本发明的另一个方面,提供一种用于输出数据的系统,所述系统包括:
当前移动终端,在第一网络中向服务器发送语音输出请求,在从服务器接收到第一应答消息后,将地址缓冲区中包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的匹初始配对中的媒体访问控制MAC地址替换为语音信息元数据,从而生成包括所述当前移动终端在第二网络中的网络地址与语音信息元数据的当前匹配对,并且将随后从第一网络中任意移动终端接收到的匹配对存储在所述地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶;
响应于从服务器接收到第二应答消息,所述当前移动终端从第一网络切换到第二网络,并且基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端;
响应于从服务器接收到第三应答消息,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,并且阻止所述当前移动终端接收语音呼入以及阻止提醒事件的触发;所述当前移动终端向服务器发送一个或多个静态图像和用于指示所述当前移动终端进入语音输出状态的状态更新消息;
在与语音输出设备建立通信连接后,经由所述语音输出设备进行语音信息的输出;
在与多媒体输出设备建立通信连接后,通过发送控制指令来控制所述图像信息的显示;
服务器,在从所述当前移动终端接收的语音输出请求中提取所述当前移动终端的语音样本并且基于语音输出请求中的时间信息确定网络延迟,在基于所述语音样本和网络延迟确定允许所述当前移动终端进行语音输出时,向所述当前移动终端发送第一应答消息,并且将所述当前移动终端的语音输出请求放置在请求缓冲区中;
当所述当前移动终端的语音输出请求在所述请求缓冲区中等待的时间达到等待时间阈值后,服务器确定将所述当前移动终端的语音输出请求放置到语音准备缓冲区中时,向所述当前移动终端发送第二应答消息;
根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级,当所述服务器基于动态优先等级确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区时,向所述移动终端发送第三应答消息,其中基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值;
响应于接收到一个或多个静态图像和指示所述当前移动终端进入语音输出状态的状态更新消息,所述服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将所述一个或多个静态图像和所述当前移动终端在第二网络中的网络地址发送给多媒体输出设备;
语音输出设备,基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,并且将所述当前移动终端经由所述通信连接所发送的语音信息进行语音输出;以及
多媒体输出设备,基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,根据所述当前移动终端发送的控制指令进行一个或多个静态图像的显示。
其中根据所述当前移动终端发送的控制指令进行一个或多个静态图像的显示包括:根据所述当前移动终端发送的控制指令来控制一个或多个静态图像中任意静态图像的位置移动、显示放大、显示缩小、标记添加和/或图像切换。
根据本发明再一方面,提供一种用于输出数据的系统,所述系统包括:
当前移动终端,在第一网络中向服务器发送语音输出请求,在从服务器接收到第一应答消息后,将地址缓冲区中包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的匹初始配对中的媒体访问控制MAC地址替换为语音信息元数据,从而生成包括所述当前移动终端在第二网络中的网络地址与语音信息元数据的当前匹配对,并且将随后从第一网络中任意移动终端接收到的匹配对存储在所述地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶;
响应于从服务器接收到第二应答消息,所述当前移动终端从第一网络切换到第二网络,并且基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端;
响应于从服务器接收到第三应答消息,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,并且阻止所述当前移动终端接收语音呼入以及阻止提醒事件的触发;所述当前移动终端向服务器发送一个或多个动态视频和用于指示所述当前移动终端进入语音输出状态的状态更新消息;
在与语音输出设备建立通信连接后,经由所述语音输出设备进行语音信息的输出;在与多媒体输出设备建立通信连接后,通过发送控制指令来控制所述一个或多个动态视频的播放;
服务器,在从所述当前移动终端接收的语音输出请求中提取所述当前移动终端的语音样本并且基于语音输出请求中的时间信息确定网络延迟,在基于所述语音样本和网络延迟确定允许所述当前移动终端进行语音输出时,向所述当前移动终端发送第一应答消息,并且将所述当前移动终端的语音输出请求放置在请求缓冲区中;
当所述当前移动终端的语音输出请求在所述请求缓冲区中等待的时间达到等待时间阈值后,服务器确定将所述当前移动终端的语音输出请求放置到语音准备缓冲区中时,向所述当前移动终端发送第二应答消息;
根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级,当所述服务器基于动态优先等级确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区时,向所述移动终端发送第三应答消息,其中基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值;
响应于接收到一个或多个动态视频和指示所述当前移动终端进入语音输出状态的状态更新消息,所述服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将所述一个或多个动态视频和所述当前移动终端在第二网络中的网络地址发送给多媒体输出设备;
语音输出设备,基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,并且将所述当前移动终端经由所述通信连接所发送的语音信息进行语音输出;以及
多媒体输出设备,基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,根据所述当前移动终端发送的控制指令进行一个或多个动态视频的播放。
其中根据所述当前移动终端发送的控制指令进行一个或多个动态视频的播放包括:根据所述当前移动终端发送的控制指令来控制一个或多个动态视频中任意动态视频的位置移动、播放、暂停、快进、快退、标记添加和/或视频切换。
根据本发明的又一方面,提供一种用于输出数据的系统,所述系统包括:
当前移动终端,在第一网络中向服务器发送语音输出请求,在从服务器接收到第一应答消息后,将地址缓冲区中包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的匹初始配对中的媒体访问控制MAC地址替换为语音信息元数据,从而生成包括所述当前移动终端在第二网络中的网络地址与语音信息元数据的当前匹配对,并且将随后从第一网络中任意移动终端接收到的匹配对存储在所述地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶;
响应于从服务器接收到第二应答消息,所述当前移动终端从第一网络切换到第二网络,并且基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端;
响应于从服务器接收到第三应答消息,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,并且阻止所述当前移动终端接收语音呼入以及阻止提醒事件的触发;所述当前移动终端向服务器发送一个或多个文档和用于指示所述当前移动终端进入语音输出状态的状态更新消息;
在与语音输出设备建立通信连接后,经由所述语音输出设备进行语音信息的输出;
在与多媒体输出设备建立通信连接后,通过发送控制指令来控制所述一个或多个文档的显示;
服务器,在从所述当前移动终端接收的语音输出请求中提取所述当前移动终端的语音样本并且基于语音输出请求中的时间信息确定网络延迟,在基于所述语音样本和网络延迟确定允许所述当前移动终端进行语音输出时,向所述当前移动终端发送第一应答消息,并且将所述当前移动终端的语音输出请求放置在请求缓冲区中;
当所述当前移动终端的语音输出请求在所述请求缓冲区中等待的时间达到等待时间阈值后,服务器确定将所述当前移动终端的语音输出请求放置到语音准备缓冲区中时,向所述当前移动终端发送第二应答消息;
根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级,当所述服务器基于动态优先等级确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区时,向所述移动终端发送第三应答消息,其中基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值;
响应于接收到一个或多个文档和指示所述当前移动终端进入语音输出状态的状态更新消息,所述服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将所述一个或多个文档和所述当前移动终端在第二网络中的网络地址发送给多媒体输出设备;
语音输出设备,基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,并且将所述当前移动终端经由所述通信连接所发送的语音信息进行语音输出;以及
多媒体输出设备,基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,根据所述当前移动终端发送的控制指令进行一个或多个文档的显示。
其中根据所述当前移动终端发送的控制指令进行一个或多个文档的显示包括:根据所述当前移动终端发送的控制指令来控制一个或多个文档的位置移动、显示放大、显示缩小、标记添加和/或文档切换。
根据本发明另一方面,提供一种用于输出数据的系统,所述系统包括:
当前移动终端,在第一网络中向服务器发送语音输出请求,在从服务器接收到第一应答消息后,将地址缓冲区中包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的匹初始配对中的媒体访问控制MAC地址替换为语音信息元数据,从而生成包括所述当前移动终端在第二网络中的网络地址与语音信息元数据的当前匹配对,并且将随后从第一网络中任意移动终端接收到的匹配对存储在所述地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶;
响应于从服务器接收到第二应答消息,所述当前移动终端从第一网络切换到第二网络,并且基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端;
响应于从服务器接收到第三应答消息,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,并且阻止所述当前移动终端接收语音呼入以及阻止提醒事件的触发;所述当前移动终端向服务器发送一个或多个动态视频和用于指示所述当前移动终端进入语音输出状态的状态更新消息;
在与语音输出设备建立通信连接后,经由所述语音输出设备进行语音信息的输出;在与多媒体输出设备建立通信连接后,通过发送控制指令来控制所述一个或多个音频文件的播放;
服务器,在从所述当前移动终端接收的语音输出请求中提取所述当前移动终端的语音样本并且基于语音输出请求中的时间信息确定网络延迟,在基于所述语音样本和网络延迟确定允许所述当前移动终端进行语音输出时,向所述当前移动终端发送第一应答消息,并且将所述当前移动终端的语音输出请求放置在请求缓冲区中;
当所述当前移动终端的语音输出请求在所述请求缓冲区中等待的时间达到等待时间阈值后,服务器确定将所述当前移动终端的语音输出请求放置到语音准备缓冲区中时,向所述当前移动终端发送第二应答消息;
根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级,当所述服务器基于动态优先等级确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区时,向所述移动终端发送第三应答消息,其中基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值;
响应于接收到一个或多个音频文件和指示所述当前移动终端进入语音输出状态的状态更新消息,所述服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将所述一个或多个音频文件和所述当前移动终端在第二网络中的网络地址发送给多媒体输出设备;
语音输出设备,基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,并且将所述当前移动终端经由所述通信连接所发送的语音信息进行语音输出;以及
多媒体输出设备,基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,根据所述当前移动终端发送的控制指令进行一个或多个音频文件的播放。
其中根据所述当前移动终端发送的控制指令进行一个或多个音频文件的播放包括:根据所述当前移动终端发送的控制指令来控制一个或多个音频文件中任意音频文件的播放、暂停、快进、快退和/或音频文件切换。
其中,所述当前移动终端首次加入第二网络时,生成包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对并且将所述初始匹配对存储在地址缓冲区的堆栈中,将所述初始匹配对发送给第二网络中多个移动终端中的所有其它移动终端,使得所述第二网络中的所有其它移动终端能够从初始匹配对中提取并存储所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址;以及
在当前移动终端准备向服务器发送语音输出请求时,从所述第二网络切换到第一网络,并且所述当前移动终端并不将包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对删除。
其中所述第一网络是广域无线通信网络,并且所述第二网络是局域无线通信网络。
其中所述基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端包括:在从第一网络切换到第二网络后,所述当前移动终端使用广播机制将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中除所述当前移动终端之外的所有其它移动终端。
其中所述等待时间阈值是固定值并且由服务器预先设置;或者所述等待时间阈值是动态值并且由服务器基于所述请求缓冲区中语音输出请求的数量来动态确定。
其中在向服务器发送语音输出请求之前,用户使用所述当前移动终端的语音输入器件生成语音样本,所述语音样本用于指示:用户的语音清晰度、用户的语音所涉及的语言类型以及背景音噪声强度。
其中在网络延迟低于最大允许延迟阈值的情况下,当用户的语音清晰度优于最低要求清晰度阈值、用户的语音所涉及的语言类型能够被服务器自动翻译以及背景音噪声强度低于最大允许噪声强度的情况下,确定允许所述当前移动终端进行语音输出。
其中在向服务器发送语音输出请求之后,所述当前移动终端生成语音信息元数据,所述语音信息元数据包括:用户基本信息、主题信息以及概述信息。
其中在基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端之后,所有其它移动终端中的任意移动终端能够从所述当前匹配对中获取语音信息元数据,并且基于所获取的语音信息元数据的内容确定是否向服务器发送针对所述语音信息元数据的反馈消息,在确定发送反馈消息时需要在接收到所述当前匹配对后的预定时间间隔内将所述反馈信息发送给服务器。
其中所述服务器从所述第二网络内的移动终端接收针对所述语音信息元数据的一个或多个反馈消息并且确定每个反馈消息的反馈等级,基于每个反馈消息的反馈等级对所述一个或多个反馈消息进行处理以确定所述语音信息元数据的动态反馈值。
其中反馈消息的反馈等级包括:支持级别、肯定级别、无关级别以及否定级别,其中支持级别的反馈消息的初始反馈值为2、肯定级别的反馈消息的初始反馈值为1、无关级别的反馈消息的初始反馈值为0以及否定级别的反馈消息的初始反馈值为-1。
其中基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值包括:服务器将从第二网络中的其它移动终端中任意移动终端接收的并且是针对所述语音信息元数据的反馈消息的初始反馈值进行累加,将所述累加得到的和作为所述动态反馈值。
其中基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值包括:服务器将从第二网络中的其它移动终端中接收的并且是针对所述语音信息元数据的反馈消息的数量进行累加,将所述累加得到的和作为所述动态反馈值。
其中根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级包括:
计算语音信息元数据与当前进行语音输出的语音信息的相关度,利用所述相关度和所述动态反馈值来确定当前移动终端的语音输出请求的动态优先值;当所述动态优先值大于或等于第一优先级门限时,将所述当前移动终端的语音输出请求的动态优先等级设置为高;当所述动态优先值大于或等于第二优先级门限并且小于第一优先级门限时,将所述当前移动终端的语音输出请求的动态优先等级设置为中;以及当所述动态优先值小于第二优先级门限时,将所述当前移动终端的语音输出请求的动态优先等级设置为低。
其中当所述当前移动终端的语音输出请求的动态优先等级为高时,确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区。其中当所述当前移动终端的语音输出请求的动态优先等级为低时,将所述当前移动终端的语音输出请求放置到请求缓冲区中。其中当所述当前移动终端的语音输出请求的动态优先等级为中时,确定所述当前移动终端的语音输出请求在语音准备缓冲区中的持续时间,当所述持续时间大于或等于准备时间阈值时,确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区。
其中计算语音信息元数据与当前进行语音输出的语音信息的相关度包括:将所述当前进行语音输出的语音信息转换为文本数据,计算语音信息元数据中的主题信息与文本数据的第一匹配度,计算语音信息元数据中的概述信息与文本数据的第二匹配度,并且利用第一匹配度和第二匹配度来计算相关度。
其中所述利用所述相关度和所述动态反馈值来确定当前移动终端的语音输出请求的动态优先值包括:对所述相关度和所述动态反馈值进行加权计算,并且将经过加权计算的结果作为当前移动终端的语音输出请求的动态优先值。根据本发明的一个方面,提供一种用于输出数据的方法,所述方法包括:处于第一网络中的当前移动终端向服务器发送语音输出请求,
服务器在从所述当前移动终端接收的语音输出请求中提取所述当前移动终端的语音样本并且基于语音输出请求中的时间信息确定网络延迟,在基于所述语音样本和网络延迟确定允许所述当前移动终端进行语音输出时,向所述当前移动终端发送第一应答消息,并且将所述当前移动终端的语音输出请求放置在请求缓冲区中;
在当前移动终端从服务器接收到第一应答消息后,将地址缓冲区中包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对中的媒体访问控制MAC地址替换为语音信息元数据,从而生成包括所述当前移动终端在第二网络中的网络地址与语音信息元数据的当前匹配对,并且将随后从第一网络中任意移动终端接收到的匹配对存储在所述地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶;
当所述当前移动终端的语音输出请求在所述请求缓冲区中等待的时间达到等待时间阈值后,服务器确定将所述当前移动终端的语音输出请求放置到语音准备缓冲区中时,向所述当前移动终端发送第二应答消息;
响应于从服务器接收到第二应答消息,所述当前移动终端从第一网络切换到第二网络,并且基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端;
所述服务器根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级,当基于动态优先等级确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区时,所述服务器向所述移动终端发送第三应答消息,其中基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值;
响应于从服务器接收到第三应答消息,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,并且阻止所述当前移动终端接收语音呼入以及阻止提醒事件的触发;
所述当前移动终端向服务器发送用于指示所述当前移动终端进入语音输出状态的状态更新消息;
响应于接收到指示所述当前移动终端进入语音输出状态的状态更新消息,所述服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备;以及
所述语音输出设备基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,并且对所述当前移动终端经由所述通信连接发送的语音信息进行语音输出。根据本发明的另一方面,提供一种用于输出数据的方法,所述方法包括:
处于第一网络中的当前移动终端向服务器发送语音输出请求,
服务器在从所述当前移动终端接收的语音输出请求中提取所述当前移动终端的语音样本并且基于语音输出请求中的时间信息确定网络延迟,在基于所述语音样本和网络延迟确定允许所述当前移动终端进行语音输出时,向所述当前移动终端发送第一应答消息,并且将所述当前移动终端的语音输出请求放置在请求缓冲区中;
在当前移动终端从服务器接收到第一应答消息后,将地址缓冲区中包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对中的媒体访问控制MAC地址替换为语音信息元数据,从而生成包括所述当前移动终端在第二网络中的网络地址与语音信息元数据的当前匹配对,并且将随后从第一网络中任意移动终端接收到的匹配对存储在所述地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶;
当所述当前移动终端的语音输出请求在所述请求缓冲区中等待的时间达到等待时间阈值后,服务器确定将所述当前移动终端的语音输出请求放置到语音准备缓冲区中时,向所述当前移动终端发送第二应答消息;
响应于从服务器接收到第二应答消息,所述当前移动终端从第一网络切换到第二网络,并且基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端;
所述服务器根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级,当基于动态优先等级确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区时,所述服务器向所述移动终端发送第三应答消息,其中基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值;
响应于从服务器接收到第三应答消息,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,并且阻止所述当前移动终端接收语音呼入以及阻止提醒事件的触发;
所述当前移动终端向服务器发送一个或多个静态图像和用于指示所述当前移动终端进入语音输出状态的状态更新消息;
响应于接收到一个或多个静态图像和指示所述当前移动终端进入语音输出状态的状态更新消息,所述服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将所述一个或多个静态图像和所述当前移动终端在第二网络中的网络地址发送给多媒体输出设备;
语音输出设备基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,将所述当前移动终端经由所述通信连接所发送的语音信息进行语音输出;以及
多媒体输出设备基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,根据所述当前移动终端发送的控制指令进行一个或多个静态图像的显示。
其中根据所述当前移动终端发送的控制指令进行一个或多个静态图像的显示包括:根据所述当前移动终端发送的控制指令来控制一个或多个静态图像中任意静态图像的位置移动、显示放大、显示缩小、标记添加和/或图像切换。
根据本发明的一个方面,提供一种用于输出数据的方法,所述方法包括:
处于第一网络中的当前移动终端向服务器发送语音输出请求,
服务器在从所述当前移动终端接收的语音输出请求中提取所述当前移动终端的语音样本并且基于语音输出请求中的时间信息确定网络延迟,在基于所述语音样本和网络延迟确定允许所述当前移动终端进行语音输出时,向所述当前移动终端发送第一应答消息,并且将所述当前移动终端的语音输出请求放置在请求缓冲区中;
在当前移动终端从服务器接收到第一应答消息后,将地址缓冲区中包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对中的媒体访问控制MAC地址替换为语音信息元数据,从而生成包括所述当前移动终端在第二网络中的网络地址与语音信息元数据的当前匹配对,并且将随后从第一网络中任意移动终端接收到的匹配对存储在所述地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶;
当所述当前移动终端的语音输出请求在所述请求缓冲区中等待的时间达到等待时间阈值后,服务器确定将所述当前移动终端的语音输出请求放置到语音准备缓冲区中时,向所述当前移动终端发送第二应答消息;
响应于从服务器接收到第二应答消息,所述当前移动终端从第一网络切换到第二网络,并且基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端;
所述服务器根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级,当基于动态优先等级确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区时,所述服务器向所述移动终端发送第三应答消息,其中基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值;
响应于从服务器接收到第三应答消息,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,并且阻止所述当前移动终端接收语音呼入以及阻止提醒事件的触发;
所述当前移动终端向服务器发送一个或多个动态视频和用于指示所述当前移动终端进入语音输出状态的状态更新消息;
响应于接收到一个或多个动态视频和指示所述当前移动终端进入语音输出状态的状态更新消息,所述服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将所述一个或多个动态视频和所述当前移动终端在第二网络中的网络地址发送给多媒体输出设备;
语音输出设备基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,并且将所述当前移动终端经由所述通信连接所发送的语音信息进行语音输出;以及
多媒体输出设备基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,根据所述当前移动终端发送的控制指令进行一个或多个动态视频的播放。
其中根据所述当前移动终端发送的控制指令进行一个或多个动态视频的播放包括:根据所述当前移动终端发送的控制指令来控制一个或多个动态视频中任意动态视频的位置移动、播放、暂停、快进、快退、标记添加和/或视频切换。
根据本发明的一个方面,提供一种用于输出数据的方法,所述方法包括:
处于第一网络中的当前移动终端向服务器发送语音输出请求,
服务器在从所述当前移动终端接收的语音输出请求中提取所述当前移动终端的语音样本并且基于语音输出请求中的时间信息确定网络延迟,在基于所述语音样本和网络延迟确定允许所述当前移动终端进行语音输出时,向所述当前移动终端发送第一应答消息,并且将所述当前移动终端的语音输出请求放置在请求缓冲区中;
在当前移动终端从服务器接收到第一应答消息后,将地址缓冲区中包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对中的媒体访问控制MAC地址替换为语音信息元数据,从而生成包括所述当前移动终端在第二网络中的网络地址与语音信息元数据的当前匹配对,并且将随后从第一网络中任意移动终端接收到的匹配对存储在所述地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶;
当所述当前移动终端的语音输出请求在所述请求缓冲区中等待的时间达到等待时间阈值后,服务器确定将所述当前移动终端的语音输出请求放置到语音准备缓冲区中时,向所述当前移动终端发送第二应答消息;
响应于从服务器接收到第二应答消息,所述当前移动终端从第一网络切换到第二网络,并且基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端;
所述服务器根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级,当基于动态优先等级确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区时,所述服务器向所述移动终端发送第三应答消息,其中基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值;
响应于从服务器接收到第三应答消息,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,并且阻止所述当前移动终端接收语音呼入以及阻止提醒事件的触发;
所述当前移动终端向服务器发送一个或多个文档和用于指示所述当前移动终端进入语音输出状态的状态更新消息;
响应于接收到一个或多个文档和指示所述当前移动终端进入语音输出状态的状态更新消息,所述服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将所述一个或多个文档和所述当前移动终端在第二网络中的网络地址发送给多媒体输出设备;
语音输出设备基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,并且将所述当前移动终端经由所述通信连接所发送的语音信息进行语音输出;以及
多媒体输出设备基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,根据所述当前移动终端发送的控制指令进行一个或多个文档的显示。
其中根据所述当前移动终端发送的控制指令进行一个或多个文档的显示包括:根据所述当前移动终端发送的控制指令来控制一个或多个文档的位置移动、显示放大、显示缩小、标记添加和/或文档切换。
根据本发明的一个方面,提供一种用于输出数据的方法,所述方法包括:
处于第一网络中的当前移动终端向服务器发送语音输出请求,
服务器在从所述当前移动终端接收的语音输出请求中提取所述当前移动终端的语音样本并且基于语音输出请求中的时间信息确定网络延迟,在基于所述语音样本和网络延迟确定允许所述当前移动终端进行语音输出时,向所述当前移动终端发送第一应答消息,并且将所述当前移动终端的语音输出请求放置在请求缓冲区中;
在当前移动终端从服务器接收到第一应答消息后,将地址缓冲区中包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对中的媒体访问控制MAC地址替换为语音信息元数据,从而生成包括所述当前移动终端在第二网络中的网络地址与语音信息元数据的当前匹配对,并且将随后从第一网络中任意移动终端接收到的匹配对存储在所述地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶;
当所述当前移动终端的语音输出请求在所述请求缓冲区中等待的时间达到等待时间阈值后,服务器确定将所述当前移动终端的语音输出请求放置到语音准备缓冲区中时,向所述当前移动终端发送第二应答消息;
响应于从服务器接收到第二应答消息,所述当前移动终端从第一网络切换到第二网络,并且基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端;
所述服务器根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级,当基于动态优先等级确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区时,所述服务器向所述移动终端发送第三应答消息,其中基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值;
响应于从服务器接收到第三应答消息,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,并且阻止所述当前移动终端接收语音呼入以及阻止提醒事件的触发;
所述当前移动终端向服务器发送一个或多个动态视频和用于指示所述当前移动终端进入语音输出状态的状态更新消息;
响应于接收到一个或多个音频文件和指示所述当前移动终端进入语音输出状态的状态更新消息,所述服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将所述一个或多个音频文件和所述当前移动终端在第二网络中的网络地址发送给多媒体输出设备;
语音输出设备基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,并且将所述当前移动终端经由所述通信连接所发送的语音信息进行语音输出;以及
多媒体输出设备基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,根据所述当前移动终端发送的控制指令进行一个或多个音频文件的播放。
其中根据所述当前移动终端发送的控制指令进行一个或多个音频文件的播放包括:根据所述当前移动终端发送的控制指令来控制一个或多个音频文件中任意音频文件的播放、暂停、快进、快退和/或音频文件切换。
其中,在所述当前移动终端首次加入第二网络时,生成包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对并且将所述初始匹配对存储在地址缓冲区的堆栈中,将所述初始匹配对发送给第二网络中多个移动终端中的所有其它移动终端,使得所述第二网络中的所有其它移动终端能够从初始匹配对中提取并存储所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址;以及
在当前移动终端准备向服务器发送语音输出请求时,从所述第二网络切换到第一网络,并且所述当前移动终端并不将包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对删除。
其中,所述第一网络是广域无线通信网络,并且所述第二网络是局域无线通信网络。
其中,所述基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端包括:在从第一网络切换到第二网络后,所述当前移动终端使用广播机制将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中除所述当前移动终端之外的所有其它移动终端。
其中,所述等待时间阈值是固定值并且由服务器预先设置;或者所述等待时间阈值是动态值并且由服务器基于所述请求缓冲区中语音输出请求的数量来动态确定。
其中,在向服务器发送语音输出请求之前,用户使用所述当前移动终端的语音输入器件生成语音样本,所述语音样本用于指示:用户的语音清晰度、用户的语音所涉及的语言类型以及背景音噪声强度。
其中,在网络延迟低于最大允许延迟阈值的情况下,当用户的语音清晰度优于最低要求清晰度阈值、用户的语音所涉及的语言类型能够被服务器自动翻译以及背景音噪声强度低于最大允许噪声强度的情况下,确定允许所述当前移动终端进行语音输出。
其中,在向服务器发送语音输出请求之后,所述当前移动终端生成语音信息元数据,所述语音信息元数据包括:用户基本信息、主题信息以及概述信息。
其中,在基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端之后,所有其它移动终端中的任意移动终端能够从所述当前匹配对中获取语音信息元数据,并且基于所获取的语音信息元数据的内容确定是否向服务器发送针对所述语音信息元数据的反馈消息,在确定发送反馈消息时需要在接收到所述当前匹配对后的预定时间间隔内将所述反馈信息发送给服务器。
其中,所述服务器从所述第二网络内的移动终端接收针对所述语音信息元数据的一个或多个反馈消息并且确定每个反馈消息的反馈等级,基于每个反馈消息的反馈等级对所述一个或多个反馈消息进行处理以确定所述语音信息元数据的动态反馈值。
其中,反馈消息的反馈等级包括:支持级别、肯定级别、无关级别以及否定级别,其中支持级别的反馈消息的初始反馈值为2、肯定级别的反馈消息的初始反馈值为1、无关级别的反馈消息的初始反馈值为0以及否定级别的反馈消息的初始反馈值为-1。
其中,基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值包括:服务器将从第二网络中的其它移动终端中任意移动终端接收的并且是针对所述语音信息元数据的反馈消息的初始反馈值进行累加,将所述累加得到的和作为所述动态反馈值。
其中,基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值包括:服务器将从第二网络中的其它移动终端中接收的并且是针对所述语音信息元数据的反馈消息的数量进行累加,将所述累加得到的和作为所述动态反馈值。
其中,根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级包括:
计算语音信息元数据与当前进行语音输出的语音信息的相关度,利用所述相关度和所述动态反馈值来确定当前移动终端的语音输出请求的动态优先值;当所述动态优先值大于或等于第一优先级门限时,将所述当前移动终端的语音输出请求的动态优先等级设置为高;当所述动态优先值大于或等于第二优先级门限并且小于第一优先级门限时,将所述当前移动终端的语音输出请求的动态优先等级设置为中;以及当所述动态优先值小于第二优先级门限时,将所述当前移动终端的语音输出请求的动态优先等级设置为低。
其中,当所述当前移动终端的语音输出请求的动态优先等级为高时,确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区。其中,当所述当前移动终端的语音输出请求的动态优先等级为低时,将所述当前移动终端的语音输出请求放置到请求缓冲区中。其中,当所述当前移动终端的语音输出请求的动态优先等级为中时,确定所述当前移动终端的语音输出请求在语音准备缓冲区中的持续时间,当所述持续时间大于或等于准备时间阈值时,确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区。
其中,其中计算语音信息元数据与当前进行语音输出的语音信息的相关度包括:将所述当前进行语音输出的语音信息转换为文本数据,计算语音信息元数据中的主题信息与文本数据的第一匹配度,计算语音信息元数据中的概述信息与文本数据的第二匹配度,并且利用第一匹配度和第二匹配度来计算相关度。其中,所述利用所述相关度和所述动态反馈值来确定当前移动终端的语音输出请求的动态优先值包括:对所述相关度和所述动态反馈值进行加权计算,并且将经过加权计算的结果作为当前移动终端的语音输出请求的动态优先值。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为根据本发明优选实施方式的用于输出多媒体数据的系统的结构示意图;
图2为根据本发明优选实施方式的用于输出数据的系统的结构示意图;
图3为根据本发明优选实施方式的用于输出数据的方法的流程图;
图4-7为根据本发明优选实施方式的输出多媒体数据的示意图;
图8为根据本发明优选实施方式的输出多媒体数据的方法的流程图;
图9为根据本发明另一优选实施方式的输出多媒体数据的方法的流程图
图10为根据本发明再一优选实施方式的输出多媒体数据的方法的流程图;以及
图11为根据本发明又一优选实施方式的输出多媒体数据的方法的流程图。
具体实施方式
图1为根据本发明优选实施方式的用于输出多媒体数据的系统100的结构示意图。系统100包括:移动终端1、移动终端2、…、移动终端N,输出设备1、输出设备2、…、输出设备N以及服务器。其中服务器能够与移动终端1、移动终端2、…、移动终端N中的任意移动终端进行无线连接以对移动终端的请求进行响应,并且能够与输出设备1、输出设备2、…、输出设备N中的任意输出设备进行有线连接或无线连接以将需要输出的数据传递给输出设备。此外,移动终端1、移动终端2、…、移动终端N中的任意移动终端能够与输出设备1、输出设备2、…、输出设备N中的任意输出设备进行无线连接,以进行多媒体数据的输出。
通常,移动终端可以是任意类型的移动设备,包括但不限于手机、个人数字助理、平板电脑、笔记本电脑等。输出设备可以是用于输出任意类型数据的设备,例如,音频数据、语音数据、图像数据、视频数据等。
图2为根据本发明优选实施方式的用于输出数据的系统200的结构示意图。系统200包括:移动终端1、移动终端2、…、移动终端N,当前移动终端,服务器,语音输出设备和多媒体输出设备。其中,移动终端1、移动终端2、…、移动终端N和当前移动终端可以是任意类型的移动设备,包括但不限于手机、个人数字助理、平板电脑、笔记本电脑等。为了清楚起见,以当前移动终端作为实例进行说明,但是所属领域技术人员应当了解的是,移动终端1、移动终端2、…、移动终端N中的任意移动终端均可以作为当前移动终端。语音输出设备用于输出语音信息或音频信息,例如通过一个或多个扬声器单元来输出语音或音频。语音输出设备通常可以将收到的语音信息或音频信息转换为用于进行声音播放的信号。多媒体输出设备可以是能够对音频数据、语音数据、图像数据和视频数据等中任意一项或多项进行输出的设备。多媒体输出设备例如是音响系统、影院系统、显示器、投影仪、电影屏幕等。
服务器用于对移动终端1、移动终端2、…、移动终端N和当前移动终端中任意移动终端的输出请求进行处理和响应,并且能够向语音输出设备和多媒体输出设备发送信息以促使任意移动终端与语音输出设备或多媒体输出设备建立通信连接。此外,服务器能够将多媒体数据发送给语音输出设备和多媒体输出设备。移动终端1、移动终端2、…、移动终端N和当前移动终端中任意移动终端能够在第一网络或第二网络中进行无线通信,并且可以通过第一网络或第二网络与服务器、语音输出设备或多媒体输出设备进行无线通信。其中第一网络和第二网络均可以是广域无线通信网络或局域无线通信网络。本申请以第一网络是广域无线通信网络并且第二网络是局域无线通信网络为例进行说明。
为了能够进行包括语音数据的多媒体数据的输出,当前移动终端需要加入第二网络,这是因为第二网络的无线传输速率较高并且传输延迟较低。此外,当前移动终端在加入第二网络后,还可以向或从移动终端1、移动终端2、…、移动终端N发送或接收数据。在当前移动终端首次加入第二网络时,生成包括当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对并且将所述初始匹配对存储在地址缓冲区的堆栈中。通常,地址缓冲区的堆栈会存储多个匹配对,其中每个匹配对均包括特定移动终端的媒体访问控制MAC地址和这个特定移动终端在第二网络中的网络地址。这是因为,当移动终端1、移动终端2、…、移动终端N中的任意移动终端加入第二网络时,均会将包括自身的MAC地址和在第二网络中的网络地址的匹配对广播给第二网络中的所有其它移动终端。为此,任意移动终端的地址缓冲区的堆栈会存储多个匹配对,并且多个匹配对中包括与自身相关联的匹配对和与其它移动终端相关联的匹配对。其中,当前移动终端在第二网络中的网络地址可以是随机生成的、由地址服务器指定的或根据预先设置的规则所生成的。应当了解的是,当前移动终端在第二网络中的网络地址不会与第二网络中任意其它移动终端的网络地址相同。
当前移动终端将初始匹配对发送给第二网络中多个移动终端(即,移动终端1、移动终端2、…、移动终端N和当前移动终端)中的所有其它移动终端(即移动终端1、移动终端2、…、移动终端N),使得第二网络中的所有其它移动终端能够从初始匹配对中提取当前移动终端的MAC地址和当前移动终端在第二网络中的网络地址并存储当前移动终端的MAC地址和当前移动终端在第二网络中的网络地址。例如,第二网络中的所有其它移动终端以匹配对的方式将当前移动终端的MAC地址和当前移动终端在第二网络中的网络地址存储在其地址缓冲区的堆栈中。
在当前移动终端准备向服务器发送语音输出请求时,从第二网络切换到第一网络。通常,为了更为准确地确定当前移动终端的网络延迟和语音样本的等级,本申请中的当前移动终端在第一网络中向服务器发送语音输出请求,而不是在第二网络中向服务器发送语音输出请求。这是因为,一旦加入第二网络的移动终端数量过大并且在较短时间内进行了多次广播,会造成第二网络的网络延迟瞬间增大,进而导致诸如语音信息的多媒体数据输出的延迟或甚至是中断。为此,在这种情况,进行多媒体数据输出的当前移动终端应当具备从第二网络切换回第一网络,并且能够在第一网络中进行低延迟、高速率并且高等级语音信息输出的能力。为此,服务器需要将当前移动终端在第一网络中的性能作为评测的基础,即基于在第一网络中的网络延迟和语音样本的等级来确定是否允许当前移动终端进行语音输出。
当前移动终端并不将包括当前移动终端的MAC地址和在第二网络中的网络地址的初始匹配对删除。这是为了随后从第一网络切换回第二网络时,能够直接使用包括当前移动终端在第二网络中的网络地址的初始匹配对而无需再次生成网络地址。一方面,这种方式无需再次生成网络地址,另一方面,这种方式能够保持当前移动终端在第二网络中的网络地址不变,以使得第二网络中的移动终端1、移动终端2、…、移动终端N能够正确地识别当前移动终端(例如,当前移动终端的再次加入)。
随后,当前移动终端在第一网络中向服务器发送语音输出请求。服务器在从当前移动终端接收的语音输出请求中提取当前移动终端的语音样本并且基于语音输出请求中的时间信息确定网络延迟。其中,在当前移动终端向服务器发送语音输出请求之前,用户使用当前移动终端的语音输入器件生成语音样本。例如,用户可以使用诸如手机的当前移动终端的麦克风来生成语音样本。这个语音样本可以是用户说的一小段话。其中语音样本用于指示:用户的语音清晰度、用户的语音所涉及的语言类型以及背景音噪声强度。通常,用户的语音清晰度包括设备录入语音的清晰度和用户自身语音的清晰度(例如,口齿是否清晰);用户的语音所涉及的语言类型包括:一方面,用户的语音所涉及的语言是汉语、英语、日语等,另一方面,还可以是汉语中的各类方言;背景音噪声强度包括用户所处环境的噪声对语音的影响强度。由此可知,通过对语音样本的识别,服务器可以确定用户的语音清晰度、用户的语音所涉及的语言类型以及背景音噪声强度。
在网络延迟低于最大允许延迟阈值的情况下,当用户的语音清晰度优于最低要求清晰度阈值、用户的语音所涉及的语言类型能够被服务器自动翻译以及背景音噪声强度低于最大允许噪声强度的情况下,服务器确定允许当前移动终端进行语音输出。其中,最大允许延迟阈值可以是例如30ms、50ms、60ms或100ms等。最低要求清晰度阈值为每100个汉字的错误识别数为5,或每50个英文单词的错误识别数为5。或者,最低要求清晰度阈值为将每100个汉字语音转换为100个汉字文字的错误识别数为5,或将每50个英文单词语音转换为50个英文单词文字的错误识别数为5。用户的语音清晰度优于最低要求清晰度阈值的含义是,在上述实例中,错误识别数要小于5。在后续语音处理中,服务器可能需要将用户的语音转换为其他语言类型,例如,将用户输入的英文语义转换为汉字文字或汉字语音(有可能是将汉字方言转换为汉字普通话),为此用户的语音所涉及的语言类型需要能够被服务器自动翻译。最大允许噪声强度例如是20dB、22dB。
在基于语音样本和网络延迟确定允许当前移动终端进行语音输出时,向当前移动终端发送第一应答消息,并且将当前移动终端的语音输出请求放置在请求缓冲区中。其中,请求缓冲区用于对允许进行语音输出的语音输出请求进行缓冲。特定移动终端在请求缓冲区中的语音输出请求对于其它移动终端来说是不可见的。
在当前移动终端从服务器接收到第一应答消息后,将地址缓冲区中包括当前移动终端的MAC地址和当前移动终端在第二网络中的网络地址的初始匹配对中的MAC地址替换为语音信息元数据,从而生成包括当前移动终端在第二网络中的网络地址与语音信息元数据的当前匹配对。在当前移动终端为了发送语音输出请求而从第二网络切换到第一网络时,当前移动终端并不将包括当前移动终端的MAC地址和当前移动终端在第二网络中的网络地址的初始匹配对删除。由此可知,初始匹配对仍然被保存在当前移动终端的地址缓冲区的堆栈中。
将随后从第一网络中任意移动终端接收到的匹配对存储在地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶。由于当前移动终端从第二网络切换到第一网络中,为此,当第一网络中新加入的移动终端将包括其MAC地址和网络地址的匹配对进行广播时,当前移动终端可能会从第一网络中的移动终端接收一个或多个匹配对。随后,当前移动终端将一个或多个匹配对存储在地址缓冲区的堆栈中。此外,为了能够在从第一网络切换到第二网络后能够立即通过地址缓存协议进行语音信息元数据的广播而无需等待网络地址的分配,当前移动终端将当前匹配对保持在所述堆栈的栈顶以实现快速操作。
在当前移动终端的语音输出请求在请求缓冲区中等待的时间达到等待时间阈值后,服务器确定将所述当前移动终端的语音输出请求放置到语音准备缓冲区中时,向当前移动终端发送第二应答消息。其中,等待时间阈值是固定值并且由服务器预先设置;或者等待时间阈值是动态值并且由服务器基于请求缓冲区中语音输出请求的数量来动态确定。固定值例如是5分钟、10分钟以及15分钟等。服务器基于请求缓冲区中语音输出请求的数量来动态确定等待时间阈值可以是例如,当请求缓冲区中语音输出请求的数量大于第一预定数量(例如,20个)时,将等待时间阈值降低1分钟,以及当请求缓冲区中语音输出请求的数量小于第二预定数量(例如,5个)时,将等待时间阈值升高1分钟。等待时间阈值的初始值可以是3分钟、5分钟以及8分钟等。
响应于从服务器接收到第二应答消息,当前移动终端从第一网络切换到第二网络,并且基于切换将地址缓冲区中堆栈的栈顶处的当前匹配对发送给服务器和第二网络内多个移动终端中除当前移动终端之外的所有其它移动终端。具体地,在从第一网络切换到第二网络后,当前移动终端使用广播机制将地址缓冲区中堆栈的栈顶处的当前匹配对广播给服务器和第二网络内多个移动终端中除所述当前移动终端之外的所有其它移动终端。通过这种方式,服务器和第二网络内多个移动终端中除所述当前移动终端之外的所有其它移动终端能够获取当前匹配对,其中当前匹配对包括:当前移动终端在第二网络中的网络地址与语音信息元数据。应当了解的是,在当前移动终端向服务器发送语音输出请求之后,并且在从服务器接收到第一应答消息之前,当前移动终端生成语音信息元数据。其中语音信息元数据包括:用户基本信息、主题信息以及概述信息。用户基本信息包括用户的姓名、年龄、单位、教育背景、工作经历、研究方向、联系方式、用户照片等内容。主题信息包括用户希望通过当前移动终端进行语音信息输出或多媒体数据输出的主题。这个主题可以是例如论文标题、发言主题等。概述信息包括用户希望通过当前移动终端进行语音信息输出或多媒体数据输出的内容的概述。例如,概述信息是与用户进行发言的主题相关的概要。概述信息用于使其它用户或服务器能够了解或确定用户所要输出或表达的内容的主要内容。
服务器根据动态反馈值和当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级。其中基于第二网络中除当前移动终端之外的其它移动终端针对当前移动终端的语音信息元数据的反馈消息来生成动态反馈值。初始地,动态反馈值可以被设置为0。其中根据动态反馈值和当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级包括:计算语音信息元数据与当前进行语音输出的语音信息的相关度,并且利用相关度和动态反馈值来确定当前移动终端的语音输出请求的动态优先值。其中,当前进行语音输出的语音信息例如是语音输出设备正在进行语音输出的一段语音。随后,基于动态优先值确定当前移动终端的语音输出请求的动态优先等级。
在基于从第一网络到第二网络的切换将地址缓冲区中堆栈的栈顶处的当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端之后,所有其它移动终端中的任意移动终端能够从当前匹配对中获取语音信息元数据。任意移动终端均可以基于所获取的语音信息元数据的内容确定是否向服务器发送针对语音信息元数据的反馈消息。例如,如果特定移动终端的用户对语音信息元数据中的用户基本信息、主题信息和/或概述信息感兴趣、对主题信息比较熟悉或对概述信息持有肯定或否定观点,均可以通过特定移动终端发送反馈消息。应当了解的是,任意移动终端在希望发送反馈消息时需要在接收到当前匹配对后的预定时间间隔内将反馈信息发送给服务器。例如,移动终端1在接收到当前匹配对后,基于当前匹配对中的语音信息元数据确定要发送反馈消息时,需要在接收时间后的3分钟、5分钟、6分钟、10分钟或15分钟等内将反馈信息发送给服务器。
服务器从第二网络内除当前移动终端之外的一个或多个移动终端接收针对语音信息元数据的一个或多个反馈消息并且确定每个反馈消息的反馈等级。其中反馈消息的反馈等级包括:支持级别、肯定级别、无关级别以及否定级别。其中支持级别表示非常赞同语音信息元数据中的信息或对语音信息元数据中的信息非常感兴趣。肯定级别表示赞同语音信息元数据中的信息或对语音信息元数据中的信息感兴趣。无关级别表示对语音信息元数据中的信息没兴趣或不关心,此外无关级别还表示无效的反馈信息,例如反馈信息不符合要求等。否定级别表示不赞同语音信息元数据中的信息。其中支持级别的反馈消息的初始反馈值为2、肯定级别的反馈消息的初始反馈值为1、无关级别的反馈消息的初始反馈值为0以及否定级别的反馈消息的初始反馈值为-1。
基于第二网络中除当前移动终端之外的其它移动终端针对当前移动终端的语音信息元数据的反馈消息来生成动态反馈值包括服务器基于每个反馈消息的反馈等级对与语音信息元数据相关的一个或多个反馈消息进行处理以确定语音信息元数据的动态反馈值。优选地,服务器将从第二网络中的其它移动终端中任意移动终端接收的并且是针对语音信息元数据的反馈消息的初始反馈值进行累加,将所述累加得到的和作为动态反馈值。例如,服务器从移动终端1、移动终端2、移动终端3(图2中未示出)和移动终端N接收到总计四个反馈消息,其中每个反馈消息分别是支持级别、肯定级别、无关级别以及否定级别的反馈消息,那么语音信息元数据的反馈消息的初始反馈值进行累加即2+1+0+(-1)=2。即动态反馈值为2。可替换地,服务器将从第二网络中的其它移动终端中接收的并且是针对语音信息元数据的反馈消息的数量进行累加,将所述累加得到的和作为动态反馈值。如上面的例子,动态反馈值为四个反馈消息的计数,即4。
其中根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级包括:计算语音信息元数据与当前进行语音输出的语音信息的相关度,利用所述相关度和所述动态反馈值来确定当前移动终端的语音输出请求的动态优先值。
其中计算语音信息元数据与当前进行语音输出的语音信息的相关度包括:将当前进行语音输出的语音信息转换为文本数据,计算语音信息元数据中的主题信息与文本数据的第一匹配度,计算语音信息元数据中的概述信息与文本数据的第二匹配度,并且利用第一匹配度和第二匹配度来计算相关度。具体地,服务器可以通过任何方式将当前进行语音输出的语音信息例如是语音输出设备正在进行语音输出的一段语音转换为文本数据。然后,计算语音信息元数据中的主题信息与文本数据的第一匹配度,并且计算语音信息元数据中的概述信息与文本数据的第二匹配度。主题信息可以是例如论文标题、发言主题等。概述信息包括用户希望通过当前移动终端进行语音信息输出或多媒体数据输出的内容的概述。例如,概述信息是与用户进行发言的主题相关的概要。概述信息用于使其它用户或服务器能够了解或确定用户所要输出或表达的内容的主要内容。服务器可以基于各种已知的匹配算法(关键词统计、关键词词频)等方式来计算主题信息与文本数据的第一匹配度,以及概述信息与文本数据的第二匹配度。例如,匹配度为从0至100的自然数,并且其中匹配度为零表示完全不相关,而匹配度为100为一致性相关。相关度可以是第一匹配度和第二匹配度的算术和、算术平均数、加权和、加权平均数等。举例来说,当主题信息与文本数据的第一匹配度为80,并且概述信息与文本数据的第二匹配度为70的情况下,相关度可以是80+70=150,或(80+70)/2=75。在进行加权计算的情况下,例如,第一匹配度的权重值为1,并且第二匹配度的权重值为2。那么,相关度可以是1*80+2*70=220,或(1*80+2*70)/2=110。
服务器利用相关度和动态反馈值来确定当前移动终端的语音输出请求的动态优先值。具体地,服务器对相关度和动态反馈值进行加权计算,并且将经过加权计算的结果作为当前移动终端的语音输出请求的动态优先值。例如,相关度的权重为0.6、动态反馈值的权重为0.4、相关度为150并且动态反馈值为50。那么,经过加权计算的结果,动态优先值即为150*0.6+50*0.4=90+20=110。
服务器根据动态优先值与优先级门限的比较来确定动态优先等级。当动态优先值大于或等于第一优先级门限时,将当前移动终端的语音输出请求的动态优先等级设置为高。当动态优先值大于或等于第二优先级门限并且小于第一优先级门限时,将当前移动终端的语音输出请求的动态优先等级设置为中。以及当动态优先值小于第二优先级门限时,将当前移动终端的语音输出请求的动态优先等级设置为低。其中第一优先级门限大于第二优先级门限。
在当前移动终端的语音输出请求的动态优先等级为高时,确定允许当前移动终端的语音输出请求进入语音输出缓冲区。在当前移动终端的语音输出请求的动态优先等级为低时,将当前移动终端的语音输出请求放置到请求缓冲区中。以及在当前移动终端的语音输出请求的动态优先等级为中时,确定当前移动终端的语音输出请求在语音准备缓冲区中的持续时间,当持续时间大于或等于准备时间阈值(例如,5分钟、10分钟、15分钟)时,确定允许当前移动终端的语音输出请求进入语音输出缓冲区。
当基于动态优先等级确定允许当前移动终端的语音输出请求进入语音输出缓冲区时,服务器向移动终端发送第三应答消息。响应于从服务器接收到第三应答消息,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,并且阻止所述当前移动终端接收语音呼入以及阻止提醒事件的触发。在当前移动终端进入语音输出缓冲区后,随时有可能进行语音输出。为此,当前移动终端要阻止当前移动终端接收语音呼入以及阻止提醒事件的触发,这是因为语音呼入或提醒事件的触发会导致语音输出的中断或严重影响语音输出的效果。此外,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,这是因为当前移动可能在短期内无法对匹配对中的语音信息元数据进行响应。
语音输出:
当前移动终端向服务器发送用于指示当前移动终端进入语音输出状态的状态更新消息。响应于接收到指示当前移动终端进入语音输出状态的状态更新消息,服务器将当前移动终端在第二网络中的网络地址发送给语音输出设备。
语音输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,并且对当前移动终端经由通信连接发送的语音信息进行语音输出。通过这种方式,用户可以使用当前移动终端作为语音输入设备以通过语音输出设备进行语音输出。
在语音输出时进行静态图像的展示:
当前移动终端向服务器发送一个或多个静态图像和用于指示所述当前移动终端进入语音输出状态的状态更新消息。其中静态图像可以是与语音输出相关的各种类型的图片。此外,服务器还可以将语音信息元数据中的用户照片发送给多媒体输出设备以使得多媒体输出设备能够显示正在发言的用户的照片。
响应于接收到一个或多个静态图像和指示所述当前移动终端进入语音输出状态的状态更新消息,服务器将当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将所述一个或多个静态图像和当前移动终端在第二网络中的网络地址发送给多媒体输出设备。
语音输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,将当前移动终端经由通信连接所发送的语音信息进行语音输出。
多媒体输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,根据当前移动终端发送的控制指令进行一个或多个静态图像的显示。
其中根据当前移动终端发送的控制指令进行一个或多个静态图像的显示包括:根据当前移动终端发送的控制指令来控制一个或多个静态图像中任意静态图像的位置移动、显示放大、显示缩小、标记添加和/或图像切换。
在语音输出时进行动态视频的展示:
当前移动终端向服务器发送一个或多个动态视频和用于指示当前移动终端进入语音输出状态的状态更新消息。其中动态视频可以是与语音输出相关的各种类型的视频。此外,服务器还可以将语音信息元数据中的用户照片发送给多媒体输出设备以使得多媒体输出设备能够显示正在发言的用户的照片。
响应于接收到一个或多个动态视频和指示当前移动终端进入语音输出状态的状态更新消息,服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将一个或多个动态视频和当前移动终端在第二网络中的网络地址发送给多媒体输出设备。
语音输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,并且将当前移动终端经由通信连接所发送的语音信息进行语音输出。
多媒体输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,根据当前移动终端发送的控制指令进行一个或多个动态视频的播放。
其中根据当前移动终端发送的控制指令进行一个或多个动态视频的播放包括:根据当前移动终端发送的控制指令来控制一个或多个动态视频中任意动态视频的位置移动、播放、暂停、快进、快退、标记添加和/或视频切换。
在语音输出时进行文档展示:
当前移动终端向服务器发送一个或多个文档和用于指示所述当前移动终端进入语音输出状态的状态更新消息。其中文档可以是与语音输出相关的各种类型的文档,例如word文档、ppt文档、pdf文档等。此外,服务器还可以将语音信息元数据中的用户照片发送给多媒体输出设备以使得多媒体输出设备能够显示正在发言的用户的照片。
响应于接收到一个或多个文档和指示当前移动终端进入语音输出状态的状态更新消息,服务器将当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将一个或多个文档和当前移动终端在第二网络中的网络地址发送给多媒体输出设备。
语音输出设备基于当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,并且将当前移动终端经由通信连接所发送的语音信息进行语音输出。
多媒体输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,根据当前移动终端发送的控制指令进行一个或多个文档的显示。其中根据当前移动终端发送的控制指令进行一个或多个文档的显示包括:根据当前移动终端发送的控制指令来控制一个或多个文档的位置移动、显示放大、显示缩小、标记添加和/或文档切换。
在语音输出时进行音频播放:
所述当前移动终端向服务器发送一个或多个音频文件和用于指示所述当前移动终端进入语音输出状态的状态更新消息。其中音频文件可以是与语音输出相关的各种类型的音频文件。此外,服务器还可以将语音信息元数据中的用户照片发送给多媒体输出设备以使得多媒体输出设备能够显示正在发言的用户的照片。
响应于接收到一个或多个音频文件和指示所述当前移动终端进入语音输出状态的状态更新消息,服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将一个或多个音频文件和当前移动终端在第二网络中的网络地址发送给多媒体输出设备。
语音输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,并且将当前移动终端经由所述通信连接所发送的语音信息进行语音输出。
多媒体输出设备基于当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,根据当前移动终端发送的控制指令进行一个或多个音频文件的播放。
其中根据当前移动终端发送的控制指令进行一个或多个音频文件的播放包括:根据当前移动终端发送的控制指令来控制一个或多个音频文件中任意音频文件的播放、暂停、快进、快退和/或音频文件切换。
优选地,本申请利用语音输出设备来输出用户的语音数据,并且利用多媒体输出设备来输出音频文件。音频文件通常可以用作背景音乐、语音采访资料或音频引证资料。
图3为根据本发明优选实施方式的用于输出数据的方法300的流程图。方法300从步骤301处开始。在步骤301,处于第一网络中的当前用户终端向服务器发送语音输出请求。其中当前移动终端中任意移动终端能够在第一网络或第二网络中进行无线通信,并且可以通过第一网络或第二网络与服务器、语音输出设备或多媒体输出设备进行无线通信。其中第一网络和第二网络均可以是广域无线通信网络或局域无线通信网络。本申请以第一网络是广域无线通信网络并且第二网络是局域无线通信网络为例进行说明。
优选地,为了能够进行包括语音数据的多媒体数据的输出,当前移动终端需要加入第二网络,这是因为第二网络的无线传输速率较高并且传输延迟较低。此外,当前移动终端在加入第二网络后,还可以向或从移动终端1、移动终端2、…、移动终端N发送或接收数据。在当前移动终端首次加入第二网络时,生成包括当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对并且将所述初始匹配对存储在地址缓冲区的堆栈中。通常,地址缓冲区的堆栈会存储多个匹配对,其中每个匹配对均包括特定移动终端的媒体访问控制MAC地址和这个特定移动终端在第二网络中的网络地址。这是因为,当移动终端1、移动终端2、…、移动终端N中的任意移动终端加入第二网络时,均会将包括自身的MAC地址和在第二网络中的网络地址的匹配对广播给第二网络中的所有其它移动终端。为此,任意移动终端的地址缓冲区的堆栈会存储多个匹配对,并且多个匹配对中包括与自身相关联的匹配对和与其它移动终端相关联的匹配对。其中,当前移动终端在第二网络中的网络地址可以是随机生成的、由地址服务器指定的或根据预先设置的规则所生成的。应当了解的是,当前移动终端在第二网络中的网络地址不会与第二网络中任意其它移动终端的网络地址相同。
当前移动终端将初始匹配对发送给第二网络中多个移动终端(即,移动终端1、移动终端2、…、移动终端N和当前移动终端)中的所有其它移动终端(即移动终端1、移动终端2、…、移动终端N),使得第二网络中的所有其它移动终端能够从初始匹配对中提取当前移动终端的MAC地址和当前移动终端在第二网络中的网络地址并存储当前移动终端的MAC地址和当前移动终端在第二网络中的网络地址。例如,第二网络中的所有其它移动终端以匹配对的方式将当前移动终端的MAC地址和当前移动终端在第二网络中的网络地址存储在其地址缓冲区的堆栈中。
在当前移动终端准备向服务器发送语音输出请求时,从第二网络切换到第一网络。通常,为了更为准确地确定当前移动终端的网络延迟和语音样本的等级,本申请中的当前移动终端在第一网络中向服务器发送语音输出请求,而不是在第二网络中向服务器发送语音输出请求。这是因为,一旦加入第二网络的移动终端数量过大并且在较短时间内进行了多次广播,会造成第二网络的网络延迟瞬间增大,进而导致诸如语音信息的多媒体数据输出的延迟或甚至是中断。为此,在这种情况,进行多媒体数据输出的当前移动终端应当具备从第二网络切换回第一网络,并且能够在第一网络中进行低延迟、高速率并且高等级语音信息输出的能力。为此,服务器需要将当前移动终端在第一网络中的性能作为评测的基础,即基于在第一网络中的网络延迟和语音样本的等级来确定是否允许当前移动终端进行语音输出。
当前移动终端并不将包括当前移动终端的MAC地址和在第二网络中的网络地址的初始匹配对删除。这是为了随后从第一网络切换回第二网络时,能够直接使用包括当前移动终端在第二网络中的网络地址的初始匹配对而无需再次生成网络地址。一方面,这种方式无需再次生成网络地址,另一方面,这种方式能够保持当前移动终端在第二网络中的网络地址不变,以使得第二网络中的移动终端1、移动终端2、…、移动终端N能够正确地识别当前移动终端(例如,当前移动终端的再次加入)。
在步骤302,服务器在从当前用户终端接收的语音输出请求中提取当前用户终端的语音样本并且基于语音输出请求中的时间信息确定网络延迟,在基于语音样本和网络延迟确定允许当前用户终端进行语音输出时,向当前用户终端发送第一应答消息,并且将当前用户终端的语音输出请求放置在请求缓冲区中。
其中,在当前移动终端向服务器发送语音输出请求之前,用户使用当前移动终端的语音输入器件生成语音样本。例如,用户可以使用诸如手机的当前移动终端的麦克风来生成语音样本。这个语音样本可以是用户说的一小段话。其中语音样本用于指示:用户的语音清晰度、用户的语音所涉及的语言类型以及背景音噪声强度。通常,用户的语音清晰度包括设备录入语音的清晰度和用户自身语音的清晰度(例如,口齿是否清晰);用户的语音所涉及的语言类型包括:一方面,用户的语音所涉及的语言是汉语、英语、日语等,另一方面,还可以是汉语中的各类方言;背景音噪声强度包括用户所处环境的噪声对语音的影响强度。由此可知,通过对语音样本的识别,服务器可以确定用户的语音清晰度、用户的语音所涉及的语言类型以及背景音噪声强度。
在网络延迟低于最大允许延迟阈值的情况下,当用户的语音清晰度优于最低要求清晰度阈值、用户的语音所涉及的语言类型能够被服务器自动翻译以及背景音噪声强度低于最大允许噪声强度的情况下,服务器确定允许当前移动终端进行语音输出。其中,最大允许延迟阈值可以是例如30ms、50ms、60ms或100ms等。最低要求清晰度阈值为每100个汉字的错误识别数为5,或每50个英文单词的错误识别数为5。或者,最低要求清晰度阈值为将每100个汉字语音转换为100个汉字文字的错误识别数为5,或将每50个英文单词语音转换为50个英文单词文字的错误识别数为5。用户的语音清晰度优于最低要求清晰度阈值的含义是,在上述实例中,错误识别数要小于5。在后续语音处理中,服务器可能需要将用户的语音转换为其他语言类型,例如,将用户输入的英文语义转换为汉字文字或汉字语音(有可能是将汉字方言转换为汉字普通话),为此用户的语音所涉及的语言类型需要能够被服务器自动翻译。最大允许噪声强度例如是20dB、22dB。
在基于语音样本和网络延迟确定允许当前移动终端进行语音输出时,向当前移动终端发送第一应答消息,并且将当前移动终端的语音输出请求放置在请求缓冲区中。其中,请求缓冲区用于对允许进行语音输出的语音输出请求进行缓冲。特定移动终端在请求缓冲区中的语音输出请求对于其它移动终端来说是不可见的。
在步骤303,在当前用户终端从服务器接收到第一应答消息后,将地址缓冲区中包括当前用户终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对中的媒体访问控制MAC地址替换为语音信息元数据,从而生成包括所述当前用户终端在第二网络中的网络地址与语音信息元数据的当前匹配对,并且将随后从第一网络中任意用户终端接收到的匹配对存储在所述地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶。在当前移动终端为了发送语音输出请求而从第二网络切换到第一网络时,当前移动终端并不将包括当前移动终端的MAC地址和当前移动终端在第二网络中的网络地址的初始匹配对删除。由此可知,初始匹配对仍然被保存在当前移动终端的地址缓冲区的堆栈中。
将随后从第一网络中任意移动终端接收到的匹配对存储在地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶。由于当前移动终端从第二网络切换到第一网络中,为此,当第一网络中新加入的移动终端将包括其MAC地址和网络地址的匹配对进行广播时,当前移动终端可能会从第一网络中的移动终端接收一个或多个匹配对。随后,当前移动终端将一个或多个匹配对存储在地址缓冲区的堆栈中。此外,为了能够在从第一网络切换到第二网络后能够立即通过地址缓存协议进行语音信息元数据的广播而无需等待网络地址的分配,当前移动终端将当前匹配对保持在所述堆栈的栈顶以实现快速操作。
在步骤304,当所述当前用户终端的语音输出请求在所述请求缓冲区中等待的时间达到等待时间阈值后,服务器确定将所述当前用户终端的语音输出请求放置到语音准备缓冲区中时,向所述当前用户终端发送第二应答消息。其中,等待时间阈值是固定值并且由服务器预先设置;或者等待时间阈值是动态值并且由服务器基于请求缓冲区中语音输出请求的数量来动态确定。固定值例如是5分钟、10分钟以及15分钟等。服务器基于请求缓冲区中语音输出请求的数量来动态确定等待时间阈值可以是例如,当请求缓冲区中语音输出请求的数量大于第一预定数量(例如,20个)时,将等待时间阈值降低1分钟,以及当请求缓冲区中语音输出请求的数量小于第二预定数量(例如,5个)时,将等待时间阈值升高1分钟。等待时间阈值的初始值可以是3分钟、5分钟以及8分钟等。
在步骤305,响应于从服务器接收到第二应答消息,所述当前用户终端从第一网络切换到第二网络,并且基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个用户终端中的所有其它用户终端。具体地,在从第一网络切换到第二网络后,当前移动终端使用广播机制将地址缓冲区中堆栈的栈顶处的当前匹配对广播给服务器和第二网络内多个移动终端中除所述当前移动终端之外的所有其它移动终端。通过这种方式,服务器和第二网络内多个移动终端中除所述当前移动终端之外的所有其它移动终端能够获取当前匹配对,其中当前匹配对包括:当前移动终端在第二网络中的网络地址与语音信息元数据。应当了解的是,在当前移动终端向服务器发送语音输出请求之后,并且在从服务器接收到第一应答消息之前,当前移动终端生成语音信息元数据。其中语音信息元数据包括:用户基本信息、主题信息以及概述信息。用户基本信息包括用户的姓名、年龄、单位、教育背景、工作经历、研究方向、联系方式、用户照片等内容。主题信息包括用户希望通过当前移动终端进行语音信息输出或多媒体数据输出的主题。这个主题可以是例如论文标题、发言主题等。概述信息包括用户希望通过当前移动终端进行语音信息输出或多媒体数据输出的内容的概述。例如,概述信息是与用户进行发言的主题相关的概要。概述信息用于使其它用户或服务器能够了解或确定用户所要输出或表达的内容的主要内容。
在步骤306,所述服务器根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前用户终端的语音输出请求的动态优先等级,当基于动态优先等级确定允许所述当前用户终端的语音输出请求进入语音输出缓冲区时,所述服务器向所述用户终端发送第三应答消息。其中基于第二网络中除当前移动终端之外的其它移动终端针对当前移动终端的语音信息元数据的反馈消息来生成动态反馈值。初始地,动态反馈值可以被设置为0。其中根据动态反馈值和当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级包括:计算语音信息元数据与当前进行语音输出的语音信息的相关度,并且利用相关度和动态反馈值来确定当前移动终端的语音输出请求的动态优先值。其中,当前进行语音输出的语音信息例如是语音输出设备正在进行语音输出的一段语音。随后,基于动态优先值确定当前移动终端的语音输出请求的动态优先等级。
在基于从第一网络到第二网络的切换将地址缓冲区中堆栈的栈顶处的当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端之后,所有其它移动终端中的任意移动终端能够从当前匹配对中获取语音信息元数据。任意移动终端均可以基于所获取的语音信息元数据的内容确定是否向服务器发送针对语音信息元数据的反馈消息。例如,如果特定移动终端的用户对语音信息元数据中的用户基本信息、主题信息和/或概述信息感兴趣、对主题信息比较熟悉或对概述信息持有肯定或否定观点,均可以通过特定移动终端发送反馈消息。应当了解的是,任意移动终端在希望发送反馈消息时需要在接收到当前匹配对后的预定时间间隔内将反馈信息发送给服务器。例如,移动终端1在接收到当前匹配对后,基于当前匹配对中的语音信息元数据确定要发送反馈消息时,需要在接收时间后的3分钟、5分钟、6分钟、10分钟或15分钟等内将反馈信息发送给服务器。
服务器从第二网络内除当前移动终端之外的一个或多个移动终端接收针对语音信息元数据的一个或多个反馈消息并且确定每个反馈消息的反馈等级。其中反馈消息的反馈等级包括:支持级别、肯定级别、无关级别以及否定级别。其中支持级别表示非常赞同语音信息元数据中的信息或对语音信息元数据中的信息非常感兴趣。肯定级别表示赞同语音信息元数据中的信息或对语音信息元数据中的信息感兴趣。无关级别表示对语音信息元数据中的信息没兴趣或不关心,此外无关级别还表示无效的反馈信息,例如反馈信息不符合要求等。否定级别表示不赞同语音信息元数据中的信息。其中支持级别的反馈消息的初始反馈值为2、肯定级别的反馈消息的初始反馈值为1、无关级别的反馈消息的初始反馈值为0以及否定级别的反馈消息的初始反馈值为-1。
基于第二网络中除当前移动终端之外的其它移动终端针对当前移动终端的语音信息元数据的反馈消息来生成动态反馈值包括服务器基于每个反馈消息的反馈等级对与语音信息元数据相关的一个或多个反馈消息进行处理以确定语音信息元数据的动态反馈值。优选地,服务器将从第二网络中的其它移动终端中任意移动终端接收的并且是针对语音信息元数据的反馈消息的初始反馈值进行累加,将所述累加得到的和作为动态反馈值。例如,服务器从移动终端1、移动终端2、移动终端3(图2中未示出)和移动终端N接收到总计四个反馈消息,其中每个反馈消息分别是支持级别、肯定级别、无关级别以及否定级别的反馈消息,那么语音信息元数据的反馈消息的初始反馈值进行累加即2+1+0+(-1)=2。即动态反馈值为2。
可替换地,服务器将从第二网络中的其它移动终端中接收的并且是针对语音信息元数据的反馈消息的数量进行累加,将所述累加得到的和作为动态反馈值。如上面的例子,动态反馈值为四个反馈消息的计数,即4。
其中根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级包括:计算语音信息元数据与当前进行语音输出的语音信息的相关度,利用所述相关度和所述动态反馈值来确定当前移动终端的语音输出请求的动态优先值。
其中计算语音信息元数据与当前进行语音输出的语音信息的相关度包括:将当前进行语音输出的语音信息转换为文本数据,计算语音信息元数据中的主题信息与文本数据的第一匹配度,计算语音信息元数据中的概述信息与文本数据的第二匹配度,并且利用第一匹配度和第二匹配度来计算相关度。具体地,服务器可以通过任何方式将当前进行语音输出的语音信息例如是语音输出设备正在进行语音输出的一段语音转换为文本数据。然后,计算语音信息元数据中的主题信息与文本数据的第一匹配度,并且计算语音信息元数据中的概述信息与文本数据的第二匹配度。主题信息可以是例如论文标题、发言主题等。概述信息包括用户希望通过当前移动终端进行语音信息输出或多媒体数据输出的内容的概述。例如,概述信息是与用户进行发言的主题相关的概要。概述信息用于使其它用户或服务器能够了解或确定用户所要输出或表达的内容的主要内容。服务器可以基于各种已知的匹配算法(关键词统计、关键词词频)等方式来计算主题信息与文本数据的第一匹配度,以及概述信息与文本数据的第二匹配度。例如,匹配度为从0至100的自然数,并且其中匹配度为零表示完全不相关,而匹配度为100为一致性相关。相关度可以是第一匹配度和第二匹配度的算术和、算术平均数、加权和、加权平均数等。
举例来说,当主题信息与文本数据的第一匹配度为80,并且概述信息与文本数据的第二匹配度为70的情况下,相关度可以是80+70=150,或(80+70)/2=75。在进行加权计算的情况下,例如,第一匹配度的权重值为1,并且第二匹配度的权重值为2。那么,相关度可以是1*80+2*70=220,或(1*80+2*70)/2=110。
服务器利用相关度和动态反馈值来确定当前移动终端的语音输出请求的动态优先值。具体地,服务器对相关度和动态反馈值进行加权计算,并且将经过加权计算的结果作为当前移动终端的语音输出请求的动态优先值。例如,相关度的权重为0.6、动态反馈值的权重为0.4、相关度为150并且动态反馈值为50。那么,经过加权计算的结果,动态优先值即为150*0.6+50*0.4=90+20=110。
服务器根据动态优先值与优先级门限的比较来确定动态优先等级。当动态优先值大于或等于第一优先级门限时,将当前移动终端的语音输出请求的动态优先等级设置为高。当动态优先值大于或等于第二优先级门限并且小于第一优先级门限时,将当前移动终端的语音输出请求的动态优先等级设置为中。以及当动态优先值小于第二优先级门限时,将当前移动终端的语音输出请求的动态优先等级设置为低。其中第一优先级门限大于第二优先级门限。
在当前移动终端的语音输出请求的动态优先等级为高时,确定允许当前移动终端的语音输出请求进入语音输出缓冲区。在当前移动终端的语音输出请求的动态优先等级为低时,将当前移动终端的语音输出请求放置到请求缓冲区中。以及在当前移动终端的语音输出请求的动态优先等级为中时,确定当前移动终端的语音输出请求在语音准备缓冲区中的持续时间,当持续时间大于或等于准备时间阈值(例如,5分钟、10分钟、15分钟)时,确定允许当前移动终端的语音输出请求进入语音输出缓冲区。当基于动态优先等级确定允许当前移动终端的语音输出请求进入语音输出缓冲区时,服务器向移动终端发送第三应答消息。
在步骤307,响应于从服务器接收到第三应答消息,当前用户终端将随后从任意其它用户终端接收到的匹配对进行丢弃,并且阻止所述当前用户终端接收语音呼入以及阻止提醒事件的触发。在当前移动终端进入语音输出缓冲区后,随时有可能进行语音输出。为此,当前移动终端要阻止当前移动终端接收语音呼入以及阻止提醒事件的触发,这是因为语音呼入或提醒事件的触发会导致语音输出的中断或严重影响语音输出的效果。此外,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,这是因为当前移动可能在短期内无法对匹配对中的语音信息元数据进行响应。
在步骤308,当前移动终端向服务器发送用于指示当前移动终端进入语音输出状态的状态更新消息。在步骤309,响应于接收到指示当前移动终端进入语音输出状态的状态更新消息,服务器将当前移动终端在第二网络中的网络地址发送给语音输出设备。
在步骤310,语音输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,并且对当前移动终端经由通信连接发送的语音信息进行语音输出。通过这种方式,用户可以使用当前移动终端作为语音输入设备以通过语音输出设备进行语音输出。
可替换地,在语音输出时进行静态图像的展示:当前移动终端向服务器发送一个或多个静态图像和用于指示所述当前移动终端进入语音输出状态的状态更新消息。其中静态图像可以是与语音输出相关的各种类型的图片。此外,服务器还可以将语音信息元数据中的用户照片发送给多媒体输出设备以使得多媒体输出设备能够显示正在发言的用户的照片。
响应于接收到一个或多个静态图像和指示所述当前移动终端进入语音输出状态的状态更新消息,服务器将当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将所述一个或多个静态图像和当前移动终端在第二网络中的网络地址发送给多媒体输出设备。
语音输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,将当前移动终端经由通信连接所发送的语音信息进行语音输出。
多媒体输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,根据当前移动终端发送的控制指令进行一个或多个静态图像的显示。
其中根据当前移动终端发送的控制指令进行一个或多个静态图像的显示包括:根据当前移动终端发送的控制指令来控制一个或多个静态图像中任意静态图像的位置移动、显示放大、显示缩小、标记添加和/或图像切换。
可替换地,在语音输出时进行动态视频的展示:当前移动终端向服务器发送一个或多个动态视频和用于指示当前移动终端进入语音输出状态的状态更新消息。其中动态视频可以是与语音输出相关的各种类型的视频。此外,服务器还可以将语音信息元数据中的用户照片发送给多媒体输出设备以使得多媒体输出设备能够显示正在发言的用户的照片。
响应于接收到一个或多个动态视频和指示当前移动终端进入语音输出状态的状态更新消息,服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将一个或多个动态视频和当前移动终端在第二网络中的网络地址发送给多媒体输出设备。
语音输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,并且将当前移动终端经由通信连接所发送的语音信息进行语音输出。
多媒体输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,根据当前移动终端发送的控制指令进行一个或多个动态视频的播放。
其中根据当前移动终端发送的控制指令进行一个或多个动态视频的播放包括:根据当前移动终端发送的控制指令来控制一个或多个动态视频中任意动态视频的位置移动、播放、暂停、快进、快退、标记添加和/或视频切换。
可替换地,在语音输出时进行文档展示:当前移动终端向服务器发送一个或多个文档和用于指示所述当前移动终端进入语音输出状态的状态更新消息。其中文档可以是与语音输出相关的各种类型的文档,例如word文档、ppt文档、pdf文档等。此外,服务器还可以将语音信息元数据中的用户照片发送给多媒体输出设备以使得多媒体输出设备能够显示正在发言的用户的照片。
响应于接收到一个或多个文档和指示当前移动终端进入语音输出状态的状态更新消息,服务器将当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将一个或多个文档和当前移动终端在第二网络中的网络地址发送给多媒体输出设备。
语音输出设备基于当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,并且将当前移动终端经由通信连接所发送的语音信息进行语音输出。
多媒体输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,根据当前移动终端发送的控制指令进行一个或多个文档的显示。
其中根据当前移动终端发送的控制指令进行一个或多个文档的显示包括:根据当前移动终端发送的控制指令来控制一个或多个文档的位置移动、显示放大、显示缩小、标记添加和/或文档切换。
可替换地,在语音输出时进行音频播放:所述当前移动终端向服务器发送一个或多个音频文件和用于指示所述当前移动终端进入语音输出状态的状态更新消息。其中音频文件可以是与语音输出相关的各种类型的音频文件。此外,服务器还可以将语音信息元数据中的用户照片发送给多媒体输出设备以使得多媒体输出设备能够显示正在发言的用户的照片。
响应于接收到一个或多个音频文件和指示所述当前移动终端进入语音输出状态的状态更新消息,服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将一个或多个音频文件和当前移动终端在第二网络中的网络地址发送给多媒体输出设备。
语音输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,并且将当前移动终端经由所述通信连接所发送的语音信息进行语音输出。
多媒体输出设备基于当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,根据当前移动终端发送的控制指令进行一个或多个音频文件的播放。
其中根据当前移动终端发送的控制指令进行一个或多个音频文件的播放包括:根据当前移动终端发送的控制指令来控制一个或多个音频文件中任意音频文件的播放、暂停、快进、快退和/或音频文件切换。
优选地,本申请利用语音输出设备来输出用户的语音数据,并且利用多媒体输出设备来输出音频文件。音频文件通常可以用作背景音乐、语音采访资料或音频引证资料。
图4-7为根据本发明优选实施方式的输出多媒体数据的示意图。图4示出了在语音输出时进行静态图像展示的示意图。用户照片401可以是用户的证件照片、生活照片、旅游照片等。用户基本信息402包括用户的姓名、年龄、单位、教育背景、工作经历、研究方向和联系方式等。其中用户照片401也可以作为用户基本信息,但是在显示时进行区分。其中一个或多个静态图像408可以是与语音输出相关的各种类型的图片。优选地,图4将一个或多个静态图像重合在一起进行展示,实际上可以根据用户的操作将一个或多个静态图像移动到显示区域的不同位置处。
在语音输出设备对当前移动终端经由通信连接所发送的语音信息进行语音输出时,多媒体输出设备可以根据当前移动终端发送的控制指令进行一个或多个静态图像408的显示。其中根据当前移动终端发送的控制指令进行一个或多个静态图像的显示包括:根据当前移动终端发送的控制指令来控制一个或多个静态图像中任意静态图像的位置移动、显示放大、显示缩小、标记添加和/或图像切换。通过对按钮403-407进行点击,用户可以控制一个或多个静态图像进行上述操作。
图5示出了在语音输出时进行动态视频展示的示意图。用户照片501可以是用户的证件照片、生活照片、旅游照片等。用户基本信息502包括用户的姓名、年龄、单位、教育背景、工作经历、研究方向和联系方式等。其中用户照片501也可以作为用户基本信息,但是在显示时进行区分。其中一个或多个动态视频可以是与语音输出相关的各种类型的视频。优选地,图5将一个或多个动态视频重合在一起进行展示,实际上可以根据用户的操作将一个或多个动态视频移动到显示区域的不同位置处。
在语音输出设备对当前移动终端经由通信连接所发送的语音信息进行语音输出时,多媒体输出设备可以根据当前移动终端发送的控制指令进行一个或多个动态视频的播放。其中根据当前移动终端发送的控制指令进行一个或多个动态视频的播放包括:根据当前移动终端发送的控制指令来控制一个或多个动态视频中任意动态视频的位置移动、播放、暂停、快进、快退、标记添加和/或视频切换。通过对按钮503-507进行点击,用户可以控制一个或多个动态视频进行上述操作。
图6示出了在语音输出时进行文档展示的示意图。用户照片601可以是用户的证件照片、生活照片、旅游照片等。用户基本信息602包括用户的姓名、年龄、单位、教育背景、工作经历、研究方向和联系方式等。其中用户照片601也可以作为用户基本信息,但是在显示时进行区分。其中一个或多个文档608可以是与语音输出相关的各种类型的文档。优选地,图6将一个或多个文档重合在一起进行展示,实际上可以根据用户的操作将一个或多个文档移动到显示区域的不同位置处。其中文档可以是与语音输出相关的各种类型的文档,例如word文档、ppt文档、pdf文档等。
在语音输出设备对当前移动终端经由通信连接所发送的语音信息进行语音输出时,多媒体输出设备可以根据当前移动终端发送的控制指令进行一个或多个文档的显示。其中根据当前移动终端发送的控制指令进行一个或多个文档的显示包括:根据当前移动终端发送的控制指令来控制一个或多个文档的位置移动、显示放大、显示缩小、标记添加和/或文档切换。通过对按钮603-607进行点击,用户可以控制一个或多个文档进行上述操作。
图7示出了在语音输出时进行音频播放的示意图。用户照片701可以是用户的证件照片、生活照片、旅游照片等。用户基本信息702包括用户的姓名、年龄、单位、教育背景、工作经历、研究方向和联系方式等。其中用户照片701也可以作为用户基本信息,但是在显示时进行区分。其中一个或多个音频708可以是与语音输出相关的各种类型的音频文件。图7将一个或多个音频重合在一起进行展示,实际上可以根据用户的操作将一个或多个音频移动到显示区域的不同位置处。
在语音输出设备对当前移动终端经由通信连接所发送的语音信息进行语音输出时,多媒体输出设备可以根据当前移动终端发送的控制指令进行一个或多个音频文件的播放。其中根据当前移动终端发送的控制指令进行一个或多个音频文件的播放包括:根据当前移动终端发送的控制指令来控制一个或多个音频文件中任意音频文件的播放、暂停、快进、快退和/或音频文件切换。通过对按钮703-707进行点击,用户可以控制一个或多个音频进行上述操作。
优选地,本申请利用语音输出设备来输出用户的语音数据,并且利用多媒体输出设备来输出音频文件。音频文件通常可以用作背景音乐、语音采访资料或音频引证资料。
图8为根据本发明优选实施方式的输出多媒体数据的方法800的流程图。方法800在语音输出时进行静态图像的展示,并且从步骤801处开始。在步骤801,当前移动终端向服务器发送一个或多个静态图像和用于指示所述当前移动终端进入语音输出状态的状态更新消息。其中静态图像可以是与语音输出相关的各种类型的图片。此外,服务器还可以将语音信息元数据中的用户照片发送给多媒体输出设备以使得多媒体输出设备能够显示正在发言的用户的照片。
在步骤802,响应于接收到一个或多个静态图像和指示所述当前移动终端进入语音输出状态的状态更新消息,服务器将当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将所述一个或多个静态图像和当前移动终端在第二网络中的网络地址发送给多媒体输出设备。
在步骤803,语音输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,将当前移动终端经由通信连接所发送的语音信息进行语音输出。
在步骤804,多媒体输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,根据当前移动终端发送的控制指令进行一个或多个静态图像的显示。
其中根据当前移动终端发送的控制指令进行一个或多个静态图像的显示包括:根据当前移动终端发送的控制指令来控制一个或多个静态图像中任意静态图像的位置移动、显示放大、显示缩小、标记添加和/或图像切换。
图9为根据本发明另一优选实施方式的输出多媒体数据的方法900的流程图。方法900在语音输出时进行动态视频的展示,并且从步骤901处开始。在步骤901,当前移动终端向服务器发送一个或多个动态视频和用于指示当前移动终端进入语音输出状态的状态更新消息。其中动态视频可以是与语音输出相关的各种类型的视频。此外,服务器还可以将语音信息元数据中的用户照片发送给多媒体输出设备以使得多媒体输出设备能够显示正在发言的用户的照片。
在步骤902,响应于接收到一个或多个动态视频和指示当前移动终端进入语音输出状态的状态更新消息,服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将一个或多个动态视频和当前移动终端在第二网络中的网络地址发送给多媒体输出设备。在步骤903,语音输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,并且将当前移动终端经由通信连接所发送的语音信息进行语音输出。在步骤904,多媒体输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,根据当前移动终端发送的控制指令进行一个或多个动态视频的播放。其中根据当前移动终端发送的控制指令进行一个或多个动态视频的播放包括:根据当前移动终端发送的控制指令来控制一个或多个动态视频中任意动态视频的位置移动、播放、暂停、快进、快退、标记添加和/或视频切换。
图10为根据本发明再一优选实施方式的输出多媒体数据的方法1000的流程图。方法1000在语音输出时进行文档展示,并且从步骤1001。在步骤1001,当前移动终端向服务器发送一个或多个文档和用于指示所述当前移动终端进入语音输出状态的状态更新消息。其中文档可以是与语音输出相关的各种类型的文档,例如word文档、ppt文档、pdf文档等。此外,服务器还可以将语音信息元数据中的用户照片发送给多媒体输出设备以使得多媒体输出设备能够显示正在发言的用户的照片。在步骤1002,响应于接收到一个或多个文档和指示当前移动终端进入语音输出状态的状态更新消息,服务器将当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将一个或多个文档和当前移动终端在第二网络中的网络地址发送给多媒体输出设备。在步骤1003,语音输出设备基于当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,并且将当前移动终端经由通信连接所发送的语音信息进行语音输出。在步骤1004,多媒体输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,根据当前移动终端发送的控制指令进行一个或多个文档的显示。其中根据当前移动终端发送的控制指令进行一个或多个文档的显示包括:根据当前移动终端发送的控制指令来控制一个或多个文档的位置移动、显示放大、显示缩小、标记添加和/或文档切换。
图11为根据本发明又一优选实施方式的输出多媒体数据的方法1100的流程图。方法1100在语音输出时进行音频播放并且从步骤1101处开始。在步骤1101,所述当前移动终端向服务器发送一个或多个音频文件和用于指示所述当前移动终端进入语音输出状态的状态更新消息。其中音频文件可以是与语音输出相关的各种类型的音频文件。此外,服务器还可以将语音信息元数据中的用户照片发送给多媒体输出设备以使得多媒体输出设备能够显示正在发言的用户的照片。在步骤1102,响应于接收到一个或多个音频文件和指示所述当前移动终端进入语音输出状态的状态更新消息,服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备,并且将一个或多个音频文件和当前移动终端在第二网络中的网络地址发送给多媒体输出设备。在步骤1103,语音输出设备基于当前移动终端在第二网络中的网络地址与当前移动终端建立通信连接,并且将当前移动终端经由所述通信连接所发送的语音信息进行语音输出。在步骤1104,多媒体输出设备基于当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,根据当前移动终端发送的控制指令进行一个或多个音频文件的播放。其中根据当前移动终端发送的控制指令进行一个或多个音频文件的播放包括:根据当前移动终端发送的控制指令来控制一个或多个音频文件中任意音频文件的播放、暂停、快进、快退和/或音频文件切换。
优选地,本申请利用语音输出设备来输出用户的语音数据,并且利用多媒体输出设备来输出音频文件。音频文件通常可以用作背景音乐、语音采访资料或音频引证资料。

Claims (10)

1.一种用于输出数据的系统,所述系统包括:
当前移动终端,在第一网络中向服务器发送语音输出请求,在从服务器接收到第一应答消息后,将地址缓冲区中包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的匹初始配对中的媒体访问控制MAC地址替换为语音信息元数据,从而生成包括所述当前移动终端在第二网络中的网络地址与语音信息元数据的当前匹配对,并且将随后从第一网络中任意移动终端接收到的匹配对存储在所述地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶;
响应于从服务器接收到第二应答消息,所述当前移动终端从第一网络切换到第二网络,并且基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端;
响应于从服务器接收到第三应答消息,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,并且阻止所述当前移动终端接收语音呼入以及阻止提醒事件的触发;向服务器发送用于指示所述当前移动终端进入语音输出状态的状态更新消息;
在与语音输出设备建立通信连接后,经由所述语音输出设备进行语音信息的输出;
服务器,在从所述当前移动终端接收的语音输出请求中提取所述当前移动终端的语音样本并且基于语音输出请求中的时间信息确定网络延迟,在基于所述语音样本和网络延迟确定允许所述当前移动终端进行语音输出时,向所述当前移动终端发送第一应答消息,并且将所述当前移动终端的语音输出请求放置在请求缓冲区中;
当所述当前移动终端的语音输出请求在所述请求缓冲区中等待的时间达到等待时间阈值后,服务器确定将所述当前移动终端的语音输出请求放置到语音准备缓冲区中时,向所述当前移动终端发送第二应答消息;
根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级,当所述服务器基于动态优先等级确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区时,向所述移动终端发送第三应答消息,其中基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值;
响应于接收到指示所述当前移动终端进入语音输出状态的状态更新消息,所述服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备;以及
语音输出设备,基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,并且对所述当前移动终端经由所述通信连接发送的语音信息进行语音输出。
2.根据权利要求1所述的系统,所述当前移动终端首次加入第二网络时,生成包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对并且将所述初始匹配对存储在地址缓冲区的堆栈中,将所述初始匹配对发送给第二网络中多个移动终端中的所有其它移动终端,使得所述第二网络中的所有其它移动终端能够从初始匹配对中提取并存储所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址;以及
在当前移动终端准备向服务器发送语音输出请求时,从所述第二网络切换到第一网络,并且所述当前移动终端并不将包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对删除。
3.根据权利要求1至2中任意一项的系统,所述基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端包括:在从第一网络切换到第二网络后,所述当前移动终端使用广播机制将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中除所述当前移动终端之外的所有其它移动终端。
4.根据权利要求1至3中任意一项所述的系统,在向服务器发送语音输出请求之前,用户使用所述当前移动终端的语音输入器件生成语音样本,所述语音样本用于指示:用户的语音清晰度、用户的语音所涉及的语言类型以及背景音噪声强度。
5.根据权利要求4所述的系统,在网络延迟低于最大允许延迟阈值的情况下,当用户的语音清晰度优于最低要求清晰度阈值、用户的语音所涉及的语言类型能够被服务器自动翻译以及背景音噪声强度低于最大允许噪声强度的情况下,确定允许所述当前移动终端进行语音输出。
6.一种用于输出数据的方法,所述方法包括:
处于第一网络中的当前移动终端向服务器发送语音输出请求,
服务器在从所述当前移动终端接收的语音输出请求中提取所述当前移动终端的语音样本并且基于语音输出请求中的时间信息确定网络延迟,在基于所述语音样本和网络延迟确定允许所述当前移动终端进行语音输出时,向所述当前移动终端发送第一应答消息,并且将所述当前移动终端的语音输出请求放置在请求缓冲区中;
在当前移动终端从服务器接收到第一应答消息后,将地址缓冲区中包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对中的媒体访问控制MAC地址替换为语音信息元数据,从而生成包括所述当前移动终端在第二网络中的网络地址与语音信息元数据的当前匹配对,并且将随后从第一网络中任意移动终端接收到的匹配对存储在所述地址缓冲区的堆栈中而将所述当前匹配对保持在所述堆栈的栈顶;
当所述当前移动终端的语音输出请求在所述请求缓冲区中等待的时间达到等待时间阈值后,服务器确定将所述当前移动终端的语音输出请求放置到语音准备缓冲区中时,向所述当前移动终端发送第二应答消息;
响应于从服务器接收到第二应答消息,所述当前移动终端从第一网络切换到第二网络,并且基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端;
所述服务器根据动态反馈值和所述当前匹配对中的语音信息元数据确定当前移动终端的语音输出请求的动态优先等级,当基于动态优先等级确定允许所述当前移动终端的语音输出请求进入语音输出缓冲区时,所述服务器向所述移动终端发送第三应答消息,其中基于第二网络中的其它移动终端针对所述语音信息元数据的反馈消息生成所述动态反馈值;
响应于从服务器接收到第三应答消息,当前移动终端将随后从第二网络中任意其它移动终端接收到的匹配对进行丢弃,并且阻止所述当前移动终端接收语音呼入以及阻止提醒事件的触发;
所述当前移动终端向服务器发送用于指示所述当前移动终端进入语音输出状态的状态更新消息;
响应于接收到指示所述当前移动终端进入语音输出状态的状态更新消息,所述服务器将所述当前移动终端在第二网络中的网络地址发送给语音输出设备;以及
所述语音输出设备基于所述当前移动终端在第二网络中的网络地址与所述当前移动终端建立通信连接,并且对所述当前移动终端经由所述通信连接发送的语音信息进行语音输出。
7.根据权利要求6所述的方法,在所述当前移动终端首次加入第二网络时,生成包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对并且将所述初始匹配对存储在地址缓冲区的堆栈中,将所述初始匹配对发送给第二网络中多个移动终端中的所有其它移动终端,使得所述第二网络中的所有其它移动终端能够从初始匹配对中提取并存储所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址;以及
在当前移动终端准备向服务器发送语音输出请求时,从所述第二网络切换到第一网络,并且所述当前移动终端并不将包括所述当前移动终端的媒体访问控制MAC地址和在第二网络中的网络地址的初始匹配对删除。
8.根据权利要求6至7中任意一项所述的方法,所述基于所述切换将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中的所有其它移动终端包括:在从第一网络切换到第二网络后,所述当前移动终端使用广播机制将地址缓冲区中堆栈的栈顶处的所述当前匹配对发送给服务器和第二网络内多个移动终端中除所述当前移动终端之外的所有其它移动终端。
9.根据权利要求6至8中任意一项所述的方法,在向服务器发送语音输出请求之前,用户使用所述当前移动终端的语音输入器件生成语音样本,所述语音样本用于指示:用户的语音清晰度、用户的语音所涉及的语言类型以及背景音噪声强度。
10.根据权利要求9所述的方法,在网络延迟低于最大允许延迟阈值的情况下,当用户的语音清晰度优于最低要求清晰度阈值、用户的语音所涉及的语言类型能够被服务器自动翻译以及背景音噪声强度低于最大允许噪声强度的情况下,确定允许所述当前移动终端进行语音输出。
CN201711016431.7A 2017-10-26 2017-10-26 一种用于输出多媒体数据的系统及方法 Active CN107786686B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110188146.3A CN112951231A (zh) 2017-10-26 2017-10-26 一种用于输出数据的系统及方法
CN201711016431.7A CN107786686B (zh) 2017-10-26 2017-10-26 一种用于输出多媒体数据的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711016431.7A CN107786686B (zh) 2017-10-26 2017-10-26 一种用于输出多媒体数据的系统及方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110188146.3A Division CN112951231A (zh) 2017-10-26 2017-10-26 一种用于输出数据的系统及方法

Publications (2)

Publication Number Publication Date
CN107786686A true CN107786686A (zh) 2018-03-09
CN107786686B CN107786686B (zh) 2021-06-25

Family

ID=61435382

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110188146.3A Pending CN112951231A (zh) 2017-10-26 2017-10-26 一种用于输出数据的系统及方法
CN201711016431.7A Active CN107786686B (zh) 2017-10-26 2017-10-26 一种用于输出多媒体数据的系统及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110188146.3A Pending CN112951231A (zh) 2017-10-26 2017-10-26 一种用于输出数据的系统及方法

Country Status (1)

Country Link
CN (2) CN112951231A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635209A (zh) * 2018-12-12 2019-04-16 广东小天才科技有限公司 一种学习内容推荐方法及家教设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101626436A (zh) * 2009-06-22 2010-01-13 中兴通讯股份有限公司南京分公司 一种交互式视频语音应答系统及实现方法
CN102710539A (zh) * 2012-05-02 2012-10-03 中兴通讯股份有限公司 语音信息传送方法及装置
US20130016848A1 (en) * 2011-07-14 2013-01-17 Jeremy Bruce Warren Managing audio output through an intermediary
CN103856883A (zh) * 2012-11-29 2014-06-11 中国电信股份有限公司 将手机终端上的音乐投放到音响设备播放的方法和系统
CN104810046A (zh) * 2015-05-07 2015-07-29 慧锐通智能科技股份有限公司 一种背景音乐播放系统及播放方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101626436A (zh) * 2009-06-22 2010-01-13 中兴通讯股份有限公司南京分公司 一种交互式视频语音应答系统及实现方法
US20130016848A1 (en) * 2011-07-14 2013-01-17 Jeremy Bruce Warren Managing audio output through an intermediary
CN102710539A (zh) * 2012-05-02 2012-10-03 中兴通讯股份有限公司 语音信息传送方法及装置
CN103856883A (zh) * 2012-11-29 2014-06-11 中国电信股份有限公司 将手机终端上的音乐投放到音响设备播放的方法和系统
CN104810046A (zh) * 2015-05-07 2015-07-29 慧锐通智能科技股份有限公司 一种背景音乐播放系统及播放方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635209A (zh) * 2018-12-12 2019-04-16 广东小天才科技有限公司 一种学习内容推荐方法及家教设备

Also Published As

Publication number Publication date
CN107786686B (zh) 2021-06-25
CN112951231A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN105915436B (zh) 基于主题的即时消息隔离的系统和方法
KR20070012468A (ko) 송신자로부터 수신자로 메시지를 전송하는 방법, 메시징시스템 및 메시지 변환 수단
US20200289947A1 (en) Message push method and apparatus, device, and storage medium
WO2020238873A1 (zh) 一种通信方法、服务器和通信系统
CN102017513A (zh) 基于开放体系结构的依赖于域的实时多语种通信服务
JP2013167806A (ja) 情報通知支援装置、情報通知支援方法、および、プログラム
US8874445B2 (en) Apparatus and method for controlling output format of information
CN108206742B (zh) 一种消息发送方法、装置、服务器以及系统
US9852732B2 (en) System and method for near real-time identification and definition query
US20180286389A1 (en) Conference system, conference system control method, and program
KR20180070691A (ko) 정보 처리 장치, 정보 처리 장치의 제어 방법 및 프로그램
CN104144108A (zh) 一种消息响应方法、装置及系统
JP2004235895A (ja) 通信支援方法、通信支援装置、通信支援プログラム及び通信支援プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4250938B2 (ja) コミュニケーション支援方法およびコミュニケーションサーバ
US20160247522A1 (en) Method and system for providing access to auxiliary information
US20210249007A1 (en) Conversation assistance device, conversation assistance method, and program
CN103026697A (zh) 业务服务器装置、业务提供方法、业务提供程序
US9706055B1 (en) Audio-based multimedia messaging platform
KR101351264B1 (ko) 음성인식 기반의 메시징 통역서비스 제공 시스템 및 그 방법
CN107786686A (zh) 一种用于输出多媒体数据的系统及方法
US20180300316A1 (en) System and method for performing message translations
US20130136246A1 (en) Initiating a telephonic connection
JP2009245143A (ja) 会話支援装置及び方法
KR20210029383A (ko) 음성인식에 기반한 부가 서비스 제공 시스템 및 그 방법
JP7202155B2 (ja) 情報処理システム、情報処理装置、情報処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210604

Address after: 230000 b3-301, phase I, innovation industrial park, no.800, Wangjiang West Road, high tech Zone, Hefei City, Anhui Province

Applicant after: Anhui Shangrong Information Technology Co.,Ltd.

Address before: 110034 gate 2, 14th floor, unit 1, building 6, No.10 Xianglushan Road, Shenyang City, Liaoning Province

Applicant before: Wang Mei

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant