CN108093653A - 语音提示方法、语音提示程序、语音提示系统及终端装置 - Google Patents

语音提示方法、语音提示程序、语音提示系统及终端装置 Download PDF

Info

Publication number
CN108093653A
CN108093653A CN201780003014.0A CN201780003014A CN108093653A CN 108093653 A CN108093653 A CN 108093653A CN 201780003014 A CN201780003014 A CN 201780003014A CN 108093653 A CN108093653 A CN 108093653A
Authority
CN
China
Prior art keywords
voice
report
importance
user
language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780003014.0A
Other languages
English (en)
Other versions
CN108093653B (zh
Inventor
三浦康史
宇佐见阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN108093653A publication Critical patent/CN108093653A/zh
Application granted granted Critical
Publication of CN108093653B publication Critical patent/CN108093653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/32Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/454Multi-language systems; Localisation; Internationalisation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Abstract

本公开提供能够使用户的舒适性提高的语音提示方法、语音提示程序、语音提示系统以及终端装置。通信部(301)取得由说话者对用户在飞机内播报的播报语音及播报语音的重要度,机内广播优先级控制部(310)根据取得的重要度,判断是否将播报语音提示给用户,机内广播控制部(308)在判断为将播报语音提示给用户的情况下,向用户使用的娱乐终端发送播报语音。

Description

语音提示方法、语音提示程序、语音提示系统及终端装置
技术领域
本公开涉及将由说话者对用户播报(announce)的播报语音提示给用户的语音提示方法、语音提示程序、语音提示系统以及终端装置。
背景技术
近年来,在交通设施或者观光用车辆等中,进行着以外国人为对象的基于多语言的面向乘客的播报。另外,播报除了使用配置于交通工具的扬声器的广播(放送)式输出方式之外,还增加了从面向乘客的终端单独进行输出的方式。
例如在航空器内,由乘务员或者飞行员(飞机驾驶员)进行对于乘客的各种信息的播报。另外,在(乘客的)座位处装备有娱乐(entertainment)终端,乘客可以使用娱乐终端来观看及收听(视听)电影等。乘务员或者飞行员的播报使用麦克风来进行,并从航空器内的广播扬声器以及连接于娱乐终端的耳塞式耳机(earphones)或者头戴式耳机(headphones)输出。另外,乘务员或者飞行员的播报通常用代表性的2~3种语言来进行。
作为对一群个人进行播报的多语言通信(互相通讯)方法,例如公开了专利文献1。在专利文献1的多语言通信方法中,为每个个人提供对多个语言选择的访问(access),从1个以上的人接收由每个个人从语言选择中选择出的各语言选择的表示,将语言选择存储于数据库,并进行可由1个以上的应用(application)访问的语言选择,在被选择性地操作时,应用对每个个人用各语言选择提供输出。
现有技术文献
专利文献1:日本特表2006-512647号公报
发明内容
然而,在上述专利文献1中,需要进一步的改善。
本公开的一个技术方案涉及的语音提示方法,包括:取得由说话者对用户在飞机内播报的播报语音及所述播报语音的重要度,根据取得的所述重要度,判断是否将所述播报语音提示给所述用户,在判断为将所述播报语音提示给所述用户的情况下,向所述用户使用的终端装置发送所述播报语音。
另外,本公开的另一技术方案涉及的语音提示程序,使计算机作为取得部、判断部以及发送部发挥功能,所述取得部取得由说话者对用户在飞机内播报的播报语音及所述播报语音的重要度,所述判断部根据取得的所述重要度,判断是否将所述播报语音提示给所述用户,所述发送部在判断为将所述播报语音提示给所述用户的情况下,向所述用户使用的终端装置发送所述播报语音。
另外,本公开的另一技术方案涉及的语音提示系统,具备:服务器;以及终端装置,其与所述服务器以能够相互通信的方式连接,由所述用户使用,所述服务器具备:取得部,其取得由说话者对用户在飞机内播报的播报语音及所述播报语音的重要度;判断部,其根据取得的所述重要度,判断是否将所述播报语音提示给所述用户;以及发送部,其在判断为将所述播报语音提示给所述用户的情况下,向所述终端装置发送所述播报语音,所述终端装置具备:接收部,其接收所述播报语音;以及输出部,其输出所述播报语音。
另外,本公开的另一技术方案涉及的终端装置,具备:发送部,其发送播报语音的取得请求,所述播报语音是由说话者对用户在飞机内播报的、被判断为不提示给所述用户的语音;接收部,其接收所述播报语音作为对所述取得请求的响应;以及输出部,其输出接收到的所述播报语音。
根据上述技术方案,能够实现进一步的改善。
附图说明
图1是表示本公开的实施方式中的语音提示系统的构成的图。
图2是表示本公开的实施方式中的机内广播装置的构成的图。
图3是表示本公开的实施方式中的翻译服务器的构成的图。
图4是表示重要度表(table)的一例的图。
图5是表示本公开的实施方式中的娱乐服务器的构成的图。
图6是表示本公开的实施方式中的娱乐终端的构成的图。
图7是用于对本实施方式的机内广播装置中的说话者语言设定处理进行说明的流程图。
图8是表示说话者语言设定画面的一例的图。
图9是用于对本实施方式的娱乐终端以及娱乐服务器中的用户语言设定处理进行说明的流程图。
图10是表示用户语言设定画面的一例的图。
图11是用于对本实施方式的娱乐终端以及娱乐服务器中的语音隔断设定处理进行说明的流程图。
图12是表示机内广播设定画面的一例的图。
图13是用于对本实施方式的机内广播装置、翻译服务器以及娱乐服务器中的播报语音提示处理进行说明的第1流程图。
图14是用于对本实施方式的机内广播装置、翻译服务器以及娱乐服务器中的播报语音提示处理进行说明的第2流程图。
图15是用于对本实施方式的机内广播装置、翻译服务器以及娱乐服务器中的播报语音提示处理进行说明的第3流程图。
图16是用于对本实施方式的娱乐终端以及娱乐服务器中的播报语音再现(播放)处理进行说明的第1流程图。
图17是用于对本实施方式的娱乐终端以及娱乐服务器中的播报语音再现处理进行说明的第2流程图。
图18是表示播报选择画面的一例的图。
图19是表示播报文本画面的一例的图。
图20是表示详细信息显示画面的一例的图。
具体实施方式
(发明本公开涉及的一个技术方案的经过)
首先,对本公开涉及的一个技术方案的着眼点进行说明。
近年来,在交通设施或者观光用车辆等中,进行着以外国人为对象的基于多语言的面向乘客的播报。另外,播报除了使用配置于交通工具的扬声器的广播式输出方式之外,还增加了从面向乘客的终端单独进行输出的方式。
例如在航空器内,由乘务员或者飞行员进行对于乘客的各种信息的播报。另外,在座位处装备有娱乐终端,乘客可以使用娱乐终端来观看及收听电影等。乘务员或者飞行员的播报使用麦克风来进行,并从航空器内的广播扬声器以及连接于娱乐终端的耳塞式耳机或者头戴式耳机输出。另外,乘务员或者飞行员的播报通常用代表性的2~3种语言来进行。
作为对一群个人进行播报的多语言通信方法,例如公开了专利文献1。在专利文献1的多语言通信方法中,为每个个人提供对多个语言选择的访问,从1个以上的人接收由每个个人从语言选择中选择出的各语言选择的表示,将语言选择存储于数据库,并进行可由1个以上的应用访问的语言选择,在被选择性地操作时,应用对每个个人用各语言选择提供输出。
然而,在现有的航空器内所设置的娱乐终端中,当由乘务员或者飞行员进行播报时,即使正在再现电影等内容(contents),也会中断内容的再现,并从耳机输出播报语音。乘务员或者飞行员不仅会进行与安全有关的播报,而且还会进行与机内服务有关的播报。这种与机内服务有关的播报对于乘客而言不一定是必要的信息,由于这种播报而妨碍到乘客对内容的视听会使乘客感到不快,导致损害舒适性。
为了解决以上问题,本公开的一个技术方案涉及的语音提示方法,包括:取得由说话者对用户在飞机内播报的播报语音及所述播报语音的重要度,根据取得的所述重要度,判断是否将所述播报语音提示给所述用户,在判断为将所述播报语音提示给所述用户的情况下,向所述用户使用的终端装置发送所述播报语音。
根据该构成,取得由说话者对用户在飞机内播报的播报语音及播报语音的重要度。根据取得的重要度,判断是否将播报语音提示给用户。在判断为将播报语音提示给用户的情况下,向用户使用的终端装置发送播报语音。
因此,根据重要度判断是否将播报语音提示给用户,在判断为将播报语音提示给用户的情况下,对用户提示播报语音,所以能够将重要度高的播报语音提示给用户,将重要度低的播报语音隔断而不提示给用户,能够使用户的舒适性提高。
另外,在上述的语音提示方法中,也可以为,通过对所述播报语音进行语音识别来生成话语文本,参照将所述重要度与单词进行关联而存储的重要度存储部,从所述重要度存储部决定与所述话语文本所包含的单词关联的重要度。
根据该构成,通过对播报语音进行语音识别来生成话语文本。参照将重要度与单词进行关联而存储的重要度存储部,从重要度存储部决定与话语文本所包含的单词关联的重要度。
因此,参照将重要度与单词进行关联而存储的重要度存储部,决定与话语文本所包含的单词关联的重要度,所以能够容易地决定播报语音的重要度。
另外,在上述的语音提示方法中,也可以为,所述说话者说话所使用的第1语言与所述用户说话所使用的第2语言不同,通过将所述话语文本翻译成所述第2语言,生成话语翻译文本,通过将所述话语翻译文本进行语音合成,生成播报翻译语音,进而取得所述播报翻译语音,根据取得的所述重要度,判断是否将所述播报翻译语音提示给所述用户,在判断为将所述播报翻译语音提示给所述用户的情况下,向所述终端装置发送所述播报翻译语音。
根据该构成,说话者说话所使用的第1语言与用户说话所使用的第2语言是不同的。通过将话语文本翻译成第2语言来生成话语翻译文本。通过将话语翻译文本进行语音合成来生成播报翻译语音。进而取得播报翻译语音。根据取得的重要度,判断是否将播报翻译语音提示给用户。在判断为将播报翻译语音提示给用户的情况下,向终端装置发送播报翻译语音。
因此,能够将说话者所说话语的播报语音翻译成用户说话所使用的语言并输出。
另外,在上述的语音提示方法中,也可以为,受理由所述说话者对所述播报语音的重要度的输入。
根据该构成,受理由说话者对播报语音的重要度的输入,取得所受理的重要度与播报语音,因此,说话者能够决定重要度。
另外,在上述的语音提示方法中,也可以为,所述重要度包括第1重要度、比所述第1重要度低的第2重要度以及比所述第2重要度低的第3重要度,在取得了所述第1重要度的情况下,判断为将所述播报语音提示给所述用户,在取得了所述第2重要度的情况下,判断为不将所述播报语音提示给所述用户,将所述第2重要度的所述播报语音存储于语音存储部,在取得了所述第3重要度的情况下,判断为不将所述播报语音提示给所述用户。
根据该构成,重要度包括第1重要度、比第1重要度低的第2重要度以及比第2重要度低的第3重要度。在取得了第1重要度的情况下,判断为将播报语音提示给用户。在取得了第2重要度的情况下,判断为不将播报语音提示给用户,并将第2重要度的播报语音存储于语音存储部。在取得了第3重要度的情况下,判断为不将播报语音提示给用户。
因此,对于最高的第1重要度的播报语音,能够即刻提示给用户,对于比第1重要度低的第2重要度的播报语音,并不即刻提示给用户,但能够将第2重要度的播报语音存储于语音存储部,对于比第2重要度低的第3重要度的播报语音,能够不提示给用户而将其阻止(block)。
另外,在上述的语音提示方法中,也可以为,在从所述终端装置接收到取得存储于所述语音存储部的所述播报语音的取得请求的情况下,将所述播报语音从所述语音存储部中读出,并向所述终端装置发送。
根据该构成,在从终端装置接收到取得存储于语音存储部的播报语音的取得请求的情况下,将播报语音从语音存储部中读出,并向终端装置发送。
因此,能够将所存储的播报语音根据来自用户的请求进行发送,能够将没有实时地提示给用户的播报语音在之后提示给用户。
另外,在上述的语音提示方法中,也可以为,取得所述用户周围的状况,在取得的所述状况为预定状况的情况下,判断为将所述播报语音提示给所述用户,向所述终端装置发送所述播报语音。
根据该构成,取得用户周围的状况,在取得的状况为预定状况的情况下,判断为将播报语音提示给用户,向终端装置发送播报语音。
因此,在用户周围的状况为预定状况的情况下,将播报语音提示给用户,所以能够考虑用户周围的状况来将播报语音提示给用户。
另外,在上述的语音提示方法中,也可以为,所述状况是在所述用户所搭乘的航空器的飞行期间发生变化的气象状况。
根据该构成,能够考虑在用户所搭乘的航空器的飞行期间发生变化的气象状况来将播报语音提示给用户。
另外,在上述的语音提示方法中,也可以为,从所述终端装置接收表示将特定的所述重要度的所述播报语音隔断的阻止信息,根据所述重要度以及所述阻止信息,判断是否将所述播报语音提示给所述用户。
根据该构成,能够动态地变更是否将对用户提示的播报提示给用户。由此,能够提供适于各个用户的播报。
另外,在上述的语音提示方法中,也可以为,在根据所述重要度以及所述阻止信息判断为不将所述播报语音提示给所述用户的情况下,向所述终端装置发送通知信息,所述通知信息用于通知将判断为不提示的所述播报语音进行了储存(累积)这一情况。
根据该构成,能够将播报已被阻止这一情况传达至终端装置。由此,能够防止播报的漏听。
另外,在上述的语音提示方法中,也可以为,从所述终端装置接收详细信息的取得请求,所述详细信息是关于向所述终端装置发送的所述播报语音的特定部分的信息,向所述终端装置发送所述详细信息。
根据该构成,能够将与来自终端装置的请求相应的、播报的详细信息提供给终端装置。由此,能够不多不少地对用户提供所期望的信息。
本公开的另一技术方案涉及的语音提示程序,使计算机作为取得部、判断部以及发送部发挥功能,所述取得部取得由说话者对用户在飞机内播报的播报语音及所述播报语音的重要度,所述判断部根据取得的所述重要度,判断是否将所述播报语音提示给所述用户,所述发送部在判断为将所述播报语音提示给所述用户的情况下,向所述用户使用的终端装置发送所述播报语音。
根据该构成,取得由说话者对用户在飞机内播报的播报语音及播报语音的重要度。根据取得的重要度,判断是否将播报语音提示给用户。在判断为将播报语音提示给用户的情况下,向用户使用的终端装置发送播报语音。
因此,根据重要度判断是否将播报语音提示给用户,在判断为将播报语音提示给用户的情况下,对用户提示播报语音,所以能够将重要度高的播报语音提示给用户,将重要度低的播报语音隔断而不提示给用户,能够使用户的舒适性提高。
本公开的另一技术方案涉及的语音提示系统,具备:服务器;以及终端装置,其与所述服务器以能够相互通信的方式连接,由所述用户使用,所述服务器具备:取得部,其取得由说话者对用户在飞机内播报的播报语音及所述播报语音的重要度;判断部,其根据取得的所述重要度,判断是否将所述播报语音提示给所述用户;以及发送部,其在判断为将所述播报语音提示给所述用户的情况下,向所述终端装置发送所述播报语音,所述终端装置具备:接收部,其接收所述播报语音;以及输出部,其输出所述播报语音。
根据该构成,在服务器中,取得由说话者对用户在飞机内播报的播报语音及播报语音的重要度。根据取得的重要度,判断是否将播报语音提示给用户。在判断为将播报语音提示给用户的情况下,向终端装置发送播报语音。在终端装置中,接收播报语音,输出播报语音。
因此,根据重要度判断是否将播报语音提示给用户,在判断为将播报语音提示给用户的情况下,对用户提示播报语音,所以能够将重要度高的播报语音提示给用户,将重要度低的播报语音隔断而不提示给用户,能够使用户的舒适性提高。
本公开的另一技术方案涉及的终端装置,具备:发送部,其发送播报语音的取得请求,所述播报语音是由说话者对用户在飞机内播报的、被判断为不提示给所述用户的语音;接收部,其接收所述播报语音作为对所述取得请求的响应;以及输出部,其输出接收到的所述播报语音。
根据该构成,在终端装置中,能够在之后对未从服务器提供的播报语音进行再现。由此,能够维持用户的舒适性并且使便利性提高。
另外,在上述的终端装置中,也可以为,还具备输入部,该输入部受理表示是否将特定的重要度的所述播报语音隔断的输入,所述发送部根据所述输入,发送表示将所述特定的重要度的所述播报语音隔断的阻止信息。
根据该构成,用户能够设定对用户提示的播报。由此,能够提供适于各个用户请求的播报。
另外,在上述的终端装置中,也可以为,还具备输入部,该输入部受理对于所述输出部输出的画面的输入,所述输出部输出表示被判断为不提示给所述用户的所述播报语音的画面,所述发送部基于对于表示被判断为不提示给所述用户的所述播报语音的画面的输入,发送所述播报语音的取得请求。
根据该构成,用户能够选择所再现的播报。由此,用户能够在之后仅再现所期望的播报,能够使便利性提高。
另外,在上述的终端装置中,也可以为,还具备输入部,该输入部受理对于所述播报语音的特定部分的输入,所述发送部根据对于所述播报语音的特定部分的输入,发送关于所述播报语音的特定部分的详细信息的取得请求,所述接收部接收所述详细信息,所述输出部输出所述详细信息。
根据该构成,能够提示与用户的期望相应的播报的详细信息。由此,能够不多不少地对用户提供所期望的信息。
(实施方式)
以下,参照附图,对本公开的实施方式进行说明。此外,以下的实施方式是将本公开具体化的一例,并非限定本公开的技术范围。
图1是表示本公开的实施方式中的语音提示系统的构成的图。图1所示的语音提示系统具备机内广播装置100、翻译服务器200、娱乐服务器300、娱乐终端400。此外,本实施方式中的语音提示系统配置在航空器内。
机内广播装置100取得由说话者(乘务员或者飞行员)对用户(乘客)播报的播报语音。
翻译服务器200判断播报语音的重要度,并且将播报语音翻译成与说话者的语言不同的语言。机内广播装置100与翻译服务器200以能够相互通信的方式连接。
娱乐服务器300根据重要度,判断是否将播报语音提示给用户(乘客)。翻译服务器200与娱乐服务器300以能够相互通信的方式连接。
娱乐终端400配置于座位,由乘客使用。娱乐服务器300与娱乐终端400以能够相互通信的方式连接。此外,娱乐服务器300与多个娱乐终端400连接。多个娱乐终端400各自为相同的构成。
图2是表示本公开的实施方式中的机内广播装置的构成的图。
图2所示的机内广播装置100具备语音输入部101、重要度输入部102、语言设定部103、广播输出部104以及通信部105。
语音输入部101例如是麦克风,取得由说话者(乘务员或者飞行员)所说话语的语音并生成模拟语音信号。乘务员或者飞行员播报与在航空器内提供给乘客的服务有关的信息、与航空器的安全有关的信息、与到达地点有关的信息以及与飞行状况有关的信息等各种信息。语音输入部101取得由说话者播报的播报语音。
重要度输入部102受理由说话者对播报语音的重要度的输入。说话者能够在说话之前输入接下来自己所要说的播报语音的重要度。重要度例如分类为“高”、“中”以及“低”这3级。重要度能够利用设置于机内广播装置100的按钮(button)或者触摸面板(touchpanel)来输入。此外,重要度输入部102也可以并非在说话者说话之前、而在说话者说话之后受理重要度的输入。另外,如后所述,重要度也能够根据播报语音来确定,因此不一定必须输入。
语言设定部103受理说话者所说话语的语言的设定输入。说话者输入自己所说话语的语言。话语语言能够利用设置于机内广播装置100的按钮或者触摸面板来输入。此外,话语语言例如是英语或者航空器所属国家的官方语言。
广播输出部104例如是扬声器,输出由语音输入部101取得的播报语音。在航空器内配置有多个扬声器,从多个扬声器输出播报语音。
通信部105通过有线或者无线通信与翻译服务器200进行数据通信。通信部105将由语音输入部101取得的播报语音发送给翻译服务器200。在此,作为模拟语音信号的播报语音通过未图示的格式转换部例如利用脉冲编码调制(PCM)转换为数字语音信号。通信部105向翻译服务器200发送播报语音信息,该播报语音信息包含:转换成数字语音信号的播报语音、表示播报语音的语言的语言信息、和由重要度输入部102输入的重要度。此外,如上所述,播报语音信息也可以不包含重要度而仅包含播报语音以及语言信息。
图3是表示本公开的实施方式中的翻译服务器的构成的图。
图3所示的翻译服务器200具备通信部201、控制部202、语音识别部203、翻译部204、重要度判定部205、语音合成部206、播报话语临时储存部207以及重要度表存储部208。
通信部201通过有线或者无线通信与机内广播装置100以及娱乐服务器300进行数据通信。通信部201接收由机内广播装置100发送来的播报语音信息。
控制部202例如是CPU(中央运算处理装置),通过控制通信部201、语音识别部203、翻译部204、重要度判定部205、语音合成部206以及播报话语临时储存部207,进行播报的重要度判定以及播报语音的翻译、语音合成。
语音识别部203通过对播报语音进行语音识别来生成话语文本。
翻译部204通过将由语音识别部203生成的话语文本进行翻译来生成话语翻译文本。此外,翻译部204将话语文本翻译成能在娱乐终端400中设定的所有语言。例如在话语文本的语言为日语,能在娱乐终端400中设定的语言为英语、中文以及法语的情况下,翻译部204将日语的话语文本翻译成英语、中文以及法语,生成英语、中文以及法语的话语翻译文本。
重要度表存储部208存储使重要度与重要词关联的重要度表。图4是表示重要度表的一例的图。如上所述,重要度例如分类为“高”、“中”以及“低”这3级。对于最高的重要度“高”,例如关联有“安全带”这一重要词。对于第二高的重要度“中”,例如关联有“机内服务”、“饮品”、“餐食”、“免税品”以及“销售”这样的重要词。另外,对于最低的重要度“低”,例如关联有“事务联络”这一重要词。
此外,重要度表也可以通过机器学习来更新。例如,控制部202也可以从多个文本中提取与重要度为“高”的重要词一起出现的频度高的单词,将提取到的单词作为重要词并与重要度“高”进行关联而存储于重要度表。
另外,控制部202也可以在由通信部201接收到的播报语音信息中包含有由重要度输入部102输入的重要度的情况下,提取在通过对播报语音进行语音识别所生成的话语文本中出现的频度高的单词,将提取到的单词与重要度进行关联而存储于重要度表。
重要度判定部205参照将重要度与单词进行关联而存储的重要度表,从重要度表判定与话语文本所包含的单词关联的重要度。例如在话语文本中包含有“安全带”这一单词的情况下,重要度判定部205判定为该话语文本的重要度是“高”。
语音合成部206通过将翻译话语文本所得到的话语翻译文本进行语音合成来生成播报翻译语音。
播报话语临时储存部207临时地储存由通信部201接收到的播报语音信息。
另外,通信部201将播报语音以及播报语音的重要度发送给娱乐服务器300。通信部201向娱乐服务器300发送播报语音信息,该播报语音信息包含:从机内广播装置100接收到的播报语音、将播报语音转换成文本而得到的话语文本、将播报语音用预定语言翻译而得到的播报翻译语音、将话语文本用预定语言翻译而得到的话语翻译文本、表示播报语音的语言的语言信息、表示播报翻译语音的语言的语言信息、由重要度判定部205判定出的重要度、话语文本所包含的重要词、和话语翻译文本所包含的被翻译出的重要词。
此外,在由通信部201接收到的播报语音信息中包含有由重要度输入部102输入的重要度的情况下,重要度判定部205也可以不判定话语文本的重要度。在该情况下,重要度判定部205将播报语音信息所包含的重要度决定为话语文本的重要度。
另外,即使在由通信部201接收到的播报语音信息中包含有由重要度输入部102输入的重要度的情况下,重要度判定部205也可以判定重要度。在该情况下,控制部202判断由重要度输入部102输入的重要度与由重要度判定部205判定的重要度是否一致。在两者一致的情况下,控制部202将一致的重要度发送给娱乐服务器300。在两者不一致的情况下,控制部202将预先确定的某一方重要度发送给娱乐服务器300。
图5是表示本公开的实施方式中的娱乐服务器的构成的图。
图5所示的娱乐服务器300具备通信部301、控制部302、流(stream)控制部303、音视频流(audio video streams)存储部304、GUI(Graphical User Interface,图形用户界面)控制部305、GUI存储部306、详细信息存储部307、机内广播控制部308、播报话语存储部309、机内广播优先级控制部310、飞行状况取得部311以及终端设定信息存储部312。
通信部301通过有线或者无线通信与翻译服务器200以及娱乐终端400进行数据通信。通信部301接收由翻译服务器200发送来的播报语音信息。通信部301取得播报语音以及播报语音的重要度。
控制部302通过控制通信部301、流控制部303、GUI控制部305、机内广播控制部308以及终端设定信息存储部312,将音视频流、各种显示画面以及播报语音发送给娱乐终端400。
音视频流存储部304存储电影等各种内容的音视频流。
流控制部303从娱乐终端400接收电影等各种内容的音视频流的再现请求,将与再现请求相应的音视频流从音视频流存储部304中读出,将读出的音视频流经由通信部301发送给娱乐终端400。
GUI存储部306存储娱乐终端400显示的各种显示画面。
详细信息存储部307将重要词与对重要词详细地进行说明的详细信息进行关联而存储。
GUI控制部305将应该显示于娱乐终端400的显示画面从GUI存储部306中读出,将读出的显示画面经由通信部301发送给娱乐终端400。GUI控制部305从娱乐终端400受理要显示详细信息的重要词,将与所受理的重要词对应的详细信息从详细信息存储部307中读出,将读出的详细信息经由通信部301发送给娱乐终端400。
终端设定信息存储部312将终端ID、语言信息与阻止信息进行关联而存储,终端ID用于辨识娱乐终端400,语言信息是表示在娱乐终端400中所设定的用户(乘客)视听的语言的信息,阻止信息是表示在娱乐终端400中所设定的是否阻止播报语音的信息。
飞行状况取得部311通过设置于航空器的各种传感器,取得飞行期间的航空器的飞行状况。飞行状况例如是气流的波动、气压的变化、风速的变化、风向的变化以及天气气候等在航空器的飞行期间发生变化的气象状况。
机内广播优先级控制部310根据取得的重要度,判断是否将播报语音提示给用户。机内广播控制部308在由机内广播优先级控制部310判断为将播报语音提示给用户的情况下,将播报语音经由通信部301发送给娱乐终端400。
机内广播优先级控制部310在重要度为“高”的情况下,判断为将播报语音提示给用户。机内广播优先级控制部310在重要度为“低”的情况下,判断为不将播报语音提示给用户。机内广播优先级控制部310在重要度为“中”的情况下,判断为不即刻将播报语音提示给用户,而将播报语音存储于播报话语存储部309,并根据来自娱乐终端400的请求,将存储于播报话语存储部309的播报语音提示给用户。
另外,机内广播控制部308参照终端设定信息存储部312,将与所提示的用户的语言相应的播报语音或者播报翻译语音发送给娱乐终端400。机内广播控制部308根据取得的重要度,判断是否将播报翻译语音提示给用户。机内广播控制部308在判断为将播报翻译语音提示给用户的情况下,向用户使用的娱乐终端400发送播报翻译语音。
机内广播控制部308根据重要度,将播报语音信息存储于播报话语存储部309。机内广播控制部308在由机内广播优先级控制部310判断为不将播报语音提示给用户的情况下,不向娱乐终端400发送播报语音,而将播报语音存储于播报话语存储部309。机内广播控制部308使重要度为“高”或者“中”的播报语音信息存储于播报话语存储部309、不使重要度为“低”的播报语音信息存储于播报话语存储部309。
播报话语存储部309存储播报语音信息。
另外,机内广播优先级控制部310在由飞行状况取得部311取得的飞行状况为预定飞行状况的情况下,与播报语音的重要度无关地判断为将播报语音提示给用户,并向娱乐终端400发送播报语音。
图6是表示本公开的实施方式中的娱乐终端的构成的图。
图6所示的娱乐终端400具备用户输入部401、终端控制部402、通信部406、画面输出控制部407、显示部408、语音输出控制部409以及语音输出部410。
用户输入部401例如是触摸面板,受理由用户进行的各种输入。用户输入部401受理用户使用的语言的输入。用户输入部401受理对是否阻止播报语音的输入。用户输入部401受理对用于再现存储于娱乐服务器300的播报语音的播报语音再现指示的输入。用户输入部401受理对进行再现的音视频流的选择。
终端控制部402具备语言设定部403、阻止设定部404以及播报再现指示部405。
语言设定部403设定由用户输入部401受理到的用户使用的语言。
阻止设定部404设定是否阻止播报语音。在设定为不阻止播报语音的情况下,与重要度无关,输出所有播报语音。在设定为阻止播报语音的情况下,输出重要的播报语音,不输出并不重要的播报语音。例如输出重要度为“高”的播报语音,不输出重要度为“低”的播报语音。另外,关于重要度为“中”的播报语音,虽然不即刻输出,但能够根据用户的指示,之后再输出。
播报再现指示部405将用于再现存储于娱乐服务器300的播报语音的播报语音再现指示发送给娱乐服务器300。
通信部406通过有线或者无线通信与娱乐服务器300进行数据通信。通信部406接收由娱乐服务器300发送来的显示画面。通信部406接收由娱乐服务器300发送来的音视频流。通信部406接收由娱乐服务器300发送来的播报语音或者播报翻译语音。
另外,通信部406将由语言设定部403设定的语言与用于辨识娱乐终端400的终端ID一起发送给娱乐服务器300。另外,通信部406将表示由阻止设定部404设定的是否阻止播报语音的阻止信息与终端ID一起发送给娱乐服务器300。此外,终端ID预先存储于娱乐终端400。
画面输出控制部407控制显示部408以使其显示由通信部406接收到的显示画面。显示部408基于由画面输出控制部407进行的控制,将显示画面进行显示。
语音输出控制部409控制语音输出部410以使其将由通信部406接收到的播报语音或者播报翻译语音进行语音输出。语音输出部410例如是耳塞式耳机或者头戴式耳机,将播报语音或者播报翻译语音进行语音输出。
在此,对本实施方式的机内广播装置100中的说话者语言设定处理进行说明。
图7是用于对本实施方式的机内广播装置中的说话者语言设定处理进行说明的流程图。
首先,在步骤S1中,机内广播装置100的语言设定部103将说话者语言设定画面显示于显示部。图8是表示说话者语言设定画面的一例的图。如图8所示,在说话者语言设定画面110中,以可选的方式显示有表示多个语言的语言图像1101。机内广播装置100的显示部例如是触摸面板,将表示多个语言的语言图像1101以可选的方式进行显示。说话者(乘务员或者飞行员)从多个语言图像1101中选择与自己所说话语的语言对应的语言图像。
接着,在步骤S2中,语言设定部103判断是否由说话者选择了语言。在此,在判断为说话者没有选择语言的情况下(步骤S2:否),语言设定部103结束说话者语言设定画面的显示。
另一方面,在判断为由说话者选择了语言的情况下(步骤S2:是),在步骤S3中,语言设定部103将由说话者选择的语言进行存储。通过以上处理,设定了乘务员或者飞行员所说话语的语言。
接下来,对本实施方式的娱乐终端400以及娱乐服务器300中的用户语言设定处理进行说明。
图9是用于对本实施方式的娱乐终端以及娱乐服务器中的用户语言设定处理进行说明的流程图。
首先,在步骤S11中,娱乐终端400的语言设定部403将用户语言设定画面显示于显示部408。图10是表示用户语言设定画面的一例的图。如图10所示,在用户语言设定画面420中,以可选的方式显示有表示多个语言的语言图像4201。娱乐终端400的显示部408例如是触摸面板,以可选的方式显示表示多个语言的语言图像4201。用户(乘客)从多个语言图像4201中选择与自己视听的语言对应的语言图像。
接着,在步骤S12中,语言设定部403判断是否由用户选择了语言。在此,在判断为用户没有选择语言的情况下(步骤S12:否),语言设定部403结束用户语言设定画面的显示。
另一方面,在判断为由用户选择了语言的情况下(步骤S12:是),在步骤S13中,语言设定部403向娱乐服务器300发送语言设定信息,该语言设定信息包含表示由用户选择出的语言的语言信息和用于辨识娱乐终端400的终端ID。
接着,在步骤S14中,娱乐服务器300的通信部301接收由娱乐终端400发送来的语言设定信息。
接着,在步骤S15中,控制部302将由通信部301接收到的语言设定信息存储于终端设定信息存储部312。由此,在终端设定信息存储部312中,关联地存储有终端ID、与表示在该终端ID的娱乐终端400中所输出的语音的语言的语言信息。
接下来,对本实施方式的娱乐终端400以及娱乐服务器300中的语音隔断设定处理进行说明。
图11是用于对本实施方式的娱乐终端以及娱乐服务器中的语音隔断设定处理进行说明的流程图。
首先,在步骤S21中,娱乐终端400的阻止设定部404将机内广播设定画面显示于显示部408。图12是表示机内广播设定画面的一例的图。如图12所示,在机内广播设定画面421中,显示有受理对是否将不重要的播报语音隔断的选择的选择图像。娱乐终端400的显示部408例如是触摸面板,显示受理对是否将不重要的播报语音隔断的选择的选择图像。例如在机内广播设定画面421中,显示有“要阻止除了重要的机内广播以外的广播吗?”这一句子、在要将不重要的播报语音隔断时所选择的“是”这一图像4211和在不将不重要的播报语音隔断时所选择的“否”这一图像4212。用户(乘客)通过触摸图像4211和图像4212中的某一方,选择是否将不重要的播报语音隔断。
接着,在步骤S22中,阻止设定部404判断是否选择了将不重要的播报语音隔断的设定。在此,在判断为没有选择将不重要的播报语音隔断的设定的情况下(步骤S22:否),阻止设定部404结束机内广播设定画面的显示。
另一方面,在判断为选择了将不重要的播报语音隔断的设定的情况下(步骤S22:是),在步骤S23中,阻止设定部404向娱乐服务器300发送阻止设定信息,该阻止设定信息包含表示将不重要的播报语音隔断的阻止信息和用于辨识娱乐终端400的终端ID。
接着,在步骤S24中,娱乐服务器300的通信部301接收由娱乐终端400发送来的阻止设定信息。
接着,在步骤S25中,控制部302将由通信部301接收到的阻止设定信息存储于终端设定信息存储部312。由此,在终端设定信息存储部312中,关联地存储有终端ID、与表示在该终端ID的娱乐终端400中将不重要的播报语音隔断的阻止信息。
此外,在选择了不将不重要的播报语音隔断的设定的情况下,阻止设定部404也可以向娱乐服务器300发送阻止设定信息,该阻止设定信息包含表示不将不重要的播报语音隔断的阻止信息和终端ID。在该情况下,在终端设定信息存储部312中,关联地存储有终端ID与表示在该终端ID的娱乐终端400中不将不重要的播报语音隔断的阻止信息。
另外,在没有由娱乐终端400设定是否将不重要的播报语音隔断的情况下,也可以为,在终端设定信息存储部312中,关联地存储有终端ID与表示在该终端ID的娱乐终端400中不将不重要的播报语音隔断的阻止信息。
接下来,对本实施方式的机内广播装置100、翻译服务器200以及娱乐服务器300中的播报语音提示处理进行说明。
图13是用于对本实施方式的机内广播装置、翻译服务器以及娱乐服务器中的播报语音提示处理进行说明的第1流程图,图14是用于对本实施方式的机内广播装置、翻译服务器以及娱乐服务器中的播报语音提示处理进行说明的第2流程图,图15是用于对本实施方式的机内广播装置、翻译服务器以及娱乐服务器中的播报语音提示处理进行说明的第3流程图。
首先,在步骤S31中,机内广播装置100的重要度输入部102受理由说话者对播报语音的重要度的输入。此外,说话者不一定必须输入重要度。
接着,在步骤S32中,语音输入部101取得由说话者所说的播报语音。语音输入部101也可以在从播报语音的输入开始起到检测出无声状态为止取得被输入的播报语音。
接着,在步骤S33中,通信部105向翻译服务器200发送播报语音信息,该播报语音信息包含:转换成数字语音信号的播报语音、表示播报语音的语言的语言信息、和由重要度输入部102输入的重要度。此外,在没有输入重要度的情况下,通信部105向翻译服务器200发送包含转换成数字语音信号的播报语音、和表示播报语音的语言的语言信息的播报语音信息。
此外,机内广播装置100既可以将临时储存的播报语音发送给翻译服务器200,也可以将被输入的播报语音实时地发送给翻译服务器200。
接着,在步骤S34中,翻译服务器200的通信部201接收由机内广播装置100发送来的播报语音信息。
接着,在步骤S35中,语音识别部203通过对由通信部201接收到的播报语音信息所包含的播报语音进行语音识别来生成话语文本。话语文本是将播报语音转换成文本而得到的信息。
接着,在步骤S36中,控制部202将由通信部201接收到的播报语音信息临时地储存于播报话语临时储存部207。
接着,在步骤S37中,重要度判定部205参照重要度表,判定话语文本所包含的单词的重要度。重要度判定部205在话语文本所包含的单词中,确定与重要度表的重要词一致的单词,将与所确定的重要词关联的重要度决定为该话语文本的重要度。此外,在话语文本包含有重要度不同的单词的情况下,重要度判定部205也可以将多个重要度中的最高的重要度决定为话语文本的重要度。
此外,说话者也可以在播报的开头说出能够判定重要度的单词,重要度判定部205也可以判定播报语音的开头的单词的重要度。
另外,在本实施方式中,使用说话者所说话语的播报语音来判定重要度,但本公开不特别限定于此,也可以使用预先录制的播报语音来判定重要度。在该情况下,说话者从预先录制的播报语音中选择语音输出的播报语音。录制的播报语音与预先确定的重要度相关联地存储。重要度判定部205决定由说话者选择的播报语音的重要度,而此时,决定成在预先录制时所判定的重要度。
接着,在步骤S38中,翻译部204通过将由语音识别部203生成的话语文本进行翻译来生成话语翻译文本。此时,话语文本的语言能够根据播报语音信息所包含的语言信息来确定。
接着,在步骤S39中,语音合成部206通过将翻译话语文本所得到的话语翻译文本进行语音合成来生成播报翻译语音。
接着,在步骤S40中,通信部201向娱乐服务器300发送播报语音信息,该播报语音信息包含:从机内广播装置100接收到的播报语音、话语文本、将播报语音用预定语言翻译而得到的播报翻译语音、话语翻译文本、表示播报语音的语言的语言信息、表示播报翻译语音的语言的语言信息、由重要度判定部205判定出的重要度、话语文本所包含的重要词、和话语翻译文本所包含的被翻译出的重要词。
接着,在步骤S41中,娱乐服务器300的通信部301接收由翻译服务器200发送来的播报语音信息。
接着,在步骤S42中,飞行状况取得部311取得飞行期间的航空器的飞行状况。
接着,在步骤S43中,机内广播优先级控制部310判定播报语音的优先级是最高的第1优先级、第二高的第2优先级和最低的第3优先级中的哪一级。例如,优先级与重要度相同地分类为“高”、“中”以及“低”这3级。机内广播优先级控制部310在播报语音的重要度为“高”时将优先级决定为“高”,在播报语音的重要度为“中”时将优先级决定为“中”,在播报语音的重要度为“低”时将优先级决定为“低”。另外,机内广播优先级控制部310在由飞行状况取得部311取得的飞行状况为预定飞行状况的情况下,与播报语音的重要度无关地将优先级决定为“高”。
接着,在步骤S44中,机内广播控制部308基于播报语音的优先级,判断是否将播报语音信息存储于播报话语存储部309。在此,如果优先级为第1优先级(“高”)或者第2优先级(“中”),则机内广播控制部308判断为将播报语音信息存储于播报话语存储部309,如果优先级为第3优先级(“低”),则机内广播控制部308判断为不将播报语音信息存储于播报话语存储部309。
此外,在优先级为第1优先级(“高”)的情况下,播报语音会即刻被输出,因此,机内广播控制部308也可以判断为不将播报语音信息存储于播报话语存储部309。
在判断为不将播报语音信息存储于播报话语存储部309的情况下(步骤S44:否),移至步骤S46的处理。
另一方面,在判断为将播报语音信息存储于播报话语存储部309的情况下(步骤S44:是),在步骤S45中,机内广播控制部308将播报语音信息存储于播报话语存储部309。
接着,在步骤S46中,机内广播控制部308从终端设定信息存储部312取得与连接于娱乐服务器300的多个娱乐终端400中的一个娱乐终端400的终端ID关联的阻止信息。
接着,在步骤S47中,机内广播控制部308判断取得的阻止信息是否为将不重要的播报语音隔断的设定。在此,在判断为阻止信息不是将不重要的播报语音隔断的设定的情况下(步骤S47:否),移至步骤S50的处理。
另一方面,在阻止信息是将不重要的播报语音隔断的设定的情况下(步骤S47:是),在步骤S48中,机内广播控制部308基于优先级,判断是否输出播报语音。即,如果优先级为第1优先级(“高”),则机内广播控制部308判断为输出播报语音,如果优先级为第2优先级(“中”),则机内广播控制部308判断为不输出播报语音。
在判断为不输出播报语音的情况下(步骤S48:否),在步骤S49中,机内广播控制部308向娱乐终端400发送用于通知将播报语音储存在了娱乐服务器300这一情况的通知信息。
另一方面,在判断为输出播报语音的情况下(步骤S48:是),在步骤S50中,机内广播控制部308判断娱乐终端400是否正在再现音视频流。流控制部303控制着向各娱乐终端400发布音视频流,因此,机内广播控制部308向流控制部303询问娱乐终端400是否正在再现音视频流。
在判断为娱乐终端400没在再现音视频流的情况下(步骤S50:否),移至步骤S52的处理。
另一方面,在判断为娱乐终端400正在再现音视频流的情况下(步骤S50:是),在步骤S51中,机内广播控制部308指示流控制部303中断娱乐终端400中的音视频流的再现。
接着,在步骤S52中,机内广播控制部308将播报语音或者播报翻译语音发送给娱乐终端400。机内广播控制部308从终端设定信息存储部312取得娱乐终端400所设定的语言信息,将与取得的语言信息相应的播报语音或者播报翻译语音发送给娱乐终端400。例如如果在机内广播装置100中设定的说话者的语言与在娱乐终端400中设定的用户的语言相同,则机内广播控制部308将播报语音发送给娱乐终端400。另外,如果在机内广播装置100中设定的说话者的语言与在娱乐终端400中设定的用户的语言不同,则机内广播控制部308将与用户的语言对应的播报翻译语音发送给娱乐终端400。
接着,在步骤S53中,机内广播控制部308判断是否所有的娱乐终端400都结束了关于是否输出播报语音的判断。在此,在判断为并非所有的娱乐终端400都结束了关于是否输出播报语音的判断的情况下(步骤S53:否),返回至步骤S46的处理,机内广播控制部308从终端设定信息存储部312取得与没有结束关于是否输出播报语音的判断的娱乐终端400中的一个娱乐终端400的终端ID关联的阻止信息。
另一方面,在判断为所有的娱乐终端400都结束了关于是否输出播报语音的判断的情况下(步骤S53:是),在步骤S54中,机内广播控制部308指示流控制部303恢复(再开始)娱乐终端400中的音视频流的再现。此时,流控制部303针对中断了音视频流的再现的所有娱乐终端400,恢复音视频流的再现。
接下来,对本实施方式的娱乐终端400以及娱乐服务器300中的播报语音再现处理进行说明。
图16是用于对本实施方式的娱乐终端以及娱乐服务器中的播报语音再现处理进行说明的第1流程图,图17是用于对本实施方式的娱乐终端以及娱乐服务器中的播报语音再现处理进行说明的第2流程图。
首先,在步骤S61中,娱乐终端400的播报再现指示部405判断是否显示用于再现储存于娱乐服务器300的播报语音或者播报翻译语音的播报选择画面。例如,当在菜单画面中选择了显示播报选择画面的情况下,播报再现指示部405判断为显示播报选择画面。
在此,在判断为不显示播报选择画面的情况下(步骤S61:否),反复进行步骤S61的判断处理。
另一方面,在判断为显示播报选择画面的情况下(步骤S61:是),在步骤S62中,播报再现指示部405向娱乐服务器300发送用于取得播报选择画面的播报选择画面取得请求。
接着,在步骤S63中,娱乐服务器300的通信部301接收由娱乐终端400发送来的播报选择画面取得请求。
接着,在步骤S64中,机内广播控制部308使用播报话语存储部309所存储的播报语音信息所包含的话语文本或者话语翻译文本,生成播报选择画面,将生成的播报选择画面发送给娱乐终端400。此时,机内广播控制部308根据存储于终端设定信息存储部312的语言信息来确定在发送了播报选择画面取得请求的娱乐终端400中所设定的语言,使用与所确定的语言相应的话语文本或者话语翻译文本来生成播报选择画面。
接着,在步骤S65中,娱乐终端400的通信部406接收由娱乐服务器300发送来的播报选择画面。
接着,在步骤S66中,播报再现指示部405将由通信部406接收到的播报选择画面显示于显示部408。图18是表示播报选择画面的一例的图。如图18所示,在播报选择画面422中,以可选的方式显示有表示多个播报语音的选择图像4221、4222、4223、4224。在选择图像4221、4222、4223中,显示有播报语音的话语文本或者播报翻译语音的话语翻译文本的开头部分。用户通过确认选择图像4221、4222、4223所包含的话语文本或者话语翻译文本的开头部分,能够推定播报语音或者播报翻译语音的内容,并能够选择所期望的播报语音或者播报翻译语音。
接着,在步骤S67中,播报再现指示部405判断是否从播报选择画面中选择了播报语音或者播报翻译语音。在此,在判断为没有选择播报语音或者播报翻译语音的情况下(步骤S67:否),播报再现指示部405结束播报选择画面的显示。
另一方面,在判断为选择了播报语音或者播报翻译语音的情况下(步骤S67:是),在步骤S68中,播报再现指示部405向娱乐服务器300发送用于再现所选择的播报语音或者播报翻译语音的语音再现请求。
接着,在步骤S69中,娱乐服务器300的通信部301接收由娱乐终端400发送来的语音再现请求。
接着,在步骤S70中,机内广播控制部308从播报话语存储部309读出由语音再现请求所请求的播报语音或者播报翻译语音,将读出的播报语音或者播报翻译语音发送给娱乐终端400。
接着,在步骤S71中,娱乐终端400的通信部406接收由娱乐服务器300发送来的播报语音或者播报翻译语音。
接着,在步骤S72中,播报再现指示部405将由通信部406接收到的播报语音或者播报翻译语音从语音输出部410输出。
如此,由于存储有已经被广播了的播报语音或者播报翻译语音,因此用户能够在广播之后再收听所存储的播报语音或者播报翻译语音。
接着,在步骤S73中,娱乐终端400的播报再现指示部405向娱乐服务器300发送用于取得播报文本画面的播报文本画面取得请求,播报文本画面用于显示储存于娱乐服务器300的话语文本或者话语翻译文本。即,娱乐终端400能够显示将播报语音转换成文本而得到的文本图像,并能够以可选的方式强调地显示文本图像所包含的重要词。而且,在由用户选择了重要词的情况下,娱乐终端400能够显示对该重要词详细进行说明的详细信息。
接着,在步骤S74中,娱乐服务器300的通信部301接收由娱乐终端400发送来的播报文本画面取得请求。
接着,在步骤S75中,GUI控制部305使用存储于播报话语存储部309的播报语音信息所包含的话语文本或者话语翻译文本,生成播报文本画面,将生成的播报文本画面发送给娱乐终端400。此时,GUI控制部305根据存储于终端设定信息存储部312的语言信息来确定在发送了播报文本画面取得请求的娱乐终端400中所设定的语言,使用与所确定的语言相应的话语文本或者话语翻译文本来生成播报文本画面。
接着,在步骤S76中,娱乐终端400的通信部406接收由娱乐服务器300发送来的播报文本画面。
接着,在步骤S77中,播报再现指示部405将由通信部406接收到的播报文本画面显示于显示部408。图19是表示播报文本画面的一例的图。如图19所示,在播报文本画面423中,显示有在播报选择画面422中选择出的播报语音的话语文本或者播报翻译语音的话语翻译文本。另外,在播报文本画面423中,以可选的方式强调地显示了话语文本或者话语翻译文本所包含的重要词4231。重要词4231以与其他文字不同的方式来显示。例如,重要词4231既可以用比其他文字粗的文字显示,也可以用与其他文字不同的颜色来显示。另外,也可以对重要词4231添加下划线。用户能够通过触摸来选择播报文本画面423所包含的重要词4231中的、需要详细的说明的重要词。
接着,在步骤S78中,播报再现指示部405判断是否从播报文本画面中选择了重要词。在此,在判断为没有选择重要词的情况下(步骤S78:否),播报再现指示部405结束播报文本画面的显示。
另一方面,在判断为选择了重要词的情况下(步骤S78:是),在步骤S79中,播报再现指示部405向娱乐服务器300发送用于显示所选择的重要词的详细信息的详细信息取得请求。
接着,在步骤S80中,娱乐服务器300的通信部301接收由娱乐终端400发送来的详细信息取得请求。
接着,在步骤S81中,GUI控制部305从详细信息存储部307取得由详细信息取得请求所请求的重要词的详细信息。
接着,在步骤S82中,GUI控制部305将取得的详细信息发送给娱乐终端400。
接着,在步骤S83中,娱乐终端400的通信部406接收由娱乐服务器300发送来的详细信息。
接着,在步骤S84中,播报再现指示部405将由通信部406接收到的详细信息显示于显示部408。图20是表示详细信息显示画面的一例的图。如图20所示,在详细信息显示画面424中,显示有对重要词详细进行说明的详细信息。图20所示的详细信息显示画面424表示了在选择了图19所示的播报文本画面423中的“免税品”这一重要词4231的情况下所显示的详细信息。
此外,在图16以及图17所示的处理中,在输出了播报语音或者播报翻译语音之后,显示了播报文本画面,但本公开不特别限定于此,也可以在输出了播报语音或者播报翻译语音之后,不显示播报文本画面。
另外,也可以为,当在步骤S66中显示出播报选择画面、在步骤S67中选择了所期望的播报语音或者播报翻译语音之后,不发送语音再现请求,而发送播报文本画面取得请求。在该情况下,不会输出播报语音或者播报翻译语音,而是显示出播报文本画面。
此外,本实施方式中的语音提示系统配置在航空器内,但本公开不特别限定于此,例如也可以配置于电车或者公交车等公共交通工具。
此外,在上述的实施方式中,各构成要素既可以用专用的硬件构成,也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或者处理器等程序执行部将存储于硬盘或者半导体存储器等计算机可读取的记录介质中的软件程序读出并执行来实现各构成要素的工作或者功能。
另外,实现各构成要素的工作或者功能时所利用的数据也可以记录于半导体存储器或者硬盘等可写入的记录介质。
产业上的可利用性
本公开涉及的语音提示方法、语音提示程序、语音提示系统以及终端装置能够将重要度高的播报语音提示给用户,将重要度低的播报语音隔断而不提示给用户,能够使用户的舒适性提高,作为将由说话者对用户播报的播报语音提示给用户的语音提示方法、语音提示程序、语音提示系统以及终端装置是有用的。
标号说明
100机内广播装置;101语音输入部;102重要度输入部;103语言设定部;104广播输出部;105通信部;200翻译服务器;201通信部;202控制部;203语音识别部;204翻译部;205重要度判定部;206语音合成部;207播报话语临时储存部;208重要度表存储部;300娱乐服务器;301通信部;302控制部;303流控制部;304音视频流存储部;305GUI控制部;306GUI存储部;307详细信息存储部;308机内广播控制部;309播报话语存储部;310机内广播优先级控制部;311飞行状况取得部;312终端设定信息存储部;400娱乐终端;401用户输入部;402终端控制部;403语言设定部;404阻止设定部;405播报再现指示部;406通信部;407画面输出控制部;408显示部;409语音输出控制部;410语音输出部。

Claims (17)

1.一种语音提示方法,包括:
取得由说话者对用户在飞机内播报的播报语音及所述播报语音的重要度,
根据取得的所述重要度,判断是否将所述播报语音提示给所述用户,
在判断为将所述播报语音提示给所述用户的情况下,向所述用户使用的终端装置发送所述播报语音。
2.根据权利要求1所述的语音提示方法,
通过对所述播报语音进行语音识别来生成话语文本,
参照将所述重要度与单词进行关联而存储的重要度存储部,从所述重要度存储部决定与所述话语文本所包含的单词关联的重要度。
3.根据权利要求2所述的语音提示方法,
所述说话者说话所使用的第1语言与所述用户说话所使用的第2语言不同,
通过将所述话语文本翻译成所述第2语言,生成话语翻译文本,
通过将所述话语翻译文本进行语音合成,生成播报翻译语音,
进而取得所述播报翻译语音,
根据取得的所述重要度,判断是否将所述播报翻译语音提示给所述用户,
在判断为将所述播报翻译语音提示给所述用户的情况下,向所述终端装置发送所述播报翻译语音。
4.根据权利要求1所述的语音提示方法,
受理由所述说话者对所述播报语音的重要度的输入。
5.根据权利要求1至4中任一项所述的语音提示方法,
所述重要度包括第1重要度、比所述第1重要度低的第2重要度以及比所述第2重要度低的第3重要度,
在取得了所述第1重要度的情况下,判断为将所述播报语音提示给所述用户,
在取得了所述第2重要度的情况下,判断为不将所述播报语音提示给所述用户,
将所述第2重要度的所述播报语音存储于语音存储部,
在取得了所述第3重要度的情况下,判断为不将所述播报语音提示给所述用户。
6.根据权利要求5所述的语音提示方法,
在从所述终端装置接收到取得存储于所述语音存储部的所述播报语音的取得请求的情况下,将所述播报语音从所述语音存储部中读出,并向所述终端装置发送。
7.根据权利要求1至6中任一项所述的语音提示方法,
取得所述用户周围的状况,
在取得的所述状况为预定状况的情况下,判断为将所述播报语音提示给所述用户,向所述终端装置发送所述播报语音。
8.根据权利要求7所述的语音提示方法,
所述状况是在所述用户所搭乘的航空器的飞行期间发生变化的气象状况。
9.根据权利要求1至8中任一项所述的语音提示方法,
从所述终端装置接收表示将特定的所述重要度的所述播报语音隔断的阻止信息,
根据所述重要度以及所述阻止信息,判断是否将所述播报语音提示给所述用户。
10.根据权利要求9所述的语音提示方法,
在根据所述重要度以及所述阻止信息判断为不将所述播报语音提示给所述用户的情况下,向所述终端装置发送通知信息,所述通知信息用于通知将判断为不提示的所述播报语音进行了储存这一情况。
11.根据权利要求1至10中任一项所述的语音提示方法,
从所述终端装置接收详细信息的取得请求,所述详细信息是关于向所述终端装置发送的所述播报语音的特定部分的信息,
向所述终端装置发送所述详细信息。
12.一种语音提示程序,
使计算机作为取得部、判断部以及发送部发挥功能,
所述取得部取得由说话者对用户在飞机内播报的播报语音及所述播报语音的重要度,
所述判断部根据取得的所述重要度,判断是否将所述播报语音提示给所述用户,
所述发送部在判断为将所述播报语音提示给所述用户的情况下,向所述用户使用的终端装置发送所述播报语音。
13.一种语音提示系统,具备:
服务器;以及
终端装置,其与所述服务器以能够相互通信的方式连接,由所述用户使用,
所述服务器具备:
取得部,其取得由说话者对用户在飞机内播报的播报语音及所述播报语音的重要度;
判断部,其根据取得的所述重要度,判断是否将所述播报语音提示给所述用户;以及
发送部,其在判断为将所述播报语音提示给所述用户的情况下,向所述终端装置发送所述播报语音,
所述终端装置具备:
接收部,其接收所述播报语音;以及
输出部,其输出所述播报语音。
14.一种终端装置,具备:
发送部,其发送播报语音的取得请求,所述播报语音是由说话者对用户在飞机内播报的、被判断为不提示给所述用户的语音;
接收部,其接收所述播报语音作为对所述取得请求的响应;以及
输出部,其输出接收到的所述播报语音。
15.根据权利要求14所述的终端装置,
还具备输入部,该输入部受理表示是否将特定的重要度的所述播报语音隔断的输入,
所述发送部根据所述输入,发送表示将所述特定的重要度的所述播报语音隔断的阻止信息。
16.根据权利要求14或15所述的终端装置,
还具备输入部,该输入部受理对于所述输出部输出的画面的输入,
所述输出部输出表示被判断为不提示给所述用户的所述播报语音的画面,
所述发送部基于对于表示被判断为不提示给所述用户的所述播报语音的画面的输入,发送所述播报语音的取得请求。
17.根据权利要求14至16中任一项所述的终端装置,
还具备输入部,该输入部受理对于所述播报语音的特定部分的输入,
所述发送部根据对于所述播报语音的特定部分的输入,发送关于所述播报语音的特定部分的详细信息的取得请求,
所述接收部接收所述详细信息,
所述输出部输出所述详细信息。
CN201780003014.0A 2016-09-13 2017-04-26 语音提示方法、记录介质及语音提示系统 Active CN108093653B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016178304 2016-09-13
JP2016-178304 2016-09-13
JP2017076694 2017-04-07
JP2017-076694 2017-04-07
PCT/JP2017/016512 WO2018051570A1 (ja) 2016-09-13 2017-04-26 音声提示方法、音声提示プログラム、音声提示システム及び端末装置

Publications (2)

Publication Number Publication Date
CN108093653A true CN108093653A (zh) 2018-05-29
CN108093653B CN108093653B (zh) 2023-03-28

Family

ID=61619107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780003014.0A Active CN108093653B (zh) 2016-09-13 2017-04-26 语音提示方法、记录介质及语音提示系统

Country Status (7)

Country Link
US (1) US10726845B2 (zh)
EP (1) EP3514696A4 (zh)
JP (1) JP6945130B2 (zh)
KR (1) KR20190053814A (zh)
CN (1) CN108093653B (zh)
SG (1) SG11201804242XA (zh)
WO (1) WO2018051570A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104088A (zh) * 2018-10-25 2020-05-05 阿里巴巴集团控股有限公司 一种通过语音设备播报信息的方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018124323A (ja) * 2017-01-30 2018-08-09 パナソニックIpマネジメント株式会社 アナウンスシステムおよび音声情報変換装置
US10679602B2 (en) * 2018-10-26 2020-06-09 Facebook Technologies, Llc Adaptive ANC based on environmental triggers
CN111476039B (zh) * 2019-01-04 2023-06-30 深圳永德利科技股份有限公司 智能车载系统的即时语言翻译方法及相关产品
US11455471B2 (en) * 2019-07-26 2022-09-27 Samsung Electronics Co., Ltd. System and method for explaining and compressing deep learning natural language understanding (NLU) models
KR20220037299A (ko) 2020-09-17 2022-03-24 삼성전자주식회사 전자 장치 및 그 제어 방법
CN115273271B (zh) * 2022-06-27 2023-07-11 重庆长安汽车股份有限公司 一种基于车辆娱乐主机采集车辆数据的系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3119135U (ja) * 2005-11-29 2006-02-16 靖治 徳勝 飛行機内の旅客用情報表示装置
JP2007052329A (ja) * 2005-08-19 2007-03-01 Pentax Corp 音声作成方法および音声作成装置
US20090259472A1 (en) * 2008-04-14 2009-10-15 At& T Labs System and method for answering a communication notification
JP2010079091A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 音声出力装置、音声出力方法及びプログラム
JP2012238305A (ja) * 2011-04-26 2012-12-06 Panasonic Corp アナウンス情報提示システム、アナウンス情報提示装置及びアナウンス情報提示方法
JP2013073355A (ja) * 2011-09-27 2013-04-22 Toshiba Corp 対話支援装置、方法及びプログラム
JP5856708B1 (ja) * 2015-08-31 2016-02-10 株式会社Wing of Freedom 翻訳システム及びサーバ
CN105761532A (zh) * 2014-12-19 2016-07-13 大陆汽车投资(上海)有限公司 动态语音提示方法及车载系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7028304B1 (en) * 1998-05-26 2006-04-11 Rockwell Collins Virtual line replaceable unit for a passenger entertainment system, method and article of manufacture
GB2389761B (en) 2002-06-13 2006-04-26 Seiko Epson Corp A semiconductor chip for use in a mobile telephone
SG125908A1 (en) * 2002-12-30 2006-10-30 Singapore Airlines Ltd Multi-language communication method and system
JP3920812B2 (ja) * 2003-05-27 2007-05-30 株式会社東芝 コミュニケーション支援装置、支援方法、及び支援プログラム
JP5474455B2 (ja) * 2009-09-07 2014-04-16 日本電信電話株式会社 文書群処理装置、文書群処理方法および文書群処理プログラム
US20110219136A1 (en) * 2010-03-02 2011-09-08 International Business Machines Corporation Intelligent audio and visual media handling
JP5466575B2 (ja) * 2010-05-21 2014-04-09 日本電信電話株式会社 重要語抽出装置とその方法とプログラム
JP2013012187A (ja) * 2011-06-03 2013-01-17 Panasonic Corp 負荷分散サーバシステム
US8798817B2 (en) * 2012-01-31 2014-08-05 Gulfstream Aerospace Corporation Methods and systems for requesting and retrieving aircraft data during flight of an aircraft
US10217111B2 (en) * 2013-01-29 2019-02-26 Genesys Telecommunications Laboratories, Inc. System and method for in-air customer service
US10109258B2 (en) * 2013-07-18 2018-10-23 Mitsubishi Electric Corporation Device and method for presenting information according to a determined recognition degree
US10135937B2 (en) * 2015-02-19 2018-11-20 Microsoft Technology Licensing, Llc Personalized notifications

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052329A (ja) * 2005-08-19 2007-03-01 Pentax Corp 音声作成方法および音声作成装置
JP3119135U (ja) * 2005-11-29 2006-02-16 靖治 徳勝 飛行機内の旅客用情報表示装置
US20090259472A1 (en) * 2008-04-14 2009-10-15 At& T Labs System and method for answering a communication notification
JP2010079091A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 音声出力装置、音声出力方法及びプログラム
JP2012238305A (ja) * 2011-04-26 2012-12-06 Panasonic Corp アナウンス情報提示システム、アナウンス情報提示装置及びアナウンス情報提示方法
JP2013073355A (ja) * 2011-09-27 2013-04-22 Toshiba Corp 対話支援装置、方法及びプログラム
CN105761532A (zh) * 2014-12-19 2016-07-13 大陆汽车投资(上海)有限公司 动态语音提示方法及车载系统
JP5856708B1 (ja) * 2015-08-31 2016-02-10 株式会社Wing of Freedom 翻訳システム及びサーバ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104088A (zh) * 2018-10-25 2020-05-05 阿里巴巴集团控股有限公司 一种通过语音设备播报信息的方法及系统
CN111104088B (zh) * 2018-10-25 2023-10-03 阿里巴巴集团控股有限公司 一种通过语音设备播报信息的方法及系统

Also Published As

Publication number Publication date
US20180268823A1 (en) 2018-09-20
KR20190053814A (ko) 2019-05-20
EP3514696A1 (en) 2019-07-24
US10726845B2 (en) 2020-07-28
EP3514696A4 (en) 2019-07-24
CN108093653B (zh) 2023-03-28
JPWO2018051570A1 (ja) 2019-11-07
JP6945130B2 (ja) 2021-10-06
SG11201804242XA (en) 2018-06-28
WO2018051570A1 (ja) 2018-03-22

Similar Documents

Publication Publication Date Title
CN108093653A (zh) 语音提示方法、语音提示程序、语音提示系统及终端装置
CN108962217B (zh) 语音合成方法及相关设备
Arons The Audio-Graphical Interface to a Personal Integrated Telecommunications System
JP2003345379A6 (ja) 音声映像変換装置及び方法、音声映像変換プログラム
JP2013164515A (ja) 音声翻訳装置、音声翻訳方法および音声翻訳プログラム
CN112236817A (zh) 低延迟邻近群组翻译
KR102462219B1 (ko) 화자 분리 기술을 이용한 회의록 자동 생성 방법
US11574638B2 (en) Automated audio-to-text transcription in multi-device teleconferences
CN114464180A (zh) 一种智能设备及智能语音交互方法
JP2000207170A (ja) 情報処理装置および情報処理方法
JPH11109991A (ja) マンマシンインターフェースシステム
JP2014167517A (ja) 会話提供システム、ゲーム提供システム、会話提供方法、ゲーム提供方法及びプログラム
US6501751B1 (en) Voice communication with simulated speech data
US20090055167A1 (en) Method for translation service using the cellular phone
KR20210097392A (ko) 회의 통역 장치
JP2005332404A (ja) コンテンツ提供システム
JPWO2020070959A1 (ja) 通訳システム、サーバ装置、配信方法、および記録媒体
US11817113B2 (en) Systems and methods for filtering unwanted sounds from a conference call
US20210233536A1 (en) Information processing system, information processing apparatus, and computer readable recording medium
JP2005024815A (ja) 言語学習システムとその装置、方法、プログラム、及びこのプログラムを記録する記録媒体
JP3696869B2 (ja) コンテンツ提供システム
JP4895759B2 (ja) 音声メッセージ出力装置
CN113056908A (zh) 视频字幕合成方法、装置、存储介质及电子设备
JP2003316375A (ja) 分散ディクテーションシステム、プログラム及び記憶媒体
WO2022237381A1 (zh) 保存会议记录的方法、终端及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant