CN104144192A - 语音交互方法、装置及车载通讯终端 - Google Patents

语音交互方法、装置及车载通讯终端 Download PDF

Info

Publication number
CN104144192A
CN104144192A CN201310172887.8A CN201310172887A CN104144192A CN 104144192 A CN104144192 A CN 104144192A CN 201310172887 A CN201310172887 A CN 201310172887A CN 104144192 A CN104144192 A CN 104144192A
Authority
CN
China
Prior art keywords
voice
user
voice messaging
interaction
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310172887.8A
Other languages
English (en)
Inventor
席小丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Navinfo Co Ltd
Original Assignee
Navinfo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navinfo Co Ltd filed Critical Navinfo Co Ltd
Priority to CN201310172887.8A priority Critical patent/CN104144192A/zh
Publication of CN104144192A publication Critical patent/CN104144192A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Telephonic Communication Services (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种语音交互方法、装置及车载通讯终端,用于行车中用户与车载通讯终端通过语音进行信息交互。该语音交互方法包括:通过车载通讯系统的浏览器界面接口获取用户通过语音方式输入的语音信息;识别所述语音信息;根据所述语音信息对应的系统功能与服务器端的数据库进行信息交互,得出交互结果;以及对所述交互结果进行语音合成,并将所述合成结果反馈给用户。通过语音识别和语音合成的方式实现人机的智能语音交互,大大增强了用户体验和行车安全。

Description

语音交互方法、装置及车载通讯终端
技术领域
本发明涉及行车过程中的人机交互,特别是一种语音交互方法、装置及车载通讯终端。
背景技术
汽车远程服务(Telematics Service Provider,简称TSP)提供商在给车厂提供Telematics演示程序时,需要针对于不同车厂的车机软硬件进行TSP服务开发定制,增加了时间和软硬件等各种成本;同时,传统的人与车机手动交互式的Telematics服务方式,影响了用户的行车安全,制约和影响用户在开车过程的Telematics体验。
随着语音技术的日渐成熟,车机端语音应用日趋增多,车厂用户对于车机的语音应用也提出了更高的要求。而传统的在车机端进行开发的TSP应用,对语音的使用比较少,用户体验车机端的应用需要过多的手动操作,分散用户的驾车注意力,极大的影响了用户的行车安全。
目前虽然有些Telematics服务已经增加了语音应用,但有限的支持语音输入关键字的方式,并不能满足用户行车过程中高度安全的要求。
因此,现有行车过程中缺乏人机智能语音交互的问题。
发明内容
本发明的目的是提供一种语音交互方法、装置及车载通讯终端,用于解决现有行车过程中缺乏人机智能语音交互的问题。
为实现上述目的,根据本发明的一个方面,提供一种语音交互方法,并采用如下技术方案:
语音交互方法,用于车载通讯系统,包括:通过车载通讯系统的浏览器界面接口获取用户通过语音方式输入的语音信息;识别所述语音信息;根据所述语音信息对应的系统功能与服务器端的数据库进行信息交互,得出交互结果;以及对所述交互结果进行语音合成,并将所述合成结果反馈给用户。
进一步地,识别所述语音信息包括:以语音的形式提示该用户确认所述语音信息的识别是否正确;并在所述语音信息的识别不正确的情况下提示用户重新输入所述语音信息。
进一步地,在所述语音信息不正确的情况下提示用户重新输入所述语音信息之后,还包括:在所述语音信息的识别不正确的次数超出预设阈值时,与预设远端进行通信;接收所述预设远端根据通信确定的用户指示,并根据所述用户指示与所述数据库进行信息交互。
进一步地,在反馈所述交互结果之前,还包括:以语音的形式向用户提示当前与所述服务器端的数据库进行信息交互所处的阶段
根据本发明的另外一个方面,提供一种语音交互装置,并采用如下技术方案:
语音交互装置,用于车载通讯系统,包括:获取模块,用于通过车载通讯系统的浏览器界面接口获取用户通过语音方式输入的语音信息;语音识别模块,用于识别所述语音信息;信息交互模块,用于根据所述语音信息对应的系统功能与服务器端的数据库进行信息交互,得出交互结果;以及语音合成模块,用于对所述交互结果进行语音合成,并将所述合成结果反馈给用户。
进一步地,语音识别模块包括:确认模块,用于以语音的形式提示该用户确认所述语音信息的识别是否正确;第一提示模块,用于并在所述语音信息的识别不正确的情况下提示用户重新输入所述语音信息。
进一步地,语音交互装置还包括:通信模块,用于在所述语音信息的识别不正确的次数超出预设阈值时,与预设远端进行通信;接收模块,用于接收所述预设远端根据通信确定的用户指示,并根据所述用户指示与所述数据库进行信息交互。
进一步地,语音交互装置还包括:第二提示模块,用于以语音的形式向用户提示当前与所述服务器端的数据库进行信息交互所处的阶段。
根据本发明的又一个方面,提供一种车载通讯终端,并采用如下技术方案:
车载通讯终端,包括上述的语音交互装置。
本发明通过语音识别和语音合成的方式实现人机的智能语音交互,大大增强了用户体验和行车安全,使车载通讯终端的应用更加实用和人性化。并且,在TSP服务商给车厂提供Telematics演示程序时,不需要针对于不同车厂的车机软硬件进行TSP服务开发定制,节约了时间和软硬件等各种成本,同时,本发明提供的技术方案跨越了车机端的软硬件平台,增强了平台独立性。
附图说明
图1表示本发明实施例一所述的语音交互方法的流程图;
图2表示本发明实施例二所述的语音交互方法的流程图;
图3表示本发明实施例三所述的语音交互装置的结构示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例一:
图1表示本发明实施例一所述的语音交互方法的流程图;
参见图1所示,语音交互方法包括:
S101:通过车载通讯系统的浏览器界面接口获取用户通过语音方式输入的语音信息;
S103:识别所述语音信息;
S105:根据所述语音信息对应的系统功能与服务器端的数据库进行信息交互,得出交互结果;
S107:对所述交互结果进行语音合成,并将所述合成结果反馈给用户。
在本实施例的上述技术方案中,步骤S101中通过车载通讯系统的浏览器界面接口获取用户通过语音方式输入的语音信息,即是通过Browser浏览器的模拟装置获取用户的语音信息,例如,导航指示、查看天气、紧急救援等,系统首先获取该语音信息,并在步骤S103中对该语音信息进行识别,其识别结果可以通过开发B/S结构的模拟器直接将用户的语言指示建立原型,其中B是Browser浏览器,S为Server服务器,在步骤S105中,根据所述语音信息对应的系统功能与服务器端的数据库进行信息交互,本实施例中的信息交互是指系统与服务器之间的,例如,系统通过语音向服务器发出“导航”的指令,服务器则会根据具体的设置给出“导航”指令所对应的交互结果,并在步骤107中,将上述信息交互的结果进行语音合成,得出合成结果以及将合成结果反馈给该用户。
并且,根据不同的情况,系统会以语音的方式进一步的与用户进行信息交互,比如在导航服务应用中,系统会用语音提示用户给出具体的目的地,并且再一次确认目的地的识别是否正确。
进一步地,在语音信息的识别不正确的次数超出一个预设阈值时,例如超出2次或3次时,系统会自动连接人工坐席,由人工坐席协助设置,整个过程都无需用户进行手动设置。
优选地,系统会自动以语音的形式向用户提示当前与所述预设的数据库进行信息交互所处的阶段,例如,“车载导航正在导入,请稍候”。
本实施例的上述技术方案,设计了高度的语音交互的Telematics系统,使用户在行车过程中,可以彻底解放双手和双眼,安全的享受Telematics服务,给旅程增加更多的安全和乐趣。
实施例二:
本实施例采用Flex开发技术,将语音识别技术与语音合成技术应用在B/S结构的模拟器中,其中Flex是一个高效、免费的开源框架,可用于构建具有表现力的Web应用程序,然后通过该应用程序利用Adobe Flash Player和AdobeAIR,运行时跨浏览器、桌面和操作系统实现一致的部署,实现TSP原型的快速开发,现以导航流程为例,具体介绍语音交互方法的实现步骤:
步骤1:车主按键启动“趣驾”语音交互功能;
在本步骤中,“趣驾”即为语音交互系统的名称,用户只需在终端设备上点击“启动”按钮,即可进入语音交互模式。
步骤2:语音导航提示系统准备就绪;
步骤3:用户说出命令;
在本步骤中,用户可以通过语音方式输入需要模拟器执行的命令,如,目的地导航,客服服务、查看天气、紧急救援等。这里以导航为例,用户说:目的地导航。
步骤4:语音交互系统的语音识别模块ASR对用户输入的命令进行业务识别;
在本步骤中,ASR如果识别出用户的命令,则进入步骤5;否则返回执行步骤3,并且语音提示用户再说一遍。
如果ASR两次都识别不出用户语音输入的命令,则自动连接人工坐席,进行坐席协助设置。
步骤5:根据步骤4识别的结果,语音提示用户说出目的地;
步骤6:用户说出目的地;
步骤7:ASR对用户输入的目的地进行兴趣点POI业务识别;
在本步骤中,如果识别出用户的输入的目的地POI,则进入步骤8;否则返回执行步骤6,语音提示用户再说一遍。
另外,如果ASR两次都识别不出用户语音输入的POI,则自动连接人工坐席,进行坐席协助设置。
步骤8:根据步骤6识别的结果,语音提示用户确认目的地;
步骤9:用户确认目的地;
步骤10:ASR对用户确认信息进行识别;
如果识别出用户是正确的,进入步骤11;
否则返回执行步骤5;
另外,如果ASR两次都未识别出用户的目的地,则自动连接人工坐席,进行坐席协助设置;
步骤11:提示用户正在进行规划路线,同时地图搜索服务将导航地图显示的POI位置下发到车机端;
步骤12:用户选择目的地,开始导航;
步骤13:应用结束。
本发明通过上述实施例,提出了B/S模拟器来开发Telematics应用的方法,使TSP在开发初期能更快的设计原型供用户确认,减少了时间和风险成本;同时,本发明提出利用Flex进行开发的模拟器,因此继承了Flex有界面表现能力一流,异步调用界面无刷新,兼容多浏览器,跨平台等优点;并且,这种非嵌入的B/S结构的语音识别和语音合成应用,并且,这种非嵌入的B/S结构的语音识别和语音合成应用,可以自动合成语音,减少了服务器端词库和语库的训练,使识别的结果更加人性化,贴近用户的意图。
实施例三:
图3表示本发明实施例三所述的语音交互装置的结构示意图。
参见图3所示,语音交互装置包括:
获取模块30,用于通过车载通讯系统的浏览器界面接口获取用户通过语音方式输入的语音信息;
语音识别模块32,用于识别所述语音信息;
信息交互模块34,用于根据所述语音信息对应的系统功能与服务器端的数据库进行信息交互,得出交互结果;
语音合成模块36,用于对所述交互结果进行语音合成,并将所述合成结果反馈给用户。
优选地,语音识别模块包括:确认模块(图中未示),用于以语音的形式提示该用户确认所述语音信息的识别是否正确;第一提示模块(图中未示),用于并在所述语音信息的识别不正确的情况下提示用户重新输入所述语音信息。
优选地,语音交互装置还包括:通信模块(图中未示),用于在所述语音信息的识别不正确的次数超出预设阈值时,与预设远端进行通信;接收模块(图中未示),用于接收所述预设远端根据通信确定的用户指示,并根据所述用户指示与所述数据库进行信息交互。
优选地,语音交互装置还包括:第二提示模块(图中未示),用于以语音的形式向用户提示当前与所述服务器端的数据库进行信息交互所处的阶段。
本发明提供的车载通讯终端,包括上述的语音交互装置。
根据本发明的上述技术方案,可以了解本发明通过语音识别和语音合成的方式实现人机的智能语音交互,大大增强了用户体验和行车安全,使应用更加实用和人性化。并且,在TSP服务商在给车厂提供Telematics演示程序时,不需要针对于不同车厂的车机软硬件进行TSP服务开发定制,节约了时间和软硬件等各种成本,同时,本发明提供的技术方案跨越了车机端的软硬件平台,增强了平台独立性。

Claims (9)

1.一种语音交互方法,用于车载通讯系统,其特征在于,包括:
通过车载通讯系统的浏览器界面接口获取用户通过语音方式输入的语音信息;
识别所述语音信息;
根据所述语音信息对应的系统功能与服务器端的数据库进行信息交互,得出交互结果;
以及对所述交互结果进行语音合成,并将所述合成结果反馈给用户。
2.如权利要求1所述的语音交互方法,其特征在于,识别所述语音信息包括:
以语音的形式提示该用户确认所述语音信息的识别是否正确;
并在所述语音信息的识别不正确的情况下提示用户重新输入所述语音信息。
3.如权利要求2所述的语音交互方法,其特征在于,在所述语音信息不正确的情况下提示用户重新输入所述语音信息之后,还包括:
在所述语音信息的识别不正确的次数超出预设阈值时,与预设远端进行通信;
接收所述预设远端根据通信确定的用户指示,并根据所述用户指示与所述数据库进行信息交互。
4.如权利要求1所述的语音交互方法,其特征在于,在反馈所述交互结果之前,还包括:
以语音的形式向用户提示当前与所述服务器端的数据库进行信息交互所处的阶段。
5.一种语音交互装置,用于车载通讯系统,其特征在于,包括:
获取模块,用于通过车载通讯系统的浏览器界面接口获取用户通过语音方式输入的语音信息;
语音识别模块,用于识别所述语音信息;
信息交互模块,用于根据所述语音信息对应的系统功能与服务器端的数据库进行信息交互,得出交互结果;
以及语音合成模块,用于对所述交互结果进行语音合成,并将所述合成结果反馈给用户。
6.如权利要求5所述的语音交互装置,其特征在于,所述语音识别模块包括:
确认模块,用于以语音的形式提示该用户确认所述语音信息的识别是否正确;
第一提示模块,用于并在所述语音信息的识别不正确的情况下提示用户重新输入所述语音信息。
7.如权利要求6所述的语音交互装置,其特征在于,还包括:
通信模块,用于在所述语音信息的识别不正确的次数超出预设阈值时,与预设远端进行通信;
接收模块,用于接收所述预设远端根据通信确定的用户指示,并根据所述用户指示与所述数据库进行信息交互。
8.如权利要求5所述的语音交互装置,其特征在于,还包括:
第二提示模块,用于以语音的形式向用户提示当前与所述服务器端的数据库进行信息交互所处的阶段。
9.一种车载通讯终端,其特征在于,包括权利要求5-8任一项所述的语音交互装置。
CN201310172887.8A 2013-05-10 2013-05-10 语音交互方法、装置及车载通讯终端 Pending CN104144192A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310172887.8A CN104144192A (zh) 2013-05-10 2013-05-10 语音交互方法、装置及车载通讯终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310172887.8A CN104144192A (zh) 2013-05-10 2013-05-10 语音交互方法、装置及车载通讯终端

Publications (1)

Publication Number Publication Date
CN104144192A true CN104144192A (zh) 2014-11-12

Family

ID=51853260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310172887.8A Pending CN104144192A (zh) 2013-05-10 2013-05-10 语音交互方法、装置及车载通讯终端

Country Status (1)

Country Link
CN (1) CN104144192A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007380A (zh) * 2015-07-20 2015-10-28 深圳前海智云谷科技有限公司 基于抬头显示系统利用语音呼叫车秘书服务的方法及系统
CN105469797A (zh) * 2015-12-31 2016-04-06 广东翼卡车联网服务有限公司 一种智能语音识别转接人工服务的控制方法及系统
CN106155285A (zh) * 2015-04-02 2016-11-23 北京光年无限科技有限公司 一种车载场景下软硬件结合的语音交互系统的方法
CN107945848A (zh) * 2017-11-16 2018-04-20 百度在线网络技术(北京)有限公司 一种健身指导实现方法、装置、设备和介质
CN108319631A (zh) * 2017-01-16 2018-07-24 网智服务国际股份有限公司 知识库的智能化控制系统及其反馈方法
CN108399463A (zh) * 2018-03-15 2018-08-14 奇瑞汽车股份有限公司 一种预约充电系统及充电方法
CN109584877A (zh) * 2019-01-02 2019-04-05 百度在线网络技术(北京)有限公司 语音交互控制方法和装置
CN112509575A (zh) * 2020-11-26 2021-03-16 上海济邦投资咨询有限公司 一种基于大数据的财务咨询智能引导系统
US11205431B2 (en) 2019-01-02 2021-12-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus and device for presenting state of voice interaction device, and storage medium

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865856A (zh) * 2005-05-20 2006-11-22 英华达(上海)电子有限公司 通过手机语音提示进行车辆自主导航的方法
CN1967658A (zh) * 2005-11-14 2007-05-23 北京大学科技开发部 小尺度麦克风阵列语音增强系统和方法
CN101158584A (zh) * 2007-11-15 2008-04-09 熊猫电子集团有限公司 车载gps的语音目的地导航实现方法
CN101281745A (zh) * 2008-05-23 2008-10-08 深圳市北科瑞声科技有限公司 一种车载语音交互系统
CN201130430Y (zh) * 2007-12-24 2008-10-08 合肥讯飞数码科技有限公司 无线语音交互式车载设备
CN101846525A (zh) * 2009-03-23 2010-09-29 华为软件技术有限公司 导航信息处理、获取方法及装置
CN201667653U (zh) * 2010-01-25 2010-12-08 北京森博克智能科技有限公司 具备语音传输和语音识别触发功能的车用无线蓝牙装置
CN201665188U (zh) * 2010-01-25 2010-12-08 北京森博克智能科技有限公司 具备语音交互和行为监控的车载数字多媒体设备
CN102292702A (zh) * 2009-01-29 2011-12-21 福特环球技术公司 用于中断指令提示以通过无线通信链路用信号通知即将到来的输入的系统和方法
CN202110525U (zh) * 2011-04-29 2012-01-11 武汉光动能科技有限公司 语音控制的车载多媒体导航装置
CN202434198U (zh) * 2012-01-05 2012-09-12 东莞市精创汽车科技有限公司 一种基于云计算的车载人机语音交互系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865856A (zh) * 2005-05-20 2006-11-22 英华达(上海)电子有限公司 通过手机语音提示进行车辆自主导航的方法
CN1967658A (zh) * 2005-11-14 2007-05-23 北京大学科技开发部 小尺度麦克风阵列语音增强系统和方法
CN101158584A (zh) * 2007-11-15 2008-04-09 熊猫电子集团有限公司 车载gps的语音目的地导航实现方法
CN201130430Y (zh) * 2007-12-24 2008-10-08 合肥讯飞数码科技有限公司 无线语音交互式车载设备
CN101281745A (zh) * 2008-05-23 2008-10-08 深圳市北科瑞声科技有限公司 一种车载语音交互系统
CN102292702A (zh) * 2009-01-29 2011-12-21 福特环球技术公司 用于中断指令提示以通过无线通信链路用信号通知即将到来的输入的系统和方法
CN101846525A (zh) * 2009-03-23 2010-09-29 华为软件技术有限公司 导航信息处理、获取方法及装置
CN201667653U (zh) * 2010-01-25 2010-12-08 北京森博克智能科技有限公司 具备语音传输和语音识别触发功能的车用无线蓝牙装置
CN201665188U (zh) * 2010-01-25 2010-12-08 北京森博克智能科技有限公司 具备语音交互和行为监控的车载数字多媒体设备
CN202110525U (zh) * 2011-04-29 2012-01-11 武汉光动能科技有限公司 语音控制的车载多媒体导航装置
CN202434198U (zh) * 2012-01-05 2012-09-12 东莞市精创汽车科技有限公司 一种基于云计算的车载人机语音交互系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155285A (zh) * 2015-04-02 2016-11-23 北京光年无限科技有限公司 一种车载场景下软硬件结合的语音交互系统的方法
CN105007380A (zh) * 2015-07-20 2015-10-28 深圳前海智云谷科技有限公司 基于抬头显示系统利用语音呼叫车秘书服务的方法及系统
CN105469797A (zh) * 2015-12-31 2016-04-06 广东翼卡车联网服务有限公司 一种智能语音识别转接人工服务的控制方法及系统
CN108319631A (zh) * 2017-01-16 2018-07-24 网智服务国际股份有限公司 知识库的智能化控制系统及其反馈方法
CN107945848A (zh) * 2017-11-16 2018-04-20 百度在线网络技术(北京)有限公司 一种健身指导实现方法、装置、设备和介质
US11389711B2 (en) 2017-11-16 2022-07-19 Baidu Online Network Technology (Beijing) Co., Ltd. Fitness guidance method, device and storage medium
CN108399463A (zh) * 2018-03-15 2018-08-14 奇瑞汽车股份有限公司 一种预约充电系统及充电方法
CN109584877A (zh) * 2019-01-02 2019-04-05 百度在线网络技术(北京)有限公司 语音交互控制方法和装置
US11205431B2 (en) 2019-01-02 2021-12-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus and device for presenting state of voice interaction device, and storage medium
CN112509575A (zh) * 2020-11-26 2021-03-16 上海济邦投资咨询有限公司 一种基于大数据的财务咨询智能引导系统

Similar Documents

Publication Publication Date Title
CN104144192A (zh) 语音交互方法、装置及车载通讯终端
KR102170088B1 (ko) 인공지능 기반 자동 응답 방법 및 시스템
CN105989841B (zh) 车载语音控制方法及装置
CN107199971B (zh) 车载语音交互方法、终端及计算机可读存储介质
CN110998720B (zh) 话音数据处理方法及支持该方法的电子设备
US9911412B2 (en) Evidence-based natural language input recognition
CN106663422B (zh) 言语识别系统及其言语识别方法
US20150039316A1 (en) Systems and methods for managing dialog context in speech systems
CN106816149A (zh) 车辆自动语音识别系统的优先化内容加载
DE102017223856A1 (de) Dialogsystem, Fahrzeug mit diesem und Dialogverarbeitungsverfahren
CN111661065B (zh) 智能体装置、智能体装置的控制方法及存储介质
CN106030701B (zh) 检测信息的方法、语音对话装置以及机动车
CN109227536A (zh) 智能迎宾讲解机器人语音交互控制系统及控制方法
CN109785827A (zh) 在语音识别仲裁中使用的神经网络
CN103591947B (zh) 移动终端的语音后台导航方法及移动终端
US9715878B2 (en) Systems and methods for result arbitration in spoken dialog systems
CN109887490A (zh) 用于识别语音的方法和装置
US11709065B2 (en) Information providing device, information providing method, and storage medium
CN105830151A (zh) 用于产生控制命令的方法和系统
CN110767219B (zh) 语义更新方法、装置、服务器和存储介质
CN107306253A (zh) 交通工具控制方法、控制装置与控制系统
CN115240677B (zh) 用于车辆座舱的语音交互方法、装置和设备
CN111583918A (zh) 语音控制方法、车载终端及车辆
US20140343947A1 (en) Methods and systems for managing dialog of speech systems
CN111667823B (zh) 智能体装置、智能体装置的控制方法及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20141112

RJ01 Rejection of invention patent application after publication