CN106875007A - 用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络 - Google Patents

用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络 Download PDF

Info

Publication number
CN106875007A
CN106875007A CN201710062794.8A CN201710062794A CN106875007A CN 106875007 A CN106875007 A CN 106875007A CN 201710062794 A CN201710062794 A CN 201710062794A CN 106875007 A CN106875007 A CN 106875007A
Authority
CN
China
Prior art keywords
long term
shot
cnn
term memory
neutral net
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710062794.8A
Other languages
English (en)
Inventor
钱彦旻
俞凯
D·海因里希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AI Speech Ltd
Original Assignee
Shanghai Jiaotong University
Suzhou Speech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, Suzhou Speech Information Technology Co Ltd filed Critical Shanghai Jiaotong University
Priority to CN201710062794.8A priority Critical patent/CN106875007A/zh
Publication of CN106875007A publication Critical patent/CN106875007A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络,包括:一个具备长短期记忆序列映射的卷积神经网络前端和一个神经网络直接分类器,卷积神经网络前端包括:至少两个用于标准特征提取的CNN和至少一个用于标签预测的CNN,该用于标签预测的CNN标准特征以长短期记忆的序列方式进行标签预测。本发明通过对现有各种特征的综合能力进行考量,规避了特征提取的过程,并提高了方法架构针对不同任务的适应性。

Description

用于语音欺骗检测的基于卷积长短期记忆端对端深度神经 网络
技术领域
本发明涉及一种语音处理领域的技术,具体涉及一种原波输入的用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络(CLDNN)。
背景技术
欺骗检测是说话人确认领域中的一个分支,用于区分真实(人)的与人造(欺骗性)的口头话语。欺骗检测的主要目的是计算每个话语的评分,并用评分区分这两种(欺骗性的,人的)话语种类。评分用于计算出一个阈值,通过这个阈值一个话语可被划分为真实的(如果其评分大于定义的阈值)或者欺骗性的(其评分低于阈值)。
检测欺骗性语音需要特征:人工向量,目的在于在一个较低的维度空间内表示一个给定的话语,唯一性是首要的。在传统的语音相关任务中,原波话语拥有高维度,因而对真实世界里的任务不可行。特征一般在固定大小的帧窗中从给定的原波话语中提取出来。另外,相邻帧窗的重叠用于合并上下文信息。
在说话人-反欺骗社区内,大多数研究工作着重于伪造人工特征,这样能够成功区分前述两个话语种类。对于后端分类器,如支持向量机(Support Vector Machine,SVM)和高斯混合模型(Gaussian Mixture Model,GMM)的研究,仅产生些微的改进,强化了专注特征改进的地位。在这里我们尝试了不同的方向:采用深度神经网络作为前端特征提取和后端分类的统一模型。
深度神经网络(Deep Neural Network,DNN)作为人工智能网络,在现有技术中用于机器学习任务,如图像、语音和说话人识别。在大多数机器学习任务中发现,深度神经网络远胜于现有的神经网络方法。神经网络可视作一个广义的非线性功能拟合器,根据特征进行学习,而特征通常为一组多向量,代表一组标签的有限集(如在说话人欺骗中,输入可以是一个贴有指示人的语音或欺骗语音的标签的语段)。
与DNN相比,卷积神经网络(Convolution Neural Network,CNN)在二维输入上进行卷积操作,以获得不变的信号表示。因而卷积是深度神经网络的二维加强版。在语音识别行业中,CNN可用作强化的特征提取器,开发特征的功能以从单输入产生不变的输出。
原波特征(Raw wave features)曾被语音识别行业广泛忽视,主要因其维数通常较大,并且有模糊不清之处。特征提取是一个逐渐减少给定的原波输入的维数,同时旨在使特征尽可能唯一的过程。然而,这种情况随着深度神经网络,特别是CNN的引入得到改变。CNN可以用于评估特征提取过程,其与传统特征提取的主要区别在于参数并不固定,而是为了适应当前任务进行动态调整。
长短期记忆(Long and Short Term Memory,LSTM)在现有的序列上增加设定,从而加强上述DNN和CNN模型,其中DNN和CNN只作局部处理且只仅采用(通常是独立的)特征向量作为输入,但这样的处理方式对于一个有序的自然体,如语音的数据而言是不常见的。
发明内容
本发明针对现有技术中的特征仅可在任务外提取,并且不是能够反映欺骗任务的最优特征以及终端分类器与所检测的特征间的匹配度不高等缺陷,提出一种用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络,通过对现有各种特征的综合能力进行考量,规避了特征提取的过程,并提高了方法架构针对不同任务的适应性。
本发明是通过以下技术方案实现的:
本发明涉及一种卷积长短期记忆深度神经网络(Convolutional LSTM DNN,CLDNN),包括:一个具备长短期记忆序列映射的卷积神经网络前端和一个神经网络直接分类器。
所述的卷积神经网络前端包括:至少两个用于标准特征提取的CNN和至少一个用于标签预测的CNN,该用于标签预测的CNN标准特征以长短期记忆的序列方式进行标签预测。
所述的用于标准特征提取的CNN采用时序卷积神经网络进行标准特征提取,其中:第一个CNN将导入的原波输入缩小为固定大小的向量,第二个CNN则对缩小后的特征信号进行不变性转化,其中:所述的向量的大小与常量特征39维相似;所述的不变性转化是指:包括256个特征映射,在每个时间步长内一个样本产生一个256维的输入特征。
所述的长短期记忆的序列方式为每个时间步长作一个向量的输出,并采用输出序列中的最后一个作为代表输出。
所述的神经网络直接分类器优选为包含有两层标准前馈的深度神经网络,通过插入原波话语得到的相关分类的评分进行设计,并采用标准反传算法逐层训练得以实现。
本发明中的原波语音优选根据目标帧大小(如25ms)被分为同等大小的向量,帧的大小由波形文件的采样率决定,大多数数据集是16000Hz。并且,在标准特征提取过程中,采用重叠以在单个帧内包含一个上下文信息。
本发明中上述重叠率优选为50%。
技术效果
与现有技术相比,本发明采用的卷积长时深度神经网络能够直接优化特征提取和分类根据当前任务。因此,给定的输入可表示得更有鲁棒性和有效,从而使检测结果得到全面提高;通过结合分类器训练直接评估合适的特征,使得模型能够适应任何的相关任务;由于去除了前端程序,使得本发明模型大大简化了流水线,尤其是API调用;通过在单个模型内联合分类与最优化,使得本发明无需为单独的分类器和特征提取方法调用多参数。
附图说明
图1为本发明结构示意图;
图2为第一层卷积神经网络的结构示意图;
图3为第二层卷积神经网络的结构示意图。
具体实施方式
如图1所示,本实施例涉及一种基于卷积长短时记忆的端对端语音欺骗检测系统,包括作为联合特征提取器和分类器的CLDNN,该CLDNN包括:CNN、LSTM和DNN。
本实施例中采用原波对分类器进行训练,Torch作为本模型的深度学习库,需要安装RNN包以完成LSTM模型。
每一个输入的原波文件首先被分割为相同大小的560帧,即相当于一个35ms的帧窗。相邻帧之间有17.5ms的重叠(即50%重叠率)。
本实施例中的CLDNN包括:用于标准特征提取的使用64张特征图的第一层CNN和使用128张特征图的第二层CNN、用于标签预测的第三第四层LSTM使用128个节点以及作为神经网络直接分类器的DNN层。
本实施例通过以下方式进行工作:
①首先以固定尺寸的连续帧对上述网络进行训练,同时通过使得序列帧的权值共享,作为CNN的序列输入;从而实现CNN在每个时间步长内对应每个输入产生一个输出,该输出将进一步输送至LSTM。
②由于LSTM在每个时间步长内的输出对应的一个向量,我们只采用最后一个时间步长的向量作为代表。这有助于提高模型的效果并降低计算的复杂性。
③将上述得到的向量进一步由一个单层256神经元DNN进行分类。
总体而言,由于该任务为二分式,因此本实施例中的两个输出神经元即可满足对模型的训练需求。
如图2所示,本实施CLDNN的第一层卷积神经网络的输入是原始波形wav,利用一层卷积提取39维的频率特征。
如图3所示,本实施CLDNN的第三层卷积神经网络的的输入是图2的输出的39维特征。利用再一层的卷积操作,精细化的局部提取特征语谱信息。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。

Claims (8)

1.一种用于端对端原波语音欺骗检测的卷积长短期记忆深度神经网络,其特征在于,包括:一个具备长短期记忆序列映射的卷积神经网络前端和一个神经网络直接分类器,其中:
所述的卷积神经网络前端包括:至少两个用于标准特征提取的CNN和至少一个用于标签预测的CNN,该用于标签预测的CNN标准特征以长短期记忆的序列方式进行标签预测。
2.根据权利要求1所述的卷积长短期记忆深度神经网络,其特征是,所述的用于标准特征提取的CNN采用时序卷积神经网络进行标准特征提取,其中:第一个CNN将导入的原波输入缩小为固定大小的向量,第二个CNN则对缩小后的特征信号进行不变性转化。
3.根据权利要求2所述的卷积长短期记忆深度神经网络,其特征是,所述的向量的大小与常量特征39维相似。
4.根据权利要求2所述的卷积长短期记忆深度神经网络,其特征是,所述的不变性转化是指:包括256个特征映射,在每个时间步长内一个样本产生一个256维的输入特征。
5.根据权利要求1所述的卷积长短期记忆深度神经网络,其特征是,所述的长短期记忆的序列方式为每个时间步长作一个向量的输出,并采用输出序列中的最后一个作为代表输出。
6.根据权利要求1所述的卷积长短期记忆深度神经网络,其特征是,所述的神经网络直接分类器为包含有两层标准前馈的深度神经网络,通过插入原波话语得到的相关分类的评分进行设计,并采用标准反传算法逐层训练得以实现。
7.根据权利要求1所述的卷积长短期记忆深度神经网络,其特征是,所述的原波语音根据目标帧大小分为同等大小的向量,帧的大小由波形文件的采样率决定。
8.根据权利要求2所述的卷积长短期记忆深度神经网络,其特征是,所述的标准特征提取,采用重叠以在单个帧内包含一个上下文信息。
CN201710062794.8A 2017-01-25 2017-01-25 用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络 Pending CN106875007A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710062794.8A CN106875007A (zh) 2017-01-25 2017-01-25 用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710062794.8A CN106875007A (zh) 2017-01-25 2017-01-25 用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络

Publications (1)

Publication Number Publication Date
CN106875007A true CN106875007A (zh) 2017-06-20

Family

ID=59165684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710062794.8A Pending CN106875007A (zh) 2017-01-25 2017-01-25 用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络

Country Status (1)

Country Link
CN (1) CN106875007A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578775A (zh) * 2017-09-07 2018-01-12 四川大学 一种基于深度神经网络的多任务语音分类方法
CN108198574A (zh) * 2017-12-29 2018-06-22 科大讯飞股份有限公司 变声检测方法及装置
CN109729070A (zh) * 2018-11-28 2019-05-07 甘肃农业大学 一种基于cnn和rnn融合模型的网络异构并发隐写信道的检测方法
CN109767776A (zh) * 2019-01-14 2019-05-17 广东技术师范学院 一种基于密集神经网络的欺骗语音检测方法
CN109841226A (zh) * 2018-08-31 2019-06-04 大象声科(深圳)科技有限公司 一种基于卷积递归神经网络的单通道实时降噪方法
CN110084603A (zh) * 2018-01-26 2019-08-02 阿里巴巴集团控股有限公司 训练欺诈交易检测模型的方法、检测方法以及对应装置
CN110223676A (zh) * 2019-06-14 2019-09-10 苏州思必驰信息科技有限公司 欺骗录音检测神经网络模型的优化方法及系统
CN110232927A (zh) * 2019-06-13 2019-09-13 苏州思必驰信息科技有限公司 说话人验证反欺骗方法和装置
TWI691923B (zh) * 2018-04-02 2020-04-21 華南商業銀行股份有限公司 金融交易詐騙偵測防範系統及其方法
TWI706334B (zh) * 2018-12-13 2020-10-01 鴻海精密工業股份有限公司 圖像分類方法、電子裝置和存儲介質
CN111771213A (zh) * 2018-02-16 2020-10-13 杜比实验室特许公司 语音风格迁移
CN113314148A (zh) * 2021-07-29 2021-08-27 中国科学院自动化研究所 基于原始波形的轻量级神经网络生成语音鉴别方法和系统
US11538455B2 (en) 2018-02-16 2022-12-27 Dolby Laboratories Licensing Corporation Speech style transfer

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513591A (zh) * 2015-12-21 2016-04-20 百度在线网络技术(北京)有限公司 用lstm循环神经网络模型进行语音识别的方法和装置
CN105869630A (zh) * 2016-06-27 2016-08-17 上海交通大学 基于深度学习的说话人语音欺骗攻击检测方法及系统
CN106096568A (zh) * 2016-06-21 2016-11-09 同济大学 一种基于cnn和卷积lstm网络的行人再识别方法
CN106328122A (zh) * 2016-08-19 2017-01-11 深圳市唯特视科技有限公司 一种利用长短期记忆模型递归神经网络的语音识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513591A (zh) * 2015-12-21 2016-04-20 百度在线网络技术(北京)有限公司 用lstm循环神经网络模型进行语音识别的方法和装置
CN106096568A (zh) * 2016-06-21 2016-11-09 同济大学 一种基于cnn和卷积lstm网络的行人再识别方法
CN105869630A (zh) * 2016-06-27 2016-08-17 上海交通大学 基于深度学习的说话人语音欺骗攻击检测方法及系统
CN106328122A (zh) * 2016-08-19 2017-01-11 深圳市唯特视科技有限公司 一种利用长短期记忆模型递归神经网络的语音识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
RUBEN ZAZO 等: "Feature Learning with Raw-Waveform CLDNNs for Voice Activity Detection", 《INTERSPEECH 2016》 *
SAINATH, TARA N.等: "Learning the Speech Front-end With Raw Waveform CLDNNs", 《16TH ANNUAL CONFERENCE OF THE INTERNATIONAL-SPEECH-COMMUNICATION-ASSOCIATION 》 *
TARA N. SAINATH等: "CONVOLUTIONAL, LONG SHORT-TERM MEMORY,FULLY CONNECTED DEEP NEURAL NETWORKS", 《40TH IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING》 *
胡新辰: "基于LSTM的语义关系分类研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578775B (zh) * 2017-09-07 2021-02-12 四川大学 一种基于深度神经网络的多分类语音方法
CN107578775A (zh) * 2017-09-07 2018-01-12 四川大学 一种基于深度神经网络的多任务语音分类方法
CN108198574A (zh) * 2017-12-29 2018-06-22 科大讯飞股份有限公司 变声检测方法及装置
CN108198574B (zh) * 2017-12-29 2020-12-08 科大讯飞股份有限公司 变声检测方法及装置
CN110084603B (zh) * 2018-01-26 2020-06-16 阿里巴巴集团控股有限公司 训练欺诈交易检测模型的方法、检测方法以及对应装置
CN110084603A (zh) * 2018-01-26 2019-08-02 阿里巴巴集团控股有限公司 训练欺诈交易检测模型的方法、检测方法以及对应装置
US11538455B2 (en) 2018-02-16 2022-12-27 Dolby Laboratories Licensing Corporation Speech style transfer
CN111771213B (zh) * 2018-02-16 2021-10-08 杜比实验室特许公司 语音风格迁移
CN111771213A (zh) * 2018-02-16 2020-10-13 杜比实验室特许公司 语音风格迁移
TWI691923B (zh) * 2018-04-02 2020-04-21 華南商業銀行股份有限公司 金融交易詐騙偵測防範系統及其方法
CN109841226A (zh) * 2018-08-31 2019-06-04 大象声科(深圳)科技有限公司 一种基于卷积递归神经网络的单通道实时降噪方法
CN109841226B (zh) * 2018-08-31 2020-10-16 大象声科(深圳)科技有限公司 一种基于卷积递归神经网络的单通道实时降噪方法
CN109729070B (zh) * 2018-11-28 2022-03-11 甘肃农业大学 一种基于cnn和rnn融合模型的网络异构并发隐写信道的检测方法
CN109729070A (zh) * 2018-11-28 2019-05-07 甘肃农业大学 一种基于cnn和rnn融合模型的网络异构并发隐写信道的检测方法
TWI706334B (zh) * 2018-12-13 2020-10-01 鴻海精密工業股份有限公司 圖像分類方法、電子裝置和存儲介質
CN109767776A (zh) * 2019-01-14 2019-05-17 广东技术师范学院 一种基于密集神经网络的欺骗语音检测方法
CN109767776B (zh) * 2019-01-14 2023-12-15 广东技术师范大学 一种基于密集神经网络的欺骗语音检测方法
CN110232927B (zh) * 2019-06-13 2021-08-13 思必驰科技股份有限公司 说话人验证反欺骗方法和装置
CN110232927A (zh) * 2019-06-13 2019-09-13 苏州思必驰信息科技有限公司 说话人验证反欺骗方法和装置
CN110223676A (zh) * 2019-06-14 2019-09-10 苏州思必驰信息科技有限公司 欺骗录音检测神经网络模型的优化方法及系统
CN113314148A (zh) * 2021-07-29 2021-08-27 中国科学院自动化研究所 基于原始波形的轻量级神经网络生成语音鉴别方法和系统
CN113314148B (zh) * 2021-07-29 2021-11-09 中国科学院自动化研究所 基于原始波形的轻量级神经网络生成语音鉴别方法和系统

Similar Documents

Publication Publication Date Title
CN106875007A (zh) 用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络
WO2021134871A1 (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN107330444A (zh) 一种基于生成对抗网络的图像自动文本标注方法
CN105095856B (zh) 基于掩模的有遮挡人脸识别方法
CN105261109B (zh) 一种钞票冠字号识别方法
CN108419091A (zh) 一种基于机器学习的视频内容审核方法及装置
CN110728330A (zh) 基于人工智能的对象识别方法、装置、设备及存储介质
CN106650789A (zh) 一种基于深度lstm网络的图像描述生成方法
CN107492382A (zh) 基于神经网络的声纹信息提取方法及装置
CN107679997A (zh) 医疗理赔拒付方法、装置、终端设备及存储介质
CN109993164A (zh) 一种基于rcrnn神经网络的自然场景文字识别方法
CN107146624A (zh) 一种说话人确认方法及装置
CN108009481A (zh) 一种cnn模型的训练方法及装置、人脸识别方法及装置
CN107832684A (zh) 一种具有自主学习能力的智能静脉认证方法和系统
CN103824090B (zh) 一种自适应的人脸低层特征选择方法及人脸属性识别方法
CN112232116A (zh) 一种人脸表情识别方法、装置及存储介质
CN110175248B (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置
CN113076994A (zh) 一种开集域自适应图像分类方法及系统
CN107341463A (zh) 一种结合图像质量分析与度量学习的人脸特征识别方法
US20200125836A1 (en) Training Method for Descreening System, Descreening Method, Device, Apparatus and Medium
CN107491729B (zh) 基于余弦相似度激活的卷积神经网络的手写数字识别方法
CN106022363A (zh) 一种适用于自然场景下的中文文字识别方法
CN110008819A (zh) 一种基于图卷积神经网络的人脸表情识别方法
CN106709804A (zh) 一种交互式财富规划咨询机器人系统
CN103761515A (zh) 一种基于lbp的人脸特征提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200616

Address after: Room 223, old administration building, 800 Dongchuan Road, Minhang District, Shanghai, 200240

Applicant after: Shanghai Jiaotong University Intellectual Property Management Co.,Ltd.

Applicant after: AI SPEECH Ltd.

Address before: 200240 Dongchuan Road, Shanghai, No. 800, No.

Applicant before: SHANGHAI JIAO TONG University

Applicant before: AI SPEECH Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201021

Address after: 215123 14 Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou, Jiangsu.

Applicant after: AI SPEECH Ltd.

Address before: Room 223, old administration building, 800 Dongchuan Road, Minhang District, Shanghai, 200240

Applicant before: Shanghai Jiaotong University Intellectual Property Management Co.,Ltd.

Applicant before: AI SPEECH Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province

Applicant after: Sipic Technology Co.,Ltd.

Address before: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province

Applicant before: AI SPEECH Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20170620

RJ01 Rejection of invention patent application after publication