CN111028941A - 基于生成对抗网络的tka术前临床分期智能评估方法 - Google Patents

基于生成对抗网络的tka术前临床分期智能评估方法 Download PDF

Info

Publication number
CN111028941A
CN111028941A CN201911255619.6A CN201911255619A CN111028941A CN 111028941 A CN111028941 A CN 111028941A CN 201911255619 A CN201911255619 A CN 201911255619A CN 111028941 A CN111028941 A CN 111028941A
Authority
CN
China
Prior art keywords
knee joint
data
samples
tka
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911255619.6A
Other languages
English (en)
Inventor
吴小玲
李修寒
王伟
姚庆强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Nanjing Medical University
Original Assignee
Nanjing Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Medical University filed Critical Nanjing Medical University
Priority to CN201911255619.6A priority Critical patent/CN111028941A/zh
Publication of CN111028941A publication Critical patent/CN111028941A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及膝关节置换技术领域，具体地说，涉及基于生成对抗网络的TKA术前临床分期智能评估方法。其方法步骤如下：收集膝关节OA影像学数据；将标注合格的膝关节OA影像学数据记作pdata，将标注不合格的膝关节OA影像学数据记作pz；建立生成器G；建立判别器D；训练。该基于生成对抗网络的TKA术前临床分期智能评估方法中，采集合格的膝关节OA影像学数据和不合格的膝关节OA影像学数据，将所得到的训练集将作为生成对抗网络中判别网络的真实样本对生成对抗网络模型的生成器和判别器进行训练，得出膝关节OA影像学数据最优函数，以便于减少医生间水平的差异，实现从前期辅助医生判断到成熟后独立决策的过程。

Description

基于生成对抗网络的TKA术前临床分期智能评估方法
技术领域
本发明涉及膝关节置换技术领域，具体地说，涉及基于生成对抗网络的TKA术前临床分期智能评估方法。
背景技术
膝关节OA临床表现及体征不尽相同，其临床分期评估对于提高诊疗效果尤为重要。通过准确判断患者病情的严重程度，从而指导临床医生对患者进行TKA手术。传统的临床分期评估是在进行TKA手术前，医生根据经验及知识利用X射线并适时结合CT或MRI医学影像学数据进行评估，评估的准确度依医生不同有所差别。随着人工智能技术的不断发展，利用影像学数据进行智能分期评估成为了可能，其分期评估的准确度未来甚至可以超越有经验的医生，实现从前期辅助医生判断到成熟后独立决策，将医生从大量医学影像学数据中解放出来，减少医生间水平的差异。
发明内容
本发明的目的在于提供基于生成对抗网络的TKA术前临床分期智能评估方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供基于生成对抗网络的TKA术前临床分期智能评估方法，其方法步骤如下：
S1、收集膝关节OA影像学数据，收集X线全长片数据，并配合术下肢全长CT容积扫描影像数据、骨密度数据、MR T1/T2/3D-FS-SPGR软骨成像序列数据、组织样本、病人一般资料等资料，进行筛选并进行临床分期的训练样本的数据标注；
S2、将标注合格的膝关节OA影像学数据记作pdata，将标注不合格的膝关节OA影像学数据记作pz；
S3、建立生成器G，将将标注不合格的膝关节OA影像学数据输入生成器G，采用多层感知机的网络结构，用MLP的参数来表示可导映射G(z)，将输入空间映射到样本空间；
S4、建立判别器D，将标注合格的膝关节OA影像学数据集x和生成器伪造的样本G(x)，判别器采用带有参数的多层感知机，记为D(x)；
S5、训练过程中，以常规GAN的目标函数表示最终优化目标，最终优化目标的公式为：
Figure BDA0002310171030000021
作为优选，所述最终优化目标的方法包括如下步骤：
S1.1、给定标签类别共有N类，样本x经过特征提取得到一个N维的特征向量，则该样本对第j类的概率表示为：
Figure BDA0002310171030000022
S1.2、获得GAN的监督损失，将输入到判别器的生成样本所属的类别定义为第N+1类，则来自生成样本的概率表示为：
pmodel(y＝N+1|x)……(3)；
S1.3、判别的训练样本一半来自真实样本，另一半来自生成样本，则半监督生成对抗网络判别器D的损失函数可表示为：带标签的训练贡献于监督损失与无标签训练样本贡献于无监督对抗损失之和，其公式如下：
Figure BDA0002310171030000023
作为优选，所述判别器D的目标优化方法如下：
S2.1、从标注合格的膝关节OA影像数据中抽取m个样本；
S2.2、从标注不合格的膝关节OA影像数据中抽取m个噪声样本；
S2.3、将m个样本和m个噪声样本输入生成器G，生成数据
Figure BDA0002310171030000024
S2.4、通过梯度上升法跟新迭代判别器D的参数，
Figure BDA0002310171030000025
以使得极大化
Figure BDA0002310171030000026
作为优选，所述判别器D的目标优化函数公式如下：
Figure BDA0002310171030000027
作为优选，所述生成器G的目标优化方法如下：
S3.1、从标注不合格的膝关节OA影像数据中另外抽取m个噪声样本{z1,z2,...zm}；
S3.2、通过梯度下降法，更新迭代生成器G参数
Figure BDA0002310171030000031
以使得极大化
Figure BDA0002310171030000032
作为优选，所述生成器G的目标优化函数如下：
Figure BDA0002310171030000033
与现有技术相比，本发明的有益效果：该基于生成对抗网络的TKA术前临床分期智能评估方法中，采集合格的膝关节OA影像学数据和不合格的膝关节OA影像学数据，将所得到的训练集将作为生成对抗网络中判别网络的真实样本对生成对抗网络模型的生成器和判别器进行训练，得出膝关节OA影像学数据最优函数，以便于减少医生间水平的差异，实现从前期辅助医生判断到成熟后独立决策的过程。
附图说明
图1为本发明的整体方法流程框图；
图2为本发明的最终优化目标的方法流程图；
图3为本发明的判别器D的目标优化方法流程图；
图4为本发明的判别器D的目标优化方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图4所示，本发明提供一种技术方案：
本发明提供基于生成对抗网络的TKA术前临床分期智能评估方法，其方法步骤如下：
S1、收集膝关节OA影像学数据，收集X线全长片数据，并配合术下肢全长CT容积扫描影像数据、骨密度数据、MR T1/T2/3D-FS-SPGR软骨成像序列数据、组织样本、病人一般资料等资料，进行筛选并进行临床分期的训练样本的数据标注；
S2、将标注合格的膝关节OA影像学数据记作pdata，将标注不合格的膝关节OA影像学数据记作pz；
S3、建立生成器G，将将标注不合格的膝关节OA影像学数据输入生成器G，采用多层感知机的网络结构，用MLP的参数来表示可导映射G(z)，将输入空间映射到样本空间；
S4、建立判别器D，将标注合格的膝关节OA影像学数据集x和生成器伪造的样本G(x)，判别器采用带有参数的多层感知机，记为D(x)；
S5、训练过程中，以常规GAN的目标函数表示最终优化目标，最终优化目标的公式为：
Figure BDA0002310171030000041
本实施例中，最终优化目标的方法包括如下步骤：
S1.1、给定标签类别共有N类，样本x经过特征提取得到一个N维的特征向量，则该样本对第j类的概率表示为：
Figure BDA0002310171030000042
S1.2、获得GAN的监督损失，将输入到判别器的生成样本所属的类别定义为第N+1类，则来自生成样本的概率表示为：
pmodel(y＝N+1|x)……(3)；
S1.3、判别的训练样本一半来自真实样本，另一半来自生成样本，则半监督生成对抗网络判别器D的损失函数可表示为：带标签的训练贡献于监督损失与无标签训练样本贡献于无监督对抗损失之和，其公式如下：
Figure BDA0002310171030000043
进一步的，判别器D的目标优化方法如下：
S2.1、从标注合格的膝关节OA影像数据中抽取m个样本；
S2.2、从标注不合格的膝关节OA影像数据中抽取m个噪声样本；
S2.3、将m个样本和m个噪声样本输入生成器G，生成数据
Figure BDA0002310171030000051
S2.4、通过梯度上升法跟新迭代判别器D的参数，
Figure BDA0002310171030000052
以使得极大化
其中，判别器D的目标优化函数公式如下：
Figure BDA0002310171030000054
其中，定义判别器D以判别样本是不是从Pdata(x)分布中取出来，因此：
Figure BDA0002310171030000055
其中，E为代取期望，辨别出x属于真实数据data的对数损失函数而构建的，最大化这一项相当于令判别器D在x服从data的概率密度时能准确地预测D(x)＝1，即：
Figure BDA0002310171030000059
具体的，生成器G的目标优化方法如下：
S3.1、从标注不合格的膝关节OA影像数据中另外抽取m个噪声样本{z1,z2,...zm}；
S3.2、通过梯度下降法，更新迭代生成器G参数
Figure BDA0002310171030000056
以使得极大化
Figure BDA0002310171030000057
其中，生成器G的目标优化函数如下：
Figure BDA0002310171030000058
值得说明的是，对于判别器D来说，判别器D尽可能的区分真实样本和虚假样本，因此希望D(x)尽可能的大，D(G(x))尽可能的小，即V(D,G)尽可能的大，对于生成器G来说，生成器G希望尽可能的骗过D，也就是希望D(G(x))尽可能的大，即V(D,G)尽可能的小，两个模型相对抗，最后达到全局最优。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.基于生成对抗网络的TKA术前临床分期智能评估方法，其方法步骤如下：
S1、收集膝关节OA影像学数据，收集X线全长片数据，并配合术下肢全长CT容积扫描影像数据、骨密度数据、MR T1/T2/3D-FS-SPGR软骨成像序列数据、组织样本、病人一般资料等资料，进行筛选并进行临床分期的训练样本的数据标注；
S2、将标注合格的膝关节OA影像学数据记作pdata，将标注不合格的膝关节OA影像学数据记作pz；
S3、建立生成器G，将将标注不合格的膝关节OA影像学数据输入生成器G，采用多层感知机的网络结构，用MLP的参数来表示可导映射G(z)，将输入空间映射到样本空间；
S4、建立判别器D，将标注合格的膝关节OA影像学数据集x和生成器伪造的样本G(x)，判别器采用带有参数的多层感知机，记为D(x)；
S5、训练过程中，以常规GAN的目标函数表示最终优化目标，最终优化目标的公式为：
Figure FDA0002310171020000011
2.根据权利要求1所述的基于生成对抗网络的TKA术前临床分期智能评估方法，其特征在于：所述最终优化目标的方法包括如下步骤：
S1.1、给定标签类别共有N类，样本x经过特征提取得到一个N维的特征向量，则该样本对第j类的概率表示为：
Figure FDA0002310171020000012
S1.2、获得GAN的监督损失，将输入到判别器的生成样本所属的类别定义为第N+1类，则来自生成样本的概率表示为：
pmodel(y＝N+1|x)……(3)；
S1.3、判别的训练样本一半来自真实样本，另一半来自生成样本，则半监督生成对抗网络判别器D的损失函数可表示为：带标签的训练贡献于监督损失与无标签训练样本贡献于无监督对抗损失之和，其公式如下：
Figure FDA0002310171020000021
3.根据权利要求1所述的基于生成对抗网络的TKA术前临床分期智能评估方法，其特征在于：所述判别器D的目标优化方法如下：
S2.1、从标注合格的膝关节OA影像数据中抽取m个样本；
S2.2、从标注不合格的膝关节OA影像数据中抽取m个噪声样本；
S2.3、将m个样本和m个噪声样本输入生成器G，生成数据
Figure FDA0002310171020000022
S2.4、通过梯度上升法跟新迭代判别器D的参数，以使得极大化
Figure FDA0002310171020000024
4.根据权利要求3所述的基于生成对抗网络的TKA术前临床分期智能评估方法，其特征在于：所述判别器D的目标优化函数公式如下：
Figure FDA0002310171020000025
5.根据权利要求1所述的基于生成对抗网络的TKA术前临床分期智能评估方法，其特征在于：所述生成器G的目标优化方法如下：
S3.1、从标注不合格的膝关节OA影像数据中另外抽取m个噪声样本{z1,z2,...zm}；
S3.2、通过梯度下降法，更新迭代生成器G参数
Figure FDA0002310171020000026
以使得极大化
Figure FDA0002310171020000027
6.根据权利要求5所述的基于生成对抗网络的TKA术前临床分期智能评估方法，其特征在于：所述生成器G的目标优化函数如下：
Figure FDA0002310171020000028
CN201911255619.6A 2019-12-10 2019-12-10 基于生成对抗网络的tka术前临床分期智能评估方法 Pending CN111028941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911255619.6A CN111028941A (zh) 2019-12-10 2019-12-10 基于生成对抗网络的tka术前临床分期智能评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911255619.6A CN111028941A (zh) 2019-12-10 2019-12-10 基于生成对抗网络的tka术前临床分期智能评估方法

Publications (1)

Publication Number Publication Date
CN111028941A true CN111028941A (zh) 2020-04-17

Family

ID=70208322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911255619.6A Pending CN111028941A (zh) 2019-12-10 2019-12-10 基于生成对抗网络的tka术前临床分期智能评估方法

Country Status (1)

Country Link
CN (1) CN111028941A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113555106A (zh) * 2020-04-23 2021-10-26 浙江远图互联科技股份有限公司 一种基于生成对抗网络的智能中医远程辅助诊疗平台

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091387A1 (en) * 2015-09-25 2017-03-30 Varian Medical Systems International Ag. Clinical goal treatment planning and optimization
CN108665058A (zh) * 2018-04-11 2018-10-16 徐州工程学院 一种基于分段损失的生成对抗网络方法
CN109086658A (zh) * 2018-06-08 2018-12-25 中国科学院计算技术研究所 一种基于生成对抗网络的传感器数据生成方法与系统
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN110176302A (zh) * 2019-04-17 2019-08-27 南京医科大学 利用生成对抗网络模型的下肢力线智能标定确认方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091387A1 (en) * 2015-09-25 2017-03-30 Varian Medical Systems International Ag. Clinical goal treatment planning and optimization
CN108665058A (zh) * 2018-04-11 2018-10-16 徐州工程学院 一种基于分段损失的生成对抗网络方法
CN109086658A (zh) * 2018-06-08 2018-12-25 中国科学院计算技术研究所 一种基于生成对抗网络的传感器数据生成方法与系统
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN110176302A (zh) * 2019-04-17 2019-08-27 南京医科大学 利用生成对抗网络模型的下肢力线智能标定确认方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113555106A (zh) * 2020-04-23 2021-10-26 浙江远图互联科技股份有限公司 一种基于生成对抗网络的智能中医远程辅助诊疗平台

Similar Documents

Publication Publication Date Title
US11850021B2 (en) Dynamic self-learning medical image method and system
US11127137B2 (en) Malignancy assessment for tumors
Joshi et al. A survey of fracture detection techniques in bone X-ray images
CN109493308A (zh) 基于条件多判别生成对抗网络的医疗图像合成与分类方法
CN111223085A (zh) 一种基于神经网络的头部医疗影像辅助判读报告生成方法
Sridhar et al. A Torn ACL Mapping in Knee MRI Images Using Deep Convolution Neural Network with Inception‐v3
CN111080676B (zh) 一种通过在线分类跟踪内窥镜图像序列特征点的方法
Zeng et al. [Retracted] Multicentre Study Using Machine Learning Methods in Clinical Diagnosis of Knee Osteoarthritis
CN116864140A (zh) 一种心内科术后护理监测数据处理方法及其系统
CN111028941A (zh) 基于生成对抗网络的tka术前临床分期智能评估方法
Duvieusart et al. Multimodal cardiomegaly classification with image-derived digital biomarkers
Al-Haija et al. Development of breast cancer detection model using transfer learning of residual neural network (resnet-50)
CN117322865B (zh) 基于深度学习的颞下颌关节盘移位mri检查诊断系统
Huang et al. Multi-target osteosarcoma MRI recognition with texture context features based on CRF
Sharma et al. Knee implant identification by fine-tuning deep learning models
CN117174238A (zh) 基于人工智能的病理学报告自动生成方法
Wu et al. SVTNet: Automatic bone age assessment network based on TW3 method and vision transformer
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
CN110930399A (zh) 基于支持向量机的tka术前临床分期智能评估方法
Biesner et al. Improving chest x-ray classification by RNN-based patient monitoring
CN118262220B (zh) 放射影像报告的质量评估方法、装置和设备
Guo et al. A multi-branch network to detect post-operative complications following hip arthroplasty on X-ray images
Zhao et al. Hyper Association Graph Matching with Uncertainty Quantification for Coronary Artery Semantic Labeling
US20230096522A1 (en) Method and system for annotation of medical images
CN118314371A (zh) 一种用于消化内镜报告图文纠错的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417

RJ01 Rejection of invention patent application after publication