CN108805953A - 一种基于lfp相位特征和k近邻算法的简单图像重建方法 - Google Patents

一种基于lfp相位特征和k近邻算法的简单图像重建方法 Download PDF

Info

Publication number
CN108805953A
CN108805953A CN201810617042.8A CN201810617042A CN108805953A CN 108805953 A CN108805953 A CN 108805953A CN 201810617042 A CN201810617042 A CN 201810617042A CN 108805953 A CN108805953 A CN 108805953A
Authority
CN
China
Prior art keywords
data
sample
target
stimulus data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810617042.8A
Other languages
English (en)
Inventor
王治忠
王松伟
牛晓可
张彦昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Boone Technology Co Ltd
Original Assignee
Zhengzhou Boone Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Boone Technology Co Ltd filed Critical Zhengzhou Boone Technology Co Ltd
Priority to CN201810617042.8A priority Critical patent/CN108805953A/zh
Publication of CN108805953A publication Critical patent/CN108805953A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/005Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于LFP相位特征和K近邻算法的简单图像重建方法,涉及信息处理技术领域,包括以下步骤:采集图像刺激下的脑视皮层局部场电位信号,分别对图像刺激和局部场电位信号处理后得到样本刺激数据、目标刺激数据、样本响应数据和目标响应数据;根据样本响应数据和目标响应数据,获取样本相位特征和目标相位特征,并构建样本响应矩阵和目标响应矩阵;根据样本刺激数据和样本响应矩阵,并通过K近邻算法构建图像解码器;将目标响应矩阵代入解码器,获取目标解码刺激数据后得到简单图像。解决了现有基于生物视觉实现图像刺激重建存在的图像重建实验过程复杂,重建图像效果差、不清晰的问题。

Description

一种基于LFP相位特征和K近邻算法的简单图像重建方法
技术领域
本发明涉及信息处理技术领域,尤其涉及一种基于LFP相位特征和K近邻算法的简单图像重建方法。
背景技术
大脑是一种极其复杂的神经系统,是实现各种信息处理的中枢。其中,视觉系统是动物感知外界环境的主要感知系统。对动物视觉系统的研究已经成为了神经科学、智能科学、计算机科学、生物科学等多种学科所共同关注的重要课题之一。研究证明,动物大脑所获取的外界信息中,视觉信息占80%以上。通过植入式的微电极阵列检测脑神经元局部场电位(LFP)信号,提取响应特征,构建图像重建模型,实现视觉感知信息的重建是一个极具挑战性的问题。
丹阳等人曾经采用多只猫的外侧膝状体的神经元动作电位信号重建了八段视频图像。其提取了神经元动作电位的集群响应特征,设计了重建算法,并对重建效果进行了评估。ElaheYargholi等人基于功能核磁共振成像的方式,利用贝叶斯网络对手写数字进行了重建。其中,丹阳等人需要利用大量的神经元才能实现视频图像重建实验过程复杂,ElaheYargholi等人的实验虽然简单但是模型参数选择不易确定且重建结果不太理想,重建图像不清晰。当前视频图像获取的主要途径为摄像机、照相机,但是专业摄像机、相机体积大,操作繁杂。镶嵌在手机等设备上的小型相机不能很好的解放双手并及时有效的记录瞬间,且记录的内容不具有针对性,本文提出了一种基于生物脑电的图像获取方法。
发明内容
本发明的目的在于:提供一种基于LFP相位特征和K近邻算法的简单图像重建方法,解决现有基于生物视觉实现图像刺激重建存在的图像重建实验过程复杂,重建图像效果差、不清晰的问题。
本发明采用的技术方案如下:
一种基于LFP相位特征和K近邻算法的简单图像重建方法,包括以下步骤:
S1:采集图像刺激下的脑视皮层局部场电位信号,分别对图像刺激和局部场电位信号处理后得到样本刺激数据、目标刺激数据、样本响应数据和目标响应数据;
S2:根据样本响应数据和目标响应数据,获取样本相位特征和目标相位特征,并构建样本响应矩阵和目标响应矩阵;
S3:根据样本刺激数据和样本响应矩阵,并通过K近邻算法构建解码器;
S4:将目标响应矩阵输入解码器,获取目标解码刺激数据后得到简单图像。
进一步的,还包括步骤:
S5:根据目标刺激数据和目标解码刺激数据进行简单图像评估。
进一步的,所述步骤S1具体步骤如下:
S101:选取刺激图像,并对刺激图像进行扫屏模式处理,提取扫屏模式下感受野位置的刺激数据得到样本刺激数据和目标刺激数据;
S102:利用刺激播放器播放刺激数据,采集播放时动物脑视皮层局部场电位信号;
S103:对局部场电位信号进行滤波处理后得到样本响应数据和目标响应数据。
进一步的,所述步骤S2具体步骤如下:
S201:对样本响应数据和目标响应数据进行离散傅里叶变换;
S202:提取每个频率采样点处的相位特征,得到样本相位特征和目标相位特征;
S203:根据样本相位特征和目标相位特征构建样本响应矩阵R和目标响应矩阵R1
进一步的,所述步骤S3具体步骤如下:
S301:基于样本响应数据矩阵R和样本刺激数据,利用K近邻算法构建图像解码器W。
进一步的,所述步骤S4具体步骤如下:
S401:将目标响应矩阵R1代入解码器W,获取目标解码刺激数据U;
S402:通过解码刺激数据U得到简单图像。
进一步的,所述步骤S5具体步骤如下:
S501:根据目标刺激数据和目标解码刺激数据U获得归一化互相关系数ρs,u
ρs,u为归一化互相关系数,ρs,u∈[-1,1],s(n)为第n个目标刺激数据组成的矩阵,u(n)为第n个目标解码刺激数据组成的矩阵;
S502:根据归一化互相关系数ρs,u对重建图像进行评估。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1.本发明通过提取生物的脑电信号中的LFP,提取更具有针对性的相位特征,排除过多的干扰信息对重建结果的影响,简化了重建模型,同时使得重建图像的还原度更高,重建图像的重建互相关系数达到0.85。
2.本发明根据目标刺激数据以及目标解码刺激数据获得归一化互相关系数,根据归一化互相关系数对图像重建的效果进行评价,从而获得图像重建直接评估数据。
3.本发明采用扫屏模式,将图片进行了有效分割,从而保证了在生物神经元在不动的情况下可以看到整张图片,然后在神经元响应中找到了有效表征相应像素块的特征即相位特征,之后利用集群信息得到较好的重建结果。
4.本发明充分利用了动物视觉系统在复杂场景下快速目标提取与识别能力,提供一种基于生物脑电信号重建进行自动拍照的方法,可以随时记录外界场景的信息。
附图说明
图1为本发明方法流程图;
图2为本发明感受野测试刺激示意图;
图3为本发明感受野测试刺激对应的感受野位置图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
一种基于LFP相位特征和K近邻算法的简单图像重建方法,包括以下步骤:
S1:采集图像刺激下的脑视皮层局部场电位信号,分别对图像刺激和局部场电位信号处理后得到样本刺激数据、目标刺激数据、样本响应数据和目标响应数据;
选取简单图像作为刺激图像,并对刺激图像进行扫屏模式处理,提取扫屏模式下感受野位置的刺激数据得到样本刺激数据和目标刺激数据,并利用刺激图像播放器向被测试动物依次播放刺激数据,通过预先植入动物脑视觉皮下的多通道微电极阵列,采集每一次刺激图像播放时多个神经元产生的局部场电位信号,直至所有刺激数据播放完毕,对局部场电位信号进行50Hz滤波处理后得到响应数据,并将响应数据相应分为样本响应数据、目标响应数据。
样本刺激数据S:
其中,sei表示在第i个刺激图像第e个像素块的灰度值,E表示像素块的的大小,M表示刺激图像的个数,类似的,目标刺激数据S1的获取原理相同。
S2:根据样本响应数据和目标响应数据,获取样本相位特征和目标相位特征,并构建样本响应矩阵和目标响应矩阵;
将采集的响应数据进行离散傅里叶变换,提取多个神经元在频率f的电位信号相位特征,得到样本相位特征和目标相位特征,根据样本相位特征和目标相位特征构建样本响应矩阵R和目标响应矩阵R1
根据样本响应数据的相位特征构造样本响应矩阵R:
其中,表示在第i个像素块刺激数据、v通道神经元局部场电位信号的第j个相位特征,类似的,目标响应矩阵R1获取步骤相同。
S3:根据样本刺激数据和样本响应矩阵,并通过K近邻算法构建解码器W;
解码器解码流程:
1.计算目标响应数据与样本响应数据之间的差异值,差异值的大小由欧氏距离决定,xj为样本响应数据矩阵R,yj为样本响应数据矩阵R1
2.将差异值按照由小到大排序,选出前面K(K的选取有经验值)个类别(不同的样本刺激即为不同的类),并统计在K个中类别出现次数最多的类别为最相似的类,最终将待解码的目标数据分到最相似的样本数据对应的类中。
S4:将目标响应矩阵输入解码器W,获取目标解码刺激数据后得到简单图像。
根据目标相位特征构造样本响应数据矩阵R1(此处R1构造原理和R构造原理相同)再根据解码模型W和样本响应数据矩阵R1获取目标解码刺激数据U;
S5:根据目标刺激数据和目标解码刺激数据进行简单图像评估。
根据目标刺激数据和目标重建刺激数据获得归一化互相关系数ρs,u
ρs,u为归一化互相关系数,ρs,u∈[-1,1],s(n)为目标刺激数据组成的矩阵,u(n)为目标重建刺激数据组成的矩阵,根据归一化互相关系数ρs,u对重建简单图像进行评估。
实施例1
如图1所示,在进行实验之前需要选定合适的实验对象进行手术,手术的目的是将32通道微电极阵列植入动物脑视皮层的神经元中,植入深度为500-1200um,以便后续的局部场电位信号的采集。
在手术恢复后需要生成感受野刺激并寻找到感受野较好的神经元通道,然后针对这些神经元实现对不同刺激图像数据实现重建,本实施例采用如图2所示棋盘格实验采用随机闪动的灰底黑棋盘格作为图像刺激,棋盘格为15*15灰底单黑格,共225个格子,灰底的亮度值是128,黑格的亮度值为0,在一个周期内,黑格随机出现,且所有225个棋盘格的点都只出现一次黑格,时间频率20Hz,即黑格每次显示50ms,采用经典的基于Spikes发放率的反向相关方法确定神经元感受野的位置,如图3所示,本实施例重复15次实验,采用叠加求平均值的方法减少实验中可能出现的随机误差。
确定感受野位置之后,本发明以三角形图像刺激为例,进行简单图像刺激播放,简单图像刺激播放方式为依次从下向上,每次移动2个像素点,每从下向上移动一次同时从右向左以2个像素点进行移动,确保每4个像素点(2×2)进行扫屏并且整个图片都经过了每个神经元感受野的中心,在每次图像刺激后加入灰屏休息,如此重复循环5次,每组实验图片为16000张,其中刺激图片数量为8000张,其中训练时所用的刺激图片为6400张,测试时所用的刺激图片为1600张;
再进行特征提取及解码器构建,并用互相关系数对重建简单图像进行评估,特征采用的是LFP信号中的相位特征,然后以互相关系数为指标,分析不同通道、通道数目、截取的数据时间长短、延迟时间以及频带对重建图像的影响,以确定最优的重建参数,然后选取最优参数进行简单图像重建,通道数目的确定是为了防止某些不好的神经元对重建图像结果的影响。
首先进行通道的选择,设置数据时间长短为0.4s,延迟时间为0.01s,对单通道进行简单图像重建,并求出32个单通道的重建图像的归一化相关系数,然后通过通道各自归一化相关系数进行排序,从最优通道逐次累加通道进行不同通道数量的累加,得到不同通道数量重建图像的归一化相关系数,进而选择归一化相关系数最大的通道数量。
在确定重建通道数量后,设置延迟时间为0.01s,进行最优数据时间长短选取,分别设置数据时间长短为0-1s,以0.05s为时间间隔,总共有20个数据,从20个数据中根据归一化相关系数确定最优数据时间长度,当数据时间长度超过最优数据时间长度时,重建归一化相关系数趋于饱和。
在确定数据时间长短后,根据实验获得最优数据时间为0.55s,因此延迟时间范围为0-0.55s,以0.01s为时间间隔,总共有56个数据,从56个数据中根据归一化相关系数确定最优延迟时间,当延迟时间超过最优延迟时间时,重建归一化相关系数开始显著下降。
在确定延迟时间后,LFP信号特征进行频带选取,因为LFP信号属于低频信息,所以频带范围为1Hz-250Hz,设置频带范围是f1-f2,f1的范围为1-200Hz,间隔为5Hz,f2的范围为150Hz-250Hz,间隔为5Hz,根据归一化相关系数确定最优频率带的范围。
采用获得的最优参数,对三角形图像进行测试图像重建,通过计算重建图像的重建相关系数为0.85。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于LFP相位特征和K近邻算法的简单图像重建方法,其特征在于,包括以下步骤:
S1:采集图像刺激下的脑视皮层局部场电位信号,分别对图像刺激和局部场电位信号处理后得到样本刺激数据、目标刺激数据、样本响应数据和目标响应数据;
S2:根据样本响应数据和目标响应数据,获取样本相位特征和目标相位特征,并构建样本响应矩阵和目标响应矩阵;
S3:根据样本刺激数据和样本响应矩阵,并通过K近邻算法构建解码器;
S4:将目标响应矩阵代入解码器,获取目标解码刺激数据后得到简单图像。
2.根据权利要求1所述一种基于LFP相位特征和K近邻算法的简单图像重建方法,其特征在于,还包括步骤:
S5:根据目标刺激数据和目标解码刺激数据进行简单图像评估。
3.根据权利要求1所述一种基于LFP相位特征和K近邻算法的简单图像重建方法,其特征在于,所述步骤S1具体步骤如下:
S101:选取刺激图像,并对刺激图像进行扫屏模式处理,提取扫屏模式下感受野位置的刺激数据得到样本刺激数据和目标刺激数据;
S102:利用刺激播放器播放刺激数据,采集播放时动物脑视皮层局部场电位信号;
S103:对局部场电位信号进行滤波处理后得到样本响应数据和目标响应数据。
4.根据权利要求1所述一种基于LFP相位特征和K近邻算法的简单图像重建方法,其特征在于,所述步骤S2具体步骤如下:
S201:对样本响应数据和目标响应数据进行离散傅里叶变换;
S202:提取每个频率采样点处的相位特征,得到样本相位特征和目标相位特征;
S203:根据样本相位特征和目标相位特征构建样本响应矩阵R和目标响应矩阵R1
5.根据权利要求1所述一种基于LFP相位特征和K近邻算法的简单图像重建方法,其特征在于,所述步骤S3具体步骤如下:
S301:基于样本响应数据矩阵R和样本刺激数据,利用K近邻算法构建解码器W。
6.根据权利要求1所述一种基于LFP相位特征和K近邻算法的简单图像重建方法,其特征在于,所述步骤S4具体步骤如下:
S401:将目标响应矩阵R1代入解码器W,获取目标解码刺激数据U;
S402:通过解码刺激数据U得到简单图像。
7.根据权利要求1所述一种基于LFP相位特征和K近邻算法的简单图像重建方法,其特征在于,所述步骤S5具体步骤如下:
S501:根据目标刺激数据和目标解码刺激数据U获得归一化互相关系数ρs,u
ρs,u为归一化互相关系数,ρs,u∈[-1,1],s(n)为第n个目标刺激数据组成的矩阵,u(n)为第n个目标解码刺激数据组成的矩阵;
S502:根据归一化互相关系数ρs,u对重建图像进行评估。
CN201810617042.8A 2018-06-15 2018-06-15 一种基于lfp相位特征和k近邻算法的简单图像重建方法 Pending CN108805953A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810617042.8A CN108805953A (zh) 2018-06-15 2018-06-15 一种基于lfp相位特征和k近邻算法的简单图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810617042.8A CN108805953A (zh) 2018-06-15 2018-06-15 一种基于lfp相位特征和k近邻算法的简单图像重建方法

Publications (1)

Publication Number Publication Date
CN108805953A true CN108805953A (zh) 2018-11-13

Family

ID=64086435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810617042.8A Pending CN108805953A (zh) 2018-06-15 2018-06-15 一种基于lfp相位特征和k近邻算法的简单图像重建方法

Country Status (1)

Country Link
CN (1) CN108805953A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688952A (zh) * 2021-10-25 2021-11-23 中国科学院自动化研究所 基于自适应脑电通道选择的脑机接口解码加速方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130184558A1 (en) * 2009-03-04 2013-07-18 The Regents Of The University Of California Apparatus and method for decoding sensory and cognitive information from brain activity
CN106896069A (zh) * 2017-04-06 2017-06-27 武汉大学 一种基于彩色数码相机单幅rgb图像的光谱重建方法
CN107248180A (zh) * 2017-05-08 2017-10-13 西安交通大学 一种基于隐状态模型的fMRI自然图像解码方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130184558A1 (en) * 2009-03-04 2013-07-18 The Regents Of The University Of California Apparatus and method for decoding sensory and cognitive information from brain activity
CN106896069A (zh) * 2017-04-06 2017-06-27 武汉大学 一种基于彩色数码相机单幅rgb图像的光谱重建方法
CN107248180A (zh) * 2017-05-08 2017-10-13 西安交通大学 一种基于隐状态模型的fMRI自然图像解码方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WANG SONGWEI等: ""Luminance information decoding on the basis of local field potential signals of pigeon optic tectum neurons"", 《NEUROREPORT》 *
师黎等: "基于信鸽视顶盖神经集群响应的目标类别解码", 《科学技术与工程》 *
高庆一等: "视觉感知的目标识别算法", 《哈尔滨工业大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688952A (zh) * 2021-10-25 2021-11-23 中国科学院自动化研究所 基于自适应脑电通道选择的脑机接口解码加速方法及系统
CN113688952B (zh) * 2021-10-25 2022-01-25 中国科学院自动化研究所 基于自适应脑电通道选择的脑机接口解码加速方法及系统

Similar Documents

Publication Publication Date Title
Wang et al. Measuring visual saliency by site entropy rate
Ozcelik et al. Reconstruction of perceived images from fmri patterns and semantic brain exploration using instance-conditioned gans
CN105447884B (zh) 一种基于流形特征相似度的图像质量客观评价方法
CN106097327B (zh) 结合流形特征及双目特性的立体图像质量客观评价方法
Hegdé Time course of visual perception: coarse-to-fine processing and beyond
DE112013003859T5 (de) Identifizieren von Schlüsselrahmen unter Verwendung einer auf dünner Besiedelung basierenden Gruppenanalyse
CN112288668B (zh) 基于深度无监督密集卷积网络的红外和可见光图像融合方法
Adab et al. Perceptual learning of simple stimuli modifies stimulus representations in posterior inferior temporal cortex
Morgan et al. Scene representations conveyed by cortical feedback to early visual cortex can be described by line drawings
CN109816630A (zh) 基于迁移学习的fMRI视觉编码模型构建方法
CN111436929A (zh) 一种神经生理信号的生成和识别方法
CN106446833B (zh) 一种用于复杂场景图像识别的多通道仿生视觉方法
CN107248180A (zh) 一种基于隐状态模型的fMRI自然图像解码方法
CN104778466A (zh) 一种联合多种上下文线索的图像关注区域检测方法
Groen et al. Low-level contrast statistics are diagnostic of invariance of natural textures
Naz et al. Deep autoencoder-decoder framework for semantic segmentation of brain tumor
CN108961219A (zh) 基于局部场电位幅值相位复合特征的自然图像重建方法
Guo et al. Visual complexity assessment of painting images
Cadena et al. Diverse task-driven modeling of macaque V4 reveals functional specialization towards semantic tasks
Berga et al. A neurodynamic model of saliency prediction in v1
CN108805953A (zh) 一种基于lfp相位特征和k近邻算法的简单图像重建方法
CN108985332A (zh) 基于动作电位发放间隔的自然图像随机森林成像方法
Cerf et al. Decoding what people see from where they look: Predicting visual stimuli from scanpaths
CN104820988B (zh) 一种无参考立体图像质量客观评价方法
CN110298341A (zh) 一种基于方向选择性的增强图像显著性预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181113