CN113094014A - 一种医学教育系统的桌面真三维显示方法 - Google Patents

一种医学教育系统的桌面真三维显示方法 Download PDF

Info

Publication number
CN113094014A
CN113094014A CN202110381964.5A CN202110381964A CN113094014A CN 113094014 A CN113094014 A CN 113094014A CN 202110381964 A CN202110381964 A CN 202110381964A CN 113094014 A CN113094014 A CN 113094014A
Authority
CN
China
Prior art keywords
true
image
medical education
dimensional display
desktop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110381964.5A
Other languages
English (en)
Inventor
刘浩
曾超
贾利红
魏爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Hongwei Technology Co Ltd
Original Assignee
Sichuan Hongwei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Hongwei Technology Co Ltd filed Critical Sichuan Hongwei Technology Co Ltd
Priority to CN202110381964.5A priority Critical patent/CN113094014A/zh
Publication of CN113094014A publication Critical patent/CN113094014A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种医学教育系统的桌面真三维显示方法。该方法首先利用真三维采集系统对医疗教育内容进行数据采集,并对采集得到的图片内容进行合成处理,得到24位真彩色图像,然后对真彩色图像进行RGB分离,并传输给桌面真三维显示系统的图像解码模块,之后图像解码模块分别对R、G、B三种信息进行解码,并将解码得到的信息序列传输到DMD核心控制模块,最后DMD核心控制模块基于接收到的信息序列,控制桌面真三维显示系统的高速投影机模块对医疗教育内容进行真三维显示。该系统可以“真实立体”的呈现医疗教育内容,极大的提高学员学习效率。

Description

一种医学教育系统的桌面真三维显示方法
技术领域
本发明涉及桌面真三维显示技术领域,尤其涉及一种医学教育系统的桌面真三维显示方法。
背景技术
迈入21世纪,人类更加关注自身的卫生健康与生命,由此,医学教育领域得到了日新月异的发展。无论从临床诊断到手术治疗,还是从医疗设备到医疗理念均发生了沧桑巨变。目前,随着信息通信技术与远程医学教育的发展,医学教育中的临床医学技能培养正在酝酿一次全新的革命,即把计算机软、硬件技术、三维图形图像、自动控制与导航、机器人、生物化学以及核技术等同传统临床医学有机结合起来,催生了先进的临床医疗理念、方法、手段和设备。
随着医疗设备日趋精密、智能、高效,医疗系统也正在向信息化、数字化、网络化高速迈进,医学领域的新技术、新方法、新理论、新知识日新月异。广大医务工作者对医疗知识的及时更新及其自身对知识的渴望也愈来愈强烈,远程教育、终身教育的重要性,已成为国内外医学界广为关注的焦点。
在传统的远程医疗教育平台中,如专利申请号为201210530990.0的一种远程医疗教育平台中,公开利用远程教育平台来降低医生学习成本,解决我国医疗水平发展不平衡的问题,但其学习系统还是基于传统教学模式的教育平台系统,无法“真实立体”的呈现医疗教育内容,不利于学员进行临床实践学习。因此,有必要针对现状设计出一种真三维医疗教育系统,以其“真实立体”的教学方式来满足医学教学发展的需要。
发明内容
本发明的目的是克服现有技术中存在的不足,提供一种医学教育系统的桌面真三维显示方法。该方法可以“真实立体”的呈现医疗教育内容,极大的提高学员学习效率。
为了达到上述技术效果,本发明提供了如下技术方案:
一种医学教育系统的桌面真三维显示方法,包括以下步骤:
a.利用真三维采集系统对医疗教育内容进行数据采集;
b.对采集得到的图片内容进行合成处理,得到24位真彩色图像;
c.对真彩色图像进行RGB分离,并传输给桌面真三维显示系统的图像解码模块;
d.图像解码模块分别对R、G、B三种信息进行解码,并将解码得到的信息序列传输到DMD核心控制模块;
e.DMD核心控制模块基于接收到的信息序列,控制桌面真三维显示系统的高速投影机模块对医疗教育内容进行真三维显示。
进一步的技术方案为,步骤a具体为首先在圆周上安装多台CCD相机,每台CCD相机同时拍摄各自视角方向的视图;然后采用视图插值的方法构建更为密集的视图分布。
进一步的技术方案为,步骤b的具体实现方式为:
1)将分辨率为1920×1080的1-bit图像IMG1压缩成分辨率为192×1080的8-bit图像IMG2;
2)将分辨率192×1080的8-bit图像IMG2转换成分辨率5760×45的8-bit图像IMG3;
3)将分辨率5760×45的8-bit图像IMG3转换成分辨率12288×4500的24-bit图像IMG4;IMG4即为需求分辨率12288×4500的24位真彩色图像。
进一步的技术方案为,步骤c所述对真彩色图像进行RGB分离的具体方式为:将医疗教育内容的真彩色图像信息导入数字软件Matlab中,在Matlab中实现R、G、B信息的分离得到三幅分别只包含R信息的数据图、G信息的数据图以及B信息的数据图。
进一步的技术方案为,步骤d具体实现方式为:图像解码电路是数据处理与传输系统最重要的部分,它是连接绘制端与显示端的桥梁,图像解码电路包括FPGA芯片及其驱动电路和内存条,计算机显卡将所有可能用到的图像序列进行编码并R,G,B分离后传输给图像解码电路,图像解码电路对其解码后再根据外界信号决定投影哪一幅图像,附加的内存条即是为了存储由显卡传输来的数据。
进一步的技术方案为,步骤e具体实现方式为:光场显示系统中的高速投影机具有三块DMD芯片,DMD核心控制模块控制三块DMD芯片分别对应医疗教育内容的R、G、B三种信息图像,使用RGB三种颜色的LED光源对每块DMD芯片进行独立照明,再通过合色棱镜实现医疗教育内容的彩色真三维显示。
与现有技术相比,本发明具有如下有益效果:该方法可以“真实立体”的呈现医疗教育内容,极大的提高学员学习效率,且操作方便。
附图说明
图1是本发明一种医学教育系统的桌面真三维显示方法的示意图。
具体实施方式
下面结合附图和具体的实施方式对本发明作进一步详细的描述。
实施例1
如图1所示,图1中的101是利用真三维采集系统对医疗教育内容进行数据采集,其具体方式为:首先在一定高度的圆周上安装一周的CCD相机,每台CCD相机同时拍摄各自视角方向的视图;然后采用视图插值的方法构建更为密集的视图分布。
在本实例中,相机在某一点进行拍摄时,相当于对从场景出射并经过相机所在位置的所有光线的强度进行了记录,如果已知相机的位置和焦距,就相当于记录了经过该点的所有光线的方向和强度信息。当我们利用相机在水平面上围绕物体进行拍摄,就相当于记录了物体在水平面上的所有光场信息。在实际应用中,不可能无限分割光场,因此不可能采集到完全连续分布的光场。只能利用有限个拍摄位置获取离散的光场分布,并通过插值获取离散光场之间的信息,我们将在有限个位置上拍摄的离散光场分布称之为视图。针对实际医疗教育内容,采用基于圆周分布的多台CCD相机的视图采集系统更适数据的实时采集。此系统在一定高度的圆周上安装一周的CCD相机,每台CCD相机拍摄各自视角方向的视图。由于所有CCD相机都是同时采集图像,一周视图拍摄时间非常短,有利于动态场景的数据采集。为了降低本,采用视图插值的方法构建更为密集的视图分布。
图1中的102是在对采集得到的图片内容进行合成处理,得到24位真彩色图像。具体实现方式为:
1)将分辨率为1920×1080的1-bit图像IMG1压缩成分辨率为192×1080的8-bit图像IMG2;
2)将分辨率192×1080的8-bit图像IMG2转换成分辨率5760×45的8-bit图像IMG3;
3)将分辨率5760×45的8-bit图像IMG3转换成分辨率12288×4500的24-bit图像IMG4。
IMG4即为需求分辨率12288×4500的24位真彩色图像。
在本实施例中,每个CCD相机拍摄获得分辨率为1920×1080的1-bit图像,将分辨率为
Figure BDA0003013314190000051
0的1-bit图像IMG1压缩成分辨率为
Figure BDA0003013314190000052
的8-bit图像IMG2,即IMG2中的1个像素可以表示IMG1中的连续8个像素黑白值,转换规则为:
Figure BDA0003013314190000053
其中P1(m,n)表示图像IMG1的第m行第n列像素的1-bit黑白值,P2(m,n)表示图像IMG2的第m行第n列像素的8-bit黑白值。
将分辨率192×1080的8-bit图像IMG2转换成分辨率5760×45的8-bit图像IMG3,转换规则为:
P3(m,n)=P2((m×192+n)/5760,(m×108+n)%5760),m∈[0,45),n∈[0,5760)
将分辨率5760×45的8-bit图像IMG3转换成分辨率12288×4500的24-bit图像IMG4,转换规则为:
P4(m,n,k)=P3(m,n)t=P3(m,n)|(n+5760)×300+k×100+m×45,m∈[0,4500),j∈[0,12488),k∈{0,1,2}
其中P4(m,n,k)表示IMG4的第第m行第n列像素k通道(k=0,1,2分别表示R,G,B通道)的8-bit灰度值,P3(m,n)|t表示第t幅IMG3图像的第m行第n列像素的8-bit灰度值。
图1中的103是对真彩色图像进行RGB分离,并传输给桌面真三维显示系统的图像解码模块。具体方式为:将医疗教育内容的真彩色图像信息导入数字软件Matlab中,在Matlab中实现R、G、B信息的分离得到三幅分别只包含R信息的数据图、G信息的数据图以及B信息的数据图,并将该三幅图传输到桌面真三维显示系统的解码模块。
在本实例中,Matlab中实现R,G,B信息的分离的具体实现方式为:
img=imread('lena.jpg');
img_R=img(:,:,1);%R图像
img_G=img(:,:,2);%G图像
img_B=img(:,:,3);%B图像
选用数字软件Matlab进行RGB分离可以最大效率的完成分离工作,同时相较于其他软件进行RGB分离,Matlab有着更稳定,更准确等优势。
图1中的104是图像解码模块分别对R,G,B三种信息进行解码,并将信息序列传输到DMD核心控制模块。具体实现方式为:图像解码电路是数据处理与传输系统最重要的部分,它是连接绘制端(显卡)与显示端(DMD)的桥梁。图像解码电路的包括FPGA芯片及其驱动电路和内存条,计算机显卡将所有可能用到的图像序列进行编码并R,G,B分离后传输给图像解码电路,图像解码电路对其解码后再根据外界信号决定投影哪一幅图像,附加的内存条即是为了存储由显卡传输来的数据。当图像解码电路通过双链路DVI线缆连接到显卡上时,这块内存会以扩展屏的形式显示在计算机中,为提升传输效率,内存的读写使用了双缓存技术。双缓存技术指对内存区域A和区域B进行异步读写,即在同步信号的驱动下,扩展屏上所绘制的图像数据被写入内存区域A的同时,内存区域B的图像数据拆包被分解成实际投影图像序列,传输给DMD核心控制模块。
在本实例中,为保证传输速度图像解码模块与DMD开发套件中的DMD控制板共享一块PCB电路板。为保证投影图像可以以18000FPS的频率进行刷新(屏幕旋转一周更新600幅图像,屏幕毎秒旋转30周),“单幅绘制、单幅传输、单幅投影”的处理方式是不现实的,因为即便忽视绘制与传输的数据延迟,这种方式也很难以如此高的调制率精准控制哪一时刻投影哪幅图像。本专利采用的策略是“多幅绘制、多幅传输、单幅投影”,即计算机显卡将所有可能用到的图像序列进行编码并传输给图像解码电路,图像解码电路对其解码后再根据外界信号决定投影哪一幅图像。
图1中的105是DMD核心控制模块基于接收到的信息序列,控制桌面真三维显示系统的高速投影机模块对医疗教育内容进行真三维显示。具体实现方式为:光场显示系统中的高速投影机具有三块DMD芯片,DMD核心控制模块控制三块DMD芯片分别对应医疗教育内容的R、G、B三种信息图像,使用RGB三种颜色的LED光源对每块DMD芯片进行独立照明,再通过合色棱镜实现医疗教育内容的彩色真三维显示。
在本实例中,为实现医疗教育内容的彩色真三维显示,我们选取彩色高速投影,高速投影机具有三块DMD芯片,使用RGB三种颜色的LED光源对每块DMD芯片进行独立照明,再通过合色棱镜实现彩色显示。投影系统包括数据处理电路、RGB LED芯片、TIR棱镜、X-cube合色棱镜以及投影镜头等。红绿蓝三色LED光源通过TIR棱镜照射到相应的DMD芯片上。数据处理电路确保每个DMD芯片显示对应颜色通道的图像,三色图像通过X棱镜合色并通过投影镜头投影到屏幕上。RGB三色LED光源处于常亮状态,每个DMD芯片所显示的具体图像由各自控制板独立决定,为保证最终输出彩色图像的三通道的同步性,需要构建三块DMD控制板之间的通信或使用统一的外部信号进行触发。通过以上步骤,即可实现医疗教育内容的彩色真三维显示。
尽管这里参照本发明的解释性实施例对本发明进行了描述,上述实施例仅为本发明较佳的实施方式,本发明的实施方式并不受上述实施例的限制,应该理解,本领域技术人员可以设计出很多其他的修改和实施方式,这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (6)

1.一种医学教育系统的桌面真三维显示方法,其特征在于,包括以下步骤:
a.利用真三维采集系统对医疗教育内容进行数据采集;
b.对采集得到的图片内容进行合成处理,得到24位真彩色图像;
c.对真彩色图像进行RGB分离,并传输给桌面真三维显示系统的图像解码模块;
d.图像解码模块分别对R、G、B三种信息进行解码,并将解码得到的信息序列传输到DMD核心控制模块;
e.DMD核心控制模块基于接收到的信息序列,控制桌面真三维显示系统的高速投影机模块对医疗教育内容进行真三维显示。
2.根据权利要求1所述的医学教育系统的桌面真三维显示方法,其特征在于,步骤a具体为首先在圆周上安装多台CCD相机,每台CCD相机同时拍摄各自视角方向的视图;然后采用视图插值的方法构建更为密集的视图分布。
3.根据权利要求1所述的医学教育系统的桌面真三维显示方法,其特征在于,步骤b的具体实现方式为:
1)将分辨率为1920×1080的1-bit图像IMG1压缩成分辨率为192×1080的8-bit图像IMG2;
2)将分辨率192×1080的8-bit图像IMG2转换成分辨率5760×45的8-bit图像IMG3;
3)将分辨率5760×45的8-bit图像IMG3转换成分辨率12288×4500的24-bit图像IMG4;IMG4即为需求分辨率12288×4500的24位真彩色图像。
4.根据权利要求1所述的医学教育系统的桌面真三维显示方法,其特征在于,步骤c所述对真彩色图像进行RGB分离的具体方式为:将医疗教育内容的真彩色图像信息导入数字软件Matlab中,在Matlab中实现R、G、B信息的分离得到三幅分别只包含R信息的数据图、G信息的数据图以及B信息的数据图。
5.根据权利要求1所述的医学教育系统的桌面真三维显示方法,其特征在于,步骤d具体实现方式为:图像解码电路是数据处理与传输系统最重要的部分,它是连接绘制端与显示端的桥梁,图像解码电路包括FPGA芯片及其驱动电路和内存条,计算机显卡将所有可能用到的图像序列进行编码并R,G,B分离后传输给图像解码电路,图像解码电路对其解码后再根据外界信号决定投影哪一幅图像,附加的内存条即是为了存储由显卡传输来的数据。
6.根据权利要求1所述的医学教育系统的桌面真三维显示方法,其特征在于,步骤e具体实现方式为:光场显示系统中的高速投影机具有三块DMD芯片,DMD核心控制模块控制三块DMD芯片分别对应医疗教育内容的R、G、B三种信息图像,使用RGB三种颜色的LED光源对每块DMD芯片进行独立照明,再通过合色棱镜实现医疗教育内容的彩色真三维显示。
CN202110381964.5A 2021-04-09 2021-04-09 一种医学教育系统的桌面真三维显示方法 Pending CN113094014A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110381964.5A CN113094014A (zh) 2021-04-09 2021-04-09 一种医学教育系统的桌面真三维显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110381964.5A CN113094014A (zh) 2021-04-09 2021-04-09 一种医学教育系统的桌面真三维显示方法

Publications (1)

Publication Number Publication Date
CN113094014A true CN113094014A (zh) 2021-07-09

Family

ID=76675743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110381964.5A Pending CN113094014A (zh) 2021-04-09 2021-04-09 一种医学教育系统的桌面真三维显示方法

Country Status (1)

Country Link
CN (1) CN113094014A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067698A (zh) * 2021-10-12 2022-02-18 长春希达电子技术有限公司 一种led桌屏无线传输控制装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783966A (zh) * 2009-01-21 2010-07-21 中国科学院自动化研究所 一种真三维显示系统及显示方法
CN103942405A (zh) * 2013-12-31 2014-07-23 北京航空航天大学 三维医学数据仿真模拟的远程共享与交互研讨方法
CN108881889A (zh) * 2018-07-26 2018-11-23 四川长虹电器股份有限公司 基于光场显示的文物3d展示方法
CN108881887A (zh) * 2018-07-19 2018-11-23 四川长虹电器股份有限公司 一种基于Unity3D的光场信息获取及处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783966A (zh) * 2009-01-21 2010-07-21 中国科学院自动化研究所 一种真三维显示系统及显示方法
CN103942405A (zh) * 2013-12-31 2014-07-23 北京航空航天大学 三维医学数据仿真模拟的远程共享与交互研讨方法
CN108881887A (zh) * 2018-07-19 2018-11-23 四川长虹电器股份有限公司 一种基于Unity3D的光场信息获取及处理方法
CN108881889A (zh) * 2018-07-26 2018-11-23 四川长虹电器股份有限公司 基于光场显示的文物3d展示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田丰 等: "真三维显示在医学教育与仿真中的应用", 《液晶与显示》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067698A (zh) * 2021-10-12 2022-02-18 长春希达电子技术有限公司 一种led桌屏无线传输控制装置

Similar Documents

Publication Publication Date Title
CN108881889B (zh) 基于光场显示的文物3d展示方法
US5703604A (en) Immersive dodecaherdral video viewing system
US20050128286A1 (en) VTV system
JP2005500721A (ja) Vtvシステム
JP2005500721A5 (zh)
US8401339B1 (en) Apparatus for partitioning and processing a digital image using two or more defined regions
EP0079382A1 (en) Method and apparatus for compiling digital image information by assignable priority arbitration
CN108234933A (zh) 基于多路图像信号处理的实时拼接全景影像的方法及系统
CN105959562A (zh) 获取全景拍摄数据的方法、装置以及便携式全景拍摄设备
CN113094014A (zh) 一种医学教育系统的桌面真三维显示方法
US20220092863A1 (en) Virtual, augmented, and mixed reality systems and methods
CN112862973A (zh) 一种基于故障现场的实时远程培训方法及系统
CN108271009A (zh) 超高亮度和超高分辨率投影的装置及其投影方法
CN202003522U (zh) 一种多路同步视频互动教学装置
CN115002442B (zh) 一种图像展示方法、装置、电子设备及存储介质
US3626404A (en) Three-dimensional display system
US20140132840A1 (en) Method and device for the real-time superposition of images arising from at least two video streams
CN108810498A (zh) 一种扫描投影方法及扫描投影设备
CN1238818C (zh) 基于彩色线性ccd的二维360°全景图的成像方法及其系统
CN114880052A (zh) 显示装置及其显示方法
US20210297649A1 (en) Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
CN113422947A (zh) 一种用于教学的3d裸眼成像方法、装置及介质
CN115442580B (zh) 一种便携式智能设备裸眼3d图片效果处理方法
CN113225479B (zh) 一种数据采集显示系统以及图像显示方法
CN113115025A (zh) 一种基于桌面真三维显示的应用示范系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210709

RJ01 Rejection of invention patent application after publication