CN101236109A - 套准偏差视频图像检测仪 - Google Patents

套准偏差视频图像检测仪 Download PDF

Info

Publication number
CN101236109A
CN101236109A CNA2008100573648A CN200810057364A CN101236109A CN 101236109 A CN101236109 A CN 101236109A CN A2008100573648 A CNA2008100573648 A CN A2008100573648A CN 200810057364 A CN200810057364 A CN 200810057364A CN 101236109 A CN101236109 A CN 101236109A
Authority
CN
China
Prior art keywords
circuit
dsp
image
pin
clock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008100573648A
Other languages
English (en)
Inventor
王跃宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CNA2008100573648A priority Critical patent/CN101236109A/zh
Publication of CN101236109A publication Critical patent/CN101236109A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

套准偏差视频图像检测仪是一种用于快速运动印刷特征在线自动检测的仪器,该装置与PAL或NTSC制式的CCD或CMOS摄像头连接,在外部同步触发信号控制下采集运动图像,并利用图像处理技术在线检测高速运动目标特征的变化,可广泛应用于高速印刷机、折页机、装订机等印品质量的在线监控。系统包括视频解码电路、时钟电路、存储器电路、DSP电路、供电电路、CPLD逻辑控制电路、串口电路、服务电路和图像处理服务程序。该仪器采用高端DSP作为核心处理器,数据处理速度快,符合PAL制式和NTSC制式等标准格式的视频图像,可以标准制式CCD或CMOS摄像头直连,用于高速运动对象图像的检测。

Description

套准偏差视频图像检测仪
技术领域
本发明涉及一种套准偏差视频图像检测仪,属于印品套准偏差自动检测技术领域。
背景技术
在印刷过程中,印品的边缘附近经常印上如十字线、猫眼图形等特殊标志,通过分析多色套准偏差可以监测印刷机的套准状况。
采用色标传感器是套准偏差检测方法之一,套准标志中的每一色均使用一个色标传感器,六色印刷机至少需要6个色标传感器同时工作。色标传感器检测方法存在一定的局限性,随着印刷颜色的增加,色标传感器的数量会相应增加,无疑提高了系统的复杂程度和成本。而且,色标传感器检测方法对套准图案有严格要求,通常采用并行排列的条纹图形,而对于常用的“猫眼”图形或“十字线”图形无法检测。
采用摄像头和计算机的组合系统也是套准偏差检测的方法之一,这种方法的检测范围较广,对于“猫眼”图形或“十字线”图形均能检测。但这种方法也存在不足之处,组合系统通常需要网络、诊断服务设备等配合使用,系统结构较为复杂,成本过高,所以导致这类检测系统的应用受到限制。而且,摄像头和计算机的组合系统在工业现场的抗干扰能力较弱。
发明内容
本发明的目的是为了提供一种新的套准偏差检测仪。该仪器采用DSP和图像处理技术,可与PAL或NTSC等标准制式的CCD或CMOS摄像头直接连接,在外部同步触发信号控制下抓拍套准标记图像,具有较高的图像获取和处理速度。该设备使用摄像头获取图像,在DSP中处理图像,可检测“猫眼”图形或“十字线”图形等复杂结构,它的生产成本远低于摄像头和计算机的组合系统。为了实现上述目的,本发明采取了如下技术方案:1、套准偏差视频图像检测仪,其特征在于:包括有视频解码电路、时钟电路、存储器电路、DSP电路、供电电路、CPLD逻辑控制电路、串口电路和服务电路;其中:
视频解码电路的输入端与N/P制摄像头相连,输出端与DSP电路相连;视频解码电路对PAL制式或NTSC制式图像进行解码,从模拟的数据流中提取帧起始信号、行起始信号和视频YUV信号,并将其传送给DSP,DSP以DMA方式将图像数据存储至存储器电路中;
存储器电路用于存储图像数据,占用DSP的CE0空间,外扩2片SDRAM芯片和1片FLASH存储器芯片,FLASH存储器芯片用于程序存储和系统参数的掉电存储;
CPLD逻辑控制电路分别与服务电路和DSP相连,用于实现寄存器的扩展和电路中的逻辑控制;
串口电路包括2路串口,在DSP中映射为串口A和串口B,串口A与液晶屏相连,DSP将N/P制摄像头拍摄的图像送入液晶屏显示;串口B与PC机相连,用于系统调试;
服务电路通过CPLD逻辑控制电路与DSP相连,服务电路接收外部同步触发信号和频闪灯控制,处理DSP发给印刷设备的检测结果信号和报警信号;
DSP负责整个系统的图像采集和处理,当接收到外部同步触发信号时,激活频闪灯,摄像头拍摄此刻的图像,并以标准制式发送给DSP,DSP监测到触发信号后,开始采集图像,以DMA方式自动存储2场图像并合成为1帧,然后DSP调用图像处理方法识别图像特征,并把检测结果通过服务电路发送给印刷设备;
时钟电路为DSP电路、存储器电路、视频解码电路和串口电路提供时钟;
供电电路提供整体电路需要的电源。
本发明采用高端DSP作为核心处理器,其内部主频为600M,数据处理速度快,功能强大,适合快速运动目标的检测。外接帧曝光的CMOS摄像头或曝光时间很短的CCD摄像头后,可用于高速运动对象图像的拍摄,在运动图像检测方面实用性强。
本发明符合PAL制式和NTSC制式等标准格式的视频图像,可以和PAL格式或NTSC格式的CCD或CMOS摄像头直连,通用性强。
附图说明
图1  本发明电路结构框图;
图2  本发明视频解码电路和DSP电路U1_D部分的原理图;
图3  本发明时钟电路的原理图;
图4  本发明存储器电路和DSP电路U1_B部分的原理图;
图5  本发明DSP电路中U1_A部分电路的原理图;
图6  本发明供电电路的原理图;
图7  本发明CPLD逻辑控制电路的原理图;
图8  本发明串口电路的原理图;
图9  本发明服务电路的原理图;
图10 本发明图像处理服务程序的结构框图;
具体实施方式
结合图1-图10对本发明做进一步说明:
套准偏差视频图像检测仪,包括视频解码电路、时钟电路、存储器电路、DSP电路、供电电路、CPLD逻辑控制电路、串口电路、服务电路和图像处理服务程序。视频解码电路实现PAL制式或NTSC制式图像的解码,从模拟的数据流中提取帧起始信号、行起始信号和视频YUV信号,使用DSP的视频口0作为视频输入口,以DMA方式存取图像数据。时钟电路提供系统使用的多路时钟,包括DSP使用的50M时钟、SDRAM数据读写使用的133M时钟、视频解码电路需要的14.31818M时钟和串口电路使用的30.72M时钟。存储器电路用于存储图像数据,占用DSP的CE0空间,外扩2片SDRAM芯片,容量4M,另外还外扩1片FLASH存储器芯片,用于程序存储和系统参数的掉电存储。DSP电路主要包括DSP芯片U1,负责图像的采集、处理和存储器读写。
供电电路提供整体电路需要的电源,包括3.3V电源、1.4V电源和1.8V电源,3.3V电源供CPLD、DSP的输入输出管脚使用,1.4V电源为DSP内核使用,1.8V电源为解码电路使用。CPLD逻辑控制电路实现寄存器的扩展和电路中的逻辑控制。串口电路包括2路串口,在DSP中映射为串口A和串口B,串口A用于和串口液晶屏间的通信和数据显示,串口B用于和PC机之间的通信,在系统调试阶段使用。服务电路用于接收外部同步触发信号和频闪灯控制,同时处理DSP发给印刷设备的检测结果信号和报警信号。图像处理服务程序嵌入在DSP内,负责整个系统的管理和图像处理,监测外部同步触发信号,采集图像并进行处理,发送检测结果信号和报警信号等。在外部同步触发信号到来时,激活频闪灯,摄像头拍摄此刻的图像,并以标准制式发送给DSP,DSP监测到触发信号后,开始采集图像,以DMA方式自动存储2场图像并合成为1帧,然后DSP调用图像处理算法识别图像特征,并把检测结果通过服务电路发送给印刷设备。
视频解码电路采用通用的解码芯片U2,C0、Y0为标准制式视频输入端,F14M31818为14.31818时钟输入端,VP0_D0-VP0_D7为YUV数据输出端,与U1的视频口0连接,VP0_HSYNC为视频的行起始信号,该设备中帧起始信号未用。VP0_D7加下拉电阻,选择I2C地址。SCL和SDA为I2C控制信号端,由U1通过I2C总线对视频解码芯片进行配置。
视频解码电路中解码芯片U2的型号是TVP5150,其第1、2脚为标准制式模拟复合视频的输入端,通过RC复合电路与外部标准制式模拟CCD或CMOS摄像头连接,其第5脚为14.31818M时钟的输入端,第11-18脚为视频YUV格式数据输出端。解码芯片U2使用1.8V和3.3V两路电源工作。
时钟电路采用时钟输出芯片U9和U10,外接输入时钟为20M,通过倍频,提供U1使用的50M时钟F50M,SDRAM芯片U3_A和U4_A使用的133M时钟,视频解码芯片U2使用的14.31818M时钟和串转并芯片U11需要的30.72M时钟。
时钟电路中芯片U9和U10的型号为CY22381,U9、U10的第3、4脚为外部20M时钟输入端,U9的第1、5、6脚为时钟输出端,对应133M、50M和14.31818M时钟,U10的第5脚输出30.72M的时钟。U9通过电阻分别与U1的H25脚、AC2脚、视频解码芯片U2的第5脚连接,U10通过电阻与串口电路中芯片U11的第13脚连接。
存储器电路包括2片SDRAM芯片U3_A和U4_A,1片FLASH存储芯片U4,SDRAM芯片U3_A和U4_A使用了32位的数据总线与DSP连接,TEA3-TEA16为地址选择控制脚,TBE0-TBE7为SDRAM区域选择控制管脚。SDRAM芯片被扩展在DSP的CE0空间,使用133M时钟TF133M。FLASH存储芯片U4使用8位数据总线与DSP连接,TE3-TEA21为地址线,PA19-PA21为FLASH存储芯片U4页选择控制管脚。
存储器电路中SDRAM芯片U3_A和U4_A的型号为HY57V283220T,FLASH存储芯片U4的型号为AM29LV033C。SDRAM芯片U3_A和U4_A的DQ0-DQ31脚为32位数据线管脚,与U1的低32位数据线连接,SDRAM芯片的A0-A11、BA0、BA1与U1的TEA3-TEA16脚连接,U3_A和U4_A的DQM0-DQM3分别与U1的TBE0-TBE7连接。SDRAM被扩展在U1的CE0空间。FLASH存储芯片U4的A0-A18与U1的TEA3-TEA21连接,P19-P21与CPLD器件U5连接,作为FLASH存储器芯片U4的页选择控制管脚。
DSP电路包括U1_B、U1_D和U1_A三部分,U1_B中地址线EA3-EA22通过外接的小电阻转化为TEA3-TEA22,数据线管脚ED0-ED63通过外接的小电阻转化为TED0-TED63,TEA3-TEA22和TED0-TED63用于外部存储器扩展时的数据总线和地址总线。F133为外部133M时钟输入端,经DSP转换后输出133M时钟TF133M,提供给SDRAM芯片U3_A和U4_A使用。CE0-CE3通过外接的小电阻转化为TCE0-TCE3,用于外部设备空间选择控制端。BE0-BE7通过外接的小电阻转化为TBE0-TBE7,用于SDRAM扩展使用,CAS/RE、CAS/OE、WE、CKE通过外接的小电阻转化为TCAS/RE、TCAS/OE、TWE、TCKE,用于外部SDRAM扩展时数据读写用。视频口VPOD2-VPOD9与视频解码芯片U5连接,用于视频数据读写。U1_A中CLKIN端采用来自U9的50M时钟作为主输入时钟,经内部倍频后为600M,CLKMODE1和CLKMODE0为时钟输入设置端,EXT_INT4/GP4-EXT_INT7/GP7为外部中断输入端,TMS、TDO、TDI、TCK、TRST、EMUO和EMU1为仿真器端口。
DSP电路中U1的型号为TMS320DM642,其内核电压为1.4V,输入输出电压为3.3V。视频口VPOD2-VPOD9与视频解码芯片U5连接,用于获取视频数据,低32位数据总线用于外部存储器扩展,低8位数据总线TED0-TED7用于CPLD器件内部寄存器的扩展。U1的E4和D3脚作为I2C总线的SCL和SDA脚与视频解码芯片U2的第21、22脚连接,U1对U2的内部寄存器进行初始化设置。U1的地址总线和数据总线及读写信号、时钟等均通过电阻与外部器件连接,防止干扰和烧毁。
供电电路包括1.4V电源、1.8V电源和3.3V电源,1.4V电源用于DSP内核使用,1.8V电源用于视频解码电路,3.3V电源用于主要数字电路的输入输出使用。U7、U8、U18为线性电源转换器,把5V电源转化为1.4V电源、1.8V电源和3.3V电源。线性电源转换芯片U7和U8的型号为TPS54310,U18的型号为TPS767D318。U7和U8的14-16脚短接后与外部5V电源连接,其6-10脚短接后作为转换电源输出端,根据电路中电阻阻值的不同,U7和U8的输出电压可以调节到1.4V和3.3V。U18的5、6、11、12脚短接后与外部5V电源连接,23、24脚短接后为1.8V电源输出端,17、18脚短接后作为模拟3.3V电源输出,该电源在电路中备用。
CPLD逻辑控制电路采用通用的CPLD逻辑器件U5,J1为标准的10针IDC封装的插座,用于CPLD逻辑器件U5仿真时使用。U5的INPUT/GCLRn和INPUT/OE1短接后接上拉电组,使能CPLD逻辑器件。U5的I/O管脚与DSP的低8位数据总线TED0-TED7连接,用于内部寄存器扩展,与TEA3-TEA8、TEA22连接,用于内部寄存器译码用,与TCE1、TCE2、TCAS/RE连接组成寄存器读写时的逻辑控制和空间选择逻辑。EXT_INT4/GP4-EXT_INT7/GP7为DSP中断,EXT_INT4/GP4是外部同步触发信号中断,EXT_INT5/GP5用于串口中断,EXT_INT6/GP6为外部键盘按键按下时触发的中断,EXT_INT7/GP7备用。PA19-PA20用于FLASH存储器U4的页选择,FLASH_CS为FLASH存储器U4的片选信号。KEY1-KEY9为外部按键K1-K9的监控端,在CPLD内部对按键信号取“或”,并与EXT_INT6/GP6连接。Trgs为3.3V逻辑的外部同步触发信号输入端,ErrorCon和ALTERCON分别为检测结果输出信号和报警信号控制端,为服务电路使用。LED1-LED8为8个指示灯的控制管脚。UART_CSA和UART_CSB为串口电路并转串芯片U11的两路串口片选控制管脚,UARTINTA和UARTINTA为U11的中断控制管脚,在CPLD内部取“与”逻辑后与中断管脚EXT_INT5/GP5连接。
CPLD逻辑控制电路中CPLD器件U5的型号为EPM7128AET,U5的第92脚与U1的复位电路输出端连接。第99、7、98、97脚分配给DSP中断管脚EXT_INT4/GP4-EXT_INT7/GP7使用。第8-10、12、13脚与U1的TEA22、TCE2、TCE1、TWE、TCAS/RE连接,第23-19、17、16、14脚与U1的TEA3-TEA8连接,第24、25、27-32脚与U1的TED0-TED7连接。U5的第67-72、75、76分配给8个指示灯控制用,40、41、42-50脚分配给按键K1-K9使用,第1、2、5、7脚分配给串口电路芯片U11使用,第40、52、53分别作为外部同步触发信号、报警控制信号、检测结果控制信号使用。U5的第33、35-37脚分配给FLASH存储器芯片U4作为页选择和片选信号使用。
串口电路包括并转串芯片U11和串口电平转换芯片U19,U11采用地址线TEA3-TEA5选择内部寄存器,由DSP通过低8位数据总线TED0-TED7进行设置。UART_CSA和UART_CSB分别为串口A和串口B的片选,串口A使用U19的第一路通道,串口B使用U19的第二路通道。芯片U11的型号为TL16C752B,芯片U19的型号为MAX232CPE。U11的D0-D7脚与DSP芯片U1的低8位数据总线连接,A0-A2与DSP芯片U1的地址线A3-A5连接,RXA、TXA、RXB、TXB分别与U19的确12、9、11、10脚连接。芯片U19的其1、3、4、5、2、6脚接外部电解电容,14、13脚作为串口A使用,7、8脚作为串口B使用。
服务电路中U12-U15为通用光耦芯片,U12接外部24V同步触发信号,并把该信号转化为3.3V逻辑的同步触发信号,该信号通过U15控制1个频闪灯工作,另外与CPLD连接,作为图像采集和处理的同步触发信号。ALERTCON和ErrorCon与CPLD连接,通过U13和U14转化为功率信号,与外部印刷设备连接,作为报警控制和异常结果控制信号。
服务电路中光耦芯片U12、U13、U14和U15的型号为TLP521-1,Q1-Q3为大功率三极管,型号为TIP142。U12的第2脚与外部同步触发信号连接,第3脚与CPLD连接,同时与U15的第1脚连接,作为频闪灯的控制端,U15的第3脚通过电阻与大功率三极管Q1连接,驱动频闪灯工作。U13的第1脚与CPLD的ALTERTCON连接,第3脚通过电阻与大功率三极管Q3连接,驱动报警灯工作。U14的第1脚与CPLD的ErrorCon连接,第3脚通过电阻与大功率三极管Q2连接,Q2的第3脚作为输出与外部PLC连接,作为检测结果监控输出端。
图像处理服务程序嵌入在DSP内部,由命令设置开始,系统上电后进入主程序入口,对DSP硬件和CPLD寄存器进行初始化,然后对系统中用到全局变量进行初始化。完成初始化之后,通过串口给液晶屏发送启动命令,进入工作状态。图像处理服务程序等待键盘中断和外部同步触发信号中断,在中断函数中设置相应的标志位。系统一直处于轮询状态,循环查询系统标志位,根据系统状态标志位来调度各任务。DSP系统执行哪个任务是根据键盘的命令来决定的。液晶屏与DSP系统之间的数据交换和命令传输都是通过异步串口来完成。图像处理算法采用通用的中值滤波法对图像进行预处理,采用通用的二值化方法对图像进行二值化,采用通用Sobel算法提取多色标志的边缘,然后使用最小二乘和Hough边缘法检测套准标志图像中的边缘。

Claims (1)

1、套准偏差视频图像检测仪,其特征在于:包括有视频解码电路、时钟电路、存储器电路、DSP电路、供电电路、CPLD逻辑控制电路、串口电路和服务电路;其中:
视频解码电路的输入端与N/P制摄像头相连,输出端与DSP电路相连;视频解码电路对PAL制式或NTSC制式图像进行解码,从模拟的数据流中提取帧起始信号、行起始信号和视频YUV信号,并将其传送给DSP,DSP以DMA方式将图像数据存储至存储器电路中;
存储器电路用于存储图像数据,占用DSP的CE0空间,外扩2片SDRAM芯片和1片FLASH存储器芯片,FLASH存储器芯片用于程序存储和系统参数的掉电存储;
CPLD逻辑控制电路分别与服务电路和DSP相连,用于实现寄存器的扩展和电路中的逻辑控制;
串口电路包括2路串口,在DSP中映射为串口A和串口B,串口A与液晶屏相连,DSP将N/P制摄像头拍摄的图像送至液晶屏显示;串口B与PC机相连,用于系统调试;
服务电路通过CPLD逻辑控制电路与DSP相连,服务电路接收外部同步触发信号和频闪灯控制,处理DSP发给印刷设备的检测结果信号和报警信号;
DSP负责整个系统的图像采集和处理,当接收到外部同步触发信号时,激活频闪灯,摄像头拍摄此刻的图像,并以标准制式发送给DSP,DSP监测到触发信号后,开始采集图像,以DMA方式自动存储2场图像并合成为1帧,然后DSP调用图像处理方法识别图像特征,并把检测结果通过服务电路发送给印刷设备;
时钟电路为DSP电路、存储器电路、视频解码电路和串口电路提供时钟;
供电电路提供整体电路需要的电源。
CNA2008100573648A 2008-02-01 2008-02-01 套准偏差视频图像检测仪 Pending CN101236109A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA2008100573648A CN101236109A (zh) 2008-02-01 2008-02-01 套准偏差视频图像检测仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2008100573648A CN101236109A (zh) 2008-02-01 2008-02-01 套准偏差视频图像检测仪

Publications (1)

Publication Number Publication Date
CN101236109A true CN101236109A (zh) 2008-08-06

Family

ID=39919886

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008100573648A Pending CN101236109A (zh) 2008-02-01 2008-02-01 套准偏差视频图像检测仪

Country Status (1)

Country Link
CN (1) CN101236109A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101837758A (zh) * 2009-07-03 2010-09-22 湖南科技大学 路面减速带车载预警装置
CN104282011A (zh) * 2013-07-04 2015-01-14 浙江大华技术股份有限公司 一种检测视频图像中干扰条纹的方法及装置
CN104536438A (zh) * 2014-12-31 2015-04-22 杭州师范大学 一种基于频闪原理的选针器检测系统及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101837758A (zh) * 2009-07-03 2010-09-22 湖南科技大学 路面减速带车载预警装置
CN101837758B (zh) * 2009-07-03 2012-06-27 湖南科技大学 路面减速带车载预警装置
CN104282011A (zh) * 2013-07-04 2015-01-14 浙江大华技术股份有限公司 一种检测视频图像中干扰条纹的方法及装置
CN104282011B (zh) * 2013-07-04 2018-05-25 浙江大华技术股份有限公司 一种检测视频图像中干扰条纹的方法及装置
CN104536438A (zh) * 2014-12-31 2015-04-22 杭州师范大学 一种基于频闪原理的选针器检测系统及方法
CN104536438B (zh) * 2014-12-31 2017-05-10 杭州师范大学 一种基于频闪原理的选针器检测系统及方法

Similar Documents

Publication Publication Date Title
CN201382818Y (zh) 嵌入式系统红外测温仪
CN202171623U (zh) 红外线轴温探测系统板卡故障检测设备
CN102519960B (zh) 一种嵌入式便携金相组织采集显示系统及方法
CN101236109A (zh) 套准偏差视频图像检测仪
CN111462189A (zh) 一种图像锁定跟踪系统及方法
CN205809631U (zh) 一种16通道高精度数据同步采集装置
CN204679122U (zh) 一种高集成多功能手持终端
CN101102421B (zh) 一体机式智能型页面检测仪
CN201178471Y (zh) 标准制式图像采集装置
CN101561788B (zh) 通用接口控制器
CN207991299U (zh) 窑炉温度场可视化监测系统
CN201860418U (zh) 彩色人脸叠加摄像装置
CN101005612A (zh) 基于usb接口的无线图像采集系统
CN202422217U (zh) 红外目标采集识别跟踪器
CN104750101A (zh) 一种机载询问机数字信号处理模块检测仪及其检测方法
CN102039738A (zh) 高速装订机页面在线模糊识别系统
CN201060168Y (zh) 一体机式智能型页面检测仪
CN103500326A (zh) 一种嵌入式指纹采集仪
CN103761346A (zh) 一种汽车组合仪表测试记录方法
CN207503284U (zh) 图像边缘检测系统
CN206235406U (zh) 一种温度巡检装置
CN203399196U (zh) 具有超分辨率重构功能的cmos摄像头
CN209086155U (zh) 高精度丝印偏移检测设备
CN203365455U (zh) 云台快速球转速的测试设备
CN201476850U (zh) 煤气表检测系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080806