CN111025999A - 汽车电子控制器节能控制工艺 - Google Patents

汽车电子控制器节能控制工艺 Download PDF

Info

Publication number
CN111025999A
CN111025999A CN201911375823.1A CN201911375823A CN111025999A CN 111025999 A CN111025999 A CN 111025999A CN 201911375823 A CN201911375823 A CN 201911375823A CN 111025999 A CN111025999 A CN 111025999A
Authority
CN
China
Prior art keywords
automobile
gesture
driver
module
energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911375823.1A
Other languages
English (en)
Inventor
张国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Changfeng Technology Co Ltd
Original Assignee
Shanghai Changfeng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Changfeng Technology Co Ltd filed Critical Shanghai Changfeng Technology Co Ltd
Priority to CN201911375823.1A priority Critical patent/CN111025999A/zh
Publication of CN111025999A publication Critical patent/CN111025999A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种汽车电子控制器节能控制工艺,其包括:启动系统,其包括:显示装置、识别装置和中央处理模块;电子装置,其由设置于汽车内部的储蓄电池组供电;启动传感器,其与所述系统控制器电连接,接收其控制指令以控制所述电子装置的工作;启动感应器,其与所述系统控制器电连接,能够在启动传感器不工作时,通过系统控制器下发关闭所述电子装置电源的指令。该汽车电子控制器节能控制工艺采用非接触的交互输入形式,并使得汽车内受控的各种电子装置在发动机启动时才被供电,避免了电量的浪费。

Description

汽车电子控制器节能控制工艺
技术领域
本发明涉及汽车电子控制系统领域,尤其涉及一种汽车电子控制器节能控制工艺。
背景技术
汽车电子化被认为是汽车技术发展进程中的一次革命。汽车电子化的程度被看作是衡量现代汽车水平的重要标志,是用来开发新车型,改进汽车性能最重要的技术措施。汽车制造商认为增加汽车电子设备的数量、促进汽车电子化是夺取未来汽车市场的重要的有效手段。
现代大多数汽车还是需要人为的通过按钮或钥匙启动汽车的运行,现代已进入智能化时代,传动启动方法显然将被淘汰,所以我们需要跟上时代的节奏,进入现代化时代,智能化时代。而且,现代大多数汽车内受控的各种电子装置均由设置于汽车内部的储蓄电池组供电,在发动机不启动时依然供电,造成了电量的浪费。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
针对现有技术存在的问题,本发明实施例提供一种汽车电子控制器节能控制工艺。
本发明实施例提供一种汽车电子控制器节能控制工艺,包括:启动系统,其包括:显示装置、识别装置和中央处理模块;所述显示装置将系控制选项显示在汽车的驾驶座的前方的挡风玻璃上;所述识别装置监控驾驶人的行为;所述中央处理模块用于实时接收识别模块发送来的驾驶人的行为,并将驾驶人的行为与预设行为模式进行匹配,然后根据匹配的结果产生主汽车点火信号;系统控制器,其用于接收所述中央处理模块的汽车点火信号;电子装置,其由设置于汽车内部的储蓄电池组供电;启动传感器,其与所述系统控制器电连接,接收其控制指令以控制所述电子装置的工作;启动感应器,其与所述系统控制器电连接,能够在启动传感器不工作时,通过系统控制器下发关闭所述电子装置电源的指令。
进一步地,识别装置为手势识别模块和/或眼部识别模块,所述手势识别模块用于采集驾驶人手势;所述眼部识别模块用于采集驾驶人眼球转动角度;所述中央处理模块用于实时接收手势识别模块、眼部识别模块发送来的驾驶人手势、眼球转动角度,并将其与中央处理模块预设的驾驶人手势、眼球转动模式进行匹配,然后根据匹配的结果产生控制指令。
进一步地,手势识别模块用于在预设空间范围内采集一组连续的手势图像,并提取所述手势图像的手掌关键点;预设空间范围为所述显示装置显示图像对应的空间范围;连续的手势图像包括多帧连续图像,且每次采集的手势图像的帧数相同。
进一步地,手势图像为深度图像。
进一步地,中央处理模块包括:确定模块和匹配模块,所述确定模块用于基于所述手掌关键点确定预设类型的手势模型数据;所述匹配模块用于将所述手势模型数据与该预设行为模式进行匹配,并根据匹配的结果产生控制指令。
本发明实施例提供的一种汽车电子控制器节能控制工艺采用非接触的交互输入形式,驾驶人不需移动身体即可输入指令以控制汽车启动以及汽车上的电子装置,增加了行车的智能化和安全性,也提高了驾驶人的控制效率。汽车电子控制器节能控制工艺使得汽车内受控的各种电子装置在发动机启动时才被供电,避免了电量的浪费。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的汽车电子控制器节能控制工艺的框图;
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有其它明确表示,否则在整个说明书和权利要求书中,术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分,而并未排除其它元件或其它组成部分。
如图1所示,本发明实施例提供的一种汽车电子控制器节能控制工艺包括:启动系统10、系统控制器1、启动传感器2、启动感应器3和电子装置,其中,启动系统10用于产生主汽车点火信号,系统控制器用以接收该汽车点火信号,根据所述汽车点火信号向所述启动传感器2发送使能信号,以控制汽车启动以及汽车上的电子装置的工作,启动感应器3能够在启动传感器2 不工作时,通过系统控制器1下发关闭电子装置电源的指令,使得汽车内受控的各种电子装置在发动机启动时才被供电,避免了电量的浪费。
具体来讲,启动系统包括:显示装置、识别装置和中央处理模块。其中,显示装置设置在驾驶位的上方,用以将系统控制器的至少一控制选项显示在汽车的驾驶座的前方的挡风玻璃上。挡风玻璃上的影像会叠加在驾驶人前方的景象上,且不影响驾驶人的视线。
识别装置设置在驾驶位的前方,用于监控驾驶人的行为。
中央处理模块用于实时接收识别模块发送来的驾驶人的行为,并将驾驶人的行为与预设行为模式进行匹配,然后根据匹配的结果产生主汽车点火信号。
在一实施例中,识别装置为手势识别模块和/或眼部识别模块,手势识别模块用于采集驾驶人手势;眼部识别模块用于采集驾驶人眼球转动角度。中央处理模块用于实时接收手势识别模块、眼部识别模块发送来的驾驶人手势、眼球转动角度,并将其与中央处理模块预设的驾驶人手势、眼球转动模式进行匹配,然后根据匹配的结果产生汽车点火信号。
在一实施例中,手势识别模块用于在预设空间范围内采集一组连续的手势图像,并提取所述手势图像的手掌关键点;预设空间范围为显示装置显示图像对应的空间范围。连续的手势图像包括多帧连续图像,且每次采集的手势图像的帧数相同。采集的手势图像可以是深度图像,其中的每一像素均为景深数据,表示被摄物体距成像装置的距离。提取每帧手势图像中的手掌关键点。本领域技术人员可以理解的是,可以通过相关技术实现手掌关键点的提取,例如深度学习模型或者随机森林算法均可以实现手掌关键点的提取。该手掌关键点可以是手掌关节点或者除手掌关节之外的其他点,也可以是两者的组合。手掌关键点的个数可以根据实际经验设置。中央处理模块包括:确定模块和匹配模块,确定模块用于基于所述手掌关键点确定预设类型的手势模型数据;匹配模块用于将所述手势模型数据与该预设行为模式进行匹配,并根据匹配的结果产生汽车点火信号(根据匹配的结果决定是否控制系统控制器进行行为反应)。手势识别模块的采集包括如下步骤:
步骤11:建立空间坐标系,所述空间坐标系包括X轴、Y轴和Z轴。
在一实施例中,该空间坐标系是相对显示装置显示图像自身的坐标参考系,即显示装置显示图像的显示屏处于X轴与Y轴组成的平面上。
步骤12:根据每帧手势图像的手掌关键点在空间坐标系中的坐标确定相邻手势图像之间手掌关键点的第一变量,所述第一变量为相邻手势图像之间手掌关键点沿Z轴方向的移动距离。
在一实施例中,由原有用户点击触摸操作是用一只手指触摸显示屏,然后抬起手指,因此,相应的驾驶人手势操作可以是沿Z轴方向伸出一只手指,并沿Z轴方向进行前后一次或多次移动,即垂直于X轴与Y轴组成的平面(即显示屏所在平面)进行一次或多次移动。此外,由原有用户长按触摸操作是用一只手指触摸显示屏并保持不动,因此相应的驾驶人手势操作可以是伸出一只手指,沿Z轴方向移动,然后保持一段时间间隔不动,即垂直于X轴与Y 轴组成的平面(即显示屏所在平面)移动,然后保持一段时间间隔不动。
针对上述两种驾驶人手势操作,其特点是手指均是沿Z轴方向运动,只是点击操作手指一直移动,而长按操作是手指移动一段距离后保持不动。因此显示装置显示图像可以计算相邻手势图像之间手掌关键点沿Z轴方向的移动距离。
步骤13:将第一变量确定为第一种类的手势模型数据。
由上述步骤202可知,由第一变量组成的第一种类的手势模型数据包括至少一个移动距离数组。例如,采集的手势图像为10帧,则手势模型数据包括9个移动距离数组。并且第一种类的手势模型数据可以包括两种驾驶人手势操作:点击和长按。本领域技术人员可以理解的是,第一种类的手势模型数据并不仅仅限制于点击和长按触摸操作,还可以包括其他触摸操作,例如,按下按键操作,本申请在此不再一一列举。在一示例性场景中,对于驾驶人手势操作为长按的手势模型数据,由手指移动一段距离后保持不动的特点可知,手势模型数据中的最后几个移动距离数组中的每个元素应该均为0。而对于驾驶人手势操作为点击的手势模型数据,由手指进行一次或多次移动的特点可知,手势模型数据中每个移动距离数组中每个元素应该均有数值。本实施例中,显示装置显示图像根据每帧手势图像的手掌关键点在空间坐标系中的坐标确定相邻手势图像之间手掌关键点沿Z轴方向的移动距离(第一变量),并将第一变量确定为第一种类的手势模型数据。本申请通过将沿Z轴方向的第一变量作为第一种类的手势模型数据,可以区分驾驶人手势操作中的点击和长按。
依据上述配置,驾驶人在开车时只需采用手势或眼睛即可输入相对应指令,即可以控制汽车启动以及汽车上的电子装置。
系统控制器用于接收中央处理模块的汽车点火信号,根据所述汽车点火信号向所述启动传感器2发送使能信号。
启动传感器2和启动感应器3均与系统控制器1电连接。
电子装置由设置于汽车内部的储蓄电池组供电,使得系统控制器1有效的控制与传输相关指令。电子装置包括:设备感应器4、设备控制器5、发动机感应器6、发动机按钮7、其他开关感应器8和其他开关9。
启动传感器2与设置于汽车内部的设备感应器4无线连接,所述设备感应器4电连接有设备控制器5,所述设备控制器5电连接有发动机感应器6,所述发动机感应器6电连接有发动机按钮7,所述设备控制器5电连接有其他开关感应器8,所述其他开关感应器8电连接有其他开关9。
所述启动传感器2启动,数据传输于设备感应器4,所述设备感应器4 数据传输于设备控制器5,实现无线传输,远程控制。所述设备控制器5数据传输于发动机感应器6,所述发动机感应器6数据传输于给发动机按钮,所述发动机按钮7与设置于汽车内部的发动机电连接,无线控制汽车的启动与关闭。
所述设备控制器5数据传输于其他开关感应器8,所述其他开关感应器8 数据传输于其他开关9,所述其他开关感应器8与设置于汽车内部的功能配件以及元件电性连接,无线控制汽车相关设备或元件的启动与关闭。
本发明的工作过程为:在实际工作过程中通过启动传感器2不工作时,启动感应器3数据传输于系统控制器1关闭电子装置的电源,使得该电子装置待机时无电流传输,功耗为零;通过启动系统下发启动指令,电子装置供电,发动机开始启动,同时通过设备控制器5传达信息给其他开关感应器8,所述其他开关感应器8数据传输于其他开关9,下发启动指令,其他设备或元件启动。
综上所述,本发明实施例提供的汽车电子控制器节能控制工艺采用非接触的交互输入形式,驾驶人不需移动身体即可输入指令以控制汽车启动以及汽车上的电子装置,增加了行车的智能化和安全性,也提高了驾驶人的控制效率。汽车电子控制器节能控制工艺使得汽车内受控的各种电子装置在发动机启动时才被供电,避免了电量的浪费。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种汽车电子控制器节能控制工艺,其特征在于,包括:
启动系统,其包括:显示装置、识别装置和中央处理模块;所述显示装置将系控制选项显示在汽车的驾驶座的前方的挡风玻璃上;所述识别装置监控驾驶人的行为;所述中央处理模块用于实时接收识别模块发送来的驾驶人的行为,并将驾驶人的行为与预设行为模式进行匹配,然后根据匹配的结果产生主汽车点火信号;
系统控制器,其用于接收所述中央处理模块的汽车点火信号;
电子装置,其由设置于汽车内部的储蓄电池组供电;
启动传感器,其与所述系统控制器电连接,接收其控制指令以控制所述电子装置的工作;
启动感应器,其与所述系统控制器电连接,能够在启动传感器不工作时,通过系统控制器下发关闭所述电子装置电源的指令。
2.根据权利要求1所述的汽车电子控制器节能控制工艺,其特征在于,所述识别装置为手势识别模块和/或眼部识别模块,所述手势识别模块用于采集驾驶人手势;所述眼部识别模块用于采集驾驶人眼球转动角度;所述中央处理模块用于实时接收手势识别模块、眼部识别模块发送来的驾驶人手势、眼球转动角度,并将其与中央处理模块预设的驾驶人手势、眼球转动模式进行匹配,然后根据匹配的结果产生控制指令。
3.根据权利要求1所述的汽车电子控制器节能控制工艺,其特征在于,所述手势识别模块用于在预设空间范围内采集一组连续的手势图像,并提取所述手势图像的手掌关键点;预设空间范围为所述显示装置显示图像对应的空间范围;连续的手势图像包括多帧连续图像,且每次采集的手势图像的帧数相同。
4.根据权利要求3所述的汽车电子控制器节能控制工艺,其特征在于,所述手势图像为深度图像。
5.根据权利要求4所述的汽车电子控制器节能控制工艺,其特征在于,所述中央处理模块包括:确定模块和匹配模块,所述确定模块用于基于所述手掌关键点确定预设类型的手势模型数据;所述匹配模块用于将所述手势模型数据与该预设行为模式进行匹配,并根据匹配的结果产生控制指令。
6.根据权利要求1所述的汽车电子控制器节能控制工艺,其特征在于,所述电子装置包括:设备感应器、设备控制器、发动机感应器、发动机按钮、其他开关感应器和其他开关;所述启动传感器与设置于汽车内部的设备感应器无线连接,所述设备感应器电连接有设备控制器,所述设备控制器电连接有发动机感应器,所述发动机感应器电连接有发动机按钮,所述设备控制器电连接有其他开关感应器,所述其他开关感应器电连接有其他开关。
CN201911375823.1A 2019-12-27 2019-12-27 汽车电子控制器节能控制工艺 Pending CN111025999A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911375823.1A CN111025999A (zh) 2019-12-27 2019-12-27 汽车电子控制器节能控制工艺

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911375823.1A CN111025999A (zh) 2019-12-27 2019-12-27 汽车电子控制器节能控制工艺

Publications (1)

Publication Number Publication Date
CN111025999A true CN111025999A (zh) 2020-04-17

Family

ID=70194405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911375823.1A Pending CN111025999A (zh) 2019-12-27 2019-12-27 汽车电子控制器节能控制工艺

Country Status (1)

Country Link
CN (1) CN111025999A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2074821U (zh) * 1990-09-17 1991-04-10 梁金华 汽车发动机快速预热装置
EP0392411B2 (en) * 1989-04-14 1999-01-07 Hitachi, Ltd. A control apparatus for automobiles
CN103303224A (zh) * 2013-06-18 2013-09-18 桂林电子科技大学 车载设备手势控制系统及其使用方法
CN107390874A (zh) * 2017-07-27 2017-11-24 深圳市泰衡诺科技有限公司 一种基于人眼的智能终端控制方法及控制装置
CN107562208A (zh) * 2017-09-27 2018-01-09 上海展扬通信技术有限公司 一种基于视觉的智能终端控制方法及智能终端控制系统
CN107967061A (zh) * 2017-12-21 2018-04-27 北京华捷艾米科技有限公司 人机交互方法及装置
CN108423004A (zh) * 2018-05-16 2018-08-21 浙江吉利控股集团有限公司 一种双目识别驾驶员状态检测系统及方法
CN109636968A (zh) * 2018-12-02 2019-04-16 柳州英飞科技有限公司 一种汽车电子控制器节能控制工艺
CN110297540A (zh) * 2019-06-12 2019-10-01 浩博泰德(北京)科技有限公司 一种人机交互装置及人机交互方法
CN110471532A (zh) * 2019-08-19 2019-11-19 业成科技(成都)有限公司 整合眼球追踪与手势操控之车载装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0392411B2 (en) * 1989-04-14 1999-01-07 Hitachi, Ltd. A control apparatus for automobiles
CN2074821U (zh) * 1990-09-17 1991-04-10 梁金华 汽车发动机快速预热装置
CN103303224A (zh) * 2013-06-18 2013-09-18 桂林电子科技大学 车载设备手势控制系统及其使用方法
CN107390874A (zh) * 2017-07-27 2017-11-24 深圳市泰衡诺科技有限公司 一种基于人眼的智能终端控制方法及控制装置
CN107562208A (zh) * 2017-09-27 2018-01-09 上海展扬通信技术有限公司 一种基于视觉的智能终端控制方法及智能终端控制系统
CN107967061A (zh) * 2017-12-21 2018-04-27 北京华捷艾米科技有限公司 人机交互方法及装置
CN108423004A (zh) * 2018-05-16 2018-08-21 浙江吉利控股集团有限公司 一种双目识别驾驶员状态检测系统及方法
CN109636968A (zh) * 2018-12-02 2019-04-16 柳州英飞科技有限公司 一种汽车电子控制器节能控制工艺
CN110297540A (zh) * 2019-06-12 2019-10-01 浩博泰德(北京)科技有限公司 一种人机交互装置及人机交互方法
CN110471532A (zh) * 2019-08-19 2019-11-19 业成科技(成都)有限公司 整合眼球追踪与手势操控之车载装置

Similar Documents

Publication Publication Date Title
CN109151180B (zh) 一种对象识别方法及移动终端
CN103529929B (zh) 手势识别系统及可识别手势动作的眼镜
US20120207345A1 (en) Touchless human machine interface
CN108681399B (zh) 一种设备控制方法、装置、控制设备及存储介质
CN109977845B (zh) 一种可行驶区域检测方法及车载终端
CN110377053B (zh) 无人机的飞行控制方法和装置
CN107030692B (zh) 一种基于感知增强的机械手遥操作方法及系统
CN102262476A (zh) 传输触觉信息的系统和方法
US20120113151A1 (en) Display apparatus and display method
CN112164608B (zh) 电子设备、其控制方法和控制装置
CN104881122A (zh) 一种体感交互系统激活方法、体感交互方法及系统
EP4002199A1 (en) Method and device for behavior recognition based on line-of-sight estimation, electronic equipment, and storage medium
CN109558004B (zh) 一种人体辅助机器人的控制方法及装置
CN109459864B (zh) 一种立体显示屏、显示方法及终端设备
CN104915004A (zh) 一种体感控制屏幕滚动方法、体感交互系统及电子设备
CN112748798B (zh) 一种眼球追踪校准方法及相关设备
CN109784234B (zh) 一种基于前向鱼眼镜头的直角弯识别方法及车载设备
CN111025999A (zh) 汽车电子控制器节能控制工艺
CN113799791B (zh) 基于摄像头的方向盘按键防误触方法、装置及车辆
CN104375631A (zh) 一种基于移动终端的非接触式交互方法
CN114840083A (zh) Vr手柄、电子设备及其控制方法和控制装置
CN114399750A (zh) 一种危险驾驶的判断方法、装置、电子设备及存储介质
CN106990859A (zh) 光学触控系统、光学触控装置及其触控检测方法
JP4839939B2 (ja) 自律移動装置
CN110046569B (zh) 一种无人驾驶数据处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417

RJ01 Rejection of invention patent application after publication