CN106648423A - 移动终端及其交互控制方法 - Google Patents

移动终端及其交互控制方法 Download PDF

Info

Publication number
CN106648423A
CN106648423A CN201611050521.3A CN201611050521A CN106648423A CN 106648423 A CN106648423 A CN 106648423A CN 201611050521 A CN201611050521 A CN 201611050521A CN 106648423 A CN106648423 A CN 106648423A
Authority
CN
China
Prior art keywords
image
finger
mobile terminal
interactive object
control instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611050521.3A
Other languages
English (en)
Inventor
黄源浩
刘龙
肖振中
许星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201611050521.3A priority Critical patent/CN106648423A/zh
Publication of CN106648423A publication Critical patent/CN106648423A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

本发明公开了一种移动终端及其交互控制方法,该交互控制方法包括:从移动终端的非显示屏一侧采集包含交互对象的目标区域的图像;在目标区域的图像中识别交互对象的动作,并将识别结果转化为相应的控制指令;执行控制指令。通过上述方式,本发明能够在非显示屏一侧对移动终端进行控制,有利于实现对大屏装置的单手操作。

Description

移动终端及其交互控制方法
技术领域
本发明涉及移动终端控制技术领域,特别是涉及移动终端及其交互控制方法。
背景技术
随着移动互联网的普及以及人们对手机等智能设备的功能要求越来越高,同时兼备通讯、上网以及视频播放等功能是目前手机最为基本的配置。目前手机的尺寸几乎进入了大屏时代,单手操作手机已经摇不可及,尽管如此,兼顾较大屏幕以及单手操作依然是目前用户对手机的的诉求。
在手机背后增加功能键是一种解决单手操作的方案,但是无疑会影响手机背面的美观,因而这种方案一直没有被用户接受。
在手机背面增加额外的触摸屏是一种更佳的实现单手操作的方案,这种方案通过在背面利用手指的操控实现对手机屏幕无法单手操作区域的控制。但是这种方案成本较高,因而无法成为主流的单手操作方案。
发明内容
本发明主要解决的技术问题是提供一种移动终端及其交互控制方法,能够在非显示屏一侧对移动终端进行控制,有利于实现对大屏装置的单手操作。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种移动终端的交互控制方法,该交互控制方法包括:从移动终端的非显示屏一侧采集包含交互对象的目标区域的图像;在目标区域的图像中识别交互对象的动作,并将识别结果转化为相应的控制指令;执行控制指令。
其中,在目标区域的图像中识别交互对象的动作,并将识别结果转化为相应的控制指令,包括:对目标区域的图像进行预处理;从目标区域的图像中提取出交互对象的图像部分;对图像部分进行分析,以识别出交互对象的动作,并将识别结果转化为相应的控制指令。
其中,交互对象为手指;对图像部分进行分析,以识别出交互对象的动作,并将识别结果转化为相应的控制指令,包括:对手指的图像部分进行处理,以提取手指的骨架图像;对骨架图像进行定位,以确定手指的指尖位置;根据手指的指尖位置、手指的指尖运动轨迹以及手指的骨架图像中的至少一种,确定手指的手势或运动轨迹;根据手指的手势或运动轨迹,生成相应的控制指令。
其中,移动终端的非显示屏一侧为与移动终端的显示屏相对的一侧;执行控制指令,包括:根据控制指令,控制显示屏执行相应的显示操作。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种移动终端,该移动终端包括:图像采集器,设置于移动终端的非显示屏一侧,用于采集包含交互对象的目标区域的图像;处理器,用于在目标区域的图像中识别交互对象的动作,并将识别结果转化为相应的控制指令;处理器还用于执行控制指令。
其中,处理器具体用于:对目标区域的图像进行预处理;从目标区域的图像中提取出交互对象的图像部分;对图像部分进行分析,以识别出交互对象的动作,并将识别结果转化为相应的控制指令。
其中,交互对象为手指;处理器具体用于:对手指的图像部分进行处理,以提取手指的骨架图像;对骨架图像进行定位,以确定手指的指尖位置;根据手指的指尖位置、手指的指尖运动轨迹以及手指的骨架图像中的至少一种,确定手指的手势或运动轨迹;根据手指的手势或运动轨迹,生成相应的控制指令。
其中,图像采集器为微距图像采集器。
其中,移动终端还包括显示屏;处理器还用于根据控制指令,控制显示屏执行相应的显示操作。
其中,还包括照明装置,用于对目标区域进行照明。
本发明的有益效果是:区别于现有技术的情况,本发明的移动终端的交互控制方法包括:从移动终端的非显示屏一侧采集包含交互对象的目标区域的图像;在目标区域的图像中识别交互对象的动作,并将识别结果转化为相应的控制指令;执行控制指令。通过上述方式,能够在显示屏上进行触控操作的同时,在非显示屏一侧通过交互对象的动作来实现对移动终端的控制,实现了在非显示屏一侧对移动终端的控制,有利于实现对大屏装置的单手操作。
附图说明
图1是本发明移动终端的交互控制方法一实施方式的流程示意图;
图2是本发明移动终端的交互控制方法一实施方式中S12一具体实施例的流程示意图;
图3是本发明移动终端的交互控制方法一实施方式中S123一具体实施例的流程示意图;
图4是本发明移动终端一实施方式的结构示意图;
图5是本发明移动终端一实施方式中的操作示意图。
具体实施方式
参阅图1,图1是本发明移动终端的交互控制方法一实施方式的流程示意图,该交互控制方法包括:
S11:从移动终端的非显示屏一侧采集包含交互对象的目标区域的图像。
其中,移动终端可以是手机、平板电脑等可移动的终端,或智能手表等穿戴设备。
可以理解的,移动终端通常包含显示屏,如手机的显示屏设置于手机的正面,而非显示屏一侧是指手机的侧面或者背面。
其中,交互对象可以是用户身体的某个部位,也可以是专用的交互工具,例如专用交互笔、穿戴指环等。
可选的,交互对象一般为用户的手,特别地,一般用户需要手持移动终端,手指处于移动终端的非显示屏一侧,因此,交互对象可以是手指。
其中,目标区域为移动终端的图像采集器所采集的空间区域,图像采集器一般为微距图像采集器,或者移动终端的后置摄像头,该图像采集器可以是红外图像采集器、彩色图像采集器等。其中,该目标区域的图像中包含有交互对象。
另外,采集的目标区域的图像可以是单个一帧图像,也可以连续采集的图像序列,即连续的图像帧。
S12:在目标区域的图像中识别交互对象的动作,并将识别结果转化为相应的控制指令。
其中,交互对象的动作可以是交互对象上目标点的位置,也可以是交互对象的形状及其变化、运动轨迹等等。
可选的,在一具体的实施例中,S12可以具体包括:
S121:对目标区域的图像进行预处理。
其中,图像预处理用来将图像进行去噪、锐化,或者格式转换等处理以突出图像的细节,便于后续的处理。
S122:从目标区域的图像中提取出交互对象的图像部分。
其中,图像提取也可以叫图像分割,图像分割主要用来从图像中分割出手指部分,对于RGB图像,考虑到在近距离的情况下手指的肤色特征较为突出,因而可以利用肤色信息来进行分割,也可以利用其他边缘检测算法比如canny算法分割出手指部分的图像。
S123:对图像部分进行分析,以识别出交互对象的动作,并将识别结果转化为相应的控制指令。
可选的,在一具体的实施例中,交互对象为手指。则S123可以具体包括如下步骤:
S1231:对手指的图像部分进行处理,以提取手指的骨架图像。
通过对手指的图像部分进行细化处理,比如利用形态学或者中轴变换算法进行骨架提取。
S1232:对骨架图像进行定位,以确定手指的指尖位置。
可以理解的,手指一般为长条形,其一端处于目标区域中的某个位置,其另一端则超出目标区域的边缘,因此,可以根据交互对象的端点位置判断出手指的指尖位置。
S1233:根据手指的指尖位置、手指的指尖运动轨迹以及手指的骨架图像中的至少一种,确定手指的手势或运动轨迹。
其中,对手指的手势或运动轨迹确认可以采用分类器识别的方法。
首先选取相应的分类器,并进行训练学习。所输入的用于训练的特征主要是手指骨架、指尖、以及指尖运动轨迹等特征。识别过程则是将当前识别的特征输入分类器,经分类器分类后输出的则是当前识别的结果。
其中,手指的位置可以采用静态识别,而手指的轨迹可以采用动态识别。对于静态识别可以利用基于决策树、神经网络等算法的分类器,而对于动态识别则可以利用基于贝叶斯、隐马尔可夫模型等算法的分类器。另外,也可以借助于更为简单有效的模板匹配识别方法,比如双手指的V形手势,则可以通过计算两根骨架的夹角来进行识别。因此具体识别算法可以根据具体要求进行调整,不局限于基于分类器的识别算法。
S1234:根据手指的手势或运动轨迹,生成相应的控制指令。
S13:执行控制指令。
其中,控制指令包括对应移动终端各种功能的控制指令,开/关机、解/锁屏、音量调节以及其他应用程序的控制。
可选的,在一实施例中,移动终端的非显示屏一侧为与移动终端的显示屏相对的一侧;S1234可以具体为:根据控制指令,控制显示屏执行相应的显示操作。
举例而言,显示屏用于显示图形并响应处理器的控制指令执行对图形的操作;除此之外,显示屏还可以响应触摸指令并执行对图像的操作,比如翻页、点击等操作。
可以理解的,上述实施方式的交互控制方法可以单独设置于一控制模式中,当移动终端的模式切换到交互控制模式后,才执行上述方法步骤。
其中,移动终端可以接收用户的操作指令开启交互控制模式,也可以在移动终端进入相应的应用场景时,自动进入交互控制模式。
下面以一实际的应用场景,对本实施方式进行说明:
当用户单手手持手机,观看相册图片时,在翻阅图片时需要使用另一只手来进行滑动操作或使用大拇指在显示屏上滑动,操作较为不便。
在一实施例中,在手机背面伸出食指以及中指,并在图像采集器前面形成V形的手势,图像采集器采集到该图像后,经处理器识别后控制手机进入交互控制模式,并在显示屏上显示出控制光标。随后通过手指的移动或滞留等操作来控制光标的移动以及点击等来操控显示屏。
在另一实施例中,当用户打开相册时,开启交互控制模式,用户可以采用食指或其他手指在手机的背面来对相册进行调节控制。例如,通过在手机背面的目标区域晃动食指来进行图片的翻页,通过食指与手机之间的距离来实现图片的放大与缩小。
区别于现有技术,本实施方式的移动终端的交互控制方法包括:从移动终端的非显示屏一侧采集包含交互对象的目标区域的图像;在目标区域的图像中识别交互对象的动作,并将识别结果转化为相应的控制指令;执行控制指令。通过上述方式,能够在显示屏上进行触控操作的同时,在非显示屏一侧通过交互对象的动作来实现对移动终端的控制,实现了在非显示屏一侧对移动终端的控制,有利于实现对大屏装置的单手操作。
参阅图4,图4是本发明移动终端一实施方式的结构示意图,该移动终端至少包括图像采集器41以及处理器42。
图像采集器41,设置于移动终端的非显示屏一侧,用于采集包含交互对象的目标区域的图像。
可选的,图像采集器41为微距图像采集器。
处理器42,用于在目标区域的图像中识别交互对象的动作,并将识别结果转化为相应的控制指令。
处理器42还用于执行控制指令。
可选的,在其他实施方式中,处理器42具体用于:
对目标区域的图像进行预处理;从目标区域的图像中提取出交互对象的图像部分;对图像部分进行分析,以识别出交互对象的动作,并将识别结果转化为相应的控制指令。
可选的,在其他实施方式中,交互对象为手指,处理器42具体用于:
对手指的图像部分进行处理,以提取手指的骨架图像;对骨架图像进行定位,以确定手指的指尖位置;根据手指的指尖位置、手指的指尖运动轨迹以及手指的骨架图像中的至少一种,确定手指的手势或运动轨迹;根据手指的手势或运动轨迹,生成相应的控制指令。
可选的,该移动终端还包括显示屏;处理器42还用于根据控制指令,控制显示屏执行相应的显示操作。
可选的,该移动终端还包括照明装置,用于对目标区域进行照明。
在本发明所提供的几个实施方式中,应该理解到,所揭露的方法以及设备,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本发明各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。
参阅图5,下面以一应用场景对本实施方式进行说明:
其中,移动终端50包括图像采集器51以及处理器(设置于移动终端50的内部,未标示)。在用户单手操作时,即通过手指(如食指)在移动终端的背部对移动终端进行控制。
特别的,通过手指的位置、移动轨迹或者手势符号(如V型),可以对移动终端的显示屏上的显示画面进行控制。
区别于现有技术,本实施方式的移动终端包括:图像采集器,设置于移动终端的非显示屏一侧,用于采集包含交互对象的目标区域的图像;处理器,用于在目标区域的图像中识别交互对象的动作,并将识别结果转化为相应的控制指令;处理器还用于执行控制指令。通过上述方式,能够在显示屏上进行触控操作的同时,在非显示屏一侧通过交互对象的动作来实现对移动终端的控制,实现了在非显示屏一侧对移动终端的控制,有利于实现对大屏装置的单手操作。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种移动终端的交互控制方法,其特征在于,包括:
从移动终端的非显示屏一侧采集包含交互对象的目标区域的图像;
在所述目标区域的图像中识别所述交互对象的动作,并将识别结果转化为相应的控制指令;
执行所述控制指令。
2.根据权利要求1所述的交互控制方法,其特征在于,
所述在所述目标区域的图像中识别所述交互对象的动作,并将识别结果转化为相应的控制指令,包括:
对所述目标区域的图像进行预处理;
从所述目标区域的图像中提取出所述交互对象的图像部分;
对所述图像部分进行分析,以识别出所述交互对象的动作,并将识别结果转化为相应的控制指令。
3.根据权利要求2所述的交互控制方法,其特征在于,
所述交互对象为手指;
所述对所述图像部分进行分析,以识别出所述交互对象的动作,并将识别结果转化为相应的控制指令,包括:
对所述手指的图像部分进行处理,以提取所述手指的骨架图像;
对所述骨架图像进行定位,以确定所述手指的指尖位置;
根据所述手指的指尖位置、所述手指的指尖运动轨迹以及所述手指的骨架图像中的至少一种,确定所述手指的手势或运动轨迹;
根据所述手指的手势或运动轨迹,生成相应的控制指令。
4.根据权利要求1所述的交互控制方法,其特征在于,
所述移动终端的非显示屏一侧为与所述移动终端的显示屏相对的一侧;
所述执行所述控制指令,包括:
根据所述控制指令,控制所述显示屏执行相应的显示操作。
5.一种移动终端,其特征在于,包括:
图像采集器,设置于所述移动终端的非显示屏一侧,用于采集包含交互对象的目标区域的图像;
处理器,用于在所述目标区域的图像中识别所述交互对象的动作,并将识别结果转化为相应的控制指令;
所述处理器还用于执行所述控制指令。
6.根据权利要求5所述的移动终端,其特征在于,
所述处理器具体用于:
对所述目标区域的图像进行预处理;
从所述目标区域的图像中提取出所述交互对象的图像部分;
对所述图像部分进行分析,以识别出所述交互对象的动作,并将识别结果转化为相应的控制指令。
7.根据权利要求6所述的移动终端,其特征在于,
所述交互对象为手指;
所述处理器具体用于:
对所述手指的图像部分进行处理,以提取所述手指的骨架图像;
对所述骨架图像进行定位,以确定所述手指的指尖位置;
根据所述手指的指尖位置、所述手指的指尖运动轨迹以及所述手指的骨架图像中的至少一种,确定所述手指的手势或运动轨迹;
根据所述手指的手势或运动轨迹,生成相应的控制指令。
8.根据权利要求5所述的移动终端,其特征在于,
所述图像采集器为微距图像采集器。
9.根据权利要求5所述的移动终端,其特征在于,
所述移动终端还包括显示屏;
所述处理器还用于根据所述控制指令,控制所述显示屏执行相应的显示操作。
10.根据权利要求5所述的移动终端,其特征在于,
还包括照明装置,用于对所述目标区域进行照明。
CN201611050521.3A 2016-11-24 2016-11-24 移动终端及其交互控制方法 Pending CN106648423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611050521.3A CN106648423A (zh) 2016-11-24 2016-11-24 移动终端及其交互控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611050521.3A CN106648423A (zh) 2016-11-24 2016-11-24 移动终端及其交互控制方法

Publications (1)

Publication Number Publication Date
CN106648423A true CN106648423A (zh) 2017-05-10

Family

ID=58812984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611050521.3A Pending CN106648423A (zh) 2016-11-24 2016-11-24 移动终端及其交互控制方法

Country Status (1)

Country Link
CN (1) CN106648423A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447005A (zh) * 2018-11-01 2019-03-08 珠海格力电器股份有限公司 一种手势识别方法、装置、存储介质及电器
CN110109364A (zh) * 2019-03-25 2019-08-09 深圳绿米联创科技有限公司 设备控制方法、装置、摄像机以及存储介质
CN114615430A (zh) * 2022-03-07 2022-06-10 清华大学 移动终端与外部对象之间的交互方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834412A (zh) * 2015-05-13 2015-08-12 深圳市蓝晨科技有限公司 一种基于非接触式的手势识别的触摸终端
CN104866081A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 一种终端操作方法、装置及终端
CN105335059A (zh) * 2014-07-31 2016-02-17 优视科技有限公司 手持设备上用户操作模式的识别方法和手持设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866081A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 一种终端操作方法、装置及终端
CN105335059A (zh) * 2014-07-31 2016-02-17 优视科技有限公司 手持设备上用户操作模式的识别方法和手持设备
CN104834412A (zh) * 2015-05-13 2015-08-12 深圳市蓝晨科技有限公司 一种基于非接触式的手势识别的触摸终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447005A (zh) * 2018-11-01 2019-03-08 珠海格力电器股份有限公司 一种手势识别方法、装置、存储介质及电器
CN110109364A (zh) * 2019-03-25 2019-08-09 深圳绿米联创科技有限公司 设备控制方法、装置、摄像机以及存储介质
CN114615430A (zh) * 2022-03-07 2022-06-10 清华大学 移动终端与外部对象之间的交互方法、装置和电子设备
CN114615430B (zh) * 2022-03-07 2022-12-23 清华大学 移动终端与外部对象之间的交互方法、装置和电子设备

Similar Documents

Publication Publication Date Title
US11048333B2 (en) System and method for close-range movement tracking
US9910498B2 (en) System and method for close-range movement tracking
CN106774850A (zh) 一种移动终端及其交互控制方法
CN106502570B (zh) 一种手势识别的方法、装置及车载系统
Baldauf et al. Markerless visual fingertip detection for natural mobile device interaction
US8933970B2 (en) Controlling an augmented reality object
Taylor et al. Type-hover-swipe in 96 bytes: A motion sensing mechanical keyboard
Rautaray et al. Real time multiple hand gesture recognition system for human computer interaction
CN101498973B (zh) 一种以多指手势进行触控操作的触控解译装置与方法
US20060209021A1 (en) Virtual mouse driving apparatus and method using two-handed gestures
CN107578023A (zh) 人机交互手势识别方法、装置及系统
WO2004031933B1 (en) Method of combining data entry of handwritten symbols with displayed character data
CN104407694A (zh) 一种结合人脸和手势控制的人机交互方法及装置
CN109074224A (zh) 用于在字符串中插入字符的方法以及相应的数字设备
CN108885615A (zh) 针对浏览器导航的墨水输入
CN109074223A (zh) 用于在字符串中进行字符插入的方法和系统
EP4307096A1 (en) Key function execution method, apparatus and device, and storage medium
CN107450717B (zh) 一种信息处理方法及穿戴式设备
CN105242776A (zh) 一种智能眼镜的控制方法及智能眼镜
CN106648423A (zh) 移动终端及其交互控制方法
CN111103982A (zh) 基于体感交互的数据处理方法以及装置、系统
CN112702517B (zh) 显示控制方法、装置及电子设备
CN112199015A (zh) 智能交互一体机及其书写方法、装置
Dhamanskar et al. Human computer interaction using hand gestures and voice
Ma'asum et al. An overview of hand gestures recognition system techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510

RJ01 Rejection of invention patent application after publication