CN109885233A - 屏幕内容识别方法、装置、电子设备及存储介质 - Google Patents

屏幕内容识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109885233A
CN109885233A CN201910130340.9A CN201910130340A CN109885233A CN 109885233 A CN109885233 A CN 109885233A CN 201910130340 A CN201910130340 A CN 201910130340A CN 109885233 A CN109885233 A CN 109885233A
Authority
CN
China
Prior art keywords
pressing operation
pressing
area
sliding
duration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910130340.9A
Other languages
English (en)
Other versions
CN109885233B (zh
Inventor
张鹏元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910130340.9A priority Critical patent/CN109885233B/zh
Publication of CN109885233A publication Critical patent/CN109885233A/zh
Application granted granted Critical
Publication of CN109885233B publication Critical patent/CN109885233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种屏幕内容识别方法、装置、电子设备及存储介质,涉及电子设备技术领域。其中,该方法包括:接收作用于屏幕的按压操作;在所述按压操作的按压面积大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件;若满足,识别所述按压操作对应的预设显示区域的显示内容,并且,若有对所述按压操作的其他响应事件,拦截所述其他响应事件,以防止误触。

Description

屏幕内容识别方法、装置、电子设备及存储介质
技术领域
本申请涉及电子设备技术领域,更具体地,涉及一种屏幕内容识别方法、装置、电子设备及存储介质。
背景技术
电子设备的显示屏可以显示各种内容,有时候,用户会想要通过触摸屏幕进行屏幕识别,以获取显示的某些内容的更多信息。但是,由于屏幕本身对触摸敏感,非常容易在进行屏幕识别时产生误触。
发明内容
鉴于上述问题,本申请提出了一种屏幕内容识别方法、装置、电子设备及存储介质,以改善上述问题。
第一方面,本申请实施例提供了一种屏幕内容识别方法,所述方法包括:接收作用于屏幕的按压操作;在所述按压操作的按压面积大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件;若满足,识别所述按压操作对应的预设显示区域的显示内容,并且,若有对所述按压操作的其他响应事件,拦截所述其他响应事件。
第二方面,本申请实施例提供了一种屏幕内容识别装置,所述装置包括:触控模块,用于接收作用于屏幕的按压操作;判断模块,用于在所述按压操作的按压面积大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件;处理模块,用于若满足,识别所述按压操作对应的预设显示区域的显示内容,并且,若有对所述按压操作的其他响应事件,拦截所述其他响应事件。
第三方面,本申请实施例提供了一种电子设备,包括存储器以及处理器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时,所述处理器执行上述的方法。
第四方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述的方法。
本申请实施例提供的屏幕内容识别方法、装置、电子设备及存储介质,在按压操作的按压面积大于预设面积时的情况下,若该按压操作满足按压时长达到预设时长以及按压操作的滑动达到预设滑动条件,则按压操作对应的预设显示区域的显示内容,并拦截该按压操作的其他响应事件,以防止误触。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提供的屏幕内容识别方法的流程图。
图2示出了本申请实施例提供的一种显示示意图。
图3示出了本申请实施例提供的另一种显示示意图。
图4示出了本申请另一实施例提供的屏幕内容识别方法的流程图。
图5示出了本申请实施例提供的又一种显示示意图。
图6示出了本申请实施例提供的再一种显示示意图。
图7示出了本申请又一实施例提供的屏幕内容识别方法的流程图。
图8示出了本申请再一实施例提供的屏幕内容识别方法的流程图。
图9示出了本申请一实施例提供的屏幕内容识别装置的功能模块图。
图10示出了本申请实施例提供的电子设备的结构框图。
图11是本申请实施例的用于保存或者携带实现根据本申请实施例的屏幕内容识别方法的程序代码的存储介质。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在电子设备的使用过程中,可以通过识屏功能对屏幕中指定区域的显示内容进行识别,获取指定区域内显示的文字、文字的分词、文字的翻译以及与文字相关的其他内容等。
通常的,基于屏幕可以根据触控进行反应的特性,可以通过在屏幕的触控操作启动识屏功能。但是,由于在屏幕中各种不同的功能都可能通过相应的触控操作启动,在屏幕中启动识屏操作时的触控操作可能会触发识屏功能以外的其他功能,触发的其他功能可能中断识屏功能,从而产生误触,导致识屏功能的启动失败。
例如,通过按压面积大于预设面积且按压时长超过预设时长启动识屏功能。若屏幕中显示有网址链接、虚拟按键等触控响应事件,当用户通过按压面积大于预设面积且按压时长超过预设时长时,若按压位置在网址链接,系统响应对该网址链接的按压,启动浏览器等三方应用响应该对网址链接的触控,跳转到相应的网址,中断识屏功能的启动。
发明人通过研究发现,可能产生误触的原因在于,一方面,识屏功能触发的触控条件过于简单,易于与其他触发操作相混淆,将该识屏功能的触发操作识别为其他操作;另一方面,系统不会在触发识屏功能时的操作情况下,对其他的响应事件进行拦截,导致其他响应事件先于识屏功能启动终端识屏功能。
基于可能产生误触的原因,发明人提出了本申请实施例提供的屏幕内容识别方法、装置、电子设备及存储介质,设置更加独特而不易与其他操作混淆的触发方式触发识屏功能,在接收到的按压操作的按压面积大于预设面积,且满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件,启动识屏功能,并且在识屏功能启动时拦截其他响应事件,避免误触的产生。
如图1示出了本申请实施例提供的屏幕内容识别方法,该方法应用于电子设备。该电子设备可以是手机、平板电脑、个人电脑以及其他包括屏幕为触摸屏并且可以进行屏幕显示内容识别的智能设备。具体的,如图1所示,该方法可以包括:
步骤S110:接收作用于屏幕的按压操作。
电子设备可以对屏幕是否接收到按压操作进行监听,该按压操作即用户对电子设备屏幕中可检测到触控的触控区域的触摸。当监听到按压操作时,则可以确定接收到作用于屏幕的按压操作。
步骤S120:在所述按压操作的按压面积大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件。
电子设备可以获取每次按压操作的按压面积、按压时长以及是否滑动。在按压面积大于预设面积的情况下,可以判断该按压操作的按压是否达到预设时长以及按压操作的滑动是否达到预设滑动条件。
当接收到在屏幕的按压操作,可以实时判断该按压操作的按压面积是否大于预设面积。具体的,按压操作的按压面积为产生该按压操作的肢体或者物体与屏幕的接触面积,如通过手指产生按压操作,按压面积为手指与屏幕之间的接触面积。例如,预设面积大小为如图2中虚线圈101所示,用户刚刚触摸到屏幕时按压面积为如图2中实线圈102所示,随着按压面积的增大,例如图3所示的实线圈103所示的按压面积,该实线圈103大于虚线圈101,判定按压面积大于预设面积。
其中,预设面积的具体大小在本申请实施例中并不限定。一种实施方式中,可以通过统计设置。例如,统计大量用户数据中,用户的普通触控操作的触摸面积,如一般的点击、滑动等操作的触摸面积。再获取该大量用户数据中,普通触控操作的触摸面积的平均值、大于预设比例的值或者频率最高的值等,由开发人员在系统中设置预设面积为该获取到的值。另一种实施方式中,可以由用户在识屏功能启动操作的设置界面输入预设面积,如用户在该设置界面进行一定程度的按压,以用户此次按压的触摸面积作为预设面积。
若按压面积在未大于预设面积时该按压操作即停止,若此时按压面积小于预设面积的按压操作对应有相应的响应事件,则响应该按压操作对应的响应事件。如用户手指触控屏幕,触控位置为虚拟按键,在按压面积还没大于预设面积,触控屏幕的手指离开屏幕,响应该虚拟按键对应的响应事件。若此时按压面积小于预设面积的按压操作未对应有相应的响应事件,则可以不做任何响应。
当判定按压面积大于预设面积时,可以判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件。
该按压时长可以是从检测到按压操作开始至判断的当前时间之间的时间长度。该预设时长的具体时间长度在本申请实施例中并不限定,如可以是400ms。其中。该预设时长可以由开发人员设置并存储于系统,也可以由用户在识屏功能启动操作的设置界面进行设置。若用户在识屏功能启动操作的设置界面进行设置,可以直接输入时间长度,也可以直接通过操作设置,如用户在设置界面按压一段时间,按压的时间长度则作为预设时长。
若判定按压时长还未达到预设时长,若按压操作还在持续,则继续判断该按压操作的按压时长是否达到预设时长。若按压时长还未达到预设时长的情况下,按压操作结束,若该按压操作对应有点击、滑动等响应事件则进行响应,若未对应有响应事件则可以不做任何响应。
在按压面积大于预设面积的情况下,还对该按压操作是否满足预设滑动条件进行判断。
作为一种实施方式,可以是在确定该按压操作具有滑动的情况下,判断该按压操作是否达到预设滑动条件。其中,根据用户的操作习惯,在需要启动识屏功能时,用户通常会有意识地进行较大面积的按压,通常具有较大的按压力度,具有较大的摩擦力,滑动速度并不快。若用户在进行其他操作,可能产生按压面积较大,按压时长较长,但是滑动速度较快的按压操作。例如,用户在进行快速滑动翻页时,在某一页进行滑动,可能会产生按压面积大于预设面积、按压时长大于预设时长且滑动的翻页操作。
为了与其他操作进行区分,本该实施方式中,可以在时间以及距离两个维度对按压操作的滑动速度进行限定,将该按压操作的滑动速度限定在一个较小的速度下,具体的,启动识屏功能的按压操作的预设滑动条件可以是,该按压操作在指定时长内的滑动距离小于或等于第一预设距离。例如,该预设滑动条件可以是,在50ms内按压操作的滑动距离小于或等于4像素。判断按压操作的滑动是否达到预设滑动条件时,即判断是否该按压操作在指定时长内的滑动距离小于或等于第一预设距离。若按压操作在指定时长内的滑动距离小于或等于第一预设距离,则判定按压操作满足预设滑动条件。
在另一种实施方式中,相对于前一实施方式,该预设滑动条件中还可以包括对是否滑动的判断。具体的,在该实施方式中,预设滑动条件可以是,按压操作在指定时长内的滑动距离小于或等于第一预设距离,并且,按压操作的滑动距离大于或等于第二预设距离,该第二预设距离大于或等于第一预设距离。该实施方式中,该预设滑动条件即确保该按压操作进行了滑动,又确保滑动的速度不至于过大。判断按压操作的滑动是否达到预设滑动条件时,即判断是否该按压操作的滑动距离大于或等于第二预设距离,且该按压操作在指定时长内的滑动距离小于或等于第一预设距离。若在指定时长内的滑动距离小于或等于第一预设距离,且该按压操作的滑动距离达到了大于或等于第二预设距离的条件,则判定按压操作满足预设滑动条件。
在该实施方式中,按压操作的预设滑动条件也可以由开发人员根据测试结果设置并存储于电子设备,或者由用户在该按压操作的设置界面通过实际的按压并滑动进行设置。
若判定按压操作的滑动还未达到预设滑动条件,若按压操作还在持续,则可以继续判断该按压操作的滑动是否达到预设滑动条件。若按压操作的滑动还未达到预设滑动条件的情况下,按压操作结束,若该按压操作对应有点击、滑动等响应事件则进行响应,若未对应有响应事件则可以不做任何响应。
可选的,若按压操作长时间未满足预设滑动条件,如按压时长大于预设的时长阈值,此次按压操作不再进行是否启动识屏功能的判断,可以不再判断该按压操作的滑动是否达到预设滑动条件,该按压操作作为一次无效的操作。或者可选的,若该按压操作对应有其他响应事件,不拦截该响应事件,进行该响应事件的响应。
在本申请实施例中,在按压面积大于预设面积时,可以先判断按压操作的按压时长是否达到预设时长,或者先判断按压操作的滑动是否达到预设滑动条件,或者同时判断按压操作的按压时长是否达到预设时长以及按压操作的滑动是否达到预设滑动条件。
步骤S130:若满足,识别所述按压操作对应的预设显示区域的显示内容,并且,若有对所述按压操作的其他响应事件,拦截所述其他响应事件。
若按压操作的按压面积大于预设面积,按压时长大于预设时长且按压操作的滑动达到预设滑动条件,则可以启动识屏功能,对按压操作对应的预设显示区域的显示内容进行识别。并且,在启动识屏功能时,若对该按压操作还有其他响应事件,如对按压位置的网址进行跳转,响应按压位置的虚拟按键的功能等,拦截该响应事件,避免误触的产生。
本申请实施例提供的屏幕内容识别方法,在按压操作的按压面积大于预设面积,按压时长大于预设时长且按压操作的滑动达到预设滑动条件的情况下启动识屏功能,并且拦截对该按压操作的其他响应事件,有效避免误触的产生,实现对屏幕的识别。
本申请还提供了一种包括对按压操作的具体判断步骤的实施例。具体的,请参见图4,该实施例的屏幕内容识别方法包括:
步骤S210:接收作用于屏幕的按压操作。
步骤S220:在所述按压操作的按压面积大于预设面积时,判断所述按压操作的按压时长是否达到预设时长。若达到预设时长,执行步骤S230;若未达到,执行步骤S220。
步骤S230:判断所述按压操作的滑动是否达到预设滑动条件。若达到,执行步骤S240;若未达到,执行步骤S230。
若判定按压操作的按压时长达到预设时长,则判断该按压操作是否达到预设滑动条件。
在本申请实施例中,步骤S220以及步骤S230的先后顺序可以并不限定。例如,可以是先执行步骤S220,再执行步骤S230,即在所述按压操作的按压面积大于预设面积时,判断所述按压操作的按压时长是否达到预设时长。若达到预设时长,判断所述按压操作的滑动是否达到预设滑动条件。也可以先执行步骤S230,再执行步骤S220,即在所述按压操作的按压面积大于预设面积时,判断所述按压操作的滑动是否达到预设滑动条件。若达到预设滑动条件,判断所述按压操作的按压时长是否达到预设时长,若按压操作的按压时长达到预设时长,执行步骤S240。或者同时开始步骤S220以及步骤S230,即在所述按压操作的按压面积大于预设面积时,判断所述按压操作的滑动是否达到预设滑动条件,判断所述按压操作的按压时长是否达到预设时长。若判定按压操作的滑动达到预设滑动条件,判定该按压操作的按压时长达到预设时长,执行步骤S240。
步骤S240:识别所述按压操作对应的预设显示区域的显示内容,并且,若有对所述按压操作的其他响应事件,拦截所述其他响应事件。
若按压操作对应的滑动满足预设滑动条件,识别所述按压操作对应的预设显示区域的显示内容,并且,若有对所述按压操作的其他响应事件,拦截所述其他响应事件。也就是说,在所述按压操作的按压面积大于预设面积时,若满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件,则拦截按压操作对应的其他响应事件,并进行屏幕识别,使对应该按压操作仅生效屏幕识别功能。其中,其他响应事件,即除屏幕识别以外的、对按压操作进行响应的事件,如对应所述按压操作的up事件和/或down事件等,例如,根据网址进行的网页跳转等up事件和/或down事件。
在本申请实施例中,对屏幕进行识别时,可以识别按压操作对应的预设显示区域的显示内容。
预设显示区域的具体定义方式在本申请实施例中并不限定。作为一种实施方式,该预设显示区域可以是按压操作的触控轨迹周围的一个预设大小的显示区域。例如图5所示,实线框104表示按压操作的触控轨迹,以矩形框105内的显示区域作为预设显示区域。另外,可选的,该预设显示区域可以是一个大小可调整的区域,若接收到用户对预设显示区域的调整,以用户最新调整的显示区域作为预设显示区域。例如用户将图5所示的矩形框105进行大小调整后如图6中矩形框106所示,则识别矩形框106中的显示内容。
作为一种实施方式,若按压操作的触控轨迹位于文本框、窗体、标签、按钮等控件时,以该控件的区域范围作为预设显示区域,以该控件中的内容作为预设显示区域中的显示内容。可选的,该实施方式还可以与前述实施方式结合,如若按压操作的触控轨迹位于某控件,则对该控件内的显示内容进行识别;若按压操作的触控轨迹未位于控件,则以按压操作的触控轨迹周围的一个预设大小的显示区域作为预设显示区域。
作为一种实施方式,也可以将当前的整个屏幕区域作为预设显示区域。可选的,该实施方式也可以与前面任意一个实施方式结合。例如,与前面两种实施方式的前一种实施方式结合,可以是,将当前的整个屏幕区域作为预设显示区域,该预设显示区域可以是一个大小可调整的区域,若接收到用户对预设显示区域的调整,以用户最新调整的显示区域作为预设显示区域。又如,与前面两种实施方式的后一种实施方式结合,可以是,若按压操作的触控轨迹位于某控件,则对该控件内的显示内容进行识别;若按压操作的触控轨迹未位于控件,则以当前的整个屏幕区域作为预设显示区域。又如,与前面两种实施方式结合,则可以是,若按压操作的触控轨迹位于某控件,则对该控件内的显示内容进行识别;若按压操作的触控轨迹未位于控件,则以当前的整个屏幕区域作为预设显示区域,该预设显示区域可以是一个大小可调整的区域,若接收到用户对预设显示区域的调整,以用户最新调整的显示区域作为预设显示区域。
在本申请实施例中,对预设显示区域的显示内容进行的具体识别方式并不限定。例如,可以是识别预设显示区域中显示的文本内容,显示识别到的文本内容、该文本内容的分词、该文本内容的翻译、该文本内容中名词的百科链接、该文本内容的中商品的购买链接、该文本内容中景点的购票链接、该文本内容中景点的路线链接和/或该文本内容中日期与任务对应进行日程保存等等。又如,可以识别显示区域中显示的图片内容,显示该图片内容中物体的百科链接、图片内容中商品的购买链接、图片内容中景点的购票链接和/或图片内容中景点的路线链接等等。
由于系统并不针对按压操作产生的其他响应事件做拦截处理,在按压操作的按压面积大于预设面积时,若该按压操作满足按压时长达到预设时长,并且该按压操作的滑动满足从滑动距离以及滑动时间两个维度对滑动速度的限定,识别所述按压操作对应的预设显示区域的显示内容,并且,若有对所述按压操作的其他响应事件,拦截所述其他响应事件,有效避免在屏幕识别时的误触。
本申请还提供了一种实施例,用于在多点触摸时的处理。具体的,请参见图7,该实施例的屏幕识别方法包括:
步骤S310:接收作用于屏幕的按压操作。
步骤S320:判断所述按压操作是否是多点触摸。
在接收到作用于屏幕的按压操作时,判定该按压操作是否包括多个触摸点,即判断该按压操作是否有两个或者两个以上的触摸点。其中,不同的触摸点之间并不连通。例如,两个手指同时触摸屏幕,并且两个手指的触摸区域并不连通,形成两个触摸点。
若该按压操作包括多个触摸点,则该按压操作是多点触摸,可以不再进行后续的是否为启动识屏功能的操作的进一步判断。
步骤S330:若所述按压操作不是多点触摸,在所述按压操作的按压面积大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件。
若该按压操作不是多点触摸,则进一步判断该按压操作是否为启动识屏功能的操作。具体的,则判断该按压操作的按压面积是否大于预设面积。在大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件。
步骤S340:若满足,识别所述按压操作对应的预设显示区域的显示内容,并且,若有对所述按压操作的其他响应事件,拦截所述其他响应事件。
在本申请实施例中,在按压操作不是多点触摸的情况下进一步判断该按压操作是否为启动识屏功能的操作,在是多点触摸的情况下减少操作识别的执行过程,降低系统功耗。
本申请还提供了一种实施例,用于因为用户不小心触摸到屏幕产生误触点时,识别到用户实际进行识屏功能启动的有效的触摸点。因此,根据误触点的触摸特性,在多点触摸时对误触点进行排除。具体的,请参见图8,该实施例提供的方法包括:
步骤S410:接收作用于屏幕的按压操作。
步骤S420:判断所述按压操作是否是多点触摸。若是,执行步骤S430;若否,在所述按压操作的按压面积大于预设面积时,执行步骤S460。
步骤S430:分别计算每个触摸点的按压面积。若只有一个触摸点的按压面积大于预设面积,执行步骤S440;若有两个或者两个以上的触摸点的按压面积大于预设面积,执行步骤S450。
若该按压操作为多点触摸,即此时接收到的按压操作包括多个触摸点,或者说接收到作用于屏幕的多点触摸。在多点触摸时,若有误触点,误触点的触摸面积可能小于预设面积,例如,用户的手指不小心触碰到屏幕时产生误触点。因此,可以分别计算每个触摸点的按压面积,并判断每个触摸点的按压面积是否大于预设面积。
步骤S440:以对该触摸点的按压操作作为有效的按压操作,执行步骤S460。
用户在有意识地启动识屏功能时,会根据识屏功能的启动操作,进行大面积的按压。因此,若只有一个触摸点的按压面积大于预设面积,则该触摸点可能是用户实际进行识屏功能启动的触摸点,以对该触摸点的按压操作作为有效的按压操作,进行后续按压时长以及滑动条件的判断。也就是说,可以继续识别该有效的按压操作的按压时长是否达到预设时长,该有效的按压操作的滑动是否达到预设滑动条件。若该有效的按压操作的按压时长达到预设时长以及该有效的按压操作的滑动达到预设滑动条件,则启动屏幕识别,拦截其他响应事件。
步骤S450:在所述两个或者两个以上的触摸点中,若只有一个触摸点的触控压力大于预设压力,以对该触摸点的按压操作作为有效的按压操作,执行步骤S460。
在某些情况下,用户的误触点可能也会大于预设面积。例如,用户在使用电子设备时,单手握持电子设备,通过握持电子设备的单手的拇指在屏幕中的某一点进行触控启动屏幕识别。但是由于屏幕较大,而用户触控的位置离拇指所在边缘较远,使在拇指触控屏幕时,虎口或者手掌与屏幕的接触产生误触点,形成多点触摸,但是此时用户想要产生实际触摸效果的为拇指触摸点。另外,误触点可能也会产生满足预设滑动条件的滑动,例如当用户在拇指与屏幕的触摸点处进行滑动以启动屏幕识别功能时,误触点可能也会跟随滑动,无法获取到有效的按压操作。
在本申请实施例中,根据该误触点的产生特性,虽然该误触点的触摸面积达到预设面积,但是此时该触摸点的按压力度较小。因此,在有两个或者两个以上的触摸点的按压面积大于预设面积时,可以判断该两个或者两个以上的触摸点的触控压力是否大于预设压力。该预设压力可以根据通常情况下用户用手指进行识屏功能启动时,达到预设面积所需要的触控力度设置。若在所述两个或者两个以上的触摸点中,只有一个触摸点的触控压力大于预设压力,以对该触摸点的按压操作作为有效的按压操作。后续判断按压操作是否满足按压时长达到预设时长以及达到预设滑动条件时,判断的为该有效的按压操作是否满足按压时长达到预设时长以及达到预设滑动条件。
作为一种实施方式,若有不止一个触摸点的触控压力大于预设压力,则判定当前的触控操作并非启动屏幕识别的触控操作,不再进行按压操作的按压时长达到是否预设时长以及按压操作的滑动是否达到预设滑动条件的判断。
作为另一种实施方式,若有不止一个触摸点的触控压力大于预设压力,则分别判断大于预设压力的各个触摸点对应的按压操作的按压时长是否达到预设时长以及滑动是否达到预设滑动条件。若有不止一个触摸点对应的按压操作满足按压操作的按压时长达到预设时长以及滑动达到预设滑动条件,或者没有触摸点对应的按压操作满足按压操作的按压时长达到预设时长以及滑动达到预设滑动条件,则判定当前的按压操作并非启动屏幕识别功能的操作。其中,每个触摸点对应的按压操作,为形成该触摸点的按压操作,例如,两个手指分别触控屏幕,分别形成两个触摸点,每个触摸点对应的按压操作为该触摸点处的手指的按压形成的按压操作。
步骤S460:判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件。
当判定有有效的按压操作时,判定该有效的按压操作是否满足按压时长达到预设时长以及滑动达到预设滑动条件。
若当前接收到的按压操作为单点触摸,在该按压操作的按压面积大于预设面积时,判断是否满足该按压操作的按压时长达到预设时长以及该按压操作的滑动达到预设滑动条件。
步骤S470:若满足,识别所述按压操作对应的预设显示区域的显示内容,并且,若有对所述按压操作的其他响应事件,拦截所述其他响应事件。
在本申请实施例中,对启动识屏功能时的误触点进行识别,对有效的按压操作进行是否启动识屏功能的判断。若根据启动屏幕识别功能的按压操作的按压位置确定预设显示区域,则可以准确识别到用户想要识别的显示区域。
本申请实施例还提供了一种屏幕内容识别装置500。具体的,请参见图9,该装置500包括:触控模块510,用于接收作用于屏幕的按压操作;判断模块520,用于在所述按压操作的按压面积大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件;处理模块530,用于若满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件,识别所述按压操作对应的预设显示区域的显示内容,并且,若有对所述按压操作的其他响应事件,拦截所述其他响应事件。
可选的,判断模块520对所述按压操作的按压面积大于预设面积时,是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件的判断可以是,在所述按压操作的按压面积大于预设面积时,判断所述按压操作的按压时长是否达到预设时长;若达到预设时长,判断所述按压操作的滑动是否达到预设滑动条件;若所述按压操作的滑动达到预设滑动条件,判定满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件。
可选的,判断模块520判断的按压操作的滑动达到预设滑动条件可以包括:按压操作在指定时长内的滑动距离小于或等于第一预设距离。
可选的,判断模块520判断的按压操作的滑动达到预设滑动条件还可以包括:按压操作的滑动距离大于或等于第二预设距离,所述第二预设距离大于或等于所述第一预设距离。
可选的,该装置还可以包括多点判断模块,用于判断所述按压操作是否是多点触摸。若判定为否,判断模块520用于在所述按压操作的按压面积大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件。
可选的,该装置还可以包括多点判断模块,面积计算模块、有效按压确定模块。其中,多点判断模块用于判断所述按压操作是否是多点触摸。面积计算模块用于在判定按压操作为多点触摸时,分别计算每个触摸点的按压面积。有效按压确定模块,用于若只有一个触摸点的按压面积大于预设面积,以对该触摸点的按压操作作为有效的按压操作;若有两个或者两个以上的触摸点的按压面积大于预设面积,在所述两个或者两个以上的触摸点中,若只有一个触摸点的触控压力大于预设压力,以对该触摸点的按压操作作为有效的按压操作;若所述按压操作为单点触摸,以对该触摸点的按压操作作为有效的按压操作。
本申请实施例中,通过细化分析智慧识屏的操作方式,在按压触发智慧识屏的过程中增加滑动事件判断条件,解决用户使用智慧识屏中极易出现的误触问题,提高产品表现力。可根据用户结束长按时的滑动轨迹,解决用户长按触发智慧识屏时的误触问题,且同时也可避免出现长按后无法滑动界面的问题,给用户一个较好的使用体验。
在触发识别后,由于系统并不针对按压操作产生的Down事件、Up事件等响应事件做拦截处理,导致该按压操作可产生完整的Down事件和/或Up事件,如当按压的内容中含有网址等信息时,三方应用会响应点击(Down+Up)事件跳转至网址,从而中断了识屏功能,出现误触问题。本申请实施例中通过增加对用户滑动(Move)事件判断,识别用户长按或滑动意图,从而在用户触发智慧识屏后判断是否屏蔽非识屏功能的Up事件和/或Down事件。假如用户意图为长按触发智慧识屏,即屏蔽Up事件和/或Down事件,三方应用由于接收不到完整的Down+Up事件,不会响应点击操作,也就避免了误触问题产生。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参考图10,其示出了本申请实施例提供的一种电子设备600的结构框图。该电子设备600可以是手机、平板电脑、电子书等能够进行屏幕识别的电子设备。该电子设备包括处理器610以及存储器620,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时,所述处理器执行上述一个或多个实施例所描述的方法。
处理器610可以包括一个或者多个处理核。处理器610利用各种接口和线路连接整个电子设备600内的各个部分,通过运行或执行存储在存储器620内的指令、程序、代码集或指令集,以及调用存储在存储器620内的数据,执行电子设备600的各种功能和处理数据。可选地,处理器610可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器610中,单独通过一块通信芯片进行实现。
存储器620可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器620可用于存储指令、程序、代码、代码集或指令集,如用于实现本申请实施例提供的屏幕内容识别方法的指令或代码集。存储器620可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图11,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质700包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种屏幕内容识别方法,其特征在于,所述方法包括:
接收作用于屏幕的按压操作;
在所述按压操作的按压面积大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件;
若满足,识别所述按压操作对应的预设显示区域的显示内容,并且,若有对所述按压操作的其他响应事件,拦截所述其他响应事件。
2.根据权利要求1所述的方法,其特征在于,所述在所述按压操作的按压面积大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件,包括:
在所述按压操作的按压面积大于预设面积时,判断所述按压操作的按压时长是否达到预设时长;
若达到预设时长,判断所述按压操作的滑动是否达到预设滑动条件;
若所述按压操作的滑动达到预设滑动条件,判定满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件。
3.根据权利要求1或2所述的方法,其特征在于,所述按压操作的滑动达到预设滑动条件包括:
所述按压操作在指定时长内的滑动距离小于或等于第一预设距离。
4.根据权利要求3所述的方法,其特征在于,按压操作的滑动达到预设滑动条件还包括:
所述按压操作的滑动距离大于或等于第二预设距离,所述第二预设距离大于或等于所述第一预设距离。
5.根据权利要求1所述的方法,其特征在于,所述在所述按压操作的按压面积大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件之前,还包括:
判断所述按压操作是否是多点触摸;
若否,执行所述在所述按压操作的按压面积大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件的步骤。
6.根据权利要求1所述的方法,其特征在于,所述在所述按压操作的按压面积大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件之前,还包括:
判断所述按压操作是否是多点触摸;
若是,分别计算每个触摸点的按压面积,
若只有一个触摸点的按压面积大于预设面积,以对该触摸点的按压操作作为有效的按压操作,执行后续步骤,
若有两个或者两个以上的触摸点的按压面积大于预设面积,在所述两个或者两个以上的触摸点中,若只有一个触摸点的触控压力大于预设压力,以对该触摸点的按压操作作为有效的按压操作,执行后续步骤;
若所述按压操作为单点触摸,执行所述按压操作的按压面积大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件的。
7.根据权利要求1所述的方法,其特征在于,所述其他响应事件包括对应所述按压操作的up事件以及down事件。
8.一种屏幕内容识别装置,其特征在于,所述装置包括:
触控模块,用于接收作用于屏幕的按压操作;
判断模块,用于在所述按压操作的按压面积大于预设面积时,判断是否满足按压操作的按压时长达到预设时长以及按压操作的滑动达到预设滑动条件;
处理模块,用于若满足,识别所述按压操作对应的预设显示区域的显示内容,并且,若有对所述按压操作的其他响应事件,拦截所述其他响应事件。
9.一种电子设备,其特征在于,包括存储器以及处理器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时,所述处理器执行如权利要求1-7任一项所述的方法。
10.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。
CN201910130340.9A 2019-02-21 2019-02-21 屏幕内容识别方法、装置、电子设备及存储介质 Active CN109885233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910130340.9A CN109885233B (zh) 2019-02-21 2019-02-21 屏幕内容识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910130340.9A CN109885233B (zh) 2019-02-21 2019-02-21 屏幕内容识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109885233A true CN109885233A (zh) 2019-06-14
CN109885233B CN109885233B (zh) 2021-04-13

Family

ID=66928785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910130340.9A Active CN109885233B (zh) 2019-02-21 2019-02-21 屏幕内容识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN109885233B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110865734A (zh) * 2019-11-13 2020-03-06 北京字节跳动网络技术有限公司 目标对象显示方法、装置、电子设备和计算机可读介质
CN113760123A (zh) * 2021-07-26 2021-12-07 杭州逗酷软件科技有限公司 屏幕触控的优化方法、装置、终端设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130326432A1 (en) * 2005-04-08 2013-12-05 Microsoft Corporation Processing For Distinguishing Pen Gestures And Dynamic Self-Calibration Of Pen-Based Computing Systems
US20140055369A1 (en) * 2012-08-22 2014-02-27 Qualcomm Innovation Center, Inc. Single-gesture mobile computing device operations
CN104714731A (zh) * 2013-12-12 2015-06-17 中兴通讯股份有限公司 终端界面的显示方法及装置
CN105208277A (zh) * 2015-09-29 2015-12-30 努比亚技术有限公司 一种移动终端及其相机调焦处理方法
CN105607853A (zh) * 2015-12-21 2016-05-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN106775087A (zh) * 2016-12-16 2017-05-31 广东欧珀移动通信有限公司 一种移动终端的触摸屏控制方法、装置及移动终端
CN108932102A (zh) * 2018-06-07 2018-12-04 Oppo广东移动通信有限公司 数据处理方法、装置以及移动终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130326432A1 (en) * 2005-04-08 2013-12-05 Microsoft Corporation Processing For Distinguishing Pen Gestures And Dynamic Self-Calibration Of Pen-Based Computing Systems
US20140055369A1 (en) * 2012-08-22 2014-02-27 Qualcomm Innovation Center, Inc. Single-gesture mobile computing device operations
CN104714731A (zh) * 2013-12-12 2015-06-17 中兴通讯股份有限公司 终端界面的显示方法及装置
CN105208277A (zh) * 2015-09-29 2015-12-30 努比亚技术有限公司 一种移动终端及其相机调焦处理方法
CN105607853A (zh) * 2015-12-21 2016-05-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN106775087A (zh) * 2016-12-16 2017-05-31 广东欧珀移动通信有限公司 一种移动终端的触摸屏控制方法、装置及移动终端
CN108932102A (zh) * 2018-06-07 2018-12-04 Oppo广东移动通信有限公司 数据处理方法、装置以及移动终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110865734A (zh) * 2019-11-13 2020-03-06 北京字节跳动网络技术有限公司 目标对象显示方法、装置、电子设备和计算机可读介质
CN113760123A (zh) * 2021-07-26 2021-12-07 杭州逗酷软件科技有限公司 屏幕触控的优化方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN109885233B (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
US10976920B2 (en) Techniques for image-based search using touch controls
US10296140B2 (en) Information processing method for avoidance of a mis-touch and electronic device thereof
US9886430B2 (en) Entity based content selection
CN112596664B (zh) 一种数据通信处理方法、装置及电子设备、触摸显示设备
CN103809896B (zh) 一种页面切换方法及装置
CN107247538B (zh) 触摸操作处理方法及终端设备
CN109976655B (zh) 长截屏方法、装置、终端及存储介质
CN105677182B (zh) 一种信息处理方法及终端
CN106598455B (zh) 用于手持触摸设备的触摸行为响应方法和装置及相应设备
KR20120135694A (ko) 디바이스에서 제스처를 이용한 웹브라우저 인터페이스 제공 장치 및 방법
JP2015153420A (ja) マルチタスク切替方法及びそのシステム及び該システムを有する電子装置
CN111782332A (zh) 应用界面切换方法、装置、终端及存储介质
US10373613B2 (en) Dual-mode voice control method, device, and user terminal
US20130044061A1 (en) Method and apparatus for providing a no-tap zone for touch screen displays
CN106843735A (zh) 一种终端控制方法及移动终端
CN105677194A (zh) 一种对象选择方法及终端
CN109885233A (zh) 屏幕内容识别方法、装置、电子设备及存储介质
CN114637422A (zh) 防误触方法、装置、电子设备及计算机可读介质
CN104123070B (zh) 一种信息处理方法及电子设备
EP2899623A2 (en) Information processing apparatus, information processing method, and program
WO2018137276A1 (zh) 数据处理的方法及移动设备
CN114860149A (zh) 内容编辑的控制方法、装置、电子设备及存储介质
CN110764683A (zh) 一种处理操作方法及终端
CN107609433A (zh) 隐私保护方法及电子设备
CN112162689B (zh) 输入方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant