CN111465918B - 在预览界面中显示业务信息的方法及电子设备 - Google Patents

在预览界面中显示业务信息的方法及电子设备 Download PDF

Info

Publication number
CN111465918B
CN111465918B CN201880080687.0A CN201880080687A CN111465918B CN 111465918 B CN111465918 B CN 111465918B CN 201880080687 A CN201880080687 A CN 201880080687A CN 111465918 B CN111465918 B CN 111465918B
Authority
CN
China
Prior art keywords
preview
electronic device
function
character
service information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880080687.0A
Other languages
English (en)
Other versions
CN111465918A (zh
Inventor
徐宏
王国英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN111465918A publication Critical patent/CN111465918A/zh
Application granted granted Critical
Publication of CN111465918B publication Critical patent/CN111465918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus

Abstract

本申请实施例提供一种在预览界面中显示业务信息的方法,涉及电子技术领域,能够增强电子设备拍摄预览时的图像处理功能。方案包括:电子设备显示包括慧读模式控件的拍摄预览界面;响应于对慧读模式控件的触摸操作,分别显示p个功能控件和q个功能控件,预览界面中有预览对象;预览对象包括文本类型的第一子对象和图像类型的第二子对象,p个功能控件与第一子对象对应,q个功能控件与第二子对象对应,且p个功能控件与q个功能控件不同;响应于对p个功能控件中的第一功能控件的触摸操作,显示第一功能选项对应的第一业务信息;响应于对q个功能控件中的第二功能控件的触摸操作,显示第二功能选项对应的第二业务信息。本申请实施例用于预览显示。

Description

在预览界面中显示业务信息的方法及电子设备
技术领域
本申请涉及电子设备技术领域,尤其涉及一种在预览界面中显示业务信息的方法及电子设备。
背景技术
随着手机等电子设备拍摄技术的发展,摄像头等基础硬件配置越来越高,拍照模式越来越丰富,拍摄效果也越来越好,用户的使用体验也越来越高。但是,电子设备在拍摄模式下仅能拍摄图像或者仅能对图像进行一些简单的处理,比如美颜处理、延时处理或添加水印等,无法对图像进行深度处理。
发明内容
本申请实施例提供一种在预览界面中显示业务信息的方法及电子设备,能够增强电子设备拍摄预览时的图像处理功能。
为达到上述目的,本申请实施例采用如下技术方案:
一方面,本申请技术方案提供了一种在预览界面中显示业务信息的方法,应用于具有触摸屏的电子设备,该方法包括:电子设备检测到用于启动相机应用的第一触摸操作;响应于第一触摸操作,电子设备在触摸屏上显示拍摄的第一预览界面,第一预览界面中包括慧读模式控件。电子设备检测到针对慧读模式控件的第二触摸操作;响应于第二触摸操作,电子设备在第二预览界面上分别显示与慧读模式控件对应的p个功能控件和q个功能控件,第二预览界面中有预览对象。其中,预览对象包括第一子对象和第二子对象,第一子对象为文本类型,第二子对象为图像类型,p个功能控件与第一子对象对应,q个功能控件与第二子对象对应,且p个功能控件与q个功能控件不同。电子设备检测到针对p个功能控件中的第一功能控件的第三触摸操作;响应于第三触摸操作,电子设备在第二预览界面上显示第一功能选项对应的第一业务信息,第一业务信息是电子设备对第二预览界面中的第一子对象进行处理后获取的。电子设备检测到针对q个功能控件中的第二功能控件的第四触摸操作;响应于第四触摸操作,电子设备在第二预览界面上显示第二功能选项对应的第二业务信息,第二业务信息是电子设备对第二预览界面中的第二子对象进行处理后获取的。其中,p、q为自然数;p和q可以是相同的,也可以是不相同的。
这样,在拍摄预览状态下,电子设备可以响应于用户对慧读模式控件的操作,显示不同类型的预览子对象分别对应的不同的功能选项,并根据用户所选择的功能选项对预览子对象进行处理以获取功能选项对应的业务信息,从而在预览界面上显示不同子对象与所选择的功能选项对应的业务信息。因而,可以提高电子设备的预览处理功能。
在一种可能的实现中,第一业务信息是电子设备对第二预览界面中的第一对象上的字符进行处理后获取的。其中,该字符可以包括汉字、英文、俄文、德文、法文、日文等各个国家的文字,还可以包括数字、字母和符号等。该业务信息包括摘要信息、关键字信息、实体信息、观点信息、分类信息、情感信息、联想信息或品鉴信息等。
在该方案中,与文本类型的预览子对象对应的功能选项可以用于,通过对文本类型的预览子对象中的字符进行相应的加工和处理,使得电子设备在预览界面上显示与预览子对象中的字符内容相关联的业务信息,将预览子对象中非结构化的字符内容转化为结构化的字符内容,简化信息量,节省用户阅读文本对象上大量字符信息所花费的时间,方便用户阅读少量的、最关心的信息,为用户的阅读和信息管理带来便利。
在一种可能的实现中,电子设备显示第一功能选项对应的第一业务信息,包括:电子设备在第二预览界面上叠加显示功能界面,功能界面中包括第一功能选项对应的第一业务信息。
这样,可以方便用户通过显示在前方的功能界面了解业务信息。
在另一种可能的实现中,当电子设备显示多个功能选项对应的业务信息时,功能界面包括多个部分,每个部分分别用于显示一个功能选项的业务信息。
这样,可以方便用户区分不同功能选项分别对应的业务信息。
在另一种可能的实现中,电子设备显示第一功能选项对应的第一业务信息,包括:电子设备在第二预览界面显示的预览对象上,通过标记的方式显示第一功能选项对应的第一业务信息。
这样,可以通过标记的方式突出预览对象上的业务信息,方便用户浏览。
在另一种可能的实现中,电子设备在第一预览界面中显示与慧读模式控件对应的功能控件,包括:电子设备在第一预览界面中显示与慧读模式控件对应的功能列表,该功能列表中包括功能选项。
这样,功能选项可以集中显示在功能列表中。
在另一种可能的实现中,响应于电子设备检测到用户针对慧读模式控件的触摸操作,该方法还包括:电子设备在触摸屏上显示语言设置控件,语言设置控件用于设置业务信息的语言类型。
这样,可以方便用户设置和切换业务信息的语言类型
在另一种可能的实现中,电子设备在触摸屏上显示功能选项之后,该方法还包括:若电子设备检测到用户在触摸屏上的第一操作,则隐藏该功能选项。
这样,在用户不需要使用这些功能选项或者这些功能选择遮挡用户浏览预览对象时,电子设备可以隐藏这些功能选项。
在另一种可能的实现中,在电子设备隐藏功能选项后,在检测到用户的第二操作后,电子设备可以再恢复显示这些功能选项。
这样,可以方便用户在需要使用时再次调出这些功能选项。
在另一种可能的实现中,在电子设备显示第一功能选项对应的第一业务信息之前,该方法还包括:电子设备获取预览对象的RAW格式的预览图像;根据预览图像确定预览对象中的待识别字符对应的标准字符;根据待识别字符对应的标准字符确定第一功能选项对应的第一业务信息。
这样,电子设备可以摄像头输出的RAW格式的原始图像直接进行处理,而不需要对原始图像经过ISP处理生成图片后再进行字符识别;省去其他一些方法在字符识别时对图片的预处理操作(包括ISP处理的一些逆过程),节省计算资源,还能避免因为预处理而引入的噪声,提高识别准确度。
在另一种可能的实现中,电子设备根据预览图像确定预览对象中的待识别字符对应的标准字符,包括:电子设备对预览图像进行二值化处理,以获得包括黑色像素点和白像素点的预览图像。而后,电子设备根据预览图像上相邻黑色像素点的位置关系,确定待识别字符包括的至少一个目标黑色像素点。电子设备根据目标黑色像素点的坐标进行编码以获得待识别字符的第一编码向量。而后,电子设备计算第一编码向量与预设的标准库中的至少一个标准字符的第二编码向量的相似度。电子设备根据相似度确定待识别字符对应的标准字符。
这样,电子设备可以根据像素点的坐标组成的编码向量计算相似度从而进行字符识别,该种方法的准确度较高。
在另一种可能的实现中,标准字符的尺寸范围为预设的尺寸范围。电子设备根据目标黑色像素点的坐标进行编码以获得待识别字符的第一编码向量,包括:电子设备将待识别字符的尺寸范围缩/放为预设的尺寸范围。电子设备根据缩/放后的待识别字符中的目标黑色像素点的坐标进行编码,以获得第一编码向量。
其中,在确定待识别字符对应的标准字符时,由于待识别字符与标准字符的尺寸范围可能不一致,因而通常需要对待识别字符进行处理后再与标准字符进行匹配比对。
在另一种可能的实现中,标准字符的尺寸范围为预设的尺寸范围。电子设备根据目标黑色像素点的坐标进行编码以获得待识别字符的第一编码向量,包括:电子设备根据待识别字符中的目标黑色像素点的坐标进行编码以获得第三编码向量。电子设备计算预设的尺寸范围与待识别字符的尺寸范围的比值Q。电子设备根据第三编码向量、比值Q以及图像缩/放算法,计算待识别字符缩/放Q倍后对应的第一编码向量。
在另一种可能的实现中,字符的尺寸范围为:与字符最左边的黑色像素点的左边相切的第一直线,与字符最右边的黑色像素点的右边相切的第二直线,与字符最上边的黑色像素点的上边相切的第三直线,以及与字符最下边的黑色像素点的下边相切的第四直线之间所围成的区域的尺寸范围。
这样,可以确定待识别字符尺寸范围的大小,从而可以根据尺寸范围缩小或放大待识别字符。
在另一种可能的实现中,标准库中包括参考标准字符,以及其他每个标准字符与参考标准字符的第一相似度。电子设备计算第一编码向量与预设的标准库中的至少一个标准字符的第二编码向量的相似度,包括:电子设备计算第一编码向量与参考标准字符的第二编码向量的第二相似度;确定与第二相似度的差值的绝对值小于或者等于预设阈值的至少一个目标第一相似度;计算第一编码向量分别与至少一个目标第一相似度对应的标准字符的第二编码向量的第三相似度。电子设备根据相似度确定待识别字符对应的标准字符,包括:电子设备根据第三相似度确定待识别字符对应的标准字符。
这样,电子设备不需要将待识别字符与标准库中的每个标准字符依次进行比对,从而可以缩小相似度的计算范围,有效避免了与标准库中的汉字逐一计算的过程,大大减少相似度计算的时间。
另一方面,本申请技术方案提供了一种在预览界面中显示业务信息的方法,应用于具有触摸屏的电子设备,该方法包括:电子设备检测到用于启动相机应用的第一触摸操作;响应于第一触摸操作,电子设备在触摸屏上显示拍摄的第一预览界面。第一预览界面中包括慧读模式控件。电子设备检测到针对慧读模式控件的第二触摸操作;响应于第二触摸操作,电子设备在第一预览界面上显示与慧读模式控件对应的m个功能控件,m为正整数。电子设备检测到针对m个功能控件中的第一功能控件的第三触摸操作;响应于第三触摸操作,电子设备在第二预览界面上显示第一功能选项对应的第一业务信息,第二预览界面中有第一预览对象。其中,第一业务信息是电子设备对第二预览界面中的第一预览对象进行处理后获取的。
在一种可能的实现中,该方法还包括:当第二预览界面中的第一预览对象切换为第二预览对象时,电子设备在第二预览界面上显示第一功能选项对应的第二业务信息,第二业务信息是电子设备对第二预览界面中的第二预览对象进行处理后获取的;电子设备停止显示第一业务信息。
其中,第二业务信息的显示位置与第一业务信息的显示位置可以相同或不同。
在另一种可能的实现中,该方法还包括:当第二预览界面中的第一预览对象切换为第二预览对象时,电子设备在第二预览界面上显示第一功能选项对应的第二业务信息,第二业务信息是电子设备对第二预览界面中的第二预览对象进行处理后获取的;电子设备在第二预览界面的左上角、右上角、左下角或右下角缩小显示第一功能选项对应的第一业务信息,第一业务信息的显示位置与第二业务信息的显示位置不同;电子设备检测到第三操作;响应于第三操作,电子设备合并显示第一业务信息和第二业务信息。
在该方案中,电子设备可以缩小显示第一预览对象的第一业务信息,同时显示第二预览对象的第二业务信息。并且,第一业务信息和第二信息还可以合并显示,以方便用户整合多个预览对象对应的相关业务信息。
在另一种可能的实现中,该方法还包括:当第二预览界面中的第一预览对象切换为第二预览对象时,电子设备在第二预览界面上显示第一功能选项对应的第三业务信息,第三业务信息包括第一业务信息和第二业务信息,第二业务信息是电子设备对第二预览界面中的第二预览对象进行处理后获取的。
在该方案中,电子设备可以合并显示多个预览对象对应的相关业务信息。
另一方面,本申请技术方案提供了一种在预览界面中显示业务信息的方法,应用于具有触摸屏的电子设备,包括:电子设备检测到用于启动相机应用的第一触摸操作;响应于第一触摸操作,电子设备在触摸屏上显示拍摄的第一预览界面。电子设备检测在触摸屏上的第四操作;响应于第四操作,电子设备在第一预览界面上显示m个功能选项,m为正整数。电子设备检测到针对m个功能控件中的1个功能控件的第三触摸操作;响应于第三触摸操作,电子设备在第二预览界面上显示1个功能选项对应的业务信息,第二预览界面中有预览对象,业务信息是电子设备对第二预览界面中的预览对象进行处理后获取的。
其中,该第四操作可以是长按操作、两指按住拖动的操作、向上滑动的操作、向下滑动的操作、画一个圆圈轨迹的操作或三指下拉的操作等。
另一方面,本申请技术方案提供了一种在预览界面中显示业务信息的方法,应用于具有触摸屏的电子设备,包括:电子设备检测到用于启动相机应用的第一触摸操作;响应于第一触摸操作,电子设备在触摸屏上显示拍摄的第一预览界面,第一预览界面包括m个功能选项,m为正整数。电子设备检测到针对m个功能控件中的1个功能控件的第三触摸操作;响应于第三触摸操作,电子设备在第二预览界面上显示1个功能选项对应的业务信息,第二预览界面中有预览对象,业务信息是电子设备对第二预览界面中的预览对象进行处理后获取的。
另一方面,本申请技术方案提供了一种在预览界面中显示业务信息的方法,应用于具有触摸屏的电子设备,包括:电子设备检测到用于启动相机应用的第一触摸操作;响应于第一触摸操作,电子设备在触摸屏上显示拍摄的预览界面,预览界面中有预览对象,预览界面上还包括m个功能选项和k个功能选项的业务信息,该k个功能选项为m个功能选项中已选中的功能选项,m为正整数,k为小于或者等于m的正整数。电子设备检测到用户取消选中k个功能选项中第三功能选项的第五触摸操作;响应于第五触摸操作,电子设备停止在预览界面上显示第三功能选项的业务信息。
另一方面,本申请技术方案提供了一种在预览界面中显示业务信息的方法,应用于具有触摸屏的电子设备,包括:电子设备检测到用于启动相机应用的第一触摸操作;响应于第一触摸操作,电子设备在触摸屏上显示拍摄的第一预览界面,第一预览界面中包括拍摄选项。电子设备检测到针对拍摄选项的触摸操作;响应于针对拍摄选项的触摸操作,电子设备显示拍摄模式界面,拍摄模式界面包括慧读模式控件。电子设备检测到针对慧读模式控件的第二触摸操作;响应于第二触摸操作,电子设备在第二预览界面中显示与慧读模式控件对应的m个功能控件,m为正整数。电子设备检测到针对m个功能控件中的1个功能控件的第三触摸操作;响应于第三触摸操作,电子设备在第三预览界面上显示1个功能选项对应的业务信息,业务信息是电子设备对第三预览界面中的预览对象进行处理后获取的。
另一方面,本申请技术方案提供了一种图片显示方法,应用于具有触摸屏的电子设备,包括:电子设备在触摸屏上显示第一界面,第一界面上包括图片和慧读模式控件。电子设备检测到针对慧读模式控件的第二触摸操作;响应于第二触摸操作,电子设备在触摸屏上显示与慧读模式控件对应的m个功能控件,m为正整数。电子设备检测到针对m个功能控件中的1个功能控件的第三触摸操作;响应于第三触摸操作,电子设备在触摸屏上显示1个功能选项对应的业务信息,业务信息是电子设备对图片进行处理后获取的。
其中,业务信息是电子设备对图片上的字符进行处理后获取的。
另一方面,本申请技术方案提供了一种文本内容显示方法,应用于具有触摸屏的电子设备,包括:电子设备在触摸屏上显示第二界面,第二界面上包括文本内容和慧读模式控件。电子设备检测到针对慧读模式控件的第二触摸操作;响应于第二触摸操作,电子设备在触摸屏上显示与慧读模式控件对应的m个功能控件,m为正整数。电子设备检测到针对m个功能控件中的1个功能控件的第三触摸操作;响应于第三触摸操作,电子设备在触摸屏上显示1个功能选项对应的业务信息,业务信息是电子设备对文本内容进行处理后获取的。
其中,业务信息是电子设备对文本内容中的字符进行处理后获取的。
另一方面,本申请技术方案提供了一种文字识别方法,包括:电子设备获取RAW格式的目标图像;而后,电子设备确定目标图像中的待识别字符对应的标准字符。
这样,电子设备可以摄像头输出的RAW格式的原始图像直接进行处理,而不需要对原始图像经过ISP处理生成图片后再进行字符识别;省去其他一些方法在字符识别时对图片的预处理操作(包括ISP处理的一些逆过程),节省计算资源,还能避免因为预处理而引入的噪声,提高识别准确度。
在一种可能的实现中,目标图像为拍摄预览时获取的预览图像。
在另一种可能的实现中,电子设备确定目标图像中的待识别字符对应的标准字符,包括:电子设备对目标图像进行二值化处理,以获得包括黑色像素点和白像素点的目标图像;根据目标图像上相邻黑色像素点的位置关系,确定待识别字符包括的至少一个目标黑色像素点;根据目标黑色像素点的坐标进行编码以获得待识别字符的第一编码向量;计算第一编码向量与预设的标准库中的至少一个标准字符的第二编码向量的相似度;根据相似度确定待识别字符对应的标准字符。
在另一种可能的实现中,标准字符的尺寸范围为预设的尺寸范围。电子设备根据目标黑色像素点的坐标进行编码以获得待识别字符的编码向量,包括:电子设备将待识别字符的尺寸范围缩/放为预设的尺寸范围;根据缩/放后的待识别字符中的目标黑色像素点的坐标进行编码,以获得第一编码向量。
在另一种可能的实现中,标准字符的尺寸范围为预设的尺寸范围。电子设备根据目标黑色像素点的坐标进行编码以获得待识别字符的编码向量,包括:电子设备根据待识别字符中的目标黑色像素点的坐标进行编码以获得第三编码向量;计算预设的尺寸范围与待识别字符的尺寸范围的比值Q;根据第三编码向、量比值Q以及图像缩/放算法,计算待识别字符缩/放Q倍后对应的第一编码向量。
在另一种可能的实现中,字符的尺寸范围为:与字符最左边的黑色像素点的左边相切的第一直线,与字符最右边的黑色像素点的右边相切的第二直线,与字符最上边的黑色像素点的上边相切的第三直线,以及与字符最下边的黑色像素点的下边相切的第四直线之间所围成的区域的尺寸范围。
在另一种可能的实现中,标准库中包括参考标准字符,以及其他每个标准字符的第二编码向量与参考标准字符的第二编码向量的第一相似度。电子设备计算第一编码向量与预设的标准库中的至少一个标准字符的第二编码向量的相似度,包括:电子设备计算第一编码向量与参考标准字符的第二相似度;确定与第二相似度的差值的绝对值小于或者等于预设阈值的至少一个目标第一相似度;计算第一编码向量分别与至少一个目标第一相似度对应的标准字符的第二编码向量的第三相似度。电子设备根据相似度确定待识别字符对应的标准字符,包括:电子设备根据第三相似度确定待识别字符对应的标准字符。
另一方面,本申请实施例提供了一种电子设备,包括检测单元和显示单元。其中,检测单元用于,检测到用于启动相机应用的第一触摸操作。显示单元用于,响应于第一触摸操作,在触摸屏上显示拍摄的第一预览界面,第一预览界面中包括慧读模式控件。检测单元还用于,检测到针对慧读模式控件的第二触摸操作。显示单元还用于,响应于第二触摸操作,在第二预览界面上分别显示与慧读模式控件对应的p个功能控件和q个功能控件,第二预览界面中有预览对象。其中,预览对象包括第一子对象和第二子对象,第一子对象为文本类型,第二子对象为图像类型,p个功能控件与第一子对象对应,q个功能控件与第二子对象对应,p、q为自然数,p和q可以相同或不同,且p个功能控件与q个功能控件不同。检测单元还用于,检测到针对p个功能控件中的第一功能控件的第三触摸操作。显示单元还用于,响应于第三触摸操作,在第二预览界面上显示第一功能选项对应的第一业务信息,第一业务信息是电子设备对第二预览界面中的第一子对象进行处理后获取的。检测单元还用于,检测到针对q个功能控件中的第二功能控件的第四触摸操作。显示单元还用于,响应于第四触摸操作,在第二预览界面上显示第二功能选项对应的第二业务信息,第二业务信息是电子设备对第二预览界面中的第二子对象进行处理后获取的。
在一种可能的实现中,该电子设备还包括处理单元,用于:在触摸屏在第二预览界面上显示第一功能选项对应的第一业务信息之前,获取预览对象的RAW格式的预览图像;根据预览图像确定预览对象中的待识别字符对应的标准字符;根据待识别字符对应的标准字符确定第一功能选项对应的第一业务信息。
在另一种可能的实现中,处理单元具体用于:对预览图像进行二值化处理,以获得包括黑色像素点和白像素点的预览图像;根据预览图像上相邻黑色像素点的位置关系,确定待识别字符包括的至少一个目标黑色像素点;根据目标黑色像素点的坐标进行编码以获得待识别字符的第一编码向量;计算第一编码向量与预设的标准库中的至少一个标准字符的第二编码向量的相似度;根据相似度确定待识别字符对应的标准字符。
在另一种可能的实现中,标准字符的尺寸范围为预设的尺寸范围,处理单元具体用于:将待识别字符的尺寸范围缩/放为预设的尺寸范围;根据缩/放后的待识别字符中的目标黑色像素点的坐标进行编码,以获得第一编码向量。
在另一种可能的实现中,标准字符的尺寸范围为预设的尺寸范围,处理单元具体用于:根据待识别字符中的目标黑色像素点的坐标进行编码以获得第三编码向量;计算预设的尺寸范围与待识别字符的尺寸范围的比值Q;根据第三编码向量、比值Q以及图像缩/放算法,计算待识别字符缩/放Q倍后对应的第一编码向量。
在另一种可能的实现中,标准库中包括参考标准字符,以及其他每个标准字符的第二编码向量与参考标准字符的第二编码向量的第一相似度;处理单元具体用于:计算第一编码向量与参考标准字符的第二编码向量的第二相似度;确定与第二相似度的差值的绝对值小于或者等于预设阈值的至少一个目标第一相似度;计算第一编码向量分别与至少一个目标第一相似度对应的标准字符的第二编码向量的第三相似度;根据第三相似度确定待识别字符对应的标准字符。
在另一种可能的实现中,显示单元具体用于,在第二预览界面上叠加显示功能界面,功能界面中包括第一功能选项对应的第一业务信息;或者,在第二预览界面显示的预览对象上,通过标记的方式显示第一功能选项对应的第一业务信息。
在另一种可能的实现中,第一业务信息包括摘要信息、关键字信息、实体信息、观点信息、分类信息、情感信息、联想信息或品鉴信息。
另一方面,本申请实施例提供了一种电子设备,触摸屏、存储器和处理器,触摸屏、至少一个存储器与至少一个处理器耦合。其中:触摸屏用于检测用于启动相机应用的第一触摸操作;处理器用于响应于第一触摸操作,指令触摸屏显示拍摄的第一预览界面;所处触摸屏还用于根据处理器的指令,显示第一预览界面,第一预览界面中包括慧读模式控件。触摸屏还用于检测针对慧读模式控件的第二触摸操作;处理器还用于响应于第二触摸操作,指令触摸屏显示第二预览界面;触摸屏还用于根据处理器的指令,显示第二预览界面,第二预览界面上分别显示有与慧读模式控件对应的p个功能控件和q个功能控件,第二预览界面中有预览对象。其中,预览对象包括第一子对象和第二子对象,第一子对象为文本类型,第二子对象为图像类型,p个功能控件与第一子对象对应,q个功能控件与第二子对象对应,p、q为自然数,p和q可以相同和不同,且p个功能控件与q个功能控件不同。触摸屏还用于检测针对p个功能控件中的第一功能控件的第三触摸操作;处理器还用于响应于第三触摸操作,指令触摸屏在第二预览界面上显示第一功能选项对应的第一业务信息;触摸屏还用于根据处理器的指令,显示第一业务信息,第一业务信息是电子设备对第二预览界面中的第一子对象进行处理后获取的。触摸屏还用于检测针对q个功能控件中的第二功能控件的第四触摸操作;处理器还用于响应于第四触摸操作,指令触摸屏在第二预览界面上显示第二功能选项对应的第二业务信息;触摸屏还用于根据处理器的指令,在第二预览界面上显示第二功能选项对应的第二业务信息,第二业务信息是电子设备对第二预览界面中的第二子对象进行处理后获取的。存储器用于存储第一预览界面和第二预览界面。
在一种可能的实现中,处理器还用于:在触摸屏在第二预览界面上显示第一功能选项对应的第一业务信息之前,获取预览对象的RAW格式的预览图像;根据预览图像确定预览对象中的待识别字符对应的标准字符;根据待识别字符对应的标准字符确定第一功能选项对应的第一业务信息。
在另一种可能的实现中,处理器具体用于:对预览图像进行二值化处理,以获得包括黑色像素点和白像素点的预览图像;根据预览图像上相邻黑色像素点的位置关系,确定待识别字符包括的至少一个目标黑色像素点;根据目标黑色像素点的坐标进行编码以获得待识别字符的第一编码向量;计算第一编码向量与预设的标准库中的至少一个标准字符的第二编码向量的相似度;根据相似度确定待识别字符对应的标准字符。
在另一种可能的实现中,标准字符的尺寸范围为预设的尺寸范围,处理器具体用于:将待识别字符的尺寸范围缩/放为预设的尺寸范围;根据缩/放后的待识别字符中的目标黑色像素点的坐标进行编码,以获得第一编码向量。
在另一种可能的实现中,处理器具体用于:根据待识别字符中的目标黑色像素点的坐标进行编码以获得第三编码向量;计算预设的尺寸范围与待识别字符的尺寸范围的比值Q;根据第三编码向量、比值Q以及图像缩/放算法,计算待识别字符缩/放Q倍后对应的第一编码向量。
在另一种可能的实现中,标准库中包括参考标准字符,以及其他每个标准字符的第二编码向量与参考标准字符的第二编码向量的第一相似度;处理器具体用于:计算第一编码向量与参考标准字符的第二编码向量的第二相似度;确定与第二相似度的差值的绝对值小于或者等于预设阈值的至少一个目标第一相似度;计算第一编码向量分别与至少一个目标第一相似度对应的标准字符的第二编码向量的第三相似度;根据第三相似度确定待识别字符对应的标准字符。
在另一种可能的实现中,触摸屏具体用于:根据处理器的指令,在第二预览界面上叠加显示功能界面,功能界面中包括第一功能选项对应的第一业务信息;或者,根据处理器的指令,在第二预览界面显示的预览对象上,通过标记的方式显示第一功能选项对应的第一业务信息。
在另一种可能的实现中,第一业务信息包括摘要信息、关键字信息、实体信息、观点信息、分类信息、情感信息、联想信息或品鉴信息。
另一方面,本申请技术方案提供了一种电子设备,包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行上述任一方面任一项可能的实现中的预览显示方法、图片显示方法或字符识别方法。
另一方面,本申请技术方案提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述任一方面任一项可能的实现中的预览显示方法、图片显示方法或字符识别方法。
另一方面,本申请技术方案提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述任一方面任一项可能的设计中的预览显示方法、图片显示方法或字符识别方法。
附图说明
图1为本申请实施例提供的一种电子设备的硬件结构示意图;
图2为本申请实施例提供的一种电子设备的软件架构示意图;
图3a-图3b为本申请实施例提供的一组显示界面的示意图;
图4a-图23d为本申请实施例提供的拍摄预览时的一系列的界面示意图;
图24a-图24c为本申请实施例提供的另一组显示界面的示意图;
图25a-图25h为本申请实施例提供的拍摄预览时的一系列的界面示意图;
图26a-图27b为本申请实施例提供的显示已拍摄的图片时的一系列的界面示意图;
图28a-图28c为本申请实施例提供的另一组显示界面的示意图;
图29a-图30b为本申请实施例提供的显示文本内容时的一系列的界面示意图;
图31为本申请实施例提供的一种待识别字符的示意图;
图32a-图32b为本申请实施例提供的一组待识别字符缩/放效果示意图;
图33-图34为本申请实施例提供的一种方法流程图;
图35为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
本申请实施例提供的文本图像的个性化功能展示方法可以应用于电子设备,该电子设备可以是还包含其他功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备,诸如手机、平板电脑、具备无线通讯功能的可穿戴设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载
Figure GPA0000290031690000121
或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备,诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是,在本申请其他一些实施例中,上述电子设备也可以不是便携式电子设备,而是具有触敏表面(例如触控面板)的台式计算机。
示例性的,图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,USB接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户身份识别模块(subscriber identificationmodule,SIM)卡接口195等。其中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件,或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以是集成在同一个处理器中。
其中,控制器是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。其中接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integratedcircuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器可以包含多组I2C总线。处理器可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。I2S接口和PCM接口都可以用于音频通信,两种接口的采样速率可以不同,也可以相同。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI)、显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,例如可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线模块1,天线模块2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将蜂窝网天线复用为无线局域网分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。具体地,移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(Low Noise Amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150中的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器器可以是独立的器件。在另一些实施例中,调制解调器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN),蓝牙(bluetooth,BT),全球导航卫星系统(globalnavigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器。无线通信模块160还可以从处理器接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合。使得电子设备100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS))和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像、图形用户界面(graphical user interface,GUI)或视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:MPEG1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口可以是USB接口,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A时,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B还可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(light emitting diode,LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。通过发光二极管向外发射红外光。使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,电子设备100可以确定电子设备100附近有物体。当检测到不充分的反射光时,可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器检测用户手持电子设备100贴近耳朵通话,以便自动熄灭显示屏达到省电的目的。接近光传感器也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏亮度。环境光传感器也可用于拍照时自动调节白平衡。环境光传感器还可以与接近光传感器配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100可以执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100可以对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。可设置于显示屏194。用于检测作用于其上或附近的触摸操作。可以将检测到的触摸操作传递给应用处理器,以确定触摸操作类型,并通过显示屏提供相应的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。触控面板与显示屏194的组合可以称为触摸屏。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中。音频模块170可以基于骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接用户标识模块(subscriber identity module,SIM)。SIM卡可以通过插入SIM卡接口,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口195,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示字符的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示字符的视图以及显示图片的视图。
电话管理器用于提供终端100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在显示屏上的通知。例如在状态栏提示文本信息,发出提示音,终端振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库OpenGL ES,2D图形引擎SGL等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
OpenGL ES用于实现三维图形绘图,图像渲染,合成,和图层处理等。
SGL是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
以下实施例均可以在具有上述图1所示的硬件结构和图2所示的软件结构的电子设备中实现。
为描述方便,以下将图形用户界面简称为界面。
如图3a所示,为具体图1所示的硬件结构和图2所示的软件结构的电子设备100的触摸屏上显示的一个界面300,该触摸屏包括显示屏194和触控面板。其中,界面用于显示控件,控件是一种GUI元素,也是一种软件组件,包含在应用程序中,控制着该应用程序处理的数据以及关于这些数据的交互操作,用户可以通过直接操作(direct manipulation)来与控件交互,从而对应用程序的有关信息进行读取或者编辑。一般而言,控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
如图3a所示,该界面300中可以包括状态栏303、可隐藏的导航栏306、时间和天气Widget,还有多个应用程序的图标例如微博图标304、支付宝图标305、相机图标302以及微信图标301等。其中,状态栏303中可以包括运营商的名称(例如中国移动)、时间、无线保真(wireless-fidelity,Wi-Fi)图标、信号强度和当前的剩余电量。导航栏306中可以包括后退(back)键图标、主屏幕键图标和前进键图标等。此外,可以理解的是,在其他一些实施例中,状态栏303中还可以包括蓝牙图标、移动网络(例如,4G)、闹钟图标和外接设备图标等。还可以理解的是,在其他一些实施例中,界面300中还可以包括Dock栏,Dock栏中可以包括常用的应用程序(application,App)的图标等。
在其他一些实施例中,该电子设备100还可以包括主屏幕键。该主屏幕键可以是实体按键,也可以是虚拟按键(或称软按键)。该主屏幕键用于根据用户的操作,将触摸屏上显示的GUI返回到主屏幕,这样可以方便用户随时查看主屏幕并对主屏幕中的控件(例如图标)进行操作。上述操作具体可以是用户按下主屏幕键,也可以是用户在短时间内连续两次按下主屏幕键,还可以是用户长按主屏幕键。在本申请其他一些实施例中,主屏幕键还可以集成指纹传感器302,这样用户可以在按下主屏幕键的时候,电子设备随之进行指纹采集,进而对用户身份进行确认。
当电子设备100检测到用户的手指(或触控笔等)针对界面300上某一App图标的触摸操作后,响应于该触摸操作,电子设备可以打开与该App图标对应的App的用户界面。例如,当电子设备检测到用户的手指触摸相机图标302的操作后,响应于用户的手指307触摸相机图标302的操作,打开相机应用,进入拍摄预览界面。示例性的,电子设备显示的预览界面具体可以是图3b所示的预览界面308。
此处结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入操作(包括触摸坐标,触摸操作的时间戳等信息)。原始输入操作被存储在内核层。应用程序框架层从内核层获取原始输入操作,识别该原始输入操作所对应的控件。以该触摸操作是单击操作为例,该单击操作所对应的控件为相机应用图标为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
如图3b所示,预览界面308中可以包括拍照模式控件309、录像模式控件310、拍摄选项控件311、拍摄按钮312、色调风格控件313、缩略框314、预览框315以及对焦框316等控件中的一种或多种。拍照模式控件310用于使得电子设备进入拍照模式,即图片拍摄模式;录像模式控件310用于使得电子设备100进入视频拍摄模式。其中,如图3b所示,若当前的拍摄模式为拍照模式,则预览界面308为拍照预览界面。拍摄选项控件311用于设置拍照模式下或录像模式下所采用的具体拍摄模式,例如脸龄拍照、专业拍照、美颜拍照、全景拍照、留声拍照、延时拍照、夜景拍照、单反拍照、笑脸拍照、流光快门或水印等;拍摄按钮312用于触发电子设备100拍摄当前预览框内的图片,或者用于触发电子设备100开始或停止视频拍摄。色调风格控件313用于设置待拍摄图片的格调,例如清幽、热情、炙烤、古典、日出、电影、梦境或黑白等。缩略框314用于显示最近拍摄的图片或录制的视频的缩略图。预览框315用于显示预览对象;对焦框316用于表示当前状态是否为聚焦状态。
在传统拍照模式中,在预览场景下,当电子设备检测到用户点击拍摄按钮312的操作后,电子设备100的摄像头193采集预览对象的预览图像,该预览图像为原始图像,该原始图像的格式可以为RAW格式,也称为RAW图,是摄像头193的感光元件(或称图像传感器)输出的原始图像数据。而后,电子设备100通过ISP对原始图像进行自动曝光控制、黑电平校正(black level correction,BLC)、镜头阴影校正、自动白平衡、色彩矩阵校正以及清晰度噪点调整等处理,生成用户所看到的图片,并保存该图片。在拍摄获得图片后,电子设备100还可以在用户需要获取图片中的文字(characters)时,对图片中的文字进行识别。
例如,在一种传统的分类识别方法中,通过对拍摄获得的图片进行预处理,以去除图像中色彩、饱和度和噪声等,并对文字的大小、位置和形状等方面的变形进行处理。其中,预处理可以理解为,包括ISP对原始图像进行平衡、色彩等处理的一些逆过程。预处理后数据的维度很高,通常维度可以达到几万。而后,进行特征提取,以将文字图像数据进行压缩并反映原始图像的本质。而后,在特征空间中利用统计决策方法或句法分析方法将被识别对象归为某一类,从而得到文字识别结果。
在另一种传统的文字识别方法中,电子设备100可以采用机器学习中的分类器或者聚类策略将获取的图片中文字的特征与标准的文字特征进行运算,从而根据相似度进行文字结果判决。
在该另一种传统的文字识别方法中,电子设备100还可以采用遗传算法和神经网络对图片中的文字进行文字识别。
以下将以手机为电子设备100为例,对本申请实施例提供的文本图像的个性化功能展示方法进行阐述。
本申请实施例提供了一种文本图像的个性化功能展示方法,可以在拍照预览状态下对文本对象进行文本功能展示。
电子设备在打开相机功能,显示拍照预览界面后,电子设备进入拍照预览状态。在拍照预览状态下,电子设备的预览对象可以包括景物对象、人物对象以及文本对象等。其中,文本对象是指表面呈现有字符(character)的对象,例如报纸,海报,传单,书页,写有字符的纸张、黑板、幕布或墙面,显示有字符的触摸屏,或者表面呈现有字符的其他任意实体。文本对象中的字符可以包括汉字、英文、俄文、德文、法文、日文等各个国家的文字,还可以包括数字、字母和符号等。本申请以下实施例主要以汉字为字符为例进行说明。可以理解的是,文本对象中呈现的内容除了包括字符以外,还可以包括其他内容,例如还可以包括图片。
在本申请一些实施例中,在拍照预览状态下,若电子设备确定预览对象是文本对象,则电子设备可以在拍照预览状态下对文本对象进行文本功能展示。
在拍照预览状态下,电子设备可以采集预览对象的预览图像,该预览图像为RAW格式的原始图像,是未经过ISP处理的原始图像数据。电子设备根据采集的预览图像确定预览对象是否为文本对象。其中,电子设备根据预览图像确定预览对象是否为文本对象可以包括:若电子设备确定预览图像中包含字符,则可以确定预览对象为文本对象;或者,若电子设备确定预览图像中包含的字符的数量大于或者等于第一预设值,则可以确定预览对象为文本对象;或者,若电子设备确定预览图像中字符覆盖的面积大于或者等于第二预设值,则可以确定预览对象为文本对象;或者,若电子设备根据预览图像确定预览对象为报纸、书页或纸张等对象,则可以确定预览对象为文本对象;或者,若电子设备将预览图像发送给服务器,并从服务器接收到指示预览对象为文本对象的指示信息后,电子设备可以确定预览对象为文本对象。可以理解的是,本申请对预览对象是否为文本对象的方法包括但不限于上述方式。
示例性的,当用户在报纸上、宣传单上、公告面板上、墙上或电脑等其他地方看到一则招聘启事时,用户可以打开手机的相机功能,显示如图3b所示的拍照预览界面。此时,用户可以在拍照预览状态下,通过手机预览该招聘启事,该招聘启事为文本对象。
再示例性的,当用户在报纸上或电脑上看到一则新闻时,用户可以打开手机的相机功能,显示如图3b所示的拍照预览界面。此时,用户可以在拍照预览状态下,通过手机预览报纸或电脑上的新闻,报纸或电脑上的新闻为文本对象。
再示例性的,当用户在商场、电影院或游乐场等地方看到一张包括字符的海报时,用户可以打开手机的相机功能,显示如图3b所示的拍照预览界面。此时,用户可以在拍照预览状态下,通过手机预览海报,该海报为文本对象。
再示例性的,当用户在公园或旅游景点中的公告牌上看到“游玩攻略”或者“景点介绍”时,用户可以打开手机的相机功能,显示如图3b所示的拍照预览界面。此时,用户可以在拍照预览状态下,通过手机预览公告牌上看到“游玩攻略”或者“景点介绍”,该公告牌上看到“游玩攻略”或者“景点介绍”为文本对象。
再示例性的,当用户在书上看到小说《小王子》时,用户可以打开手机的相机功能,显示如图3b所示的拍照预览界面。此时,用户可以在拍照预览状态下,通过手机预览小说《小王子》的内容,书页上的小说《小王子》为文本对象。
若电子设备确定预览对象是文本对象,则如图4a所示,电子设备可以自动显示功能列表401,该功能列表401可以包括预设的至少一个文本功能的功能选项。其中,功能选项可以用于通过对文本对象中的字符进行相应的加工和处理,使得电子设备显示与文本对象中的字符内容相关联的业务信息,将文本对象中非结构化的字符内容转化为结构化的字符内容,简化信息量,节省用户阅读文本对象上大量字符信息所花费的时间,方便用户阅读少量的、最关心的信息,为用户的阅读和信息管理带来便利。
如图4a所示,该功能列表401可以包括摘要(abstract,ABS)选项402,关键字(KEY)选项403、实体(entity,ETY)选项404、观点(Option,OPT)选项405、分类(textclassification,TC)选项406、情感(text emotion,TE)选项407和联想(textassociation,TA)选项408等功能选项。
需要注意的是,图4a所示的功能列表401中包括的功能选项仅是举例说明,功能列表中还可以包括其他的功能选项,例如品鉴(product remark,PR)选项。此外,功能列表中还可以包括上一页控件和/或下一页控件,用于切换显示功能列表中的功能选项。示例性的,如图4a所示,功能列表401中包括下一页控件410,当电子设备检测到用户在图4a所示的界面上点击下一页控件410时,如图4b所示,电子设备在功能列表401中显示图4a中未显示的其他功能选项,例如显示品鉴选项409。如图4b所示,功能列表401中包括上一页控件411,当电子设备检测到用户在图4b所示的界面上点击上一页控件411时,电子设备显示如图4a中所示的功能列表401。
可以理解的是,图4a所示的功能列表401仅是举例说明,功能列表还可以有其他的形式,还可以位于其他位置。示例性的,作为图4a中的功能列表401的一种替换方案,本申请实施例提供的功能列表,还可以是如图5a所示的功能列表501或图5b所示的功能列表502。
当功能列表中的一个或多个目标功能选项被选中时,电子设备可以显示功能区域,该功能区域用于显示被选中的目标功能选项的业务信息。
在一种情况下,如图4a-5b所示,当电子设备打开预览界面时,预览界面上显示有功能列表,功能列表中的所有文本功能都处于未选中的状态。并且,响应于用户的第一操作,预览界面上显示的功能列表可以隐藏。例如,参见图6a,当电子设备检测到用户在预览框之内功能列表之外的点击操作(即第一操作)后,如图6b所示,电子设备可以隐藏功能列表;当电子设备再次检测到用户在如图6b所示的预览框内的点击操作后,电子设备可以在预览框内恢复显示如图4a所示的功能列表。再例如,如图6c所示,当电子设备检测到用户按住功能列表并向下滑动的操作(即第一操作)时,如图6d所示,电子设备可以隐藏功能列表,并显示恢复标记601,当用户点击该恢复标记601或按住该恢复标记601向上滑动时,电子设备恢复显示如图4a所示的功能列表。或者,在图6c所示情况下,电子设备隐藏了功能列表,当电子设备检测到用户在预览框的底部向上滑动的操作后,可以恢复显示如图4a所示的功能列表。
在电子设备显示功能列表时,当电子设备检测到用户选择(例如,用户通过手势手动选择或通过输入语音选择)功能列表中的一个或多个目标功能选项后,电子设备显示功能区域,并在功能区域中显示用户选中的目标功能选项的业务信息。
在另一种情况下,当电子设备打开预览界面时,预览界面上显示有功能列表和功能区域,功能列表中已选中有目标功能选项,被选中的目标功能选项可以为上次用户选择的功能选项,或者为默认的功能选项(例如摘要),功能区域中显示被选中的目标功能选项的业务信息。
具体的,电子设备获取并显示目标功能选项的业务信息的过程可以包括:电子设备自身根据文本对象进行目标功能选项处理,以获取目标功能选项的业务信息,并在功能区域中显示目标功能选项的业务信息;或者,电子设备请求服务器进行目标功能选项处理,并从服务器获取目标功能选项的业务信息从而节省电子设备的资源,而后电子设备在功能区域中显示目标功能选项的业务信息。
本申请以下实施例将以图4a中所示的功能列表401和功能列表401中包括的功能选项为例,分别对每种功能选项进行具体说明。
(1)、摘要功能
摘要功能可以对文本对象的描述的字符内容进行一个简短的总结概括,使得原本冗余复杂的字符内容变得清晰简短。
示例性的,如图7a所示,文本对象为上述通过预览界面预览的招聘启事,当电子设备检测到用户在功能列表中选择摘要功能选项时,如图7b所示,电子设备显示功能区域701,功能区域701中显示有这则招聘启事的摘要。或者,示例性的,文本对象为上述通过预览界面预览的招聘启事,当电子设备打开预览界面时,如图7b所示,预览界面上显示有功能列表和功能区域,功能列表中已默认选中摘要功能选项,功能区域701中显示这则在招聘启事的摘要。可以理解的是,显示的摘要可以是电子设备通过网络侧获取的与该文本对象相关的内容,也可以是电子设备通过人工智能对文本对象的理解而生成的内容。
再示例性的,如图8a所示,文本对象为上述通过预览界面预览的小说《小王子》节选,当电子设备检测到用户在功能列表中选择摘要功能选项时,如图8b所示,电子设备显示功能区域801,功能区域801中显示有该节选的摘要。或者,示例性的,文本对象为上述通过预览界面预览的小说《小王子》节选,当电子设备打开预览界面时,如图8b所示,预览界面上显示有功能列表和功能区域801,功能列表中已默认选中摘要功能选项,功能区域801中显示该节选的摘要。
在一种场景下,当待阅读的字符信息较多,用户想要从中寻找到所关心的重要信息并记录下来时,由于用户一时无法快速阅读完所有内容,因而用户通常会把所有的字符都拍摄成图片,然后再一张图片、一张图片地阅读来查找所关心的重要信息所在的图片,该过程比较繁琐,将耗费大量的时间;并且,所拍摄的大量图片大部分为不会被用到的无用图片,会占用大量的存储空间。
而在本申请实施例中,当用户想要从大量的字符信息中提取一些重要信息时,用户可以在拍照预览状态下通过摘要功能将大量的字符信息预览一遍,从而根据功能区域中显示的少量的摘要信息,快速地确定当前预览的这段字符是否为用户所关心的重要信息,如果是则可以拍摄图片记录下来,从而可以快速、便捷从大量信息中提取重要信息并拍摄,减少用户的操作和拍摄的图片数量,节省无用图片的存储空间,
在另一种场景下,当待阅读的字符信息较多,用户想要快速了解其中的主要内容时,用户可以在拍照预览状态下通过摘要功能将大量的字符信息预览一遍,从而根据功能区域中显示的精简后的摘要信息,快速地了解这些字符信息的主旨大意。也就是说,用户可以使用更少的时间获取更多的信息量。
其中,在摘要功能处理过程中,获取文本对象中字符信息摘要的算法可以有多种,例如,可以有抽取(extractive)算法和abstractive算法等。
extractive算法基于一个假设,即一篇文章的主要内容可以用该篇文章中的某一句或几句话来概括。那么,摘要的任务就变成了找到这篇文章中最重要的几句话,然后进行排序操作,从而获得该篇文章的摘要。
abstractive算法是一种人工智能(artificial intelligence,AI)算法,要求系统理解一篇文章所表达的意思,然后用可读性强的人类语言将其简练地总结出来。例如,Abstractive算法可以基于attention model,rnn encoder-decoder等框架来实现。
此外,电子设备还可以隐藏预览界面上显示的功能区域。例如,在图7b所示的场景下,当电子设备检测到用户在预览框内功能区域外的点击操作后,可以隐藏功能区域,并继续显示功能列表。而后,当电子设备检测到用户在预览框内的点击操作后,可以恢复显示功能区域和功能区域中的摘要信息;或者,当电子设备检测到用户点击选择功能列表中任意一个功能选项时,恢复显示功能区域,并在该功能区域内显示用户选择的功能选项对应的业务信息,该功能选项可以是摘要功能选项,也可以是其他。
再例如,在图7b所示的场景下,当电子设备检测到用户在功能列表或功能区域的范围内向下滑动的操作时,隐藏功能区域和功能列表。当电子设备检测到用户在预览框的底部向上滑动的操作后,恢复显示功能区域和功能列表。或者,电子设备在隐藏功能区域和功能列表后,可以显示恢复显示标记,当用户点击该恢复标记或按住该恢复标记向上滑动时,电子设备恢复显示功能区域和功能列表。
需要说明的是,在用户使用摘要功能以外的其他功能选项时,电子设备也可以隐藏功能区域和功能列表,后续在介绍其他功能选项时将不再赘述。
另外,作为上述通过功能区域展示摘要信息的一种替换方式,电子设备也可以在文本对象的字符上标记出摘要信息。示例性的,在图7a所示的场景下,如图9所示,电子设备在文本对象的字符上通过下划线标记出摘要信息。
(2)、关键字功能
关键字功能是指对文本对象的字符信息中的关键字进行识别、提取和显示,从而帮助用户从关键字的层面去快速理解文本对象所包含的语义信息。
示例性的,如图10a所示,文本对象为上述通过预览界面预览的招聘启事,当电子设备检测到用户在如图4a所示的功能列表中选择关键字功能选项时,如图10b所示,电子设备显示功能区域1001,功能区域1001中显示有这则招聘启事的关键字,例如招聘、华为、运维、云中间件等。或者,示例性的,文本对象为上述通过预览界面预览的招聘启事,当电子设备打开预览界面时,如图10b所示,预览界面上显示有功能列表和功能区域,功能列表中已默认选中关键字功能选项,功能区域中显示这则招聘启事的关键字。
与摘要信息相比,关键字信息更为精简。因而,在一些场景下,用户可以通过关键字功能,在拍照预览状态下更为快速地了解当前大量字符的主要内容。并且,当用户将文本对象拍摄成图片后,电子设备后续还可以通过关键字对图片进行排序和分类。与其他排序和分类方法不同,这样的排序和分类已经涉及到图片本身的内容层面。
在关键字功能处理过程中,获取关键字的算法可以有多种,例如词频-逆文本频率指数(term frequency-inverse document frequency,TF-IDF)提取法、主题模型(Topic-model)提取法和快速自动关键词提取(rapid automatic keyword extraction,RAKE)法等。
其中,在TF-IDF关键字提取方法中,一个词的TF-IDF等于TF*IDF,TF-IDF值越大,则这个词成为一个关键词的概率就越大。其中,TF=(该词在文本对象中出现的次数)/(文本对象的总词数),IDF=log(语料库中文档总数/(包含该词的文档数+1))。
Topic-model关键字提取方法中,文档是由主题组成的,而文档中的词是以一定概率从主题中选取的,即文档与词之间存在一个主题集合。不同的主题下,词出现的概率分布是不同的。通过主题模型的学习可以获取文档的主题词集合。
在RAKE关键字提取方法中,提取的关键字可能不是单一的字词(即字或词),而是一个短语。每个短语的得分由组成短语的字词累加得到,而字词的得分与字词的度与词频有关,即一个字词的得分=度/词频。其中,当与某一个字词共同出现的其他字词越多,则该字词的度就越大。
另外,作为上述通过功能区域展示关键字信息的一种替换方式,电子设备也可以在文本对象的字符上标记出关键字信息。示例性的,在图10a所示的场景下,如图11所示,电子设备在文本对象的字符上通过圆圈的形式标记出关键字信息。
(3)、实体功能
实体功能是指对文本对象的字符信息中的实体进行识别、提取和显示,从而帮助用户从实体的层面快速理解文本对象所包含的语义信息。
示例性的,如图12a所示,文本对象为上述通过预览界面预览的招聘启事,当电子设备检测到用户在如图4a所示的功能列表中选择实体功能选项时,如图12b所示,电子设备显示功能区域1201,功能区域1201中显示有这则招聘启事的实体,例如岗位、华为、云、产品和缓存等。或者,示例性的,文本对象为上述通过预览界面预览的招聘启事,当电子设备打开预览界面时,如图12b所示,预览界面上显示有功能列表和功能区域,功能列表中已默认选中实体功能选项,功能区域中显示这则招聘启事的实体。
需要说明的是,实体可以包括时间、人名、地点、职位和组织机构等多个方面。并且,文本对象的类型不同,实体包括的内容也可以不同。例如,实体内容还可以包括作品名称等等。
另外,在图12b所示的场景下,用户通过文本显示框分类显示各中实体,可以使得从文本对象中提取的信息更为条理化和结构化,方便用户整理和信息归类。
当用户想要关注文本对象中涉及的人物、时间、地点等实体信息的场景下,用户可以通过实体功能快速获取到各类实体信息。此外,该功能还可以帮助用户发现一些新的实体名词,有助于用户了解新的事物。
在实体功能处理过程中,获取文本对象的字符信息中的实体的算法可以有多种,例如,可以有基于规则和词典的方法,基于统计的方法,以及基于规则和词典和基于统计相混合的方法等。
其中,基于规则和词典的方法多采用语言学专家手动构造规则模板,选用特征包括统计信息、标点符号、关键字、指示词和方向词、位置词(如尾字)、中心词等方法,以模式和字符串相匹配为主要手段。当提取的规则能比较较精确地反映语言现象时,基于规则和词典的方法性能要优于基于统计的方法。
基于统计的方法主要包括:隐马尔可夫模型(hidden markov model,HMM)、较大熵(maximum entropy,ME)、支持向量机(support vector machine,SVM)、条件随机场(conditional random fields,CRF)等。在这4种方法中,较大熵模型结构紧凑,具有较好的通用性;条件随机场为命名实体识别提供了一个特征灵活、全局最优的标注框架;较大熵和支持向量机在正确率上要比隐马尔可夫模型高一些;由于在利用Viterbi算法求解命名实体类别序列的效率较高,因而隐马尔可夫模型在训练和识别时的速度要快一些。
基于统计的方法对特征选取的要求较高,需要从文本中选择对该项任务有影响的各种特征,并将这些特征加入到特征向量中。依据特定命名实体识别所面临的主要困难和所表现出的特性,考虑选择能有效反映该类实体特性的特征集合。主要做法可以是通过对训练语料所包含的语言信息进行统计和分析,从训练语料中挖掘出特征。有关特征可以分为具体的单词特征、上下文特征、词典及词性特征、停用词特征、核心词特征以及语义特征等。
由于文本处理并不完全是一个随机过程,单独使用基于统计的方法使状态搜索空间非常庞大,必须借助规则知识提前进行过滤修剪处理。因而目前基本没有单纯使用统计模型而不使用规则知识的命名实体识别系统,在很多情况下是使用两者混合的方法。
另外,作为上述通过功能区域展示实体信息的一种替换方式,电子设备也可以在文本对象的字符上标记出实体信息。示例性的,在图12a所示的场景下,如图13所示,电子设备在文本对象的字符上通过圆圈的形式标记出实体信息。
(4)、观点功能
观点功能可以对文本对象的描述的字符内容中的观点进行分析和总结,从而为用户进行决策提供参考依据。
示例性的,当用户通过电子设备的相机功能预览纸质文档上或电脑显示屏上显示的用户评论区的评论内容时,此时的预览对象为文本对象。如图14a所示,当电子设备检测到用户在功能列表中选择观点功能选项时,如图14b所示,电子设备显示功能区域1401,功能区域1401中以可视化的形式输出当前评论区内容所反映的所有评论用户的整体观点,例如内饰精美、耗油低、外观不错、空间大、价格昂贵等。或者,当电子设备打开预览界面时,如图14b所示,预览界面上显示有功能列表和功能区域,功能列表中已默认选中观点功能选项,功能区域1401中以可视化的形式输出当前评论区内容所反映的整体观点。其中,在图14b中,观点所在的圆圈越大,表示发表此种观点的评论数越多。
在电子购物场景下,用户浏览评价来决定购买哪一款产品通常需要耗费用户大量时间去阅读和总结归纳当前这款产品是否值得购买。而反复阅读总结归纳产品评价数据的过程将耗费用户大量的时间,即便如此,用户仍然可能不会得出较好的决策。本申请实施例提供的观点功能能够帮助用户更好的整合归纳数据,节省用户的决策时间,从而帮助用户做出最优的决策。
其中,由于句子的依存关系和情感词在依存关系中具有特定的位置关系,观点词是强加于实体之上的主观感受,因而,在观点功能处理过程中,在识别出被评价对象对应的被评价词(例如可以是名词或代词)后,可以通过句法依存关系进一步发现被评价对象所被赋予的观点。
(5)、分类功能
分类功能可以根据文本对象的字符信息进行分类,方便用户了解该文本对象中的内容所属的领域。
示例性的,如图15a所示,文本对象为上述通过预览界面预览的招聘启事,当电子设备检测到用户在如图4a所示的功能列表中选择分类功能选项时,如图15b所示,电子设备显示功能区域1501,功能区域1501中显示有这则招聘启事的分类,例如为国内财经类。或者,示例性的,当电子设备打开预览界面时,如图15b所示,预览界面上显示有功能列表和功能区域,功能列表中已默认选中分类功能选项,功能区域中显示这则招聘启事的分类。
在图15b中,分类标准包含两个级别,第一级别分为国内和国际两项,第二级包括体育教育、财经、社会、娱乐、军事、科技、互联网、房产、游戏、政治、汽车。图2-6中的图片内容标注为国内+政治。需要注意的是,分类标准也可以是其他形式,本申请实施例不予具体限定。
由于不同的用户对不同的类型的文档的敏感度和兴趣度是不同的,或者用户可能仅对特定类型的文档感兴趣,该分类功能可以帮助用户提前识别出当前文档的类型,然后来决定是否进行阅读,节省用户阅读不感兴趣的文档的时间。并且,当用户针对该文本对象拍摄图片后,该分类功能还可以帮助电子设备或用户根据文章的类型进行图片分类,极大地方便了用户后期的阅读。
在分类功能处理过程中,获取分类的算法可以有多种,例如统计学习(机器学习)方法。统计学习方法将文本分类分为两个阶段,训练阶段(有计算机自动总结分类的规则)和分类阶段(对新文本进行分类)。机器学习的核心分类器模型都可以用于文本分类,常用的模型和算法有:支持向量机(SVM)、边缘感知机、k-最近邻算法(k-nearest neighbor,KNN)、决策树、朴素贝叶斯(naive bayes,NB)、贝叶斯网络、Adaboost算法、逻辑斯蒂回归、神经网络等。
在训练阶段,计算机根据训练集中文档,使用特征提取(包括特征选择和特征抽取)找出最具有代表性的词典向量(选取最具代表性的词语),按照这个词典将训练集文档转化为向量表示,有了文本数据的向量表示,就可以利用分类器模型进行学习了。
(6)、情感功能
情感功能主要是根据对文本对象的字符信息分析,获得作者流露的情感,该情感可以包括褒扬或贬义的两种或多种类型,从而可以帮助用户判定作者对该文本对象中的文档持有积极的还是消极的情感。
示例性的,如图16a所示,文本对象为上述通过预览界面预览的招聘启事,当电子设备检测到用户在如图4a所示的功能列表中选择情感功能选项时,如图16b所示,电子设备显示功能区域1601,功能区域1601中显示有作者针对这则招聘启事流露出的情感,例如正面指数和负面指数。或者,示例性的,当电子设备打开预览界面时,如图16b所示,预览界面上显示有功能列表和功能区域,功能列表中已默认选中情感功能选项,功能区域中显示作者针对这则招聘启事流露出的情感。在图16b中,情感是通过正面指数和负面指数来描述的。由图16b可知,作者针对这则招聘启事流露的是正面的、积极的、褒扬的情感。
需要注意的,图16b中对情感的正面和负面的分类标准只是举例性说明,还可以采用其他的分类标准,本申请实施例不予具体限定。
在分类功能处理过程中,获取分类的算法可以有多种,例如,可以有基于词典的方法、基于机器学习的方法等。
基于词典的方法主要通过制定一系列的情感词典和规则,对文本进行拆句、分析及匹配词典(一般有词性分析,句法依存分析),计算情感值,最后通过情感值来作为文本的情感倾向判断的依据。具体的,该方法可以包括:对大于句子力度的文本进行拆解句子操作,以句子为最小分析单元;分析句子中出现的词语并按照情感词典匹配;处理否定逻辑及转折逻辑;计算整句情感词得分(根据词语不同,极性不同,程度不同等因素进行加权求和);根据情感得分输出句子情感倾向性。如果是对篇章或者段落级别的情感分析任务,则可以以对每个句子进行单一情感分析并融合的形式进行,也可以先抽取情感主题句后进行句子情感分析,得到最终情感分析结果。
基于机器学习的方法可以将情感分析作为一个有监督的分类问题。对于情感极性的判断,将目标情感分为三类:正、中、负。对训练文本进行人工标注,然后进行有监督的机器学习过程,并对测试数据用模型来预测结果。
(7)、联想功能
联想功能是为用户提供与文本对象中的字符内容相关的内容,帮助用户了解和扩展更多的相关内容让用户去延伸阅读,省去用户自己专门去搜索相关内容的工作。
示例性的,如图17a所示,文本对象为上述通过预览界面预览的招聘启事,当电子设备检测到用户在如图4a所示的功能列表中选择联想功能选项时,如图17b所示,电子设备显示功能区域1701,功能区域1701中显示与这则招聘启事相关的其他内容,例如华为的其他招聘的链接,有关中间件的其他企业的招聘的链接,华为招聘网站,华为的官网,三星的招聘网站或阿里巴巴的招聘网站等。或者,示例性的,当电子设备打开预览界面时,如图17b所示,预览界面上显示有功能列表和功能区域,功能列表中已默认选中联想功能选项,功能区域中显示与这则招聘启事相关的其他内容。
具体的,在联想功能处理过程中,可以根据句子之间的语义相似度,通过访问搜索引擎的方式将与文本对象中的句子相似度高的其他句子的链接返回给用户。
(8)、品鉴功能
品鉴功能可以帮助用户在购物或者识别物品的过程中,借助互联网巨大的资源库对文本对象中的信息内容所链接或指示的物品进行搜索(搜索工具不局限于搜索引擎等常见的搜索工具,也可以是其他搜索工具),这可以帮助用户借助不同的维度分析所链接或指示的物品的综合特征,同时后台可以根据获取的数据进行深度处理加工,输出最终对于该物品的综合的评价。
示例性的,当用户通过电子设备的相机功能预览传单上、杂志上或电脑显示屏上显示的一个水杯的链接时,预览对象为文本对象。如图18a所示,当电子设备检测到用户在功能列表中选择品鉴功能时,如图18b所示,电子设备显示功能区域1801,功能区域1801中显示有该链接所对应的水杯的一些评价信息,以及正向和负向的评价信息等。该功能能够极大地帮助用户在没有购买该水杯时提前了解该水杯的相关特性。同时该功能可以帮助用户购买到高性价比的水杯。或者,当电子设备打开预览界面时,如图18b所示,预览界面上显示有功能列表和功能区域,功能列表中已默认选中品鉴功能选项,功能区域中显示当前水杯的一些评价信息,以及正向和负向的评价信息等。
另外,如图19所示,品鉴信息中还可以包括当前链接的具体内容,例如水杯的产地、容量以及材质等。
值得注意的是,以上是以被选中的目标功能选项为一种功能选项为例进行说明的,被选中的目标功能选项还可以为多个,电子设备可以在功能区域显示多个目标功能选项的业务信息。示例性的,如图20a所示,文本对象为上述通过预览界面预览的招聘启事,当电子设备检测到用户在如图4a所示的功能列表中选择摘要功能选项和联想功能选项时,如图20b所示,电子设备显示功能区域2001,功能区域2001中显示有文本对象中字符信息的摘要信息和联想信息;或者,如图20c所示,功能区域2002包括两部分,一部分用于显示摘要信息。另一部分用于显示联想信息。进一步地,若用户取消对联想功能选项的选择,则电子设备取消显示联想信息,而仅显示摘要信息。
还需要注意的是,在拍照预览状态下,电子设备针对文本对象可执行的功能选项并不限于以上所列举的几种,例如还可以包括标签功能。当电子设备执行标签功能时,电子设备可以对文本的标题和内容进行深度分析,展示能够反映文本关键信息的主题、话题、实体等多维度标签信息以及对应的置信度,该功能选项在个性化推荐、文章聚合、内容检索等多个场景中具有广泛的应用价值。对于其他电子设备可执行的功能选项,此处不予一一列举。
此外,在本申请实施例中,文本对象中的字符可以包括一种或多种语言,例如可以包括中文、英文、法文、德文、俄文或意大利文等。功能区域中的信息与文本对象中的字符可以采用相同种类的语言;或者,功能区域中的信息与文本对象中的字符也可以采用不同种类的语言。举例来说,文本对象中的字符可以是英文,功能区域中的摘要信息可以是中文;或者,文本对象中的字符可以是中文,功能区域中的关键字信息可以是英文等。
在一些情况下,功能列表中还可以包括语言设置控件,用于设置功能区域中的业务信息所属的语言类型。示例性的,如图21a所示,当电子设备检测到用户点击语言设置控件2101时,电子设备显示语言列表2102,当用户选择中文时,电子设备以中文(或称汉字)的形式在功能框中显示信息;当用户选择英文时,电子设备以英文的形式在功能框中显示信息。
在本申请其他一些实施例中,在拍照预览状态下,当电子设备检测到用户的第四操作后,电子设备可以在拍照预览状态下对文本对象进行文本功能展示。
在一种情况下,用户在需要使用上述文本功能时,可以在触摸屏上输入第四操作,以触发电子设备显示功能列表。示例性的,在拍照预览状态下,如图22a所示,电子设备在检测到用户在预览框内的长按操作后,可以显示图4a、图5a、图5b、图7b或图10b等所示的功能列表,从而采用上述实施例中图4a-图21b描述的方法对文本对象进行文本功能展示。
需要说明的是,用户在预览框内的长按操作仅是对第四操作的示例性说明,该第四操作还可以是其他操作。例如,该第四操作还可以是用户在预览框内两指按住拖动的操作;或者,如图22b所示,该第四操作还可以是用户在预览界面上向上滑动的操作;或者,该第四操作还可以是用户在预览界面上向下滑动的操作;或者,该第四操作还可以是用户在预览界面上画一个圆圈轨迹的操作;或者,该第四操作还可以是用户在预览界面上三指下拉的操作;或者,该第四操作还可以是用户输入的语音操作等等,这里不再一一列举。
在另一种情况下,电子设备可以在预览界面上显示提示信息,以提示用户是否选择使用文本功能,当用户选择使用文本功能时,电子设备可以在拍照预览状态下对文本对象进行文本功能展示。
示例性的,如图23a所示,预览界面上显示有提示框,用于提示用户是否使用文本功能,当用户选择使用文本功能时,电子设备可以显示功能列表,从而采用上述实施例中图4a-图21b描述的方法对文本对象进行文本功能展示。或者,如图23b所示,预览界面上显示有提示框和功能列表,该提示框用于提示用户是否使用文本功能,当用户选择使用文本功能时,预览界面上继续显示功能列表;当用户选择不使用文本功能时,电子设备隐藏预览界面上的功能列表。
再示例性的,如图23a所示,预览界面上显示有提示框,用于提示用户是否显示功能列表,当用户选择“是”时,电子设备可以显示图4a、图5a、图5b、图7b或图10b等所示的功能列表,从而采用上述实施例中图4a-图21a描述的方法对文本对象进行文本功能展示。或者,如图23b所示,预览界面上显示有提示框2302和功能列表,该提示框用于提示用户是否隐藏功能列表,当用户选择“否”时,预览界面上继续显示功能列表;当用户选择“是”时,电子设备隐藏预览界面上的功能列表。
再示例性的,预览界面上显示有文本功能控件,当电子设备检测到用户针对该文本功能控件的触摸操作时,电子设备可以显示图4a、图5a、图5b、图7b或图10b等所示的功能列表,从而采用上述实施例中图4a-图21a描述的方法对文本对象进行文本功能展示。举例来说,该文本功能控件可以是如图23c所示的功能列表按钮2303,也可以是如图23d所示的悬浮球2304,还可以是图标或者其他。
在本申请其他一些实施例中,拍摄模式中包括慧读模式,在慧读模式下,电子设备可以在拍照预览状态下对文本对象进行文本功能展示。
示例性的,电子设备在打开相机应用后可以显示如图24a所示的预览界面,预览界面上包括慧读模式控件2401,当电子设备检测到用户点击选择慧读模式控件2401时,电子设备可以显示图4a、图5a、图5b、图7b或图10b等所示的功能列表,从而采用上述实施例中图4a-图21a描述的方法对文本对象进行文本功能展示。
再示例性的,如图24b所示,当用户在上述预览界面上检测到用户点击拍摄选项控件311的操作后,如图24c所示,电子设备显示拍摄模式界面,拍摄模式界面上包括慧读模式控件2402。当电子设备检测到用户点击选择慧读模式控件2402时,电子设备可以显示图4a、图5a、图5b、图7b或图10b等所示的功能列表,从而采用上述实施例中图4a-图21a描述的方法对文本对象进行文本功能展示。并且,当电子设备检测到用户点击选择慧读模式控件2402之后,在后续用户再次打开拍照预览界面时,电子设备可以自动慧读模式对文本对象进行文本功能展示。
再示例性的,预览界面上包括慧读模式控件,若电子设备确定预览对象是文本对象,则电子设备自动切换到慧读模式,并显示图4a、图5a、图5b、图7b或图10b等所示的功能列表,从而采用上述实施例中图4a-图21a描述的方法对文本对象进行文本功能展示。
再示例性的,预览界面上包括慧读模式控件,电子设备默认拍摄模式为慧读模式,在用户选择切换为其他拍摄模式后,电子设备采用其他拍摄模式进行拍摄。
再示例性的,在打开相机应用后,预览界面上可以显示有如图23a所示的提示框,该提示框可以用于提示用户是否使用慧读模式,当用户选择“是”时,电子设备可以显示图4a、图5a、图5b、图7b或图10b等所示的功能列表,从而采用上述实施例中图4a-图21a描述的方法对文本对象进行文本功能展示。
通过以上实施例的描述可知,在拍照预览状态下,电子设备可以对文本对象进行文本功能展示。在本申请其他一些实施例中,当电子设备确定预览对象由一个文本对象切换为另一个文本对象时,电子设备可以对切换后的文本对象进行文本功能展示。当电子设备确定预览对象由文本对象切换为非文本对象时,电子设备可以关闭文本功能展示的相关应用。例如,当电子设备确定摄像头重新对焦时,可以表明预览对象发生了移动,预览对象可能发生了变化,此时电子设备可以确定预览对象是否发生了变化。示例性的,当电子设备确定预览对象由报纸这一文本对象改为书页这一新的文本对象时,电子设备对新的文本对象“书页”进行文本功能展示。再示例性的,当电子设备确定预览对象由报纸这一文本对象改为人物这一非文本对象时,电子设备可以隐藏功能列表,不启用文本功能展示的相关应用。
此外,在拍照预览状态下,电子设备对文本对象进行文本功能展示的过程中,若电子设备发生晃动或者预览对象发生晃动,则电子设备可以确定当前的预览对象与晃动前的预览对象是否为同一文本对象。如果是同一个文本对象,则电子设备保持当前对该文本对象进行文本功能展示;如果不是同一个文本对象,则电子设备对新的文本对象进行文本功能展示。具体的,在拍照预览状态下,当电子设备通过自身的重力传感器、加速度传感器或陀螺仪等传感器确定电子设备移动的距离大于或者等于某一预设值时,可以表明电子设备发生了移动,电子设备可以确定当前的预览对象与晃动前的预览对象是否为同一文本对象;或者,当电子设备确定预览过程中摄像头重新对焦时,可以表明预览对象或电子设备发生了移动,此时电子设备可以确定当前的预览对象与之前的预览对象是否为同一文本对象。
在其他一些实施例中,电子设备在预览界面上显示的功能列表中的功能选项可以与预览对象的相关。预览对象不同,则电子设备在预览界面上显示的功能选项也可能不同。具体的,电子设备可以在预览界面上识别预览对象,而后根据识别出的预览对象的类型、具体内容等特征,在预览界面上显示与该预览对象相对应的功能选项。在检测到用户选择目标功能选项的操作后,电子设备可以显示目标功能选项对应的业务信息。
示例性的,当电子设备预览一则招聘启事、一份报纸或一张书页时,电子设备可以在预览界面上识别出预览对象是一段文字,则电子设备可以在预览界面上显示摘要、关键字、实体、观点、分析、情感和联想这些功能选项。
再示例性的,当电子设备预览一件物品例如水杯、电脑、包包、衣服时,电子设备可以在预览界面上识别出预览对象是一个物品,则电子设备可以在预览界面上显示联想和品鉴功能选项。
并且,功能选项并不限于以上涉及到的几种,还可以包括其他。
例如,当电子设备预览一张显示有Jack船长的海报时,电子设备可以在预览界面上识别出预览对象是Jack船长,则电子设备可以在预览界面上显示导演、剧情简介、角色、上映时间、主演等功能选项。
再例如,当电子设备预览华为的logo标识时,电子设备可以识别出是华为的logo,并在预览界面上显示华为简介、华为官网、华为商城、华为云、华为招聘等功能选项。
再例如,当电子设备预览一只稀有的动物时,电子设备可以识别出该动物,并在预览界面上科属、形态特征、生活习性、分布分为、栖息环境等功能选项。
具体的,电子设备在预览界面上显示的功能列表中的功能选项可以与预览对象的类型相关,若预览对象为文本类型,则电子设备可以在预览界面上显示一个功能列表;若预览对象为图像类型,则电子设备可以在预览界面上显示另一个功能列表。其中,这两个功能列表中包含的功能选项不同。文本类型的预览对象是指包含字符的预览对象;图像类型的预览对象是指包含图像、人像、景物等的预览对象。
在其他一些实施例中,预览界面上的预览对象可以包括多种类型的多个子对象,电子设备在预览界面上显示的功能列表可以与子对象的类型相对应。其中,预览对象的子对象的类型可以包括文本类型和图像类型。文本类型的子对象是指预览对象中的字符部分;图像类型的子对象是指预览对象的图像部分,例如预览的图片上的图像或者预览的人物、动物或景物等。示例性的,图25a所示的预览对象包括文本类型的第一子对象2501和图像类型的第二子对象2502。其中,第一子对象2501为招聘启事的字符部分,第二子对象2502为招聘启事中的华为logo部分。
具体的,当电子设备在拍照预览状态下预览该招聘启事时,电子设备可以在预览界面上显示文本类型的第一子对象2501对应的功能列表2503,该功能列表2503中可以包括摘要、关键字、实体、观点、分类、情感和联想等功能选项;并且,电子设备可以在预览界面上显示图像类型的第二子对象2502对应的另一个功能列表2504,该功能列表2504中可以包括华为简介、华为官网、华为商城、华为云和华为招聘等功能选项。其中,功能列表2504与功能列表2503的内容和位置不同。如图25c所示,当用户点击功能列表2503中可以包括摘要选项时,电子设备可以在预览界面上显示摘要信息2505;如图25d所示,当用户点击功能列表2504中的华为简介选项时,电子设备可以预览界面上显示华为简介信息2506。
在其他一些实施例中,在拍照预览状态下,当电子设备预览界面上的预览对象由预览对象1切换为预览对象2时,在一种情况下,电子设备可以停止显示预览对象1的业务信息,并显示预览对象2的业务信息。举例来说,若整个招聘启事包括两张,预览对象1为图7b所示的第1张招聘启事(即整个招聘启事的上半部分内容),如图7b所示,电子设备显示有预览对象1的摘要信息。当用户移动电子设备以预览第2张招聘启事(即整个招聘启事的下半部分内容)时,预览对象切换为预览对象2。如图25e所示,电子设备停止显示预览对象1的摘要信息,而显示预览对象2的摘要信息2507。
当电子设备拍照预览界面上的预览对象由预览对象1切换为预览对象2时,在另一种情况下,电子设备可以显示预览对象2的业务信息2,并继续显示预览对象1的业务信息1。举例来说,若整个招聘启事包括两张,预览对象1为图7b所示的第1张招聘启事(即整个招聘启事的上半部分内容),如图7b所示,电子设备显示有预览对象1的摘要信息。当用户移动电子设备以预览第2张招聘启事(即整个招聘启事的下半部分内容)时,预览对象切换为预览对象2。电子设备可以显示预览对象2的摘要信息2507,并继续显示预览对象1的摘要信息701。
例如,如图25f所示,电子设备可以在同一个显示框内显示预览对象1的摘要信息和预览对象2的摘要信息。
再例如,电子设备可以在显示预览对象2的摘要信息的同时,缩小显示预览对象1的摘要信息701。举例来说,如图25g所示,电子设备可以在预览界面的右上角(或右下角、左上角、左下角)缩小显示预览对象1的摘要信息2507。进一步地,当电子设备接收到用户的第三操作时,电子设备可以在预览界面上合并显示预览对象1的摘要信息和预览对象2的摘要信息。示例性的,该第三操作可以是用户捏合摘要信息701和摘要信息2507的操作。再示例性的,如图25h所示,预览界面上可以显示有合并控件2508,当用户点击该合并控件2508时,如图25f所示,电子设备可以在预览界面上合并显示预览对象1的摘要信息和预览对象2的摘要信息,从而可以方便用户整合多个预览对象对应的相关业务信息。
进一步地,在拍照预览状态下,当电子设备检测到用户点击拍摄按钮的操作后,电子设备可以拍摄图片。在拍摄图片之后,当电子设备检测到用户打开该图片的操作后,电子设备可以显示该图片,还可以对该图片进行文本功能展示。
在一种情况下,电子设备在拍照预览状态下可以通过自身处理或从服务器获取并展示用户选择的目标功能选项的业务信息并保存。在电子设备打开(例如从相册打开,或者从缩略框打开)该已拍摄的图片后,电子设备可以根据保存的内容展示目标功能选项的业务信息。当用户想要展示未保存的其他目标功能的业务信息时,电子设备可以处理或从服务器获取其他目标功能的业务信息后,再进行文本功能展示。
在另一种情况下,电子设备在拍照预览状态下可以通过自身处理或从服务器获取功能列表中所有目标功能的业务信息并保存。在电子设备打开该已拍摄的图片后,电子设备可以根据保存的所有目标功能的业务信息进行文本功能展示。其中,在电子设备打开该图片后,功能区域中的内容可以是用户在拍照预览状态下选择的目标功能选项的业务信息,也可以是默认的目标功能的业务信息,还可以是用户重新选择的目标功能选项的业务信息,或者,还可以是所有目标功能的业务信息。
在另一种情况下,电子设备并不保存拍照预览状态下通过自身处理或从服务器获取的目标功能的业务信息,在电子设备打开该已拍摄的图片后,电子设备重新处理或从服务器获取用户选择的目标功能选项的业务信息或所有目标功能的业务信息,并进行文本功能展示。在电子设备打开该图片后,功能区域中展示的内容可以是默认的目标功能的业务信息,还可以是用户选择的目标功能选项的业务信息,还可以是所有目标功能的业务信息。
具体的,在本申请一些实施例中,在打开该已拍摄图片后,电子设备对该图片进行文本功能展示的方式可以与图4a-图21b所示的拍照预览状态下对文本对象进行文本功能展示的方式相同,区别之处在于,除了均可以显示图像内容和文本功能的相关信息以外,电子设备触摸屏的界面上不再包括拍照预览状态下的拍照模式控件、录像模式控件、拍摄选项控件、拍摄按钮、色调风格控件、缩略框以及对焦框等拍摄控件;并且,电子设备触摸屏上还可以显示一些对已拍摄的图片进行处理的控件,例如分享控件、编辑控件、设置控件以及删除控件等。
示例性的,与图7a和图7b所示的展示方式相同,在打开已拍摄的招聘启事的图片后,参见图26a,电子设备显示已拍摄的图片和功能列表;当电子设备检测到用户在功能列表中选择摘要功能选项时,如图26b所示,电子设备显示功能区域,功能区域中显示有这则招聘启事的摘要;或者,当电子设备打开已拍摄的招聘启事的图片后,如图26b所示,电子设备显示有功能列表和功能区域,功能列表中已默认选中摘要功能选项,功能区域中显示这则招聘启事的摘要。此处仅是以与图7a和图7b所示的展示方式为例进行了说明,对于与图4a-图21b中其他方式相同的展示方式,这里不再赘述。
此外,还需要说明的是,与拍照预览状态下预览框中的文本功能展示方式相同,在打开已拍摄的图片后,电子设备还可以隐藏和恢复显示功能列表和功能区域。
另外,在本申请其他一些实施例中,在打开已拍摄的图片后,电子设备还可以采用与图4a-图21b所示的方式不同的方式进行文本功能展示。例如,参见图27a和图27b,在打开该图片后,电子设备可以在该图片的属性信息中显示目标功能选项的业务信息或所有目标功能的业务信息。
电子设备在打开已拍摄的图片后对图片进行文本功能展示,可以将图片中非结构化的字符内容转化为结构化的字符内容,简化信息量,节省用户阅读图片上大量字符信息所花费的时间,方便用户通过阅读少量的、最关心的信息快速了解图片的主要内容,还可以为用户提供与图片内容相关联的其他信息,为用户的阅读和信息管理带来便利。
本申请另一实施例还提供了一种图片显示方法,电子设备可以在拍照预览状态下不进行文本功能展示,而在拍摄图片并打开已拍摄的图片时进行文本功能展示。示例性的,在图3b所示的预览界面308上,当电子设备检测到用户点击拍摄按钮312的操作时,电子设备拍摄图片。在电子设备打开(例如从相册打开或者从缩略框打开)已拍摄的图片后,电子设备还可以通过自身处理或从服务器获取功能选项的业务信息,从而对该图片进行文本功能展示。
具体的,电子设备可以在拍摄该图片后,通过自身处理或从服务器获取所有目标功能的业务信息,从而在打开该图片后进行文本功能展示。其中,在电子设备打开该图片后,功能区域中的内容可以是默认的目标功能的业务信息,还可以是用户选择的目标功能选项的业务信息,还可以是所有目标功能的业务信息。
或者,电子设备可以在打开该图片后,通过自身处理或从服务器获取所有目标功能的业务信息,从而进行文本功能展示。
或者,电子设备可以在打开该图片,并检测到用户选择目标功能选项的操作后,通过自身处理或从服务器获取所有目标功能的业务信息,从而进行文本功能展示。
在一种情况下,电子设备对已拍摄的图片进行文本功能展示的方式可以与图4a-图21b所示的拍照预览状态下对文本对象进行文本功能展示的方式相同,区别之处在于,除了均可以显示图像内容和文本功能的相关信息以外,电子设备触摸屏的界面上不再包括拍照预览状态下的拍照模式控件、录像模式控件、拍摄选项控件、拍摄按钮、色调风格控件、缩略框以及对焦框等拍摄控件;并且,电子设备触摸屏上还可以显示一些对已拍摄的图片进行处理的控件,例如分享控件、编辑控件、设置控件以及删除控件等。
示例性的,与图7a和图7b所示的展示方式相同,在打开已拍摄的招聘启事的图片后,参见图26a,电子设备显示已拍摄的图片和功能列表;当电子设备检测到用户在功能列表中选择摘要功能选项时,如图26b所示,电子设备显示功能区域,功能区域中显示有这则招聘启事的摘要;或者,当电子设备打开已拍摄的招聘启事的图片后,如图26b所示,电子设备显示有功能列表和功能区域,功能列表中已默认选中摘要功能选项,功能区域中显示这则招聘启事的摘要。此处仅是以与图7a和图7b所示的展示方式为例进行了说明,对于与图4a-图21b中其他方式相同的展示方式,这里不再赘述。
在另一种情况下,在打开已拍摄的图片后,电子设备还可以采用与图4a-图21b所示的方式不同的方式进行文本功能展示。例如,参见图27a和图27b,在打开该图片后,电子设备可以在该图片的属性信息中显示目标功能选项的业务信息或所有目标功能的业务信息。
其中,电子设备在打开已拍摄的图片后对图片进行文本功能展示,可以将图片中非结构化的字符内容转化为结构化的字符内容,简化信息量,节省用户阅读图片上大量字符信息所花费的时间,方便用户通过阅读少量的、最关心的信息快速了解图片的主要内容,还可以为用户提供与图片内容相关联的其他信息,为用户的阅读和信息管理带来便利。
进一步地,在拍摄图片后,电子设备还可以根据功能选项的业务信息在相册中对图片进行分类,从而实现在图片的内容层面对图片进行分类或标识。示例性的,根据图10b所示的关键字信息,电子设备针对图10b中的文本对象拍摄图片后,可以根据关键字“招聘”建立分组,并且,并且,如图28a所示,电子设备可以将该图片划分至“招聘”分组中。再示例性的,根据图15b所示的分类信息,电子设备针对图15b中的文本对象拍摄图片后,可以根据分类“国内财经”建立分组,并且,如图28b所示,电子设备可以将该图片划分至“国内财经”分组中。再示例性的,根据图15b所示的分类信息,电子设备针对图15b中的文本对象拍摄图片后,如图28c所示,电子设备可以在该图片上打上“国内新闻”的标签。再示例性的,电子设备可以根据功能选项的业务信息中的标签信息,在打开的图片上打上该标签信息。
本申请另一实施例还提供了一种文本的个性化功能展示方法,可以对电子设备通过触摸屏直接显示的文本内容进行个性化功能展示。其中,这些个性化功能可以包括上述实施例中的摘要、关键字、实体、观点、分类、情感、联想以及品鉴等功能选项。这些功能选项可以用于通过对文本内容中的字符进行相应的加工和处理,将文本内容中非结构化的字符内容转化为结构化的字符内容,简化信息量,节省用户阅读文本内容中大量字符信息所花费的时间,方便用户阅读少量的、最关心的信息,为用户的阅读和信息管理带来便利。
电子设备通过触摸屏显示的文本内容是指电子设备通过浏览器或app方式直接在触摸屏上显示的文本内容,该文本内容与电子设备在拍照预览状态下预览的文本对象不同,与电子设备已拍摄的图片也不同。
具体的,电子设备可以采用与上述拍照预览状态下的文本图像和已拍摄图片的个性化功能展示方法相同的方法进行文本功能展示。例如,当电子设备通过浏览器打开一篇新闻稿时,电子设备可以对这篇新闻稿进行摘要、分类、联想等个性化功能展示。再例如,当电子设备通过app浏览一篇小说时,电子设备可以对当前这一页显示的文本内容进行关键字、实体、情感等个性化功能展示。再例如,当电子设备在本地打开一篇文档时,电子设备可以对该文档中的文本内容进行摘要、关键字、实体、情感、联想等个性化功能展示。
在一种情况下,电子设备可以在确定显示的内容包括文本内容时,自动显示功能列表;在另一种情况下,电子设备默认不显示功能列表,当电子设备在检测到第三操作时,响应于该第三操作可以显示功能列表。其中,该第三操作可以与上述第四操作相同,也可以与上述第三操作不同,本申请实施例不予具体限定。在另一种情况下,电子设备可以默认显示功能列表,当电子设备检测到用户指示隐藏功能列表(例如,将功能列表拖拽到触摸屏的边框位置)的操作时,电子设备不再显示功能列表。
示例性的,如图29a所示,电子设备通过浏览器打开一篇新闻稿,电子设备的触摸屏上显示有功能列表,当电子设备检测到用户从功能列表中选择实体功能选项时,如图29b所示,电子设备显示功能区域2901,功能区域2901中显示有这篇新闻稿的实体。或者,示例性的,当电子设备打开预览界面时,如图29b所示,电子设备通过浏览器打开一篇新闻稿,电子设备的触摸屏上显示有功能列表和功能区域,功能列表中已默认选中实体功能选项,功能区域中显示这篇新闻稿的实体。
需要说明的是,图29b中是以时间、人名、地点、职位和组织机构这些实体为例进行显示的,实体还可以包括其他内容。并且,文本对象的类型不同,实体包括的内容也可以不同。例如,实体内容还可以包括作品名称等等。
此外,图29b所示的界面上还包括“+”控件2902,当用户点击“+”控件2902时,电子设备可以显示文本对象中涉及的其他组织机构。
另外,在图29b所示的场景下,用户通过文本显示框分类显示各中实体,可以使得从文本对象中提取的信息更为条理化和结构化,方便用户整理和信息归类。
这样,在用户通过电子设备浏览文本内容时,实体功能可以方便用户快速获取到各类实体信息,帮助用户发现一些新的实体名词,还有助于用户了解新的事物。
再示例性的,如图30a所示,电子设备通过浏览器打开一篇新闻稿,电子设备的触摸屏上显示有功能列表,当电子设备检测到用户从功能列表中选择联想功能选项时,如图30b所示,电子设备显示功能区域3001,功能区域3001中显示与这篇新闻稿相关的其他内容,例如,十三届全国人大一次会议的相关新闻的链接,两会日程预报的链接等。或者,示例性的,当电子设备打开预览界面时,如图30b所示,电子设备通过浏览器打开一篇新闻稿,电子设备的触摸屏上显示有功能列表和功能区域,功能列表中已默认选中联想功能选项,功能区域中显示与这篇新闻稿相关的其他内容。
这样,在用户通过电子设备浏览文本内容时,联想功能可以为用户提供与文本内容相关的内容,从而帮助用户了解和扩展更多的相关内容让用户去延伸阅读,省去用户自己专门去搜索相关内容的工作。
需要注意的是,电子设备针对触摸屏显示的文本内容可执行的文本功能并不限于图29a-图30b所示的实体功能和联想功能,还可以有多种其他文本功能,此处不予一一列举。
本申请另一实施例提供了一种文字识别方法,可以包括:电子设备或服务器获取RAW格式的目标图像;而后,电子设备或服务器确定目标图像中的待识别字符对应的标准字符。
例如,该目标图像可以为拍摄预览时获取的预览图像。在本申请上述实施例中,电子设备在拍照预览状态下对文本对象进行文本功能展示之前,还可以识别文本对象中的字符,而后根据识别出的标准字符进行显示功能选项的业务信息。并且,在本申请上述实施例中,在打开图片并进行文本功能展示之前,电子设备还可以识别图片对应的文本对象中的字符,而后根据识别出的标准字符进行文本功能展示。具体的,电子设备识别文本对象中的字符可以包括:通过自身处理进行识别;或者,通过服务器识别,并从服务器获取字符识别结果。以下实施例将以服务器进行字符识别为例进行说明,电子设备进行字符识别的方法与服务器进行字符识别的方法相同,本申请实施例将不再赘述。
在一种字符识别方法中,电子设备在拍照预览状态下采集预览图像,并将预览图像发送给服务器,服务器根据预览图像进行字符识别;或者,电子设备在拍摄图片时采集预览图像,并将预览图像发送给服务器,服务器根据预览图像进行字符识别。该预览图像为未进行ISP处理的原始图像,电子设备对预览图像进行ISP处理后生成最终呈现给用户的图片。在该种字符识别方法中,可以根据电子设备摄像头输出的原始图像直接进行处理,而不需要对原始图像经过ISP处理生成图片后再进行字符识别;省去其他一些方法在字符识别时对图片的预处理(操作包括ISP处理的一些逆过程),节省计算资源,还能避免因为预处理而引入的噪声,提高识别准确度。并且,字符识别过程与预览过程同步进行,可以给用户带来更为便捷的使用体验。
在另一种字符识别方法中,电子设备也可以在拍照预览状态下采集预览图像并处理生成图片后,将图片发送给服务器,服务器可以根据已拍摄的图片采用上述提到的传统的字符识别方式进行识别;或者,电子设备可以在拍摄图片后,将图片发送给服务器,服务器可以根据拍摄的图片采用上述提到的传统的字符识别方式进行识别。具体的,服务器可以对图片进行预处理以去除图像中的噪声和无用信息,而后根据预处理后的数据进行字符识别。可以理解的是,本申请实施例还可以其他方法进行字符识别,这里不予赘述。
具体的,在字符识别过程中,服务器可以获取预览图像中各像素点的明亮度,也称灰阶值或灰度值(例如,当该预览图像为YUV格式时,该明亮度为像素点的Y分量),并根据明亮度进行字符识别处理。而预览图像中各像素点的色度(例如,当该预览图像为YUV格式时,该色度为像素点的U分量和V分量)可以不参与字符识别的处理。这样,可以降低字符识别处理过程中的数据量,减少计算时间,节省计算资源,提高处理效率。
具体的,服务器可以将预览图像中各像素点的灰度值进行二值化处理和图像锐化处理,生成黑白图像。其中,二值化是指,将预览图像上的像素点的灰度值设置为0或255,使得预览图像上的像素点为白色像素点(即灰度值为0)或黑色像素点(即灰度值为255)。这样,可以使得预览图像呈现出明显的黑白效果,凸显预览图像上待识别字符的轮廓。图像锐化是指,补偿预览图像的轮廓,增强预览图像上待识别字符的边缘及灰度跳变的部分,突出预览图像上待识别字符的边缘、轮廓,提高待识别字符边缘与周围像素之间的反差。
而后,服务器根据黑白图像确定待识别字符包括的黑色像素点。具体的,在黑白图像上,针对某一黑色像素点,如图31所示,服务器可以确定周围是否存在与该黑色像素点的距离小于或者等于某一预设值的其他像素点。若该像素点的周围存在与该黑色像素点的距离小于或者等于某一预设值的n(正整数)个其他像素点,则该n个其他像素点与该像素点属于同一个字符,服务器记录该黑色像素点以及该n个其他像素点;并以该n个其他像素点中的每个像素点为目标,继续搜索目标的周围是否存在与目标属于同一个字符的黑色像素点。若该像素点的周围不存在与该黑色像素点的距离小于或者等于某一预设值的其他像素点,则该n个其他像素点与该像素点不属于同一个字符,服务器以另一个黑色像素点为目标,搜索目标的周围是否存在与目标属于同一个字符的黑色像素点。本申请实施例提供的这种确定待识别字符包括的黑色像素点的原则可以称为:“字符内部高度相关,字符外部极度稀疏”。
在确定待识别字符包括的黑色像素点后,服务器可以根据待识别字符包括的黑色像素点,将待识别字符与标准库中的字符进行匹配比对,若标准库中存在与待识别字符匹配的标准字符,则确定待识别字符为该标准字符;若标准库中不存在与待识别字符匹配的标准字符,则待识别字符识别失败。
由于待识别字符与标准字符的尺寸范围可能不一致,因而通常需要对待识别字符进行处理后再与标准字符进行匹配比对。
在一种处理方法中,服务器可以缩/放待识别字符,以使得待识别字符的尺寸范围与预设的标准字符的尺寸范围一致,而后对缩/放后的待识别字符和标准字符进行匹配比对。其中,如图32a或图32b所示,一个字符的尺寸范围是指,与该字符最左边的黑色像素点的左边相切的第一直线,与该字符最右边的黑色像素点的右边相切的第二直线,与该字符最上边的黑色像素点的上边相切的第三直线,以及与该字符最下边的黑色像素点的下边相切的第四直线之间所围成的区域的尺寸范围。其中,图32a表示的尺寸范围为缩/放前的待识别字符的尺寸范围;图32b表示的尺寸范围为缩/放后的待识别字符的尺寸范围,即标准字符的尺寸范围。
在将待识别字符的尺寸范围缩/放到与预设的标准字符的尺寸范围一致时,服务器可以根据缩/放后的待识别字符包括的黑色像素点的坐标对待识别字符进行编码。示例性的,该编码结果可以是从第一行到最后一行的黑色像素点的坐标的集合,对于每一行,按照从左到右的黑色像素点的排列顺序编码。当采用该种编码方法时,图32b中所示的待识别字符的编码结果可以是编码向量[(x1,y1),(x2,y1),...,(x1,y2),...,(xp,yq),(xs,yq)]。再示例性的,该编码结果可以是从第一行到最后一行的黑色像素点(即待识别字符包括的黑色像素点)的坐标的集合,对于每一行黑色像素点来说,可以按照从右到左的黑色像素点的排列顺序进行编码。再示例性的,该编码结果可以是从第一列到最后一列的黑色像素点的坐标的集合,对于每一列来说,可以按照从上到下的黑色像素点的排列顺序进行编码。
需要说明的是,待识别字符采用的编码方式与标准库中的标准字符采用的编码方式相同,从而可以通过比对待识别字符与标准字符的编码来确定待识别字符与标准字符是否匹配。
在获得待识别字符的编码向量后,服务器可以根据待识别字符的编码向量与标准库中标准字符的编码向量的相似度(例如向量空间余弦值、皮尔森相关系数等)的大小,确定待识别字符与标准字符是否匹配。当相似度大于或者等于某一预设值时,服务器可以确定待识别字符与标准字符匹配。
在另一种处理方法中,服务器可以根据待识别字符包括的黑色像素点的坐标对待识别字符进行编码,从而获得待识别字符的第一编码向量,并获取待识别字符的尺寸范围,计算标准字符的预设的尺寸范围与待识别字符的尺寸范围的比值Q。其中,当Q大于1时,可以称为放大倍数;当Q小于1时,可以称为缩小倍数。然后,服务器可以根据待识别字符的编码向量1、比值Q以及图像缩/放算法(例如抽样算法、插值算法等),计算待识别字符按照比值Q缩/放后对应的编码向量2。而后,服务器可以根据待识别字符的编码向量2与标准库中标准字符的编码向量的相似度的大小,确定待识别字符与标准字符是否匹配。当相似度大于或者等于某一预设值时,电子设备可以确定待识别字符与标准字符匹配,待识别字符即为该标准字符。
与通过传统字符识别方法中的分类识别方法相比,本申请实施例提供的该种根据像素点的坐标组成的编码向量计算相似度从而进行字符识别的方法更为准确。
其中,服务器根据待识别字符编码向量与标准库中编码向量的相似度的大小确定待识别字符与标准字符是否匹配可以有多种方法。例如,服务器可以将待识别字符编码向量与标准库中的每一个标准字符的编码向量一一比对,比对得到的相似度最高的标准字符即为该待识别字符对应的标准字符。
再例如,服务器可以按照字符库中预设的标准字符的顺序,将待识别字符编码向量与标准库中的标准字符的编码向量依次进行比对,得到的相似度首次高于或者等于某一个预设值的标准字符即为该待识别字符对应的标准字符。
再例如,标准库中保存有各标准字符的第二编码向量与一个预设的参考标准字符的第二编码向量的第一相似度,各标准字符按照第一相似度的大小顺序排列。服务器计算待识别字符的第一编码向量与参考标准字符的第二编码向量的第二相似度。在一种情况下,服务器确定标准库中与第二相似度的大小最接近的一个目标第一相似度,该目标第一相似度对应的标准字符即为该待识别字符对应的标准字符。这样,服务器不需要将待识别字符与标准库中的每个标准字符依次进行比对,从而可以缩小相似度的计算范围,有效避免了与标准库中的汉字逐一计算的过程,大大减少相似度计算的时间。
在另一种情况下,服务器确定标准库中与第二相似度的大小接近的至少一个目标第一相似度(即与第二相似度的差值的绝对值小于或者等于预设阈值的至少一个目标第一相似度),以及该至少一个目标第一相似度对应的至少一个标准字符。然后,服务器从该至少一个目标第一相似度对应的至少一个标准字符中确定是否存在与待识别字符匹配的标准字符,而不用将待识别字符与标准库中的每个标准字符依次进行比对,从而可以缩小相似度的计算范围,有效避免了与标准库中的汉字逐一计算的过程,大大减少相似度计算的时间。
示例性的,参考标准字符为“夫”,“夫”的编码向量为[a1,a2,a3,...]。参见表1,标准库中按照编码向量与参考标准字符的编码向量的相似度从大到小的顺序排列。
表1
Figure GPA0000290031690000401
当识别过程中获取到待识别字符的编码向量后,首先根据向量空间余弦值、皮尔森相关系数等相似度算法对待识别字符的编码向量与参考字“夫”的编码向量进行相似度计算,得到第二相似度为0.933。在一种情况下,服务器可以确定标准库中与最接近0.933的第一相似度为0.936,0.936对应的标准字符为“天”,标准字符“天”即为待识别字符对应的标准字符。在另一种情况下,服务器确定在标准库中在0.933附近的目标第一相似度为1,0.936和0.929,1,0.936和0.929对应的标准字符分别为“夫”、“天”和“夭”。然后,服务器将待识别字符分别与“夫”、“天”和“夭”进行比对,当服务器确定待识别字符的编码向量与“天”字的第三相似度最大时,可以确定待识别字符为“天”字。
此外,当功能区域中的信息与文本对象中的字符不属于同一种语言时,电子设备也可以在识别出文本对象中的字符后,将字符翻译成另一种语言,而后在功能区域中以另一种语言显示功能选项的业务信息,这里不予赘述。
结合上述实施例及相应的附图,本申请另一实施例提供一种在预览界面上显示业务信息方法,该方法可以在具有图1所示的硬件结构和图2所示的软件结构的电子设备中实现。如图33所示,该方法可以包括:
S3301、电子设备检测到用于启动相机应用的第一触摸操作。
示例性的,用于启动相机应用的第一触摸操作可以是如图3a中所示的用户点击相机图标302的操作。
S3302、响应于第一触摸操作,电子设备在触摸屏上显示拍摄的第一预览界面,该第一预览界面中包括慧读模式控件。
示例性的,第一预览界面可以是图24a所示的界面,慧读模式控件可以是如图24a中所示的慧读模式控件2401;或者,第一预览界面可以是图23c所示的界面,慧读模式控件可以是如图23c中所示的功能列表控件2303;或者,第一预览界面可以是图23d所示的界面,慧读模式控件可以是如图23d中所示的悬浮球2304等。
S3303、电子设备检测到针对慧读模式控件的第二触摸操作。
示例性的,用户针对慧读模式控件的触摸操作可以是如图24a中所示的慧读模式控件2401的点击操作,或者对如图23c中所示的功能列表控件2303的点击操作,或者对如图23d中所示的悬浮球控件2304的点击或拖动操作。
S3304、响应于第二触摸操作,电子设备在第二预览界面上分别显示与慧读模式控件对应的p个功能控件和q个功能控件,第二预览界面中有预览对象,其中,预览对象包括第一子对象和第二子对象,第一子对象为文本类型,第二子对象为图像类型,p个功能控件与第一子对象对应,q个功能控件与第二子对象对应,p、q为自然数,且p个功能控件与q个功能控件不同。
其中,p与q可以相同也可以不同。
示例性的,第二预览界面可以是图25a所示的界面,第二预览界面包括文本类型的第一子对象和图像类型的第二子对象。其中,文本类型的第一子对象可以是图25a中的子对象2501,p个功能控件可以是图25b所示的功能列表2503中的摘要、关键字、实体、观点、分类、情感和联想功能控件;图像类型的第二子对象可以是图25a中的子对象2502,q个功能控件可以是图25b所示的功能列表2504中的华为简介、华为官网、华为商城、华为云和华为招聘功能控件。
S3305、电子设备检测到针对p个功能控件中的第一功能控件的第三触摸操作。
示例性的,第三触摸操作可以为如图25c所示的用户点击功能列表2503中的摘要功能选项的操作。
S3306、响应于第三触摸操作,电子设备在第二预览界面上显示第一功能选项对应的第一业务信息,第一业务信息是电子设备对第二预览界面中的第一子对象进行处理后获取的。
示例性的,第二预览界面可以是图25a所示的界面,第一业务信息可以是图25c所示的第一子对象对应的摘要信息2505。
S3307、电子设备检测到针对q个功能控件中的第二功能控件的第四触摸操作。
示例性的,第三触摸操作可以为如图25d所示的用户点击功能列表2504中的华为简介功能选项的操作。
S3308、响应于第四触摸操作,电子设备在第二预览界面上显示第二功能选项对应的第二业务信息,第二业务信息是电子设备对第二预览界面中的第二子对象进行处理后获取的。
示例性的,第二预览界面可以是图25a所示的界面,第一业务信息可以是图25d所示的第二子对象对应的华为简介信息2506。
在该方案中,在拍照预览界面下,电子设备可以响应于用户对慧读模式控件的操作,显示不同类型的预览子对象分别对应的不同的功能选项,并根据用户所选择的功能选项对预览子对象进行处理以获取功能选项对应的业务信息,并在预览界面上显示不同子对象与所选择的功能选项对应的业务信息。因而,可以提高电子设备的预览处理功能。
其中,文本类型的第一子对象的业务信息是电子设备对第二预览界面中的预览对象上的字符进行处理后获取的。该字符可以包括汉字、英文、俄文、德文、法文、日文等各个国家的文字,还可以包括数字、字母和符号等。该业务信息可以包括摘要信息、关键字信息、实体信息、观点信息、分类信息、情感信息、联想信息或品鉴信息等。与文本类型的预览子对象对应的功能选项可以用于,通过对文本类型的预览子对象中的字符进行相应的加工和处理,使得电子设备在第二预览界面上显示与预览子对象中的字符内容相关联的业务信息,将预览子对象中非结构化的字符内容转化为结构化的字符内容,简化信息量,节省用户阅读文本对象上大量字符信息所花费的时间,方便用户阅读少量的、最关心的信息,为用户的阅读和信息管理带来便利。
在本申请其他一些实施例中,电子设备在步骤S3306和步骤3308中显示功能选项对应的业务信息(例如第一功能选项对应的第一业务信息或第二功能选项对应的第二业务信息),可以包括:电子设备在第二预览界面上叠加显示功能界面,功能界面中包括该功能选项对应的业务信息。其中,功能界面位于第二预览界面的前方,这样可以方便用户通过前方的功能界面了解业务信息。
示例性的,该功能界面可以是如图25d所示的弹窗形式的摘要信息所在的区域2505或华为简介信息所在的区域2506等。
在本申请其他一些实施例中,但电子设备在步骤S3306中显示第一功能选项对应的业务信息,可以包括:电子设备在第二预览界面显示的预览对象上,通过标记的方式显示第一功能选项对应的第一业务信息。这样,可以通过标记的方式突出预览对象上的业务信息,方便用户浏览。
在本申请其他一些实施例中,响应于电子设备检测到用户针对慧读模式控件的触摸操作,该方法还可以包括:电子设备在触摸屏上显示语言设置控件,语言设置控件用于设置业务信息的语言类型,以方便用户设置和切换业务信息的语言类型。示例性的,语言设置控件可以为如图21a所示的语言设置控件2101,可以用于设置或切换业务信息的语言类型。
参见图34,在上述步骤S3306中在第二预览界面上显示第一功能选项对应的第一业务信息之前,该方法还可以包括:
S3309、电子设备获取预览对象的RAW格式的预览图像。
其中,该预览图像为电子设备的摄像头获取到的未进行ISP处理的原始图像。
S3310、电子设备根据预览图像确定预览对象中的待识别字符对应的标准字符。
也就是说,这样可以根据电子设备摄像头输出的RAW格式的原始图像直接进行处理,而不需要对原始图像经过ISP处理生成图片后再进行字符识别;省去其他一些方法在字符识别时对图片的预处理操作(包括ISP处理的一些逆过程),节省计算资源,还能避免因为预处理而引入的噪声,提高识别准确度。
S3311、电子设备根据待识别字符对应的标准字符确定第一功能选项对应的第一业务信息。
具体的,电子设备根据预览对象中的识别出的标准字符确定第一功能选项的第一业务信息的算法和过程,可以参见上述实施例中对每个功能选项的详细描述,此处不予赘述。
需要注意的是,上述步骤S3311可以在步骤S3305之后;上述步骤S3309-S3310可以在步骤S3305之前,也可以在步骤S3305之后,本申请实施例不予限定。
其中,上述步骤S3310具体可以包括:
S3401、电子设备对预览图像进行二值化处理,以获得包括黑色像素点和白像素点的预览图像。
其中,电子设备通过对预览图像进行二值化处理,可以使得预览图像呈现出明显的黑白效果,凸显预览图像上待识别字符的轮廓;并且,使得预览图像仅包括黑色像素点和白色像素点,减小计算的数据量。
S3402、电子设备根据预览图像上相邻黑色像素点的位置关系,确定待识别字符包括的至少一个目标黑色像素点。
示例性的,参见图31,电子设备可以根据上述描述的“字符内部高度相关,字符外部极度稀疏”的原则确定待识别字符包括的至少一个目标黑色像素点。
S3403、电子设备根据目标黑色像素点的坐标进行编码以获得待识别字符的第一编码向量。
S3404、电子设备计算第一编码向量与预设的标准库中的至少一个标准字符的第二编码向量的相似度。
S3405、电子设备根据相似度确定待识别字符对应的标准字符。
在步骤S3401-步骤S3405描述的字符识别方法中,电子设备可以根据待识别字符包括的目标黑色像素点的坐标进行编码,并根据与标准库中标准字符的相似度来确定待识别字符对应的标准字符。与通过传统字符识别方法中的分类识别方法相比,本申请实施例提供的该种根据像素点的坐标组成的编码向量计算相似度从而进行字符识别的方法更为准确。
在本申请其他一些实施例中,标准字符的尺寸范围为预设的尺寸范围。步骤S3403具体可以包括:电子设备将待识别字符的尺寸范围缩/放为预设的尺寸范围;电子设备根据缩/放后的待识别字符中的目标黑色像素点的坐标进行编码,以获得第一编码向量。
在本申请其他一些实施例中,标准字符的尺寸范围为预设的尺寸范围。步骤S3403具体可以包括:电子设备根据待识别字符中的目标黑色像素点的坐标进行编码,以获得第三编码向量;电子设备计算预设的尺寸范围与待识别字符的尺寸范围的比值Q;电子设备根据第三编码向量比值Q以及图像缩/放算法,计算待识别字符缩/放Q倍后对应的第一编码向量。
其中,一个字符的尺寸范围是指,与该字符最左边的黑色像素点的左边相切的第一直线,与该字符最右边的黑色像素点的右边相切的第二直线,与该字符最上边的黑色像素点的上边相切的第三直线,以及与该字符最下边的黑色像素点的下边相切的第四直线之间所围成的区域的尺寸范围。
由于待识别字符与标准字符的尺寸范围可能不一致,因而通常需要对待识别字符进行处理后再与标准字符进行匹配比对。示例性的,缩/放前的待识别字符可以参见图32a,缩/放后的待识别字符可以参见图32b。
关于步骤S3403中通过缩/放待识别字符或者根据Q值获得第一编码向量的具体过程,可以参见上述实施例中关于文字识别过程的详细说明,此处不予赘述。
在本申请其他一些实施例中,标准库中包括参考标准字符,以及其他每个标准字符的第二编码向量与参考标准字符的第二编码向量的第一相似度。上述步骤3404具体可以包括:电子设备计算第一编码向量与参考标准字符的第二编码向量的第二相似度;确定与第二相似度的差值的绝对值小于或者等于预设阈值的至少一个目标第一相似度;计算第一编码向量分别与至少一个目标第一相似度对应的标准字符的第二编码向量的第三相似度。基于此,上述步骤S3405具体可以包括:电子设备根据第三相似度确定待识别字符对应的标准字符。其中,第三相似度最大的标准字符即为待识别字符匹配的标准字符。
示例性的,电子设备对步骤S3404和步骤S3405的具体描述可以参见上述实施例中以表1为例所描述的根据参考标准字符“夫”识别待识别字符的详细过程,此处不予赘述。
这样,电子设备不需要将待识别字符与标准库中的每个标准字符依次进行比对,从而可以缩小相似度的计算范围,有效避免了与标准库中的汉字逐一计算的过程,大大减少相似度计算的时间。
结合上述实施例及相应的附图,本申请另一实施例提供一种在预览界面中显示业务信息的方法,该方法可以在具有图1所示的硬件结构和图2所示的软件结构的电子设备中实现。该方法可以包括:
S3501、电子设备检测到用于启动相机应用的第一触摸操作。
S3502、响应于第一触摸操作,电子设备在触摸屏上显示拍摄的第一预览界面,该第一预览界面中包括慧读模式控件。
S3503、电子设备检测到针对慧读模式控件的第二触摸操作。
S3504、响应于第二触摸操作,电子设备在第二预览界面上分别显示与慧读模式控件对应的p个功能控件和q个功能控件,第二预览界面中有预览对象,其中,预览对象包括第一子对象和第二子对象,第一子对象为文本类型,第二子对象为图像类型,p个功能控件与第一子对象对应,q个功能控件与第二子对象对应,且p个功能控件与q个功能控件不同。
S3505、电子设备获取预览对象的RAW格式的预览图像。
S3506、电子设备对预览图像进行二值化处理,以获得通过黑色像素点和白像素点表示的预览图像。
S3507、电子设备根据预览图像上相邻黑色像素点的位置关系,确定待识别字符包括的至少一个目标黑色像素点。
S3508、电子设备将待识别字符的大小范围缩/放为预设的大小范围。
S3509、电子设备根据缩/放后的待识别字符中的目标黑色像素点的坐标进行编码,以获得第一编码向量。
S3510、电子设备计算第一编码向量与参考标准字符的第二相似度。
S3511、电子设备确定与第二相似度的差值的绝对值小于或者等于预设阈值的至少一个目标第一相似度。
S3512、电子设备计算第一编码向量分别与至少一个目标第一相似度对应的标准字符的第二编码向量的第三相似度。
S3513、电子设备根据第三相似度确定待识别字符对应的标准字符。
S3514、电子设备检测到针对p个功能控件中的第一功能控件的第三触摸操作。
S3515、响应于第三触摸操作,电子设备根据待识别字符对应的标准字符确定第一功能选项对应的第一业务信息,第一业务信息是电子设备对第二预览界面中的第一子对象进行处理后获取的。
S3516、电子设备在第二预览界面上显示第一功能选项对应的第一业务信息。
S3517、电子设备检测到针对q个功能控件中的第二功能控件的第四触摸操作。
S3518、响应于第四触摸操作,电子设备在第二预览界面上显示第二功能选项对应的第二业务信息,第二业务信息是电子设备对第二预览界面中的第二子对象进行处理后获取的。
其中,步骤S3505-S3513可以在步骤S3514之前,也可以在步骤S3514之后,本申请实施例不予限定。
可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图35示出了上述实施例中涉及的电子设备3600的一种可能的组成示意图,如图35所示,该电子设备3600可以包括:检测单元3601、显示单元3602和处理单元3603。
其中,检测单元3601可以用于支持电子设备3600执行上述步骤S3301、步骤S3303、步骤S3305、步骤S3307、步骤S3501、步骤S3503、步骤S3514、步骤S3517等,和/或用于本文所描述的技术的其他过程。
显示单元3601可以用于支持电子设备3600执行上述步骤S3302、步骤S3304、步骤S3306、步骤S3308、步骤S3502、步骤S3504、步骤S3516、步骤S3518等,和/或用于本文所描述的技术的其他过程。
处理单元3601可以用于支持电子设备3600执行上述步骤S3308-步骤S3311,以及步骤S3401-步骤S3405,步骤S3505-步骤S35013、步骤S3515等,和/或用于本文所描述的技术的其他过程。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本申请实施例提供的电子设备,用于执行上述在预览界面中显示业务信息的实现方法,因此可以达到与上述实现方法相同的效果。
在采用集成的单元的情况下,电子设备可以包括处理模块和存储模块。其中,处理模块可以用于对电子设备的动作进行控制管理,例如,可以用于支持电子设备执行上述检测单元3601、显示单元3602和处理单元3603执行的步骤。存储模块可以用于支持电子设备存储第一预览界面、第二预览界面、预览对象的预览图像、处理获得的业务信息,以及存储程序代码和数据等。另外,电子设备还可以包括通信模块,可以用于支持电子设备与其他设备的通信。
其中,处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理(digital signal processing,DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、wifi芯片等与其他电子设备交互的设备。
在一个实施例中,当处理模块为处理器,存储模块为存储器时,本申请实施例所涉及的电子设备可以为具有图1所示结构的设备。
本申请实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的在预览界面中显示业务信息的方法。
本申请实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的在预览界面中显示业务信息的方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的在预览界面中显示业务信息的方法。
其中,本申请实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。本发明实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述实施例中所用,根据上下文,术语“当...时”可以被解释为意思是“如果...”或“在...后”或“响应于确定...”或“响应于检测到...”。类似地,根据上下文,短语“在确定...时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定...”或“响应于确定...”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。
为了解释的目的,前面的描述是通过参考具体实施例来进行描述的。然而,上面的示例性的讨论并非意图是详尽的,也并非意图要将本申请限制到所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择和描述实施例是为了充分阐明本申请的原理及其实际应用,以由此使得本领域的其他技术人员能够充分利用具有适合于所构想的特定用途的各种修改的本申请以及各种实施例。

Claims (17)

1.一种在预览界面中显示业务信息的方法,应用于具有触摸屏的电子设备,其特征在于,所述方法包括:
所述电子设备检测到用于启动相机应用的第一触摸操作;
响应于所述第一触摸操作,所述电子设备在所述触摸屏上显示拍摄的第一预览界面,所述第一预览界面中包括慧读模式控件;
所述电子设备检测到针对所述慧读模式控件的第二触摸操作;
响应于所述第二触摸操作,所述电子设备在第二预览界面上分别显示与所述慧读模式控件对应的p个功能控件和q个功能控件,所述第二预览界面中有预览对象;
其中,所述预览对象包括第一子对象和第二子对象,所述第一子对象为文本类型,所述第二子对象为图像类型,所述p个功能控件与所述第一子对象对应,所述p个功能控件包括摘要、关键字、实体、观点、分类、情感和联想功能控件,所述q个功能控件与所述第二子对象对应,其中,p、q为自然数,且所述p个功能控件与所述q个功能控件不同;
所述电子设备检测到针对所述p个功能控件中的第一功能选项的第三触摸操作;
响应于所述第三触摸操作,所述电子设备在所述第二预览界面上显示所述第一功能选项对应的第一业务信息,所述第一业务信息是所述电子设备对所述第二预览界面中的所述第一子对象进行处理后获取的;
所述电子设备检测到针对所述q个功能控件中的第二功能选项的第四触摸操作;
响应于所述第四触摸操作,所述电子设备在所述第二预览界面上显示所述第二功能选项对应的第二业务信息,所述第二业务信息是所述电子设备对所述第二预览界面中的所述第二子对象进行处理后获取的。
2.根据权利要求1所述的在预览界面中显示业务信息的方法,其特征在于,在所述电子设备在所述第二预览界面上显示所述第一功能选项对应的第一业务信息之前,所述方法还包括:
所述电子设备获取所述预览对象的RAW格式的预览图像;
所述电子设备根据所述预览图像确定所述预览对象中的待识别字符对应的标准字符;
所述电子设备根据所述待识别字符对应的标准字符确定所述第一功能选项对应的第一业务信息。
3.根据权利要求2所述的在预览界面中显示业务信息的方法,其特征在于,所述电子设备根据所述预览图像确定所述预览对象中的待识别字符对应的标准字符,包括:
所述电子设备对所述预览图像进行二值化处理,以获得包括黑色像素点和白像素点的预览图像;
所述电子设备根据所述预览图像上相邻黑色像素点的位置关系,确定待识别字符包括的至少一个目标黑色像素点;
所述电子设备根据所述目标黑色像素点的坐标进行编码以获得所述待识别字符的第一编码向量;
所述电子设备计算所述第一编码向量与预设的标准库中的至少一个标准字符的第二编码向量的相似度;
所述电子设备根据所述相似度确定所述待识别字符对应的标准字符。
4.根据权利要求3所述的在预览界面中显示业务信息的方法,其特征在于,所述标准字符的尺寸范围为预设的尺寸范围,所述电子设备根据所述目标黑色像素点的坐标进行编码以获得所述待识别字符的第一编码向量,包括:
所述电子设备将所述待识别字符的尺寸范围缩小或放大为所述预设的尺寸范围;
所述电子设备根据缩小或放大后的所述待识别字符中的所述目标黑色像素点的坐标进行编码,以获得所述第一编码向量;或者,
所述电子设备根据所述待识别字符中的所述目标黑色像素点的坐标进行编码以获得第三编码向量;
所述电子设备计算所述预设的尺寸范围与所述待识别字符的尺寸范围的比值Q;
所述电子设备根据所述第三编码向量、所述比值Q以及图像缩小或放大算法,计算所述待识别字符缩小或放大Q倍后对应的所述第一编码向量。
5.根据权利要求3或4所述的在预览界面中显示业务信息的方法,其特征在于,所述标准库中包括参考标准字符,以及其他每个标准字符的第二编码向量与所述参考标准字符的第二编码向量的第一相似度;所述电子设备计算所述第一编码向量与预设的标准库中的至少一个标准字符的第二编码向量的相似度,包括:
所述电子设备计算所述第一编码向量与所述参考标准字符的第二编码向量的第二相似度;
所述电子设备确定与所述第二相似度的差值的绝对值小于或者等于预设阈值的至少一个目标第一相似度;
所述电子设备计算所述第一编码向量分别与所述至少一个目标第一相似度对应的标准字符的第二编码向量的第三相似度;
所述电子设备根据所述相似度确定所述待识别字符对应的标准字符,包括:
所述电子设备根据所述第三相似度确定所述待识别字符对应的标准字符。
6.根据权利要求1-4任一项所述的在预览界面中显示业务信息的方法,其特征在于,所述电子设备在所述第二预览界面上显示所述第一功能选项对应的第一业务信息,包括:
所述电子设备在所述第二预览界面上叠加显示功能界面,所述功能界面中包括所述第一功能选项对应的第一业务信息;或者,
所述电子设备在所述第二预览界面显示的所述预览对象上,通过标记的方式显示所述第一功能选项对应的第一业务信息。
7.根据权利要求1-4任一项所述的在预览界面中显示业务信息的方法,其特征在于,所述第一业务信息包括摘要信息、关键字信息、实体信息、观点信息、分类信息、情感信息、联想信息或品鉴信息。
8.一种电子设备,其特征在于,包括触摸屏、至少一个存储器和至少一个处理器,所述触摸屏、所述至少一个存储器与所述至少一个处理器耦合,其中:
所述触摸屏用于检测用于启动相机应用的第一触摸操作;
所述处理器用于响应于所述第一触摸操作,指令所述触摸屏显示拍摄的第一预览界面;
所处触摸屏还用于根据所述处理器的指令,显示所述第一预览界面,所述第一预览界面中包括慧读模式控件;
所述触摸屏还用于检测针对所述慧读模式控件的第二触摸操作;
所述处理器还用于响应于所述第二触摸操作,指令所述触摸屏显示第二预览界面;
所述触摸屏还用于根据所述处理器的指令,显示所述第二预览界面,所述第二预览界面上分别显示有与所述慧读模式控件对应的p个功能控件和q个功能控件,所述第二预览界面中有预览对象;
其中,所述预览对象包括第一子对象和第二子对象,所述第一子对象为文本类型,所述第二子对象为图像类型,所述p个功能控件与所述第一子对象对应,所述p个功能控件包括摘要、关键字、实体、观点、分类、情感和联想功能控件,所述q个功能控件与所述第二子对象对应,p、q为自然数,且所述p个功能控件与所述q个功能控件不同;
所述触摸屏还用于检测针对所述p个功能控件中的第一功能选项的第三触摸操作;
所述处理器还用于响应于所述第三触摸操作,指令所述触摸屏在所述第二预览界面上显示所述第一功能选项对应的第一业务信息;
所述触摸屏还用于根据所述处理器的指令,显示所述第一业务信息,所述第一业务信息是所述电子设备对所述第二预览界面中的所述第一子对象进行处理后获取的;
所述触摸屏还用于检测针对所述q个功能控件中的第二功能选项的第四触摸操作;
所述处理器还用于响应于所述第四触摸操作,指令所述触摸屏在所述第二预览界面上显示所述第二功能选项对应的第二业务信息;
所述触摸屏还用于根据所述处理器的指令,在所述第二预览界面上显示所述第二功能选项对应的第二业务信息,所述第二业务信息是所述电子设备对所述第二预览界面中的所述第二子对象进行处理后获取的;
所述存储器用于存储所述第一预览界面和所述第二预览界面。
9.根据权利要求8所述的电子设备,其特征在于,所述处理器还用于:
在所述触摸屏在所述第二预览界面上显示所述第一功能选项对应的第一业务信息之前,获取所述预览对象的RAW格式的预览图像;
根据所述预览图像确定所述预览对象中的待识别字符对应的标准字符;
根据所述待识别字符对应的标准字符确定所述第一功能选项对应的第一业务信息。
10.根据权利要求9所述的电子设备,其特征在于,所述处理器具体用于:
对所述预览图像进行二值化处理,以获得包括黑色像素点和白像素点的预览图像;
根据所述预览图像上相邻黑色像素点的位置关系,确定待识别字符包括的至少一个目标黑色像素点;
根据所述目标黑色像素点的坐标进行编码以获得所述待识别字符的第一编码向量;
计算所述第一编码向量与预设的标准库中的至少一个标准字符的第二编码向量的相似度;
根据所述相似度确定所述待识别字符对应的标准字符。
11.根据权利要求10所述的电子设备,其特征在于,所述标准字符的尺寸范围为预设的尺寸范围,所述处理器具体用于:
将所述待识别字符的尺寸范围缩小或放大为所述预设的尺寸范围;
根据缩小或放大后的所述待识别字符中的所述目标黑色像素点的坐标进行编码,以获得所述第一编码向量;或者,
根据所述待识别字符中的所述目标黑色像素点的坐标进行编码以获得第三编码向量;
计算所述预设的尺寸范围与所述待识别字符的尺寸范围的比值Q;
根据所述第三编码向量、所述比值Q以及图像缩小或放大算法,计算所述待识别字符缩小或放大Q倍后对应的所述第一编码向量。
12.根据权利要求10或11所述的电子设备,其特征在于,所述标准库中包括参考标准字符,以及其他每个标准字符的第二编码向量与所述参考标准字符的第二编码向量的第一相似度;所述处理器具体用于:
计算所述第一编码向量与所述参考标准字符的第二编码向量的第二相似度;
确定与所述第二相似度的差值的绝对值小于或者等于预设阈值的至少一个目标第一相似度;
计算所述第一编码向量分别与所述至少一个目标第一相似度对应的标准字符的第二编码向量的第三相似度;
根据所述第三相似度确定所述待识别字符对应的标准字符。
13.根据权利要求8-11任一项所述的电子设备,其特征在于,所述触摸屏具体用于:
根据所述处理器的指令,在所述第二预览界面上叠加显示功能界面,所述功能界面中包括所述第一功能选项对应的第一业务信息;或者,
根据所述处理器的指令,在所述第二预览界面显示的所述预览对象上,通过标记的方式显示所述第一功能选项对应的第一业务信息。
14.根据权利要求8-11任一项所述的电子设备,其特征在于,所述第一业务信息包括摘要信息、关键字信息、实体信息、观点信息、分类信息、情感信息、联想信息或品鉴信息。
15.一种电子设备,其特征在于,包括一个或多个处理器和一个或多个存储器;
所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,所述电子设备执行如权利要求1-7任一项所述的在预览界面中显示业务信息的方法。
16.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-7任一项所述的在预览界面中显示业务信息的方法。
17.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-7任一项所述的在预览界面中显示业务信息的方法。
CN201880080687.0A 2018-07-25 2018-07-25 在预览界面中显示业务信息的方法及电子设备 Active CN111465918B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/097122 WO2020019220A1 (zh) 2018-07-25 2018-07-25 在预览界面中显示业务信息的方法及电子设备

Publications (2)

Publication Number Publication Date
CN111465918A CN111465918A (zh) 2020-07-28
CN111465918B true CN111465918B (zh) 2021-08-31

Family

ID=69181073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880080687.0A Active CN111465918B (zh) 2018-07-25 2018-07-25 在预览界面中显示业务信息的方法及电子设备

Country Status (3)

Country Link
US (1) US20210150214A1 (zh)
CN (1) CN111465918B (zh)
WO (1) WO2020019220A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11531748B2 (en) * 2019-01-11 2022-12-20 Beijing Jingdong Shangke Information Technology Co., Ltd. Method and system for autonomous malware analysis
KR20200100918A (ko) 2019-02-19 2020-08-27 삼성전자주식회사 카메라를 이용하는 어플리케이션을 통해 다양한 기능을 제공하는 전자 장치 및 그의 동작 방법
CN111597906B (zh) * 2020-04-21 2023-12-19 云知声智能科技股份有限公司 一种结合文字信息的快速绘本识别方法及系统
CN111832220A (zh) * 2020-06-16 2020-10-27 天津大学 一种基于编解码器模型的锂离子电池健康状态估算方法
CN114510176B (zh) * 2021-08-03 2022-11-08 荣耀终端有限公司 终端设备的桌面管理方法和终端设备
CN113676673B (zh) * 2021-08-10 2023-06-16 广州极飞科技股份有限公司 图像采集方法、图像采集系统及无人设备
CN115035360B (zh) * 2021-11-22 2023-04-07 荣耀终端有限公司 图像的文字识别方法、电子设备及存储介质
CN116055856B (zh) * 2022-05-30 2023-12-19 荣耀终端有限公司 相机界面显示方法、电子设备和计算机可读存储介质
CN116434250B (zh) * 2023-06-13 2023-08-25 深圳宏途教育网络科技有限公司 一种手写字符图像相似度确定模型训练方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103677618A (zh) * 2012-08-28 2014-03-26 三星电子株式会社 用于终端的文本识别设备和方法
CN107124553A (zh) * 2017-05-27 2017-09-01 珠海市魅族科技有限公司 拍摄控制方法及装置、计算机装置和可读存储介质
CN108305296A (zh) * 2017-08-30 2018-07-20 深圳市腾讯计算机系统有限公司 图像描述生成方法、模型训练方法、设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100042399A1 (en) * 2008-08-12 2010-02-18 David Park Transviewfinder
JP6116167B2 (ja) * 2012-09-14 2017-04-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN103838508A (zh) * 2014-01-03 2014-06-04 浙江宇天科技股份有限公司 控制智能终端界面显示的方法及其装置
KR20160128119A (ko) * 2015-04-28 2016-11-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CN107943799B (zh) * 2017-11-28 2021-05-21 上海量明科技发展有限公司 获得注解的方法、终端及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103677618A (zh) * 2012-08-28 2014-03-26 三星电子株式会社 用于终端的文本识别设备和方法
CN107124553A (zh) * 2017-05-27 2017-09-01 珠海市魅族科技有限公司 拍摄控制方法及装置、计算机装置和可读存储介质
CN108305296A (zh) * 2017-08-30 2018-07-20 深圳市腾讯计算机系统有限公司 图像描述生成方法、模型训练方法、设备和存储介质

Also Published As

Publication number Publication date
WO2020019220A1 (zh) 2020-01-30
CN111465918A (zh) 2020-07-28
US20210150214A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
CN111465918B (zh) 在预览界面中显示业务信息的方法及电子设备
CN110286976B (zh) 界面显示方法、装置、终端及存储介质
US11847314B2 (en) Machine translation method and electronic device
US20210382941A1 (en) Video File Processing Method and Electronic Device
CN110377204B (zh) 一种生成用户头像的方法及电子设备
WO2021258797A1 (zh) 图像信息输入方法、电子设备及计算机可读存储介质
CN112269853B (zh) 检索处理方法、装置及存储介质
US20190228031A1 (en) Graphical image retrieval based on emotional state of a user of a computing device
US20220343648A1 (en) Image selection method and electronic device
WO2021190078A1 (zh) 短视频的生成方法、装置、相关设备及介质
CN112130714B (zh) 可进行学习的关键词搜索方法和电子设备
CN112214636A (zh) 音频文件的推荐方法、装置、电子设备以及可读存储介质
US20230367464A1 (en) Multi-Application Interaction Method
CN111970401A (zh) 一种通话内容处理方法和电子设备
CN113852714A (zh) 一种用于电子设备的交互方法和电子设备
KR20150117043A (ko) 미디어 컨텐츠를 선별하는 방법 및 이를 구현하는 전자장치
US10915778B2 (en) User interface framework for multi-selection and operation of non-consecutive segmented information
WO2022211509A1 (ko) 컨텐츠 입력에 기초하여 스티커를 제공하는 전자 장치 및 방법
CN108255917B (zh) 图像管理方法、设备及电子设备
US20210224310A1 (en) Electronic device and story generation method thereof
CN113497835B (zh) 多屏交互方法、电子设备及计算机可读存储介质
CN116861066A (zh) 应用推荐方法和电子设备
CN110929122B (zh) 一种数据处理方法、装置和用于数据处理的装置
WO2023246666A1 (zh) 一种搜索方法及电子设备
WO2024051730A1 (zh) 跨模态检索方法、装置、设备、存储介质及计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant