CN114296842A - 显示设备和滚动文本检测方法 - Google Patents
显示设备和滚动文本检测方法 Download PDFInfo
- Publication number
- CN114296842A CN114296842A CN202110843767.0A CN202110843767A CN114296842A CN 114296842 A CN114296842 A CN 114296842A CN 202110843767 A CN202110843767 A CN 202110843767A CN 114296842 A CN114296842 A CN 114296842A
- Authority
- CN
- China
- Prior art keywords
- text
- screenshot
- period
- user interface
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 238000005096 rolling process Methods 0.000 claims abstract description 82
- 238000012545 processing Methods 0.000 claims description 20
- 230000003068 static effect Effects 0.000 claims description 16
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 17
- 239000010410 layer Substances 0.000 description 24
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012015 optical character recognition Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种显示设备和滚动文本检测方法,根据用户界面的界面信息获取滚动文本区域的位置信息。再确定用户界面的截图周期,并根据截图周期对用户界面进行截图操作,得到多个截图图像。基于滚动文本区域的位置信息在多个截图图像中获取多个滚动文字信息,并根据多个滚动文字信息确定滚动文本。本申请可以获取到滚动文本区域的位置,并根据截图周期对用户界面多次截图,从而得到滚动文本区域的滚动文字信息,滚动文字信息包括滚动文本中的所有滚动文字,再根据滚动文字信息可以得到完整的滚动文本,从而提高了用户的体验性。
Description
技术领域
本申请涉及显示设备技术领域,尤其涉及一种显示设备和滚动文本检测方法。
背景技术
显示设备是指能够输出具体显示画面的终端设备,如智能电视、移动终端、智能广告屏、投影仪等。随着显示设备的快速发展,显示设备的功能将越来越丰富,性能也越来越强大,可实现双向人机交互功能,集影音、娱乐、数据等多种功能于一体,用于满足用户多样化和个性化需求。
随着用户对显示设备所能提供功能或服务的要求也越来越高,图像识别也逐渐成为用户经常使用的一个功能,可以对显示器中显示的界面内容进行识别并提供给用户。对于一些显示设备,在进行图像识别时,可以对显示器当前显示的界面进行截图,并对截图进行文字识别,从而得到该画面对应的文字信息。
然而,当显示器当前显示的界面中存在滚动文本区域时,截图中只包含当前显示的滚动文字,即滚动文本区域中部分滚动本文。因此,只能识别到部分滚动本文,而无法获取到完整的滚动文本信息,导致用户的体验性较差。
发明内容
本发明提供了一种显示设备和滚动文本检测方法。以解决相关技术中,无法获取到完整的滚动文本信息,导致用户体验性较差的问题。
第一方面,本申请提供一种显示设备。显示设备包括显示器和控制器。其中,显示器被配置为显示用户界面;控制器,被配置为执行如下步骤:
根据用户界面的界面信息,获取滚动文本区域的位置信息;所述滚动文本区域为用户界面中滚动文本所在的区域;确定用户界面的截图周期,并根据所述截图周期对用户界面进行截图操作,得到多个截图图像;基于所述滚动文本区域的位置信息,在多个所述截图图像中获取多个滚动文字信息,并根据多个所述滚动文字信息确定滚动文本。
在一些实现方式中,所述控制器进一步被配置为:在执行获取滚动文本区域的位置信息的步骤中,
获取用户界面的界面信息,并对所述界面信息进行检测;当检测到所述界面信息中包含所述滚动文本区域的位置信息时,执行确定用户界面的截图周期的步骤。
在一些实现方式中,当检测到所述界面信息中不包含所述滚动文本区域的位置信息时,判断所述界面信息中是否包含媒资区域的位置信息;当所述界面信息中包含媒资区域的位置信息时,基于预设周期对用户界面进行截图操作,得到第一截图图像和第二截图图像;分别对所述第一截图图像和所述第二截图图像进行文字识别处理,得到第一识别信息和第二识别信息,识别信息包括识别文本及识别文本的位置信息;根据所述第一识别信息和所述第二识别信息获取所述滚动文本区域的位置信息。
在一些实现方式中,所述控制器进一步被配置为:在执行根据所述第一识别信息和所述第二识别信息获取所述滚动文本区域的位置信息的步骤中,
根据所述媒资区域的位置信息确定所述媒资区域的识别文本以及文本区域的识别文本,文本区域包括静态文本区域和滚动文本区域;将所述第一识别信息和所述第二识别信息中,文本区域的识别文本进行对比,确定静态文本区域以及滚动文本区域;其中,识别文本发生变化的区域为滚动文本区域;根据识别文本的位置信息确定所述滚动文本区域的位置信息。
在一些实现方式中,所述控制器进一步被配置为:在执行确定用户界面的截图周期的步骤中,
当检测到用户界面中所有的滚动文本区域的滚动速度相同时,获取第一截图周期和第二截图周期;所述第一截图周期为用户界面的最大截图周期,所述第二截图周期为用户界面的最小截图周期;在第一截图周期和第二截图周期的范围区间内选取一个周期值,并作为用户界面的截图周期。
在一些实现方式中,所述控制器进一步被配置为:在执行获取第一截图周期和第二截图周期的步骤中,
确定所述第一识别信息中所述滚动文本区域的第一识别文本以及所述第二识别信息中所述滚动文本区域的第二识别文本;计算第一文字数量和预设的数量阈值的第一差值,所述第一文字数量为所述第一识别文本的文字数量;计算所述第一文字数量和第二文字数量的第二差值,所述第二文字数量为所述第一识别文本和所述第二识别文本中重复出现的连续文本的文字数量;计算所述第一差值和所述第二差值的第一比值,并计算所述第一比值和所述预设周期的乘积,将所述乘积作为第一截图周期;计算所述预设周期和所述第二差值的第二比值,并将所述第二比值作为第二截图周期。
在一些实现方式中,所述控制器进一步被配置为:在执行确定用户界面的截图周期的步骤中,
当检测到用户界面中所有的滚动文本区域的滚动速度不同时,获取所有的滚动文本区域的第二截图周期;将所有的滚动文本区域的第二截图周期中数值最小的第二截图周期作为用户界面的截图周期。
在一些实现方式中,所述控制器进一步被配置为:在执行确定用户界面的截图周期的步骤中,
当检测到用户界面中所有的滚动文本区域的滚动速度不同时,获取所有的滚动文本区域的第一截图周期和第二截图周期;确定所有的滚动文本区域的第一截图周期中数值最小的第一截图周期,并作为第三截图周期;确定所有的滚动文本区域的第二截图周期中数值最大的第二截图周期,并作为第四截图周期;当检测到所述第三截图周期大于所述第四截图周期时,将所述第四截图周期作为用户界面的截图周期;当检测到所述第三截图周期小于所述第四截图周期时,确定所述第三截图周期和所述第四截图周期之间的范围区间,并在范围区间内选取一个周期值作为用户界面的截图周期。
在一些实现方式中,所述控制器进一步被配置为:
根据所述滚动文本区域的位置信息对多个所述截图图像进行截取,得到多个滚动文本图像;对多个所述滚动文本图像进行文字识别处理,得到多个滚动文字信息;根据多个所述滚动文字信息确定滚动文本。
在一些实现方式中,所述控制器进一步被配置为:
当检测到用户界面中所有的滚动文本区域的滚动速度不同时,按照时间顺序对多个所述截图图像排序,得到截图图像序列;按照每个滚动文本区域的预设识别频率在所述截图图像序列中选取截图图像,作为每个滚动文本区域的识别图像;根据每个滚动文本区域的位置信息对所述识别图像进行截取,得到每个滚动文本区域的滚动文本图像;对所述滚动文本图像进行文字识别处理,得到每个滚动文本区域的滚动文字信息;根据每个滚动文本区域的滚动文字信息确定每个滚动文本区域的滚动文本。
第二方面,本申请提供一种滚动文本检测方法,应用于显示设备,包括:
根据用户界面的界面信息,获取滚动文本区域的位置信息;所述滚动文本区域为用户界面中滚动文本所在的区域;确定用户界面的截图周期,并根据所述截图周期对用户界面进行截图操作,得到多个截图图像;基于所述滚动文本区域的位置信息,在多个所述截图图像中获取多个滚动文字信息,并根据多个所述滚动文字信息确定滚动文本。
由以上技术方案可以看出,本申请提供了一种显示设备和滚动文本检测方法,根据用户界面的界面信息获取滚动文本区域的位置信息。再确定用户界面的截图周期,并根据截图周期对用户界面进行截图操作,得到多个截图图像。基于滚动文本区域的位置信息在多个截图图像中获取多个滚动文字信息,并根据多个滚动文字信息确定滚动文本。本申请可以获取到滚动文本区域的位置,并根据截图周期对用户界面多次截图,从而得到滚动文本区域的滚动文字信息,滚动文字信息包括滚动文本中的所有滚动文字,再根据滚动文字信息可以得到完整的滚动文本,从而提高了用户的体验性。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据一些实施例的显示设备的使用场景;
图2示出了根据一些实施例的控制装置100的硬件配置框图;
图3示出了根据一些实施例的显示设备200的硬件配置框图;
图4示出了根据一些实施例的显示设备200中软件配置图;
图5示出了一些实施例中用户界面的示意图;
图6示出了一些实施例中用户界面中展示滚动文本的示意图;
图7示出了一可行性实施例中显示器中显示滚动文本检测模式确认信息的示意图;
图8示出了一些实施例中显示设备各部件的交互流程图;
图9示出了一些实施例中获取滚动文本区域的位置信息的流程示意图;
图10a示出了一些实施例中在第一时刻下用户界面的示意图;
图10b示出了一些实施例中在第二时刻下用户界面的示意图;
图11示出了一些实施例中两张截图图像对应的识别文本的示意图;
图12示出了一些实施例中多个滚动文字信息的示意图;
图13示出了一些实施例中显示器显示滚动文本信息的示意图;
图14示出了滚动文本检测方法的一个实施例的流程示意图。
具体实施方式
为使本申请的目的和实施方式更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
图1为根据实施例中显示设备的使用场景的示意图。如图1所示,显示设备200还与服务器400进行数据通信,用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式中的至少一种,通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令,来控制显示设备200。
在一些实施例中,智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑,AR/VR设备等中的任意一种。
在一些实施例中,也可以使用智能设备300以控制显示设备200。例如,使用在智能设备上运行的摄像头应用控制显示设备200。
在一些实施例中,也可以使用智能设备300和显示设备进行数据的通信。
在一些实施例中,显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制,例如,可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制,也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
在一些实施例中,显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。
在一些实施例中,一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的,服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行,反之亦然。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。
在一些实施例中,通信接口130用于和外部通信,包含WIFI芯片,蓝牙模块,NFC或可替代模块中的至少一种。
在一些实施例中,用户输入/输出接口140包含麦克风,触摸板,传感器,按键或可替代模块中的至少一种。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中,显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括中央处理器,视频处理器,音频处理器,图形处理器,RAM,ROM,用于输入/输出的第一接口至第n接口。
在一些实施例中,显示器260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。
在一些实施例中,显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。
在一些实施例中,调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及EPG数据信号。
在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中,检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。
在一些实施例中,外部装置接口240可以包括但不限于如下:高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器260上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中,所述对象可以是可选对象中的任何一个,例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit,CPU),视频处理器,音频处理器,图形处理器(Graphics Processing Unit,GPU),RAM Random AccessMemory,RAM),ROM(Read-Only Memory,ROM),用于输入/输出的第一接口至第n接口,通信总线(Bus)等中的至少一种。
CPU处理器。用于执行存储在存储器中操作系统和摄像头应用指令,以及根据接收外部输入的各种交互指令,来执行各种摄像头应用、数据和内容,以便最终显示和播放各种音视频内容。CPU处理器,可以包括多个处理器。如,包括一个主处理器以及一个或多个子处理器。
在一些实施例中,图形处理器,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象;还包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示器上。
在一些实施例中,视频处理器,用于将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种,可得到直接可显示设备200上显示或播放的信号。
在一些实施例中,视频处理器,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中,解复用模块,用于对输入音视频数据流进行解复用处理。视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩放处理等。图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。帧率转换模块,用于对转换输入视频帧率。显示格式化模块,用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。
在一些实施例中,音频处理器,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理中的至少一种,得到可以在扬声器中播放的声音信号。
在一些实施例中,用户可在显示器260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
在一些实施例中,“用户界面”,是摄像头应用或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
在一些实施例中,用户接口280,为可用于接收控制输入的接口(如:显示设备本体上的实体按键,或其他等)。
在一些实施例中,显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和摄像头应用。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等,运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后,再加载Shell和用户摄像头应用。摄像头应用在启动后被编译成机器码,形成一个进程。
参见图4,在一些实施例中,将系统分为四层,从上至下分别为摄像头应用(Applications)层(简称“应用层”),摄像头应用框架(Application Framework)层(简称“框架层”),安卓运行时(Android runtime)和系统库层(简称“系统运行库层”),以及内核层。
在一些实施例中,摄像头应用层中运行有至少一个摄像头应用,这些摄像头应用可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等;也可以是第三方开发者所开发的摄像头应用。在具体实施时,摄像头应用层中的摄像头应用包不限于以上举例。
框架层为摄像头应用层的摄像头应用提供应用编程接口(applicationprogramming interface,API)和编程框架。摄像头应用框架层包括一些预先定义的函数。摄像头应用框架层相当于一个处理中心,这个中心决定让应用层中的摄像头应用做出动作。摄像头应用通过API接口,可在执行中访问系统中的资源和取得系统的服务。
如图4所示,本申请实施例中摄像头应用框架层包括管理器(Managers),内容提供者(Content Provider)等,其中管理器包括以下模块中的至少一个:活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互;位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(Package Manager)用于检索当前安装在设备上的摄像头应用包相关的各种信息;通知管理器(NotificationManager)用于控制通知消息的显示和清除;窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中,活动管理器用于管理各个摄像头应用的生命周期以及通常的导航回退功能,比如控制摄像头应用的退出、打开、后退等。窗口管理器用于管理所有的窗口程序,比如获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕,控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中,系统运行库层为上层即框架层提供支撑,当框架层被使用时,安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中,内核层是硬件和软件之间的层。如图4所示,内核层至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。
当显示器当前显示的界面中存在滚动文本区域时,截图中只包含当前显示的滚动文字,即滚动文本区域中部分滚动本文。因此,只能识别到部分滚动本文,而无法获取到完整的滚动文本信息,导致用户的体验性较差。
本申请提供一种显示设备,包括显示器和控制器。其中,显示器用于显示用户界面。用户界面为显示器中当前显示的画面内容。用户界面中可以是具体的目标图像,例如从网络信号源中获取到的各种媒资,包括视频、图片等内容。用户界面也可以是显示设备的一些UI界面。
图5示出了一些实施例中用户界面的示意图。用户界面包括第一导航栏500、第二导航栏510、功能栏520和内容显示区530,功能栏520包括多个功能控件如“观看记录”、“我的收藏”和“我的应用”等。其中,内容显示区530中显示的内容会随第一导航栏500和第二导航栏510中被选中控件的变化而变化。在应用面板页面时,用户可以通过点击“我的应用”控件,以输入针对应用面板页面的显示指令,来触发进入对应的应用面板。需要说明的是,用户也可以通过其他方式来输入对功能控件的选中操作,以触发进入应用面板。例如,利用语音控制功能或者搜索功能等,控制进入到应用面板页面。
显示器中显示的用户界面可以包括媒资区域以及文本区域。其中,媒资区域用于展示具体的媒资,例如电视剧、电影一类的视频或者一些图片。文本区域则是具体的文字信息,例如各种控件的名称等。用户界面中可以设置有多个文本区域,每个文本区域均可以展示一段预设的文本。
对于每个文本区域来说,其区域范围是固定的,每个文本区域存在一个文字数量阈值,即该文本区域可以同时显示文字的最大数量。当文本区域中需要展示一条文本,但该文本的文字数量超过该区域的文字数量阈值时,无法将这些文字同时显示在该文本区域中。此时可以将该文本设置为滚动文本,并在文本区域中滚动播放该文本,从而实现对滚动文本中所有的文字全部进行展示。
因此,文本区域从类型上可以整体划分为静态文本区域以及滚动文本区域。具体的,用户界面中可以包括多个静态文本区域以及多个滚动文本区域。图6示出了一些实施例中用户界面中展示滚动文本的示意图。
在一些实施例中,显示设备具有滚动文本检测功能,可以检测用户界面中的滚动文本。显示设备可以设置有滚动文本检测模式。在滚动文本检测模式下,显示设备可以自动对用户界面的滚动文本区域进行检测,从而获取到用户界面中所有的滚动文本。
在一些实施例中,用户可以通过操作遥控器的指定按键,向显示设备发送滚动文本检测模式指令。在实际应用的过程中预先绑定滚动文本检测模式指令与遥控器按键之间的对应关系。例如,在遥控器上设置一个滚动文本检测模式按键,当用户触控该按键时,遥控器发送滚动文本检测模式指令至控制器,此时控制器控制显示设备进入滚动文本检测模式。当用户再次触控该按键时,控制器可以控制显示设备退出滚动文本检测模式。
在一些实施例中,也可以预先绑定滚动文本检测模式指令与多个遥控器按键之间的对应关系,当用户触控与滚动文本检测模式指令绑定的多个按键时,遥控器发出滚动文本检测模式指令。在一可行性实施例中,滚动文本检测模式指令绑定的按键依次为方向键(左、下、左、下),即当用户在预设时间内连续触控按键(左、下、左、下)的情况下,遥控器才发送滚动文本检测模式指令至控制器。采用上述绑定方法,可以避免滚动文本检测模式指令由于用户的误操作而发出。本申请实施例仅是示例性的提供几种滚动文本检测模式指令与按键之间的绑定关系,在实际应用的过程中可以根据用户的习惯设定滚动文本检测模式指令与按键之间的绑定关系,在此不做过多的限定。
在一些实施例中,用户可以使用显示设备的声音采集器,例如麦克风,通过语音输入的方式,向显示设备发送滚动文本检测模式指令,以控制显示设备进入滚动文本检测模式。显示设备中可以设置有智能语音系统,智能语音系统可以对用户的语音进行识别,以提取用户输入的指令内容。用户可以通过麦克风输入预设的唤醒词,从而启动智能语音系统,从而控制器可以对用户输入的指令做出响应。并在一定时间内输入滚动文本检测模式指令,使得显示设备进入滚动文本检测模式。例如,用户可以输入“某某同学”,以启动智能语音系统。再输入“进入滚动文本检测模式”,实现向显示设备发送滚动文本检测模式指令。
在一些实施例中,用户还可以通过预设的手势向显示设备发送滚动文本检测模式指令。显示设备可以通过图像采集器,例如摄像头,检测用户的行为。当用户做出预设的手势时,可以认为用户向显示设备发送了滚动文本检测模式指令。例如,可以设置为:当检测到用户划出V字时,判定为用户向显示设备输入了滚动文本检测模式指令。用户还可以通过预设的动作向显示设备发送滚动文本检测模式指令。例如,可以设置为:当检测到用户同时抬起左脚和右手时,判定为用户向显示设备输入了滚动文本检测模式指令。
在一些实施例中,当用户使用智能设备控制显示设备时,例如使用手机时,也可以向显示设备发送滚动文本检测模式指令。在实际应用的过程中可以在手机中设置一个控件,可以通过该控件选择是否进入滚动文本检测模式,从而发送滚动文本检测模式指令至控制器,此时控制器可以控制显示设备进入滚动文本检测模式。
在一些实施例中,当用户使用手机控制显示设备时,可以对手机发出连续点击指令。连续点击指令指的是:在预设的周期内,用户对手机触摸屏的同一区域进行点击的次数超过预设阈值。例如:当用户在1s内对手机触摸屏的某个区域连续点击3次,则视为一次连续点击指令。手机接收到连续点击指令后,可以向显示设备发送滚动文本检测模式指令,以使控制器控制显示设备进入滚动文本检测模式。
在一些实施例中,当用户使用手机控制显示设备时,也可以设置为:当检测到用户对手机触摸屏的某一区域的触控压力值超过预设的压力阈值时,手机可以向显示设备发送滚动文本检测模式指令。
还可以在显示设备的UI界面中设置滚动文本检测模式选项,当用户点击该选项时,可以控制显示设备进入或退出滚动文本检测模式。
在一些实施例中,为防止用户误触发滚动文本检测模式,当控制器接收到滚动文本检测模式指令时,可以控制显示器显示滚动文本检测模式确认信息,从而使得用户进行二次确认,是否要控制显示设备进入滚动文本检测模式。图7示出了一可行性实施例中显示器中显示滚动文本检测模式确认信息的示意图。
当显示设备进入滚动文本检测模式时,可以自动对用户界面的滚动文本区域进行检测,从而获取到用户界面中所有的滚动文本。
图8示出了一些实施例中显示设备各部件的交互流程图。
在一些实施例中,当显示设备进入滚动文本检测模式时,可以检测滚动文本。控制器可以先获取用户界面的界面信息,可以是获取当前用户页面的XML(可扩展标记语言)信息。进一步的,可以根据用户界面的界面信息获取滚动文本区域的位置信息。
其中,XML信息中可以包括用户界面中每个区域的相关信息。例如,对于媒资区域,XML信息中可以包括媒资区域的位置信息;对于滚动文本区域,XML信息中可以包括滚动文本区域的文字滚动速度以及位置信息。
需要说明的是,当显示器中显示的用户界面不同时,对应的XML信息也不同。然而,获取到的XML信息中有可能包括滚动文本区域的位置信息,有可能不包括滚动文本区域的位置信息。因此,在获取滚动文本区域的位置信息时,首先可以对用户界面的XML信息进行检测,并判断XML信息中是否包括了滚动文本区域的位置信息。
当检测到XML信息中包含滚动文本区域的位置信息时,则不需要进行额外的操作,直接对滚动文本区域的位置信息进行提取即可。
当没有检测到XML信息中包含滚动文本区域的位置信息时,控制器需要获取滚动文本区域的位置信息。
在一些实施例中,控制器在获取滚动文本区域的位置信息时,首先可以检测XML信息中是否包含媒资区域的位置信息。
需要说明的是,和滚动文本区域的位置信息相同,当显示器中显示的用户界面不同时,获取到的XML信息中有可能包括媒资区域的位置信息,有可能不包括媒资区域的位置信息。
其中,XML信息中不包括媒资区域的位置信息的概率极低,因此本申请实施例对这种情况不予考虑,不针对这种情况进行后续处理。
图9示出了一些实施例中获取滚动文本区域的位置信息的流程示意图。
当检测到XML信息中包含媒资区域的位置信息时,控制器可以基于预设周期T对用户界面进行两次截图操作,得到第一截图图像P1和第二截图图像P2。其中,第一截图图像和第二截图图像为两个时刻下用户界面的两张截图图像。
其中,预设周期T可以由技术人员自行设定,例如,由滚动文本检测功能相关算法的开发者设定。需要说明的是,在预设周期前后的两个时刻下,每个滚动文本区域中的内容是不同的,即第一截图图像P1和第二截图图像P2中的同一个滚动文本区域中的内容不同,从而可以确定出所有的滚动文本区域。根据用户界面的场景不同,预设周期的具体数值也会不同。
可以预先确定每个滚动文本区域的滚动周期,滚动周期指的是滚动文本区域完整滚动播放一次所需要的时间。预设周期T需要和所有滚动文本区域的滚动周期均不相同,从而保证所有的滚动文本区域均可以被识别出来。
在一些实施例中,在获取到两张截图图像后,可以分别对这两张截图图像进行文字识别处理。
可以是对截图图像进行OCR(Optical Character Recognition,光学字符识别)处理。例如,利用OCR文字模型分别对第一截图图像和第二截图图像进行识别处理,可以得到第一识别信息和第二识别信息。也可以采用其他的文字识别技术对截图图像进行处理,本申请实施例中示例性地以OCR技术进行说明,但不做具体的限定。
对于一张截图图像来说,OCR识别后得到的识别信息中可以包括以下内容:具体的识别文本以及识别文本的位置信息。其中,识别文本即为当前截图图像中,每个区域中同时显示的所有文字。识别文本的位置信息即为识别文本在截图图像中的位置信息,可以是识别文本的坐标信息。需要说明的是,识别文本的位置信息也是识别文本对应的区域的位置信息。
当确定了两张截图图像的识别信息后,可以进一步确定滚动文本区域的位置信息。
在一些实施例中,在根据两张截图图像的识别信息确定滚动文本区域的位置信息时,可以先确认用户界面的哪些区域是滚动文本区域。
由于用户界面存在媒资区域、静态文本区域和滚动文本区域。为准确识别出滚动文本,需要先确定滚动文本区域,再对滚动文本区域进行识别,从而得到滚动文本。
其中,媒资区域根据媒资区域的位置信息即可确定。
在截图图像的识别信息中,可以包括三种识别文本:媒资区域的识别文本、静态文本区域的识别文本以及滚动文本区域的识别文本。
其中,根据媒资区域的位置信息对所有的识别文本进行匹配,可以得到媒资区域的识别文本。此时,可以将媒资区域的识别文本从截图图像的识别信息中删除。剩下的识别文本即为文本区域的识别文本,即静态文本区域的识别文本以及滚动文本区域的识别文本。但此时还无法区分这两种类型的识别文本。
在一些实施例中,控制器可以对两种文本区域的识别文本进行区分。具体的,对于同一个文本区域A,得到了该区域的在两个时刻下的识别文本。其中,第一截图图像的识别信息中包括文本区域A在第一时刻下的识别文本,第二截图图像的识别信息中包括文本区域A在第二时刻下的识别文本,即预设周期对应的两个时刻下的两个识别文本。
对于静态文本区域来说,其内部显示的静态文本不会改变,在不同时刻下都会显示出完整的静态文本。因此静态文本区域对应的两个识别文本应该具有相同的内容。
对于滚动文本区域来说,由于其内部显示的文本是滚动的,随着时间的改变,显示的具体文字信息也会改变。因此滚动文本区域对应的两个识别文本应该具有不同的内容。
因此,控制器可以将第一识别信息和第二识别信息进行对比。具体的,可以将两张截图图像对应的同一个文本区域的两个识别文本进行对比。如果同一个文本区域的两个识别文本是相同的,则该文本区域为静态文本区域。如果同一个文本区域的两个识别文本是不同的,发生了变化,则该文本区域为滚动文本区域。
图10a示出了一些实施例中在第一时刻下用户界面的示意图。其中,用户界面包括媒资区域和三个文本区域。对第一时刻下用户界面进行截图,得到第一截图图像P1。再对第一截图图像进行文字识别,可以得到媒资区域的识别文本,文本区域1的识别文本为“新用户开通钻石”,文本区域2的识别文本为“请点击此处进入全屏模式”,文本区域3的识别文本为“如需观看更多影片”。
图10b示出了一些实施例中在第二时刻下用户界面的示意图。其中,第一时刻和第二时刻相差预设周期T。用户界面包括媒资区域和三个文本区域。对第二时刻下用户界面进行截图,得到第二截图图像P2。再对第二截图图像进行文字识别,可以得到媒资区域的识别文本,文本区域1的识别文本为“VIP连续包月服务”,文本区域2的识别文本为“请点击此处进入全屏模式”,文本区域3的识别文本为“更多影片,请点击”。
通过对两张截图图像进行对比,可以确定滚动文本区域。其中,媒资区域的识别文本不予考虑。文本区域1和文本区域3对应的两个识别文本是不同的,因此文本区域1和文本区域3均为滚动文本区域。文本区域2对应的两个识别文本是相同的,因此文本区域2为静态文本区域。
在确定了所有的滚动文本区域后,可以在两张截图图像的识别信息中获取到这些滚动文本区域的位置信息。具体的,对于每个滚动文本区域,其识别文本在截图图像中的位置信息即为该滚动文本区域的位置信息,即滚动文本区域位于用户界面中的位置信息。
在一些实施例中,当确定好滚动文本区域的位置信息后,可以获取滚动文本区域中的滚动文本。
需要说明的是,每张截图图像中只能显示出滚动文本的部分文本,即滚动文本的一部分滚动文字。因此可以对用户界面进行多次截图操作,从而得到多个截图图像。通过获取多个截图图像中滚动文本对应的部分文本,并进一步对所有的部分文本进行分析,可以得到完整的滚动文本。
在一些实施例中,为了保证能够获取到滚动文本中所有的滚动文字,需要设定一个较为合适的截图周期,即需要确定用户界面的截图周期。
在一些实施例中,如果用户界面中只存在一个滚动文本区域,或者,用户界面中存在多个滚动文本区域,但所有的滚动文本区域的滚动速度相同时。可以先确定用户界面的截图周期的范围区间。
其中,为了保证截图时得到的滚动文字不会遗漏,可以确定一个最大截图周期,设定为第一截图周期。同时,为了保证截图时得到的滚动文字不会完全相同,还可以确定一个最小截图周期,设定为第二截图周期。
在第一截图周期和第二截图周期的范围区间内,可以选取其中任意一个周期值,并将该周期值作为用户界面的截图周期,从而确保对滚动文本识别时的准确性。
在一些实施例中,可以采用如下方法确定第一截图周期。
具体的,可以利用如下公式计算第一截图周期:
其中:
T1表示第一截图周期;
T表示预设的截图周期,N表示第一文字数量,NC表示第二文字数量,Y为预设的数量阈值。
具体的,第一文字数量是指识别文本的文字数量,即滚动文本区域中同时能够显示的文字数量。第二文字数量是指在第一截图图像P1和第二截图图像P2中的滚动文本区域内,两个识别文本中重复出现的连续文本的文字数量。
其中,第一文字数量可以根据第一截图图像P1或第二截图图像P2的识别信息确认。在获取第二文字数量时,可以先确定第一截图图像P1的滚动文本区域的第一识别文本,以及第二截图图像P2的滚动文本区域的第二识别文本。判断第一识别文本和第二识别文本中重复出现的连续文本的文字数量,作为第二文字数量。
图11示出了一些实施例中两张截图图像对应的识别文本的示意图。假设滚动文本为“这是一段测试文本文本在屏幕上一次只能显示6个字”,滚动文本区域中最多可以显示6个字。其中,第一截图图像P1中对应的第一识别文本为“这是一段测试”,第二截图图像P2中对应的第二识别文本为“段测试文本文”。因此可以确定,第一文字数量为滚动文本区域中最多可以显示的文字数量,即为6。第一识别文本和第二识别文本中重复出现的连续文本为“段测试”,因此第二文字数量为3。
需要说明的是,预设的数量阈值Y是用户设定的一个阈值。该数量阈值表示前后两张截图图像的滚动文本区域的识别文本中,允许重复出现的连续文本的文字数量的最小值。为了保证能够识别出滚动文本中所有的滚动文字,需要前后两张截图图像中,滚动文本区域的识别文本中存在重复出现的连续文本。例如,以图11中的文本为例,如果识别文本是“这是一段测试”和“段测试文本文”,则“段测试”为重复出现的连续文本,相当于两个识别文本的连接词,因此可以确定当前已经滚动出现过的所有文本为“这是一段测试文本文”。如果识别文本是“这是一段测试”和“文本在屏幕上”,此时没有重复出现的连续文本,无法确定当前已经滚动出现过的所有文本。
因此,通过设置一个数量阈值可以防止在截图时,出现遗漏了滚动文本的部分文字的情况。
需要说明的是,如果设定数量阈值为1,则前后两个识别文本只需要有一个字重复出现即可,但一句话中可能多次出现同一个字,因此设定数量阈值为1是不准确的,即数量阈值需要为大于1的整数,可以设定为2。考虑到识别的准确性,也可以将数量阈值设置为3或其他整数,本实施例中不做限定。
在一些实施例中,可以采用如下方法确定第二截图周期T2。
具体的,可以利用如下公式计算第二截图周期:
在确定了第一截图周期和第二截图周期后,确定第一截图周期和第二截图周期的范围区间,该范围区间内所有的指均可以满足对用户界面进行截图的条件,不会遗漏某个滚动文本区域中的文字信息。
因此可以在范围区间内选取任意一个周期值,并将该周期值作为用户界面的截图周期。
在一些实施例中,当用户界面中存在多个滚动文本区域,并且所有的滚动文本区域的滚动速度都不是全部相同时,需要综合考虑所有的滚动文本区域,防止在对用户界面截图时,遗漏了某个滚动文本区域中的一些文字。
此时,控制器可以获取所有滚动文本区域的第二截图周期,同时将所有的第二截图周期中数值最小的第二截图周期作为用户界面的截图周期。该周期的数值较小,因此会较快的对用户界面进行截图处理,可以避免遗漏某个滚动文本区域中的文字。
在一些实施例中,还可以确定所有的滚动文本区域满足截图条件时共同的范围。
具体的,可以获取所有滚动文本区域的第一截图周期和第二截图周期,从而得到所有滚动文本区域对应的截图周期的范围区间。
通过对所有的范围区间进行取交集的处理,可以得到共同的范围区间。
在进行取交集处理时,可以确定所有滚动文本区域的第一截图周期中数值最小的第一截图周期,本实施例中设定为第三截图周期。
还可以确定所有滚动文本区域的第二截图周期中数值最大的第二截图周期,本实施例中设定为第四截图周期。
对第三截图周期和第四截图周期进行检测,如果第三截图周期大于第四截图周期,说明不存在交集,此时控制器可以将第四截图周期直接作为用户界面的截图周期。
如果第三截图周期小于第四截图周期,说明存在交集。因此可以确定第三截图周期和第四截图周期之间的范围区间,即获取到的交集。此时可以在该范围区间内选取一个周期值作为用户界面的截图周期。
在一些实施例中,当确定用户界面的截图周期后,可以根据截图周期对用户界面进行截图操作,得到多个截图图像。
进一步的,可以根据滚动文本区域的位置信息对每个截图图像进行截取,得到每个截图图像中滚动文本区域的对应的滚动文本图像。需要说明的是,在一张截图图像中,每个滚动文本区域都会对应一个滚动文本图像,因此每个截图图像中可能有多个滚动文本图像。
对于一个滚动文本区域,其在每一张截图图像中都会对应一个滚动文本图像。因此,每个滚动文本区域也会对应多个滚动文本图像,即每次截图都会有一个滚动文本图像。
对于一个滚动文本区域,可以将其对应的多个滚动文本图像进行文字识别处理,得到多个滚动文字信息,即识别文本。图12示出了一些实施例中多个滚动文字信息的示意图,其中第一行表示完整的滚动文本“这是一段测试文本,文本在屏幕上一次只能显示6个字”。下面的内容为每次识别后得到的滚动文字信息。
通过这些滚动文字信息可以确定前后相邻的两个滚动文字信息的连接词,即两个滚动文字信息中重复出现的连续文本。根据连接词即可确定两个滚动文字信息连接后文本。通过对所有的滚动文字信息进行连接,即可得到该滚动文本区域中的滚动文本。
通过对所有的滚动文本区域执行上述操作,可以得到用户界面中所有的滚动文本。
在一些实施例中,可以预先设定一个图像截取次数,该次数需要尽可能大一些,可以保证对滚动文本的所有的文字尽可以截取到,从而得到完整的滚动文本。
在截取对应数量的多个截图图像后,可以根据这些截图图像获取滚动文本。
在一些实施例中,如果用户界面中所有的滚动文本区域的滚动速度相同时,考虑到预设的图像截取次数有可能较大,导致截取了多余图像,浪费了系统资源。此时,每截取到一张截图图像时,便可以对截图图像中的滚动文本图像进行文字识别处理,得到一个滚动文字信息。当获取到下一个滚动文字信息时,可以将两个滚动文字信息进行连接,从而得到扩充文本。同时再次得到下一个滚动文字信息时,继续将该滚动文字信息连接,从而对扩充文本进行更新。当检测到某两个连续的滚动文字信息的连接词在扩充文本中已经出现过时,判定扩充文本中已经存在完整的滚动文本。此时,对扩充文本进行检测,当扩充文本中末尾的部分文本和扩充文本起始的部分文本相同时,删除末尾的这部分文本,得到完整的滚动文本。例如,当扩充文本为“这是一段测试文本,文本在屏幕上一次只能显示6个字这是一”,其中“这是一”为前后相同的文本,需要删除,得到最终的滚动文本为“这是一段测试文本,文本在屏幕上一次只能显示6个字”。
在一些实施例中,如果用户界面中所有的滚动文本区域的滚动速度不同时,需要采用一个较小的截图周期,例如采用数值最小的第二截图周期,以防止遗漏某个滚动文本区域中的文字。这时,如果对每一张截图图像中的所有滚动文本图像均进行识别时,会造成不必要的计算,导致系统资源浪费。例如,对于一些滚动速度较慢的区域,其前后两张滚动文本图像中的文字是完全相同的。因此没有必要对所有的滚动文本图像均进行识别。
控制器可以按照时间顺序对多个截图图像排序,得到截图图像序列。截图图像序列可以是时间从前到后排列的序列。
对于每个滚动文本区域,可以对其设定一个识别频率。每个滚动文本区域可以按照各自的识别频率在截图图像序列中选取截图图像,作为每个滚动文本区域的识别图像。例如,某个滚动文本区域的识别频率为5,代表每5张截图图像中,对滚动文本区域识别一次,可以是选取每5张截图图像中的第一张进行识别。
在获取到每个滚动文本区域的识别图像后,可以根据每个滚动文本区域的位置信息对所有的识别图像中进行截取,得到每个滚动文本区域的多个滚动文本图像。
再对滚动文本图像进行文字识别处理,得到每个滚动文本区域的滚动文字信息,并进一步确定每个滚动文本区域的滚动文本。
在一些实施例中,每个滚动文本区域的识别频率的设定方法如下:
其中:
T2M表示第M个滚动文本区域的第二截图周期,T1M表示第M个滚动文本区域的第一截图周期;
TALL表示用户界面的截图周期;
SM表示第M个滚动文本区域的识别频率。
滚动文本区域的识别频率为整数,假设识别频率的取值范围为2-5,优选的,可以选择最大的值5作为识别频率,以减小计算量。
在一些实施例中,在识别出所有滚动文本区域的滚动文本后,控制器还可以控制显示器显示滚动文本信息,滚动文本信息中包括用户界面中所有的滚动文本。图13示出了一些实施例中显示器显示滚动文本信息的示意图,显示器中可以显示所有的滚动文本。
本申请实施例还提供一种滚动文本检测方法,应用于显示设备,如图14所示,所述方法包括:
步骤S1401、根据用户界面的界面信息,获取滚动文本区域的位置信息;所述滚动文本区域为用户界面中滚动文本所在的区域;
步骤S1402、确定用户界面的截图周期,并根据所述截图周期对用户界面进行截图操作,得到多个截图图像;
步骤S1403、基于所述滚动文本区域的位置信息,在多个所述截图图像中获取多个滚动文字信息,并根据多个所述滚动文字信息确定滚动文本。
本说明书中各个实施例之间相同相似的部分互相参照即可,在此不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
Claims (10)
1.一种显示设备,其特征在于,包括:
显示器,被配置为显示用户界面;
控制器,被配置为:
根据用户界面的界面信息,获取滚动文本区域的位置信息;所述滚动文本区域为用户界面中滚动文本所在的区域;
确定用户界面的截图周期,并根据所述截图周期对用户界面进行截图操作,得到多个截图图像;
基于所述滚动文本区域的位置信息,在多个所述截图图像中获取多个滚动文字信息,并根据多个所述滚动文字信息确定滚动文本。
2.根据权利要求1所述的显示设备,其特征在于,所述控制器进一步被配置为:
在执行获取滚动文本区域的位置信息的步骤中,
获取用户界面的界面信息,并对所述界面信息进行检测;
当检测到所述界面信息中包含所述滚动文本区域的位置信息时,执行确定用户界面的截图周期的步骤;
当检测到所述界面信息中不包含所述滚动文本区域的位置信息时,判断所述界面信息中是否包含媒资区域的位置信息;
当所述界面信息中包含媒资区域的位置信息时,基于预设周期对用户界面进行截图操作,得到第一截图图像和第二截图图像;
分别对所述第一截图图像和所述第二截图图像进行文字识别处理,得到第一识别信息和第二识别信息,识别信息包括识别文本及识别文本的位置信息;
根据所述第一识别信息和所述第二识别信息获取所述滚动文本区域的位置信息。
3.根据权利要求2所述的显示设备,其特征在于,所述控制器进一步被配置为:
在执行根据所述第一识别信息和所述第二识别信息获取所述滚动文本区域的位置信息的步骤中,
根据所述媒资区域的位置信息确定所述媒资区域的识别文本以及文本区域的识别文本,文本区域包括静态文本区域和滚动文本区域;
将所述第一识别信息和所述第二识别信息中,文本区域的识别文本进行对比,确定静态文本区域以及滚动文本区域;其中,识别文本发生变化的区域为滚动文本区域;
根据识别文本的位置信息确定所述滚动文本区域的位置信息。
4.根据权利要求2所述的显示设备,其特征在于,所述控制器进一步被配置为:
在执行确定用户界面的截图周期的步骤中,
当检测到用户界面中所有的滚动文本区域的滚动速度相同时,获取第一截图周期和第二截图周期;所述第一截图周期为用户界面的最大截图周期,所述第二截图周期为用户界面的最小截图周期;
在第一截图周期和第二截图周期的范围区间内选取一个周期值,并作为用户界面的截图周期。
5.根据权利要求4所述的显示设备,其特征在于,所述控制器进一步被配置为:
在执行获取第一截图周期和第二截图周期的步骤中,
确定所述第一识别信息中所述滚动文本区域的第一识别文本以及所述第二识别信息中所述滚动文本区域的第二识别文本;
计算第一文字数量和预设的数量阈值的第一差值,所述第一文字数量为所述第一识别文本的文字数量;计算所述第一文字数量和第二文字数量的第二差值,所述第二文字数量为所述第一识别文本和所述第二识别文本中重复出现的连续文本的文字数量;
计算所述第一差值和所述第二差值的第一比值,并计算所述第一比值和所述预设周期的乘积,将所述乘积作为第一截图周期;
计算所述预设周期和所述第二差值的第二比值,并将所述第二比值作为第二截图周期。
6.根据权利要求4所述的显示设备,其特征在于,所述控制器进一步被配置为:
在执行确定用户界面的截图周期的步骤中,
当检测到用户界面中所有的滚动文本区域的滚动速度不同时,获取所有的滚动文本区域的第二截图周期;
将所有的滚动文本区域的第二截图周期中数值最小的第二截图周期作为用户界面的截图周期。
7.根据权利要求4所述的显示设备,其特征在于,所述控制器进一步被配置为:
在执行确定用户界面的截图周期的步骤中,
当检测到用户界面中所有的滚动文本区域的滚动速度不同时,获取所有的滚动文本区域的第一截图周期和第二截图周期;
确定所有的滚动文本区域的第一截图周期中数值最小的第一截图周期,并作为第三截图周期;确定所有的滚动文本区域的第二截图周期中数值最大的第二截图周期,并作为第四截图周期;
当检测到所述第三截图周期大于所述第四截图周期时,将所述第四截图周期作为用户界面的截图周期;
当检测到所述第三截图周期小于所述第四截图周期时,确定所述第三截图周期和所述第四截图周期之间的范围区间,并在范围区间内选取一个周期值作为用户界面的截图周期。
8.根据权利要求1所述的显示设备,其特征在于,所述控制器进一步被配置为:
在执行在多个所述截图图像中获取多个滚动文字信息,并根据多个所述滚动文字信息确定滚动文本的步骤中,
根据所述滚动文本区域的位置信息对多个所述截图图像进行截取,得到多个滚动文本图像;
对多个所述滚动文本图像进行文字识别处理,得到多个滚动文字信息;
根据多个所述滚动文字信息确定滚动文本。
9.根据权利要求1所述的显示设备,其特征在于,所述控制器进一步被配置为:
在执行在多个所述截图图像中获取多个滚动文字信息,并根据多个所述滚动文字信息确定滚动文本的步骤中,
当检测到用户界面中所有的滚动文本区域的滚动速度不同时,按照时间顺序对多个所述截图图像排序,得到截图图像序列;
按照每个滚动文本区域的预设识别频率在所述截图图像序列中选取截图图像,作为每个滚动文本区域的识别图像;
根据每个滚动文本区域的位置信息对所述识别图像进行截取,得到每个滚动文本区域的滚动文本图像;
对所述滚动文本图像进行文字识别处理,得到每个滚动文本区域的滚动文字信息;
根据每个滚动文本区域的滚动文字信息确定每个滚动文本区域的滚动文本。
10.一种滚动文本检测方法,应用于显示设备,其特征在于,所述方法包括:
根据用户界面的界面信息,获取滚动文本区域的位置信息;所述滚动文本区域为用户界面中滚动文本所在的区域;
确定用户界面的截图周期,并根据所述截图周期对用户界面进行截图操作,得到多个截图图像;
基于所述滚动文本区域的位置信息,在多个所述截图图像中获取多个滚动文字信息,并根据多个所述滚动文字信息确定滚动文本。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110843767.0A CN114296842A (zh) | 2021-07-26 | 2021-07-26 | 显示设备和滚动文本检测方法 |
PCT/CN2021/119212 WO2022100283A1 (zh) | 2020-11-13 | 2021-09-18 | 显示设备、控件触发方法及滚动文本检测方法 |
US18/169,313 US20230197082A1 (en) | 2020-11-13 | 2023-02-15 | Display apparatus and a voice contral method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110843767.0A CN114296842A (zh) | 2021-07-26 | 2021-07-26 | 显示设备和滚动文本检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114296842A true CN114296842A (zh) | 2022-04-08 |
Family
ID=80964259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110843767.0A Pending CN114296842A (zh) | 2020-11-13 | 2021-07-26 | 显示设备和滚动文本检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114296842A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942212A (zh) * | 2013-01-21 | 2014-07-23 | 腾讯科技(深圳)有限公司 | 一种用户界面的文字检测方法及装置 |
CN105278824A (zh) * | 2014-07-31 | 2016-01-27 | 维沃移动通信有限公司 | 一种终端设备的截屏方法及其终端设备 |
CN109389554A (zh) * | 2018-09-12 | 2019-02-26 | 天津字节跳动科技有限公司 | 截图方法及装置 |
CN110276281A (zh) * | 2019-06-10 | 2019-09-24 | 浙江工业大学 | 一种面向移动端的截屏图文识别提取方法及系统 |
CN112584213A (zh) * | 2020-12-11 | 2021-03-30 | 海信视像科技股份有限公司 | 一种显示设备和图像识别结果的展示方法 |
-
2021
- 2021-07-26 CN CN202110843767.0A patent/CN114296842A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942212A (zh) * | 2013-01-21 | 2014-07-23 | 腾讯科技(深圳)有限公司 | 一种用户界面的文字检测方法及装置 |
CN105278824A (zh) * | 2014-07-31 | 2016-01-27 | 维沃移动通信有限公司 | 一种终端设备的截屏方法及其终端设备 |
CN109389554A (zh) * | 2018-09-12 | 2019-02-26 | 天津字节跳动科技有限公司 | 截图方法及装置 |
CN110276281A (zh) * | 2019-06-10 | 2019-09-24 | 浙江工业大学 | 一种面向移动端的截屏图文识别提取方法及系统 |
CN112584213A (zh) * | 2020-12-11 | 2021-03-30 | 海信视像科技股份有限公司 | 一种显示设备和图像识别结果的展示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114390359B (zh) | 一种消息的展示方法及显示设备 | |
CN112885354B (zh) | 一种显示设备、服务器及基于语音的显示控制方法 | |
CN113810746B (zh) | 一种显示设备及图片分享方法 | |
CN113395556A (zh) | 显示设备及详情页展示的方法 | |
CN112860331B (zh) | 一种显示设备及语音交互的提示方法 | |
CN112584213A (zh) | 一种显示设备和图像识别结果的展示方法 | |
CN115776585A (zh) | 显示设备和内容展示方法 | |
CN112926420B (zh) | 一种显示设备和菜单文字识别方法 | |
CN113490057B (zh) | 显示设备和媒资推荐方法 | |
CN113132809B (zh) | 一种通道切换方法、通道节目播放方法及显示设备 | |
CN112650418B (zh) | 一种显示设备 | |
CN112668546A (zh) | 视频缩略图显示方法及显示设备 | |
CN113286185A (zh) | 一种显示设备及主页显示方法 | |
CN113064534A (zh) | 一种用户界面的显示方法及显示设备 | |
CN114296842A (zh) | 显示设备和滚动文本检测方法 | |
CN112637683A (zh) | 显示设备系统优化方法及显示设备 | |
CN114281284B (zh) | 显示设备和图像显示方法 | |
CN113076042B (zh) | 一种本地媒体资源的访问方法及显示设备 | |
CN112835633B (zh) | 显示设备及显示语言的控制方法 | |
CN112770169B (zh) | 一种列表循环翻页方法及显示设备 | |
CN113689856B (zh) | 一种浏览器页面视频播放进度的语音控制方法及显示设备 | |
CN113766164B (zh) | 显示设备及信号源界面显示方法 | |
CN114296581A (zh) | 显示设备和控件触发方法 | |
CN114302131A (zh) | 显示设备和黑屏检测方法 | |
CN113672192A (zh) | 一种浏览器页面文字提示消息的方法及显示设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |