CN111163343A - 图形识别码的识别方法和显示设备 - Google Patents

图形识别码的识别方法和显示设备 Download PDF

Info

Publication number
CN111163343A
CN111163343A CN202010065913.7A CN202010065913A CN111163343A CN 111163343 A CN111163343 A CN 111163343A CN 202010065913 A CN202010065913 A CN 202010065913A CN 111163343 A CN111163343 A CN 111163343A
Authority
CN
China
Prior art keywords
identification code
user
display
user interface
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010065913.7A
Other languages
English (en)
Inventor
孟亚州
付延松
付友苹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202010065913.7A priority Critical patent/CN111163343A/zh
Publication of CN111163343A publication Critical patent/CN111163343A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开一种显示设备以及图形识别码的识别方法,属于显示技术,该显示设备包括显示器,该显示器被配置为显示用户界面;与所述显示器通信的控制器,所述控制器被配置为:当当前画面中存在图形识别码时,响应于用户用于获取用户界面中图形识别码的指令输入,识别所述当前界面中的图形识别码;在所述显示器上呈现识别内容显示层,其中,所述识别内容显示层呈现目标图形识别码,所述目标图形识别码与所述当前画面中的识别码图案不同,所述目标图形识别码关联的信息与所述用户界面中图形识别码关联的信息相同;当当前画面中无图形识别码时,响应于用户用于获取用户界面中图形识别码的指令输入,不显示式所述目标图形识别码。

Description

图形识别码的识别方法和显示设备
技术领域
本申请实施例涉及显示技术。更具体地讲,涉及一种显示设备以及图形识别码的识别方法。
背景技术
随着互联网连接技术发展,目前显示设备与其他设备可实现无缝连接,尤其是与移动设备的交互场景颇多。
为了增加智能电视与用户的互动性,智能电视的画面中可显示二维码,用户通过手持设备,比如智能手机,可扫描智能电视屏幕上显示的二维码以实现互动,进而提高用户体验。
发明内容
本申请示例性的实施方式中提供一种显示设备以及图形识别码的识别方法,可针对显示设备播放的画面中的图形识别码进行识别,并根据识别结果生成新的图形识别码并显示,以方便用户通过手持设备进行扫描,从而提高图形识别码的识别率。
根据示例性的实施方式中一方面,提供一种显示设备,包括:
显示器,该显示器被配置为显示用户界面;
存储器;
与所述显示器通信的控制器,所述控制器被配置为执行呈现用户界面:
当当前画面中存在图形识别码时,响应于用户用于获取用户界面中图形识别码的指令输入,识别所述当前界面中的图形识别码;
在所述显示器上呈现识别内容显示层,其中,所述识别内容显示层呈现目标图形识别码,所述目标图形识别码与所述当前画面中的识别码图案不同,所述目标图形识别码关联的信息与所述用户界面中图形识别码关联的信息相同;
当当前画面中无图形识别码时,响应于用户用于获取用户界面中图形识别码的指令输入,不显示式所述目标图形识别码。
本申请的上述实施例中,从用户界面中识别到图形识别码后,重新生成第一图形识别码并进行显示,从而方便用户通过手持设备扫描该图形识别码。又由于第一图形识别码关联的信息与从用户界面中识别得到的原始图形识别码关联的信息相同,使得用户通过手持设备扫描第一图形识别码得到的结果可等同于扫描显示画面中的图形识别码所得到的结果。
在一些示例性的实施方式中,所述控制器被进一步配置为:响应于用户选择所述第一图形识别码的用户输入,在显示器的悬浮窗口上放大显示所述第一图形识别码,从而可以使得更方便用户使用手持设备扫描该第一图形码,并可以提高图形码识别成功率。
在一些示例性的实施方式中,所述控制器被具体配置为:判断所述用户界面中是否包含有图形识别码,若判定所述用户界面中包含有图形识别码,则识别所述用户界面中的图形识别码。
在进行图形识别码进行识别之前,首先判断述用户界面中包含有图形识别码,在判定有图形识别码的情况下,再进行图形识别码的识别,由于图形识别码的识别过程所用时间相较于判断用户界面中是否包含有图形识别码所需时间长,因此采用上述实施例可以避免需要等待较长时间才能知晓用户界面中不存在图形识别码的情况。
在一些实施例中,所述控制器被配置为:响应于用户通过选择器选择所述目标图形识别码的指令输入,在显示器上图形识别码显示层,所述图形识别码显示层放大显示所述目标图形识别码。
在一些实施例中,所述控制器被配置为:确定所述图形识别码在所述当前画面中的位置,识别所述图形识别码对应的URL信息,根据所述URL信息生成所述目标图形识别码。
在一些实施例中,所述控制器确定所述图形识别码在所述当前画面中的位置,被具体配置为:对当前画面的进行图像二值化,逐轮进行轮廓检测,当检测到轮廓区域为图形识别码类别区域时,生成图形识别码轮廓框列表。
在一些实施例中,所述控制器对当前画面进行图形二值化,被进一步配置为:遍历所述当前画面中的像素点,判断所述像素点的RGB值中最大值和最小值的差值d,当所述像素点的二值信息满足预设条件,则输出二值图。
在一些实施例中,所述图像识别码为二维码。
根据示例性的实施方式中一方面,提供一种图形识别码的识别方法,包括:
当当前画面中存在图形识别码时,响应于用户用于获取用户界面中图形识别码的指令输入,识别所述用户界面中的图形识别码;
在所述显示器上呈现识别内容显示层,其中,所述识别内容显示层呈现目标图形识别码,所述目标图形识别码关联的信息与所述用户界面中图形识别码关联的信息相同;
当当前画面中无图形识别码时,响应于用户用于获取用户界面中图形识别码的指令输入,不对当前画面进行识别。
在一些实施例中,在在所述显示器上呈现识别内容显示层,其中,所述识别内容显示层呈现与目标图形识别码之后,还包括:
响应于用户通过选择器选择所述目标图形识别码的指令输入,在显示器上图形识别码显示层,所述图形识别码显示层放大显示所述目标图形识别码。
在一些实施例中,所述当当前画面中有图形识别码时,响应于用户用于获取用户界面中图形识别码的指令输入,识别所述用户界面中的图形识别码,具体包括:确定所述图形识别码在所述当前画面中的位置,识别所述图形识别码对应的URL信息,根据所述URL信息绘制出所述目标图形识别码。
根据示例性的实施方式中一方面,提供一种计算机存储介质,所述计算机存储介质中存储有计算机程序指令,当所述指令在计算机上运行时,使得所述计算机执行如上述的方法。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图;
图2中示例性示出了根据实施例中显示设备200的硬件配置框图;
图3中示例性示出了根据实施例中控制设备100的硬件配置框图;
图4中示例性示出了根据实施例中显示设备200的功能配置示意图;
图5a中示例性示出了根据实施例中显示设备200中软件配置示意图;
图5b中示例性示出了根据实施例中显示设备200中应用程序的配置示意图;
图6中示例性示出了根据实施例中的图形识别码识别流程;
图7中示例性示出了根据实施例中二维码样例示意图;
图8中示例性示出了根据实施例中显示设备200进行二维码识别和显示生成的二维码的界面示意图;
图9中示例性示出了根据实施例中一种用户界面分割的示意图;
图10中示例性示出了根据实施例中另一种用户界面分割的示意图;
图11中示例性示出了当前画面中包含有二维码的示意图;
图12a中示例性示出了响应于用户的识别二维码的指令的所呈现的用户界面的示意图;
图12b中示例性示出了响应于用户的识别二维码的指令的所呈现的用户界面的另一示意图;
图13中示例性示出了用户选择该二维码后在显示器上呈现的用户界面的示意图;
图14中示例性示出了定位当前画面中二维码的流程图;
图15中示例性示出了用于定位当前画面中二维码的图像二值法的示意图;
图16中示例性示出了用于定位当前画面中二维码的轮廓定位法的示意图。
具体实施方式
为使本申请示例性实施例的目的、技术方案和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施例中的技术方案进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
基于本申请中示出的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。
应当理解,本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请中使用的术语“遥控器”,是指电子设备(如本申请中公开的显示设备)的一个组件,通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接,也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如:手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请中使用的术语“手势”,是指用户通过一种手型的变化或手部运动等动作,用于表达预期想法、动作、目的/或结果的用户行为。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示,用户可通过控制装置100来操作显示设备200。
其中,控制装置100可以是遥控器100A,包括红外协议通信或蓝牙协议通信,及其他短距离通信方式等,通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令,来控制显示设备200。如:用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令,来实现控制显示设备200的功能。
控制装置100也可以是智能设备,如移动终端100B、平板电脑、计算机、笔记本电脑等。例如,使用在智能设备上运行的应用程序控制显示设备200。该应用程序可以在与智能设备关联的屏幕上通过直观的用户界面(UI)为用户提供各种控制。
示例的,移动终端100B可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作的和数据通信的目的。如:可以使移动终端100B与显示设备200建立控制指令协议, 将遥控控制键盘同步到移动终端100B上,通过控制移动终端100B上用户界面,实现控制显示设备200的功能。也可以将移动终端100B上显示的音视频内容传输到显示设备200上,实现同步显示功能。
如图1所示,显示设备200还与服务器300通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器300可以向显示设备200提供各种内容和互动。示例的,显示设备200通过发送和接收信息,以及电子节目指南(EPG)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器300可以是一组,也可以是多组,可以是一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。
显示设备200,可以是液晶显示器、OLED显示器、投影显示设备。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能和配置上的一些改变。
显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网络电视功能。示例的包括,网络电视、智能电视、互联网协议电视(IPTV)等。
图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。如图2所示,显示设备200中可以包括调谐解调器220、通信器230、检测器240、外部装置接口250、控制器210、存储器290、用户输入接口、视频处理器260-1、音频处理器260-2、显示器280、音频输入接口272、供电电源。
调谐解调器220,通过有线或无线方式接收广播电视信号,可以进行放大、混频和谐振等调制解调处理,用于从多个无线或有线广播电视信号中解调出用户所选择电视频道的频率中所携带的音视频信号,以及附加信息(例如EPG数据信号)。
调谐解调器220,可根据用户选择,以及由控制器210控制,响应用户选择的电视频道频率以及该频率所携带的电视信号。
调谐解调器220,根据电视信号广播制式不同,可以接收信号的途径有很多种,诸如:地面广播、有线广播、卫星广播或互联网广播等;以及根据调制类型不同,可以数字调制方式,也可以模拟调制方式;以及根据接收电视信号种类不同,可以解调模拟信号和数字信号。
在其他一些示例性实施例中,调谐解调器220也可在外置设备中,如外置机顶盒等。这样,机顶盒通过调制解调后输出电视音视频信号,经过输入/输出接口250输入至显示设备200中。
通信器230是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信器230可以包括WIFI模块231,蓝牙通信协议模块232,有线以太网通信协议模块233等其他网络通信协议模块或近场通信协议模块。
显示设备200可以通过通信器230与外部控制设备或内容提供设备之间建立控制信号和数据信号的连接。例如,通信器可根据控制器的控制接收遥控器100的控制信号。
检测器240,是显示设备200用于采集外部环境或与外部交互的信号的组件。检测器240可以包括光接收器242,用于采集环境光线强度的传感器,可以通过采集环境光来自适应显示参数变化等;还可以包括图像采集器241,如相机、摄像头等,可以用于采集外部环境场景,以及用于采集用户的属性或与用户交互手势,可以自适应变化显示参数,也可以识别用户手势,以实现与用户之间互动的功能。
在其他一些示例性实施例中,检测器240,还可包括温度传感器,如通过感测环境温度,显示设备200可自适应调整图像的显示色温。示例性的,当温度偏高的环境时,可调整显示设备200显示图像色温偏冷色调;当温度偏低的环境时,可以调整显示设备200显示图像色温偏暖色调。
在其他一些示例性实施例中,检测器240还可包括声音采集器,如麦克风,可以用于接收用户的声音,包括用户控制显示设备200的控制指令的语音信号,或采集环境声音,用于识别环境场景类型,显示设备200可以自适应环境噪声。
外部装置接口250,提供控制器210控制显示设备200与外部其他设备间数据传输的组件。外部装置接口可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连接,可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如EPG)等数据。
其中,外部装置接口250可以包括:高清多媒体接口(HDMI)端子251、复合视频消隐同步(CVBS)端子252、模拟或数字分量端子253、通用串行总线(USB)端子254、红绿蓝(RGB)端子(图中未示出)等任一个或多个。
控制器210,通过运行存储在存储器290上的各种软件控制程序(如操作系统和各种应用程序),来控制显示设备200的工作和响应用户的操作。
如图2所示,控制器210包括随机存取存储器RAM213、只读存储器ROM214、图形处理器216、CPU处理器212、通信接口218、以及通信总线。其中,RAM213和ROM214以及图形处理器216、CPU处理器212、通信接口218通过总线相连接。
ROM213,用于存储各种系统启动的指令。如在收到开机信号时,显示设备200电源开始启动,CPU处理器212运行ROM中系统启动指令,将存储在存储器290的操作系统拷贝至RAM214中,以开始运行启动操作系统。当操作系统启动完成后,CPU处理器212再将存储器290中各种应用程序拷贝至RAM214中,然后,开始运行启动各种应用程序。
图形处理器216,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象。以及包括渲染器,产生基于运算器得到的各种对象,进行渲染的结果显示在显示器280上。
CPU处理器212,用于执行存储在存储器290中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。
在一些示例性实施例中,CPU处理器212,可以包括多个处理器。多个处理器可包括一个主处理器以及多个或一个子处理器。主处理器,用于在预加电模式中执行显示设备200一些操作,和/或在正常模式下显示画面的操作。多个或一个子处理器,用于执行在待机模式等状态下的一种操作。
通信接口,可包括第一接口218-1到第n接口218-n。这些接口可以是经由网络被连接到外部设备的网络接口。
控制器210可以控制显示设备200的整体操作。例如: 响应于接收到用于选择在显示器280上显示UI对象的用户命令,控制器210便可以执行与由用户命令选择的对象有关的操作。
其中,所述对象可以是可选对象中的任何一个,例如超链接或图标。与所选择的对象有关操作,例如:显示连接到超链接页面、文档、图像等操作,或者执行与图标相对应程序的操作。用于选择UI对象用户命令,可以是通过连接到显示设备200的各种输入装置(例如,鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
存储器290,包括存储用于驱动和控制显示设备200的各种软件模块。如:存储器290中存储的各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块和各种服务模块等。
其中,基础模块是用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块是用于从各种传感器或用户输入接口中收集各种信息,并进行数模转换以及分析管理的管理模块。
例如:语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块是用于控制显示器280进行显示图像内容的模块,可以用于播放多媒体图像内容和UI界面等信息。通信模块,是用于与外部设备之间进行控制和数据通信的模块。浏览器模块,是用于执行浏览服务器之间数据通信的模块。服务模块,是用于提供各种服务以及各类应用程序在内的模块。
同时,存储器290还用于存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
用户输入接口,用于将用户的输入信号发送给控制器210,或者,将从控制器输出的信号传送给用户。示例性的,控制装置(例如移动终端或遥控器)可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等输入信号发送至用户输入接口,再由用户输入接口转送至控制器;或者,控制装置可接收经控制器处理从用户输入接口输出的音频、视频或数据等输出信号,并且显示接收的输出信号或将接收的输出信号输出为音频或振动形式。
在一些实施例中,用户可在显示器280上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
本申请的说明书和权利要求书及附图中的术语“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphicuserinterface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
视频处理器260-1,用于接收视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频数据处理,可得到直接在显示器280上显示或播放的视频信号。
示例的,视频处理器260-1,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
其中,解复用模块,用于对输入音视频数据流进行解复用处理,如输入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩放处理等。
图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。
帧率转换模块,用于对输入视频的帧率进行转换,如将输入的24Hz、25Hz、30Hz、60Hz视频的帧率转换为60Hz、120Hz或240Hz的帧率,其中,输入帧率可以与源视频流有关,输出帧率可以与显示屏的更新率有关。输入有通常的格式采用如插帧方式实现。
显示格式化模块,用于将帧率转换模块输出的信号,改变为符合诸如显示器显示格式的信号,如将帧率转换模块输出的信号进行格式转换以输出RGB数据信号。
显示器280,用于接收源自视频处理器260-1输入的图像信号,进行显示视频内容和图像以及菜单操控界面。显示器280包括用于呈现画面的显示屏组件以及驱动图像显示的驱动组件。显示视频内容,可以来自调谐解调器220接收的广播信号中的视频,也可以来自通信器或外部设备接口输入的视频内容。显示器220,同时显示显示设备200中产生且用于控制显示设备200的用户操控界面UI。
以及,根据显示器280类型不同,还包括用于驱动显示的驱动组件。或者,倘若显示器280为一种投影显示器,还可以包括一种投影装置和投影屏幕。
音频处理器260-2,用于接收音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等音频数据处理,得到可以在扬声器272中播放的音频信号。
音频输出接口270,用于在控制器210的控制下接收音频处理器260-2输出的音频信号,音频输出接口可包括扬声器272,或输出至外接设备的发生装置的外接音响输出端子274,如:外接音响端子或耳机输出端子等。
在其他一些示例性实施例中,视频处理器260-1可以包括一个或多个芯片组成。音频处理器260-2,也可以包括一个或多个芯片组成。
以及,在其他一些示例性实施例中,视频处理器260-1和音频处理器260-2,可以为单独的芯片,也可以与控制器210一起集成在一个或多个芯片中。
供电电源,用于在控制器210控制下,将外部电源输入的电力为显示设备200提供电源供电支持。供电电源可以包括安装显示设备200内部的内置电源电路,也可以是安装在显示设备200外部的电源,如在显示设备200中提供外接电源的电源接口。
图3中示例性示出了根据示例性实施例中控制装置100的配置框图。如图3所示,控制装置100包括控制器110、通信器130、用户输入/输出接口140、存储器190、供电电源180。
控制装置100被配置为控制显示设备200,以及可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起着用户与显示设备200之间交互中介作用。如:用户通过操作控制装置100上频道加减键,显示设备200响应频道加减的操作。
在一些实施例中,控制装置100可是一种智能设备。如:控制装置100可根据用户需求安装控制显示设备200的各种应用。
在一些实施例中,如图1所示,移动终端100B或其他智能电子设备,可在安装操控显示设备200的应用之后,可以起到控制装置100类似功能。如:用户可以通过安装应用,在移动终端100B或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮,以实现控制装置100实体按键的功能。
控制器110包括处理器112、RAM113和ROM114、通信接口以及通信总线。控制器110用于控制控制装置100的运行和操作,以及内部各部件之间通信协作以及外部和内部的数据处理功能。
通信器130在控制器110的控制下,实现与显示设备200之间控制信号和数据信号的通信。如:将接收到的用户输入信号发送至显示设备200上。通信器130可包括WIFI模块131、蓝牙模块132、NFC模块133等通信模块中至少一种。
用户输入/输出接口140,其中,输入接口包括麦克风141、触摸板142、传感器143、按键144等输入接口中至少一者。如:用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能,输入接口通过将接收的模拟信号转换为数字信号,以及数字信号转换为相应指令信号,发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中,可以是红外接口,也可以是射频接口。如:红外信号接口时,需要将用户输入指令按照红外控制协议转化为红外控制信号,经红外发送模块进行发送至显示设备200。再如:射频信号接口时,需将用户输入指令转化为数字信号,然后按照射频控制信号调制协议进行调制后,由射频发送端子发送至显示设备200。
在一些实施例中,控制装置100包括通信器130和输出接口中至少一者。控制装置100中配置通信器130,如:WIFI、蓝牙、NFC等模块,可将用户输入指令通过WIFI协议、或蓝牙协议、或NFC协议编码,发送至显示设备200.
存储器190,用于在控制器110的控制下存储驱动和控制控制装置100的各种运行程序、数据和应用。存储器190,可以存储用户输入的各类控制信号指令。
供电电源180,用于在控制器110的控制下为控制装置100各元件提供运行电力支持。可以电池及相关控制电路。
图4中示例性示出了根据示例性实施例中显示设备200功能配置示意图。如图4所示,存储器290用于存储操作系统、应用程序、内容和用户数据等,在控制器210控制下执行驱动显示设备200的系统运行以及响应用户的各种操作。存储器290可以包括易失性和/或非易失性存储器。
存储器290,具体用于存储驱动显示设备200中控制器210的运行程序,以及存储显示设备200内置各种应用程序,以及用户从外部设备下载的各种应用程序、以及与应用程序相关的各种图形用户界面,以及与图形用户界面相关的各种对象,用户数据信息,以及各种支持应用程序的内部数据。存储器290用于存储操作系统(OS)内核 、中间件和应用等系统软件,以及存储输入的视频数据和音频数据、及其他用户数据。
存储器290,具体用于存储视频处理器260-1和音频处理器260-2、显示器280、通信接口230、调谐解调器220、检测器240、输入/输出接口等驱动程序和相关数据。
在一些实施例中,存储器290可以存储软件和/或程序,用于表示操作系统(OS)的软件程序包括,例如:内核、中间件、应用编程接口(API)和/或应用程序。示例性的,内核可控制或管理系统资源,或其它程序所实施的功能(如所述中间件、API或应用程序),以及内核可以提供接口,以允许中间件和API,或应用访问控制器,以实现控制或管理系统资源。
示例的,存储器290,包括广播接收模块2901、频道控制模块2902、音量控制模块2903、图像控制模块2904、显示控制模块2905、音频控制模块2906、外部指令识别模块2907、通信控制模块2908、光接收模块2909、电力控制模块2910、操作系统2911、以及其他应用程序2912、浏览器模块等等。控制器210通过运行存储器290中各种软件程序,来执行诸如:广播电视信号接收解调功能、电视频道选择控制功能、音量选择控制功能、图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等其他应用。
图5a中示例性示出了根据示例性实施例中显示设备200中软件系统的配置框图。
如图5a中所示,操作系统2911,包括用于处理各种基础系统服务和用于实施硬件相关任务的执行操作软件,充当应用程序和硬件组件之间完成数据处理的媒介。
一些实施例中,部分操作系统内核可以包含一系列软件,用以管理显示设备硬件资源,并为其他程序或软件代码提供服务。
其他一些实施例中,部分操作系统内核可包含一个或多个设备驱动器,设备驱动器可以是操作系统中的一组软件代码,帮助操作或控制显示设备关联的设备或硬件。驱动器可以包含操作视频、音频和/或其他多媒体组件的代码。示例的,包括显示屏、摄像头、Flash、WiFi和音频驱动器。
其中,可访问性模块2911-1,用于修改或访问应用程序,以实现应用程序的可访问性和对其显示内容的可操作性。
通信模块2911-2,用于经由相关通信接口和通信网络与其他外设的连接。
用户界面模块2911-3,用于提供显示用户界面的对象,以供各应用程序访问,可实现用户可操作性。
控制应用程序2911-4,用于控制进程管理,包括运行时间应用程序等。
事件传输系统2914,可在操作系统2911内或应用程序2912中实现。一些实施例中,一方面在在操作系统2911内实现,同时在应用程序2912中实现,用于监听各种用户输入事件,将根据各种事件指代响应各类事件或子事件的识别结果,而实施一组或多组预定义的操作的处理程序。
其中,事件监听模块2914-1,用于监听用户输入接口输入事件或子事件。
事件识别模块2914-1,用于对各种用户输入接口输入各类事件的定义,识别出各种事件或子事件,且将其传输给处理用以执行其相应一组或多组的处理程序。
其中,事件或子事件,是指显示设备200中一个或多个传感器检测的输入,以及外界控制设备(如控制装置100等)的输入。如:语音输入各种子事件,手势识别的手势输入子事件,以及控制装置的遥控按键指令输入的子事件等。示例的,遥控器中一个或多个子事件包括多种形式,包括但不限于按键按上/下/左右/、确定键、按键按住等中一个或组合。以及非实体按键的操作,如移动、按住、释放等操作。
界面布局管理模块2913,直接或间接接收来自于事件传输系统2914监听到各用户输入事件或子事件,用于更新用户界面的布局,包括但不限于界面中各控件或子控件的位置,以及容器的大小或位置、层级等与界面布局相关各种执行操作。
如图5b中所示,应用程序层2912包含可在显示设备200执行的各种应用程序。应用程序可包含但不限于一个或多个应用程序,如:直播电视应用程序、视频点播应用程序、媒体中心应用程序、应用程序中心、游戏应用等。
直播电视应用程序,可以通过不同的信号源提供直播电视。例如,直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及,直播电视应用程序可在显示设备200上显示直播电视信号的视频。
视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电视应用程序,视频点播提供来自某些存储源的视频显示。例如,视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。例如,媒体中心,可以为不同于直播电视或视频点播,用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
应用程序中心,可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序,或某些和计算机系统或其他设备相关但可以在智能电视中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序,将它们储存在本地储存器中,然后在显示设备200上可运行。
为了增加智能电视与用户的互动性,智能电视的画面中可显示二维码,用户通过手持设备,比如智能手机,可扫描智能电视屏幕上显示的二维码以实现互动,进而提高用户体验。
然而,智能电视播放的画面中显示的二维码通常因不够清晰,导致识别失败,尤其是对于直播频道中的画面或者清晰度不高的视频画面,二维码的识别率较低。
另外,用户在使用手机识别电视画面中的二维码时,由于二维码较小,只能靠近电视屏幕进行扫描,当用户坐在离电视有一定距离的位置时,识别较为困难,用户体验不好。
因此,对于智能电视播放的画面中的二维码,如何方便用户通过手持设备进行扫描,提高识别率,是目前需要解决的技术问问题。
为了提高对显示设备屏幕上显示画面中的图形识别码的识别率,本申请实施例中,可对显示设备显示的画面中的图形识别码进行识别,并根据识别结果重新生成图形识别码并进行显示,该重新生成的图形识别码相比于画面中的图形识别码具有更高的清晰度,从而方便用户通过手持设备进行扫描,并可提高图形识别码的识别率。
其中,所述图形识别码可包括二维码,或其他形式或类型的图形化标识码。
下面结合附图对本申请实施例中的图形识别码识别方法进行详细描述。
图6示例性示出了本申请实施例中的图形识别码识别流程。该流程可由智能设备,比如上述显示设备执行。
如图所示,该流程可包括:
S601:接收用户输入,获取所述显示器显示的用户界面。
以上述显示设备为例,该步骤中,当显示设备的显示器屏幕上播放的画面中包含有图形识别码(比如二维码),并且用户想要使用手持设备扫描该二维码时,可通过遥控器向该显示设备发送按键指令,以触发截屏操作。作为对该按键指令的响应,该显示设备可截获显示器屏幕当前播放的画面。
其中,显示设备的显示屏幕上播放的画面可以是静态图像,也可以是动态的视频,比如显示设备正在播放直播频道中的视频,或正在播放点播的视频。如果显示设备当前正在播放动态视频,则响应用户的按键指令时,截取当前播放的一个视频帧或者截图图片。
S602:识别所述用户界面中的图形识别码。
可选地,在识别所述用户界面中的图形识别码之前,可首先判断所述用户界面中是否包含有图形识别码,若判定所述用户界面中包含有图形识别码,则识别所述用户界面中的图形识别码,否则可放弃图形识别码的识别操作,并可进一步输出提示信息,以提示用户界面中不包含图形识别码。
可根据图形识别码的特征信息,判断所述用户界面中是否包含图形识别码。根据图形识别码的特征信息识别用户界面中是否包含图形识别码的时延,通常小于从用户界面中识别出图形识别码的时延,从而可以快速判断出用户界面中是否包含图形识别码,以便在不包含图形识别码的情况下,尽快结束本流程,以节省系统开销,并可尽快输出提示信息,以使得用户得知情况,从而提高用户感受。
以二维码为例,二维码(2-dimensional bar code)是用某种特定的几何图形按一定规律在平面(二维方向上)分布的黑白相间的图形记录数据符号信息的。在代码编制上利用构成计算机内部逻辑基础的“0”、“1”比特流的概念,使用若干个与二进制相对应的几何形体来表示文字数值信息,通过图象输入设备或光电扫描设备自动识读以实现信息自动处理。
图7示例性示出了二维码样例。其中,二维码的4个角位置中的3个位置上(左上角、右上角和左下角)包含位置探测图形,该3个位置探测图形为二维码的特征信息,即该3个位置探测图形可以定位一个二维码。如果从画面中识别到3个位置探测图形,则可以判定该画面中包含有二维码。
该二维码样例中的定位图形和校正图形,也可用于判定二维码是否存在,即,如果从画面中识别到定位图形和/或校正图形,则可以判定该画面中包含有二维码。
本申请实施例中,在对显示设备显示的画面中包含的图形识别码进行识别时,可使用识别效率较高的识别算法,比如可以使用zbar识别算法。Zbar是c代码实现的二维码开源库,在二维码识别上,zbar的速度较高。
可选地,如果一次对图形识别码读取失败,则可以对该用户界面进行仿射旋转,并再次读取图形识别码。
S603:生成第一图形识别码和第二图形识别码。
所述第一图形识别码关联的信息与从所述用户界面中识别得到的图形识别码关联的信息相同。
具体地,在一些实施例中,第一图形识别码的图案与从用户界面中识别到的图形识别码的图案相同,即根据识别到的图形识别码的图案,生成图案相同的第一图形识别码。这样,当用户使用手持设备扫描第一图形识别码后得到的结果,与扫描用户界面中包含的图形识别码后得到的结果相同。
在另一些实施例中,第一图形识别码的图案与从用户界面中识别到的图形识别码的图案不同。即,显示设备可根据从用户界面中识别到的图形识别码,根据其对应的内容地址(URL,Uniform Resource Locator,统一资源定位符),重新生成一个新的图形识别码,重新生成的图形识别码所关联的信息与从用户界面中识别的图形识别码关联的信息相同。这样,当用户使用手持设备扫描第一图形识别码后得到的结果,与扫描用户界面中包含的图形识别码后得到的结果相同。
所述第二图形识别码关联所述用户界面。这样,当用户使用手持设备扫描第二图形识别码后可获取到该用户界面或者该用户界面的缩略图,以便显示在手持设备上,以便用户得知第一图形识别码来自于哪个用户界面。
本申请实施例中,在生成图形识别码时,可使用效率较高的生成算法,比如可以使用zxing生成算法。zxing是java实现的二维码开源库,在二维码生成上,zxing的速度较高。
S604:显示悬浮窗口,所述悬浮窗口中显示所述第一图形识别码和所述第二图形识别码。
可选地,该悬浮窗口位于最上层,且悬浮窗口的尺寸小于显示设备的用户界面的尺寸,从而仅部分遮挡显示设备当前显示的用户界面(如当前播放的视频画面),以尽量减少对用户观看的影响。
图8示例性示出了本申请实施例应用于显示设备时,显示设备对播放画面中的二维码进行识别,生成新的二维码并进行显示的示意图。如图所示,显示设备200当前正在播放的视频节目。通过点击遥控器、触摸屏幕、手势或语音输入等方式触发截图指令,当显示设备200接收该截屏指令后,作为响应,显示设备200获取当前播放的视频帧或者截图图片或者获取截图图片,对该视频帧或者截图图片或者截图图片进行二维码扫描和识别,如果识别出二维码,则生成第一二维码和第二二维码,并显示悬浮窗口701。悬浮窗口701上显示有第一二维码702以及第二二维码703。
其中,第一二维码702关联的信息与从视频帧或者截图图片或者截图图片中识别出的二维码关联的信息相同。第二二维码703与该视频帧或者截图图片或者截图图片关联,显示设备200可建立第二二维码707与该视频帧或者截图图片之间的对应关系,该对应关系具体可表现为:二维码与视频帧或者截图图片之间的对应关系,或者二维码与视频帧或者截图图片缩略图之间的对应关系(其中缩略图的大小可根据需要来设置),或者二维码与视频帧或者截图图片对应的信息(比如该视频帧或者截图图片来自于哪个直播频道、哪个节目等),或者上述信息的组合。
如果用户通过手持设备扫描悬浮窗口701上显示的第一二维码702,可以获得与扫描视频帧或者截图图片中的二维码相同的效果,比如根据该二维码对应的URI进入对应的应用。如果用户通过手持设备扫描悬浮窗口702上显示的第二二维码703,则显示设备200可将该视频帧或者截图图片或视频帧或者截图图片的缩略图推送到手持设备上,以使该手持设备的屏幕上显示该视频帧或者截图图片或该视频帧或者截图图片的缩略图,从而使得用户知晓第一二维码702所在的画面来源。
本申请的上述实施例中,从用户界面中识别到图形识别码后,重新生成第一图形识别码和第二图形识别码并进行显示,从而方便用户通过手持设备扫描该图形识别码。通过这种方式,可以使得新生成的图形识别码具有较高的清晰度,在方便用户通过手持设备对图形识别码扫描的同时,还可提高识别率。
又由于第一图形识别码关联的信息与从用户界面中识别得到的图形识别码关联的信息相同,使得用户通过手持设备扫描第一图形识别码得到的结果可等同于对显示画面中的图形识别码进行扫描和识别所得到的结果。
又由于第二图形识别码关联用户界面或该用户界面的缩略图,使得用户通过手持设备扫描第二图形识别码可得到显示有图形识别码的画面。
考虑到显示设备(如智能电视)播放的画面通常为动态视频画面,或者可能播放的画面清晰度不高,这将影响图形识别码的识别成功率。
为了提高图形识别码的识别率,本申请的一些实施例中,可采用图片分区扫描的方法进行图形识别码的识别。
具体地,可对用户界面(如显示设备播放的直播视频画面)进行切割,得到至少两个区域,该至少两个区域的合并区域覆盖了该用户界面中的扫描区域,该至少两个区域部分重叠;然后,分别对每个区域中的用户界面进行扫描,以获得所述用户界面中的图形识别码。
其中,该至少两个区域的合并区域覆盖了该用户界面中的扫描区域,可以保证整个用户界面中的扫描区域都能够被扫描到,避免将包含有图形识别码的区域被遗漏。该至少两个区域部分重叠,可以确保图形识别码不会被正好切割而识别失败。
图9示例性示出了一种用户界面分割示意图。如图所示,用户界面800被分割为左上区域801(如图中a所示)、右上区域802(如图中b所示),左下区域803(如图中c所示)和右下区域804(如图中d所示)。其中,如图中的e所示,左上区域801的右侧部分区域,与右上区域802的左侧部分区域重叠;左上区域801的下侧部分区域,与左下区域803的上侧部分区域重叠;右下区域804的左侧部分区域,与左下区域803的右侧部分区域重叠;右下区域804的上侧部分区域,与右上区域802的下侧部分区域重叠。重叠区域如图中的斜线填充区域。
图10示例性示出了另一种用户界面分割示意图。如图所示,用户界面被分割为左上区域901、右上区域902,左下区域903,右下区域904(如图中a所示),中间水平区域905和中间垂直区域906(如图中b所示)。其中,如图中的c所示,中间水平区域905分别与区域901至904部分重叠,中间水平区域906分别与区域901至904部分重叠。重叠区域如图中的斜线填充区域。
按照上述图9或图10所示的方法进行用户界面切割后,可以按照扫描时,直播电视频道会按照右下、左下、右上、左上的顺序进行图形识别码的识别识别调用。在智能电视应用场景中,其播放的画面(比如直播电视画面)一般只包含一个图形识别码,并且通常显示在画面右下角位置,因此只要在某个区域识别得到一个图形识别码,即可结束对所有区域的扫描识别过程。
可选地,为了保证识别效率,可用不同的线程实现对不同区域的扫描和识别,以实现并行处理。
以上图9和图10仅为示例,还可采用其他分割方式对用户界面进行分区扫描以识别其中包含的图形识别码。
可选地,在本申请的一些实施例中,对用户界面进行切割,得到至少两个区域后,在进行图形识别码进行识别之前,还可以分别将每个区域中的用户界面转换为灰度图像。转换为灰度图像后,可减少图像噪声,并可以降低识别过程中对设备的内存消耗,从而有利于图形识别码的扫描和识别。
可选地,在本申请的一些实施例中,对用户界面进行切割,得到至少两个区域后,或者对切割得到的区域中的用户界面转换为灰度图像后,还可以分别对每个区域中的用户界面进行放大,从而有利于图形识别码的扫描和识别。
在一些实施例中,图形识别码可以为二维码,条形码等其他条码,用于扫描后展示推荐相关的信息。
在一些实施例中,当用户想识别当前画面中的二维码时,可以触发截图指令输入,获取当前画面的截图图片,然后识别该截图图片中的二维码,获取URL信息,再根据URL信息绘制出清晰的目标二维码来,供用户识别。
如图11,在当前画面中呈现推荐内容相关的二维码供用户识别。
推荐内容根据播放内容,关联更多的服务。
在一些实施例中,当显示设备正在播放视频内容时,推荐内容可以供用户的移动设备扫描后,在移动设备上进行关联。
在一些实施例中,当显示设备正在播放广告内容时,推荐内容可以供用户的移动设备扫描后,直接在移动设备上呈现产品详情或者付款页面,也可以在移动设备上呈现与客服的聊天界面,或者商品厂家官网。
在一些实施例汇总,当显示设备上正在播放央视节目时,推荐内容可以供用户的移动设备扫描后,获取红包福利等。
当用户在当前画面中扫描二维码时,由于用户与电视的观看距离较远,而且用户也无法在显示设备上放大二维码信息,供移动设备扫描。因此,容易出现无法识别,或者识别出错的情况。
因此,本申请可以提供一种显示设备,当当前界面上存在二维码信息时,接收用户的用于获取当前界面中二维码的指令输入,识别所述当前界面中的二维码。
在一些实施例中,用户输入的获取当前界面中的二维码指令可以为截图指令,显示设备获取该截图指令后,或者当前画面的截图图片,显示根据该截图图片,进行二维码识别。
在二维码识别的过程中,可以通过图像二值化以及对二维码轮廓进行定位的方法,当然也可以是其他方法,快速找到截图图片中的二维码。
定位到截图图片中的二维码位置时,对其进行识别,解析出其所对应的网络地址,即URL(Uniform Resource Locator,统一资源定位符),并根据该URL值,描绘目标二维码,该目标二维码与截图图片中的二维码具有相同的URL值,因此,关联内容相同。
如图12a,显示器上除了显示当前画面,还显示识别内容显示层,该识别内容显示层浮于当前画面,在识别内容显示层上,显示新生成的目标二维码作为目标识别码。
在一些实施例中,当前画面也可以继续播放视频内容。
在一些实施例中,当前画面也可以暂停播放视频内容。
如图12b,识别内容显示层还可以呈现识别到的当前画面中的对象,并呈现与对象先关联的缩略图,或者呈现与对象相关联的关键词。当用户通过选择器选择该缩略图或者关键词时,在显示器上可以对应的呈现与该缩略图或者关键词的相关联的推荐内容。
在一些实施例中,推荐内容可以包括:与所述对象识别内容相关的至少一个种类的内容推荐、与所述种类的内容推荐相关的内容简述、以及所述种类的内容推荐中内容来源的一个或多个。
在一些实施例中,响应于选择所述种类的内容推荐的用户输入,激活与所述种类的内容推荐相关联的筒仓所对应的服务或应用程序。
在一些实施例中,所述服务或应用程序为网页类应用程序、视频类应用程序、电视节目类应用程序、购物类应用程序中的任一种。
在一些实施例中,所述推荐内容为网页类文本推荐、视频点播类推荐、购物类网页链接推荐和应用程序推荐的任一种。
如图13,当用户在识别内容显示层上选择目标二维码时,在显示器上呈现图形识别码显示层,所述图形识别码显示层与当前画面为两个图层,其浮于当前画面呈现。当前画面的可以继续播放视频内容,也可以暂停播放视频内容,不影响图形识别码显示层的显示。
在图形识别码显示层上,目标二维码可以放大显示,以供用户远距离内也可以识别到推荐内容。
在定位二维码的方法中,可以使用图像二值法,通过过滤彩色,仅保留非彩色的像素,再进行阈值化处理。一般情况下,二维码为黑白相间,用于例如黑色表示“1”,白色表示“0”等。另外,也可以通过二维码轮廓定位法,针对电视画面中二维码均为自动生成的,并非手机拍摄,因此,二维码的轮廓为规整的正方形。通过检测轮廓是否接近正方形,也可以判断二维码区域。
在一些实施例中,可以将图像二值法和轮廓定位法相结合,提高判断的准确性。如图14,为快速定位当前画面中二维码的方法。
S1401,对当前画面进行图像二值化,得到最小轮廓区域。
由于电视画面基本以彩色为主,电视电视画面中的二维码均是自动生成的,并非拍摄的,因此二维码像素基本不带彩色信息。以判断像素是否为彩色像素,而进行粗略二维码区域定位。再进行阈值二值化,分割出二维码的区域。
具体的,图像二值化具体流程见图15。
第一步,或者当前画面截图图片,分辨率为W*H;
第二步,创建分辨率为W*H的全黑色二值图;
第三步,逐一判断每一个像素是否为黑白色,如果为黑白色,则进行阈值处理。具体的,计算每一个像素中RGB三个值的最大值maxV和最小值minV的差,值d。如果d>=D,则认为该像素为彩色,直接过滤。如果d<D(D为常量,是一个经验值, 通常不大于30),则认为该像素为黑白色,。判断maxV是否小于T(T为常量,是一个经验值,通常为80~180),则将二值图中,与该像素同一位置的像素置为白色。
第四步,输入最终的二值图。
S1402,判断图像轮廓是否接近正方形。
由于电视画面基本以彩色像素为主,电视画面中的二维码均是自动生成的,并非拍摄的,因此二维码区域均接近正方形。对每一个轮廓逐一判断是否接近正方形,接近正方形则认为是二维码区域,将该轮廓的矩形包围框加入二维码区域列表中。
具体的,如图16,第一步:计算轮廓的矩形包围框,计算该矩形包围框的宽高,分别为w、h;
第二步:计算w与h的比例r,r=w/h;
第三步:如果r-1<R且1-r<R(R为常量,R为经验值,通常为0~0.3之间),则认为该矩形包围框接近正方形,继续执行Step4;否则认为该轮廓不接近正方形,流程结束;
第四步:计算轮廓的面积area1,与该轮廓的矩形包围框的面积area2,计算其面积比d,d=area1/area2;
第五步:如果Step4计算的d>D(D为常量,D为经验值,通常为0.7~0.95之间),则认为该轮廓接近正方形,否则该轮廓不接近正方形。
S1403,输出二维码位置,基于该位置处的二维码信息识别对应的URL信息。
在检测出二维码位置后,可基于该位置处的二维码信息进行识别,获取与其相关联的URL信息。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种显示设备,其特征在于,包括:
显示器,该显示器被配置为显示用户界面;
存储器;
与所述显示器通信的控制器,所述控制器被配置为执行呈现用户界面:
当当前画面中存在图形识别码时,响应于用户用于获取用户界面中图形识别码的指令输入,识别所述当前界面中的图形识别码;
在所述显示器上呈现识别内容显示层,其中,所述识别内容显示层呈现目标图形识别码,所述目标图形识别码与所述当前画面中的识别码图案不同,所述目标图形识别码关联的信息与所述用户界面中图形识别码关联的信息相同;
当当前画面中无图形识别码时,响应于用户用于获取用户界面中图形识别码的指令输入,不显示式所述目标图形识别码。
2.根据权利要求1所述的显示设备,其特征在于,所述控制器被配置为:
响应于用户通过选择器选择所述目标图形识别码的指令输入,在显示器上图形识别码显示层,所述图形识别码显示层放大显示所述目标图形识别码。
3.根据权利要求1所述的显示设备,其特征在于,所述控制器被配置为:
确定所述图形识别码在所述当前画面中的位置,识别所述图形识别码对应的URL信息,根据所述URL信息生成所述目标图形识别码。
4.根据权利要求1所述的显示设备,其特征在于,所述控制器确定所述图形识别码在所述当前画面中的位置,被具体配置为:
对当前画面的进行图像二值化,逐轮进行轮廓检测,当检测到轮廓区域为图形识别码类别区域时,生成图形识别码轮廓框列表。
5.根据权利要求4所述的显示设备,其特征在于,所述控制器对当前画面进行图形二值化,被进一步配置为:
遍历所述当前画面中的像素点,判断所述像素点的RGB值中最大值和最小值的差值d,当所述像素点的二值信息满足预设条件,则输出二值图。
6.根据权利要求1-5中任一项所述的显示设备,其特征在于,所述图像识别码为二维码。
7.一种图形识别码的识别方法,其特征在于,包括:
当当前画面中存在图形识别码时,响应于用户用于获取用户界面中图形识别码的指令输入,识别所述用户界面中的图形识别码;
在所述显示器上呈现识别内容显示层,其中,所述识别内容显示层呈现目标图形识别码,所述目标图形识别码关联的信息与所述用户界面中图形识别码关联的信息相同;
当当前画面中无图形识别码时,响应于用户用于获取用户界面中图形识别码的指令输入,不对当前画面进行识别。
8.根据权利要求7所述的方法,其特征在于,在在所述显示器上呈现识别内容显示层,其中,所述识别内容显示层呈现与目标图形识别码之后,还包括:
响应于用户通过选择器选择所述目标图形识别码的指令输入,在显示器上图形识别码显示层,所述图形识别码显示层放大显示所述目标图形识别码。
9.根据权利要求1所述的方法,其特征在于,所述当当前画面中有图形识别码时,响应于用户用于获取用户界面中图形识别码的指令输入,识别所述用户界面中的图形识别码,具体包括:
确定所述图形识别码在所述当前画面中的位置,识别所述图形识别码对应的URL信息,根据所述URL信息绘制出所述目标图形识别码。
10.一种计算机存储介质,所述计算机存储介质中存储有计算机程序指令,当所述指令在计算机上运行时,使得所述计算机执行如权利要求7-9中任一项所述的方法。
CN202010065913.7A 2020-01-20 2020-01-20 图形识别码的识别方法和显示设备 Pending CN111163343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010065913.7A CN111163343A (zh) 2020-01-20 2020-01-20 图形识别码的识别方法和显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010065913.7A CN111163343A (zh) 2020-01-20 2020-01-20 图形识别码的识别方法和显示设备

Publications (1)

Publication Number Publication Date
CN111163343A true CN111163343A (zh) 2020-05-15

Family

ID=70564598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010065913.7A Pending CN111163343A (zh) 2020-01-20 2020-01-20 图形识别码的识别方法和显示设备

Country Status (1)

Country Link
CN (1) CN111163343A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428707A (zh) * 2020-06-08 2020-07-17 北京三快在线科技有限公司 图形识别码的识别方法、装置、存储介质及电子设备
CN113805738A (zh) * 2020-06-12 2021-12-17 海信视像科技股份有限公司 一种控制按键的自定义设置方法、启动方法及显示设备
WO2024020794A1 (zh) * 2022-07-26 2024-02-01 京东方科技集团股份有限公司 一种交互系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6318636B1 (en) * 1999-09-21 2001-11-20 Intermec Ip Corp. Method and apparatus to read different types of data carriers, such RFID tags and machine-readable symbols, and a user interface for the same
CN101005485A (zh) * 2006-12-14 2007-07-25 钟杨 一种信息资源地址压缩编码的方法及系统
CN103996063A (zh) * 2014-06-12 2014-08-20 北京金山网络科技有限公司 一种数据处理方法及装置
CN104703020A (zh) * 2015-03-17 2015-06-10 北京酷云互动科技有限公司 二维码的处理方法、装置和视频播放设备
US20180048929A1 (en) * 2015-08-31 2018-02-15 Tencent Technology (Shenzhen) Company Limited Method and apparatus for displaying information-presentation-item, and multimedia playback device
CN108322806A (zh) * 2017-12-20 2018-07-24 青岛海信电器股份有限公司 智能电视及电视画面截图的图形用户界面的显示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6318636B1 (en) * 1999-09-21 2001-11-20 Intermec Ip Corp. Method and apparatus to read different types of data carriers, such RFID tags and machine-readable symbols, and a user interface for the same
CN101005485A (zh) * 2006-12-14 2007-07-25 钟杨 一种信息资源地址压缩编码的方法及系统
CN103996063A (zh) * 2014-06-12 2014-08-20 北京金山网络科技有限公司 一种数据处理方法及装置
CN104703020A (zh) * 2015-03-17 2015-06-10 北京酷云互动科技有限公司 二维码的处理方法、装置和视频播放设备
US20180048929A1 (en) * 2015-08-31 2018-02-15 Tencent Technology (Shenzhen) Company Limited Method and apparatus for displaying information-presentation-item, and multimedia playback device
CN108322806A (zh) * 2017-12-20 2018-07-24 青岛海信电器股份有限公司 智能电视及电视画面截图的图形用户界面的显示方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428707A (zh) * 2020-06-08 2020-07-17 北京三快在线科技有限公司 图形识别码的识别方法、装置、存储介质及电子设备
CN113805738A (zh) * 2020-06-12 2021-12-17 海信视像科技股份有限公司 一种控制按键的自定义设置方法、启动方法及显示设备
CN113805738B (zh) * 2020-06-12 2023-11-14 海信视像科技股份有限公司 一种控制按键的自定义设置方法、启动方法及显示设备
WO2024020794A1 (zh) * 2022-07-26 2024-02-01 京东方科技集团股份有限公司 一种交互系统

Similar Documents

Publication Publication Date Title
CN109618206B (zh) 呈现用户界面的方法和显示设备
CN110996136B (zh) 视频资源的显示方法及装置
CN113259741B (zh) 一种剧集经典看点的展示方法及显示设备
CN111752518A (zh) 一种显示设备投屏方法及显示设备
CN111131898B (zh) 播放媒体资源的方法、装置、显示设备及存储介质
CN112073762B (zh) 基于多系统显示设备的信息获取方法及多系统显示设备
US11425466B2 (en) Data transmission method and device
CN111343512B (zh) 信息获取方法、显示设备及服务器
CN111405338A (zh) 一种智能画质的切换方法及显示设备
CN111163343A (zh) 图形识别码的识别方法和显示设备
CN111176603A (zh) 一种用于显示设备的图像显示方法及显示设备
CN111726673B (zh) 一种频道切换方法及显示设备
CN111654732A (zh) 一种广告播放方法及显示设备
CN111954059A (zh) 屏保的展示方法及显示设备
CN111857502A (zh) 一种图像显示方法及显示设备
CN112783380A (zh) 显示设备和方法
CN113347413A (zh) 一种窗口位置检测方法及显示设备
CN109922364B (zh) 一种显示设备
CN111857363A (zh) 一种输入法交互方法及显示设备
CN113495711A (zh) 显示设备和显示方法
CN113141532B (zh) 图形识别码的识别方法和显示设备
CN113259733B (zh) 一种显示设备
CN111259639B (zh) 一种表格的自适应调节方法及显示设备
CN112367550A (zh) 一种媒资列表多标题动态展示的实现方法及显示设备
CN112004127A (zh) 一种信号状态显示方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200515