CN111343512B - 信息获取方法、显示设备及服务器 - Google Patents

信息获取方法、显示设备及服务器 Download PDF

Info

Publication number
CN111343512B
CN111343512B CN202010080037.5A CN202010080037A CN111343512B CN 111343512 B CN111343512 B CN 111343512B CN 202010080037 A CN202010080037 A CN 202010080037A CN 111343512 B CN111343512 B CN 111343512B
Authority
CN
China
Prior art keywords
target
area
image
characters
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010080037.5A
Other languages
English (en)
Other versions
CN111343512A (zh
Inventor
王宝云
赵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juhaokan Technology Co Ltd
Original Assignee
Juhaokan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juhaokan Technology Co Ltd filed Critical Juhaokan Technology Co Ltd
Priority to CN202010080037.5A priority Critical patent/CN111343512B/zh
Publication of CN111343512A publication Critical patent/CN111343512A/zh
Application granted granted Critical
Publication of CN111343512B publication Critical patent/CN111343512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Abstract

本申请公开了一种信息获取方法、显示设备及服务器,属于电子技术领域。所述方法包括:确定显示屏显示的图像中第一区域中的待识别对象;确定显示屏显示的图像中第二区域的文字所指示的目标多媒体文件;根据待识别对象,确定目标多媒体文件相关的多个对象中的至少一个备选对象,备选对象的类型与待识别对象的类型相同;确定至少一个备选对象中的目标对象,目标对象的特征与待识别对象的特征的相似度大于相似度阈值;控制显示屏显示目标对象的介绍信息。本申请解决了智能电视根据影片的海报中对象的特征对该对象进行识别的精准度较低的问题。本申请用于获取信息。

Description

信息获取方法、显示设备及服务器
技术领域
本申请涉及电子技术领域,特别涉及一种信息获取方法、显示设备及服务器。
背景技术
随着电子技术的发展,智能电视的功能越来越丰富。
智能电视可以显示多个影片的海报,用户可以根据该多个影片的海报选择观看的影片。进一步地,智能电视可以具有图像检索功能,用户可以通过该图像检索功能获取该多个影片的更多信息,以在该多个影片中选择观看更感兴趣的影片。示例地,用户可以触发智能电视截取其显示的图像,该图像可以包括多个影片的海报。通常影片的海报包括多个对象(如影片的出演人员),智能电视可以根据影片的海报中对象的特征(如人物的人脸特征)对该对象进行识别,并得到对象的信息(如人物的年龄、身高以及出演剧目等)。如此用户可以根据得到的对象的信息挑选到更加符合用户兴趣的影片。
但是,智能电视单纯根据影片的海报中对象的人脸特征对该对象进行识别的精准度较低。
发明内容
本申请提供了一种信息获取方法、显示设备及服务器,可以解决智能电视根据影片的海报中对象的特征对该对象进行识别的精准度较低的问题。所述技术方案如下:
一方面,提供了一种信息获取方法,所述方法包括:
确定显示屏显示的图像中第一区域中的待识别对象;
确定所述显示屏显示的图像中第二区域的文字所指示的目标多媒体文件;
根据所述待识别对象,确定所述目标多媒体文件相关的多个对象中的至少一个备选对象,所述备选对象的类型与所述待识别对象的类型相同;
确定所述至少一个备选对象中的目标对象,所述目标对象的特征与所述待识别对象的特征的相似度大于相似度阈值;
控制所述显示屏显示所述目标对象的介绍信息。
另一方面,提供了一种信息获取方法,所述方法包括:
接收显示设备发送的截屏图像;
识别所述截屏图像中的人脸;并识别所述截屏图像中的文字,所述文字用于在预设数据库中筛选和所述文字相对应的人物的特征数据;
将所述人脸的特征数据和所述文字相对应的人物的特征数据相比对,识别出所述文字相对应的人物中的目标人物;
将所述目标人物的信息发送给所述显示设备,以使所述显示设备显示所述目标人物的信息。
再一方面,提供了一种信息获取方法,所述方法包括:
在显示音像文件对应的图像时,接收用户输入的截屏指令;
根据所述截屏指令对当前显示的音像文件对应的图像进行截屏以生成截屏图像;
识别所述截屏图像中的人脸;并识别所述截屏图像中的文字,所述文字用于在预设数据库中筛选和所述文字相对应的人物的特征数据;
将所述人脸的特征数据和所述文字相对应的人物的特征数据相比对,识别出所述文字相对应的人物中的目标人物;
显示所述目标人物的信息。
又一方面,提供了一种显示设备,所述显示设备包括:显示屏,以及与所述显示屏通信的控制器;所述控制器用于执行上述的信息获取方法。
又一方面,提供了一种服务器,所述服务器与显示设备通信连接,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令在被所述处理器执行时实现上述的信息获取方法。
本申请提供的技术方案带来的有益效果至少包括:
本申请实施例提供的信息获取方法中,可以确定显示屏显示的第二区域的文字所指示的目标多媒体文件,再确定目标多媒体文件相关的至少一个备选对象,进而在该至少一个备选对象中确定目标对象,且目标对象的特征与待识别对象的特征的相似度大于相似度阈值。由于显示屏显示的第一区域中的待识别对象与第二区域的文字所指示的目标多媒体文件的关联性较大,待识别对象属于该至少一个备选对象的概率较大,故在该目标多媒体文件相关的至少一个备选对象中确定的目标对象的精准性较高,对待识别对象进行识别的精准度较高。
并且,由于仅需确定该至少一个备选对象的特征与待识别对象的特征的相似度,故仅需确定较少的相似度就可以对待识别对象进行识别,简化了识别待识别对象的过程,提高了识别待识别对象的速率。
附图说明
图1是本申请实施例提供的一种信息获取系统的示意图;
图2是本申请实施例提供的一种显示设备的硬件配置框图;
图3是本申请实施例提供的一种控制设备的配置框图;
图4是本申请实施例提供的一种显示设备功能配置示意图;
图5是本申请实施例提供的一种显示设备中软件系统的配置框图;
图6是本申请实施例提供的一种服务器的结构示意图;
图7是本申请实施例提供的一种信息获取方法的流程图;
图8是本申请实施例提供的另一种信息获取方法的流程图;
图9是本申请实施例提供的再一种信息获取方法的流程图;
图10是本申请实施例提供的又一种信息获取方法的流程图;
图11是本申请实施例提供的一种显示屏显示的界面的示意图;
图12是本申请实施例提供的一种第一区域的图像的示意图;
图13是本申请另一实施例提供的一种信息获取方法的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
目前,智能电视的应用越来越广泛。智能电视搭载有操作系统,且智能电视中可以安装有多个应用程序以丰富智能电视的功能,满足用户多样化和个性化的需求。通常智能电视可以同时显示多个影片的海报,进而用户可以选定某个海报以触发智能电视播放该海报对应的影片。为了辅助用户在该多个影片中选择更加感兴趣的影片,智能电视可以提取显示的海报中各个对象(如人物)的特征,进而将海报中每个对象的特征与预设数据库中每个对象的特征进行比对,以对海报中的对象进行识别。之后,智能电视可以显示识别到的对象的介绍信息,如此用户可以获知关于影片的更多信息,进而可以根据这些信息确定想要观看的影片。由于影片的数量越来越多,与影片相关的对象(如演员)也越来越多,通常预设数据库中的对象包括演艺圈中大多演员的特征,故预设数据库中的对象数量非常庞大,可能达到成千上万。因此,在对海报中的对象进行识别的时候需要进行的特征比对的次数较多,且特征比对的过程较为复杂,使得对海报中的对象的识别速率较低。
另外,由于获取的海报为智能电视显示的一个画面中的部分区域的图像,该海报的面积较小,该海报的分辨率较低,且通常海报中存在多个对象,如此使得智能电视提取的每个对象的特征均较少。预设数据库中具有该特征的对象可能较多,故智能电视根据该对象较少的特征在庞大的预设数据库中进行匹配,能够匹配到的对象较多,智能电视无法精准地确定海报中的对象为预设数据库中的哪个对象,也即是智能电视对海报中的对象的识别精准度较低。
本申请以下实施例提供了一种信息获取方法、显示设备及服务器,显示设备或服务器通过执行该信息获取方法可以提高对海报中的对象的识别精准度,且提高对该对象进行识别的速率。
本申请实施例提供的显示设备可以为液晶显示器、OLED显示器或投影显示设备。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备可以根据需要做性能和配置上一些改变。显示设备可以为电视产品,显示设备可以提供广播接收电视功能,还可以附加提供计算机支持功能的智能网络电视功能。示例的,显示设备可以包括网络电视、智能电视以及互联网协议电视(Internet Protocol Television,IPTV)等。可选地,显示设备还可以为移动终端、平板电脑、计算机、笔记本电脑和其他智能设备。
图1是本申请实施例提供的一种信息获取系统示意图。该信息获取系统可以包括通信连接的显示设备200和服务器400。可选地,当显示设备为电视产品时,该信息获取系统还可以包括与显示设备200通信连接的控制装置100和终端300。如图1所示,用户可通过终端300和控制装置100操作显示设备200。
其中,控制装置100可以是遥控器,包括红外协议通信或蓝牙协议通信,及其他短距离通信方式等,通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键,语音输入、控制面板输入等输入用户指令,来控制显示设备200。如:用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令,来实现控制显示设备200的功能。
在一些实施例中,也可以使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上,在直观的用户界面(User Interface,UI)中为用户提供各种控制。示例的,终端300可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作的和数据通信的目的。如:可以实现用终端300与显示设备200建立控制指令协议,将遥控控制键盘同步到终端300上,通过控制终端300上用户界面,实现控制显示设备200的功能。也可以将终端300上显示音视频内容传输到显示设备200上,实现同步显示功能。
如图1中还示出,显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(Local Area Network,LAN)、无线局域网(Wireless LocalArea Network,WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的,显示设备200通过发送和接收信息,以及电子节目指南(ElectronicProgram Guide,EPG)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器400可以为一组服务器,也可以为多组服务器,可以为一类或多类服务器。通过服务器400可以提供视频点播和广告服务等其他网络服务内容。
需要说明的是,当显示设备为移动终端、平板电脑、计算机、笔记本电脑和其他智能设备时,用户可以直接在显示设备上进行操作以对显示设备进行控制,而无需通过控制设备控制显示设备。
图2是本申请实施例提供的一种显示设备的硬件配置框图。如图2所示,显示设备200中包括控制器210、调谐解调器220、通信接口230、检测器240、输入\输出接口250、视频处理器260-1,音频处理器260-2,显示器280,音频输出270、存储器290,供电电源、红外接收器。
显示器280,用于接收源自视频处理器260-1输入的图像信号,进行显示视频内容和图像以及菜单操控界面的组件。显示器280包括用于呈现画面的显示屏,以及驱动图像显示的驱动组件。显示视频内容,可以来自广播电视内容,也可以是说,可通过有线或无线通信协议接收的各种广播信号。或者,可显示来自网络通信协议接收来自网络服务器端发送的各种图像内容。
同时,显示器280,同时显示显示设备200中产生且用于控制显示设备200的用户操控UI界面。
以及,根据显示器280类型不同,还包括用于驱动显示的驱动组件。或者,倘若显示器280为一种投影显示器,还可以包括一种投影装置和投影屏幕。
通信接口230是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信接口230可以是Wifi芯片231,蓝牙通信协议芯片232,有线以太网通信协议芯片233等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器(图2中未示出)。
显示设备200可以通过通信接口230与外部控制设备或内容提供设备之间建立控制信号和数据信号发送和接收。以及,红外接收器,可用于接收控制装置100(如:红外遥控器等)红外控制信号的接口器。
检测器240,是显示设备200用于采集外部环境或与外部交互的信号。检测器240包括光接收器242,用于采集环境光线强度的传感器,可以通过采集环境光可以自适应性显示参数变化等。
以及包括图像采集器241,如相机、摄像头等,可以用于采集外部环境场景,以及用于采集用户的属性或与用户交互手势,可以自适应变化显示参数,也可以识别用户手势,以实现与用户之间互动的功能。
在其他一些示例性实施例中,检测器240还可温度传感器等,如通过感测环境温度,显示设备200可自适应调整图像的显示色温。如当温度偏高的环境时,可调整显示设备200显示图像色温偏冷色调,或当温度偏低的环境时,可以调整显示设备200显示图像偏暖色调。
在其他一些示例性实施例中,检测器240还可声音采集器等,如麦克风,可以用于接收用户的声音,包括用户控制显示设备200的控制指令的语音信号,或采集环境声音,用于识别环境场景类型,显示设备200可以自适应适应环境噪声。
输入/输出接口250,在控制器210的控制显示设备200与外部其他设备间数据传输。如接收外部设备的视频信号和音频信号、或命令指令等数据。
其中,输入/输出接口250可以包括,但不限于如下:可以高清多媒体接口HDMI接口251、模拟或数据高清分量输入接口253、复合视频输入接口252、USB输入接口254、RGB端口(图2中未示出)等任一个或多个接口。
在其他一些示例性实施例中,输入/输出接口250也可以上述多个接口形成复合性的输入/输出接口。
调谐解调器220,通过有线或无线接收方式接收广播电视信号,可以进行放大、混频和谐振等调制解调处理,从多多个无线或有线广播电视信号中解调出用户所选择电视频道频率中所携带的电视音视频信号,以及EPG数据信号。
调谐解调器220,可根据用户选择,以及由控制器210控制,响应用户选择的电视信号频率以及该频率所携带的电视信号。
调谐解调器220,可以接收信号的途径,根据电视信号广播制式不同,有很多种,诸如:地面广播、有线广播、卫星广播或互联网广播信号等;以及根据调制类型不同,可以数字调制,也可以模拟调制方式。根据接收电视信号种类不同,可以模拟信号和数字信号。
在其他一些示例性实施例中,调谐解调器220也可在外置设备中,如外置机顶盒等。这样,机顶盒通过调制解调后输出电视音视频信号,经过输入/输出接口250输入显示设备200中。
视频处理器260-1,用于将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理,可得到直接可显示设备200上显示或播放的信号。
示例的,视频处理器260-1,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
其中,解复用模块,用于对输入音视频数据流进行解复用处理,如输入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块,则用于对解复用后的视频信号进行处理,包括解码和缩放处理等。
图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。
帧率转换模块,用于对转换输入视频帧率,如将60Hz帧率转换为120Hz帧率或240Hz帧率,通常的格式采用如插帧方式实现。
显示格式化模块,则用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。
音频处理器260-2,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理,得到可以在扬声器中播放的声音信号。
在其他一些示例性实施例中,视频处理器260-1可以包括一颗或多颗芯片组成。音频处理器260-2,也可以包括一颗或多颗芯片组成。
以及,在其他一些示例性实施例中,视频处理器260-1和音频处理器260-2,可以单独的芯片,也可以于控制器210一起集成在一颗或多颗芯片中。
音频输出272,在控制器210的控制下接收音频处理器260-2输出的声音信号,如:扬声器272,以及除了显示设备200自身携带的扬声器272之外,可以输出至外接设备的发生装置的外接音响输出端子274,如:外接音响接口或耳机接口等。
供电电源,在控制器210控制下,将外部电源输入的电力为显示设备200提供电源供电支持。供电电源可以包括安装显示设备200内部的内置电源电路,也可以是安装在显示设备200外部电源,在显示设备200中提供外接电源的电源接口。
用户输入接口,用于接收用户的输入信号,然后,将接收用户输入信号发送给控制器210。用户输入信号可以是通过红外接收器接收的遥控器信号,可以通过网络通信模块接收各种用户控制信号。
示例的,用户通过遥控器100或终端300输入用户命令,用户输入接口则根据用户的输入,显示设备200则通过控制器210响应用户的输入。
在一些实施例中,用户可在显示器280上显示的图形用户界面(Graphical UserInterface,GUI)输入用户命令,则用户输入接口通过图形用户界面接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
控制器210,通过存储在存储器290上中各种软件控制程序,来控制显示设备200的工作和响应用户的操作。
如图2所示,控制器210包括RAM 213和ROM 214以及图形处理器216、CPU处理器212、通信接口218,如:第一接口218-1到第n接口218-n,以及通信总线。其中,RAM213和ROM214以及图形处理器216、CPU处理器212、通信接口218通过总线相连接。
RAM 213,用于存储各种系统启动的指令。如在收到开机信号时,显示设备200电源开始启动,CPU处理器212运行ROM中系统启动指令,将存储在存储器290的操作系统拷贝至RAM213中,以使开始运行启动操作系统。当操作系统启动完成后,CPU处理器212再将存储器290中各种应用程序拷贝至RAM213中,然后,开始运行启动各种应用程序。
图形处理器216,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象。以及包括渲染器,产生基于运算器得到的各种对象,进行渲染的结果显示在显示器280上。
CPU处理器212,用于执行存储在存储器290中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。
在一些示例性实施例中,CPU处理器212,可以包括多个处理器。多个处理器可包括一个主处理器以及多个或一个子处理器。主处理器,用于在预加电模式中执行显示设备200一些操作,和/或在正常模式下显示画面的操作。多个或一个子处理器,用于在待机模式等状态下一种操作。
控制器210可以控制显示设备100的整体操作。例如:响应于接收到用于选择在显示器280上显示UI对象的用户命令,控制器210便可以执行与由用户命令选择的对象有关的操作。
其中,所述对象可以是可选对象中的任何一个,例如超链接或图标。与所选择的对象有关操作,例如:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。用于选择UI对象用户命令,可以是通过连接到显示设备200的各种输入装置(例如,鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
存储器290,包括存储用于驱动显示设备200的各种软件模块。如:存储器290中存储的各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等。
其中,基础模块用于产后护理显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息,并进行数模转换以及分析管理的管理模块。
例如:语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块用于控制显示器280进行显示图像内容的模块,可以用于播放多媒体图像内容和UI界面等信息。通信模块,用于与外部设备之间进行控制和数据通信的模块。浏览器模块,用于执行浏览服务器之间数据通信的模块。服务模块,用于提供各种服务以及各类应用程序在内的模块。
同时,存储器290还用存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
图3是本申请实施例提供的一种控制设备的配置框图。如图3所示,控制设备100包括控制器110、通信接口130、用户输入/输出接口140、存储器190、供电电源180。
控制设备100被配置为控制显示设备200,以及可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。如:用户通过操作控制设备100上频道加减键,显示设备200响应频道加减的操作。
在一些实施例中,控制设备100可是一种智能设备。如:控制设备100可根据用户需求安装控制显示设备200的各种应用。
在一些实施例中,如图1所示,终端300或其他智能电子设备,可在安装操控显示设备200的应用之后,可以起到控制设备100类似功能。如:用户可以通过安装应用,在终端300或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮,以实现控制设备100实体按键的功能。
控制器110包括处理器112和RAM113和ROM114、通信接口130以及通信总线。控制器110用于控制控制设备100的运行和操作,以及内部各部件之间通信协作以及外部和内部的数据处理功能。
通信接口130在控制器110的控制下,实现与显示设备200之间控制信号和数据信号的通信。如:将接收到的用户输入信号发送至显示设备200上。通信接口130可包括WiFi芯片、蓝牙模块、NFC模块等其他近场通信模块中至少之一种。
用户输入/输出接口140,其中,输入接口包括麦克风141、触摸板142、传感器143、按键144等其他输入接口中至少一者。如:用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能,输入接口通过将接收的模拟信号转换为数字信号,以及数字信号转换为相应指令信号,发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中,可以红外接口,也可以是射频接口。如:红外信号接口时,需要将用户输入指令按照红外控制协议转化为红外控制信号,经红外发送模块进行发送至显示设备200。再如:射频信号接口时,需将用户输入指令转化为数字信号,然后按照射频控制信号调制协议进行调制后,由射频发送端子发送至显示设备200。
在一些实施例中,控制设备100包括通信接口130和输出接口中至少一者。控制设备100中配置通信接口130,如:WiFi、蓝牙、NFC等模块,可将用户输入指令通过WiFi协议、或蓝牙协议、或NFC协议编码,发送至显示设备200.
存储器190,用于在控制器110的控制下存储驱动和控制控制设备200的各种运行程序、数据和应用。存储器190,可以存储用户输入的各类控制信号指令。
供电电源180,用于在控制器110的控制下为控制设备100各元件提供运行电力支持。可以电池及相关控制电路。
图4是本申请实施例提供的一种显示设备的功能配置示意图。如图4所示,存储器290用于存储操作系统、应用程序、内容和用户数据等,在控制器210控制下执行驱动显示设备200的系统运行以及响应用户的各种操作。存储器290可以包括易失性和/或非易失性存储器。
存储器290,具体用于存储驱动显示设备200中控制器210的运行程序,以及存储显示设备200内置各种应用程序,以及用户从外部设备下载的各种应用程序、以及与应用相关各种图形用户界面,以及与图形用户界面相关的各种对象,用户数据信息,以及各种支持应用的内部数据。存储器290用于存储OS内核、中间件和应用等系统软件,以及存储输入的视频数据和音频数据、及其他用户数据。
存储器290,具体用于存储音视频处理器260-1和260-2、显示器280、通信接口230、调谐解调器220、检测器240输入/输出接口等驱动程序和相关数据。
在一些实施例中,存储器290可以存储软件和/或程序,用于表示操作系统(OS)的软件程序包括,例如:内核、中间件、应用编程接口(API)和/或应用程序。示例性的,内核可控制或管理系统资源,或其它程序所实施的功能(如所述中间件、API或应用程序),以及内核可以提供接口,以允许中间件和API,或应用访问控制器,以实现控制或管理系统资源。
示例的,存储器290,包括广播接收模块2901、频道控制模块2902、音量控制模块2903、图像控制模块2904、显示控制模块2905、音频控制模块2906、外部指令识别模块2907、通信控制模块2908、光接收模块2909、电力控制模块2910、操作系统2911、以及其他应用程序2912、浏览器模块等等。控制器210通过运行存储器290中各种软件程序,来执行诸如:广播电视信号接收解调功能、电视频道选择控制功能、音量选择控制功能、图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等其他应用。
图5是本申请实施例提供的一种显示设备中软件系统的配置框图。如图5中所示,操作系统2911,包括用于处理各种基础系统服务和用于实施硬件相关任务的执行操作软件,充当应用程序和硬件组件之间完成的数据处理的媒介。一些实施例中,部分操作系统内核可以包含一系列软件,用以管理显示设备硬件资源,并为其他程序或软件代码提供服务。
其他一些实施例中,部分操作系统内核可包含一个或多个设备驱动器,设备驱动器可以是操作系统中的一组软件代码,帮助操作或控制显示设备关联的设备或硬件。驱动器可以包含操作视频、音频和/或其他多媒体组件的代码。示例的,包括显示屏、摄像头、Flash、WiFi和音频驱动器。
其中,可访问性模块2911-1,用于修改或访问应用程序,以实现应用程序的可访问性和对其显示内容的可操作性。
通信模块2911-2,用于经由相关通信接口和通信网络与其他外设的连接。
用户界面模块2911-3,用于提供显示用户界面的对象,以供各应用程序可访问,可实现用户可操作性。
控制应用程序2911-4,用于可控制进程管理,包括运行时间应用程序等。
事件传输系统2914,可在操作系统2911内或应用程序2912中实现,以一些实施例中,一方面在操作系统2911内实现,同时在应用程序2912中实现,用于监听各种用户输入事件,将根据各种事件指代响应各类事件或子事件的识别结果,而实施一组或多组预定义的操作的处理程序。
其中,事件监听模块2914-1,用于监听用户输入接口输入事件或子事件。
事件识别模块2914-1,用于对各种用户输入接口输入各类事件的定义,识别出各种事件或子事件,且将其传输给处理用以执行其相应一组或多组的处理程序。
其中,事件或子事件,是指显示设备200中一个或多个传感器检测的输入,以及外界控制设备(如控制设备100等)的输入。如:语音输入各种子事件,手势识别的手势输入,以及控制设备的遥控按键指令输入的子事件等。示例的,遥控器中一个或多个子事件包括多种形式,包括但不限于按键按上/下/左/右、确定键、按键按住等中一个或组合,以及非实体按键的操作,如移动、按住、释放等操作。
界面布局管理器2913,直接或间接接收来自于事件传输系统2914监听到各用户输入事件或子事件,用于更新用户界面的布局,包括但不限于界面中各控件或子控件的位置,以及容器的大小或位置、层级等与界面布局相关各种执行操作。
图6是本申请实施例提供的一种服务器的结构示意图。该服务器400包括中央处理单元(CPU)401、包括随机存取存储器(RAM)402和只读存储器(ROM)403的系统存储器404,以及连接系统存储器404和中央处理单元401的系统总线405。所述服务器400还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)406,和用于存储操作系统413、应用程序414和其他程序模块415的大容量存储设备407。
所述基本输入/输出系统406包括有用于显示信息的显示器408和用于用户输入信息的诸如鼠标、键盘之类的输入设备409。其中所述显示器408和输入设备409都通过连接到系统总线405的输入输出控制器410连接到中央处理单元401。所述基本输入/输出系统406还可以包括输入输出控制器410以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器410还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备407通过连接到系统总线405的大容量存储控制器(未示出)连接到中央处理单元401。所述大容量存储设备407及其相关联的计算机可读介质为服务器400提供非易失性存储。也就是说,所述大容量存储设备407可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器404和大容量存储设备407可以统称为存储器。
根据本发明的各种实施例,所述服务器400还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器400可以通过连接在所述系统总线405上的网络接口单元411连接到网络412,或者说,也可以使用网络接口单元411来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,中央处理器401通过执行该一个或一个以上程序来实现本申请以下实施例提供的方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器,上述指令可由服务器的处理器执行以完成本发明各个实施例所示的表情图片推荐方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图7是本申请实施例提供的一种信息获取方法的流程图。该方法可以用于图1或图2所示的显示设备,如可以用于该显示设备中的控制器,如图7所示,该方法可以包括:
步骤601、确定显示屏显示的图像中第一区域中的待识别对象。
步骤602、确定显示屏显示的图像中第二区域的文字所指示的目标多媒体文件。
步骤603、根据待识别对象,确定目标多媒体文件相关的多个对象中的至少一个备选对象,备选对象的类型与待识别对象的类型相同。
步骤604、确定至少一个备选对象中的目标对象,目标对象的特征与待识别对象的特征的相似度大于相似度阈值。
步骤605、控制显示屏显示目标对象的介绍信息。
综上所述,本申请实施例提供的信息获取方法中,可以确定显示屏显示的第二区域的文字所指示的目标多媒体文件,再确定目标多媒体文件相关的至少一个备选对象,进而在该至少一个备选对象中确定目标对象,且目标对象的特征与待识别对象的特征的相似度大于相似度阈值。由于显示屏显示的第一区域中的待识别对象与第二区域的文字所指示的目标多媒体文件的关联性较大,待识别对象属于该至少一个备选对象的概率较大,故在该目标多媒体文件相关的至少一个备选对象中确定的目标对象的精准性较高,对待识别对象进行识别的精准度较高。
并且,由于仅需确定该至少一个备选对象的特征与待识别对象的特征的相似度,故仅需确定较少的相似度就可以对待识别对象进行识别,简化了识别待识别对象的过程,提高了识别待识别对象的速率。
图8是本申请实施例提供的一种信息获取方法的流程图。该方法可以用于图1或图2所示的显示设备,如可以用于该显示设备中的控制器,如图8所示,该方法可以包括:
步骤801、在显示屏显示音像文件对应的图像时,接收用户输入的截屏指令。
步骤802、根据截屏指令对当前显示的音像文件对应的图像进行截屏以生成截屏图像。
步骤803、识别截屏图像中的人脸;并识别截屏图像中的文字,该文字用于在预设数据库中筛选和该文字相对应的人物的特征数据。
步骤804、将人脸的特征数据和文字相对应的人物的特征数据相比对,识别出文字相对应的人物中的目标人物。
步骤805、控制显示屏显示目标人物的信息。
综上所述,本申请实施例提供的信息获取方法中,可以识别截屏图像中的文字以在预设数据库中筛选和该文字相对应的人物的特征数据,进而将人脸的特征数据和文字相对应的人物的特征数据相比对,确定文字相对应的人物中目标人物的信息。由于截屏图像中的人脸与截屏图像中的文字相对应的人物的关联性较大,该人脸属于该文字对应的人物的概率较大,故在该文字相对应的人物中确定的目标对象的精准性较高,对截屏图像中的人脸进行识别的精准度较高。
并且,由于仅需比对人脸的特征数据与该文字对应的人物的特征数据,故仅需确定进行的比对次数较少,简化了识别截屏图像中的人脸进行识别的过程,提高了人脸识别的速率。
图9是本申请实施例提供的再一种信息获取方法的流程图。该方法可以用于图1或图6所示的服务器,如图9所示,该方法可以包括:
步骤901、接收显示设备发送的截屏图像。
步骤902、识别截屏图像中的人脸;并识别截屏图像中的文字,该文字用于在预设数据库中筛选和该文字相对应的人物的特征数据。
步骤903、将人脸的特征数据和该文字相对应的人物的特征数据相比对,识别出该文字相对应的人物中目标人物。
步骤904、将目标人物的信息发送给显示设备,以使显示设备显示目标人物的信息。
综上所述,本申请实施例提供的信息获取方法中,服务器可以识别截屏图像中的文字以在预设数据库中筛选和该文字相对应的人物的特征数据,进而将人脸的特征数据和文字相对应的人物的特征数据相比对,确定文字相对应的人物中目标人物的信息。由于截屏图像中的人脸与截屏图像中的文字相对应的人物的关联性较大,该人脸属于该文字对应的人物的概率较大,故在该文字相对应的人物中确定的目标对象的精准性较高,对截屏图像中的人脸进行识别的精准度较高。
并且,由于仅需比对人脸的特征数据与该文字对应的人物的特征数据,故仅需确定进行的比对次数较少,简化了识别截屏图像中的人脸进行识别的过程,提高了人脸识别的速率。
图10是本申请实施例提供的又一种信息获取方法的流程图。该方法可以用于图1或图2所示的显示设备,如可以用于该显示设备中的控制器,如图10所示,该方法可以包括:
步骤701、获取显示屏显示的图像中第一区域的图像。
可选地,显示设备可以具有截屏功能,也即是截取显示设备的显示屏显示的图像的功能。在显示屏显示图像时,用户可以控制显示设备启用该截屏功能,使得控制器获取显示屏显示的图像,进而获取该图像中第一区域的图像。示例地,控制器可以接收用户输入的截屏指令。用户可以通过图1所示的控制设备100向显示设备的控制器发送截屏指令,以使得控制器根据该截屏指令获取显示设备显示的图像。示例地,显示屏显示的图像可以包括音像文件对应的图像,控制器可以根据该截屏指令对当前显示的音像文件对应的图像进行截屏以生成截屏图像。该音像文件属于多媒体文件,该多媒体文件可以包括电影、电视剧、音乐、游戏以及小说等,该音像文件可以包括电影和电视剧等。音像文件对应的图像可以包括该音像文件的海报。
图11是本申请实施例提供的一种显示屏显示的界面的示意图,且图11以显示设备为智能电视为例。如图11所示,显示设备的显示屏上可以显示有截屏图标T,且显示设备的显示屏上还可以显示有选择框K以及多个视图显示区Q1,每个视图显示区Q1中可以显示一个或一类多媒体文件的海报。可选地,图11所示的显示屏显示的界面可以为智能电视显示的首页界面。需要说明的是,本申请实施例中仅以显示屏中多个视图显示区以图11所示的该种排布方式排布为例,该多个视图显示区的排布方式也可以任意变换。
用户可以通过按压遥控器(也即是控制设备)上的按键以控制选择框向左、向右、向上或向下移动,进而使得该选择框K框住显示屏的界面上显示的不同的图标或者视图显示区。当该选择框K框住截屏图标T后,用户可以在遥控器上执行选定操作(如按压遥控器上的确定按键),以触发遥控器向显示设备的控制器发送截屏指令。进而,控制器可以根据该截屏指令获取显示屏显示的图像,该图像可以包括显示屏当前界面上显示的所有内容。当控制器获取到显示屏显示的图像(也即是截屏图像)时,控制器可以确定该截屏图像中的各个视图显示区,以截取截屏图像中各个视图显示区的图像(如根据该各个视图显示区对该图像进行分割),得到多个视图显示区的图像。可选地,每个视图显示区可以为截屏图像中的部分区域。该每个视图显示区可以为一个第一区域,故可以得到多个第一区域的图像。
可选地,控制器可以对截屏图像进行边缘检测,进而确定截屏图像中被多个边(如四个边)包围的各个区域,进而将每个区域确定为一个视图显示区;又可选地,控制器也可以识别截屏图像中颜色单一小且呈网格状的连续区域,进而将每个网格所包围的区域确定为一个视图显示区;或者控制器也可以根据其他方式确定视图显示区,本申请实施例对此不做限定。
可选地,显示屏上也可以不显示截屏图标,用户可以通过按压遥控器上的指定按键,以触发遥控器向显示设备的控制器发送截屏指令。可选地,若在选择框框住某视图显示区之后,控制器接收到截屏指令,则控制器也可以仅截取该视图显示区中显示的图像。也即是控制器也可以直接获取显示屏显示的图像中一个第一区域的图像,而无需获取显示屏显示的图像中的全部内容。
可选地,当显示屏仅显示一个视图显示区,如显示屏正在播放某影片时,控制器可以直接确定显示屏显示的图像中的全部区域为第一区域,进而直接截取显示屏显示的图像而无需对该图像再进行分割。
步骤702、确定第一区域的图像中的待识别对象。
可选地,控制器在获取到第一区域的图像之后,可以确定第一区域的图像中的待识别对象。示例地,控制器可以先初步确定第一区域的图像中待识别对象的类型。如控制器可以将第一区域的图像分别输入多个支持向量机(Support Vector Machine,SVM),以分别对不同类型的待识别对象进行区分,每个支持向量机可以对一种类型的对象进行识别。可选地,待识别对象的类型可以包括:人物、动物、建筑物或植物等。可选地,第一区域的图像中待识别对象的类型也可以为预先设定的类型,本申请实施例对此不做限定。
可选地,当根据显示屏显示的图像确定出多个第一区域的图像时,控制器可以并行处理该多个第一区域的图像,且该多个第一区域的图像的处理过程相同。需要说明的是,本申请实施例仅对一个第一区域的图像进行处理的过程进行解释说明,且本申请以下实施例均以第一区域的图像中待识别对象为人物为例进行解释说明。
示例地,控制器在确定第一区域的图像后,可以检测第一区域的图像中的人脸区域,也即是识别第一区域的图像中的人脸。如可以采用多任务卷积神经网络(Multi-taskconvolutional neural network,MTCNN)模型检测第一区域的图像中的人脸区域。该人脸检测模型主要采用了三个级联的网络。这三个级联的网络分别是生成人脸的候选区域的建议网络(Proposal Network,P-Net)、用于过滤非人脸区域的提炼网络(Refine Network,R-Net)和生成最终人脸区域以及人脸关键点的输出网络(Output Network,O-Net)。
步骤703、确定显示屏显示的图像中第二区域的文字。
显示屏显示的图像中还可以包括文字。如显示屏显示的图像除了包括第一区域还可以包括第二区域,第一区域与第二区域相对应,该第二区域的图像中包含文字。以下将第二区域的图像中包含的文字称为第二区域的文字。该第二区域的文字可以包括第一区域的图像对应的多媒体文件的标识,用于指示第一区域的图像对应的多媒体文件,该第二区域的文字也可以包括第一区域的图像中的待识别对象的标识。示例地,当第一区域的图像中的待识别对象为人物时,该第二区域的文字可以用于在预设数据库中筛选和该第二区域的文字相对应的人物的特征数据。该预设数据库可以包括多个人物的特征数据,该特征数据可以包括人脸特征。可选地,该特征数据还可以包括其他指示人物身份的特征。本申请以下实施例中将特征数据简称为特征。
可选地,该第二区域可以位于第一区域内,或者该第二区域也可以位于第一区域外。示例地,控制器可以对显示屏显示的图像进行检测,确定各个视图显示区周围是否还存在显示有文字的区域,进而确定第一区域之外是否存在第二区域。当确定各个视图显示区周围存在显示有文字的区域时,确定第二区域位于第一区域外。当确定各个视图显示区周围不存在显示有文字的区域时,确定第二区域位于第一区域内。
在一种可选情况中,第二区域位于第一区域外,此时控制器可以对显示屏显示的图像进行分割得到至少一个第二区域的图像。可选地,控制器可以对显示屏显示的图像进行一次分割,进而同时得到第一区域的图像以及第二区域的图像。控制器可以直接对第二区域的图像进行文字识别,以确定第二区域的文字。
示例地,第二区域位于第一区域外指定位置。如第二区域可以位于第一区域周围的指定方向上,如第二区域可以位于第一区域的下方、上方、左方或右方。并且第二区域可以包括第一区域的指定方向上指定宽度的区域,且第一区域与第二区域的间隔可以小于间隔阈值,如第二区域可以紧挨第一区域。例如,请继续参考图11,该显示屏显示的图像可以包括第二区域Q2,该第二区域Q2可以包括第一区域Q1下方至少一个字符宽度的区域。该第二区域Q2中的文字可以指示第一区域的图像对应的多媒体文件;如第一区域Q1中的图像为影片张三历险记的海报,该第二区域Q2中的文字可以为影片张三历险记的标识,该标识可以为影片名“张三历险记”。
在另一种可选情况中,第二区域位于第一区域内,此时由于第一区域中的文字的样式、字体、颜色、风格以及角度等均与标准的印刷字体有较大差异,故可以借助场景文本检测(scene detection text)技术,先从第一区域的图像中获取第二区域(也即是文本区域)的图像,然后根据需求对该第二区域的图像进行旋转、变形或去噪等处理,获取到便于进行文字识别的图像。进而控制器可以对处理后的该图像进行文字识别。
示例地,场景文本检测技术可以包括连接文本提议网络(Connectionist TextProposal Network,CTPN)算法、切片连接(SegLink)算法和高效准确的场景文本检测(Efficient and Accurate Scene Text detectionpipeline,EAST)算法等,其中EAST算法基于全卷积(Fully Convolutional Networks,FCN)网络和非极大抑制(nonmaximumsuppression,NMS)技术进行场景文本区域检测,能够有效消除多阶段调优问题。EAST算法的改进算法AdvanceEAST算法更适用于对短文本和长文本的识别,对文本区域具有更好的检测效果。本申请实施例中采用Advance EAST算法在第一区域的图像中确定第二区域的图像。其中,Advance EAST模型(也即是采用Advance EAST算法的模型)为以VGG模型作为网络主干结构,且基于Keras高层神经网络库构建的深度网络模型。示例地,可以从媒资数据库中获取包含场景文本的海报,并对海报中的文本位置进行标注,进而将标注文本位置的这些海报结合文档分析与识别国际会议(International Conference onDocument Analysis and Recognition,ICDAR)数据集组成训练集。采用该训练集训练AdvanceEAST模型,以使得训练完成后的AdvanceEAST模型可以根据输入的海报确定该海报中的文本区域。
控制器可以预先启动AdvanceEAST模型。由于AdvanceEAST模型可以对固定尺寸的图像进行处理,而第一区域的图像的尺寸可能与该固定只存不同,故在确定第一区域的图像后,控制器可以将第一区域的图像的尺寸变换为该固定尺寸。在该AdvanceEAST模型检测到第一区域的图像中的文本区域后,控制器可以提取第一区域的图像中该文本区域的内容,进而得到文本区域的图像(也即是第二区域的图像)。控制器还可以检测该文本区域的图像的倾斜角度,若该文本区域的图像倾斜,则控制器可以将该文本区域的图像进行旋转,以对该文本区域的图像的倾斜角度进行校正。由于文本区域的图像除包含文字之外还可能包含了背景以及多余的图形,因此控制器可以对该文本区域的图像进一步进行去噪(如可以对该图像进行小波变换)处理,进而得到包含较为清晰的文字的文本区域的图像。之后,控制器就可以对经过上述处理之后的文本区域的图像进行文字识别。
可选地,在上述两种可选情况中,控制器均可以采用光学字符识别(OpticalCharacter Recognition,OCR)技术对第二区域的图像进行文字识别,得到第二区域的文字。下面对控制器采用OCR技术对第二区域的图像进行文字识别的具体过程进行介绍:
首先,控制器可以对确定的第二区域的图像进行预处理,以获得更便于文字识别的图像。示例地,控制器可以提高第二区域的图像的分辨率;当该第二区域的图像的清晰度较低时,控制器还可以对该第二区域的图像进行锐化;并且控制器还可以剔除第二区域的图像中的背景,以使得第二区域的图像中的文字部分更加突出。例如,控制器可以通过插值算法将第二区域的图像的分辨率提高至300dpi以上,也即是使图像中每英寸长度的范围内包括至少300个像素点,dpi(Dots Per Inch)指的是图像中每英寸的像素点数。控制器还可以结合Retinex算法剔除第二区域的图像中的背景,将第二区域的图像转换为黑白图像,Retinex算法为一种图像增强算法。
接着,控制器可以基于对预处理后的第二区域的图像通过OCR技术进行文字识别,得到至少一个词组。示例地,一方面,当第二区域位于第一区域外时,第二区域处于固定的位置,且第二区域的文字可以按某一固定方向排列并构成一个词组或句子;控制器可以直接对该第二区域的图像进行文字识别,得到表示一个词组或句子的文字集合。另一方面,当第二区域位于第一区域内时,第二区域的文字可能较多,且分布的可能较为零散,此时控制器可以确定出包括文字的多个区域,第二区域包括该多个区域。控制器可以对该多个区域中每个区域的图像进行文字识别,分别得到每个区域的文字,以得到第二区域的文字。可选地,当对多个区域的图像进行文字识别得到多个单个的文字时,控制器还可以根据该各个区域的位置对识别到的单个文字进行重组,得到表示句子或词组的文字集合。在上述任一方面中,控制器在得到表示句子或词组的文字集合后,可以对该文字集合进行分词处理,将该文字集合中的文字划分为可以用于分类的词组。如可以基于HanLP(Han LanguageProcessing)工具包对文字集合进行分词处理。
例如,图12是本申请实施例提供的一种第一区域的图像的示意图,且假设第二区域位于第一区域内。控制器可以对该第一区域的图像进行文本区域检测,确定第二区域Q2包括图12中虚线框框住的区域。控制器可以对第二区域的图像进行文字识别,如对每个虚线框框住的区域的图像进行文字识别,最终的识别结果可以包括以下多个词组:“张三历险记”,“张三”,“历险记”,“李四”,“王五”和“47集”。
可选地,控制器可以根据第一区域的图像确定第二区域的文字对应的文字库,进而控制器可以根据对应的文字库对第二区域的图像进行文字识别(如将预处理后的第二区域的图像中的文字与该文字库中的文字进行比对),以得到第二区域的文字。
示例地,可以针对某一领域构建专门的文字库,该文字库中的文字均指示该领域相关的对象。示例地,可以针对影视领域构建专门的文字库,该文字库可以包括影视领域中多个对象的标识;例如影视的标识(如影视名或影视标题)、演员的标识(如演员姓名)、导演的标识(如导演姓名)、制片公司的标识(如公司名称)以及剪辑团队的标识等。又示例地,可以针对音乐领域构建专门的文字库,该文字库也可以包括音乐领域中多个对象的标识;例如音乐的标识(如歌曲名)、作词人及作曲人的标识(如姓名)以及制作公司的标识等。构建完成的文字库可以为.traineddata类型的文件,该文字库的后缀名为.traineddata,表示该文字库已训练完成,其中的文字均为对应的领域中对象的标识。
可选地,在构建文字库时,可以将某一领域的媒资中包含文字的图像的格式转换为TIF格式,且当该图像中的文字存在问题(如缺失部分信息,清晰度较低等问题)时,修正该图像的问题,进而将修正后的图像作为训练数据构建文字库。该TIF格式是一种图片处理格式,该种处理格式对图片的压缩最少。需要说明的是,该文字库的构建可以由控制器完成,或者也可以由其他设备完成,控制器仅需获取该文字库即可。
本申请实施例中,由于第二区域的文字用于指示第一区域的图像对应的多媒体文件,故控制器根据第一区域的图像确定的文字库中的文字与第二区域的文字关联性较大,故控制器直接根据对应的文字库对第二区域的图像进行文字识别的精准性较高。且由于无需对其他文字库中的文字进行比对,故对第二区域的图像进行文字识别的速率较高。
步骤704、确定第二区域的文字所指示的目标多媒体文件。
控制器在步骤703中对第二区域的图像进行文字识别,得到第二区域的文字之后,可以确定第二区域的文字所指示的目标多媒体文件。可选地,控制器可以预先确定目标多媒体文件的类型。例如,控制器可以确定显示屏当前显示的界面所属的应用程序,也即是确定当前显示哪个应用程序的界面,进而根据该应用程序的功能确定目标多媒体文件的类型。如控制器确定显示屏当前显示音乐程序的界面,则控制器可以确定目标多媒体文件的类型为音乐;若控制器确定当前显示影视程序的界面,则控制器可以确定目标多媒体文件的类型为影视。
当第二区域位于第一区域外时,控制器可以直接确定第二区域的文字整体为目标多媒体文件的标识,进而控制器可以直接确定第二区域的文字所指示的目标多媒体文件。示例地,目标多媒体文件的类型为影视,第一区域的图像为影视的海报,第二区域的文字包括“张三历险记”,则控制器可以直接确定第二区域的文字所指示的目标多媒体文件为影片张三历险记。
当第二区域位于第一区域内时,第二区域的文字可能不仅包括多媒体文件的标识,还可能包括与多媒体文件相关的其他信息(如多媒体文件的宣传信息或其他对象的标识)。此时,可以对第二区域的文字进行进一步筛选,确定第二区域的文字包括的多媒体文件的标识,进而确定该标识所指示的目标多媒体文件。
示例地,控制器可以确定步骤703中识别得到的词组包括的多媒体文件的标识。如控制器可以将每个词组均输入第一标识识别模型,进而第一标识识别模型可以输出输入的词组中属于多媒体文件的标识的词组。例如,控制器可以将获取的词组“张三历险记”,“张三”,“历险记”,“李四”,“王五”和“47集”均输入第一标识识别模型,进而第一标识识别模型可以输出目标多媒体文件的标识“张三历险记”,如此控制器可以确定目标多媒体文件为影片张三历险记。需要说明的是,第一标识识别模型输出的标识指示的多媒体文件与目标多媒体文件类型相同。该第一标识识别模型可以为支持向量机(Support Vector Machine,SVM)。对于每个类型的多媒体文件均可以获取多个多媒体文件的标识,进而根据这些标识对第一标识识别模型进行训练,以使得第一标识识别模型可以确定输入的文字中的该种类型的多媒体文件的标识。
步骤705、根据待识别对象,确定目标多媒体文件相关的多个对象中的至少一个备选对象,备选对象的类型与待识别对象的类型相同。
当控制器确定目标多媒体文件后,控制器便可以根据步骤702中确定的待识别对象的类型,确定该目标多媒体文件相关的多个对象中的至少一个备选对象。可选地,对于不同类型的多媒体文件,与该多媒体文件相关的对象的类型不同。示例地,若多媒体文件的类型为影视,则与该多媒体文件相关的对象的类型可以包括演员、导演、制片公司、剪辑团队以及拍摄场地等。若多媒体文件的类型为音乐,则与该多媒体文件相关的对象的类型可以包括作词人、作曲人以及制作公司等。
示例地,假设步骤702中控制器获取到确定预先设定的待识别对象的类型为演员,且在步骤704中控制器确定目标多媒体文件的类型为影视,则在步骤705中控制器可以获取目标多媒体文件对应的演员表,并将该演员表中的演员确定为备选对象,进而得到至少一个备选对象。该至少一个备选对象也即是预设数据库中第二区域的文字对应的人物。
需要说明的是,当控制器确定备选对象后,控制器可以获取备选对象的信息。示例地,备选对象的信息可以至少包括备选对象的特征以及介绍信息。例如备选对象为演员,备选对象的特征可以包括人脸特征、身高、肤色以及胖瘦中的至少一个,备选对象的介绍信息可以包括备选对象的国籍、年龄、出演剧目以及人物关系中的至少一个。可选地,控制器可以在知识图谱中查找备选对象的信息。需要说明的是,上述特征及介绍信息所包括的内容可以根据实际情况进行任意更改,本申请实施例对此不做限定。
步骤706、确定待识别对象的辅助特征。
控制器在步骤702中确定待识别对象后,便可以提取该待识别对象的辅助特征,该辅助特征可以为待识别对象具有的任意特征。例如,步骤702中控制器确定待识别对象为人物,则控制器可以确定待识别对象的人脸区域,进而对该人脸区域进行人脸识别,确定待识别对象的肤色、性别、身高、胖瘦以及年龄区域等辅助特征。需要说明的是,该辅助特征还可以包括待识别对象的其他特征,本申请实施例对此不做限定。
步骤707、确定该至少一个备选对象中具有辅助特征的至少一个辅助对象。
当控制器确定待识别对象的辅助特征后,控制器便可以根据该辅助特征对确定的至少一个备选对象进行进一步筛选,得到与待识别对象更相似的至少一个辅助对象。
示例地,控制器可以确定每个备选对象是否具有待识别对象的辅助特征,如确定控制器在步骤705中确定的每个备选对象的信息中是否包括该辅助特征。当某备选对象的信息包括该辅助信息时,控制器可以确定该备选对象具有该辅助特征,进而将该备选对象确定为一个辅助对象。例如当辅助特征为女性时,则控制器可以将至少一个备选对象中的女性作为辅助对象。
步骤708、确定至少一个辅助对象对应的相似度。
需要说明的是,本申请实施例中任一备选对象对应的相似度为:该任一备选对象的特征与待识别对象的特征的相似度,故辅助对象对应的相似度也即是该辅助对象的特征与待识别对象的特征的相似度。其中,确定备选对象的特征与待识别对象的特征的相似度的过程,也即是将备选对象的特征与待识别对象的特征进行比对的过程。
假设本申请实施例中备选对象的特征与待识别对象的特征均为人脸特征。控制器在步骤702中确定待识别对象的人脸区域后,还可以对该人脸区域进行人脸特征提取以确定待识别对象的人脸特征。进而,控制器可以计算该待识别对象的人脸特征与至少一个辅助对象中每个辅助对象的人脸特征的相似度,得到该至少一个辅助对象对应的相似度。
可选地,备选对象可以具有优先级,在确定至少部分备选对象对应的相似度时,根据备选对象的优先级由高到低的顺序,依次确定该至少部分备选对象对应的相似度。优先级相同的备选对象的相似度的确定顺序可以由控制器随机确定。示例地,控制器确定的至少一个备选对象包括某部影片的所有演员,该所有演员中主角的优先级可以高于配角的优先级,或者所有演员的优先级也可以均相同。在步骤708中,该至少部分备选对象包括该至少一个辅助对象,控制器可以按照该至少一个辅助对象的优先级从高到低的顺序,依次确定该至少一个辅助对象对应的相似度。
可选地,控制器可以根据第二区域的文字调整该至少一个备选对象的优先级。可选地,控制器也可以根据第二区域的文字仅调整该至少一个辅助对象(也即是该至少一个备选对象中至少部分备选对象)的优先级,进而根据调整后的优先级确定该至少一个辅助对象对应的相似度。示例地,控制器在步骤703中对第二区域的图像进行文字识别,得到第二区域的文字之后,还可以确定第二区域的文字是否包括任一备选对象的标识。当第二区域的文字包括某一备选对象的标识时,控制器可以提高该备选对象的优先级。如各个备选对象的优先级变化量可以为固定值,或者备选对象的优先级变化量也可以与该备选对象的原优先级大小相关,如备选对象的原优先级与对应的优先级变化量正相关或负相关。
示例地,控制器可以将步骤703中对第二区域的图像进行文字识别得到的每个词组均输入第二标识识别模型,进而第二标识识别模型可以输出输入的词组中属于对象的标识的词组。需要说明的是,第二标识识别模型输出的标识指示的对象与待识别对象的类型相同。该第二标识识别模型可以为支持向量机(Support Vector Machine,SVM)。对于每个类型的对象均可以获取多个该类型的对象的标识,进而根据这些标识对第二标识识别模型进行训练,以使得第二标识识别模型可以确定输入的文字中的该种类型的对象的标识。例如,控制器可以将获取的词组“张三历险记”,“张三”,“历险记”,“李四”,“王五”和“47集”均输入第二标识识别模型,进而第二标识识别模型可以输出对象的标识“张三”,“李四”和“王五”。之后,控制器可以确定这些对象的标识中是否包括备选对象的标识,如控制器确定“李四”和“王五”均为备选对象的标识,进而控制器可以提高备选对象李四以及王五的优先级,以优先计算李四的特征与待识别对象的特征的相似度,以及王五的特征与待识别对象的特征的相似度。
步骤709、确定至少一个辅助对象对应的相似度中是否存在大于相似度阈值的相似度。当至少一个辅助对象对应的相似度中存在大于相似度阈值的相似度时,执行步骤710;当至少一个辅助对象对应的相似度均小于或等于相似度阈值时,执行步骤711。
控制器在确定每个辅助对象对应的优先级之后,均可以将该辅助对象对应低优先级与优先级阈值进行比较,以确定该至少一个辅助对象对应的相似度中是否存在大于相似度阈值的相似度。当辅助对象对应的相似度大于相似度阈值时,控制器才可以确定辅助对象与待识别对象较为相似。示例地,该相似度阈值可以为90%、95%或者其他数值,本申请实施例对此不做限定。
步骤710、将对应最大相似度的辅助对象确定为目标对象。
该目标对象也即是对待识别对象进行识别所得的识别结果。当该至少一个辅助对象对应的相似度中存在大于相似度阈值的相似度时,控制器可以确定对应大于相似度阈值的相似度的辅助对象均有很大可能与待识别对象相同,进而控制器可以确定最有可能与待识别对象相同的目标对象。当显示屏显示的图像为音像文件对应的图像,第一区域的图像中的待识别对象为人物时,该目标对象为目标人物。
步骤711、确定该至少一个备选对象中除该至少一个辅助对象之外的其他对象对应的相似度。执行步骤712。
当该至少一个辅助对象对应的相似度均小于或等于相似度阈值时,控制器可以确定该至少一个辅助对象与待识别对象的相似度均较小,该至少一个辅助对象均不可能与待识别对象相同。进而,控制器可以将待识别对象与该至少一个备选对象中除该至少一个辅助对象之外的其他对象进行匹配,如控制器可以确定待识别对象与每个其他对象的相似度。
可选地,控制器也可以根据该其他对象的优先级从高到低的顺序,依次确定该其他对象对应的相似度。具体关于优先级的介绍可以参考步骤708,本申请实施例不再赘述。
步骤712、当该其他对象对应的相似度中存在大于相似度阈值的相似度时,将对应最大相似度的其他对象确定为目标对象。
需要说明的是,步骤712可以参考步骤710的介绍,本申请实施例不再赘述。
可选地,若该至少一个备选对象对应的相似度中不存在相似度大于相似度阈值的相似度,则控制器可以确定该至少一个备选对象与待识别对象均不同。此时,控制器可以确定预设数据库中除备选对象之外的与待识别对象类型相同的剩余对象,进而确定这些剩余对象对应的相似度,以将这些剩余对象对应的相似度中大于相似度阈值的最大相似度对应的对象确定为目标对象。该预设数据库可以包括与待识别对象类型相同的多个对象的特征及介绍信息。
步骤713、控制显示屏显示目标对象的介绍信息。
当控制器确定目标对象时,控制器便可以确定对待识别对象识别成功,进而控制器可以获取目标对象的信息。如控制器可以在预设数据库中获取该目标对象的信息。进而,控制器控制显示屏显示该目标对象的信息,以便于用户根据该信息对目标多媒体文件进行更进一步的了解,进而选择更感兴趣的多媒体文件。可选地,控制器可以仅获取目标对象的介绍信息,并控制器显示屏显示该介绍信息。
可选地,在显示目标对象的介绍信息时,显示屏可以停止显示当前显示的画面,或者显示屏也可以以当前显示的画面为背景,将目标对象的介绍信息显示在该画面上。可选地,显示屏也可以分别显示第一区域的图像,并在第一区域图像周围,或者第一区域的图像上显示目标对象的介绍信息。可选地,各个目标对象的介绍信息可以通过列表的形式进行显示,或者也可以通过其他方式显示,本申请实施例对此不做限定。
需要说明的是,本申请实施例中各个步骤以图7所示的执行顺序为例,可选地,本申请实施例中各个步骤的顺序也可以根据需求进行相应的调整。如步骤702可以在步骤703或步骤704之后执行,步骤706可以在步骤702之后执行,步骤701和步骤703也可以并行执行。
需要说明的是,本申请实施例中控制器对显示屏显示的图像中第二区域的文字进行识别,获得与第一区域的图像密切相关的文本信息(如目标多媒体文件的标识或待识别对象的标识)。根据该文本信息对预设数据库中的对象进行筛选,确定与待识别对象关联性较大的至少一个备选对象,在该至少一个备选对象中识别待识别对象。如此减少了与待识别对象进行比对的对象数量,且待识别对象与进行比对的对象相同的概率较大,避免了将待识别对象与较多参考价值较低的对象进行比对所浪费的时间,且避免其他与待识别对象相似度较高但是与目标多媒体文件无关的对象被误识别的情况,因此可以更快速准确的识别待识别对象,优化了终端用户的智能体验。
综上所述,本申请实施例提供的信息获取方法中,可以确定显示屏显示的第二区域的文字所指示的目标多媒体文件,再确定目标多媒体文件相关的至少一个备选对象,进而在该至少一个备选对象中确定目标对象,且目标对象的特征与待识别对象的特征的相似度大于相似度阈值。由于显示屏显示的第一区域中的待识别对象与第二区域的文字所指示的目标多媒体文件的关联性较大,待识别对象属于该至少一个备选对象的概率较大,故在该目标多媒体文件相关的至少一个备选对象中确定的目标对象的精准性较高,对待识别对象进行识别的精准度较高。
并且,由于仅需确定该至少一个备选对象的特征与待识别对象的特征的相似度,故仅需确定较少的相似度就可以对待识别对象进行识别,简化了识别待识别对象的过程,提高了识别待识别对象的速率。
图13是本申请另一实施例提供的一种信息获取方法的流程图。该方法可以用于图1所示的信息获取系统,如图13所示,该方法可以包括:
步骤1301、显示设备在显示音像文件对应的图像时,接收用户输入的截屏指令。
需要说明的是,步骤1302可以参考上述步骤701中控制器获取截屏指令的相关介绍,本申请实施例不再赘述。
步骤1302、显示设备根据截屏指令对当前显示的音像文件对应的图像进行截屏以生成截屏图像。
需要说明的是,步骤1303可以参考上述步骤701中控制器根据该截屏指令获取显示设备显示的图像的相关介绍,本申请实施例不再赘述。
步骤1303、显示设备向服务器发送截屏图像。
示例地,显示设备在生成截屏图像后,可以通过显示设备与服务器之间的通信连接将该截屏图像发送至服务器。可选地,显示设备还可以向服务器发送指示服务器对该图像中的人脸进行识别的识别指令。
步骤1304、服务器确定截屏图像中的视图显示区。
可选地,服务器在接收到显示设备发送的截屏图像和识别指令时,可以根据该识别指令确定截屏图像中的视图显示区,进而对该截屏图像进行识别。截屏图像中该视图显示区的个数可以为一个,也可以为多个。可选地,该视图显示区域可以为该截屏图像中的部分区域。
需要说明的是,步骤1304可以参考上述步骤701中控制器确定视图显示区的相关介绍,本申请实施例不再赘述。
步骤1305、服务器截取截屏图像中视图显示区的图像。
可选地,对于截屏图像中的每个视图显示区,服务器可以提出该截屏图像中该视图显示区之外的区域,进而得到一个视图显示区的图像。
步骤1306、服务器识别视图显示区的图像中的人脸。
需要说明的是,步骤1306可以参考对上述步骤702中确定待识别对象的相关介绍,本申请实施例不再赘述。
步骤1307、服务器识别视图显示区的图像对应的文字。
需要说明的是,步骤1307可以参考对上述步骤703的介绍,本申请实施例不再赘述。
步骤1308、服务器在预设数据库中筛选该文字所对应的人物。
需要说明的是,步骤1308可以参考对上述步骤704和705的介绍,本申请实施例不再赘述。
步骤1309、将视图显示区的图像中的人脸特征数据和该文字对应的人物的特征数据相比对,识别出该文字对应的人物中的目标人物。
需要说明的是,步骤1309可以参考对上述步骤706至步骤712的介绍,本申请实施例不再赘述。
步骤1310、服务器获取目标人物的信息。
当控制器确定目标任务时,控制器便可以确定对截屏图像中视图显示区的图像中的人脸识别成功,确定该人脸属于目标人物,进而控制器可以获取目标人物的信息。如控制器可以在预设数据库中获取该目标人物的信息。
步骤1311、服务器向显示设备发送目标人物的信息。
示例地,服务器在获取到目标人物的信息后,可以通过显示设备与服务器之间的通信连接将该目标人物的信息发送至显示设备。可选地,服务器还可以向显示设备发送指示显示设备显示目标人物的信息的显示指令。
步骤1312、显示设备显示目标人物的信息。
可选地,显示设备在确定接收到服务器发送的目标人物的信息和显示指令后,可以根据该显示指令显示目标人物的信息。对于目标人物的信息的显示方式可以参考上述步骤713中显示屏显示目标对象的介绍信息的相关介绍,本申请实施例不再赘述。
需要说明的是,本申请实施例中仅以针对截屏图像中的一个视图显示区的图像进行处理为例进行解释说明,截屏图像中各个视图显示区的图像的处理方式均相同,本申请实施例不再赘述。
综上所述,本申请实施例提供的信息获取方法中,服务器可以识别截屏图像中的文字以在预设数据库中筛选和该文字相对应的人物的特征数据,进而将人脸的特征数据和文字相对应的人物的特征数据相比对,确定文字相对应的人物中目标人物的信息。由于截屏图像中的人脸与截屏图像中的文字相对应的人物的关联性较大,该人脸属于该文字对应的人物的概率较大,故在该文字相对应的人物中确定的目标对象的精准性较高,对截屏图像中的人脸进行识别的精准度较高。
并且,由于仅需比对人脸的特征数据与该文字对应的人物的特征数据,故仅需确定进行的比对次数较少,简化了识别截屏图像中的人脸进行识别的过程,提高了人脸识别的速率。
应当理解,本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请中使用的术语“遥控器”,是指电子设备(如本申请中公开的显示设备)的一个组件,通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接,也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如:手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请中使用的术语“手势”,是指用户通过一种手型的变化或手部运动等动作,用于表达预期想法、动作、目的/或结果的用户行为。
需要说明的是:上述实施例提供的控制设备在控制获取信息时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
需要说明的是,本申请实施例提供的方法实施例能够与相应的装置实施例相互参考,本申请实施例对此不做限定。本申请实施例提供的方法实施例步骤的先后顺序能够进行适当调整,步骤也能够根据情况进行相应增减,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
本申请实施例还提供了一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行本申请实施例提供的方法。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (9)

1.一种信息获取方法,其特征在于,所述方法包括:
对显示屏显示的图像进行截屏得到截屏图像,所述显示屏显示的图像包括多个第一区域和多个第二区域,所述第一区域用于显示多媒体文件的海报,所述第二区域用于显示指示多媒体文件的文字;
对所述截屏图像进行边缘检测,以确定所述多个第一区域的图像,每个所述第一区域的图像包括待识别对象;
针对所述多个第一区域中的目标第一区域,确定所述目标第一区域对应的目标第二区域;所述目标第一区域为所述多个第一区域中的任一第一区域,所述目标第二区域为所述多个第二区域中位于所述目标第一区域周围指定方向上,且与所述目标第一区域的间隔小于间隔阈值的第二区域,所述目标第二区域中的文字包括所述目标第一区域中显示的海报所属的目标多媒体文件的标识;
对所述目标第二区域的文字进行识别,以确定所述文字所指示的目标多媒体文件;
确定所述目标多媒体文件相关的多个对象中,与所述目标第一区域的图像中的待识别对象类型相同的至少一个备选对象;
确定所述至少一个备选对象中的目标对象,所述目标对象的特征与所述待识别对象的特征的相似度大于相似度阈值;
控制所述显示屏显示所述目标对象的介绍信息。
2.根据权利要求1所述的方法,其特征在于,对所述目标第二区域的文字进行识别,以确定所述文字所指示的目标多媒体文件,包括:
将所述文字输入第一标识识别模型,得出所述文字包括的多媒体文件的标识;
确定所述多媒体文件的标识指示的所述目标多媒体文件。
3.根据权利要求1或2所述的方法,其特征在于,所述确定所述至少一个备选对象中的目标对象,包括:
确定所述待识别对象的辅助特征;
确定所述至少一个备选对象中具有所述辅助特征的至少一个辅助对象;
根据所述至少一个辅助对象确定所述目标对象。
4.根据权利要求3所述的方法,其特征在于,所述根据所述至少一个辅助对象确定所述目标对象,包括:
当所述至少一个辅助对象对应的相似度中存在大于相似度阈值的相似度时,将对应最大相似度的所述辅助对象确定为所述目标对象;
其中,所述至少一个备选对象中任一备选对象对应的相似度为:所述任一备选对象的特征与所述待识别对象的特征的相似度。
5.根据权利要求4所述的方法,其特征在于,所述根据所述至少一个辅助对象确定所述目标对象,还包括:
当所述至少一个辅助对象对应的相似度均小于或等于所述相似度阈值,且存在备选对象对应的相似度大于所述相似度阈值时,将对应最大相似度的所述备选对象确定为所述目标对象。
6.一种信息获取方法,其特征在于,所述方法包括:
在显示屏显示多个第一区域的图像和多个第二区域的图像时,接收用户输入的截屏指令,所述第一区域用于显示音像文件的海报;
根据所述截屏指令对所述显示屏显示的图像进行截屏以生成截屏图像;
对所述截屏图像进行边缘检测,以确定所述多个第一区域的图像,每个所述第一区域的图像包括人脸;
针对所述多个第一区域中的目标第一区域,识别所述目标第一区域的图像中的人脸,并确定所述目标第一区域对应的目标第二区域;所述目标第一区域为所述多个第一区域中的任一第一区域,所述目标第二区域为所述多个第二区域中位于所述目标第一区域周围指定方向上,且与所述目标第一区域的间隔小于间隔阈值的第二区域,所述目标第二区域中的文字包括所述目标第一区域中显示的海报所属的目标多媒体文件的标识;
识别所述目标第二区域的文字,所述文字用于在预设数据库中筛选和所述文字指示的目标多媒体文件相对应的人物的特征数据;
将所述人脸的特征数据和所述文字指示的目标多媒体文件相对应的人物的特征数据相比对,识别出所述文字指示的目标多媒体文件相对应的人物中的目标人物;
控制显示屏显示所述目标人物的信息。
7.一种信息获取方法,其特征在于,所述方法包括:
接收显示设备发送的截屏图像;所述截屏图像由所述显示设备在显示多个第一区域的图像和多个第二区域的图像时截屏所得,所述第一区域用于显示音像文件的海报;
对所述截屏图像进行边缘检测,以确定所述多个第一区域的图像,每个所述第一区域的图像包括人脸;
针对所述多个第一区域中的目标第一区域,识别所述目标第一区域的图像中的人脸,并确定所述目标第一区域对应的目标第二区域;所述目标第一区域为所述多个第一区域中的任一第一区域,所述目标第二区域为所述多个第二区域中位于所述目标第一区域周围指定方向上,且与所述目标第一区域的间隔小于间隔阈值的第二区域,所述目标第二区域中的文字包括所述目标第一区域中显示的海报所属的目标多媒体文件的标识;
识别所述目标第二区域的文字,所述文字用于在预设数据库中筛选和所述文字指示的目标多媒体文件相对应的人物的特征数据;
将所述人脸的特征数据和所述文字指示的目标多媒体文件相对应的人物的特征数据相比对,识别出所述文字指示的目标多媒体文件相对应的人物中的目标人物;
将所述目标人物的信息发送给所述显示设备,以使所述显示设备显示所述目标人物的信息。
8.一种显示设备,其特征在于,所述显示设备包括:显示屏,以及与所述显示屏通信的控制器;所述控制器用于执行权利要求1至6中任一所述的信息获取方法。
9.一种服务器,其特征在于,所述服务器与显示设备通信连接,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令在被所述处理器执行时实现如权利要求7的信息获取方法。
CN202010080037.5A 2020-02-04 2020-02-04 信息获取方法、显示设备及服务器 Active CN111343512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010080037.5A CN111343512B (zh) 2020-02-04 2020-02-04 信息获取方法、显示设备及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010080037.5A CN111343512B (zh) 2020-02-04 2020-02-04 信息获取方法、显示设备及服务器

Publications (2)

Publication Number Publication Date
CN111343512A CN111343512A (zh) 2020-06-26
CN111343512B true CN111343512B (zh) 2023-01-10

Family

ID=71188040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010080037.5A Active CN111343512B (zh) 2020-02-04 2020-02-04 信息获取方法、显示设备及服务器

Country Status (1)

Country Link
CN (1) CN111343512B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787376B (zh) * 2020-07-22 2022-10-14 聚好看科技股份有限公司 一种显示设备、服务器及视频推荐的方法
CN111984801B (zh) * 2020-09-04 2023-12-12 腾讯科技(深圳)有限公司 媒体信息的显示方法、存储介质和电子显示设备
CN112926420B (zh) * 2021-02-09 2022-11-08 海信视像科技股份有限公司 一种显示设备和菜单文字识别方法
CN113326395A (zh) * 2021-04-23 2021-08-31 维沃移动通信有限公司 信息处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246678A (zh) * 2012-02-13 2013-08-14 腾讯科技(深圳)有限公司 一种网页内容预览方法和装置
CN104125492A (zh) * 2013-04-23 2014-10-29 深圳市快播科技有限公司 视频播放方法及装置
CN108259973A (zh) * 2017-12-20 2018-07-06 青岛海信电器股份有限公司 智能电视及电视画面截图的图形用户界面的显示方法
CN109168069A (zh) * 2018-09-03 2019-01-08 聚好看科技股份有限公司 一种识别结果分区域显示方法、装置及智能电视
CN109189289A (zh) * 2018-09-03 2019-01-11 聚好看科技股份有限公司 一种基于截屏图像生成图标的方法及装置
CN109906445A (zh) * 2016-11-07 2019-06-18 高通股份有限公司 将所捕捉截屏与定义将图像数据贡献给所捕捉截屏的应用的会话状态的因应用而异的元数据相关联

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158732A (zh) * 2011-04-22 2011-08-17 深圳创维-Rgb电子有限公司 基于电视画面的信息搜索方法及系统
CN104809120B (zh) * 2014-01-24 2020-10-30 腾讯科技(深圳)有限公司 一种信息处理方法及装置
CN105868684A (zh) * 2015-12-10 2016-08-17 乐视网信息技术(北京)股份有限公司 视频信息获取方法及装置
CN106909548B (zh) * 2015-12-22 2021-01-08 北京奇虎科技有限公司 基于服务器的图片加载方法及装置
CN107480236B (zh) * 2017-08-08 2021-03-26 深圳创维数字技术有限公司 一种信息查询方法、装置、设备和介质
CN110019899B (zh) * 2017-08-25 2023-10-03 腾讯科技(深圳)有限公司 一种目标对象识别方法、装置、终端及存储介质
CN107862315B (zh) * 2017-11-02 2019-09-17 腾讯科技(深圳)有限公司 字幕提取方法、视频搜索方法、字幕分享方法及装置
CN107967110A (zh) * 2017-11-30 2018-04-27 广东小天才科技有限公司 播放方法、播放装置、电子设备及计算机可读存储介质
CN109218629B (zh) * 2018-09-14 2021-02-05 三星电子(中国)研发中心 视频生成方法、存储介质和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246678A (zh) * 2012-02-13 2013-08-14 腾讯科技(深圳)有限公司 一种网页内容预览方法和装置
CN104125492A (zh) * 2013-04-23 2014-10-29 深圳市快播科技有限公司 视频播放方法及装置
CN109906445A (zh) * 2016-11-07 2019-06-18 高通股份有限公司 将所捕捉截屏与定义将图像数据贡献给所捕捉截屏的应用的会话状态的因应用而异的元数据相关联
CN108259973A (zh) * 2017-12-20 2018-07-06 青岛海信电器股份有限公司 智能电视及电视画面截图的图形用户界面的显示方法
WO2019120008A1 (zh) * 2017-12-20 2019-06-27 青岛海信电器股份有限公司 智能电视及电视画面截图的图形用户界面的显示方法
CN109168069A (zh) * 2018-09-03 2019-01-08 聚好看科技股份有限公司 一种识别结果分区域显示方法、装置及智能电视
CN109189289A (zh) * 2018-09-03 2019-01-11 聚好看科技股份有限公司 一种基于截屏图像生成图标的方法及装置

Also Published As

Publication number Publication date
CN111343512A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111343512B (zh) 信息获取方法、显示设备及服务器
CN109618206B (zh) 呈现用户界面的方法和显示设备
CN110737840A (zh) 语音控制方法及显示设备
CN111818378B (zh) 显示设备及人物识别展示的方法
CN112000820A (zh) 一种媒资推荐方法及显示设备
CN111770370A (zh) 显示设备、服务器及媒资推荐的方法
CN112866773B (zh) 一种显示设备及多人场景下摄像头追踪方法
KR20220000758A (ko) 영상 검출 장치 및 그 동작 방법
US20230018502A1 (en) Display apparatus and method for person recognition and presentation
CN111866568B (zh) 一种显示设备、服务器及基于语音的视频集锦获取方法
CN114079829A (zh) 一种显示设备及视频集锦文件水印的生成方法
CN112165641A (zh) 一种显示设备
CN111654732A (zh) 一种广告播放方法及显示设备
CN112492390A (zh) 一种显示设备及内容推荐方法
CN111163343A (zh) 图形识别码的识别方法和显示设备
CN111556350B (zh) 一种智能终端及人机交互方法
CN112473121A (zh) 一种显示设备及基于肢体识别的躲避球显示方法
CN111669662A (zh) 显示设备、视频通话方法及服务器
CN113542899A (zh) 信息展示方法、显示设备、服务器
CN113542900B (zh) 媒资信息展示方法及显示设备
CN114390329B (zh) 显示设备及图像识别方法
CN111939561B (zh) 显示设备及交互方法
CN113163228B (zh) 媒资播放类型标记方法及服务器
CN111931692A (zh) 显示设备及图像识别方法
CN112367550A (zh) 一种媒资列表多标题动态展示的实现方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant