CN114339346A - 显示设备及图像识别结果显示方法 - Google Patents
显示设备及图像识别结果显示方法 Download PDFInfo
- Publication number
- CN114339346A CN114339346A CN202011104522.8A CN202011104522A CN114339346A CN 114339346 A CN114339346 A CN 114339346A CN 202011104522 A CN202011104522 A CN 202011104522A CN 114339346 A CN114339346 A CN 114339346A
- Authority
- CN
- China
- Prior art keywords
- similarity
- displaying
- image
- person
- screenshot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请公开了显示设备及图像识别结果显示方法,当显示设备接收到输入的截图指令时;接收输入的截图指令;根据所述截图指令截取视频播放窗口中的目标图像以识别所述目标图像中的人物;在视频播放窗口中继续播放视频,并在视频窗口上方的第一图层中显示识别出的所述人物对应的人物名称。这样,便可以保证将足够丰富的识别结果展示给用户。
Description
本申请要求在2020年09月30日提交中国专利局、申请号为202011060304.9、发明名称为“显示设备及图像识别结果显示方法”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及显示设备技术领域,尤其涉及一种显示设备及图像识别结果显示方法。
背景技术
显示设备,如智能电视,可以为用户提供诸如音频、视频、图片等播放画面。相比于通过数据广播为用户提供直播电视节目的传统电视,智能电视一般侧重于在线互动媒体、互联网电视和点播式流媒体,其能为用户更加丰富的内容和服务,如网络视频、网络游戏等各种应用和服务内容。
因此,为了提升用户对智能电视产品的使用体验,如何通过用户界面为用户提供更加丰富的信息内容,显得尤为重要。
发明内容
本申请提供一种显示设备及图像识别结果显示方法,可以使用户通过用户界面为用户提供更加丰富的信息内容。
第一方面,本申请提供一种显示设备,包括:显示器;控制器,被配置为:
接收输入的截图指令;根据所述截图指令截取视频播放窗口中的目标图像以识别所述目标图像中的人物;在视频播放窗口中继续播放视频,并在视频窗口上方的第一图层中显示识别出的所述人物对应的人物名称。
第二方面,本申请还提供一种显示设备,包括:显示器;控制器,被配置为:
响应于触发截图的用户输入,在继续播放内容的同时,显示识别内容显示区,所述识别内容显示区用于显示与截图图像中至少一个人物的相关信息,其中,在所述相关信息与对应人物的相似度不符合预定数值范围时,显示所述相关信息的同时显示和所述相关信息关联的相似度指示信息,所述相似度指示信息用于指示所述相关信息与所述对应对象的相似程度。
第三方面,本申请提供一种图像识别结果显示方法,所述方法包括:接收输入的截图指令;根据所述截图指令截取视频播放窗口中的目标图像以识别所述目标图像中的人物;在视频播放窗口中继续播放视频,并在视频窗口上方的第一图层中显示识别出的所述人物对应的人物名称。
第四方面,本申请提供一种图像识别结果显示方法,所述方法包括:响应于触发截图的用户输入,在继续播放内容的同时,显示识别内容显示区,所述识别内容显示区用于显示与截图图像中至少一个人物的相关信息,其中,在所述相关信息与对应人物的相似度不符合预定数值范围时,显示所述相关信息的同时显示和所述相关信息关联的相似度指示信息,所述相似度指示信息用于指示所述相关信息与所述对应对象的相似程度。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1中示例性示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图;
图2中示例性示出了根据一些实施例的显示设备200的硬件配置框图;
图3中示例性示出了根据一些实施例的控制设备100的硬件配置框图;
图4中示例性示出了根据一些实施例的显示设备200中软件配置示意图;
图5中示例性示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示示意图;
图6为本申请在一些实施例中示出的一种用户界面;
图7a至图7b为本申请在一些实施例中示出的一种用户界面;
图8为本申请在一些实施例中示出的一种用户界面;
图9a至图9e为本申请在一些实施例中示出的一种用户界面;
图10为本申请在一些实施例中示出的一种用户界面;
图11a至图11f为本申请在一些实施例中示出的一种用户界面。
具体实施方式
下面将详细地对实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请中使用的术语“遥控器”,是指电子设备(如本申请中公开的显示设备)的一个组件,通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接,也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如:手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中示出,用户可通过移动终端300和控制装置100操作显示设备200。
在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式等,通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键,语音输入、控制面板输入等输入用户指令,来控制显示设备200。如:用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令,来实现控制显示设备200的功能。
在一些实施例中,也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上,在直观的用户界面(UI)中为用户提供各种控制。
在一些实施例中,移动终端300可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作的和数据通信的目的。如:可以实现用移动终端300与显示设备200建立控制指令协议,将遥控控制键盘同步到移动终端300上,通过控制移动终端300上用户界面,实现控制显示设备200的功能。也可以将移动终端300上显示音视频内容传输到显示设备200上,实现同步显示功能。
如图1中还示出,显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的,显示设备200通过发送和接收信息,以及电子节目指南(EPG)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
显示设备200,可以液晶显示器、OLED显示器、投影显示设备。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能和配置上一些改变。
显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网络电视功能,包括但不限于,网络电视、智能电视、互联网协议电视(IPTV)等。
图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中,显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示器275,音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。
在一些实施例中,显示器275,用于接收源自第一处理器输出的图像信号,进行显示视频内容和图像以及菜单操控界面的组件。
在一些实施例中,显示器275,包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件。
在一些实施例中,显示视频内容,可以来自广播电视内容,也可以是说,可通过有线或无线通信协议接收的各种广播信号。或者,可显示来自网络通信协议接收来自网络服务器端发送的各种图像内容。
在一些实施例中,显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。
在一些实施例中,根据显示器275类型不同,还包括用于驱动显示的驱动组件。
在一些实施例中,显示器275为一种投影显示器,还可以包括一种投影装置和投影屏幕。
在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信器可以包括Wifi芯片,蓝牙通信协议芯片,有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。
在一些实施例中,显示设备200可以通过通信器220与外部控制设备100或内容提供设备之间建立控制信号和数据信号发送和接收。
在一些实施例中,用户接口265,可用于接收控制装置100(如:红外遥控器等)红外控制信号。
在一些实施例中,检测器230是显示设备200用于采集外部环境或与外部交互的信号。
在一些实施例中,检测器230包括光接收器,用于采集环境光线强度的传感器,可以通过采集环境光可以自适应性显示参数变化等。
在一些实施例中,检测器230还可以包括图像采集器232,如相机、摄像头等,可以用于采集外部环境场景,以及用于采集用户的属性或与用户交互手势,可以自适应变化显示参数,也可以识别用户手势,以实现与用户之间互动的功能。
在一些实施例中,检测器230还可声音采集器231等,如麦克风,可以用于接收用户的声音。示例性的,包括用户控制显示设备200的控制指令的语音信号,或采集环境声音,用于识别环境场景类型,使得显示设备200可以自适应适应环境噪声。
在一些实施例中,如图2所示,输入/输出接口(第一接口,第二接口,第n接口)255被配置为,可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。
在一些实施例中,外部装置接口240可以包括,但不限于如下:可以高清多媒体接口HDMI接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。
在一些实施例中,如图2所示,调谐解调器210被配置为,通过有线或无线接收方式接收广播电视信号,可以进行放大、混频和谐振等调制解调处理,从多多个无线或有线广播电视信号中解调出音视频信号,该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号,以及EPG数据信号。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。这样,机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备,主体设备经过第一输入/输出接口接收音视频信号。
在一些实施例中,控制器250可以控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器275上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中,所述对象可以是可选对象中的任何一个,例如超链接或图标。与所选择的对象有关操作,例如:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。用于选择UI对象用户命令,可以是通过连接到显示设备200的各种输入装置(例如,鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
如图2所示,控制器250包括随机存取存储器251(Random Access Memory,RAM)、只读存储器252(Read-Only Memory ,ROM)、视频处理器270、音频处理器280、其他处理器253(例如:图形处理器(Graphics Processing Unit, GPU)、中央处理器254(CentralProcessing Unit,CPU)、通信接口(Communication Interface),以及通信总线256(Bus)中的至少一种。其中,通信总线连接各个部件。
在一些实施例中,处理器254,用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。
在一些实施例中,图形处理器253可以和视频处理器可以集成设置,也可以分开设置,集成设置的时候可以执行输出给显示器的图形信号的处理,分离设置的时候可以分别执行不同的功能,例如GPU +FRC(Conversion) Rate Frame)架构。
在一些实施例中,音频输出,在控制器250的控制下接收音频处理器280输出的声音信号,如:扬声器286,以及除了显示设备200自身携带的扬声器之外,可以输出至外接设备的发生装置的外接音响输出端子,如:外接音响接口或耳机接口等,还可以包括通信接口中的近距离通信模块,例如:用于进行蓝牙扬声器声音输出的蓝牙模块。
用户接口265,用于接收用户的输入信号,然后,将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号,可以通过网络通信模块接收各种用户控制信号。
在一些实施例中,用户通过控制装置100或移动终端300输入用户命令,用户输入接口则根据用户的输入,显示设备200则通过控制器250响应用户的输入。
在一些实施例中,用户可在显示器275上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
在一些实施例中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
图3示例性示出了根据示例性实施例中控制设备100的配置框图。如图3所示,控制设备100包括控制器110、通信接口130、用户输入/输出接口、存储器190、供电电源180。
控制设备100被配置为控制显示设备200,以及可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。如:用户通过操作控制设备100上频道加减键,显示设备200响应频道加减的操作。
在一些实施例中,控制设备100可是一种智能设备。如:控制设备100可根据用户需求安装控制显示设备200的各种应用。
在一些实施例中,如图1所示,移动终端300或其他智能电子设备,可在安装操控显示设备200的应用之后,可以起到控制设备100类似功能。如:用户可以通过安装应用,在移动终端300或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮,以实现控制设备100实体按键的功能。
控制器110包括处理器112和RAM 113和ROM 114、通信接口130以及通信总线。控制器用于控制控制设备100的运行和操作,以及内部各部件之间通信协作以及外部和内部的数据处理功能。
通信接口130在控制器110的控制下,实现与显示设备200之间控制信号和数据信号的通信。如:将接收到的用户输入信号发送至显示设备200上。通信接口130可包括WiFi芯片131、蓝牙模块132、NFC模块133等其他近场通信模块中至少之一种。
用户输入/输出接口140,其中,输入接口包括麦克风141、触摸板142、传感器143、按键144等其他输入接口中至少一者。如:用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能,输入接口通过将接收的模拟信号转换为数字信号,以及数字信号转换为相应指令信号,发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中,可以红外接口,也可以是射频接口。如:红外信号接口时,需要将用户输入指令按照红外控制协议转化为红外控制信号,经红外发送模块进行发送至显示设备200。再如:射频信号接口时,需将用户输入指令转化为数字信号,然后按照射频控制信号调制协议进行调制后,由射频发送端子发送至显示设备200。
参见图4,在一些实施例中,将系统分为四层,从上至下分别为应用程序(Applications)层(简称“应用层”),应用程序框架(Application Framework)层(简称“框架层”),安卓运行时(Android runtime)和系统库层(简称“系统运行库层”),以及内核层。
在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序、时钟程序、相机应用等;也可以是第三方开发者所开发的应用程序,比如嗨见程序、K歌程序、魔镜程序等。在具体实施时,应用程序层中的应用程序包不限于以上举例,实际还可以包括其它应用程序包,本申请实施例对此不做限制。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface,API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口,可在执行中访问系统中的资源和取得系统的服务。
如图4所示,本申请实施例中应用程序框架层包括管理器(Managers),内容提供者(Content Provider)等,其中管理器包括以下模块中的至少一个:活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互;位置管理器( Location Manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息;通知管理器(NotificationManager)用于控制通知消息的显示和清除;窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中,窗口管理器用于管理所有的窗口程序,比如获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕,控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中,图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第一存储器或第二存储器中。
在一些实施例中,如图5中所示,应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件,如:直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。
图6为本申请在一些实施例中示出的一种用户界面。如图6所示,用户界面包括多个视图显示区601-603,分别用于显示不同的内容,如播放视频内容的窗口、与当前显示内容相关的面板导航栏、信息展示区和/或功能选项栏等,其中,信息展示区是指主要用于展示各类信息,功能选项栏是指主要用于指示用户据此打开对应服务、应用程序等。
在如图6所示的用户界面中,不同的视图显示区可以是同一图层中不同的区域,也可以是不同图层中的区域。在一些实施例中,不同的视图显示区,尤其是分别属于不同图层中的视图显示区,可以部分重叠或者完全重叠。应当理解,这里提及的图层可以是OSD层(用户界面层),也可以是Video层(视频层)。
在一些实施例中,视图显示区601是指播放窗口,视图显示区602和/或视图显示区603位于设置在视频播放窗口上方的OSD层中。
在一些实施例中,视频播放窗口上方的OSD层中还可以包括用于其他显示区以展示设定的内容。
在一些实施例中,视频播放窗口上方的OSD层中可以不区分视图显示区602、视图显示区603,而作为截图展示区直接进行展示控件的设置。
在一些实施例中,在显示任何内容的情况下,用户可以输入触发图像识别的指令,以控制显示设备对当前显示的部分或者全部内容进行图像识别。例如,用户在观看视频节目时,通过输入触发图像识别的指令,控制显示设备对当前显示的视频画面进行图像识别;再如,用户在观看不包含视频画面的系统主页时,通过输入触发图像识别的指令,控制显示设备对当前显示的用户界面进行图像识别。又如,用户在浏览本地图片时,通过输入触发图像识别的指令,控制显示设备对当前播放的本地图片文件进行图像识别。
截图是指对显示器当前显示的部分或者全部内容的画面进行截取,获得截图图像。用于触发截图的用户输入可以是按键形式的用户输入、语音形式的用户输入或者用户手势输入。
在一些实施例中,用于触发截图的用户输入,同时也是上述用户触发图像识别的用户输入。当接收到用户在不同场景下指示截图的用户输入时,根据场景的不同,执行相同或者不同的截图流程。比如,当在显示任何内容的情况下接收到截图指令时,获取与当前显示内容完全一致的截图内容,也可以是当显示图片或者视频的情况下接收到截图指令时,获取与当前显示图片或者视频画面一致的截图内容。不同的是,前者截图操作在视频层与OSD层合成后执行,或者是分别截取视频层与OSD层的画面后再整合得到的内容,后者截图操作在视频层与与OSD层合成前执行,或者仅对视频层画面进行截图。
在一些实施例中,对当前播放内容进行截图的时间点可以是接收到截图输入时的时间,也可以是提前或延迟预设时长后的时间。
图7a -7b为本申请在一些实施例中示出的一种用户界面示意图,图7a中,视频在显示器上全屏播放。当显示设备播放视频节目时,可以通过遥控器按键、触摸屏软键、语音指令、手势等多种方式,触发截图及截图图像的识别。
在一些实施例中,对截图图像的识别可以是对图像中人物的识别,如图7b所示,图7b中的A-E为待识别的人脸信息,当显示设备接收到触发截图的用户输入后,显示通过识别截图图像中的待识别的人脸信息所得到的识别结果。在一些实施例中,对截图图像的识别也可是对图像中商品、植物等的识别。
在一些实施例中,当显示设备接收到触发截图的用户输入后,显示包含当前播放内容显示区和截图内容显示区的用户界面,在当前播放内容显示区中继续显示当前播放内容的画面,在截图内容显示区中展示多个选项栏,多个选项栏中,至少一个选项栏用于显示对图像中对象(如人物、物品、服饰等等)的识别结果或者表征识别结果的文字/图像,其他选项栏则可以用于显示截图图像的缩略图、与识别结果(对象)相关的推荐内容、或与截图关联功能的操作控件。
在一些实施例中,在当前播放内容显示区的播放窗口中显示当前播放内容的画面,可以是继续进行当前视频内容的播放,也可以暂停当前视频内容的播放后而显示的暂停画面。
在一些实施例中,选项栏中显示的识别结果具体可以为与截图图像中的对象最为相关的关键词以及与关键词相关的内容简述、图片,和/或,内容来源或类型。示例性的,当显示如图7a的视频播放画面时,若接收到触发截图的用户输入,则响应于该用户输入,通过截图获取前视频播放画面的截图图像,并获取与截图图像中的对象匹配的关键词及关键词相关的内容表述,和/或,内容来源或类型。如,获取截图中人物对象的面部信息,以识别截图图像中的人物对象,从而得到与饰演剧中人物的演员面部信息相匹配的关键词“乔某”,再例如,通过识别截图图像中人物的服饰,得到与剧中人物的服饰相匹配的关键词“连衣裙”、“乔某同款连衣裙”等。进而,在用于显示识别结果的选项栏中显示上述关键词和与关键词相关的内容简述、图片,和/或,内容来源或类型。
在如上述示例描述的实施场景中,为保证向用户展示出的图像识别结果的准确性,在识别结果与图像中对应对象的相似度达到预设阈值时,才展示识别结果,否则不展示识别结果,即无识别结果。例如,若通过图像识别技术识别确定截图中的面部信息与数据库中该关键词对应的面部信息的相似度大于预设值(如90%),则将该关键词及相关内容简述作等作为识别结果进行展示,若通过图像识别技术识别确定截图中的面部信息与数据库该关键词对应的面部信息的相似度不大于预设值,则认为无识别结果。这样一来,设定的相似度阈值越高,展示给用户的识别结果的准确性越高,但由于相似度阈值越高,符合条件的识别结果数量越少甚至无识别结果,即能识别出来的对象数量就越少甚至无法识别,因此展示给用户的识别结果信息量越小,且很容易丢失识别结果。反之,设定的相似度阈值越低,符合条件的识别结果数量越多,即能识别出来的对象数量就越多,但展示给用户的识别结果的准确性越低。
示例性的,在图7b所示截图图像中,存在包含A、B、C、D、E五个对象。假设,在接收到输入的截图指令后,通过图像识别,得到对象A、B、C、D、E对应的识别结果分别为关键词“乔某”、“刘某”、“王某某”、“杨某”、“蒋某”及相应的内容简述等,且,“乔某”的面部信息与对象A的面部信息的相似度为95%、“刘某”的面部信息与对象B的面部信息的相似度为81%、“王某某”的面部信息与对象C的面部信息的相似度为87%、“杨某”的面部信息与对象D的面部信息的相似度为75%、“蒋某”的面部信息与对象E的面部信息的相似度为50%。
在上述示例中,若将相似度的预设阈值设定为90%,以用于判断各对象对应的识别结果是否满足展示条件,则满足该展示条件的识别结果仅包括与对象A对应的“乔某”。图8为本申请在一些实施例中示出的一种用户界面示意图,其具体为在显示图7a所示画面时接收到截图指令后,显示的用户界面。如图8所示,该用户界面包括当前内容显示区810和截图内容显示区820。截图内容显示区820中,截图内容显示栏8210中显示截图图像的缩略图,及截图关联功能的用户指令输入接口,如可以是用于获取截图二维码的操作控件、用户将截图图像分享到新浪微博的操作控件等,识别人物显示栏8210中显示图7b所示截图图像中对象A对应的截图区域(人脸区域)、与对象A相匹配的关键词“乔某”和与“乔某”相关的内容简述“乔某,1993年11月23日出生于……,因参演家庭剧《七九河开》从而正式进入演艺圈……”。可见,在该示例中,向用户展示出了一个对象的识别结果,展示的识别结果的准确度在90%以上。
若将相似度的预设阈值设定为85%,则满足该展示条件的识别结果包括与对象A对应的“乔某”和与对象C对应的“王某某”。此时,将会在截图内容显示区中展示至少两个选项栏,其中一个用于显示图7b所示截图图像中对象A对应的截图区域(人脸区域)、与对象A与相匹配的关键词“乔某”和与“乔某”相关的内容简述,另一个则用于显示图7b所示截图图像中对象C对应的截图区域(人脸区域)、与对象C与相匹配的关键词“王某某”和与“王某某”相关的内容简述。可见,在该示例中,向用户展示出了两个对象的识别结果,展示的识别结果的准确度在85%以上。需要说明的是,在截图内容显示区中,还可以显示用于显示其他内容的选项栏,如,用于显示最新推广信息的选项栏,用于显示识别到的商品信息的选项栏,等等。
由以上示例可以看出,设定的相似度阈值越高,展示给用户的识别结果的准确性越高,但由于相似度阈值越高,符合条件的识别结果数量越少甚至无识别结果,即能识别出来的对象数量就越少甚至无法识别,因此展示给用户的识别结果信息量越小,且很容易丢失识别结果。反之,设定的相似度阈值越低,符合条件的识别结果数量越多,即能识别出来的对象数量就越多,但展示给用户的识别结果的准确性越低。
为解决上述问题,在一些实施例中,视频播放窗口用来进行视频的播放,视频播放窗口上方的第一浮层用于显示识别结果。在一些实施例中,当前内容显示区810可以是视频播放窗口所在的区域,截图内容显示区820可以是第一浮层所包括的区域。
在一些实施例中,对象可以是人物,或人物的人脸信息,关键词可以是人物或人脸信息对应的人物名称。
在一些实施例中,是否显示相似度指示信息是根据截图图像中的对象和数据库中的对象的相似度确定的,示例性的,设置第一预设值为90%,第二预设值为90%,第三预设值为80%,则在相似度大于第一预设值的时候,仅显示识别结果,不显示相似度指示信息,在相似度大于第三预设值小于等于第二预设值的时候,显示识别结果的同时显示相似度指示信息。示例性的,截图图像中第一人脸信息(如图7中对象A的人脸信息)和数据库中的乔某的人脸图像的匹配程度为95%,则在显示识别结果的选项栏中显示人物名称“乔某”,且不显示相似度指示信息。截图图像中第二人脸信息(如图7中对象C的人脸信息)和数据库中的王某某的人脸图像的匹配程度为87%,则在显示识别结果的控件中显示“像王某某”,其中,“王某某”是根据截图图像中第二人脸信息识别出的人物名称,“像”是相似度指示信息。即,相似度指示信息位于人物名称前。截图图像中第三人脸信息(如图7中对象B的人脸信息)和数据库中的刘某的人脸图像的匹配程度为82%,则在显示识别结果的控件中显示“像刘某”。
通过区分化的显示,在展示准确识别效果的基础上,可以提供次准确的识别结果给用户参考。对比而言,相关技术中仅采用一个相似度识别阈值,阈值设置低时,显示的结果中出现错误的概率高,阈值设置低时,识别出的结果少。本方案可以均衡两种设计,在一些实施例中,三个阈值均可以按照需求设置,只需满足第二预设值小于等于第一预设值,第三预设值小于第二预设值即可。
在一些实施例中,相似度指示信息还可以是第一浮层上方的提示语。
在一些实施例中,服务器不反馈相似度小于第三预设值的识别结果,或者,服务器反馈全部识别结果但显示设备筛选出相似度小于第三预设值的识别结果不进行显示。
在一些实施例中,在选项栏中,根据相似度的大小依次显示识别结果,即在视频播放窗口上方的图层中,显示截屏图像的缩略图,在缩略图的一侧显示选项栏,相似度较低的识别结果的选项栏,相较于相似度较高的识别结果的选项栏,远离所述缩略图。这样方面使用户的关注优先落在相似度较高的识别结果上。另外,在一些实施例中,还在截图缩略图上显示当前识别出的人脸识别焦点框,以人脸识别焦点框标识出识别出的人物对象。在一些实施例中,人脸识别焦点框用于框出识别出的人物对象的面部区域。例如,在图8所示示例中,在截图内容显示栏8210中显示的截图缩略图上,通过人脸识别焦点框标识出了对象A的面部区域,该人脸焦点识别框可以提示用户右侧识别人物显示栏8210显示的识别结果是对截图图像中对象A的识别结果。
在一些实施例中,在识别出的对象为一个或截图图像中的对象为一个时,用于显示截图图像缩略图和识别结果的第一浮层上,在显示截图图像缩略图的同时,仅显示一个识别结果。
在一些实施例中,在识别出的对象为一个或截图图像中的对象为多个时,用于显示截图图像缩略图和识别结果的第一浮层上,在显示截图图像缩略图的同时,显示一个识别结果且显示切换指示键控件,在接收到对应切换指示键控件的信号后,切换显示其他识别结果。
上述示例中,当显示设备接收到触发图像识别的用户输入后,同时显示目标图像中多个对象对应的识别结果;其中,在识别结果与对应对象的相似度不符合预定数值范围时,识别结果与相似度指示信息关联显示,相似度指示信息用于指示识别结果与对应对象的相似程度。这样,便可以通过降低相似度阈值来保证将足够丰富的识别结果展示给用户,同时,通过将相似度指示信息与识别结果关联展示,使用户了解到每个对象的识别结果的准确性。
在一些实施例中,触发识别目标图像的用户输入可以为触发截图的用户输入,相应的,待识别的目标图像即为响应于触发截图的用户输入而获取的截图图像,目标图像中对象对应的识别结果,即为与对象匹配的相关信息。在这些实施例中,显示设备响应于触发截图的用户输入,可以在继续播放内容的同时,显示识别内容显示区,识别内容显示区用于显示与截图图像中至少一个对象的相关信息,其中,在相关信息与对应对象的相似度不符合预定数值范围时,显示的相关信息关联有相似度指示信息,相似度指示信息用于指示相关信息与对应对象的相似程度。
以下,以对截图图像进行图像识别及识别结果的展示场景为例,对本申请技术方案的具体实现方式予以介绍。
在触发识别目标图像的用户输入是触发截图的用户输入时,显示设备通过对显示器当前显示的画面内容进行截图,以获取截图图像,作为目标图像。
在一些实施例中,显示设备将目标图像发送给服务器,由服务器对目标图像进行特征识别,并与预置的特征数据库进行比对,得到对目标图像中所包含对象的识别结果。
在另一些实施例中,由显示设备识别目标图像中的对象,然后将识别出的对象信息发送给服务器,由服务器根据显示设备发送的对象信息完成对该对象的识别,得到该对象对应的识别结果。其中,目标图像中的对象为人物对象时,显示设备识别目标图像中的对象即是识别人脸信息,将识别出的对象信息发送给服务器即是将人脸区域图像发送给服务器。
在另一些实施例中,由显示设备独立完成对目标图像中对象的识别,即提取目标图像的图像特征,然后将提取出的图像特征与预置特征库进行比对,以得到对象对应的识别结果。
应当理解,由于会受目标图像中对象对应的图像部分的尺寸、分辨率等因素,以及特征数据库所包含特征数据的全面性的影响,对于目标图像中各个对象的识别结果的准确度不尽相同。例如,有些对象的识别结果与对应对象具有较高的相似度,即识别结果较为准确,有些对象的识别结果与对应对象具有较低的相似度,即识别结果不够准确。
在一些实施例中,通过判断每个识别结果与对应对象的相似度是否大于预设值,判断每个识别结果是否符合展示条件,将符合展示条件的识别结果展示给用户。
具体的,服务器完成图像识别后,将目标图像中全部对象对应的识别结果即相应相似度数据,返回给显示设备,由显示设备保留符合展示条件的识别结果,丢弃不符合展示条件的识别结果。在另一些实施例中,服务器完成图像识别后,将符合展示条件的识别结果及相应相似度返回给显示设备,将不符合展示条件的识别结果直接删除。
这样,通过调整预设值的大小,便可以调整符合展示条件的识别结果数量。
在一些实施例中,对于符合展示条件的识别结果,将相似度符合预定数值范围的识别结果,视为准确识别结果,将相似度不符合预定数值范围的识别结果,视为相似识别结果。对于相似识别结果,通过将其与相似度指示信息关联展示,使用户了解到每个识别结果与对应对象的相似程度及各识别结果之间的准确度差异。
在一些实施例中,将与对应对象的相似度符合第一数值范围的识别结果正常显示,即不关联相似度指示信息,将与对应对象的相似度符合第二数值范围的识别结果与相似度指示信息关联显示。第一数值范围和第二数值范围不存在重合的数值区间。示例性的,第一数值范围可以为(90%,100%),第二数值范围为(80%,90%]。
在一些实施例中,对截图图像中对象的识别结果包括与该对象匹配的关键词,即与该对象的人脸信息匹配的人物名称。如,通过识别图7b所示截图图像中的对象A,得到与饰演剧中人物的演员相匹配的关键词“乔某”。
示例性的,在图7b所示示例中,若将预设值设定为80%,以用于判断各对象对应的识别结果是否满足展示条件,则满足该展示条件的识别结果包括与对象A对应的“乔某”、与对象B对应的“刘某”和与对象C对应的“王某某”。若将预定数值范围设为(>90%),以用于判断各对象对应的识别结果是否为准确识别结果,则对象A的识别结果“乔某”为准确识别结果,对象B对应的识别结果“刘某”和对象C对应的识别结果“王某某”均为相似识别结果。那么,当在显示图7b所示画面时,若接收到触发截图的用户输入,将为用户展示对象A、B、C对应的识别结果,即“乔某”、“刘某”、“王某某”等,且将对象B、C对应的识别结果与对应的相似度指示信息关联展示,以通过相似度指示信息提示用户“刘某”与对象B的相似度及“王某某”与对象C的相似度小于或者等于90%。
在一些实施例中,将符合展示条件的识别结果以选项栏的形式展示在用户界面中。
在一些实施例中,识别结果中的人物名称和人物图像可以共用一个选项栏,如图9a-9e所示,在一些实施例中,人物名称和人物图像可以分别使用不同的选项栏,如图11b、11d-11f所示。
图9a为本申请在一些实施例中示出的一种用户界面示意图,其具体为在显示图7a或7b所示画面时接收到图像识别指令后,显示的用户界面。如图9a所示,该用户界面包括当前内容显示区910和选项栏显示区920。当前内容显示区910中继续显示当前播放视频的画面,即,视频播放窗口继续播放视频,选项栏显示区920中,选项栏921中显示截图图像的缩略图,还可以突出显示截图关联功能的用户指令输入接口,选项栏922中显示截图图像中对象A对应的截图区域(示例性的,人脸区域图像或人脸区域图像的缩略图)、与对象A匹配的关键词“乔某”,选项栏924中显示截图图像中对象B对应的截图区域、与对象B匹配的关键词“刘某”及相似度指示信息“像”,选项栏923中显示截图图像中对象C对应的截图区域、与对象C匹配的关键词“王某某”及相似度指示信息“像”。需要说明的是,相似度指示信息的可选形式有多种,包括但不限于在与对象匹配的关键词前添加“像”字,还可以通过在识别结果选项栏中增加标识位的方式,将识别结果与对应对象的相似度直接显示在标识位中。
在一些实施例中,以对象对应的截图区域代替数据库中人物名称对应的参考图片,无需在识别及传输过程中携带数据库中的参考图片,可以提升识别结果的加载速度,并且容易和当前视频中的人物对象进行关联。
在一些实施例中,选项栏中包含两个控件,一个控件用于加载图像,即加载截图图像中对象对应的截图区域,另一个控件根据识别结果加载文字信息(例如人物名称)。在一些实施例中,服务器或其自身生成的识别结果中对对应的字段做了标记,控件根据该标记加载识别结果中对应的文字信息的字段。
在一些实施例中,根据相似度的比较结果,在相似度不满足预设条件的识别结果的对应的文字信息的字段中增加相似度指示信息,示例性的,进行人脸比对后,对相似度满足预设条件的识别结果的对应的文字信息的字段写入表征人物名称的文字信息,对相似度不满足预设条件的识别结果的对应的文字信息的字段写入相似度指示信息和表征人物名称的文字信息。
在一些实施例中,根据相似度的比较结果,在相似度不满足预设条件的识别结果的对应的文字信息的字段仅写入表征人物名称的文字信息,示例性的,进行人脸比对后,对所有识别结果的对应的文字信息的字段写入表征人物名称的文字信息,在加载选项栏的过程中,显示设备对相似度满足预设条件的识别结果的对应的文字信息的字段直接加载进行显示,对相似度不满足预设条件的识别结果的对应的文字信息的字段增加相似度指示信息后进行显示。
在一些实施例中,显示设备对截图图像中的对象区域进行标记和采集,并将采集的结果给服务器进行比对,此时可以将对象对应的截图区域和比对请求进行关联或使用标识标记,在服务器反馈识别结果后,根据关联关系或标识,在对应该识别结果的选项栏中直接加载截图图像中的对象区域。
在一些实施例中,多个识别结果分别以选项栏的形式同时显示在截图内容显示区中。在截图内容显示区,以内容选择焦点框指示出用户选择或者预选择的项目,如识别结果选项栏或功能控件。内容选择焦点框的显示位置可以响应于移动焦点框的用户输入而移动。
在一些实施例中,人脸识别焦点框在截图缩略图上的显示位置,与内容选择焦点框的显示位置相关联,或者说,人脸识别焦点框的显示位置随内容选择焦点框的移动而移动,从而保证人脸识别焦点框所框出的人物对象,与用户选择或者预选择的识别结果选项栏相对应。例如,在图9a所示示例中,由于内容选择焦点框位于显示“乔某”的选项栏上,因此人脸识别焦点框显示在对象A的面部区域。如图9b所示,当响应于用户输入,内容选择焦点框移动到显示“像王某某”的选项栏上时,人脸识别焦点框将移动到对象C的面部区域。
在一些实施例中,人脸识别焦点框仅用于表述对象在缩略图的位置,不能作为焦点被选择。这是为了方便人们观看对象在缩略图的位置的同时,避免焦点在缩略图常产生停留,影响用户常操作体验。
需要说明的是,人脸识别焦点框和内容选择焦点框可以是如图9a和9b所示的、显示在人物对象面部区域的方框和显示在选项栏周围的方框。应当理解,虽然本申请说明书中以方框的形式示例性示出了人脸识别焦点框和内容选择焦点框,但人脸识别焦点框和内容选择焦点框也可以是其他形式的、可以标识出人物对象和用户选择的内容的图标。例如,除方框外,内容选择焦点框还可以基于各式的图标、文本、背景,因而具有不同的颜色、阴影或色彩。
在一些实施例中,识别结果选项栏中可以不显示对应对象的截图区域,而是显示识别结果中关键词相应的图片,例如图9c所示,选项栏922中显示与对象A匹配的关键词“乔某”和“乔某”的百科封面、微博头像或者任意一张精选图片,选项栏924中显示与对象B匹配的关键词“刘某”、“刘某”的百科封面、微博头像或者任意一张精选图片,以及相似度指示信息“像”,选项栏923中与对象C匹配的关键词“王某某”、王某某”的百科封面、微博头像或者任意一张精选图片及相似度指示信息“像”。此时,识别结果中的图像可以是图像库中预存的参考图片,相较与展示截图中的人脸区域,这可以展示公众更熟悉的人物形象。
在一些实施例中,在截图内容显示区或者选项栏显示区,可以不显示截图图像的缩略图及相应选项栏。如图9d所示,在选项栏显示区920中,不再显示截图图像的缩略图(图9a-9c中的选项栏921)。
在一些实施例中,对截图图像的识别是指同时对截图图像中的人物对象和商品对象进行识别,进而,识别结果包括上述实施例介绍的人物识别结果,还包括商品识别结果。
在一些实施例中,在截图内容显示区或者选项栏显示区,除了显示截图图像的缩略图选项栏、人物识别结果选项栏以外,还可以显示相似商品选项栏,在相似商品选项栏中显示商品识别结果,如与截图图像中商品对象匹配的商品介绍信息(标题、品类、风格等)、商品购买链接等等。例如,在图9e中,除显示截图图像的缩略图选项栏和人物识别结果以外,还显示出用于显示商品识别结果的相似商品选项栏。
在一些实施例中,显示相似商品选项栏可以仅仅作为一个二级页面的入口。
图10为本申请在一些实施例中示出的一种用户界面示意图,其具体为在显示图7a所示画面时接收到截图指令后,显示的用户界面。与图9a所示用户界面不同的是,选项栏1023包括标识位,标识位中显示有相似度指示信息“相似度87%”,用于指示关键词“王某某”与对象C的相似度为“87%”,选项栏1024包括标识位,标识位中显示有相似度指示信息“相似度81%”,用于指示关键词“刘某”与对象B的相似度为“81%”。
在一些实施例中,该标识位可以位于选项栏所在的第一图层的上方图层中。
在一些实施例中,在选项栏显示区中,用于显示识别结果的选项栏,按照其显示的识别结果与对应对象的相似度递减顺序排列。例如,在图9a和图10所示用户界面中,将对象A对应的识别结果选项栏显示在前,将对象C对应的识别结果选项栏显示在中,将对象B对应的识别结果选项栏显示在后。
应当理解,用户可以通过系统设置,设置选项栏显示区可显示的选项栏数量,例如,不超过3个。用户可以通过调整选项栏显示区的进度条控件,将隐藏的选项栏拖出,和/或将显示的选项栏隐藏。
在一些实施例中,在选项栏显示区以焦点框标识出用户所选择的选项栏。例如,图10中,焦点框为位于选项栏1022周围的方框。基于用户移动焦点框所在位置的用户输入,用户可以查看所选中的选项栏对应的详细信息或者激活所选中的选项栏关联的应用程序、网页、服务等。例如,当用户选中选项栏1022并确定时,则在显示与关键词“乔某”相关的内容简述。
在另一些实施例中,多个符合展示条件的识别结果与对应对象的截图以类似列表的形式显示在识别结果显示区中。显示设备接收到截图指令后,显示包含当前播放内容显示区、选项栏显示区和识别内容显示区的用户界面,其中,前播放内容显示区用于继续显示当前播放内容的画面;选项栏显示区用于显示多个选项栏,例如用于显示目标图像的选项栏、用于显示推广信息的选项栏等;识别内容显示区则用于以类似列表的形式显示符合展示条件的识别结果和对应对象的截图。
示例性的,图11a为在显示图7a所示画面时接收到截图指令后,显示的用户界面。如图11a所示,当前播放内容显示区1110中继续显示当前播放内容的画面,选项栏显示区1120中显示截图图像选项栏1121,截图图像选项栏1121中显示截图图像的缩略图,还可以显示人脸识别焦点框,人脸识别焦点框显示的对象A的面部区域,识别内容显示区1130中显示有截图图像中对象A的截图和匹配的关键词“乔某”、对象C的截图和匹配的关键词及关联的相似度指示信息“像王某”、对象B的截图和匹配的关键词及关联的相似度指示信息“像刘某”,内容选择焦点框显示在“乔某”对应的控件上。
在一些实施例中,关键词和对象图像位于选项栏的不同的控件上,同一识别结果的关键词和对象图像分别对应的控件,不能同时获取焦点。
在一些实施例中,关键词、对象图像、内容简述信息位于选项栏的不同的控件上,同一识别结果的关键词、对象图像、内容简述信息分别对应的控件,不能同时获取焦点。
在一些实施例中,关键词相关的内容简述等详细信息显示在可被操作的选项栏或者控件中,用户可以通过操作选项栏而触发显示内容简述等详细信息的全文。
在一些实施例中,响应于用户对用于显示内容简述的选项栏的操作,可以撤销其他识别结果显示,而仅在识别内容显示区中显示所选择的内容简述的全文。还可以将内容简述全文放大显示,和/或,扩大其显示区域,如可以扩大识别内容显示区,以使识别内容显示区的大小可以适应于内容简述全文的体量。例如,在图11c所示用户界面中,在识别内容显示区显示截图图像中对象A对应的截图区域、关键词“乔某”及相关的内容简述全文。
与图9a至图9b示出的人脸识别焦点框显示位置变化过程类似,在显示图11a所示用户界面时,若用户通过输入操作将内容选择焦点框由“乔某”移动到“像王某”,人脸识别焦点框将由对象A的面部区域移动到对象C的面部区域。
在一些实施例中,对于准确识别结果,在识别结果显示区中显示包含关键词的控件,对于相似识别结果,在识别结果显示区中显示包含关键词及相应的相似度指示信息的控件,同时,显示内容选择焦点框以指示用户选择和预选择的项目,当内容选择焦点框落在前述包含关键词或者包含关键词和相似度指示信息的控件上时,触发显示用户所选择的关键词相关的内容简述等关键词详细信息,当用户通过输入操作将内容选择焦点框移动到其他关键词控件上时,触发显示其他关键词相关的内容简述。例如,在图11b所示用户界面中,依次显示“乔某”、“像王某”和“像刘某”的控件,由于内容选择焦点框落在控件“乔某”上,所以在识别内容显示区中还显示“乔某”相关的内容简述“乔某,1993年11月23日出生于……”。当用户将内容选择焦点框移动到控件“像王某某”上时,由图11b所示用户界面变化到图11d所示界面。在图11d所示用户界面中,依次显示“乔某”、“像王某某”和“像刘某”的控件,由于内容选择焦点框落在控件“像王某某”上,所以在识别内容显示区中还显示“王某某”相关的内容简述“王某某,******”。也即,在符合预定条件时,仅显示人物名称,在不符合预定条件时才在名称前增加“像”。
在一些实施例中,如图11b和11d所示用户界面中,依次显示“乔某”、“像王某”和“像刘某”的控件,由于内容选择焦点框落在控件“乔某”上,所以在识别内容显示区中还显示“乔某”相关的内容简述“乔某,1993年11月23日出生于……”。当用户将内容选择焦点框移动到控件“像王某某”上时,由图11b所示用户界面变化到图11d所示界面。此时,用于显示对象图像和介绍信息的识别内容显示区是同一个控件,关键字位于一个单独的控件(选项栏),在不同对象的选项栏被选中时,识别内容显示区对应的控件加载对应选项栏的识别结果中的图像和介绍信息。
在一些实施例中,当内容选择焦点框落在某一人物对象的相似识别结果控件上时,除了显示与该对象匹配的第一关键词及第一内容简述外,还可以显示对象关联的第二关键词及第二内容简述,其中,第二关键词可以是影响第一关键词对应人物与截图中人物相似性的人物关键词,例如,截图中人物与第一关键词人物相似性不足,是因为截图中人物的眉眼与第二关键词人物更为相似;另外,第二关键词还可以是第一关键词人物在当前内容中所饰演角色的关键词。
例如,在图11e所示用户界面中,当内容选择焦点框落在控件“像王某”上时,在内容识别显示区显示关键词“王某”相关的内容简述,和与对象C关联的另一关键词“张某”及其内容简述。示例性,由于该对象和数据库中王某的图像的相似度为81%,同时和数据库中张某的图像的相似度为60%,即张某是和该对象相似度排在第二位的人物的人物名称。由于该识别结果不是准确识别结果,因此同时显示和该对象相似的至少两个人物的信息。
再如,在图11f所示用户界面中,当内容选择焦点框落在控件“像王某某”上时,在内容识别显示区显示关键词“王某某”相关的内容简述,和“王某某”在当前播放内容中所饰演的角色名称“叶子”及其内容简述。即,识别结果中的介绍信息除包含人物本身的介绍信息外,还包含人物在该视频中的角色介绍信息。
在一些实施例中,在完成对象识别获得人物名称后,根据识别请求中的视频标识,获取视频对应的演员表,然后根据人物名称和演员表确定对象对应的角色名称,然后根据角色名称确定角色介绍信息,并将角色名称和角色介绍信息作为识别结果中的一部分。
在一些实施例中,确定角色介绍信息可以采取爬虫,搜索,数据库比对等手段,在具体实现过程中不做限定,只要能获取角色介绍信息即可。
在一些实施例中,用户可以通过系统设置,设置识别结果显示区可显示的识别结果数量,例如,不超过3项识别结果。用户可以通过调整识别结果显示区的进度条控件调整识别结果显示区中显示的内容,如将隐藏的识别结果拖出,将显示的识别结果隐藏。
在一些实施例中,识别内容显示区和/或选项栏显示区的显示不干扰当前内容播放显示区的显示,即,在显示识别内容显示区和/或选项栏显示区时,用户仍可观看到当前播放内容显示区的内容。例如,识别内容显示区和/或选项栏显示区可以是半透明的,以透视出当前播放内容显示区中显示的内容。又如,响应于对识别内容显示区和/或选项栏显示区的显示,将显示当前播放内容的区域压缩到与识别内容显示区和/或选项栏显示区相适应的尺寸,作为当前播放内容显示区。
在一些实施例中,在识别内容显示区中,多个识别结果按照其与对应对象的相似度递减顺序排列。例如,在图11a所示用户界面中,将对象A的识别结果显示在前,将对象C的识别结果显示在中,将对象B的识别结果显示在后。
由以上实施例可知,本申请实施例提供的显示设备,当其接收到触发图像识别的用户输入后,同时显示目标图像中多个对象对应的识别结果;其中,在识别结果与对应对象的相似度不符合预定数值范围时,识别结果与相似度指示信息关联显示,相似度指示信息用于指示识别结果与对应对象的相似程度。这样,便可以通过降低相似度阈值来保证将足够丰富的识别结果展示给用户,同时,通过将相似度指示信息与识别结果关联展示,使用户了解到每个对象的识别结果的准确性。
具体实现中,本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的图像识别结果显示方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:random access memory,简称:RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于方法实施例而言,由于其基本相似于显示设备实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
Claims (11)
1.一种显示设备,其特征在于,包括:
显示器;
控制器,被配置为:
接收输入的截图指令;
根据所述截图指令截取视频播放窗口中的目标图像以识别所述目标图像中的人物;
在视频播放窗口中继续播放视频,并在视频窗口上方的第一图层中显示识别出的所述人物对应的人物名称。
2.根据权利要求1所述的显示设备,其特征在于,所述显示识别出的所述人物对应的人物名称,包括:
在所述人物名称对应的预设图像与所述对象的相似度不符合预定条件时,在所述人物名称前增加相似度指示信息;
在所述人物名称对应的预设图像与所述对象的相似度符合预定条件时,显示所述人物名称且不显示相似度指示信息。
3.根据权利要求1所述的显示设备,其特征在于,所述第一图层上设置有选项栏,所述选项栏用于显示包含所述人物名称在内的识别结果,包括:
在所述人物名称对应的预设图像与所述对象的相似度不符合预定条件时,在所述选项栏的上方图层显示相似度指示信息;
在所述人物名称对应的预设图像与所述对象的相似度符合预定条件时,不在所述选项栏上方显示相似度指示信息。
4.根据权利要求1所述的显示设备,其特征在于,所述显示识别出的所述人物对应的人物名称,包括:
在所述第一图层显示一个或多个选项栏,不同的选项栏用于显示不同的所述对象对应的人物名称;
其中,在所述选项栏中的所述人物名称对应的预设图像与所述对象的相似度不符合预定条件时,在所述人物名称前还显示相似度指示信息;在所述选项栏中的所述人物名称对应的预设图像与所述对象的相似度符合所述预定条件时,在所述选项栏中显示所述人物名称且不显示相似度指示信息。
5.根据权利要求2所述的显示设备,其特征在于,所述相似度符合预定条件是指所述相似度大于第一预设值;所述相似度不符合预定条件是指所述相似度小于第二预设值且大于第三预设值,其中,所述第二预设值小于等于所述第一预设值,所述第三预设值小于所述第二预设值。
6.根据权利要求5所述的显示设备,其特征在于,在显示所述对象对应的人物名称之前,从所述目标图像中全部人物对应的识别结果中,确定对应的预设图像与所述人物的相似度大于所述第三预设值的识别结果,以不在第一图层显示对应的预设图像与所述人物的相似度小于所述第三预设值的识别结果,其中所述识别结果包含所述人物名称,以及人物介绍信息。
7.根据权利要求4所述的显示设备,其特征在于,所述相似度符合预设条件的人物名称对应的选项栏位于相似度不符合预设条件的人物名称对应的选项栏之前。
8.根据权利要求2所述的显示设备,其特征在于,还显示所述目标图像的缩略图;所述人物名称对应的选项栏依次位于所述缩略图的一侧,其中,在所述缩略图上,突出显示焦点位置处的所述选项栏对应的人物。
9.一种显示设备,其特征在于,包括:
显示器;
控制器,被配置为:
响应于触发截图的用户输入,在继续播放内容的同时,显示识别内容显示区,所述识别内容显示区用于显示与截图图像中至少一个人物的相关信息,其中,在所述相关信息与对应人物的相似度不符合预定数值范围时,显示所述相关信息的同时显示和所述相关信息关联的相似度指示信息,所述相似度指示信息用于指示所述相关信息与所述对应对象的相似程度。
10.一种图像识别结果显示方法,其特征在于,应用于显示设备,所述方法包括:
接收输入的截图指令;
根据所述截图指令截取视频播放窗口中的目标图像以识别所述目标图像中的人物;
在视频播放窗口中继续播放视频,并在视频窗口上方的第一图层中显示识别出的所述人物对应的人物名称。
11.一种图像识别结果显示方法,其特征在于,应用于显示设备,所述方法包括:
响应于触发截图的用户输入,在继续播放内容的同时,显示识别内容显示区,所述识别内容显示区用于显示与截图图像中至少一个人物的相关信息,其中,在所述相关信息与对应人物的相似度不符合预定数值范围时,显示所述相关信息的同时显示和所述相关信息关联的相似度指示信息,所述相似度指示信息用于指示所述相关信息与所述对应对象的相似程度。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/094553 WO2021238733A1 (zh) | 2020-05-25 | 2021-05-19 | 显示设备及图像识别结果显示方法 |
CN202180060814.2A CN116325770A (zh) | 2020-05-25 | 2021-05-19 | 显示设备及图像识别结果显示方法 |
US17/849,640 US11863829B2 (en) | 2020-05-25 | 2022-06-25 | Display apparatus and method for displaying image recognition result |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011060304 | 2020-09-30 | ||
CN2020110603049 | 2020-09-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114339346A true CN114339346A (zh) | 2022-04-12 |
CN114339346B CN114339346B (zh) | 2023-06-23 |
Family
ID=81032294
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011104623.5A Pending CN114339347A (zh) | 2020-05-25 | 2020-10-15 | 显示设备及图像识别结果显示方法 |
CN202011104522.8A Active CN114339346B (zh) | 2020-05-25 | 2020-10-15 | 显示设备及图像识别结果显示方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011104623.5A Pending CN114339347A (zh) | 2020-05-25 | 2020-10-15 | 显示设备及图像识别结果显示方法 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN114339347A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1494037A (zh) * | 2002-11-01 | 2004-05-05 | ��ʽ���綫֥ | 人员识别仪器、人员识别方法和通行控制器 |
US20090059027A1 (en) * | 2007-08-31 | 2009-03-05 | Casio Computer Co., Ltd. | Apparatus including function to specify image region of main subject from obtained image, method to specify image region of main subject from obtained image and computer readable storage medium storing program to specify image region of main subject from obtained image |
CN102521619A (zh) * | 2011-11-22 | 2012-06-27 | 汉王科技股份有限公司 | 基于人脸识别的信息呈现方法及装置和人脸识别打印系统 |
CN107105340A (zh) * | 2017-03-21 | 2017-08-29 | 百度在线网络技术(北京)有限公司 | 基于人工智能的视频中显示人物信息方法、装置和系统 |
CN108461129A (zh) * | 2018-03-05 | 2018-08-28 | 余夏夏 | 一种基于图像认证的医学影像标注方法、装置和用户终端 |
CN109993125A (zh) * | 2019-04-03 | 2019-07-09 | 腾讯科技(深圳)有限公司 | 模型训练方法、人脸识别方法、装置、设备及存储介质 |
JP2019160329A (ja) * | 2019-04-18 | 2019-09-19 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法、及びプログラム |
CN111460180A (zh) * | 2020-03-30 | 2020-07-28 | 维沃移动通信有限公司 | 信息显示方法、装置、电子设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021326A (ja) * | 1996-06-28 | 1998-01-23 | Ricoh Co Ltd | 認識結果表示方法および文字認識システムおよび情報記録媒体 |
CN108573268A (zh) * | 2017-03-10 | 2018-09-25 | 北京旷视科技有限公司 | 图像识别方法和装置、图像处理方法和装置及存储介质 |
CN107832662B (zh) * | 2017-09-27 | 2022-05-27 | 百度在线网络技术(北京)有限公司 | 一种获取图片标注数据的方法和系统 |
CN108176049B (zh) * | 2017-12-28 | 2021-05-25 | 珠海豹好玩科技有限公司 | 一种信息提示方法、装置、终端和计算机可读存储介质 |
CN109922363A (zh) * | 2019-03-15 | 2019-06-21 | 青岛海信电器股份有限公司 | 一种显示画面截图的图形用户界面方法及显示设备 |
CN109389169A (zh) * | 2018-10-08 | 2019-02-26 | 百度在线网络技术(北京)有限公司 | 用于处理图像的方法和装置 |
CN109858371B (zh) * | 2018-12-29 | 2021-03-05 | 深圳云天励飞技术有限公司 | 人脸识别的方法及装置 |
CN110245559A (zh) * | 2019-05-09 | 2019-09-17 | 平安科技(深圳)有限公司 | 实时物体识别方法、装置以及计算机设备 |
-
2020
- 2020-10-15 CN CN202011104623.5A patent/CN114339347A/zh active Pending
- 2020-10-15 CN CN202011104522.8A patent/CN114339346B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1494037A (zh) * | 2002-11-01 | 2004-05-05 | ��ʽ���綫֥ | 人员识别仪器、人员识别方法和通行控制器 |
US20090059027A1 (en) * | 2007-08-31 | 2009-03-05 | Casio Computer Co., Ltd. | Apparatus including function to specify image region of main subject from obtained image, method to specify image region of main subject from obtained image and computer readable storage medium storing program to specify image region of main subject from obtained image |
CN102521619A (zh) * | 2011-11-22 | 2012-06-27 | 汉王科技股份有限公司 | 基于人脸识别的信息呈现方法及装置和人脸识别打印系统 |
CN107105340A (zh) * | 2017-03-21 | 2017-08-29 | 百度在线网络技术(北京)有限公司 | 基于人工智能的视频中显示人物信息方法、装置和系统 |
CN108461129A (zh) * | 2018-03-05 | 2018-08-28 | 余夏夏 | 一种基于图像认证的医学影像标注方法、装置和用户终端 |
CN109993125A (zh) * | 2019-04-03 | 2019-07-09 | 腾讯科技(深圳)有限公司 | 模型训练方法、人脸识别方法、装置、设备及存储介质 |
JP2019160329A (ja) * | 2019-04-18 | 2019-09-19 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法、及びプログラム |
CN111460180A (zh) * | 2020-03-30 | 2020-07-28 | 维沃移动通信有限公司 | 信息显示方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
朱爽: ""用直方图面积法进行图像相似度计算"", 《测绘通报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114339347A (zh) | 2022-04-12 |
CN114339346B (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109618206B (zh) | 呈现用户界面的方法和显示设备 | |
US11805292B2 (en) | Display apparatus and content display method | |
CN112333509B (zh) | 一种媒资推荐方法、推荐媒资的播放方法及显示设备 | |
CN111722768A (zh) | 一种显示设备及应用程序界面显示方法 | |
CN111818378B (zh) | 显示设备及人物识别展示的方法 | |
CN111836109A (zh) | 显示设备、服务器及自动更新栏目框的方法 | |
CN111897478A (zh) | 一种页面显示方法及显示设备 | |
CN112004157B (zh) | 一种多轮语音交互方法及显示设备 | |
CN111770370A (zh) | 显示设备、服务器及媒资推荐的方法 | |
CN112601117B (zh) | 显示设备和内容展示方法 | |
CN112380420A (zh) | 一种搜索方法及显示设备 | |
CN112492390A (zh) | 一种显示设备及内容推荐方法 | |
CN111914134A (zh) | 一种关联推荐方法、智能设备及服务设备 | |
CN111669662A (zh) | 显示设备、视频通话方法及服务器 | |
WO2022078172A1 (zh) | 一种显示设备和内容展示方法 | |
WO2021238733A1 (zh) | 显示设备及图像识别结果显示方法 | |
WO2022012299A1 (zh) | 显示设备及人物识别展示的方法 | |
CN112272331B (zh) | 一种节目频道列表快速展示的方法及显示设备 | |
CN114390329B (zh) | 显示设备及图像识别方法 | |
CN112199560B (zh) | 一种设置项的搜索方法及显示设备 | |
CN114339346B (zh) | 显示设备及图像识别结果显示方法 | |
CN112367550A (zh) | 一种媒资列表多标题动态展示的实现方法及显示设备 | |
CN112261463A (zh) | 显示设备及节目推荐方法 | |
CN114390190A (zh) | 显示设备及监测应用启动摄像头的方法 | |
CN111857936A (zh) | 一种应用程序的用户界面显示方法和显示设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |