CN108702550A - 用于识别内容的方法及设备 - Google Patents

用于识别内容的方法及设备 Download PDF

Info

Publication number
CN108702550A
CN108702550A CN201780013189.XA CN201780013189A CN108702550A CN 108702550 A CN108702550 A CN 108702550A CN 201780013189 A CN201780013189 A CN 201780013189A CN 108702550 A CN108702550 A CN 108702550A
Authority
CN
China
Prior art keywords
content
equipment
text
screenshot capture
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780013189.XA
Other languages
English (en)
Inventor
金想荷
蒋太权
金圣晋
金壹求
朴成权
朴永五
张元泳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2017/001933 external-priority patent/WO2017146454A1/ko
Publication of CN108702550A publication Critical patent/CN108702550A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了这样的设备，所述设备：当接收到用于控制提供至设备的一条或多条内容的控制信号时，捕获设备的屏幕；以及当捕获的屏幕与模板屏幕对应时，从所捕获的屏幕的预设区域提取包括内容信息的字符串、将所提取的字符串与包括在预设含义识别模型中的一条或多条文本进行比较、检测与内容信息对应的文本、以及基于检测到的文本识别显示在设备的屏幕上的内容。

Description

用于识别内容的方法及设备
技术领域
本公开涉及通过设备执行的识别内容的方法、通过服务器执行的识别内容的方法、用于识别内容的设备以及用于识别内容的服务器。
背景技术
为了提供被个性化以满足各种消费者的个性化需求的广告，广告提供者需要知道用户正在消费什么内容。
传统的基于指纹的内容识别技术从通过显示设备(诸如电视)当前再现的内容的视频或音频中提取指纹，将所提取的指纹发送至服务器，并将所发送的指纹与服务器的数据库的参考数据相匹配以识别内容。基于这些结果，可分析显示设备的内容消费或观看模式，并且登广告者可以基于分析结果有效地提供个性化的广告。
然而，基于指纹的内容识别技术导致在从显示设备上显示的内容中提取指纹并将所述指纹发送至服务器的过程期间存在额外的计算或数据发送负担，以及通过额外的硬件导致大的经济负担，例如需要操作单独的数据库服务器和匹配服务器。因此，需要能够迅速且容易地检测与通过显示设备再现的内容有关的信息的技术。
发明内容
技术问题
提供了用于控制这样的用于提供内容的设备的方法、所述设备以及服务器，其中，所述设备能够通过以下来更有效地获取由设备的用户正在观看的内容的信息：即经由捕获的设备的屏幕截图获取用户正在观看的内容的信息。
问题的解决方案
根据本公开的一方面，公开了这样一种设备，所述设备：当接收到提供至设备的用于控制一条或多条内容的控制信号时，捕获设备的屏幕；以及当所捕获的屏幕截图与模板屏幕截图对应时，从所捕获的屏幕截图的预定区域提取包括内容信息的字符串、将所提取的字符串与包括在预定含义识别模型中的一条或多条文本进行比较、检测与所述内容信息对应的文本、并且基于检测到的文本识别显示在设备的屏幕上的内容。
附图说明
图1是示出根据实施方式的用于识别内容的系统的示意图。
图2是用于解释根据实施方式的控制提供内容的设备的方法的流程图。
图3a至图3c是解释针对提供内容的每个内容服务所提供的模板屏幕截图的图。
图4是用于解释根据另一实施方式的通过提供内容的设备执行从捕获的屏幕截图提取内容信息的方法的流程图。
图5是用于解释根据另一实施方式的通过设备执行的、从捕获的屏幕截图中提取内容信息的方法的图。
图6是用于解释根据实施方式的通过使用预定含义识别模型来识别内容的方法的流程图。
图7是用于解释根据实施方式的通过设备执行的、利用与内容服务对应的模板屏幕截图来识别内容的方法的流程图。
图8是用于更具体地解释根据实施方式的通过设备执行的、识别内容的方法的流程图。
图9a至图9d是用于解释根据实施方式的通过设备执行的、利用含义识别模型识别内容的方法的图。
图10a和图10b是根据实施方式的用于识别内容的设备的框图。
图11是用于解释根据实施方式的通过含义识别服务器执行的、识别提供至设备的内容的方法的流程图。
图12是示出根据实施方式的识别提供至设备的内容的含义识别服务器的框图。
图13是用于解释根据实施方式的识别显示在设备上的内容的系统的示意图。
图14是用于更详细地解释根据实施方式的包括在含义识别服务器的处理器中的含义识别器的操作的框图。
图15是用于更详细地解释根据实施方式的包括在含义识别服务器的含义识别器中的内容数据管理模块的操作的框图。
图16是用于解释根据实施方式的通过含义识别服务器执行的、基于文本形式的内容数据处理作为含义识别模型的基础的文本的方法的图。
具体实施方式
根据本公开的一方面，通过识别内容的设备执行的方法包括：当接收到用于控制提供至设备的一条或多条内容的控制信号时捕获设备的屏幕；以及当捕获的屏幕截图与模板屏幕截图对应时，从所捕获的屏幕截图的预定区域中提取包括内容信息的文本、将所提取的文本与包括在预定含义识别模型中的一条或多条文本进行比较、检测与内容信息对应的文本、并且基于检测到的文本识别显示在设备的屏幕上的内容。
根据本公开的另一方面，通过服务器执行的、识别内容的方法包括：当捕获的设备的屏幕截图与模板屏幕截图对应时，从设备接收从所捕获屏幕截图中提取的包括内容信息的文本；通过将所接收的文本与包括在预定含义识别模型中的至少一个文本进行比较，检测与所提取的内容信息对应的文本；以及基于检测到的文本识别显示在设备的屏幕上的内容。
所述方法还可包括接收观看设备的内容的用户的语音数据，其中识别内容包括：基于检测到的文本和所接收的用户的语音数据，识别显示在设备的屏幕上的内容。
所述方法还可包括：以预定周期从外部服务器获取内容数据，并且基于以预定周期获得的内容数据更新含义识别模型。
所述方法可包括获取附加信息，其中所述附加信息包括以下至少之一：与观看至少一条内容的用户有关的信息、设备信息、待识别的至少一条内容的观看时间、提供至少一条内容的内容服务的标识信息以及包括内容信息的字符串中每个字符的大小信息。
检测文本可包括：通过将所提取的内容信息与至少一个文本进行比较，计算至少一个文本中的每一个与所提取的内容信息对应的概率值；以及基于所计算的概率值检测至少一个文本的任意一者。
所述方法还可包括：当未检测到文本时，从设备接收从与模板屏幕截图对应的另一捕获的屏幕截图中提取的包括内容信息的字符串。
识别内容还可包括：基于检测到的文本改变所提取的内容信息中的与检测到的文本不对应的信息。
所述方法还可包括：向观看模式分析服务器发送识别所述内容的结果。
所述方法还可包括：基于所述结果，从观看模式分析服务器接收通过观看模式分析服务器生成的设备的用户的观看模式历史信息。
根据本公开的另一方面，设备包括通信器、显示器和处理器，其中，通信器配置为接收至少一条内容；显示器配置为显示至少一条内容的任意一者；处理器配置为：当接收到用于控制至少一条内容的控制信号时捕获设备的屏幕，当捕获的屏幕截图与模板屏幕截图对应时从所捕获的屏幕截图的预定区域提取包括内容信息的字符串，将所提取的字符串与包括在预定含义识别模型中的至少一个文本进行比较，检测与内容信息对应的文本，以及基于检测到的文本识别显示在设备的屏幕上的内容。
根据本公开的另一方面，用于识别内容的服务器包括通信器和处理器，其中，通信器配置为当捕获的设备的屏幕截图与模板屏幕截图对应时从设备接收从所捕获的屏幕截图提取的包括内容信息的字符串；处理器配置为将所接收内容信息与包括在预定含义识别模型中的至少一个文本进行比较以检测与内容信息对应的文本，以及基于检测到的文本识别显示在设备的屏幕上的内容。
通信器还可配置为接收观看设备的内容的用户的语音数据，以及处理器还可配置为基于检测到的文本和所接收的用户的语音数据识别显示在设备的屏幕上的内容。
通信器还可配置为以预定周期从外部服务器获取内容数据，以及含义识别模型可基于以预定周期获得的内容数据识别更新的内容。
通信器还可配置为获取附加信息，所述附加信息包括以下至少之一：与观看至少一条内容的用户有关的信息、设备信息、待识别的至少一条内容的观看时间、提供至少一条内容的内容服务的标识信息以及包括内容信息的字符串中的每个字符的大小信息。
处理器还可配置为将所提取的内容信息与至少一个文本进行比较并计算至少一个文本中的每一个与所提取的内容信息对应的概率值，以及基于所计算的概率值检测至少一个文本的任意一者。
当未检测到文本时，处理器还可配置为从设备接收从与模板屏幕截图对应的另一捕获的屏幕截图中提取的包括内容信息的字符串。
处理器还可配置为：基于检测到的文本改变所提取的内容信息中的与检测到的文本不对应的信息。
通信器可配置为：向观看模式分析服务器发送识别所述内容的结果。
通信器可配置为：基于识别所述内容的结果，从观看模式分析服务器接收设备的用户的通过观看模式分析服务器生成的观看模式历史信息。
本公开的实施方式
现在将在详细描述实施方式之前简要描述本说明中使用的术语。
虽然在本公开中使用的术语已经考虑本公开中所提及的功能、以当前使用的一般术语进行了描述，但是它们旨在根据本领域技术人员的意图、先例或新技术的出现而涵盖各种其它术语。因此，在本公开中使用的术语不是基于术语的含义来定义，不是基于简单术语的名称来定义，而是基于本公开通篇的内容来定义。
应理解，当在本文中使用时，术语“包括(comprises)”、“包括(comprising)”、“包括(includes)”和/或“包括(including)”表明存在所阐述的元件，但是不排除存在或添加一个或多个其它元件。术语“单元”或“模块”用于表示执行至少一个功能或操作的实体，并且可体现为软件元件或硬件元件或者硬件和软件的组合。
现在将对实施方式(其示例在附图中被示出)进行详细参考，在附图中，相同的参考标记始终表示相同的元件。就此而言，本实施方式可具有不同的形式，并且不应解释为限于本文所阐述的描述。在以下描述中，为了清楚，省略了与所述实施方式无关的部件或元件。
图1是示出根据实施方式的用于识别内容的系统的示意图。
如图1所示，设备100可以是电视，但是这仅是示例并且可实现为包括显示器的电子设备。例如，设备100可实现为多种电子设备，诸如移动电话、平板PC、数字相机、摄影机、膝上型计算机、平板PC、台式机、电子书终端、数字广播终端、PDA(个人数字助理)播放器、导航设备、MP3播放器、可穿戴设备等。具体地，所述实施方式可容易地在具有大显示器的显示设备(诸如电视)中实现，但是不限于此。另外，设备100可以是固定类型或移动类型，并且可以是能够接收数字广播的数字广播接收器。
根据实施方式的设备100可通过机顶盒10提供内容服务。例如，内容服务可包括提供地面广播信号的实时广播内容服务、有线广播机顶盒、IPTV机顶盒等，以及可包括呈Web应用形式的内容服务，诸如Netflix或YouTube，但是内容服务不限于此。
根据实施方式的设备100可从服务提供设备10接收至少一条内容。设备100可在设备100的屏幕上显示所接收的至少一条内容之中的由设备100的用户选择的内容。例如，设备100的用户可发出用于控制提供至设备100的至少一条内容的控制信号。就此而言，控制信号可包括远程控制信号、智能电话和可穿戴设备的触摸信号、语音命令、手势识别信号、复合传感器信号等，但是这仅是示例，并且控制信号不限于此。
当接收到控制信号时，根据实施方式的设备100可捕获设备100的在其上显示内容的屏幕。例如，当接收到控制信号时，设备100可基于预定的时间捕获设备100的在其上显示内容的屏幕。
另外，设备100可确定预存储的模板屏幕截图和所捕获的屏幕截图是否彼此对应。就此而言，可在模板屏幕截图上预先设定与这样的文本区域有关的信息，其中与内容有关的信息显示在屏幕上的所述文本区域上。另外，模板屏幕截图可根据向设备100发送内容的内容服务的类型而不同。例如，内容服务A的模板屏幕截图和内容服务B的模板屏幕截图可彼此不同。
另一方面，设备100确认内容服务的类型并且选择预先确认的内容服务的模板。设备100可重复地执行这样的操作：捕获在其上显示内容的屏幕，直到与所选择的模板屏幕截图对应屏幕截图被捕获为止。当与模板屏幕截图对应的屏幕截图被捕获时，设备100可停止捕获设备100的屏幕的操作。
设备100可从所捕获的屏幕截图上的与模板屏幕截图对应的预定区域提取包括内容信息的字符串。预定区域是包括内容信息的区域，所述内容信息诸如内容的标题名称或频道名称。就此而言，内容信息可显示为文本形式。设备100可识别预定区域上所显示的文本并且提取包括内容信息的字符串。例如，设备100可利用OCR(光学字符阅读器)读取所捕获的屏幕截图的预定区域上的文本，以提取与内容的类型、标题和风格有关的信息。
另外，设备100可向含义识别服务器200发送所提取的字符串。根据实施方式的含义识别服务器200可基于从设备100接收的字符串，识别设备100的用户观看的内容。
另一方面，根据另一实施方式，设备100可通过将包括内容信息的字符串与包括在预定含义识别模型中的至少一个文本进行比较，检测与内容信息对应的文本。另外，设备100可基于检测到的文本识别显示在设备100的屏幕上的内容。通过使用预定含义识别模型，设备100可进一步地提高内容识别的精确度。
根据实施方式的含义识别服务器200可通过将所接收的含义识别模型与预定字符串进行比较来识别内容。例如，含义识别服务器200可从包括在预定含义识别模型中的至少一个文本之中选择与包括在所接收的文本中的内容信息对应的文本。含义识别服务器200可利用所选择的文本来识别内容。就此而言，所选择的文本可以是表示以下至少之一的文本：例如，内容的标题和提供内容的频道类型。
根据实施方式的含义识别服务器200可向观看模式分析服务器300发送内容识别结果。观看模式分析服务器300可通过在预定时间周期中从含义识别服务器200获取内容识别结果并且分析所获得的内容识别结果，来确定用户的观看模式。
图2是用于解释根据实施方式的控制用于提供内容的设备100(在下文中，设备100)的方法的流程图。
在操作S210中，设备100接收用于控制提供至设备100的至少一条内容的控制信号。
根据实施方式的设备100可从输入设备接收用于控制提供至设备100的至少一条内容的控制信号。例如，设备100可从遥控器接收用于控制提供至设备100的至少一条内容的控制信号。就此而言，控制信号可以是以下之一：设备100的频道改变信号、设备100的接通信号、另一设备和设备100之间的连接信号、设备100的菜单选择信号以及对至少一条内容信息的请求信号。
在操作S220中，当接收到控制信号时，设备100以预定周期捕获设备100的屏幕。
当接收到控制信号时，根据实施方式的设备100可捕获设备100的在其上显示内容的屏幕。就此而言，可在设备100的屏幕上显示提供至设备100的至少一条内容的标题名称、频道名称、内容列表、与内容相关的附加信息以及用于选择内容的用户接口标识中的至少之一，但是这仅是一种实施方式，而且设备100的屏幕上所显示的信息不限于此。
另外，根据实施方式的设备100可根据预定周期重复地捕获设备100的屏幕。例如，当接收到控制信号时，设备100可以以2秒的时间间隔捕获设备100的屏幕。
在操作S230中，当所捕获的屏幕截图与模板屏幕截图对应时，设备100从所捕获的屏幕截图的预定区域提取包括内容信息的字符串。就此而言，模板屏幕截图可根据向设备100提供至少一条内容的内容服务的类型而不同。另外，可在模板屏幕截图中预先设定与在其上显示由特定内容服务提供的内容信息的区域有关的信息。例如，就A内容服务的模板屏幕截图而言，可预先设定内容信息显示在屏幕左上部这样的信息。
当所捕获的屏幕截图与模板屏幕截图对应时，根据实施方式的设备100可停止捕获屏幕的操作。与模板屏幕截图对应的屏幕截图可以是这样的屏幕截图，在所述屏幕截图上图像和文本中的至少一者显示于与模板屏幕截图上所显示的图像和文本中的至少一者的位置对应的位置。例如，当在与模板屏幕截图上的预定区域对应的位置处在其上显示文本的屏幕截图被捕获时，设备100可停止捕获屏幕的操作。
根据实施方式的设备100可提取显示在所捕获的屏幕截图的与模板屏幕截图对应的预定区域上的、包括内容信息的字符串。
在操作S240中，设备100基于包括在所提取的字符串中的内容信息，识别显示在设备100的屏幕上的内容。
例如，设备100可利用OCR读取显示在所提取的字符串上的文本。就此而言，内容信息可包括与内容的标题、类型和风格等有关的信息。然而，这是实施方式，并且内容信息不限于此。
图3a至图3c是用于解释针对提供内容的每个内容服务所提供的模板屏幕截图的图。
参照图3a，当从输入设备接收到控制信号时，用于提供内容的设备100(在下文中，设备100)可以以预定周期捕获屏幕，直到与模板屏幕截图320对应的屏幕截图310被捕获为止。就此而言，设备100可针对提供内容的A内容服务，选择预存储的模板屏幕截图320。当切换频道时，实时广播、与广播频道有关的概况信息通常显示在屏幕底部处的边界框中。在这种情况下，边界框可以是A内容服务的模板。因此，设备100可周期性地将所捕获的屏幕截图与边界框格式的模板进行匹配，当所捕获的屏幕截图与模板匹配时，从预定内容信息显示区域322提取文本312并提取包括内容信息的字符串。
另一方面，参照图3b，当从输入设备接收到控制信号时，设备100可根据预定周期捕获屏幕，直到与模板屏幕截图340对应的屏幕截图330被捕获为止。就此而言，设备100可针对提供内容的B内容服务，选择预存储的模板屏幕截图340。内容服务(例如智能电视或智能电话中的Web应用，诸如Netflix)可具有包括相同的UI布局的屏幕截图，而与待再现的内容类型无关。在实施方式中，紧接于再现内容之前，可根据屏幕截图的UI布局生成模板。模板可与周期性捕获的屏幕截图匹配，并且当它们匹配时，从预定内容信息显示区域342识别文本并且可提取包括内容信息的字符串。
当所捕获的屏幕截图330匹配于与内容服务的类型对应的模板时，根据实施方式的设备100可从与内容信息显示区域342对应的左上部提取文本332。另外，设备100可读取所提取的文本342并且识别显示在设备100上的内容。
另一方面，参照图3c，当接收到控制信号时，设备100可根据预定周期捕获屏幕，直到与模板屏幕截图360对应的屏幕截图350被捕获为止。就此而言，设备100可针对提供内容的C内容服务，选择预存储的模板屏幕截图360。根据实施方式，在再现内容之前，设备100可根据在特定时间点处的UI布局屏幕生成模板。所生成的模板屏幕截图360可存储在设备100中。当接收到控制信号时，设备100可将模板屏幕截图360与周期性地捕获的屏幕截图350进行匹配，当它们匹配时，从预定内容信息显示区域362提取文本并且识别内容。
图4是用于解释根据另一实施方式的通过用于提供内容的设备100(在下文中为设备100)执行的、从所捕获的屏幕截图提取内容信息的方法的流程图。
在操作S410中，设备100可接收用于控制提供至设备100的至少一条内容的控制信号。
在操作S420中，当所接收的控制信号是指向设备100的屏幕的控制信号时，设备100可检测所指向的点的周边区域。
根据实施方式的设备100可确定所接收的控制信号是否是指向设备100的屏幕的控制信号。当确定所接收的控制信号是用于指向设备100的屏幕的控制信号时，设备100可检测位于从所指向的点开始的预定范围内的周边区域。在操作S430中，设备100可从所检测的区域提取包括内容信息的字符串。
在操作S440中，设备100可基于所提取的字符串识别显示在设备100的屏幕上的内容。
根据实施方式的设备100可利用诸如OCR的文本阅读技术来读取显示在所提取的字符串上的文本。然而，这仅是一种实施方式，并且基于从设备100提取的字符串识别内容的方法不限于上述示例。
图5是用于解释根据另一实施方式的通过设备100执行的、从所捕获的屏幕截图中提取内容信息的方法的图。
参照图5，根据实施方式的设备100可接收用于控制提供至设备100的至少一条内容的控制信号512。另外，当所接收的控制信号512是指向设备100的屏幕的控制信号时，设备100可检测位于从所指向的点起的预定范围内的周边区域522。
根据实施方式的设备100可确定所接收的控制信号512是否是指向设备100的屏幕的控制信号。当确定所接收的控制信号512是指向设备100的屏幕的控制信号时，设备100可检测位于从所指向的点起的预定范围内的周边区域522。
根据实施方式的设备100可读取从所检测的周边区域522提取的内容信息，并且可识别指示与内容有关的信息的文本。例如，设备100可识别指示与内容有关的信息的文本，以确认所述内容的标题是Kungfu OO2。
图6是用于解释根据实施方式的利用预定含义识别模型识别内容的方法的流程图。
在操作S610中，当接收到用于控制提供至设备100的至少一条内容的控制信号时，设备100捕获设备100的屏幕。
根据实施方式的设备100可接收用于控制至少一条内容的控制信号。另外，设备100可基于所接收的控制信号，确定向设备100提供至少一条内容的内容服务的类型。就此而言，内容服务的类型可以是基于Web的视频点播(VOD)服务、直播服务和基于应用的服务中的任意一者，但是这仅是一种实施方式。提供至少一条内容的内容服务的类型不限于此。因此，模板屏幕截图可根据内容服务的类型来选择，并且可执行将模板屏幕截图和所捕获的屏幕截图进行匹配。
另一方面，当接收到控制信号时，根据实施方式的设备100可以以预定周期捕获设备100的屏幕。设备100可确定所捕获的屏幕截图是否与模板屏幕截图对应。就此而言，模板屏幕截图可根据内容服务的类型而不同。
在操作S620中，当所捕获的屏幕截图与模板屏幕截图对应时，设备100从所捕获的屏幕截图的预定区域提取包括内容信息的字符串。
根据实施方式的设备100可从所捕获的屏幕截图的、与模板屏幕截图的在其上显示内容信息的区域对应的区域提取包括内容信息的字符串。就此而言，内容信息可包括文本，例如内容的标题和提供内容的频道的名称或编号等。
在操作S630中，设备100将所提取的字符串与包括在预定含义识别模型中的至少一个文本进行比较，并且检测与内容信息对应的文本。
根据实施方式的设备100可预先设定含义识别模型。含义识别模型可包括用于识别内容的至少一个文本。例如，含义识别模型可包括指示当前提供的内容的标题和提供内容的频道的名称或编号等的至少一个文本。
此外，根据另一示例，含义识别模型可根据设备ID和用户ID不同地设定。例如，当用户是二十多岁的女性时，设备100可选择多个含义识别模型之中的、包括指示二十多岁的女性偏好的内容的标题和频道类型的至少一个文本的含义识别模型等。
根据实施方式的设备100可利用模板屏幕截图的预定格式模式从所提取的字符串检测字符串中所包括的文本。就此而言，预定格式模式可包括在含义识别模型中。例如，当格式模式以频道名称和标题名称的顺序设定时，设备100可从所提取的字符串检测与频道名称和标题名称对应的文本。另一方面，根据另一示例，包括在设备100的所提取的字符串中的至少一个文本可能不与模板屏幕截图的预定格式模式对应。在这种情况下，设备100可利用概率模型从字符串检测文本，其中所述概率模型概率性地计算字符串中的周围单词的关系。例如，设备100可基于概率模型从A是主角且B是独家广播这样的字符串提取演员的名字是A且广播名称是B这样的文本。
在操作S640中，设备100基于检测到的文本识别显示在设备100的屏幕上的内容。
根据实施方式的设备100可将检测到的文本确定为显示在设备100的屏幕上的内容的标题。
另外，根据实施方式的设备100可通过将预定含义识别中所包括的至少一个文本之中具有最高相似度的文本与检测到的文本进行比较，来验证检测到的文本的精确度。就此而言，相似度可根据文本之间的辅音字母和元音字母的类型、它们的组合关系等和匹配率来确定。例如，当内容信息中所包括的文本是Hongpu时，设备100可检测含义识别模型中所包括的至少一个文本之中具有最高相似度的Kungfu。设备100可通过将从所捕获的屏幕截图提取的内容信息与含义识别模型进行比较并且从含义识别模型检测文本，来校正接收的内容中所包括的打字错误等。
此外，根据另一实施方式，设备100可基于所接收的附加信息验证检测到的文本。例如，当Kungfu被检测为内容的标题时，设备100可通过基于包括在附加信息中的与观看时间有关的信息确定观看时间是否是Kungfu被广播的时间，来验证检测到的文本。
根据另一实施方式，设备100可基于所感测的语音数据来验证检测到的文本。例如，当Kungfu被检测为内容的标题时，设备100可通过确定所感测的语音数据是否表示Kungfu来验证检测到的文本。
当作为验证检测到的文本的结果确定出检测到的文本不是适于识别内容的信息时，根据实施方式的设备100可重复地执行上述的操作S1120。此外，根据另一示例，设备100可再次请求重新捕获设备100的屏幕。
图7是用于解释根据实施方式的通过设备100执行的、利用与内容服务对应的模板屏幕截图来识别内容的方法的流程图。
在操作S710中，设备100可接收用于控制提供至设备100的至少一条内容的控制信号。
在操作S720中，设备100可基于所接收的控制信号，确定向设备100提供至少一条内容的内容服务的类型。
根据实施方式的设备100可基于所接收的控制信号，确定向设备100提供至少一条内容的内容服务的类型。就此而言，内容服务的类型可以是基于Web的视频点播(VOD)服务、直播服务和基于应用的服务中的任意一者，但是这仅是一种实施方式。提供至少一条内容的内容服务的类型不限于此。
在操作S730中，设备100可捕获设备100的在其上显示内容的屏幕。
当接收到控制信号时，根据实施方式的设备100可捕获设备100的在其上显示内容的屏幕。
在操作S740中，设备100可根据所确定的内容服务的类型来选择模板屏幕截图。
就此而言，模板屏幕截图可根据向设备100提供至少一条内容的内容服务的类型而不同。例如，根据内容服务的类型，模板屏幕截图的在其上显示内容信息的区域、构成内容信息的文本的尺寸、颜色、形状等可以是不同的。
另一方面，虽然出于方便的目的在并行的过程中描述了操作S730和S740，但是每个操作可按彼此之间的时间关系来执行。
在操作S750中，设备100可确定所捕获的屏幕截图是否与模板屏幕截图对应。
当所捕获的屏幕截图不与模板屏幕截图对应时，设备100可通过执行上述的操作S710而重复地执行上述的操作S710至S740。
在操作S760中，设备100可从所捕获的屏幕截图的预定区域提取包括内容信息的字符串数据。
当所捕获的屏幕截图与模板屏幕截图对应时，根据实施方式的设备100可从所捕获的屏幕截图的预定区域提取包括内容信息的字符串数据。
在操作S770中，设备100将所提取的字符串数据与包括在预定含义识别模型中的至少一个文本进行比较，以检测与所提取的内容信息对应的文本。
另一方面，操作S770可与以上参照图6描述的操作S630对应。
在操作S780中，设备100可基于检测到的文本识别显示在设备100的屏幕上的内容。
另一方面，操作S780可与以上参照图6描述的操作S640对应。
图8是用于更具体地解释根据实施方式的通过设备100执行的识别内容的方法的流程图。
在操作S810中，设备100可接收用于控制提供至设备100的至少一条内容的控制信号。
另一方面，操作S810可与以上参照图2描述的操作S210对应。
在操作S820中，当接收到控制信号时，设备100可以以预定周期捕获设备100的在其上显示内容的屏幕。
在操作S830中，设备100可确定所捕获的屏幕截图是否与模板屏幕截图对应。
当所捕获的屏幕截图不与模板屏幕截图对应时，根据实施方式的设备100可重复地执行操作S810中捕获设备100的屏幕的操作。
在操作S840中，设备100可从所捕获的屏幕截图的预定区域提取包括内容信息的字符串。
当所捕获的屏幕截图与模板屏幕截图对应时，根据实施方式的设备100可从所捕获的屏幕截图的预定区域提取包括内容信息的字符串。例如，设备100可从与模板屏幕截图的预定内容信息显示区域对应的区域提取所捕获的屏幕截图上的文本。
在操作S850中，设备100可确定包括在含义识别模型中的至少一个文本之中是否存在与内容信息对应的文本。另一方面，当没有检测到与内容信息对应的文本时，根据实施方式的设备100可重复地执行操作S720中捕获设备100的屏幕的操作。
在操作S860中，设备100可检测包括在含义识别模型中的至少一个文本之中与内容信息对应的文本。
操作S860可与以上参照图6描述的操作S630对应。
在操作S870中，设备100可基于检测到的文本识别显示在设备100的屏幕上的内容。
操作S870可与以上参照图6描述的操作S640对应。
图9a至图9d是用于解释根据实施方式的通过设备100执行的、利用含义识别模型来识别内容的方法的图。
参照图9a，根据实施方式的设备100可接收用于控制在设备100中再现的内容的控制信号。设备100可基于所接收的控制信号将用于识别内容的模板屏幕截图确定为第一模板屏幕截图。
另一方面，根据实施方式的设备100可捕获与所确定的第一模板屏幕截图对应的屏幕截图910a。设备100可利用第一模板屏幕截图从所捕获的屏幕截图910a检测包括内容信息的图像912a。
根据实施方式的设备100可读取所检测的图像912a，并且可识别表示与内容有关的信息的文本914a。另外，设备100可使用预定含义识别模型来确定从所识别的文本914a中辨识内容所必需的信息。例如，设备100可选择表示包括在所识别的文本914a上的内容的标题的文本。另外，设备100可将所识别的文本914a与预定含义识别模型进行比较，并且可将确定是打字错误的“Hongfu”校正为“Kungfu(功夫)”。设备100可基于在其中打字错误被校正的文本916a确定频道的类型和内容的标题。
参照图9b，根据实施方式的设备100可捕获与基于控制信号确定的第二模板屏幕截图对应的屏幕截图910b。设备100可利用第二模板屏幕截图从所捕获的屏幕截图910b检测包括内容信息的图像912b。
根据实施方式的设备100可读取所检测的图像912b，并且可识别表示与内容有关的信息的文本914b。另外，设备100可使用预定含义识别模型来确定从所识别的文本914b中辨识内容所必需的信息。例如，设备100可选择表示包括在所识别的文本914b上的内容的标题的文本。另外，设备100可将所识别的文本914b与预定含义识别模型进行比较，以将确定是打字错误的“gico”和“gi”校正为“zico”和“ZI”。设备100可基于在其中打字错误被校正的文本916b确定内容的标题。
参照图9c，根据实施方式的设备100可捕获与基于控制信号确定的第三模板屏幕截图对应的屏幕截图910c。设备100可利用第三模板屏幕截图从所捕获的屏幕截图910c检测包括内容信息的图像912c。
根据实施方式的设备100可读取所检测的图像912c，并且可识别表示与内容有关的信息的文本914c。另外，设备100可使用预定含义识别模型来确定从所识别的文本914c中辨识内容所必需的信息。例如，设备100可选择作为表示包括在所识别的文本914c上的内容的标题的文本“engineeFs”。另外，设备100可将所识别的文本914c与预定含义识别模型进行比较，并且将确定是打字错误的“eF”校正为“r”。
设备100可基于在其中打字错误被校正的文本916c确定内容的标题。
参照图9d，根据实施方式的设备100可捕获与基于控制信号确定的第四模板屏幕截图对应的屏幕截图910d。设备100可利用第四模板屏幕截图从所捕获的屏幕截图910d检测包括内容信息的图像912d。
根据实施方式的设备100可读取所检测的图像912d以识别表示与内容有关的信息的文本914d。另外，设备100可使用预定含义识别模型来确定从所识别的文本914d辨识内容所必需的信息。例如，设备100可选择表示包括在所识别的文本914d上的内容的标题和频道信息的文本“041”、“K E35joy”和“gag concert”。另外，设备100可将所识别的文本914d与预定含义识别模型进行比较，以将确定是打字错误的“K E35”校正为“KBS”。
设备100可基于在其中打字错误被校正的文本916d确定频道类型和内容的标题。
参照如上面参照图9a至图9d所描述的那样，根据实施方式的设备100可通过使用预定含义识别模型更精确地识别内容。
图10a和图10b是根据实施方式的用于识别内容的设备100的框图。
图10a，根据实施方式的设备100可包括通信器110、控制器130和显示器120。然而，所有示出的组件不是必不可少的组件。设备100可通过比所示组件更多的组件来实现，并且设备100可通过更少的组件来实现。
例如，如图10b所示，除了通信器110、显示器120和控制器130之外，根据实施方式的设备100还可包括音频处理器115、音频输出单元125、传感器140、调谐器150、电力供应器160、输入/输出单元170、视频处理器180和储存器190。
在下文中，将按顺序描述所述组件。
通信器110可在控制器130的控制下将设备100连接至外部设备(例如，输入设备、服务提供设备、服务器等)。例如，控制器130可向通过通信器110连接的服务提供设备发送内容/从所述服务提供设备接收内容、从服务提供设备下载应用、或者浏览网页(web)。根据设备100的性能和结构，通信器110可包括无线局域网111、蓝牙112和有线以太网113之一。通信器110还可包括无线局域网111、蓝牙112和有线以太网113的组合。通信器110可在控制器130的控制下接收输入设备的控制信号。控制信号可实现为蓝牙型控制信号、RF信号型控制信号或WiFi型控制信号。
除了蓝牙之外，通信器110可包括近场通信(例如，近场通信(NFC)，未示出)和蓝牙低功耗(BLE)(未示出)。
根据实施方式的通信器110接收用于控制提供至设备100的至少一条内容的控制信号。在这种情况下，通信器110可执行与传感器140的功能对应的功能，稍后将描述所述传感器140。
通信器110可向服务器发送所提取的内容信息。通信器110还可从服务器200接收设备100的用户的、基于提取的内容信息确定的内容观看模式信息。
显示器120转换通过控制器130处理的视频信号、数据信号、OSD信号、控制信号等以生成驱动信号。显示器120可以是PDP、LCD、OLED、柔性显示器或3D显示器。另外，除输出设备之外，显示器120还可配置为触摸屏并且还可用作输入设备。
根据实施方式的显示器120显示内容。在本说明书中，显示器120可与在其中显示内容的屏幕对应。
控制器130通常控制设备100的整体操作。例如，控制器130通常可通过执行存储在储存器190中的程序，来控制通信器110、显示器120、音频处理器115、音频输出单元125、传感器140、调谐器150、电力供应器160、输入/输出单元170、视频处理器180、储存器190等。
当接收到控制信号时，根据实施方式的控制器130以预定周期捕获设备100的屏幕。当所捕获的屏幕截图与模板屏幕截图对应时，控制器130从所捕获屏幕的预定区域提取包括内容信息的字符串。控制器130基于包括在所提取的字符串中的内容信息识别显示在显示器120上的内容。
根据实施方式的控制器130可确定向设备100提供至少一条内容的内容服务的类型。控制器130可根据所确定的内容服务的类型选择模板屏幕截图。
当所捕获的屏幕截图与模板屏幕截图对应时，根据实施方式的控制器130可停止捕获在其上显示内容的屏幕。另外，控制器130可确定内容服务的类型和控制信号的类型。控制器130可基于所确定的内容服务的类型和控制信号的类型，以预定周期捕获设备100的在其上显示内容的屏幕。
根据另一实施方式的控制器130可确定所接收的控制信号是否是指向设备100的屏幕的信号，并且可检测屏幕上的从所指向的点起的预定区域。另外，控制器130可从所检测的区域提取包括内容信息的字符串。控制器130可基于内容信息识别显示在显示器120上的内容。
根据另一实施方式，控制器130可将所提取的内容信息与包括在预定含义识别模型中的至少一个文本进行比较，并且检测与所提取的内容信息对应的文本。另外，控制器130可预先设定含义识别模型。控制器130可检测包括在含义识别模型中的至少一个文本之中、与所提取的内容信息中的文本具有最高相似度的文本。
控制器130基于检测到的文本识别显示在设备100的屏幕上的内容。例如，控制器130可将检测到的文本确定为显示在设备100的屏幕上的内容的标题。根据另一示例，设备100可基于附加信息验证检测到的文本。根据另一示例，设备100可基于所感测的语音数据验证检测到的文本。
音频处理器115对音频数据执行处理。音频处理器115可对音频数据执行各种类型的处理，诸如解码和放大、噪声过滤等。另一方面，音频处理器115可包括用于处理与多个内容对应的音频的多个音频处理模块。
在控制器130的控制下，音频输出单元125输出包括在通过调谐器150接收的广播信号中的音频。音频输出单元125可输出通过通信器110或输入/输出单元170输入的音频(例如，语音或声音)。在控制器130的控制下，音频输出单元125还可输出存储在储存器190中的音频。音频输出单元125可包括扬声器126、耳机输出终端127或Sony/Philips数字接口(S/PDIF)输出终端128中的至少一者。音频输出单元125可包括扬声器126、耳机输出终端127和S/PDIF输出终端128的组合。
根据实施方式的传感器140可感测用户输入并且向控制器130发送所感测的信号。另外，传感器140可感测用于接通/关断、频道选择、频道上/下和屏幕设置的用户输入。另外，根据实施方式的传感器140可感测用于移动显示在显示器120上的光标的用户输入以及在候选项之间移动焦点的方向键输入。另外，传感器140感测用户的语音、用户的图像或用户的交互。
麦克风141接收所发出的用户的语音。麦克风141可将所接收的语音转换为电信号并且向控制器130输出所述电信号。
麦克风141可与设备100整体地实现或独立于设备100实现。独立的麦克风141可通过通信器110或输入/输出单元170电连接至图像显示设备100b。本领域技术人员将容易理解，根据设备100的性能和结构可省略麦克风141。
相机142可在控制器130的控制下将所接收的图像转换为电信号并且向控制器130输出所述电信号。
光接收器143通过显示器120的边框的光学窗口(未示出)等接收从外部输入设备接收的光学信号(包括控制信号)。光接收器143可从输入设备接收与用户输入(例如，触摸、按压、触摸手势、语音或动作)对应的光学信号。在控制器130的控制下，可从所接收的光学信号提取控制信号。
调谐器150可通过有线或无线接收的广播信号的放大、混合和谐振，调谐并仅选择诸多无线电波分量之中的待由显示设备100接收的频道的频率。广播信号包括音频、视频和附加信息(例如，EPG(电子节目指南))。
调谐器150可根据用户输入(例如，从控制设备200接收的控制信号，诸如频道号输入、频道上下输入和EPG屏幕中的频道输入)，在与频道号(例如，有线广播506)对应的频带中接收广播信号。
调谐器150可从诸如地面广播、有线广播、卫星广播、因特网广播等各种源头接收广播信号。调谐器150可从诸如模拟广播或数字广播的源头接收广播信号。通过调谐器150接收的广播信号被解码(例如，音频解码、视频解码或附加信息解码)并且分离为音频、视频和/或附加信息。在控制器130的控制下，分离的音频、视频和/或附加信息可存储在储存器190中。
在控制器130的控制下，电力供应器160从外部电源向设备100的内部组件供应电力。另外，在控制器130的控制下，电力供应器160可从位于设备100内的一个或多个电池(未示出)向内部组件供应电力。
在控制器130的控制下，输入/输出单元170从设备100外部接收视频(例如动态图像等)、音频(例如语音、音乐等)和附加信息(例如EPG等)。输入/输出单元170可包括高清晰度多媒体接口(HDMI)端口171、组件插口172、PC端口173和USB端口174之一。输入/输出单元170可包括HDMI端口171、组件插口172、PC端口173和USB端口174的组合。
本领域技术人员将容易理解，输入/输出单元170的配置或操作可根据实施方式不同地实现。
视频处理器180对通过设备100接收的视频数据执行处理。视频处理器180可对视频数据执行多种类型的图像处理，诸如解码、比例缩放、噪声过滤、帧率转换、分辨率转换等。
控制器130可包括RAM 181、ROM 182和处理器183，其中，RAM181存储从设备100的外部输入的信号或数据或者被用作与由设备100执行的各种工作对应的存储区；ROM 182存储用于控制图像显示设备100b的控制程序。
处理器183可包括用于与视频对应地进行图形处理的图形处理单元(未示出)。处理器183可实现为包括内核(未示出)和GPU(未示出)的SoC(片上系统)。处理器183可包括单核、双核、三核、四核和更多核。
处理器183还可包括多个处理器。例如，处理器183可实现为主处理器(未示出)或在睡眠模式中操作的子处理器(未示出)。
图形处理器184利用操作器(未示出)和渲染器(未示出)生成包括多种对象的屏幕，所述对象诸如图标、图像和文本。操作器利用通过传感器140感测的用户输入，根据屏幕的布局计算属性值，诸如，将通过所述多种对象中的每一者显示的坐标值、形状、大小和颜色等。渲染器基于通过操作器计算的属性值生成包括所述对象的各种布局的屏幕。通过渲染器生成的屏幕显示在显示器120的显示区域内。
第一接口185-1至第n接口185-n连接至上述各种组件。第一接口185-1至第n接口185-n之一可以是经由网络连接至外部设备的网络接口。
RAM 181、ROM 182、处理器183、图形处理器184和第一接口185-1至第n接口185-n可经由内部总线186互连。
本实施方式中的术语“控制器”包括处理器183、ROM 182和RAM 181。
在控制器130的控制下，储存器190可储存用于驱动和控制设备100的各种数据、程序或应用。例如，储存器190可储存用于控制设备100和控制器130的控制程序、最初由制造商提供或从外部下载的应用、与应用相关的图形用户接口(GUI)、用于提供GUI的对象(例如图像文本、图标、按钮等)、用户信息、文件、数据库或相关数据。
在实施方式中，术语“储存器”包括安装在储存器190中的内存卡(例如，微型SD卡、USB存储器，未示出)、控制器130或设备100的ROM 182和RAM 181。另外，储存器190可包括非易失性存储器、易失性存储器、硬盘驱动(HDD)或固态驱动(SSD)。
储存器190可包括广播接收模块、频道控制模块、音量控制模块、通信控制模块、语音识别模块、动作识别模块、光接收模块、显示控制模块、音频控制模块、外部输入控制模块、电力控制模块、无线(例如蓝牙)连接的外部设备的电力控制模块、语音数据库(DB)或未示出的动作数据库(DB)。储存器190的未示出的模块和数据库可以以软件的形式实现，以通过设备100执行广播接收控制功能、频道控制功能、音量控制功能、通信控制功能、语音识别功能、动作识别功能、光接收控制功能、显示控制功能、音频控制功能、外部输入控制功能、电力控制功能或无线连接(例如，蓝牙)的外部设备的电力控制功能。控制器130可利用存储在储存器190中的软件执行各自的功能。
图11是用于解释根据实施方式的通过含义识别服务器200执行的、识别提供至设备100的内容的方法的流程图。
在操作S1110中，当通过设备100捕获的屏幕截图与模板屏幕截图对应时，含义识别服务器200从设备100接收从所捕获的屏幕提取的包括内容信息的字符串。
根据实施方式，通过含义识别服务器200接收的字符串可包括显示在所捕获的屏幕截图上的与模板屏幕截图对应的预定区域上的文本数据。例如，当所捕获的屏幕截图是A内容的开始屏幕截图时，所述内容信息可包括与A内容的标题有关的信息和提供A内容的频道的类型。然而，这仅是一种实施方式，并且内容信息不限于上述示例。
根据另一实施方式，含义识别服务器200可连同字符串一起从设备100接收附加信息。就此而言，附加信息可包括与内容显示在设备100上的时间、设备100的用户、内容服务的类型、显示在所捕获的屏幕截图上的文本数据的大小、位置和颜色有关的信息。
根据另一实施方式，含义识别服务器200可连同内容信息一起从设备100接收通过设备100感测的语音数据。就此而言，语音数据可包括用户观看显示在设备100上的内容的语音数据。然而，这仅是一种实施方式，并且含义识别服务器200可连同上述的附加信息一起接收字符串和语音数据。
在操作S1120中，含义识别服务器200将所接收的文本与包括在预定含义识别模型中的至少一个文本进行比较，并且检测与内容信息对应的文本。
根据实施方式的含义识别服务器200可预先设定含义识别模型。含义识别模型可包括用于自从设备100接收的内容信息中识别内容的至少一个文本。例如，含义识别模型可包括表示当前提供的内容的标题和提供内容的频道的类型的至少一个文本。含义识别模型还可包括概率模型和每个模板屏幕截图的预定格式模式中的至少一者以从字符串提取内容信息，其中在所述概率模型中根据字符串中的单词之间的关系计算概率。
此外，根据另一示例，含义识别模型可根据设备ID和用户ID不同地设定。例如，当用户是二十多岁的女性时，含义识别服务器200可选择多个识别模型之中的、包括表示二十多岁的女性偏好的内容的标题和频道的类型的至少一个文本的含义识别模型。
根据实施方式的含义识别服务器200可通过针对模板屏幕截图使用预定格式模式，从所提取的字符串中检测字符串中所包括的文本。就此而言，预定格式模式可包括在含义识别模型中。例如，当格式模式以频道名称和标题名称的顺序设定时，设备100可从所提取的字符串检测与频道名称和标题名称对应的文本。另一方面，根据另一示例，包括在所提取的字符串中的至少一个文本可能不与设备100的模板屏幕截图的预定格式模式对应。在这种情况下，设备100可利用概率性地计算字符串中的周围单词的关系的概率模型从字符串检测文本。例如，设备100可基于概率模型从A是主演并且B是独家广播这样的字符串提取演员的名字是A并且广播名称是B这样的文本。
在操作S1130中，含义识别服务器200基于检测到的文本识别显示在设备100的屏幕上的内容。
根据实施方式的含义识别服务器200可将检测到的文本确定为显示在设备100的屏幕上的内容的标题。
此外，根据另一实施方式，含义识别服务器200可基于从设备100接收的附加信息验证检测到的文本。可检测包括在含义识别模型中的至少一个文本之中的、与所提取的内容信息中所包括的文本具有最高相似度的文本。就此而言，相似度可根据内容信息中所包括的文本的辅音字母和元音字母的类型、组合关系等以及包括在含义识别模型中的至少一个文本之间的匹配率来确定。例如，当内容信息中所包括的文本是Hungfu时，含义识别服务器200可检测包括在含义识别模型中的至少一个文本之中的具有最高相似度的Kungfu(功夫)。含义识别服务器200可将从设备100接收的内容信息与含义识别模型进行比较以从含义识别模型检测文本，从而校正包括在所接收的内容信息中的打字错误等。
根据另一实施方式，含义识别服务器200可基于从设备100接收的语音数据验证检测到的文本。例如，当Kungfu被检测为内容的标题时，含义识别服务器200可确定所接收的语音数据是否表示Kungfu并且验证检测到的文本。
当作为验证检测到的文本的结果确定出检测到的文本不是适于识别内容的信息时，根据实施方式的含义识别服务器200可重复地执行上述的操作S1120。此外，根据另一示例，含义识别服务器200可请求设备100重新捕获设备100的屏幕。
另一方面，根据实施方式的含义识别服务器200可向观看模式分析服务器300发送内容识别结果。就此而言，观看模式分析服务器300可确定包括与设备100的用户经常观看的内容的频道和类型有关的信息、内容观看时间等的观看模式。根据实施方式，与观看模式有关的信息可发送至内容服务提供者或者发送至广告提供者的服务器。
图12是示出根据实施方式的识别提供至设备100的内容的含义识别服务器200的框图。
参照图12，根据实施方式的含义识别服务器200可包括通信器210、处理器220和储存器230。然而，所有示出的组件不是必不可少的组件。含义识别服务器200可通过比所示组件更多的组件来实现，并且含义识别服务器200可通过更少的组件来实现。
在下文中，将按顺序描述所述组件。
在处理器220的控制下，通信器210可将含义识别服务器200连接至外部设备(例如，设备100、观看模式分析服务器等)。例如，处理器220从通过通信器210连接的设备100接收包括内容信息的字符串。另外，通信器210可以以预定周期从外部Web服务器(未示出)接收内容数据。就此而言，内容数据可用于生成含义识别模型。根据另一示例，处理器220可通过通信器210向观看模式分析服务器(未示出)发送显示在设备100的屏幕上的内容的识别信息。
另外，根据实施方式的通信器210可接收通过设备100感测的用户的语音数据。就此而言，语音数据可包括当用户观看显示在设备100上的内容时感测的语音数据。
处理器220通常控制含义识别服务器200的整体操作。例如，处理器220通常可通过执行存储在储存器230中的程序来控制通信器210、储存器230等。
根据实施方式的处理器220将通过通信器210接收的字符串与包括在预定含义识别模型中的至少一个文本进行比较。另外，处理器220基于比较结果从至少一个文本中检测与内容信息对应的文本。例如，处理器220可利用模板屏幕截图的预定格式模式从所提取的字符串中检测字符串中所包括的文本。另一方面，根据另一示例，包括在所提取的字符串中的至少一个文本可能不与设备100的模板屏幕截图的预定格式模式对应。在这种情况下，设备100可利用概率模型从字符串中检测文本，其中所述概率模型概率性地计算字符串中的周围单词关系。
根据实施方式的处理器220基于检测到的文本识别显示在设备100的屏幕上的内容。根据另一实施方式，处理器220可基于通过通信器210接收的附加信息来验证检测到的文本。根据另一示例，当处理器220作为将所提取的内容信息与至少一个文本比较的结果选择所具有的相似度等于或大于阈值的至少一个候选文本时，处理器220可将至少一个候选文本与附加信息进行比较并且选择任一个，且因此可提高内容识别的精确度。
根据实施方式的处理器220可基于检测到的文本和通过通信器210接收的用户的语音数据，识别显示在设备100的屏幕上的内容。
根据实施方式的处理器220可基于以预定周期获得的至少一条内容数据更新含义识别模型。另外，根据实施方式的处理器220可根据包括用户年龄、用户性别和用户职业中的至少一者的用户概况选择含义识别模型。
在处理器220的控制下，储存器230可储存用于驱动和控制含义识别服务器200的各种数据、程序或应用。例如，储存器230可储存至少一个含义识别模型。另外，储存器230可储存从Web服务器(未示出)接收的内容数据。
图13是用于解释根据实施方式的识别显示在设备100上的内容的系统(在下文中称作内容识别系统)的示意图。
根据实施方式的内容识别系统可包括设备100和含义识别服务器200。
参照图13，根据实施方式的设备100可包括控制器130和传感器140。然而，应注意，这仅示出解释本实施方式必需的一些组件，且设备100中所包括的组件不限于上述示例。
当通过设备100接收到控制信号时，根据实施方式的控制器130可捕获设备100的在其上显示内容的屏幕。当所捕获的屏幕截图与预先存储的模板屏幕截图对应时，控制器130可从所捕获的屏幕截图提取包括内容信息的字符串。
此外，控制器130可向含义识别服务器200发送所提取的字符串。
根据实施方式的传感器140可感测用户观看通过设备100接收的至少一条内容的语音数据。例如，传感器140可感测用户的选择通过设备100接收的至少一条内容之一的语音数据、用户的评估显示在设备100上的内容的语音数据等。
另外，传感器140可向含义识别服务器200发送所述语音数据。
根据实施方式的含义识别服务器200可包括通信器210、处理器220和储存器230。然而应注意，仅示出解释本实施方式所必需的组件，且含义识别服务器200中所包括的组件不限于上述示例。
根据实施方式的通信器210可从设备100接收所提取的字符串和语音数据。
根据实施方式的处理器220可包括含义识别器222和语音识别器224。
含义识别器222可从包括在预定含义识别模型中的至少一个文本中检测与内容信息对应的文本。
语音识别器224可向含义识别器222提供分析所接收的语音数据的结果。因此，含义识别器222可通过将分析从语音识别器224提供的语音数据的结果与检测到的文本进行比较来验证检测到的文本。根据另一示例，当检测到与所接收的文本对应的多个文本时，含义识别器222可将分析语音数据的结果与所检测的多个文本进行比较并且选择所检测的多个文本中的任意之一。
根据实施方式，通过含义识别器222检测的文本可通过通信器210发送至观看模式分析服务器300。观看模式分析服务器300可利用从含义识别服务器200接收的文本在预定时间内分析设备100的用户的观看模式。
图14是用于更详细地解释根据实施方式的包括在含义识别服务器200的处理器220中的含义识别器1400的操作的框图。
参照图14，根据实施方式的含义识别器1400可包括内容数据管理模块1410、更新模块1420和含义识别引擎1430。然而，所有示出的组件不是必不可少的组件。例如，所示组件的功能可在一个模块中执行，并且可在比所示组件更多的模块中执行。
根据实施方式的内容数据管理模块1410可从外部Web服务器50接收内容数据。例如，内容数据管理模块1410可从Web服务器50接收来自Web服务器50的内容提供服务的类型，自内容提供服务提供的内容的标题、它的内容以及提供内容的频道的类型等。另外，内容数据管理模块1410可向更新模块1420发送所接收的内容数据中关于内容标题的内容数据、频道类型等。
根据实施方式的更新模块1420可基于从内容数据管理模块1410接收的关于内容标题的内容数据、频道类型等生成含义识别模型。更新模块1420还可利用从设备100接收的附加信息生成与设备100的用户对应的含义识别模型。例如，更新模块1420可基于从设备100接收的、与用户的性别、年龄和年龄有关的信息，生成个性化含义识别模型。
根据实施方式的含义识别引擎1430可基于从更新模块1420提供的含义识别模型，利用从设备100接收的字符串识别显示在设备100的屏幕上的内容。另外，含义识别引擎1430可从所接收的字符串提取预测为内容标题的单词，接着将所提取的单词发送至内容数据管理模块1410。就此而言，内容数据管理模块1410可验证在所提取的单词中是否存在打字错误，或者所提取的单词是否适合于识别内容的标题。通过内容数据管理模块1410验证的单词可发送至观看模式分析服务器300。
另一方面，这仅是一种实施方式，并且当含义识别引擎1430确定出如作为识别内容的结果所推导的、与内容标题有关的信息和提供内容的频道类型是高度可靠的时，含义识别引擎1430可在没有内容数据管理模块1410的验证过程的情况下向观看模式分析服务器300发送所提取的单词。另一方面，观看模式分析服务器300可基于从含义识别引擎1430接收的内容识别结果分析用户的观看模式。另外，观看模式分析服务器300可向更新模块1420提供分析结果。因此，更新模块1420可基于所接收的观看模式分析结果更新与设备100的用户对应的含义识别模型。
图15是用于更详细地解释根据实施方式的包括在含义识别服务器200的含义识别器220中的内容数据管理模块1410的操作的框图。
参照图15，根据实施方式的内容数据管理模块1410可包括Web爬虫1412、文本处理模块1414、内容数据库管理模块1416和内容数据库1418。然而，所有示出的组件不是必不可少的组件。例如，所示组件的功能可在一个模块中执行，并且可在比所示组件更多的模块中执行。
根据实施方式的Web爬虫1412可从通过Web服务器提供的数据获得内容数据。例如，Web爬虫1412可访问由内容服务提供的Web页面或者门户网站的Web页面以获取Web页面中所记录的内容数据。
根据实施方式的文本处理模块1414可将通过Web爬虫1412获得的内容数据处理为文本形式。例如，文本处理模块1414可从通过Web爬虫1412获得Web页面的图像中提取文本。
根据实施方式的内容数据库管理模块1416可根据内容服务的类型和观看时间将从文本处理模块1414获得的文本形式的内容数据分类，并且将所分类的内容数据储存在内容数据库1418中。
另外，内容数据库管理模块1416可向以上参照图14所述的更新模块1420和含义识别引擎1430中的每一个提供文本形式的文本数据。
另一方面，在图15中，内容数据库1418包括在内容数据管理模块1410中，但是这仅是一种实施方式。根据另一示例，内容数据库1418可包括在以上参照图12所描述的储存器230中。
图16是用于解释根据实施方式的通过含义识别服务器200执行的、基于文本形式的内容数据1610处理作为含义识别模型的基础的文本的方法的图。
根据实施方式的含义识别服务器200可检测能从文本形式的内容数据1610识别内容的至少一个文本。含义识别服务器200可利用预定模板语料库1620从文本形式的内容数据1610提取可用于识别内容的至少一个文本。就此而言，模板语料库1620可包括可用于识别内容的单词。例如，根据实施方式，电影标题、戏剧标题、电影频道和广播时间可包括在模板语料库1620中。
根据实施方式的含义识别服务器200可根据模板语料库项目将检测到的文本分类。在已分类的文本1630中，模板语料库1620可以以索引形式被一起存储。另外，含义识别服务器200可基于已分类的文本1630生成含义识别模型。
另一方面，图16中描述的示例是生成含义识别模型的方法的示例。然而，本公开中生成含义识别模型的方法不限于语料库的使用。
根据实施方式的方法可实现为可通过各种计算机装置执行的计算机命令，并且记录在非瞬时性计算机可读记录介质上。非瞬时性计算机可读记录介质可包括程序命令、数据文件、数据结构或它们的组合。记录在非瞬时性计算机可读记录介质上的程序命令可针对本公开专门设计和构造，或者可由计算机软件领域的普通技术人员知道和使用。非瞬时性计算机可读介质的示例包括：磁性介质，诸如硬盘、软盘或磁带；光学介质，诸如光盘只读存储器(CD-ROM)或数字化视频光盘(DVD)；磁光介质，诸如软光盘；以及专门配置为储存和执行程序命令的硬件设备，诸如ROM、RAM和闪速存储器。程序命令的示例包括可通过计算机利用解译器执行的高级编程语言以及通过编译器制作的机器语言代码。
本文描述的设备可包括：处理器；用于存储将被处理器执行的程序数据的存储器；诸如磁盘驱动器的永久性存储器；用于处理与外部设备的通信的通信端口；以及用户接口设备，包括显示器、按键等。当包括软件模块时，这些软件模块可作为程序命令或由处理器执行的计算机可读代码存储在非瞬时性计算机可读介质上，诸如只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储设备。计算机可读记录介质还可以分布在经由网络联接的计算机系统上，以使得计算机可读代码可以以分布式方式存储和执行。这些介质可被计算机读取、存储在存储器中以及被处理器执行。
出于帮助理解本公开的原理的目的，已对附图中所示的实施方式进行了参考，并且已经使用特定措词描述了这些实施方式。然而，本公开的范围并非旨在受所述特定措词限制，并且本公开应被解释为涵盖本领域普通技术人员通常将想到的全部实施方式。
本公开可在功能块组件和各种处理步骤方面进行描述。这些功能块可通过配置为执行指定功能的任意数量的硬件和/或软件组件来实现。例如，本公开可使用各种集成电路组件，诸如，存储器元件、处理元件、逻辑元件和查找表等，其可在一个或多个微处理器或其它控制设备的控制之下执行各种功能。类似地，在本公开的元件利用软件编程或软件元件来实现的情况下，本公开可利用任意编程或脚本语言(诸如C、C++、Java、汇编语言等)来实现，并且各种算法利用数据结构、对象、进程、例程或其它编程元件的任意组合来实现。功能方面可以以在一个或多个处理器上执行的算法来实现。此外，本公开可使用任意数量的常规技术来进行电子配置、信号处理和/或控制、数据处理等。词语“机构”和“元件”被广义地使用，并且不限于机械或物理性的实施方式，而是可包括与处理器结合的软件程序等。
本文示出和描述的具体实施方式是本公开的说明性示例，且并非旨在以任何方式另行限制本公开的范围。为了简明的目的，可能没有详细地描述常规的电子器件、控制系统、软件开发和系统的其它功能方面(以及系统的各个操作部件的组件)。此外，所呈现的各种附图中所示的连接线或连接器旨在表示各种元件之间的示例性功能关系和/或物理或逻辑联接。应注意，在实际设备中，可能存在许多替代或附加的功能关系、物理连接或逻辑连接。此外，除非所述元件被明确地描述为“根本的”或“决定性的”，否则没有项目或组件对本公开的实践是必不可少的。应意识到，如本文所使用的术语“包括(comprising)”、“包括(including)”和“具有(having)”尤其旨在解释为开放式的领域术语。
术语“一”和“一个”和“所述”及类似引用于在描述本公开的上下文中(尤其是在所附权利要求的上下文中)的使用将解释为涵盖单数和复数两者。此外，除非本文另有说明，否则本文的值的范围的记载仅旨在充当单独引用落入所述范围内的每个独立值的速记方法，并且每个独立值如同其在本文被单独记载一样被并入说明书中。最后，除非本文另有说明或者明确地与上下文另行矛盾，否则本文中所描述的所有方法的步骤可以以任何适当的顺序来执行。本文提供的任何和全部示例或示例性措词(例如，“诸如”)的使用仅旨在更好地阐明本公开，并且除非另行保护否则不造成对本公开范围的限制。在不脱离本公开的精神和范围的情况下，诸多修改和调整对本领域普通技术人员而言将是显而易见的。

Claims (14)

1.通过服务器执行的识别内容的方法，所述方法包括：
当捕获的设备的屏幕截图与模板屏幕截图对应时，从所述设备接收从所捕获的屏幕截图中提取的内容信息；
通过将所接收的内容信息与包括在预定含义识别模型中的至少一个文本进行比较，检测与所提取的内容信息对应的文本；以及
基于检测到的文本识别显示在所述设备的屏幕上的内容。
2.如权利要求1所述的方法，还包括：接收观看所述设备的内容的用户的语音数据，
其中，识别内容包括：基于所接收的所述用户的语音数据识别显示在所述设备的屏幕上的内容。
3.如权利要求1所述的方法，其中，检测文本包括：
通过将所提取的内容信息与所述至少一个文本进行比较，计算所述至少一个文本中的每一个与所提取的内容信息对应的概率值；以及
基于所计算的概率值，检测所述至少一个文本中的任意一个。
4.如权利要求1所述的方法，还包括：当未检测到文本时，从所述设备接收从与所述模板屏幕截图对应的另一捕获的屏幕截图提取的包括内容信息的字符串。
5.如权利要求1所述的方法，其中，识别内容还包括：基于检测到的文本，改变所提取的内容信息中的与检测到的文本不对应的信息。
6.如权利要求1所述的方法，还包括：
向观看模式分析服务器发送识别所述内容的结果；以及
基于所述结果，从所述观看模式分析服务器接收通过所述观看模式分析服务器生成的所述设备的用户的观看模式历史信息。
7.一种设备，包括：
通信器，配置为接收至少一条内容；
显示器，配置为显示所述至少一条内容中的任意一条；以及
处理器，配置为：
当接收到用于控制所述至少一条内容的控制信号时，捕获所述设备的屏幕，
当捕获的屏幕截图与模板屏幕截图对应时，从所捕获的屏幕截图的预定区域中提取包括内容信息的字符串，
将所提取的字符串与包括在预定含义识别模型中的至少一个文本进行比较，
检测与所述内容信息对应的文本，以及
基于检测到的文本识别显示在所述设备的屏幕上的内容。
8.用于识别内容的服务器，所述服务器包括：
通信器，配置为：当捕获的设备的屏幕截图与模板屏幕截图对应时，从所述设备接收从所捕获的屏幕截图中提取的包括内容信息的字符串；以及
处理器，配置为：将所接收的内容信息与包括在预定含义识别模型中的至少一个文本进行比较以检测与所述内容信息对应的文本，并且基于检测到的文本识别显示在所述设备的屏幕上的内容。
9.如权利要求8所述的服务器，其中，
所述通信器还配置为：接收观看所述设备的内容的用户的语音数据，以及
所述处理器还配置为：基于所接收的所述用户的语音数据识别显示在所述设备的屏幕上的内容。
10.如权利要求8所述的服务器，其中，所述处理器还配置为：将所提取的内容信息与所述至少一个文本进行比较并计算所述至少一个文本中的每一个与所提取的内容信息对应的概率值，以及基于所计算的概率值检测所述至少一个文本中的任意一个。
11.如权利要求8所述的服务器，其中，所述处理器还配置为：当未检测到文本时，从所述设备接收从与所述模板屏幕截图对应的另一捕获的屏幕截图提取的包括内容信息的字符串。
12.如权利要求8所述的服务器，其中，所述处理器还配置为：基于检测到的文本，改变所提取的内容信息中的与检测到的文本不对应的信息。
13.如权利要求8所述的服务器，其中，所述通信器配置为：向观看模式分析服务器发送识别所述内容的结果，并且接收由所述观看模式分析服务器基于所述结果生成的所述设备的用户的观看模式历史信息。
14.计算机可读记录介质，上面记录有用于执行如权利要求1所述的方法的程序。
CN201780013189.XA 2016-02-26 2017-02-22 用于识别内容的方法及设备 Pending CN108702550A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20160023639 2016-02-26
KR10-2016-0023639 2016-02-26
KR1020160073214A KR102561711B1 (ko) 2016-02-26 2016-06-13 컨텐트를 인식하는 방법 및 장치
KR10-2016-0073214 2016-06-13
PCT/KR2017/001933 WO2017146454A1 (ko) 2016-02-26 2017-02-22 컨텐트를 인식하는 방법 및 장치

Publications (1)

Publication Number Publication Date
CN108702550A true CN108702550A (zh) 2018-10-23

Family

ID=59924624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780013189.XA Pending CN108702550A (zh) 2016-02-26 2017-02-22 用于识别内容的方法及设备

Country Status (4)

Country Link
US (1) US20190050666A1 (zh)
EP (1) EP3399765A1 (zh)
KR (1) KR102561711B1 (zh)
CN (1) CN108702550A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225367A (zh) * 2019-06-27 2019-09-10 北京奇艺世纪科技有限公司 一种视频中对象信息的显示、识别方法及装置
CN111246277A (zh) * 2020-01-15 2020-06-05 湖南映客互娱网络信息有限公司 一种直播审核分区的方法与系统
CN112930537A (zh) * 2020-05-01 2021-06-08 尤帕斯公司 文本检测、插入符号追踪以及活动元素检测
US11461164B2 (en) 2020-05-01 2022-10-04 UiPath, Inc. Screen response validation of robot execution for robotic process automation
US11594007B2 (en) 2020-05-01 2023-02-28 UiPath, Inc. Text detection, caret tracking, and active element detection

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322806B (zh) * 2017-12-20 2020-04-07 海信视像科技股份有限公司 智能电视及电视画面截图的图形用户界面的显示方法
CN108040125A (zh) * 2017-12-28 2018-05-15 北京陌上花科技有限公司 内容识别及推送方法及电视伴随式ai助理装置
KR102546026B1 (ko) 2018-05-21 2023-06-22 삼성전자주식회사 전자 장치 및 그의 컨텐츠 인식 정보 획득
KR102599951B1 (ko) 2018-06-25 2023-11-09 삼성전자주식회사 전자 장치 및 그의 제어방법
WO2020054882A1 (ko) * 2018-09-11 2020-03-19 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR102494591B1 (ko) 2018-09-18 2023-02-03 삼성전자주식회사 전자 장치, 그 제어 방법 및 전자 시스템
KR102585244B1 (ko) 2018-09-21 2023-10-06 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20200080387A (ko) 2018-12-18 2020-07-07 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN109359056B (zh) * 2018-12-21 2022-11-11 北京搜狗科技发展有限公司 一种应用程序测试方法及装置
US20220189174A1 (en) * 2019-03-28 2022-06-16 Piksel, Inc. A method and system for matching clips with videos via media analysis
CN110796140B (zh) * 2019-10-17 2022-08-26 北京爱数智慧科技有限公司 一种字幕检测方法和装置
EP3885917A1 (en) * 2020-03-26 2021-09-29 Thomson Licensing Method and apparatus for monitoring usage of at least one application executed within an operating system
CN112818987B (zh) * 2021-01-29 2024-05-14 浙江嘉科电子有限公司 一种公交电子站牌屏显内容识别纠正方法及系统
WO2023003061A1 (ko) * 2021-07-23 2023-01-26 엘지전자 주식회사 디스플레이 장치
US11775620B2 (en) * 2021-12-10 2023-10-03 Sunroom System and method for blocking screenshots and screen recordings of premium user-generated content
FR3136881A1 (fr) * 2022-06-28 2023-12-22 Orange Procédé et dispositif d’identification et d’extension du contexte de saisie d’un utilisateur, pour effectuer des suggestions contextualisées quelle que soit l’application logicielle utilisée.
WO2024106761A1 (ko) * 2022-11-15 2024-05-23 삼성전자 주식회사 전자 장치 및 그 동작 방법

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1708783A (zh) * 2002-11-02 2005-12-14 皇家飞利浦电子股份有限公司 用于语音识别的方法和系统
US20080221889A1 (en) * 2007-03-07 2008-09-11 Cerra Joseph P Mobile content search environment speech processing facility
CN101600118A (zh) * 2008-06-06 2009-12-09 株式会社日立制作所 音视频内容信息抽取装置和方法
CN101605171A (zh) * 2008-06-09 2009-12-16 Lg电子株式会社 移动终端及其中的文本校正方法
CN102356405A (zh) * 2009-03-20 2012-02-15 谷歌公司 将所呈现的广告与数字内容相关联
CN102663138A (zh) * 2012-05-03 2012-09-12 北京大学 一种公式查询条件的输入方法与装置
CN102866824A (zh) * 2011-06-07 2013-01-09 三星电子株式会社 执行链接的显示设备和方法及其识别语音的方法
CN103546787A (zh) * 2012-07-12 2014-01-29 三星电子株式会社 校正语音识别错误的方法和应用该方法的广播接收设备
US20140282668A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Viewer behavior tracking using pattern matching and character recognition
CN104391839A (zh) * 2014-11-13 2015-03-04 百度在线网络技术（北京）有限公司 机器翻译方法和装置
US20150095929A1 (en) * 2013-09-27 2015-04-02 Samsung Electronics Co., Ltd. Method for recognizing content, display apparatus and content recognition system thereof
US20150149583A1 (en) * 2013-11-26 2015-05-28 Google Inc. Selecting a content item based on a view profile

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US555343A (en) * 1896-02-25 Henry f
DE69327774T2 (de) * 1992-11-18 2000-06-21 Canon Information Syst Inc Prozessor zur Umwandlung von Daten in Sprache und Ablaufsteuerung hierzu
US7584491B2 (en) * 2001-04-25 2009-09-01 Sony Corporation System and method for managing interactive programming and advertisements in interactive broadcast systems
US7814524B2 (en) * 2007-02-14 2010-10-12 Sony Corporation Capture of configuration and service provider data via OCR
US9788055B2 (en) * 2012-09-19 2017-10-10 Google Inc. Identification and presentation of internet-accessible content associated with currently playing television programs
US20160139777A1 (en) * 2014-11-18 2016-05-19 Sony Corporation Screenshot based indication of supplemental information
US20160350332A1 (en) * 2015-05-29 2016-12-01 International Business Machines Corporation Individualized on-demand image information acquisition

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1708783A (zh) * 2002-11-02 2005-12-14 皇家飞利浦电子股份有限公司 用于语音识别的方法和系统
US20080221889A1 (en) * 2007-03-07 2008-09-11 Cerra Joseph P Mobile content search environment speech processing facility
CN101600118A (zh) * 2008-06-06 2009-12-09 株式会社日立制作所 音视频内容信息抽取装置和方法
CN101605171A (zh) * 2008-06-09 2009-12-16 Lg电子株式会社 移动终端及其中的文本校正方法
CN102356405A (zh) * 2009-03-20 2012-02-15 谷歌公司 将所呈现的广告与数字内容相关联
CN102866824A (zh) * 2011-06-07 2013-01-09 三星电子株式会社 执行链接的显示设备和方法及其识别语音的方法
CN102663138A (zh) * 2012-05-03 2012-09-12 北京大学 一种公式查询条件的输入方法与装置
CN103546787A (zh) * 2012-07-12 2014-01-29 三星电子株式会社 校正语音识别错误的方法和应用该方法的广播接收设备
US20140282668A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Viewer behavior tracking using pattern matching and character recognition
US20150095929A1 (en) * 2013-09-27 2015-04-02 Samsung Electronics Co., Ltd. Method for recognizing content, display apparatus and content recognition system thereof
US20150149583A1 (en) * 2013-11-26 2015-05-28 Google Inc. Selecting a content item based on a view profile
CN104391839A (zh) * 2014-11-13 2015-03-04 百度在线网络技术（北京）有限公司 机器翻译方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225367A (zh) * 2019-06-27 2019-09-10 北京奇艺世纪科技有限公司 一种视频中对象信息的显示、识别方法及装置
CN111246277A (zh) * 2020-01-15 2020-06-05 湖南映客互娱网络信息有限公司 一种直播审核分区的方法与系统
CN112930537A (zh) * 2020-05-01 2021-06-08 尤帕斯公司 文本检测、插入符号追踪以及活动元素检测
US11302093B2 (en) 2020-05-01 2022-04-12 UiPath, Inc. Text detection, caret tracking, and active element detection
US11461164B2 (en) 2020-05-01 2022-10-04 UiPath, Inc. Screen response validation of robot execution for robotic process automation
US11594007B2 (en) 2020-05-01 2023-02-28 UiPath, Inc. Text detection, caret tracking, and active element detection
US11625138B2 (en) 2020-05-01 2023-04-11 UiPath, Inc. Text detection, caret tracking, and active element detection
US11630549B2 (en) 2020-05-01 2023-04-18 UiPath, Inc. Text detection, caret tracking, and active element detection
US11734104B2 (en) 2020-05-01 2023-08-22 UiPath, Inc. Screen response validation of robot execution for robotic process automation

Also Published As

Publication number Publication date
KR20170101076A (ko) 2017-09-05
EP3399765A4 (en) 2018-11-07
US20190050666A1 (en) 2019-02-14
EP3399765A1 (en) 2018-11-07
KR102561711B1 (ko) 2023-08-01

Similar Documents

Publication Publication Date Title
CN108702550A (zh) 用于识别内容的方法及设备
US20140052696A1 (en) Systems and methods for visual categorization of multimedia data
CN107005740A (zh) 用于操作选择包括多个导航技术的可用内容的系统和方法
CN103916687A (zh) 显示装置和控制显示装置的方法
CN105830452A (zh) 验证和/或修正媒体节目时间表信息的方法和设备
EP2866159B1 (en) Electronic device and method for controlling a screen
CN104704851A (zh) 节目推荐装置和节目推荐程序
US10110843B2 (en) Image display device and operating method of the same
KR101811719B1 (ko) 컨텐트를 제공하는 디바이스를 제어하는 방법, 그 디바이스 및 서버
EP3764653B1 (en) Display apparatus and method of controlling the same
US10306318B2 (en) Display device and method for recommending contents of the display device
CN111343512B (zh) 信息获取方法、显示设备及服务器
US9544656B1 (en) Systems and methods for recognition of sign language for improved viewing experiences
CN107636749A (zh) 图像显示设备及其操作方法
CN104185086A (zh) 一种提供视频信息的方法和装置
KR102582046B1 (ko) 추천 채널 리스트 제공 방법 및 그에 따른 디스플레이 장치
CN109937576A (zh) 显示装置
KR102088443B1 (ko) 검색을 수행하는 디스플레이 장치 및 이의 제어 방법
CN111010609B (zh) 提供广播节目信息的图像显示设备和方法
US20170278166A1 (en) Method and apparatus for providing information about object
KR20150034956A (ko) 컨텐츠 인식 방법 및 이를 적용한 디스플레이 장치, 그리고 컨텐츠 인식 시스템
CN108781303B (zh) 用于识别内容的方法和设备
KR102020026B1 (ko) 타일 디스플레이 및 타일 디스플레이를 이용한 디지털 tv 서비스 제공 방법 및 장치
WO2020175845A1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20170035309A (ko) 전자 장치 및 이의 컨텐츠 제공 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181023