CN112154671A - 电子设备及其内容识别信息获取 - Google Patents

电子设备及其内容识别信息获取 Download PDF

Info

Publication number
CN112154671A
CN112154671A CN201980034329.0A CN201980034329A CN112154671A CN 112154671 A CN112154671 A CN 112154671A CN 201980034329 A CN201980034329 A CN 201980034329A CN 112154671 A CN112154671 A CN 112154671A
Authority
CN
China
Prior art keywords
server
fingerprint
character
identification information
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980034329.0A
Other languages
English (en)
Other versions
CN112154671B (zh
Inventor
崔贤秀
金玟寿
金圣晋
金永郁
金壹求
金泫翰
崔智雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2019/003304 external-priority patent/WO2019225851A1/ko
Publication of CN112154671A publication Critical patent/CN112154671A/zh
Application granted granted Critical
Publication of CN112154671B publication Critical patent/CN112154671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video

Abstract

公开了电子设备识别图像的方法及针对其的电子设备的配置。本公开的电子设备识别图像的方法包括以下步骤：捕获内容的图像；如果在捕获图像中辨识出文本区域，则通过从所述文本区域识别文本来从服务器获取与所识别的文本匹配的内容识别信息，并且如果在捕获图像中未辨识出文本区域，则通过从捕获图像提取指纹来从服务器获取与所提取的指纹匹配的内容识别信息；以及存储与所获取的文本匹配的内容识别信息和与指纹匹配的内容识别信息中的至少一个。

Description

电子设备及其内容识别信息获取
技术领域
本公开涉及电子设备及其获取内容识别信息的方法。
背景技术
随着用户需求变得日益多样化，广播内容或多媒体内容的来源正在从面向公共电视的单一来源改变为各种来源，诸如有线电视、互联网协议电视(IPTV)、视频点播(VOD)等。或者，还生成提供诸如定制广告、节目推荐等信息的来源。
需要适当提供如上所述的诸如定制广告或节目推荐的信息以适合当前正在输出的场景。例如，当与披露显示对应产品的场景一起显示时，关于特定产品的广告消息是最有效的。因此，需要识别观众当前正在观看哪些内容的技术。内容识别技术不仅对于定制广告是必要的，而且对于评级调查、观看模式调查等也是必要的。
为此，已经引入了通过当电子设备向服务器发送对于当前正在回放的内容的识别请求时从服务器接收响应的方法来识别内容的技术。例如，可以存在诸如使用指纹的自动内容识别(ACR)的技术。
发明内容
技术问题
当使用从内容的图像提取的指纹以便识别正在回放的内容时，必须每次将指纹发送到服务器以便识别内容。
此外，为了获取与从当前正在电子设备中回放的内容提取的指纹匹配的内容识别信息，可能需要用于存储与预生成的指纹匹配的图像有关的信息的多个服务器。例如，可能需要多个服务器来处理可以从播放内容的多个设备接收的指纹。因此，可能需要使用或管理多个服务器的开销。另外，如果针对内容的每一帧提取指纹并且与图像有关的信息预先与之匹配，则也可能需要支持上述操作的成本。
此外，需要从内容提取更大量的指纹以增加相对于内容的图像识别范围，但是在这种情况下，可能需要多个服务器来存储与更大量的指纹匹配的图像有关的信息。
本公开基于上述问题而设计，并且本公开提供了一种与服务器通信的电子设备及其提供其内容识别信息的方法。
技术方案
根据实施例，一种电子设备的获取内容识别信息的方法，包括：捕获内容的图像；基于在捕获图像中辨识出字符区域，从字符区域识别字符并从服务器获取与所识别出的字符匹配的内容识别信息，并且基于在捕获图像中未辨识出字符区域，从捕获图像提取指纹并获取与所提取的指纹匹配的内容识别信息；以及存储与所获取的字符匹配的内容识别信息和与指纹匹配的内容识别信息中的至少一个。
根据实施例，一种电子设备的获取内容识别信息的方法，包括：捕获内容的图像；从捕获图像提取指纹；向服务器发送所提取的指纹；基于指纹识别成功，从服务器获取与指纹匹配的内容识别信息，基于指纹识别失败，从服务器获取与捕获图像中包括的字符匹配的内容识别信息；以及存储与指纹匹配的内容识别信息和与字符匹配的内容识别信息中的至少一个。
根据实施例，一种电子设备，包括：通信器，其能够与服务器通信；存储器，被配置为存储指令；和至少一个处理器，被配置为与通信器和存储器电耦接，所述存储器被配置为存储指令，所述指令被设置为使所述至少一个处理器：基于电子设备被执行，捕获内容的图像；基于在捕获图像中辨识出字符区域，从字符区域识别字符，并通过通信器从服务器获取与所识别出的字符匹配的内容识别信息；基于在捕获图像中未辨识出字符区域，从捕获图像提取指纹，并通过通信器从服务器获取与所提取的指纹匹配的内容识别信息；以及存储与所获取的字符匹配的内容识别信息和与指纹匹配的内容识别信息中的至少一个。
根据实施例，一种电子设备，包括：通信器，其能够与服务器通信；存储器，被配置为存储指令；和至少一个处理器，其与通信器和存储器电耦接，并且，所述存储器被配置为存储指令，所述指令被设置为使所述至少一个处理器：基于电子设备被运行，从捕获图像提取指纹；通过通信器向服务器发送所提取的指纹；基于指纹识别成功，通过通信器从服务器获取与指纹匹配的内容识别信息；基于指纹识别失败，通过通信器从服务器获取与捕获图像中包括的字符匹配的内容识别信息；以及存储与指纹匹配的内容识别信息和与字符匹配的内容识别信息中的至少一个。
根据实施例，一种服务器，包括：通信器，其能够与电子设备通信；至少一个存储器，被配置为包括第一数据库和第二数据库，所述第一数据库包含与对应于多个指纹中的每一个的多个第一图像有关的信息，所述第二数据库包含与对应于多个字符中的每一个的多个第二图像有关的信息；以及至少一个处理器，其与所述至少一个通信器和所述至少一个存储器耦接。所述至少一个处理器被配置为：控制通信器使用户接收与从电子设备观看的内容有关的查询；基于指纹被包括在接收到的查询中，在第一数据库中搜索与指纹匹配的第一图像有关的信息；基于字符被包括在接收到的查询中，从第二数据库搜索与所述字符匹配的第二图像有关的信息；以及将与搜索到的第一图像有关的信息或与第二图像有关的信息作为与内容有关的内容识别信息发送到电子设备。
根据实施例，一种服务器，包括：通信器，其能够与电子设备通信；至少一个存储器，被配置为包括第一数据库和第二数据库，所述第一数据库包括与对应于多个指纹中的每一个的多个第一图像有关的信息，第二数据库包括与对应于多个字符中的每一个对应的多个第二图像有关的信息；以及至少一个处理器，其与所述至少一个通信器和所述至少一个存储器耦接。所述至少一个存储器被配置为存储指令，所述指令被设置为使所述至少一个处理器基于服务器被运行，控制通信器从电子设备接收与用户正在观看的内容有关的查询；基于指纹被包括在接收到的查询中，从第一数据库搜索与所述指纹匹配的第一图像有关的信息；基于字符被包括在接收到的查询中，从第二数据库搜索与所述字符匹配的第二图像有关的信息；以及控制通信器将与搜索到的第一图像有关的信息或与第二图像有关的信息作为与内容有关的内容识别信息发送到电子设备。
根据实施例，一种计算机程序产品，其被配置为存储包括指令的一个或多个计算机程序，所述指令当由计算机的处理器执行时，被设置为：进行控制以：捕获内容的图像；基于在捕获图像中辨识出字符区域，从字符区域识别字符，并且控制从服务器获取与所识别出的字符匹配的内容识别信息；基于在捕获图像中未辨识出字符区域，从捕获图像提取指纹并控制从服务器获取与所提取的指纹匹配的内容识别信息；以及控制存储与所获取的字符匹配的内容识别信息和与指纹匹配的内容识别信息中的至少一个。
有益技术效果
根据本公开的实施例，可以减少基于额外获取或维护指纹的资源消耗。特别地，当针对大量内容时，可以减少存储或管理与和大量指纹匹配的图像有关的信息的服务器的维护成本。
此外，根据本公开的实施例，因为内容识别信息不仅可以通过使用指纹获取，还可以通过使用在捕获图像中包括的字符来获取，所以可以大大提高图像识别范围(或图像识别概率)。
此外，在本公开中可以获取的效果不限于所公开的效果，并且从以下的描述，本领域普通技术人员可以清楚地理解其它未描述的效果。
附图说明
图1是示出根据本公开实施例的内容识别系统的示图；
图2是示出根据本公开实施例的电子设备的框图；
图3是根据本公开实施例的电子设备的详细框图；
图4包括示出根据本公开实施例的字符区域的示例图；
图5至图7是示出根据本公开实施例的电子设备从服务器获取内容识别信息的过程的流程图；
图8至10是示出根据本公开实施例的电子设备获取内容识别信息的过程的流程图；
图11是根据本公开实施例的电子设备的框图；
图12是根据本公开实施例的包括分支部的服务器的框图；
图13是根据本公开实施例的包括分支部的电子设备的框图；
图14是根据本公开实施例的服务器的框图；以及
图15是根据本公开实施例的服务器的流程图。
具体实施方式
在此，参考附图描述本公开的各个实施例。然而，应当注意到，各个实施例不用于将本公开的范围限制于特定实施例，而是应当被解释为包括实施例的所有修改、组合、等同和/或替代。在描述实施例时，可以使用相似的参考标号来指代相似的元素。
在本公开中，使用诸如“包括”、“可以包括”、“由…组成”、“可以由…组成”等的表述来指定对应特征(例如，诸如数值、功能、操作或组件等的元素)的存在，并且不排除附加特征的存在或可能性。
在本公开中，诸如“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”等的表述应当被理解为包括一并列出的项目的所有可能的组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”应当被理解为表示包括以下的所有情况：(1)A中的至少一个，(2)B中的至少一个，或(3)A中的至少一个和B中的至少一个。
如本文中使用的诸如“第一”、“第二”、“第一个”或“第二个”等的表述可以标识各种元素而不考虑顺序和/或重要性，可以用来将一个元素与另一个元素区分开并且不限制对应的元素。例如，第一用户设备和第二用户设备可以表示不同的用户设备，而不考虑顺序和重要性。例如，在不超过本文所描述的请求范围的情况下，第一元素可以被指定为第二元素，并且相似地，第二元素也可以被指定为第一元素。
本文所使用的诸如“模块”、“单元”、“部件”等的术语可以是用于指代执行至少一个功能或操作的元件的术语，并且该元件可以被实施为硬件或软件，或者硬件和软件的组合。此外，除了需要在单独的硬件中实施多个“模块”、“单元”、“部分”等的每一个时，这些组件可以集成在至少一个模块或芯片中并在至少一个处理器中实施。
当某个元件(例如，第一元件)被指示为“(可操作地或可通信地)与另一个元件(例如，第二元件)耦接/耦接到另一个元件(例如，第二元件)”或“连接到”另一个元件(例如，第二元件)时，它可以被理解为该元件直接与其它元件耦接/耦接到其它元件、或理解为通过又另一个元件(例如，第三元件)耦接。另一方面，当某个元件(例如，第一元件)被指示为“与其它元件(例如，第二元件)直接耦接/直接耦接到其它元件(例如，第二元件)”或“直接连接到”其它元件(例如，第二元件)时，可以理解为在该某个元件与该其它元件之间不存在另一元件(例如，第三元件)。
本公开中使用的术语仅用于描述某个实施例，并不旨在限制其它实施例的范围。除非另外指定，否则单数的表述包括复数的表述。本文使用的术语，包括技术术语或科学术语，可以具有与本公开中所公开的技术领域的本领域技术人员通常理解的术语相同的含义。从本文使用的术语当中的一般词典中定义的术语可以被解释为与相关技术中基于上下文的含义相同或相似的含义。除非另外明确规定，否则不可以将这些术语解释为理想的或过于正式的含义。在一些情况下，即使当本公开中定义了术语时，也不可以将该术语解释为排除本公开的实施例。
在本公开中，“内容”可以包括图片、图像、音频或其组合。此外，“内容”可以包括广播内容(或广播节目)、直播内容、录制的广播内容、广告内容、数字视频录像机(DVR)内容、视频点播(VoD)内容、VoD/OTT非线性内容、UGC内容或其组合。
图1是示出根据本公开实施例的内容识别系统的示图。
参考图1，内容识别系统可以包括电子设备100和由一个或多个服务器组成的服务器(或云)200。
参考图1，电子设备100可以是接收内容信号并且能够基于内容信号独自地提供图像和/或音频、或者通过与电子设备100耦接的另一电子设备提供图像和/或音频的设备。例如，电子设备的示例可以包括例如但不限于电视(TV)、机顶盒、电视盒(例如，SAMSUNGHOMESYNCTM、SAMSUNG ONE CONNECT BOXTM，APPLE TVTM或者GOOGLE TVTM等)。
根据实施例，电子设备100可以是显示设备100a。显示设备100a可以是电视，但这仅是一个实施例，并且可以包括例如智能手机、平板个人计算机(PC)、电子书阅读器、台式机、笔记本电脑、上网本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、医疗设备、车载主机、商店的POS机、物联网(IOT)设备、摄像机、电子相框或包括显示部分的可穿戴设备中的至少一种。根据各个实施例，可穿戴设备可包括附件类型(例如，手表、戒指、手镯、脚环、项链、眼镜、隐形眼镜或头戴式设备(HMD))、织物或服装嵌入型(例如，电子衣服)、附体型(例如，皮肤垫或纹身)、或生物可植入式电路(例如，可植入式电路)中的至少一种。
在另一个示例中，电子设备100可以是向显示设备100a提供内容的内容提供设备100b，内容提供设备100b可以是广播内容接收设备，诸如机顶盒，但这仅是一个实施例，并且可以包括例如智能手机、平板电脑、电子书阅读器、台式机、笔记本电脑、上网本计算机、PMP、医疗设备、车载主机、商店的POS机、IoT设备、摄像机、电子相框、可穿戴设备或能够提供内容的服务器中至少之一。
在本公开中，电子设备100可以捕获正在回放的内容的图像，并通过使用所捕获内容的图像来提取图像的指纹。作为表示图像特征的特征数据，指纹可以例如被指定为指纹数据、DNA数据或基因数据。从图像中提取的指纹可以包括例如且不限于图像的运动矢量、颜色信息、图片矢量等。特征数据可以不同于普通的元数据，因为可以反映内容的信号本身的特性。
服务器200可以包括具有图像相关信息(或与图像相关的信息)的数据库。服务器200可以被包含在一个或多个服务器上。例如，服务器200可以包括指纹匹配服务器210、捕获服务器220、图像相关信息服务器230(例如，EPG服务器、元数据专用服务器)中的至少一个。
指纹匹配服务器210可以首先准备与指纹相关的信息和匹配指纹的图像。为此，捕获服务器220可以从预定用于从内容源提供的广播的内容的每个图像(或帧)中提取指纹。捕获服务器220可以向图像相关信息服务器230发送与提取的指纹相关的广播频道的名称和/或广播时间。例如，捕获服务器220可以将与提取的指纹相关的广播频道的名称和广播时间发送到图像相关信息服务器230。作为对发送的响应，捕获服务器220可以基于广播频道的名称和广播时间从图像相关信息服务器230获取图像相关信息。图像相关信息可以包括与广播节目相关的信息，诸如例如(但不限于)广播节目的名称、广播节目的种类等。捕获服务器220可以执行先前提取的指纹与获得的图像相关信息的匹配。捕获服务器220可以向指纹匹配服务器210提供指纹和与指纹匹配的图像相关信息。
指纹匹配服务器210可以从电子设备100接收从图像(该图像从内容捕获)提取的指纹。另外，指纹匹配服务器210可以接收标识电子设备100或电子设备100的用户的个性化服务器ID(personalized server ID，PSID)以及与指纹一起的时间信息。指纹匹配服务器210可以通过识别接收到的指纹来获得与指纹匹配的图像信息。作为与从内容接收捕获图像对应的响应，指纹匹配服务器210可以将获得的图像相关信息作为内容识别信息向电子设备100发送。也就是说，基于电子设备100是数字电视，作为已识别用户正在观看的内容的结果，内容识别信息可以是通过数字电视从服务器获得的图像相关信息。
图像相关信息服务器230可以存储内容本身或者与内容的每个图像相关的图像相关信息。图像相关信息可以包括例如元数据、元数据的标识符和元数据所处的地址信息中的至少一个。元数据可以包括例如内容标识符(或节目标识符)、内容名称(或节目名称)和电子节目指南(EPG)元数据中的至少一个。此外，元数据可以包括内容或图像的广播信息、关于内容或图像的产品的信息、回放内容的频道信息和播放内容的广播公司信息中的至少一个。
图1的系统还可以包括分析服务器(未示出)。分析服务器可以从电子设备100获取用户的观看日志信息，并从其进行分析。用户的观看日志信息可以包括通过使用PSID和捕获图像而获得的内容识别信息等。分析服务器可以基于用户观看日志信息，确定与用户观看的图像相关的附加服务信息。分析服务器可以控制分析服务器本身或另一个可操作地耦接的服务器，使得可以将确定的附加服务信息提供给电子设备100。附加服务信息可以是例如与图像中的演员相关的实时新闻文章、推荐该演员以主角身份出现的电影的信息、关于图像中包括的产品的广告信息等。此外，附加服务信息可以包括例如附加服务图像、提供附加服务的服务器的地址、获取附加服务的路由、附加服务的地址、附加服务的开始时间、附加服务的结束时间、附加服务的生命周期、以及附加服务的描述中的至少一个。
在图1的系统中，电子设备100、服务器200和分析服务器(未示出)中的至少一个可以通过短程网络或远程网络在它们之间进行可通信地耦接。可通信地耦接可以包括使用短程通信技术直接耦接或通过第三中继器通信耦接。第三中继器可以包括例如基站、集线器、接入点、网关、交换机、中继服务器、发送服务器和前端服务器中的至少一个。
图2是示出根据本公开实施例的电子设备100的框图。
参考图2，电子设备100可以包括通信器120、存储器130和处理器110。即使图未根据实施例示出，也可以在电子设备100中另外包括适合于对本领域普通技术人员显然的水平的硬件/软件配置。
电子设备100的通信器120可以通过无线通信或有线通信与耦接到网络的外部设备(例如服务器200)进行通信。例如，通信器120可以通过通信方法来执行与外部设备的通信，这些通信方法诸如且不限于红外数据协会(IrDA)、射频标识(RFID)、近场通信(NFC)、无线保真度(Wi-Fi)、超宽带(UWB)、无线显示(WiDi)、无线HD(WiHD)、无线家庭数字接口(WHDI)、Miracast、无线千兆联盟(Wigig)、Wi-Fi直连、蓝牙(例如，经典蓝牙、低能量蓝牙)、空中播放(AirPlay)、Z-wave、4LoWPAN、LTE D2D、GPRS、轻量型(Weightless)、Edge、ZigBee、数字生活网络联盟(DLNA)、ANT+、数字增强无绳通信(DECT)，无线局域网(WLAN)、全球移动通信系统(GSM)、通用移动通信系统(UMTS)、长期演进(LTE)、无线宽带(WiBRO)等。
电子设备100的存储器130可以被配置为例如包括嵌入式存储器或外部存储器。例如，嵌入式存储器可以包括但不限于易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM)等)或非易失性存储器(例如，一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(如NAND闪存或NOR闪存等)、硬盘驱动器、固态驱动器(SSD)等)中的至少一个。
外部存储器可以包括闪存驱动器，诸如例如但不限于紧凑型闪存(CF)、安全数字(SD)、微型安全数字(micro SD)、迷你安全数字(mini-SD)、极速数字(extreme digital，xD)、多媒体卡(MMC)、记忆棒等。外部存储器可以通过各种接口在功能和/或物理上与电子设备100耦接。
处理器110可以访问存储器130，并且可以由处理器110执行数据的读取/记录/修改/删除/更新等。
在本公开中，术语存储器可以包括与处理器110分开提供的存储器、处理器110中的只读存储器(ROM)和随机存取存储器(RAM)中的至少一个。
处理器110可以是用于控制电子设备100的整体操作的配置。例如，处理器110可以驱动用于控制耦接到处理器110的多个硬件或软件元件的OS或应用程序，并执行各种数据处理和计算。处理器110可以是中央处理单元(CPU)或图形处理单元(GPU)，或者两者都是。处理器110可以实施为通用处理器、数字信号处理器、专用集成电路(ASIC)、片上系统(SoC)、微型计算机(MICOM)等中的至少一个。处理器110可以通过执行在存储器130中存储的计算机可执行指令，执行根据各个实施例的电子设备100的操作。
根据实施例，存储器130可被配置为基于被电子设备100运行而存储指令，该指令被设置为使处理器110捕获内容的图像，基于对捕获图像中包括的字符区域的辨识结果，从字符区域识别字符，并通过通信器120从服务器200中获取与所识别出的字符匹配的内容识别信息，或从捕获图像提取指纹并通过通信器120从服务器200获取与提取的指纹匹配的内容识别信息，并存储与获取的字符匹配的内容识别信息和与指纹匹配的内容识别信息中的至少一个。
根据实施例，存储器130可以被配置为存储指令，该指令被设置为使处理器110基于在捕获图像中辨识出字符区域，从字符区域识别字符、并通过通信器120从服务器200获取与所识别的字符匹配的内容识别信息。
根据实施例，存储器130可以被配置为存储指令，该指令被设置为使处理器110基于在捕获图像中未辨识出字符区域，从捕获图像提取指纹，并通过通信器120从服务器200获取与所提取的指纹匹配的内容识别信息。
根据实施例，存储器130可以被配置为存储指令，该指令被设置为使处理器110基于确认捕获图像是否是指纹的识别目标的结果，通过通信器120从服务器200获取与所识别的字符匹配的内容识别信息。
根据实施例，存储器130可以被配置为存储指令，该指令被设置为使处理器110通过通信器120将所识别的字符发送到服务器200，并基于捕获图像未被辨识为基于所发送字符的指纹的识别目标，通过通信器120从服务器200获取与所识别的字符匹配的内容识别信息。
根据实施例，存储器130可以被配置为存储指令，该指令被设置为使处理器110将所存储的内容识别信息发送到分析用户的观看日志的外部分析服务器。
根据实施例，提供与字符匹配的内容识别信息的服务器200可以是在服务器200中包括的字符匹配服务器(例如，图1的图像相关信息服务器230)。另外，提供与指纹匹配的内容识别信息的服务器200可以是在服务器200中包括的指纹匹配服务器(例如，图1的指纹匹配服务器210)。
根据实施例，内容识别信息可以包括与捕获图像有关的元数据、存储元数据的地址或元数据的标识符。
根据实施例，存储器130可被配置为存储指令，该指令被设置为基于由电子设备100执行，使处理器110捕获内容的图像，从捕获图像提取指纹，通过通信器120将提取的指纹发送到服务器200，基于指纹的识别结果，通过通信器120从服务器200获取与指纹匹配的内容识别信息，或者通过通信器120从服务器200获取与捕获图像中包括的字符匹配的内容识别信息，并且存储与指纹匹配的内容识别信息和与字符匹配的内容识别信息中的至少一个。
根据实施例，存储器130可以被配置为存储指令，该指令被设置为使处理器110基于在捕获图像中辨识出字符区域，将从字符区域识别的字符发送到字符匹配服务器，并基于在捕获图像中未辨识出字符，将所提取的指纹发送到指纹匹配服务器。
根据实施例，存储器130可以被配置为存储指令，该指令被设置为使处理器110辨识内容的类型，从捕获图像提取指纹而不管是否基于辨识出的内容的类型辨识字符区域，并通过通信器120从服务器200获得与所提取的指纹匹配的内容识别信息。
图3是根据本公开实施例的电子设备100的详细框图。
参考图3，电子设备100的处理器110可以包括图像捕获部310、ACR引擎320和OCR引擎330。
图像捕获部310可以捕获内容的图像。例如，图像捕获部310可以捕获在显示部分设备100a中正在回放的图像，或者，图像捕获部310可以从正在回放的图像捕获一个或多个帧。例如，如果接收到的图像基于隔行扫描方法，则图像捕获部310可以捕获图像中奇数行的场图像和偶数行的场图像中的至少一个。图像捕获部310可以捕获正在屏幕上显示的图像或捕获包含内容的视频信号。在实施例中，图像捕获部310可以针对每个预定周期(例如，0.3秒到1秒之间的值)来捕获图像。
图像捕获部310可以将捕获图像发送到ACR引擎320。根据各个实施例，ACR引擎320可以被配置为包括图像捕获部310。
ACR引擎320可包括指纹提取部分321和第一内容识别信息获取部323。
指纹提取部分321可以从捕获图像提取指纹。根据各个实施例，除了图像中的预定区域之外，指纹提取部分321可以提取指纹。预定区域可以是例如字幕、标志、广告信息、广播频道信息等可以位于其中的区域。根据各个实施例，指纹提取部分321可以将捕获图像发送到外部服务器(未示出)，并且获取捕获图像的指纹作为从外部服务器(未示出)识别捕获图像的结果。
第一内容识别信息获取部232可以获取与所提取的指纹匹配的内容识别信息。例如，第一内容识别信息获取部323可以通过通信器120将指纹发送到服务器200。服务器200可以包括例如图1的指纹匹配服务器210。接收指纹的服务器200可以执行指纹识别。这里，通过服务器200对接收到的指纹执行的识别可以指，服务器200搜索与接收到的指纹相似或相同的预存储的指纹，并尝试获取与搜索到的指纹匹配的图像相关信息。
在实施方式中，服务器200可以搜索接收到的指纹和在服务器200中预存储的指纹之间的相似度，并且基于两个指纹的相似度等于阈值或更小(或者超过阈值)，确定两个指纹相同，并基于两个指纹的相似度超过阈值(或阈值较小)，确定两个指纹彼此不同。例如，服务器200可以通过使用利用汉明距离的匹配技术来比较两个图像。
基于检查由服务器200获取的指纹与预存储的指纹之间的相似度，如果两个指纹被确定为彼此相同或相似，则服务器200可以将与接收到的指纹相同或相似的预存储的指纹匹配的图像相关信息确定为与接收到的指纹匹配的内容识别信息。图像相关信息可以例如从图1中的指纹匹配服务器210的数据库或图像相关信息服务器230的数据库获取。服务器200可以例如通过使用二进制搜索技术(例如，B-树或散列)来搜索数据库。比较两个指纹或搜索数据库的技术不限于上述技术，并且可以在相关领域的普通技术人员可以实现的范围内用不同的算法代替。
基于服务器100对接收到的指纹进行识别，如果指纹识别成功，则服务器200可以将与接收到的指纹匹配的内容识别信息发送到电子设备100。如果电子设备100通过通信器120接收到内容识别信息，则第一内容识别信息获取部323可以将与接收到的指纹匹配的内容识别信息存储在存储器130中，作为用户的观看日志信息。
另一方面，如果服务器200在指纹识别中失败，则服务器200可以向电子设备100发送通知指纹识别失败的失败消息(或未知消息)。服务器未能识别指纹可以包括，例如，服务器200在搜索与接收到的指纹相同或相似的预存储指纹时失败。或者，即使当服务器200成功地搜索到与接收到的指纹相同或相似的预存储指纹时，服务器未能识别指纹可以包括在搜索与搜索到的指纹匹配的图像相关信息时失败。
光学字符识别(OCR)引擎330可以包括字符区域辨识部331(或者字符区域检测器)、字符识别部333和第二内容识别信息获取部335。
字符区域辨识部331可以辨识包括在捕获图像中的字符区域。字符区域可以包括例如OSD区域、预定形式的UI区域等。在实施方式中，字符区域可以包括例如字幕区域、标志区域、广告信息区域、广播频道信息区域、内容中包括字符的区域等。图4包括示出根据本公开实施例的字符区域的示例的示图。图4A和4B表示根据本公开实施例的捕获图像。在捕获图像中，401和408表示广播频道信息区域(例如，EPG区域)，402、403和404表示广告信息区域，406表示标志区域，405和407表示内容中包括字符的区域。
字符区域辨识部331可通过使用例如人工智能算法(例如，神经网络算法、深度学习算法等)或特定的UI模板来执行检测以辨识字符区域。特定的UI模板可例如是由OSD、标语、内容源公司或广告公司提供的插入字符的模板。
字符识别部333可以识别在字符区域中包括的字符。所识别的字符可以是例如频道号、内容标题(或广播节目名称)、内容描述、内容源地址、内容开始/回放/结束时间、有线广播公司、机顶盒提供商、广告内容等。字符识别部333可以识别一种或多种语言。或者，字符识别部333还可以识别其中混合了多种语言的句子。根据各个实施例，字符识别部333可以将字符区域发送到外部字符识别服务器(未示出)，并且还可以从字符识别服务器(未示出)获取在字符区域中包括的字符。
第二内容识别信息获取部335可以获取与所识别的字符匹配的内容识别信息。例如，第二内容识别信息获取部335可通过通信器120将所识别的字符发送到服务器200。例如，服务器可以包括作为字符匹配服务器的图1的图像相关信息服务器230。接收字符的服务器200可以搜索与字符匹配的图像有关的信息。例如，服务器200可以搜索与图像有关的信息，其至少包括一些已识别的字符。或者，服务器200可以搜索与所识别的字符具有相似度或高相关性的图像有关的信息。具体地，如果所识别的字符包括内容标题，则服务器200可搜索包括内容标题或具有与内容标题的高相关性的图像相关信息。服务器200可以将搜索到的图像相关信息作为内容识别信息发送到电子设备100。基于电子设备100通过通信器120接收到内容识别信息，第二内容识别信息获取部335可以将与接收到的字符匹配的内容识别信息存储在存储器130中，作为用户的观看日志信息。根据各个实施例，内容识别信息还可以是元数据标识符或元数据存储地址。在这种情况下，第二内容识别信息获取部335可以首先接收元数据标识符或元数据存储地址，并且可以通过使用预先获取的元数据标识符或元数据存储地址来随后获取实际的元数据。
另一方面，基于服务器200在搜索内容识别信息时失败，服务器200可以向电子设备100发送通知内容识别信息失败的失败消息(或未知消息)。
根据各实施例，获取与字符匹配的内容识别信息的过程可在电子设备100中执行。例如，电子设备100的存储器130可包括与每个字符对应的图像相关信息(例如，EPG信息等)。图像相关信息可基于预定时间、周期或事件发生，从服务器200接收并被存储在存储器130中。例如，基于内容开始、频道被改变或接收到用户请求命令，电子设备100可从服务器200接收图像相关信息并将其存储在存储器130中。在这种情况下，第二内容识别信息获取部335可在电子设备100的存储器中搜索与在字符识别部333中识别的字符匹配的图像相关信息。当搜索到图像相关信息时，第二内容识别信息获取部335可将搜索到的图像相关信息用作与所识别的字符匹配的内容识别信息。
根据各个实施例，基于ACR引擎320未能从捕获图像提取指纹或未能识别指纹，OCR引擎330可获取与捕获图像中包括的字符匹配的内容识别信息。例如，基于电子设备100从服务器200接收到通知指纹识别失败的失败消息，OCR引擎330可以获取与在捕获图像中包括的字符匹配的内容识别信息。
根据各个实施例，OCR引擎330可以省略字符区域辨识过程，并立即获取在捕获图像中包括的字符。此外，OCR引擎330可以获取与所获取的字符匹配的内容识别信息。
根据各个实施例，当ACR引擎320通过使用服务器200识别指纹时，OCR引擎330可以执行辨识在捕获图像中包括的字符区域的过程、识别在捕获图像中包括的字符区域的过程以及由此获取与该字符匹配的内容识别信息的过程中的至少一个。
根据各个实施例，OCR引擎330可以首先辨识字符区域。在这种情况下，如果OCR引擎330在辨识字符区域时失败，则ACR引擎320可以从服务器200获取与指纹匹配的内容识别信息。如果OCR引擎330在辨识字符区域时成功，则OCR引擎330可以通过从字符区域识别字符，从服务器200获取与所识别的字符匹配的内容识别信息。在这种情况下，可以省略ACR引擎320从服务器200获取与指纹匹配的内容识别信息的过程。
基于从ACR引擎320和OCR引擎330获取的内容识别信息在存储器130中被存储为用户的观看日志信息，图像捕获部310可以捕获内容的下一个图像。在存储器130中存储观看日志信息可以包括临时存储以用于发送到外部设备。电子设备100的处理器110可以被配置为控制通信器120以使临时存储的观看日志信息被发送到分析服务器(未示出)。
图5到图7是示出根据本公开的另一实施例的获取内容识别信息的过程的流程图。
参考图5到图7，每个系统可以包括电子设备100和服务器200。
首先，参考图5，电子设备100的处理器110可以被配置为捕获内容的图像(501)。
电子设备100的处理器110可以被配置为从捕获图像提取指纹(502)。
电子设备100的处理器110可以被配置为控制通信器120以使所提取的指纹被发送到服务器200(503)。
服务器200可以对接收到的指纹执行识别(505)。在实施方式中，服务器200可以搜索与接收到的指纹相同或相似的预存储指纹，并获取与搜索到的指纹匹配的图像相关信息。服务器200可以在各种数据库中搜索与接收到的指纹匹配的图像相关信息。例如，服务器可以按照实时内容数据库(DB)、VOD内容数据库(DB)、数字视频录像机(DVR)内容(例如，记录的内容)数据库(DB)和定制内容(例如，广告内容)数据库(DB)的顺序搜索与指纹匹配的图像相关信息，但实施例不限于上述数据库或其顺序。
服务器200可通过对接收到的指纹执行识别来获取识别结果(507)。服务器200可以向电子设备100发送所获取的指纹的识别结果(509)。例如，基于服务器200在指纹识别时成功，服务器200可将与指纹匹配的内容识别信息发送到电子设备100作为识别结果。另一方面，基于服务器200在指纹识别时失败，服务器200可向电子设备100发送通知指纹识别失败的失败消息。
电子设备100的处理器110可以基于接收到的识别结果来确定对捕获图像的识别是失败还是成功(511)。在这种情况下，对捕获图像的识别成功的可能性可以例如在大约50％到70％之间，并且对捕获图像的识别失败的可能性可以例如在大约30％到50％之间。识别成功的可能性或识别失败的可能性可以是指例如在特定时间段(例如，一周、一个月等)或特定人数内对捕获图像的识别成功或失败的可能性。
如果对指纹的识别成功(511-是)，则电子设备100的处理器110可以被配置为控制存储器130以使得与获取的指纹匹配的内容识别信息被存储作为用户的观看日志信息(513)。
另一方面，如果对指纹的识别失败(511-N)，则电子设备100的处理器110可以被配置为确定在捕获图像中是否包括字符区域(例如，预定形式的UI区域、OSD区域等)(515)。
基于字符区域的确定结果(或辨识结果)，电子设备100的处理器110可以对捕获图像执行识别。
基于字符区域的辨识成功(515-是)，电子设备100的处理器110可以被配置为识别在所辨识出的字符区域中包括的字符(517)。
另一方面，基于字符区域的辨识失败(515-否)，电子设备100的处理器110可以被配置为记录捕获图像处于不可识别状态(或，未知状态)(513)。
基于字符区域的辨识成功(515-是)，电子设备100的处理器110可以被配置为控制通信器120以使得所识别出的字符被发送到服务器200(519)。
服务器200可以执行对与字符(521)匹配的图像相关信息的搜索。例如，服务器200可在EPG数据库中搜索与字符匹配的图像信息。服务器200可以将字符的匹配结果发送到电子设备100(523)。例如，基于服务器200在搜索图像信息时成功，服务器200可以将内容识别信息发送到电子设备100作为匹配结果。另一方面，基于服务器200在搜索图像信息时失败，服务器200可以向电子设备100发送通知搜索失败的失败消息作为匹配结果。
电子设备100的处理器110可以基于接收到的匹配结果来确定获取与字符匹配的内容识别信息是成功还是失败(525)。
基于成功获取内容识别信息(525-是)，电子设备100的处理器110可以被配置为控制存储器130以使得与所获取的字符匹配的内容识别信息被存储为用户的观看日志信息(527)。在这种情况下，可以提高捕获图像的识别可能性。例如，如果使用指纹的捕获图像的识别成功的可能性在大约50％到70％之间，则识别成功的可能性可以提高到大约60％或更高。
另一方面，基于未能获取内容识别信息(525-否)，电子设备100的处理器110可以被配置为记录捕获图像处于不可识别状态(或，未知状态)(529)。
图6是图示根据另一实施例的获取内容识别信息的过程的图。
首先，参考图6，电子设备100的处理器110可以捕获内容的图像(601)。
电子设备100的处理器110可以被配置为确定在捕获图像中是否包括字符区域(603)。
基于字符区域的确定结果(或辨识结果)，电子设备100的处理器110可以被配置为对捕获图像执行识别。
基于对所捕获的区域的辨识失败(603-N)，电子设备100的处理器110可以被配置为从捕获图像提取指纹(605)。
电子设备100的处理器110可以控制通信器120将所提取的指纹发送到服务器200(607)。服务器200可以通过对接收到的指纹执行识别来获取识别结果，并将所获取的识别结果发送到电子设备100(609到613)，电子设备100的处理器110可以基于接收到的识别结果，将与指纹匹配的内容识别信息存储在存储器130中作为观看日志信息(615到617)。操作607到617的过程与以上描述的图5的操作503到513的过程对应，并且将省略冗余的描述。在操作615中，如果指纹识别失败(615-否)，则电子设备100的处理器110可以被配置为记录捕获图像处于不可识别状态(或未知状态)(619)。
在操作603中，基于处理器110确定在捕获图像中是否包括字符区域，如果字符区域的辨识成功(603-是)，则电子设备100的处理器110可以被配置为识别在所辨识出的字符区域(621)中包括的字符。
电子设备100的处理器110可以被配置为控制通信器120以使得所识别出的字符被发送到服务器200(623)。
服务器200可以处于已经识别出从其提取指纹的目标图像或内容的状态。服务器200可以基于接收到的字符来确认捕获图像是否被安排为指纹识别的目标图像(625)。服务器200可以将确认结果发送到电子设备100(627)。
电子设备100的处理器110可以基于接收到的确认结果，确定捕获图像是否是指纹识别目标(629)。
基于确定捕获图像为指纹识别目标(629-是)，处理器110可以被配置为执行通过使用指纹来识别捕获图像的过程。例如，如以上所描述的操作605至617，处理器110可以从捕获图像提取指纹，并从服务器200获取与提取的指纹匹配的内容识别信息，并存储在存储器130中作为观看日志信息。
另一方面，基于捕获图像未被辨识为指纹识别目标(629-N)，电子设备100的处理器110可以被配置为控制通信器120以使得所识别出的字符被发送到服务器200(631)。基于在操作623中被发送到服务器200的字符处于连续存储状态，可以省略以上所描述的操作631的过程。服务器200可以执行对与字符匹配的图像相关信息的搜索(633)，并将字符的匹配结果发送到电子设备100(635)。电子设备100的处理器110可以基于接收到的匹配结果，确定匹配该字符的内容识别信息的获取是失败还是成功了(637)。
基于成功获取内容识别信息(637-是)，电子设备100的处理器110可以被配置为控制存储器130以使得与所获取的字符匹配的内容识别信息被存储为用户的观看日志信息(639)。另一方面，基于未能获取内容识别信息(637-否)，电子设备100的处理器110可以被配置为在存储器130中记录捕获图像处于无法识别的状态(或，未知状态)(641)。
根据各个实施例，在操作625中，根据捕获图像基于字符被确定为指纹识别的目标图像，服务器200可以将字符的匹配结果连同指纹识别目标确认结果一起发送到电子设备100。
根据实施例，因为电子设备100预先确定图像不是指纹的识别目标，省略了识别指纹的ACR功能，所以可以大大降低使用和维护服务器200执行ACR的开销。
图7是示出根据另一实施例的获取内容识别信息的过程的图。
参考图7，获取内容识别信息的过程可以划分为作为前端选择过程的预先步骤和作为图像识别过程的随后步骤。前端可以包括广播公司、内容源公司、通信公司、机顶盒制造/管理公司等。
首先，参考图7，电子设备100的处理器110可以捕获内容的图像(701)。
电子设备100的处理器110可被配置为在捕获图像中辨识字符区域(702)。
电子设备100的处理器110可以被配置为识别包括在所辨识出的字符区域中的字符(703)。
电子设备100的处理器110可被配置为控制通信器120以使得所识别出的字符被发送到服务器200(705)。
服务器200可执行对与接收到的字符匹配的图像相关信息的搜索(706)。服务器200可基于对图像相关信息的搜索来估计电子设备100的前端(707)。例如，服务器200可在EPG数据库中搜索提供字符的前端，并将搜索到的前端估计为用于提供在捕获图像中包括的内容的前端。服务器200还可基于多个字符来估计前端。服务器200可基于例如基于规则的方法或基于人工智能的方法(例如，深度学习等)来估计前端。此外，服务器200可估计多个前端。服务器200可向电子设备100发送包括一个或多个前端信息的前端列表(709)。
电子设备100可以基于通过使用指纹来识别捕获图像，在接收到的前端列表中包括的被估计为提供捕获图像的前端中搜索与指纹匹配的图像信息。电子设备100可以从捕获图像提取指纹(711)，并将所提取的指纹发送到服务器200(713)。服务器200可以对接收到的指纹执行识别(715)，并获取指纹的识别结果(717)。服务器200可以通过限定被估计为提供捕获图像的前端来执行指纹识别。然后，服务器200可以将指纹的识别结果发送到电子设备100(719)。根据另一实施例，电子设备100可以通过限定到与估计的前端有关的服务器来发送所提取的指纹。
当从服务器200接收到指纹识别结果时，电子设备100可以根据识别结果存储与指纹匹配的内容识别信息。对应操作721和725对应于上述图6的操作615到619，并且将省略其冗余描述。
根据各个实施例，当接收到作为指纹识别结果的失败消息时，电子设备100可通过将从捕获图像识别的字符(例如，在操作703中识别的字符)发送到服务器200来识别捕获图像。与其对应的过程可以与上述图5的操作519到529对应。
根据实施例，因为通过字符识别预先选择提供内容源的前端是可能的，所以最低程度地使用在识别捕获图像时所需的数据库。也就是说，因为针对每个前端来调度广播的方法可能不同，所以基于上述方法，电子设备100可以预先识别包括捕获图像的内容源从哪个区域发送、哪个广播公司提供了包括捕获图像的内容源等。相应地，因为与指纹匹配的内容识别信息的搜索目标受特定区域或特定内容源提供商限定，所以可以大大降低使用或管理服务器的开销。
图8是示出根据本公开实施例的获取内容识别信息的过程的图。
参考图8，电子设备100可以捕获内容的图像(801)。
电子设备100可以确定在捕获图像中是否包括字符区域(803)。
基于字符区域的确定结果(或辨识结果)，电子设备100的处理器110可以被配置为执行捕获图像的识别。
基于电子设备100成功辨识在捕获图像中包括的字符区域(803-是)，电子设备100可从字符区域识别字符(805)。电子设备100可以从存储器130或服务器200获取与所识别出的字符匹配的内容识别信息(807)。电子设备100可以将与所获取的字符匹配的内容识别信息存储为用户的观看日志信息(809)。
根据各个实施例，电子设备100可以基于关于捕获图像是否是指纹识别目标的确认结果，从服务器200获取与所识别出的字符匹配的内容识别信息。例如，基于捕获图像被辨识为不是指纹识别目标，电子设备100可以从服务器200获取与所识别出的字符匹配的内容识别信息。另一方面，基于捕获图像被辨识为指纹识别目标，电子设备100可以从捕获图像提取指纹并从服务器获得与所提取的指纹匹配的内容识别信息。
基于操作803中的确定结果，如果电子设备100未能辨识在捕获图像中包括的字符区域(803-否)，则电子设备100可以从捕获图像提取指纹(811)。电子设备100可从存储器130或服务器200获得与所提取的指纹匹配的内容识别信息(813)。电子设备100可以将与所提取的指纹匹配的内容识别信息存储为用户的观看日志信息(815)。
根据各个实施例，电子设备100可以将存储的内容识别信息发送到分析用户的观看日志的外部分析服务器(例如，图1的分析服务器)。
图9是示出根据另一实施例的获取内容识别信息的过程的图。
参考图9，电子设备100可以捕获内容的图像(901)。
电子设备100可以确定在捕获图像中是否存在字符(903)。
基于电子设备100成功识别在捕获图像中包括的字符(903-是)，电子设备100可以从存储器130或服务器200获取与该字符匹配的内容识别信息(905)。电子设备100可以将与所获取的字符匹配的内容识别信息存储为用户的观看日志信息(907)。
另一方面，基于电子设备100未能识别出在捕获图像中包括的字符，电子设备100可以从捕获图像提取指纹(911)。电子设备100可以从存储器130或服务器获取与所提取的指纹匹配的内容识别信息(913)。电子设备100可以将与所提取的指纹匹配的内容识别信息存储为用户的观看日志信息(915)。
图10是示出根据另一实施例的获取内容识别信息的过程的图。
参考图10，电子设备100可以捕获内容的图像(1001)。
电子设备100可以从捕获图像提取指纹(1003)。
电子设备100可以向服务器发送所提取的指纹(1005)。
电子设备100可以从服务器获取指纹识别结果(1007)。
电子设备100可以从指纹识别结果确定指纹识别是否成功(1009)。
基于确定，如果在服务器200中指纹识别被辨识为成功(1009-是)，则电子设备100可以从存储器130或服务器200获取与指纹匹配的内容识别信息(1011)。电子设备100获取与指纹匹配的内容识别信息可以包括从获取自服务器200的识别结果提取与指纹匹配的内容识别信息。电子设备100可以将与指纹匹配的内容识别信息存储为用户的观看日志信息(1013)。
基于确定，如果在服务器200中指纹识别被辨识为失败(1009-否)，则电子设备100可以从存储器130或服务器200获取与捕获图像中包括的字符匹配的内容识别信息(1015)。在服务器200中指纹识别被辨识为失败可以包括电子设备100接收基于未在服务器200中找到与该指纹相同或相似的指纹或未找到与搜索到的指纹匹配的图像相关信息、而通知指纹识别失败的失败消息。然后，电子设备100可以将与指纹匹配的内容识别信息存储为用户的观看日志信息(1017)。
根据各个实施例，电子设备100可以向分析用户的观看日志的外部分析服务器(例如，图1的分析服务器(未示出))发送存储的内容识别信息。
根据各个实施例，提供与字符匹配的内容识别信息的服务器100可以是在服务器200中包括的字符匹配服务器(例如，图1的图像相关信息服务器230)。另外，提供与指纹匹配的内容识别信息的服务器200可以是在服务器200中包括的指纹匹配服务器(例如，图1的指纹匹配服务器210)。
根据各个实施例，内容识别信息可以包括与捕获图像有关的元数据、元数据的存储地址或元数据的标识符。
图11是根据本公开另一实施例的电子设备100的框图。
参考图11，电子设备100可包括通信器2010、存储器2120、处理器2030、调谐器2040、显示器2050、输入器/输出器2060和音频输出器2070。基于实施例，可以省略一些配置，并且尽管未示出，但是可以在电子设备100中另外包括适合于对于本领域普通技术人员来说明显的水平的硬件/软件配置。
通信器2010可以是与外部设备执行通信的配置。对于图11中所示的通信器2010的描述，可以参考关于图2所描述的关于通信器120的描述。
存储器2020可以被配置为存储各种数据和用于驱动和控制电子设备100的操作系统(O/S)。对于图11中所示的关于存储器2020的描述，可以参考关于图2所描述的关于存储器130的描述。
调谐器2040可以针对以有线或无线方式接收到的广播信号，通过放大、混合、谐振等，从多个无线电波分量中仅调谐和选择电子设备100将接收的频道的频率。
调谐器2040可以接收广播信号，该广播信号包括在与用户选择的频道对应的频带中的视频、音频和附加数据。
调谐器2040可以从诸如地面广播、有线广播、卫星广播等的各种源接收广播信号。调谐器2040可以从诸如模拟广播、数字广播等的源接收广播信号。
通过调谐器2040接收到的广播信号可以包括元数据，元数据是与视频数据、音频数据和节目相关数据有关的信息。元数据可以包括关于广播节目的附加信息、关于例如节目名称、概要、广播的开始时间、广播的结束时间等的信息。作为与广播节目有关的信息的元数据不仅可以通过调谐器2040接收，还可以通过通信器2010从互联网服务器接收。
调谐器2040可被实施为与电子设备100一体，或作为与电子设备100电耦接的单独设备(例如，输入器/输出器2060或耦接至通信器2010的调谐器)。
显示器2050可以是用于显示图像的配置，并且可以输出例如包括通过调谐器2040接收到的广播信号的视频数据、通过通信器2010或输入器/输出器2060输入的图像，或者在存储器2020中存储的图像文件中包括的图像。
显示器2050可以实施为例如液晶显示器(LCD)，并且在某些情况下，可以实现为阴极射线管(CRT)、等离子显示面板(PDP)、有机发光二极管(OLED)、透明OLED(TOLED)等。另外，显示器2050也可以以能够检测用户的触摸操作的触摸屏形式来实施。
音频输出器2070可以是用于输出音频的配置，并且可以输出例如在通过调谐器2040接收到的广播信号中包括的音频、通过通信器2010或输入器/输出器2060输入的音频，或者在存储器2020中存储的音频文件中包括的音频。音频输出器2070可以包括扬声器和/或耳机输出插座。
输入器/输出器2060可以是用于与外部设备耦接的配置，并且可包括例如高清晰度多媒体接口(HDMI)输入端口、组件输入插孔、USB端口等，并且可以包括诸如RGB、DVI、DP、雷电接口(Thunderbolt)等端口中的至少一个。
处理器2030可以控制电子设备100的整体操作。对于图11中所示的关于处理器2030的描述，可以参考关于图2所描述的关于处理器110的描述。
处理器2030可包括RAM 2032、ROM 2033、GPU 2034、CPU 2031、第一到第N接口2035-1到2035-N和总线2036。RAM 2032、ROM 2033、GPU2034、CPU 2031、第一到第N接口2035-1到2035-N等可通过总线2036相互耦接。
ROM 2033可以与用于执行系统引导的指令集等一起存储。基于由于电子设备100上的接通指令被输入而被供电，CPU 2031可以根据ROM 2033中存储的指令，将存储器2020中存储的O/S的至少一部分复制到RAM 2032，并且通过执行O/S来引导系统。当引导完成时，CPU 2031可以将在存储器2020中存储的各种程序复制到RAM 2032，并且通过执行被复制到RAM 2032的程序来执行各种操作。CPU 2031可以通过使用在存储器2020中存储的各种程序模块、数据等来执行各种操作。
当电子设备100的引导完成时，GPU 2034可以显示图像。GPU 2034可以通过使用计算部和渲染部来生成包括诸如图标、图像、文本等的各种对象的屏幕。计算部可以根据屏幕的布局，针对要显示的每个对象计算诸如坐标值、形状、大小、颜色等的属性值。渲染部可以基于在计算部中计算的属性值来生成包括对象的各种布局的屏幕。在渲染部中生成的屏幕可以提供给显示器2050，并且在显示区域内显示。
第一到第N接口2035-1到2035-N可与以上描述的各种元件2010、2020和2040到2070耦接。接口中的一个可以是通过网络与外部设备耦接的网络接口。
根据实施例，处理器2030可以捕获内容的图像。处理器2030可以基于对捕获图像中包括的字符区域的辨识结果，从字符区域识别字符，并通过通信器2010从服务器200获取与所识别的字符匹配的内容识别信息。或者，处理器2030可以基于对在捕获图像中包括的字符区域的辨识结果，从捕获图像提取指纹，并从服务器200获取与所提取的指纹匹配的内容识别信息。处理器2030可以将与所获取的字符匹配的内容识别信息和与指纹匹配的内容识别信息中的至少一个存储在存储器2020中。
图12是根据本公开实施例的包括分支部的服务器的框图。
参考图12，服务器200可以包括分支部1210、指纹匹配服务器1220和字符匹配服务器1230。指纹匹配服务器1220可以作为提供指纹识别结果的服务器，包括以上描述的图2的指纹匹配服务器210。作为用于提供字符匹配结果的服务器，字符匹配服务器1230可以包括以上描述的图2的图像相关信息服务器230(例如，EPG服务器、元数据专用服务器)。
作为服务器200的处理器的至少一部分，分支部1210可以将与从电子设备100接收到的内容有关的查询传送到适合使用的服务器。分支部1210可以基于从电子设备100接收到的查询中包括的指纹，将指纹发送到指纹匹配服务器1220。另一方面，基于从电子设备100接收到的查询中包括的字符，分支部1210可以将该字符发送到字符匹配服务器1230。
或者，基于从电子设备100接收到的查询中包括的与目的地有关的字段，分支部1210可以根据字段值将接收到的查询的至少一部分发送到指纹匹配服务器1220或字符匹配服务器1230。
基于指纹匹配服务器1220从分支部1210接收指纹，指纹匹配服务器1220可在第一数据库(DB)1221中搜索与匹配指纹的第一图像有关的信息。第一数据库(DB)1221可包括以上在图5中描述的例如直播内容数据库(DB)、VOD内容数据库(DB)、DVR内容数据库(DB)或定制内容数据库(DB)中的至少一个。第一数据库1221可包括与多个指纹中的每一个对应的多个第一图像有关的信息。与第一图像有关的信息可包括与广播节目有关的信息，诸如例如(且不限于)广播节目的名称、广播节目的类型等。当在指纹匹配服务器1220中搜索到与匹配指纹的第一图像有关的信息时，服务器200可将与搜索到的第一图像有关的信息作为与内容有关的内容识别信息发送到电子设备100。
基于字符匹配服务器1230从分支部1210接收字符，字符匹配服务器1230可以在第二数据库(DB)1231中搜索与该字符匹配的第二图像相关信息。第二数据库(DB)1231可以包括例如EPG数据库。在第二数据库1231中，可以包括与多个字符中的每一个对应的多个第二图像相关信息。第二图像相关信息可以包括例如EPG信息。字符匹配服务器1230可以基于与被找到的字符匹配的第二图像相关信息，将搜索到的第二图像相关信息作为与内容有关的内容识别信息发送到电子设备100。
图13是根据本公开实施例的包括分支部的电子设备的框图。
参考图13，电子设备100可以包括捕获部310、ACR引擎320、OCR引擎330和分支部340。其中，捕获部310、ACR引擎320和OCR引擎330各自与以上描述的图3的捕获部310、ACR引擎320和OCR引擎330对应，因此将省略其冗余描述。
分支部340可以从ACR引擎320获取从捕获图像提取的指纹，或者从OCR引擎330获取从字符区域识别的字符。分支部340可以确定针对所获得的指纹或要发送的字符的服务器。分支部340可以基于所获取的指纹控制通信器120将包括所获取的指纹的查询发送到指纹匹配服务器1220。另一方面，分支部340可以基于所获取的字符，控制通信器120将包括所获取的字符的查询发送到字符匹配服务器1230。
基于分支部340的控制结果，电子设备100可以通过通信器120接收与指纹或字符匹配的内容识别信息。
图14是根据本公开实施例的服务器的框图。
参考图14，服务器200可以包括至少一个处理器201、至少一个存储器202和至少一个通信器203。
至少一个处理器201可以由第一处理器201A和第二处理器201B组成。例如，基于服务器200由多个子服务器(例如，指纹匹配服务器和字符匹配服务器)组成，第一处理器201A可以是指纹匹配服务器的处理器，并且第二处理器201B可以是字符匹配服务器的处理器。第一处理器201A和第二处理器201B可以生成为单个芯片或在彼此间隔的位置处存在的多个芯片，并且可以通过有线或无线网络彼此通信。
至少一个处理器201可以控制服务器200的整体操作。例如，至少一个处理器201可以通过驱动O/S或应用程序来控制耦接到至少一个处理器201的多个硬件或软件元件，并执行各种数据处理和计算。
根据各个实施例，至少一个处理器201可以被配置为控制至少一个通信器203以从电子设备100接收与用户正在观看的内容有关的查询。基于指纹被包括在接收到的查询中，至少一个处理器201可以被配置为在至少一个存储器202中包括的第一数据库1221中搜索与该指纹匹配的第一图像相关信息。另一方面，基于字符被包括在接收到的查询中，至少一个处理器201可以在第二数据库1231中搜索与该字符匹配的第二图像相关信息。
至少一个存储器202可以由至少一个处理器201访问，并且数据的读取/写入/修改/删除/更新等可以由至少一个处理器201执行。至少一个存储器202可以包括多个子存储器。例如，基于服务器200由多个子服务器(例如，指纹匹配服务器和字符匹配服务器)组成，存储器202可以被配置为包括指纹匹配服务器的存储器和字符匹配服务器的处理器的存储器。子存储器可以被生成为单个存储器，并且可以被配置为在彼此间隔的位置处存在的多个存储器。
至少一个存储器202可以包括第一数据库1221和第二数据库1231。在示例中，第一数据库1221可以被包括在指纹匹配服务器的存储器中，并且第二数据库1231可以被包括在字符匹配服务器的处理器的存储器中。
根据各个实施例，至少一个存储器202可以被配置为控制至少一个通信器203，以使至少一个处理器201从电子设备100接收与用户正在观看的内容有关的查询，并且基于指纹被包括在接收到的查询中，在存储器202中包括的第一数据库中搜索与指纹匹配的第一图像相关信息，并且基于字符被包括在接收到的查询中，存储指令，所述指令被设置为在第二数据库中搜索与该字符匹配的第二图像相关信息。
至少一个通信器203可以由第一通信器203A和第二通信器203B组成。例如，基于服务器200由多个子服务器(例如指纹匹配服务器和字符匹配服务器)组成，第一通信器203A可以是指纹匹配服务器的通信器，并且第二通信器203B可以是字符匹配服务器的通信器。至少一个通信器203可以通过经由无线通信耦接到网络来与外部设备(例如，电子设备100)通信。例如，至少一个通信器203可以通过使用无线通信模块(例如，蜂窝通信模块、近场通信模块或全球导航卫星系统(GNSS)通信模块)，通过近程通信网络(例如，蓝牙、Wi-Fi直连或红外数据协会(IrDA)等)或远程通信网络(例如，蜂窝网络、互联网或计算机网络(例如，局域网(LAN)或广域网(WAN)等))与外部设备通信。
图15是根据本公开实施例的服务器的流程图。
参考图15，服务器200可以从电子设备100接收与用户正在观看的内容有关的查询(1501)。
基于接收到查询，服务器200可以辨识在查询中包括的信息(1502)。例如，服务器200可以辨识在查询中是包括指纹还是其中包括字符。
基于在接收到的查询中包含指纹(1502-A)，服务器200可以在第一数据库中搜索与指纹匹配的第一图像相关信息(1503)。例如，第一数据库可以是在指纹匹配服务器的存储器中包括的数据库。
另一方面，基于接收到的查询中包括字符(1502-B)，服务器200可以在第二数据库中搜索与该字符匹配的第二图像相关信息(1504)。
当搜索到第一图像相关信息或第二图像相关信息时，服务器200可以将第一图像相关信息或第二图像相关信息作为内容识别信息发送到电子设备100(1505)。
根据上述实施例，因为发送包括用于内容识别的特征信息的请求的频率可以降低，所以具有降低查询开销的优点。
以上描述的各个实施例可以实施为软件、硬件或其组合。根据硬件实施方式，本文所描述的实施例可以通过使用例如(且不限于)专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和用于执行其他功能的电子单元中的至少一个来实现。根据软件实施方式，本文所描述的诸如过程和函数的实施例可以实施为单独的软件模块。软件模块可以执行本公开中所描述的一个或多个功能和操作。
一个或多个实施例可以用包括在机器可读存储介质(例如计算机)中存储的指令的软件来实施。机器可以调用在存储介质中存储的指令，并且作为能够根据所调用的指令来操作的设备，可以包括根据实施例的电子设备100。基于处理器正在执行的指令，处理器可以直接或在处理器的控制下使用不同的元件执行与指令对应的功能。指令可以包括由编译器生成或由解释器执行的代码。机器可读存储介质可以以非临时存储介质的形式提供。这里，“非暂时性”仅仅意味着存储介质是有形的，不包括信号，并且不区分数据被永久性还是临时性存储在存储介质中。
根据实施例，根据一个或多个实施例的方法可以在计算机程序产品中提供。计算机程序产品可以作为商品在买卖双方之间交换。计算机程序产品可以是以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发或者通过应用商店(例如，PLAYSTORETM)在线分发。在在线分发的情况下，计算机程序产品的至少一部分可以至少临时性存储在诸如制造商的服务器、应用程序存储的服务器或中继服务器的存储器的存储介质中，或者被临时生成。
根据实施例，计算机程序产品可包括指令，该指令被设置为使计算机的处理器执行控制操作以捕获内容的图像，并且基于对捕获图像中包括的字符区域的辨识结果，执行控制操作以从该字符区域识别字符并从服务器获取与所识别的字符匹配的内容识别信息，或执行控制操作以从捕获图像提取指纹并从服务器200获取与所提取的指纹匹配的内容识别信息，以及执行控制操作以存储与所获取的字符匹配的内容识别信息和与指纹匹配的内容识别信息中的至少一个。
根据各个实施例的每个元件(例如，模块或程序)可以由单个实体或多个实体组成，并且可以省略上述子元件的一些子元件，或者根据各个实施例可以进一步包括不同的子元件。可替换地或另外地，一些元件(例如模块或程序)可以被集成到一个实体中，以执行每个相应元件在集成之前执行的相同或相似的功能。根据各个实施例，由模块、程序或其他元件执行的操作可以顺序地、并行地、重复地或启发式的方式执行，或者至少一些操作可以以不同的顺序执行、省略或添加不同的操作。
虽然已经参考其中的实施例来示出和描述本公开，但是本公开不限于所描述的实施例。本领域技术人员将理解，在不脱离本公开的主旨和范围的情况下，可以在其中对形式和细节进行各种改变。

Claims (15)

1.一种电子设备，包括：
通信器，其能够与服务器通信；
存储器，被配置为存储指令；和
至少一个处理器，与所述通信器和所述存储器电耦接，
其中，所述存储器被配置为基于运行所述电子设备而存储指令，所述指令被设置为使所述至少一个处理器：
捕获内容的图像；
基于在捕获图像中辨识出字符区域，从所述字符区域识别字符，并通过所述通信器从所述服务器获取与所识别出的字符匹配的内容识别信息；
基于在所述捕获图像中未辨识出字符区域，从所述捕获图像提取指纹，并通过所述通信器从所述服务器获取与所提取的指纹匹配的内容识别信息；以及
将与所获取的字符匹配的内容识别信息和与所述指纹匹配的内容识别信息中的至少一个存储到所述存储器中。
2.根据权利要求1所述的电子设备，其中，所述存储器被配置为基于所述电子设备被运行而存储指令，所述指令被设置为使所述处理器基于所述捕获图像不是指纹识别目标，通过所述通信器从所述服务器获取与所述字符匹配的内容识别信息。
3.根据权利要求2所述的电子设备，其中，所述存储器被配置为基于所述电子设备被运行而存储指令，所述指令被设置为使所述处理器向所述服务器发送所识别出的字符，以及根据所述捕获图像基于所发送的字符而未被辨识为指纹识别目标，通过所述通信器从所述服务器获取与所述字符匹配的内容识别信息。
4.根据权利要求1所述的电子设备，其中，所述存储器被配置为基于所述电子设备被运行而存储指令，所述指令被设置为使所述处理器通过所述通信器向分析用户的观看日志的外部分析服务器发送所存储的内容识别信息。
5.根据权利要求1所述的电子设备，其中，提供与所述字符匹配的内容识别信息的服务器是在所述服务器中包括的字符匹配服务器，并且
其中，提供与所述指纹匹配的内容识别信息的服务器是在所述服务器中包括的指纹匹配服务器。
6.根据权利要求1所述的电子设备，其中，所述内容识别信息包括与所述捕获图像有关的元数据、所述元数据的存储地址或所述元数据的标识符。
7.根据权利要求1所述的电子设备，其中，所述存储器被配置为基于所述电子设备被运行而存储指令，所述指令被设置为使所述处理器基于在所述捕获图像中辨识出字符区域，向字符匹配服务器发送所识别出的字符，以及
基于在所述捕获图像中未辨识出字符区域，向指纹匹配服务器发送所提取的指纹。
8.根据权利要求1所述的电子设备，其中，所述存储器被配置为基于所述电子设备被运行而存储指令，所述指令被设置为使所述处理器辨识所述内容的类型，并且基于所辨识出的内容的类型，从所述捕获图像提取指纹，并通过所述通信器从所述服务器获取与所提取的指纹匹配的内容识别信息而不管是否辨识出字符区域。
9.一种获取内容识别信息的方法，包括：
捕获内容的图像；
基于在捕获图像中辨识出字符区域，从所述字符区域识别字符，并从服务器获取与所识别出的字符匹配的内容识别信息；
基于在所述捕获图像中未辨识出字符区域，从所述捕获图像提取指纹，并从所述服务器获取与所提取的指纹匹配的内容识别信息；以及
存储与所获取的字符匹配的内容识别信息和与所述指纹匹配的内容识别信息中的至少一个。
10.根据权利要求9所述的方法，其中，从服务器获取与所识别出的字符匹配的内容识别信息包括：
基于所述捕获图像不是指纹识别目标，从所述服务器获取与所述字符匹配的内容识别信息。
11.根据权利要求10所述的方法，其中，所述基于所述捕获图像不是指纹识别目标，从所述服务器获得与所识别出的字符匹配的内容识别信息，包括：
向服务器发送所识别出的字符；以及
根据所述捕获图像基于所发送的字符而未被辨识为指纹识别目标，从所述服务器获取与所述字符匹配的内容识别信息。
12.根据权利要求9所述的方法，其中，所述方法还包括：
向分析用户的观看日志的外部分析服务器发送所存储的内容识别信息。
13.根据权利要求9所述的方法，其中，获取与所述字符匹配的内容识别信息的服务器是在所述服务器中包括的字符匹配服务器，并且
其中，获取与所述指纹匹配的内容识别信息的服务器是在所述服务器中包括的指纹匹配服务器。
14.根据权利要求9所述的方法，其中，所述内容识别信息包括与所述捕获图像有关的元数据、所述元数据的存储地址或所述元数据的标识符。
15.根据权利要求9所述的方法，还包括：
基于在所述捕获图像中辨识出字符区域，向字符匹配服务器发送所识别出的字符；以及
基于在所述捕获图像中未辨识出字符区域，向指纹匹配服务器发送所提取的指纹。
CN201980034329.0A 2018-05-21 2019-03-21 电子设备及其内容识别信息获取 Active CN112154671B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2018-0057586 2018-05-21
KR20180057586 2018-05-21
KR1020180157354A KR102546026B1 (ko) 2018-05-21 2018-12-07 전자 장치 및 그의 컨텐츠 인식 정보 획득
KR10-2018-0157354 2018-12-07
PCT/KR2019/003304 WO2019225851A1 (ko) 2018-05-21 2019-03-21 전자 장치 및 그의 컨텐츠 인식 정보 획득

Publications (2)

Publication Number Publication Date
CN112154671A true CN112154671A (zh) 2020-12-29
CN112154671B CN112154671B (zh) 2022-11-15

Family

ID=68728930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980034329.0A Active CN112154671B (zh) 2018-05-21 2019-03-21 电子设备及其内容识别信息获取

Country Status (4)

Country Link
US (1) US11575962B2 (zh)
EP (1) EP3748982B1 (zh)
KR (1) KR102546026B1 (zh)
CN (1) CN112154671B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013040533A1 (en) * 2011-09-16 2013-03-21 Umami Co. Second screen interactive platform
US20150026718A1 (en) * 2013-07-19 2015-01-22 United Video Properties, Inc. Systems and methods for displaying a selectable advertisement when video has a background advertisement
KR20150030185A (ko) * 2014-09-30 2015-03-19 투브플러스 주식회사 컨텐트 데이터에 기초하여 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
CN104504155A (zh) * 2015-01-15 2015-04-08 刘畅 一种基于图像搜索的数据获取方法及系统
KR20170101076A (ko) * 2016-02-26 2017-09-05 삼성전자주식회사 컨텐트를 인식하는 방법 및 장치
US20170295400A1 (en) * 2014-03-05 2017-10-12 Samsung Electronics Co., Ltd. Display device, server, and method of controlling the display device
KR20180014657A (ko) * 2016-08-01 2018-02-09 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
US20180063572A1 (en) * 2016-08-24 2018-03-01 Google Inc. Methods, systems, and media for synchronizing media content using audio timecodes
WO2018066938A1 (ko) * 2016-10-05 2018-04-12 삼성전자 주식회사 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR9806443B1 (pt) 1997-06-11 2010-05-18 processo e aparelho para automaticamente compensar o volume de som.
US7266287B2 (en) 2001-12-14 2007-09-04 Hewlett-Packard Development Company, L.P. Using background audio change detection for segmenting video
US8843990B1 (en) 2002-04-25 2014-09-23 Visible World, Inc. System and method for optimized channel switching in digital television broadcasting
JP3720347B2 (ja) 2003-04-17 2005-11-24 シャープ株式会社 表示装置、センタ装置、映像表示システム、表示装置の制御方法、センタ装置の制御方法、表示装置制御プログラム、センタ装置制御プログラム、および該プログラムを記録した記録媒体
US7765564B2 (en) 2003-08-29 2010-07-27 The Nielsen Company (Us), Llc Audio based methods and apparatus for detecting a channel change event
US7738664B2 (en) 2003-10-07 2010-06-15 Kddi Corporation Apparatus for fault detection for parallelly transmitted audio signals and apparatus for delay difference detection and adjustment for parallelly transmitted audio signals
US7574451B2 (en) 2004-11-02 2009-08-11 Microsoft Corporation System and method for speeding up database lookups for multiple synchronized data streams
JP4613867B2 (ja) 2005-05-26 2011-01-19 ソニー株式会社 コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム
US20130218735A1 (en) 2006-01-17 2013-08-22 Taxnet Inc. User interface for tax-return preparation
JP4637042B2 (ja) 2006-02-28 2011-02-23 三洋電機株式会社 映像再生装置
JP4698453B2 (ja) 2006-02-28 2011-06-08 三洋電機株式会社 コマーシャル検出装置、映像再生装置
US8019162B2 (en) 2006-06-20 2011-09-13 The Nielsen Company (Us), Llc Methods and apparatus for detecting on-screen media sources
JP4728197B2 (ja) 2006-09-28 2011-07-20 株式会社ビデオリサーチ 視聴チャンネル判定方法及びシステム、端末装置ならびにセンタ装置
JP4336364B2 (ja) 2006-11-17 2009-09-30 三菱電機株式会社 テレビジョン受像機
JP5277582B2 (ja) 2007-07-31 2013-08-28 富士通モバイルコミュニケーションズ株式会社 放送受信装置
JP4967998B2 (ja) 2007-11-05 2012-07-04 ソニー株式会社 記録装置および方法、プログラム、並びに記録媒体
US9510044B1 (en) 2008-06-18 2016-11-29 Gracenote, Inc. TV content segmentation, categorization and identification and time-aligned applications
KR101563626B1 (ko) 2008-11-18 2015-10-27 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US7975285B2 (en) 2008-12-26 2011-07-05 Kabushiki Kaisha Toshiba Broadcast receiver and output control method thereof
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US20110276882A1 (en) 2010-05-04 2011-11-10 Kai Buehler Automatic grouping for users experiencing a specific broadcast media
US8863165B2 (en) * 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
JP5948773B2 (ja) 2011-09-22 2016-07-06 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム
KR101310943B1 (ko) 2011-09-26 2013-09-23 (주)엔써즈 방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법
KR101873364B1 (ko) 2011-09-27 2018-08-03 삼성전자 주식회사 방송수신장치, 방송신호 관련 연관정보 제공방법
US8538239B2 (en) 2011-12-22 2013-09-17 Broadcom Corporation System and method for fingerprinting video
US8893168B2 (en) 2012-02-07 2014-11-18 Turner Broadcasting System, Inc. Method and system for synchronization of dial testing and audience response utilizing automatic content recognition
CN104160713B (zh) 2012-03-05 2018-06-05 Lg电子株式会社 视频显示设备及其操作方法
KR101396413B1 (ko) 2012-05-07 2014-05-19 주식회사 마크애니 디지털 핑거프린팅을 이용한 정보 제공 시스템 및 방법
US20130331971A1 (en) 2012-06-10 2013-12-12 Eran Bida Watermarking and using same for audience measurement
WO2014014252A1 (en) * 2012-07-16 2014-01-23 Lg Electronics Inc. Method and apparatus for processing digital service signals
US9866899B2 (en) 2012-09-19 2018-01-09 Google Llc Two way control of a set top box
US10735792B2 (en) 2012-09-19 2020-08-04 Google Llc Using OCR to detect currently playing television programs
US20140101683A1 (en) 2012-10-10 2014-04-10 Samsung Electronics Co., Ltd. Methods and apparatus for detecting a television channel change event
CN103002328A (zh) 2012-11-30 2013-03-27 北京十分科技有限公司 一种识别频道的方法及装置
KR101747776B1 (ko) 2012-12-10 2017-06-15 한국전자통신연구원 핑거 프린트를 이용한 실시간 방송 컨텐츠 검색 지원 시스템 및 방법
US9495451B2 (en) 2013-01-07 2016-11-15 Gracenote, Inc. Identifying video content via fingerprint matching
US9146990B2 (en) 2013-01-07 2015-09-29 Gracenote, Inc. Search and identification of video content
US8955005B2 (en) * 2013-03-14 2015-02-10 Samsung Electronics Co., Ltd. Viewer behavior tracking using pattern matching and character recognition
WO2015011877A1 (ja) 2013-07-26 2015-01-29 パナソニックＩｐマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
KR101377849B1 (ko) 2013-10-11 2014-03-25 주식회사 케이티스카이라이프 실시간 방송채널별 부가정보제공시스템 및 제어방법
JP6363360B2 (ja) 2014-02-28 2018-07-25 Ｄｘアンテナ株式会社 スキャン装置およびスキャン方法
US9565456B2 (en) 2014-09-29 2017-02-07 Spotify Ab System and method for commercial detection in digital media environments
KR20160044902A (ko) 2014-10-16 2016-04-26 삼성전자주식회사 방송 콘텐트와 관련한 부가 정보 제공 방법 및 이를 구현하는 전자 장치
KR102217191B1 (ko) 2014-11-05 2021-02-18 삼성전자주식회사 단말 장치 및 그 정보 제공 방법
KR20160115264A (ko) 2015-03-26 2016-10-06 삼성전자주식회사 디스플레이 장치, 서버 및 그 동작 방법
US10750236B2 (en) 2015-04-23 2020-08-18 The Nielsen Company (Us), Llc Automatic content recognition with local matching
US20160316261A1 (en) 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
KR101644956B1 (ko) 2015-05-12 2016-08-03 (주)티랩컨버젼스연구소 시청 의지 판단에 대응하는 시청 패턴 분석 기반의 프로그램 시청 제안 방법
KR101757878B1 (ko) * 2015-12-10 2017-07-14 삼성전자주식회사 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템
US11019385B2 (en) 2016-01-20 2021-05-25 Samsung Electronics Co., Ltd. Content selection for networked media devices
KR101811719B1 (ko) 2016-02-11 2017-12-22 삼성전자주식회사 컨텐트를 제공하는 디바이스를 제어하는 방법, 그 디바이스 및 서버
WO2017146454A1 (ko) 2016-02-26 2017-08-31 삼성전자 주식회사 컨텐트를 인식하는 방법 및 장치
US9924222B2 (en) 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
WO2017164856A1 (en) 2016-03-23 2017-09-28 Entit Software Llc Comparable user interface object identifications
WO2018026162A1 (en) 2016-08-01 2018-02-08 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
KR102604297B1 (ko) 2016-10-07 2023-11-21 삼성전자주식회사 프로세서, 디스플레이 장치 및 방법
KR102614697B1 (ko) 2016-12-08 2023-12-18 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 채널 정보 획득 방법
WO2018117619A1 (en) 2016-12-21 2018-06-28 Samsung Electronics Co., Ltd. Display apparatus, content recognizing method thereof, and non-transitory computer readable recording medium
US20190138911A1 (en) 2017-11-07 2019-05-09 International Business Machines Corporation Channel Based Corpus Management
US11100143B2 (en) 2018-07-19 2021-08-24 Steady Platform Llc Structuring of unstructured web posting
US10761818B2 (en) 2018-10-31 2020-09-01 Salesforce.Com, Inc. Automatic identification of types of user interface components

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013040533A1 (en) * 2011-09-16 2013-03-21 Umami Co. Second screen interactive platform
US20150026718A1 (en) * 2013-07-19 2015-01-22 United Video Properties, Inc. Systems and methods for displaying a selectable advertisement when video has a background advertisement
US20170295400A1 (en) * 2014-03-05 2017-10-12 Samsung Electronics Co., Ltd. Display device, server, and method of controlling the display device
KR20150030185A (ko) * 2014-09-30 2015-03-19 투브플러스 주식회사 컨텐트 데이터에 기초하여 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
CN104504155A (zh) * 2015-01-15 2015-04-08 刘畅 一种基于图像搜索的数据获取方法及系统
KR20170101076A (ko) * 2016-02-26 2017-09-05 삼성전자주식회사 컨텐트를 인식하는 방법 및 장치
KR20180014657A (ko) * 2016-08-01 2018-02-09 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
US20180063572A1 (en) * 2016-08-24 2018-03-01 Google Inc. Methods, systems, and media for synchronizing media content using audio timecodes
WO2018066938A1 (ko) * 2016-10-05 2018-04-12 삼성전자 주식회사 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭宁宁等: "基于媒体计算的网络教学平台中图像智能查重与信息提取研究", 《软件导刊(教育技术)》 *

Also Published As

Publication number Publication date
US20210195283A1 (en) 2021-06-24
EP3748982A1 (en) 2020-12-09
EP3748982B1 (en) 2023-11-29
US11575962B2 (en) 2023-02-07
KR102546026B1 (ko) 2023-06-22
CN112154671B (zh) 2022-11-15
KR20190132909A (ko) 2019-11-29
EP3748982A4 (en) 2020-12-09

Similar Documents

Publication Publication Date Title
US10219011B2 (en) Terminal device and information providing method thereof
US11023716B2 (en) Method and device for generating stickers
CN112075085B (zh) 电子装置及其控制方法
US20180205977A1 (en) Method and apparatus for identifying a broadcasting server
US10789474B2 (en) System, method and apparatus for displaying information
US20220103428A1 (en) Automatic determination of display device functionality
US20160112768A1 (en) Method for providing additional information related to broadcast content and electronic device implementing the same
US20180189841A1 (en) Electronic apparatus and controlling method thereof
US20150189384A1 (en) Presenting information based on a video
US20160234550A1 (en) Display apparatus and information providing method thereof
US20170238065A1 (en) Method of controlling device providing content, the device providing content, and server
US11218764B2 (en) Display device, control method therefor, and information providing system
KR102133718B1 (ko) 바코드를 이용한 정보 제공 방법 및 장치
KR20140077535A (ko) 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 장치 및 방법
KR102465332B1 (ko) 사용자 장치, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
US20200057890A1 (en) Method and device for determining inter-cut time range in media item
CN112154671B (zh) 电子设备及其内容识别信息获取
KR20150034956A (ko) 컨텐츠 인식 방법 및 이를 적용한 디스플레이 장치, 그리고 컨텐츠 인식 시스템
KR102467041B1 (ko) 전자 장치 및 전자 장치에서 방송 콘텐트와 관련된 서비스 정보 제공 방법
CN110602559A (zh) 人机交互及电视操作控制方法、装置、设备以及存储介质
CN112640478A (zh) 电子设备、电子设备的控制方法以及电子系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant