CN106937127B - 一种智能搜索准备的显示方法及其系统 - Google Patents

一种智能搜索准备的显示方法及其系统 Download PDF

Info

Publication number
CN106937127B
CN106937127B CN201611269883.1A CN201611269883A CN106937127B CN 106937127 B CN106937127 B CN 106937127B CN 201611269883 A CN201611269883 A CN 201611269883A CN 106937127 B CN106937127 B CN 106937127B
Authority
CN
China
Prior art keywords
video
fingerprint
fingerprints
representative
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611269883.1A
Other languages
English (en)
Other versions
CN106937127A (zh
Inventor
汪灏泓
张帜
宁广涵
任小波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Publication of CN106937127A publication Critical patent/CN106937127A/zh
Application granted granted Critical
Publication of CN106937127B publication Critical patent/CN106937127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种智能搜索准备的显示方法及其系统。该显示方法包括从智能显示单元的当前播放内容中提取若干视频指纹；所述当前播放内容包括若干与视频指纹对应的视频帧；从所述视频指纹中，确定一个或者多个代表视频指纹；通过像素透明度的变化编码所述一个或者多个代表视频指纹，生成一个或者多个代表视频指纹的编码信息；通过屏幕‑摄像机通信技术发送一个或者多个所述代表视频指纹的编码信息；以及最优化一个或者多个代表视频指纹的编码以及所述一个或者多个编码信息的发送从而获得误码率与传输时间之间的平衡。

Description

一种智能搜索准备的显示方法及其系统
技术领域
本发明涉及数据处理技术领域，尤其涉及一种智能搜索准备的显示方法及其系统。
背景技术
如今，功能强大的搜索引擎是人们获取信息的主要途径，并且在具有多种类型内容的搜索中越来越受到欢迎。与在纯文本中进行搜索相比，多种类型内容的媒体资源的检索字段需要新的技术来描述，总结以及管理不同格式类型的数据。自动内容识别(ACR)已经被验证是一种非常有效的多种类型内容的检索方法。现有的ACR系统在一些特定的情况下效率非常高，并且还可以从ACR系统中延伸许多增值服务。
这样的，可以令用户能够通过他们的移动设备，例如智能手机、平板电脑或者智能手表，享受到增值服务，搜索到与内容提供源相关的丰富信息是一个很有前景的项目。新的移动搜索准备技术(emerging mobile search-ready)可以使用户基于媒体信息搜索结果，如海报上的照片，智能公告栏上的视频，媒体播放器中的音频等，通过其移动设备来提供增值服务。
移动设备可以从智能终端检索媒体信息。例如，智能显示单元，如通常面对许多用户的家中的电视机或者公告栏。考虑到智能显示单元与多个移动设备交互以及显示单元的数量总是处于变化的情况，双向通信的频道的效率较低，连接智能展示单元和移动设备的通信频道为单向通信频道更为合适，例如，单向的广播频道。然后，移动设备可以获取来自智能显示单元的信号并使用该信号使移动设备获取增值服务。
但是，根据现有技术方案的描述，智能显示单元与移动设备之间的单向通信连接需要有许多考虑。例如，移动设备可能正在接收智能显示单元的声音并且使用ACR系统进行基于音频的搜索，但是这样的方法无法在所有的用户中有效的运行，如周围的噪声音量，例如交谈、音乐等超出了预定的阈值时。另外，用户可以获取智能显示单元的图片并应用于ACR。而ACR的输出结果会受到噪声，例如光线反射、颜色变化等的影响。由此，通过搜索获得的视频或者音视频可以获得更好的输出结果。
但是，在视频搜索应用中，高效利用传输频道能力以及达到容错性以及传输时间之间的最佳平衡是迫切希望达到的目标。本发明所公开方法和系统用于解决上述一个或多个问题以及其他问题。
发明内容
本发明一方面公开了一种智能搜索准备的显示方法。该方法包括：从智能显示单元的当前播放内容中提取若干视频指纹；所述当前播放内容包括若干与视频指纹对应的视频帧；从所述视频指纹中，确定一个或者多个代表视频指纹；通过像素透明度的变化编码所述一个或者多个代表视频指纹，生成一个或者多个代表视频指纹的编码信息；通过屏幕-摄像机通信技术发送一个或者多个所述代表视频指纹的编码信息；以及最优化一个或者多个代表视频指纹的编码以及所述一个或者多个编码信息的发送从而获得误码率与传输时间之间的平衡。
本发明另一个方面公开了一种智能搜索准备的显示系统。该系统包括具有显示屏幕的智能显示单元以及具有摄像头的移动设备；所述智能显示单元用于，从智能显示单元的当前播放内容中提取若干视频指纹；所述当前播放内容包括若干与视频指纹对应的视频帧；从所述视频指纹中，确定一个或者多个代表视频指纹；通过像素透明度的变化编码所述一个或者多个代表视频指纹，生成一个或者多个代表视频指纹的编码信息；通过屏幕-摄像机通信技术发送一个或者多个所述代表视频指纹的编码信息；以及最优化一个或者多个代表视频指纹的编码以及所述一个或者多个编码信息的发送从而获得误码率与传输时间之间的平衡。
本发明又一方面公开了一种智能搜索准备的显示方法。该方法包括：通过屏幕-摄像机通信技术获取视频帧的代表指纹的编码信息；解码所述编码信息，获得代表视频指纹；在数据库中搜索匹配视频，所述匹配视频包括与所述代表性视频指纹对应的视频帧；以及向用户返回搜索结果；其中，所述编码信息通过像素透明度的变化编码所述一个或者多个代表视频指纹而生成；所述代表视频指纹从智能显示单元的当前播放内容中提取的若干视频指纹中确定；所述代表视频指纹的编码和编码信息的发送通过最优化以获得误码率与传输时间之间的平衡。
本领域技术人员根据本发明提供的说明书、权利要求以及说明书附图可以理解本发明实施例的其他方面。
附图说明
为便于对实施例理解，结合附图对实施例进行描述，仅用于解释本发明，而不用于对本发明的限制。
图1为本发明实施例的视频检索系统的示意图；
图2为本发明实施例的计算系统的框图；
图3为本发明实施例所述视频检索系统的执行方法的方法流程图；
图4为本发明实施例的数据包配置示意图；
图5为本发明实施例的数据包分割状态的变化示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。除非另外指出，在各图中相同的标号用于表示相同的部件。显然地，以下描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
用户组使用其移动设备搜索多种媒体信息。例如，用户组可以尝试在周边环境噪声显著时，使用其智能手机获取源自于智能显示单元的戏剧或者广告的相关信息。在这样的场景中，音频搜索结果是不可靠的，而使用视频搜索或者音视频结合搜索可以获得更好的结果。
在本实施例中，智能显示单元的内容可以通过视频指纹技术或者结合音频指纹技术的视频指纹技术进行搜索。为建立可靠的内容(如视频)检索系统，该内容检索需要尽可能的使用音频信息或者可视信息。对于音频搜索，首先需要分离出在音频片段中的序列特征。这些特征的组合可以认为是音频序列的“指纹”。
在音频搜索系统中，指纹的概念是指表示特定音频对象的函数。该音频对象由具有较多或者较少比特数量的，被称为指纹的数据所组成。所述指纹需要具有高度的可区分性，以便于两个指纹之间可以被可靠的区分或者识别为类似的指纹。
对于视频检索而言，在大的数据集合中，来自于视频序列中的单个视频帧具有足够的可识别性以被检索。这使得每个视频帧可以作为一个独立的单元并忽略视频帧间的数据。这样的，合适的视频帧或者代表性的视频帧可以代替所有连续的视频帧，用于进行数据库的检索，视频帧间多余的数据是不必要的。
“视频指纹”是项软件标识技术，用以提取并压缩视频的特征部分，使该视频能够由其计算结果“指纹”唯一的标识。这样的技术可以包括关键帧分析、颜色及移动变化顺序分析，特征及对象分析，摄影镜头分析等，并且该分析结果可以用于作为视频序列的指纹。
图1为本发明实施例的视频检索系统100。如图1所示，视频检索系统100包括：智能终端108、用户终端102、服务器104，用户106以及网络110。一些设备可以减省，也可以添加其他设备。智能终端108可以包括任何合适的，具有显示单元(如屏幕)的智能终端，例如，智能电视、智能手机、掌上电脑、个人电脑以及智能手表等。具体的，智能终端108可以是任何的内容展示智能设备，能够在一个或者多个频道上播放多个节目，其可以通过遥控器来控制(图未示)。在本实施例中，该智能终端由具有代表性的智能显示单元来表示。在一些实施例中，该智能显示单元可以是智能电视、公告栏或者其他大屏幕显示设备。
用户终端102可以包括任何合适类型的移动计算设备，例如掌上电脑、移动电脑、智能手机等。用户终端102可以包括内置或者外置的，由用户终端102通过网络110控制的摄像机。在本实施例中，该用户终端由具有代表性的移动设备来表示。
服务器104可以包括任何合适类型的以及数量的服务器计算机，用以向用户106提供个性化内容。服务器104还可以实现其他服务器、智能终端108以及用户终端102之间的通信连接、数据存储以及数据处理。
虽然图1中显示了四个用户终端102，一个智能终端108以及一个服务器104，该操作环境还可以包括任何数量的用户终端102、智能终端108以及服务器104。智能终端108，用户终端102以及服务器104可以通过一个或者多个网络110，例如有线网络、手机网络和/或卫星网络等，实现相互间的通信连接。
用户106可以是一个或者多个用户，例如家庭成员。用户106还可以与智能终端108和/或用户终端102交互以搜索多种内容或者播放节目以及执行其他感兴趣的操作。
智能终端108，用户终端102和/或服务器104可以在任何合适的运算平台上运行。图2为本发明实施例中运行智能终端、移动设备和/或服务器的计算系统200的框图。
如图2所示，计算系统200包括处理器202，存储介质204，显示器206，通信模块208，数据库214及外围设备212。其中某些设备可被省略，也可以包括其他设备。
处理器202可以包括任何数量的合适的处理器。此外，处理器202可以包括用于多线程或并行处理的多个核心。处理器202执行计算机程序指令序列以实现各种流程。存储介质204包括内存模块，比如ROM、RAM、闪存模块和可擦可重写内存以及大容量存储器，比如CD–ROM，U盘以及硬盘等。存储介质204可以存储由处理器202执行时，实现各种步骤的计算机程序。
具体的，外围设备212可以包括各种传感器和其他输入/输出设备，例如，键盘和鼠标。通信模块208包括用于通过网络106建立连接的网络设备。数据库214包括一个或多个数据库，用于存储特定数据(如用户数据和移动应用数据)，并在存储的数据上执行特定的操作，比如数据库搜索以及数据检索。
请继续参阅图1,，智能显示单元108可以同时向多个移动设备102实时广播指纹，基于命名为屏幕-相机通信(screen-camera communication)的广播技术。这样的，作为发射端的显示单元能够利用阿尔法通道，利用像素透明度变化来编码数据。因此，设置有摄像机的设备(如移动设备)可以通过连接智能显示单元的显示屏幕及摄像机获取该数据，并通过阿尔法通道传输的隐藏在像素值中的波形来解码。研究人员利用人类视觉系统的时间和空间的低通特性，成功的对数据进行编码，使其仅能通过摄像机获取和解码。
该屏幕-相机通信技术可以令智能显示单元108同时向多个移动设备102广播消息。例如智能显示单元108可以通过在一个非可见光波段上广播消息。这样的，该消息对于用户不可见。智能显示单元108还可以通过在一个可见光波段上广播消息，使其能够被移动设备的用户观察到。具体的，智能显示单元108可以使消息作为智能显示单元108播放内容的一部分，或者将消息作为独立的内容进行广播。这样不易被察觉的技术提供了很有前景的，可以替代短波信息采集的带外通信方法，其适用于向多个设备广播消息。
然后，移动设备102可以使用获取的指纹，从搜索引擎中获取与指纹相关的信息，同时获取增值内容和服务。由此，可以将智能显示单元108称为基于移动设备的智能搜索准备显示单元(mobile search-ready smart display)，并将视频搜索系统100称为基于移动设备的智能搜索准备显示系统(mobile search-ready smart system)。
在一些实施例中，智能显示单元108可以不与网络连接。例如智能显示单元108可以从蓝光播放机中获取本地视频作为输入信号，并从该本地视频中提取视频指纹，通过屏幕-摄像机通信技术向移动设备102广播该视频指纹。这可以在更广的领域中，使基于移动设备的智能搜索准备显示单元具有多种不同的应用。
图3为本发明实施例提供的视频检索系统的执行方法。如图3所示，首先，提取智能显示单元的当前播放内容(如视频流)的指纹(S302)。视频流可以被分割为若干个场景，场景可以进一步分割为镜头，而镜头还可以细分为多个视频帧等。由于视频是由一系列视频帧所组成的，并且在通常的帧率中(如25帧/每秒)，连续视频帧之间的变化是比较小的。因此，应用相关的分组或者聚类技术，将整个视频帧划分为若干个视频帧集合，每个视频帧集合内包含相类似的视频帧以供进一步的处理，而非独立的对每一个视频帧进行处理。
使用预设的特征提取算法来提取正在智能显示单元中播放的视频帧的指纹，如表示视频帧的特点信息以及定义视频帧的视频帧特征。一般的，每个指纹与特定的视频片段对应。
在提取由智能显示单元输出的当前播放内容(如视频流)的指纹后，选出其中的代表性指纹并对其编码(S304)。所述代表性指纹用以表示视频帧。智能显示单元可以通过像素透明度(如阿尔法值)变化编码信息(如代表性指纹)。另外，每个像素点的阿尔法值随视频帧的颜色分布以及视频帧的过渡而变化。然后，智能显示单元可以通过屏幕-摄像机通信技术广播代表性指纹的编码信息(S306)。
阿尔法(α)值由GPU渲染生成(＜1ms)，因此，该数据编码过程是迅速并且满足实时通信。当智能显示单元的当前播放内容无法预测时，如在游戏交互场景中，实时通信是必须并且重要的。
用户体验，一方面由搜索的正确率所决定。在用于进行搜索的指纹在没有噪声干扰的条件下，使用足够强大的搜索引擎可以获得预期的搜索正确率。因此，搜索的正确率取决于通过屏幕-摄像机通信的频道传输的指纹的误码率。
另一方面，用户体验还与移动设备从搜索引擎中获取所需信息的耗时密切相关。由于在屏幕-摄像机通信中，为了确保通过屏幕-摄像机通信的频道传输的信息能够完整的传输，内置或者外置的摄像机需要在一段时间内保持对准智能显示单元。用户通常希望在较短的时间内保持其移动设备在智能显示单元的前方。由于从搜索引擎中搜索特定的指纹的耗时是固定的。因此，实际上决定用户体验的耗时是移动设备从智能显示单元108中，通过屏幕-摄像机通信技术获取指纹信息所需的时间。
为了通过减低指纹传输误码率从而提高用户体验，当发射端(如智能显示单元)进行数据编码时，可以添加额外数据以提高容错性。但是，屏幕-摄像机通信的信道带宽有限。由此，在给定的时间内，只能通过该信道传输有限比特的信息。因此，添加额外数据的方式会因传输时间延长而降低用户体验。这是由于需要更多的时间传输包含了其他信息的指纹，如加入了额外数据的指纹。
在视频检索系统应用中，有效的利用信道并保持误码率及传输时间之间的平衡是需要解决的问题。这样的，在有限的带宽限制下，通过智能计算方式，发送最有价值的信息从而获得最优的视频检索正确率。
为了达到基于视频指纹的目标内容的最优检索正确率的同时具有通过屏幕-摄像机通信的理想的传输时间(如确定误码率与传输时间之间的平衡)，视频检索系统提供了基于最优化内容指纹编码以及发送的服务。这样的，通过在最优化框架中，测算屏幕-摄像机通信的信道传输能力同时考虑在带宽限制下理想的误码率，选择的最优内容指纹并编码该最优内容指纹。
假设指纹能够在理想状态下发送以及接收，不会产生任何变形，并且需要特定的用以验证每个指纹的完整性的验证开销。该验证开销由
Figure BDA0001199574660000111
表示。应当注意的是，屏幕与摄像机之间的通信是单向的，因此，重新发送指纹的数据包是不可能的，因为发射端(如智能显示单元)无法得知接收端(如移动设备)的情况。
由于视频中大部分的场景是逐渐过渡的，需要通过屏幕-摄像机通信传输的当前指纹与在先传输的指纹在一些部分上是相似的，除非当前的场景出现在一个特别的视频帧中。为了避免在传输过程中完全丢失指纹，每个指纹会被分割为多个数据包，这样，丢失的数据包可以通过复制在先传输的指纹相对应的比特来恢复。若相邻的指纹是相似的，当前指纹的丢失的数据包能够得到恢复的可能性很高。
当前指纹与在先指纹之间相同的部分不需要请求数据包。事实上，数据包开销Δ是一个不需要考虑数据包的长度的固定值。因此，对于如何分割指纹为数据包是非常重要的。
用户可能在任何时间从屏幕-摄像机通信频道接收信息，这是发射端(如智能显示单元)无法预测的。指纹成功传输的预期概率由E(P)表示。
因此，最初的最优化问题可以进行转换，由如下函数表示：
Maximize E(P),s.t.B≤Bmax＝T*R (1)
其中，T是用户可容忍的检索耗时。用户在耗时超出T时，会放弃从屏幕中获取数据。R是信道的带宽。B是指纹使用的总比特数，可以通过如下算式表示：
Figure BDA0001199574660000122
其中，F是指纹的固定大小，K是指纹分割生成的数据包数量，Δ是数据包开销，
Figure BDA0001199574660000123
是指纹校验和开销。这样的，服务所要解决的问题为：在给定的指纹可以使用的比特数Bmax的限制下，最大化指纹传输成功的预期概率E(P)。
存在两种最大化E(P)的方式。如
Figure BDA0001199574660000121
其中，E(Pi)表示当前指纹传输成功的预期概率。而E(Pi|i-1)表示在先指纹传输成功的预期概率。
由于屏幕-摄像机通信信道是随机的，在接收端的变形程度是一个随机变化值。预期误码率由e表示，正确传输信息的概率由s表示，其中，s＝1-e。
假设指纹被分割为K个数据包，并且每个数据包的初始数据由fk,表示，其中，k＝1,2,…,K。
显然的，需要满足如下等式
Figure BDA0001199574660000131
第k个数据包的完整数据为fk′＝fk+Δ。因此，若把信道视为随机误差信道，数据包k能够被正确接收的概率为
Figure BDA0001199574660000132
因此，E(Pi)可以由如下算式表示：
Figure BDA0001199574660000133
在一些具有更多已接收指纹，在先的指纹可使用的场景中，每个数据包都具有三种接收状态：1)成功；2)丢失但可从在先指纹中恢复；3)丢失并不可恢复。因此，E(Pi)可以通过如下算式表示：
Figure BDA0001199574660000134
Figure BDA0001199574660000135
其中，
Figure BDA0001199574660000136
是属于数据包k的，在FPi指纹中的子字符串，
Figure BDA0001199574660000137
是属于数据包k的，在指纹FPi-1中的子字符串。Mk是匹配索引。若
Figure BDA0001199574660000138
与
Figure BDA0001199574660000141
匹配，如
Figure BDA0001199574660000142
与
Figure BDA0001199574660000143
相同，Mk值为0，若
Figure BDA0001199574660000144
与
Figure BDA0001199574660000145
不匹配，如
Figure BDA0001199574660000146
与
Figure BDA0001199574660000147
不相同，则Mk值为1。
图4为本发明实施例提供的数据包配置示意图。如图4所示，指纹被分为了K个数据包，在第一个数据包中，原始数据的比特数f1＝9，并且M1＝0，因为当前第一数据包与在先第一数据包不相同。在第二个数据包中，原始数据的比特数为f2＝14，并且M2＝1，因为当前第二数据包与在先第二数据包相同。在第三个数据包中，原始数据的比特数为f3＝19，并且M3＝0，因为当前第三数据包与在先第三数据包不相同。
基于以上的描述，所述总的优化问题可以被重写为：
Figure BDA0001199574660000148
如算式(8)所示，在优化过程中，所有的变量都是固定的，除了K和fk。因此，该优化问题是在在先指纹和当前指纹之间具有或者不具有相类似的的衡量尺度的情况下，设计一个最优的数据包发送模式。因此，优化问题可以被转换为多项式时间动态规划问题。
算式(8)的解可以通过用于松弛总比特数限制的拉格朗日乘子法获得，以便于该松弛问题能够通过最短路径算法求解。
首先，通过潜状态变量
Figure BDA0001199574660000151
表示数据包分割情况，如对于特定长度的指纹使用的数据包数量以及在特定长度的指纹中，分配的数据包大小。当
Figure BDA0001199574660000159
fk以及确定后，可以据此确定E(Pi)，E(Pi|i-1)和Bi。该间接映射函数可以通过如下算式表示：
Figure BDA0001199574660000152
Figure BDA0001199574660000153
Figure BDA0001199574660000154
因此，算式(8)的拉格朗日成本函数可以写成两个独立的函数并且最终的优化结果为两个函数中的较大者，其可以被表示为：
Figure BDA0001199574660000155
其中，λ被称为拉格朗日乘子。已经被证明，若存在λ*，这样，
Figure BDA0001199574660000156
并且有Bi＝Bmaxor Bi+Bi-1＝Bmax，该
Figure BDA0001199574660000157
为算式(8)的最优解。因此，若可以找到
Figure BDA0001199574660000158
的最优解，就可以据此找到算式(8)在限制条件下的最优解。
根据以上描述，状态变量
Figure BDA00011995746600001510
表示了数据包的分割情况。图5为本发明实施例提供的数据包的分割状态的变化。如图5所示，0(数字)表示数据包在这一点上是连续的，1(数字)表示在这一点上分割数据包。该分割方法是一个单向操作过程，即不在在先分割的位置上继续分割(用0表示)。指纹通过一个数据包进行传输。在起始时，指纹包括了F比特，并且数据包为全零状态。在最终状态时，指纹包括了(F-1)比特，并且数据包为全1状态。因此，从起始到最终状态的过程中，可以基于二维的DAG最短路径算法，通过动态规划来求解算式(8)的最优解。
在动态规划中，为了求解算式(8)的最优解，构建一个成本函数
Figure BDA0001199574660000161
该成本函数
Figure BDA0001199574660000162
包括两个独立的路径。两个独立路径可以分别进行求解。在通常损失状态下，该δ成本函数可以通过如下算式表示：
Figure BDA0001199574660000163
其独立于选中的在先状态。因此，成本函数(算式14表示)可以通过动态规划进行求解。
Figure BDA0001199574660000164
因此，指纹成功传输的理想或者最大概率可以通过内容指纹编码以及发送的最优解确定。该内容指纹编码以及发送可以是实时重复进行的优化过程，以获得在传输时间和传输可靠性之间最优的折衷方案。
具体的，请继续参阅图3。在代表性指纹的编码信息广播后，移动设备接收该编码信息并对其解码，还原为指纹(S308)。获取的代表性指纹可以包括编码的α值，屏幕内容，环境光以及摄像机噪声。在这些信息中，编码的α值是移动设备需要获得的目标信息，而其他信息为干扰源。移动设备可以通过预设的算法对该代表性指纹的编码信息进行解码。
更具体的，移动设备可以在提交云端搜索服务器前，检查指纹的完整性(S310)。若指纹的校验和错误，移动设备可以重新获取并解码另一个指纹的编码信息(与具有错误校验和的，在先接收到的编码信息不同的指纹)，直至校验和验证通过(S308)。若校验和验证通过，移动设备通过云端检索服务器、搜索引擎或者其他搜索服务提供方，检索具有与视频指纹相对应的视频帧的匹配视频(S312)。
因此，通过使用结合在给定的比特数限制下，成功传输的最优概率的框架的搜索系统，最优化方法可以将原始最优解问题转换为多项式时间动态规划问题。
以上揭露的基于移动设备的智能搜索准备显示系统及方法是基于这样一个重要的观点：在未来的媒体搜索中，使用移动设备是日常生活中非常自然的部分，因此，基于移动设备的智能搜索准备显示系统及方法可以被广泛的应用于许多新的服务和应用上。
例如，在一些实施例中，用户对超级市场中的电视播放的某个产品广告感兴趣。该超级市场充满了其他购物者和噪声，因此，对于用户来讲，非常难清晰的获知在电视中播放的产品信息。在该电视机为智能搜索准备的电视机，其可以通过屏幕-摄像机通信，持续的广播用于表示当前电视播放内容的代表性指纹的编码信息。用户可以将其智能手机的摄像机指向智能电视并获取由智能电视广播的指纹。然后，智能手机可以对该编码进行解码并在Google中搜索匹配的视频。用户可以通过观看该匹配视频从而获取产品的相关信息，例如，产品价格、何处购买等。用户还可以通过智能手机购买该产品。
在另一些实施例中，公交车在公告栏旁停车，在公交车上的乘客看见公告栏上正在播放的电影预告片，并且乘客想要在电影院观看该电影。但是，公交车在该电影名称出现前已经启动。该公告栏设置有智能显示单元时，其可以通过屏幕-摄像机通信，持续的广播用于表示当前电视播放内容的代表性指纹的编码信息。在知晓的情况下，用户可以其智能手机的摄像机转向该智能显示单元并获取电影预告片相关的指纹。然后，智能手机对该编码信息进行解码并在Google中搜索匹配的视频。在观看该匹配视频后，用户可以知道电影的名称并在以后通过其智能手机购买该电影的电影票。
应当指出的是，基于移动设备的智能搜索准备显示系统可以应用任何屏幕-摄像机通信技术以及任何基于指纹的ACR技术。以上揭露的基于移动设备的智能搜索准备显示系统以及方法可以认为是一个基本的框架，可以用于任何合适的显示单元-移动设备通信的场景中。
具体的，以上揭露的基于移动设备的智能搜索准备显示系统及其方法也可以拓展到其他具有显示单元的设备中，例如智能手机、掌上电脑、个人电脑、智能手表等，用以执行视频搜索以及向多个移动设备广播指纹信息，并且移动设备可以使用获取的指纹，获取源自搜索服务提供方的相关搜索内容并向用户提供增值服务。其他的步骤也可以认为是用以说明上述基于最优内容指纹编码及发送的视频检索的系统。
本发明实施例的描述用以向本领域技术人员解释本发明。本发明实施例的变形对于本领域技术人员而言是显而易见的，并且在不脱离本发明的精神以及范围时，此处使用的一般原则可以应用至其他的实施例中。由此，本发明不限于以上实施例所描述的内容，而取决于与实施例揭露的原则以及区别技术特征相对应的最大范围。

Claims (20)

1.一种智能搜索准备的显示方法，其特征在于，所述方法包括：
从智能显示单元的当前播放内容中提取若干视频指纹；所述当前播放内容包括若干与视频指纹对应的视频帧；
从所述视频指纹中，确定一个或者多个代表视频指纹；
通过像素透明度的变化编码所述一个或者多个代表视频指纹，生成一个或者多个代表视频指纹的编码信息；
通过屏幕-摄像机通信技术发送一个或者多个所述代表视频指纹的编码信息；以及
优化一个或者多个代表视频指纹的编码以及所述一个或者多个编码信息的发送从而获得误码率与传输时间之间的平衡。
2.根据权利要求1所述的方法，其特征在于，还包括：
解码所述编码信息，获得代表视频指纹；
在数据库中搜索匹配视频，所述匹配视频包括与所述代表视频指纹对应的视频帧；以及
向用户返回搜索结果。
3.根据权利要求1所述的方法，其特征在于，还包括：
通过预设的指纹提取算法提取若干视频指纹。
4.根据权利要求1所述的方法，其特征在于，所述像素透明度的变化为阿尔法值的变化。
5.根据权利要求4所述的方法，其特征在于，所述阿尔法值基于视频帧的色彩分布以及视频帧的过渡而变化。
6.根据权利要求1所述的方法，其特征在于，所述智能显示单元为在线显示单元或者离线显示单元。
7.根据权利要求1所述的方法，其特征在于，所述最优化一个或者多个代表视频指纹的编码以及所述一个或者多个编码信息的发送从而获得误码率与传输时间之间的平衡，具体包括：
在给定的指纹信息可使用比特数的限制下，计算视频指纹传输成功的最大概率。
8.根据权利要求7所述的方法，其特征在于，通过如下算式，计算所述视频指纹传输成功的最大概率：
Figure FDA0002336991730000021
其中，E(P)表示当前视频指纹的传输成功的最大概率，E(Pi|i-1)表示在先视频指纹的传输成功的最大概率，F表示视频指纹的固定长度，K表示视频指纹分割成的数据包数量，Δ表示数据包消耗，
Figure FDA0002336991730000022
表示视频指纹校验和消耗，
每个视频指纹被分割为K个数据包，fk表示每个数据包的原始比特数，其中k＝1，2，...，K，Bmax表示所述给定的指纹信息可使用比特数，e表示期望的误码率。
9.一种智能搜索准备的显示系统，其特征在于，包括具有显示屏幕的智能显示单元以及具有摄像头的移动设备；
所述智能显示单元用于，从智能显示单元的当前播放内容中提取若干视频指纹；所述当前播放内容包括若干与视频指纹对应的视频帧；
从所述视频指纹中，确定一个或者多个代表视频指纹；
通过像素透明度的变化编码所述一个或者多个代表视频指纹，生成一个或者多个代表视频指纹的编码信息；
通过屏幕-摄像机通信技术发送一个或者多个所述代表视频指纹的编码信息；以及
优化一个或者多个代表视频指纹的编码以及所述一个或者多个编码信息的发送从而获得误码率与传输时间之间的平衡。
10.根据权利要求9所述的系统，其特征在于，所述移动设备用于：
解码所述编码信息，获得代表性视频指纹；
在数据库中搜索匹配视频，所述匹配视频包括与所述代表性视频指纹对应的视频帧；以及向用户返回搜索结果。
11.根据权利要求9所述的系统，其特征在于，所述移动设备还用于：通过预设的指纹提取算法提取若干视频指纹。
12.根据权利要求9所述的系统，其特征在于，所述像素透明度的变化为阿尔法值的变化。
13.根据权利要求12所述的系统，其特征在于，所述阿尔法值基于视频帧的色彩分布以及视频帧的过渡而变化。
14.根据权利要求9所述的系统，其特征在于，所述智能显示单元为在线显示单元或者离线显示单元。
15.根据权利要求9所述的系统，其特征在于，所述移动设备具体用于：
在给定的指纹信息可使用比特数的限制下，计算视频指纹传输成功的最大概率。
16.根据权利要求15所述的系统，其特征在于，通过如下算式，计算所述视频指纹传输成功的最大概率：
Figure FDA0002336991730000041
其中，E(P)表示当前视频指纹的传输成功的最大概率，E(Pi|i-1)表示在先视频指纹的传输成功的最大概率，F表示视频指纹的固定长度，K表示视频指纹分割成的数据包数量，Δ表示数据包消耗，
Figure FDA0002336991730000042
表示视频指纹校验和消耗，
每个视频指纹被分割为K个数据包，fk表示每个数据包的原始比特数，其中k＝1，2，...，K，Bmax表示所述给定的指纹信息可使用比特数，e表示期望的误码率。
17.一种智能搜索准备的显示方法，其特征在于，包括：
通过屏幕-摄像机通信技术获取视频帧的代表指纹的编码信息；
解码所述编码信息，获得代表视频指纹；
在数据库中搜索匹配视频，所述匹配视频包括与所述代表性视频指纹对应的视频帧；以及
向用户返回搜索结果；
其中，所述编码信息通过像素透明度的变化编码所述一个或者多个代表视频指纹而生成；所述代表视频指纹从智能显示单元的当前播放内容中提取的若干视频指纹中确定；所述代表视频指纹的编码和编码信息的发送通过优化以获得误码率与传输时间之间的平衡。
18.根据权利要求17所述的方法，其特征在于，所述方法还包括：通过预设的指纹提取算法提取若干视频指纹。
19.根据权利要求17所述的方法，其特征在于，在给定的指纹信息可使用比特数的限制下，计算视频指纹传输成功的最大概率以最优化所述代表视频指纹的编码和编码信息的发送，获得误码率与传输时间之间的平衡。
20.根据权利要求19所述的方法，其特征在于，通过如下算式，计算所述视频指纹传输成功的最大概率：
Figure FDA0002336991730000051
其中，E(P)表示当前视频指纹的传输成功的最大概率，E(Pi|i-1)表示在先视频指纹的传输成功的最大概率，F表示视频指纹的固定长度，K表示视频指纹分割成的数据包数量，Δ表示数据包消耗，
Figure FDA0002336991730000052
表示视频指纹校验和消耗，
每个视频指纹被分割为K个数据包，fk表示每个数据包的原始比特数，其中k＝1，2，...，K，Bmax表示所述给定的指纹信息可使用比特数，e表示期望的误码率。
CN201611269883.1A 2015-12-30 2016-12-30 一种智能搜索准备的显示方法及其系统 Active CN106937127B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/984,668 2015-12-30
US14/984,668 US9807453B2 (en) 2015-12-30 2015-12-30 Mobile search-ready smart display technology utilizing optimized content fingerprint coding and delivery

Publications (2)

Publication Number Publication Date
CN106937127A CN106937127A (zh) 2017-07-07
CN106937127B true CN106937127B (zh) 2020-05-05

Family

ID=59226932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611269883.1A Active CN106937127B (zh) 2015-12-30 2016-12-30 一种智能搜索准备的显示方法及其系统

Country Status (2)

Country Link
US (1) US9807453B2 (zh)
CN (1) CN106937127B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11086418B2 (en) * 2016-02-04 2021-08-10 Douzen, Inc. Method and system for providing input to a device
US10652620B2 (en) 2017-12-05 2020-05-12 TrailerVote Corp. Movie trailer voting system with audio movie trailer identification
US10650393B2 (en) * 2017-12-05 2020-05-12 TrailerVote Corp. Movie trailer voting system with audio movie trailer identification

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402852A (zh) * 1999-10-22 2003-03-12 动感天空公司 面向目标的视频系统
CN101789014A (zh) * 2010-02-05 2010-07-28 上海全土豆网络科技有限公司 并行视频指纹检索方法
CN103198293A (zh) * 2011-12-22 2013-07-10 美国博通公司 用于指纹识别视频的系统和方法
US8913851B1 (en) * 2011-04-29 2014-12-16 Google Inc. Fingerprinting image using points of interest for robust image identification

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8683601B2 (en) * 2006-04-14 2014-03-25 Google Inc. Audio/video identification watermarking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402852A (zh) * 1999-10-22 2003-03-12 动感天空公司 面向目标的视频系统
CN101789014A (zh) * 2010-02-05 2010-07-28 上海全土豆网络科技有限公司 并行视频指纹检索方法
US8913851B1 (en) * 2011-04-29 2014-12-16 Google Inc. Fingerprinting image using points of interest for robust image identification
CN103198293A (zh) * 2011-12-22 2013-07-10 美国博通公司 用于指纹识别视频的系统和方法

Also Published As

Publication number Publication date
US20170195717A1 (en) 2017-07-06
CN106937127A (zh) 2017-07-07
US9807453B2 (en) 2017-10-31

Similar Documents

Publication Publication Date Title
US11417341B2 (en) Method and system for processing comment information
KR101929220B1 (ko) 얼굴인식 정보 제공 방법, 이를 이용하는 얼굴인식 서버 및 얼굴인식 시스템
CN112312231B (zh) 一种视频图像编码方法、装置、电子设备及介质
NZ595843A (en) System and method for multi-stream video compression using multiple encoding formats
CN110149529B (zh) 媒体信息的处理方法、服务器及存储介质
US11451858B2 (en) Method and system of processing information flow and method of displaying comment information
CN109871736B (zh) 自然语言描述信息的生成方法及装置
CN106937127B (zh) 一种智能搜索准备的显示方法及其系统
CN111669577A (zh) 一种硬件解码检测方法、装置、电子设备及存储介质
US20150358653A1 (en) Method and apparatus for processing audio/video file
CN111444415A (zh) 弹幕处理方法、服务器、客户端、电子设备及存储介质
CN108932254A (zh) 一种相似视频的检测方法、设备、系统及存储介质
CN112423140A (zh) 视频播放方法、装置、电子设备和存储介质
US20160196631A1 (en) Hybrid Automatic Content Recognition and Watermarking
CN109525852B (zh) 直播视频流处理方法、装置、系统及计算机可读存储介质
US11051080B2 (en) Method for improving video resolution and video quality, encoder, and decoder
CN116842205A (zh) 一种游戏回放方法、装置及存储介质
CN116193160A (zh) 一种数字水印嵌入方法、装置、设备和介质
CN114339404B (zh) 一种屏保壁纸的显示方法、装置、电子设备及存储介质
US9223458B1 (en) Techniques for transitioning between playback of media files
US20180249225A1 (en) Dynamic generation of trick mode data
CN116055762A (zh) 视频合成方法及装置、电子设备和存储介质
US20170171269A1 (en) Media content playback method, apparatus and system
CN114466224A (zh) 视频数据的编解码方法和装置、存储介质及电子设备
US20160105731A1 (en) Systems and methods for identifying and acquiring information regarding remotely displayed video content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 516006 TCL technology building, No.17, Huifeng Third Road, Zhongkai high tech Zone, Huizhou City, Guangdong Province

Applicant after: TCL Technology Group Co., Ltd

Address before: TCL Technology Building No. 17 three road 516006 in Guangdong province Huizhou City Zhongkai high tech Development Zone Huifeng 23 floor

Applicant before: TCL RESEARCH AMERICA Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant