CN111432271B - 一种多屏交互方法及其系统 - Google Patents

一种多屏交互方法及其系统 Download PDF

Info

Publication number
CN111432271B
CN111432271B CN202010540281.5A CN202010540281A CN111432271B CN 111432271 B CN111432271 B CN 111432271B CN 202010540281 A CN202010540281 A CN 202010540281A CN 111432271 B CN111432271 B CN 111432271B
Authority
CN
China
Prior art keywords
data
terminal
interaction
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010540281.5A
Other languages
English (en)
Other versions
CN111432271A (zh
Inventor
李小波
王振超
李昆仑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengxin Shambala Culture Co ltd
Original Assignee
Hengxin Shambala Culture Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengxin Shambala Culture Co ltd filed Critical Hengxin Shambala Culture Co ltd
Priority to CN202010540281.5A priority Critical patent/CN111432271B/zh
Publication of CN111432271A publication Critical patent/CN111432271A/zh
Application granted granted Critical
Publication of CN111432271B publication Critical patent/CN111432271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25816—Management of client data involving client authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种多屏交互方法及其系统，其中，多屏交互方法包括如下步骤：接收操作终端发送的接入请求，并完成设备接入；与当前完成设备接入的操作终端进行绑定，并建立实时通信通道；通过实时通信通道接收并显示交互行为，其中，交互行为的交互类型包括：同步数据或操作指令。本申请能够简化显示终端操作过程，以及提升操作终端查看数据的效果。

Description

一种多屏交互方法及其系统
技术领域
本申请涉及通信技术领域，尤其涉及一种多屏交互方法及其系统。
背景技术
随着多媒体压缩技术和网络通信技术的发展，媒体业务提供商推出了越来越多的高压缩比、高分辨率、高帧率的视频内容，它将极大地改善用户的视觉体验，丰富用户的娱乐生活。但要播放这些高压缩比、高分辨率、高帧率的视频内容，对终端播放器的计算能力和数据处理能力也提出了很高的要求。再现有的具有大显示屏的播放设备（例如：机顶盒、电视机等）进行操作复杂的操作过程比较麻烦，客户体验较差。而具有小显示屏的移动设备（手机、平板电脑等）直接查看数据时，查看细节不方便。
此外，播放设备接收移动终端同步的数据进行播放又容易出现跳帧情况。
发明内容
本申请的目的在于提供一种多屏交互方法及其系统，能够简化显示终端操作过程，以及提升操作终端查看数据的效果。
为达到上述目的，本申请提供一种多屏交互方法，包括如下步骤：接收操作终端发送的接入请求，并完成设备接入；与当前完成设备接入的操作终端进行绑定，并建立实时通信通道；通过实时通信通道接收并显示交互行为，其中，交互行为的交互类型包括：同步数据或操作指令。
如上的，其中，与当前完成设备接入的操作终端进行绑定，并建立实时通信通道的子步骤如下：向操作终端发送完成接入信息，其中，完成接入信息至少包括：操作终端的身份码；接收操作终端收到完成接入信息后反馈的显示屏抢占请求，完成显示屏连接；完成显示屏连接后，完成实时通信通道的建立。
如上的，其中，通过实时通信通道接收并显示交互行为的子步骤如下：确定交互行为的交互类型，其中交互类型包括：同步数据或操作指令中的至少一种；根据交互类型对交互行为进行处理并显示。
如上的，其中，当交互类型为同步数据时，通过实时通信通道接收并显示同步数据的子步骤如下：获取同步数据，并判断同步数据的数据类型；根据数据类型对同步数据进行数据检测，生成检测结果；根据检测结果对同步数据进行处理，生成处理后同步数据；将处理后同步数据同步至显示屏进行显示。
如上的，其中，若数据类型为视频数据，则对视频数据进行检测的子步骤如下：获得解码视频数据中一帧图像的最大允许时间和平均时间；利用最大允许时间和平均时间获得播放能力参数。
如上的，其中，利用最大允许时间和平均时间获得播放能力参数的具体公式如下：
Figure 488629DEST_PATH_IMAGE001
；其中，
Figure 202507DEST_PATH_IMAGE002
为播放能力参数；
Figure 716665DEST_PATH_IMAGE003
为平均时间；
Figure 643032DEST_PATH_IMAGE004
为最大允许时间。
本申请还提供一种多屏交互系统，包括：显示终端和操作终端；其中，显示终端：用于执行上述的多屏交互方法；操作终端：用于向显示终端发送接入请求，与显示终端建立实时通信通道，并通过实时通信通道向显示终端发送同步数据或操作指令。
如上的，其中，显示终端包括：显示屏、数据处理装置和云端存储；其中，云端存储：用于存储历史标志码；用于存储显示终端上报的操作日志；用于接收同步的交互行为；数据处理装置：用于从云端存储中获取交互行为，对交互行为中的同步数据进行处理，并生成处理后同步数据；显示屏：用于接收并显示同步数据或操作指令。
如上的，其中，数据处理装置包括：数据获取单元、检测单元和数据处理单元；其中，数据获取单元：用于从云端存储获取同步数据，对同步数据进行数据类型判断；检测单元：根据数据类型对相应的同步数据进行数据检测，生成检测结果；数据处理单元：接收检测结果，并根据检测结果对同步数据进行处理，生成处理后同步数据，并将处理后同步数据同步至显示屏进行显示。
如上的，其中，操作终端具有显示单元，显示单元的尺寸小于显示屏的尺寸。
本申请实现的有益效果如下：
（1）显示终端用于显示交互行为，操作终端用于进行操作，其中显示终端的显示屏（大屏幕）能提供和展示更多操作终端的显示单元（小屏幕）不具备的细节，便于用户查看数据的细节内容，将显示终端的复杂操作通过操作终端进行操作，能够更轻便的进行交互操作（例如更换角度、缩放细节和滑动等操作）以交互查看展示内容信息，具有提高用户操作的易用性、便利性和可靠性的效果。
（2）显示终端与操作终端之间以异步交互为主，即无需等待任何响应，接收到交互行为进行解密后，对需要作出响应的再进行内容展示或效果表现，具有传输效率更高和通信延迟更低的优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为多屏交互系统一种实施例的结构示意图；
图2为多屏交互方法一种实施例的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供一种多屏交互方法及其系统，能够简化显示终端操作过程，以及提升操作终端查看数据的效果。
如图1所示，本申请提供一种多屏交互系统，包括：显示终端110和操作终端120。
其中，显示终端：用于执行下述的多屏交互方法。
操作终端：用于向显示终端发送接入请求，与显示终端建立实时通信通道，并通过实时通信通道向显示终端发送同步数据或操作指令。具体的，操作终端为可手持设备，例如：手机，Pad等。
进一步的，显示终端包括：显示屏、数据处理装置和云端存储。
其中，云端存储：用于存储历史标志码；用于存储显示终端上报的操作日志；用于接收同步的交互行为。
数据处理装置：用于从云端存储中获取交互行为，对交互行为中的同步数据进行处理，并生成处理后同步数据。
显示屏：用于接收并显示同步数据或操作指令。
进一步的，数据处理装置包括：数据获取单元、检测单元和数据处理单元。
其中，数据获取单元：用于从云端存储获取同步数据，对同步数据进行数据类型判断。
检测单元：根据数据类型对相应的同步数据进行数据检测，生成检测结果。
数据处理单元：接收检测结果，并根据检测结果对同步数据进行处理，生成处理后同步数据，并将处理后同步数据同步至显示屏进行显示。
进一步的，操作终端具有显示单元，显示单元的尺寸小于显示屏的尺寸。
如图2所示，本申请提供一种多屏交互方法，包括如下步骤：
S210：接收操作终端发送的接入请求，并完成设备接入。
进一步的，接收操作终端发送的接入请求，并完成设备接入的子步骤如下：
Q1：接收操作终端发送的接入请求。
具体的，显示终端启动后，操作终端通过显示终端的临时通信通道向显示终端发送接入请求，显示终端接收到接入请求后，执行Q2。其中，接入请求包括：操作终端的安全性证书和操作终端标识码。
Q2：对接入请求进行处理，生成认证结果。
进一步的，对接入请求进行处理，生成认证结果的子步骤如下：
Q210：对接入请求中的标识码进行识别，生成识别结果。
具体的，识别结果包括：无需认证和需要认证。显示终端接收到接入请求后，对接入请求中的标识码进行识别，若识别该标识码为历史标识码，则生成的识别结果为无需认证；若识别该标识码为新标识码，则生成的识别结果为需要认证。显示终端生成识别结果后，执行Q220。
其中，历史标志码为显示终端曾经完成设备接入的操作终端的标志码。新标志码为第一次向显示终端发送接入请求的操作终端的标志码。
Q220：分析识别结果，若识别结果为无需认证，则直接生成认证结果；若识别结果为需要认证，则对接入请求中的安全性证书进行认证，并生成认证结果。
具体的，认证结果包括：认证成功和认证失败。若显示终端分析识别结果为无需认证，则直接生成认证结果，该认证结果为认证成功。若显示终端分析识别结果为需要认证，则对接入请求中的安全性证书进行认证，若认证安全性证书为合法的，则生成认证成功；若认证安全性证书为不合法的，则生成认证失败。显示终端生成认证结果后，执行Q3。
Q3：若认证结果为认证成功，则完成设备接入；若认证结果为认证失败，则生成操作日志，并将操作日志自动上报至云端。
具体的，显示终端生成认证结果后，对认证结果进行判断，若认证结果为认证成功，则完成设备接入，执行S220；若认证结果为认证失败，则将本次的操作相关数据生成操作日志，并自动上传至云端存储，存储的操作日志用于做数据分析或风险监控。
S220：与当前完成设备接入的操作终端进行绑定，并建立实时通信通道。
进一步的，与当前完成设备接入的操作终端进行绑定，并建立实时通信通道的子步骤如下：
W1：向操作终端发送完成接入信息，其中，完成接入信息至少包括：操作终端的身份码。
具体的，完成设备接入后，显示终端向操作终端发送完成接入信息，操作终端接收到完成接入信息后，向显示终端反馈显示屏抢占请求，并执行W2。
W2：接收操作终端收到完成接入信息后反馈的显示屏抢占请求，完成显示屏连接。
进一步的，接收操作终端反馈的显示屏抢占请求，完成显示屏连接的子步骤如下：
E1：检查显示屏的当前连接状态，并生成状态结果。
具体的，显示终端对显示屏的连接状态进行检查，若检查当前显示屏处于与历史的操作终端连接的状态，则生成的状态结果为已占有；若检查当前显示屏处于未与任何操作终端连接的状态，则生成的状态结果为未占有。生成状态结果后，执行E2。
E2：根据状态结果对操作终端进行显示屏连接。
进一步的，根据状态结果对操作终端进行显示屏连接的子步骤如下：
E210：分析状态结果，若状态结果为已占有，则执行E220；若状态结果为未占有，则执行E230。
E220：向操作终端发送显示屏抢占指令，并断开与历史的操作终端的连接，执行E230。
具体的，当状态结果为已占有时，表示当前显示屏与历史的操作终端处于连接状态，显示终端向新接入的操作终端发送显示屏抢占指令。新接入的操作终端接收到显示屏抢占指令后，对显示屏进行抢占，抢占成功后，显示终端断开与上一操作终端的数据同步，执行E230。
E230：完成显示屏连接。
具体的，显示终端完成与操作终端的显示屏连接后，执行W3。
W3：完成显示屏连接后，完成实时通信通道的建立。
具体的，完成显示屏连接后，完成实时通信通道的建立的子步骤如下：
W310：向操作终端发送显示屏连接成功信息。
具体的，显示终端完成与操作终端的显示屏连接后，向操作终端发送显示屏连接成功信息，并执行W320。
W320：判断在预设的时间范围内是否接收到交互请求，若在预设的时间范围内接收到交互请求，则完成实时通信通道的建立；若在预设的时间范围内未接收到交互请求，则向操作终端发送重新绑定指令；其中，交互请求为操作终端接收到显示屏连接成功信息后发送的信息。
具体，作为一个实施例，预设的时间范围为：显示终端向操作终端发送显示屏连接成功信息后的连续3个
Figure 254142DEST_PATH_IMAGE005
，
Figure 811026DEST_PATH_IMAGE006
。若显示终端在预设的时间范围内未接收到同一操作终端的交互请求，则主动断开与当前操作终端的连接，并向该操作终端发送重新绑定指令。若该操作终端需再次连接，则根据重新绑定指令重新执行S220。若显示终端在预设的时间范围内接收到交互请求，则完成实时通信通道的建立，并执行S230，立即与该操作终端进行数据同步和回显。
具体的，实时通行通道的通信协议保持当前信息+前3次信息为一个信息单元的方式进行广播，能够有效减少丢包、断包、粘包等造成的数据不一致。
S230：通过实时通信通道接收并显示交互行为。
具体的，实时通信通道建立完成后，操作终端将交互行为异步发送至云端存储，显示终端的数据处理装置从云端存储获取交互行为并处理，将处理后同步数据同步至显示屏进行展示。
进一步的，通过实时通信通道接收并显示交互行为的子步骤如下：
P1：确定交互行为的交互类型，其中交互类型包括：同步数据或操作指令中的至少一种。
具体的，显示终端获取到交互行为后，对交互行为的交互类型进行确定。
P2：根据交互类型对交互行为进行处理并显示。
具体的，确定交互类型后，根据交互类型对交互行为进行处理，若交互类型为操作指令，则直接将操作指令显示于显示屏，并根据操作指令进行操作；若交互类型为同步数据，则对同步数据进行检测和处理，并将处理后同步数据显示于显示屏。
进一步的，当交互类型为同步数据时，通过实时通信通道接收并显示同步数据的子步骤如下：
R1：获取同步数据，并判断同步数据的数据类型。
具体的，数据获取单元从云端存储获得到同步数据后，对同步数据的数据类型进行判断，确定数据类型，执行R2。
其中，同步数据的数据类型至少包括：视频数据、图像数据、音频数据或文本数据。
R2：根据数据类型对同步数据进行数据检测，生成检测结果。
具体的，作为第一个实施例，若数据类型为图像数据，则对图像数据的清晰程度和损坏程度进行检测，若图像数据的清晰程度符合预设阀值，且无损坏，则将图像数据同步至显示屏进行展示。
具体的，作为第二个实施例，若数据类型为音频数据，则对音频数据的清晰程度和损坏程度进行检测，若音频数据的清晰程度符合预设阀值，且无损坏，则将音频数据同步至显示屏进行播放。
具体的，作为第三个实施例，若数据类型为视频数据，则对视频数据进行检测的子步骤如下：
R210：获得解码视频数据中一帧图像的最大允许时间和平均时间。
具体的，检测单元根据获取的视频数据的帧率和解码该帧视频图像所需的时间获取解码一帧图像的最大允许时间
Figure 895304DEST_PATH_IMAGE007
和解码一帧图像的平均时间
Figure 625363DEST_PATH_IMAGE008
。
R220：利用最大允许时间和平均时间获得播放能力参数。
进一步的，利用最大允许时间和平均时间获得播放能力参数的具体公式如下：
Figure 825400DEST_PATH_IMAGE009
；
其中，
Figure 349922DEST_PATH_IMAGE010
为播放能力参数；
Figure 838672DEST_PATH_IMAGE011
为平均时间；
Figure 372422DEST_PATH_IMAGE012
为最大允许时间。
R230：对播放能力参数进行判断，生成检测结果，其中，检测结果包括：有跳帧和无跳帧。
具体的，若检测单元判断数据获取单元获取到的视频数据的
Figure 426966DEST_PATH_IMAGE013
，该视频可能出现跳帧状况，则生成的检测结果为有跳帧，将该视频数据发送至数据处理单元，执行R3。
若检测单元判断
Figure 591231DEST_PATH_IMAGE014
，表示该视频数据显示时不具有跳帧状况，则生成的检测结果为无跳帧，直接同步至显示屏进行展示。
R3：根据检测结果对同步数据进行处理，生成处理后同步数据。
具体的，作为一个实施例，当同步数据为视频数据时，根据检测结果对同步数据进行处理，生成处理后同步数据的子步骤如下：
R310：确定跳帧数据的跳帧位置。
具体的，数据处理单元接收可能具有跳帧状况的视频数据，并对视频数据进行二次检查，若二次检查中
Figure 364015DEST_PATH_IMAGE015
的视频数据不具有跳帧位置，则表示该视频数据不存在跳帧状况，直接将该视频数据作为处理后同步数据，执行R4。若二次检查中
Figure 435876DEST_PATH_IMAGE016
的视频数据具有跳帧位置，则确定跳帧位置，执行R320。
R320：对确定的跳帧位置的前后帧图像进行图像匹配，插值获得插值图像。
具体的，图像匹配方法可采用压缩优先过滤（CPF）匹配算法，但不仅限于CPF匹配算法，还可以采用基于灰度的匹配算法、基于特征的匹配算法、基于关系的匹配算法等。
R320：将插值图像与待处理图像进行对比，生成对比结果。
其中，待处理图像为原始输入图像的带局部补偿的跳帧编码帧。插值图像为待处理图像的插值参考图像。
进一步的，作为另一个实施例，获取待处理与插值中间图像对应的相同位置区域之间的匹配度，根据匹配度生成比对结果，子步骤如下：
Y1：获取第一信噪比阀值和插值图像中块的客观信噪比。
具体的，根据匹配概率
Figure 813768DEST_PATH_IMAGE017
，将图像中的所有块的信噪比直方图化，即可以得到相应的第一信噪比阀值
Figure 680092DEST_PATH_IMAGE018
。
具体的，获取插值图像与待处理图像对应的相同位置区域的失配标识位的公式如下：
Figure 205752DEST_PATH_IMAGE019
；
其中，
Figure 18987DEST_PATH_IMAGE020
；
其中，
Figure 313702DEST_PATH_IMAGE021
为块
Figure 616507DEST_PATH_IMAGE022
的失配标识位，即图像匹配模型在块
Figure 301567DEST_PATH_IMAGE023
中的有效性；
Figure 980810DEST_PATH_IMAGE024
为插值图像中与待处理图像第
Figure 67714DEST_PATH_IMAGE025
个块相同位置的块；
Figure 541421DEST_PATH_IMAGE026
为块
Figure 776093DEST_PATH_IMAGE027
的信噪比；
Figure 727869DEST_PATH_IMAGE028
为第一信噪比阀值，信噪比阀值的取值与匹配概率相关；
Figure 934859DEST_PATH_IMAGE029
为匹配概率；
Figure 582397DEST_PATH_IMAGE030
为一帧图像内的所有块的总数；
Figure 304365DEST_PATH_IMAGE031
为自然数，
Figure 59832DEST_PATH_IMAGE032
。
具体的，当
Figure 855749DEST_PATH_IMAGE033
时，表示匹配；当
Figure 671259DEST_PATH_IMAGE034
时，表示失配。获取到
Figure 880523DEST_PATH_IMAGE035
后，执行Y2。
Y2：利用第一信噪比阀值和插值图像中块的客观信噪比，获取待处理图像插值图像对应的相同位置区域的的跳跃标志位，根据跳跃标志为生成对比结果。
进一步的，获取插值图像FR帧与待处理图像F帧对应的相同位置区域的跳跃标志位的子步骤如下：
Figure 642943DEST_PATH_IMAGE036
；
其中，
Figure 621263DEST_PATH_IMAGE037
；
Figure 342094DEST_PATH_IMAGE038
；
其中，
Figure 976338DEST_PATH_IMAGE039
为块
Figure 339186DEST_PATH_IMAGE040
跳跃标志位；
Figure 375275DEST_PATH_IMAGE041
为待处理图像第
Figure 267008DEST_PATH_IMAGE042
个块相同位置的块；
Figure 450865DEST_PATH_IMAGE043
为插值图像中的块
Figure 555087DEST_PATH_IMAGE044
的信噪比；
Figure 242420DEST_PATH_IMAGE045
为信噪比判决阈值；
Figure 570633DEST_PATH_IMAGE046
为第一信噪比阀值；
Figure 913890DEST_PATH_IMAGE047
为引入的第二信噪比阀值；
Figure 884120DEST_PATH_IMAGE048
为表示插值图像整幅图像的平均信噪比；
Figure 629222DEST_PATH_IMAGE049
为失配的块的信噪比与平均信噪比的最小距离。
具体的，若
Figure 393916DEST_PATH_IMAGE050
，则对块
Figure 224469DEST_PATH_IMAGE051
需要进行编码处理，比对结果为需要处理；反之，则不需要对其进行编码，只需要传递标志位
Figure 732810DEST_PATH_IMAGE052
比对结果为无需处理。其中，块
Figure 332419DEST_PATH_IMAGE053
跳跃标志位
Figure 2435DEST_PATH_IMAGE054
即为匹配度。
具体的，作为另一个实施例，数据处理单元将插值图像与待处理图像进行对比，若插值图像与待处理图像对应位置的区域的相识度高（相似度大于或等于相似度阀值80%），则对比结果为无需处理。若插值图像与待处理图像对应的相同位置的区域的相似度低（相似度小于相似度阀值80%），则对比结果为需要处理。
R330：根据对比结果对待处理图像进行处理，获得补码图像。
具体的，当对比结果为无需处理时，直接使用插值图像中的相同区域替换待处理图像中的该区域，替换后的待处理图像为补码图像。当对比结果为需要处理时，则对待处理图像中的该区域进行补码处理，获得补码图像。获得补码图像后，执行R340。
R340：将补码图像插入视频数据的相应跳帧位置后，作为处理后同步数据。
具体的，数据处理单元获得处理后同步数据后，执行R4。
进一步的，作为又一实施例，交互类型包括同步数据和操作指令中两种，其中，操作指令为滑动，同步数据为图像数据或文本数据时，对跳帧数据进行处理，可结合手指在操作终端的屏幕上的滑动距离和滑动时间进行计算后自动补偿中间帧，该方式能够避免在用户视觉上出现跳帧。
R4：将处理后同步数据同步至显示屏进行显示。
具体的，对支持展示webP格式的显示屏优先展示，具有用带宽更小，减少用户等待时间的优点。
本申请实现的有益效果如下：
（1）显示终端用于显示交互行为，操作终端用于进行操作，其中显示终端的显示屏（大屏幕）能提供和展示更多操作终端的显示单元（小屏幕）不具备的细节，便于用户查看数据的细节内容，将显示终端的复杂操作通过操作终端进行操作，能够更轻便的进行交互操作（例如更换角度、缩放细节和滑动等操作）以交互查看展示内容信息，具有提高用户操作的易用性、便利性和可靠性的效果。
（2）显示终端与操作终端之间以异步交互为主，即无需等待任何响应，接收到交互行为进行解密后，对需要作出响应的再进行内容展示或效果表现，具有传输效率更高和通信延迟更低的优点。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，本申请的保护范围意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请保护范围及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种多屏交互方法，其特征在于，包括如下步骤：
接收操作终端发送的接入请求，并完成设备接入；
与当前完成设备接入的操作终端进行绑定，并建立实时通信通道；
通过实时通信通道接收并显示交互行为，其中，交互行为的交互类型包括：同步数据或操作指令；
其中，当交互类型为同步数据时，通过实时通信通道接收并显示同步数据的子步骤如下：
获取同步数据，并判断同步数据的数据类型；
根据数据类型对同步数据进行数据检测，生成检测结果；
根据检测结果对同步数据进行处理，生成处理后同步数据；
将处理后同步数据同步至显示屏进行显示；
其中，当同步数据为视频数据时，根据检测结果对同步数据进行处理，生成处理后同步数据的子步骤如下：
确定跳帧数据的跳帧位置；
对确定的跳帧位置的前后帧图像进行图像匹配，插值获得插值图像；
将插值图像与待处理图像进行对比，生成对比结果；
根据对比结果对待处理图像进行处理，获得补码图像；
将补码图像插入视频数据的相应跳帧位置后，作为处理后同步数据。
2.根据权利要求1所述的多屏交互方法，其特征在于，与当前完成设备接入的操作终端进行绑定，并建立实时通信通道的子步骤如下：
向操作终端发送完成接入信息，其中，完成接入信息至少包括：操作终端的身份码；
接收操作终端收到完成接入信息后反馈的显示屏抢占请求，完成显示屏连接；
完成显示屏连接后，完成实时通信通道的建立。
3.根据权利要求1所述的多屏交互方法，其特征在于，通过实时通信通道接收并显示交互行为的子步骤如下：
确定交互行为的交互类型，其中交互类型包括：同步数据或操作指令中的至少一种；
根据交互类型对交互行为进行处理并显示。
4.根据权利要求1所述的多屏交互方法，其特征在于，若数据类型为视频数据，则对视频数据进行检测的子步骤如下：
获得解码视频数据中一帧图像的最大允许时间和平均时间；
利用最大允许时间和平均时间获得播放能力参数。
5.根据权利要求4所述的多屏交互方法，其特征在于，利用最大允许时间和平均时间获得播放能力参数的具体公式如下：
Figure 925030DEST_PATH_IMAGE001
；
其中，
Figure 107750DEST_PATH_IMAGE002
为播放能力参数；
Figure 153066DEST_PATH_IMAGE003
为平均时间；
Figure 79434DEST_PATH_IMAGE004
为最大允许时间。
6.一种多屏交互系统，其特征在于，包括：显示终端和操作终端；
其中，显示终端：用于执行权利要求1-5中任意一项所述的多屏交互方法；
操作终端：用于向显示终端发送接入请求，与显示终端建立实时通信通道，并通过实时通信通道向显示终端发送同步数据或操作指令。
7.根据权利要求6所述的多屏交互系统，其特征在于，所述显示终端包括：显示屏、数据处理装置和云端存储；
其中，云端存储：用于存储历史标志码；用于存储显示终端上报的操作日志；用于接收同步的交互行为；
数据处理装置：用于从云端存储中获取交互行为，对交互行为中的同步数据进行处理，并生成处理后同步数据；
显示屏：用于接收并显示同步数据或操作指令。
8.根据权利要求7所述的多屏交互系统，其特征在于，数据处理装置包括：数据获取单元、检测单元和数据处理单元；
其中，数据获取单元：用于从云端存储获取同步数据，对同步数据进行数据类型判断；
检测单元：根据数据类型对相应的同步数据进行数据检测，生成检测结果；
数据处理单元：接收检测结果，并根据检测结果对同步数据进行处理，生成处理后同步数据，并将处理后同步数据同步至显示屏进行显示。
9.根据权利要求7所述的多屏交互系统，其特征在于，所述操作终端具有显示单元，显示单元的尺寸小于显示屏的尺寸。
CN202010540281.5A 2020-06-15 2020-06-15 一种多屏交互方法及其系统 Active CN111432271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010540281.5A CN111432271B (zh) 2020-06-15 2020-06-15 一种多屏交互方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010540281.5A CN111432271B (zh) 2020-06-15 2020-06-15 一种多屏交互方法及其系统

Publications (2)

Publication Number Publication Date
CN111432271A CN111432271A (zh) 2020-07-17
CN111432271B true CN111432271B (zh) 2020-09-08

Family

ID=71551398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010540281.5A Active CN111432271B (zh) 2020-06-15 2020-06-15 一种多屏交互方法及其系统

Country Status (1)

Country Link
CN (1) CN111432271B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787405B (zh) * 2020-07-03 2021-05-28 山西智杰软件工程有限公司 一种数据交互方法及其系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502546B2 (en) * 2003-10-29 2009-03-10 Elbex Video Ltd. Method and apparatus for digitally recording and synchronously retrieving a plurality of video signals
US9576334B2 (en) * 2012-03-26 2017-02-21 Max Abecassis Second screen recipes function
CN103841466B (zh) * 2014-03-05 2018-02-13 天闻数媒科技（北京）有限公司 屏幕投影方法、计算机端和移动终端
CN106792154B (zh) * 2016-12-02 2020-02-11 广东赛特斯信息科技有限公司 视频播放器的跳帧同步系统及其控制方法
CN107102837B (zh) * 2017-05-25 2019-12-17 成都极米科技股份有限公司 多终端同屏显示系统及方法
CN107943529B (zh) * 2017-10-20 2020-12-22 广州视源电子科技股份有限公司 设备配对方法、装置、可读存储介质及交互智能设备
CN108901024A (zh) * 2018-06-25 2018-11-27 北京小鱼在家科技有限公司 控制投屏接收设备连网及投屏接收设备连网方法、设备

Also Published As

Publication number Publication date
CN111432271A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN112087633B (zh) 视频解码方法、装置及存储介质
CN104618803B (zh) 信息推送方法、装置、终端及服务器
CN108965950B (zh) 一种广告监测方法和装置
CN105429959B (zh) 图像处理方法及客户端设备、图像验证方法及服务器
US10645391B2 (en) Graphical instruction data processing method and apparatus, and system
CN106998485A (zh) 视频直播方法及装置
WO2023142957A1 (zh) 显示终端的验证方法及装置、存储介质、电子设备
CN113573090A (zh) 游戏直播中的内容显示方法、装置、系统和存储介质
CN111432271B (zh) 一种多屏交互方法及其系统
CN115396705A (zh) 投屏操作验证方法、平台及系统
CN110719526B (zh) 视频播放方法及装置
CN111182332B (zh) 视频处理方法、装置、服务器及存储介质
CN1937500B (zh) 网络用户身份认证的方法及系统
CN106937127B (zh) 一种智能搜索准备的显示方法及其系统
CN113810629B (zh) 一种融合平台多媒体信号的视频帧处理方法及装置
CN116320431A (zh) 视频压缩编码数据动态无线网络传输系统
CN110677728B (zh) 播放视频的方法、装置、设备及存储介质
CN106528089A (zh) 一种显示业务处理编码的方法及装置
CN112312208A (zh) 多媒体信息的处理方法、装置、存储介质和电子设备
CN111401490A (zh) 二维码获得方法及相关装置
CN114745574B (zh) 一种视频集成合作流程规范性检测方法及系统
CN115460189B (zh) 处理设备测试方法、装置、计算机及存储介质
CN112559111B (zh) 一种共享桌面时的截屏方法和装置
CN112073359B (zh) 信息交互方法、装置、设备及系统
CN108024121A (zh) 语音弹幕同步方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant