CN116614659A - 一种投屏方法、显示设备及智能设备 - Google Patents

一种投屏方法、显示设备及智能设备 Download PDF

Info

Publication number
CN116614659A
CN116614659A CN202210118550.8A CN202210118550A CN116614659A CN 116614659 A CN116614659 A CN 116614659A CN 202210118550 A CN202210118550 A CN 202210118550A CN 116614659 A CN116614659 A CN 116614659A
Authority
CN
China
Prior art keywords
screen
throwing
equipment
target
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210118550.8A
Other languages
English (en)
Inventor
高红
焉丽飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202210118550.8A priority Critical patent/CN116614659A/zh
Priority to PCT/CN2022/135421 priority patent/WO2023142655A1/zh
Publication of CN116614659A publication Critical patent/CN116614659A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种投屏方法、显示设备及智能设备,对于显示设备端:接收到用户输入的投屏指令,扫描可连接设备,所述可连接设备为启用投屏功能的投屏发送终端;向可连接设备中的目标设备发送投屏请求,所述投屏请求用于指示所述目标设备与所述显示设备建立投屏连接;接收所述目标设备响应投屏请求后发送的媒体数据,播放所述媒体数据。本申请在实现多屏互动和屏幕共享的同时,使投屏操作更高效便捷,提升投屏功能的场景适配性和智能化,提升用户的投屏使用体验。

Description

一种投屏方法、显示设备及智能设备
技术领域
本发明涉及显示设备技术领域,尤其涉及一种投屏方法、显示设备及智能设备。
背景技术
在一些应用场景中,用户可通过手机、平板电脑等智能终端向显示设备发起投屏,从而将小屏终端中的视频、音频和图像等媒体资源推送到大屏显示设备上进行播放,实现多屏互动和屏幕共享。用户需要在智能终端发起投屏,智能终端扫描可投射的其他设备,用户再从中选定一个目标设备,智能终端与目标设备建立投屏连接,连接成功后,目标设备接收并显示智能终端发送的媒体数据。
然而在一些业务场景中该投屏方式可能存在操作不便、投屏响应不够智能等问题,以教学场景为例,教师个人的笔记本电脑被放置在教室的位置A处,教学用的显示设备1被安装在教室讲台上的位置B处,教师若要将其笔记本电脑上的知识课件共享到显示设备1上,以供学生阅览,就需要行走到位置A处,在笔记本电脑上发起投屏,并在设备扫描后选择将课件投射至显示设备1,然后再行走至位置B处,对显示设备1上展示的课件内容进行讲解,这些辅助工作一定程度上会耗费教师的教学时间,干扰正常教学进程,转移学生注意力,从而影响教学质量和效率。
发明内容
为克服上述背景技术中的问题,本发明提供一种投屏方法、显示设备及智能设备,智能设备为投屏发送端,显示设备为投屏接收端,本申请由显示设备端主动扫描可投屏连接的智能设备,实现用户在显示设备端触发投屏请求,而非智能设备端,从而提升投屏功能的场景适配性和智能化。
第一方面提供一种显示设备,包括:
显示器,用于显示用户界面;
通信器,用于与智能设备通信连接;
控制器,被配置为执行:
接收到用户输入的投屏指令,扫描可连接设备,所述可连接设备为启用投屏功能的投屏发送终端;
向可连接设备中的目标设备发送投屏请求,所述投屏请求用于指示所述目标设备与所述显示设备建立投屏连接;
接收所述目标设备响应投屏请求后发送的媒体数据,控制显示器播放所述媒体数据。
在第一方面第一种实施例中,所述显示设备还包括声音采集器,所述通信器还用于与语义服务器通信连接,则所述控制器还被配置为执行:
控制所述声音采集器采集语音信息;
将所述语音信息发送给所述语义服务器,所述语义服务器用于解析所述语音信息;
接收并识别所述语义服务器反馈的解析结果;
识别所述解析结果指示的用户语音意图为投屏,即接收到所述投屏指令。
在第一方面第二种实施例中,所述控制器还被配置为按照如下方式向可连接设备中的目标设备发送投屏请求:
识别到所述解析结果中包含目标设备标识,检测设备列表中是否包含所述目标设备标识;所述设备列表包括显示设备扫描到的可连接设备的设备标识;
检测到所述设备列表中包含所述目标设备标识,向所述目标设备标识指示的智能设备发送投屏请求。
在第一方面第三种实施例中,所述控制器还被配置为按照如下方式向可连接设备中的目标设备发送投屏请求:
检测到所述设备列表中不包含所述目标设备标识,显示第二提示弹窗,所述第二提示弹窗用于提示未扫描到所述目标设备标识指定的智能设备,并询问是否切换为当前的可连接设备;
接收到拒绝切换至可连接设备的指令,关闭第二提示弹窗,重新扫描可连接设备或退出投屏;
接收到同意切换至可连接设备的指令,关闭第二提示弹窗,根据预设规则设定所述目标设备,并向所述目标设备发送投屏请求。
在第一方面第四种实施例中,所述控制器还被配置为按照如下方式向可连接设备中的目标设备发送投屏请求:
识别到所述解析结果中不包含目标设备标识,根据预设规则设定所述目标设备,并向所述目标设备发送投屏请求。
在第一方面第五种实施例中,用于设定所述目标设备的预设规则被配置为:
获取所述设备列表当前的S值;S值用于表征显示设备扫描到的可连接设备的总数;
若检测到设备列表的S值为零,显示第一提示弹窗,所述第一提示弹窗用于提示当前无可连接设备,允许退出投屏或重新扫描可连接设备;
若检测到S值等于1,将唯一的可连接设备设定为所述目标设备;
若检测到S值大于1,显示所述设备列表,并接收对所述设备列表中目标设备的选定操作。
在第一方面第六种实施例中,所述控制器还被配置执行:
接收到退出投屏指令,查询所述显示设备与所述目标设备之间的投屏次数;所述投屏次数在每次投屏连接成功时累积加一;
若查询到所述投屏次数等于1,控制显示器显示第三提示弹窗,所述第三提示弹窗用于询问是否为所述目标设备授予投屏续连权限;
接收到拒绝为所述目标设备授予投屏续连权限的指令,关闭所述第三提示弹窗,断开与所述目标设备的投屏连接;
接收到同意为所述目标设备授予单次投屏续连权限的指令,关闭所述第三提示弹窗,断开与所述目标设备的投屏连接,以及为所述目标设备填加第一权限标识;
接收到同意为所述目标设备授予永久投屏续连权限的指令,关闭所述第三提示弹窗,断开与所述目标设备的投屏连接,以及为所述目标设备填加第二权限标识。
在第一方面第七种实施例中,所述控制器还被配置执行:
接收到退出投屏指令,若查询到所述投屏次数大于1,识别目标设备对应的权限类型;
若所述权限类型为永久投屏续连权限,则不显示所述第三提示弹窗,断开与所述目标设备的投屏连接;
若所述权限类型为无投屏续连权限或单次投屏续连权限,则再次显示所述第三提示弹窗,以及根据用户的授权操作指令,对目标设备的权限类型进行更新。
在第一方面第八种实施例中,用于设定所述目标设备的预设规则被配置为:
查询所述设备列表中当前具备所述第一权限标识或第二权限标识的M个第一设备;
若M值等于1,将唯一查询到的第一设备设定为所述目标设备;
若M值大于1,根据预设优先级,将优先级最高的第一设备设定为所述目标设备;
其中,所述投屏续连权限用于指示显示设备在扫描到所述第一设备时,自动向所述第一设备发送投屏请求。
第二方面提供一种智能设备,包括:
显示器,用于显示用户界面;
通信器,用于与显示设备通信连接;
控制器,被配置为执行:
接收显示设备发送的投屏请求;所述投屏请求是显示设备响应用户输入的投屏指令,从扫描到的可连接设备中确定目标设备为所述智能设备后发送的,所述可连接设备为启用投屏功能的投屏发送终端;
响应于所述投屏请求,建立与所述显示设备的投屏连接;
投屏连接成功后,向所述显示设备发送媒体数据。
第三方面提供一种投屏方法,对应于显示设备端,所述方法包括:
显示设备接收到用户输入的投屏指令,扫描可连接设备,所述可连接设备为启用投屏功能的投屏发送终端;
显示设备向可连接设备中的目标设备发送投屏请求,所述投屏请求用于指示所述目标设备与所述显示设备建立投屏连接;
显示设备接收所述目标设备响应投屏请求后发送的媒体数据,播放所述媒体数据。
第三方面其他进一步实现方式可适应性参照前述第一方面的描述,此处不再赘述。
第四方面提供一种投屏方法,对应于智能设备端,所述方法包括:
智能设备接收显示设备发送的投屏请求;所述投屏请求是显示设备响应用户输入的投屏指令,从扫描到的可连接设备中确定目标设备为所述智能设备后发送的,所述可连接设备为启用投屏功能的投屏发送终端;
智能设备响应于所述投屏请求,建立与所述显示设备的投屏连接;
投屏连接成功后,智能设备向所述显示设备发送媒体数据。
本申请上述技术方案中,投屏交互双端涉及显示设备和智能设备,显示设备为投屏接收端,目标设备/智能设备为投屏发送端,用户可在显示设备端输入投屏指令,投屏指令可以语音、UI交互等形式输入,显示设备相应于投屏指令,扫描当前可连接设备,用户期望的投屏发送媒体资源的目标设备若能够被扫描到,即可向目标设备发送投屏请求,目标设备响应投屏请求,可建立与显示设备的投屏连接,投屏连接成功后,目标设备可将其当前的媒体数据同步到显示设备,从而实现将目标设备的媒体数据投射到显示设备端播放。以背景技术中的教学场景为例,教师只需在显示设备端输入一个投屏指令,就可由显示设备端主动扫描并向笔记本电脑发起投屏请求,教师只需站在位置B处参照投屏的课件进行讲解,无需在位置A和位置B之间移动,也无需其他投屏辅助,因此缩减了投屏操作所耗费时间,不会干扰正常教学进程,使学生更关注于投屏分享的知识上。由此可见,本申请在实现多屏互动和屏幕共享的同时,使投屏操作更高效便捷,从而提升投屏功能的场景适配性和智能化,提升用户的投屏使用体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要访问的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了一种显示设备的使用场景;
图2示出了一种控制装置100的硬件配置框图;
图3示出了一种显示设备200的硬件配置框图;
图4示出了一种显示设备200中软件配置图;
图5示例性示出了一种语音识别网络架构图;
图6示例性示出了投屏交互场景示例图;
图7示例性示出了用户在显示设备端输入语音的场景图一;
图8示例性示出了场景中无可连接设备时,显示设备的UI显示效果;
图9示例性示出了场景中具有多个可连接设备时,显示设备的UI显示效果一;
图10示例性示出了场景中具有多个可连接设备时,显示设备的UI显示效果二;
图11示例性示出了目标设备显示投屏请求的示意图;
图12示例性示出了目标设备拒绝投屏请求后,显示设备端的UI显示效果图;
图13示例性示出了投屏连接成功后,目标设备与显示设备的同步播放示意图;
图14示例性示出了显示设备与目标设备首次连接场景下,退出投屏时显示设备的UI显示效果;
图15示例性示出了用户在显示设备端输入语音的场景图二;
图16示例性示出了用户在投屏指令中指定的设备无法被显示设备扫描到时,显示设备的UI显示效果图;
图17示例性示出了显示设备端执行的第一种投屏方法的流程图;
图18示例性示出了显示设备端执行的第二种投屏方法的流程图;
图19示例性示出了一种智能设备端执行的投屏方法的流程图;
图20示例性示出了一种投屏交互逻辑图。
具体实施方式
为使本申请的目的和实施方式更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
图1为根据实施例中显示设备的使用场景的示意图。如图1所示,显示设备200还与服务器400进行数据通信,用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式中的至少一种,通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令,来控制显示设备200。
在一些实施例中,智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑,AR/VR设备等中的任意一种。
在一些实施例中,也可以使用智能设备300以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中,也可以使用智能设备300和显示设备进行数据的通信。
在一些实施例中,显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制,例如,可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制,也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
在一些实施例中,显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。
在一些实施例中,一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的,服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行,反之亦然。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。
在一些实施例中,通信接口130用于和外部通信,包含WIFI芯片,蓝牙模块,NFC或可替代模块中的至少一种。
在一些实施例中,用户输入/输出接口140包含麦克风,触摸板,传感器,按键或可替代模块中的至少一种。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中,显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括中央处理器,视频处理器,音频处理器,图形处理器,RAM,ROM,用于输入/输出的第一接口至第n接口。
在一些实施例中,显示器260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。
在一些实施例中,显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。
在一些实施例中,调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及EPG数据信号。
在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中,检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。
在一些实施例中,外部装置接口240可以包括但不限于如下:高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器260上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中,所述对象可以是可选对象中的任何一个,例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit,CPU),视频处理器,音频处理器,图形处理器(Graphics Processing Unit,GPU),RAM(Random AccessMemory,RAM),ROM(Read-Only Memory,ROM),用于输入/输出的第一接口至第n接口,通信总线(Bus)等中的至少一种。
CPU处理器。用于执行存储在存储器中操作系统和应用程序指令,以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。CPU处理器,可以包括多个处理器。如,包括一个主处理器以及一个或多个子处理器。
在一些实施例中,图形处理器,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象;还包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示器上。
在一些实施例中,视频处理器,用于将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种,可得到直接可显示设备200上显示或播放的信号。
在一些实施例中,视频处理器,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中,解复用模块,用于对输入音视频数据流进行解复用处理。视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩放处理等。图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。帧率转换模块,用于对转换输入视频帧率。显示格式化模块,用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。
在一些实施例中,音频处理器,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理中的至少一种,得到可以在扬声器中播放的声音信号。
在一些实施例中,用户可在显示器260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
在一些实施例中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
在一些实施例中,用户接口280,为可用于接收控制输入的接口(如:显示设备本体上的实体按键,或其他等)。
在一些实施例中,显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等,运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后,再加载Shell和用户应用程序。应用程序在启动后被编译成机器码,形成一个进程。
如图4所示,将显示设备的系统分为三层,从上至下分别为应用层、中间件层和硬件层。
应用层主要包含电视上的常用应用,以及应用框架(Application Framework),其中,常用应用主要是基于浏览器Browser开发的应用,例如:HTML5 APPs;以及原生应用(Native APPs);
应用框架(Application Framework)是一个完整的程序模型,具备标准应用软件所需的一切基本功能,例如:文件存取、资料交换等,以及这些功能的使用接口(工具栏、状态列、菜单、对话框)。
原生应用(Native APPs)可以支持在线或离线,消息推送或本地资源访问。
中间件层包括各种电视协议、多媒体协议以及系统组件等中间件。中间件可以使用系统软件所提供的基础服务(功能),衔接网络上应用系统的各个部分或不同的应用,能够达到资源共享、功能共享的目的。
硬件层主要包括HAL接口、硬件以及驱动,其中,HAL接口为所有电视芯片对接的统一接口,具体逻辑由各个芯片来实现。驱动主要包含:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。
为清楚说明本申请的实施例,下面结合图5对本申请实施例提供的一种语音识别网络架构进行描述。
参见图5,智能设备用于接收输入的信息以及输出对该信息的处理结果。语音识别服务设备为部署有语音识别服务的电子设备,语义服务设备为部署有语义服务的电子设备,业务服务设备为部署有业务服务的电子设备。这里的电子设备可包括服务器、计算机等,这里的语音识别服务、语义服务(也可称为语义引擎)和业务服务为可部署在电子设备上的web服务,其中,语音识别服务用于将音频识别为文本,语义服务用于对文本进行语义解析,业务服务用于提供具体的服务如墨迹天气的天气查询服务、QQ音乐的音乐查询服务等。在一个实施例中,图5所示架构中可存在部署有不同业务服务的多个实体服务设备,也可以一个或多个实体服务设备中集合一项或多项功能服务。
在一些实施例中,下面对基于图5所示架构处理输入智能设备的信息的过程进行举例描述,以输入智能设备的信息为通过语音输入的查询语句为例,上述过程可包括如下三个过程:
[语音识别]
智能设备可在接收到通过语音输入的查询语句后,将该查询语句的音频上传至语音识别服务设备,以由语音识别服务设备通过语音识别服务将该音频识别为文本后返回至智能设备。在一个实施例中,将查询语句的音频上传至语音识别服务设备前,智能设备可对查询语句的音频进行去噪处理,这里的去噪处理可包括去除回声和环境噪声等步骤。
[语义理解]
智能设备将语音识别服务识别出的查询语句的文本上传至语义服务设备,以由语义服务设备通过语义服务对该文本进行语义解析,得到文本的业务领域、意图等。
[语义响应]
语义服务设备根据对查询语句的文本的语义解析结果,向相应的业务服务设备下发查询指令,以获取业务服务给出的查询结果。智能设备可从语义服务设备获取该查询结果并输出。作为一个实施例,语义服务设备还可将对查询语句的语义解析结果发送至智能设备,以由智能设备输出该语义解析结果中的反馈语句。
需要说明的是,图5所示架构只是一种示例,并非对本申请保护范围的限定。本申请实施例中,也可采用其他架构来实现类似功能,例如:三个过程全部或部分可以由智能终端来完成,在此不做赘述。
以上实施例介绍了显示设备的硬件/软件架构以及功能实现等内容。对于与该显示设备相同或相似的设备终端,可作为被投屏对象,即投屏接收端;对于其他如智能手机、平板电脑、笔记本电脑等智能设备,若支持投屏功能,则可作为投屏发送端。通过显示设备与智能设备间的投屏交互,可将智能设备内的媒体资源或屏幕播放内容投射到显示设备,实现媒体在不同终端、不同屏幕上的共享及播放,在教学、游戏、会议等场景中广泛应用。
在现有实现方式中,用户需要打开智能设备1的无线网络(wifi)开关和投屏开关,使局域网联网并且投屏功能处于开启状态,这是实现投屏的前提条件,之后用户在智能设备1发起投屏,则智能设备1会搜索局域网内可接收投屏数据的其他智能设备,组成第一设备列表,用户从第一设备列表中选定显示设备后,智能设备与显示设备建立投屏连接,投屏连接成功后,智能设备将投屏的媒体数据发送给显示设备,显示设备对媒体数据进行播放。
在一些实施例中,智能设备与显示设备可通过某些协议建立投屏连接,比如DLNA(Digital Living Network Alliance,数字生活网络联盟)协议、Miracast协议等;又或者,智能设备与显示设备进行屏幕镜像投屏,例如Airplay等,从而将智能设备当前正在显示的媒体数据镜像同步推送至显示设备端。
在一些实施例中,在智能设备与显示设备投屏连接成功之后,对于Web上每一个可用的媒体资源,如HTML文档、图像、视频、音频和程序等,可由一个通用的URI(UniformResource Identifier,统一资源标志符)进行资源定位,即URI相当于提供了一个定位资源的地址。可选地,智能设备可将需要投屏的媒体数据的URI推送给显示设备,显示设备接收到URI后,即可定位资源,进而下载及播放相应的媒体数据。
在一些实施例中,智能设备也可将媒体数据的URL(Uniform Resource Locator,统一资源定位符),即媒体资源的网络地址推送给显示设备,以便显示设备访问URL并下载媒体数据。
在一些实施例中,智能设备也可直接将图像、视频、音频等媒体数据进行编码,并以媒体流的形式实时同步至显示设备端;显示设备端接收媒体流后,对媒体流进行解码及播放。投屏连接成功后,媒体数据从智能设备向显示设备的传输方式不限于本申请实施例的示例。
考虑到背景技术中论述的投屏功能场景适配性差,投屏响应智能化不足,操作不便等缺陷,在一些实施例中,参照图6的子图(a),用户在显示设备端输入投屏指令,显示设备端响应于投屏指令,主动扫描可连接设备,可连接设备是指已开启投屏功能(即投屏开关状态为on)的投屏发送终端,并将扫描到的可连接设备的设备标识组合成第二设备列表,所述设备标识可以为设备名称、设备型号等,方便用户识别设备,用户可从第二设备列表中选定一目标设备,则显示设备自动向目标设备发送投屏请求,目标设备响应于投屏请求,建立与显示设备间的投屏连接,所述投屏连接相当于构建数据传输通道,使得投屏数据能从目标设备传达至显示设备。
在一些实施例中,参照图6的子图(b),是用户在智能设备端发起投屏,智能设备扫描可投屏设备,得到第一设备列表,用户从第一设备列表中选定显示设备后,智能设备建立与显示设备的投屏连接后,向显示设备发送需要投屏的媒体数据。
由此可见,图6的两子图相比,触发投屏操作、设备扫描及发送投屏请求的执行端完全相反,用户可根据实际场景去适配任一种投屏模式,例如在教学、会议等场景中,可以采用图6的子图(a)示例的投屏模式一,保证投屏操作的高效便捷,避免干扰场景中的业务进程,以背景技术中的教学场景为例,教师只需在显示设备端输入一个投屏指令,就可由显示设备主动扫描并向笔记本电脑发起投屏请求,教师只需站在位置B处参照投屏的课件进行讲解,无需在位置A和位置B之间移动,也无需其他投屏辅助,因此缩减了投屏操作所耗费时间,不会干扰正常教学进程,使学生更关注于投屏分享的知识上;又例如,用户A希望将自己手机当前播放的精彩视频投射到客厅电视上,从而将该视频分享给客厅中正在观看电视的用户B,但用户A未在客厅中,则用户A可实施图6的子图(b)示例的投屏模式二。本申请实现了投屏模式的场景适配性,用户可根据场景、个人习惯等因素选择合适的投屏模式。
在一些实施例中,对于投屏模式二,若智能设备A不支持某些投屏协议,则智能设备A向显示设备发送投屏请求后,就会提示无法连接或连接失败;而对于投屏模式一,若智能设备A不支持投屏协议、屏幕镜像投屏功能,或者智能设备的投屏开关状态为off,则显示设备在扫描阶段,根本就无法扫描和读取到智能设备A的设备信息,即智能设备A不属于可连接设备,因此通过显示设备端的扫描结果,可以在一定程度上反映出场景中存在投屏连接异常问题的智能设备。例如,用户想在显示设备上播放智能设备B的视频,但是显示设备未扫描到智能设备B,用户检查智能设备B才发现其投屏开关被关闭,则可开启智能设备B的投屏开关,显示设备端重新扫描后,扫描到智能设备B,则可建立与智能设备B的投屏连接。
在一些实施例中,用户通过输入投屏指令,来触发和启动投屏模式一的处理逻辑,其中所述投屏指令的形式不限定,例如用户可语音输入投屏指令,若显示设备具有声音采集器,例如麦克风等,即可实现收音功能,采集用户的语音指令,例如用户说出诸如“投屏”、“我要投屏”、“从手机投屏”等语义相似的语音信息,显示设备底层的语义服务接收采集的语音信息,并将语音信息发送给如语义云等语义服务器端,语义服务器对语音信息进行如关键词提取、语义识别等解析处理后,将解析结果反馈给语义服务,语义服务再对解析结果进行识别,例如识别到用户语音意图为投屏,则显示设备确认接收到投屏指令。通过语音在显示设备端唤起投屏,无需用户手动操作,提升了投屏的高效性和便捷性,实现投屏的快速响应和功能触发。语音处理逻辑和架构可适应性参照图5的示例及其相关描述,此处不再赘述。
在一些实施例中,显示设备的声音采集器可处于常启状态,使得显示设备能时刻采集用户语音信息,但这种方式可能会涉及隐私安全风险,或者导致无效、无关声音的采集和解析,还会导致设备耗电增加。可选地,显示设备可以在接收到预设操作指令时开启声音采集器,所述预设操作指令不限定,例如用户点击遥控器上的语音键,显示设备接收到遥控器发送的键值后,识别到用户触发了语音键,则开启声音采集器,以采集用户输入的语音信息,用户长按语音键,则声音采集器保持持续采集状态,在用户释放语音键后,声音采集器停止采集,语音键从被按下到被松开时段内,显示设备可采集一段语音信息。可选地,用户松开语音键后,若预设时长内未再次触发语音键,可自动关闭声音采集器。
在一些实施例中,所述投屏指令还可通过其他方式输入,例如点击遥控器上的投屏键,点击显示设备某访问路径下的页面中设置的投屏控件;或者通过预设手势控制,显示设备采集用户手势图像,通过手势识别用户输入的是投屏指令;又或者,借助移动终端与显示设备的通信连接,通过移动终端下发投屏指令,等等。
在一些实施例中,以语音输入投屏指令为例,参照图7,用户朝显示设备说出“投屏”,显示设备采集该语音信息,并发送给语音服务器进行解析,根据语义服务器反馈的解析结果,获知用户语音意图为投屏,则确定接收到投屏指令,由于该投屏指令中未指定投屏发送端的设备信息,因此需要根据预设规则来设定目标设备,然后向该目标设备发送投屏请求。
在一些实施例中,显示设备响应于投屏指令,主动扫描可连接设备,得到设备列表,为便于区分,将显示设备端扫描得到的设备列表命名为第二设备列表,第二设备列表中包括被扫描到的S个可连接设备的设备标识,所述设备标识不限于设备名称、设备型号等,根据第二设备列表的S值状态,可配置用于设定目标设备的预设规则。
在一些实施例中,所述预设规则一可配置为:若S值为零,相当于第二设备列表为空集,表明显示设备未扫描到可用设备,当前场景中无可连接设备,参照图8的UI示例,可在当前界面图层上显示第一提示弹窗80。可选地,第一提示弹窗80中包括第一提示信息81、第一退出控件82和第一重新扫描控件83,第一提示信息81用于提示当前无可连接设备,例如图8中第一提示信息81示例为“当前未扫描到可连接设备,可在尝试打开目标设备的投屏开关后重新扫描”,若用户触发第一退出控件82,则退出投屏,结束投屏模式一的处理逻辑;若用户期望的投屏发送端为智能设备1,则将智能设备1的投屏开关切换为开启状态,然后触发第一重新扫描控件83,显示设备会重新扫描可连接设备,并能够扫描到智能设备1,用户选定智能设备1为目标设备,显示设备向智能设备1发送投屏请求,以构建显示设备与智能设备1的投屏连接,从而接收智能设备1推送的媒体数据。
在一些实施例中,所述预设规则一还可配置为:若S值为1,相当于第二设备列表为单元素集,表明显示设备仅扫描到一个可用设备,即当前场景中具有唯一的可连接设备,则无需用户选定,默认将唯一的可连接设备设定为目标设备,显示设备向目标设备发送投屏请求。
在一些实施例中,所述预设规则一还可配置为:若S值大于1,相当于第二设备列表为多元素集,表明显示设备扫描到多个可用设备,即当前场景中具有多个的可连接设备,就需要用户配合选定目标在当前界面图层上设备,参照图9和图10的示例,可显示设备列表90。可选地,参照图9,设备列表90中包括S个扫描到的可连接设备的设备标识91和确认控件92,每项设备标识具有对应的选择控件911,用户从设备列表90中选择一个目标设备,例如用户选择智能设备2,则智能设备2的选择控件911切换为选中状态,之后用户触发确认控件92,即确认将智能设备2设定为目标设备,显示设备向智能设备2发送投屏请求。
可选地,参照图10,设备列表90中可仅包括S个可连接设备的设备标识91,而无需设置确认控件92和每项设备标识具有对应的选择控件911,该示例中显示设备可设置焦点,焦点随用户切换设备的动作而联动,假设用户期望的投屏发送端为智能设备2,则用户移动焦点,使焦点落在智能设备2,之后触发遥控器的OK键,即确认将智能设备2选定为目标设备,显示设备向智能设备2发送投屏请求。其中,焦点的呈现效果不限定,例如设置焦点为高亮,或者施加焦点框,或者对具备焦点的设备标识做一定程度的放大处理等,使得焦点醒目,便于辨别即可。
在一些实施例中,若用户在图9的设备列表90中空选后触发确认控件92,或者用户触发取消控件93,或者用户在图10界面中执行返回操作,均默认用户取消选择目标设备,可选地,退出投屏,结束投屏模式一的处理逻辑。
在一些实施例中,目标设备接收到投屏请求,可选地,可默认接受投屏请求,并建立与显示设备的投屏连接,或者,参照图11的示例,在目标设备的当前界面上显示投屏请求弹窗111,投屏请求弹窗111中包括投屏请求信息112、接受控件113和拒绝控件114,投屏请求信息112应包括作为投屏请求/接收端的显示设备的设备标识,例如图11中示例为“客厅电视发起投屏请求,是否接受?”,若用户想要接受该投屏请求,触发接受控件113,则关闭投屏请求弹窗111,目标设备建立与客厅电视的投屏连接,并在连接成功后,将投屏数据发送至客厅电视;若用户不想接受该投屏请求,触发拒绝控件114,则关闭投屏请求弹窗111,并向客厅电视发送投屏拒绝指示信息;参照图12的示例,显示设备接收到投屏拒绝指示信息后,在当前界面上显示提示信息,例如提示“目标设备已拒绝你的投屏请求,请稍后再试或切换其他设备”,用户查看该提示信息后,可选择再次向该目标设备发起投屏请求,或者切换到其他可连接的投屏发送端,或者停止向任何可连接设备发起投屏请求。
在一些实施例中,若目标设备接受显示设备的投屏请求,则建立与显示设备的投屏连接,投屏连接成功后,参照图13的示例,目标设备将当前屏幕播放的媒体数据同步推送到显示设备端,显示设备接收到媒体数据,在投屏界面中加载及播放媒体数据,实现投屏交互双端的屏幕镜像和资源共享。
在一些实施例中,参照图13,投屏连接成功后,目标设备的播放界面中显示第一结束投屏控件131,显示设备的投屏界面显示第二结束投屏控件132,第一结束投屏控件131和第二结束投屏控件132中的任一个被触发,都需要退出投屏交互流程。
在一些实施例中,若用户在目标设备端触发第一结束投屏控件131,则目标设备断开与显示设备的投屏连接,取消显示第一结束投屏控件131,并向显示设备发送第一退出投屏指示信息;显示设备接收到第一退出投屏指示信息,退出投屏界面。
在一些实施例中,若用户在显示设备端触发第二结束投屏控件132,则显示设备断开与目标设备的投屏连接,退出投屏界面,并向目标设备发送第二退出投屏指示信息;目标设备接收到第二退出投屏指示信息,取消显示第一结束投屏控件131。
在一些实施例中,显示设备可维护一个投屏连接列表,所述投屏连接列表包括若干历史连接记录,每个历史连接记录记载一个与显示设备建立过投屏连接的智能设备的连接信息,所述连接信息不限于包括设备标识、投屏次数、权限类型和连接时间等。其中,例如显示设备与智能设备2每次投屏连接成功时,将智能设备2的投屏次数累积加一;权限类型用于表征智能设备的投屏续连权限情况,假设智能设备2具备投屏续连权限,则显示设备在扫描到智能设备2时,允许自动向智能设备2发起投屏请求;所述连接时间为智能设备与显示设备成功建立投屏连接的时间。显示设备与一个新的智能设备D首次产生投屏连接,则生成智能设备D与显示设备的连接记录D,将连接记录D插入到投屏连接列表内,并将连接记录D内的投屏次数更新为1。连接信息中设备标识和连接时间一般是固定的,投屏次数会累积,权限类型若为永久型权限则保持不变,若权限类型为无权限或临时权限,则权限类型可能随用户授权操作而变更。
在一些实施例中,若用户在显示设备端触发第二结束投屏控件132,或者显示设备接收到目标设备发送的第一退出投屏指示信息时,从投屏连接列表中查询目标设备与显示设备的投屏次数,若投屏次数为1,说明目标设备与显示设备是首次连接,则参照图14的示例,显示设备在退出投屏界面前显示第三提示弹窗141,第三提示弹窗141中包括授权询问信息142、单次授权控件143(即图14中的“是,仅下次续连”)、永久授权控件144(即图14中的“是,永久续连”)和拒绝授权控件145(即图14中的“否”)。其中,授权询问信息142用于询问是否为目标设备授予投屏续连权限,例如图14中示例为“即将断开智能设备2,是否自动续连?”,若用户触发拒绝授权控件145,即拒绝为智能设备2授予投屏续连权限,则关闭第三提示弹窗,显示设备与目标设备当前的投屏连接断开,并且下一次显示设备扫描到智能设备2时,不会自动向智能设备2发起投屏请求并与之连接,并且下一次的投屏连接断开时,仍需要显示第三提示弹窗141来询问智能设备2的权限类型。
在一些实施例中,若用户触发永久授权控件144,即同意为智能设备2授予永久投屏续连权限,则关闭第三提示弹窗141,显示设备与目标设备当前的投屏连接断开,并对投屏连接列表中智能设备2的连接信息进行更新,即在智能设备2的连接信息中填加第二权限标识,第二权限标识用于表征智能设备2具备永久投屏续连权限,则在后续智能设备2与显示设备的任意一次投屏连接断开时,都无需再显示第三提示弹窗141,即智能设备2的投屏续连权限具有永久有效性。
在一些实施例中,若用户触发单次授权控件143,即同意为智能设备2授予单次投屏续连权限,则关闭第三提示弹窗141,显示设备与目标设备当前的投屏连接断开,并在智能设备2的连接信息中填加第一权限标识,第一权限标识用于表征智能设备2具备单次投屏续连权限,假设显示设备与智能设备2当前的投屏次数为i,则在显示设备下一次扫描到智能设备2时,自动完成与智能设备2的投屏连接,智能设备2对应的投屏次数变为i+1,此时智能设备2的单次投屏续连权限失效,显示设备将撤销智能设备2的第一权限标识,这样在断开显示设备与智能设备2的第i+1次投屏连接时,可再次显示第三提示弹窗141,来决定智能设备2后续的投屏续连权限状态。用户可根据对智能设备的投屏频次、使用习惯和场景要求等因素,来决策不同智能设备的权限类型。
在一些实施例中,若用户在显示设备端触发第二结束投屏控件132,或者显示设备接收到目标设备发送的第一退出投屏指示信息时,从投屏连接列表中查询目标设备与显示设备的投屏次数,若投屏次数大于1,说明目标设备与显示设备并非首次连接,则识别目标设备对应的权限类型。若目标设备具备第二权限标识,即权限类型为永久投屏续连权限,则显示设备退出投屏时,不再显示第三提示弹窗141,直接断开与目标设备当前的投屏连接;若目标设备具备第一权限标识,即权限类型为单次投屏续连权限,或者,若目标设备不具备第一权限标识和第二权限标识,即目标设备的权限类型为无投屏续连权限,则显示设备在退出投屏时,需要再次显示第三提示弹窗141,并根据用户的授权操作指令,对目标设备的权限类型进行更新。例如第i(i大于1)次投屏连接下目标设备无投屏续连权限,在第i次投屏连接断开时,若用户触发的是单次授权控件143,则为目标设备填加第一权限标识;若用户触发的是永久授权控件144,则为目标设备填加第二权限标识;若用户触发的是拒绝授权控件145,则目标设备的权限类型保持不变。
在一些实施例中,可以基于投屏连接列表,来定义和配置用于设定目标设备的预设规则,可以理解的是,目标设备与显示设备首次投屏连接前,投屏次数为0,首次投屏连接成功后,投屏次数变为1,在第2次投屏连接成功之前,投屏次数保持为1不变,因此适配的预设规则为:显示设备响应于投屏指令,扫描当前的可连接设备,得到设备列表,然后将设备列表与投屏连接列表进行比较,从设备列表中查询当前具备第一权限标识或第二权限标识的M个第一设备,所述第一设备用于表示具有投屏续连权限的智能设备,若M值等于1,无论当前设备列表的S值是否大于1,都将唯一查询到的第一设备设定为目标设备,而无需由用户选定。
在一些实施例中,适配的预设规则进一步为:若M大于1,说明M个第一设备都具备投屏续连权限,为避免出现投屏续连冲突问题,需要从M个第一设备中择一设定为目标设备。可选地,可以根据预设优先级,将优先级最高的第一设备设定为目标设备,所述预设优先级例如是按照投屏次数排序,投屏次数越多则优先级越高,或者,所述预设优先级是按照连接时间排序,连接时间距离当前时间越近则优先级越高。预设优先级不限于本实施例的示例。预设规则的配置方案不限于本申请的示例。
在一些实施例中,若显示设备仅支持单路投屏,则仅能设定一个目标设备;若显示设备支持多路投屏,在避免播放冲突的情况下,允许设定一个或多个目标设备,例如显示设备支持N路投屏,N大于1,则可在投屏界面中创建并显示N个投屏窗口,显示设备可接收来自N个目标设备投屏的媒体数据,并将N路媒体数据分别加载显示于N个投屏窗口内,每个投屏窗口具有独立的结束投屏控件,每个投屏窗口均可独立控制。
在一些实施例中,参照图15的示例,用户语音输入投屏指令时,语音内容可以是“投屏+目标设备标识151”的形式,即用户在投屏指令中指定目标设备标识对应的设备为投屏发送端,声音采集器采集语音信息后,将语音信息发送给语义服务器,语义服务器反馈解析结果,显示设备对解析结果进行识别,例如语音信息为“从智能设备3投屏”,则用户语音意图为投屏,用户指定目标设备为智能设备3。
在一些实施例中,在识别到解析结果中包含目标设备标识时,显示设备扫描得到设备列表,则进一步检测设备列表中是否包含目标设备标识。若设备列表中包含目标设备标识,表明用户在投屏指令中指定的智能设备A已被显示设备扫描到,智能设备A属于可连接设备,则将智能设备A作为目标设备,向该目标设备发送投屏请求,并建立投屏连接。
在一些实施例中,若设备列表中不包含目标设备标识,说明显示设备无法扫描到用户在投屏指令中指定的智能设备B,智能设备B当前属于不可连接设备,参照图16的示例,在显示设备的当前界面上显示第二提示弹窗160,第二提示弹窗160中包括第二提示信息161、连接控件162(即图16中的“是”)、第二重新扫描控件163(即图16中的“否,重新扫描”)和第二退出控件164(即图16中的“否,退出”),第二提示信息161用于提示未扫描到指定设备,并询问是否切换为当前的可连接设备,例如图16中提示为“未扫描到您指定的智能设备B,请检查智能设备B,是否切换为当前可连接设备?”,用户查看到第二提示信息161后,若触发连接控件162,即同意切换至可连接设备,则关闭第二提示弹窗160,并按照前述预设规则来设定目标设备,此处不再赘述。然后向目标设备发送投屏请求,建立显示设备与目标设备的投屏连接。
在一些实施例中,由于智能设备B无法被扫描到,用户查看到第二提示信息161后,可以排查智能设备B的异常情况,例如排查智能设备B是否打开投屏开关,是否支持投屏功能等,若用户发现智能设备B根本不支持投屏,可以触发第二退出控件164,即拒绝切换至可连接设备,显示设备关闭第二提示弹窗160,退出投屏模式一的处理流程;若用户发现智能设备B的投屏开关被关闭,并已打开投屏开关,则用户可触发第二重新扫描控件163,也即拒绝切换至可连接设备,显示设备关闭第二提示弹窗160,并重新扫描后,就能够搜索扫描到智能设备B,并且智能设备B是用户在投屏指令中特别指定的,因此重新扫描后,将智能设备B设定为目标设备。
基于前述实施例的描述,在一些实施例中,图17示例第一种显示设备端执行的投屏方法,所述方法由显示设备的控制器250执行,包括如下程序步骤:
步骤S171,接收到用户输入的投屏指令,扫描可连接设备。所述可连接设备为启用投屏功能的投屏发送终端。
步骤S172,向可连接设备中的目标设备发送投屏请求。所述投屏请求用于指示所述目标设备与所述显示设备建立投屏连接。
步骤S173,接收所述目标设备响应投屏请求后发送的媒体数据,播放所述媒体数据。
基于前述实施例的描述,在一些实施例中,图18示例第二种显示设备端执行的投屏方法,所述方法由显示设备的控制器250执行,包括如下程序步骤:
步骤S181,采集用户输入的语音信息,并将所述语音信息发送给语义服务器。
步骤S182,接收所述语义服务器反馈的解析结果,识别用户语音意图为投屏。
步骤S183,扫描可连接设备,得到设备列表。所述设备列表中包括显示设备扫描到的可连接设备的设备标识。
步骤S184,判断解析结果中是否包含目标设备标识。若解析结果中不包含目标设备标识,则执行步骤S185;若解析结果中包含目标设备标识,则执行步骤S186。
步骤S185,根据预设规则设定目标设备,并向所述目标设备发送投屏请求。步骤S185执行完成后转步骤S1812。
步骤S186,检测设备列表中是否包含所述目标设备标识。所述设备列表包括被显示设备扫描到的S个可连接设备的设备标识,若设备列表中包含目标设备标识,则执行步骤S187;若设备列表中不包含目标设备标识,则执行步骤S188。
步骤S187,向所述目标设备标识指示的智能设备发送投屏请求。步骤S187执行完成后转步骤S1812。
步骤S188,提示未扫描到所述目标设备标识指定的智能设备。
步骤S189,询问是否切换为当前的可连接设备。若同意切换至当前的可连接设备,则执行步骤S1810;若拒绝切换至当前的可连接设备,则执行步骤S1811。
步骤S1810,根据预设规则设定目标设备,并向所述目标设备发送投屏请求。步骤S1810执行完成后转步骤S1812。
步骤S1811,重新扫描可连接设备或退出投屏。
步骤S1812,接收所述目标设备响应投屏请求后发送的媒体数据,控制显示器播放所述媒体数据。
可选地,在步骤S185和步骤S1810中,所述预设规则被配置为:
获取所述设备列表当前的S值;S值用于表征显示设备扫描到的可连接设备的总数。
若检测到设备列表的S值为零,提示当前无可连接设备,允许退出投屏或重新扫描可连接设备;
若检测到S值等于1,将唯一的可连接设备设定为所述目标设备;
若检测到S值大于1,显示所述设备列表,并接收对所述设备列表中目标设备的选定操作。
可选地,在步骤S185和步骤S1810中,所述预设规则还可被配置为:
查询所述设备列表中当前具备投屏续连权限的M个第一设备;
若M值等于1,将唯一查询到的第一设备设定为所述目标设备;
若M值大于1,根据预设优先级,将优先级最高的第一设备设定为所述目标设备。
基于前述实施例的描述,在一些实施例中,图19示例一种智能设备端执行的投屏方法,所述方法由智能设备中的控制器执行,包括如下程序步骤:
步骤S191,接收显示设备发送的投屏请求。所述投屏请求是显示设备响应用户输入的投屏指令,从扫描到的可连接设备中确定目标设备为所述智能设备后发送的,所述可连接设备为启用投屏功能的投屏发送终端。
步骤S192,响应于所述投屏请求,建立与所述显示设备的投屏连接。
步骤S193,投屏连接成功后,向所述显示设备发送媒体数据。
在投屏模式一中,作为投屏发送端的智能设备在打开投屏开关之后,无需主动扫描可投屏设备,而是被动等待显示设备的扫描,之后接收并响应到显示设备发送的投屏请求后,构建与显示设备的投屏连接,然后就可将指定的投屏数据或屏幕内容共享到显示设备端;而在投屏模式二中,智能设备在打开投屏开关后,主动扫描可投屏设备,显示设备不主动扫描可连接设备,而是等待发送端的扫描和指定,然后接收并响应智能设备端发送的投屏请求,建立与智能设备的投屏连接,即可接收智能设备投射而来的媒体数据。具体可根据实际场景,适配投屏模式,从而扩展投屏功能的场景适配性,语音投屏提升了投屏智能化,为用户提供更高效、便捷的投屏使用和交互体验。另外,智能设备的软硬件配置不限于本申请的示例,智能设备需支持投屏功能,并具有媒体播放能力。
在一些实施例中,图20示例一种显示设备与智能设备的投屏交互逻辑,涉及交互双端为设备A(投屏发送端/目标设备)和设备B(投屏接收端/显示设备),并配合用户交互操作。用户打开设备A的投屏开关,之后在设备B端输入投屏指令,投屏指令不限于语音指令、按键指令等,设备B响应于投屏指令,启动已配置的投屏服务/协议,以触发投屏模式一。本实施例以Miracast为例,Miracast投屏不局限于设备A和设备B在同一局域网内,也不需要借助外界连接线等物质,更不需要设备A或设备B安装特定的可执行文件,只需要设备A和设备B都支持镜像投屏,就能实现不同终端间的屏幕共享。
在一些实施例中,参照图20,设备B启动wifi开关,初始化wifip2pManager,调用P2P协议中的discoverPeers主动扫描可连接的P2P设备,并得到设备列表,之后wifip2pManager发送Peers_changed广播。设备B监听到Peers_changed广播,根据设备列表和投屏指令,并参照预设规则,设定目标设备为设备A,此处可参照图18的方案,不再赘述。封装设备A的wifip2pconfig,向设备A发送投屏请求。
在一些实施例中,参照图20,设备A接受投屏请求后,设备B与设备A进行P2P配对连接,P2P连接成功后,设备B获取设备A的IP地址和端口号等信息,向设备A发起TCP(Transmission Control Protocol,传输控制协议)连接,设备A与设备B成功完成TCP连接后,设备A与设备B可进行Miracast服务下的RTSP(Real Time Streaming Protocol,实时流传输协议)协商,之后设备A与设备B建立UDP(User Datagram Protocol,用户数据报协议)连接,UDP无需建立连接就能发送封装的IP数据包,设备A通过UDP将Miracast数据流传输至设备B端,设备B端即显示Miracast投屏数据。本申请所述的投屏连接覆盖P2P连接、TCP连接和UDP连接,在断开投屏连接时,这些连接都需要断开。本申请在实现多屏互动和屏幕共享的同时,使投屏操作更高效便捷,从而提升投屏功能的场景适配性和智能化,提升用户的投屏使用体验。
本申请中提供的UI及其交互操作方式仅仅是是示例性的,不构成对本发明的限制,具体应以实际UI设计和应用为准。另外,本申请中用户对UI界面的响应/交互操作,不限于通过界面中的控件执行,还可输入语音指令,以图14为例,在显示设备显示图14的UI界面时,用户可说出“永久续连”的语音信息,显示设备识别解析结果后,获知用户语音意图是为智能设备2授予永久投屏续连权限。
可根据投屏指令形式、投屏接收端的设备扫描结果、投屏发送端的选定规则、投屏协议/功能的类别、适配不同投屏协议的投屏连接方式、投屏数据传输方式、投屏交互双端的系统及运行状态、业务场景的投屏需求等方面,对本申请的投屏模式进行灵活、适应性地变型和扩展,投屏模式及其交互逻辑不限于本申请的示例。设备A和设备B投屏交互的底层处理逻辑可适配不同系统、不同投屏协议/功能,并不限于图20的示例。
在一些实施例中,本申请还提供一种计算机存储介质,该计算机存储介质可存储有程序。当计算机存储介质位于显示设备中时,该程序执行时可包括前述显示设备端投屏方法的程序步骤;当计算机存储介质位于智能设备中时,该程序执行时可包括前述智能设备端投屏方法的程序步骤。其中,计算机存储介质可为磁碟、光盘、只读存储记忆体(英文:Read-Only Memory,简称ROM)或随机存储记忆体(英文:Random Access Memory,简称RAM)等。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释本公开的内容,从而使得本领域技术人员更好的使用所述实施方式。

Claims (12)

1.一种显示设备,其特征在于,包括:
显示器,用于显示用户界面;
通信器,用于与智能设备通信连接;
控制器,被配置为执行:
接收到用户输入的投屏指令,扫描可连接设备,所述可连接设备为启用投屏功能的投屏发送终端;
向可连接设备中的目标设备发送投屏请求,所述投屏请求用于指示所述目标设备与所述显示设备建立投屏连接;
接收所述目标设备响应投屏请求后发送的媒体数据,控制显示器播放所述媒体数据。
2.根据权利要求1所述的显示设备,其特征在于,所述显示设备还包括声音采集器,所述通信器还用于与语义服务器通信连接,则所述控制器还被配置为执行:
控制所述声音采集器采集语音信息;
将所述语音信息发送给所述语义服务器,所述语义服务器用于解析所述语音信息;
接收并识别所述语义服务器反馈的解析结果;
识别所述解析结果指示的用户语音意图为投屏,即接收到所述投屏指令。
3.根据权利要求2所述的显示设备,其特征在于,所述控制器还被配置为按照如下方式向可连接设备中的目标设备发送投屏请求:
识别到所述解析结果中包含目标设备标识,检测设备列表中是否包含所述目标设备标识;所述设备列表包括显示设备扫描到的可连接设备的设备标识;
检测到所述设备列表中包含所述目标设备标识,向所述目标设备标识指示的智能设备发送投屏请求。
4.根据权利要求3所述的显示设备,其特征在于,所述控制器还被配置为按照如下方式向可连接设备中的目标设备发送投屏请求:
检测到所述设备列表中不包含所述目标设备标识,显示第二提示弹窗,所述第二提示弹窗用于提示未扫描到所述目标设备标识指定的智能设备,并询问是否切换为当前的可连接设备;
接收到拒绝切换至可连接设备的指令,关闭第二提示弹窗,重新扫描可连接设备或退出投屏;
接收到同意切换至可连接设备的指令,关闭第二提示弹窗,根据预设规则设定所述目标设备,并向所述目标设备发送投屏请求。
5.根据权利要求3所述的显示设备,其特征在于,所述控制器还被配置为按照如下方式向可连接设备中的目标设备发送投屏请求:
识别到所述解析结果中不包含目标设备标识,根据预设规则设定所述目标设备,并向所述目标设备发送投屏请求。
6.根据权利要求4或5所述的显示设备,其特征在于,用于设定所述目标设备的预设规则被配置为:
获取所述设备列表当前的S值;S值用于表征显示设备扫描到的可连接设备的总数;
若检测到设备列表的S值为零,显示第一提示弹窗,所述第一提示弹窗用于提示当前无可连接设备,允许退出投屏或重新扫描可连接设备;
若检测到S值等于1,将唯一的可连接设备设定为所述目标设备;
若检测到S值大于1,显示所述设备列表,并接收对所述设备列表中目标设备的选定操作。
7.根据权利要求4或5所述的显示设备,其特征在于,所述控制器还被配置执行:
接收到退出投屏指令,查询所述显示设备与所述目标设备之间的投屏次数;所述投屏次数在每次投屏连接成功时累积加一;
若查询到所述投屏次数等于1,控制显示器显示第三提示弹窗,所述第三提示弹窗用于询问是否为所述目标设备授予投屏续连权限;所述投屏续连权限用于指示显示设备在扫描到所述第一设备时,自动向所述第一设备发送投屏请求;
接收到拒绝为所述目标设备授予投屏续连权限的指令,关闭所述第三提示弹窗,断开与所述目标设备的投屏连接;
接收到同意为所述目标设备授予单次投屏续连权限的指令,关闭所述第三提示弹窗,断开与所述目标设备的投屏连接,以及为所述目标设备填加第一权限标识;
接收到同意为所述目标设备授予永久投屏续连权限的指令,关闭所述第三提示弹窗,断开与所述目标设备的投屏连接,以及为所述目标设备填加第二权限标识。
8.根据权利要求7所述的显示设备,其特征在于,所述控制器还被配置执行:
接收到退出投屏指令,若查询到所述投屏次数大于1,识别目标设备对应的权限类型;
若所述权限类型为永久投屏续连权限,则不显示所述第三提示弹窗,断开与所述目标设备的投屏连接;
若所述权限类型为无投屏续连权限或单次投屏续连权限,则再次显示所述第三提示弹窗,以及根据用户的授权操作指令,对目标设备的权限类型进行更新。
9.根据权利要求7所述的显示设备,其特征在于,用于设定所述目标设备的预设规则被配置为:
查询所述设备列表中当前具备所述第一权限标识或第二权限标识的M个第一设备;
若M值等于1,将唯一查询到的第一设备设定为所述目标设备;
若M值大于1,根据预设优先级,将优先级最高的第一设备设定为所述目标设备。
10.一种智能设备,其特征在于,包括:
显示器,用于显示用户界面;
通信器,用于与显示设备通信连接;
控制器,被配置为执行:
接收显示设备发送的投屏请求;所述投屏请求是显示设备响应用户输入的投屏指令,从扫描到的可连接设备中确定目标设备为所述智能设备后发送的,所述可连接设备为启用投屏功能的投屏发送终端;
响应于所述投屏请求,建立与所述显示设备的投屏连接;
投屏连接成功后,向所述显示设备发送媒体数据。
11.一种投屏方法,其特征在于,所述方法包括:
显示设备接收到用户输入的投屏指令,扫描可连接设备,所述可连接设备为启用投屏功能的投屏发送终端;
显示设备向可连接设备中的目标设备发送投屏请求,所述投屏请求用于指示所述目标设备与所述显示设备建立投屏连接;
显示设备接收所述目标设备响应投屏请求后发送的媒体数据,播放所述媒体数据。
12.一种投屏方法,其特征在于,所述方法包括:
智能设备接收显示设备发送的投屏请求;所述投屏请求是显示设备响应用户输入的投屏指令,从扫描到的可连接设备中确定目标设备为所述智能设备后发送的,所述可连接设备为启用投屏功能的投屏发送终端;
智能设备响应于所述投屏请求,建立与所述显示设备的投屏连接;
投屏连接成功后,智能设备向所述显示设备发送媒体数据。
CN202210118550.8A 2022-01-27 2022-02-08 一种投屏方法、显示设备及智能设备 Pending CN116614659A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210118550.8A CN116614659A (zh) 2022-02-08 2022-02-08 一种投屏方法、显示设备及智能设备
PCT/CN2022/135421 WO2023142655A1 (zh) 2022-01-27 2022-11-30 一种投屏方法、显示设备及智能设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210118550.8A CN116614659A (zh) 2022-02-08 2022-02-08 一种投屏方法、显示设备及智能设备

Publications (1)

Publication Number Publication Date
CN116614659A true CN116614659A (zh) 2023-08-18

Family

ID=87673402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210118550.8A Pending CN116614659A (zh) 2022-01-27 2022-02-08 一种投屏方法、显示设备及智能设备

Country Status (1)

Country Link
CN (1) CN116614659A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116981108A (zh) * 2023-09-22 2023-10-31 荣耀终端有限公司 无线投屏连接方法、移动终端及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116981108A (zh) * 2023-09-22 2023-10-31 荣耀终端有限公司 无线投屏连接方法、移动终端及计算机可读存储介质
CN116981108B (zh) * 2023-09-22 2023-11-24 荣耀终端有限公司 无线投屏连接方法、移动终端及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN113766036B (zh) 显示设备及信息交互方法
WO2020244266A1 (zh) 智能电视的远程控制方法、移动终端和智能电视
WO2020248627A1 (zh) 一种视频通话方法和显示设备
CN113794928B (zh) 一种音频播放方法及显示设备
CN114189729A (zh) 一种数据接力播放方法及智能设备
CN112911380B (zh) 一种显示设备及与蓝牙设备的连接方法
CN113242444A (zh) 一种显示设备、服务器及媒资播放方法
CN112653906A (zh) 显示设备上视频热点播放方法及显示设备
CN113141479A (zh) 一种显示设备及其按键复用方法
CN113630656B (zh) 显示设备、终端设备及通信连接方法
CN116614659A (zh) 一种投屏方法、显示设备及智能设备
CN116114251A (zh) 视频通话方法及显示设备
CN114077724A (zh) 一种账户管理方法及显示设备
CN112929592A (zh) 一种视频通话方法、显示设备及服务器
CN113784186B (zh) 终端设备、服务器和通信控制方法
CN111953838B (zh) 一种通话拨号方法、显示设备以及移动终端
CN115022688A (zh) 一种显示设备及媒体数据接力方法
CN116347148A (zh) 一种投屏方法及显示设备
CN114302101A (zh) 显示设备和数据共享方法
WO2023142655A1 (zh) 一种投屏方法、显示设备及智能设备
WO2011000749A1 (en) Multimodal interaction on digital television applications
CN111914565A (zh) 电子设备及用户语句的处理方法
CN113938634A (zh) 一种多路视频通话处理方法及显示设备
CN115514998B (zh) 显示设备和网络媒资切换方法
CN114860370B (zh) 一种显示设备、服务器及软件开发工具包切换方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination