CN113452931A - 一种基于图像识别的拼屏互动方法、系统及智慧屏 - Google Patents

一种基于图像识别的拼屏互动方法、系统及智慧屏 Download PDF

Info

Publication number
CN113452931A
CN113452931A CN202110712622.7A CN202110712622A CN113452931A CN 113452931 A CN113452931 A CN 113452931A CN 202110712622 A CN202110712622 A CN 202110712622A CN 113452931 A CN113452931 A CN 113452931A
Authority
CN
China
Prior art keywords
screen
window
splicing
mobile terminal
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110712622.7A
Other languages
English (en)
Other versions
CN113452931B (zh
Inventor
周胜杰
李涛
龙超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Konka Electronic Technology Co Ltd
Original Assignee
Shenzhen Konka Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Konka Electronic Technology Co Ltd filed Critical Shenzhen Konka Electronic Technology Co Ltd
Priority to CN202110712622.7A priority Critical patent/CN113452931B/zh
Publication of CN113452931A publication Critical patent/CN113452931A/zh
Application granted granted Critical
Publication of CN113452931B publication Critical patent/CN113452931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于图像识别的拼屏互动方法、系统及智慧屏，通过图像识别以及有效互动区域的判断规则以识别用户的有效互动窗口，建立有效互动窗口的信源和指令传输通道，将移动终端的指令通过该通道下发到对应的窗口，由对应的窗口将指令下发给窗口内的应用执行，可以精准定位某一个拼屏窗口的某一个应用进行特定窗口的互动，有效的提升了多窗口多应用下的互动体验。

Description

一种基于图像识别的拼屏互动方法、系统及智慧屏
技术领域
本发明涉及多屏互动技术领域，尤其涉及一种基于图像识别的拼屏互动方法、系统、智慧屏及计算机可读存储介质。
背景技术
传统的多屏互动(例如：手机与智慧屏)屏幕传屏控制及互动体验都是基于智慧屏整个屏幕的窗口作为交互对象的，但是随着智慧屏的软硬件及系统的升级，系统在支持多应用多窗口的应用拼屏模式下，可以实现一个智慧屏幕同时打开多个应用，而且支持多个应用同时互动，那在这个情况下多屏互动如何精准定位某一个拼屏窗口的某一个应用进行特定窗口的互动就成了一个急需解决的问题。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于图像识别的拼屏互动方法、系统、智慧屏及计算机可读存储介质，旨在解决现有技术中在多屏互动时无法精准定位某一个拼屏窗口的某一个应用进行特定窗口的互动。
为实现上述目的，本发明提供一种基于图像识别的拼屏互动方法，所述基于图像识别的拼屏互动方法包括如下步骤：
智慧屏开启拼屏模式，选择拼屏模板，并打开拼屏应用，按照拼屏模板在对应窗口区域显示对应的应用；
所述智慧屏连接所述移动终端，并接收所述移动终端发送的拍摄照片，所述拍摄照片为所述移动终端拍摄所述智慧屏的显示区域并生成的照片；
所述智慧屏将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，确认所述移动终端的拍摄区域对应的拼屏窗口；
所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口及有效互动窗口对应的正在运行的应用；
所述智慧屏将有效互动窗口进行数据流的编码，建立传屏互动数据通道，并通过所述传屏互动数据通道发送传屏数据给所述移动终端进行显示；
所述智慧屏通过所述传屏互动数据通道接收所述移动终端发送的指令，并传输给有效互动窗口中的应用，控制所述应用执行所述指令。
可选地，所述的基于图像识别的拼屏互动方法，其中，不同的拼屏模板中的拼屏窗口的数量不同，每个拼屏窗口对应独立显示一个不同的应用。
可选地，所述的基于图像识别的拼屏互动方法，其中，所述智慧屏连接所述移动终端，具体包括：
所述智慧屏在显示界面上显示供其它设备扫码连接的二维码；
所述智慧屏接收所述移动终端打开智慧屏互动软件或者智慧屏互动小程序扫描所述二维码以建立扫码连接的请求；
所述智慧屏通过所述移动终端的扫码请求后，建立与所述移动终端的连接。
可选地，所述的基于图像识别的拼屏互动方法，其中，所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口，具体包括：
若所述拍摄照片的拍摄区域只存在一个窗口的图像内容，则有效互动窗口为当前窗口；
若所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，则以占比最大区域的窗口为有效互动窗口；
若所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，且各区域图像之间的占比量值小于预设百分比，则将多组窗口同时显示供用户手动选择。
可选地，所述的基于图像识别的拼屏互动方法，其中，所述预设百分比的范围为10％-20％。
可选地，所述的基于图像识别的拼屏互动方法，其中，所述基于图像识别的拼屏互动方法还包括：
所述智慧屏将智慧屏整个屏幕截图和拼屏各窗口的图像截图发送给所述移动终端，用于通知所述移动终端将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，并确认所述移动终端的拍摄区域对应的拼屏窗口。
可选地，所述的基于图像识别的拼屏互动方法，其中，所述基于图像识别的拼屏互动方法还包括：
所述智慧屏将智慧屏整个屏幕截图和拼屏各窗口的图像截图发送给云端，且所述移动终端将所述拍摄照片发送给所述云端，用于通知所述云端将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，并确认所述移动终端的拍摄区域对应的拼屏窗口。
此外，为实现上述目的，本发明还提供一种智慧屏，其中，所述智慧屏包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于图像识别的拼屏互动程序，所述基于图像识别的拼屏互动程序被所述处理器执行时实现如上所述的基于图像识别的拼屏互动方法的步骤。
此外，为实现上述目的，本发明还提供一种基于图像识别的拼屏互动系统，其中，所述基于图像识别的拼屏互动系统包括如上所述的智慧屏，还包括移动终端；
所述智慧屏与所述移动终端连接，
所述移动终端用于拍摄所述智慧屏的显示区域，并生成拍摄照片后发送给所述智慧屏；
所述移动终端还用于通过传屏互动数据通道获取有效互动窗口的传屏数据，并进行显示；
所述移动终端还用于将互动程序下发的指令通过所述传屏互动数据通道传输给所述智慧屏的有效互动窗口中的应用。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于图像识别的拼屏互动程序，所述基于图像识别的拼屏互动程序被处理器执行时实现如上所述的基于图像识别的拼屏互动方法的步骤。
本发明通过智慧屏开启拼屏模式，选择拼屏模板，并打开拼屏应用，按照拼屏模板在对应窗口区域显示对应的应用；所述智慧屏连接所述移动终端，并接收所述移动终端发送的拍摄照片，所述拍摄照片为所述移动终端拍摄所述智慧屏的显示区域并生成的照片；所述智慧屏将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，确认所述移动终端的拍摄区域对应的拼屏窗口；所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口及有效互动窗口对应的正在运行的应用；所述智慧屏将有效互动窗口进行数据流的编码，建立传屏互动数据通道，并通过所述传屏互动数据通道发送传屏数据给所述移动终端进行显示；所述智慧屏通过所述传屏互动数据通道接收所述移动终端发送的指令，并传输给有效互动窗口中的应用，控制所述应用执行所述指令。本发明通过图像识别以及有效互动区域的判断规则以识别用户的有效互动窗口，建立有效互动窗口的信源和指令传输通道，将移动终端的指令通过该通道下发到对应的窗口，由对应的窗口将指令下发给窗口内的应用执行，可以精准定位某一个拼屏窗口的某一个应用进行特定窗口的互动。
附图说明
图1是本发明基于图像识别的拼屏互动方法的较佳实施例的流程图；
图2是本发明基于图像识别的拼屏互动方法的较佳实施例中移动终端拍摄智慧屏的显示区域并生成的照片的示意图；
图3是本发明基于图像识别的拼屏互动方法的较佳实施例中智慧屏和移动终端进行互动的完整流程示意图；
图4为本发明智慧屏的较佳实施例的运行环境示意图；
图5是本发明基于图像识别的拼屏互动系统的较佳实施例的原理示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的基于图像识别的拼屏互动方法，如图1所示，所述基于图像识别的拼屏互动方法包括以下步骤：
步骤S10、智慧屏开启拼屏模式，选择拼屏模板，并打开拼屏应用，按照拼屏模板在对应窗口区域显示对应的应用。
具体地，所述智慧屏开机后自动连接网络，开启拼屏模式，并选择拼屏模板，打开拼屏应用(即应用程序)，按照拼屏模板在对应窗口区域显示对应的应用，其中，不同的拼屏模板中的拼屏窗口的数量不同，每个拼屏窗口对应独立显示一个不同的应用，如图3中所示，拼屏模板可以是三个窗口的模板、两个窗口的模板、四个窗口的模板，还可以是其他任意数量窗口和任意窗口排列的模板，例如图3中用户选择三个应用(即三个窗口)的拼屏模式，同时打开了运动健康(A窗口)、腾讯视频(B窗口)和新闻资讯(C窗口)的应用程序，例如这三个应用分别在图2中的三个拼接应用窗口显示，即运动健康显示在拼接应用窗口A，腾讯视频显示在拼接应用窗口B，新闻资讯显示在拼接应用窗口C。
步骤S20、所述智慧屏连接所述移动终端，并接收所述移动终端发送的拍摄照片，所述拍摄照片为所述移动终端拍摄所述智慧屏的显示区域并生成的照片。
具体地，用户打开移动终端(例如移动终端为智能手机。例如图2中左边的即为带摄像头的手机)后，所述移动终端打开智慧屏互动软件或者智慧屏互动小程序，所述智慧屏在显示界面上显示供其它设备扫码连接的二维码，所述移动终端打开智慧屏互动软件或者智慧屏互动小程序扫描所述二维码以请求与所述智慧屏建立连接，所述智慧屏通过所述移动终端的扫码请求后，建立与所述移动终端的连接；进一步地，所述智慧屏和所述移动终端建立连接的方式不限于上述方式，还可以通过其它连接方式，例如NFC、蓝牙等连接。
另外，所述移动终端在打开智慧屏互动软件或者智慧屏互动小程序后，选择其中智慧互动的功能，拍摄所述智慧屏显示区域，生成拍摄照片(例如图2中的左边带摄像头手机中的拍摄区域即为生成的拍摄照片)，并发送给所述智慧屏。
步骤S30、所述智慧屏将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，确认所述移动终端的拍摄区域对应的拼屏窗口。
具体地，本发明中对所述拍摄照片的识别优先通过所述智慧屏进行识别，当所述拍摄照片需要通过所述智慧屏进行识别时，所述智慧屏先进行截图，得到智慧屏整个屏幕截图和拼屏各窗口的图像截图，然后，所述智慧屏接收到所述移动终端发送的所述拍摄照片后，将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，确认所述移动终端的拍摄区域(即对应的拼屏窗口)。
进一步地，本发明对拍摄照片进行图片识别的方式不仅仅可以在智慧屏上进行，还可以通过移动终端或者云端进行。
例如，当所述拍摄照片需要通过所述移动终端进行识别时，所述智慧屏将智慧屏整个屏幕截图和拼屏各窗口的图像截图发送给所述移动终端，用于通知所述移动终端将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，并确认所述移动终端的拍摄区域对应的拼屏窗口。
例如，当所述拍摄照片需要通过所述云端进行识别时，所述智慧屏将智慧屏整个屏幕截图和拼屏各窗口的图像截图发送给云端，且所述移动终端将所述拍摄照片发送给所述云端，用于通知所述云端将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，并确认所述移动终端的拍摄区域对应的拼屏窗口。
步骤S40、所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口及有效互动窗口对应的正在运行的应用。
具体地，所述智慧屏对所述拍摄照片识别完成后，然后要根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口，并知道有效互动窗口对应的正在运行的应用。
其中，所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口，具体包括：若所述拍摄照片的拍摄区域只存在一个窗口的图像内容，则有效互动窗口为当前窗口；若所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，则以占比最大区域的窗口为有效互动窗口，例如如图2所述，所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，拍摄区域涉及到了拼接应用窗口A、拼接应用窗口B和拼接应用窗口C，但是明显可见占比最大区域的窗口为拼接应用窗口B，那么此时拼接应用窗口B即为有效互动窗口；若所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，且各区域图像之间的占比量值小于预设百分比(例如所述预设百分比的取值范围为10％-20％，例如本发明优先为10％)，则将多组窗口同时显示供用户手动选择，用户根据需要进行选择。
步骤S50、所述智慧屏将有效互动窗口进行数据流的编码，建立传屏互动数据通道，并通过所述传屏互动数据通道发送传屏数据给所述移动终端进行显示。
具体地，在所述智慧屏确定拼屏状态的有效互动窗口及有效互动窗口对应的正在运行的应用程序后，所述智慧屏将对应有效互动窗口进行数据流的编码，并建立传屏互动数据通道，所述移动终端获取传屏互动数据通道的传屏数据，并在移动终端显示(此时显示的就只有有效互动窗口的应用程序的数据了)。
步骤S60、所述智慧屏通过所述传屏互动数据通道接收所述移动终端发送的指令，并传输给有效互动窗口中的应用，控制所述应用执行所述指令。
具体地，建立传屏互动数据通道后，所述移动终端通过上述传屏互动数据通道，将互动程序下发的互动指令传给有效互动窗口的对应应用，由对应的窗口将指令下发给窗口内的应用执行。
另外，如果所述移动终端退出当前互动，则所述智慧屏注销对应的传屏互动数据通道。如果用户要获取另外的窗口，可以通过智慧互动的功能拍照重新获取新的有效互动窗口进行互动。
进一步地，如图3所示，本发明所述智慧屏(即可以表示为智能电视)和所述移动终端(手机)进行品评互动的整个流程如下：
(1)所述智慧屏开机。
(2)所述智慧屏开启拼屏模式，选择拼屏模板，并打开拼屏应用，按照拼屏模板在对应窗口区域显示应用。
其中，拼屏模板包括多个模板，例如三个窗口的模板、两个窗口的模板、四个窗口的模板，还可以是其他任意数量窗口和任意窗口排列的模板。
(3)用户打开手机，进入智慧屏互动软件或者智慧屏互动小程序，连接所述智慧屏。
(4)手机通过智慧互动的功能，拍摄所述智慧屏的显示区域，并生成拍摄照片。
(5)对拍摄照片进行图像识别，包括三种方式，分别是智慧屏识别、手机识别和云端识别。
其中，智慧屏识别：所述移动终端将所述拍摄照片发送给所述智慧屏，所述智慧屏将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，确认所述移动终端的拍摄区域对应的拼屏窗口。
其中，手机识别：所述智慧屏将智慧屏整个屏幕截图和拼屏各窗口的图像截图发送给手机，手机将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，并确认手机的拍摄区域对应的拼屏窗口。
其中，云端识别：所述智慧屏将智慧屏整个屏幕截图和拼屏各窗口的图像截图发送给云端，且所述移动终端将所述拍摄照片发送给所述云端，用于通知所述云端将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，并确认所述移动终端的拍摄区域对应的拼屏窗口。
并且所述智慧屏、手机或者云端根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口及有效互动窗口对应的正在运行的应用，其中，有效互动窗口确认规则为：
若所述拍摄照片的拍摄区域只存在一个窗口的图像内容，则有效互动窗口为当前窗口；
若所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，则以占比最大区域的窗口为有效互动窗口；
若所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，且各区域图像之间的占比量值小于预设百分比，则将多组窗口同时显示供用户手动选择。
另外，上述规则还可以在云端或程序端配置。
(6)根据有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口。
(7)获取识别窗口通道的传屏数据，所述智慧屏将有效互动窗口进行数据流的编码，并建立传屏互动数据通道，并通过所述传屏互动数据通道获取有效互动窗口的传屏数据传输给手机，并进行显示。
(8)手机将互动程序下发的指令通过所述传屏互动数据通道传输给有效互动窗口中的应用，控制所述应用执行所述指令。
(9)完成手机和智慧屏的拼屏互动。
本发明通过图像识别以及有效互动区域的判断规则以识别用户的有效互动窗口，建立有效互动窗口的信源和指令传输通道，将手机的指令通过该通道下发到对应的窗口，由对应的窗口将指令下发给窗口内的应用执行。
进一步地，如图4所示，基于上述基于图像识别的拼屏互动方法，本发明还相应提供了一种智慧屏，所述智慧屏包括处理器10、存储器20及显示器30。图4仅示出了智慧屏的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述智慧屏的内部存储单元，例如智慧屏的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智慧屏的外部存储设备，例如所述智慧屏上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述智慧屏的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智慧屏的应用软件及各类数据，例如所述安装智慧屏的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于图像识别的拼屏互动程序40，该基于图像识别的拼屏互动程序40可被处理器10所执行，从而实现本申请中基于图像识别的拼屏互动方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于图像识别的拼屏互动方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述智慧屏的信息以及用于显示可视化的用户界面。所述智慧屏的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于图像识别的拼屏互动程序40时实现以下步骤：
智慧屏开启拼屏模式，选择拼屏模板，并打开拼屏应用，按照拼屏模板在对应窗口区域显示对应的应用；
所述智慧屏连接所述移动终端，并接收所述移动终端发送的拍摄照片，所述拍摄照片为所述移动终端拍摄所述智慧屏的显示区域并生成的照片；
所述智慧屏将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，确认所述移动终端的拍摄区域对应的拼屏窗口；
所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口及有效互动窗口对应的正在运行的应用；
所述智慧屏将有效互动窗口进行数据流的编码，建立传屏互动数据通道，并通过所述传屏互动数据通道发送传屏数据给所述移动终端进行显示；
所述智慧屏通过所述传屏互动数据通道接收所述移动终端发送的指令，并传输给有效互动窗口中的应用，控制所述应用执行所述指令。
其中，不同的拼屏模板中的拼屏窗口的数量不同，每个拼屏窗口对应独立显示一个不同的应用。
其中，所述智慧屏连接所述移动终端，具体包括：
所述智慧屏在显示界面上显示供其它设备扫码连接的二维码；
所述智慧屏接收所述移动终端打开智慧屏互动软件或者智慧屏互动小程序扫描所述二维码以建立扫码连接的请求；
所述智慧屏通过所述移动终端的扫码请求后，建立与所述移动终端的连接。
其中，所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口，具体包括：
若所述拍摄照片的拍摄区域只存在一个窗口的图像内容，则有效互动窗口为当前窗口；
若所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，则以占比最大区域的窗口为有效互动窗口；
若所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，且各区域图像之间的占比量值小于预设百分比，则将多组窗口同时显示供用户手动选择。
其中，所述预设百分比的范围为10％-20％。
其中，所述基于图像识别的拼屏互动方法还包括：
所述智慧屏将智慧屏整个屏幕截图和拼屏各窗口的图像截图发送给所述移动终端，用于通知所述移动终端将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，并确认所述移动终端的拍摄区域对应的拼屏窗口。
其中，所述基于图像识别的拼屏互动方法还包括：
所述智慧屏将智慧屏整个屏幕截图和拼屏各窗口的图像截图发送给云端，且所述移动终端将所述拍摄照片发送给所述云端，用于通知所述云端将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，并确认所述移动终端的拍摄区域对应的拼屏窗口。
进一步地，如图5所示，基于上述基于图像识别的拼屏互动方法，本发明还提供一种基于图像识别的拼屏互动系统，其中，所述基于图像识别的拼屏互动系统包括如上所述的智慧屏100，还包括移动终端200。
其中，所述智慧屏100与所述移动终端200连接，所述智慧屏100开启拼屏模式，选择拼屏模板，并打开拼屏应用，按照拼屏模板在对应窗口区域显示对应的应用；所述移动终端200用于拍摄所述智慧屏100的显示区域，并生成拍摄照片后发送给所述智慧屏100；所述智慧屏100将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，确认所述移动终端200的拍摄区域对应的拼屏窗口；所述智慧屏100根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口及有效互动窗口对应的正在运行的应用；所述智慧屏100将有效互动窗口进行数据流的编码，建立传屏互动数据通道，所述移动终端200还用于通过所述传屏互动数据通道获取有效互动窗口的传屏数据，并进行显示；所述移动终端200还用于将互动程序下发的指令通过所述传屏互动数据通道传输给所述智慧屏100的有效互动窗口中的应用，所述智慧屏100控制所述应用执行所述指令。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于图像识别的拼屏互动程序，所述基于图像识别的拼屏互动程序被处理器执行时实现如上所述的基于图像识别的拼屏互动方法的步骤。
综上所述，本发明提供一种基于图像识别的拼屏互动方法、系统及智慧屏，所述方法包括：智慧屏开启拼屏模式，选择拼屏模板，并打开拼屏应用，按照拼屏模板在对应窗口区域显示对应的应用；所述智慧屏连接所述移动终端，并接收所述移动终端发送的拍摄照片，所述拍摄照片为所述移动终端拍摄所述智慧屏的显示区域并生成的照片；所述智慧屏将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，确认所述移动终端的拍摄区域对应的拼屏窗口；所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口及有效互动窗口对应的正在运行的应用；所述智慧屏将有效互动窗口进行数据流的编码，建立传屏互动数据通道，并通过所述传屏互动数据通道发送传屏数据给所述移动终端进行显示；所述智慧屏通过所述传屏互动数据通道接收所述移动终端发送的指令，并传输给有效互动窗口中的应用，控制所述应用执行所述指令。本发明通过图像识别以及有效互动区域的判断规则以识别用户的有效互动窗口，建立有效互动窗口的信源和指令传输通道，将移动终端的指令通过该通道下发到对应的窗口，由对应的窗口将指令下发给窗口内的应用执行，可以精准定位某一个拼屏窗口的某一个应用进行特定窗口的互动。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于图像识别的拼屏互动方法，其特征在于，所述基于图像识别的拼屏互动方法包括：
智慧屏开启拼屏模式，选择拼屏模板，并打开拼屏应用，按照拼屏模板在对应窗口区域显示对应的应用；
所述智慧屏连接所述移动终端，并接收所述移动终端发送的拍摄照片，所述拍摄照片为所述移动终端拍摄所述智慧屏的显示区域并生成的照片；
所述智慧屏将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，确认所述移动终端的拍摄区域对应的拼屏窗口；
所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口及有效互动窗口对应的正在运行的应用；
所述智慧屏将有效互动窗口进行数据流的编码，建立传屏互动数据通道，并通过所述传屏互动数据通道发送传屏数据给所述移动终端进行显示；
所述智慧屏通过所述传屏互动数据通道接收所述移动终端发送的指令，并传输给有效互动窗口中的应用，控制所述应用执行所述指令。
2.根据权利要求1所述的基于图像识别的拼屏互动方法，其特征在于，不同的拼屏模板中的拼屏窗口的数量不同，每个拼屏窗口对应独立显示一个不同的应用。
3.根据权利要求1所述的基于图像识别的拼屏互动方法，其特征在于，所述智慧屏连接所述移动终端，具体包括：
所述智慧屏在显示界面上显示供其它设备扫码连接的二维码；
所述智慧屏接收所述移动终端打开智慧屏互动软件或者智慧屏互动小程序扫描所述二维码以建立扫码连接的请求；
所述智慧屏通过所述移动终端的扫码请求后，建立与所述移动终端的连接。
4.根据权利要求1所述的基于图像识别的拼屏互动方法，其特征在于，所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口，具体包括：
若所述拍摄照片的拍摄区域只存在一个窗口的图像内容，则有效互动窗口为当前窗口；
若所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，则以占比最大区域的窗口为有效互动窗口；
若所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，且各区域图像之间的占比量值小于预设百分比，则将多组窗口同时显示供用户手动选择。
5.根据权利要求4所述的基于图像识别的拼屏互动方法，其特征在于，所述预设百分比的范围为10％-20％。
6.根据权利要求1所述的基于图像识别的拼屏互动方法，其特征在于，所述基于图像识别的拼屏互动方法还包括：
所述智慧屏将智慧屏整个屏幕截图和拼屏各窗口的图像截图发送给所述移动终端，用于通知所述移动终端将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，并确认所述移动终端的拍摄区域对应的拼屏窗口。
7.根据权利要求1所述的基于图像识别的拼屏互动方法，其特征在于，所述基于图像识别的拼屏互动方法还包括：
所述智慧屏将智慧屏整个屏幕截图和拼屏各窗口的图像截图发送给云端，且所述移动终端将所述拍摄照片发送给所述云端，用于通知所述云端将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，并确认所述移动终端的拍摄区域对应的拼屏窗口。
8.一种智慧屏，其特征在于，所述智慧屏包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于图像识别的拼屏互动程序，所述基于图像识别的拼屏互动程序被所述处理器执行时实现如权利要求1-7任一项所述的基于图像识别的拼屏互动方法的步骤。
9.一种基于图像识别的拼屏互动系统，其特征在于，所述基于图像识别的拼屏互动系统包括如权利要求8所述的智慧屏，还包括移动终端；
所述智慧屏与所述移动终端连接，
所述移动终端用于拍摄所述智慧屏的显示区域，并生成拍摄照片后发送给所述智慧屏；
所述移动终端还用于通过传屏互动数据通道获取有效互动窗口的传屏数据，并进行显示；
所述移动终端还用于将互动程序下发的指令通过所述传屏互动数据通道传输给所述智慧屏的有效互动窗口中的应用。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于图像识别的拼屏互动程序，所述基于图像识别的拼屏互动程序被处理器执行时实现如权利要求1-7任一项所述的基于图像识别的拼屏互动方法的步骤。
CN202110712622.7A 2021-06-25 2021-06-25 一种基于图像识别的拼屏互动方法、系统及智慧屏 Active CN113452931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110712622.7A CN113452931B (zh) 2021-06-25 2021-06-25 一种基于图像识别的拼屏互动方法、系统及智慧屏

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110712622.7A CN113452931B (zh) 2021-06-25 2021-06-25 一种基于图像识别的拼屏互动方法、系统及智慧屏

Publications (2)

Publication Number Publication Date
CN113452931A true CN113452931A (zh) 2021-09-28
CN113452931B CN113452931B (zh) 2022-05-03

Family

ID=77813159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110712622.7A Active CN113452931B (zh) 2021-06-25 2021-06-25 一种基于图像识别的拼屏互动方法、系统及智慧屏

Country Status (1)

Country Link
CN (1) CN113452931B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968012A (zh) * 2022-05-10 2022-08-30 深圳康佳电子科技有限公司 一种无限屏拼窗组合的控制方法及相关设备
CN116076075A (zh) * 2022-11-23 2023-05-05 广州酷狗计算机科技有限公司 直播互动方法、装置、设备、存储介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150128017A1 (en) * 2013-11-06 2015-05-07 International Business Machines Corporation Enabling interactive screenshots within collaborative applications
CN105389149A (zh) * 2015-11-03 2016-03-09 惠州Tcl移动通信有限公司 一种智能设备多屏幕运行实现方法及其系统
CN109358930A (zh) * 2018-09-27 2019-02-19 深圳点猫科技有限公司 基于Linux系统智能识别二维码的方法、电子设备
CN111026386A (zh) * 2019-12-23 2020-04-17 杨宏伟 一种基于图像识别的拼图式可编程指令输入方法及系统
CN111586042A (zh) * 2020-05-07 2020-08-25 深圳康佳电子科技有限公司 一种多屏互动方法、终端及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150128017A1 (en) * 2013-11-06 2015-05-07 International Business Machines Corporation Enabling interactive screenshots within collaborative applications
CN105389149A (zh) * 2015-11-03 2016-03-09 惠州Tcl移动通信有限公司 一种智能设备多屏幕运行实现方法及其系统
CN109358930A (zh) * 2018-09-27 2019-02-19 深圳点猫科技有限公司 基于Linux系统智能识别二维码的方法、电子设备
CN111026386A (zh) * 2019-12-23 2020-04-17 杨宏伟 一种基于图像识别的拼图式可编程指令输入方法及系统
CN111586042A (zh) * 2020-05-07 2020-08-25 深圳康佳电子科技有限公司 一种多屏互动方法、终端及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968012A (zh) * 2022-05-10 2022-08-30 深圳康佳电子科技有限公司 一种无限屏拼窗组合的控制方法及相关设备
CN116076075A (zh) * 2022-11-23 2023-05-05 广州酷狗计算机科技有限公司 直播互动方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN113452931B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
US10135925B2 (en) Non-transitory computer-readable medium, terminal, and method
US9292096B2 (en) Conference projection system with gesture-based image transmitting unit
CN109068161B (zh) 一种设备连接建立方法和装置
CN102420942A (zh) 一种基于拍照设备的拍照控制方法及拍照设备
US20070186174A1 (en) Electronic conference system, electronic conference assistance method and conference control terminal device
EP3585051A1 (en) Information processing apparatus, information processing system, and method of remote information sharing
CN113452931B (zh) 一种基于图像识别的拼屏互动方法、系统及智慧屏
CN113992958A (zh) 一种多窗口同屏互动方法、终端及存储介质
CN112351093A (zh) 截屏图像共享方法、装置、设备及计算机可读存储介质
US20110310122A1 (en) Remote instruction system, remote instruction method, and program product therefor
CN111263061B (zh) 摄像头控制方法和通信终端
JP6646457B2 (ja) 情報処理装置、その制御方法、及びプログラム
US8125525B2 (en) Information processing apparatus, remote indication system, and computer readable medium
US20160044187A1 (en) Device control system and device control method
US11656834B2 (en) Information processing device, non-transitory recording medium, and information processing system
CN106210508B (zh) 一种拍摄预览方法、可穿戴设备及移动终端
KR101735714B1 (ko) 통합 원격제어 프로그램을 가지는 원격제어 장치 및 그 원격제어 방법
KR20130070670A (ko) 얼굴을 인식하여 수신처를 자동으로 확인하는 휴대용 단말기의 장치 및 방법
CN113014848A (zh) 视频通话方法、装置及计算机存储介质
CN112653864A (zh) 一种智慧家庭陪伴方法、系统及智能终端
CN112702635B (zh) 基于人脸识别的图片投屏方法、系统、智能电视及介质
US11568866B2 (en) Audio processing system, conferencing system, and audio processing method
US11470132B2 (en) Information processing apparatus, information processing system, electronic blackboard apparatus, control method, and program
JP7434793B2 (ja) 情報処理装置、情報処理システム、電子黒板装置、制御方法、およびプログラム
JP2020127118A (ja) リモコン機能設定プログラム、リモコンサーバ、リモコン機能設定方法、携帯端末

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant