CN109218659A - 一种视频交互处理方法、装置及系统 - Google Patents

一种视频交互处理方法、装置及系统 Download PDF

Info

Publication number
CN109218659A
CN109218659A CN201710546528.2A CN201710546528A CN109218659A CN 109218659 A CN109218659 A CN 109218659A CN 201710546528 A CN201710546528 A CN 201710546528A CN 109218659 A CN109218659 A CN 109218659A
Authority
CN
China
Prior art keywords
video
data
display
display equipment
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710546528.2A
Other languages
English (en)
Inventor
赵亚来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201710546528.2A priority Critical patent/CN109218659A/zh
Priority to PCT/CN2018/094685 priority patent/WO2019007402A1/zh
Publication of CN109218659A publication Critical patent/CN109218659A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明公开了一种视频交互处理方法、装置及系统，所述方法包括：检测到显示设备侧针对显示视频的触发操作；基于所述触发操作，在所述显示设备显示的视频数据中选取目标数据；通过将选取的目标数据与预先存储的物品的样本数据进行比较，识别出选取的目标数据中的目标物品；将所述目标物品的属性和/或交互控件信息发送到所述显示设备。利用本发明所述方法，可以使用户随时随地通过实时视频了解视频中感兴趣的物品信息，并通过显示设备对物品相关信息进行直观地显示，从而给用户提供舒适的视频交互体验习惯，大大提升了用户的使用体验。

Description

一种视频交互处理方法、装置及系统
技术领域
本发明涉及移动通信领域，尤其涉及一种视频交互处理方法、装置及系统。
背景技术
视频监控是充分依托网络的广覆盖、高带宽的特点，提供音视频监控、GPS定位、IP数据传输、智能图像分析报警等多功能为一体的综合应用系统。只要有能上网的地方都可以实时监控前端传来的图像、实时智能分析图像并进行联动报警，完美的弥补了传统监控的先天性不足，是现代安防移动性、突发性、紧迫性的有机体现。在国内外已经有了较多的应用，同时还具有非常大的市场潜力。
但是，基于视频监控的视频交互处理应用相对较少，甚至没有，从而影响了用户的体验满意度。随着触摸显示技术、直播技术及物联网应用的不断成熟，视频监控终端在不同领域的应用将非常广泛。因此，由视频监控业务中视频交互体验引起用户满意度问题会给视频监控业务的进一步推广带来阻碍。可以说，能否解决这一用户体验问题，是该业务能否在市场上得到进一步推广的关键所在。
发明内容
本发明提供一种视频交互处理方法、装置及系统，用以解决现有技术中无法对监控的视频进行视频交互处理的问题。
依据本发明的一个方面，提供一种视频交互处理方法，包括：
检测到显示设备侧针对显示视频的触发操作；
基于所述触发操作，在所述显示设备显示的视频数据中选取目标数据；
通过将选取的目标数据与预先存储的物品的样本数据进行比较，识别出选取的目标数据中的目标物品；
将所述目标物品的属性和/或交互控件信息发送到所述显示设备。
可选地，本发明所述方法中，所述检测到显示设备侧针对显示视频的触发操作，包括：检测到所述显示设备侧发送的视频触发时间信息。
可选地，本发明所述方法中，所述基于所述触发操作，在显示的视频数据中选取目标数据，包括：
以所述触发时间信息对应的时间点，向前推移设定时长，选取该时长内的视频数据作为选取的目标数据；
或者，将所述触发时间信息对应时刻的视频图像数据作为选取的目标数据。
可选地，本发明所述方法中，所述检测到显示设备侧针对显示视频的触发操作，包括：检测到所述显示设备侧发送的视频触发时间信息和视频触发位置信息。
可选地，本发明所述方法中，所述基于所述触发操作，在显示的视频数据中选取目标数据，包括：
确定所述触发时间信息对应时刻的视频图像数据；
利用所述触发位置信息，在确定的视频图像数据中选定所述目标数据。
依据本发明的另一个方面，提供一种视频交互处理装置，包括：
检测模块，用于在检测到显示设备侧针对显示视频的触发操作时，开启数据选取模块；
数据选取模块，用于基于所述触发操作，在所述显示设备显示的视频数据中选取目标数据；
识别模块，用于通过将所述数据选取模块选取的目标数据与预先存储的物品的样本数据进行比较，识别出选取的目标数据中的目标物品；
信息反馈模块，用于将所述目标物品的属性和/或交互控件信息发送到所述显示设备。
可选地，本发明所述装置中，所述检测模块，具体用于当检测到所述显示设备侧发送的视频触发时间信息时，判定检测到显示设备侧针对显示视频的触发操作。
可选地，本发明所述装置中，所述数据选取模块，具体用于以所述触发时间信息对应的时间点，向前推移设定时长，选取该时长内的视频数据作为选取的目标数据；或者，将所述触发时间信息对应时刻的视频图像数据作为选取的目标数据。
可选地，本发明所述装置中，所述检测模块，具体用于当检测到所述显示设备侧发送的视频触发时间信息和视频触发位置信息时，判定检测到显示设备侧针对显示视频的触发操作。
可选地，本发明所述装置中，所述数据选取模块，具体用于确定所述触发时间信息对应时刻的视频图像数据，并利用所述触发位置信息，在确定的视频图像数据中选定所述目标数据。
依据本发明的第三个方面，提供一种视频交互处理系统，包括：
前端监控设备，用于将拍摄的视频实时的发送到显示设备；
所述显示设备，用于对接收到的视频进行显示，并在接收到对显示视频的触发操作时，通知后台设备，以及在接收到所述后台设备发送的目标物品的属性和/或交互控件信息时，对所述目标物品的属性和/或交互控件进行显示；
所述后台设备，用于检测到显示设备侧针对显示视频的触发操作，基于所述触发操作，在所述显示设备显示的视频数据中选取目标数据，通过将选取的目标数据与预先存储的物品的样本数据进行比较，识别出选取的目标数据中的目标物品，将所述目标物品的属性和/或交互控件信息发送到所述显示设备。
本发明有益效果如下：
利用本发明所述方法、装置和系统，可以使用户随时随地通过实时视频了解视频中感兴趣的物品信息，并通过显示设备对物品相关信息进行直观地显示，从而实现了利用“互联网+”的思维给用户提供更舒适的视频交互体验习惯，大大提升了用户的使用体验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明第一实施例提供的一种视频交互处理方法的流程图；
图2为本发明第二实施例提供的一种视频交互处理系统的结构框图；
图3为本发明实施例中预订餐位工作流程图；
图4为本发明实施例中指派工作人员进行餐桌卫生清理工作流程图；
图5为本发明实施例中智能购物工作流程图；
图6为本发明实施例中家庭智能设备控制系统工作流程图；
图7为本发明第三实施例提供的一种视频交互处理装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
在本发明第一实施例中，提供一种视频交互处理方法，所述方法应用于后台设备，如图1所述，所述方法包括如下步骤：
步骤S101，检测到显示设备侧针对显示视频的触发操作；
本发明实施例中，前端监控设备实时获取监控的视频，并将该视频发送到所述显示设备进行视频显示。
在本发明的一个具体实施例中，后台设备当检测到所述显示设备侧发送的视频触发时间信息时，判定检测到显示设备侧针对显示视频的触发操作。也就是说，当用户对显示设备显示的视频中的物品感兴趣时，可以按约定方式对显示的视频进行触发操作，显示设备将接收到触发操作时刻的时间信息发送到后台设备，以使后台设备进行后续的目标物品识别等操作。
在本发明的又一具体实施例中，后台设备检测到所述显示设备侧发送的视频触发时间信息和视频触发位置信息时，判定检测到显示设备侧针对显示视频的触发操作。本实施例中，用户在对显示的视频中的物品感兴趣时，可以针对感兴趣物品所在位置，按约定的方式触发视频，例如，在感兴趣物品所在区域双击屏幕等等。显示设备将触发操作时刻的时间信息和用户触发的位置信息发送到后台设备后，可以提高后台设备对目标物品的识别效率。
当然，上述只是列举了本步骤的两个具体实现方式，任何可以触发视频中物品识别的触发方式均在本发明的保护思想范围之内。
步骤S102，基于所述触发操作，在显示设备显示的视频数据中选取目标数据；
在本发明的一个具体实施例中，前端监控设备在将实时获取的监控视频发送到显示设备时，同步地将监控视频发送到后台设备，以使后台设备能够获取到显示设备显示的视频数据。进一步地，本实施例中，为了节省存储资源，后台设备启动预录功能，即只保存接收到设定时间段内的监控视频，其中，设定时间段即预录时长，可以但不限于为5秒。
在本发明的又一具体实施例中，显示设备启动预录功能，当用户发出针对显示视频的触发操作时，将触发操作前预录的视频发送到后台处理设备，以使后台设备能够获取到显示设备显示的视频数据。
本发明实施例中，在显示设备显示的视频数据中选取目标数据的方式包括但不限于为：
方式一：以触发时间信息对应的时间点，向前推移设定时长，选取该时长内的视频数据作为选取的目标数据；其中，设定时长小于等于预录时长。
方式二：将触发时间信息对应时刻的视频图像数据作为选取的目标数据。
方式三：确定触发时间信息对应时刻的视频图像数据，利用视频触发位置信息，在确定的视频图像数据中选定所述目标数据。
当然，上述只是列举了本步骤的几个具体实现方式，任何可以在显示设备显示的视频数据中选取目标数据的处理方式均在本发明的保护思想范围之内。
步骤S103，通过将选取的目标数据与预先存储的物品的样本数据进行比较，识别出选取的目标数据中的目标物品；
本发明实施例中，所述物品的样本数据为物品的图片或视频数据。
步骤S104，将所述目标物品的属性和/或交互控件信息发送到所述显示设备。
本发明实施例中，显示设备在接收到目标物品的属性和/或交互控件信息后，显示目标物品的属性信息及针对该目标物品的交互控件。
显示设备在获取到用户侧对某交互控件的触控指令时，将其发送到后台设备，后台设备对该触控指令进行响应。
综上可知，利用本发明实施例所述方法，用户可以随时随地通过实时视频了解视频中感兴趣的物品信息，并通过显示设备对物品相关信息进行直观地显示，从而为用户提供了舒适的视频交互体验，大大提升了用户的使用体验。
在本发明的第二实施例中，提供一种视频交互处理系统，如图2所示，包括：前端监控设备210、显示设备220和后台设备230；
前端监控设备210，用于将拍摄的视频实时的发送到显示设备220；
显示设备220，用于对接收到的视频进行显示，并在接收到对显示视频的触发操作时，通知后台设备230，以及在接收到后台设备230发送的目标物品的属性和/或交互控件信息时，对所述目标物品的属性和/或交互控件进行显示；
后台设备230，用于检测到显示设备220侧针对显示视频的触发操作，基于所述触发操作，在显示设备220显示的视频数据中选取目标数据，通过将选取的目标数据与预先存储的物品的样本数据进行比较，识别出选取的目标数据中的目标物品，将所述目标物品的属性和/或交互控件信息发送到显示设备220。
后台设备230实现目标物品识别等过程可参见第一实施例，本实施例在此不再赘述。
为了更清楚的阐述本发明实施例所述系统的实施过程，下面通过一个具体实施例，对本发明的实施过程进行更详尽的说明。
本发明实施例提供的视频交互处理系统，包括：
前端监控设备，主要负责监控区域内视频源的获取，并通过媒体传输技术将前端视频源传输到触摸屏设备(即显示设备)。
触摸屏设备，与前端监控设备和后台处理模块通过移动网络或WIFI连接，主要负责视频预览、物品对比素材获取、物品相关属性显示、并通过触摸指令下发来完成交互操作。
后台处理模块，主要负责物品识别处理，并配合触摸屏设备的指令完成相关交互操作。
利用本实施例所述系统，实现视频交互处理的过程包括：
(1)将物品的样本数据存储在后台设备，并设置好样本对应物品的属性及交互控件信息，以便后续对比查询使用；
(2)通过前端监控设备实时获取到视频源；
(3)通过媒体传输技术将前端视频源传输到触摸屏设备；其中，触摸屏设备包括但不限于：手机、Pad、PC触摸显示屏等。
(4)后台设备在检测到触摸屏设备针对视频画面的触发操作时，获取物品对比素材，并将对比素材与对比样本进行比对；其中，对比素材包括但不限于：图片、录像等。
(5)后台设备通过比对确认物品后，通过触摸屏设备显示物品名称等相关属性及一些交互操作按钮。其中，物品属性的显示包括但不限于：文字、语音提示等。
(6)用户通过交互操作按钮完成相关操作。
本发明实施例提出的视频交互处理系统，使用户随时随地通过实时视频了解视频中感兴趣的物品信息，更直观地显示物品相关信息，给用户提供了更舒适的视频交互体验习惯，大大提升用户体验。
为使本发明的目的、技术方案和优点更加清楚明白，以下根据应用场景给出实施例并参照附图，对本发明实施例进一步详细说明：
场景1：基于触摸屏设备进行视频交互的智能订餐系统
当前普遍的订餐管理系统，主要是通过APP显示菜单或套餐图片来给客户提供选择的一种系统。用户通过菜单或套餐图片来决定是否预定。这种方法存在以下缺点：
(1)用户不能提前预知是否有空位，有可能由于等待而浪费客户时间；
(2)用户不能提前了解用餐环境，可能到了用餐地点后，由于用餐环境问题而影响用餐心情或重新选择用餐地点，而浪费客户重新选择时间。
针对上述情况，利用本发明实施例所述视频交互系统及方法，能够很好解决上面提出的问题。
本发明实施例主要包括用户预订餐桌工作流程、商家管理员指派工作人员进行餐桌卫生清理工作流程两个流程。
如图3所示，本发明实施例的预订餐位工作流程如下：
步骤301：商家将各餐桌样本存储在后台处理设备，并设置好各餐桌对应的属性信息；
步骤302：用户利用触摸屏设备通过大厅或包间的监控终端来实时浏览用餐环境；
步骤303：用户在视频浏览中通过触摸操作选择感兴趣的餐桌；
步骤304：后台处理设备将触摸时刻前5秒的预录视频与预先存储的餐桌样本进行对比；
步骤305：后台处理设备判断是否找到与餐桌样本匹配的餐桌，如果没有找到，继续进行步骤302进行视频浏览，如果找到匹配餐桌，则进入步骤306；
步骤306：将餐桌信息反馈给触摸屏设备；
步骤307：触摸屏设备的视频浏览界面以弹出框的形式显示餐桌相关属性(例如，可容纳人数、是否有空调、是否被预订、被预订的时间段)及交互式相关按钮(例如预订、退出)；
步骤308：用户了解餐桌相关属性后，想预订的时间段已被预订，则可点击退出按钮，退出餐桌属性展示框并进入步骤302继续进行视频浏览；否则，点击预订按钮进入步骤309；
步骤309：后台处理设备收到触摸屏设备发送过来的预订请求后，马上生成订单，并反馈给触摸屏设备；
步骤310：用户确认订单，预订时间段内，用户抽空去就餐。
如图4所示，本发明实施例的指派工作人员进行餐桌卫生清理工作流程如下：
步骤401：商家将各餐桌样本存储在后台处理设备，并设置好各餐桌对应的卫生清理相关人员；
步骤402：管理人员通过监控发现大厅或包间的某个餐桌上的客人用餐完毕出门后，在视频浏览中通过触摸操作选择待清理卫生的餐桌；
步骤403：后台处理设备将触摸时刻前5秒的预录视频与后台中的餐桌样本进行对比；
步骤404：后台处理设备判断是否找到与样本匹配的餐桌，如果没有找到，继续进行步骤405异常处理流程，如果找到匹配餐桌，则进入步骤406；
步骤405：后台给出对比失败提示后，管理员临时去安排清理人员去打扫卫生；
步骤406：后台处理设备将餐桌信息反馈给触摸屏设备；
步骤407：触摸屏设备的视频浏览界面以弹出框的形式显示餐桌对应的卫生清理人员名单及交互式相关按钮(是否清理卫生、退出等)；
步骤408：管理人员在弹出框中的多名清理人员中选择一个，并点击立即清理卫生按钮进入步骤409；
步骤409：后台处理设备自动通过广播或短信提醒清理人员进行餐桌清理；
步骤410：卫生清理人员收到提醒后前去对应餐桌清理卫生。
场景2：基于IE浏览器进行视频交互的智能购物系统
本应用场景通过将场景1中的视频浏览触摸屏设备扩展为PC机的IE浏览器，并将智能订餐系统扩展为智能购物系统为例进行说明。
如图5所示，本发明实施例的智能购物工作流程如下：
步骤501：商家将各商品样本存储在后台处理设备，并设置好各商品对应的详细信息；
步骤502：用户利用PC机的IE浏览器通过商店的监控终端来实时浏览商店中的各种商品；
步骤503：用户在视频浏览中通过鼠标截取视频范围操作选择感兴趣的商品；
步骤504：后台处理设备将鼠标截取时刻前5秒的预录视频与预先存储的商品样本进行对比；
步骤505：后台处理设备判断是否找到与样本匹配的商品，如果没有找到，继续进行步骤502进行视频浏览，如果找到匹配商品，则进入步骤506；
步骤506：后台处理设备将商品信息反馈给IE浏览器；
步骤507：IE浏览器的视频浏览界面以弹出框的形式显示商品相关属性(例如：品牌，码数，价格，是否热门等)及交互式相关按钮(如订购、退出)；
步骤508：用户了解商品相关属性后，对商品不感兴趣，则点击退出按钮，退出商品属性展示框并进入步骤502继续进行视频浏览；否则，点击订购按钮进入步骤509；
步骤509：后台处理设备生成订单，并反馈给IE浏览器；
步骤510：用户确认订单，预订期限内，用户抽空去商店试穿购买，或在线支付通过邮寄方式送货上门等。
场景3：基于视频交互的家庭智能设备控制系统
基于视频交互的家庭智能设备控制系统是本发明扩展到P2P监控系统的典型应用。
P2P监控系统是将监控前端与触摸屏客户端设备进行直连来完成视频监控基本功能。本发明实施例中提出的后台处理设备提供样本存储并进行物品识别的功能可在触摸屏客户端设备实现，监控前端侧的功能保持不变，这样，本发明可扩展到P2P监控系统中来实现视频交互。
另外，本发明所述对比素材包括但不限于：图片、录像等；识别物品后，物品属性的显示包括但不限于：文字、语音提示等。因此，本应用场景通过将对比素材扩展为图片；将物品属性显示方式扩展为“文字+语音提示”的方式进行描述。
如图6所示，本发明实施例的家庭智能设备控制系统工作流程如下：
步骤601：用户是否首次使用APP，如果是则进入步骤602；否则，进入步骤604；
步骤602：提示用户对家庭设备拍照并输入设备名称来完成样本配置；
步骤603：用户根据提示完成样本配置；
步骤604：用户利用触摸屏APP应用通过家里的监控终端来实时浏览各智能设备；
步骤605：用户在视频浏览中发现家里没有人，且家庭设备(如空调、电视等)没有关闭；
步骤606：通过触摸视频浏览中的家庭设备；
步骤607：触摸屏APP将触摸区域内的快照与本地配置的家庭设备样本进行对比；
步骤608：判断是否找到与样本匹配的设备，如果找到，则进入步骤609；否则，进入步骤602；
步骤609：将家庭设备信息反馈给触摸屏APP，并给出界面展示；
步骤610：触摸屏APP的视频浏览界面以弹出框的形式显示设备相关属性(例如，名称、状态等)及交互式相关按钮(例如，开启/关闭设备、退出弹出框)；同时可以听到语音提示(例如，空调设备的状态为开机状态)；
步骤611：触摸屏APP判断是否关闭设备，如果是，则进入步骤612；否则点击退出显示框按钮，进入步骤604；
步骤612：触摸屏APP通过无线网络发送关闭指令给家庭智能设备，并返回关闭结果给触摸屏APP；
步骤613：用户在触摸屏APP中收到关闭成功文字和语音提醒；同时用户可以通过视频浏览来确认是否真的关闭成功。
在本发明第三实施例中，提供一种视频交互处理装置，如图7所示，包括：
检测模块710，用于在检测到显示设备侧针对显示视频的触发操作时，开启数据选取模块；
数据选取模块720，用于基于所述触发操作，在所述显示设备显示的视频数据中选取目标数据；
识别模块730，用于通过将所述数据选取模块选取的目标数据与预先存储的物品的样本数据进行比较，识别出选取的目标数据中的目标物品；
信息反馈模块740，用于将所述目标物品的属性和/或交互控件信息发送到所述显示设备。
基于上述结构框架及实施原理，下面给出在上述结构下的几个具体及优选实施方式，用以细化和优化本发明所述装置的功能，以使本发明方案的实施更方便，准确。具体涉及如下内容：
本发明实施例中，检测模块710，具体用于当检测到所述显示设备侧发送的视频触发时间信息时，判定检测到显示设备侧针对显示视频的触发操作。
数据选取模块720，具体用于以所述触发时间信息对应的时间点，向前推移设定时长，选取该时长内的视频数据作为选取的目标数据；或者，将所述触发时间信息对应时刻的视频图像数据作为选取的目标数据。
进一步地，本发明实施例中，检测模块710，具体用于当检测到所述显示设备侧发送的视频触发时间信息和视频触发位置信息时，判定检测到显示设备侧针对显示视频的触发操作。
数据选取模块720，具体用于确定所述触发时间信息对应时刻的视频图像数据，并利用所述触发位置信息，在确定的视频图像数据中选定所述目标数据。
利用本发明实施例所述装置，用户可以随时随地通过实时视频了解视频中感兴趣的物品信息，并通过显示设备对物品相关信息进行直观地显示，从而为用户提供了舒适的视频交互体验，大大提升了用户的使用体验。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是其与其他实施例的不同之处。尤其对于装置实施例而言，由于其基本相似与方法实施例，所以，描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
总之，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种视频交互处理方法，其特征在于，包括：
检测到显示设备侧针对显示视频的触发操作；
基于所述触发操作，在所述显示设备显示的视频数据中选取目标数据；
通过将选取的目标数据与预先存储的物品的样本数据进行比较，识别出选取的目标数据中的目标物品；
将所述目标物品的属性和/或交互控件信息发送到所述显示设备。
2.如权利要求1所述的方法，其特征在于，所述检测到显示设备侧针对显示视频的触发操作，包括：检测到所述显示设备侧发送的视频触发时间信息。
3.如权利要求2所述的方法，其特征在于，所述基于所述触发操作，在显示的视频数据中选取目标数据，包括：
以所述触发时间信息对应的时间点，向前推移设定时长，选取该时长内的视频数据作为选取的目标数据；
或者，将所述触发时间信息对应时刻的视频图像数据作为选取的目标数据。
4.如权利要求1所述的方法，其特征在于，所述检测到显示设备侧针对显示视频的触发操作，包括：检测到所述显示设备侧发送的视频触发时间信息和视频触发位置信息。
5.如权利要求4所述的方法，其特征在于，所述基于所述触发操作，在显示的视频数据中选取目标数据，包括：
确定所述触发时间信息对应时刻的视频图像数据；
利用所述触发位置信息，在确定的视频图像数据中选定所述目标数据。
6.一种视频交互处理装置，其特征在于，包括：
检测模块，用于在检测到显示设备侧针对显示视频的触发操作时，开启数据选取模块；
数据选取模块，用于基于所述触发操作，在所述显示设备显示的视频数据中选取目标数据；
识别模块，用于通过将所述数据选取模块选取的目标数据与预先存储的物品的样本数据进行比较，识别出选取的目标数据中的目标物品；
信息反馈模块，用于将所述目标物品的属性和/或交互控件信息发送到所述显示设备。
7.如权利要求6所述的装置，其特征在于，所述检测模块，具体用于当检测到所述显示设备侧发送的视频触发时间信息时，判定检测到显示设备侧针对显示视频的触发操作。
8.如权利要求7所述的装置，其特征在于，所述数据选取模块，具体用于以所述触发时间信息对应的时间点，向前推移设定时长，选取该时长内的视频数据作为选取的目标数据；或者，将所述触发时间信息对应时刻的视频图像数据作为选取的目标数据。
9.如权利要求6所述的装置，其特征在于，所述检测模块，具体用于当检测到所述显示设备侧发送的视频触发时间信息和视频触发位置信息时，判定检测到显示设备侧针对显示视频的触发操作。
10.如权利要求9所述的装置，其特征在于，所述数据选取模块，具体用于确定所述触发时间信息对应时刻的视频图像数据，并利用所述触发位置信息，在确定的视频图像数据中选定所述目标数据。
11.一种视频交互处理系统，其特征在于，包括：
前端监控设备，用于将拍摄的视频发送到显示设备；
所述显示设备，用于对接收到的视频进行显示，并在接收到对显示视频的触发操作时，通知后台设备，以及在接收到所述后台设备发送的目标物品的属性和/或交互控件信息时，对所述目标物品的属性和/或交互控件进行显示；
所述后台设备，用于检测到显示设备侧针对显示视频的触发操作，基于所述触发操作，在所述显示设备显示的视频数据中选取目标数据，通过将选取的目标数据与预先存储的物品的样本数据进行比较，识别出选取的目标数据中的目标物品，将所述目标物品的属性和/或交互控件信息发送到所述显示设备。
CN201710546528.2A 2017-07-06 2017-07-06 一种视频交互处理方法、装置及系统 Pending CN109218659A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710546528.2A CN109218659A (zh) 2017-07-06 2017-07-06 一种视频交互处理方法、装置及系统
PCT/CN2018/094685 WO2019007402A1 (zh) 2017-07-06 2018-07-05 一种视频交互处理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710546528.2A CN109218659A (zh) 2017-07-06 2017-07-06 一种视频交互处理方法、装置及系统

Publications (1)

Publication Number Publication Date
CN109218659A true CN109218659A (zh) 2019-01-15

Family

ID=64950590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710546528.2A Pending CN109218659A (zh) 2017-07-06 2017-07-06 一种视频交互处理方法、装置及系统

Country Status (2)

Country Link
CN (1) CN109218659A (zh)
WO (1) WO2019007402A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111596242A (zh) * 2020-06-04 2020-08-28 京东方科技集团股份有限公司 一种样本模拟扫描设备以及使用方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111221491A (zh) * 2020-01-09 2020-06-02 Oppo（重庆）智能科技有限公司 交互控制方法及装置、电子设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080228577A1 (en) * 2005-08-04 2008-09-18 Koninklijke Philips Electronics, N.V. Apparatus For Monitoring a Person Having an Interest to an Object, and Method Thereof
CN103716667A (zh) * 2012-10-09 2014-04-09 鸿富锦精密工业（深圳）有限公司 通过显示设备捕获目标物信息的显示系统及显示方法
CN104597759A (zh) * 2014-12-26 2015-05-06 深圳市兰丁科技有限公司 基于网络视频的家居控制方法和系统及智能家居管理系统
CN105679017A (zh) * 2016-01-27 2016-06-15 福建工程学院 一种轻微交通事故辅助取证的方法及系统
CN105791437A (zh) * 2016-04-29 2016-07-20 板牙信息科技（上海）有限公司 一种用于存储视频信息的方法与设备
CN106162355A (zh) * 2015-04-10 2016-11-23 北京云创视界科技有限公司 视频交互方法及终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007060026A (ja) * 2005-08-22 2007-03-08 Canon Inc 映像処理装置及びオブジェクト特定方法
US20140035877A1 (en) * 2012-08-01 2014-02-06 Hon Hai Precision Industry Co., Ltd. Using a display device with a transparent display to capture information concerning objectives in a screen of another display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080228577A1 (en) * 2005-08-04 2008-09-18 Koninklijke Philips Electronics, N.V. Apparatus For Monitoring a Person Having an Interest to an Object, and Method Thereof
CN103716667A (zh) * 2012-10-09 2014-04-09 鸿富锦精密工业（深圳）有限公司 通过显示设备捕获目标物信息的显示系统及显示方法
CN104597759A (zh) * 2014-12-26 2015-05-06 深圳市兰丁科技有限公司 基于网络视频的家居控制方法和系统及智能家居管理系统
CN106162355A (zh) * 2015-04-10 2016-11-23 北京云创视界科技有限公司 视频交互方法及终端
CN105679017A (zh) * 2016-01-27 2016-06-15 福建工程学院 一种轻微交通事故辅助取证的方法及系统
CN105791437A (zh) * 2016-04-29 2016-07-20 板牙信息科技（上海）有限公司 一种用于存储视频信息的方法与设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111596242A (zh) * 2020-06-04 2020-08-28 京东方科技集团股份有限公司 一种样本模拟扫描设备以及使用方法

Also Published As

Publication number Publication date
WO2019007402A1 (zh) 2019-01-10

Similar Documents

Publication Publication Date Title
US8850495B2 (en) Advertisement delivering system based on digital television system and mobile communication device
JP6401185B2 (ja) 記事コンテンツの再ランク付け
CN111541936A (zh) 视频及图像处理方法、装置、电子设备、存储介质
CN102546608B (zh) 用于同步播放媒体信息的方法、装置、设备和系统
US9043831B2 (en) Advertisement delivering system based on digital television system and mobile communication device
CN104618788B (zh) 一种显示视频信息的方法及装置
US10402250B2 (en) Digital signage and method of controlling the same
US20090132367A1 (en) Electronic advertisement system
WO2022252514A1 (zh) 信息显示方法及装置
CN107193975A (zh) 信息资源收藏方法、装置及计算机可读存储介质
CN107229527A (zh) 信息资源收藏方法、装置及计算机可读存储介质
JP2018129802A (ja) ライブストリーミング映像生成方法及び装置、ライブサービス提供方法及び装置、並びにライブストリーミングシステム
CN103078788B (zh) 一种基于应用的信息交互方法及系统
WO2008118513A1 (en) Intelligent orchestration of cross-device media communications
JP2016505983A (ja) ソーシャル・カバー・フィード・インターフェース
US20150170184A1 (en) Method for providing advertisement service based on call
CN103959825A (zh) 使得能够回忆感兴趣内容以便随后回顾的方法、装置及系统
CN106067897A (zh) 基于用户终端位置的信息推送方法和装置
CN104331503A (zh) 信息推送的方法及装置
WO2023241527A1 (zh) 直播流处理方法、装置、设备及存储介质
CN109218659A (zh) 一种视频交互处理方法、装置及系统
CN108810602B (zh) 一种用于显示直播间信息的方法、装置及计算机设备
CN113420243A (zh) 页面处理方法、装置及电子设备
CN105956199A (zh) 信息展示方法及装置
DE202017105308U1 (de) Videosurfen per Langhaltegeste

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190115