CN110087114A - 一种视频控制智能设备互动系统及方法 - Google Patents

一种视频控制智能设备互动系统及方法 Download PDF

Info

Publication number
CN110087114A
CN110087114A CN201910386795.7A CN201910386795A CN110087114A CN 110087114 A CN110087114 A CN 110087114A CN 201910386795 A CN201910386795 A CN 201910386795A CN 110087114 A CN110087114 A CN 110087114A
Authority
CN
China
Prior art keywords
smart machine
control
video
code
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910386795.7A
Other languages
English (en)
Inventor
王东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910386795.7A priority Critical patent/CN110087114A/zh
Publication of CN110087114A publication Critical patent/CN110087114A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明公开了一种视频控制智能设备互动系统及方法，互动系统包括有编辑器、播放器、数据读取模块及动作解码器。将制作好的代码库和指令库分别导入编辑器和动作解码器中；通过编辑器播放视频并编辑控制代码，生成控制文件；播放器与智能设备连接，播放视频且传输视频时间轴信息，通过数据读取模块读取控制控制文件中对应时间点的动作代码并传送给动作解码器识别，并转换为对应的智能设备控制指令，发送给智能设备控制器，控制智能设备完成预定动作。本发明在编辑时，用户只需在编辑器中添加代码即可，就能获得同步动作的控制文件，通过控制文件则可以在用户播放视频时同步控制智能设备动作，可应用在机器人仿真教学、智能设备互动娱乐等领域。

Description

一种视频控制智能设备互动系统及方法
技术领域
本发明涉及机器人控制技术领域，尤其是一种视频控制智能设备互动系统及方法。
背景技术
人机交互技术随着智能设备的广泛应用越来越受到研究人员和用户的重视，其交互技术的普适性将会影响机器人在生产，参与人的生活的效能。通常现有智能设备内置有实现相应动作的程序，人与智能设备交互可以通过控制器可实现对机器人的控制，也可通过图形化编程界面等编程方式，对智能设备进行快速编程。
如申请号为201510563584.8的中国发明专利，公开一种人机交互方法，该人机交互方法包括：获取含有深度信息的使用者手部的待测图像序列；在待测图像序列的每帧图像中检测出使用者的手部轮廓；利用预设的手部结构模板，在待测图像序列的每帧图像中确定每只手的待测特征点序列；在多个预设特征点序列中确定每只手的待测特征点序列的匹配序列，以确定每只手的动作名称和位置；在预设手势表中选择与使用者双手的动作名称和位置相匹配的手势；根据预设操作指令表，确定与已识别手势对应的操作指令；对与确定的操作指令相关的设备进行与该操作指令对应的操作。上述技术能够在人机交互过程中准确识别使用者的手势，识别精度较高，而且识别速度较快。
再如申请号为201510740815.8的中国发明专利，公开一种带有情绪及表情模块的3D视频互动机器人，包括：输入模块，用于接收用户行为以及用户资料；情绪模块，根据用户资料以及当前的用户行为，得出机器人相应的情绪种类以及情绪等级，并反馈相应的情绪数据给处理模块；表情模块，根据情绪种类以及情绪等级，查找符合相应情绪数据的3D人物动作动画以及语音；输出模块，显示相应的3D人物动作动画，同时播报3D人物的语音；处理模块，对各模块进行协调控制。本发明功能丰富，还能支持日常的各种机器人提醒、新闻推送、协助记录，录音，代替进行互联网数据搜索，检索，协助拨通电话，附近好友、附近美食等功能。
不管是通过内置的程序控制，还是通过采用上述专利公开的控制方式，人都可以与智能设备实现自然交互，但是浸入感不强，不能获得较好的临场感。尤其在采用智能机器人仿真教学或娱乐的过程中，机器人动作需要和视频中的主教动作保持一致，才能给人带来更高的娱乐性。比如机器人教学或互动玩具等，在为人类服务过程中，保持跟教学视频或影片中主角动作一致，将为人带来更好的真实感，以及额外的愉悦感。
发明内容
本发明的目的在于提供一种视频控制智能设备互动系统，使用该互动系统的互动方法能够使智能设备在对应时间点上同步动作。
为解决上述技术问题，本发明采用的技术方案是：一种视频控制智能设备互动系统，其特征在于：包括有：
编辑器，用于播放视频并编辑控制代码，生成带有动作代码的控制文件；
播放器，与智能设备连接，用于播放视频与传输视频时间轴信息；
数据读取模块，用于读取控制控制文件中对应时间点的动作代码；
动作解码器，用于识别动作代码并转换为对应的智能设备控制指令，发送给智能设备控制器。
进一步地，加载所述编辑器的终端为手机或电脑，加载所述播放器的终端为手机、电脑、平板电脑、VR眼镜、全息视频投影仪、投影仪、电视、MP4播放器中的一种或多种。
本发明还提供一种采用上述视频控制智能设备互动系统的互动方法，其特征在于：包括如下步骤：
S1：将制作好的代码库和指令库分别导入编辑器和动作解码器中；
S2：通过编辑器终端根据视频文件内容进行编辑，在视频播放至每一个需要智能设备同步动作的时间点时，点击动作编辑按钮，选择代码库中的动作代码并插入，形成一个与当前播放时间点匹配的动作代码信息，所有需同步动作的时间点编辑完成后，生成控制文件；
S3：播放器终端与智能设备连接，并将控制文件导入到播放器终端或智能设备中，通过播放器终端播放视频时，由设置在播放器终端或智能设备中的数据读取模块读取到控制文件，当视频播放时间点上同步的控制文件时间点上存在动作代码时，将动作代码发送给动作解码器；
S4：动作解码器识别动作代码并转换为对应的智能设备控制指令，发送给智能设备控制器，控制智能设备完成预定动作。
进一步地，所述代码库和指令库由智能设备编程工程师根据动作要求制作。
进一步地，所述播放器终端通过蓝牙、wifi、手机无线通讯网、zigbee、USB、串口、以太网中的任一种与所述智能设备进行连接。
本发明的有益效果是：本发明先由智能设备编程人员事先编辑好代码库和对应的指令库，编辑用户只需根据需要在编辑器中添加代码即可，就能获得同步动作的控制文件，让没有机器人编程基础的编辑人员也可以完成编辑工作；通过控制文件则可以在用户播放视频时同步控制智能设备动作，可应用在机器人仿真教学、智能设备互动娱乐等领域。
附图说明
下面结合附图对本发明作进一步的详细说明。
图1为本发明之互动系统的原理框图。
图2为本发明应用实例1的模拟示意图。
具体实施方式
如图1所示，本发明一种视频控制智能设备互动系统，包括有：
编辑器，用于播放视频并编辑控制代码，生成带有动作代码的控制文件。
播放器，与智能设备连接，用于播放视频，同时给智能设备传输视频时间轴信息。
数据读取模块，用于读取控制控制文件中对应时间点的动作代码。
动作解码器，用于识别动作代码并转换为对应的智能设备控制指令，发送给智能设备控制器。
进一步地，加载所述编辑器的终端为手机或电脑，加载所述播放器的终端为手机、电脑、平板电脑、VR眼镜、全息视频投影仪、投影仪、电视、MP4播放器中的一种或多种。
其中，数据读取模块、动作解码器可以设置在播放器终端内，与播放器终端集成在一起。也可以设置在智能设备内，与智能设备集成在一起。
本发明还提供一种采用上述视频控制智能设备互动系统的互动方法，包括如下步骤：
S1：将制作好的代码库和指令库分别导入编辑器和动作解码器中。
S2：通过编辑器终端根据视频文件内容进行编辑，在视频播放至每一个需要智能设备同步动作的时间点时，点击动作编辑按钮，选择代码库中的动作代码并插入，形成一个与当前播放时间点匹配的动作代码信息，所有需同步动作的时间点编辑完成后，生成控制文件。
S3：播放器终端与智能设备连接，并将控制文件导入到播放器终端中，通过播放器终端播放视频时，由设置在播放器终端中的数据读取模块读取到控制文件，当视频播放时间点上同步的控制文件时间点上存在动作代码时，将动作代码发送给动作解码器。当然，也可以将控制文件导入到智能设备中，对应的则在智能设备设置有数据读取模块。
S4：动作解码器识别动作代码并转换为对应的智能设备控制指令，发送给智能设备控制器，控制智能设备完成预定动作。
进一步地，所述代码库和指令库由智能设备编程工程师根据动作要求制作。
进一步地，所述播放器终端通过蓝牙、wifi、手机无线通讯网、zigbee、USB、串口、以太网中的任一种与所述智能设备进行连接。
下面通过具体的应用实例对本发明作进一步的说明。
应用实例1
如图2所示，是本发明的一个实施例，主要是实现机械人玩具与视频实现简单的同步跳跃模拟。采用的是手机同时作为编辑器和播放器的终端，其软件客户端能够实现视频播放、智能设备动作数据文件的编辑、以及、智能设备控制。用户可以通过视频播放窗口读取并播放本地/在线视频1文件，并通过播放按钮、时间进度条调整视频播放进度。
本应用实例中智能设备只有一个动作，如跳跃，用动作编辑按钮进行动作编辑，每点按动作编辑按钮，就会在控制文件中插入一个与当前视频播放时间点匹配的动作代码。用户可以通过拖动视频时间进度条调整需要编辑的视频片段。用户完成全部的动作编辑后，通过编辑器的“完成”按钮结束编辑，或者视频播放到结尾自动结束编辑过程。
在视频控制过程中，在智能设备控制界面，用户可以选择视频1进行播放，系统在数据读取模块读取到当前视频播放时间点上存在动作代码时，由动作解码器解码并发向机械人玩具发出控制指令，控制智能设备完成预设跳跃动作，实现智能设备与视频同步的动作控制。
以上内容仅用以说明本发明的技术方案，本领域的普通技术人员对本发明的技术方案进行的简单修改或者等同替换，均不脱离本发明技术方案的实质和范围。

Claims (5)

1.一种视频控制智能设备互动系统，其特征在于：包括有：
编辑器，用于播放视频并编辑控制代码，生成带有动作代码的控制文件；
播放器，与智能设备连接，用于播放视频与传输视频时间轴信息；
数据读取模块，用于读取控制控制文件中对应时间点的动作代码；
动作解码器，用于识别动作代码并转换为对应的智能设备控制指令，发送给智能设备控制器。
2.根据权利要求1所述的视频控制智能设备互动系统，其特征在于：加载所述编辑器的终端为手机或电脑，加载所述播放器的终端为手机、电脑、平板电脑、VR眼镜、全息视频投影仪、投影仪、电视、MP4播放器中的一种或多种。
3.一种采用权利要求1或2所述视频控制智能设备互动系统的互动方法，其特征在于：包括如下步骤：
将制作好的代码库和指令库分别导入编辑器和动作解码器中；
通过编辑器终端根据视频文件内容进行编辑，在视频播放至每一个需要智能设备同步动作的时间点时，点击动作编辑按钮，选择代码库中的动作代码并插入，形成一个与当前播放时间点匹配的动作代码信息，所有需同步动作的时间点编辑完成后，生成控制文件；
播放器终端与智能设备连接，并将控制文件导入到播放器终端或智能设备中，通过播放器终端播放视频时，由设置在播放器终端或智能设备中的数据读取模块读取到控制文件，当视频播放时间点上同步的控制文件时间点上存在动作代码时，将动作代码发送给动作解码器；
动作解码器识别动作代码并转换为对应的智能设备控制指令，发送给智能设备控制器，控制智能设备完成预定动作。
4.根据采用权利要求3所述视频控制智能设备互动系统的互动方法，其特征在于：所述代码库和指令库由智能设备编程人员根据动作要求制作。
5.根据采用权利要求3所述视频控制智能设备互动系统的互动方法，其特征在于：所述播放器终端通过蓝牙、wifi、手机无线通讯网、zigbee、USB、串口、以太网中的任一种与所述智能设备进行连接。
CN201910386795.7A 2019-05-10 2019-05-10 一种视频控制智能设备互动系统及方法 Pending CN110087114A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910386795.7A CN110087114A (zh) 2019-05-10 2019-05-10 一种视频控制智能设备互动系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910386795.7A CN110087114A (zh) 2019-05-10 2019-05-10 一种视频控制智能设备互动系统及方法

Publications (1)

Publication Number Publication Date
CN110087114A true CN110087114A (zh) 2019-08-02

Family

ID=67419584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910386795.7A Pending CN110087114A (zh) 2019-05-10 2019-05-10 一种视频控制智能设备互动系统及方法

Country Status (1)

Country Link
CN (1) CN110087114A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278477A (zh) * 2019-05-28 2019-09-24 王东 一种控制文件生成方法、电子设备控制方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102395051A (zh) * 2011-11-07 2012-03-28 上海网达软件有限公司 一种视频播放器系统及其开发、安装运行方法
US20170366858A1 (en) * 2016-06-20 2017-12-21 Shenzhen Love Sense Technology Co., Ltd. System and method for composing function programming for adult toy operation in synchronization with video playback
CN107961530A (zh) * 2016-10-19 2018-04-27 秦皇岛金猿数码科技有限公司 互动游戏
US20180165980A1 (en) * 2016-12-08 2018-06-14 Casio Computer Co., Ltd. Educational robot control device, student robot, teacher robot, learning support system, and robot control method
CN108721890A (zh) * 2018-05-25 2018-11-02 数字王国空间（北京）传媒科技有限公司 Vr动作适配方法、装置及可读存储介质
CN108744535A (zh) * 2018-05-25 2018-11-06 数字王国空间（北京）传媒科技有限公司 Vr播放控制方法、装置、vr控制终端及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102395051A (zh) * 2011-11-07 2012-03-28 上海网达软件有限公司 一种视频播放器系统及其开发、安装运行方法
US20170366858A1 (en) * 2016-06-20 2017-12-21 Shenzhen Love Sense Technology Co., Ltd. System and method for composing function programming for adult toy operation in synchronization with video playback
CN107961530A (zh) * 2016-10-19 2018-04-27 秦皇岛金猿数码科技有限公司 互动游戏
US20180165980A1 (en) * 2016-12-08 2018-06-14 Casio Computer Co., Ltd. Educational robot control device, student robot, teacher robot, learning support system, and robot control method
CN108721890A (zh) * 2018-05-25 2018-11-02 数字王国空间（北京）传媒科技有限公司 Vr动作适配方法、装置及可读存储介质
CN108744535A (zh) * 2018-05-25 2018-11-06 数字王国空间（北京）传媒科技有限公司 Vr播放控制方法、装置、vr控制终端及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
佟施、乐文行主编: "《多媒体技术》", 31 January 2004, 人民交通出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278477A (zh) * 2019-05-28 2019-09-24 王东 一种控制文件生成方法、电子设备控制方法及电子设备

Similar Documents

Publication Publication Date Title
US9984724B2 (en) System, apparatus and method for formatting a manuscript automatically
US9699431B2 (en) Automatic tracking, recording, and teleprompting device using multimedia stream with video and digital slide
US20120151320A1 (en) Associating comments with playback of media content
US6477437B1 (en) Assembly work support system
WO2016011159A9 (en) Apparatus and methods for providing a persistent companion device
US20160172000A1 (en) An apparatus of providing a user interface for playing and editing moving pictures and the method thereof
JP2011527863A (ja) 媒体生成システム及び方法
CN103430217A (zh) 输入支持装置、输入支持方法及记录介质
CN110750161A (zh) 一种交互系统、方法、移动设备及计算机可读介质
US20180296916A1 (en) System and method for spatial and immersive computing
CN107547942A (zh) 一种二进制电视系统及方法
US20220246135A1 (en) Information processing system, information processing method, and recording medium
KR102485166B1 (ko) 디스플레이 장치 및 그의 동작 방법
Cox et al. Moving object-based media production from one-off examples to scalable workflows
CN110087114A (zh) 一种视频控制智能设备互动系统及方法
US20180276185A1 (en) System, apparatus and method for formatting a manuscript automatically
Renz et al. Optimizing the video experience in moocs
CN111984161A (zh) 智能机器人的控制方法及装置
KR101721231B1 (ko) 미디어 플랫폼을 이용한 mpeg-v 표준 기반의 4d 미디어 제작방법
CN115177937A (zh) 一种交互式智能健身镜面装置
CN108616768A (zh) 多媒体资源的同步播放方法、装置、存储位置及电子装置
CN104427360B (zh) 多轨媒体剪辑的编辑及播放系统与方法
KR102177283B1 (ko) 대인 관계 개선을 위한 ｈｃｉ를 이용한 콘텐츠의 제작 및 편집을 지원하는 시스템 및 방법
Nijholt Towards the automatic generation of virtual presenter agents
CN107331227A (zh) 演示文稿的动画跟随方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190802

RJ01 Rejection of invention patent application after publication