CN113473221A - 一种智能设备、视频播放方法及视频处理方法 - Google Patents

一种智能设备、视频播放方法及视频处理方法 Download PDF

Info

Publication number
CN113473221A
CN113473221A CN202010343147.6A CN202010343147A CN113473221A CN 113473221 A CN113473221 A CN 113473221A CN 202010343147 A CN202010343147 A CN 202010343147A CN 113473221 A CN113473221 A CN 113473221A
Authority
CN
China
Prior art keywords
video
frame
subsequence
reference key
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010343147.6A
Other languages
English (en)
Other versions
CN113473221B (zh
Inventor
高桢
孙菁
高语函
曲磊
李正义
赵启东
谢飞学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Co Ltd
Original Assignee
Hisense Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Co Ltd filed Critical Hisense Co Ltd
Priority to CN202010343147.6A priority Critical patent/CN113473221B/zh
Publication of CN113473221A publication Critical patent/CN113473221A/zh
Application granted granted Critical
Publication of CN113473221B publication Critical patent/CN113473221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种智能设备、视频播放方法及视频处理方法，可以通过处理器获取到待处理视频，并确定出待处理视频的基准关键帧。这样可以根据待处理视频中的视频帧与基准关键帧之间的相似关系，将待处理视频划分为连续的多个视频子序列，从而将该待处理视频的内容进行自动分割。并且，将每一个视频子序列中的第一个视频帧作为视频子序列的标志帧，以完成自动分割。从而在显示器播放经处理器处理后的视频时，可以通过视频子序列的标志帧进行上一个或下一个视频子序列的自动跳转。

Description

一种智能设备、视频播放方法及视频处理方法
技术领域
本发明涉及智能设备技术领域，特别涉及一种智能设备、视频播放方法及视频处理方法。
背景技术
随着生活水平的日益提高，智能设备已经成为人们生活中必不可少的家用电器，并且，随着生活需求的提高，人们对智能设备产品的智能化的要求程度也越来越高。
发明内容
本发明实施例提供一种智能设备、视频播放方法及视频处理方法，用以实现对视频进行自动分割。
本申请实施例提供的智能设备，包括：机壳；存储器；处理器，显示器，设置于所述机壳上；
处理器，被配置为：获取待处理视频；确定所述待处理视频中的多个基准关键帧；根据所述待处理视频中的视频帧与所述基准关键帧之间的相似关系，将所述待处理视频划分为连续的多个视频子序列；将每一个所述视频子序列中的第一个视频帧确定为每一个所述视频子序列的标志帧；将确定出每一个所述视频子序列的标志帧后的待处理视频保存在所述存储器中。其中，所述多个基准关键帧顺序排列；一个所述视频子序列对应一个所述基准关键帧。
在本申请某些实施例中，可以通过处理器获取到待处理视频，并确定出待处理视频的基准关键帧。这样可以根据待处理视频中的视频帧与基准关键帧之间的相似关系，将待处理视频划分为连续的多个视频子序列，从而将该待处理视频的内容进行自动分割。并且，将每一个视频子序列中的第一个视频帧作为视频子序列的标志帧，以完成自动分割。从而在显示器播放经处理器处理后的视频时，可以通过视频子序列的标志帧进行上一个或下一个视频子序列的自动跳转。
在本申请某些实施例中，对于提取得到的部分候选关键帧，可能相邻两个候选关键帧之间存在较大的相似性，因此可以针对每相邻的两个候选关键帧，确定每相邻两个候选关键帧之间的初始相似度。若初始相似度大于一定数值的初始相似阈值，则说明这两个候选关键帧之间存在较大的相似性。因此，可以选取序号较小的候选关键帧作为基准关键帧，而舍弃另一个候选关键帧。否则，可以同时保留这两个候选关键帧，并将这两个候选关键帧均作为基准关键帧。
在本申请某些实施例中，基准关键帧是每一个视频子序列中最能够表征该视频子序列所要播放的视频内容的一帧图像。基于得到的基准关键帧，对视频中的视频帧进行属性判定。从而可以根据得到的各视频帧的属性，将相同属性的视频帧划归为同一视频的视频子序列。本申请通过将属性相同的视频帧与基准关键帧划分为一个视频子序列，这样可以使一个视频子序列中的视频帧组成一个镜头或一个场景。从而可以通过将待处理视频划分为连续的多个视频子序列，可以将待处理视频进行自动分割以获得内容分段时间点。
在本申请某些实施例中，第j个视频子序列中更新后的基准关键帧与更新前的基准关键帧相同时，可以说明第j个视频子序列中的视频帧可以组成一个镜头或一个场景，从而可以将该待处理视频的内容进行自动分割。
本申请实施例提供的智能设备，包括：机壳；显示器，设置于所述机壳上；
所述处理器被进一步配置为：接收待播放视频；接收第一输入指令，控制所述显示器播放的视频由当前视频子序列切换到与所述当前视频子序列相邻的上一个视频子序列，并在所述显示器上播放切换后的所述上一个视频子序列；和/或，接收第二输入指令，控制所述显示器上播放的视频由当前视频子序列切换到与所述当前视频子序列相邻的下一个视频子序列，并在所述显示器上播放切换后的所述下一个视频子序列；其中，所述待播放视频被划分为连续的多个视频子序列，所述相邻的视频子序列包含不同操作步骤或操作状态的视频帧。
在本申请某些实施例中，可以通过处理器获取到带播放视频，并确定出带播放视频的基准关键帧。这样可以根据带播放视频中的视频帧与基准关键帧之间的相似关系，将带播放视频划分为连续的多个视频子序列，从而将该带播放视频的内容进行自动分割。并且，将每一个视频子序列中的第一个视频帧作为视频子序列的标志帧，以完成自动分割。从而在显示器播放经处理器处理后的视频时，可以通过接收第一输入指令，以使显示器播放的视频自动跳转至上一个视频子序列的标志帧后开始自动播放。也可以通过接收第二输入指令，以使显示器播放的视频自动跳转至下一个视频子序列的标志帧后开始自动播放。
本申请实施例提供的视频处理方法，包括：获取待处理视频；确定所述待处理视频中的多个基准关键帧；根据所述待处理视频中的视频帧与所述基准关键帧之间的相似关系，将所述待处理视频划分为连续的多个视频子序列；将每一个所述视频子序列中的第一个视频帧确定为每一个所述视频子序列的标志帧；将确定出每一个所述视频子序列的标志帧后的待处理视频保存在所述存储器中。其中，所述多个基准关键帧顺序排列；一个所述视频子序列对应一个所述基准关键帧。
本申请实施例提供的视频播放方法，包括：接收待播放视频；接收第一输入指令，控制所述显示器播放的视频由当前视频子序列切换到与所述当前视频子序列相邻的上一个视频子序列，并在所述显示器上播放切换后的所述上一个视频子序列；和/或，接收第二输入指令，控制所述显示器上播放的视频由当前视频子序列切换到与所述当前视频子序列相邻的下一个视频子序列，并在所述显示器上播放切换后的所述下一个视频子序列；其中，所述待播放视频被划分为连续的多个视频子序列，所述相邻的视频子序列包含不同操作步骤或操作状态的视频帧。
附图说明
图1a为本申请一些实施例提供的冰箱的结构示意图；
图1b为本申请一些实施例提供的一些冰箱的局部结构示意图；
图2为本申请一些实施例提供的抽油烟机的结构示意图；
图3为本申请一些实施例提供的一些智能设备的配置框图；
图4为本申请一些实施例提供的处理器中的架构配置框图；
图5为本申请一些实施例提供的视频播放方法的流程图；
图6为本申请又一些实施例提供的视频处理方法的流程图；
图7为本申请又一些实施例提供的视频处理方法的流程图；
图8为本申请又一些实施例提供的视频处理方法的流程图；
图9为本申请一些实施例提供的部分视频帧的示意图；
图10a为本申请一些实施例提供的第一个基准视频帧的示意图；
图10b为本申请一些实施例提供的一个视频帧fi的示意图；
图10c为本申请一些实施例提供的第二个基准视频帧的示意图；
图11为本申请一些实施例提供的视频播放方法的流程图。
附图标记：
0100-储藏室，0100A-冷冻室，0100B-冷藏室，0200-门体，0200A-冷冻室门体，0200B-冷藏室门体，0101-储物抽屉，0102-第一层架，0103-第二层架；10-图像采集单元；110-控制器，120-存储器，130-通信器，140-用户输入接口，150-用户输出接口，160-供电电源，170-图像采集接口，180-显示器；111-随机存取存储器，112-只读存储器，113-处理器；131-红外信号接口，132-射频信号接口，133-WIFI模块，134-蓝牙模块，135-有线以太网模块；141-麦克风，142-触摸板，143-触感器，144-按键，151-LED接口，152-振动接口，153-声音输出接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
需要注意的是，附图中各图形的尺寸和形状不反映真实比例，目的只是示意说明本发明内容。并且自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
一个现代化的厨房通常有的设备包括炉具(例如，燃气炉、微波炉或烤箱)、料理台(例如：橱柜、洗碗槽)、冰箱、洗碗机、抽油烟机等设置。随着生活需求的提高，人们对厨房中的设备的智能化的要求程度也越来越高。如图1a所示，智能设备可以包括冰箱。如图2所示，智能设备也可以包括抽油烟机。下面以冰箱进行说明。当然，在实际应用中，智能设备具体设置为哪种产品可以根据实际应用需求进行设计确定，在此不作限定。
图1a为本申请一些实施例中的一些冰箱的立体结构示意图。参照图1a，本实施例的冰箱1可以包括近似长方体形状的机壳。机壳可以包括储藏室0100以及与机壳活动连接的门体0200。在实际应用中，冰箱1的外观可以通过限定存储空间的储藏室0100和设置在储藏室0100中的门体0200进行确定。在一些示例中，储藏室0100为具有开口的箱体，其由储藏室内胆、储藏室外壳以及位于两者之间的发泡层形成。门体0200用于遮挡储藏室0100的开口。储藏室0100被竖直分隔成位于下方的冷冻室0100A以及位于上方的冷藏室0100B。其中，冷冻室0100A和冷藏室0100B可分别具有独立的存储空间。
在一些示例中，门体0200可以包括冷冻室门体0200A和冷藏室门体0200B。并且，冷冻室0100A限定在储藏室0100的下侧处并且可通过冷冻室门体0200A将冷冻室0100A的开口进行选择性地覆盖。
在一些示例中，冷藏室0100B限定在储藏室0100的上侧处，即冷藏室0100B设置在冷冻室0100A上方。并且，通过冷藏室门体0200B将冷藏室0100B的开口进行选择性地覆盖。在实际应用中，冷藏室门体0200B可枢转地安装在冷藏室0100B上，这样可以使冷藏室0100B的开口可通过冷藏室门体0200B选择性地打开或关闭。
在一些示例中，在本发明实施方式中的冰箱的储藏室0100内，可以包括储物抽屉0101以及位于储物抽屉0101上的第一层架0102和第二层架0103。其中，储物抽屉0101第一层架0102和第二层架0103可以分别用来盛放食材(例如，水果、蔬菜等)。
随着对生活质量的需求提高，美食教学视频进入了用户的生活中，使得用户的饮食生活变得更加丰富多样。例如，用户在制作美食时，可以通过冰箱的显示器播放并观看美食教学视频，从而可以使用户能够参考美食教学视频实现“边观看边操作”，从而为用户提供了更为便利的美食烹饪指导。在实际应用中，用户在观看美食教学视频的过程中，时常需要进行播放操作，如“暂停”、“播放”、“快进”、“后退”、“下一步”、“上一步”等。通常情况下，用户预先对这些视频中的内容进行了分段时间点的人为标注。然而，对于当前海量的视频资源，一方面无法通过人工对其的分段时间点进行预先标注，另一方面对视频的分段时间点进行预先标注工作耗费人力物力。这样使得用户对冰箱产品的智能化的要求程度越来越高。
本申请一些实施例提供的冰箱，可以应用于对用户进行视频播放的场景中，例如，用户确定了想要制作的美食，选取了制作该美食的食谱，该食谱对应有美食教学视频，冰箱上的显示器可以将该美食教学视频进行播放。
在本发明一些实施例中，如图1b所示，冰箱还可以包括图像采集单元10，用于采集用户存取食材过程中拿取食材的多帧检测图像。例如，可以通过图像采集单元10采集用户每次放入储藏室中的食材的检测图像，以通过该检测图像对用户放入的食材的种类进行识别。也可以通过图像采集单元10采集用户每次从储藏室中拿出的食材的多帧检测图像，以通过该检测图像对用户拿出的食材的种类进行识别。当然，用户也可以通过语音交互将食材的放入和拿出录入到冰箱中。当然，也可以通过图像采集单元10采集使用冰箱的人员的人脸图像，从而进行人脸识别。
在一些示例中，图像采集单元可以是彩色相机，也可以是深度相机，或者两者的组合。其中，彩色相机可以是普通彩色相机，也可以是广角彩色相机。深度相机可以是双目相机，也可以是结构光相机，还可以是基于飞行时间(time of fly，简称TOF)的相机。
在本发明一些实施例中，该图像采集单元的视角范围能够覆盖整个冷藏室和/或整个冷冻室，从而可以在用户存取食材过程中，采集到用户拿取食材的检测图像。在一些示例中，图像采集单元用于响应于门体的开启，获取具有待识别食材的多帧检测图像。例如，在冷藏室门体0200B开启时，在用户拿取食材的过程进行采集，以采集多帧带有待识别食材的多帧检测图像。
在一些示例中，如图1b所示，图像采集单元10可以安装在冰箱的储藏室(例如冷藏室0100B)内部的顶端。或者，图像采集单元10也可以安装在冰箱的储藏室(例如冷藏室0100B)外部的顶端(例如，靠近冷藏室门体0200B的顶部)。
在本发明一些实施例中，图3中示例性示出了智能设备的一些配置框图。如图3所示，智能设备还可以包括控制器110、存储器120、通信器130、用户输入接口140、用户输出接口150、供电电源160，图像采集接口170，以及显示器180。
控制器110包括随机存取存储器(Random Access Memory，RAM)111、只读存储器(Read Only Memory image，ROM)112、处理器113、通信接口以及通信总线。控制器110用于控制上述器件的运行和操作，以及内部各部件之间的通信协作、外部和内部的数据处理功能。
示例性的，当检测到用户按压在按键144的交互或触摸在触摸板142上的交互时，控制器110可控制处理器113产生与检测到的交互相应的信号，并将该信号发送到显示器180，以使显示器180可以显示相应的内容或画面。
在一些示例中，处理器113可以被配置为接收图像采集单元采集到的多帧检测图像，并确定每一帧检测图像的特征向量；根据预先确定的多个不同食材种类对应的类特征向量和每一帧检测图像的特征向量，确定待识别食材对应每一个食材种类的目标置信概率；将目标置信概率中的最大值对应的食材种类，确定为待识别食材的种类。进一步地，处理器113可以根据确定出的待识别食材的种类向显示器180发送控制指令，以使显示器180可以显示确定出的待识别食材的种类或图像。
在一些示例中，在本发明一些实施例中，处理器113可以被配置为在食材从智能设备的储藏室中拿出或向储藏室放入时可以实现存取食材的种类的识别，可以通过多帧图像进行动态识别，以提高识别出食材的种类的准确度。并且，还可以对用户每次从智能设备的储藏室中拿出或向储藏室放入的食材进行管理，例如，可以将用户每次放入储藏室中的食材的种类、数量和保鲜期进行记录并管理，从而可以形成用户的食材存入记录。也可以将用户每次拿出的食材的种类和数量进行记录并管理，从而可以形成用户的食材拿取记录。
在一些示例中，处理器113可以是中央处理器(Central Processing Unit，CPU)，图形处理器(Graphics Processing Unit，GPU)或者CPU和GPU的组合。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(Application-Specific IntegratedCircuit，ASIC)，可编程逻辑器件(Programmable Logic Device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)，现场可编程逻辑门阵列(Field-Programmable Gate Array，FPGA)，通用阵列逻辑(Generic Array Logic，GAL)或其任意组合。
存储器120，用于在控制器110的控制下存储驱动和控制的各种运行程序、数据和应用。存储器120，可以存储用户输入的各类控制信号指令。在一些示例中，存储器通过总线或其它方式与处理器相连，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行。
通信器130，可以是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如智能设备可将内容数据发送至经由通信器130连接的外部设备，或者，从经由通信器130连接的外部设备浏览和下载内容数据。通信器130可以包括红外信号接口131、射频信号接口132、WIFI模块133、蓝牙通信协议模块134、有线以太网通信协议模块135等网络通信协议模块或近场通信协议模块，从而通信器130可根据控制器110的控制，实现与外部设备或外部服务器之间控制信号和数据信号的通信。例如：红外信号接口时，需要将用户发送的红外控制信号按照红外控制协议转化后输出给控制器110。例如，射频信号接口时，需将用户输入的射频控制信号模式的指令转化后输出给控制器110。例如，通过WIFI模块133、蓝牙通信协议模块134、有线以太网通信协议模块135接收外部设备控制智能设备的控制信号，并将控制信号处理后输出给控制器110。
用户输入接口140，可包括麦克风141、触摸板142、传感器143、按键144等中至少一者，从而用户可以通过语音、触摸、手势、按压等将关于控制智能设备的用户指令输入到智能设备。例如，可以使用户通过语音、触摸、手势、按压中的至少一种，将视频播放指令、第一输入指令、第二输入指令、第三输入指令、第四输入指令、第五输入指令以及第六输入指令输入到智能设备的处理器113中。
用户输出接口150，通过将用户输入接口140接收的用户指令输出给控制器110，以通过控制器110控制处理器113执行相应的程序步骤。或者，也可以使处理器113执行相应的程序步骤后，控制显示器180显示相应的画面或者通过用户输出接口输出相应的内容。这里，用户输出接口150可以包括LED接口151、产生振动的振动接口152、输出声音的声音输出接口153等。例如，显示器可从用户输出接口150接收音频、视频或数据等输出信号，并且将输出信号在显示器上显示为图像形式、在声音输出接口153输出为音频形式或在振动接口152输出为振动形式。
图像采集接口170，用于将图像采集单元10与智能设备进行信号连接。例如，图像采集单元10采集到的检测图像可以通过图像采集接口170传输给控制器110中的处理器113。
显示器180，用于接收处理器113输入的图像信号，进行显示视频内容、图像以及菜单操控界面。显示视频内容，可以来自处理器113处理后的视频内容，也可以来自通信器130或用户输入接口140输入的视频内容。显示器180，还可以同时显示用于控制智能设备的用户操控界面UI。以及，显示器180还可以包括用于呈现画面的显示器组件以及驱动图像显示的驱动组件。或者，倘若显示器180为一种投影显示器，还可以包括一种投影装置和投影屏幕。
在一些示例中，如图1b所示，显示器180可以安装在冰箱的冷藏室门体0200B上。或者，也可以安装在机壳的其他位置，在此不作限定。
供电电源160，用于在控制器110的控制下为智能设备中的各元件提供运行电力支持。形式可以为电池及相关控制电路。
图4中示例性示出了存储器120中操作系统的架构配置框图。该操作系统架构从上到下依次是应用层、中间件层和内核层。
应用层，系统内置的应用程序以及非系统级的应用程序都是属于应用层。负责与用户进行直接交互。应用层可包括多个应用程序，如设置应用程序、电子帖应用程序、媒体中心应用程序等。这些应用程序可被实现为Web应用，其基于WebKit引擎来执行，具体可基于HTML5、层叠样式表(CSS)和JavaScript来开发并执行。
这里，HTML，全称为超文本标记语言(HyperText Markup Language)，是一种用于创建网页的标准标记语言，通过标记标签来描述网页，HTML标签用以说明文字、图形、动画、声音、表格、链接等，浏览器会读取HTML文档，解释文档内标签的内容，并以网页的形式显示出来。
CSS，全称为层叠样式表(Cascading Style Sheets)，是一种用来表现HTML文件样式的计算机语言，可以用来定义样式结构，如字体、颜色、位置等的语言。CSS样式可以直接存储与HTML网页或者单独的样式文件中，实现对网页中样式的控制。
JavaScript，是一种应用于Web网页编程的语言，可以插入HTML页面并由浏览器解释执行。其中Web应用的交互逻辑都是通过JavaScript实现。JavaScript可以通过浏览器，封装JavaScript扩展接口，实现与内核层的通信。
中间件层，可以提供一些标准化的接口，以支持各种环境和系统的操作。例如，中间件层可以实现为与数据广播相关的中间件的多媒体和超媒体信息编码专家组(MHEG)，还可以实现为与外部设备通信相关的中间件的DLNA中间件，还可以实现为提供显示设备内各应用程序所运行的浏览器环境的中间件等。
内核层，提供核心系统服务，例如：文件管理、内存管理、进程管理、网络管理、系统安全权限管理等服务。内核层可以被实现为基于各种操作系统的内核，例如，基于Linux操作系统的内核。
内核层也同时提供系统软件和硬件之间的通信，为各种硬件提供设备驱动服务，例如：为显示器提供显示驱动程序、为摄像头提供摄像头驱动程序、为遥控器提供按键驱动程序、为WIFI模块提供WiFi驱动程序、为音频输出接口提供音频驱动程序、为电源管理(PM)模块提供电源管理驱动等。
在一些实施例中，用户还可以在显示器180上显示的图形用户界面(graphic userinterface，GUI)输入用户命令，则控制器110可以接收用户输入的命令。其中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示器中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、控件、菜单、选项卡、文本框、对话框、状态栏、频道栏、Widget等可视的界面元素。
如图5所示，本申请一些实施例提供的处理器，可以被配置为执行如下程序步骤：
S510、获取待处理视频。
S520、确定待处理视频中的多个基准关键帧；其中，多个基准关键帧顺序排列。
S530、根据待处理视频中的视频帧与基准关键帧之间的相似关系，将待处理视频划分为连续的多个视频子序列；其中，一个视频子序列对应一个基准关键帧。
S540、将每一个视频子序列中的第一个视频帧确定为每一个视频子序列的标志帧。
S550、将确定出每一个视频子序列的标志帧后的待处理视频保存在存储器中。
本申请一些实施例提供的上述智能设备，可以通过处理器获取到待处理视频，并确定出待处理视频的基准关键帧。这样可以根据待处理视频中的视频帧与基准关键帧之间的相似关系，将待处理视频划分为连续的多个视频子序列，从而将该待处理视频的内容进行自动分割。并且，将每一个视频子序列中的第一个视频帧作为视频子序列的标志帧，以完成自动分割。从而在显示器播放经处理器处理后的视频时，可以通过视频子序列的标志帧进行上一个或下一个视频子序列的自动跳转。
在一些示例中，一段视频可以划分为多个场景，每个场景又包括一个到多个镜头。而一个镜头可以是由一些连续的视频帧图像组成的，用于表示一个场景中在时间上和空间上连续的工作。因此，视频可以看作是一个连续静态图像的序列，其中的每一幅静态图像就是一个视频帧，是组成视频的最小单位。而基准关键帧是这些视频帧中能描述镜头主要内容的一个视频帧。
在实际生活中，用户观看的视频多种多样，例如，可以观看美食教学视频，观看娱乐视频、观看手工制作视频等。在一些示例中，本申请中处理器113处理的视频可以包括美食教学视频、娱乐视频、手工制作视频等。当然，本申请中处理器进行处理的视频可以根据实际进行确定，在此不作限定。
在一些示例中，用户可以输入获取视频的指令给处理器113，以使处理器113可以通过WIFI模块133搜索到多个视频。然而，用户并不会将每个视频都进行观看，而是会选取一些感兴趣的视频进行观看。本申请实施例中的视频可以是用户选取的感兴趣的视频。并且，在用户选取了这些感兴趣的视频后，处理器会对这些视频进行步骤S510～S540的处理过程，从而将这些感兴趣的视频缓存或下载到本地的存储器120中的。待用户控制处理器113播放这些视频时，可以使处理器从存储器120中直接调取已经处理好的视频进而播放，从而使播放的视频可以通过视频子序列的标志帧进行上一个或下一个视频子序列的自动跳转。
在一些示例中，如图6所示，处理器113可以被进一步配置为执行如下程序步骤：
S521、提取待处理视频中各个视频帧的特征向量。
在一些示例中，处理器113可以根据相关技术中的机器学习方法或深度学习方法，提取待处理视频中每个视频帧的图像特征。并将每个视频帧的图像特征表征为T×1的特征向量，其中T为特征向量的维度。
在一些示例中，颜色特征可以包括Lab颜色直方图、HSV颜色直方图、Luv颜色直方图、颜色矩、颜色聚合向量、颜色相关图等。结构特征可以包括SFIT(Scale InvariantFeature Transform，尺度不变特征变换)算子、方向梯度(Histogram of OrientedGradient，HOG)直方图、Haar特征、小波描述子等。纹理特征可以包括LBP(局部二元模式，Local Binary Patter)、灰度共生矩阵等。
在一些示例中，图像特征可以包括纹理特征、结构特征、颜色特征中的至少一种。例如，本发明可以采用多特征融合的方法进行特征提取，即分别采用HSV颜色直方图、HOG直方图、LBP对每个视频帧进行图像特征提取，并分别表示为32-bin、64-bin、32-bin的直方图向量。之后，将这三种特征向量重构为128-bin的直方图向量，即每个视频帧图像对应的特征向量为一个128×1的特征向量。当然，在实际应用中，可以根据实际应用的需求确定图像特征的具体实施方式，在此不作限定。
S522、根据待处理视频中各个视频帧的特征向量，确定待处理视频中的多个候选关键帧；其中，多个候选关键帧顺序排列。
在一些示例中，可采用基于深度学习的关键帧提取方法，从待处理视频的视频帧中提取出多个候选关键帧。示例性地，基于深度学习的关键帧提取方法可以利用卷积神经网络进行关键帧的自适应提取。
在一些示例中，也可采用基于机器学习的关键帧提取方法，从待处理视频的视频帧中提取出多个候选关键帧。示例性地，基于机器学习的关键帧提取方法可以包括基于抽样的方法、镜头边界法、颜色特征法、运动分析法、聚类等实现方法。
S523、根据各候选关键帧的特征向量，确定每相邻两个候选关键帧之间的初始相似度。
S524、针对每一个初始相似度，判断初始相似度是否大于初始相似阈值。若是，则执行步骤S525；若否，则执行步骤S526。
示例性地，在初始相似度大于初始相似阈值时，可以说明该初始相似度对应的两个候选关键帧之间存在较大的相似性。在实际应用中，初始相似阈值可以根据实际应用需求进行确定，在此不作限定。
S525、将初始相似度对应的两个候选关键帧中顺序在前的候选关键帧确定为基准关键帧，另一个候选关键帧进行舍弃。
S526、将初始相似度对应的两个候选关键帧均确定为基准关键帧。
在一些示例中，对于提取得到的部分候选关键帧，可能相邻两个候选关键帧之间存在较大的相似性，因此可以针对每相邻的两个候选关键帧，确定每相邻两个候选关键帧之间的初始相似度。若初始相似度大于一定数值的初始相似阈值，则说明这两个候选关键帧之间存在较大的相似性。因此，可以选取序号较小的候选关键帧作为基准关键帧，而舍弃另一个候选关键帧。否则，可以同时保留这两个候选关键帧，并将这两个候选关键帧均作为基准关键帧。
在一些示例中，如图7所示，处理器113可以被进一步配置为执行如下程序步骤：
S531、针对处于顺序排列的第n个基准关键帧和第n+1个基准关键帧之间的各个视频帧，确定各视频帧与第n个基准关键帧之间的第一相似度以及各视频帧与第n+1个基准关键帧之间的第二相似度。
S532、针对处于顺序排列的第n个基准关键帧和第n+1个基准关键帧之间的各个视频帧，在视频帧对应的第一相似度大于第二相似度时，确定视频帧与第n个基准关键帧的属性相同，在视频帧对应的第一相似度小于第二相似度时，确定视频帧与第n+1个基准关键帧的属性相同。
S533、根据以属性相同的视频帧与基准关键帧划分为一个视频子序列的规则，将待处理视频划分为连续的多个视频子序列。例如，待处理视频F0划分为连续的多个视频子序列F1、F2、F3、……Fj、……、FJ。j与J为整数，且1≤j≤J。并且，一个视频子序列Fj对应一个基准关键帧。
在一些示例中，基准关键帧是每一个视频子序列中最能够表征该视频子序列所要播放的视频内容的一帧图像。基于得到的基准关键帧，对视频中的视频帧进行属性判定。从而可以根据得到的各视频帧的属性，将相同属性的视频帧划归为同一视频的视频子序列。本申请通过将属性相同的视频帧与基准关键帧划分为一个视频子序列，这样可以使一个视频子序列中的视频帧组成一个镜头或一个场景，也可以使一个视频子序列中的视频帧组成一个操作步骤或一个操作状态，从而可以通过将待处理视频划分为连续的多个视频子序列，可以将待处理视频进行自动分割以获得内容分段时间点，以使相邻的视频子序列包含不同操作步骤或操作状态的视频帧。
在一些示例中，针对处于顺序排列的第n个基准关键帧和第n+1个基准关键帧之间的各个视频帧，可以根据上述确定出的各个视频帧的特征向量，通过计算各个视频帧的特征向量与第n个基准关键帧的特征向量之间的第一距离，来确定各视频帧与第n个基准关键帧之间的第一相似度。并且，也通过计算各个视频帧的特征向量与第n+1个基准关键帧的特征向量之间的第二距离，来确定各视频帧与第n+1个基准关键帧之间的第二相似度。示例性地，计算的第一距离和第二距离可以包括但不限于欧氏距离、曼哈顿距离、切比雪夫距离、闵克夫斯基距离、马氏距离、余弦相似度距离、汉明距离、相关系数距离、KL散度距离等。例如，若某个视频帧的特征向量与第n个基准关键帧的特征向量之间的第一距离小于该视频帧的特征向量与第n+1个基准关键帧的特征向量之间的第二距离，则说明该视频帧与第n+1个基准关键帧更相似，则可以说明该视频帧的属性可以与第n+1个基准关键帧相同。
在一些示例中，处理器113可以被进一步配置为执行如下程序步骤：
针对多个视频子序列中的第j个视频子序列，确定第j个视频子序列中的中间关键帧，并根据中间关键帧对第j个视频子序列的基准关键帧进行更新；
在第j个视频子序列中更新后的基准关键帧与更新前的基准关键帧相同时，将第j个视频子序列中的第一个视频帧作为第j个视频子序列的标志帧。
在一些示例中，如图8所示，处理器113可以被进一步配置为执行如下程序步骤：
S5331、针对多个视频子序列中的第j个视频子序列，确定第j个视频子序列中的中间关键帧，并根据中间关键帧对第j个视频子序列的基准关键帧进行更新。
示例性地，对第j个视频子序列Fj中的每一视频帧对应的特征向量进行聚类，得到聚类中心向量Cj。对于第j个视频子序列Fj中的每个视频帧，计算每个视频帧的特征向量与聚类中心向量Cj之间的第三距离，选择第j个视频子序列Fj中第三距离最小的视频帧作为中间关键帧。并根据中间关键帧对第j个视频子序列Fj的基准关键帧进行更新，从而得到第j个视频子序列Fj对应的新的基准关键帧。
并且，对第j个视频子序列Fj中的每一视频帧对应的特征向量进行聚类的方法可以是但不限于k-means聚类、层次聚类、FCM聚类、高斯混合聚类等方法。
S5332、判断第j个视频子序列中更新后的基准关键帧与更新前的基准关键帧是否相同。若是，则执行步骤S5333；若否，则执行步骤S5334～S5336。
S5333、将第j个视频子序列中的第一个视频帧作为第j个视频子序列的标志帧。
S5334、针对处于第j个视频子序列中更新后的基准关键帧与相邻的视频子序列中更新后的基准关键帧之间的视频帧，确定各视频帧与第j个视频子序列中更新后的基准关键帧之间的第三相似度，以及确定各视频帧与相邻的视频子序列中更新后的基准关键帧之间的第四相似度；
S5335、针对处于第j个视频子序列中更新后的基准关键帧与相邻的视频子序列中更新后的基准关键帧之间的视频帧，在视频帧对应的第三相似度大于第四相似度时，确定视频帧属于第j个视频子序列，在视频帧对应的第三相似度小于第四相似度时，确定视频帧属于与第j个视频子序列相邻的视频子序列；
S5336、再次确定第j个视频子序列中的中间关键帧，并根据中间关键帧对第j个视频子序列中更新后的基准关键帧再次进行更新，直至第j个视频子序列中更新后的基准关键帧与更新前的基准关键帧相同时为止。
在本申请某些实施例中，第j个视频子序列中更新后的基准关键帧与更新前的基准关键帧相同时，可以说明第j个视频子序列中的视频帧可以组成一个镜头或一个场景，从而可以将该待处理视频的内容进行自动分割。
在一些示例中，处理器113可以被进一步配置为执行如下程序步骤：
在显示器播放经处理器处理后的待处理视频时，接收第一输入指令，控制显示器播放的视频由当前视频子序列的视频帧切换到与当前视频子序列相邻的上一个视频子序列的标志帧，并在显示器上从标志帧开始播放切换后的上一个视频子序列；
在显示器播放经处理器处理后的待处理视频时，接收第二输入指令，控制显示器上播放的视频由当前视频子序列的视频帧切换到与当前视频子序列相邻的下一个视频子序列的标志帧，并在显示器上从标志帧开始播放切换后的下一个视频子序列。
在一些示例中，处理器113可以被进一步配置为执行如下程序步骤：
接收第三输入指令，控制显示器上播放的视频暂停在当前视频帧；
接收第四输入指令，控制显示器上暂停的视频从当前视频帧开始播放；
接收第五输入指令，控制显示器上播放的视频前进第一预设数量的视频帧；
接收第六输入指令，控制显示器上播放的视频后退第二预设数量的视频帧。
在本申请某些实施例中，在显示器播放经处理器处理后的视频时，可以通过视频子序列的标志帧进行上一个或下一个视频子序列的自动跳转。
下面结合图9至图10c，通过具体实施例，对本发明进行详细说明。需要说明的是，本实施例中是为了更好的解释本发明，但不限制本发明。以待处理视频为美食教学视频为例。
本申请一些实施例提供的智能设备的工作过程，可以包括如下步骤：
(1)处理器113通过WIFI模块从网络中获取到了一个美食教学视频F0。
(2)处理器113可以根据深度学习方法，分别采用HSV颜色直方图、HOG直方图、LBP对美食教学视频F0中的每个视频帧进行图像特征进行提取。采用HSV颜色直方图对一个视频帧进行图像特征提取后，可以表示为32-bin的直方图向量。采用HOG直方图对一个视频帧进行图像特征提取后，可以表示为64-bin的直方图向量。采用LBP对一个视频帧进行图像特征提取后，可以表示为32-bin的直方图向量。将对应同一视频帧的这三种特征向量重构为128-bin的直方图向量，即得到每个视频帧图像对应的特征向量为一个128×1的特征向量。
(3)处理器113可以采用基于深度学习的关键帧提取方法，根据各个视频帧的特征向量，从美食教学视频F0中提取出随视频的播放进度顺序排列的K个候选关键帧Fs1、Fs2、Fs3、……Fsk、……FsK。其中，k和K为整数且1≤k≤K。
(4)根据各候选关键帧的特征向量，确定每相邻两个候选关键帧之间的初始相似度。示例性地，可以通过计算每相邻两个候选关键帧对应的特征向量之间的初始距离，来确定每相邻两个候选关键帧之间的初始相似度。其中，计算的初始距离可以包括但不限于欧氏距离、曼哈顿距离、切比雪夫距离、闵克夫斯基距离、马氏距离、余弦相似度距离、汉明距离、相关系数距离、KL散度距离等。
例如，确定出了顺序排列的第一个候选关键帧Fs1和第二个候选关键帧Fs2之间的初始相似度CD1，以及确定出了顺序排列的第二个候选关键帧Fs2和第三个候选关键帧Fs3之间的初始相似度CD2。
计算的第一距离和第二距离可以包括但不限于欧氏距离、曼哈顿距离、切比雪夫距离、闵克夫斯基距离、马氏距离、余弦相似度距离、汉明距离、相关系数距离、KL散度距离等。
(5)针对每一个初始相似度，判断初始相似度是否大于初始相似阈值。若是，则执行步骤(6)；若否，则执行步骤(7)。
(6)例如，初始相似度CD2大于初始相似阈值，则将第二个候选关键帧Fs2确定为基准关键帧，将第三个候选关键帧Fs3进行舍弃。
(7)例如，初始相似度CD1不大于初始相似阈值，则将第一个候选关键帧Fs1和第二个候选关键帧Fs2均确定为基准关键帧。
经过步骤(5)～(7)，可以确定出随视频的播放进度顺序排列的N个基准关键帧：Fz1、Fz2、Fz3、……Fzn、……FzN。其中，n和N为整数且1≤n≤N。
(8)以处于顺序排列的第1个基准关键帧Fz1和第2个基准关键帧Fz2之间的一个视频帧fi为例，确定视频帧fi对应的特征向量与第1个基准关键帧Fz1对应的特征向量之间的第一距离，根据第一距离确定视频帧fi与第1个基准关键帧Fz1之间的第一相似度。
以及，确定视频帧fi对应的特征向量与第2个基准关键帧Fz2对应的特征向量之间的第二距离，根据第二距离确定视频帧fi与第2个基准关键帧Fz2之间的第二相似度。
其余视频帧对应的第一相似度和第二相似度，依此类推，在此不作赘述。
(9)在视频帧fi对应的第一相似度大于第二相似度时，可以确定视频帧fi与第1个基准关键帧Fz1的属性相同。
在视频帧fi对应的第一相似度小于第二相似度时，可以确定视频帧fi与第2个基准关键帧Fz2的属性相同。
其余视频帧与基准关键帧的属性判定方式，依此类推，在此不作赘述。
(10)根据以属性相同的视频帧与基准关键帧划分为一个视频子序列的规则，将美食教学视频F0划分为连续的多个视频子序列：F1、F2、F3、……Fj、……、FJ。并且，一个视频子序列Fj对应一个基准关键帧Fzn。即n＝j。
(11)以第2个视频子序列F2为例，对第2个视频子序列F2中的每一视频帧对应的特征向量进行聚类，得到聚类中心向量C2。对于第2个视频子序列F2中的每个视频帧，计算每个视频帧的特征向量与聚类中心向量C2之间的第三距离，选择第2个视频子序列F2中第三距离最小的视频帧作为中间关键帧。并根据中间关键帧对第2个视频子序列F2的基准关键帧进行更新，从而得到第2个视频子序列F2对应的更新后的基准关键帧。
确定其余视频子序列的中间关键帧的过程，依此类推，在此不作赘述。
(12)判断第2个视频子序列F2中更新后的基准关键帧与更新前的基准关键帧是否相同。若是，则执行步骤(13)；若否，则执行步骤(14)～(16)。
(13)将第2个视频子序列F2中的第一个视频帧作为第2个视频子序列F2的标志帧。
(14)以处于第2个视频子序列F2中更新后的基准关键帧与第1个视频子序列F1中更新后的基准关键帧之间的一个视频帧fq为例，确定视频帧fq对应的特征向量与第2个视频子序列F2中更新后的基准关键帧对应的特征向量之间的第三距离，根据第三距离确定视频帧fq与第2个视频子序列F2中更新后的基准关键帧之间的第三相似度。
以及，确定视频帧fq对应的特征向量与第1个视频子序列F1中更新后的基准关键帧对应的特征向量之间的第四距离，确定视频帧fq与第1个视频子序列F1中更新后的基准关键帧之间的第四相似度。
示例性地，计算得到的第三距离和第四距离可以包括但不限于欧氏距离、曼哈顿距离、切比雪夫距离、闵克夫斯基距离、马氏距离、余弦相似度距离、汉明距离、相关系数距离、KL散度距离等。
其余视频帧对应的第三相似度和第四相似度，依此类推，在此不作赘述。
(15)在视频帧fq对应的第三相似度大于第四相似度时，确定视频帧fq属于第2个视频子序列F2。
在视频帧fq对应的第三相似度小于第四相似度时，确定视频帧fq属于第1个视频子序列F1。
通过步骤(12)～(15)，可以在视频子序列中更新后的基准关键帧与更新前的基准关键帧不相同时，再次对视频帧进行判定，从而再次确定出新的视频子序列。其余视频帧的判定方式，依次类推，在此不作赘述。
(16)多次重复步骤(11)～(15)，直至视频子序列中更新后的基准关键帧与更新前的基准关键帧相同时为止。这样可以将美食教学视频F0的内容进行自动分割。
(17)将经步骤(1)～(16)处理后的美食教学视频存储在存储器120中。
(18)用户可以通过语音交互或触控触摸板向处理器113输入视频播放指令。或者，也可以通过图像采集单元识别用户的手势向处理器113输入视频播放指令。处理器113从存储器120中调取存储的美食教学视频，并且，基于视频播放指令控制显示器180播放该美食教学视频。
(19)处理器113在显示器播放经处理器处理后的美食教学视频时，接收到第一输入指令(例如，上一步播放指令)，可以控制显示器播放的视频由当前视频子序列的视频帧切换到与当前视频子序列相邻的上一个视频子序列的标志帧，并在显示器上从标志帧开始播放切换后的上一个视频子序列。这样可以使上述美食教学视频自动跳转至上一个视频片段的标志帧开始播放。例如，可以使上述美食教学视频自动跳转至上一个操作步骤或操作状态的视频片段的标志帧开始播放。
(20)处理器113在显示器播放经处理器处理后的美食教学视频时，接收到第二输入指令(例如，下一步播放指令)，控制显示器上播放的视频由当前视频子序列的视频帧切换到与当前视频子序列相邻的下一个视频子序列的标志帧，并在显示器上从标志帧开始播放切换后的下一个视频子序列。这样可以使上述美食教学视频自动跳转至下一个视频片段的标志帧开始播放。例如，可以使上述美食教学视频自动跳转至下一个操作步骤或操作状态的视频片段的标志帧开始播放。
(21)处理器113接收第三输入指令，可以控制显示器上播放的视频暂停在当前视频帧。这样可以对显示器上播放的美食教学视频进行暂停控制操作。
处理器113接收第四输入指令，可以控制显示器上暂停的视频从当前视频帧开始播放。这样可以对显示器上暂停的美食教学视频进行播放控制操作。
处理器113接收第五输入指令，可以控制显示器上播放的视频前进第一预设数量的视频帧。这样可以对显示器上播放的美食教学视频进行快进控制操作。需要说明的是，第一预设数量可以根据实际应用需求进行设置确定，在此不作限定。
处理器113接收第六输入指令，可以控制显示器上播放的视频后退第二预设数量的视频帧。这样可以对显示器上播放的美食教学视频进行后退控制操作。需要说明的是，第一预设数量可以与第二预设数量相同。或者，第一预设数量也可以与第二预设数量不同。第二预设数量可以根据实际应用需求进行设置确定，在此不作限定。
基于同一发明构思，本申请一些实施例还提供了一些处理器，处理器113也可以被配置为执行如下程序步骤：
接收待播放视频；
接收第一输入指令，控制显示器播放的视频由当前视频子序列切换到与当前视频子序列相邻的上一个视频子序列，并在显示器上播放切换后的上一个视频子序列；
和/或，接收第二输入指令，控制显示器上播放的视频由当前视频子序列切换到与当前视频子序列相邻的下一个视频子序列，并在显示器上播放切换后的下一个视频子序列；
其中，待播放视频被划分为连续的多个视频子序列，相邻的视频子序列包含不同操作步骤或操作状态的视频帧。并且，视频子序列根据视频帧与对应的基准关键帧之间的相似关系确定，基准关键帧从待播放视频中确定。
在一些示例中，如图11所示，处理器113也可以被配置为执行如下程序步骤：
S1110、接收待播放视频；
S1120、确定待播放视频中的多个基准关键帧；其中，多个基准关键帧顺序排列；
S1130、根据待播放视频中的视频帧与基准关键帧之间的相似关系，将待播放视频划分为连续的多个视频子序列；其中，一个视频子序列对应一个基准关键帧；
S1140、将每一个视频子序列中的第一个视频帧确定为每一个视频子序列的标志帧后，控制显示器播放待播放视频；
S1150、接收第一输入指令，控制显示器播放的视频由当前视频子序列切换到与当前视频子序列相邻的上一个视频子序列，并在显示器上播放切换后的上一个视频子序列；
S1160、接收第二输入指令，控制显示器上播放的视频由当前视频子序列切换到与当前视频子序列相邻的下一个视频子序列，并在显示器上播放切换后的下一个视频子序列。
其中，步骤S1120～S1140是处理器中执行的过程。步骤S1150～S1160是用户与智能设备交互的过程。
本申请一些实施例提供的上述智能设备，可以通过处理器获取到带播放视频，并确定出带播放视频的基准关键帧。这样可以根据带播放视频中的视频帧与基准关键帧之间的相似关系，将带播放视频划分为连续的多个视频子序列，从而将该带播放视频的内容进行自动分割。并且，将每一个视频子序列中的第一个视频帧作为视频子序列的标志帧，以完成自动分割。从而在显示器播放经处理器处理后的视频时，可以通过接收第一输入指令，以使显示器播放的视频自动跳转至上一个视频子序列的标志帧后开始自动播放。也可以通过接收第二输入指令，以使显示器播放的视频自动跳转至下一个视频子序列的标志帧后开始自动播放。
在一些示例中，处理器113对上述待播放视频的处理过程与对上述待处理视频的处理过程基本相同，在此不作赘述。
基于同一发明构思，本申请一些实施例还提供了视频处理方法，如图5所示，可以包括如下程序步骤：
S510、获取待处理视频。
S520、确定待处理视频中的多个基准关键帧；其中，多个基准关键帧顺序排列。
S530、根据待处理视频中的视频帧与基准关键帧之间的相似关系，将待处理视频划分为连续的多个视频子序列；其中，一个视频子序列对应一个基准关键帧。
S540、将每一个视频子序列中的第一个视频帧确定为每一个视频子序列的标志帧。
S550、将确定出每一个视频子序列的标志帧后的待处理视频保存在存储器中。
需要说明的是，本申请一些实施例提供的视频处理方法的工作过程和原理，可以参照上述处理器的工作过程和原理，在此不作赘述。
基于同一发明构思，本申请一些实施例还提供了视频播放方法，可以包括如下程序步骤：
接收待播放视频；
接收第一输入指令，控制显示器播放的视频由当前视频子序列切换到与当前视频子序列相邻的上一个视频子序列，并在显示器上播放切换后的上一个视频子序列；
和/或，接收第二输入指令，控制显示器上播放的视频由当前视频子序列切换到与当前视频子序列相邻的下一个视频子序列，并在显示器上播放切换后的下一个视频子序列；
其中，待播放视频被划分为连续的多个视频子序列，相邻的视频子序列包含不同操作步骤或操作状态的视频帧。并且，视频子序列根据视频帧与对应的基准关键帧之间的相似关系确定，基准关键帧从待播放视频中确定。
需要说明的是，本申请一些实施例提供的视频播放方法的工作过程和原理，可以参照上述处理器的工作过程和原理，在此不作赘述。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种智能设备，其特征在于，包括：
机壳；
显示器，设置于所述机壳上；
存储器；
处理器，被配置为：
获取待处理视频；
确定所述待处理视频中的多个基准关键帧；其中，所述多个基准关键帧顺序排列；
根据所述待处理视频中的视频帧与所述基准关键帧之间的相似关系，将所述待处理视频划分为连续的多个视频子序列；其中，一个所述视频子序列对应一个所述基准关键帧；
将每一个所述视频子序列中的第一个视频帧确定为每一个所述视频子序列的标志帧；
将确定出每一个所述视频子序列的标志帧后的待处理视频保存在所述存储器中。
2.如权利要求1所述的智能设备，其特征在于，所述处理器被进一步配置为：
提取所述待处理视频中各个视频帧的特征向量；
根据所述待处理视频中各个视频帧的特征向量，确定所述待处理视频中的多个候选关键帧；其中，所述多个候选关键帧顺序排列；
根据各所述候选关键帧的特征向量，确定每相邻两个所述候选关键帧之间的初始相似度；
针对每一个所述初始相似度，判断所述初始相似度是否大于初始相似阈值；
若是，则将所述初始相似度对应的两个所述候选关键帧中顺序在前的候选关键帧确定为基准关键帧，另一个候选关键帧进行舍弃；
若否，则将所述初始相似度对应的两个所述候选关键帧均确定为基准关键帧。
3.如权利要求1或2所述的智能设备，其特征在于，所述处理器被进一步配置为：
针对处于顺序排列的第n个基准关键帧和第n+1个基准关键帧之间的各个视频帧，确定各所述视频帧与所述第n个基准关键帧之间的第一相似度以及各所述视频帧与所述第n+1个基准关键帧之间的第二相似度；
针对处于顺序排列的第n个基准关键帧和第n+1个基准关键帧之间的各个视频帧，在所述视频帧对应的第一相似度大于第二相似度时，确定所述视频帧与所述第n个基准关键帧的属性相同，在所述视频帧对应的第一相似度小于第二相似度时，确定所述视频帧与所述第n+1个基准关键帧的属性相同；
根据以属性相同的视频帧与基准关键帧划分为一个视频子序列的规则，将所述待处理视频划分为连续的多个视频子序列。
4.如权利要求1或2所述的智能设备，其特征在于，所述处理器被进一步配置为：
针对所述多个视频子序列中的第j个视频子序列，确定所述第j个视频子序列中的中间关键帧，并根据所述中间关键帧对所述第j个视频子序列的基准关键帧进行更新；
在所述第j个视频子序列中更新后的所述基准关键帧与更新前的所述基准关键帧相同时，将所述第j个视频子序列中的第一个视频帧作为所述第j个视频子序列的标志帧。
5.如权利要求4所述的智能设备，其特征在于，所述处理器被进一步配置为：
判断所述第j个视频子序列中更新后的所述基准关键帧与更新前的所述基准关键帧是否相同；
若是，则将所述第j个视频子序列中的第一个视频帧作为所述第j个视频子序列的标志帧；
若否，则针对处于所述第j个视频子序列中更新后的基准关键帧与相邻的视频子序列中更新后的基准关键帧之间的视频帧，确定各所述视频帧与所述第j个视频子序列中更新后的基准关键帧之间的第三相似度，以及确定各所述视频帧与所述相邻的视频子序列中更新后的基准关键帧之间的第四相似度；
针对处于所述第j个视频子序列中更新后的基准关键帧与相邻的视频子序列中更新后的基准关键帧之间的视频帧，在所述视频帧对应的第三相似度大于第四相似度时，确定所述视频帧属于所述第j个视频子序列，在所述视频帧对应的第三相似度小于第四相似度时，确定所述视频帧属于与所述第j个视频子序列相邻的视频子序列；
再次确定所述第j个视频子序列中的中间关键帧，并根据所述中间关键帧对所述第j个视频子序列中更新后的基准关键帧再次进行更新，直至所述第j个视频子序列中更新后的所述基准关键帧与更新前的所述基准关键帧相同时为止。
6.如权利要求1或2所述的智能设备，其特征在于，所述处理器被进一步配置为：
在所述显示器播放经所述处理器处理后的所述待处理视频时，接收第一输入指令，控制所述显示器播放的视频由当前视频子序列的视频帧切换到与所述当前视频子序列相邻的上一个视频子序列的标志帧，并在所述显示器上从所述标志帧开始播放切换后的所述上一个视频子序列；
在所述显示器播放经所述处理器处理后的所述待处理视频时，接收第二输入指令，控制所述显示器上播放的视频由当前视频子序列的视频帧切换到与所述当前视频子序列相邻的下一个视频子序列的标志帧，并在所述显示器上从所述标志帧开始播放切换后的所述下一个视频子序列。
7.一种智能设备，其特征在于，包括：
机壳；
显示器，设置于所述机壳上；
所述处理器被进一步配置为：
接收待播放视频；
接收第一输入指令，控制所述显示器播放的视频由当前视频子序列切换到与所述当前视频子序列相邻的上一个视频子序列，并在所述显示器上播放切换后的所述上一个视频子序列；
和/或，接收第二输入指令，控制所述显示器上播放的视频由当前视频子序列切换到与所述当前视频子序列相邻的下一个视频子序列，并在所述显示器上播放切换后的所述下一个视频子序列；
其中，所述待播放视频被划分为连续的多个视频子序列，所述相邻的视频子序列包含不同操作步骤或操作状态的视频帧。
8.如权利要求7所述的智能设备，其特征在于，所述处理器被进一步配置为：
接收第三输入指令，控制所述显示器上播放的视频暂停在当前视频帧；
接收第四输入指令，控制所述显示器上暂停的视频从所述当前视频帧开始播放；
接收第五输入指令，控制所述显示器上播放的视频前进第一预设数量的视频帧；
接收第六输入指令，控制所述显示器上播放的视频后退第二预设数量的视频帧。
9.一种视频处理方法，其特征在于，包括：
获取待处理视频；
确定所述待处理视频中的多个基准关键帧；其中，所述多个基准关键帧顺序排列；
根据所述待处理视频中的视频帧与所述基准关键帧之间的相似关系，将所述待处理视频划分为连续的多个视频子序列；其中，一个所述视频子序列对应一个所述基准关键帧；
将每一个所述视频子序列中的第一个视频帧确定为每一个所述视频子序列的标志帧；
将确定出每一个所述视频子序列的标志帧后的待处理视频保存在所述存储器中。
10.一种视频播放方法，其特征在于，包括：
接收待播放视频；
接收第一输入指令，控制所述显示器播放的视频由当前视频子序列切换到与所述当前视频子序列相邻的上一个视频子序列，并在所述显示器上播放切换后的所述上一个视频子序列；
和/或，接收第二输入指令，控制所述显示器上播放的视频由当前视频子序列切换到与所述当前视频子序列相邻的下一个视频子序列，并在所述显示器上播放切换后的所述下一个视频子序列；
其中，所述待播放视频被划分为连续的多个视频子序列，所述相邻的视频子序列包含不同操作步骤或操作状态的视频帧。
CN202010343147.6A 2020-04-27 2020-04-27 一种智能设备、视频播放方法及视频处理方法 Active CN113473221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010343147.6A CN113473221B (zh) 2020-04-27 2020-04-27 一种智能设备、视频播放方法及视频处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010343147.6A CN113473221B (zh) 2020-04-27 2020-04-27 一种智能设备、视频播放方法及视频处理方法

Publications (2)

Publication Number Publication Date
CN113473221A true CN113473221A (zh) 2021-10-01
CN113473221B CN113473221B (zh) 2023-02-03

Family

ID=77865887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010343147.6A Active CN113473221B (zh) 2020-04-27 2020-04-27 一种智能设备、视频播放方法及视频处理方法

Country Status (1)

Country Link
CN (1) CN113473221B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117156204A (zh) * 2023-10-26 2023-12-01 超级芯(江苏)智能科技有限公司 Vr云游平台的处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013297A1 (en) * 2004-07-14 2006-01-19 Ntt Docomo, Inc. Moving picture decoding method, moving picture decoding program, moving picture decoding apparatus, moving picture encoding method, moving picture encoding program, and moving picture encoding apparatus
CN104185088A (zh) * 2014-03-03 2014-12-03 无锡天脉聚源传媒科技有限公司 一种视频处理方法及装置
CN106231431A (zh) * 2016-07-28 2016-12-14 乐视控股（北京）有限公司 一种视频切换方法及装置
CN108401193A (zh) * 2018-03-21 2018-08-14 北京奇艺世纪科技有限公司 一种视频播放方法、装置和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013297A1 (en) * 2004-07-14 2006-01-19 Ntt Docomo, Inc. Moving picture decoding method, moving picture decoding program, moving picture decoding apparatus, moving picture encoding method, moving picture encoding program, and moving picture encoding apparatus
CN104185088A (zh) * 2014-03-03 2014-12-03 无锡天脉聚源传媒科技有限公司 一种视频处理方法及装置
CN106231431A (zh) * 2016-07-28 2016-12-14 乐视控股（北京）有限公司 一种视频切换方法及装置
CN108401193A (zh) * 2018-03-21 2018-08-14 北京奇艺世纪科技有限公司 一种视频播放方法、装置和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117156204A (zh) * 2023-10-26 2023-12-01 超级芯(江苏)智能科技有限公司 Vr云游平台的处理方法及系统
CN117156204B (zh) * 2023-10-26 2024-01-30 超级芯(江苏)智能科技有限公司 Vr云游平台的处理方法及系统

Also Published As

Publication number Publication date
CN113473221B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN111694984B (zh) 视频搜索方法、装置、电子设备及可读存储介质
US10642892B2 (en) Video search method and apparatus
Liu et al. Umt: Unified multi-modal transformers for joint video moment retrieval and highlight detection
US11386284B2 (en) System and method for improving speed of similarity based searches
Betancourt et al. The evolution of first person vision methods: A survey
CN111503990B (zh) 一种冰箱及食材识别方法
US20110243529A1 (en) Electronic apparatus, content recommendation method, and program therefor
CN105027162A (zh) 图像解析装置、图像解析系统、图像解析方法
CN103052953A (zh) 信息处理设备、信息处理方法和程序
CN113473221B (zh) 一种智能设备、视频播放方法及视频处理方法
US11347786B2 (en) Image search system and method using descriptions and attributes of sketch queries
CN111811182A (zh) 一种冰箱及食谱推荐方法
CN108388836B (zh) 一种用于获取视频语义信息的方法与装置
Ji et al. News videos anchor person detection by shot clustering
Priya et al. A comprehensive review of significant researches on content based indexing and retrieval of visual information
CN115209233B (zh) 视频播放方法以及相关装置、设备
CN113465251B (zh) 智能冰箱及食材识别方法
CN113465253B (zh) 一种智能冰箱及食材表面农药残留量的检测方法
CN113486689A (zh) 一种冰箱及食材体积估计方法
Liu et al. Adversarial erasing attention for person re-identification in camera networks under complex environments
Cho et al. Recognizing human–human interaction activities using visual and textual information
US20160162752A1 (en) Retrieval apparatus, retrieval method, and computer program product
CN112165626A (zh) 图像处理方法、资源获取方法、相关设备及介质
CN113468359A (zh) 一种智能冰箱及食材识别方法
CN112789652A (zh) 冰箱、服务器和冰箱的对象识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant