CN107734303A

CN107734303A - 视频标识方法及装置

Info

Publication number: CN107734303A
Application number: CN201711033501.XA
Authority: CN
Inventors: 陈志军; 张莉
Original assignee: Beijing Xiaomi Mobile Software Co Ltd
Current assignee: Beijing Xiaomi Mobile Software Co Ltd
Priority date: 2017-10-30
Filing date: 2017-10-30
Publication date: 2018-02-23
Anticipated expiration: 2037-10-30
Also published as: US20190130196A1; EP3477545A1; CN107734303B; US10810439B2

Abstract

本公开是关于一种视频标识方法及装置。该方法包括：获取用于表示监控设备所在空间中发生的事件的事件信息，确定该监控设备拍摄的视频中与该事件信息对应的时间位置，在该监控设备拍摄的视频中的该时间位置标识该事件信息。本公开的视频标识方法及装置，能够在监控视频中标记用于表示监控设备所在空间中发生的事件的事件信息，从而提高监控视频浏览的便捷性和针对性，方便用户查找和浏览监控视频。

Description

视频标识方法及装置

技术领域

本公开涉及视频标记技术领域，尤其涉及一种视频标识方法及装置。

背景技术

目前，随着人们安全意识的提高，可能会在住户附近安装监控设备，以便于对日常生活进行记录和监控。用户在浏览监控设备拍摄的视频时，很难区分哪些是重要的哪些不是重要的，容易造成重要信息的遗漏。

发明内容

为克服相关技术中存在的问题，本公开提供一种视频标识方法及装置。

根据本公开实施例的第一方面，提供一种视频标识方法，包括：

获取用于表示监控设备所在空间中发生的事件的事件信息；

确定所述监控设备拍摄的视频中与所述事件信息对应的时间位置；

在所述监控设备拍摄的视频中的所述时间位置标识所述事件信息。

在一种可能的实现方式中，获取用于表示监控设备所在空间中发生的事件的事件信息，包括：

获取智能终端设备根据事件触发生成的第一事件信息，并将所述第一事件信息作为所述事件信息。

获取智能终端设备根据事件触发生成的第一事件信息；

对所述监控设备拍摄的视频进行人脸识别，确定第一事件信息对应的事件执行主体；

根据所述第一事件信息和所述事件执行主体，生成第二事件信息，并将所述第二事件信息作为所述事件信息。

在一种可能的实现方式中，所述方法还包括：

在获取到所述第一事件信息的情况下，确定与所述第一事件信息对应的智能终端设备的位置；

根据所述智能终端设备的位置，调整所述监控设备的拍摄方向，以使得所述智能终端设备处于所述监控设备的拍摄区域内。

在检测到所述监控设备拍摄的视频中的图像发生变化的情况下，根据预先训练得到的事件分类器对所述视频进行分析，得到所述事件信息。

根据本公开实施例的第二方面，提供一种视频标识装置，包括：

获取模块，用于获取用于表示监控设备所在空间中发生的事件的事件信息；

第一确定模块，用于确定所述监控设备拍摄的视频中与所述事件信息对应的时间位置；

标识模块，用于在所述监控设备拍摄的视频中的所述时间位置标识所述事件信息。

在一种可能的实现方式中，所述获取模块用于：

获取智能终端设备根据事件触发生成的第一事件信息；

在一种可能的实现方式中，所述装置还包括：

第二确定模块，用于在获取到所述第一事件信息的情况下，确定与所述第一事件信息对应的智能终端设备的位置；

调整模块，用于根据所述智能终端设备的位置，调整所述监控设备的拍摄方向，以使得所述智能终端设备处于所述监控设备的拍摄区域内。

在一种可能的实现方式中，所述获取模块用于：

根据本公开实施例的第三方面，提供一种视频标识装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行时实现上述的方法。

根据本公开实施例的第四方面，提供一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：本公开的视频标识方法及装置，通过获取用于表示监控设备所在空间中发生的事件的事件信息，确定该监控设备拍摄的视频中与该事件信息对应的时间位置，在该监控设备拍摄的视频中的该时间位置标识该事件信息，由此能够在监控视频中标记用于表示监控设备所在空间中发生的事件的事件信息，从而提高监控视频浏览的便捷性和针对性，方便用户查找和浏览监控视频。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种视频标识方法的流程图。

图2是根据一示例性实施例示出的一种视频标识方法的一示意性的流程图。

图3是根据一示例性实施例示出的一种视频标识装置的框图。

图4是根据一示例性实施例示出的一种视频标识装置的一示意性的框图。

图5是根据一示例性实施例示出的一种用于视频标识的装置800的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种视频标识方法的流程图。该方法用于手机、平板电脑、计算机或服务器等终端设备中，本公开对此不做限制。如图1所示，该方法包括步骤S11至S13。

在步骤S11中，获取用于表示监控设备所在空间中发生的事件的事件信息。

在步骤S12中，确定该监控设备拍摄的视频中与该事件信息对应的时间位置。

在步骤S13中，在该监控设备拍摄的视频中的该时间位置标识该事件信息。

其中，监控设备所在空间可以指监控设备所覆盖的拍摄空间区域。事件信息可以指对事件的概括性描述，例如“人走动”、“门打开”、“窗打开”、“窗帘拉开”或“电视打开”等，本公开对此不做限制。时间位置可以指表示事件发生时间的信息，例如事件的起始时间点或事件的持续时间段等，本公开对此不做限制。

在一种可能的实现方式中，在监控设备拍摄的视频中，可以通过图标的方式标识某一时间位置有事件发生。在图标被触发(例如单击或光标至于图标上等)的情况下，可以进一步显示具体的用于表示监控设备所在空间中发生的事件的事件信息。其中，图标可以包括箭头等，本公开对此不做限制。

在一种可能的实现方式中，获取用于表示监控设备所在空间中发生的事件的事件信息(步骤S11)可以包括：获取智能终端设备根据事件触发生成的第一事件信息，并将第一事件信息作为该事件信息。

其中，智能终端设备可以包括人体传感器、门窗感应器、窗帘感应器或智能电视等，本公开对此不做限制。智能终端设备可以根据事件触发生成第一事件信息。其中，第一事件信息可以为不包括事件执行主体的事件信息。例如，人体传感器可以在检测到检测范围内有人走动的情况下，生成第一事件信息“人走动”；门窗感应器可以在检测到门或窗被打开的情况下，生成第一事件信息“门或窗打开”；窗帘感应器可以在检测到窗帘被拉开的情况下，生成第一事件信息“窗帘拉开”；智能电视可以在检测到被打开的情况下，生成第一事件信息“电视打开”。

在一种可能的实现方式中，终端设备通过无线连接的方式与监控设备以及人体传感器、门窗感应器、窗帘感应器或智能电视等中的一项或多项建立连接。其中，无线连接的方式可以包括红外连接、Wi-Fi(Wireless-Fidelity，无线保真)连接、蓝牙(Bluetooth)连接或紫蜂(ZigBee)连接等，本公开对此不做限制。

作为本实施的一个示例，终端设备通过无线连接的方式与监控设备以及门窗感应器建立连接。门窗感应器在检测到门被打开的情况下，生成第一事件信息“门打开”。门窗感应器向终端设备发送第一事件信息“门打开”。终端设备在获取都第一事件信息“门打开”的情况下，确定该监控设备拍摄的视频中第一事件信息“门打开”对应的起始时间点为13：05，则终端设备在该监控设备拍摄的视频中的13：05标识事件信息“门打开”。

在一种可能的实现方式中，获取用于表示监控设备所在空间中发生的事件的事件信息(步骤S11)可以包括：获取智能终端设备根据事件触发生成的第一事件信息；对该监控设备拍摄的视频进行人脸识别，确定第一事件信息对应的事件执行主体；根据第一事件信息和该事件执行主体，生成第二事件信息，并将第二事件信息作为该事件信息。

在一种可能的实现方式中，可以预先将人脸存储至人脸数据库中。在终端设备获取到智能终端设备根据事件触发生成的第一事件信息的情况下，对该监控设备拍摄的视频进行人脸提取，并将提取得到的人脸与人脸数据库中存储的人脸进行对比，以确定第一事件信息对应的事件执行主体。例如，若从视频中提取得到的人脸属于人脸数据库，则将人脸数据库中该人脸的标识作为事件执行主体，否则将陌生人作为事件执行主体。终端设备根据第一事件信息和第一事件信息对应的事件执行主体，生成第二事件信息。其中，第二事件信息可以为包括事件执行主体的事件信息。

需要说明的是，本领域技术人员能够理解，本公开不限制监控设备对应的人脸数据库中存储的人脸类型。例如，对于家庭使用的监控设备，可以预先将家人的人脸存储至人脸数据库中；对于公司使用的监控设备，可以预先将员工的人脸存储至人脸数据库中。

作为本实施的一个示例，终端设备通过无线连接的方式与监控设备以及门窗感应器建立连接。门窗感应器在检测到门被打开的情况下，生成第一事件信息“门打开”。门窗感应器向终端设备发送第一事件信息“门打开”。终端设备在获取到第一事件信息“门打开”的情况下，对该监控设备拍摄的视频进行人脸识别，确定第一事件信息“门打开”对应的事件执行主体为陌生人。终端设备生成第二事件信息“陌生人把门打开”，并确定该监控设备拍摄的视频中第二事件信息“陌生人把门打开”对应的起始时间点为13：05，则终端设备在该监控设备拍摄的视频中的13：05标识事件信息“陌生人把门打开”。

在一种可能的实现方式中，获取用于表示监控设备所在空间中发生的事件的事件信息(步骤S11)可以包括：在检测到该监控设备拍摄的视频中的图像发生变化的情况下，根据预先训练得到的事件分类器对该视频进行分析，得到该事件信息。

在一种可能的实现方式中，对事件进行分类，并根据事件分类训练得到事件分类器。其中，事件分类可以包括“人走动”、“门打开”、“窗打开”、“窗帘拉开”或“电视打开”等，本公开对此不做限制。事件分类器的输入可以为图像(例如视频或图片等)，输出可以为用于表示监控设备所在空间中发生的事件的事件信息。

作为本实施例的一个示例，终端设备在检测到该监控设备拍摄的视频中的图像发生变化的情况下，截取图像发生变化的视频段，并将该视频段输入事件分类器。事件分类器对该视频段进行分析，输出用于表示监控设备所在空间中发生的事件的事件信息例如“门打开”。终端设备确定事件信息“门打开”对应的起始时间点为13：05，则终端设备在该监控设备拍摄的视频中的13：05标识事件信息“门打开”。

需要说明的是，本领域技术人员能够理解，事件分类器输出的事件信息为不包括事件执行主体的事件信息。进一步地，终端设备可以对该监控设备拍摄的视频进行人脸识别，确定对应的事件执行主体，由此生成包括事件执行主体的事件信息，本公开对此不做限制。

本公开的视频标识方法，能够在监控视频中标记用于表示监控设备所在空间中发生的事件的事件信息，从而提高监控视频浏览的便捷性和针对性，方便用户查找和浏览监控视频。

图2是根据一示例性实施例示出的一种视频标识方法的一示意性的流程图。如图2所示，该方法包括步骤S21至S25。

在步骤S21中，获取智能终端设备根据事件触发生成的第一事件信息，并将第一事件信息作为事件信息。

在步骤S22中，确定该监控设备拍摄的视频中与该事件信息对应的时间位置。

在步骤S23中，在该监控设备拍摄的视频中的该时间位置标识该事件信息。

在步骤S24中，在获取到第一事件信息的情况下，确定与第一事件信息对应的智能终端设备的位置。

在步骤S25中，根据该智能终端设备的位置，调整该监控设备的拍摄方向，以使得该智能终端设备处于该监控设备的拍摄区域内。

在一种可能的实现方式中，智能终端设备的位置可以在用户安装智能终端设备时进行设置。进一步地，在事件发生之后，智能终端设备的位置可以由监控设备根据拍摄的视频进行智能识别，本公开对此不做限制。

需要说明的是，本公开不限制确定与第一事件信息对应的智能终端设备的位置的过程。例如，终端设备在获取到第一事件信息的情况下，向监控设备发送第一事件信息。监控设备根据第一事件信息确定与第一事件信息对应的智能终端设备以及该智能终端设备的位置。再例如，终端设备在获取到第一事件信息的情况下，根据第一事件信息确定与第一事件信息对应的智能终端设备以及该智能终端设备的位置。终端设备向监控设备发送所确定的智能终端设备以及该智能终端设备的位置。再例如，终端设备在获取到第一事件信息的情况下，根据第一事件信息确定与第一事件信息对应的智能终端设备以及该智能终端设备的位置。终端设备根据该智能终端设备的位置，生成用于调整监控设备的拍摄方向的控制指令。终端设备向监控设备发送所生成的控制指令。

在一种可能的实现方式中，根据该智能终端设备的位置，调整该监控设备的拍摄方向，以使得该智能终端设备处于该监控设备的拍摄区域内(步骤S25)可以包括：若该智能终端设备处于监控设备当前的拍摄区域之外，则调整该监控设备的拍摄方向，以使得该智能终端设备处于该监控设备的拍摄区域内。

本公开的视频标识方法，能够根据智能终端设备的位置，调整监控设备的拍摄方向，以使得智能终端设备处于监控设备的拍摄区域内，从而提高监控设备拍摄的目的性和针对性。

图3是根据一示例性实施例示出的一种视频标识装置的框图。参照图3，该装置包括：获取模块31，用于获取用于表示监控设备所在空间中发生的事件的事件信息；第一确定模块32，用于确定所述监控设备拍摄的视频中与所述事件信息对应的时间位置；标识模块33，用于在所述监控设备拍摄的视频中的所述时间位置标识所述事件信息。

在一种可能的实现方式中，所述获取模块31用于：获取智能终端设备根据事件触发生成的第一事件信息，并将所述第一事件信息作为所述事件信息。

在一种可能的实现方式中，所述获取模块31用于：获取智能终端设备根据事件触发生成的第一事件信息；对所述监控设备拍摄的视频进行人脸识别，确定第一事件信息对应的事件执行主体；根据所述第一事件信息和所述事件执行主体，生成第二事件信息，并将所述第二事件信息作为所述事件信息。

在一种可能的实现方式中，所述获取模块31用于：在检测到所述监控设备拍摄的视频中的图像发生变化的情况下，根据预先训练得到的事件分类器对所述视频进行分析，得到所述事件信息。

本公开的视频标识装置，能够在监控视频中标记用于表示监控设备所在空间中发生的事件的事件信息，从而提高监控视频浏览的便捷性和针对性，方便用户查找和浏览监控视频。

图4是根据一示例性实施例示出的一种视频标识装置的一示意性的框图。参照图4：

在一种可能的实现方式中，所述装置还包括：第二确定模块34，用于在获取到所述第一事件信息的情况下，确定与所述第一事件信息对应的智能终端设备的位置；调整模块35，用于根据所述智能终端设备的位置，调整所述监控设备的拍摄方向，以使得所述智能终端设备处于所述监控设备的拍摄区域内。

本公开的视频标识装置，能够根据智能终端设备的位置，调整监控设备的拍摄方向，以使得智能终端设备处于监控设备的拍摄区域内，从而提高监控设备拍摄的目的性和针对性。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5是根据一示例性实施例示出的一种用于视频标识的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图5，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种视频标识方法，其特征在于，包括：

获取用于表示监控设备所在空间中发生的事件的事件信息；

2.根据权利要求1所述的方法，其特征在于，获取用于表示监控设备所在空间中发生的事件的事件信息，包括：

3.根据权利要求1所述的方法，其特征在于，获取用于表示监控设备所在空间中发生的事件的事件信息，包括：

获取智能终端设备根据事件触发生成的第一事件信息；

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，获取用于表示监控设备所在空间中发生的事件的事件信息，包括：

6.一种视频标识装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述获取模块用于：

8.根据权利要求6所述的装置，其特征在于，所述获取模块用于：

获取智能终端设备根据事件触发生成的第一事件信息；

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

10.根据权利要求6所述的装置，其特征在于，所述获取模块用于：

11.一种视频标识装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1至5中任意一项所述的方法。

12.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至5中任意一项所述的方法。