CN111147808A - 网络装置、影像处理方法及电脑可读媒体 - Google Patents

网络装置、影像处理方法及电脑可读媒体 Download PDF

Info

Publication number
CN111147808A
CN111147808A CN201811399161.7A CN201811399161A CN111147808A CN 111147808 A CN111147808 A CN 111147808A CN 201811399161 A CN201811399161 A CN 201811399161A CN 111147808 A CN111147808 A CN 111147808A
Authority
CN
China
Prior art keywords
video
event
audio
dynamic event
preset dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811399161.7A
Other languages
English (en)
Other versions
CN111147808B (zh
Inventor
丁筱雯
江宗城
陈延川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN111147808A publication Critical patent/CN111147808A/zh
Application granted granted Critical
Publication of CN111147808B publication Critical patent/CN111147808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种网络装置及其影像处理方法以及一种内储程序的电脑可读媒体。所述方法包括：从网络摄影机接收影音串流；依据指定动态侦测模式侦测影音串流中是否发生预设动态事件；反应于侦测到预设动态事件，产生对应于预设动态事件的事件标记，并从影音串流中取出对应于预设动态事件的影音片段；判断影音片段是否存在符合通知条件的影音内容；以及反应于影音内容符合通知条件，将事件标记及影音内容发送至存取网络装置的智能装置。

Description

网络装置、影像处理方法及电脑可读媒体
技术领域
本发明涉及一种网络装置、影像处理方法及电脑可读媒体，且特别涉及一种可依据来自传统网络摄影机的影音串流提供智慧侦测功能的网络装置、影像处理方法及电脑可读媒体。
背景技术
网络摄影机(IP Camera)包含取像单元、影像压缩模块和微处理器等元件。每一台网络摄影机都有自己的IP位址，因而可以作为一台网络设备直接连上网络，或经由集线器、桥接器及/或闸道器而间接地连上网络。随着物联网的快速发展，网络摄影机是目前极具成长动能的产品。
一般而言，网络摄影机可用于在特定地点对一定范围内的人事物，进行影音的记录。之后，网络摄影机可再通过网络实时将所取得的影音串流传给远处的接收端(比如伺服器)，以供相关人员查看。举例而言，消费者常以网络摄影机作为婴儿监视器来使用，借此观看婴儿的一举一动。
然而，对于某些功能较阳春的传统网络摄影机而言，其可能仅具有记录及传送影音串流的功能，因而可能无法应付现代使用者各式需求。为此，现代使用者可能较偏好购入具有所需智能功能的智能网络摄影机，从而可能影响传统网络摄影机的销售情形。此外，对于某些已购入传统网络摄影机的使用者而言，除了需花费额外的成本购置智能网络摄影机之外，还可能因传统网络摄影机已不符需求而将其弃置，进而造成资源的浪费。
发明内容
有鉴于此，本发明提供一种网络装置、影像处理方法及电脑可读媒体，其可用以解决上述技术问题。
本发明提供一种影像处理方法，适于一网络装置，包括：从一第一网络摄影机接收一第一影音串流；依据一指定动态侦测模式侦测第一影音串流中是否发生一第一预设动态事件；反应于侦测到第一预设动态事件，产生对应于第一预设动态事件的一第一事件标记，并从第一影音串流中取出对应于第一预设动态事件的一第一影音片段；判断第一影音片段是否存在符合一通知条件的一第一影音内容；以及反应于第一影音内容符合通知条件，将第一事件标记及第一影音内容发送至存取网络装置的一智能装置。
本发明提供一种网络装置，其包括储存电路及处理器。储存电路储存多个模块。处理器耦接储存电路，存取前述模块以执行下列步骤：从一第一网络摄影机接收一第一影音串流；依据一指定动态侦测模式侦测第一影音串流中是否发生一第一预设动态事件；反应于侦测到第一预设动态事件，产生对应于第一预设动态事件的一第一事件标记，并从第一影音串流中取出对应于第一预设动态事件的一第一影音片段；判断第一影音片段是否存在符合一通知条件的一第一影音内容；以及反应于第一影音内容符合通知条件，将第一事件标记及第一影音内容发送至存取网络装置的一智能装置。
本发明提供一种影像处理方法，适于一网络装置，包括：从一第一网络摄影机接收一第一影音串流；依据一指定动态侦测模式侦测第一影音串流中是否发生一第一预设动态事件；反应于侦测到第一预设动态事件，产生对应于第一预设动态事件的一第一事件标记，并从第一影音串流中取出对应于第一预设动态事件的一第一影音片段；以及发送第一事件标记及第一影音片段至一云端伺服器。
本发明提供一种内储程序的电脑可读媒体，当电脑载入程序并执行时，完成下列步骤：从一第一网络摄影机接收一第一影音串流；依据一指定动态侦测模式侦测第一影音串流中是否发生一第一预设动态事件；反应于侦测到第一预设动态事件，产生对应于第一预设动态事件的一第一事件标记，并从第一影音串流中取出对应于第一预设动态事件的一第一影音片段；判断第一影音片段是否存在符合一通知条件的一第一影音内容；以及反应于第一影音内容符合通知条件，将第一事件标记及第一影音内容发送至存取网络装置的一智能装置。
基于上述，本发明提出的网络装置、影像处理方法及电脑可读媒体可让网络装置在接收来自网络摄影机的影音串流之后，依据指定动态侦测模式执行侦测，并在侦测到发生预设动态事件之后相应进行相关的智能识别。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是依据本发明的一实施例示出的网络装置示意图。
图2是依据本发明的一实施例示出的影像处理方法流程图。
图3是依据本发明的一实施例示出的应用情境图。
图4是依据图3示出的另一应用情境图。
图5是依据本发明的一实施例示出的监控婴儿的示意图。
图6是依据图5示出的监控可疑人士的示意图。
图7是依据图3示出的另一应用情境图。
附图标记列表：
100、100a：网络装置
100b：云端伺服器
102：储存电路
104：处理器
310、510a、510b、610a、610b：网络摄影机
330：智能装置
399、599：婴儿
410：门口
51a、51b：房间
511a、511b：监测范围
699：可疑人士
SC1、SC1’、SC2a、SD2b、SC3、SC3’：影音内容
SD1、SD1’、SD2a、SD2b：影音片段
SM1、SM1’、SM2a、SM2b、SM3、SM3’：事件标记
VS1、VS1’、VS2a、VS2b：影音串流
P1、P2、P3、P4、P1’、P2’、P3’、P4’：位置
具体实施方式
概略而言，本发明提出一种网络装置、影像处理方法及电脑可读媒体，其可在接收到来自传统网络摄影机的影音串流后，代为执行使用者通过智能装置(例如手机)所指定的侦测功能。借此，使用者可将上述网络装置搭配传统网络摄影机使用，以实现如同智能网络摄影机所能提供的智能功能，因而可不需另外购置智能网络摄影机及/或弃置传统网络摄影机。以下将作详细说明。
请参照图1，其是依据本发明的一实施例示出的网络装置示意图。在本实施例中，网络装置100可以是连接于网络摄影机的桥接器、闸道器、伺服器或其组合。上述网络摄影机可以是仅具有记录及传送影音串流的传统网络摄影机。或者，上述网络摄影机也可以是智能网络摄影机，其除了具有记录及传送影音串流的功能之外，还可具有其他额外管理功能。
如图1所示，网络装置100包括储存电路102及处理器104。储存电路102例如是任意形式的固定式或可移动式随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash memory)、硬盘或其他类似装置或这些装置的组合，而可用以记录多个程序码或模块。
处理器104耦接于储存电路102，并可为一般用途处理器、特殊用途处理器、传统的处理器、数字信号处理器、多个微处理器(microprocessor)、一个或多个结合数字信号处理器核心的微处理器、控制器、微控制器、特殊应用集成电路(Application SpecificIntegrated Circuit，ASIC)、场可程序闸阵列电路(Field Programmable Gate Array，FPGA)、任何其他种类的集成电路、状态机、基于进阶精简指令集机器(Advanced RISCMachine，ARM)的处理器以及类似品。
在本发明的实施例中，处理器104可载入储存电路102中所记录的程序码或模块以执行本发明提出的影像处理方法，以下将作进一步说明。
请参照图2及图3，其中图2是依据本发明的一实施例示出的影像处理方法流程图，而图3是依据本发明的一实施例示出的应用情境图。在本实施例中，图2的方法可由图1的网络装置100执行，以下即搭配图1的元件及图3的情境来说明图2各步骤的细节。
首先，在步骤S210中，处理器104可从网络摄影机310接收影音串流VS1。在本实施例中，假设网络摄影机310为传统网络摄影机，其仅具有记录及传送影音串流VS1的功能，但本发明可不限于此。
在步骤S220中，处理器104可依据指定动态侦测模式侦测影音串流VS1中是否发生预设动态事件。在不同实施例中，上述指定动态侦测模式例如包括脸部侦测模式、动物侦测模式、移动侦测模式及文字侦测模式的至少其中之一。并且，上述动态侦测模式可由使用者通过连接于网络装置100的智能装置而设定。在一实施例中，上述智能装置中可安装有用于存取网络装置100的应用程序，而使用者可通过操作此应用程序而将指定动态侦测模式设定为脸部侦测模式、动物侦测模式、移动侦测模式及/或文字侦测模式，但本发明可不限于此。
为便于说明，以下将假设使用者所选定的指定动态侦测模式为脸部侦测模式，但其并非用以限定本发明可能的实施方式。在此假设下，上述预设动态事件则可以是“侦测到脸部”，而指定动态侦测模式对应设定为脸部侦测模式。
在图3的情境中，假设婴儿399的脸部转向网络摄影机310，则网络摄影机310可将拍摄到婴儿399的脸部的影音串流VS1(其包括多个连续的帧)传送至网络装置100。在此情况下，处理器104例如可通过上述各帧之间的差异来进行动态侦测，并依据指定动态侦测模式在影音串流VS1中侦测到脸部。相应地，处理器104即可判定影音串流VS1中已发生上述预设动态事件(即，“侦测到脸部”)。
在另一实施例中，处理器104可调用第一应用程序介面(applicationprogramming interface，API)以依据指定动态侦测模式侦测影音串流VS1中是否发生预设动态事件。上述第一API例如是脸部侦测API，其可用以判断在影音串流VS1的各帧中是否出现脸部。
在其他实施例中，若网络装置100不具有依据指定动态侦测模式侦测影音串流VS1中是否发生预设动态事件的能力，则处理器104可将影音串流VS1转传至一云端伺服器(未示出)，以让此云端伺服器依据指定动态侦测模式侦测影音串流VS1中是否发生预设动态事件。上述云端伺服器例如是管理网络装置100的伺服器。简言之，若网络装置100无法依使用者的需求而执行例如脸部识别等操作，则网络装置100可将影音串流VS1转发至云端伺服器，以请求上述云端伺服器协助进行脸部识别等操作，但本发明可不限于此。
之后，在步骤S230中，反应于侦测到预设动态事件，处理器104可产生对应于预设动态事件的事件标记SM1，并从影音串流VS1中取出对应于预设动态事件的影音片段SD1。在不同的实施例中，由于预设动态事件可能是持续地发生一段时间，因此处理器104可将影音串流VS1中对应于此段时间的片段取出以作为影音片段SD1。
举例而言，假设婴儿399在睡觉的过程中因改变姿态而让脸部转向至网络摄影机310，并在维持此姿态达30分钟后将脸转向另一侧，从而使得网络摄影机310无法再拍摄到脸部。在此情况下，处理器104从影音串流VS1中取出的影音片段SD1即会包括从拍摄到婴儿399的脸部开始直至婴儿399将其脸部转向另一侧的30分钟片段，但本发明可不限于此。
此外，事件标记SM1可包括网络摄影机310的身分、上述预设动态事件的标记文字、上述预设动态事件的时间信息及影音片段SD1的长度(例如，30分钟)的至少其中之一。在不同的实施例中，网络摄影机310的身分可以是使用者预先在上述应用程序中对网络摄影机310设定的编号或指定的名称。预设动态事件的标记文字可以用于具体描述预设动态事件，例如包括「侦测到脸部」等字眼，但可不限于此。预设动态事件的时间信息例如是预设动态事件发生的日期及时间点等，例如侦测到婴儿399的脸部的日期及时间点等。
之后，在步骤S240中，处理器104可识别影音片段SD1是否存在符合通知条件的影音内容SC1。在本实施例中，处理器104可将影音片段SD1输入至一人工智能模块来识别影音片段SD1中是否存在符合通知条件的影音内容SC1，而此人工智能模块可依设计者的需求而具有不同的识别功能。在一实施例中，人工智能模块可由具识别功能的特定API实现，或是由可协同提供识别功能的服务执行绪所组成，但可不限于此。
并且，当处理器104通过人工智能模块发现在影音片段SD1中存在包括所要识别的目标的片段时，可判定影音片段SD1中存在符合通知条件的影音内容SC1。反之，若处理器104未在影音片段SD1中识别到所要识别的目标，则可判定影音片段SD1中未存在符合通知条件的影音内容。
举例而言，假设此人工智能模块可用于识别人眼是否有睁开，则在处理器104将影音片段SD1输入至此人工智能模块之后，即可识别影音片段SD1的各帧中的脸部是否有睁开眼睛(即，醒过来)的情况。例如，处理器104可判断在影音片段SD1中，婴儿399的眼睛是否有睁开。
在一实施例中，若处理器104在影音片段SD1中有侦测到眼睛睁开的情况，则处理器104可判定影音片段SD1中存在符合通知条件影音内容SC1(例如婴儿399睁开眼睛的片段)。反之，若处理器104在影音片段SD1中未侦测到眼睛睁开的情况，则处理器104可判定影音片段SD1中未存在符合通知条件的影音内容。
在另一实施例中，人工智能模块亦可用以识别婴儿399是确实在睡觉或仅是闭眼。例如，人工智能模块可分析婴儿399的脸与眼睛状态，并将所测得的状态转换为对应的睡眠阶段(例如浅眠、熟睡或快速动眼(rapid eye movement，REM)等)。在此情况下，若婴儿399的眼睛仅是半闭，则处理器104亦可判定影音片段SD1中未存在符合通知条件的影音内容。于另一实施例中，人工智能模块亦可依据多个影音片段SD1组合或统计后判断是否存在符合通知条件的影音内容SC1。
之后，在步骤S250中，反应于影音内容SC1符合通知条件，处理器104可将事件标记SM1及影音内容SC1发送至管理网络装置100的智能装置330。在一实施例中，若处理器104侦测到婴儿399有睁开眼睛的情形，则处理器104可相应地将事件标记SM1及影音内容SC1(例如，婴儿399睁开眼睛的片段)发送至智能装置330。智能装置330例如是由婴儿399的家人所持有的智能手机，其可安装有先前提及的存取网络装置100的应用程序。在此情况下，婴儿399的家人例如可在上述应用程序中查看婴儿399醒过来的片段及相应的时间信息等，但本发明可不限于此。
在另一实施例中，反应于影音内容不符合通知条件，处理器104可忽略事件标记SM1及影音片段SD1。亦即，若影音片段SD1中仅拍摄到婴儿399闭眼的片段，则处理器104可相应地忽略事件标记SM1及影音片段SD1。换言之，处理器104将不会将婴儿399闭眼的片段发送至智能装置330，但本发明可不限于此。
此外，在其他实施例中，网络装置100可将事件标记SM1及影音内容SC1加密为事件报告，并将事件报告发送至上述云端伺服器。之后，上述云端伺服器可在验证事件报告后依据事件报告产生一区块，并将此区块加入一区块链中。
具体而言，处理器104可自系统取得日期时间产生一时间戳记，并依指定动态侦测模式及一公共密钥(Public Key)产生影音内容SC1的事件标头(Event Header)。
之后，处理器104可利用SHA256的方式产生杂凑码(hash code)作为影音内容SC1的检查码，并将上述事件标头加上前述检查码，再利用一私密金钥(private key)予以加密以产生数字签章。接着，处理器104可将所述产生的数字签章与影音内容SC1传送给上述云端伺服器。
云端伺服器可确认事件标头与影音内容SC1的完整性。若经确认无误，则云端伺服器可相应产生一区块，并将此区块加入既有的区块链中。
举例而言，云音伺服器可依据网络装置100的身分而从数据库中取得对应于网络装置100的公共密钥。在确认从数据库取得的公共密钥与事件标头中的公共密钥一致及验证杂凑码无误后，云端伺服器可准备制作相应的区块。
在一实施例中，云端伺服器执行挖矿(mining)的困难度可由设计者依需求而设定。之后，云端伺服器可产生区块标头(block header)，其可包括时间戳记、版本、区块编号、困难度、随机数(nonce)、杂凑码、先前杂凑码等。之后，云端伺服器可将区块标头加上影音内容SC1的储存位置以产生对应的区块，并将此区块放入区块链中。
简言之，影音内容SC1可采用区块的方式记录在云端伺服器上，从而可避免被他人修改，进而达到维护数据安全性的效果。并且，后续还可通过相关的区块链追踪技术而基于相关信息(例如，可利用事件标记、时间戳记、区块编号、指定动态侦测模式、公共密钥等)来查看影音内容SC1。
由上可知，本发明提出的方法可让网络装置在接收来自传统网络摄影机的影音串流之后，依据指定动态侦测模式执行侦测，并在侦测到发生预设动态事件之后相应进行相关的智能识别。如此一来，使用者不需另外购置智能网络摄影机即可实现同样的智能功能。并且，由于上述指定动态侦测模式及智能识别的相关配置可由使用者通过对应的应用程序来设定，因而可提供使用者更高的操作自由度。以下搭配图4作进一步说明。
请参照图4，其是依据图3示出的另一应用情境图。如图4所示，假设原本用于在图3中监控婴儿399的网络摄影机310被移至门口410，用以判断是否有可疑人士经过门口410。
在本实施例中，由于上述判断仍涉及脸部侦测，因此使用者可在智能装置330上的应用程序将指定动态侦测模式维持在脸部侦测模式。然而，由于图4的情境用于识别可疑人士，故使用者可相应在上述应用程序中将所采用的人工智能模块更改为可用于识别所拍摄到的脸部是否为合法人士的模块。并且，使用者可先将合法人士(例如家人)的脸部信息(例如家人的脸部照片)输入至上述人工智能模块中，以让其学习家人的脸孔具备哪些特征，进而作为后续判断的依据。
之后，当网络装置100接收到来自网络摄影机310的影音串流VS1'时，处理器104可判断影音串流VS1'的各个帧之中是否存在包括脸部的帧。若是(即，发生预设动态事件)，则处理器104可相应产生事件标记SM1'，并从影音串流VS1'中取出对应于预设动态事件的影音片段SD1'。在本实施例中，若处理器104判断发生预设动态事件，即代表影音串流VS1'中存在拍摄到人脸的片段。基此，处理器104可将此片段取出作为影音片段SD1'，并产生相应的事件标记SM1'。
之后，处理器104可识别影音片段SD1'中是否存在符合通知条件的影音内容SC1'。在本实施例中，处理器104可将影音片段SD1'输入至上述可识别可疑人士的人工智能模块来识别影音片段SD1'中是否存在符合通知条件的影音内容SC1'。若处理器104在影音片段SD1'中有侦测到不属于家人的脸孔(例如，可疑人士的脸孔)，则处理器104可判定影音片段SD1'中存在符合通知条件的影音内容SC1'(例如侦测到可疑人士的片段)。反之，若处理器104在影音片段SD1'中未侦测到不属于家人的脸孔，则处理器104可判定影音片段SD1'中未存在符合通知条件的影音内容。
之后，反应于影音内容SC1'符合通知条件，处理器104可将事件标记SM1'及影音内容SC1'发送至存取网络装置100的智能装置330。在一实施例中，若处理器104侦测到可疑人士，则处理器104可相应地将事件标记SM1'及影音内容SC1'(例如，侦测到可疑人士脸部的片段)发送至智能装置330。在此情况下，屋主例如可在上述应用程序中查看可疑人士的片段及相应的时间信息等，但本发明可不限于此。
由上可知，使用者仅需在应用程序中依需求调整相关设定，即可让网络装置100及网络摄影机310协同提供所需的智能功能，因而可得到更为弹性、智能的操作体验。
此外，在其他实施例中，本发明的方法还可依事件标记中的时间信息而将多台网络摄影机拍到的影音内容拼接为较长的另一影音内容，以供使用者可连续地观看由不同网络摄影机所拍到的影音内容。以下参照图5作进一步说明。
请参照图5，其是依据本发明的一实施例示出的监控婴儿的示意图。如图5所示，网络摄影机510a及510b可分别设置于房间51a及51b，用以监测婴儿599在房间51a及51b中的行为。在本实施中，网络摄影机510a及510b可分别具有监测范围511a及511b，而其个别与网络装置100的交互方式可参照先前实施例中网络摄影机310与网络装置100的交互方式，于此不再赘述。
在本实施例中，假设婴儿599在第一时间点于位置P1醒来，并在第一时间区间内从位置P1移动至位置P2。相应地，网络装置100可依据来自网络摄影机510a的影音串流VS2a而判定发生预设动态事件(下称第一预设动态事件)，并相应产生事件标记SM2a、影音片段SD2a及影音内容SC2a。影音片段SD2a可以是在房间51a内拍摄到婴儿599脸部(无论睁眼/闭眼)的片段。影音内容SC2a则可以是婴儿599醒着从位置P1移动至位置P2的片段，而此片段的长度可等于上述第一时间区间。
接着，假设婴儿599接着从位置P2移动至位置P3，并在第二时间区间内从位置P3移动至位置P4。相应地，网络装置100可依据来自网络摄影机510b的影音串流VS2b而判定发生预设动态事件(下称第二预设动态事件)，并相应产生事件标记SM2b、影音片段SD2b及影音内容SC2b。影音片段SD2b可以是在房间51b内拍摄到婴儿599移动的片段。影音内容SC2b则可以是婴儿599醒着从位置P3移动至位置P4的片段，而此片段的长度可等于上述第二时间区间。
由于影音片段SD2a及SD2b皆是婴儿599醒着的片段，因此处理器104可判定影音片段SD2a及SD2b皆符合通知条件。接着，处理器104可依据第一预设动态事件的时间信息(其记录于事件标记SM2a中)及第二预设动态事件的时间信息(其记录于事件标记SM2b中)判断第二预设动态事件是否继续于第一预设动态事件而发生。
在图5中，由于婴儿599是由位置P1移动至位置P4，因此处理器104可依据上述时间信息而判定第二预设动态事件是继续于第一预设动态事件而发生。基此，处理器104可将影音内容SC2b拼接于影音内容SC2a之后以产生影音内容SC3，并相应地产生关联于影音内容SC3的事件标记SM3。之后，处理器104可发送影音内容SC3及事件标记SM3至智能装置330。
在图5的实施例中，处理器104所产生的影音内容SC3例如是婴儿599从位置P1移动至位置P4的连续片段，而事件标记SM3则可以包括影音内容SC3的长度、时间信息、网络摄影机510a及510b的身分等信息，以供智能装置330的使用者通过应用程序参考。
请参照图6，其是依据图5示出的监控可疑人士的示意图。在本实施例中，网络装置100、网络摄影机610a及610b的运行方式大致上类似于图5中网络装置100、网络摄影机510a及510b的运行方式，其细节于此不再赘述。
在本实施例中，图6的网络装置100所产生影音内容SC3'及事件标记SM3'。影音内容SC3'例如是可疑人士699从位置P1'移动至位置P4'的连续片段，而事件标记SM3'则可以包括影音内容SC3'的长度、时间信息、网络摄影机610a及610b的身分等信息，以供智能装置330的使用者通过应用程序参考。
由上可知，本发明提出的方法还可智能地依时间信息将对应于多台网络摄影机的影音内容组合成一完整片段，以供使用者参考。此外，共同形成一完整片段的影音内容不限于皆对应到同一个指定动态侦测模式或预设动态事件。亦即，本发明的方法亦可将对应于不同指定动态侦测模式(例如脸部侦测模式及动态侦测模式)的多个连续发生的预设动态事件组合成一完整片段。于另一实施例中，使用者可通过应用程序设定指定动态侦测模式为脸部侦测与动态侦测两者的结合，但本发明可不限于此。
并且，处理器104还可对上述不同的指定动态侦测模式设定不同的优先顺序，例如将脸部侦测模式的优先权设定为高于动态侦测模式。基此，处理器104即可在先侦测到对应于脸部侦测模式的预设动态事件之后，才继续侦测是否出现对应于动态侦测模式的预设动态事件。以图5为例，假设婴儿599在地点P1被网络摄影机510a拍摄到已醒来，则处理器104可继续地基于动态侦测模式而持续地拍摄婴儿599从地点P1爬行至地点P2的过程。
此外，虽然以上实施例中仅教示由网络装置100单独执行图2方法以实现上述智能功能，但在其他实施例中，图2方法亦可由一网络装置及一云端伺服器协同执行以实现上述智能功能。
请参照图7，其是依据图3示出的另一应用情境图。如图7所示，本实施例中可由网络装置100a(例如是连接于网络摄影机310的桥接器或闸道器)接收来自网络摄影机310的影音串流VS1，并依据指定动态侦测模式侦测影音串流VS1中是否发生预设动态事件。反应于侦测到预设动态事件，网络装置100a可产生对应于预设动态事件的事件标记SM1，并从影音串流VS1中取出对应于预设动态事件的影音片段SD1。之后，网络装置100a可将事件标记SM1及影音片段SD1发送至云端伺服器100b，以供云端伺服器100b作进一步的智能识别。
相应地，云端伺服器100b可判断影音片段SD1中是否存在符合通知条件的影音内容SC1。并且，反应于影音内容SC1符合通知条件，云端伺服器100b可将事件标记SM1及影音内容SC1发送至管理网络装置100a的智能装置330。
简言之，网络装置100a可经配置以执行图2的步骤S210～S230，而云端伺服器100b可经配置以执行图2的步骤S240～S250，而步骤S210～S250的细节可参照先前实施例中的说明，于此不再赘述。
从另一观点而言，图3的网络装置100亦可视为是图7的网络装置100a及云端伺服器100b的结合，但本发明可不限于此。在其他实施例中，步骤S240～S250亦可由其他的API实现。
此外，虽然以上实施例中皆以传统网络摄影机为例作说明，但本发明提出的网络装置亦可搭配智能网络摄影机使用。以图3为例，假设网络摄影机310为智能网络摄影机，且其具有由厂商设定的若干管理功能(例如简易的动态侦测等)。在此情况下，由于网络摄影机310可将上述管理功能相关的预处理数据亦发送至网络装置100，因此网络装置100可在接收前述预处理数据后，调用第二API以将网络摄影机310的预处理数据转传至伺服器或是由第二API判断预处理数据中是否存在符合通知条件的影音内容。借此，可让网络摄影机310仍可正常提供由相关厂商所设定的智能功能。上述伺服器可由网络摄影机310的厂商所维护，但可不限于此。
本发明更提供一种执行上述影像处理方法的电脑可读媒体。电脑可读媒体由嵌于其中的多个程序指令(例如设定程序指令以及部署程序指令)构成。这些程序指令可以载入电子装置中，并且执行与上述相同的影像处理方法以及网络装置的功能。
综上所述，本发明提出的网络装置、影像处理方法及电脑可读媒体可让网络装置在接收来自网络摄影机的影音串流之后，依据指定动态侦测模式执行侦测，并在侦测到发生预设动态事件之后相应进行相关的智能识别。如此一来，使用者不需另外购置智能网络摄影机即可实现同样的智能功能。并且，由于上述指定动态侦测模式及智能识别的相关配置可由使用者通过对应的应用程序来设定，因而可提供使用者更高的操作自由度。
此外，本发明还可将多个网络摄影机所拍摄到的连续影音内容自动结合为一段完整的影音内容，从而可让使用者得到更为便利的操作体验。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的构思和范围内，当可作些许的变动与润饰，故本发明的保护范围当视权利要求所界定者为准。

Claims (20)

1.一种影像处理方法，适于一网络装置，包括：
从一第一网络摄影机接收一第一影音串流；
依据一指定动态侦测模式侦测该第一影音串流中是否发生一第一预设动态事件；
反应于侦测到该第一预设动态事件，产生对应于该第一预设动态事件的一第一事件标记，并从该第一影音串流中取出对应于该第一预设动态事件的一第一影音片段；
判断该第一影音片段是否存在符合一通知条件的一第一影音内容；
以及
反应于该第一影音内容符合该通知条件，将该第一事件标记及该第一影音内容发送至存取该网络装置的一智能装置。
2.如权利要求1所述的方法，其中该第一事件标记包括该第一网络摄影机的一身分、该第一预设动态事件的标记文字、该第一预设动态事件的时间信息及该第一影音片段的长度的至少其中之一。
3.如权利要求1所述的方法，其中该指定动态侦测模式包括脸部侦测模式、动物侦测模式、移动侦测模式及文字侦测模式的至少其中之一。
4.如权利要求1所述的方法，其中依据该指定动态侦测模式侦测该第一影音串流中是否发生该第一预设动态事件的步骤包括依据该指定动态侦测模式调用一第一应用程序介面以侦测该第一影音串流中是否发生该第一预设动态事件，而所述方法还包括：
接收来自该第一网络摄影机的预处理数据；以及
调用一第二应用程序介面以将该第一网络摄影机的该预处理数据转传至一伺服器或判断该处理数据是否存在符合该通知条件的该第一影音内容。
5.如权利要求1所述的方法，其中该网络装置包括连接于该第一网络摄影机的一桥接器、一闸道器、一云端伺服器或其结合。
6.如权利要求1所述的方法，其中该第一事件标记包括该第一预设动态事件的时间信息，且所述方法还包括：
从一第二网络摄影机接收一第二影音串流；
依据该指定动态侦测模式侦测该第二影音串流中是否发生一第二预设动态事件；
反应于侦测到该第二预设动态事件，产生对应于该第二预设动态事件的一第二事件标记，并从该第二影音串流中取出对应于该第二预设动态事件的一第二影音片段，其中该第二事件标记包括该第二预设动态事件的时间信息；
判断该第二影音片段是否存在符合该通知条件的一第二影音内容；以及
反应于该第二影音内容符合该通知条件，依据该第二预设动态事件的该时间信息判断该第二预设动态事件是否继续于该第一预设动态事件而发生；
反应于判定该第二预设动态事件为继续于该第一预设动态事件而发生，将该第二影音内容拼接于该第一影音内容的后以产生一第三影音内容，并相应地产生关联于该第三影音内容的第三事件标记；以及
发送该第三影音内容及该第三事件标记至该智能装置。
7.如权利要求1所述的方法，其中反应于该网络装置不具有依据该指定动态侦测模式侦测该第一影音串流中是否发生该第一预设动态事件的能力，所述方法还包括：
将该第一影音串流转传至一云端伺服器，以让该云端伺服器依据该指定动态侦测模式侦测该第一影音串流中是否发生该第一预设动态事件；
反应于该云端伺服器侦测到发生该第一预设动态事件，产生对应于该第一预设动态事件的该第一事件标记，并从该第一影音串流中取出对应于该第一预设动态事件的该第一影音片段。
8.如权利要求1所述的方法，还包括：
将该第一事件标记及该第一影音内容加密为一第一事件报告，并将该第一事件报告发送至一云端伺服器，以令该云端伺服器在验证该第一事件报告后依据该第一事件报告产生一区块，并将该区块加入一区块链中。
9.如权利要求1所述的方法，其中反应于该第一影音内容不符合该通知条件，所述方法还包括忽略该第一事件标记及该第一影音片段。
10.一种网络装置，包括：
一储存电路，储存多个模块；以及
一处理器，耦接该储存电路，存取该些模块以执行下列步骤：
从一第一网络摄影机接收一第一影音串流；
依据一指定动态侦测模式侦测该第一影音串流中是否发生一第一预设动态事件；
反应于侦测到该第一预设动态事件，产生对应于该第一预设动态事件的一第一事件标记，并从该第一影音串流中取出对应于该第一预设动态事件的一第一影音片段；
判断该第一影音片段是否存在符合一通知条件的一影音内容；以及
反应于该第一影音内容符合该通知条件，将该第一事件标记及该影音内容发送至存取该网络装置的一智能装置。
11.如权利要求10所述的网络装置，其中该第一事件标记包括该第一网络摄影机的一身分、该第一预设动态事件的标记文字、该第一预设动态事件的时间信息及该第一影音片段的长度的至少其中之一。
12.如权利要求10所述的网络装置，其中该指定动态侦测模式包括脸部侦测模式、动物侦测模式、移动侦测模式及文字侦测模式的至少其中之一。
13.如权利要求10所述的网络装置，其中该处理器依据该指定动态侦测模式调用一第一应用程序介面以侦测该第一影音串流中是否发生该第一预设动态事件，且该处理器更经配置以：
接收来自该第一网络摄影机的预处理数据；以及
调用一第二应用程序介面以将该第一网络摄影机的该预处理数据转传至一伺服器或判断该处理数据是否存在符合该通知条件的该第一影音内容。
14.如权利要求10所述的网络装置，其中该网络装置包括连接于该第一网络摄影机的一桥接器、一闸道器、一云端伺服器或其结合。
15.如权利要求10所述的网络装置，其中该第一事件标记包括该第一预设动态事件的时间信息，且该处理器更经配置以：
从一第二网络摄影机接收一第二影音串流；
依据该指定动态侦测模式侦测该第二影音串流中是否发生一第二预设动态事件；
反应于侦测到该第二预设动态事件，产生对应于该第二预设动态事件的一第二事件标记，并从该第二影音串流中取出对应于该第二预设动态事件的一第二影音片段，其中该第二事件标记包括该第二预设动态事件的时间信息；
判断该第二影音片段是否存在符合该通知条件的一第二影音内容；以及
反应于该第二影音内容符合该通知条件，依据该第二预设动态事件的该时间信息判断该第二预设动态事件是否继续于该第一预设动态事件而发生；
反应于判定该第二预设动态事件为继续于该第一预设动态事件而发生，将该第二影音内容拼接于该第一影音内容之后以产生一第三影音内容，并相应地产生关联于该第三影音内容的第三事件标记；以及
发送该第三影音内容及该第三事件标记至该智能装置。
16.如权利要求10所述的网络装置，其中反应于该网络装置不具有依据该指定动态侦测模式侦测该第一影音串流中是否发生该第一预设动态事件的能力，该处理器更经配置以：
将该第一影音串流转传至一云端伺服器，以让该云端伺服器依据该指定动态侦测模式侦测该第一影音串流中是否发生该第一预设动态事件；
反应于该云端伺服器侦测到发生该第一预设动态事件，产生对应于该第一预设动态事件的该第一事件标记，并从该第一影音串流中取出对应于该第一预设动态事件的该第一影音片段。
17.如权利要求10所述的网络装置，其中该处理器更经配置以：
将该第一事件标记及该第一影音内容加密为一第一事件报告，并将该第一事件报告发送至一云端伺服器，以令该云端伺服器在验证该第一事件报告后依据该第一事件报告产生一区块，并将该区块加入一区块链中。
18.如权利要求10所述的网络装置，其中反应于该第一影音内容不符合该通知条件，该处理器更经配置以忽略该第一事件标记及该第一影音片段。
19.一种影像处理方法，适于一网络装置，包括：
从一第一网络摄影机接收一第一影音串流；
依据一指定动态侦测模式侦测该第一影音串流中是否发生一第一预设动态事件；
反应于侦测到该第一预设动态事件，产生对应于该第一预设动态事件的一第一事件标记，并从该第一影音串流中取出对应于该第一预设动态事件的一第一影音片段；以及
发送该第一事件标记及该第一影音片段至一云端伺服器。
20.一种内储程序的电脑可读媒体，当电脑载入该程序并执行时，完成下列步骤：
从一第一网络摄影机接收一第一影音串流；
依据一指定动态侦测模式侦测该第一影音串流中是否发生一第一预设动态事件；
反应于侦测到该第一预设动态事件，产生对应于该第一预设动态事件的一第一事件标记，并从该第一影音串流中取出对应于该第一预设动态事件的一第一影音片段；
判断该第一影音片段是否存在符合一通知条件的一影音内容；以及
反应于该第一影音内容符合该通知条件，将该第一事件标记及该第一影音内容发送至存取网络装置的一智能装置。
CN201811399161.7A 2018-11-05 2018-11-22 网络装置、影像处理方法及电脑可读媒体 Active CN111147808B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107139140 2018-11-05
TW107139140A TWI698121B (zh) 2018-11-05 2018-11-05 網路裝置、影像處理方法及電腦可讀媒體

Publications (2)

Publication Number Publication Date
CN111147808A true CN111147808A (zh) 2020-05-12
CN111147808B CN111147808B (zh) 2022-03-04

Family

ID=70457943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811399161.7A Active CN111147808B (zh) 2018-11-05 2018-11-22 网络装置、影像处理方法及电脑可读媒体

Country Status (3)

Country Link
US (1) US10750076B2 (zh)
CN (1) CN111147808B (zh)
TW (1) TWI698121B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7358872B2 (ja) * 2019-09-20 2023-10-11 株式会社Ｊｖｃケンウッド 撮像装置、映像検索方法、映像検索プログラム、及び、情報収集装置
GB201914855D0 (en) * 2019-10-14 2019-11-27 Binatone Electronics Int Ltd Dual video camera infant monitoring apparatus and methods
US11334752B2 (en) * 2019-11-19 2022-05-17 Netflix, Inc. Techniques for automatically extracting compelling portions of a media content item
CN113469021A (zh) * 2021-06-29 2021-10-01 深圳市商汤科技有限公司 视频处理及装置、电子设备及计算机可读存储介质
CN114500912B (zh) * 2022-02-23 2023-10-24 联想(北京)有限公司 通话处理方法、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1589451A (zh) * 2001-11-15 2005-03-02 实物视频影像公司 采用视频原语的视频监视系统
US20100020172A1 (en) * 2008-07-25 2010-01-28 International Business Machines Corporation Performing real-time analytics using a network processing solution able to directly ingest ip camera video streams
US20100026802A1 (en) * 2000-10-24 2010-02-04 Object Video, Inc. Video analytic rule detection system and method
CN102509083A (zh) * 2011-11-19 2012-06-20 广州大学 一种肢体冲突事件的检测方法
US20160005281A1 (en) * 2014-07-07 2016-01-07 Google Inc. Method and System for Processing Motion Event Notifications

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI566604B (zh) * 2015-04-27 2017-01-11 行品股份有限公司 影像擷取裝置、影像擷取系統及儲存媒體
TWI606426B (zh) * 2016-11-30 2017-11-21 英業達股份有限公司 個人週遭環境安全通報系統與方法
US10791173B2 (en) * 2018-07-13 2020-09-29 EMC IP Holding Company LLC Decentralized and distributed continuous replication system for moving devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100026802A1 (en) * 2000-10-24 2010-02-04 Object Video, Inc. Video analytic rule detection system and method
CN1589451A (zh) * 2001-11-15 2005-03-02 实物视频影像公司 采用视频原语的视频监视系统
US20100020172A1 (en) * 2008-07-25 2010-01-28 International Business Machines Corporation Performing real-time analytics using a network processing solution able to directly ingest ip camera video streams
CN102509083A (zh) * 2011-11-19 2012-06-20 广州大学 一种肢体冲突事件的检测方法
US20160005281A1 (en) * 2014-07-07 2016-01-07 Google Inc. Method and System for Processing Motion Event Notifications

Also Published As

Publication number Publication date
TW202019188A (zh) 2020-05-16
TWI698121B (zh) 2020-07-01
CN111147808B (zh) 2022-03-04
US10750076B2 (en) 2020-08-18
US20200145573A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
CN111147808B (zh) 网络装置、影像处理方法及电脑可读媒体
US10142381B2 (en) System and method for scalable cloud services
CN102572388B (zh) 一种基于人脸识别的网络视频监控装置与监控识别方法
US10979674B2 (en) Cloud-based segregated video storage and retrieval for improved network scalability and throughput
TW201820264A (zh) 在視訊序列中的動作辨識
US9411690B2 (en) Security surveillance apparatus with networking and video recording functions and failure detecting and repairing method for storage device thereof
KR20190100452A (ko) 뷰어 표현에 따라 미디어 컨텐츠를 캡쳐링
US11303845B2 (en) Video content authentication
WO2018166162A1 (zh) 一种音视频直播中检测客户端播放状态的系统及方法
WO2018225642A1 (ja) 顔認証システム、顔認証方法、生体認証システム、生体認証方法及び記録媒体
US20110255590A1 (en) Data transmission apparatus and method, network data transmission system and method using the same
US11564010B2 (en) Systems and methods for applying behavioral-based parental controls for media assets
KR20140118014A (ko) 클라이언트 인증 방법
CN110677682A (zh) 直播检测与数据处理方法、设备、系统及存储介质
US11297482B2 (en) Peripheral video presence detection
US20230254453A1 (en) Cloud-based segregated video storage and retrieval for improved network scalability and throughput
US10108617B2 (en) Using audio cues to improve object retrieval in video
US10721192B2 (en) Visual media file transmission method and user terminal
US10922349B1 (en) Filtering remote access monitoring data
KR102433744B1 (ko) 영상수집 장치 및 분석 장치의 연계를 통한 통합 관제 방법 및 장치
US11887314B2 (en) Compressed domain motion detection
WO2022156294A1 (zh) 视频处理方法及装置、计算机可读存储介质和电子设备
CN110007982B (zh) 通信方法及装置
TW202011257A (zh) 人臉辨識資料處理系統及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant