CN110392228B - 监视方法与使用此方法的电子装置 - Google Patents

Abstract

本发明提出一种适用于电子装置的监视方法，包括：取得视频影像；分析视频影像，以取得视频影像中多个信息类别的多个影像信息，其中各个信息类别对应于一个类别权重并且包括多个子类别，其中各个信息类别中的各个子类别对应于一个子类别权重；将各个影像信息分类至其所属的信息类别的其中一个子类别；以及根据视频影像的影像信息、多个信息类别对应的类别权重以及各个信息类别中的子类别对应的子类别权重，计算视频影像的警戒分数。此外，本发明还提出一种使用此方法的电子装置。

Description

监视方法与使用此方法的电子装置

技术领域

本发明是有关于一种监视方法，且特别是有关于一种基于分析视频影像来完成的监视方法与使用此方法的电子装置。

背景技术

目前笔记本电脑，在日常生活中已经算是不可或缺的必备品，相较于体积庞大的台式电脑，轻薄是笔记本电脑的一大优势，且效能又与台式电脑不相上下，即使使用者不对笔记本电脑进行收纳，也不会占用房间或是办公桌太大的空间。此外，摄像头在笔记本电脑上面，也成了必备的内建装置，摄像头可提供两个或多个地点的多个用户之间彩色画面的双向实时传送，对于视听对谈型的会议业务有非常大的帮助。然而，笔记本电脑内建的摄像头，实际的使用时机，却大多局限于视频会议或是拍摄视频快照的时候，其他时候则大都是闲置不使用的。

发明内容

有鉴于此，本发明提供一种监视方法与使用此方法的电子装置，能够充分利用电子装置上所配备的影像撷取元件，来让使用者在无须额外购买昂贵且不易维护的监视设备与系统下，以便利且成本低廉的方式达到类似的效果。

本发明提出一种监视方法，适用于电子装置。所述监视方法包括：取得视频影像；分析视频影像，以取得视频影像中多个信息类别的多个影像信息，其中各个信息类别对应于一个类别权重并且包括多个子类别，其中各个信息类别中的各个子类别对应于一个子类别权重；将各个影像信息分类至其所属的信息类别的其中一个子类别；以及根据视频影像的影像信息、多个信息类别对应的类别权重以及各个信息类别中的子类别对应的子类别权重，计算视频影像的警戒分数。

从另一观点来看，本发明提出一种电子装置，包括影像撷取元件以及耦接于影像撷取元件的处理器。影像撷取元件用以撷取视频影像。处理器用以：分析视频影像，以取得视频影像中多个信息类别的多个影像信息，其中各个信息类别对应于一个类别权重并且包括多个子类别，其中各个信息类别中的各个子类别对应于一个子类别权重；将各个影像信息分类至其所属的信息类别的其中一个子类别；以及根据视频影像的影像信息、多个信息类别对应的类别权重以及各个信息类别中的子类别对应的子类别权重，计算视频影像的警戒分数。

附图说明

图1绘示本发明一实施例的电子装置的方块示意图。

图2绘示本发明一实施例的监视方法的流程图。

图3绘示本发明一实施例中将影像信息分类至其所属的信息类别的其中一个子类别的流程图。

图4绘示本发明一实施例中根据影像信息之间的预设关联来完成的监视方法的流程图。

图5绘示本发明一实施例的视频影像的示意图。

附图标记说明：

100：电子装置；

110：影像撷取元件；

120：处理器；

130：存储元件；

140：通信元件；

S210、S220、S230、S240、S2401、S2403、S2405、S2407、S2409、S250、S260、S410、S420、S430：监控方法的步骤。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。

图1绘示本发明一实施例的电子装置的方块示意图。

请参照图1，电子装置100包括影像撷取元件110、处理器120、存储元件130以及通信元件140，其中处理器120分别耦接于影像撷取元件110、存储元件130以及通信元件140。举例来说，电子装置100可以是个人电脑(Personal Computer，PC)、笔记本电脑(Notebook)、平板电脑(Tablet PC)或智能手机(Smart Phone)等配备有影像撷取元件110，且具备运算能力的任何电子装置，本发明并不在此限。

影像撷取元件110是用以撷取一或多张视频影像(例如，图5所示的视频影像IMG)。举例来说，影像撷取元件110可以是内建或外接于电子装置100，并且配备有电荷耦合器件(Charge Coupled Device，CCD)、互补性氧化金属半导体(Complementary Metal-OxideSemiconductor，CMOS)元件或其他种类的感光元件的摄像镜头，但本发明并不限于此。在一些实施例中，电子装置100例如是笔记本电脑，而影像撷取元件110例如是内嵌于屏幕上方的摄影机。

处理器120用以对影像撷取元件110所撷取的视频影像进行分析，以执行本发明实施例的监视方法。举例来说，处理器120可以是中央处理器(Central Processing Unit，CPU)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可编程控制器、专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合，但本发明并不限于此。

存储元件130用以储存电子装置100的各项资料与参数。举例来说，存储元件130可以是任意形式的固定式或可移动式随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash memory)、硬盘或其他类似装置或这些装置的组合，但本发明并不限于此。在一些实施例中，存储元件130例如记录有执行监视方法时所需的各种参数等。在一些实施例中，存储元件130例如还记录有电子装置100的使用者的照片、影片、常连接的装置信息以及通讯录等各种档案，本发明并不在此限。

通信元件140用以与电子装置100以外的其他电子装置进行通信。举例来说，通信元件140可以是有线的光纤网络、通用串行总线(USB)、无线的蓝牙(Bluetooth)、红外线(RF)、或无线保真网络(Wireless Fidelity，Wi-Fi)等通信模块的其中之一或其组合，本发明并不限于此。在一些实施例中，电子装置100例如可通过通信元件140来存取诸如Facebook、Twitter、Instagram或Snapchat等社交网站的内容。在一些实施例中，电子装置100例如还可通过通信元件140来与使用者的移动装置进行通信。

图2绘示本发明一实施例的监视方法的流程图。

图2实施例所介绍的监视方法适用于图1实施例中所介绍的电子装置100，故以下将沿用电子装置100及其各项元件来对本实施例的监视方法进行说明。必须说明的是，虽然本实施例的监视方法是利用图1实施例所介绍的电子装置100，但本发明并不限于此，所属领域普通技术人员当可依其需求来做出可执行本实施例的监视方法的各步骤的电子装置。在本实施例中，电子装置100执行监视方法以监控居家安全。

请参照图2，在步骤S210中，处理器120会建立使用者相关信息。

具体来说，使用者相关信息是用以识别影像与使用者之间的关联的信息。举例来说，假设存储元件130中存放有多张照片，则照片中出现频率较高的人或曾经与使用者共同合影的人与使用者之间可能具有较高度的关联，而照片中出现频率较低的人则可能与使用者之间可能存在一般程度的关联。因此，处理器120可以通过其所能取得的所有影像，来分析影像与使用者之间的关联，以取得使用者相关信息。

在一些实施例中，处理器120例如会取得电子装置100的存储元件130中所记录的档案(例如，照片、影片常连接的装置信息以及通讯录等)，进而取出其中的影像来分析影像与使用者之间的关联，以建立使用者相关信息。

在一些实施例中，处理器120例如会分析电子装置100所关联的个人化网络资料，以建立使用者相关信息。具体来说，电子装置100所关联的个人化网络资料为电子装置100的使用者在网络上有所记录的相关资料，例如云端硬盘中的档案、社交网站上的个人信息、朋友家人的照片以及其他相关信息等。因此，处理器120例如会通过通信元件140来分析电子装置100所关联的个人化网络资料，以建立使用者相关信息。

如此一来，在执行完步骤S210后，处理器120能够取得影像与使用者之间的关联的信息，例如使用者的亲人影像、使用者的朋友影像或使用者的钱包影像等。

在步骤S220中，处理器120会取得影像撷取元件110所撷取的视频影像。

在一些实施例中，影像撷取元件110例如是以预设帧率(例如但不限于，30fps)来进行录像，而处理器120例如是每间隔一段预设时间从影像撷取元件110取得一张视频影像来进行分析(例如但不限于，每8个帧取一张视频影像)。

在步骤S230中，处理器120会分析视频影像，以取得视频影像中多个信息类别的多个影像信息。各个信息类别对应于一个类别权重并包括多个子类别，且各个信息类别中的各个子类别对应于一个子类别权重。

具体来说，一张视频影像中会包括多个影像信息，且每个影像信息属于一个信息类别。特别是，根据监控时所注重的程度不同，处理器120会赋予每个信息类别一个类别权重。然而，所属领域普通技术人员当可视需求调整每个信息类别所赋予的类别权重大小。

在本实施例中，电子装置100执行监视方法以监控居家安全，因此处理器120例如会设定人、物、场景、出现频率以及时间等五个信息类别，并且分别赋予类别权重(例如但不限于，0.2、0.2、0.2、0.2、0.2)。另一方面，处理器120会将信息类别“人”分为“亲人”“朋友”与“陌生人”三个子类别，将信息类别“物”分为“贵重”“危险”与“其他”三个子类别，将信息类别“场景”分为“私人”与“公共”两个子类别，将信息类别“出现频率”分为“低(小于5次)”“中(6至15次)”与“高(大于16次)”三个子类别，并且，将信息类别“时间”分为“白天”“晚上”与“深夜”三个子类别，并且分别赋予子类别权重如下表1所示。值得一提的是，本发明并不在此限制信息类别及其子类别的数量、类型以及个别的权重大小，所属领域普通技术人员当可依其需求来设定。

表1

在本实施例中，五个信息类别人、物、场景、出现频率以及时间的类别权重皆为0.2。以信息类别“人”为例，其中包括三个子类别“亲人”、“朋友”与“陌生人”，且子类别权重分别为0.2、0.3、0.5；以信息类别“场景”为例，其中包括两个子类别“私人”与“公共”，且子类别权重分别为0.7与0.3，以此类推。值得一提的是，在本实施例中的权重值越高表示越有可能发生危险。举例来说，当视频影像中出现陌生人时发生窃盗的可能性比视频影像中出现亲人的可能性高，因此“陌生人”的子类别权重比“亲人”的子类别权重高，以此类推。

在本实施例中，处理器120例如会对视频影像进行影像前处理，以分析出视频影像中人、物与场景的部分，并且统计“人”在所有视频影像中的出现频率，以及记录此张视频影像的影像撷取时间。以下将搭配图5来进行说明。

图5绘示本发明一实施例的视频影像的示意图。

请参照图5，影像撷取元件110所撷取的视频影像IMG中拍摄到一位女性正在厨房中拿着刀切水果，而厨房中还包括水槽、锅碗瓢盆、酒杯、酱料瓶以及水壶等许多物件。

在一实施例中，处理器120例如对视频影像IMG进行影像前处理，以Canny边缘侦测演算法来对视频影像IMG的内容分析。在本实施例中，处理器120例如会取得视频影像IMG中包括属于信息类别“人”的影像信息IN1(例如，女性影像)、属于信息类别“物”的影像信息IN2(例如，菜刀影像)以及属于信息类别“场景”的影像信息IN3(例如，厨房影像)。此外，处理器120还例如会统计信息类别“人”在包括视频影像IMG在内的一段特定时间内(例如但不限于，一天、一周或十天等)的所有视频影像中的出现次数，以计算信息类别“出现频率”的影像信息(例如，10次)。最后，处理器120还例如会记录下影像节与元件110撷取视频影像IMG时的影像撷取时间，以作为信息类别“时间”的影像信息(例如，2018年3月18日上午9:00)。

值得一提的是，前述段落是以影像信息IN1、IN2与IN3来作为例子进行说明。然而，在一些实施例中，处理器120还会从视频影像中IMG分析出各个信息类别中更多的影像信息。例如，除了影像信息IN2之外，视频影像IMG中的水槽、锅碗瓢盆等都可能被处理器120分析为信息类别“物”的影像信息。

在步骤S240中，处理器120会将各影像信息分类至其所属的信息类别的其中一个子类别中。

具体来说，在步骤S230中，处理器120是从视频影像中分析出属于各个信息类别的影像信息，而在步骤S240中，处理器120会进一步地对影像信息进行分析，来判断其是属于信息类别的哪一个子类别中。

以图5为例，处理器120在步骤S230中会从视频影像IMG中分析出信息类别“人”的影像信息IN1、信息类别“物”的影像信息IN2、信息类别“场景”的影像信息IN3、信息类别“出现频率”的影像信息(例如，10次)以及信息类别“时间”的影像信息(例如，2018年3月18日上午9:00)。随后，处理器120在步骤S240中，将影像信息IN1分类为信息类别“人”的子类别“亲人”“朋友”与“陌生人”的其中之一，将影像信息IN2分类为信息类别“物”的子类别“贵重”“危险”与“其他”的其中之一，将影像信息IN3分类为信息类别“场景”的子类别“私人”与“公共”的其中之一，将信息类别“出现频率”的影像信息分类为子类别“低”“中”与“高”的其中之一，以及将信息类别“时间”的影像信息分类为子类别“白天”“晚上”与“深夜”的其中之一。

图3绘示本发明一实施例中将影像信息分类至其所属的信息类别的其中一个子类别的流程图。更详细来说，在一些实施例中，步骤S240又包括图3所示的步骤S2401至步骤S2403。在一些实施例中，步骤S240更包括步骤S2405至步骤S2409。

在步骤S2401中，处理器120会对影像信息进行影像辨识，并且在步骤S2403中，根据影像辨识的辨识结果以及使用者相关信息，将影像信息分类至其所属的信息类别的其中一个子类别。

以影像信息IN1为例，处理器120对影像信息IN1进行影像辨识后，会将辨识结果与使用者相关信息进行比对。如前段落所述，使用者相关信息是用以识别影像与使用者之间的关联的信息。因此，处理器120在将辨识结果与使用者相关信息进行比对后，例如可辨识出影像信息IN1中的女性为使用者的妈妈，进而能够将影像信息IN1分类至子类别“亲人”当中。

在一些实施例中，电子装置100例如会通过通信元件140来将影像撷取元件110所撷取的视频影像传送给使用者(例如，使用者的移动装置)，而使用者也能够随时发送使用者回馈信号至电子装置100，以告知处理器120视频影像中的某特定内容是属于哪个子类别。

在步骤S2405中，处理器120会判断是否接收到使用者回馈信号。若是，则进入步骤S2407，反之，直接进入步骤S250。

在步骤S2407中，处理器120会根据所接收的使用者回馈信号，重新将影像信息分类至其所属的信息类别的其中一个子类别中。举例来说，当视频影像中包括使用者的新朋友时，处理器120可能会将此新朋友的影像信息分类至“陌生人”。因此，使用者可例如发送使用者回馈信号至电子装置100，以告知处理器120此新朋友是属于“朋友”的子类别。如此一来，电子装置100在通过通信元件140接收到使用者回馈信号后，可以据此将新朋友的影像信息重新分类至“朋友”当中。

随后，在步骤S2409中，处理器120会根据辨识结果以及使用者回馈信号，来更新使用者相关信息。

具体来说，在对包括新朋友的影像信息进行影像辨识后处理器120或取得新朋友的影像，因此处理器120便能够更新使用者相关信息，例如在使用者的朋友信息中新增此新朋友的影像。据此，电子装置100可具备学习的能力，执行本发明实施例的监视方法的时间越长，使用者相关信息的内容也就越丰富，而处理器120针对影像信息的分类也就能够更加精准。

请回到图2，在步骤S250中，处理器120会根据视频影像中的影像信息、信息类别对应的类别权重以及各个信息类别中的子类别对应的子类别权重，计算视频影像的警戒分数。

具体来说，警戒分数是用以表示处理器120根据视频影像来判断当前的安全程度。在一些实施例中，权重值越高用以表示安全程度越低，则警戒分数越高也表示安全程度越低。在另一些实施例中，权重值越高用以表示安全程度越高，则警戒分数越高也表示安全程度越高。

在一些实施例中，处理器120例如会以下列公式计算视频影像的警戒分数：

其中，C_l用以表示警戒分数，i用以表示信息类别，W_i用以表示信息类别i的类别权重，而w_in用以表示信息类别i中子类别为n时的子类别权重。

以图5为例，i为1至5，且W₁至W₅皆为0.2。当信息类别“人”的影像信息IN1的子分类为“亲人”、信息类别“物”的影像信息IN2的子分类为“危险”、信息类别“场景”的影像信息IN3的子分类为“私人”、信息类别“出现频率”的影像信息的子分类为“中”，且信息类别“时间”的影像信息的子分类为“白天”时，w_1n、w_2n、w_3n、w_4n与w_5n分别为0.2、0.4、0.7、0.3、0.2。因此，处理器120会计算视频影像IMG的警戒分数C_l：

C_l＝0.2·0.2+0.2·0.4+0.2·0.7+0.2·0.3+0.2·0.2＝0.36

在步骤S260中，处理器120会根据所计算的警戒分数来发出警示信号。

具体来说，若警戒分数越高亦表示安全程度越低时，处理器120例如会设定一个最高分数阀值，当警戒分数超过最高分数阀值时，处理器120就会发出警示信号以通知使用者。反之，若警戒分数越高亦表示安全程度越高时，处理器120例如会设定一个最低分数阀值，当警戒分数低于最低分数阀值时，处理器120就会发出警示信号以通知使用者。

在本实施例中，处理器120例如会设定最高分数阀值为0.4。由于视频影像IMG中所显示的情境为“妈妈白天拿菜刀在厨房”，因此处理器120在计算出警戒分数为0.36后会判断此视频影像IMG中并不包括危险情境，因此不发出警示信号。

反之，倘若另一视频影像所显示的情境为“陌生人深夜拿西瓜刀在客厅”。处理器120在判断此陌生人为第一次出现，西瓜刀属于信息类别“物”中的“危险”子类别，且客厅属于信息类别“场景”中的“私人”子类别后，会计算其警戒分数Cl：

C_l＝0.2·0.5+0.2·0.4+0.2·0.7+0.2·0.5+0.2·0.5＝0.52

由于视频影像的警戒分数0.52高于最高分数阀值0.4，因此处理器120会判断此视频影像IMG中包括危险情境，进而发出警示信号。

在一些实施例中，处理器120例如是通过电子装置100上的输出元件(未绘示)，来以灯号或显示屏幕等来发出视觉的警示信号，或以扬声器等来发出声音的警示信号。

在一些实施例中，处理器120例如是通过通信元件140来发送信息给使用者(例如，使用者的移动装置)，以发出警示信号。举例来说，处理器120可通过通信元件140来发送文字短信至使用者的手机，以对使用者发出警示信息。举另一例来说，处理器120也可通过通信元件140直接将此视频影像发送至使用者的手机，来让使用者能够直接从视频影像判断是否真的发生危险。

在一些实施例中，处理器120还可设定影像信息之间的预设关联来作为判断的特定条件，相关的细节将于以下段落搭配图4来说明之。

图4绘示本发明一实施例中根据影像信息之间的预设关联来完成的监视方法的流程图。

请参照图4，在步骤S410中，处理器120会设定影像信息之间的预设关联。举例来说，处理器120例如会设定影像信息“钱包影像”与影像信息“桌子影像”或“柜子影像”之间的相对位置，以确保钱包是放在桌子或柜子上。举另一例来说，处理器120例如会设定影像信息“钱包影像”与影像信息“陌生人”之间的相对位置，以确保陌生人距离钱包一定距离等。然而，本发明并不限于此。

在步骤S420中，处理器120会判断视频影像中的影像信息是否符合预设关联，以取得判断结果。举例来说，处理器120例如会在步骤S2401进行影像辨识后，根据辨识结果来判断视频影像中的影像信息是否符合预设关联，也就是判断“钱包影像”是否在“桌子影像”或“柜子影像”上方，以取得判断结果。举另一例来说，处理器120例如会在步骤S2401进行影像辨识后，根据辨识结果来判断“钱包影像”与“陌生人”之间的距离是否超过预设的距离阀值，以取得判断结果。

在步骤S430中，处理器120会根据该判断结果调整警戒分数或发出警示信号。举例来说，当判断结果显示“钱包影像”不在“桌子影像”或“柜子影像”上方时，表示钱包可能已经遭窃，因此处理器120例如会调高警戒分数或是直接发出警示信号。举另一例来说，当判断结果显示“钱包影像”与“陌生人”之间的距离并未超过预设的距离阀值或甚至显示“钱包影像”与“陌生人”接触时，表示陌生人靠近或持有钱包，则处理器120也会调高警戒分数或是直接发出警示信号以通知使用者。

综上所述，本发明实施例所提出的监视方法与使用此方法的电子装置，将电子装置所配备的影像撷取元件所撷取的视频影像进行影像分析，通过定义出多个不同安全等级的类别，将视频影像的影像内容分类至此些类别中以计算出警戒分数，进而判断当前的视频影像中是否存在危险情境。据此，能够充分地利用电子装置的影像撷取元件，在无须额外安装监视保全系统下就能有效地达到监视效果，便利且节省成本。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种监视方法，适用于一电子装置，该电子装置包括用以撷取视频影像的影像撷取元件，该方法包括：

取得一视频影像；

分析所述视频影像，以取得所述视频影像中多个信息类别的多个影像信息，其中各信息类别对应于一类别权重并且包括多个子类别，其中各信息类别中的各子类别对应于一子类别权重；

将各影像信息分类至其所属的所述信息类别的所述子类别的其中之一；以及

根据所述视频影像的所述影像信息、所述信息类别对应的所述类别权重以及各所述信息类别中所述子类别对应的所述子类别权重，计算所述视频影像的一警戒分数，根据该警戒分数来判断当前的安全程度。

2.根据权利要求1所述的监视方法，其特征在于，还包括：

分析所述电子装置中所记录的档案，以建立一使用者相关信息。

3.根据权利要求2所述的监视方法，其特征在于，还包括：

分析所述电子装置所关联的一个人化网络资料，以建立所述使用者相关信息。

4.根据权利要求2或3所述的监视方法，其特征在于，将各影像信息分类至其所属的所述信息类别的所述子类别其中之一的步骤包括：

对一影像信息进行一影像辨识；以及

根据所述影像辨识的一辨识结果以及所述使用者相关信息，将所述影像信息分类至其所属的所述信息类别的所述子类别的其中之一。

5.根据权利要求4所述的监视方法，其特征在于，将各影像信息分类至其所属的所述信息类别的所述子类别其中之一的步骤，还包括：

接收一使用者回馈信号；

根据所述使用者回馈信号，重新将所述影像信息分类至其所属的所述信息类别的所述子类别的其中之一；以及

根据所述辨识结果以及所述使用者回馈信号，更新所述使用者相关信息。

6.根据权利要求1所述的监视方法，其特征在于，所述信息类别包括一第一类别以及一第二类别，其中分析所述视频影像，以取得所述视频影像中所述信息类别的所述影像信息的步骤包括：

分析所述视频影像，以取得所述视频影像中所述第一类别的所述影像信息；以及

对所述第一类别进行统计，以计算所述第二类别的所述影像信息。

7.根据权利要求1所述的监视方法，其特征在于，所述信息类别包括一时间类别，并且所述时间类别的所述影像信息包括所述视频影像的一影像撷取时间。

8.根据权利要求1所述的监视方法，其特征在于，还包括：

设定所述影像信息之间的一预设关联；

判断所述视频影像中的所述影像信息是否符合所述预设关联，以取得一判断结果；以及

根据所述判断结果调整所述警戒分数或发出一警示信号。

9.根据权利要求1所述的监视方法，其特征在于，还包括：

根据所述警戒分数发出一警示信号。

10.一种电子装置，包括：

一影像撷取元件，用以撷取一视频影像；以及

一处理器，耦接于所述影像撷取元件，用以：

分析所述视频影像，以取得所述视频影像中多个信息类别的多个影像信息，其中各信息类别对应于一类别权重并且包括多个子类别，其中各信息类别中的各子类别对应于一子类别权重；

将各影像信息分类至其所属的所述信息类别的所述子类别的其中之一；以及

根据所述视频影像的所述影像信息、所述信息类别对应的所述类别权重以及各所述信息类别中所述子类别对应的所述子类别权重，计算所述视频影像的一警戒分数，该警戒分数用以判断当前的安全程度。

Images