CN109034176B - 辨识系统以及辨识方法 - Google Patents

Abstract

一种辨识系统以及辨识方法。辨识系统包含一摄像装置以及一服务器。摄像装置耦接服务器。摄像装置基于一影像数据以及一卷积神经网络产生第M层计算结果。摄像装置传送关联于第M层计算结果的一特征信息。M为等于或大于1的一正整数，M小于或等于N。N为一预设正整数。服务器接收特征信息。当M小于N时，服务器基于特征信息以及卷积神经网络以迭代方式产生第K层计算结果。K为大于M的一正整数。K小于或等于N。当K等于N时，服务器基于第K层计算结果以及一第一辨识模型产生关联于影像数据的一第一辨识结果，以对影像数据进行辨识。如此，可避免发生影像数据在传送过程中发生外泄的问题。

Description

辨识系统以及辨识方法

技术领域

本揭示中所述实施例内容是有关于一种辨识技术，且特别是有关于一种辨识系统以及辨识方法。

背景技术

随着影像技术的发展，针对影像的各种处理(例如：物件侦测)已被发展出来。在现有技术中，影像数据会从相机传送至服务器，以进行后续的处理或辨识。在传送影像数据的过程中，可能会发生影像数据外泄的问题。

发明内容

本揭示内容提出一种辨识系统以及辨识方法。

本揭示内容的一实施方式是关于一种辨识系统。辨识系统包含一摄像装置以及一服务器。摄像装置耦接服务器。摄像装置用以基于一影像数据以及一卷积神经网络(convolutional neural network)产生一第M层计算结果。摄像装置传送关联于第M层计算结果的一特征信息。M为等于或大于1的一正整数，M小于或等于N。N为一预设正整数。服务器接收特征信息。当M小于N时，服务器基于特征信息以及卷积神经网络以迭代(iteration)方式产生一第K层计算结果。K为大于M的一正整数。K小于或等于N。当K等于N时，服务器基于第K层计算结果以及一第一辨识模型产生关联于影像数据的一第一辨识结果，以对影像数据进行辨识。

在一些实施例中，当M等于N时，第M层计算结果用以作为特征信息。服务器基于特征信息以及第一辨识模型产生第一辨识结果。

在一些实施例中，服务器更用以基于第一辨识结果以及一第二辨识模型产生关联于影像数据的一第二辨识结果，且第二辨识模型不同于第一辨识模型。

在一些实施例中，第M层计算结果包含一卷积(convolution)结果、一池化(pooling)结果、一活化(activation)结果或一反卷积(deconvolution)结果。

在一些实施例中，摄像装置更用以判断一临限时间是否满足。当M小于N且临限时间满足时，摄像装置传送第M层计算结果至服务器作为特征信息。当M小于N且临限时间未满足时，摄像装置基于第M层计算结果以及卷积神经网络进行迭代演算。

本揭示内容的另一实施方式是关于一种辨识方法。辨识方法包含：通过一摄像装置基于一影像数据以及一卷积神经网络产生一第M层计算结果；通过摄像装置传送关联于第M层计算结果的一特征信息给一服务器，M为等于或大于1的一正整数，M小于或等于N且N为一预设正整数；当M小于N时，通过服务器基于特征信息以及卷积神经网络以迭代方式产生一第K层计算结果，K大于M且K小于或等于N；以及当K等于N时，通过服务器基于第K层计算结果以及一第一辨识模型产生关联于影像数据的一第一辨识结果，以对影像数据进行辨识。

在一些实施例中，当M等于N时，第M层计算结果用以作为特征信息。辨识方法还包含：当M等于N时，通过服务器基于特征信息以及第一辨识模型产生第一辨识结果。

在一些实施例中，辨识方法还包含：通过服务器基于第一辨识结果以及一第二辨识模型产生关联于影像数据的一第二辨识结果。第二辨识模型不同于第一辨识模型。

在一些实施例中，第M层计算结果包含一卷积结果、一池化结果、一活化结果或一反卷积结果。

在一些实施例中，辨识方法还包含：通过摄像装置判断一临限时间是否满足。当M小于N且临限时间满足时，通过摄像装置传送第M层计算结果至服务器作为特征信息。当M小于N且临限时间未满足时，通过摄像装置基于第M层计算结果以及卷积神经网络进行迭代演算。

综上所述，本揭示中的辨识系统以及辨识方法，摄像装置将特征信息而非影像数据传送给服务器。如此，可避免发生影像数据在传送过程中发生外泄的问题。

附图说明

为让本揭示的上述和其他目的、特征、优点与实施例能更明显易懂，所附附图的说明如下：

图1是依照本揭示一些实施例所绘示的一种辨识系统的示意图；

图2是依照本揭示一些实施例所绘示的一种辨识方法的流程图；

图3是依照本揭示一些实施例所绘示的一种卷积演算法的示意图；以及

图4是依照本揭示一些实施例所绘示的一种池化演算法的示意图。

具体实施方式

下文是举实施例配合所附附图作详细说明，但所提供的实施例并非用以限制本揭示所涵盖的范围，而结构运作的描述非用以限制其执行的顺序，任何由元件重新组合的结构，所产生具有均等功效的装置，皆为本揭示所涵盖的范围。此外，附图仅以说明为目的，并未依照原尺寸作图。为使便于理解，下述说明中相同元件或相似元件将以相同的符号标示来说明。

另外，在全篇说明书与权利要求书所使用的用词(terms)，除有特别注明外，通常具有每个用词使用在此领域中、在此揭露的内容中与特殊内容中的平常意义。某些用以描述本揭露的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本揭露的描述上额外的引导。

在本文中所使用的用词“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

关于本文中所使用的“耦接”，可指二或多个元件相互“直接”作实体或电性接触，或是相互“间接”作实体或电性接触，亦可指二个或多个元件相互操作或动作。

请参考图1。图1是依照本揭示一实施例所绘示的一种辨识系统100的示意图。以图1示例而言，辨识系统100包含摄像装置120以及服务器140。

在一些实施例中，摄像装置120为网络摄影机(IP camera)、数字相机、智能手机、平板电脑、笔记型电脑、智能家电或各式具有摄像功能的装置。在一些实施例中，服务器140为云端服务器或本地服务器。

在一些实施例中，摄像装置120耦接服务器140。在一些实施例中，摄像装置120透过其传送模块(图未示)与服务器140建立通讯连接L1。如此，摄像装置120与服务器140得以透过通讯连接L1交换数据。举例而言，摄像装置120透过通讯连接L1传送关联于影像数据IMG的特征信息FI给服务器140。在一些实施例中，通讯连接L1包含有线通讯连接或无线通讯连接。

在一些实施例中，摄像装置120包含处理器122。在一些实施例中，处理器122是一中央处理器(CPU)、一微处理器、一处理电路或其他可执行指令的硬件元件。

在一些实施例中，服务器140包含处理器142、记忆体144以及处理器146。记忆体144耦接处理器142以及处理器146。在一些实施例中，处理器142与处理器146分别是一中央处理器、一微处理器、一处理电路或其他可执行指令的硬件元件。在一些其他的实施例中，处理器142与处理器146共同形成一中央处理器、一微处理器、一处理电路或其他可执行指令的硬件元件。在一些实施例中，记忆体144是只读记忆体、快闪记忆体、软盘、硬盘、光盘、随身盘、磁带或其他可储存数据的硬件元件。

在一些实施例中，处理器146包含或执行至少一辨识模型。以图1示例而言，处理器146包含或执行辨识模型MD1以及辨识模型MD2。在一些实施例中，辨识模型MD1或辨识模型MD2为一类神经网络模型。在一些实施例中，辨识模型MD1不同于辨识模型MD2。举例而言，辨识模型MD1具有影像分类功能，且辨识模型MD2具有物件侦测功能。

在一些实施例中，辨识模型MD1或辨识模型MD2，其具体实现方式可为软件、硬件与/或固件。各种用以实现辨识模型MD1或辨识模型MD2的方式皆在本揭示内容的考量范围内。

请参考图2以及图3。图2是依照本揭示一些实施例所绘示的一种辨识方法200的流程图。图3是依照本揭示一些实施例所绘示的一种卷积演算法的示意图。在一些实施例中，辨识方法200被应用于图1的辨识系统100中。辨识方法200包含步骤S202、步骤S204、步骤S206、步骤S208、步骤S210、步骤S212、步骤S214、步骤S216、步骤S218以及步骤S220。为了以较佳的方式理解本揭示内容，辨识方法200将搭配图1以及图3进行讨论，但本揭示内容不以此为限制。

在步骤S202中，摄像装置120与服务器140协商卷积神经网络(convolutionalneural network；CNN)。在一些实施例中，摄像装置120包含一或多个卷积神经网络。在一些实施例中，服务器140包含一或多个卷积神经网络。在一些实施例中，摄像装置120传送一模型识别信息(model ID)给服务器140，使得摄像装置120以及服务器140采用相同的卷积神经网络。在一些实施例中，模型识别信息用以绑定各种网络参数。在一些实施例中，卷积神经网络包含卷积(convolution)演算法、池化(pooling)演算法、活化(activation)演算法或反卷积(deconvolution)演算法。

在步骤S204中，摄像装置120取得影像数据IMG。在一些实施例中，摄像装置120拍摄一原始影像。原始影像经一前处理后产生影像数据IMG。举例而言，原始影像经一像素缩减处理后产生影像数据IMG。如此，影像数据IMG的像素数量小于原始影像的像素数量。在一些其他的实施例中，影像数据IMG是未经前处理的原始影像本身。

以图3示例而言，影像数据IMG包含25个像素。这些像素包含像素值M1、像素值M2、…、像素值M25。上述影像数据IMG中像素的数量仅用以示例的目的。影像数据IMG中像素的各种数量皆在本揭示内容的考量范围内。

在步骤S206中，处理器122进行卷积神经网络中的演算法，例如：卷积演算法。在一些实施例中，处理器122利用特征核心(例如：图3的特征核心KR)对影像数据IMG进行卷积演算法以产生第1层计算结果。在一些实施例中，每个卷积神经网络对应一或多个特征核心。一个特征核心包含多个内容值。以图3示例而言，特征核心KR包含9个内容值。这些内容值包含内容值K1、内容值K2、…、内容值K9。上述特征核心KR中内容值的数量仅用以示例的目的。特征核心KR中内容值的各种数量皆在本揭示内容的考量范围内。

以下将针对卷积演算法进行叙述。首先，将特征核心KR中的内容值K1～K9依序对应至影像数据IMG的像素值M1、M2、M3、M6、M7、M8、M11、M12以及M13。通过卷积演算法可以得到第一个化简值。举例而言，内容值K1～K9分别为1、0、1、0、2、3、1、1、0且像素值M1、M2、M3、M6、M7、M8、M11、M12、M13分别为2、3、0、1、2、0、0、1、2。卷积演算法的演算结果为(1*2+0*3+1*0+0*1+2*2+3*0+1*0+1*1+0*2＝7)。也就是说，第一个化简值为7。接着，特征核心KR整体往右平移一格，使得内容值K1～K9依序对应至影像数据IMG的像素值M2、M3、M4、M7、M8、M9、M12、M13以及M14。通过卷积演算法可得到第二个化简值。接着，特征核心KR整体再往右平移一格，使得内容值K1～K9依序对应至影像数据IMG的像素值M3、M4、M5、M8、M9、M10、M13、M14以及M15。通过卷积演算法可得到第三个化简值。接着，特征核心KR整体往下移一格并移至最左方，使得内容值K1～K9依序对应至影像数据IMG的像素值M6、M7、M8、M11、M12、M13、M16、M17以及M18。通过卷积演算法可得到第四个化简值。其余化简值的计算方式依此类推。据此，最后可以得到9个化简值。在一些实施例中，9个化简值可依序排列成九宫格形状的方阵(例如：卷积结果)，此卷积结果为第M层计算结果。在一些实施例中，M为正整数，M小于或等于N。在一些实施例中，N为一预设正整数。举例而言，此卷积结果被视为第1层计算结果。

通过卷积演算法，原本包含有25个像素值的影像数据IMG得以被化简为9个化简值。在一些实施例中，特征核心KR中的这些内容值可依据实际需求(例如：影像数据IMG的特质或后续处理的目的)设定之。如此，可萃取出重要信息。

在一些实施例中，每个卷积神经网络对应多个特征核心。在这种情况下，处理器122同时利用多个特征核心对影像数据IMG进行化简，以产生多个第1层计算结果。

在步骤S208中，处理器122判断一临限时间是否满足。在一些实施例中，临限时间可依据实际需求设定或调整之。举例而言，临限时间依据处理器122的运算资源设定。

在一些实施例中，若临限时间尚未满足，则进入步骤S210。在步骤S210中，处理器122判断M是否等于N。若否，则再次进入步骤S206。也就是说，处理器122将对第M层计算结果进行卷积演算法以产生下一层(第(M+1)层)计算结果，且将M更新为(M+1)。以此类推，直到临限时间满足或者第N层计算结果产生。由于产生各层计算结果的过程相似于产生第1层计算结果的过程，故于此不再赘述。换言之，处理器122利用迭代方式进行演算。

在一些实施例中，若在步骤S208中临限时间被判断已满足，则进入步骤S212。假设在临限时间满足时处理器122产生第M层计算结果。在步骤S212中，摄像装置120将第M层计算结果作为特征信息FI，且透过通讯连接L1将特征信息FI传送给服务器140。接着，进入步骤S214。

由于摄像装置120在步骤S212中是将特征信息FI(例如：第M层计算结果)传送给服务器140。如此，可避免传送影像数据IMG以避免发生影像数据IMG外泄的问题。

在步骤S214中，处理器142对第M层计算结果进行卷积演算法。在一些实施例中，摄像装置120以及服务器140采用相同的卷积神经网络。在一些实施例中，处理器142将第M层计算结果填入第M层后对第M层计算结果进行卷积演算法，以产生第(M+1)层计算结果。在一些实施例中，第(M+1)层计算结果被视为第K层计算结果。K为大于M的一正整数，K小于或等于N。在一些实施例中，计算结果是以二进位大型物件(binary large object；Blob)的形式被记录下来。也就是说，计算结果为视为二进位大型物件数据(Blob data)。各个二进位大型物件数据具有二进位大型物件识别(Blob ID)。如此，处理器122或142得以透过Blob ID判断计算结果是属于哪一层，且将该计算结果填入对应的层。接着，处理器122或142得以对该计算结果进行卷积演算法以产生下一层计算结果。在一些实施例中，处理器122或142透过该计算结果的结构判断此计算结果是利用哪一卷积神经网络所产生，且透过该计算结果的结构判断此计算结果是属于哪一层。举例而言，若计算结果的结构为6×6×256，处理器122或142判断此计算结果是由卷积神经网络AlexNet所产生。

在步骤S216中，处理器142判断K是否等于N。若否，则再次进入步骤S214。也就是说，处理器142将对第K层计算结果进行卷积演算法以产生下一层(第(K+1)层)计算结果，且将K更新为(K+1)。以此类推，直到第N层计算结果产生，则进入步骤S218。换句话说，当K小于N时，处理器142以迭代方式进行演算，直到第N层计算结果产生。

在步骤S218中，处理器146基于辨识模型MD1与辨识模型MD2其中一者以及第N层计算结果产生辨识结果，以对影像数据IMG进行辨识。在一些实施例中，第N层计算结果被视为共享特征(shared feature)信息。在一些实施例中，共享特征信息储存在记忆体144中。

在一些实施例中，处理器146将第N层计算结果输入进辨识模型MD1，以产生关联于影像数据IMG的第一辨识结果(例如：影像分类结果)。举例而言，若影像数据IMG包含动物(例如：狗)，辨识模型MD1依据第N层计算结果将影像数据IMG分类至一动物类别。

在一些实施例中，处理器146将第N层计算结果输入进辨识模型MD2，以产生关联于影像数据IMG的第二辨识结果(例如：物件侦测结果)。举例而言，若影像数据IMG包含动物(例如：狗)，辨识模型MD2侦测影像数据IMG中该动物的位置。

在一些实施例中，处理器146将辨识模型MD1所产生的第一辨识结果输入至辨识模型MD2，以产生关联于影像数据IMG的第二辨识结果。也就是说，辨识模型MD1与辨识模型MD2形成多任务网络串接(multi-task network cascsdes)架构。

回到步骤S210。若处理器122判断第N层计算结果已产生，则进入步骤S220。在步骤S220中，处理器122将第N层计算结果作为特征信息FI传送给服务器140。在一些实施例中，第N层计算结果被视为共享特征信息且透过通讯连接L1传送给服务器140，以储存在记忆体144中。接着，进入步骤S218。步骤S218中的操作已于前面段落进行描述，于此不再赘述。

由于摄像装置120在步骤S220中是将特征信息FI(例如：第N层计算结果)传送给服务器140。如此，可避免传送影像数据IMG以避免发生影像数据IMG外泄的问题。

上述叙述中的辨识方法200包含示例性的操作，但这些操作不必依上述顺序被执行。按照本揭示内容的精神与范围，本揭示内容的辨识方法200中的操作的顺序能够被改变，或者这些操作能够视情况地同时或部分同时被执行。在一些实施例中，部分操作得以视情况地被省略。举例而言，当摄像装置120以及服务器140被预设为采用相同的卷积神经网络时，步骤S202得以被省略。

在一些实施例中，相较于其他特征截取演算法仅截取影像数据IMG中特定的像素值，卷积演算法考量了影像数据IMG中所有的像素值。如此，所产生的计算结果具有较大的适应性。也就是说，所产生的计算结果可应用于各种不同的辨识模型。

相较于第1层计算结果至第N层计算结果皆由服务器产生的方式，在一些实施例中，摄像装置120至少产生第1层计算结果，使得服务器140的运算成本得以降低。

在一些实施例中，摄像装置120的卷积层数或服务器140的卷积层数依赖于临限时间。在一些实施例中，临限时间可依据摄像装置120的运算资源及/或服务器140的运算资源动态地调整。因此，辨识系统100具有可调整性。

在一些实施例中，辨识方法200可被实作为计算机程序且储存于储存装置中。储存装置包含非暂态计算机可读取记录媒体或其他具有储存功能的装置。此计算机程序包括多个程序指令。这些程序指令可由一或多个处理器来执行。

在一些实施例中，第M层计算结果或第K层计算结果可为卷积结果、池化结果、活化结果或反卷积结果。其他各种卷积神经网络中的计算结果皆在本揭示内容的范围内。

在一些实施例中，不同层计算结果为不同的演算法所产生的对应计算结果。举例而言，第1层计算结果是卷积结果。第2层计算结果是对第1层计算结果(卷积结果)进行池化演算所产生的池化结果。第3层计算结果是对第2层计算结果(池化结果)进行活化演算所产生的活化结果。第4层计算结果是对第3层计算结果(活化结果)进行卷积演算所产生的卷积结果。第5层计算结果是对第4层计算结果(卷积结果)进行池化演算所产生的池化结果。第6层计算结果是对第5层计算结果(池化结果)进行活化演算所产生的活化结果。以此类推。

请参考图4。图4是依照本揭示一些实施例所绘示的一种池化演算法的示意图。

以图4示例而言，卷积结果PL(例如：第1层卷积结果)包含9个内容值。这些内容值包含内容值R1、内容值R2、…、内容值R9。方阵PO用以化简卷积结果PL以产生池化结果。以图4示例而言，方阵PO包含4个内容值。这些内容值包含内容值S1、内容值S2、内容值S3以及内容值S4。

以下将针对池化演算法进行叙述。首先，将方阵PO中的内容值S1、S2、S3、S4分别对应到卷积结果PL的内容值R1、R2、R4、R5后，可选出内容值R1、R2、R4、R5中的最大值作为第一个化简值。接着，方阵PO整体往右平移一格，将方阵PO中的内容值S1、S2、S3、S4分别对应到卷积结果PL的内容值R2、R3、R5、R6后，可选出内容值R2、R3、R5、R6中的最大值作为第二个化简值。接着，方阵PO往下移一格并靠到最左方，将方阵PO中的内容值S1、S2、S3、S4分别对应到卷积结果PL的内容值R4、R5、R7、R8后，可选出内容值R4、R5、R7、R8中的最大值作为第三个化简值。接着，方阵PO往右移一格，将方阵PO中的内容值S1、S2、S3、S4分别对应到卷积结果PL的内容值R5、R6、R8、R9后，可选出内容值R5、R6、R8、R9中的最大值作为第四个化简值。据此，最后可以得到4个化简值。4个化简值例如可序排列成四宫格形状的方阵(例如：第1层池化结果)。在一些实施例中，第M或K层池化结果被视为第M或K层计算结果。举例而言，第1层池化结果被视为第1层计算结果。

通过池化演算法，原本包含有9个内容值的卷积结果PL得以被化简为4个化简值。如此，可进一步萃取出重要信息。

上述池化演算法的实现方式仅用以示例的目的。池化演算法的各种实现方式皆在本揭示内容的考量范围内。举例而言，在一些实施例中，池化演算法可采用平均数、最小值、中间值以取出化简值。

综上所述，本揭示中的辨识系统以及辨识方法，摄像装置将特征信息而非影像数据传送给服务器。如此，可避免发生影像数据在传送过程中发生外泄的问题。

虽然本揭示已以实施方式揭示如上，然其并非用以限定本揭示，任何本领域具通常知识者，在不脱离本揭示的精神和范围内，当可作各种的更动与润饰，因此本揭示的保护范围当视所附的权利要求书所界定的范围为准。

Claims (8)

1.一种辨识系统，其特征在于，包含：

一摄像装置，用以基于一影像数据以及一卷积神经网络产生一第M层计算结果，且传送关联于该第M层计算结果的一特征信息，其中M为等于或大于1的一正整数，M小于或等于N，且N为一预设正整数；以及

一服务器，耦接该摄像装置且用以接收该特征信息，其中当M小于N时，该服务器基于该特征信息以及该卷积神经网络以迭代方式产生一第K层计算结果，K为大于M的一正整数，K小于或等于N，当K等于N时，该服务器基于该第K层计算结果以及一第一辨识模型产生关联于该影像数据的一第一辨识结果，以对该影像数据进行辨识，当M等于N时，该第M层计算结果用以作为该特征信息，且该服务器基于该特征信息以及该第一辨识模型产生该第一辨识结果。

2.根据权利要求1所述的辨识系统，其特征在于，该服务器更用以基于该第一辨识结果以及一第二辨识模型产生关联于该影像数据的一第二辨识结果，且该第二辨识模型不同于该第一辨识模型。

3.根据权利要求1所述的辨识系统，其特征在于，该第M层计算结果包含一卷积结果、一池化结果、一活化结果或一反卷积结果。

4.根据权利要求1所述的辨识系统，其特征在于，该摄像装置更用以判断一临限时间是否满足，当M小于N且该临限时间满足时，该摄像装置传送该第M层计算结果至该服务器作为该特征信息，当M小于N且该临限时间未满足时，该摄像装置基于该第M层计算结果以及该卷积神经网络进行迭代演算。

5.一种辨识方法，其特征在于，包含：

通过一摄像装置基于一影像数据以及一卷积神经网络产生一第M层计算结果；

通过该摄像装置传送关联于该第M层计算结果的一特征信息给一服务器，其中M为等于或大于1的一正整数，M小于或等于N，且N为一预设正整数；

当M小于N时，通过该服务器基于该特征信息以及该卷积神经网络以迭代方式产生一第K层计算结果，其中K为大于M的一正整数，K小于或等于N；

当K等于N时，通过该服务器基于该第K层计算结果以及一第一辨识模型产生关联于该影像数据的一第一辨识结果，以对该影像数据进行辨识；以及

当M等于N时，该第M层计算结果用以作为该特征信息，且通过该服务器基于该特征信息以及该第一辨识模型产生该第一辨识结果。

6.根据权利要求5所述的辨识方法，其特征在于，还包含：

通过该服务器基于该第一辨识结果以及一第二辨识模型产生关联于该影像数据的一第二辨识结果，

其中该第二辨识模型不同于该第一辨识模型。

7.根据权利要求5所述的辨识方法，其特征在于，该第M层计算结果包含一卷积结果、一池化结果、一活化结果或一反卷积结果。

8.根据权利要求5所述的辨识方法，其特征在于，还包含：

通过该摄像装置判断一临限时间是否满足；

当M小于N且该临限时间满足时，通过该摄像装置传送该第M层计算结果至该服务器作为该特征信息；以及

当M小于N且该临限时间未满足时，通过该摄像装置基于该第M层计算结果以及该卷积神经网络进行迭代演算。

Images