CN113206980A - 一种端边云融合群智感知环境中的智能节点推荐系统 - Google Patents

一种端边云融合群智感知环境中的智能节点推荐系统 Download PDF

Info

Publication number
CN113206980A
CN113206980A CN202110377338.9A CN202110377338A CN113206980A CN 113206980 A CN113206980 A CN 113206980A CN 202110377338 A CN202110377338 A CN 202110377338A CN 113206980 A CN113206980 A CN 113206980A
Authority
CN
China
Prior art keywords
user movement
pedestrian
camera edge
camera
edge device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110377338.9A
Other languages
English (en)
Other versions
CN113206980B (zh
Inventor
殷传涛
范昕
王帅
王曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110377338.9A priority Critical patent/CN113206980B/zh
Publication of CN113206980A publication Critical patent/CN113206980A/zh
Application granted granted Critical
Publication of CN113206980B publication Critical patent/CN113206980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/382—Payment protocols; Details thereof insuring higher security of transaction
    • G06Q20/3825—Use of electronic signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/382—Payment protocols; Details thereof insuring higher security of transaction
    • G06Q20/3827—Use of message hashing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/382—Payment protocols; Details thereof insuring higher security of transaction
    • G06Q20/3829—Payment protocols; Details thereof insuring higher security of transaction involving key management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3297—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving time stamps, e.g. generation of time stamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种端边云融合群智感知环境中的智能节点推荐系统，基本框架是一种基于Trackchain区块链的多摄像头追踪系统。Trackchain区块链存放在由众多作为节点的摄像头边缘设备组成的去中心网络中，智能节点推荐系统包含初始化模块、信息上传模块、智能节点推荐模块。收集大量的摄像头覆盖区域移动用户的移动轨迹，对数据进行预处理后，使用Apriori算法确定不同时间段的用户移动规律集，使用确定的用户移动规律集进行节点推荐。

Description

一种端边云融合群智感知环境中的智能节点推荐系统
技术领域
本发明涉及一种端边云融合群智感知环境中的智能节点推荐系统，具体说是一种基于多摄像头追踪系统和Trackchain区块链信息共享系统的智能节点推荐系统，属于区块链技术结合数据挖掘领域。
背景技术
视频监控是保障社会安定的重要工具。随着摄像头硬件成本的降低，网络带宽的提高以及存储器件容量的上升，摄像头的安装已经遍布大街小巷。大型智能视频监控的信息处理一般分为单摄像头层面和多摄像头层面。由于单一的摄像头的视域有限，因此单一摄像头得到的信息很难满足需求。因此，多摄像头系统是目前大规模智能监控的重要研究方向。
传统的多摄像头融合方法多为集中式处理，利用服务器端进行处理。但是由于摄像头数目非常多，视频数据处理也是一个非常耗时的计算，这会给服务器端带来大量的运算。因此，多摄像头的处理必然面临向分布式计算转化的趋势。
传统的多摄像头结构多为集中式结构，利用C/S的软件架构方式，通过Socket进行数据上行下行传输，服务器端作为决策层对摄像头集中控制，实现摄像头端的协同，但该方法系统扩展性差，部署难度高，造成服务器端的大量的视频处理运算，信息共享不及时，而且数据传输的安全性也不高。
发明内容
本发明技术解决问题：克服现有多摄像头追踪技术扩展性差，信息共享不及时，数据传输安全性不高的缺点，提供一种端边云融合群智感知环境中的用于多摄像头追踪和信息共享的智能节点推荐系统，具有效率高，扩展性强，信息共享可靠的优点。
本发明采用如下的技术方案：一种端边云融合群智感知环境中的智能节点推荐系统，包括：初始化模块、信息上传模块、智能节点推荐模块；其中：
初始化模块：负责由众多作为节点的摄像头边缘设备组成的去中心网络的初始化，确定各个作为节点的摄像头边缘设备接入去中心网络的规则；所述Trackchain区块链存放在去中心网络中，Trackchain区块链是许可链，参与到去中心网络中的每个摄像头边缘设备都是经过许可的，未经许可的摄像头边缘设备是不可以接入到去中心网络中的；新的摄像头边缘设备加入去中心网络时，更新去中心网络的拓扑；指定某个摄像头边缘设备部署Trackchain区块链的智能合约，合约内指定各个摄像头边缘设备能执行的合法操作；
信息上传模块：负责获取某摄像头边缘设备丢失目标行人时的信息，包括丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹ID、此摄像头边缘设备的序号；当一个摄像头边缘设备检测到丢失行人时，将丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失目标行人的轨迹ID、此摄像头边缘设备的序号上传给模块中的交易生成函数，生成签名加密后的交易；加密交易被验证有效后，以区块的形式添加到Trackchain区块链的最后，其中区块头内包括上一个区块的哈希指针和此摄像头边缘设备的序号，区块体内是丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失目标行人的轨迹ID，这个区块通过PoW(Proof-of-work)共识机制加入到Trackchain区块链中；初始化模块中部署的智能合约中定义了信息上传模块的交易生成函数；
智能节点推荐模块：负责确定所有摄像头边缘设备覆盖区域内的用户移动规律，根据用户移动规律推荐失踪目标可能出现的区域；收集一天内在整个覆盖区域活动的用户的移动轨迹数据，将用户移动轨迹数据表示成用户移动序列T＝<id1,id2,…，idn>，其中，idn表示用户进入的区域的摄像头边缘设备序号为n；基于Apriori算法确定用户移动规律集，用户移动规律集是从用户移动序列中确定出的用户经常遵循的轨迹的集合，对每一个用户移动序列，检查用户移动序列中用户最后一个进入的区域，检查这个区域在所有摄像头边缘设备覆盖区域的结构图中是否有邻居，将这个区域在结构图中的每一个邻居区域链接在用户移动序列的最后，生成候选用户移动序列；然后计算每一个候选用户移动序列的支持度，如果支持度大于或等于支持度阈值，则该候选用户移动序列是频繁的，将该候选用户移动序列加入到用户移动规律集中；当一个摄像头边缘设备检测到一个新的行人时，获取发现新的行人时的时间戳、新的行人的特征库、新的行人的轨迹ID，通过发现新的行人时的时间戳选择对应时间段的用户移动规律集，根据用户移动规律集和当前的摄像头边缘设备序号推荐这个行人上一个可能出现的区域的摄像头的序号；当前摄像头边缘设备查找Trackchain区块链每个区块的区块头，找到存储推荐的摄像头边缘设备序号的区块头时，取回区块体中存储的丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹ID，并与当前摄像头边缘设备获取的新的行人的特征库进行比较；当对比发现区块体中丢失的目标行人的特征库与的当前摄像头边缘设备获取的新的行人的特征库不匹配时，当前摄像头边缘设备从头搜索Trackchain区块链的每个区块，只搜索最近的设定值个区块；如果Trackchain区块链的区块体中丢失行人的特征库与当前摄像头边缘设备获取的新的行人的特征库相匹配，则将当前摄像头边缘设备获取的新的行人的轨迹ID，改为Trackchain区块链的区块体中丢失的目标行人的轨迹ID，从而完成行人的轨迹追踪。
所述初始化模块具体实现如下：
(1)初始化由众多作为节点的摄像头边缘设备组成的去中心网络，Trackchain区块链为许可链，每个加入去中心网络的摄像头边缘设备都会被严格限制。一个摄像头边缘设备要加入去中心网络时，首先需要注册一个账户，接着这个摄像头边缘设备的加入请求会被发送给去中心网络中的现有摄像头边缘设备，现有的摄像头边缘设备审核加入请求并许可后，当前的摄像头边缘设备被许可作为节点加入去中心网络；
(2)智能合约部署，指定加入去中心网络中的某个摄像头边缘设备部署智能合约，首先通过虚拟机认可的编程语言进行编程，接着此摄像头边缘设备对智能合约通过私钥进行签名并将签名后的智能合约发布出去，最后去中心网络中其他的摄像头边缘设备将这个智能合约进行打包，并把智能合约写入到Trackchain区块链中。智能合约中规定各个摄像头边缘设备可以执行的合法规则，去中心网络中的每个摄像头边缘设备都可以调用智能合约。
所述信息上传模块具体实现如下：
(1)获取摄像头边缘设备丢失目标行人时的信息，当摄像头边缘设备的丢失行人时，调用初始化模块部署的智能合约中的upload_target()函数，当前摄像头边缘设备将丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹ID、此摄像头边缘设备的序号作为upload_target()函数的输入参数上传；upload_target()函数的输出为一个签名加密后的交易；所述丢失的目标行人的特征库，对其他摄像头边缘设备不透明，以保护丢失的目标行人的隐私；
(2)将upload_target()函数生成的加密后的交易添加到Trackchain区块链中。这个加密交易的信息通过互联网，向去中心网络中的各个摄像头边缘设备进行广播，某个摄像头边缘设备将这个加密交易打包进候选区块，开始进行哈希计算以赢取记账权，计算成功后向整个去中心网络广播，通过PoW(Proof-of-work)机制将候选区块添加Trackchain区块链的最后。
所述智能节点推荐模块中的Apriori算法具体实现如下：
(1)根据所有摄像头边缘设备覆盖区域内的用户移动规律，将0点到24点分为七个时间段：0点到6点，6点到9点，9点到12点，12点到14点，14点到17点，17点到21点，21点到24点；收集一天内不同时间段在整个覆盖区域活动的用户的移动轨迹数据，将用户移动轨迹数据表示成用户移动序列T＝<id1,id2,…，idn>，其中，idn表示用户进入的区域的摄像头边缘设备序号为n，并将每个时间段收集到的所有用户移动序列整理成表格的形式作为用户移动序列表；
(2)针对七个时间段中的每个时间段ti，初始化用户移动序列集Ci1，Ci1中的每个用户移动序列长度均为1，Ci1＝{Ti1,Ti2,Ti3,…,Tim}，其中m为时间段ti时收集的用户移动序列的数目，Tim长度为1，将最终的用户移动规律集Li置空；
(3)若用户移动序列集Cik，k为Cik中用户移动序列的长度，不为空，则继续往下执行，否则执行步骤(7)；
(4)设定一个支持度阈值，并通过扫描时间段ti的用户移动序列表，计算用户移动序列集Cik中每一个用户移动序列的支持度；
(5)将用户移动序列集Cik中支持度大于或等于支持度阈值的用户移动序列添加到用户移动规律集Lik，Lik的k与Cik的k一致，并将用户移动规律集Lik中的所有用户移动序列合并到最终的用户移动规律集Li中；
(6)对于用户移动规律集Lik中的每一个用户移动序列，扫描所有摄像头边缘设备覆盖区域的结构图，将用户移动序列中的最后一个区域在结构图中的每一个邻居区域，链接在用户移动序列的最后，生成用户移动序列长度为k+1的用户移动序列，并将长度为k+1的用户移动序列添加至集Cik+1中，转到步骤(3)继续执行；
(7)输出时间段ti的最终的用户移动规律集Li。
本发明与现有技术相比的优点在于：
(1)扩展性好，本发明采用基于Trackchain区块链的多摄像头追踪技术，每个摄像头边缘设备作为节点接入去中心网络中，即在网络中不存在中心化的硬件或管理机构，结构简单，扩展性好；
(2)数据传输安全性高，本发明中多摄像头之间信息共享，采取通过将数据(即交易)加密后以区块的形式接入Trackchain区块链来进行信息共享，利用密码学方式保障数据传输和访问的安全；
(3)信息共享及时，本发明在基于Trackchain区块链的多摄像头追踪中加入了智能节点推荐模块，缩短了查找丢失行人的特征库的时间，提高了信息共享的效率。
附图说明
图1为本发明的系统结构图；
图2为所有摄像头边缘设备覆盖区域的结构图。
具体实施方式
下面结合附图对本发明系统的具体实施方式进一步说明。
如图1所示，本发明系统主要划分为三个模块，即：初始化模块、信息上传模块、智能节点推荐模块。
上述各模块的具体实现如下：
1.初始化模块：
(1)初始化由众多作为节点的摄像头边缘设备组成的去中心网络，Trackchain区块链为许可链，每个加入去中心网络的摄像头边缘设备都会被严格限制。一个摄像头边缘设备要加入去中心网络时，首先需要注册一个账户，接着这个摄像头边缘设备的加入请求会被发送给去中心网络中的现有摄像头边缘设备，现有的摄像头边缘设备审核加入请求并许可后，当前的摄像头边缘设备被许可作为节点加入去中心网络；
(2)智能合约部署，指定加入去中心网络中的某个摄像头边缘设备部署智能合约，首先通过虚拟机认可的编程语言进行编程，接着此摄像头边缘设备对智能合约通过私钥进行签名并将签名后的智能合约发布出去，最后去中心网络中其他的摄像头边缘设备将这个智能合约进行打包，并把智能合约写入到Trackchain区块链中。智能合约中规定各个摄像头边缘设备可以执行的合法规则，去中心网络中的每个摄像头边缘设备都可以调用智能合约。
2.信息上传模块：
(1)获取摄像头边缘设备丢失目标行人时的信息，当摄像头边缘设备的丢失行人时，调用初始化模块部署的智能合约中的upload_target()函数，当前摄像头边缘设备将丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹ID、此摄像头边缘设备的序号作为upload_target()函数的输入参数上传；upload_target()函数的输出为一个签名加密后的交易；所述丢失的目标行人的特征库，对其他摄像头边缘设备不透明，以保护丢失的目标行人的隐私；
(2)将upload_target()函数生成的加密后的交易添加到Trackchain区块链中。这个加密交易的信息通过互联网，向去中心网络中的各个摄像头边缘设备进行广播，某个摄像头边缘设备将这个加密交易打包进候选区块，开始进行哈希计算以赢取记账权，计算成功后向整个去中心网络广播，通过PoW(Proof-of-work)机制将候选区块添加Trackchain区块链的最后。
3.智能节点推荐模块：
(1)确定所有摄像头边缘设备覆盖区域内的用户移动规律。将0点到24点分为七个时间段：0点到6点，6点到9点，9点到12点，12点到14点，14点到17点，17点到21点，21点到24点。收集一天内不同时间段在整个覆盖区域活动的用户的移动轨迹数据，将用户移动轨迹数据表示成用户移动序列T＝<id1,id2,…，idn>，其中，idn表示用户进入的区域的摄像头边缘设备序号为n，并将每个时间段收集到的所有用户移动序列整理成对应时间段的用户移动序列表；基于Apriori算法确定用户移动规律集，Apriori算法的具体实现如下：
①针对每个时间段ti(i∈[1,7])，其中t1∈(00:00,06:00],t2∈(06:00,09:00],…,t7∈(21:00,00:00],初始化用户移动序列集Ci1(Ci1中的每个用户移动序列长度都为1)，如Ci1＝{Ti1,Ti2,Ti3,…,Tim}，其中m为时间段ti时收集的用户移动序列的数目，Tim长度为1，将最终的用户移动规律集Li置空；
②若用户移动序列集Cik(k为Cik中每个用户移动序列的长度)不为空，则继续往下执行，否则执行步骤⑥；
③设定一个支持度阈值，并通过扫描时间段ti的用户移动序列表，计算用户移动序列集Cik中每一个用户移动序列的支持度；
④将用户移动序列集Cik中支持度大于或等于支持度阈值的用户移动序列添加到用户移动规律集Lik(Lik的k与Cik的k一致)，并将用户移动规律集Lik中的所有用户移动序列合并到最终的用户移动规律集Li中；
⑤对于用户移动规律集Lik中的每一个用户移动序列，扫描所有摄像头边缘设备覆盖区域的结构图(图2，图2中的id1,id2,id3,id4,id5,id6,id7,id8表示用户进入的对应的六边形区域的摄像头边缘设备序号为1,2,3,4,5,6,7,8)，将用户移动序列中的最后一个区域在结构图中的每一个邻居区域，链接在用户移动序列的最后，生成用户移动序列长度为k+1的用户移动序列集Cik+1，转到步骤②继续执行；
⑥输出时间段ti的最终的用户移动规律集Li。
(2)智能节点推荐。当一个摄像头边缘设备检测到一个新的行人时，获取发现新的行人时的时间戳、新的行人的特征库、新的行人的轨迹ID。通过发现新的行人时的时间戳，选择时间戳对应的时间段ti；根据时间戳对应的时间段ti，得到(1)中确定出的时间段ti的用户移动规律集Li；根据时间段ti的用户移动规律集Li，以及当前摄像头边缘设备的序号，找到Li中当前摄像头边缘设备的序号所在的用户移动序列，并将找到的用户移动序列中当前摄像头边缘设备序号之前的序号作为智能节点进行推荐；
(3)发现新的行人的摄像头边缘设备根据(2)中推荐的智能节点，查找Trackchain区块链的每个区块的区块头，找到存储与推荐的智能节点一致的摄像头边缘设备序号时，取回区块体中存储的丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹ID，并与当前摄像头边缘设备获取的新的行人的特征库进行比较；当对比发现区块体存储的丢失的目标行人的特征库与的当前摄像头边缘设备获取的新的行人的特征库不匹配时，当前摄像头边缘设备从头搜索Trackchain区块链的每个区块，但只搜索最近的300个区块；如果Trackchain区块链的区块体中丢失行人的特征库与当前摄像头边缘设备获取的新的行人的特征库相匹配，则将当前摄像头边缘设备获取的新的行人的轨迹ID，改为Trackchain区块链的区块体中丢失的目标行人的轨迹ID，从而完成行人的轨迹追踪。

Claims (4)

1.一种端边云融合群智感知环境中的智能节点推荐系统，其特征在于，包括：初始化模块、信息上传模块、智能节点推荐模块；其中：
初始化模块：负责由众多作为节点的摄像头边缘设备组成的去中心网络的初始化，确定各个作为节点的摄像头边缘设备接入去中心网络的规则；将Trackchain区块链存放在去中心网络中，所述Trackchain区块链是许可链，参与到去中心网络中的每个摄像头边缘设备均是经过许可的，未经许可的摄像头边缘设备是不接入到去中心网络中的；新的摄像头边缘设备加入去中心网络时，更新去中心网络的拓扑；指定某个摄像头边缘设备部署Trackchain区块链的智能合约，智能合约内指定各个摄像头边缘设备能执行的合法操作；
信息上传模块：负责获取某摄像头边缘设备丢失目标行人时的信息，包括丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹ID和此摄像头边缘设备的序号；当一个摄像头边缘设备检测到丢失行人时，将丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失目标行人的轨迹ID、此摄像头边缘设备的序号上传给模块中的交易生成函数，生成签名加密后的交易；加密交易被验证有效后，以区块的形式添加到Trackchain区块链的最后，其中Trackchain区块链的区块头内包括上一个区块的哈希指针和此摄像头边缘设备的序号，Trackchain区块链的区块体内是丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失目标行人的轨迹ID，所述区块通过PoW(Proof-of-work)共识机制加入到Trackchain区块链中；初始化模块中部署的智能合约中定义信息上传模块的交易生成函数；
智能节点推荐模块：负责确定所有摄像头边缘设备覆盖区域内的用户移动规律，根据用户移动规律推荐失踪目标可能出现的区域；收集一天内在整个覆盖区域活动的用户移动轨迹数据，将用户移动轨迹数据表示成用户移动序列的形式T＝<id1,id2,…，idn>，其中，idn表示用户进入的区域的摄像头边缘设备序号为n；基于Apriori算法确定用户移动规律集，用户移动规律集是从用户移动序列中确定的用户经常遵循的轨迹的集合，对每一个用户移动序列，检查该用户移动序列中用户最后一个进入的区域，检查所述区域在所有摄像头边缘设备覆盖区域的结构图中是否有邻居，将这个区域在结构图中的每一个邻居区域链接在用户移动序列的最后，生成候选用户移动序列；然后计算每一个候选用户移动序列的支持度，如果支持度大于或等于支持度阈值，则该候选用户移动序列是频繁的，将该候选用户移动序列加入到用户移动规律集中；当一个摄像头边缘设备检测到一个新的行人时，获取发现新的行人时的时间戳、新的行人的特征库、新的行人的轨迹ID，通过发现新的行人时的时间戳选择对应时间段的用户移动规律集，根据用户移动规律集和当前的摄像头边缘设备序号推荐这个行人上一个可能出现的区域的摄像头的序号；当前摄像头边缘设备查找Trackc hain区块链每个区块的区块头，找到存储推荐的摄像头边缘设备序号的区块头时，取回区块体中存储的丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹ID，并与当前摄像头边缘设备获取的新的行人的特征库进行比较；当对比发现区块体中丢失的目标行人的特征库与的当前摄像头边缘设备获取的新的行人的特征库不匹配时，当前摄像头边缘设备从头搜索Trackchain区块链的每个区块，只搜索最近的设定值个数的区块；如果Trackchain区块链的区块体中丢失行人的特征库与当前摄像头边缘设备获取的新的行人的特征库相匹配，则将当前摄像头边缘设备获取的新的行人的轨迹ID，改为Trackchain区块链的区块体中丢失的目标行人的轨迹ID，从而完成行人的轨迹追踪。
2.根据权利要求1所述的端边云融合群智感知环境下的智能节点推荐系统，其特征在于：所述初始化模块具体实现如下：
(1)初始化由众多作为节点的摄像头边缘设备组成的去中心网络，Trackchain区块链为许可链，每个加入去中心网络的摄像头边缘设备都会被严格限制。一个摄像头边缘设备要加入去中心网络时，首先需要注册一个账户，接着这个摄像头边缘设备的加入请求会被发送给去中心网络中的现有摄像头边缘设备，现有的摄像头边缘设备审核加入请求并许可后，当前的摄像头边缘设备被许可作为节点加入去中心网络；
(2)智能合约部署，指定加入去中心网络中的某个摄像头边缘设备部署智能合约，首先通过虚拟机认可的编程语言进行编程，然后此摄像头边缘设备对智能合约通过私钥进行签名并将签名后的智能合约发布出去，最后去中心网络中其他的摄像头边缘设备将这个智能合约进行打包，并把智能合约写入到Trackchain区块链中；智能合约中规定各个摄像头边缘设备执行的合法规则，去中心网络中的每个摄像头边缘设备均能调用智能合约。
3.根据权利要求1所述的端边云融合群智感知环境下的智能节点推荐系统，其特征在于：所述信息上传模块具体实现如下：
(1)获取摄像头边缘设备丢失目标行人时的信息，当摄像头边缘设备丢失行人时，调用初始化模块部署的智能合约中的upload_target()函数，当前摄像头边缘设备将丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹ID、此摄像头边缘设备的序号作为upload_target()函数的输入参数上传；upload_target()函数的输出为一个签名加密后的交易；所述丢失的目标行人的特征库，对其他摄像头边缘设备不透明，以保护丢失的目标行人的隐私；
(2)将upload_target()函数生成的加密后的交易添加到Trackchain区块链中,这个加密交易的信息通过互联网，向去中心网络中的各个摄像头边缘设备进行广播，某个摄像头边缘设备将这个加密交易打包进候选区块，开始进行哈希计算以赢取记账权，计算成功后向整个去中心网络广播，通过PoW(Proof-of-work)机制将候选区块添加Trackchain区块链的最后。
4.根据权利要求1所述的端边云融合群智感知环境下的智能节点推荐系统，其特征在于：所述智能节点推荐模块中，Apriori算法的具体实现如下：
(1)根据所有摄像头边缘设备覆盖区域内的用户移动规律，将0点到24点分为七个时间段：0点到6点，6点到9点，9点到12点，12点到14点，14点到17点，17点到21点，21点到24点；收集一天内不同时间段在整个覆盖区域活动的用户的移动轨迹数据，将用户移动轨迹数据表示成用户移动序列T＝<id1,id2,…，idn>，其中，idn表示用户进入的区域的摄像头边缘设备序号为n，并将每个时间段收集到的所有用户移动序列整理成表格的形式作为用户移动序列表；
(2)针对七个时间段中的每个时间段ti，初始化用户移动序列集Ci1，Ci1中的每个用户移动序列长度均为1，Ci1＝{Ti1,Ti2,Ti3,…,Tim}，其中m为时间段ti时收集的用户移动序列的数目，Tim长度为1，将最终的用户移动规律集Li置空；
(3)若用户移动序列集Cik，k为Cik中用户移动序列的长度，不为空，则继续往下执行，否则执行步骤(7)；
(4)设定一个支持度阈值，并通过扫描时间段ti的用户移动序列表，计算用户移动序列集Cik中每一个用户移动序列的支持度；
(5)将用户移动序列集Cik中支持度大于或等于支持度阈值的用户移动序列添加到用户移动规律集Lik，Lik的k与Cik的k一致，并将用户移动规律集Lik中的所有用户移动序列合并到最终的用户移动规律集Li中；
(6)对于用户移动规律集Lik中的每一个用户移动序列，扫描所有摄像头边缘设备覆盖区域的结构图，将用户移动序列中的最后一个区域在结构图中的每一个邻居区域，链接在用户移动序列的最后，生成用户移动序列长度为k+1的用户移动序列，并将长度为k+1的用户移动序列添加至集Cik+1中，转到步骤(3)继续执行；
(7)输出时间段ti的最终的用户移动规律集Li。
CN202110377338.9A 2021-04-08 2021-04-08 一种端边云融合群智感知环境中的智能节点推荐系统 Active CN113206980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110377338.9A CN113206980B (zh) 2021-04-08 2021-04-08 一种端边云融合群智感知环境中的智能节点推荐系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110377338.9A CN113206980B (zh) 2021-04-08 2021-04-08 一种端边云融合群智感知环境中的智能节点推荐系统

Publications (2)

Publication Number Publication Date
CN113206980A true CN113206980A (zh) 2021-08-03
CN113206980B CN113206980B (zh) 2022-06-07

Family

ID=77026465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110377338.9A Active CN113206980B (zh) 2021-04-08 2021-04-08 一种端边云融合群智感知环境中的智能节点推荐系统

Country Status (1)

Country Link
CN (1) CN113206980B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109922162A (zh) * 2019-04-26 2019-06-21 山东建筑大学 一种基于区块链的扁平化建筑设备物联网监控系统及方法
CN110138861A (zh) * 2019-05-15 2019-08-16 北京中星微人工智能芯片技术有限公司 一种安防智能化方法及装置
US20190342528A1 (en) * 2018-05-06 2019-11-07 Daniel Hugh Broaddus Blockchain-Based Trustless Date Verifiable Video Capture
CN112131929A (zh) * 2020-08-06 2020-12-25 北京航空航天大学 一种基于区块链的跨摄像机行人跟踪系统及方法
CN112543105A (zh) * 2020-11-26 2021-03-23 齐鲁工业大学 一种智能合约下基于角色的完全访问控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190342528A1 (en) * 2018-05-06 2019-11-07 Daniel Hugh Broaddus Blockchain-Based Trustless Date Verifiable Video Capture
CN109922162A (zh) * 2019-04-26 2019-06-21 山东建筑大学 一种基于区块链的扁平化建筑设备物联网监控系统及方法
CN110138861A (zh) * 2019-05-15 2019-08-16 北京中星微人工智能芯片技术有限公司 一种安防智能化方法及装置
CN112131929A (zh) * 2020-08-06 2020-12-25 北京航空航天大学 一种基于区块链的跨摄像机行人跟踪系统及方法
CN112543105A (zh) * 2020-11-26 2021-03-23 齐鲁工业大学 一种智能合约下基于角色的完全访问控制方法

Also Published As

Publication number Publication date
CN113206980B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
Nikouei et al. Real-time index authentication for event-oriented surveillance video query using blockchain
CN112559448B (zh) 数据状态迁移方法、装置、计算机设备和存储介质
CN110533685B (zh) 对象跟踪方法和装置、存储介质及电子装置
CN104966006A (zh) 基于云变平台的智能人脸识别系统
WO2013192253A1 (en) Self learning face recognition using depth based tracking for database generation and update
JP2015512095A (ja) 画像データベースにおける画像管理のための方法、装置、および、コンピュータで読取り可能な記録媒体
CN111784729A (zh) 一种对象跟踪方法、装置、电子设备及存储介质
Xu et al. Fedmax: Enabling a highly-efficient federated learning framework
Jiang et al. Application Research of Key Frames Extraction Technology Combined with Optimized Faster R‐CNN Algorithm in Traffic Video Analysis
CN114694226B (zh) 一种人脸识别方法、系统及存储介质
Khan et al. Blockchain-enabled deep semantic video-to-video summarization for IoT devices
CN114241002B (zh) 基于云边协同的目标跟踪方法、系统、设备和介质
Sundarakumar et al. A heuristic approach to improve the data processing in big data using enhanced Salp Swarm algorithm (ESSA) and MK-means algorithm
TWI636369B (zh) 即時串流紀錄資料分析系統與方法
Jayarajah et al. Comai: Enabling lightweight, collaborative intelligence by retrofitting vision dnns
CN113206980B (zh) 一种端边云融合群智感知环境中的智能节点推荐系统
WO2022011946A1 (zh) 一种数据预测方法、装置、计算机设备及存储介质
CN111401482B (zh) 特征点匹配方法及装置、设备、存储介质
Valliyammai et al. Distributed and scalable Sybil identification based on nearest neighbour approximation using big data analysis techniques
Ma et al. Real-time alert stream clustering and correlation for discovering attack strategies
CN116340278A (zh) 一种面向移动物联网的区块链上空间数据可认证共享方法
CN111291595A (zh) 一种信息关联性处理方法、装置及系统
KR102426594B1 (ko) 크라우드소싱 환경에서 객체의 위치를 추정하는 시스템 및 방법
Davani et al. An autonomous system for efficient control of ptz cameras
Li et al. EV-matching: Bridging large visual data and electronic data for efficient surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant