CN117642783A - 监视数据过滤技术 - Google Patents

监视数据过滤技术 Download PDF

Info

Publication number
CN117642783A
CN117642783A CN202280047228.9A CN202280047228A CN117642783A CN 117642783 A CN117642783 A CN 117642783A CN 202280047228 A CN202280047228 A CN 202280047228A CN 117642783 A CN117642783 A CN 117642783A
Authority
CN
China
Prior art keywords
data
sensor data
collection
desired information
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280047228.9A
Other languages
English (en)
Inventor
卡拉·比格
拉阿吉塔·古马迪
格雷戈里·J·布伊特库斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deka Products LP
Original Assignee
Deka Products LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deka Products LP filed Critical Deka Products LP
Publication of CN117642783A publication Critical patent/CN117642783A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/012Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/056Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Storage Device Security (AREA)

Abstract

一种用于从收集的传感器数据中识别期望信息的系统包括收集设备和处理模块。该收集设备收集传感器数据,根据预先定义的规则对传感器数据进行粗过滤以生成过滤器匹配的数据,并将过滤器匹配的数据安全地发送到处理模块。该处理模块对过滤器匹配的数据进行精细过滤以生成期望信息、将期望信息提供给授权行为者,并删除该过滤器匹配的数据。

Description

监视数据过滤技术
相关申请的交叉引用
本申请要求于优先权在2021年7月1日提交的题为“监视数据过滤技术(SURVEILLANCE DATA FILTRATION TECHNIQUES)”(代理人案卷号AA610)的美国临时专利申请No.63/202954的优先权,该申请的全部内容通过引用并入本文。
技术领域
本公开总体上涉及电子搜索或监视。更具体地,本公开涉及识别执法机构感兴趣的主体的位置并过滤与之相关联的收集的数据。
背景技术
例如,与执法相关的自主车辆能够确定机动车是否违反了交通法,跟随车辆,并以电子方式向违法者发出罚单或警告。能够训练自主车辆找到好的隐藏点来抓捕交通违法者、对准其摄像头以准确监控交通、识别车辆、根据交通法规数据库分析传入数据、并与中央计算系统和监视摄像头进行通信。这种自主车辆能够记录收集到的数据,并将记录传输给政府机构。自主车辆还能够评估环境和其中的人员,以降低执法人员的风险。例如,无人机能够观察嫌疑人并与之互动、捕捉嫌疑人和相关兴趣文档的图像、执行图像比较、执行文本提取和分类、将文本与图像识别相关联、并将数据传送到基站。
传输的图像能够被加密,以例如解决隐私问题。可以利用可学习的加密算法来解决(例如对于监视数据或医疗数据的)图像数据集收集的隐私问题。并且,在高级别保护人们隐私的同时,可能拍摄和记录诸如犯罪和恐怖主义的事件以进行调查。例如,能够将摄像头安装在私家车中,然后可以将来自此类摄像头的图像存储一段短时间段,例如一到两周,以防执法部门需要它们。
许多此类系统的共同点是向执法机构提供数据,使得所有收集的数据都与执法部门有权收集数据的嫌疑人有关。然而,这样的系统的一些(例如至少自主交通监控和环境评估)可能涉及收集与执法部门有权收集数据的任何人或任何事情无关的一系列数据。能够识别感兴趣的主体和项目的位置的系统可以无法这么做,同时也保护了不感兴趣的主体和项目的隐私。
上述背景仅旨在提供一些当前问题的上下文概述,而非旨在详尽无遗。
附图说明
参考以下附图描述本主体公开的非限制性和非穷举性方面,其中,除非另有规定,在各个视图中,相同的附图标记指代相同的部分。
图1是描绘根据本主体公开的各个方面的流程和步骤的流程图;
图2是描绘根据本主体公开的各个方面的流程和动作的流程图;
图3是根据本主体公开的各个方面的系统的示意框图;
图4是描述根据本主体公开的各个方面的消息流的消息流图;
图5是本教导的示例性系统的示意性框图;
图6是描绘根据本主体公开的各个方面的流程和步骤的流程图;以及
图7是描绘根据本主体公开的各个方面的流程和步骤的流程图。
具体实施方式
在以下描述中,阐述了许多具体细节,以提供对各个方面和布置的透彻理解。然而,相关领域的技术人员将认识到,能够在没有一个或多个特定细节的情况下,或者使用其他方法、组件、材料等的情况下实践本文中描述的技术。在其他情况下,可以不详细地示出或描述公知的结构、材料或操作,以避免模糊某些方面。
本说明书中对“一个方面”、“一种布置”或“一种配置”的引用指示描述了特定的特征、结构或特性。因此,诸如“在一个方面中”、“在一种布置中”、“在一种配置中”等的短语在整个说明书的各个地方的出现不一定每个都指相同的方面、特征、配置或布置。此外,可以以任何合适的方式组合特定特征、结构和/或特性。
在本公开和权利要求中使用的范围内,术语“组件”、“系统”、“平台”、“层”、“选择器”、“接口”等旨在指代计算机相关实体或与具有一个或多个特定功能的操作装置相关的实体,其中,该实体可以是硬件,硬件和软件的组合、软件或执行中的软件。例如,组件可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。作为说明而非限制,运行在服务器上的应用和服务器本身都可以是组件。一个或多个组件可以驻留在执行的进程和/或线程内,并且组件可以定位在一台计算机上和/或分布在两台或多台计算机之间。此外,组件可以从各种计算机可读介质、设备可读存储设备或其上存储有各种数据结构的机器可读介质执行。组件可以诸如根据具有一个或多个数据分组的信号(例如,来自一个组件的数据,该组件与本地系统、分布式系统中的另一组件交互,和/或通过诸如互联网的网络经由该信号与其他系统交互)经由本地和/或远程过程进行通信。作为另一示例,组件能够是具有由电气或电子电路操作的机械组件提供的特定功能的装置,其可以由处理器执行的软件或固件应用操作,其中,处理器能够在装置内部或外部,并执行软件或固件应用的至少一部分。作为又一示例,组件能够是通过没有机械部件的电子组件提供特定功能的装置;电子组件其中能够包括处理器以执行至少部分赋予电子组件的功能的软件或固件。
在主体说明书中使用的范围内,诸如“存储”、“存储器”和“数据存储”、“数据存储器”、“数据库”等的术语指的是存储器组件、包含在存储器中的实体或包括存储器的组件。将理解,本文中描述的存储器组件能够是易失性存储器或非易失性存储器,或者能够包括易失性和非易失性存储器。
此外,术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说,除非另有规定或从上下文明确,否则“X采用A或B”旨在表示任何自然的包含性排列。也就是说,如果X采用A,X采用B,或者X同时采用A和B,那么在上述任何情况下,“X采用A或B”都是成立的。此外,本主体公开和权利要求中使用的冠词“一”和“一个”通常应解释为“一个或多个”,除非另有规定或从上下文明确指向单数形式。
在本文使用的程度,词语“示例性”和/或“示范性”是指作为示例、实例或说明。为了避免疑义,本文中公开的主题不受所公开的示例的限制。另外,本文中描述为“示例性”和/或“示范性”的任何方面或设计不一定被解释为优选于或优于其他方面或设计,也不意味着排除本领域普通技术人员已知的等效示例性结构和技术。此外,在详细说明书或权利要求书中使用术语“包括”、“具有”、“包含”和其他类似词语的范围内,这些术语旨在以类似于作为公开过渡词的术语“含有”的方式是包含性的,而不排除任何附加或其他元素。
如本文中使用的,术语“推断”或“推理”通常是指根据通过事件和/或数据捕获的一组观测结果对系统、环境、用户和/或意图的状态进行推理或推断的过程。捕获的数据和事件能够包括用户数据、设备数据、环境数据、来自传感器的数据、应用数据、隐式数据、显式数据等。例如,推断能够被用于识别特定的上下文或动作,或者能够基于数据和事件的考虑生成感兴趣状态的概率分布。
公开的主题能够被实现为使用标准编程和/或工程技术来生产软件、固件、硬件或其任何组合以控制计算机实现公开的主题的方法、装置或制造品。在本文中使用的程度,术语“制造品”旨在涵盖可从任何计算机可读设备、机器可读设备、计算机可读载体、计算机可读介质或机器可读介质访问的计算机程序。例如,计算机可读介质能够包括但不限于磁存储设备,例如硬盘;软盘;磁条;光盘(例如,光盘(CD)、数字视频光盘(DVD)、Blu-ray DiscTM(蓝光光盘)(BD));智能卡;闪存设备(例如,卡、棒、钥匙驱动器);模拟存储设备的虚拟设备;以及/或者上述计算机可读介质的任何组合。
通常,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构等。本主体公开的所图示实施例可以在分布式计算环境中实践,其中,某些任务由通过通信网络链接的远程处理设备执行。在分布式计算环境中,程序模块能够位于本地和远程存储器存储设备中。
计算设备能够至少包括计算机可读存储介质、机器可读存储介质和/或通信介质。计算机可读存储介质或机器可读存储介质能够是可由计算机访问的任何可用存储介质,并且包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制,计算机可读存储介质或机器可读存储介质能够结合用于存储诸如计算机可读或机器可读指令、程序模块、结构化数据或非结构化数据的信息的任何方法或技术来实现。
计算机可读存储介质能够包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他存储技术、光盘只读存储器(CDROM)、数字多功能盘(DVD)、蓝光光盘(BD)或其他光盘存储器、磁盒、磁带、磁盘存储器或其他磁存储设备、固态驱动器或其他固态存储设备、或能够用于存储期望信息的其他有形和/或非临时性介质。在这方面,本文中应用于存储、存储器或计算机可读介质的术语“有形”或“非临时性”应被理解为仅排除传播作为修饰语的临时性信号本身,而不排除不仅仅是传播临时性信号本身的任何标准存储、存储器或者计算机可读介质。
一个或多个本地或远程计算设备能够例如通过访问请求、查询或其他数据检索协议访问计算机可读存储介质,以对由介质存储的信息进行各种操作。
本文中可能使用的系统总线能够是几种类型的总线结构中的任何一种,这些总线结构能够使用各种商用总线架构中的任何商用总线架构另外互连到存储器总线(具有或没有存储器控制器)、外围总线和本地总线。如本文中所使用的,数据库能够包括基本输入/输出系统(BIOS),其能够被存储在诸如ROM、EPROM或EEPROM的非易失性存储器中,其中,BIOS包含有助于例如在启动期间在计算机内的元件之间传输信息的基本例程。RAM还可能够包括高速RAM,诸如用于高速缓存数据的静态RAM。
如本文中所使用的,计算机能够经由与一个或多个远程计算机的有线和/或无线通信使用逻辑连接在联网环境中运行。远程计算机能够是工作站、服务器、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等设备或其他常见网络节点。本文中描述的逻辑连接可以包括到局域网(LAN)和/或更大的网络(例如广域网(WAN))的有线/无线连接。这样的LAN和WAN网络环境在办公室和公司中是常见的,并且有利于企业范围的计算机网络,诸如内联网,其中任何一个都能够连接到全球通信网络,诸如互联网。
当在局域网网络环境中使用时,计算机可以通过有线和/或无线通信网络接口或适配器连接到局域网。适配器能够促进与LAN的有线或无线通信,LAN还能够包括设置在其上的无线接入点(AP),以用于在无线模式下与适配器通信。
当在WAN网络环境中使用时,计算机能够包括调制解调器,或者能够经由其他手段连接到WAN上的通信服务器,以用于诸如通过互联网在WAN上建立通信。能够是内部或外部的和有线或无线设备的调制解调器能够通过输入设备接口连接到系统总线。在联网环境中,本文中相对于计算机或其部分描绘的程序模块能够被存储在远程存储器/存储设备中。
当在局域网或广域网网络环境中使用时,计算机能够访问云存储系统或其他基于网络的存储系统,以代替或补充外部存储设备。通常,能够分别通过LAN或WAN(例如通过适配器或调制解调器)建立计算机和云存储系统之间的连接。在将计算机连接到相关联的云存储系统时,外部存储接口能够在适配器和/或调制解调器的帮助下像管理其他类型的外部存储一样管理由云存储系统提供的存储。例如,外部存储接口能够被配置为提供对云存储源的访问,就好像这些源物理连接到计算机一样。
如本主体说明书所采用的,术语“处理器”能够指基本上任何计算处理单元或设备,包括但不限于包括:单核处理器;具有软件多线程执行能力的单核处理器;多核处理器;具有软件多线程执行能力的多核处理器;采用硬件多线程技术的多核处理器;矢量处理器;流水线处理器;并行平台;以及具有分布式共享存储器的并行平台。此外,处理器能够指集成电路、专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑控制器(PLC)、复杂可编程逻辑器件(CPLD)、状态机、离散门或晶体管逻辑、离散硬件组件、或被设计为执行本文中所描述的功能的其任何组合。处理器能够利用纳米级架构,诸如但不限于基于分子和量子点的晶体管、开关和栅极,以优化空间使用或提高用户设备的性能。处理器也可以被实现为计算处理单元的组合。例如,处理器可以被实现为在一起、紧密耦合、松散耦合或彼此远离的一个或多个处理器。多个处理芯片或多个设备可以共享本文中所描述的一个或多个功能的性能,并且类似地,存储可以跨多个设备实现。
作为概述,本文中描述了各种布置。为了解释的简单性,将方法(或算法)描绘或描述为一系列步骤或动作。应当明白和理解,各种布置不受所示动作和/或动作顺序的限制。例如,动作能够以各种顺序和/或同时发生,并且与本文中未呈现或描述的其他动作一起发生。此外,并非所有图示的动作都可能被要求来实现这些方法。此外,这些方法也可以替代地通过状态图或事件表示为一系列相互关联的状态。此外,下文描述的方法能够存储在制造品(例如,机器可读存储介质)上,以便于将这种方法传输和转移到计算机。
根据一个方面,本教导的系统收集数据,例如但不限于传感器数据,识别数据,诸如但不限于感兴趣的图像,并删除不感兴趣的数据。在一个方面中,该系统对传入数据进行加密。在一个方面中,加密就地发生。在一个方面中,所有传入数据都被加密。该系统包括但不限于数据过滤。在一个方面中,数据被过滤以减少从收集设备发送到处理设备期望的数据量。在一个方面中,收集设备和处理设备通过电子通信装置可操作地耦合。在一个方面中,收集设备和处理设备在物理上不位于同一位置。在一个方面中,收集设备和处理设备位于同一位置。在一个方面中,收集设备和处理设备共享一个或多个处理器。在一个方面中,数据过滤包括多遍。在一个方面中,存在第一遍数据过滤器和第二遍数据过滤器。本教导设想进一步的过滤通过或单个过滤通过。在一个方面中,该系统包括能够处理过滤规则集的规则集处理器。在一个方面中,规则集处理器在满足至少一个标准之后处理过滤规则集。例如但不限于,在查明过滤规则集的发送者是授权实体之后处理过滤规则集。在一个方面中,系统删除不满足选择标准的数据。选择标准能够包括但不限于包括动态确定的标准、默认标准和/或由用户建立的标准。在一个方面中,该系统以多种模式操作。在一个方面中,系统基于例如由收集设备收集的数据自动选择模式。在一个方面中,用户选择模式。在一个方面中,基于期望的应用来选择默认模式。在一些配置中,系统包括一般模式、主体模式和场景模式。其他模式是可设想的,并且能够由本教导容纳。
在一个方面中,一般模式能够比作商店中的监视相机,其中,当确定在特定时间段期间可能发生了感兴趣的事情时,能够调用传感器数据。在一般模式中,系统收集由例如规则集、默认传感器集或用户提供的传感器集指示的所有传感器数据。例如,用户可以选择收集LIDAR数据、摄像头数据、音频数据和化学数据,因为特定应用可能需要点云和图像数据与音频和化学数据一起在特定地理位置和特定时间段内被收集。附加地或替代地,一般模式可以默认地指示所有可用传感器被激活,并且所有可用传感器数据被收集。在一个方面中,在一般模式中,系统通过根据预选择标准(诸如例如但不限于模糊度、信噪比、数据质量、时间过滤或指定物体的检测)过滤数据来预处理传入数据。在一些布置中,根据预选择用于一般数据的处理配方或者根据能够被提供给系统的特定规则来完成进一步的过滤。在一般模式中,在一个方面中,过滤之后剩余的数据在被加密并且可选地被编码之后被提供给用户以供查看。在一些方面中,例如,当正在寻找感兴趣的人时,在一般模式中,用户或系统所有者可以是私营部门用户,并且使得任何剩余的数据对系统所有者是可访问的,并且如果需要的话,变得可用于进一步的主体级过滤和分析。在一些方面中,在一般模式中,用户可以是公共部门用户,并且任何剩余的数据在被授权和配置时变得可用于进一步的主体级过滤和分析,但不变得可用于公共使用。
在一些方面中,可以使用一般模式来执行背景减法。这样的背景减法被用于这样的场景,在该场景中,地理区域被指定允许或期望出现什么主体,并且系统检测到这种区域中的异常并通知用户异常已经发生。这样的通知可以包括提供图像数据和/或表示异常的其他数据。例如,该系统可以被配置为指定具有限制或要求的区域,并在需要时(例如,当汽车停在它不应该停的地方时)提供警报。
在一个方面中,主体模式使用户能够将图像识别应用于收集的数据。例如,如果有必要定位特定的人,则训练用于此目的的一种类型的机器学习模型,以对收集的数据进行分类,从而在图像中寻找该人。如本领域技术人员所理解的,用于面部识别的合适模型的许多示例之一是称为深度面部(Deep Face)的神经网络模型。一个示例面部识别过程遵循四个步骤:(1)面部检测,其中,图像或视频中的一个或多个面部被定位并用边界框标记;(2)面部对准,其中,检测到的面部(及其位置、大小和姿势)被标准化以关于例如几何和光度与数据库一致;(3)特征提取,其中,从对准的面部中提取可用于识别的特征;以及(4)表示面部的特征向量相对于准备好的数据库(例如注册用户的数据库)中的一个或多个已知面部的特征匹配。在一个方面中,该系统具有用于四个步骤中的每一个的单独模块或程序,或者该系统将部分或全部步骤组合成单个过程。同样,如果有必要定位诸如牌照的物体,则训练用于此目的的一种类型的机器学习模型,以对于收集的数据中进行分类,以寻找特定的牌照。如本领域技术人员将理解的,用于牌照检测和识别的合适模型的许多示例之一由牌照识别器分发。在示例性牌照检测和识别过程中,第一物体检测模型被用于识别多个图像和/或视频中的汽车或其他车辆的图像。在一个方面中,检测模型被用于识别汽车或其他车辆的图像中的牌照。检测模型不需要是机器学习模型。如果使用机器学习模型,则可以训练神经网络,例如YOLO或SSD(均在下文中定义),以检测牌照。可以对检测到的牌照执行光学字符识别(OCR)以将图像转换为文本。在一个方面中,在主体模式中,如果数据收集和数据处理是在地理上远程(相对于彼此)的处理器中完成的,则在数据收集位置处,数据经过第一遍过滤过程。第一遍过滤过程对数据进行分类,以识别例如物体的边界框,将主体相对于剩余数据(这些数据被省略)进行分类。边界框内的数据从数据收集模块发送到使数据进行进一步过滤的处理模块。在一个方面中,处理模块选择适合于所选择的主体类型的机器学习模型,使得当所收集的数据到达处理模块时,特定于主体的机器学习模式被应用于数据。定位了可能的匹配,并删除了不匹配。可能的匹配被提供给例如手持设备、平板电脑或膝上型计算机用户接口、日志文件和/或本地或远程系统操作员桌面用户接口。在各种配置中,多个过滤遍在同一处理器中执行。附加地或替代地,多个过滤遍在数据收集位置处执行。附加地或替代地,多个过滤遍相对于数据收集位置远程执行。附加地或替代地,多个过滤遍在相对于数据收集位置的本地和远程的各种处理器处执行。
各种机器学习模型是本领域技术人员已知的,并且作为非限制性和非详尽示例,可以包括聚类、降维、集成方法、神经网络(例如卷积神经网络模型)和深度学习、迁移学习、强化学习、自然语言处理和单词嵌入。本领域技术人员将容易理解用于物体检测和识别的许多合适的技术,作为非限制性示例,包括基于区域的卷积神经网络(R-CNN)、快速R-CNN、更快R-CNN、基于区域的全卷积网络(R-FCN)、有向梯度直方图(HOG)、单射检测器(SSD)、空间金字塔池(SPP-net)和你仅看一次(You Only Look Once,YOLO)。
在一个示例中,在主体模式中,根据主体公开的系统从授权实体接收电子授权书,该授权书能够被用于创建和/或扩充过滤规则集。新的过滤规则集能够通过将过滤规则集传递到收集设备有效地授权自主车辆监视感兴趣的车辆,例如,具有特定牌照的黑色悍马H1。收集设备可以结合在本教导的自主车辆内。附加地或替代地,收集设备可以位于远离自主车辆或至少部分远离自主车辆的位置,并与自主车辆通信耦合。当自主车辆收集数据时,将数据与过滤规则集(例如,所有有效授权书中包括的车辆列表)进行比较。在一个方面中,基于由处理模块实施的进一步处理,关联于与有效授权书中列出的车辆匹配的车辆的数据被存储,并被传递到处理模块,并且可能使其可用于执法。当检测到感兴趣的车辆时,授权书上列出的执法人员会被通知车辆已被检测到,并被提供这样的检测的日期/时间。在一个方面中,执法人员能够安全地查看并可能下载感兴趣的车辆的图像。
在一些配置中,根据本主体公开的系统可以以场景模式操作。场景模式使用户能够将感兴趣的场景规则应用于收集的数据。在与主体模式中的操作类似的方面中,感兴趣的特定场景(如感兴趣的特定主体)可以在任何时候出现在数据收集器的视野中。识别感兴趣场景的标准可能不是特定于特定地点的,而是可以提供此类场景可能是什么的一般特性。例如,如果机器学习模型是根据纵火场景的一般特性训练的,则数据收集器识别可能的纵火场景。在场景模式中,经训练的机器学习模型被用于数据收集器中或者其中两个数据处理通过在数据收集器中以及在处理系统中可用(例如,一个在数据收集器处,另一个在处理系统中)的布置中。由机器学习模型识别的场景被提供给用户、计算机、日志文件和/或各种类型的显示器,并且剩余的数据被删除。
在一个方面中,本教导的系统包括收集处理器,该收集处理器被配置为接收传感器数据并加密接收到的传感器数据。在各个方面中,收集处理器和一个或多个传感器被安装在例如自主车辆、电线杆和/或无人机上,和/或收集处理器和传感器由人或动物携带。在一个方面中,收集处理器被配置为执行存储在其存储器中或耦合到收集处理器的存储器中的编码指令,以过滤传感器数据。在一个方面中,被过滤掉的数据被删除。在一个方面中,传感器数据被保留,对于该传感器数据,过滤器指示可能的匹配,例如,处于或高于预定义阈值概率的匹配的概率。为了执行过滤,在一些配置中,收集处理器定位接收到的传感器数据中的特征,并在可能的情况下将这些特征与根据过滤规则集提供的感兴趣的可能特征的列表(例如,触发列表)中的任何项相匹配。在一个方面中,触发列表是根据由例如但不限于执法和/或市政官员建立的规则创建的。在一个方面中,触发列表包括整个规则集的子集,使得能够减少或最小化对收集处理器的处理要求,以便减少功耗。在一个示例中,触发列表包括可疑个人或失踪人员的面部数据,并且收集处理器查找触发列表中的面部数据与接收到的传感器数据和/或经过滤的传感器数据之间的匹配。本领域技术人员将容易理解,可以收集许多类型的传感器数据,并且触发列表可以包括用于许多类型的数据的触发器。例如,如果触发器是物体,则可以使用根据本领域技术人员已知的各种方法的技术来执行物体检测,该各种方法包括但不限于R-CNN、快速R-CNN、更快R-CNN、R-FCN、HOG、SSD、SPP-net和YOLO。可以检测和收集其他类型的传感器信号和/或其他类型的数据,诸如,作为非限制性示例,LIDAR信号、雷达信号、超声波、光学摄像头数据、音频数据(诸如例如,语音或音乐数据)、化学数据、红外信号、磁场或近场波形、电磁或射频波形、点云数据、位图、字母数字数据(诸如例如,机动车牌照号)、视频数据、检测到的面部和其他类型的检测到的物体。
在一个方面中,收集处理器被配置为确保所收集的数据保持在安全状态,无论数据是本地存储的还是被发送到远程位置,诸如例如处理站。例如,收集处理器被配置为在接收到数据时对所有数据进行加密。在一个方面中,收集处理器被配置为在发送链中对已解密的数据、已被选择用于发送到处理站的数据的某些元素进行重新加密。可以使用各种已知的加密技术,例如,作为非限制性示例,高级加密系统(AES)256位加密,如本领域技术人员所理解的。附加地或替代地,收集模块例如通过下述方式认证数据:确保在传输数据之前对数据进行数字签名,以使接收器能够在接收到数据时证明发送者的身份。附加地或替代地,收集模块将元数据(例如时间和/或位置数据)与传输的数据相关联。附加地或替代地,为了节省带宽,对要发送到处理站的数据进行压缩。压缩可以使用各种已知的标准化方法中的任何一种实现,例如,作为非限制性示例,语音数据的声码、视频数据的ITU-T H.264、HEVC或VVC、霍夫曼编码、无损压缩或有损压缩,如本领域技术人员将理解的。附加地或替代地,校验和被附加到要发送到处理站的数据,以便使处理站处的接收器能够检测由传输介质引起的任何错误。附加地或替代地,要发送到处理站的数据被编码,使得接收器可以对数据进行解码以校正由传输介质引起的误差。如本领域技术人员将理解的,可以使用各种已知技术来实现纠错编码,作为非限制性示例包括,块编码,例如Reed-Solomon编码、卷积编码、turbo编码、低密度奇偶校验(LDPC)编码或极性编码。本领域技术人员还将理解,所采用的纠错编码格式可以取决于被用于传输的通信协议。在一些方面中,当在数据传输之前对数据执行压缩、加密和纠错编码时,对数据执行压缩,然后对压缩数据进行加密,然后对加密的压缩数据进行纠错编码。
在一些布置中,收集处理器使用各种已知机器学习模型中的一个或多个来执行特征提取和匹配,其中,对自主车辆(例如,在边缘节点而不是在云中)执行计算。在一个方面中,这样的特征匹配以在规则集中预定义的特征集为目标。收集模块应用跟踪,包括例如在物体检测期间对物体进行时间过滤。这种过滤包括第一类型的过滤和第二类型的过滤,其可以由处理站(例如,在云中)处的远程处理器执行。在一个方面中,第一类型的过滤包括相对于第二类型的过滤的粗粒度过滤。在一个方面中,收集模块利用二维(2D)边界框跟踪机制,诸如例如,广义并集交集(GIOU)跟踪,来跟踪物体及其从每个所收集的图像帧到后续所收集的图像帧的的边界框。在其他布置中,收集模块使用联合概率数据关联过滤器(JDAF)算法、线性速度预测技术和/或两者的组合来跟踪物体。在一些方面中,收集模块在由规则集定义的感兴趣物体的边界框内裁剪图像的一个或多个或全部部分。收集模块向位于远程的处理站或并置的处理站发送数据,至少一个这样的裁剪图像属于检测和跟踪的感兴趣物体。在一个方面中,收集模块在发送裁剪图像之前压缩、加密和/或编码裁剪图像。
根据本主体公开的一些方面的系统包括处理模块(例如处理站或在处理站处),该处理模块被配置为接收和处理被用于对收集的数据进行分类的过滤器或触发器。在一个方面中,处理模块接收输入,诸如例如但不限于触发器和对于搜索触发器的伴随授权。触发器包括例如但不限于物体、图像、气味、声音、场景和/或其他感官数据。附加地或替代地,处理模块接收这样的识别信息,例如但不限于一个或多个感兴趣场景的位置、一个或多个感兴趣声音的持续时间和/或一个或多个通知,一个或多个通知诸如例如是来自收集设备或来自人的通信或自动消息,包括所收集的图像数据与感兴趣场景或主体之间的匹配或可能匹配的通知。在一些示例中,处理模块被配置为接收并执行经由从最终用户应用接收到的输入提供的指令。在一个方面中,最终用户应用被用于请求处理模块应用的规则集。在各种实施例中,处理模块本身包括管理器程序。在一些实施例中,管理器程序是基于云的管理器。管理器程序被设计为维护数据隐私、数据安全、监管链控制和/或审计跟踪(例如,时间或数据戳)中的一个或多个等等。在一个方面中,管理器程序是规则集不可知的,即管理器程序不限于处理以任何一种特定格式编码的规则集。在一些配置中,管理器程序包括实现提供应用编程接口(API)的指令、用于由用户(诸如,作为非限制性示例,警察、政府当局、国家安全机构或具有特殊隐私需求的商业客户)设置的隐私、监管链和/或审计规则。
在各种配置中,处理模块和收集模块(例如,收集处理器)通过例如网关相互通信。在一个方面中,如本领域技术人员所理解的,网关在收集模块和网关之间建立网络服务,并使用该网络服务在收集模块与网关之间建立通信。在一些配置中,网关是网络服务的网络服务器,而收集模块是该网络服务的网络客户端。在一个方面中,使用网络服务在收集模块和网关之间传送数据。
根据各种布置的处理模块被配置为使用与从收集模块接收到的加密数据相关联的加密密钥来解密从收集模块接收到的数据。此外,处理模块被配置为可选地重新加密从收集模块接收到的已被解密的数据。在一些方面中,处理模块验证并跟踪与传入数据相关联的监管链和/或数字签名,和/或实现处理模块发送的一些或所有传出数据的数字签名。在各种布置中,处理模块接收规则集,并且至少部分地基于规则集,准备一个或多个规则集的子集(例如,触发列表)并将其发送到收集模块以供收集处理器使用。在各个方面中,处理模块将细粒度过滤器应用于从收集模块接收到的粗过滤的数据,并将规则集应用于经过滤的数据。至少包括匹配数据的经过滤的结果和匹配通知被发送到例如授权个人、日志文件、基于云的系统、膝上型电脑、手持设备、台式机和/或平板电脑。
根据各个方面的处理模块使用各种机器学习模型中的任何一个以使从收集模块接收到的数据置于比由收集模块执行的相对粗的特征匹配计算更精细(例如更详细)的特征匹配版本。例如,处理模块确定满足过滤规则集中描述的触发器要求的数据。在一些方面中,处理模块至少包括提取算法和识别算法。在一个方面中,提取算法被用于解密和/或解码先前由收集模块收集和过滤的传感器数据。在一个方面中,提取算法至少包括神经网络算法,该神经网络算法被配置为接收解码的、经过滤的传感器数据并生成包含期望的传感器数据的边界框。在一些方面中,提取算法处理由神经网络算法提供的检测到的传感器数据。在一些方面中,识别算法使检测到的传感器数据经受进一步处理,诸如例如但不限于光学字符识别算法。附加地或替代地,识别算法过滤所得到的数据,诸如例如,从数据生成的文本与触发值(例如,过滤规则集中描述的牌照号)之间的文本匹配,以将文本分类为匹配/不匹配。在一个方面中,处理模块存储来自进一步处理的结果。在一个方面中,存储是安全的。在一个方面中,处理模块对存储区域进行加密,使得数据仅可由授权用户基于接收到的触发数据访问。在一个方面中,当在数据和触发数据库之间发现匹配时,处理模块通过作为非限制性示例向授权用户发送文本来发送通知。在一个方面中,处理模块允许授权用户查看和下载匹配的数据以及匹配数据的收集的位置。在一个方面中,查看是安全的。在一个方面中,根据触发列表未提供匹配的数据不可用于授权的个人或任何其他人,以保护不感兴趣的人的隐私。可以删除这样的数据,或者可以对这样的数据进行加密和存储。本领域技术人员将理解,根据本主体公开的系统不必限制于仅检测和/或识别面部特征。本领域技术人员将理解,机器学习模型能够被训练为识别许多类型的对象,包括但不限于例如牌照、机动车、动物和消费品。
可以以各种不同的方式使用根据本主体公开的系统,每种方式都会引起系统架构所解决的隐私和安全问题。例如,如果该系统被用于搜索授权书尚未执行的人,并且该系统由自主车辆执行,则该系统收集大量非嫌疑个人的图像。一个示例系统防止非嫌疑个人的位置和/或活动可用于执法部门。通过收集模块和处理模块进行过滤和加密可以使外观与嫌疑人基本相似的图像能够被提供给执法部门。另一方面,根据本主体公开的系统可以被用于总体扫描环境,而不搜索任何特定的感兴趣的个人或项目。在扫描环境的动作中,该系统可以检测到实施犯罪的证据,也可以检测到正在实施的犯罪。示例系统确保被捕获的图像不被取消作为证据的资格,和/或确保提供给当局的捕获图像不包括可能涉及无辜者的数据。根据本主体公开的系统通过例如但不限于基于由当局设置的规则来评估传入数据来实现上述目的。
如本领域技术人员容易理解的,当需要对称密钥加密诸如例如用于数据存储器(诸如例如,物体、关系、目录和/或搜索数据存储器)的静止数据加密时,AES-256加密可以被用于根据本主体公开的收集模块和/或处理模块中。AES-256加密算法也可以被用于加密通过网络在收集模块和处理模块之间交换的消息块。这样的消息也可以或者在替代方案中利用用于计算机网络信道的TLS1.2加密进行加密。
如本领域技术人员所理解的,包含根据本主体公开的在收集模块和处理模块之间交换的数据的消息可以被数字地签名,并且可以为每个这样的消息生成加密散列。消息的接收方可以使用发送方的公钥证书来解密消息。可以在接收方处再次生成加密散列。可以对两个加密散列进行比较以验证消息的真实性。如果这两个加密散列匹配,则该消息可以被视为有效。RS-2048加密可以被用于数字签名。
在一些方面中,访问数据需要用户认证和授权。例如,在涉及执法当局的情况下,使用至少两个强认证器的多因素认证可能是可期望的。已经被认证的用户可以被授权查看使用基于角色的访问控制定义的特定数据,该访问控制基于例如主体、时间段、地理位置和/或各种其他参数来限制访问。
在一些配置中,根据图1所描绘的方法,假设第一遍和第二遍处理器将在彼此之间传递数据,系统可以执行第一遍处理。在一些方面中,可以根据图2所描绘的方法来执行第二遍处理。参考图1,在动作1851中,如果不是发送数据的时间,例如,如果还没有收集到期望的数据量,或者收集数据的时间限制还没有到期,或者还没有满足用于停止数据收集的一些其他已知标准,则流程控制进行到动作1852。在动作1852中,如果没有更多的数据要处理,则第一遍处理结束。如果在动作1852中有更多的数据要处理,则控制流程进行到动作1857。在动作1857中,系统接收(例如,从第二遍处理器)期望的模式。该模式可以由系统用户建立、是默认模式、由用户进行的应用选择确定、由一系列一个或多个传感器确定、或者以各种其他适当方式中的任何一种选择。虽然模式可以由系统用户设置,但在替代方案中,模式可以由数据收集系统动态地确定。控制流程然后进行到动作1859。
在动作1859中,系统基于所确定的模式激活一个或多个传感器,并接收和加密来自该一个或多个传感器的数据。如果先前已经确定了模式并且传感器被激活,则系统继续接收和加密数据。控制流程然后进行到动作1861。在动作1861中,如果该模式是一般模式,则控制流程进行到动作1863。在动作1863中,系统累积从激活的传感器接收的传感器数据。在一些配置中,至少基于例如传感器故障的发生,或者如果所收集的传感器数据中的至少一些指示其他传感器应当被激活,则该系统支持对一组被激活的传感器的动态调整。如果在动作1861中确定该模式不是一般模式,则控制流程进行到动作1865。
在动作1865中,如果模式是主体模式,则控制流程进行到动作1867。在动作1867中,系统确定期望的主体的类型。作为非限制性示例,期望的主体可以是人、动物或物体。控制流程然后进行到动作1869,在该动作中,在一些配置中,系统可以选择经训练的机器学习模型,该选择至少部分地基于主体的类型。控制流程然后进行到动作1871,其中,系统将所选择的、经训练的机器学习模型应用于传感器数据。在一些方面中,在第一遍处理中,所选择的机器学习模型被训练以识别传感器数据,这些传感器数据通常满足主体的特性,但可能不更具体地满足主体的特性(例如,更详细的、更精细的或更高粒度的特征)。在一些方面中,第一遍处理和第二遍处理相结合,以使系统能够在单遍中识别特定的主体。此外,如本领域技术人员所理解的,可能相对于第二遍处理调整第一遍处理(反之亦然),以根据主体的类型实现最佳结果。换言之,可以根据期望相对于彼此调节或调整第一遍过滤的相对粗糙度和第二遍过滤的相对精细度。当主体是人类时,第一遍处理的示例是根据训练的机器学习模型识别符合人类标准的所有传感器数据,并删除其余数据。如果在动作1865中确定该模式不是主体模式,则控制流程进行到动作1873。
在动作1873中,如果模式是场景模式,则控制流程进行到动作1875。在动作1875中,系统可以确定期望的场景的类型。在一些布置中,可能的感兴趣的场景(作为非限制性示例,犯罪场景)的一般特性可以是先前已知的。在其他方面,可能的感兴趣场景(作为非限制性示例,犯罪场景)的一般特性可以由系统用户提供。控制流程然后进行到动作1877,在动作1877中,系统至少部分地基于感兴趣的场景的类型来选择一个或多个机器学习模型。控制流程然后进行到动作1871,其中,系统将被训练为识别特定类型的场景的一个或多个选择的机器学习模型应用于所收集的传感器数据。附加地或替代地,将多个机器学习模型应用于所收集的数据是作为第二遍过滤的一部分来进行的。
在动作1851中,如果已经收集了期望的数据量,或者数据收集时间限制已经到期,或者已经满足了用于中断数据收集的一些其他标准,则流程控制进行到动作1853。在动作1853中,系统对通过过滤(例如,在一些配置中,通过利用一个或多个机器学习模型进行过滤)生成的数据进行编码。控制流程然后进行到动作1855,在该动作中,系统将数据发送到第二遍处理器。控制流程然后返回到动作1851,在动作1851中,如果适用,可以重置用于中断数据收集的定时器,并且继续数据收集和处理。
在一些方面中,如果需要第二遍处理,则系统根据图2所示的方法执行第二遍处理。本领域技术人员应当理解,第一遍处理和第二遍处理可以由执行编码指令的单个处理器执行。在一些配置中,第二遍处理器与系统用户对接,使得用户例如通过应用与第二遍处理器交互。用户接口能够是可选的,并且可以至少通过默认值、配方和/或动态确定的标准实现。
参考图2,在一些配置中,在动作1951中,系统确定数据收集间隔。数据收集间隔可以是默认值,或者它可以由系统用户指定,或者,它可以基于作为非限制性示例的、可用传感器的数量或可用传感器的类型的数量或每种可用传感器的数量来动态地确定。控制流程然后进行到动作1953,在该动作中,系统确定期望的模式。在各个方面中,系统用户可以设置期望的模式,或者期望的模式可以由系统动态地确定,或者期望的模式可以至少部分地基于系统用户请求的信息来建立。控制流程然后进行到动作1955,在该动作中,系统接收规则,该规则管理所收集的数据的哪些部分相对更重要。例如,规则可以包括感兴趣的人的图像或感兴趣的场景的指定。这些规则可以例如由执法机构或其他有关当局或个人建立。控制流程然后进行到动作1957。
在动作1957中,系统至少基于所确定的模式来选择一个或多个机器学习模型。附加地或替代地,至少部分地基于接收到的规则或本领域技术人员将理解的其他标准来选择一个或多个机器学习模型。在一些配置中,部署了机器学习模型以外的模型。控制流程然后进行到动作1959。在动作1959中,系统基于接收到的规则训练一个或多个选择的机器学习模型。例如,如果特定的人是感兴趣的主体,则可以训练所选择的机器学习模型,以找到所收集的数据与感兴趣的主体的图像之间的匹配。在部署多个处理器的配置中,控制流程进行到动作1961,在动作1961中,系统向耦合到例如数据收集模块或与例如数据收集模块相关联的第一遍处理器提供期望的模式。控制流程然后进行到动作1963,在该动作中,系统指示第一遍处理器开始数据收集。控制流程然后进行到动作1965,在该动作中,系统确定数据收集时间间隔是否已经到期。如果数据收集时间间隔已经到期,则控制流程进行到动作1967。在动作1967中,第二遍处理器从第一遍处理器接收数据,并且如果适用的话,第二遍处理器解码接收到的数据和/或解密接收到的数据或加密接收到的数据,和/或编码接收到的数据以用于传输或提供。控制流程然后进行到动作1969。
在动作1969中,系统确定操作模式是否是一般模式,而不是例如主体模式或场景模式。如果操作模式被确定为一般模式,则控制流程进行到动作1971。在动作1971中,系统将数据提供给系统用户进行评估,或者,至少部分地取决于应用,系统对数据进行进一步处理或过滤。如果在动作1969中确定操作模式不是一般模式,即,确定操作模式是主体模式或场景模式之一,则控制流程进行到动作1973。在动作1973中,系统将经训练的机器学习模型应用于数据,以通过确定数据中是否存在与特定的期望主体、与系统用户感兴趣的场景或与由接收到的规则规定的场景(作为非限制性示例,指示犯罪已经发生或正在发生的场景)的任何匹配,来生成匹配的数据作为数据的子集。控制流程然后进行到动作1975,在该动作中,系统删除不是匹配的数据的任何或所有数据。控制流程然后进行到动作1971。在一些方面中,在系统用户已经评估了数据之后,收集附加的数据。在一些方面中,在恢复数据收集之前改变操作模式和/或规则。
参考图3,根据各个方面的系统100可以基于预定义的标准选择性地处理图像。系统100至少包括收集模块131和处理模块147。在一个方面中,收集模块131通过通信介质119耦合到处理模块147。通信介质119可以是诸如以太网的有线连接,或者通信介质119也可以是诸如WiFi的无线连接或者蜂窝或宽带网络等等。在一些布置中,数据可以在通过通信介质119的运送中被加密。在一些配置中,收集模块131和/或处理模块147被实现为执行存储在存储器(未示出)中的编码指令的处理器(未示出),存储器可由处理器访问和/或与处理器集成。在一些方面中,收集模块131和处理模块147彼此远离。在其他方面中,收集模块131和处理模块147是并置的。在一些方面中,收集模块131和处理模块147被实现为单个处理器。
在一种布置中,收集模块131包括一个或多个特征检测器105、耦合到特征检测器105或与特征检测器105集成的特征匹配处理器107、耦合到特征匹配处理器107或与特征匹配处理器107集成的数据过滤器109、耦合到数据过滤器109或与数据过滤器109集成的数据压缩器111、耦合到数据压缩器111或与数据压缩器111集成的静止数据加密模块113、以及耦合到静止数据加密模块113或与静止数据加密块113集成的发送链115。数据过滤器109对接收到的数据执行第一过滤类型。在一些配置中,静止数据加密模块113对数据进行加密和数字签名,使得接收器能够验证发送者的身份和/或确定接收到的数据是否已被更改。发送链模块115提供过滤的、加密的、数字签名的传感器数据的前向纠错编码和/或调制,以用于经由通信介质119传输。在一个方面中,发送链模块115提供元数据(例如,时间戳和/或GPS位置)的前向纠错编码和/或调制以用于经由通信介质119传输。在一些示例中,数据接收方使用元数据(例如,GPS位置和时间戳)来验证收集模块131在所指示的时间是否存在于所指示的位置。特征检测器105、特征匹配处理器107、数据过滤器109、数据压缩器111、静止数据加密模块113和/或发送链115中的任何一个或全部可以以硬件(例如ASIC或FPGA)、软件或固件模块实现,或者实现为执行存储在存储器中的代码的一个或多个处理器、微控制器或状态机。收集模块131和特征检测器105、特征匹配处理器107、数据过滤器109、数据压缩器111、静止数据加密模块113以及发送链115可以基本上如以上关于图1和图2的各种特征所描述的那样起作用。
在一个方面中,处理模块147包括以下各项中的一个或多个:数据解密模块135、耦合到数据解密模块135或与数据解密模块135集成的监管处理器137、耦合到监管处理器137或与监管处理器137集成的数据过滤器139、耦合到数据过滤器139或与数据过滤器139集成的规则集处理器141、耦合到规律集处理器141或与规律集处理器141集成的静止数据加密模块143、以及耦合到静止数据加密模块143或与静止数据加密模块143集成的签名处理器145。数据解密模块135使用公钥和私钥来执行解密。本领域技术人员将理解,私钥是始终与使用该密钥来解密接收到的数据的授权实体驻留在一起的密钥。监管处理器137跟踪监管链。数据过滤器139对接收到的数据执行第一类型的过滤。签名处理器145可以在使用数据之前验证与数据分组相关联的数字签名,以便证明该数据源自可信来源。数据解密模块135、监管处理器137、数据过滤器139、规则集处理器141、静止数据加密模块143和/或签名处理器145中的任何一个或全部可以以硬件(例如ASIC或FPGA)、软件或固件模块实现,或者实现为执行存储在存储器中的代码的一个或多个处理器、微控制器或状态机。处理模块147和特征数据解密模块135、监管处理器137、数据过滤器139、规则集处理器141、静止数据加密模块143和签名处理器145基本上如以上关于图1和图2的各个方面所描述的那样起作用。
在一个方面中,收集模块131被配置为从一个或多个传感器103接收数据。可以可用于收集模块131的传感器103的类型可取决于系统100的环境。例如,传感器103被安装在被配置为执行系统100的设备上,例如远程控制的机器人(或简称机器人)、自动机器人或自主车辆(AV)102,和/或传感器103可以包括光学相机、激光设备、超声波传感器、天气传感器、LIDAR传感器、雷达传感器、红外传感器和/或近场传感器等。例如在下文中示出和描述的系统中描述了示例性AV:在2020年7月10日提交的题为“System and Method for RealTime Control of an Autonomous Device(用于自主设备的实时控制的系统和方法)”(代理人案卷号#AA291)的美国专利申请No.16/926522。在一些配置中,系统100安装在其上的设备是可移动的。从一个或多个传感器103接收到的数据被提供给特征检测器105。收集模块131经由通信介质119从处理模块147接收触发列表。
在一种布置中,规则集提供者源123被耦合到处理模块147。规则集提供者源123向处理模块147提供一个或多个规则集。规则集提供者源123可以是在例如但不限于跟踪感兴趣的主体的执法机构或其他市政当局的控制下的数据存储器。感兴趣的主体的示例可以包括但不限于包括人、机动车和/或有形设备。在一个方面中,规则集包括关于感兴趣的主体的信息,该信息能够由系统100用来定位感兴趣的主体。在一个实施例中,规则集被提供给规则集处理器141,其至少部分地基于例如但不限于系统100的位置、一天中的时间和/或可以使所选择的规则子集相对更有用或更适用的任何其他因素,从中选择规则子集,例如触发列表。在一个方面中,规则集处理器141通过发送器(未示出)耦合到通信介质119,使得一个或多个触发列表被提供给收集模块131,并且具体地通过接收器(未示出)被提供给特征检测器105。本领域技术人员将理解,一个或多个触发列表可以附加地或替代地直接被提供给收集模块131。在一个方面中,处理模块147被配置为向应用133提供匹配通知和匹配的传感器数据中的至少一个以供授权行为者使用。在一种布置中,签名处理器145被配置为通过发送器(未示出)向应用133提供匹配通知和匹配的传感器数据中的至少一个,以供授权行为者使用。
在一些方面中,数据被存储在法律上许可的位置,例如,美国数据不存储在位于美国境外的服务器上。在各个方面中,由一个或多个传感器103收集的数据驻留在RAM存储器(未示出)中,直到它必须被提供给特征检测器105。在一个方面中,每个数据源都保留其自己的私钥,该私钥被用于加密从该数据源发送的数据。在一个方面中,授权系统用户或实体使用私钥与公钥相结合来解密从经授权的数据源接收的数据。在各种配置中,监管链可以包括以下示例行为者中的一个或多个:静止的收集设备、数据传输机制、基于云的接收器服务、基于云的检测过滤服务、基于云的通知服务以及最终用户(例如,执法机构)。
图4描绘了根据一个示例方面的消息流200。本领域技术人员将理解,图4中所示的各种实体中的任何一个或全部可以是物理实体或逻辑实体、可以彼此并置或远程定位、和/或可以被实现为单个实体或处理器。并且,本领域技术人员将容易理解,(在不同实体而非单个实体的上下文中)图4中所示的各种消息中的任何或全部可以通过任何已知的通信介质被发送/接收,通信介质包括但不限于有线(例如,以太网)和无线(例如,WiFi、蜂窝、卫星)通信介质。参考图4,收集设备201将图像消息202发送到主体类型过滤模块203。主体类型过滤模块203试图在接收到的图像消息202中检测主体类型(如下所述确定的),例如面部或牌照。如果检测到主体类型,则主体类型过滤模块203向主体过滤模块205发送类型匹配的图像消息204。主体过滤模块205试图在接收到的类型匹配图像消息204中检测特定主体(如下所述确定),例如,特定人的面部或具有特定牌照号的牌照。如果检测到特定主体,则主体过滤模块205向授权机构207(例如,执法机构或其他市政当局)发送主体匹配的图像消息206。
继续参考图4,授权机构207向规则集管理器模块209发送规则集消息208。规则集管理器模块209尝试验证(例如,认证)接收到的消息208中的规则集(包含定义例如但不限于感兴趣的主体或项目、用于检测感兴趣的主体或项目的一组标准等的规则)。如果规则集管理器模块209验证了规则集消息208中的规则集,则规则集管理者模块209向永久存储模块211发送经验证的规则集消息210。规则集管理器模块209还至少部分地基于经验证的规则集来创建主体类型过滤器。规则集管理器模块209向永久存储模块211发送类型过滤消息212。规则集管理器模块209还至少部分地基于经验证的规则集来创建主体过滤器。规则集管理器模块209向永久存储模块211发送主体过滤消息214。永久存储模块211将接收到的类型过滤消息212发送到主体类型过滤模块203,主体类型过滤模块203使用接收到的类别过滤消息212来检测接收到的图像消息202中的主体类型。永久存储模块211还将接收的主体过滤消息214发送到主体过滤模块205,主体过滤模块使用接收到的主体过滤消息214来检测在接收到的类型匹配图像消息204中的特定主体。
现在参考图5,数据从传感器301到达,以使初始处理器303执行初始处理。在一个方面中,传感器301包括移动的和/或固定的传感器。在一个方面中,移动传感器被安装在车辆(诸如例如但不限于轮式车辆和/或自主车辆和/或者无人机)或者人/动物上。在一个方面中,固定传感器被安装在不可移动的位置,例如但不限于道路、信标、交通灯、交通标志、建筑物和/或纪念碑。传感器301能够包括但不限于包括诸如相机的视觉传感器、诸如LIDAR和超声波的信号传感器、音频传感器、触觉传感器等。对于要执行的初始处理303,根据被用于匹配例如面部和牌照的触发列表307中使规则集305可用。在一些方面中,数据处理包括压缩、加密和编码,然后是特征检测、特征匹配(与规则集)和第一类型的过滤,例如但不限于粗粒度过滤。数据在静止时被加密,并在传输前进行数字签名,以使接收方能够在收到时证明发送方的身份。数据包括元数据,例如时间戳和GPS位置。所处理的数据被传递以在其他地方使用和/或存储。关于数据传递,只有人类可读的数据才会在匹配时发送。否则,运送中加密的、签名的和编码(原始)的数据被发送。所处理的数据由例如云处理器311接收,其中,数据利用私钥被解密、使用监管链策略、数字签名和元数据被跟踪。数据被进一步过滤,例如细粒度过滤器被应用。云处理器311例如从市政当局接收规则集313,并处理规则集313以向触发列表307提供更新后的规则集319。云处理器311将匹配通知和匹配数据317提供给授权行为者315。在云处理器311中,数据在静止时被加密,并且在数据被用于证明数据来自可信来源之前验证数字签名。云处理器311和/或初始处理器303存储数据。在数据存储期间,数据被静态存储在合法位置,例如,美国数据不能存储在美国境外的服务器上。由传感器301使用的数据保留在RAM中,直到它们需要被发送,此时它们被加密。每个授权的数据源都有其自己的私钥,其用于加密来自该数据源的数据。每个授权用户/实体都具有唯一的公钥,该公钥使得用户/实体能够解密从授权数据源接收到的数据。沿着数据监管链上的示例参与者能够包括但不限于包括静止的机器人、数据传输机制309、云处理器311(接收器、检测过滤器和通知服务)以及最终用户(例如执法部门)。关于数据完整性,每个数据源利用唯一的密钥对每个数据分组进行数字签名。每个数据接收方都会验证每个数据包的数字签名,验证数据包是否来自真正的授权发送者,以及数据分组是否在运送中未经过处理。每个数据接收方利用上下文数据来验证数据,例如,如果匹配的图像来自GPS坐标x,y,则数据接收方验证该行程中的机器人在匹配结果中报告的时间处于该位置。私钥与授权方共存,授权方需要私钥来解密他们被授权查看的数据。
现在参考图6和图7,示出了用于根据本教导的配置确定期望信息的方法。图6中的方法是从与正在收集传感器数据的收集设备以及与正在提供搜索信息的用户或另一处理器相关联的处理设备的角度来编写的。在图6中,用于在从授权行为者接收规则时确定期望信息的方法600包括但不限于包括从授权行为者安全地接收602至少一个规则。在一个方面中,授权行为者是执法人员,例如,规则是涉及定位车辆的授权书,该授权书包括通过期望车辆的品牌、型号和牌照号的描述。方法600包括利用至少一个规则更新604至少一个规则数据库。在一个方面中,规则数据库包括用于检测例如一般车辆、车辆的特定品牌/型号/类型、一般牌照和特定牌照的信息。由执法人员提供的规则提供了有关特定车辆的特点信息。当规则被添加到规则数据库中时,数据库被扩展,使得搜索特定车辆成为可能。方法600包括将规则数据库安全地发送606到收集设备。尽管处理设备和收集设备可以位于同一位置,但诸如静止加密的安全措施能够确保关于规则和搜索数据的隐私问题不被损害。当处理设备和收集设备通过网络进行通信时,安全地发送包括例如合法授权书的消息包括例如加密和中间人阻挠的特征。方法600包括从收集设备安全地接收608传感器数据。收集设备能够对所收集的数据(例如,车辆的图像)进行就地加密并对其传输进行加密。在一个方面中,收集设备使用规则数据库、特别是由执法人员提供的规则来对收集的数据进行“粗”过滤。该步骤尤其减少了由收集设备加密并发送到处理设备的数据量。粗过滤器能够消除例如不是车辆的数据。在一个方面中,消除数据被定义为删除所有不符合过滤标准的数据。该步骤,虽然是可选的,但保护与授权书无关的车辆所有者的隐私,并保护执法机构免受隐私侵犯指控。粗过滤器能够被调整以消除不是期望品牌/型号/类型的车辆和/或没有牌照的车辆的数据。能够根据收集设备的处理能力,以及如果适用的话,根据收集设备和处理设备之间的通信链路的传输速率来调整过滤器。方法600包括安全地存储610接收到的经粗过滤的数据。在一个方面中,不需要存储。然而,如果数据被存储,静止加密可以保护数据不受未经授权的访问,从而保护例如车辆的所有者的隐私。方法600包括将精细过滤器应用于612安全存储的经粗过滤的数据。例如,如果数据包括期望品牌/型号/类型的车辆,则精细过滤器能够进一步检查数据以寻找与期望牌照的匹配。方法600包括将期望信息安全地发送614到授权行为者。在本文中的示例中,通过例如加密传输向执法人员提供期望车辆的位置。在一个方面中,从处理设备的存储区域永久删除不是期望信息的其他数据。
现在参考图7,用于搜索和提供期望信息的方法700正在收集设备中执行。方法700包括从处理设备安全地接收702至少一个规则集数据库,该处理设备已经接收到来自授权行为者的信息并且已经使用该信息来更新数据库。方法700包括安全地收集704和存储关联于与收集设备的位置相关联的预选择区域的传感器数据,从而有效地对所收集的数据进行位置标记。方法700包括根据来自规则集数据库的“触发器”(粗过滤)来过滤706所收集的数据。如本文中所讨论的,这种过滤包括例如从其他数据中对车辆进行分类,但是可以包括任何阈值,包括相互之间对车辆牌照进行分类,或者甚至定位特定的期望牌照位置。方法700包括安全地存储708经过滤的数据,以及将经过滤的数据安全地发送710到处理设备。在一个方面中,经过滤的数据被安全地发送但不被存储。因此,数据要或者在它们不满足触发标准时被删除,或者在它们被安全地发送到处理设备之后或在它们被安全地发送到处理设备时被删除。
一个或多个计算机的系统能够被配置为通过软件、固件、硬件或它们的组合安装在系统上来执行特定的操作或动作,软件、固件、硬件或它们的组合在操作时使系统执行这些动作。一个或多个计算机程序能够被配置为通过包括指令来执行特定的操作或动作,该指令在由数据处理装置执行时使得装置执行动作。一个总体方面包括一种用于从收集设备收集的传感器数据中识别期望信息的方法。该方法还包括:从授权行为者安全地接收至少一个规则;基于至少一个规则来确定至少一个粗过滤器;利用至少一个规则更新至少一个规则数据库;将至少一个粗过滤器安全地发送到所述收集设备;从收集设备安全地接收传感器数据,传感器数据由至少一个粗过滤器过滤。该方法还包括通过将精细过滤器应用于经过滤的传感器数据来确定期望信息,该精细过滤器至少基于至少一个规则数据库。该方法还包括对期望信息进行加密并将其发送到授权行为者。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,每个被配置为执行方法的动作。
实施方式可以包括以下特征中的一个或多个。该方法可以包括:就地(in place)加密并存储接收到的经粗过滤的传感器数据。粗过滤器可以包括:至少一个感兴趣的特征。感兴趣的至少一个特征可以包括:主体的高度。至少一个感兴趣的特征可以包括:车辆的型号。至少一个感兴趣的特征可以包括:车辆的颜色。授权行为者可以包括:执法机构。所述至少一个规则可以包括:至少部分根据来自授权行为者的授权书生成的规则。期望信息可以包括:主体的身份。期望信息可以包括:牌照号。该方法可以包括:在将期望信息安全地发送到授权行为者之后,安全地删除所有经粗过滤的传感器数据。所描述的技术的实施方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
一个总体方面包括一种从由收集设备收集的传感器数据中识别期望信息的方法。该方法还包括:从处理设备安全地接收至少一个规则数据集;安全地接收和存储与关联于收集设备的位置的预选择区域相关联的传感器数据。该方法还包括:过滤传感器数据以确定期望信息,过滤至少基于至少一个规则数据集;安全地存储期望信息。该方法还包括:将期望信息安全地发送到处理设备。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,每个被配置为执行方法的动作。
实施方式可以包括以下特征中的一个或多个。该方法可以包括:压缩期望信息。该方法可以包括:对期望信息进行加密。该方法可以包括:对期望信息进行编码。过滤可以包括:过滤传感器数据以确定人类主体,过滤至少基于至少一个规则数据库。过滤可以包括:过滤传感器数据以确定牌照号,过滤至少基于至少一个规则数据库。所描述的技术的实施方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
一个总体方面包括一种用于从由收集设备收集的传感器数据中识别期望信息的系统。该系统还包括:安装在自主车辆上的至少一个传感器;以及在处理器上执行的收集模块,收集模块被配置为安全地接收至少一个规则数据集,收集模块被配置成安全地接收和存储关联于与自主车辆的位置相关联的预选择区域的传感器数据,收集模块被配置为至少基于至少一个规则数据库来过滤传感器数据以确定期望信息,收集模块被配置为安全地存储期望信息,以及收集模块被配置为可靠地传输期望消息。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,每个被配置为执行方法的动作。
实施方式可以包括以下特征中的一个或多个。收集模块被配置为压缩期望信息的系统。所描述的技术的实施方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
一个或多个计算机的系统能够被配置为通过在系统上安装软件、固件、硬件或它们的组合来执行特定的操作或动作,这些软件、固件、硬件或它们的组合在操作使时系统执行这些动作。一个或多个计算机程序能够被配置为通过包括指令来执行特定的操作或动作,指令在由数据处理装置执行时使得所述装置执行动作。一个总体方面包括一种用于从由收集设备收集的传感器数据中识别期望信息的系统,处理模块包括处理模块计算机指令,其用于:安全地接收来自授权行为者的至少一个规则;利用至少一个规则更新至少一个规则数据库;将至少一个规则数据库安全地发送到收集设备;从收集设备安全地接收中间粗过滤的数据,中间粗过滤的数据至少基于至少一个规则数据库进行粗过滤;安全地存储接收到的中间粗过滤的传感器数据;将精细过滤器应用于安全存储的中间粗过滤的传感器数据以确定期望信息,精细过滤器至少基于至少一个规则数据库;将期望信息安全地发送到授权行为者;以及安全地删除所有中间粗过滤的传感器数据;收集模块,其被配置为在收集设备上执行,收集模块包括收集模块计算机指令,其用于:从执行处理模块计算机指令的处理设备安全地接收至少一个规则数据集;安全地接收并存储与关联于收集设备的位置的预选择区域相关联的传感器数据;粗过滤传感器数据以确定中间粗过滤的传感器数据,粗过滤至少基于至少一个规则数据库;安全地存储中间粗过滤的传感器数据;将中间粗过滤的传感器数据安全地发送到处理模块;用户接口,该用户接口被配置为从授权行为者接收至少一个规则;以及通信网关,该通信网关被配置为实现用户接口、处理模块和收集模块之间的安全通信。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,每个被配置为执行方法的动作。
实施方式可以包括以下特征中的一个或多个。其中收集模块被配置为在将经过粗过滤的传感器数据安全地发送到处理模块之后删除所有传感器数据的系统。安全通信可以包括加密通信。所描述的技术的实施方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
一个总体方面包括一种从由收集设备收集的传感器数据中识别期望信息的方法。该方法还包括:从处理设备安全地接收至少一个规则数据集;安全地接收和存储与关联于收集设备的位置预选择区域相关联的传感器数据。该方法还包括:过滤传感器数据以确定期望信息,该过滤至少基于至少一个规则数据库;安全地存储期望信息。该方法还包括将期望信息安全地发送到处理设备。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,每个被配置为执行方法的动作。
实施方式可以包括以下特征中的一个或多个。该方法可以包括:压缩期望信息。该方法可以包括:对期望信息进行加密。该方法可以包括:对期望信息进行编码。过滤可以包括:过滤传感器数据以确定人类主体,过滤至少基于至少一个规则数据库。过滤可以包括:过滤传感器数据以确定牌照,过滤至少基于至少一个规则数据库。所描述的技术的实施方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
一个总体方面包括一种用于从由收集设备收集的传感器数据中识别期望信息的系统。该系统还包括:安装在自主车辆上的至少一个传感器;以及在处理器上执行的收集模块,该收集模块被配置为安全地接收至少一个规则数据集,收集模块被配置成安全地接收和存储与关联于自主车辆的位置的预选择区域相关联的传感器数据,收集模块被配置为至少基于至少一个规则数据库来过滤传感器数据以确定期望信息,收集模块被配置为安全地存储期望信息,并且收集模块被配置为可靠地传输期望信息。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,每个被配置为执行方法的动作。
实施方式可以包括以下特征中的一个或多个。其中收集模块被配置为压缩期望信息的系统。收集模块被配置为对期望信息进行加密。收集模块被配置为对期望信息进行编码。期望信息可以包括:与人类主体相关联的数据。期望信息可以包括:与牌照相关联的数据。所描述的技术的实施方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
一个总体方面包括一种用于从由收集设备收集的传感器数据中识别期望信息的系统,处理模块包括处理模块计算机指令,用于:从授权行为者安全地接收至少一个规则;利用至少一个规则更新至少一个规则数据库;将至少一个规则数据库安全地发送到收集设备;从收集设备安全地接收中间粗过滤的数据,中间粗过滤的数据至少基于至少一个规则数据库进行粗过滤;安全地存储接收到的中间粗过滤的传感器数据;将精细过滤器应用于安全存储的中间粗过滤的传感器数据以确定期望信息,精细过滤器至少基于至少一个规则数据库;将期望信息安全地发送到授权行为者;以及安全地删除所有中间粗过滤的传感器数据;收集模块,其被配置为在收集设备上执行,收集模块包括收集模块计算机指令,其用于:从执行处理模块计算机指令的处理设备安全地接收至少一个规则数据集;安全地接收并存储与关联于收集设备的位置的预选择区域相关联的传感器数据;粗过滤传感器数据以确定中间粗过滤的传感器数据,粗过滤至少基于至少一个规则数据库;安全地存储中间粗过滤的传感器数据;将中间粗过滤的传感器数据安全地发送到处理模块;用户接口,该用户接口被配置为从授权行为者接收至少一个规则;以及通信网关,该通信网关被配置为实现用户接口、处理模块和收集模块之间的安全通信。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,每个被配置为执行方法的动作。
实施方式可以包括以下特征中的一个或多个。其中期望信息可以包括与人类主体相关的数据的系统。期望信息可以包括:与牌照相关联的数据。收集模块被配置为在将粗过滤的传感器数据安全地发送到处理模块之后删除所有传感器数据。安全通信可以包括加密通信。收集模块被配置为对期望信息进行编码。其中至少一个规则可以包括的方法。该方法包括至少部分地根据授权行为者的授权书生成的规则,授权行为者是执法机构。该方法进一步。该方法包括至少基于来自精细过滤器的结果来确定主体的身份。该方法进一步。该方法包括至少基于来自精细过滤器的结果来确定牌照号。该方法进一步。该方法包括在将期望信息安全地发送到授权行为者之后,安全地删除所有中间粗过滤的传感器数据。所描述的技术的实施方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
实施方式可以包括以下特征中的一个或多个。其中至少一个规则可以包括的该方法。该方法包括至少部分地根据来自授权行为者的授权书生成的规则,授权行为者是执法机构。该方法进一步。该方法包括至少基于来自精细过滤器的结果来确定主体的身份。该方法进一步。该方法包括至少基于来自精细过滤器的结果来确定牌照号。该方法进一步。该方法包括在将期望信息安全地发送到授权行为者之后,安全地删除所有中间粗过滤的传感器数据。所描述的技术的实施方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
在各个方面,一种系统可以使使用该系统的执法部门或相关当局能够向系统规定该系统应该搜索什么。该系统可以主动巡逻,并且在执法机构有权的程度内,执法机构可以告诉该系统寻找特定的东西,例如,特定的面部、声音、汽车型号、牌照等。该系统还可以被告知包括诸如位置和/或一天中的时间的项目。该系统还可以被配置为注意到在检测到的场景中不存在通常应该存在的项目。作为一个非限制性示例,该系统可以检测到停车场中少了一辆卡车,在该停车场应该停放五辆卡车,而只有四辆卡车停放。在一些配置中,系统的收集设备可以与自主车辆并置,或者容纳在自主车辆内、自主车辆上,或者由自主车辆执行。在下文中描述了合适的自主车辆的非限制性示例:在2019年6月7日提交的题为“Systemand Method for Distributed Utility Service Execution(分布式公用事业服务执行的系统和方法)”(代理人案卷号#AA001)的美国专利申请No.16/435007,其通过引用完全并入本文。收集模块可以对收集的数据执行相对粗粒度的过滤,并且可以仅发送期望数据,使得不发送不被期望的数据。收集模块可以被配置为在数据被收集时实时对数据进行下采样,使得例如在描绘同一个项目的一组所收集的图像中(并且相对于彼此几乎不添加有用的信息,使得例如每个图像与其最接近的邻居相差小于阈值百分比或绝对增量),仅发送这样收集的图像的一个或子集。此外,收集模块可以被配置为压缩要发送的数据以节省带宽。收集模块可以被配置为,在检测到与期望的主体或物品的匹配图像时,发送匹配图像周围的图像窗口,该窗口从在检测到匹配图像之前的时刻检测到的图像开始,到在检测到匹配图像之后的时刻检测出的图像结束。收集模块可以被配置为对要发送的所有数据进行加密。可以在收集模块已经向其发送数据的处理模块处执行细粒度过滤器。作为非限制性示例,处理模块可以位于云中。过滤处理的相对粗糙度和相对精细度可以根据系统优化的需要相对于彼此进行调整。附加地或替代地,可以至少部分地基于期望的物体的类型和/或基于与期望的物体相关联的隐私期望来调整在收集模块处执行的过滤的相对粗糙度。例如,某些类型的物体,例如特定的面部,可能比其他类型的物体(例如牌照)更难可靠地检测。例如,与其他类型的物体(例如,牌照)相比,某些类型的物体,例如,特定的面部,可能与加强的隐私期望相关联。
在至少一种布置中,处理模块可以创建规则集。授权机构可以向基于网络的应用进行认证,该应用使授权机构能够创建新的规则集。附加地或替代地,可信外部系统可以经由表示状态传输(REST)应用编程接口(API)来创建新的规则集。在至少一种布置中,规则集可以包括至少以下规则信息:(i)主体/规则标识符,其将规则和任何结果与机构或与机构的记录系统(例如,授权书号、案件号等)相关联;(ii)主体类型(例如,人员、车辆牌照等);(iii)比较的主体(例如,人物图像、牌照号);(iv)搜索生效日期/时间;(v)搜索到期日期/时间;以及(vi)搜索位置。基于网络的应用可以验证所提供的信息,并基于主体类型和比较主体输入来创建过滤对象。在一些方面中,人物过滤对象可以不包含主体的图像。收集模块可以检测任何/所有人,而不是特定的人,因此面部识别模块可以位于云中,使得主体图像不需要发送到收集模块。在一些方面中,牌照过滤对象可以包含字母数字字符串。在一些方面中,规则集中关于主体类型的信息可以是JavaScript对象表示法(JSON)对象的形式。
在至少一种布置中,处理模块可以将一个或多个规则集分配给一个或自主设备,例如机器人(或简称机器人(bot))。机器人可以包含数据收集模块。基于网络的应用可以选择位于当前机器人位置的数据库中指定的搜索位置内的活动机器人的列表。在一些方面中,系统可以使用256比特强度的AES加密算法来加密过滤包。附加地或替代地,基于网络的应用可以使用传输层安全性(TLS)1.2将过滤包发送到所选择的机器人。
在至少一种布置中,收集模块可以收集检测到的与规则集主体类型(例如,人、牌照号)匹配的物体的图像。在一些方面中,系统可以基于规则集粗过滤物体。例如,如果规则集定义感兴趣的物体具有牌照x,则系统可以仅过滤所有检测到的物体中的车辆(汽车、卡车、自行车等)。在一些方面中,该系统可以提供二维(2D)边界框跟踪机制,例如,广义并集交叉点(GIOU)跟踪,以从一个图像帧到下一图像帧跟踪人或车辆及其相应的边界框。在一些方面中,作为非限制性示例,该系统可以在人的边界框内裁剪图像的一些或所有部分。该系统可以向处理模块发送至少一个这样的裁剪图像,该裁剪图像属于人物或牌照号类型的每个检测和跟踪的物体。在一些方面中,系统可以在将裁剪图像数据发送到处理模块之前对裁剪图像数据进行编码和/或加密。
在至少一种布置中,处理模块可以接收并处理在规则集指定的位置和时间内检测和跟踪的主体的裁剪图像。在一些方面中,系统可以解密和/或解码由收集模块生成并提供给处理模块的裁剪图像。在数据有效的情况下,处理可以继续,即数据可以被解密和解码。无效数据,即无法被解密或解码的数据,可以被删除。在一些方面中,系统可以验证裁剪图像的时间戳和/或GPS位置是否在由搜索授权书指示的边界内,删除无效数据,并存储有效数据以供进一步处理。
在至少一种布置中,处理模块可以接收并处理在由规则集指定的位置和时间内检测和跟踪的牌照的裁剪图像。在一些方面中,系统可以解密和/或解码由收集模块生成并提供给处理模块的裁剪图像。该系统可以向神经网络算法提供至少一个解码的、裁剪的图像作为输入,该神经网络算法可以生成包含至少一个牌照的至少一个边界框作为输出。在一些方面中,该系统可以进一步从神经网络算法的每个输入中裁剪检测到的牌照以供进一步处理。在一些方面中,包含牌照的裁剪图像可以经过光学字符识别算法,以将牌照上的字母数字作为文本输出。在一些方面中,系统可以在生成的文本和过滤规则集中描述的牌照号之间执行文本匹配,以将文本分类为匹配或不匹配。
在至少一种布置中,处理模块可以接收并处理在由规则集指定的位置和时间内检测和跟踪的主体的裁剪图像。在一些方面中,系统可以解密和/或解码由收集模块生成并提供给处理模块的裁剪图像。该系统可以向神经网络算法提供至少一个解码的、裁剪的图像作为输入,该神经网络算法可以生成包含至少一个面部图像的至少一个边界框作为输出。在一些方面中,该系统可以进一步从神经网络算法的每个输入中裁剪检测到的面部图像以进行进一步处理。
在至少一种布置中,系统可以加密并存储包含匹配文本或匹配图像的每个裁剪图像。
在至少一种布置中,授权机构可以查看匹配主体或匹配事件的信息。处理模块可以向授权机构通知匹配的主体。在一些方面中,处理模块可以创建并存储加密包,该加密包包含与匹配主体相关联的GPS坐标和/或时间戳和/或图像和/或文本。该系统可以通过发送SMS消息和/或电子邮件消息来通知授权机构,该消息包含到基于网络的应用的URL链接。附加地或替代地,系统可以通过经由消息队列向可信第三方网络服务发送通知来通知授权。
在至少一种布置中,授权机构可以查看和/或下载和/或摄取匹配的主体数据。机构可以向基于网络的应用进行认证,并由此查看和/或下载匹配的主体数据。附加地或替代地,处理模块可以向受信任的第三方发送访问令牌以用于检索加密包。
在至少一种布置中,可以周期性地训练面部识别和/或文本识别模块,以便随着时间的推移保持阈值预测准确率。在一些方面中,预测置信度阈值最初可以被设置为相对较低的水平,从而生成更多的误报,并且随着模型变得更准确而随着时间的推移而提高,从而生成更少的总体匹配。
在至少一种布置中,用于过滤数据以例如用于确定是验证和保留数据还是使数据无效和丢弃数据的置信水平阈值可以被设置为85%。在一些方面中,任何不能被解密或解码的数据都可以被丢弃。在一些方面中,可以丢弃其源(作为非限制性示例,机器人)无法被认证的任何数据。在一些方面中,可以丢弃在例如授权范围之外的任何数据。
在至少一种布置中,安全措施可以在具有收集模块的机器人和机器人的远程控制器操作员之间保持。作为非限制性示例,远程控制操作员可能需要利用用户名和密码进行认证以访问远程控制台。在一些方面中,远程控制台可以包括可以发送连接请求的网络浏览器,该请求可以使用256比特强度的AES加密算法来加密,并且该请求可以使用传输层安全性(TLS)1.2来发送。在一些方面中,远程控制台和机器人身份可以在创建对等连接之前由连接代理进行认证。作为非限制性示例,远程控制台的网络浏览器可以通过WebRTC与机器人建立安全的对等连接。在一些方面中,来自远程控制台显示器的视频可以通过WebRTC流式传输到浏览器,并且可以不存储在网络浏览器中或远程控制台或远程控制台主机上。
本领域技术人员应理解,本主体公开中描述的方法可以被应用于被配置为实现此类方法的计算机系统,和/或包含用于实现此类方法的程序的计算机可读介质,和/或者应用于被设计为实现此类方法的软件和/或固件和/或硬件(例如,集成电路)。原始数据和/或结果可以被存储以供将来检索和处理、打印、显示、传递到另一计算机和/或传递到其他地方。通信链路可以是有线或无线的,包括,作为非限制性示例,以太网、蜂窝或宽带网络、WiFi或局域网、军事通信系统和/或卫星通信系统。例如,系统的各部分可以在具有可变数量的CPU的计算机上操作。能够使用其他可替代的计算机平台。
如本领域技术人员将理解的,本主体公开中描述的方法可以全部或部分以电子方式实现。表示由本主体公开的系统的元件和其他公开的配置采取的动作的信号可以在至少一个实时通信网络上传播。控制和数据信息可以被电子地执行并被存储在至少一个计算机可读介质上。该系统可以被实现为在至少一个实时通信网络中的至少一个计算机节点上执行。常见形式的计算机可读介质可以包括例如但不限于,软盘、软盘、硬盘、磁带或任何其他磁介质、光盘只读存储器或任何其他光学介质、穿孔卡片、纸带或任何其他具有孔图案的物理介质、随机存取存储器、可编程只读存储器、可擦除可编程只读存储器(EPROM)、闪存EPROM或任何其他存储器芯片或盒式存储器、或计算机能够读取的任何其他介质。
本领域技术人员将理解,可以使用各种不同的现有技术中的任何一种来表示信息和信号。例如,在整个描述中可以参考的数据、指令、命令、信息、信号、比特、符号或芯片可以由电压、电流、电磁波、磁场或粒子、光场或粒子、超声波、投影电容或其任何组合来表示。
本领域技术人员将进一步理解,结合本文中公开的布置描述的各种说明性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种互换性,已经根据其功能描述了各种说明性组件、块、模块、电路和步骤。这种功能是实现为硬件还是实现为软件取决于特定的应用和施加在整个系统上的设计约束。技术人员可以针对每一特定应用以不同方式实现所描述的功能,但此类实现决策不应被解释为导致偏离所附权利要求的范围。
结合本文中公开的布置描述的各种说明性逻辑块、模块和电路可以利用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、离散门或晶体管逻辑、分立硬件组件或其被设计为执行本文中描述的功能的任何组合来实现或执行。通用处理器可以是微处理器,但在替代方案中,处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如DSP和微处理器、多个微处理器、与DSP核心结合的一个或多个微处理器或者任何其他这样的配置的组合。
结合本文中公开的布置描述的方法或算法的动作可以直接体现在硬件、由处理器执行的软件模块或两者的组合中。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域已知的任何其他形式的存储介质中。存储介质可以被耦合到处理器,使得处理器能够从存储介质读取信息和向存储介质写入信息。在替代方案中,存储介质可以与处理器整合。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在功能设备中,诸如例如计算机、机器人、用户终端、移动电话或平板电脑、汽车或IP相机。在替代方案中,处理器和存储介质可以作为分立组件驻留在这样的功能设备中。
上述描述并非旨在是详尽的或将特征限制为所公开的精确形式。本领域技术人员能够在不脱离本公开的情况下设计各种替代方案和修改,并且在不脱离所附权利要求的精神或范围的情况下,本文中定义的一般原理可以被应用于其他方面。因此,本公开旨在包括所有这样的替代方案、修改和变化。附加地,尽管在附图中示出和/或在本文中讨论了本公开的若干布置,但并不旨在将本公开限于此,因为旨在将本发明的范围设为本领域会允许的范围,并且同样地阅读说明书。因此,上述描述不应被解释为限制,而仅被解释为特定配置的示例。本领域技术人员将设想在所附权利要求的范围和精神内的其他修改。与上述和/或所附权利要求中描述的那些基本上没有不同的其他元件、步骤、动作、方法和技术也旨在在本公开的范围内。因此,所附权利要求不旨在限制于本文中所示和描述的布置,而是应符合本文中公开的原理和新特征的最宽范围。
附图中所示的布置仅被呈现用于展示本公开的某些示例。并且,所描述的附图仅仅是说明性的并且是非限制性的。在附图中,为了说明的目的,一些元件的尺寸可以被夸大,而不是按特定比例绘制。附加地,取决于上下文,附图中所示的具有相同编号的元件可以是相同的元件,也可以是相似的元件。
在本说明书和权利要求中使用术语“包括”时,不排除其他元素或步骤。如果在提及单数名词(例如“一”、“一个”或“该”)时使用不定冠词或定冠词,则其包括该名词的复数,除非另有特别说明。因此,“包括”一词不应被解释为仅限于其后列出的项目;它不排除其他元素或步骤,并且因此表述“包括项目A和B的设备”的范围不应限于仅由组件A和B组成的设备。此外,在本说明书和权利要求中使用术语“包含”、“具有”、“拥有”等的范围内,这些术语旨在以类似于术语“包括”的方式具有包容性,如“包括”在用作权利要求中的过渡词时被解释的那样。
此外,无论在说明书中还是在权利要求书中使用,术语“第一”、“第二”、“第三”等都被提供以区分相似的元素,而不一定是为了描述顺序或时间次序。应当理解,如此使用的术语在适当的情况下是可互换的(除非另有明确公开),并且本文中描述的本公开的实施例能够以本文中描述或示出的其他序列和/或布置进行操作。
一个或多个计算机的系统能够被配置为通过在系统上安装软件、固件、硬件或它们的组合来执行特定的操作或动作,这些软件、固件、硬件或它们的组合在操作时使系统执行这些动作。一个或多个计算机程序能够被配置为通过包括指令来执行特定的操作或动作,该指令在由数据处理装置执行时使得所述装置执行动作。一个总体方面包括一种用于从由收集设备收集的传感器数据中识别期望信息的方法。该方法还包括:从授权行为者安全地接收至少一个规则;利用至少一个规则更新至少一个规则数据库;将至少一个规则数据库安全地发送到收集设备;从收集设备安全地接收传感器数据,传感器数据至少基于至少一个规则数据库被粗过滤;安全地存储接收到的粗过滤的传感器数据。该方法还包括将精细过滤器应用于安全存储的粗过滤的传感器数据以确定期望信息,该精细过滤器至少基于该至少一个规则数据库。该方法还包括将期望信息安全地发送到授权行为者。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,每个被配置为执行方法的动作。
实施方式可以包括以下特征中的一个或多个。该方法,其中,至少一个规则可以包括:至少部分根据来自授权行为者的授权书生成的规则,授权行为者是执法机构。该方法可以包括:至少基于来自精细过滤器的结果来确定主体的身份。该方法可以包括:至少基于来自精细过滤器的结果来确定牌照号。该方法可以包括:在将期望信息安全地发送给授权行为者之后,安全地删除所有中间粗过滤的传感器数据。所描述的技术的实施方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
一个总体方面包括一种从由收集设备收集的传感器数据中识别期望信息的方法。该方法还包括:从处理设备安全地接收至少一个规则数据集;安全地接收和存储与关联于收集设备的位置的预选择区域相关联的传感器数据。该方法还包括:过滤传感器数据以确定期望信息,该过滤至少基于至少一个规则数据库;安全地存储期望信息。该方法还包括将期望信息安全地发送到处理设备。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,每个被配置为执行方法的动作。
实施方式可以包括以下特征中的一个或多个。该方法可以包括:压缩期望信息。该方法可以包括:对期望信息进行加密。该方法可以包括:对期望信息进行编码。过滤可以包括:过滤传感器数据以确定人类主体,过滤至少基于至少一个规则数据库。过滤可以包括:过滤传感器数据以确定牌照,过滤至少基于至少一个规则数据库。所描述的技术的实现可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
一个总体方面包括一种用于从由收集设备收集的传感器数据中识别期望信息的系统。该系统还包括:安装在自主车辆上的至少一个传感器;以及在处理器上执行的收集模块,该收集模块被配置为安全地接收至少一个规则数据集,该收集模块被配置成安全地接收和存储与关联于自主车辆的位置的预选择区域相关联的传感器数据,收集模块被配置为至少基于至少一个规则数据库来过滤传感器数据以确定期望信息,收集模块被配置为安全地存储期望信息,并且收集模块被配置为安全地发送期望信息。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,每个被配置为执行方法的动作。
实施方式可以包括以下特征中的一个或多个。其中收集模块被配置为压缩期望信息的系统。收集模块被配置为对期望信息进行加密。收集模块被配置为对期望信息进行编码。期望信息可以包括:与人类主体相关的数据。期望信息可以包括:与牌照相关联的数据。所描述的技术的实施方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
一个总体方面包括一种用于从由收集设备收集的传感器数据中识别期望信息的系统,处理模块包括处理模块计算机指令,其用于:安全地接收来自授权行为者的至少一个规则;利用至少一个规则更新至少一个规则数据库;将至少一个规则数据库安全地发送到收集设备;从收集设备安全地接收中间粗过滤的数据,该中间粗过滤的数据至少基于至少一个规则数据库进行粗过滤;安全地存储接收到的中间粗过滤的传感器数据;将精细过滤器应用于安全存储的中间粗过滤的传感器数据以确定期望信息,精细过滤器至少基于至少一个规则数据库;将期望信息安全地发送到授权行为者;以及安全地删除所有中间粗过滤的传感器数据;收集模块,其被配置为在收集设备上执行,该收集模块包括收集模块计算机指令,其用于:从执行处理模块计算机指令的处理设备安全地接收至少一个规则数据集;安全地接收并存储与关联于收集设备的位置的预选择区域相关联的传感器数据;粗过滤传感器数据以确定中间粗过滤的传感器数据,粗过滤至少基于至少一个规则数据库;安全地存储中间粗过滤的传感器数据;将中间粗过滤的传感器数据安全地发送到处理模块;用户接口,该用户接口被配置为从授权行为者接收至少一个规则;以及通信网关,该通信网关被配置为实现用户接口、处理模块和收集模块之间的安全通信。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序,每个被配置为执行方法的动作。
实施方式可以包括以下特征中的一个或多个。系统,其中收集模块被配置为在将粗过滤的传感器数据安全地发送到处理模块之后删除所有传感器数据。所描述的技术的实施方式可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。

Claims (114)

1.一种用于从由收集设备收集的传感器数据中识别期望信息的方法,所述方法包括:
从授权行为者安全地接收至少一个规则;
基于所述至少一个规则来确定至少一个第一过滤器;
利用所述至少一个规则更新至少一个规则数据库;
将所述至少一个第一过滤器安全地发送到所述收集设备;
从所述收集设备安全地接收所述传感器数据,所述传感器数据由所述至少一个第一过滤器过滤;
通过将至少一个第二过滤器应用于经过滤的传感器数据来确定所述期望信息,所述至少一个所述第二过滤器至少基于所述至少一个规则数据库;以及
对所述期望信息进行加密并将其发送到所述授权行为者。
2.根据权利要求1所述的方法,进一步包括:
就地加密并存储接收到的第一过滤传感器数据。
3.根据权利要求1所述的方法,其中,所述至少一个第一过滤器包括:
至少一个感兴趣的特征。
4.根据权利要求3所述的方法,其中,所述至少一个感兴趣的特征包括:
主体的高度。
5.根据权利要求3所述的方法,其中,所述至少一个感兴趣的特征包括:
车辆的型号。
6.根据权利要求3所述的方法,其中,所述至少一个感兴趣的特征包括:
车辆的颜色。
7.根据权利要求1所述的方法,其中,所述授权行为者包括:
执法机构。
8.根据权利要求1所述的方法,其中,所述至少一个规则包括:
至少部分地根据来自所述授权行为者的授权书生成的规则。
9.根据权利要求1所述的方法,其中,所述期望信息包括:
主体的身份。
10.根据权利要求1所述的方法,其中,所述期望信息包括:
牌照号。
11.根据权利要求1所述的方法,进一步包括:
在将所述期望信息安全地发送到所述授权行为者之后,安全地删除所有所述第一过滤传感器数据。
12.一种用于从由收集设备收集的传感器数据中识别期望信息的方法,所述方法包括:
从处理设备安全地接收至少一个规则数据集;
安全地接收和存储与关联于所述收集设备的位置的预选择区域相关联的所述传感器数据;
过滤所述传感器数据以确定所述期望信息,所述过滤至少基于所述至少一个规则数据集;
安全地存储所述期望信息;以及
将所述期望信息安全地发送到所述处理设备。
13.根据权利要求12所述的方法,进一步包括:
压缩所述期望信息。
14.根据权利要求12所述的方法,进一步包括:
对所述期望信息进行加密。
15.根据权利要求12所述的方法,进一步包括:
对所述期望信息进行编码。
16.根据权利要求12所述的方法,其中,所述过滤包括:
过滤所述传感器数据以确定人类主体,所述过滤至少基于所述至少一个规则数据集。
17.根据权利要求12所述的方法,其中,所述过滤包括:
过滤所述传感器数据以确定牌照号,所述过滤至少基于所述至少一个规则数据集。
18.一种用于从由至少一个传感器收集的传感器数据中识别期望信息的系统,所述至少一个传感器与收集设备相关联,所述系统在处理器上执行,所述处理器位于自主车辆中,所述系统包括:
在所述处理器上执行的收集模块,所述收集模块被配置为安全地接收至少一个规则数据集,所述收集模块被配置成安全地接收和存储与关联于所述自主车辆的位置的预选择区域相关联的所述传感器数据,所述收集模块被配置为至少基于所述至少一个规则数据集来过滤所述传感器数据以确定所述期望信息,所述收集模块被配置为安全地存储所述期望信息,以及所述收集模组被配置为安全地发送所述期望消息。
19.根据权利要求18所述的系统,其中,所述收集模块被配置为压缩所述期望信息。
20.根据权利要求18所述的系统,其中,所述收集模块被配置为对所述期望信息进行加密。
21.根据权利要求20所述的系统,其中,所述收集模块被配置为对所述期望信息进行编码。
22.根据权利要求18所述的系统,其中,所述期望信息包括:
与人类主体相关联的数据。
23.根据权利要求18所述的系统,其中,所述期望信息包括:
与牌照相关联的数据。
24.一种用于从由收集设备收集的传感器数据中识别期望信息的系统,所述系统包括:
处理模块,所述处理模块包括处理模块计算机指令,所述指令用于:
从授权行为者安全地接收至少一个规则;
利用所述至少一个规则更新至少一个规则数据库;
将所述至少一个规则数据库安全地发送到所述收集设备;
从所述收集设备安全地接收中间粗过滤的数据,所述中间粗过滤的数据至少基于所述至少一个规则数据库被粗过滤;
安全地存储接收到的中间粗过滤的传感器数据;
将精细过滤器应用于安全地存储的中间粗过滤的传感器数据以确定所述期望信息,所述精细过滤器至少基于所述至少一个规则数据库;
将所述期望信息安全地发送到所述授权行为者;以及
安全地删除所有所述中间粗过滤的传感器数据;
收集模块,所述收集模块被配置为在所述收集设备上执行,所述收集模块包括收集模块计算机指令,所述指令用于:
从执行所述处理模块计算机指令的处理设备安全地接收所述至少一个规则数据库;
安全地接收和存储与关联于所述收集设备的位置相关联的预选择区域相关联的所述传感器数据;
粗过滤所述传感器数据以确定所述中间粗过滤的传感器数据,所述粗过滤至少基于所述至少一个规则数据库;
安全地存储所述中间粗过滤的传感器数据;
将所述中间粗过滤的传感器数据安全地发送到所述处理模块;
用户接口,所述用户接口被配置为从所述授权行为者接收所述至少一个规则;以及
通信网关,所述通信网关被配置为实现所述用户接口、所述处理模块和所述收集模块之间的安全通信。
25.根据权利要求24所述的系统,其中,所述收集模块被配置为在将所述粗过滤的传感器数据安全地发送到所述处理模块之后删除所述传感器数据。
26.根据权利要求24所述的系统,其中,所述安全通信包括加密通信。
27.一种用于从由收集设备收集的传感器数据中识别和处理期望信息的方法,所述方法包括:
收集所述传感器数据;
从授权实体接收过滤规则集;
基于所述过滤规则集和所述授权实体的有效性检查,过滤所述传感器数据以从所述期望信息中分类不需要的信息;
删除所述不需要的信息;
对所述期望信息进行加密;
基于所述期望信息来选择操作模式;以及
基于所述操作模式来处理所述期望信息。
28.根据权利要求27所述的方法,其中,所述收集设备包括自主车辆。
29.根据权利要求27所述的方法,进一步包括:
就地加密所述期望信息。
30.根据权利要求27所述的方法,其中,所述处理包括:
在处理设备中执行处理指令。
31.根据权利要求30所述的方法,进一步包括:
通过电子通信设备耦合所述处理设备和所述收集设备。
32.根据权利要求30所述的方法,其中,所述处理设备和所述收集设备在物理上是分开的。
33.根据权利要求30所述的方法,其中,所述处理设备和所述收集设备物理上位于同一位置。
34.根据权利要求30所述的方法,进一步包括:
配置由所述处理设备和所述收集设备共享的处理器。
35.根据权利要求30所述的方法,进一步包括:
配置由所述处理设备和所述收集设备共享的多个处理器。
36.根据权利要求27所述的方法,其中,所述过滤包括:
多遍。
37.根据权利要求36所述的方法,其中,所述多遍包括:
第一遍数据过滤器和第二遍数据过滤器。
38.根据权利要求37所述的方法,其中,所述第一遍数据过滤器包括:
相对于所述第二遍数据过滤器的粗过滤器。
39.根据权利要求37所述的方法,进一步包括:
动态地确定包括在所述多遍中的标准。
40.根据权利要求37所述的方法,进一步包括:
建立包括在所述多个通过中的默认标准。
41.根据权利要求37所述的方法,进一步包括:
从用户接收包括在所述多遍中的标准。
42.根据权利要求37所述的方法,进一步包括:
从用户接收所述操作模式。
43.根据权利要求37所述的方法,进一步包括:
将所述操作模式确定为预选择默认值。
44.根据权利要求27所述的方法,其中,所述操作模式包括:
一般模式。
45.根据权利要求44所述的方法,其中,所述一般模式包括:
确定感兴趣的时间段;以及
调用在所述时间段期间收集的所述期望信息。
46.根据权利要求44所述的方法,其中,所述一般模式包括:
收集LIDAR数据、摄像头数据、音频数据和化学数据。
47.根据权利要求44所述的方法,其中,所述一般模式包括:
根据预选择标准过滤所述传感器数据。
48.根据权利要求47所述的方法,其中,所述预选择标准包括:
模糊度、信噪比、数据质量、时间过滤和特定对象的检测。
49.根据权利要求44所述的方法,其中,所述一般模式包括:
根据预选择处理配方过滤所述传感器数据。
50.根据权利要求44所述的方法,其中,所述一般模式包括:
基于背景减法将预期数据与所述期望信息分离;
如果存在至少一个异常,基于所述预期数据检测所述至少一个异常;以及
发出所述至少一个异常已经发生的警报。
51.根据权利要求50所述的方法,其中,所述警报包括:
向用户提供所述至少一个异常。
52.根据权利要求27所述的方法,其中,所述操作模式包括:
主体模式。
53.根据权利要求52所述的方法,其中,所述主体模式包括:
将图像识别应用于所述期望信息。
54.根据权利要求52所述的方法,其中,所述主体模式包括:
将机器学习模型应用于所述期望信息。
55.根据权利要求52所述的方法,其中,所述主体模式包括:
将检测模型应用于所述期望信息,所述检测模型被训练为检测预选择信息。
56.根据权利要求55所述的方法,其中,所述预选择信息包括:
人的图像。
57.根据权利要求55所述的方法,其中,所述预选择信息包括:
车辆的图像。
58.根据权利要求55所述的方法,其中,所述预选择信息包括:
牌照的图像。
59.根据权利要求55所述的方法,其中,所述检测模型包括:
机器学习模型。
60.根据权利要求59所述的方法,其中,所述机器学习模型包括:
聚类、降维、集成方法、神经网络、深度学习、转移学习、强化学习、自然语言处理和单词嵌入中的任一种或多种。
61.根据权利要求37所述的方法,其中,所述第一遍数据过滤器包括:
基于所述操作模式从所述传感器数据识别对象的边界框;
选择与操作模式相关联的机器学习模型;
将所述机器学习模型应用于所述边界框中的边界框数据以定位可能的匹配;
删除不是所述可能的匹配的所述边界框数据;以及
使得所述可能的匹配被提供给预选择电子设备。
62.根据权利要求52所述的方法,其中,所述主体模式包括:
确定感兴趣的时间段;以及
调用在所述时间段期间收集的所述期望信息。
63.根据权利要求27所述的方法,其中,所述操作模式包括:
场景模式。
64.一种用于从由至少一个传感器收集的传感器数据中识别期望信息的系统,所述至少一个传感器与收集设备相关联,所述系统包括:
收集处理器,所述收集处理器被配置为从所述收集设备接收所述传感器数据,所述收集处理器被配置成加密接收到的传感器数据,所述收集处理器被配置成过滤所述传感器数据,所述收集处理器删除被过滤掉的所述传感器信息,所述收集处理器保留指示与关联于过滤规则集的触发列表信息的可能匹配的所述传感器数据,所述过滤规则集是从授权实体接收的,所述收集处理器被配置为搜索所述触发列表信息与所述过滤传感器数据之间的匹配,所述收集处理器被配置为将所述传感器数据保持在安全状态,所述收集处理器被配置为执行特征提取以及与所述触发列表信息的匹配。
65.根据权利要求64所述的系统,其中,所述收集处理器被配置为被安装在自主车辆、电线杆和/或无人机、和/或人和/或动物上。
66.根据权利要求64所述的系统,其中,所述收集处理器被配置为执行存储在与所述收集处理器相关联的存储器中的编码指令。
67.根据权利要求64所述的系统,其中,所述收集处理器被配置为执行存储在与所述收集处理器耦合的存储器中的编码指令。
68.根据权利要求64所述的系统,其中,所述可能匹配包括:
等于或高于预定义阈值概率的匹配的概率。
69.根据权利要求64所述的系统,其中,所述触发列表信息包括:
由执法人员建立的规则。
70.根据权利要求64所述的系统,其中,所述触发列表信息包括:
完整规则集的子集。
71.根据权利要求64所述的系统,其中,所述触发列表信息包括:
期望个人的面部数据。
72.根据权利要求64所述的系统,其中,所述收集处理器执行指令包括:
如果所述触发列表信息包括对象,则执行对象检测。
73.根据权利要求64所述的系统,其中,所述传感器数据包括:
LIDAR、雷达、超声波、光学、音频、化学、红外、磁、近场波形、电磁、射频波形、点云、位图、字母数字、视频、检测到的面部和检测到的物体。
74.根据权利要求64所述的系统,其中,所述安全状态包括:
加密的数据,所述传感器数据随着所述传感器数据被接收而被加密。
75.根据权利要求64所述的系统,其中,所述安全状态包括:
数字签名数据,所述传感器数据在所述传感器数据被发送之前开始数字签名。
76.根据权利要求64所述的系统,其中,所述安全状态包括:
与所述传感器数据相关联的元数据,所述元数据包括与所述传感器数据相关联的时间戳。
77.根据权利要求64所述的系统,其中,所述安全状态包括:
与所述传感器数据相关联的元数据,所述元数据包括与所述传感器数据相关联的位置。
78.根据权利要求64所述的系统,其中,所述收集处理器被配置为执行指令,所述指令包括:
压缩所述传感器数据。
79.根据权利要求64所述的系统,其中,所述安全状态包括:
与所述传感器数据相关联的校验和。
80.根据权利要求64所述的系统,其中,所述收集处理器被配置为在自主车辆上执行。
81.根据权利要求64所述的系统,其中,所述收集处理器被配置为在对象检测期间执行对象的时间过滤。
82.根据权利要求64所述的系统,进一步包括:
远程处理器,所述远程处理器在远离所述收集处理器的处理站处执行。
83.根据权利要求82所述的系统,其中,所述收集处理器执行第一过滤器,并且所述远程处理器执行第二过滤器。
84.根据权利要求83所述的系统,其中,所述第一过滤器包括:
相对于所述第二过滤器的粗过滤器。
85.根据权利要求64所述的系统,进一步包括:
处理模块,所述处理模块被配置为接收和处理过滤器和/或所述触发列表信息,所述过滤器和所述触发列表信息被配置为对所述传感器数据进行分类,所述处理模块被配置为接收与所述触发列表信息相关联的授权,所述授权被配置为允许所述收集处理器和所述处理模块搜索所述触发列表信息。
86.根据权利要求64所述的系统,其中,所述触发列表信息包括:
物体、图像、气味、声音、场景和/或其他感官数据。
87.根据权利要求85所述的系统,其中,所述处理模块被配置为接收与一个或多个感兴趣的场景相关联的识别信息。
88.根据权利要求85所述的系统,其中,所述处理模块被配置为接收与一个或多个感兴趣的声音的持续时间相关联的识别信息。
89.根据权利要求85所述的系统,其中,所述处理模块被配置为接收与一个或多个通知相关联的识别信息。
90.根据权利要求89所述的系统,其中,所述一个或多个通知包括:
来自所述收集设备的通信。
91.根据权利要求89所述的系统,其中,所述一个或多个通知包括:
来自用户的通信。
92.根据权利要求89所述的系统,其中,所述一个或多个通知包括:
自动消息。
93.根据权利要求89所述的系统,其中,所述一个或多个通知包括:
接收到的传感器数据与感兴趣的场景或主体之间的匹配或可能的匹配。
94.根据权利要求85所述的系统,其中,所述处理模块被配置为接收并执行从自最终用户应用接收的输入提供的指令,所述最终用户应用请求所述过滤规则集由所述处理模块应用于所述传感器数据。
95.根据权利要求85所述的系统,其中,所述处理模块包括:
管理器程序,所述管理被配置为维护数据隐私、数据安全、监管链控制和/或审计跟踪中的一个或多个。
96.根据权利要求95所述的系统,其中,所述管理器程序包括:
基于云的管理器。
97.根据权利要求95所述的系统,其中,所述管理器程序被配置为处理以多种格式编码的过滤规则集。
98.根据权利要求95所述的系统,其中,所述管理器程序包括:
指令,所述指令被配置为实现提供用于由用户设置的隐私、监管链和/或审计规则的应用编程接口。
99.根据权利要求98所述的系统,其中,所述用户包括:
警察、政府当局、国家安全机构以及有特殊隐私需求的商业客户。
100.根据权利要求85所述的系统,进一步包括:
网关,所述网关被配置为建立网络服务以实现在所述处理模块和所述收集处理器之间的通信,使用所述网络服务在所述收集处理程序和所述网关之间交换数据。
101.根据权利要求85所述的系统,其中,所述处理模块被配置为使用与从所述收集处理器接收到的加密数据相关联的加密密钥来解密从所述收集处理器接收到的信息。
102.根据权利要求85所述的系统,其中,所述处理模块被配置为对已被解密的接收到的信息进行重新加密。
103.根据权利要求85所述的系统,其中,所述处理模块被配置为验证和跟踪与接收到的数据相关联的监管链和/或数字签名。
104.根据权利要求85所述的系统,其中,所述处理模块被配置为实现对所述处理模组发送的一些或所有传出数据的数字签名。
105.根据权利要求85所述的系统,其中,所述处理模块被配置为接收所述过滤规则集,并且至少基于所述过滤规则集来准备所述过滤规则集的子集并将其发送到所述收集处理器。
106.根据权利要求85所述的系统,其中,所述处理模块被配置为将第二过滤器应用于从所述收集处理器接收到的经过滤的数据,并且将所述过滤规则集应用于经过滤的数据。
107.根据权利要求85所述的系统,其中,所述处理模块被配置为向授权个人和/或电子设备发送至少包括所述匹配数据和匹配通知的过滤结果。
108.根据权利要求85所述的系统,其中,所述处理模块包括:
至少一个提取算法,所述提取算法被配置为解密和/或解码由所述收集处理器收集和过滤的传感器数据;以及
至少一个识别算法,所述至少一个识别算法被配置为对解密/解码的传感器数据进行进一步处理,诸如例如但不限于光学字符识别算法。
109.根据权利要求108所述的系统,其中,所述提取算法包括:
至少一个神经网络算法,所述至少一个神经网络算法被配置为接收解码的传感器数据并生成包含解码的传感器数据的边界框。
110.根据权利要求109所述的系统,其中,所述提取算法被配置为处理由所述至少一个神经网络算法提供的解码的传感器数据。
111.根据权利要求108所述的系统,其中,所述识别算法被配置为对所处理的解码数据进行过滤。
112.根据权利要求108所述的系统,其中,所述识别算法被配置为在从解码的数据生成的文本与来自所述过滤规则集的值之间进行文本匹配。
113.根据权利要求108所述的系统,其中,所述识别算法被配置为存储来自所述进一步处理的结果,所述存储是安全的。
114.根据权利要求85所述的系统,其中,所述处理模块被配置为基于所述触发列表信息加密存储区域,使得所述存储区域中的存储的信息能够由授权用户访问。
CN202280047228.9A 2021-07-01 2022-06-29 监视数据过滤技术 Pending CN117642783A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163202954P 2021-07-01 2021-07-01
US63/202,954 2021-07-01
PCT/US2022/073247 WO2023279017A1 (en) 2021-07-01 2022-06-29 Surveillance data filtration techniques

Publications (1)

Publication Number Publication Date
CN117642783A true CN117642783A (zh) 2024-03-01

Family

ID=82748237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280047228.9A Pending CN117642783A (zh) 2021-07-01 2022-06-29 监视数据过滤技术

Country Status (6)

Country Link
US (1) US20230004666A1 (zh)
EP (1) EP4364123A1 (zh)
CN (1) CN117642783A (zh)
CA (1) CA3224299A1 (zh)
GB (1) GB2624329A (zh)
WO (1) WO2023279017A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11770377B1 (en) * 2020-06-29 2023-09-26 Cyral Inc. Non-in line data monitoring and security services
CN115776410B (zh) * 2023-01-29 2023-05-02 深圳汉德霍尔科技有限公司 用于终端身份认证的人脸数据加密传输方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10370102B2 (en) * 2016-05-09 2019-08-06 Coban Technologies, Inc. Systems, apparatuses and methods for unmanned aerial vehicle

Also Published As

Publication number Publication date
GB202401219D0 (en) 2024-03-13
GB2624329A (en) 2024-05-15
WO2023279017A1 (en) 2023-01-05
EP4364123A1 (en) 2024-05-08
CA3224299A1 (en) 2023-01-05
US20230004666A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
Yan Introduction to intelligent surveillance: surveillance data capture, transmission, and analytics
US11995213B2 (en) Event-based community creation for data sharing platform
US11010614B2 (en) Total property intelligence system
US20230004666A1 (en) Surveillance data filtration techniques
Gipp et al. Securing video integrity using decentralized trusted timestamping on the bitcoin blockchain
US20170373859A1 (en) Cryptographic Signature System and Related Systems and Methods
US20140063237A1 (en) System and method for anonymous object identifier generation and usage for tracking
US11082731B1 (en) Privacy-preserving video analytics
US9152706B1 (en) Anonymous identification tokens
Yu et al. Pinto: enabling video privacy for commodity iot cameras
AU2015204276B2 (en) An image management system
Ferenbok et al. Hidden Changes: From CCTV to ‘smart'video surveillance
US11710319B2 (en) Secure edge platform using image classification machine learning models
US10643271B1 (en) Retrofitting legacy surveillance systems for traffic profiling and monetization
KR101897987B1 (ko) 전자파일의 전자지문 관리방법, 관리장치 및 관리시스템
CN113962577A (zh) 一种多体系智慧园区平台
JP2017046193A (ja) プライバシ保護を可能とするカメラシステム
US20230155987A1 (en) Blockchain network system
CN110059630B (zh) 隐私保护的可验证外包监控视频行人再识别方法
Eze et al. Systematic Review on the Recent Trends of Cybersecurity in Automobile Industry
Olaosebikan et al. Security & Privacy Comparison of NextCloud vs Dropbox: A Survey
Syed et al. LSB‐XOR technique for securing captured images from disaster by UAVs in B5G networks
Prabu Shankar et al. Golden hour emergency communication link using Internet of things (IOT), ZigBee and global system for mobile communications (GSM)
Basargan et al. Evaluation of Intelligent Transportation System in Security Consideration
Singh Q-Learning Based Emergency Event Detection in Secure Internet of Things

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination