CN112997211B - 数据分发系统、传感器装置和服务器 - Google Patents

数据分发系统、传感器装置和服务器 Download PDF

Info

Publication number
CN112997211B
CN112997211B CN201980072258.3A CN201980072258A CN112997211B CN 112997211 B CN112997211 B CN 112997211B CN 201980072258 A CN201980072258 A CN 201980072258A CN 112997211 B CN112997211 B CN 112997211B
Authority
CN
China
Prior art keywords
data
distribution
information
sensor device
distribution request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980072258.3A
Other languages
English (en)
Other versions
CN112997211A (zh
Inventor
下村宗弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to CN202410262171.5A priority Critical patent/CN118153709A/zh
Publication of CN112997211A publication Critical patent/CN112997211A/zh
Application granted granted Critical
Publication of CN112997211B publication Critical patent/CN112997211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供了一种数据分发系统1，包括用于获取感测数据的一个或多个传感器装置10以及用于从一个或多个请求源接收分发请求的服务器20，该一个或多个请求源请求分发可以从感测数据生成的规定数据。

Description

数据分发系统、传感器装置和服务器
技术领域
本公开涉及数据分发系统、传感器装置和服务器。
背景技术
近年来，在城镇各处安装了安全相机，并且行驶的车辆也配备了能够捕捉周围环境的图像的车载相机，由此可以容易地获取在各个地方捕捉的图像。
发明内容
技术问题
遗憾的是，这些相机获取的图像(感测数据)被认为是安装了相机(传感器装置)的用户私人使用的，并且在安全保护方面以及由于接口缺乏通用性而不容易被其他用户获得。
然后，本公开提出了数据分发系统、传感器装置和服务器，用于构建使各种用户能够容易地使用从由各种传感器装置获取的感测数据获得的信息的框架。
问题的解决方案
根据本公开，一种数据分发系统包括：一个或多个传感器装置，被配置为获取感测数据；以及服务器，被配置为接受来自一个或多个请求程序的分发请求，请求程序请求分发能够从感测数据生成的预定数据。传感器装置包括：传感器单元，被配置为获取感测数据；模型获取器，被配置为从服务器获取对应于分发请求的识别模型；识别器，被配置为基于识别模型识别所获取的感测数据是否适用于分发请求；数据生成器，被配置为当感测数据适用于分发请求时，对感测数据执行对应于分发请求的处理，并生成预定数据；以及传感器装置侧分发器，被配置为分发预定数据。服务器包括：请求接受器，被配置为接受来自一个或多个请求程序的分发请求；模型生成器，被配置为生成对应于分发请求的识别模型；以及模型发送器，被配置为将生成的识别模型传输到传感器装置。
此外，根据本公开，一种传感器装置包括：传感器单元，被配置为获取感测数据；模型获取器，被配置为从接受来自一个或多个请求程序的分发请求的服务器获取对应于分发请求的识别模型，请求程序请求分发能够从感测数据生成的预定数据；识别器，被配置为基于识别模型来识别所获取的感测数据是否适用于分发请求；数据生成器，被配置为当感测数据适用于分发请求时，对感测数据执行对应于分发请求的处理并生成预定数据；以及传感器装置侧分发器，被配置为分发预定数据。
此外，根据本公开，一种服务器包括：请求接受器，被配置为接受来自请求分发预定数据的请求程序的分发请求；模型生成器，被配置为生成识别模型，用于在传感器装置中识别由传感器装置获取的感测数据是否适用于分发请求；以及模型发送器，被配置为将生成的识别模型传输到传感器装置。
附图说明
[图1]是示出根据本公开实施例的数据分发系统1的总体功能配置的系统图；
[图2]是示出根据实施例的传感器装置10的功能配置实例的框图；
[图3]是示出根据实施例的服务服务器20的功能配置实例的框图；
[图4]是示出根据实施例的聚合服务器50的功能配置实例的框图；
[图5]是示出根据实施例的识别模型610的生成实例的示图；
[图6]是示出根据实施例的分发数据的实例的示图；
[图7]是示出根据实施例的预处理的实例的示图；
[图8]是示出根据实施例的信息处理方法的实例的序列图；
[图9]是示出根据实施例的修改的信息处理方法的实例的序列图；
[图10]是示出根据实施例的修改的数据分发系统1a的总体功能配置的系统图；
[图11]是示出根据实施例的修改的识别器的实例的示图；
[图12]是示出该实施例的使用实例的示图；
[图13]是示出实现服务服务器20的功能的计算机的实例的硬件配置图；
[图14]是示出车辆控制系统的示意性配置的实例的框图；
[图15]是示出车外信息检测部和成像部的安装位置的实例的示图。
具体实施方式
下面将参考附图详细描述本公开的优选实施例。在本说明书和附图中，具有基本相同功能配置的组成元件由相同的附图标记表示，并且省略其重叠描述。在本说明书和附图中，具有基本相同或相似的功能配置的多个组成元件可以由相同的附图标记后跟不同的数字来表示，以便它们彼此区分。然而，当具有基本相同或相似功能配置的组成元件不需要彼此区分时，它们仅由相同的附图标记表示。在本说明书和附图中，不同实施例中相似的组成元件可以由相同的附图标记后跟不同的字母来表示，以便它们彼此区分。然而，当相似的组成元件不需要彼此区分时，它们仅由相同的附图标记表示。
按以下顺序给出描述。
1.导致创建本实施例的背景
2.实施例
2.1数据分发系统1的总体配置
2.2传感器装置10的详细配置
2.3服务服务器20的详细配置
2.4聚合服务器50的详细配置
2.5根据本实施例的识别
2.6信息处理方法
2.7修改
3.示例
4.总结
5.硬件配置
6.应用于移动体
7.补充说明
<<1.导致创建本实施例的背景>>
首先，在描述由本发明的发明人创建的本公开的实施例之前，将描述导致发明人创建本公开的实施例的背景。
如前所述，近年来，在城镇各处安装了安全相机，并且行驶的车辆也配备了能够捕捉周围环境的图像的车载相机，由此可以容易地获取在各个地方捕捉的图像。
遗憾的是，这些相机获取的图像被认为是安装了相机的用户私人使用的，并且在安全保护方面以及由于接口缺乏通用性而不容易被其他用户获得。即使这些相机获取的图像包含对其他用户有价值的信息，安装了相机的用户也不知道这些其他用户的需求，并且不考虑利用相机的图像。因此，作为有限资源的图像远未得到有效利用。
本发明的发明人已经考虑构建一种框架，该框架使得各种用户能够容易地使用由这些相机获取的图像。近年来，随着诸如第五代移动网络的通信技术的进步，可以高速传输大容量数据，以便于这些相机、管理服务器和用户使用的用户终端的联网。
本发明的发明人认为，为了构建上述框架并利用该框架，该框架需要满足以下条件。第一个条件是为不同规格的相机和不同规格的用户终端提供框架通用的接口，以便这些相机获取的图像可以在用户装置侧使用。第二个条件是构建一个保护隐私的安全环境，因为图像可能包含与每个人的隐私相关的信息。第三个条件是将从相机获取的图像中获得的信息实时传输给用户。第四个条件是减少数据传输的负载，并以分发式方式执行数据处理等，以减少每个装置上的处理负载。
为了满足上述第三个条件和第四个条件，上述框架使用了人工智能(AI)。AI甚至可以在小型计算装置中实现，例如，这是因为计算装置本身的更高性能和多个计算装置的分发式处理，并且甚至可以在位于网络末端的相机中使用。在下文中，配备有这种AI功能的相机被称为AI相机。具体地，在上述框架中，AI相机瞬时识别自身获取的图像是否包含用户请求的信息，并且仅当其包含时，将从图像获得的信息传送给适用的用户。因此，利用AI相机，可以将从图像获得的信息实时传送给用户，此外，与传送图像时相比，无论是否包含用户请求的信息，都可以减少数据传送的负荷。
即，在下面提出的根据本公开的实施例中，具有AI功能的AI相机用于构建框架。此外，在本实施例中，为了改善和加速AI相机中的识别，根据AI相机的能力动态地改变识别中使用的识别模型。此外，在本实施例中，通过在执行预处理之后执行识别，使得由AI相机获取的图像具有根据识别模型的形式，或者通过分发识别过程，可以提高识别的精度并加速识别。
在本实施例中，涉及数据传输等的接口被通用化，使得不同规格的相机和不同规格的用户终端可以在上述框架中使用。在本实施例中，针对图像或从图像获得的信息，在相机侧执行保护隐私的处理，由此可以在框架中确保对个人隐私的保护。在本实施例中，认证服务器包含到框架中，以对框架中的相机、管理服务器和用户终端执行认证，并确保框架中的安全性。
如上所述，下面描述的本公开提出了用于构建框架的实施例，该框架使得各种用户能够容易地使用从由各种相机获取的图像获得的信息。
在本实施例中，允许用户基于所提供的信息向提供图像的相机的管理员支付费用的机制也可以包含到框架中。以这种方式，在本实施例中，即使图像的提供者也可以基于信息量和所使用的信息的价值来获得考虑，从而增加相机管理员为框架提供图像的动机。
下面将按顺序描述根据本公开的实施例的细节。
<<2.实施例>>
<2.1数据分发系统的总体配置1>
首先，参考图1，将描述根据本公开实施例的数据分发系统1的配置实例。图1是示出根据本公开实施例的数据分发系统1的总体功能配置的系统图。
具体地，如图1所示，根据本实施例的数据分发系统1可以主要包括多个传感器装置10a、10b和10c、服务服务器20、多个用户装置30a、30b和30c、认证服务器40和聚合服务器50。这些装置例如通过未示出的基站(例如，用于移动电话的基站和无线局域网(LAN)的接入点)连接到网络(未示出)，以构建数据分发系统1。在上述网络中使用的通信方案可以是有线或无线的任何方案(例如，第五代通信系统、Wi-Fi(注册商标)、蓝牙(注册商标))，但是优选使用能够高速稳定地传输大容量数据的通信方案。尽管在图1中数据分发系统1包括三个传感器装置10和三个用户装置(请求程序)30，但是根据本实施例的数据分发系统1可以包括三个或更多。即，根据本实施例的数据分发系统1可以管理多个传感器装置10，接受来自多个用户装置30的请求，并且可以向它们传输数据。下面将描述根据本实施例的数据分发系统1中包括的装置的概述。
(传感器装置10)
传感器装置10可以获取安装其的周围环境的感测数据(例如，图像、声音等)，并且可以将从所获取的感测数据获取的分发数据(预定数据)传输到外部装置，例如，稍后描述的用户装置30。如前所述，传感器装置10优选地配备有AI功能，以基于从稍后描述的服务服务器20传输的识别模型来识别所获取的感测数据是否适用于来自用户的请求(分发请求)。
例如，传感器装置10可以是安装在移动体(例如，汽车)中的成像装置(相机)、安装在用户携带的智能手机中的成像装置或者安装在家中或商店中的成像装置(例如，安全相机)。在这种情况下，感测数据是图像。在这种情况下，这些成像装置可以通过收集来自位于安装其的周围的对象的光，在成像平面上形成光学图像，并将在成像平面上形成的光学图像转换成电图像信号来获取图像。在下面的描述中，移动体可以是汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动装置、飞机、无人驾驶飞机、船只或船舶、机器人(可移动机器人)、建筑机械、农业机械(拖拉机)等，除非另有说明。
在本实施例中，传感器装置10不限于如上所述的成像装置。在本实施例中，例如，传感器装置10可以是用于测量到对象的距离(深度)的深度传感器、用于收集周围环境中声音的声音收集装置(例如，麦克风)、用于测量周围环境的温度和湿度的温度传感器和湿度传感器、或者用于测量河流水位的水位传感器等。
在本实施例中，传感器装置10可以是具有数据分发系统1共有的接口(数据传输格式、数据传输方法等)的任何装置，其内部配置基本不受限制。因此，根据本实施例的数据分发系统1可以包括不同规格的各种传感器装置10。稍后将描述传感器装置10的详细配置。
(服务服务器20)
服务服务器20是从稍后描述的用户装置30接受用于请求分发可以从感测数据生成的分发数据的分发请求的计算机。服务服务器20可以集成多个分发请求(请求)，根据分发请求生成识别模型，并将生成的识别模型传输到上述传感器装置10。识别模型用于传感器装置10中的识别，这将在后面详细描述。如果需要，服务服务器20还可以从传感器装置10接收分发数据，并将接收到的分发数据传输到适用于分发请求的用户装置30。例如，服务服务器20可以由诸如中央处理器(CPU)、只读存储器(ROM)和随机存取存储器(RAM)的硬件来实现。稍后将描述服务服务器20的详细配置。
(用户装置30)
用户装置30是由用户携带或安装在用户附近的终端，以接受从用户输入的信息，将接受的信息作为分发请求传输到服务服务器20，或者接收与分发请求相关的分发数据。例如，用户装置30可以是移动终端，例如，平板个人计算机(PC)、智能手机、移动电话、膝上型PC和笔记本PC或者可佩戴装置，例如，头戴式显示器(HMD)。更具体地，用户装置30可以具有向用户呈现显示的显示器(未示出)、接受来自用户的操作的操作单元(未示出)、向用户输出声音的扬声器(未示出)等。
在用户装置30中，例如，可以安装数据分发系统1共有的应用(app)或者具有上述服务服务器20共有的规范的应用。加载有如上所述的应用的用户装置30可以生成和传输具有数据分发系统1共有的形式的分发请求，并接收分发数据。
在本实施例中，用户不限于个人，而是可以是如下所述的那些。例如，用户可以是地图制作者、商店开办规划者、道路管理办公室和社会基础设施开发商。更具体地，通过使用由本实施例提供的服务，地图制作者可以无需人工努力而创建详细的地图，并且当考虑开办新商店时，商店开办规划者可以容易地获取信息。通过使用该服务，道路管理办公室可以基于道路状态的估计、道路上的车辆类型等容易地获取用于制定道路修复计划的信息。通过使用该服务，社会基础设施开发商可以通过统计和分析驾驶趋势和事故原因来检查远程信息处理保险的预防措施和应用。
然后，用户通过用户装置30向服务服务器20传输分发请求。分发请求包括指定用户请求分发的数据内容(数据类型)的信息。例如，分发请求可以包括作为分发请求目标的对象(例如，脸、人、动物、移动体、文本、道路(人行道、人行横道、道路宽度、标志等)、标识、条形码)和信息(数据类型)，所述信息指定要请求与对象相关的什么信息(例如，数量、速度、位置、状态、年龄、性别、识别的名称、估计结果)。分发请求还可以包括指定分发数据的数据格式(例如，图像、文本等)的数据格式信息。分发请求还可以包括用户或用户装置30的标识信息(ID)。在本实施例中，分发请求可以包括当服务服务器20生成识别模型时使用的各种数据(稍后描述细节)。
在本实施例中，分发请求具有数据分发系统1共有的数据形式。例如，在本实施例中，分发请求可以包括对应于对象信息或数据格式信息的字符串或数字串。在这种情况下，对于用户经常请求的对象信息或数据格式信息，预先确定相应的字符串或数字串，并作为数据库(未示出)存储在服务服务器20的存储单元(未示出)中。服务服务器20然后可以参考数据库来识别对应于包括在分发请求中的字符串等的对象信息和数据格式信息。如果对应于用户期望的对象信息和数据格式信息的字符串等不存在于数据库中，则可以在分发请求中直接描述这些对象信息和数据格式信息。可选地，在这种情况下，可以新确定对应于用户期望的对象信息和数据格式信息的字符串等，并且可以在分发请求和数据库中直接描述所确定的字符串等。
(认证服务器40)
认证服务器40是计算机，该计算机接收传感器装置10和服务服务器20的相应认证信息(ID)并确定这些装置是否有权由根据本实施例的数据分发系统1提供服务或被提供服务。认证服务器40向具有权限的装置传输允许访问服务的密钥和提供或将要提供服务或被提供服务的命令。假设认证信息具有数据分发系统1共有的数据形式。即，认证服务器40用作认证应用编程接口(API)，并且可以认证传感器装置10和服务服务器20以将它们彼此关联。根据本实施例的数据分发系统1可以包括这样的认证服务器40，以确保数据分发系统1的安全性，并且可以通过服务服务器20将传感器装置10与用户装置30相关联。认证服务器40可以例如通过诸如CPU、ROM和RAM的硬件来实现，并且可以与稍后描述的聚合服务器50协作。在本实施例中，认证服务器40可以对用户装置30执行认证。
(聚合服务器50)
聚合服务器50是与上述认证服务器40协作的计算机，以聚合每个用户或用户装置30和每个传感器装置10的分发数据的分发量，并基于聚合来确定数据使用费。聚合服务器50然后可以通过服务服务器20在传感器装置10的管理员和用户之间交换数据使用费。例如，聚合服务器50可以例如通过诸如CPU、ROM和RAM的硬件来实现。稍后将描述聚合服务器50的细节。
在根据本实施例的数据分发系统1中，传感器装置10和服务服务器20都不需要由单个装置来实现，而是可以由通过各种有线或无线网络(未示出)连接以彼此协作的多个装置来实现。在本实施例中，服务服务器20、认证服务器40和聚合服务器50中的两个或全部可以由集成装置实现。根据本实施例的数据分发系统1可以包括另一未示出的服务器。
<2.2传感器装置10的详细配置>
参考图2，现在将描述根据本实施例的传感器装置10的详细配置。图2是示出根据本实施例的传感器装置10的功能配置实例的框图。具体地，如图2所示，传感器装置10主要包括传感器单元100、定位单元110、处理单元130、存储单元160和通信单元170。下面将依次描述传感器装置10的功能块。
(传感器单元100)
传感器单元100获取感测数据，并将获取的感测数据输出到稍后描述的处理单元130。具体地，当传感器装置10是成像装置时，传感器单元100具有成像光学系统(例如，用于收集从对象发射的光的成像透镜和变焦透镜)以及图像传感器，例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。在本实施例中，传感器单元100可以以固定的方式设置在传感器装置10中，或者可以从传感器装置10可移除地设置。
在本实施例中，除了成像装置之外，传感器单元100可以包括作为深度传感器的飞行时间(TOF)传感器(未示出)。TOF传感器可以直接或间接测量来自对象的反射光的返回时间，以获取TOF传感器和对象之间的距离以及形状信息(深度信息/图像)，例如，突起和凹陷。在本实施例中，传感器单元100可以进一步包括声音收集装置(麦克风)、温度传感器、大气压力传感器、湿度传感器、风向和风速传感器、阳光传感器、降水传感器和水位传感器，并且可以包括能够从周围环境获取感测数据的任何传感器。
(定位单元110)
定位单元110在获取适用于分发请求的感测数据时获取传感器装置10的定位数据，并将获取的定位数据输出到处理单元130(具体地，数据生成器144)。例如，稍后描述的处理单元130的分发器146将定位数据与分发数据一起传输到用户装置30。定位单元110具体可以是例如全球导航卫星系统(GNSS)接收器。在这种情况下，定位单元110可以基于来自GNSS卫星的信号生成指示传感器装置10的当前位置的纬度和经度的定位数据。在本实施例中，由于例如可以从来自射频识别(RFID)、Wi-Fi接入点或无线电基站的信息中检测到用户的相对位置关系，所以这种通信装置可以用作定位单元110。在本实施例中，定位单元110不必设置在传感器装置10中。
(处理单元130)
处理单元130具有处理由传感器单元100获取的感测数据并生成分发数据的功能。处理单元130聚合所分发的分发数据的分发量，并将基于聚合的信息传输到聚合服务器50。处理单元130例如由诸如CPU和图形处理单元(GPU)的处理电路、ROM和RAM来实现。具体地，如图2所示，处理单元130主要包括ID发送器132、密钥接收器134、传感器数据获取器136、预处理器138、模型获取器140、识别器142、数据生成器144、分发器146、聚合器148和聚合信息发送器150。下面将描述处理单元130的功能模块的细节。
-ID发送器132
ID发送器132通过稍后描述的通信单元170向认证服务器40传输传感器装置10的认证信息(ID)。当认证服务器40确定传感器装置10是否有权通过根据本实施例的数据分发系统1提供服务时，使用认证信息。根据本实施例的数据分发系统1通过这种认证来确保数据分发系统1的安全性。
-密钥接收器134
密钥接收器134通过稍后描述的通信单元170接收由认证服务器40传输的使得能够访问服务的密钥和提供服务的命令，并将接收到的密钥等输出到稍后描述的模型获取器140。模型获取器140可以使用由密钥接收器134接收的密钥等来从服务服务器20获取识别模型。
-传感器数据获取器136
传感器数据获取器136控制传感器单元100获取从传感器单元100输出的感测数据，并将获取的感测数据输出到稍后描述的预处理器138或识别器142。
-预处理器138
预处理器138根据由稍后描述的模型获取器140获取的识别模型中包括的信息(例如，与用于生成识别模型的训练数据相关的信息)，对从传感器数据获取器136输出的感测数据进行预处理，并将预处理后的感测数据输出到稍后描述的识别器142。具体地，识别器142使用通过机器学习获得的对应于分发请求的识别模型，来识别感测数据是否适用于分发请求。然后，在本实施例中，执行预处理，使得感测数据具有接近识别模型的形式，从而向识别器142提供适合于识别的感测数据。因此，本实施例可以提高识别器142的识别精度。稍后将描述预处理器138中的预处理的细节。
-模型获取器140
模型获取器140通过稍后描述的通信单元170从服务服务器20获取对应于分发请求的识别模型，并将获取的识别模型输出到预处理器138和识别器142。稍后描述识别模型的细节。
-识别器142
识别器142可以使用AI功能，例如，基于从模型获取器140输出的识别模型，识别从传感器数据获取器136输出的感测数据或由预处理器138预处理的感测数据是否适用于分发请求。更具体地，识别器142可以识别例如作为感测数据的图像是否包括由分发请求指定的对象的图像(换言之，对象的识别)。识别器142然后将识别结果输出到稍后描述的数据生成器144。通过服务服务器20中的机器学习获得识别模型，并且例如可以是从诸如由分发请求指定的对象的图像或声音等数据获得的特征信息，并且表征该对象。在本实施例中，由于在传感器装置10中执行如上所述的识别，所以可以在获取感测数据之后立即执行识别。稍后将描述识别器142中的识别的细节。
-数据生成器144
当上述识别器142识别出感测数据适用于分发请求时，数据生成器144可以根据分发请求对感测数据执行处理并生成分发数据。例如，数据生成器144可以通过从感测数据中仅选取、提取与分发请求所指定的对象相关的数据或将该数据转换成文本来生成分发数据。更具体地，分发数据可以包括由分发请求指定的对象的属性信息、数量信息、位置信息、状态信息、操作信息、周围环境信息和预测信息中的至少一个。在本实施例中，分发数据的数据格式可以是图像数据、声音数据、文本数据等。然而，本发明不限于此。通过这种方式，在本实施例中，由于传感器装置10可以预处理适用于分发请求的感测数据并生成分发数据，因此可以实现实时分发。在本实施例中，当感测数据不适用于分发请求时，数据生成器144不生成或分配分发数据。因此，与传输感测数据的情况相比，不管感测数据是否适用于分发请求，本实施例可以减少数据传输的负载。
在本实施例中，例如，数据生成器144可以从分发数据中消除包括在感测数据中的与隐私相关的信息(例如，以能够识别人的程度捕捉的人的图像)。例如，数据生成器144可以屏蔽与分发数据上的隐私相关的信息。通过这种方式，本实施例确保了隐私保护。稍后描述这种处理的示例。
-分发器146
分发器146将由上述数据生成器144生成的分发数据分发给用户装置30或服务服务器20。分发器146可以向用户装置30或服务服务器20分发不同种类的分发数据。分发器146向稍后描述的聚合器148输出诸如分发的分发数据的分发量的信息。例如，分发器146输出关于获取对应于分发数据的感测数据的日期和时间的信息、关于分发数据被分发的日期和时间的信息、数据类型、数据格式、分发量和分发目的地(例如，用户装置30的识别信息)，作为上述信息。
-聚合器148
聚合器148例如为每个用户或用户装置30生成聚合了分发数据的分发量的聚合信息，并将生成的聚合信息输出到稍后描述的存储单元160。
-聚合信息发送器150
聚合信息发送器150在预定时间(例如，每月)从稍后描述的存储单元160获取聚合信息，并将获取的聚合信息传输到聚合服务器50。聚合信息发送器150传输例如关于获取对应于分发数据的感测数据的日期和时间的信息、关于分发数据被分发的日期和时间的信息、数据类型、数据格式、分发量和分发目的地(例如，用户装置30的识别信息)、传感器装置10的标识信息以及关于传感器装置10的管理员的信息，作为聚合信息。
(存储单元160)
存储单元160存储用于处理单元130执行各种处理的计算机程序和信息以及通过处理获得的信息。例如，存储单元160存储由上述聚合器148生成的聚合信息。存储单元160例如由存储装置(例如，硬盘驱动器(HDD))来实现。
(通信单元170)
通信单元170可以向/从外部装置(例如，服务服务器20)传输/接收信息。换言之，通信单元170是具有传输和接收数据功能的通信接口。通信单元170由通信装置(未示出)实现，例如，通信天线、发送器/接收器电路和端口。
<2.3服务服务器20的详细配置>
参考图3，现在将描述根据本实施例的服务服务器20的详细配置。图3是示出根据本实施例的服务服务器20的功能配置实例的框图。具体地，如图3所示，服务服务器20主要包括处理单元230、存储单元260和通信单元270。将在下面依次描述服务服务器20的功能块。
(处理单元230)
处理单元230具有通过稍后描述的通信单元270从用户装置30获取分发请求、根据获取的分发请求生成识别模型、并且将生成的识别模型传输到传感器装置10的功能。处理单元230例如由诸如CPU和GPU的处理电路、ROM和RAM来实现。具体地，如图3所示，处理单元230主要包括ID发送器232、请求接受器234、能力信息获取器236、模型生成器238、模型发送器240、数据获取器242和分发器246。下面将描述处理单元230的功能模块的细节。
-ID发送器232
ID发送器232通过稍后描述的通信单元270向认证服务器40传输服务服务器20的认证信息(ID)。当认证服务器40确定服务服务器20是否有权由根据本实施例的数据分发系统1提供服务时，使用认证信息。根据本实施例的数据分发系统1通过这种认证来确保数据分发系统1的安全性。
-请求接受器234
请求接受器234通过稍后描述的通信单元270接受来自一个或多个用户装置30的分发请求，并将接受的分发请求输出到稍后描述的模型生成器238。请求接受器234可以集成公共分发请求并输出集成的分发请求。
-能力信息获取器236
能力信息获取器236通过通信单元270初步获取指示每个传感器装置10的感测能力(感测的类型、精度、位置、范围、粒度等)和计算能力的能力信息，并将所获取的能力信息输出到稍后描述的模型生成器238。在本实施例中，优选地，当更新传感器装置10的功能等时，能力信息获取器236重新获取能力信息。然后，在本实施例中，稍后描述的模型生成器238基于传感器装置10的能力信息，根据每个传感器装置10的能力生成识别模型。因此，根据本实施例，由于当更新传感器装置10的功能等时重新获取能力信息，所以可以更新识别模型，以与当前每个传感器装置10的能力匹配。
-模型生成器238
模型生成器238可以基于来自请求接受器234的分发请求和来自能力信息获取器236的能力信息，根据每个传感器装置10的能力，通过机器学习来生成对应于分发请求的识别模型。模型生成器238可以将生成的识别模型输出到稍后描述的模型发送器240。模型生成器238可以从用户装置30或未示出的另一服务器获取机器学习所需的数据。在本实施例中，可以实现传感器装置10中的识别，因为模型生成器238可以生成适合于每个传感器装置10的识别模型。在本实施例中，由于当更新传感器装置10的功能等时，可以通过重新获取能力信息来重新生成识别模型，所以可以动态地改变识别模型，以提高传感器装置10中的识别。
模型生成器238可以在识别模型中包括关于模型生成器238中的机器学习中使用的数据的信息(例如，关于生成识别模型时使用的训练数据的信息)。该信息在传感器装置10的预处理器138中用于执行预处理，使得感测数据具有接近识别模型的形式。模型生成器238还可以在识别模型中包括关于传感器装置10的传感器单元100设置的设置信息，用于基于传感器装置10的能力信息获取生成由分发请求指定的分发数据所需的感测数据。在本实施例中，可以提供模型生成器238，作为与服务服务器20分离的装置。然而，本发明不限于此。
-模型发送器240
模型发送器240通过通信单元270将从上述模型生成器238获取的识别模型传输到对应于每个识别模型的传感器装置10。
-数据获取器242
数据获取器242通过稍后描述的通信单元270从传感器装置10获取对应于分发请求的分发数据，并将获取的分发数据输出到稍后描述的分发器246。在本实施例中，当分发数据从传感器装置10直接传输到用户装置30时，不需要提供数据获取器242。
-分发器246
分发器246通过稍后描述的通信单元270将由上述数据获取器242获取的分发数据分发给适用于分发请求的用户装置30。在本实施例中，当分发数据从传感器装置10直接传输到用户装置30时，不需要提供分发器246。
(存储单元260)
存储单元260存储用于处理单元230执行各种处理的计算机程序和信息以及通过处理获得的信息。存储单元260例如由存储装置(例如，HDD)来实现。
(通信单元270)
通信单元270可以向/从诸如传感器装置10和用户装置30等外部装置传输/接收信息。换言之，通信单元270是具有传输和接收数据功能的通信接口。通信单元270由通信装置(未示出)实现，例如，通信天线、发送器/接收器电路和端口。
<2.4聚合服务器50的详细配置>
参考图4，现在将描述根据本实施例的聚合服务器50的详细配置。图4是示出根据本实施例的聚合服务器50的功能配置实例的框图。具体地，如图4所示，聚合服务器50主要包括处理单元530、存储单元560和通信单元570。下面将按顺序描述聚合服务器50的功能块。
(处理单元530)
处理单元530具有处理从传感器装置10传输的聚合信息等并基于聚合信息等执行诸如交换数据使用费的处理的功能。处理单元530例如由诸如CPU的处理电路、ROM和RAM实现。具体地，如图4所示，处理单元530主要包括聚合信息获取器532和费用处理器534。下面将描述处理单元530的功能模块的细节。
-聚合信息获取器532
聚合信息获取器532通过稍后描述的通信单元570从每个传感器装置10获取聚合信息等，并将获取的聚合信息等输出到稍后描述的存储单元560。
-费用处理器534
费用处理器534可以基于存储在稍后描述的存储单元560中的聚合信息等来确定数据使用费，并且在聚合服务器50、传感器装置10的管理员和服务服务器20之间交换数据使用费。具体地，费用处理器534基于分发的分发数据的分发量和分发数据的每单位分发量的费用(例如，由数据格式确定)，确定要向服务服务器20收取的数据使用费。类似地，费用处理器534确定要支付给每个传感器装置10的数据使用费。在本实施例中，由于每个传感器装置10的管理员可以获得数据使用费，所以根据本实施例的数据分发系统1对服务的贡献甚至可以分发给每个传感器装置10的管理员。以这种方式，在本实施例中，由于感测数据的提供者也可以根据分发数据的分发量和价值获得考虑，所以可以增加根据本实施例的数据分发系统1为服务提供感测数据的动机。
(存储单元560)
存储单元560存储用于处理单元530执行各种处理的计算机程序和信息以及通过处理获得的信息。例如，存储单元560存储从传感器装置10传输的聚合信息。存储单元560例如由存储装置(HDD)来实现。
(通信单元570)
通信单元570可以向/从诸如传感器装置10的外部装置传输/接收信息。换言之，通信单元570是具有传输和接收数据功能的通信接口。通信单元570由通信装置(未示出)实现，例如，通信天线、发送器/接收器电路和端口。
<2.5根据本实施例的识别>
参考图5至图7，现在将描述根据本实施例的识别的实例。图5是示出根据本实施例的识别模型610的生成实例的示图。图6是示出根据本实施例的分发数据的实例的示图。图7是示出根据本实施例的预处理的实例的示图。
(识别模型的生成)
首先，将描述根据本实施例的识别中使用的模型的生成。如前所述，在服务服务器20的模型生成器238中生成识别模型。如图5所示，例如，模型生成器238具有监督学习器238a，例如，支持向量回归和深度神经网络。首先，例如，向学习器238a输入多个训练数据602-1至602-n，其是关于作为由分发请求指定的分发请求目标的对象的信息。学习器238a可以利用输入训练数据602-1至602-n执行机器学习，以生成识别模型610，用于传感器装置10的识别器142中的识别。在本实施例中，由于多个传感器装置10在感测能力和计算能力方面不同，即具有不同的识别能力，所以优选地，学习器238a根据每个传感器装置10的能力信息生成识别模型610。因此，在本实施例中，即使当包括具有各种规格的多个传感器装置10时，也可以根据每个传感器装置10的能力生成识别模型610，从而能够在每个传感器装置10中进行识别。
更具体地，例如，学习器238a接收关于对象的训练数据602-1至602-n，分别用对象600-1至600-n标记为由分发请求指定的分发请求目标。然后，学习器238a通过递归神经网络等的机器学习，从多个训练数据602-1至602-n中提取对象的特征点和特征量。如此提取的信息(例如，特征点)用作识别模型610，用于识别由每个传感器装置10获取的感测数据是否包括关于对象的信息。
现在将通过具体实例来描述根据本实施例的识别模型610的生成。例如，将描述来自用户的分发请求请求使用由传感器装置10获取的图像(感测数据)搜索预定人(对象)的情况(其中，分发数据是预定人的位置信息)。服务服务器20从已经传输分发请求的用户装置30或未示出的服务器获取预定人的多个图像，作为用于生成识别模型610的多个训练数据602。如图5所示，服务服务器20然后向学习器238a输入用预定人(对象)600-1至600-n标记的获取的图像(训练数据)602-1至602-n。此外，学习器238a通过使用多个图像(训练数据)602-1至602-n的机器学习，从多个图像(训练数据)602-1至602-n提取预定人(对象)600的特征点和特征量，并且生成用于从图像(感测数据)识别预定人(对象)600的图像的识别模型610。
在本实施例中，当来自用户的分发请求请求使用由传感器装置10获取的感测数据(在此处，感测数据的类型不受限制)来搜索预定人(对象)时，类似于上述实例，学习器238a可以根据每个传感器装置10可以获取的感测数据的类型来生成识别模型610。在这种情况下，更具体地，对于能够获取图像的传感器装置10，学习器238a生成用于从图像中识别预定人的识别模型610，并且对于能够获取环境声音的传感器装置10，生成用于从环境声音中识别预定人的声音的识别模型610。因此，在本实施例中，即使当包括具有各种规格的多个传感器装置10时，也可以根据每个传感器装置10的能力生成识别模型610，从而能够在每个传感器装置10中进行识别。
在本实施例中，例如，当来自用户的分发请求请求使用由传感器装置10获取的图像来搜索预定的猫(在此处，为美国短毛类型的名为“Tama”的猫)时，学习器238a可以根据每个传感器装置10的能力来生成识别模型610。在这种情况下，更具体地，对于具有能够获取具有高分辨率的图像的感测能力并且具有高计算能力的传感器装置10，学习器238a生成识别模型610，用于从图像中识别“Tama”的图像。对于具有能够获取具有中间分辨率的图像的感测能力并且具有高计算能力的传感器装置10，学习器238a生成识别模型610，用于从图像中识别美国短毛猫(猫型)的图像。对于具有能够获取具有低分辨率的图像的感测能力并且具有低计算能力的传感器装置10，学习器238a生成识别模型610，用于从图像中识别猫的图像。因此，在本实施例中，即使当包括具有各种规格的多个传感器装置10时，也可以根据每个传感器装置10的能力生成识别模型610，从而能够在每个传感器装置10中进行识别。
如前所述，在本实施例中，识别模型610可以包括关于在机器学习中使用的训练数据602的信息。在此处，关于训练数据602的信息可以是训练数据602的类型(例如，图像、声音等)和训练数据的质量(失真补偿水平、像素缺陷、白平衡、图像大小、色度、亮度、伽马、对比度、边缘增强水平、焦点、曝光水平、分辨率、动态范围、降噪水平等)。当上述传感器装置10的预处理器138执行预处理，使得获取的感测数据具有接近识别模型的形式(具体地，训练数据602)时，可以使用关于训练数据602的这种信息。通过这种方式，本实施例可以提高传感器装置10的识别器142的识别精度，这将在后面详细描述。
在本实施例中，如前所述，识别模型610可以包括关于传感器装置10的传感器单元100设置的设置信息，用于获取生成由分发请求指定的分发数据所需的感测数据。如本文所使用的，根据感测数据的期望质量，设置信息可以是传感器单元100的感测数据的类型(例如，图像、声音等)和设定值(失真补偿水平、白平衡、图像大小、色度、亮度、伽马、对比度、边缘增强水平、焦点、曝光水平、分辨率、动态范围、降噪水平等)。在本实施例中，这种设置信息用于设置传感器单元100，并且使得能够根据识别模型610获取感测数据，从而提高识别器142的识别精度。
在本实施例中，可以在与服务服务器20分离的服务器中提供学习器238a。然而，本发明不限于此。在本实施例中，学习器238a中的学习方法不限于上述方法，并且可以使用任何其他方法。
(使用识别模型的识别)
现在将描述使用上述识别模型610的识别。如前所述，当传感器装置10的识别器142识别感测数据或预处理的感测数据是否适用于分发请求时，使用识别模型610。现在将通过具体实例来描述根据本实施例的识别。例如，将描述来自用户的分发请求请求使用由传感器装置10获取的图像(感测数据)搜索预定人(对象)的情况(分发数据是预定人的位置信息)。传感器装置10从传感器单元100获取图像。识别器142然后参考从服务服务器20获取的识别模型610，具体地，预定人(对象)600的图像的特征点和特征量，以确定预定人的图像是否包括在从传感器单元100获取的图像中。即，在本实施例中，由于在传感器装置10中执行如上所述的识别，所以可以在获取图像之后立即执行识别。
在本实施例中，由于多个传感器装置10在感测能力和计算能力方面不同，即，具有不同的识别能力，因此生成相应的识别模型610，并且根据每个传感器装置10的能力信息来执行识别。例如，在本实施例中，当来自用户的分发请求请求使用由传感器装置10获取的感测数据(在此处，感测数据的类型不受限制)搜索预定人(对象)时，能够获取图像的传感器装置10的识别器142基于识别模型610从图像中识别预定人的图像，并且能够获取环境声音的传感器装置10的识别器142基于识别模型610从环境声音中识别预定人的声音。
在另一示例中，在本实施例中，当来自用户的分发请求请求使用由传感器装置10获取的图像搜索预定的猫(在此处，为美国短毛类型的名为“Tama”的猫)时，可以如下执行识别。传感器装置10的识别器142具有能够获取具有高分辨率的图像的感测能力并且具有高计算能力，该识别器142基于识别模型610从图像中识别“Tama”的图像。传感器装置10的识别器142具有能够获取具有中间分辨率的图像的感测能力并且具有高计算能力，该识别器142基于识别模型610从图像中识别美国短毛猫(猫型)的图像。传感器装置10的识别器142具有能够获取具有低分辨率的图像的感测能力并且具有低计算能力，该识别器142基于识别模型610从图像中识别猫的图像。如上所述，在本实施例中，即使当包括具有各种规格的多个传感器装置10时，也可以在每个传感器装置10中执行识别。
在本实施例中，可以提供识别器142，作为与传感器装置10分离的装置。然而，本发明不限于此。在本实施例中，识别器142中的识别方法不限于上述方法，并且可以使用任何其他方法。
(分发数据的实例)
参考图6，现在将描述根据本实施例的分发数据的实例。如前所述，传感器装置10的数据生成器144根据感测数据的分发请求执行处理，并生成分发数据。分发数据可以包括由分发请求指定的对象的属性信息、数量信息、位置信息、状态信息、操作信息、周围环境信息和预测信息中的至少一个。分发数据可以具有诸如图像和文本的数据格式。然而，本发明不限于此。优选地，分发数据包括已经传输分发请求的用户或用户装置30的标识信息。即，例如，数据生成器144可以根据分发请求，仅从感测数据中选取、提取关于由分发请求指定的对象的数据或将该数据转换为文本，作为分发数据。通过这种方式，在本实施例中，数据生成器144可以处理适用于分发请求的感测数据并生成分发数据，从而实现实时分发。在本实施例中，当感测数据不适用于分发请求时，数据生成器144不生成或传输分发数据。因此，与传输感测数据时相比，不管感测数据是否适用于分发请求，本实施例可以减少数据传输的负载。
在本实施例中，数据生成器144可以从分发数据中消除包括在感测数据中的与隐私相关的信息(例如，以能够识别人的程度捕捉的人的图像)。通过这种方式，本实施例确保了隐私保护。更具体地，在图6的顶部所示的实例中，当获取道路图像A，作为适用于分发请求的感测数据时，数据生成器144仅提取由分发请求指定的标志和人行横道，来生成分发数据A。在图6从顶部开始的第二部分所示的实例中，当获取道路图像B，作为适用于分发请求的感测数据时，数据生成器144仅提取由分发请求指定的道路上的标志和车辆，以生成分发数据B。在图6中从顶部开始的第三部分所示的实例中，当获取道路图像C，作为适用于分发请求的感测数据时，数据生成器144仅提取由分发请求指定的标志和水坑，以生成分发数据C。在图6的底部所示的实例中，当获取道路图像D，作为适用于分发请求的感测数据时，数据生成器144仅提取人行横道和穿过人行横道的人，以生成分发数据D。在本实施例中，如图6的底部的实例中，优选地，排列人字形图标，而不是人物图像，并非原样提取穿过人行横道的人的图像，作为分发数据。这样做可以实现高度隐私保护。即，在本实施例中，例如，从分发数据中消除了与隐私相关的信息，例如，具有能够识别人的分辨率的人的捕捉图像。
(预处理的实例)
参考图7，现在将描述根据本实施例的预处理的实例。在本实施例中，如前所述，识别器142可以使用通过机器学习获得的识别模型610来识别感测数据是否适用于分发请求。然后，在本实施例中，为了提高识别器142中的识别精度，传感器装置10的预处理器138基于上述关于训练数据的信息执行预处理，使得感测数据具有接近识别模型610的形式。具体地，预处理器138对感测数据执行预处理，使得格式、失真补偿水平、像素缺陷、白平衡、图像大小、色度、亮度、伽马、对比度、边缘增强水平、焦点、曝光水平、分辨率、动态范围、降噪水平等等同于训练数据602。
更具体地，例如，当传感器装置10的传感器单元100获取如图7中上部所示的图像，作为感测数据时，预处理器138对图9中上部的图像执行预处理，使得图像质量大小和焦点等同于训练数据602。预处理器138然后获取图像，如图9的下部所示。根据本实施例，由于预处理器138执行预处理，使得感测数据达到与生成识别模型610时使用的训练数据602的数据水平相等的数据水平，所以可以进一步提高识别器142的识别精度。
<2.6信息处理方法>
参考图8，现在将描述根据本实施例的实施例的信息处理方法。图8是示出根据本实施例的信息处理方法的实例的序列图。如图8所示，根据本实施例的信息处理方法可以主要包括从步骤S101到步骤S111的多个步骤。下面将描述根据本实施例的信息处理方法的步骤的细节。
首先，用户装置30接受从用户输入的信息，并将接受的信息作为分发请求传输到服务服务器20(步骤S101)。
随后，服务服务器20从用户装置30接收分发请求(步骤S102)。服务服务器20然后基于在上述步骤S102接收的分发请求生成识别模型，并将生成的识别模型传输到每个传感器装置10(步骤S103)。
随后，传感器装置10从服务服务器20接收识别模型(步骤S104)。传感器装置10执行感测，以获取感测数据(步骤S105)。传感器装置10基于在以上步骤S104接收的识别模型，识别在以上步骤S105获取的感测数据是否适用于分发请求(步骤S106)。然后，传感器装置10根据感测数据的分发请求执行处理，并且基于在上述步骤S106中识别出感测数据适用于分发请求，生成分发数据。传感器装置10将生成的分发数据直接传输到分发请求中涉及的用户装置30(步骤S107)。
随后，用户装置30接收从传感器装置10传输的分发数据(步骤S108)。在本实施例中，由于分发数据可以从传感器装置10直接传输到用户装置30，所以可以减少服务服务器20上的处理负载，并且可以避免服务服务器20的运行成本的增加。
在上述步骤S107，传感器装置10基于分发数据的分发来生成聚合信息，并将生成的聚合信息传输到聚合服务器50(步骤S109)。
随后，聚合服务器50从传感器装置10接收聚合信息(步骤S110)。聚合服务器50基于在上述步骤S110接收的聚合信息执行费用处理(步骤S111)。然后，根据本实施例的信息处理结束。
如上所述，前述本实施例可以构造一种框架，该框架使得各种用户能够容易地使用从由各种传感器装置10获取的感测数据获得的信息。
<2.7修改>
至此已经描述了本实施例的细节。本实施例可以如下修改。将描述根据本实施例的修改。下面描述的修改仅仅是本实施例的说明性实例，并且本实施例不限于下面描述的修改。
(第一修改)
根据本实施例的信息处理方法可以如下修改。将参考图9描述根据本实施例的第一修改的信息处理方法。图9是示出根据本实施例的修改的信息处理方法的实例的序列图。如图9所示，根据本修改的信息处理方法可以主要包括从步骤S201到步骤S212的多个步骤。下面将描述根据本修改的步骤的细节。
图9所示的本修改中的步骤S201至步骤S206与图8所示的本实施例中的步骤S101至步骤S106相同，此处省略对步骤S201至步骤S206的描述。
传感器装置10将生成的分发数据传输到服务服务器20(步骤S207)。随后，服务服务器20接收从传感器装置10传输的分发数据，并将分发数据传输到分发请求中涉及的用户装置30(步骤S208)。用户装置30然后接收从服务服务器20传输的分发数据(步骤S209)。在本修改中，由于分发数据可以通过服务服务器20从传感器装置10传输到用户装置30，所以即使当用户装置30不具有数据分发系统1共有的接口时，用户装置30也可以接收分发数据，只要它具有服务服务器20共有的接口。
图9所示的本修改中的步骤S210至步骤S212与图8所示的本实施例中的步骤S109至步骤S111相同，此处省略对步骤S210至步骤S212的描述。
(第二修改)
根据本实施例的数据分发系统1可以如下修改。参考图10，将描述根据本实施例的修改的数据分发系统1a的配置实例。图10是示出根据本实施例的修改的数据分发系统1a的总体功能配置的系统图。
具体地，如图10所示，通过与前述实施例相同的方式，根据本修改的数据分发系统1a可以主要包括多个传感器装置10a、10b和10c、服务服务器20a、多个用户装置30a、30b和30c、认证服务器40和聚合服务器50，并且可以进一步包括服务服务器20b。即，在本修改中，如果数据分发系统1a具有数据分发系统1a共有的接口(数据传输格式、数据传输方法等)，则数据分发系统1a可以包括多个服务服务器20。因此，根据本修改，各种服务提供商可以加入数据分发系统1a。
(第三修改)
根据本实施例的识别器142可以如下修改。将参考图11描述根据本实施例的修改的识别器142。图11是示出根据对实施例的修改的识别器142的实例的示图。
在本修改中，如图11所示，识别器142可以配置有多个识别节点142a、142b和142c，这些识别节点在多个阶段中耦合，以能够彼此通信并协作，来分层执行识别。这些识别节点142a、142b和142c是具有公共接口并相互协作以识别感测数据是否适用于分发请求的计算装置。在本修改中，即使当每个单独识别节点142a、142b、142c的计算能力小时，即使当需要高负载的识别处理时，它们也可以通过协作以分发式方式执行处理来执行识别处理。
在本修改中，例如，多个识别节点142a至142c可以是输入层142a、中间层142b和输出层142c。首先，感测数据或预处理的感测数据从传感器数据获取器136或预处理器138输入到输入层142a。输入层142a然后基于输入感测数据的特征执行计算，并将第一识别结果输出到中间层142b。例如，第一识别结果可以是处理到输入感测数据可以由后续中间层142b处理的水平的感测数据，并且可以是具有通过在输入层142a中从感测数据计算获得的信息粒度的信息。该信息可以作为经处理的感测数据的元数据输出到中间层142b。
随后，中间层142b从输入层142a接收第一识别结果，基于输入的第一识别结果的特征执行计算，并将第二识别结果输出到输出层142c。例如，类似于上述实例，第二识别结果可以是处理到由输入层142a处理的感测数据可以由后续输出层142c处理的水平的感测数据，并且可以是具有通过在中间层142b中从由输入层142a处理的感测数据计算获得的信息粒度的信息。该信息可以作为经处理的感测数据的元数据输出到输出层142c。
输出层142c接收第二识别结果，基于输入的第二识别结果的特征执行计算，并将第三识别结果输出到数据生成器144。例如，类似于上述实例，第三识别结果可以是具有通过在输出层142c中从由中间层142b处理的感测数据计算获得的信息粒度的信息。
在本修改中，输入层142a、中间层142b和输出层142c可以基于从服务服务器20传输到每层的识别模型610中包括的控制数据，根据每个个体能力(计算能力)动态地改变要执行的计算量。优选地，输入层142a和中间层142b根据后续阶段(中间层142b、输出层142c)的处理能力向后续阶段输出识别结果。控制数据可以是例如诸如输入层142a、中间层142b和输出层142c之间的连接系数的信息，即，计算量的权重，以便控制输入层142a、中间层142b和输出层142c中的计算量。以这种方式，根据本修改，以多级耦合的输入层142a、中间层142b和输出层142c可以逐渐增加识别结果的信息粒度，因此可以以协作方式提供期望的最终识别结果。
例如，在本修改中，当来自用户的分发请求请求使用由传感器装置10获取的图像来搜索预定的猫(在此处，为美国短毛猫类型的名为“Tama”的猫)时，可以如下执行识别。首先，输入层142a基于识别模型610识别由传感器装置10获取的图像包括动物的图像。输入层142a然后向中间层142b输出经处理的图像，该经处理的图像被处理到使得由传感器装置10获取的图像能够被后续中间层142b处理的水平，并且输出识别结果“动物”，作为经处理的图像的元数据。随后，中间层142b基于识别模型610识别来自输入层142a的经处理的图像包括猫的图像。中间层142b然后向输出层142c输出经处理的图像，该经处理的图像被处理到来自输入层142a的经处理的图像能够被后续输出层142c处理的程度，并且输出识别结果“猫”，作为经处理的图像的元数据。输出层142c基于识别模型610识别来自中间层142b的经处理的图像包括“Tama”的图像。输出层142c然后将识别结果“Tama”输出到数据生成器144。
在本修改中，识别器142的配置不限于图11所示的配置，并且可以包括更多级或者可以是复杂的网络状配置，例如，神经网络。然而，本发明不限于此。
如上所述，前述修改可以构建使各种用户能够容易地使用从由各种传感器装置10获取的感测数据获得的信息的框架。
<<3.实例>>
到目前为止，已经描述了本公开的实施例的细节。参考图12，将利用具体实例更具体地描述根据本实施例的信息处理方法的实例。图12是示出本实施例的使用实例的示图。下面描述的实例仅仅是根据本公开的实施例的信息处理方法的说明性实例，并且根据本公开的实施例的信息处理方法不限于下面描述的实例。
在下面描述的实例中，假设用户请求搜索某个人。具体地，如图12所示，根据本实例的数据分发系统1b包括多个相机(传感器装置)10a、10b和10c、数据流通服务服务器(服务服务器)20a、人员查找服务服务器(服务服务器)20b、用户装置30、认证服务器40和聚合服务器50。
首先，用户在用户装置30中安装由人员查找服务服务器20b提供的应用。该应用充当与人员查找服务服务器20b的接口。用户通过用户装置30将寻找某个人的请求作为分发请求传输给人员查找服务服务器20b。在这样做时，用户将例如要查找的人的多个图像传输到人员查找服务服务器20b。
随后，人员查找服务服务器20b从用户装置30接收分发请求，并向数据流通服务服务器20a提交请求(分发请求)，以从图像中查找人员。在这样做时，人员查找服务服务器20b可以将从用户获得的人员的图像传输到数据流通服务服务器20a，或者可以委托其自身或外部承包商使用人员的图像来生成识别模型610。在这种情况下，人员查找服务服务器20b将识别模型610传输到数据流通服务服务器20a。
随后，数据流通服务服务器20a从人员查找服务服务器20b接收分发请求，使用从用户获得的人员的图像生成识别模型610，并将生成的识别模型610传输到相机10a、10b和10c。数据流通服务服务器20a可以委托外部承包商来生成识别模型610。在本实例中，当相机10a、10b和10c是例如安装在出租车中的车载相机时，识别模型610可以发送到管理这些出租车的出租车公司，并且出租车公司可以将识别模型610传输到相机10a、10b和10c。
随后，相机10a、10b和10c接收识别模型610。相机10a、10b和10c捕捉周围环境的图像，以获取图像。基于接收的识别模型610，相机10a、10b和10c识别获取的图像是否包括人的图像。当获取的图像包括人的图像时，相机10a、10b和10c将获取人的图像时相机10a、10b和10c的位置信息和时间信息作为分发数据传输到数据流通服务服务器20a。在这样做时，可以传输人的图像，作为分发数据。在这种情况下，为了隐私保护，优选地，包括在分发数据中的信息仅是人的图像，而不包括人周围环境的图像或人周围存在的人的图像。
随后，数据流通服务服务器20a将接收到的分发数据传输到人员查找服务服务器20b。人员查找服务服务器20b将接收到的分发数据作为可交付物传输给已经做出请求的用户装置30。
在该实例中，用户根据可交付物向人员查找服务服务器20b的运营商支付报酬。人员查找服务服务器20b的运营商根据分发数据向数据流通服务服务器20a的运营商支付报酬。此外，数据流通服务服务器20a的运营商根据基于由聚合服务器50确定的分发量的数据使用费，向相机10a、10b和10c的管理员(例如，出租车公司)支付费用。
<<4.总结>>
如上所述，前述当前实施例和修改可以构建一种框架，该框架使得各种用户能够容易地使用从由各种传感器装置10获取的感测数据获得的信息。
<<5.硬件配置>>
根据前述实施例的信息处理装置(例如，传感器装置10和服务服务器20)例如由具有如图13所示的配置的计算机1000来实现。下面将以根据本公开的实施例的传感器装置10和服务服务器20作为实例，来给出描述。图13是示出实现传感器装置10和服务服务器20的功能的计算机1000的实例的硬件配置图。计算机1000包括CPU 1100、RAM 1200、ROM 1300、HDD 1400、通信接口1500和输入/输出接口1600。计算机1000的单元通过总线1050连接。
CPU 1100基于存储在ROM 1300或HDD 1400中的计算机程序进行操作，并执行每个单元的控制。例如，CPU 1100将存储在ROM 1300或HDD 1400中的计算机程序加载到RAM1200中，并执行对应于各种计算机程序的处理。
ROM 1300存储例如引导程序(例如，在计算机1000启动时由CPU1100执行的基本输入/输出系统(BIOS))以及依赖于计算机1000硬件的计算机程序。
HDD 1400是以非暂时性方式存储由CPU 1100执行的计算机程序和这种计算机程序使用的数据的计算机可读记录介质。具体地，作为计算机程序数据1450的实例，HDD 1400是存储根据本公开的信息处理程序和应用的记录介质。
通信接口1500是用于计算机1000连接到外部网络1550(例如，互联网)的接口。例如，CPU 1100通过通信接口1500从另一装置接收数据或将由CPU 1100生成的数据传输到另一装置。
输入/输出接口1600是用于将输入/输出装置1650连接到计算机1000的接口。例如，CPU 1100通过输入/输出接口1600从诸如键盘和鼠标鞥输入装置接收数据。CPU 1100通过输入/输出接口1600将数据传输到输出装置，例如，显示器、扬声器和打印机。输入/输出接口1600可以用作介质接口，用于读取存储在预定记录介质(介质)中的计算机程序等。介质的示例包括光学记录介质(例如，数字多功能盘(DVD)和相变可重写盘(PD))、磁光记录介质(例如，磁光(MO)盘)、磁带介质、磁记录介质和半导体存储器。
例如，当计算机1000用作根据本公开的实施例的服务服务器20时，计算机1000的CPU 1100执行存储在RAM 1200中的计算机程序，以实现诸如处理单元230等功能。HDD 1400存储根据本公开的信息处理程序等。CPU 1100从HDD 1400读取计算机程序数据1450，以供执行。作为另一示例，可以通过外部网络1550从另一装置获取这些计算机程序。
根据本实施例的信息处理装置可以应用于包括假定连接到网络(或在装置之间通信)的多个装置的系统，例如，像云计算。换言之，根据前述本实施例的信息处理装置可以被实现为例如信息处理系统，其中，多个装置执行与根据本实施例的信息处理方法相关的处理。
<<6.应用于移动体>>
根据本公开的技术(本技术)适用于多种产品。例如，根据本公开的技术可以实现为安装在任何类型的移动体上的装置，例如，汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动装置、飞机、无人驾驶飞机、船舶和机器人。
图14是示出车辆控制系统的示意性配置的实例的框图，该车辆控制系统是作为可应用根据本公开的实施方式的技术的移动体控制系统的实例。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图14所示出的实例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052、车载网络接口(I/F)12053作为集成控制单元12050的功能配置而示出。
驱动系统控制单元12010根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元12010用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等，用于将驱动力传递至车轮的驱动力传递机构，用于调节车辆的转向角的转向机构，以及用于生成车辆的制动力的制动设备等。
车身系统控制单元12020根据各种程序对车身所配置的各种类型的设备的操作进行控制。例如，车身系统控制单元12020用作控制设备来控制下列项：无钥匙进入系统、智能钥匙系统、电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元12020可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元12020接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。
车外信息检测单元12030检测配有车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030连接有成像部12031。车外信息检测单元12030使成像部12031成像车辆外部的图像，并且接收所成像的图像。基于所接收的图像，车外信息检测单元12030可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。
成像部12031是接收光并且输出与所接收的光的光量相对应的电信号的光学传感器。成像部12031能够输出作为图像的电信号，或者能够输出作为关于所测量距离的信息的电信号。此外，由成像部12031接收的光可以是可见光，或者可以是诸如红外线等的不可见光。
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040可以连接有检测驾驶员的状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括拍摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。
微型计算机12051能够基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051能够执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞的警报、车辆偏离车道的警报等。
此外，微型计算机12051，可通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
此外，微型计算机12051能够基于由车外信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051，可基于由车外信息检测单元12030检测的前方车辆或迎面车辆的位置来控制前照灯，将其从远光改变为近光，从而执行旨在通过控制前照灯来防止眩光的协同控制。
声音/图像输出部12052将声音和图像中的至少一者的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图14的实例中，音频扬声器12061、显示部12062和仪表面板12063作为输出设备而示出。显示部12062可例如包括车载显示器和平视显示器中的至少一个。
图15是示出成像部12031的安装位置的实例的示图。
在图15中，成像部12031包括成像部12101、12102、12103、12104和12105。
成像部12101、12102、12103、12104和12105可以被布置在车辆12100的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部12101以及布置在车辆内部的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。布置在侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。布置在后保险杠或后门的成像部12104主要获得车辆12100的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图15示出成像部12101～12104的拍摄范围的实例。成像范围12111表示布置在前鼻的成像部12101的成像范围。成像范围12112和12113分别表示布置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示布置在后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101～12104成像的图像数据能够获得从上方观察的车辆12100的鸟瞰图像。
成像部12101～12104中的至少一个可具有获得距离信息的功能。例如，成像部12101～12104中的至少一个可以是由多个成像元件组成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，确定到成像范围12111～12114内的每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取最近三维对象作为前方车辆，该最近三维对象具体存在于车辆12100的行驶路径上并且以预定速度(例如，等于或大于0公里/小时)在与车辆12100基本相同的方向上行驶。此外，微型计算机12051能够预先设置要保持的距前方车辆的跟随距离，并且执行自动制动控制(包括跟随的停车控制)、自动加速度控制(包括跟随的起动控制)等。因此，能够执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，将关于三维对象的三维对象数据分类为二轮车辆、标准尺寸车辆、大型车辆、行人、电线杆以及其他三维对象的三维对象数据，提取所分类的三维对象数据，以用于障碍物的自动回避。例如，微型计算机12051辨别车辆12100周围的障碍物是车辆12100的驾驶员能视觉识别的障碍物，还是对于车辆12100的驾驶员难以视觉识别的障碍物。于是，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物发生碰撞的风险。在碰撞风险等于或高于设定值存在碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警报，并且经由驱动系统控制单元12010执行强制减速或回避转向。由此微型计算机12051能够协助驾驶以避免碰撞。
成像部12101～12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051能够通过确定在成像部12101～12104的成像图像中是否存在行人来识别行人。这种行人识别例如由下列程序执行：提取作为红外相机的成像部12101～12104的成像图像中的特性点的程序，以及通过在表示对象轮廓的一系列特性点上执行图案匹配处理来确定是否是行人的程序。当微型计算机12051确定在成像部12101～12104的成像图像中存在行人并且因此识别到行人时，声音/图像输出部12052控制显示部12062，使其显示叠加在所识别的行人用于强调所识别的行人的方形轮廓线。声音/图像输出部12052还可控制显示部12062，使其在期望的位置处显示表示行人的图标等。
上面已经描述了根据本公开的技术适用的车辆控制系统的实例。根据本公开的技术可以使用上述配置中的成像部12031作为传感器装置10来应用。
<<7.补充说明>>
上述本公开的实施例可以包括例如用于使计算机用作根据本实施例的传感器装置10、服务服务器20、用户装置30和聚合服务器50的计算机程序以及用该计算机程序编码的非暂时性有形介质。计算机程序可以通过诸如互联网的通信电路(包括无线通信)来分发。
前述实施例中的信息处理步骤不一定按指定顺序处理。例如，可以按照适当改变的顺序来处理这些步骤。这些步骤可以部分同时或离散地处理，而不是按时间顺序处理。这些步骤不一定根据指定的方法进行处理，而是例如可以由另一功能单元通过任何其他方法进行处理。
尽管上面已经参考附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于这些实例。显而易见的是，在本公开的技术领域中具有普通知识的人将会在不脱离权利要求中所述的技术思想的情况下想到各种变化和修改，并且应当理解，这些变化和修改理所当然地落入本公开的技术范围内。
在本说明书中描述的效果仅仅是解释性的或说明性的，而不是限制性的。除了上述效果之外或代替上述效果，根据本公开的技术可以实现从本说明书的公开内容中对本领域技术人员显而易见的其他效果。
本技术可以具有如下所述的配置。
(1)一种数据分发系统，包括：
一个或多个传感器装置，被配置为获取感测数据；以及
服务器，被配置为接受来自一个或多个请求程序的分发请求，请求程序请求分发能够从感测数据生成的预定数据，
传感器装置包括
传感器单元，被配置为获取感测数据，
模型获取器，被配置为从服务器获取对应于分发请求的识别模型，
识别器，被配置为基于识别模型识别所获取的感测数据是否适用于分发请求，
数据生成器，被配置为当感测数据适用于分发请求时，对感测数据执行对应于分发请求的处理，并生成预定数据，以及
传感器装置侧分发器，被配置为分发预定数据，
服务器包括
请求接受器，被配置为接受来自一个或多个请求程序的分发请求，模型生成器，被配置为生成对应于分发请求的识别模型，以及模型发送器，被配置为将生成的识别模型传输到传感器装置。
(2)根据(1)所述的数据分发系统，其中，模型生成器利用与由分发请求指定的对象相关的多个训练数据来执行机器学习，以生成用于识别包括在感测数据中的对象的识别模型。
(3)根据(2)所述的数据分发系统，其中，传感器装置还包括预处理器，预处理器被配置为根据识别模型预处理感测数据，并将预处理后的感测数据输出到识别器。
(4)根据(2)或(3)所述的数据分发系统，其中，数据生成器根据分发请求从感测数据中仅提取预定数据。
(5)根据(4)所述的数据分发系统，其中，预定数据包括对象的属性信息、数量信息、位置信息、状态信息、操作信息、周围环境信息和预测信息中的至少一个。
(6)根据(2)至(5)中任一项所述的数据分发系统，其中，分发请求包括关于对象的对象信息、关于预定数据的数据格式信息以及请求程序的标识信息。
(7)根据(1)至(6)中任一项所述的数据分发系统，其中，传感器装置侧分发器将预定数据分发给请求程序。
(8)根据(1)至(6)中任一项所述的数据分发系统，其中，
服务器还包括服务器侧分发器，服务器侧分发器被配置为将预定数据分发给请求程序，并且
传感器装置侧分发器将预定数据分发给服务器。
(9)根据(1)至(8)中任一项所述的数据分发系统，其中，
识别器包括多个识别节点，多个识别节点耦合，以能够彼此通信，并且协作来分级地执行识别，
识别节点至少包括
第一节点，接收感测数据，以基于所接收的感测数据的特征执行计算，并输出第一识别结果，
第二节点，接收第一识别结果，以基于所接收的第一识别结果的特征执行计算，并输出第二识别结果，以及
第三节点，接收第二识别结果，以基于所接收的第二识别结果的特征执行计算，并输出第三识别结果，并且
第一节点至第三节点基于包括在传输到第一节点至第三节点中的每一个的识别模型中的控制数据，动态地改变要执行的计算量。
(10)根据(9)所述的数据分发系统，其中，
第一节点根据第二节点的计算能力输出第一识别结果，并且
第二节点根据第三节点的计算能力输出第二识别结果。
(11)根据(9)或(10)所述的数据分发系统，其中，第一识别结果和第二识别结果中的至少一个与描述当前层的识别结果的元数据一起输出。
(12)根据(1)至(11)中任一项所述的数据分发系统，其中，传感器装置是成像装置、深度传感器、声音收集装置、温度计、湿度计和水位指示器中的至少一个。
(13)根据(1)至(11)中任一项所述的分发系统，其中，传感器装置是安装在移动体中的成像装置。
(14)根据(1)至(13)中任一项所述的数据分发系统，其中，
传感器装置还包括定位单元，
定位单元在获取适用于分发请求的感测数据时获取传感器装置的定位数据，并且
传感器装置侧分发器将预定数据与定位数据一起分发。
(15)根据(1)至(14)中任一项所述的数据分发系统，其中，
服务器还包括能力信息获取器，能力信息获取器被配置为获取指示传感器装置的能力的能力信息，并且
模型生成器基于能力信息生成识别模型。
(16)根据(1)至(15)中任一项所述的数据分发系统，还包括聚合服务器，其中，
传感器装置还包括
聚合器，被配置为聚合每个请求程序的预定数据的分发量，并生成聚合信息，以及
聚合信息发送器，聚合信息发送器被配置为向聚合服务器传输聚合信息，并且
聚合服务器还包括
聚合信息获取器，被配置为从传感器装置获取聚合信息，以及费用处理器，被配置为基于聚合信息确定数据使用费，并在传感器装置的管理员和每个请求程序之间交换数据使用费。
(17)根据(16)所述的数据分发系统，其中，
聚合信息发送器传输，
获取对应于预定数据的感测数据的日期和时间、预定数据的分发量、预定数据的数据格式、预定数据的请求程序的标识信息、传感器装置的标识信息以及传感器装置的管理员的标识中的至少一个，
作为聚合信息。
(18)根据(17)所述的数据分发系统，其中，费用处理器基于分发量和数据格式中的至少一个来确定数据使用费。
(19)一种传感器装置，包括：
传感器单元，被配置为获取感测数据；
模型获取器，被配置为从接受来自一个或多个请求程序的分发请求的服务器获取对应于分发请求的识别模型，请求程序请求分发能够从感测数据生成的预定数据；
识别器，被配置为基于识别模型来识别所获取的感测数据是否适用于分发请求；
数据生成器，被配置为当感测数据适用于分发请求时，对感测数据执行对应于分发请求的处理并生成预定数据；以及
传感器装置侧分发器，被配置为分发预定数据。
(20)一种服务器，包括：
请求接受器，被配置为接受来自请求分发预定数据的请求程序的分发请求；
模型生成器，被配置为生成识别模型，用于在传感器装置中识别由传感器装置获取的感测数据是否适用于分发请求；以及
模型发送器，被配置为将生成的识别模型传输到传感器装置。
附图标记列表
1、1a、1b 数据分发系统
10、10a、10b、10c 传感器装置
20、20a、20b 服务服务器
30、30a、30b、30c 用户装置
40 认证服务器
50 聚合服务器
100 传感器单元
110 定位单元
130、230、530 处理单元
132、232ID 发送器
134 密钥接收器
136 传感器数据获取器
138 预处理器
140 模型获取器
142 识别器
142a 输入层
142b 中间层
142c 输出层
144 数据生成器
146、246 分发器
148 聚合器
150 聚合信息发送器
160、260、560 存储单元
170、270、570 通信单元
234 请求接受器
236 能力信息获取器
238 模型生成器
238a 学习器
240 模型发送器
242 数据获取器
532 聚合信息获取器
534 费用处理器
600 对象
602 训练数据
610 识别模型。

Claims (18)

1.一种数据分发系统，包括：
一个或多个传感器装置，被配置为获取感测数据，所述传感器装置具有不同分辨率；以及
服务器，被配置为接受来自一个或多个请求程序的分发请求，所述请求程序请求分发数据，所述分发数据能够从所述感测数据生成并且所述分发数据的种类由所述分发请求确定，
每一个所述传感器装置被配置为接受所述分发请求并包括
传感器单元，被配置为获取所述感测数据，
模型获取器，被配置为从所述服务器获取对应于所述分发请求的识别模型，所述识别模型识别所获取的感测数据是否适合于作为提供由所述分发请求所请求的数据的基础而被定义，
识别器，被配置为，通过使用所述识别模型，根据预定标准识别所获取的感测数据是否适合于作为提供由所述分发请求所请求的数据的基础，
数据生成器，被配置为当根据预定标准所述感测数据适合于作为提供由所述分发请求所请求的数据的基础时，执行由所述分发请求所需要的生成处理，所述生成处理使用所述感测数据，并生成由所述分发请求所请求的数据，以及
传感器装置侧分发器，被配置为分发由所述分发请求所请求的生成的数据至已提供所述分发请求的所述一个或多个请求程序，
所述服务器包括
请求接受器，被配置为接受来自所述一个或多个请求程序的所述分发请求，
模型生成器，被配置为生成所述识别模型，所述识别模型识别所获取的感测数据是否适合于作为提供由所述请求接受器接受的所述分发请求所请求的数据的基础，其中，所述模型生成器包括学习器，所述学习器被配置为利用接收自所述一个或多个请求程序的与由所述分发请求指定的对象相关的多个训练数据来执行机器学习，以生成用于识别包括在所述感测数据中的所述对象的所述识别模型，以及
模型发送器，被配置为将生成的识别模型传输到所述一个或多个传感器装置。
2.根据权利要求1所述的数据分发系统，其中，所述传感器装置还包括预处理器，所述预处理器被配置为根据所述识别模型以格式、失真补偿水平、像素缺陷、白平衡、图像大小、色度、亮度、伽马、对比度、边缘增强水平、焦点、曝光水平、分辨率、动态范围、降噪水平等同于所述训练数据的方式预处理所述感测数据，所述预处理器还被配置为将预处理后的感测数据输出到所述识别器。
3.根据权利要求1所述的数据分发系统，其中，所述数据生成器从所述感测数据中提取所请求的数据。
4.根据权利要求3所述的数据分发系统，其中，所请求的数据包括所述对象的属性信息、数量信息、位置信息、状态信息、操作信息、周围环境信息和预测信息中的至少一个。
5.根据权利要求1所述的数据分发系统，其中，所述分发请求包括关于所述对象的对象信息、关于所请求的数据的数据格式信息以及所述请求程序的标识信息。
6.根据权利要求1所述的数据分发系统，其中，
所述服务器还包括服务器侧分发器，所述服务器侧分发器被配置为将所请求的数据分发给所述请求程序，并且
所述传感器装置侧分发器将所请求的数据分发给所述服务器。
7.根据权利要求1所述的数据分发系统，其中，
所述识别器包括多个识别节点，所述多个识别节点耦合，以能够彼此通信，并且协作来分级地执行识别，
所述识别节点至少包括
第一节点，接收所述感测数据，以基于所接收的感测数据的特征执行计算，并输出第一识别结果，
第二节点，接收所述第一识别结果，以基于所接收的第一识别结果的特征执行计算，并输出第二识别结果，以及
第三节点，接收所述第二识别结果，以基于所接收的第二识别结果的特征执行计算，并输出第三识别结果，并且
所述第一节点至所述第三节点基于包括在传输到所述第一节点至所述第三节点中的每一个的所述识别模型中的控制数据，动态地改变要执行的计算量。
8.根据权利要求7所述的数据分发系统，其中，
所述第一节点输出所述第一识别结果，使得所述第一识别结果适合于所述第二节点的计算能力，并且
所述第二节点输出所述第二识别结果，使得所述第二识别结果适合于所述第三节点的计算能力。
9.根据权利要求7所述的数据分发系统，其中，所述第一识别结果和所述第二识别结果中的至少一个与描述当前层的识别结果的元数据一起输出。
10.根据权利要求1所述的数据分发系统，其中，所述传感器装置是成像装置、深度传感器、声音收集装置、温度计、湿度计和水位指示器中的至少一个。
11.根据权利要求1所述的数据分发系统，其中，所述传感器装置是安装在移动体中的成像装置。
12.根据权利要求1所述的数据分发系统，其中，
所述传感器装置还包括定位单元，
所述定位单元在获取适用于所述分发请求的所述感测数据时获取所述传感器装置的定位数据，并且
所述传感器装置侧分发器将所请求的数据与所述定位数据一起分发。
13.根据权利要求1所述的数据分发系统，其中，
所述服务器还包括能力信息获取器，所述能力信息获取器被配置为获取指示所述传感器装置的感测能力和计算能力的能力信息，并且
所述模型生成器基于由所述能力信息获取器获取的所述能力信息生成所述识别模型。
14.根据权利要求1所述的数据分发系统，还包括聚合服务器，其中，
所述传感器装置还包括
聚合器，被配置为聚合每个所述请求程序的所请求的数据的分发量，并生成聚合信息，以及
聚合信息发送器，所述聚合信息发送器被配置为向所述聚合服务器传输所述聚合信息，并且
所述聚合服务器还包括
聚合信息获取器，被配置为从所述传感器装置获取所述聚合信息，以及
费用处理器，被配置为基于所述聚合信息确定数据使用费，并在所述传感器装置的管理员和每个请求程序之间交换所述数据使用费。
15.根据权利要求14所述的数据分发系统，其中，
所述聚合信息发送器将对应于所请求的数据的所述感测数据被获取的日期和时间、所请求的数据的所述分发量、所请求的数据的数据格式、所请求的数据的所述请求程序的标识信息、所述传感器装置的标识信息以及所述传感器装置的管理员的标识中的至少一个，作为所述聚合信息，用于传输。
16.根据权利要求15所述的数据分发系统，其中，所述费用处理器基于所述分发量和所述数据格式中的至少一个来确定所述数据使用费。
17.一种传感器装置，包括：
传感器单元，被配置为获取感测数据并被配置为接受分发请求；
模型获取器，被配置为从接受来自一个或多个请求程序的分发请求的服务器获取对应于所述接受的分发请求的识别模型，所述请求程序请求分发数据，所述分发数据能够从所述感测数据生成，所述识别模型识别所获取的感测数据是否适合于作为提供由所述分发请求所请求的数据的基础而被定义；
识别器，被配置为，通过使用所述识别模型，根据预定标准识别所获取的感测数据是否适合于作为提供由所述分发请求所请求的数据的基础；
数据生成器，被配置为当根据预定标准所述感测数据适合于作为提供由所述分发请求所请求的数据的基础时，执行由所述分发请求所需要的生成处理，所述生成处理使用所述感测数据，并生成由所述分发请求所请求的数据；以及
传感器装置侧分发器，被配置为分发由所述分发请求所请求的生成的数据至已提供所述分发请求的所述一个或多个请求程序。
18.一种服务器，被配置为耦接至一个或多个请求程序以及具有不同分辨率的传感器装置；以及
所述服务器包括：
请求接受器，被配置为接受来自请求分发数据的请求程序的分发请求，所述分发数据能够由耦接至所述服务器的所述一个或多个传感器装置提供的感测数据中生成，所述分发数据的种类由所述分发请求确定；
模型生成器，被配置为生成识别模型，所述识别模型用于在耦接至所述服务器的传感器装置中识别所获取的感测数据是否适合于作为提供由所述请求接受器接受的所述分发请求所请求的数据的基础，其中，所述模型生成器包括学习器，所述学习器被配置为利用接收自所述一个或多个请求程序的与由所述分发请求指定的对象相关的多个训练数据来执行机器学习，以生成用于识别包括在所述感测数据中的所述对象的所述识别模型；以及
模型发送器，被配置为将生成的识别模型传输到耦接至所述服务器的所述一个或多个传感器装置。
CN201980072258.3A 2018-11-13 2019-11-12 数据分发系统、传感器装置和服务器 Active CN112997211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410262171.5A CN118153709A (zh) 2018-11-13 2019-11-12 数据分发系统、传感器装置和服务器

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862760234P 2018-11-13 2018-11-13
US62/760,234 2018-11-13
US201962869749P 2019-07-02 2019-07-02
US62/869,749 2019-07-02
PCT/JP2019/044439 WO2020100922A1 (ja) 2018-11-13 2019-11-12 データ配信システム、センサデバイス及びサーバ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410262171.5A Division CN118153709A (zh) 2018-11-13 2019-11-12 数据分发系统、传感器装置和服务器

Publications (2)

Publication Number Publication Date
CN112997211A CN112997211A (zh) 2021-06-18
CN112997211B true CN112997211B (zh) 2024-04-05

Family

ID=70730703

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410262171.5A Pending CN118153709A (zh) 2018-11-13 2019-11-12 数据分发系统、传感器装置和服务器
CN201980072258.3A Active CN112997211B (zh) 2018-11-13 2019-11-12 数据分发系统、传感器装置和服务器

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410262171.5A Pending CN118153709A (zh) 2018-11-13 2019-11-12 数据分发系统、传感器装置和服务器

Country Status (5)

Country Link
US (1) US20210264164A1 (zh)
JP (2) JP7420734B2 (zh)
KR (1) KR20210090624A (zh)
CN (2) CN118153709A (zh)
WO (1) WO2020100922A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11125575B2 (en) * 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
JPWO2022059341A1 (zh) 2020-09-18 2022-03-24
US20230368049A1 (en) 2020-09-29 2023-11-16 Sony Semiconductor Solutions Corporation Information processing system and information processing method
JP7452374B2 (ja) * 2020-10-20 2024-03-19 株式会社Soken 物体検知装置および物体検知プログラム
WO2022262932A1 (en) * 2021-06-14 2022-12-22 Robert Bosch Gmbh Operating unit, surveillance network, method computer program and storage medium
JP2023063792A (ja) * 2021-10-25 2023-05-10 キヤノン株式会社 電子機器、情報処理システム、制御方法、およびプログラム
WO2023195247A1 (ja) * 2022-04-06 2023-10-12 ソニーセミコンダクタソリューションズ株式会社 センサ装置、制御方法、情報処理装置、情報処理システム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1805349A (zh) * 2005-01-14 2006-07-19 株式会社日立制作所 传感器网络系统、传感器数据的检索方法及程序
CN101071447A (zh) * 2006-03-06 2007-11-14 索尼株式会社 检索系统、摄像装置、数据保存装置及信息处理装置
CN102801957A (zh) * 2011-05-24 2012-11-28 三星泰科威株式会社 监视系统
CN105574506A (zh) * 2015-12-16 2016-05-11 深圳市商汤科技有限公司 基于深度学习和大规模集群的智能人脸追逃系统及方法
JP2016197314A (ja) * 2015-04-03 2016-11-24 株式会社日立製作所 運転支援システム、運転支援装置及び運転支援方法
KR20170039465A (ko) * 2015-10-01 2017-04-11 부산대학교 산학협력단 실시간 목표 탐지에 의한 교통 정보 수집 시스템 및 방법
CN107042824A (zh) * 2015-10-23 2017-08-15 哈曼国际工业有限公司 用于检测车辆中的意外事件的系统和方法
CN107770486A (zh) * 2016-08-17 2018-03-06 韩华泰科株式会社 事件搜索设备和系统
CN107844551A (zh) * 2017-10-30 2018-03-27 深圳市天地网电子有限公司 一种基于共享相机的图像获取方法和系统
CN107925701A (zh) * 2015-08-28 2018-04-17 三星电子株式会社 对于应用的事件通知

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2569123C1 (ru) * 2012-09-12 2015-11-20 Омрон Корпорейшн Устройство генерации команды управления потоком данных и устройство управления датчиками
KR20180023326A (ko) * 2016-08-25 2018-03-07 삼성전자주식회사 전자 장치 및 이미지 센서로부터 획득된 이미지를 어플리케이션으로 전달하기 위한 방법
WO2018084577A1 (en) * 2016-11-03 2018-05-11 Samsung Electronics Co., Ltd. Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
US20180151039A1 (en) * 2016-11-28 2018-05-31 Ring Inc. Neighborhood Security Cameras
US11783010B2 (en) * 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US11670089B2 (en) * 2021-06-03 2023-06-06 Not A Satellite Labs, LLC Image modifications for crowdsourced surveillance
US11810361B2 (en) * 2021-06-25 2023-11-07 Western Digital Technologies, Inc. Site-based calibration of object detection parameters
EP4290472A1 (en) * 2022-06-07 2023-12-13 Nokia Technologies Oy Object identification
US20240005661A1 (en) * 2022-06-30 2024-01-04 Amazon Technologies, Inc. User-customized computer vision event detection

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1805349A (zh) * 2005-01-14 2006-07-19 株式会社日立制作所 传感器网络系统、传感器数据的检索方法及程序
CN101071447A (zh) * 2006-03-06 2007-11-14 索尼株式会社 检索系统、摄像装置、数据保存装置及信息处理装置
CN102801957A (zh) * 2011-05-24 2012-11-28 三星泰科威株式会社 监视系统
JP2016197314A (ja) * 2015-04-03 2016-11-24 株式会社日立製作所 運転支援システム、運転支援装置及び運転支援方法
CN107925701A (zh) * 2015-08-28 2018-04-17 三星电子株式会社 对于应用的事件通知
KR20170039465A (ko) * 2015-10-01 2017-04-11 부산대학교 산학협력단 실시간 목표 탐지에 의한 교통 정보 수집 시스템 및 방법
CN107042824A (zh) * 2015-10-23 2017-08-15 哈曼国际工业有限公司 用于检测车辆中的意外事件的系统和方法
CN105574506A (zh) * 2015-12-16 2016-05-11 深圳市商汤科技有限公司 基于深度学习和大规模集群的智能人脸追逃系统及方法
CN107770486A (zh) * 2016-08-17 2018-03-06 韩华泰科株式会社 事件搜索设备和系统
CN107844551A (zh) * 2017-10-30 2018-03-27 深圳市天地网电子有限公司 一种基于共享相机的图像获取方法和系统

Also Published As

Publication number Publication date
JP7420734B2 (ja) 2024-01-23
KR20210090624A (ko) 2021-07-20
US20210264164A1 (en) 2021-08-26
EP3882845A1 (en) 2021-09-22
JP2024041897A (ja) 2024-03-27
JPWO2020100922A1 (ja) 2021-10-07
WO2020100922A1 (ja) 2020-05-22
CN118153709A (zh) 2024-06-07
CN112997211A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112997211B (zh) 数据分发系统、传感器装置和服务器
US11217012B2 (en) System and method for identifying travel way features for autonomous vehicle motion control
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2018229549A2 (en) System and method for digital environment reconstruction
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20210191424A1 (en) Camera-sensor fusion module for surface detection and fleet vehicle control systems and methods
CN112115857B (zh) 智能汽车的车道线识别方法、装置、电子设备及介质
CN113205088B (zh) 障碍物图像展示方法、电子设备和计算机可读介质
WO2021002368A1 (ja) 安全性能評価装置、安全性能評価方法、情報処理装置、及び情報処理方法
EP4250267A1 (en) Vehicle of interest detection by autonomous vehicles based on amber alerts
WO2023023336A1 (en) Detected object path prediction for vision-based systems
WO2020203240A1 (ja) 情報処理装置および情報処理方法
US20220092313A1 (en) Method for deep neural network functional module deduplication
US20230319397A1 (en) Information processing apparatus, information processing method, and program
US20240177418A1 (en) Mixed reality-based display device and route guide system
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
US20220198262A1 (en) Method, apparatus, and computer program product for surveillance of road environments via deep learning
CN114842455A (zh) 障碍物检测方法、装置、设备、介质、芯片及车辆
CN114913329A (zh) 一种图像处理方法、语义分割网络的训练方法及装置
US11544899B2 (en) System and method for generating terrain maps
US20230290137A1 (en) Information processing apparatus, information processing method, and program
US11262206B2 (en) Landmark based routing
US20230298350A1 (en) Vehicle identification system
US20230061846A1 (en) Driver classification systems and methods for obtaining an insurance rate for a vehicle
CN118103883A (zh) 基于视觉的系统的检测到的对象路径预测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant