CN112214470A - 数据获取装置与数据运算系统及方法 - Google Patents

数据获取装置与数据运算系统及方法 Download PDF

Info

Publication number
CN112214470A
CN112214470A CN201910747542.8A CN201910747542A CN112214470A CN 112214470 A CN112214470 A CN 112214470A CN 201910747542 A CN201910747542 A CN 201910747542A CN 112214470 A CN112214470 A CN 112214470A
Authority
CN
China
Prior art keywords
data
scene
machine learning
learning model
data acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910747542.8A
Other languages
English (en)
Inventor
陈志明
陈延川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN112214470A publication Critical patent/CN112214470A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/59—Providing operational support to end devices by off-loading in the network or by emulation, e.g. when they are unavailable
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Abstract

本发明提供了一种数据获取装置与数据运算系统及方法。数据获取装置传送传感数据至运算装置，而自运算装置接收对应当下场景的机器学习模型与函式库。数据获取装置运行机器学习模型而自传感数据获取出特征数据，并运行函式库藉以转换需求为服务任务，之后传送特征数据与服务任务。

Description

数据获取装置与数据运算系统及方法
技术领域
本发明是有关于一种收集数据并进行运算的机制，且特别是有关于一种数据获取装置与数据运算系统及方法。
背景技术
传统的智能相机(Smart Camera)本身为独立运算，没有其他电脑和云端服务器器的辅助，因而需要具有能够进行大量运算的能力。并且，由于传统的智能相机将软体烧录在固件上，因此除非更新固件否则无法改变功能。据此，传统智能相机需要做大量运算，导致硬件设计复杂、成本高昂，而且能提供的功能没有弹性。
发明内容
本发明提供一种数据获取装置与数据运算系统及方法，可降低数据获取装置的成本。
本发明实施例提出一种数据获取装置，包括：传感器，获得传感数据；第一处理电路，耦接传感器，并运行对应当下场景的机器学习模型而自传感数据获取出对应当下场景的特征数据；以及第二处理电路，耦接第一处理电路，并运行对应当下场景的函式库，藉以转换对应机器学习模型的需求(requirement)为服务任务(service task)，并且通过通信芯片传送服务任务与特征数据。
本发明实施例提出一种数据运算系统，包括：运算装置以及数据获取装置。数据获取装置包括：传感器，获得传感数据；第一通信芯片，传送传感数据至运算装置；第一处理电路，耦接传感器以及第一通信芯片；以及第二处理电路，耦接第一通信芯片以及第一处理电路。运算装置包括：第二通信芯片，与第一通信芯片建立通信连结，以自数据获取装置接收传感数据；以及处理器，耦接至第二通信芯片。在运算装置中，处理器判断传感数据的场景是否已变换，并且响应于确定传感数据的场景已变换，处理器选择对应于当下场景的机器学习模型，并且基于当下场景决定函式库(library)，之后，处理器通过通信连结将机器学习模型与函式库部署至数据获取装置。在将机器学习模型与函式库部署至数据获取装置之后，第一处理电路运行机器学习模型而自传感数据获取出对应当下场景的特征数据，第二处理电路运行函式库，藉以将机器学习模型对应的需求转换为数据端的服务任务，并且通过第一通信芯片传送数据端的服务任务与特征数据。
本发明实施例提出一种数据运算方法，包括：由数据获取装置获得传感数据，并传送传感数据至运算装置；通过运算装置判断传感数据的场景是否已变换；在确定传感数据的场景已变换时，通过运算装置选择对应于当下场景的机器学习模型，并且基于当下场景决定函式库；通过运算装置将机器学习模型与函式库部署至数据获取装置；通过数据获取装置运行机器学习模型而自传感数据获取出对应当下场景的特征数据，并且运行函式库藉以将机器学习模型对应的需求转换为服务任务，并且传送特征数据以及服务任务。
基于上述，本发明通过在运算装置先运算出要部署至数据获取装置的数据，再将所述数据部署至数据获取装置。如此一来，数据获取装置便可以使用简单且便宜的通用化硬件来实现，提供更大的弹性。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1是依照本发明一实施例的数据运算系统的方块图。
图2是依照本发明一实施例的运算装置的方块图。
图3是依照本发明一实施例的场景检测方法的流程图。
图4是依照本发明一实施例的云端服务器装置的方块图。
图5是依照本发明一实施例的云端服务器装置的服务协商的说明示意图。
图6是依照本发明一实施例的数据运算方法的流程图。
附图标记：
100：数据运算系统
100A：云端服务器装置
100B：运算装置
100C：数据获取装置
100D：网络
110：传感器
120、170：通信芯片
130：第一处理电路
140：第二处理电路
150、180：存储装置
151、205、403：分布式账本
160：处理器
201：场景检测模块
202：服务API管理器
203：API转换器
204：智能合约
206、405：操作记录
S301～S304：场景检测方法的各步骤
401、S1：排程器
402、R2：资源管理器
404：预测结果数据库
406：知识库
JI：服务任务
J2：第一终端任务
J3：第二终端任务
R1：来源资源
R3：终端资源
S605～S625：数据运算方法的各步骤
具体实施方式
图1是依照本发明一实施例的数据运算系统的方块图。请参照图1，数据运算系统100包括云端服务器装置100A、运算装置100B以及数据获取装置100C。云端服务器装置100A、运算装置100B以及数据获取装置100C是通过网络100D来相互沟通。
云端服务器装置100A例如是由一或数台服务器器主机组成。运算装置100B为具有运算能力的一般电子装置，例如为个人电脑、笔记型电脑等。而数据获取装置100C为简单便宜的通用化硬件，主要用来收集数据。数据获取装置100C为边缘装置(edge device)，例如为摄像装置、数字相机等。
数据获取装置100C通过传感器110来收集传感数据，之后将所收集的传感数据传送至运算装置100B，由运算装置100B来运算出数据获取装置100C所收集的传感数据对应使用的机器学习模型(machine learning model)以及函式库(例如为执行时函式库(runtimelibrary))。接着，运算装置100B将机器学习模型以及函式库部署至数据获取装置100C。而数据获取装置100C在部署完毕后，自所收集的传感数据获取特征数据，并将特征数据传送至云端服务器装置100A，由云端服务器装置100A来分析特征数据。如此一来，数据获取装置100C可以使用简单便宜的通用化硬件，提供更大的弹性。
数据获取装置100C包括传感器110、通信芯片120、第一处理电路130、第二处理电路140以及存储装置150。传感器110用以获得传感数据。传感器110例如为移动传感器、影像传感器、声音传感器、烟雾传感器、光线传感器以及臭氧浓度传感器至少其中一个。通信芯片120耦接至第一处理电路130与第二处理电路140。通过通信芯片120传送传感数据至运算装置100B，并且自运算装置100B接收对应于传感数据的机器学习模型与函式库。
在本实施例中，假设数据获取装置100C只获取视频流(video stream)或音频流(audio stream)，则配置一个影像传感器或一个声音传感器来作为传感器110即可。在其他实施例中，倘若数据获取装置100C设置为同时获取视频流以及音频流，则配置一个影像传感器和一个声音传感器来作为传感器110。故，传感器110的数量可以视需求设置，在此并不限制。
第一处理电路130耦接至传感器110、存储装置150以及通信芯片120。第二处理电路140耦接通信芯片120、存储装置150以及第一处理电路130。在对数据获取装置100C部署完成之后，由第一处理电路130负责运行机器学习模型而自传感数据获取出特征数据，并通过通信芯片120传送特征数据至云端服务器装置100A。并且，由第二处理电路140负责运行服务应用程序编程接口管理器(Service API Management，API：application programminginterface)的函式库，藉以转换需求(requirement)为服务任务(service task)，并且通过通信芯片120传送服务任务至云端服务器装置100A。
所述需求所指为用以执行指定场景的应用程序的使用者的需求。例如，指定场景包括「人脸识别」、「语音识别」以及「动作定位」三种场景。倘若传感数据包括用于进行人脸识别的场景，则运行人脸识别的应用程序所对应的需求是效能高和成本低；倘若传感数据包括用于进行语音识别的场景，则运行语音识别的应用程序所对应的需求是效能低和高安全性；倘若传感数据包括用于进行动作定位的场景，则运行动作定位的应用程序所对应的需求是效能高和准确性高。上述需求仅为举例说明，并不以此为限。
底下举例来说明。假设用于进行人脸识别的应用程序的使用者在效能(performance)、成本、安全性或其他服务指标(service metric)的品质中最在意的是效能高和成本低。所述效能高例如为每秒显示影格数(Frame per Second，FPS)大于15，且所述成本低设定为识别费用小于1元美金。第二处理电路140可以将上述需求翻译成下述服务任务，即，“face recognition$performance:FPS>15&cost:recognition fee<USD 1”。之后，将服务任务传送至云端服务器装置100A，让云端服务器装置100A中的排程器找出具有相对应资源能力的资源，来满足所述对应效能和成本的需求。因此，经过函式库的转换后云端服务器装置能依服务任务快速识别实际需求，并分配相应的资源。
在此，第一处理电路130与第二处理电路140可以分别用一个专属的系统单芯片(System on Chip，SoC)来完成。例如，以Intel的Movidius芯片来实现第一处理电路130，以ARM的多核心处理器(multi core processor)来实现第二处理电路140。或者，使用一个系统单芯片，在其运行两个核心(core)来分别实现第一处理电路130与第二处理电路140。
通信芯片120例如为网络卡、WiFi芯片、行动通信芯片等。存储装置150例如是任意型式的固定式或可移动式随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash memory)、安全数字卡(Secure DigitalMemory Card，SD)、硬盘或其他类似装置或这些装置的组合。在存储装置150中包括有分布式账本(distributed ledger)151。数据获取装置100C可通过通信芯片120自云端服务器装置100A接收虚拟货币或执行记录，并存储虚拟货币或执行记录至分布式账本151。所述虚拟货币例如为IOTA密码货币，所述执行记录为云端服务器装置100A运行每个任务的执行状况、响应时间或结果完整性的记录，可供数据获取装置100C后续追踪或作为对特定服务收费或付费的依据。
分布式账本151是分布在多个节点或运算机装置上的数据库，这些节点在地理上分布在多个网站、机构或国家。每个节点复制并存储相同的账本副本，账本中的数据共享。分布式账本151最突出的特征是其不由任何单个机构或个人维护，而是由网络中的每个节点单独构建和记录。也就是说，在运算装置100B与云端服务器器100A中亦包括有分布式账本(后续说明)。
运算装置100B包括处理器160、通信芯片170以及存储装置180。通信芯片170用以与数据获取装置100C的通信芯片120建立通信连结，或与云端服务器器100A连结。处理器160耦接至通信芯片170。处理器160例如为中央处理单元(Central Processing Unit，CPU)、图像处理单元(Graphic Processing Unit，GPU)、物理处理单元(PhysicsProcessing Unit，PPU)、可编程的微处理器(Microprocessor)、嵌入式控制芯片、数字信号处理器(Digital Signal Processor，DSP)、特殊应用集成电路(Application SpecificIntegrated Circuits，ASIC)或其他类似装置。通信芯片170例如为网络卡、WiFi芯片、行动通信芯片等。
存储装置180例如是任意型式的固定式或可移动式随机存取存储器、只读存储器、快闪存储器、安全数字卡、硬盘或其他类似装置或这些装置的组合。存储装置180中存储有多个程序代码片段，上述程序代码片段在被安装后，会由处理器160来执行，以实现下述数据运算方法。
即，在通过网络100D接收到数据获取装置100C传送过来的传感数据之后，处理器160判断传感数据的场景是否已变换。例如，以传感数据为视频数据与声音数据为例，设定「人脸识别」、「语音识别」以及「动作定位」三种场景。然，所述三种场景仅为方便说明，在此并不限制场景的种类及数量，亦可包括「汽车声识别」场景以及「尖叫声识别」场景。处理器160分析视频数据与声音数据来判断数据的内容符合哪一种场景。在确定传感数据的场景已变换时，处理器160选择对应于变换后场景的机器学习模型，并且基于机器学习模型决定函式库，之后，处理器160通过通信芯片170与通信芯片120之间所建立的通信连结，将机器学习模型与函式库部署至数据获取装置100C。
所述函式库为对应所检测到的场景。例如，「人脸识别」的场景所使用的函式库具有将针对「人脸识别」的需求转换成对应的服务任务的能力。
图2是依照本发明一实施例的运算装置的方块图。请参照图2，运算装置100B的存储装置180所存储的多个程序代码片段提供了下述模块，即，场景检测模块201、服务API管理器202以及分布式账本205。
场景检测模块201用以分析传感数据中的场景，以判断场景是否变换。具体而言，场景检测模块201自传感数据中获取出场景语意特征，再跟事先收集来的少量已知场景样本的场景语意特征一起输入至转导支持向量机(Transductive Support Vector Machine)以便分类出场景。
底下举例来说明场景检测模块201执行场景检测方法的各步骤。图3是依照本发明一实施例的场景检测方法的流程图。请参照图3，在步骤S301中，获取场景语意特征。具体而言，通过深度语意匹配模型(Deep Semantic Similarity Model，DSSM)里面的语意特征抽取层(Semantic Feature Layer)自多个(较少量)已知场景样本中获取第一场景语意特征，并且自多个(较大量)尚未标注场景的未知场景样本(例如为从传感器110接收的数据)中获取第二场景语意特征。在此，「已知场景样本」例如是事先收集来的少量的视频/音频样本(例如为一段视频片段或者音频片段)，其已标注对应的场景。例如，通过人工来对事先收集来的已知场景样本进行标注。假设已知场景样本中包括人脸进来镜头再出去的场景，则将其标注为「人脸识别」的场景。以此类推，事先对少量的已知场景样本进行标注。而「未标注场景的未知场景样本」为自数据获取装置100C所取得的传感数据。
另外，在传感数据为视频流或音频流的情况下，由于运算装置100B会不断接收到连续的视频流或音频流，因此，场景检测模块201可以使用视频运动检测(video motiondetection)或语音活动检测(voice activity detection)的方法，从连续的视频流或音频流来切出一段视频片段或音频片段。之后，再从视频片段或音频片段来获取出场景语意特征(第二场景语意特征)。于另一实施例中，传感器110可包括一移动检测传感器，第一处理电路130响应于移动检测传感器检测到物体移动时，控制传感器110获取视频片段或音频片段。在视频流或音频流持续传送到运算装置100B的情况下，无法得知视频流或音频流的开始时间与结束时间，则会导致数据量过大而无法运算。据此，设定利用视频运动检测或语音活动检测的方法可以解决数据量过大无法运算的问题，从而将视频片段或音频片段传送到运算装置100B。
在步骤S302中，产生多个建议场景。例如，将训练好的场景语意特征来比对第一场景语意特征与第二场景语意特征，借此来获得对应第一场景语意特征与第二场景语意特征的多个建议场景。接着，在步骤S303中，对所述建议场景(关联于第一场景语意特征或第二场景语意特征)执行非极大值抑制(Non-Maximum suppression)，借此过滤所述建议场景。即，将可能的多个建议场景依照发生信心度排序，挑信心度大于门槛值的建议场景。并且，如果有多个建议场景的信心度大于门槛值，则可从多个信心度大于门槛值的建议场景中挑选出时间最晚的建议场景，以代表从连续的视频流或音频流中切出一段视频片段或音频片段所对应到的当下场景。
在于步骤S303中过滤掉不可能、不相关、不够好的建议场景之后，基于过滤后的建议场景，自所述已知场景样本与所述未知场景样本中进行筛选，进而保留具有信心度高的建议场景对应的未知场景样本、已知场景样本。之后，在步骤S304中，将对应所述过滤后的建议场景的已知场景样本以及未知场景样本两者的语意特征输入转导支持向量机，借此获得(分类、识别出)传感数据对应的场景。然后，基于先前场景来判断场景是否已变换。在此，倘若先前接收的传感数据未检测到场景，而在检测到场景时，也会判定场景已变换。
返回图2，服务API管理器202包括API转换器203以及智能合约(Smart Contract)204。分布式账本205包括操作记录(operation log)206。
API转换器203负责把需求翻译成服务任务。所述需求所指为用以执行指定场景的应用程序的使用者的需求。API转换器203将需求翻译成服务任务之后，将服务任务传送至云端服务器装置100A，让云端服务器装置100A中的排程器找出具有相对应能力的资源来满足所述需求。
智能合约204是一种存在于区块链上的程序。智能合约204可以接受且发送虚拟货币，而执行的细节则可以在合约里面定义。智能合约204负责检查操作记录206以查看是否强制执行服务级别协定(Service Level Agreement，SLA)，确保网络性能保持在可接受的水平。在此，操作记录206可为运算装置100B的操作记录或云端服务器装置100A回馈的操作记录。例如，为后续的网络进行准备、判断目前网络的效能等等。由于所有资源提供者都在相同的分布式账本上，智能合约204更容易进行SLA检查。倘若智能合约204检查操作记录206发现不符合SLA，则智能合约204会发送一SLA回馈给云端服务器装置100A中对应的资源提供者(resource provider)，以使其对资源进行必要的调整。
另外，在数据获取装置100C中，第二处理电路140也可以读取分布式账本151中的操作记录，并且发送SLA回馈给云端服务器装置100A中对应的资源提供者。
运算装置100B会进一步利用对应当下场景的机器学习模型自传感数据获取特征数据(运算端的特征数据)以及利用对应当下场景的函式库转换需求为运算端的服务任务，并将服务任务传送至云端服务器装置100A，而由云端服务器装置100A来执行服务协商以及执行后续的分析与预测，借此来确定运算端的服务任务是可行的。在确认运算端的服务任务是可行的之后，通过运算装置100B将机器学习模型以及函式库部署至数据获取装置100C。
图4是依照本发明一实施例的云端服务器装置的方块图。请参照图4，云端服务器装置100A提供了排程器401、资源管理器402、分布式账本403以及知识库406。排程器401例如被设计为用以呈现任务服务级别协定(Task Service Level Agreement，TSLA)接口，以协商服务任务的执行。资源管理器402例如被设计为用以呈现资源服务级别协定(ResourceService Level Agreement，RSLA)接口，以协商资源消耗的权利。排程器401在转发服务任务之前必须获得资源管理器402的承诺，以便获得能执行服务任务时需要的资源，同时，服务任务对应的处理能够获得在指定的时间内完成的信心。
分布式账本403被用来确保SLA有被落实，其包括操作记录405以及预测结果数据库404。排程器401和资源管理器402把操作记录405写入分布式账本403。在运算装置100B中，服务API管理器202可以从分布式账本205读出操作记录206做SLA的分析，然后发送SLA回馈给云端服务器装置100A做必要的调整。知识库406中存储了多个机器学习模型以及对应的多个函式库。预测结果数据库404中用来存储分类后的结果(classification result)或是回归结果(regression result)。于另一实施例中，知识库406更存有多个机器学习模型对应的特定配置，特定配置包含使用资源的数目与顺序，以让排程器根据特定配置执行服务任务。
图5是依照本发明一实施例的云端服务器装置的服务协商的说明示意图。请参照图5，排程器S1(对应于图4的排程器401)呈现为TSLA接口。资源管理器R2(对应于图4的资源管理器402)呈现为RSLA接口。来源资源R1与终端资源R3呈现为RSLA接口。
由运算装置100B或数据获取装置100C提交服务任务J1至排程器S1。排程器S1在接收服务任务J1之后，选择与服务任务J1对应的机器学习模型来作为资源管理器R2，并且确保资源管理器R2的来源资源R1与终端资源R3的数据预留(data reservation)。在此，来源资源R1为特征数据，终端资源R3为预测结果数据库。
排程器S1负责将服务任务J1分成第一终端任务J2以及第二终端任务J3。这是因为服务任务J1需要跟资源管理器R2的两个端点(来源资源R1与终端资源R3)通知，因此将服务任务J1分成第一终端任务J2以及第二终端任务J3。而排程器S1在执行第一终端任务J2以及第二终端任务J3之前，必须先确保资源管理器R2的来源资源R1与终端资源R3的数据预留。
在排程器S1确认来源资源R1与终端资源R3的数据预留之后，排程器S1执行第一终端任务J2，将来源资源R1(特征数据)输入至资源管理器R2(机器学习模型)，并且将资源管理器R2的输出传送至终端资源R3(预测结果数据库)。并且，排程器S1执行第二终端任务J3，要求终端资源R3(预测结果数据库)向排程器S1回报结果。
另外，在有两个场景的情况下，会对应地具有两个需求。每一个需求会被转换为一个服务任务。对于每一个服务任务，排程器S1会独立指派资源。因此，多个服务任务之间没有先后顺序。
返回图4，分布式账本403还进一步存储有数据获取装置100C的装置识别码、使用者识别码。使用者通过分布式账本403进行验证，在验证通过之后便可存取预测结果数据库404。分布式账本403会对使用者的使用进行运算，以便于计费。在一实施例中，使用IOTA密码货币。例如，假设应用程序的开发商使用了预测结果数据库404中的数据，便会进行收费。
当使用者被授权存取「人脸识别」的分类结果，则使用者便能够知道经过由特定的数据获取装置100C所监控的区域所经过的人。云端服务器装置100A提供了一个分润(profit sharing)的商业模式。即，一旦使用者付费(虚拟货币)给云端服务器装置100A，以使用预测结果数据库404中的数据来创建应用程序，则云端服务器装置100A便会回馈虚拟货币至数据获取装置100C的分布式账本151。据此，使用者通过设置数据获取装置100C来收集传感数据，进而可获得金钱上的回馈，如此一来可鼓励使用者购买多个数据获取装置来收集传感数据。
底下搭配图1～图5来说明数据运算方法的各步骤。图6是依照本发明一实施例的数据运算方法的流程图。请参照图6，在步骤S605中，由数据获取装置100C获得传感数据，并传送传感数据至运算装置100B。接着，在步骤S610中，通过运算装置100B判断传感数据的场景是否已变换。场景检测方法可参照上述图3的步骤S301～步骤S304的描述。
数据获取装置100C会持续传送传感器110所收集的传感数据至运算装置100B，通过运算装置100B来判断目前的传感数据的场景是否已经变换，以在确定场景改变时，重新布署数据获取装置100C的第一处理电路130以及第二处理电路140。而在检测到场景并未改变时，便不需要重新布署数据获取装置100C。
在步骤S615中，在确定传感数据的场景已变换时，通过运算装置100B选择对应于当下场景的机器学习模型，并且基于当下场景决定函式库。进一步地说，运算装置100B在通过场景检测模块201检测到场景发生变化的情况下，通过API转换器203来发送服务任务(运算端的服务任务)，并且在服务任务的标头中记录检测到的场景对应的机器学习模型。例如，「人脸识别」场景对应的机器学习模型为FaceNet模型。「语音识别」场景的机器学习模型为自动语音识别(Automatic Speech Recognition)模型；「动作定位」场景的机器学习模型为单一串流时序动作建议(Single-Stream Temporal Action Proposals)模型。
此外，运算装置100B还会进一步将自传感数据获取的特征数据(运算端的特征数据)传送至云端服务器装置100A。
云端服务器装置100A在自运算装置100B接收到运算端的服务任务与运算端的特征数据之后，排程器401根据标头记录的机器学习模型，自知识库406中提取中对应的机器学习模型以及函式库。之后，云端服务器装置100A执行图5所示的服务协商，借此来确定来源资源R1(自运算装置100B接收到的运算端的特征数据)、资源管理器R2以及终端资源R3的工作流程是可行的。在确认所述工作流程为可行的之后，在步骤S620中，通过运算装置100B将机器学习模型以及函式库部署至数据获取装置100C。
在另一实施例中，如果云端服务器装置100A执行失败，则运算装置100B调整机器学习模型或是函式库，比如调整函式库转换规则，使云端服务器装置100A的资源可以执行。
在数据获取装置100C部署完成之后，在步骤S625中，通过数据获取装置100C运行机器学习模型而自传感数据获取出对应当下场景的特征数据，并且运行函式库藉以将机器学习模型对应的需求转换为服务任务，并且传送特征数据以及服务任务。即，数据获取装置100C会传送特征数据以及服务任务至云端服务器装置100A。之后，通过云端服务器装置100A基于数据获取装置100C传送的服务任务与特征数据来产生预测结果，并将预测结果存储至预测结果数据库404中。
在云端服务器装置100A自数据获取装置100C接收特征数据与服务任务之后(数据端的特征数据与数据端的服务任务)，以数据端的特征数据与数据端的服务任务来执行一服务协商。即，排程器401根据服务任务的标头所记录的机器学习模型，自知识库406中提取对应的机器学习模型。之后，云端服务器装置100A执行图5所示的服务协商。以所述机器学习模型来作为资源管理器R2，并且将自数据获取装置100C接收的数据端的特征数据作为来源资源R1而输入至资源管理器R2。将资源管理器R2的输出(即，分类或回归结果)存储至预测结果数据库404(终端资源R3)中。据此，获得特征数据的分类或回归结果。
于另一实施例中，数据获取装置100C被部署的对应当下场景的机器学习模型为用于获取特征的机器学习模型，而云端服务器装置100A中的知识库中的机器学习模型为对应服务任务可进行分析或预测的模型，两边的机器学习模型可为相同的模型，也可为对应相同场景的执行不同动作的两个模型。分为两边的机器学习模型执行不同动作，可降低运算负担，另外不需要传输传感数据，而是传输特征数据至云端服务器装置100A，可降低传输数据量。
使用者可通过数据库API来存取预测结果数据库404里面的特定场景的识别结果。例如，对人脸识别而言，其识别结果可以用来做门禁、考勤、稽核等等的应用。另外，关于场景的改变，其对于使用者也是一种存取的对象，可以用来分析场所的场景改变的要素，以做为订定价格、租赁对象、广告推播等等的参考。于另一实施例中，云端服务器装置100A可将预测结果数据库404中的结果传送给数据获取装置100C进行显示，以供使用者观看。
综上所述，通过上述实施方式，使用者可在多个特定的场所中分别设置至少一台数据获取装置来收集数据。数据获取装置只需要传感数据传送至运算装置，通过运算装置来检测场景是否改变，并在检测到场景改变时，由运算装置重新部署数据获取装置。据此，无需通过人力来设定数据获取装置的部署。此外，数据获取装置亦会自动回馈给云端服务器装置而得到确保。通过数据获取装置所收集的数据，使用者可获得金钱上的回馈，借此可提高使用者增加设置数据获取装置的意愿。
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当以权利要求及其相等物为准。

Claims (16)

1.一种数据获取装置，其特征在于，包括：
一传感器，获得一传感数据；
一第一处理电路，耦接该传感器，并运行对应当下场景的一机器学习模型而自该传感数据获取出对应该当下场景的一特征数据；以及
一第二处理电路，耦接该第一处理电路，并运行对应该当下场景的一函式库，藉以转换对应该机器学习模型的一需求为一服务任务，并且通过一通信芯片传送该服务任务与该特征数据。
2.如权利要求1所述的数据获取装置，其特征在于，更包括：
一存储装置，包括一分布式账本，
其中，通过该通信芯片自一云端服务器装置接收一虚拟货币，并存储该虚拟货币至该分布式账本。
3.如权利要求1项所述的数据获取装置，更包括：该通信芯片，
其中，通过该通信芯片传送该传感数据至一运算装置，并且自该运算装置接收对应于该当下场景的该机器学习模型与该函式库。
4.一种数据运算系统，其特征在于，包括：
一运算装置以及一数据获取装置，其中，
该数据获取装置，包括：
一传感器，获得一传感数据；
一第一通信芯片，传送该传感数据至该运算装置；
一第一处理电路，耦接该传感器以及该第一通信芯片；以及
一第二处理电路，耦接该第一通信芯片以及该第一处理电路；
该运算装置，包括：
一第二通信芯片，与该第一通信芯片建立一通信连结，以自该数据获取装置接收该传感数据；以及
一处理器，耦接至该第二通信芯片；
其中，在该运算装置中，该处理器判断该传感数据的场景是否已变换，并且响应于确定该传感数据的场景已变换，该处理器选择对应于当下场景的一机器学习模型，并且基于该当下场景决定一函式库，该处理器通过该通信连结将该机器学习模型与该函式库部署至该数据获取装置，
在将该机器学习模型与该函式库部署至该数据获取装置之后，该第一处理电路运行该机器学习模型而自该传感数据获取出对应该当下场景的特征数据，该第二处理电路运行对应该当下场景的该函式库，藉以将该机器学习模型对应的需求转换为服务任务，并且通过该第一通信芯片传送该服务任务与该特征数据。
5.如权利要求4所述的数据运算系统，其特征在于，在该运算装置中，
该处理器自每一多个已知场景样本获取一第一场景语意特征，并且从自该传感数据所获得的每一多个未知场景样本中获取一第二场景语意特征，接着，将训练好的场景语意特征比对该第一场景语意特征与该第二场景语意特征来获得对应该第一场景语意特征与该第二场景语意特征的多个建议场景，对所述多个建议场景执行一非极大值抑制，借此过滤所述多个建议场景，
基于过滤后的所述多个建议场景，自所述多个已知场景样本与所述多个未知场景样本中进行筛选；
该处理器将对应所述多个过滤后的建议场景的所述多个已知场景样本与所述多个未知场景样本两者的语意特征输入一转导支持向量机，借此获得该传感数据对应的一场景，并且基于一先前场景来判断该场景是否已变换。
6.如权利要求4所述的数据运算系统，其特征在于，在该运算装置中，
该处理器利用对应该当下场景的该机器学习模型自该传感数据中获取对应于该当下场景的特征数据，基于对应该当下场景的该函式库将对应于该机器学习模型的需求转换为服务任务，并且通过该第二通信芯片传送该特征数据及该服务任务至一云端服务器装置。
7.如权利要求4所述的数据运算系统，其特征在于，更包括：一云端服务器装置，该云端服务器装置包括：
一排程器；
该排程器自该运算装置或该数据获取装置接收该特征数据与该服务任务来执行一服务协商，通过该服务协商来指派至少一资源，并利用该至少一资源执行该机器学习模型来获得一结果。
8.如权利要求7所述的数据运算系统，其特征在于，该服务协商包括：
该排程器自一知识库中选择与该服务任务对应的该机器学习模型来作为一资源管理器，并且确保该资源管理器的一来源资源与一终端资源的数据预留，其中该来源资源为所述特征数据，该终端资源为一预测结果数据库，
该排程器基于该服务任务，生成一第一终端任务以及一第二终端任务，
该排程器执行该第一终端任务，包括：将该特征数据输入至该机器学习模型，并且将该机器学习模型的输出传送至该预测结果数据库，
该排程器执行该第二终端任务，包括：要求该预测结果数据库回报该结果。
9.如权利要求6所述的数据运算系统，其特征在于，
该数据获取装置更包括：一分布式账本，
其中，通过该第一通信芯片自该云端服务器装置接收一虚拟货币，并存储该虚拟货币至该分布式账本。
10.一种数据运算方法，其特征在于，包括：
由一数据获取装置获得一传感数据，并传送该传感数据至一运算装置；
通过该运算装置判断该传感数据的场景是否已变换；
响应于确定该传感数据的场景已变换，通过该运算装置选择对应于当下场景的一机器学习模型，并且基于该当下场景决定一函式库；
通过该运算装置将该机器学习模型与该函式库部署至该数据获取装置；
通过该数据获取装置运行该机器学习模型而自该传感数据获取出对应该当下场景的特征数据，并且运行该函式库藉以将该机器学习模型对应的需求转换为服务任务，并且传送该特征数据以及该服务任务。
11.如权利要求10所述的数据运算方法，其特征在于，将该特征数据以及该服务任务传送至一云端服务器装置，该数据运算方法更包括：
通过该云端服务器装置基于该服务任务与该特征数据来产生一结果，并将该结果存储至一预测结果数据库中。
12.如权利要求10所述的数据运算方法，其特征在于，通过该运算装置判断该传感数据的场景是否已变换的步骤包括：
自每一多个已知场景样本获取一第一场景语意特征，并且从自该传感数据所获得的每一多个未知场景样本中获取一第二场景语意特征；
将训练好的场景语意特征比对该第一场景语意特征与该第二场景语意特征来获得对应该第一场景语意特征与该第二场景语意特征的多个建议场景；
对所述多个建议场景执行一非极大值抑制，借此过滤所述多个建议场景；
基于过滤后的所述多个建议场景，自所述多个已知场景样本与所述多个未知场景样本中进行筛选；
将对应所述多个过滤后的建议场景的所述多个已知场景样本与所述多个未知场景样本两者的语意特征输入一转导支持向量机，借此获得该传感数据对应的一场景；以及
基于一先前场景来判断该场景是否已变换。
13.如权利要求10所述的数据运算方法，其特征在于，在通过该运算装置选择对应于该当下场景的该机器学习模型，并且基于该当下场景决定该函式库的步骤之后，更包括：
通过该运算装置利用对应该当下场景的该机器学习模型自该传感数据中获取对应于该当下场景的特征数据；
通过该运算装置基于对应该当下场景的该函式库将对应于该机器学习模型的需求转换为服务任务；以及
通过该运算装置传送该特征数据及该服务任务至一云端服务器装置。
14.如权利要求10所述的数据运算方法，其特征在于，更包括：
通过一云端服务器装置自该运算装置或该数据获取装置接收该特征数据与该服务任务来执行一服务协商，通过该服务协商来指派至少一资源，并利用该至少一资源执行该机器学习模型来获得一结果。
15.如权利要求14所述的数据运算方法，其特征在于，该服务协商包括：
自一知识库中选择与该服务任务对应的该机器学习模型来作为一资源管理器，并且确保该资源管理器的一来源资源与一终端资源的数据预留，其中该来源资源为所述特征数据，该终端资源为一预测结果数据库，
基于该服务任务，生成一第一终端任务以及一第二终端任务，
执行该第一终端任务，包括：将该特征数据输入至该机器学习模型，并且将该机器学习模型的输出传送至该预测结果数据库，
执行该第二终端任务，包括：要求该预测结果数据库回报该结果。
16.如权利要求10所述的数据运算方法，其特征在于，更包括：
通过该数据获取装置自一云端服务器装置接收一虚拟货币，并存储该虚拟货币至一分布式账本。
CN201910747542.8A 2019-07-11 2019-08-14 数据获取装置与数据运算系统及方法 Pending CN112214470A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108124550 2019-07-11
TW108124550A TWI773907B (zh) 2019-07-11 2019-07-11 資料擷取裝置與資料運算系統及方法

Publications (1)

Publication Number Publication Date
CN112214470A true CN112214470A (zh) 2021-01-12

Family

ID=74047945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910747542.8A Pending CN112214470A (zh) 2019-07-11 2019-08-14 数据获取装置与数据运算系统及方法

Country Status (3)

Country Link
US (1) US11297157B2 (zh)
CN (1) CN112214470A (zh)
TW (1) TWI773907B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202859085U (zh) * 2012-08-28 2013-04-10 晶镭科技股份有限公司 具有近距离无线传输功能的生物医学装置
US20150379072A1 (en) * 2014-06-30 2015-12-31 Amazon Technologies, Inc. Input processing for machine learning
US20170006135A1 (en) * 2015-01-23 2017-01-05 C3, Inc. Systems, methods, and devices for an enterprise internet-of-things application development platform
CN107003929A (zh) * 2014-12-12 2017-08-01 高通股份有限公司 用于异构核设备上的机器学习的应用特征化
TW201740319A (zh) * 2016-01-29 2017-11-16 雅虎控股股份有限公司 用於分散式深度機器學習之方法與系統
US20180089505A1 (en) * 2016-09-23 2018-03-29 Samsung Electronics Co., Ltd. System and method for deep network fusion for fast and robust object detection
US10048945B1 (en) * 2017-05-25 2018-08-14 Devfactory Fz-Llc Library suggestion engine
CN108881355A (zh) * 2017-05-16 2018-11-23 纬创资通股份有限公司 基于物联网架构的监控方法、雾运算终端以及物联网系统
CN109376844A (zh) * 2018-10-30 2019-02-22 银河水滴科技（北京）有限公司 基于云平台和模型推荐的神经网络自动训练方法和装置
CN109886422A (zh) * 2019-02-01 2019-06-14 深圳绿米联创科技有限公司 模型配置方法、装置、电子设备及可读取存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2097818A4 (en) * 2006-11-22 2014-01-29 Parkervision Inc MULTIDIMENSIONAL ERROR CORRECTION FOR COMMUNICATION SYSTEMS
US9826149B2 (en) * 2015-03-27 2017-11-21 Intel Corporation Machine learning of real-time image capture parameters
US9818126B1 (en) * 2016-04-20 2017-11-14 Deep Labs Inc. Systems and methods for sensor data analysis through machine learning
US10532268B2 (en) * 2016-05-02 2020-01-14 Bao Tran Smart device
US20190339688A1 (en) * 2016-05-09 2019-11-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things
US20180284758A1 (en) * 2016-05-09 2018-10-04 StrongForce IoT Portfolio 2016, LLC Methods and systems for industrial internet of things data collection for equipment analysis in an upstream oil and gas environment
IL294129B2 (en) * 2016-08-22 2024-01-01 Magic Leap Inc An augmented reality display device with deep learning sensors
US20200058135A1 (en) * 2016-10-12 2020-02-20 Difference Engie, Inc. System and method of object positioning in space for virtual reality
CN106649838B (zh) * 2016-12-29 2020-10-30 成都质数斯达克科技有限公司 数据传输方法、区块链节点及分布式数据库
US10721859B2 (en) * 2017-01-08 2020-07-28 Dolly Y. Wu PLLC Monitoring and control implement for crop improvement
US10410115B2 (en) * 2017-04-28 2019-09-10 Intel Corporation Autonomous machines through cloud, error corrections, and predictions
US10489639B2 (en) * 2018-02-12 2019-11-26 Avodah Labs, Inc. Automated sign language translation and communication using multiple input and output modalities
TWM564323U (zh) * 2018-04-20 2018-08-01 河樂有限公司 Floating intelligent sensing monitoring system
US11748825B2 (en) * 2018-06-29 2023-09-05 Itron, Inc. Operating smart sensors using distributed ledgers
US20200051217A1 (en) * 2018-08-07 2020-02-13 BlinkAI Technologies, Inc. Artificial intelligence techniques for image enhancement
JP2020034823A (ja) * 2018-08-31 2020-03-05 富士通株式会社 ファシリテーション支援プログラム、ファシリテーション支援装置およびファシリテーション支援方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202859085U (zh) * 2012-08-28 2013-04-10 晶镭科技股份有限公司 具有近距离无线传输功能的生物医学装置
US20150379072A1 (en) * 2014-06-30 2015-12-31 Amazon Technologies, Inc. Input processing for machine learning
CN107003929A (zh) * 2014-12-12 2017-08-01 高通股份有限公司 用于异构核设备上的机器学习的应用特征化
US20170006135A1 (en) * 2015-01-23 2017-01-05 C3, Inc. Systems, methods, and devices for an enterprise internet-of-things application development platform
TW201740319A (zh) * 2016-01-29 2017-11-16 雅虎控股股份有限公司 用於分散式深度機器學習之方法與系統
US20180089505A1 (en) * 2016-09-23 2018-03-29 Samsung Electronics Co., Ltd. System and method for deep network fusion for fast and robust object detection
CN108881355A (zh) * 2017-05-16 2018-11-23 纬创资通股份有限公司 基于物联网架构的监控方法、雾运算终端以及物联网系统
US10048945B1 (en) * 2017-05-25 2018-08-14 Devfactory Fz-Llc Library suggestion engine
CN109376844A (zh) * 2018-10-30 2019-02-22 银河水滴科技（北京）有限公司 基于云平台和模型推荐的神经网络自动训练方法和装置
CN109886422A (zh) * 2019-02-01 2019-06-14 深圳绿米联创科技有限公司 模型配置方法、装置、电子设备及可读取存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于连庆: "基于触控操作方式的大气科学数据可视化系统技术研究与实现", 南京信息工程大学学报(自然科学版), no. 6, 28 December 2014 (2014-12-28), pages 530 - 538 *
陈菲菲等: "基于机器学习的动态信誉评估模型研究", 计算机研究与发展, vol. 44, no. 2, 28 February 2007 (2007-02-28), pages 223 - 229 *

Also Published As

Publication number Publication date
US20210014325A1 (en) 2021-01-14
US11297157B2 (en) 2022-04-05
TW202103026A (zh) 2021-01-16
TWI773907B (zh) 2022-08-11

Similar Documents

Publication Publication Date Title
US11023325B2 (en) Resolving and preventing computer system failures caused by changes to the installed software
CN109492536B (zh) 一种基于5g架构的人脸识别方法及系统
JP2020504358A (ja) 画像ベースの車両損害評価方法、装置、およびシステム、ならびに電子デバイス
WO2022252363A1 (zh) 数据处理方法、计算机设备以及可读存储介质
CN105122212A (zh) 自动化跟踪系统中的周期性优化
CN105283851A (zh) 用于选择跟踪目标的成本分析
CN105283866A (zh) 使用相似频率的优化分析
CN105283848A (zh) 用分布式目标来进行应用跟踪
US11651499B2 (en) Reducing structural redundancy in automatic image segmentation
CN111241868B (zh) 一种人脸识别系统、方法及装置
WO2017142840A1 (en) Systems and methods for scheduling collection of sensor data
CN115049057B (zh) 一种模型部署方法、装置、电子设备和存储介质
CN113938524B (zh) 基于流量代理的物联网终端敏感信息泄露监测方法及系统
JP6900853B2 (ja) デバイス連携サーバおよびデバイス連携プログラム
CN114384997A (zh) 传感器不可知姿势检测
US11048745B2 (en) Cognitively identifying favorable photograph qualities
CN112115507B (zh) 基于云计算和信息数字化的云业务交互方法及大数据平台
De Masi et al. Towards accurate models for predicting smartphone applications’ QoE with data from a living lab study
US11237890B2 (en) Analytics initiated predictive failure and smart log
CN112214470A (zh) 数据获取装置与数据运算系统及方法
CN116386086A (zh) 人员定位方法、装置、电子设备及存储介质
US20210064981A1 (en) Controlling performance of deployed deep learning models on resource constrained edge device via predictive models
US20190394393A1 (en) Cognitively coaching a subject of a photograph
US11854264B2 (en) Speculative actions based on predicting negative circumstances
CN113158842A (zh) 一种识别方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination