CN115439954A - 一种基于云端大模型的数据闭环方法 - Google Patents

一种基于云端大模型的数据闭环方法 Download PDF

Info

Publication number
CN115439954A
CN115439954A CN202211038443.0A CN202211038443A CN115439954A CN 115439954 A CN115439954 A CN 115439954A CN 202211038443 A CN202211038443 A CN 202211038443A CN 115439954 A CN115439954 A CN 115439954A
Authority
CN
China
Prior art keywords
data
vehicle
model
cloud
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211038443.0A
Other languages
English (en)
Inventor
李鑫武
徐佳音
丁华杰
赵佳佳
谷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xunxu Artificial Intelligence Technology Co ltd
Original Assignee
Shanghai Xunxu Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xunxu Artificial Intelligence Technology Co ltd filed Critical Shanghai Xunxu Artificial Intelligence Technology Co ltd
Priority to CN202211038443.0A priority Critical patent/CN115439954A/zh
Publication of CN115439954A publication Critical patent/CN115439954A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于云端大模型的数据闭环方法,一种基于云端大模型的数据闭环方法,在车端平台上采集车辆上的原始数据,比如传感器数据、车身或车底盘的信号、驾驶员的行为等;将采集到的车辆原始数据压缩后,在车联网的环境下,发送给云端平台,云端平台进行接收;当采集的车辆原始数据发送至云端平台后,云端平台针对不同的数据进行数据筛选;进行模型结果d iff,分析d iff结果,得到异常行为检测数据;筛选出有异常行为的数据,并将筛选后的数据输入到大模型中进行预训练,对数据进行简单的预标注;数据存储,提取d iff数据,将处理好的数据存储至云端平台中;数据处理,获取筛选后的数据反馈给相应的模型进行迭代训练。

Description

一种基于云端大模型的数据闭环方法
技术领域
本发明涉及自动驾驶数据处理技术领域,特别是涉及一种基于云端大模型的数据闭环方法。
背景技术
随着自动驾驶科技水平的发展,对车辆数据采集要求越来越高。车辆数据采集是自动驾驶研发中重要的一环,采集的数据主要包括图像数据、激光雷达数据、毫米波雷达数据、超声波雷达数据和整车运动参数数据。这些数据将会作为数据输入样本,利用模型对这些数据进行训练。
在传统自动驾驶方案中,大多数公司针对采集到的数据主要是通过算法厂商统一提供的算法模型进行模型训练,而针对后期的算法优化等操作则需要由算法厂商统一进行升级处理。但这种方式会使得算法模型的识别精度差且识别错误率较高,另外迭代升级需要较长时间,升级后的算法模型对于一些异常情况以及难例识别的针对性效果较差。
发明内容
为了克服现有技术的不足,本发明提供一种基于云端大模型的数据闭环方法,将大模型部署在云端上,能够对采集到的车辆数据进行筛选,并将筛选的数据结果与当前车端模型的结果进行分析对比,得到异常行为检测数据,并对异常的数据进行预训练和预标注,识别精度高,从而减轻了后期模型的标注工作量,提高模型训练的效率,同时也能够对难例识别的情况进行模型标注,从而可以实现迭代优化,而将迭代后的模型上传至云端内,可以增加模型的识别正确率以及鲁棒性。
为解决上述技术问题,本发明提供如下技术方案:一种基于云端大模型的数据闭环方法,包括以下步骤:
S1、数据采集,在车端平台上采集车辆上的原始数据,比如传感器数据、车身或车底盘的信号、驾驶员的行为等,以及通过车端边缘计算获取车辆原始数据;
S2、数据上传,将采集到的车辆原始数据压缩后,在车联网的环境下,发送给云端平台,云端平台进行接收;
S3、数据筛选,当采集的车辆原始数据发送至云端平台后,云端平台针对不同的数据进行数据筛选;
S4、结果分析,进行模型结果diff,分析diff结果,云端平台将大模型预刷得到的数据结果与当前车端模型的结果进行分析对比,得到异常行为检测数据;
S5、数据预标,筛选出有异常行为的数据,并将筛选后的数据输入到大模型中进行预训练,对数据进行简单的预标注;
S6、数据存储,提取diff数据,将处理好的数据存储至云端平台中;
S7、数据处理,获取筛选后的数据反馈给相应的模型进行迭代训练;
S8、数据应用,将迭代后的模型应用上传至云端内,进而部署到车端平台,进行新批次的验证和数据采集,从而提高车辆数据的采集精度和效率。
作为本发明的一种优选技术方案,在车端平台采集车辆的原始数据时,通过数据采集模块进行采集。
作为本发明的一种优选技术方案,在上传车辆原始数据时,云端平台通过云端数据接收模块接收所有的数据。
作为本发明的一种优选技术方案,在进行数据筛选时,云端平台通过大模型预刷模块针对不同的数据进行筛选。
作为本发明的一种优选技术方案,在进行数据预标时,通过大模型预标记模块对筛选后的车辆原始数据进行预训练和预标注。
作为本发明的一种优选技术方案,在进行数据存储时,云端平台中设置有存储模块,处理好的数据存储在存储模块内。
作为本发明的一种优选技术方案,在进行数据处理时,模型设置于优化模块内,筛选后的数据上传至优化模块内,通过优化模块内相应的模型进行迭代训练。
作为本发明的一种优选技术方案,所述数据闭环方法还包括:通过本地研发平台为云端平台提供算法模型,便于提高云端平台的训练能力;同时也为车端平台提供采集策略,使采集车辆原始数据的过程更加高效,有利于提高车辆性能。
与现有技术相比,本发明能达到的有益效果是:
本发明方案采用的数据闭环方法,将大模型部署在云端平台上,对获取的车辆原始数据进行初步筛选,而后进行数据diff,使得云端平台能够将大模型预刷得到的数据结果与当前车端模型的结果进行分析对比,得到异常行为检测数据,并对异常的数据进行预训练和预标注,识别精度高,从而减轻了后期模型的标注工作量,提高模型训练的效率,同时也能够对难例识别的情况进行模型标注,从而可以实现迭代优化,而将迭代后的模型上传至云端内,可以增加模型的识别正确率以及鲁棒性。
附图说明
图1为本发明方法示意图;
图2为本发明流程示意图;
图3为本发明模块示意图;
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施例,进一步阐述本发明,但下述实施例仅仅为本发明的优选实施例,并非全部。基于实施方式中的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得其它实施例,都属于本发明的保护范围。下述实施例中的实验方法,如无特殊说明,均为常规方法,下述实施例中所用的材料、试剂等,如无特殊说明,均可从商业途径得到。
实施例一
本发明提供一种基于云端大模型的数据闭环方法,包括以下步骤:
S1、数据采集,在车端平台上采集车辆上的原始数据,比如传感器数据、车身或车底盘的信号、驾驶员的行为等,以及通过车端边缘计算获取车辆原始数据,在进行数据采集时,数据采集通过数据采集模块实现;
S2、数据上传,将采集到的车辆原始数据压缩后,在车联网的环境下,发送给云端平台,云端平台进行接收,云端平台在接收数据时,接收数据通过云端数据接收模块实现;
S3、数据筛选,当采集的车辆原始数据发送至云端平台后,云端平台针对不同的数据进行数据筛选,在进行数据筛选时,云端平台通过大模型预标记模块实现筛选数据;
S4、结果分析,进行模型结果diff,分析diff结果,云端平台将大模型预刷得到的数据结果与当前车端模型的结果进行分析对比,得到异常行为检测数据;
S5、数据预标,筛选出有异常行为的数据,并将筛选后的数据输入到大模型中进行预训练,对数据进行简单的预标注,在进行数据预标时,通过大模型预标记模块实现预训练和预标注;
S6、数据存储,提取diff数据,将处理好的数据存储至云端平台中,在进行数据存储时,云端平台中设置有存储模块,处理好的数据存储在存储模块内;
S7、数据处理,获取筛选后的数据反馈给相应的模型进行迭代训练,模型设置于优化模块内,筛选后的数据上传至优化模块内,通过优化模块实现迭代训练;
S8、数据应用,将迭代后的模型应用上传至云端内,进而部署到车端平台,进行新批次的验证和数据采集,从而提高车辆数据的采集精度和效率;
在本发明的具体实施例中,在车端平台上采集车辆上的原始数据,比如传感器数据、车身或车底盘的信号、驾驶员的行为等,以及通过车端边缘计算获取车辆原始数据;而后将采集到的车辆原始数据进行压缩,在车联网的环境下,发送给云端平台,云端平台进行接收;当采集的车辆原始数据发送至云端平台后,云端平台针对不同的数据进行数据筛选;对获得的数据进行模型结果diff,分析diff结果,此时云端平台将大模型预刷得到的数据结果与当前车端模型的结果进行分析对比,得到异常行为检测数据;筛选出有异常行为的数据后,将筛选后的数据输入到大模型中进行预训练,对数据进行简单的预标注,在进行数据预标时,通过大模型预标记模块实现预训练和预标注;之后提取diff数据,将处理好的数据存储至云端平台中,云端平台中设置有存储模块,处理好的数据存储在存储模块内;然后获取筛选后的数据反馈给相应的模型进行迭代训练,模型设置于优化模块内,筛选后的数据上传至优化模块内,通过优化模块实现迭代训练;最终将迭代后的模型应用上传至云端内,进而部署到车端平台,进行新批次的验证和数据采集,从而提高车辆数据的采集精度和效率,本发明方案采用的数据闭环方法,将大模型部署在云端平台上,对获取的车辆原始数据进行初步筛选,而后进行数据diff,使得云端平台能够将大模型预刷得到的数据结果与当前车端模型的结果进行分析对比,得到异常行为检测数据,并对异常的数据进行预训练和预标注,识别精度高,从而减轻了后期模型的标注工作量,提高模型训练的效率,同时也能够对难例识别的情况进行模型标注,从而可以实现迭代优化,而将迭代后的模型上传至云端内,可以增加模型的识别正确率以及鲁棒性。
实施例二
本实施例是在实施例1之上做出的改进,数据闭环方法还包括:通过本地研发平台为云端平台提供算法模型,便于提高云端平台的训练能力;同时也为车端平台提供采集策略,使采集车辆原始数据的过程更加高效,有利于提高车辆性能;
本实施例中:通过设置的本地研发平台,本地研发平台为云端平台提供算法模型,便于提高云端平台的训练能力;同时也为车端平台提供采集策略,使采集车辆原始数据的过程更加高效,有利于提高车辆性能。
工作原理:在车端平台上采集车辆上的原始数据,比如传感器数据、车身或车底盘的信号、驾驶员的行为等,以及通过车端边缘计算获取车辆原始数据;而后将采集到的车辆原始数据进行压缩,在车联网的环境下,发送给云端平台,云端平台进行接收;当采集的车辆原始数据发送至云端平台后,云端平台针对不同的数据进行数据筛选;对获得的数据进行模型结果diff,分析diff结果,云端平台将大模型预刷得到的数据结果与当前车端模型的结果进行分析对比,得到异常行为检测数据;筛选出有异常行为的数据后,将筛选后的数据输入到大模型中进行预训练,对数据进行简单的预标注,在进行数据预标时,通过大模型预标记模块实现预训练和预标注;之后提取diff数据,将处理好的数据存储至云端平台中,云端平台中设置有存储模块,处理好的数据存储在存储模块内;然后获取筛选后的数据反馈给相应的模型进行迭代训练,模型设置于优化模块内,筛选后的数据上传至优化模块内,通过优化模块实现迭代训练;最终将迭代后的模型应用上传至云端内,进而部署到车端平台,进行新批次的验证和数据采集,从而提高车辆数据的采集精度和效率;同时在进行上述操作流程时,还可以通过在本地研发平台内设置的模型,为云端平台提供算法模型,便于提高云端平台的训练能力;同时也为车端平台提供采集策略,使采集车辆原始数据的过程更加高效,有利于提高车辆性能。
尽管已经示出和描述了发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于云端大模型的数据闭环方法,其特征在于:包括以下步骤:
S1、数据采集,在车端平台上采集车辆上的原始数据,比如传感器数据、车身或车底盘的信号、驾驶员的行为等,以及通过车端边缘计算获取车辆原始数据;
S2、数据上传,将采集到的车辆原始数据压缩后,在车联网的环境下,发送给云端平台,云端平台进行接收;
S3、数据筛选,当采集的车辆原始数据发送至云端平台后,云端平台针对不同的数据进行数据筛选;
S4、结果分析,进行模型结果diff,分析diff结果,云端平台将大模型预刷得到的数据结果与当前车端模型的结果进行分析对比,得到异常行为检测数据;
S5、数据预标,筛选出有异常行为的数据,并将筛选后的数据输入到大模型中进行预训练,对数据进行简单的预标注;
S6、数据存储,提取diff数据,将处理好的数据存储至云端平台中;
S7、数据处理,获取筛选后的数据反馈给相应的模型进行迭代训练;
S8、数据应用,将迭代后的模型应用上传至云端内,进而部署到车端平台。
2.根据权利要求1所述的一种基于云端大模型的数据闭环方法,其特征在于:在车端平台采集车辆的原始数据时,通过数据采集模块进行采集。
3.根据权利要求1所述的一种基于云端大模型的数据闭环方法,其特征在于:在上传车辆原始数据时,云端平台通过云端数据接收模块接收所有的数据。
4.根据权利要求1所述的一种基于云端大模型的数据闭环方法,其特征在于:在进行数据筛选时,云端平台通过大模型预刷模块针对不同的数据进行筛选。
5.根据权利要求1所述的一种基于云端大模型的数据闭环方法,其特征在于:在进行数据预标时,通过大模型预标记模块对筛选后的车辆原始数据进行预训练和预标注。
6.根据权利要求1所述的一种基于云端大模型的数据闭环方法,其特征在于:在进行数据存储时,云端平台中设置有存储模块,处理好的数据存储在存储模块内。
7.根据权利要求1所述的一种基于云端大模型的数据闭环方法,其特征在于:在进行数据处理时,模型设置于优化模块内,筛选后的数据上传至优化模块内,通过优化模块内相应的模型进行迭代训练。
8.根据权利要求1所述的一种基于云端大模型的数据闭环方法,其特征在于:所述数据闭环方法还包括:通过本地研发平台为云端平台提供算法模型,便于提高云端平台的训练能力;同时也为车端平台提供采集策略。
CN202211038443.0A 2022-08-29 2022-08-29 一种基于云端大模型的数据闭环方法 Pending CN115439954A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211038443.0A CN115439954A (zh) 2022-08-29 2022-08-29 一种基于云端大模型的数据闭环方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211038443.0A CN115439954A (zh) 2022-08-29 2022-08-29 一种基于云端大模型的数据闭环方法

Publications (1)

Publication Number Publication Date
CN115439954A true CN115439954A (zh) 2022-12-06

Family

ID=84244351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211038443.0A Pending CN115439954A (zh) 2022-08-29 2022-08-29 一种基于云端大模型的数据闭环方法

Country Status (1)

Country Link
CN (1) CN115439954A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665025A (zh) * 2023-07-31 2023-08-29 福思(杭州)智能科技有限公司 数据闭环方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969844A (zh) * 2019-11-19 2020-04-07 惠州市德赛西威汽车电子股份有限公司 一种基于行车数据计算驾驶行为相似度的方法及应用
CN112287801A (zh) * 2020-10-23 2021-01-29 北京嘀嘀无限科技发展有限公司 车载数据处理方法、装置、服务器和可读存储介质
CN113297667A (zh) * 2021-04-30 2021-08-24 东风汽车集团股份有限公司 一种智能驾驶数据闭环的方法及系统
WO2021217624A1 (zh) * 2020-04-30 2021-11-04 上海华东汽车信息技术有限公司 车辆数据处理方法和系统
CN113884961A (zh) * 2021-09-23 2022-01-04 中国第一汽车股份有限公司 Soc校准方法、建模方法、建模装置、计算机设备及介质
CN113887297A (zh) * 2021-08-31 2022-01-04 际络科技(上海)有限公司 基于云端形成数据闭环的安全驾驶监控方法及装置
CN114379581A (zh) * 2021-11-29 2022-04-22 江铃汽车股份有限公司 基于自动驾驶下的算法迭代系统及方法
CN114742236A (zh) * 2022-04-24 2022-07-12 重庆长安汽车股份有限公司 一种环境车辆行为预测模型训练方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969844A (zh) * 2019-11-19 2020-04-07 惠州市德赛西威汽车电子股份有限公司 一种基于行车数据计算驾驶行为相似度的方法及应用
WO2021217624A1 (zh) * 2020-04-30 2021-11-04 上海华东汽车信息技术有限公司 车辆数据处理方法和系统
CN112287801A (zh) * 2020-10-23 2021-01-29 北京嘀嘀无限科技发展有限公司 车载数据处理方法、装置、服务器和可读存储介质
CN113297667A (zh) * 2021-04-30 2021-08-24 东风汽车集团股份有限公司 一种智能驾驶数据闭环的方法及系统
CN113887297A (zh) * 2021-08-31 2022-01-04 际络科技(上海)有限公司 基于云端形成数据闭环的安全驾驶监控方法及装置
CN113884961A (zh) * 2021-09-23 2022-01-04 中国第一汽车股份有限公司 Soc校准方法、建模方法、建模装置、计算机设备及介质
CN114379581A (zh) * 2021-11-29 2022-04-22 江铃汽车股份有限公司 基于自动驾驶下的算法迭代系统及方法
CN114742236A (zh) * 2022-04-24 2022-07-12 重庆长安汽车股份有限公司 一种环境车辆行为预测模型训练方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665025A (zh) * 2023-07-31 2023-08-29 福思(杭州)智能科技有限公司 数据闭环方法和系统
CN116665025B (zh) * 2023-07-31 2023-11-14 福思(杭州)智能科技有限公司 数据闭环方法和系统

Similar Documents

Publication Publication Date Title
CN109657552B (zh) 基于迁移学习实现跨场景冷启动的车型识别装置与方法
CN115439954A (zh) 一种基于云端大模型的数据闭环方法
CN111178438A (zh) 一种基于ResNet101的天气类型识别方法
CN115629127B (zh) 一种货箱缺陷分析方法、装置、设备及可读存储介质
CN111783616B (zh) 一种基于数据驱动自学习的无损检测方法
CN116010794B (zh) 一种基于小样本标签数据的焊接缺陷实时智能检测方法
CN116258175A (zh) 一种基于主动学习的焊缝缺陷智能识别模型进化方法
CN115661160B (zh) 一种面板缺陷检测方法及系统及装置及介质
CN114663383A (zh) 一种血细胞分割与识别方法、装置、电子设备和存储介质
WO2023137864A1 (zh) 基于自动驾驶的感知决策模型升级方法、系统及电子装置
CN104680185A (zh) 基于边界点重分类的高光谱图像分类方法
CN114782967A (zh) 一种基于代码可视化学习的软件缺陷预测方法
CN113239975B (zh) 一种基于神经网络的目标检测方法和装置
CN112581483B (zh) 基于自学习的植物叶片叶脉分割方法和装置
CN109389972B (zh) 语义云功能的质量测试方法、装置、存储介质和设备
CN115984207A (zh) 车辆缺陷检测方法、装置、系统及介质
CN114756465A (zh) 一种车载多媒体自动化测试系统及方法
CN114863163A (zh) 一种基于细胞图像进行细胞分类的方法及系统
CN111382191A (zh) 一种基于深度学习的机器学习识别方法
CN111610205A (zh) 一种金属零部件x光图像缺陷检测装置
CN115062076B (zh) 一种自动驾驶全量化数据采集方法及系统
CN113570566B (zh) 一种产品外观缺陷发展性认知检测方法及相关装置
US20220375067A1 (en) Automated part inspection system
CN112184708B (zh) 精子存活率检测方法及装置
CN117238299B (zh) 输电线路鸟类声音识别模型优化方法、系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination