一种图像标注方法、装置及系统
技术领域
本说明书一个或多个涉及智能识别技术领域,尤其涉及一种图像标注方法、装置及系统。
背景技术
目前,随着社会经济的快速增长,中国高收入人群的增多,由于车辆给人们的出行带来了很大的方便,因而车辆的拥有数量也在随之不断增长,随之交通事故的发生也越来越频繁,人们为了减少因交通事故带来的损失,通常定期给车辆缴纳必要的车险,这样车主发生车辆事故后,可以提出理赔申请,然后保险公司需要对车辆的损伤程度进行评估,以确定需要修复的项目清单以及赔付金额,具体的,需要专业定损人员对现场采集的车损图像进行综合分析,进而对车辆碰撞修复进行科学系统的估损定价。
当前,为了提高车损图像的损伤长度进行快速识别,采用基于深度学习来识别车辆损伤程度,即基于预先训练好的车损识别模型对现场采集的车损图像进行智能识别,自动输出识别得到的损伤程度分析结果,其中,在训练得到车损识别模型时,需要获取大量的标注好的车损样本数据,通常针对每个子问题需要10万~1000万量级的标注数据,即事先对各种类型、材质的损伤进行标注,标明车损图像中各子区域对应的损伤程度,现有技术中对采集的大量车损图像进行人工标注,这样存在标注效率低、人工成本高、人为因素影响大、准确度低的问题,难以在短时间内产生训练模型所需的大量标注数据。
因此,需要提供一种效率高、准确度高、人工成本低的车损图像标注方法及装置。
发明内容
本说明书一个或多个实施例的目的是提供一种图像标注方法、装置及系统,通过将利用摄像装置得到的视觉图像和基于物理探测方式得到的物理属性信息相结合,自动生成训练模型所需标注数据,无需人工手动对车损图像进行损伤情况标注,还能够实现对车损图像进行像素级的损伤情况标注,提高了车损图像的标注效率和精度,从而能够为基于深度学习进行模型训练的过程提供海量、精准的标注样本数据,以便训练得到识别精度更高的车损识别模型。
为解决上述技术问题,本说明书一个或多个实施例是这样实现的:
本说明书一个或多个实施例提供了一种图像标注方法,包括:
获取利用摄像装置拍摄得到的目标车辆上预设损伤区域的车损图像;以及,
获取基于物理探测方式针对所述预设损伤区域进行扫描得到的物理属性信息;
根据所述物理属性信息对所述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据。
本说明书一个或多个实施例提供了一种图像标注装置,包括:
第一获取模块,用于获取利用摄像装置拍摄得到的目标车辆上预设损伤区域的车损图像;以及,
第二获取模块,用于获取基于物理探测方式针对所述预设损伤区域进行扫描得到的物理属性信息;
图像标注模块,用于根据所述物理属性信息对所述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据。
本说明书一个或多个实施例提供了一种图像标注系统,包括:摄像装置、物理探测装置和上述图像标注装置,其中,所述摄像装置和所述物理探测装置均与所述图像标注装置相连接;
所述摄像装置,用于对目标车辆上预设损伤区域进行拍摄得到的车损图像,并将所述车损图像传输至所述图像标注装置;
所述物理探测装置,用于基于物理探测方式对所述预设损伤区域进行扫描得到的物理属性信息,并将所述物理属性信息传输至所述图像标注装置;
所述图像标注装置,用于接收所述车损图像和所述图像标注装置,并根据所述车损图像和所述图像标注装置生成用于训练车损识别模型的车损样本数据。
本说明书一个或多个实施例提供了一种图像标注设备,包括:处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
获取利用摄像装置拍摄得到的目标车辆上预设损伤区域的车损图像;以及,
获取基于物理探测方式针对所述预设损伤区域进行扫描得到的物理属性信息;
根据所述物理属性信息对所述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据。
本说明书一个或多个实施例提供了一种存储介质,用于存储计算机可执行指令,所述可执行指令在被执行时实现以下流程:
获取利用摄像装置拍摄得到的目标车辆上预设损伤区域的车损图像;以及,
获取基于物理探测方式针对所述预设损伤区域进行扫描得到的物理属性信息;
根据所述物理属性信息对所述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据。
本说明书一个或多个实施例中的图像标注方法、装置及系统,获取利用摄像装置拍摄得到的预设损伤区域的车损图像;以及,获取基于物理探测方式针对预设损伤区域进行扫描得到的物理属性信息;根据该物理属性信息对车损图像进行损伤标注,生成车损样本数据。通过将利用摄像装置得到的视觉图像和基于物理探测方式得到的物理属性信息相结合,自动生成训练模型所需标注数据,无需人工手动对车损图像进行损伤情况标注,还能够实现对车损图像进行像素级的损伤情况标注,提高了车损图像的标注效率和精度,从而能够为基于深度学习进行模型训练的过程提供海量、精准的标注样本数据,以便训练得到识别精度更高的车损识别模型。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书一个或多个中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例提供的图像标注方法的第一种应用场景示意图;
图2为本说明书一个或多个实施例提供的图像标注方法的第一种流程示意图;
图3为本说明书一个或多个实施例提供的图像标注方法的第二种流程示意图;
图4a为本说明书一个或多个实施例提供的图像标注方法中激光雷达装置采集三维表面图的实现原理示意图;
图4b为本说明书一个或多个实施例提供的图像标注方法中红外热成像装置采集表面热成像图的实现原理示意图;
图5为本说明书一个或多个实施例提供的图像标注方法的第三种流程示意图;
图6a为本说明书一个或多个实施例提供的图像标注方法的第二种应用场景示意图;
图6b为本说明书一个或多个实施例提供的图像标注方法的第三种应用场景示意图;
图7为本说明书一个或多个实施例提供的图像标注方法的第四种流程示意图;
图8为本说明书一个或多个实施例提供的图像标注方法的第五种流程示意图;
图9a为本说明书一个或多个实施例提供的图像标注装置的第一种模块组成示意图;
图9b为本说明书一个或多个实施例提供的图像标注装置的第二种模块组成示意图;
图10为本说明书一个或多个实施例提供的图像标注系统的具体结构示意图;
图11为本说明书一个或多个实施例提供的图像标注设备的具体结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一个或多个一部分实施例,而不是全部的实施例。基于本说明书一个或多个中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书一个或多个保护的范围。
本说明书一个或多个实施例提供了一种图像标注方法、装置及系统,通过将利用摄像装置得到的视觉图像和基于物理探测方式得到的物理属性信息相结合,自动生成训练模型所需标注数据,无需人工手动对车损图像进行损伤情况标注,还能够实现对车损图像进行像素级的损伤情况标注,提高了车损图像的标注效率和精度,从而能够为基于深度学习进行模型训练的过程提供海量、精准的标注样本数据,以便训练得到识别精度更高的车损识别模型。
图1为本说明书一个或多个实施例提供的图像标注方法的应用场景示意图,如图1所示,该系统包括:摄像装置、物理探测装置和图像标注装置,其中,该摄像装置和物理探测装置均与图像标注装置相连接;该摄像装置可以是数码相机等具有拍照功能的设备,该物理探测装置可以是激光雷达装置、红外热成像装置等等,该图像标注装置可以是用于车损图像进行标注的后台服务器,其中,图像标注的具体过程为:
(1)将具有预设损伤区域的目标车辆驶入工作场地内工作台的指定位置,具体的,操作人员根据车辆受损部位,对数据采集范围进行初始设定,即设置摄像装置的初始拍摄范围,以及设置物理探测装置的初始探测范围,例如,车辆的前保险杠受损,即预设损伤区域为车辆前半球,则将拍摄范围和物理探测范围设置为车辆前半球;
(2)通过摄像装置对目标车辆上预设损伤区域进行拍摄得到车损图像,并将该车损图像传输至图像标注装置,其中,摄像装置可以设置于可调节云台上,通过可调节云台调整摄像装置的拍摄条件;
(3)通过物理探测装置基于物理探测方式对上述预设损伤区域进行扫描得到物理属性信息,并将该物理属性信息传输至图像标注装置,其中,物理探测装置也设置于可调节云台上,且物理探测装置与摄像装置的相对位置保持不变,保证在同一拍摄条件下同时获取车损图像和对应的物理属性信息;
(4)图像标注装置根据获取到的物理属性信息对车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据,这样无需人工手动对车损图像进行损伤情况标注,还能够实现对车损图像进行像素级的损伤情况标注,提高了车损图像的标注效率和精度,从而能够为基于深度学习进行模型训练的过程提供海量、精准的标注样本数据,以便训练得到识别精度更高的车损识别模型。
图2为本说明书一个或多个实施例提供的图像标注方法的第一种流程示意图,图2中的方法能够由图1中的图像标注装置执行,如图2所示,该方法至少包括以下步骤:
S201,获取利用摄像装置拍摄得到的目标车辆上预设损伤区域的车损图像;
具体的,摄像装置对目标车辆上预设损伤区域进行拍照,得到针对该预设损伤区域的视觉图像,并将该视觉图像传输至图像标注装置;
S202,获取基于物理探测方式针对上述预设损伤区域进行扫描得到的物理属性信息;
具体的,物理探测装置对目标车辆上预设损伤区域进行扫描,得到针对该预设损伤区域的物理属性信息,并将该物理属性信息传输至图像标注装置;
其中,上述物理探测装置可以是激光雷达装置,对应的,上述物理探测方式可以是激光雷达探测方式;
上述物理探测装置还可以是红外热成像装置,对应的,上述物理探测方式还可以是红外线探测方式;
上述物理探测装置也可以是激光雷达装置和红外热成像装置的组合,对应的,上述物理探测方式也可以是激光雷达探测方式和红外线探测方式的结合;
另外,物理探测装置又可以是采用其他物理探测方式扫描采集物理属性信息的装置;
S203,根据获取到的物理属性信息对上述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据,其中,该车损样本数据可以包括:车损图像和针对该车损图像的标注数据,该标注数据可以包括:车损图像中各像素点的损伤情况;
具体的,针对每个车损图像,获取与该车损图像对应的物理属性信息,根据该物理属信息,确定车损图像中各像素点的损伤情况,将确定出的车损图像中各像素点的损伤情况作为针对该车损图像的标注数据;其中,该像素点的损伤情况可以是表征像素点是否损伤的数据,也可以是表征像素点损伤大小的数据,还可以是表征像素点损伤程度的数据。
本说明书一个或多个实施例中,通过将利用摄像装置得到的视觉图像和基于物理探测方式得到的物理属性信息相结合,自动生成训练模型所需标注数据,无需人工手动对车损图像进行损伤情况标注,还能够实现对车损图像进行像素级的损伤情况标注,提高了车损图像的标注效率和精度,从而能够为基于深度学习进行模型训练的过程提供海量、精准的标注样本数据,以便训练得到识别精度更高的车损识别模型。
其中,利用激光雷达探测技术得到的物理属性信息为各像素点的三维深度信息,基于该三维深度信息能够对损伤表面的变形程度的评估,即能够对预设损伤区域的凹陷、破损的位置进行高精度识别,而利用红外线探测技术得到的物理属性信息为各像素点的表面热成像信息,由于不同材质的红外线热成像存在一定差异,因此,结合探测到的表面热成像信息可以确定预设损伤区域的表面材质分布,因而基于该表面热成像信息能够对损伤表面的剐蹭程度的评估,即能够对预设损伤区域的剐蹭损伤的范围进行高精度识别;
进一步的,考虑到不同物理探测技术对预设损伤区域的损伤评估侧重点不同,因此,通过不同物理探测技术相结合的方式来对预设损伤区域的损伤情况进行评估,能够提高对损伤表面的损伤情况的评估准确度,基于此,如图3所示,以激光雷达探测技术和红外线探测技术相结合的方式为例,上述S202获取基于物理探测方式针对上述预设损伤区域进行扫描得到的物理属性信息,具体包括:
S2021,获取利用激光雷达装置针对目标车辆上预设损伤区域进行扫描得到的三维深度信息;
具体的,激光雷达装置对目标车辆上预设损伤区域进行扫描,得到针对该预设损伤区域的三维深度信息,并将该三维深度信息传输至图像标注装置;
如图4a所示,激光雷达装置包括:第一处理单元、激光发射单元和激光接收单元;
具体的,激光发射单元用于向预设损伤区域发射激光光束(即探测信号),激光光束到达预设损伤区域后将产生反射,激光接收单元接收预设损伤区域返回的反射光束(即目标回波),并将该目标回波传输至第一处理单元,第一处理单元将接收到的从预设损伤区域反射回来的目标回波与向预设损伤区域发射的探测信号进行比对,生成针对预设损伤区域的三维深度信息,基于三维深度信息可以绘制得到用于表征车损图像中各像素点的深度信息的三维表面图,实现以发射激光光束探测目标车辆上预设损伤区域的损伤表面中各点的相对位置信息;
S2022,获取利用红外热成像装置针对目标车辆上预设损伤区域进行扫描得到的表面热成像信息;
具体的,红外热成像装置对目标车辆上预设损伤区域进行扫描,得到针对该预设损伤区域的表面热成像信息,并将该表面热成像信息传输至图像标注装置;
如图4b所示,红外热成像装置包括:第二处理单元、红外线发射单元和红外线接收单元;
具体的,红外线发射单元用于向预设损伤区域发射红外线光束(即探测信号),红外线光束到达预设损伤区域后将产生反射,红外线接收单元接收预设损伤区域返回的反射光束(即目标回波),并将该目标回波传输至第一处理单元,第二处理单元将接收到的从预设损伤区域反射回来的目标回波与向预设损伤区域发射的探测信号进行比对,生成针对预设损伤区域的表面热成像信息,基于表面热成像信息可以绘制得到用于表征车损图像中各像素点的辐射能量的表面热成像图,实现以发射红外线光束探测目标车辆上预设损伤区域的损伤表面的材质分布;
对应的,针对同时利用激光雷达探测技术和红外线探测技术对预设损伤区域进行损伤评估的情况,上述S203根据获取到的物理属性信息对上述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据,具体包括:
S2031,根据获取到的三维深度信息和表面热成像信息,对上述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据;
具体的,根据获取到的三维深度信息,确定车损图像中各像素点的深度信息;再针对每个像素点,根据该像素点的深度信息,确定该像素点的凹凸情况(即变形情况);
根据获取到的表面热成像信息,确定车损图像中各像素点对应的辐射能量;针对每个像素点,根据该像素点对应的辐射能量,确定该像素点的剐蹭情况(即掉漆情况);
将确定出的各像素点的凹凸情况、剐蹭情况和车损图像确定为用于训练车损识别模型的车损样本数据;
本说明书一个或多个实施例中,结合激光雷达探测技术和红外线探测技术这两个物理探测维度,实现同时对预设损伤区域的变形程度和剐蹭程度进行综合识别,提高了车损图像的损伤标注精准度,进而有利于提高基于标注后的车损图像训练得到的识别模型的识别精度。
进一步的,考虑到拍摄条件可能会影响得到的车损图像和物理属性信息的质量,从而可能降低对预设损伤区域的损伤标注的准确度,因此,为了提高对预设损伤区域的损伤情况评估的精准度,在摄像装置采集车损图像以及物理探测装置采集物理属性信息的过程中,基于预设调节规则对拍摄条件进行调整,实现在不同拍摄条件下获取预设损伤区域的多张车损图像和多个物理属性信息,基于此,如图5所示,上述S201获取利用摄像装置拍摄得到的目标车辆上预设损伤区域的车损图像,具体包括:
S2011,获取针对目标车辆上预设损伤区域的车损图像集合,其中,该车损图像集合包括:利用摄像装置在不同拍摄条件下拍摄得到的多张车损图像;
其中,上述拍摄条件包括:摄像装置的拍摄方位、摄像装置与目标车辆的相对位置、拍摄环境的光照参数、以及其他影响损伤区域视觉特征的现场环境因素中至少一种,该拍摄方位可以包括:拍摄角度和拍摄朝向,该光照参数可以包括:光源数量和光照情况,因此,不同拍摄条件可以是摄像装置的拍摄方位、摄像装置与目标车辆的相对位置、以及拍摄环境的光照参数中至少一项不同的多个拍摄条件,每个拍摄条件对应于针对预设损伤区域的一张车损图像;也就是说,获取到的车损图像均为实际拍摄得到的,而不是基于原始图像进行不同的图像处理得到的,其中,实际拍摄得到的图像的特征分布更加符合现实场景,这样对于深度学习来说具有更好的训练效果;
其中,上述预设调节规则可以是根据操作人员输入的步长、自动拍摄设备进行光照、距离和角度的改变的设定信息确定的,针对同一处损伤区域,自动完成一组数百至数千张车损图片的拍摄和标注,例如,对同一处损伤区域,按照每次左右移动30cm、角度改变10度、光照从500流明提升到3000流明、每次提升100流明的调节规则来调整拍摄条件,采集各拍摄条件下的车损图像和物理属性信息;
进一步的,上述预设调节规则可以是基于车损识别模型的识别准确度确定的,当车损识别模型的识别准确度不理想时,可以通过修改预设调节规则来优化拍摄条件,从而优化最终得到的车损样本数据,进而提高车损识别模型的识别准确度。
具体的,由于摄像装置设置于图1中的可调节云台上,再通过控制设备对可调节云台进行调节,以通过可调节云台调整摄像装置的拍摄方位,并且如果在可调节云台下方安装有轮式或履带式行走机构,可通过控制设备控制可调节云台在工作场地内按照控制指令前后左右移动,以通过可调节云台调整摄像装置与目标车辆的相对位置;其中,该控制设备可以是单独的控制装置,还可以是设置于图像标注装置中的控制模块;
另外,针对上述拍摄条件包括拍摄环境的光照参数的情况,需要在通过摄像装置采集针对预设损伤区域的车损图像、以及通过物理探测装置采集针对预设损伤区域的物理属性信息的过程中,调节拍摄环境的光照参数,如图6a所示,给出了图像标注方法的第二种应用场景示意图,具体为:
在工作场地的指定位置设置一光照调节装置,控制设备根据预设拍摄参数控制光照调节装置发出的光照强度,以调整摄像装置所在的拍摄环境的光照参数,进而使得摄像装置在不同光照参数下拍摄相应的车损图像;
对应的,针对每张车损图像,均需要采集与该车损图像对应的物理属性信息,针对物理属性信息的采集过程,仍以物理探测方式包括:激光雷达探测方式和红外线探测方式为例,上述S2021获取利用激光雷达装置针对目标车辆上预设损伤区域进行扫描得到的三维深度信息,具体包括:
S20211,获取针对目标车辆上预设损伤区域的三维深度信息集合,其中,该三维深度信息集合包括:利用激光雷达探测方式在不同拍摄条件下扫描得到的多个三维表面图;
具体的,针对每个拍摄条件,不仅通过摄像装置采集预设损伤区域的车损图像,同时还通过激光雷达装置采集该预设损伤区域的三维深度信息(即三维表面图),因此,三维深度信息集合中的每一个三维表面图是在一个特定拍摄条件下得到的;
对应的,上述S2022获取利用红外热成像装置针对目标车辆上预设损伤区域进行扫描得到的表面热成像信息,具体包括:
S20221,获取针对目标车辆上预设损伤区域的表面热成像信息集合,其中,该表面热成像信息集合包括:利用红外线探测方式在不同拍摄条件下扫描得到的多个表面热成像图;
具体的,针对每个拍摄条件,不仅通过摄像装置采集预设损伤区域的车损图像以及通过激光雷达装置采集该预设损伤区域的三维深度信息(即三维表面图),同时还通过红外热成像装置采集该预设损伤区域的表面热成像信息(即表面热成像图),因此,表面热成像信息集合中的每一个表面热成像图是在一个特定拍摄条件下得到的;
对应的,上述S203根据获取到的三维深度信息和表面热成像信息,对上述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据,具体包括:
S20311,根据获取到的三维深度信息集合和表面热成像信息集合,分别对各拍摄条件下的车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据;
也就是说,针对某一预设损伤区域,在某一拍摄条件下,获取该拍摄条件对应的车损图像、三维表面图和表面热成像图,并建立拍摄条件、车损图像、三维表面图和表面热成像图之间的对应关系,再根据针对预设损伤区域获取的各拍摄条件对应的车损图像、三维表面图和表面热成像图,确定针对预设损伤区域的车损样本数据。
其中,为了保证通过物理探测装置获取到的物理属性信息与通过摄像装置获取到的车损图像上的像素点一一匹配,根据摄像装置与物理探测装置的相对位置、以及摄像装置的取景框内每个像素点的拍摄范围,确定物理探测装置的扫描范围;进一步为了保证同一拍摄条件下的车损图像和物理属性信息一一对应,物理探测装置和摄像装置的相对位置不变,控制设备通过可调节云台对摄像装置和物理探测装置进行同步调整,因此,在同一拍摄条件下,同时通过摄像装置采集针对预设损伤区域的车损图像、以及通过物理探测装置采集针对预设损伤区域的物理属性信息;
另外,由于拍摄点相对目标车辆的中心点及损伤部位的坐标是已知的,基于空间几何计算,可知所拍摄的车损图像中,每一个像素点是否位于某种损伤范围内。
本说明书一个或多个实施例中,在摄像装置采集车损图像以及物理探测装置采集物理属性信息的过程中,基于预设调节规则对拍摄条件进行调整,实现在不同拍摄条件下获取预设损伤区域的多张车损图像和多个物理属性信息,针对每个拍摄条件,根据该拍摄条件下采集的物理属性信息,对在拍摄条件下拍摄得到的车损图像进行损伤标注,生成车损样本数据,这样对于一个预设损伤区域而言,得到了在多个拍摄条件下生成的车损样本数据,从而能够提高对该预设损伤区域的损伤标注的准确度,进一步提高了基于该车损样本数据训练得到的车损识别模型的识别准确度。
其中,为了保证目标车辆的移动精度,提高摄像装置与目标车辆的相对位置的定位准确度,上述摄像装置与目标车辆的相对位置是基于具备厘米级精确定位能力的定位装置对目标车辆的移动进行控制得到的,如图6b所示,给出了图像标注方法的第三种应用场景示意图,具体为:
在工作场地的指定位置设置一无线定位装置,无线定位装置获取目标车辆移动前的第一位置信息和移动后的第二位置信息,根据第一位置信息和第二位置信息确定目标车辆的实际移动距离,将该实际移动距离与理论移动距离进行比对,确定目标车辆的移动误差是否满足预设条件,若否,则向控制设备发送相应的提示信息,以使控制设备对目标车辆进行准确定位,其中,无线定位装置可以是基于无线电信号的定位装置,也可以是基于蓝牙信号的定位装置,还可以是基于激光雷达的定位装置。
其中,针对车损图像的损伤标注过程,如图7所示,上述S203根据获取到的物理属性信息对上述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据,具体包括:
S2032,根据获取到的物理属性信息,确定针对预设损伤区域的车损图像中各像素点的损伤情况;
具体的,针对物理属性信息为三维深度信息的情况,根据获取到的针对预设损伤区域的三维表面图,确定针对该预设损伤区域的车损图像中各像素点的深度信息;根据各像素点的深度信息,确定车损图像中各像素点的变形情况(即凹凸情况);
针对物理属性信息为表面热成像信息的情况,根据获取到的针对预设损伤区域的表面热成像图,确定针对该预设损伤区域的车损图像中各像素点的辐射能量;根据各像素点的辐射能量,确定车损图像中各像素点的剐蹭情况(即掉漆情况);
S2033,将确定出的各像素点的损伤情况和车损图像确定为用于训练车损识别模型的车损样本数据;
具体的,将车损图像中各像素点的损伤情况作为针对车损图像的标注数据,建立车损图像和标注数据之间的对应关系,将该对应关系、车损图像、标注数据输入至待训练的基于有监督学习模式的机器学习模型。
其中,针对在不同拍摄条件下获取车损图像和各车损图像对应的物理属性信息的情况,即上述目标车辆上预设损伤区域的车损图像包括:在不同拍摄条件下拍摄得到的多张车损图像,以及上述针对预设损伤区域的物理属性信息包括:在不同拍摄条件下扫描得到的多份物理属性信息;
对应的,上述S2032根据获取到的物理属性信息,确定针对预设损伤区域的车损图像中各像素点的损伤情况,具体包括:
针对每张车损图像,根据在该车损图像对应的拍摄条件下得到的物理属性信息,确定该车损图像中各像素点的损伤情况。
具体的,为了提高对预设损伤区域的损伤情况评估的精准度,在摄像装置采集车损图像以及物理探测装置采集物理属性信息的过程中,基于预设调节规则对拍摄条件进行调整,实现在不同拍摄条件下获取预设损伤区域的多张车损图像和多个物理属性信息,因此,在对车损图像进行损伤标注时,需要针对每张车损图像,确定在该车损图像对应的拍摄条件下得到的物理属性信息;再根据该物理属性信息,确定该车损图像中各像素点的损伤情况;
其中,根据该物理属性信息,确定车损图像中各像素点的损伤情况的过程,具体为:
(1)针对物理属性信息为三维深度信息的情况,根据在该车损图像对应的拍摄条件下得到的三维表面图,确定该车损图像中各像素点的深度信息;根据各像素点的深度信息,确定车损图像中各像素点的变形情况(即凹凸情况);
(2)针对物理属性信息为表面热成像信息的情况,根据在该车损图像对应的拍摄条件下得到的表面热成像图,确定该车损图像中各像素点的辐射能量;根据各像素点的辐射能量,确定车损图像中各像素点的剐蹭情况(即掉漆情况);
具体的,在确定出各车损图像中各像素点的损伤情况后,在某一拍摄条件下的每一个车损图像和该车损图像中各像素点的损伤情况作为一份车损样本数据,因此,针对同一预设损伤区域,得到在不同拍摄条件下的多份车损样本数据;
其中,每份车损样本数据包括:拍摄条件相同且车损图像标识相同的多行关于损伤情况的标注数据,每行标注数据包括:一个像素点的损伤情况统计数据,例如,凸凹程度、剐蹭程度等等;其中,每份车损样本数据还包括:针对每张车损图像的整体车损统计数据、针对预设损伤区域的维修方案、针对预设损伤区域的损伤类型等,该针对预设损伤区域的维修方案可以是基于相关人员的标记信息确定的。
其中,针对目标车辆的某一预设损伤区域采集到的基础数据,即拍摄条件、车损图像与物理属性信息之间的对应关系,如下表1所示:
表1
具体的,标识为0001的拍摄条件与标识为0002的拍摄条件中的摄像装置的拍摄方位、摄像装置与目标车辆的相对位置、以及拍摄环境的光照参数中至少一项不同,标识为AAAA的车损图像、标识为1aaaa的三维表面图、标识为2aaaa的表面热成像图均为在标识为0001的拍摄条件下采集得到的。
其中,结合上述表1中车损图像与物理属性信息之间的对应关系,根据物理属性信息,对目标车辆的某一预设损伤区域的车损图像进行车损标注,生成的针对该预设损伤区域的标注数据,如下表2所示:
表2
进一步的,在对实际拍摄得到的车损图像进行自动损伤标注并生成车损样本数据后,将该车损样本数据输入至预设机器学习模型,并对该机器学习模型进行训练得到车损识别模型,其中,该机器学习模型可以是基于有监督学习模式的机器学习模型,具体的,如图8所示,在S203根据获取到的物理属性信息对上述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据之后,还包括:
S204,将生成的车损样本数据输入至预设的基于有监督学习模式的机器学习模型;
S205,利用机器学习方法并基于上述车损样本数据对机器学习模型进行训练,得到车损识别模型。
具体的,基于上述车损样本数据对基于有监督学习模式的机器学习模型中的模型参数进行更新,得到模型参数更新后的车损识别模型,进而,在获取到待识别的车损图像后,利用该车损识别模型该待识别的车损图像进行损伤情况识别,根据确定出的针对车损图像的损伤情况,对车辆进行自动定损。
本说明书一个或多个实施例中的图像标注方法,获取利用摄像装置拍摄得到的预设损伤区域的车损图像;以及,获取基于物理探测方式针对预设损伤区域进行扫描得到的物理属性信息;根据该物理属性信息对车损图像进行损伤标注,生成车损样本数据。通过将利用摄像装置得到的视觉图像和基于物理探测方式得到的物理属性信息相结合,自动生成训练模型所需标注数据,无需人工手动对车损图像进行损伤情况标注,还能够实现对车损图像进行像素级的损伤情况标注,提高了车损图像的标注效率和精度,从而能够为基于深度学习进行模型训练的过程提供海量、精准的标注样本数据,以便训练得到识别精度更高的车损识别模型。
对应上述图2至图8描述的图像标注方法,基于相同的技术构思,本说明书一个或多个实施例还提供了一种图像标注装置,图9a为本说明书一个或多个实施例提供的图像标注装置的第一种模块组成示意图,该装置用于执行图2至图8描述的图像标注方法,如图9a所示,该装置包括:
第一获取模块901,用于获取利用摄像装置拍摄得到的目标车辆上预设损伤区域的车损图像;以及,
第二获取模块902,用于获取基于物理探测方式针对所述预设损伤区域进行扫描得到的物理属性信息;
图像标注模块903,用于根据所述物理属性信息对所述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据。
本说明书一个或多个实施例中,通过将利用摄像装置得到的视觉图像和基于物理探测方式得到的物理属性信息相结合,自动生成训练模型所需标注数据,无需人工手动对车损图像进行损伤情况标注,还能够实现对车损图像进行像素级的损伤情况标注,提高了车损图像的标注效率和精度,从而能够为基于深度学习进行模型训练的过程提供海量、精准的标注样本数据,以便训练得到识别精度更高的车损识别模型。
可选地,所述第二获取模块902,具体用于:
获取利用激光雷达装置针对所述预设损伤区域进行扫描得到的三维深度信息;和/或,
获取利用红外热成像装置针对所述预设损伤区域进行扫描得到的表面热成像信息。
可选地,所述第一获取模块901,具体用于:
获取针对目标车辆上预设损伤区域的车损图像集合,其中,所述车损图像集合包括:利用摄像装置在不同拍摄条件下拍摄得到的多张车损图像;
对应的,所述第二获取模块902,具体用于:
获取针对所述预设损伤区域的物理属性信息集合,其中,所述物理属性信息集合包括:利用物理探测方式在不同拍摄条件下扫描得到的多个物理属性信息。
可选地,所述图像标注模块903,具体用于:
根据所述物理属性信息,确定所述车损图像中各像素点的损伤情况;
将所述各像素点的损伤情况和所述车损图像确定为用于训练车损识别模型的车损样本数据。
可选地,所述目标车辆上预设损伤区域的车损图像包括:在不同拍摄条件下拍摄得到的多张车损图像;
所述图像标注模块903,进一步具体用于:
针对每张所述车损图像,根据在该车损图像对应的拍摄条件下得到的所述物理属性信息,确定该车损图像中各像素点的损伤情况。
可选地,如图9b所示,所述装置还包括模型训练模块904,用于:
在生成用于训练车损识别模型的车损样本数据之后,将所述车损样本数据输入至基于有监督学习模式的机器学习模型;
利用机器学习方法并基于所述车损样本数据对所述机器学习模型进行训练,得到车损识别模型。
可选地,所述拍摄条件包括:所述摄像装置的拍摄方位、所述摄像装置与目标车辆的相对位置、拍摄环境的光照参数、以及其他影响损伤区域视觉特征的现场环境因素中至少一种。
可选地,所述摄像装置与目标车辆的相对位置是基于具备厘米级精确定位能力的定位装置对所述目标车辆的移动进行控制得到的。
本说明书一个或多个实施例中的图像标注装置,获取利用摄像装置拍摄得到的预设损伤区域的车损图像;以及,获取基于物理探测方式针对预设损伤区域进行扫描得到的物理属性信息;根据该物理属性信息对车损图像进行损伤标注,生成车损样本数据。通过将利用摄像装置得到的视觉图像和基于物理探测方式得到的物理属性信息相结合,自动生成训练模型所需标注数据,无需人工手动对车损图像进行损伤情况标注,还能够实现对车损图像进行像素级的损伤情况标注,提高了车损图像的标注效率和精度,从而能够为基于深度学习进行模型训练的过程提供海量、精准的标注样本数据,以便训练得到识别精度更高的车损识别模型。
需要说明的是,本说明书中关于图像标注装置的实施例与本说明书中关于图像标注方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的图像标注方法的实施,重复之处不再赘述。
对应上述图2至图8描述的图像标注方法,基于相同的技术构思,本说明书一个或多个实施例还提供了一种图像标注系统,图10为本说明书一个或多个实施例提供的图像标注系统的结构示意图,如图10所示,该系统包括:
摄像装置10、物理探测装置20和如图9a和图9b所示的图像标注装置30,其中,该摄像装置10和物理探测装置20均与图像标注装置30相连接;
上述摄像装置10,用于对目标车辆上预设损伤区域进行拍摄得到的车损图像,并将所述车损图像传输至所述图像标注装置30;
上述物理探测装置20,用于基于物理探测方式对所述预设损伤区域进行扫描得到的物理属性信息,并将所述物理属性信息传输至所述图像标注装置30;
上述图像标注装置30,用于接收车损图像和图像标注装置,并根据该车损图像和图像标注装置生成用于训练车损识别模型的车损样本数据。
其中,针对图像标注装置与模型训练装置设置于同一服务器的情况,在生成用于训练车损识别模型的车损样本数据之后,还包括:
上述图像标注装置30,用于将生成的车损样本数据输入至基于有监督学习模式的机器学习模型;
利用机器学习方法并基于上述车损样本数据对上述机器学习模型进行训练,得到车损识别模型。
具体的,基于上述车损样本数据对基于有监督学习模式的机器学习模型中的模型参数进行更新,得到模型参数更新后的车损识别模型,进而,在获取到待识别的车损图像后,利用该车损识别模型该待识别的车损图像进行损伤情况识别,根据确定出的针对车损图像的损伤情况,对车辆进行自动定损。
本说明书一个或多个实施例中,通过将利用摄像装置得到的视觉图像和基于物理探测方式得到的物理属性信息相结合,自动生成训练模型所需标注数据,无需人工手动对车损图像进行损伤情况标注,还能够实现对车损图像进行像素级的损伤情况标注,提高了车损图像的标注效率和精度,从而能够为基于深度学习进行模型训练的过程提供海量、精准的标注样本数据,以便训练得到识别精度更高的车损识别模型。
其中,利用激光雷达探测技术得到的物理属性信息为各像素点的三维深度信息,基于该三维深度信息能够对损伤表面的变形程度的评估,即能够对预设损伤区域的凹陷、破损的位置进行高精度识别,而利用红外线探测技术得到的物理属性信息为各像素点的表面热成像信息,由于不同材质的红外线热成像存在一定差异,因此,结合探测到的表面热成像信息可以确定预设损伤区域的表面材质分布,因而基于该表面热成像信息能够对损伤表面的剐蹭程度的评估,即能够对预设损伤区域的剐蹭损伤的范围进行高精度识别;
进一步的,考虑到不同物理探测技术对预设损伤区域的损伤评估侧重点不同,因此,通过不同物理探测技术相结合的方式来对预设损伤区域的损伤情况进行评估,能够提高对损伤表面的损伤情况的评估准确度,上述物理探测装置包括:激光雷达装置、和/或红外热成像装置;
上述激光雷达装置,用于利用激光光束对所述预设损伤区域进行扫描得到三维深度信息,并将所述三维深度信息传输至所述图像标注装置;
上述红外热成像装置,用于利用红外线对所述预设损伤区域进行扫描得到表面热成像信息,并将所述表面热成像信息传输至所述图像标注装置。
进一步的,考虑到拍摄条件可能会影响得到的车损图像和物理属性信息的质量,从而可能降低对预设损伤区域的损伤标注的准确度,因此,为了提高对预设损伤区域的损伤情况评估的精准度,在摄像装置采集车损图像以及物理探测装置采集物理属性信息的过程中,基于预设调节规则对拍摄条件进行调整,实现在不同拍摄条件下获取预设损伤区域的多张车损图像和多个物理属性信息,因此,所述系统还包括:可调节云台,其中,所述摄像装置和所述物理探测装置均设置于所述可调节云台上,且所述摄像装置与所述物理探测装置的相对位置保持不变;
上述可调节云台,用于调整所述摄像装置和所述物理探测装置的拍摄条件;
上述摄像装置,用于在不同拍摄条件下对目标车辆上预设损伤区域进行拍摄得到多张车损图像,并将所述多张车损图像传输至所述图像标注装置;
上述物理探测装置,用于利用物理探测方式在不同拍摄条件下对所述预设损伤区域的进行扫描得到多份物理属性信息,并将所述多份物理属性信息传输至所述图像标注装置。
其中,所述系统还包括:光照调节装置;
上述光照调节装置,用于调整所述摄像装置所在的拍摄环境的光照参数。
其中,上述系统还包括:具备厘米级精确定位能力的定位装置;
上述定位装置,用于对所述摄像装置与所述目标车辆的相对位置进行定位。
本说明书一个或多个实施例中的图像标注系统,获取利用摄像装置拍摄得到的预设损伤区域的车损图像;以及,获取基于物理探测方式针对预设损伤区域进行扫描得到的物理属性信息;根据该物理属性信息对车损图像进行损伤标注,生成车损样本数据。通过将利用摄像装置得到的视觉图像和基于物理探测方式得到的物理属性信息相结合,自动生成训练模型所需标注数据,无需人工手动对车损图像进行损伤情况标注,还能够实现对车损图像进行像素级的损伤情况标注,提高了车损图像的标注效率和精度,从而能够为基于深度学习进行模型训练的过程提供海量、精准的标注样本数据,以便训练得到识别精度更高的车损识别模型。
需要说明的是,本说明书中关于图像标注系统的实施例与本说明书中关于图像标注方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的图像标注方法的实施,重复之处不再赘述。
进一步地,对应上述图2至图8所示的方法,基于相同的技术构思,本说明书一个或多个实施例还提供了一种图像标注设备,该设备用于执行上述的图像标注方法,如图11所示。
图像标注设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器1101和存储器1102,存储器1102中可以存储有一个或一个以上存储应用程序或数据。其中,存储器1102可以是短暂存储或持久存储。存储在存储器1102的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对图像标注设备中的一系列计算机可执行指令。更进一步地,处理器1101可以设置为与存储器1102通信,在图像标注设备上执行存储器1102中的一系列计算机可执行指令。图像标注设备还可以包括一个或一个以上电源1103,一个或一个以上有线或无线网络接口1104,一个或一个以上输入输出接口1105,一个或一个以上键盘1106等。
在一个具体的实施例中,图像标注设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对图像标注设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
获取利用摄像装置拍摄得到的目标车辆上预设损伤区域的车损图像;以及,
获取基于物理探测方式针对所述预设损伤区域进行扫描得到的物理属性信息;
根据所述物理属性信息对所述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据。
本说明书一个或多个实施例中,通过将利用摄像装置得到的视觉图像和基于物理探测方式得到的物理属性信息相结合,自动生成训练模型所需标注数据,无需人工手动对车损图像进行损伤情况标注,还能够实现对车损图像进行像素级的损伤情况标注,提高了车损图像的标注效率和精度,从而能够为基于深度学习进行模型训练的过程提供海量、精准的标注样本数据,以便训练得到识别精度更高的车损识别模型。
可选地,计算机可执行指令在被执行时,所述获取基于物理探测方式针对所述预设损伤区域进行扫描得到的物理属性信息,包括:
获取利用激光雷达装置针对所述预设损伤区域进行扫描得到的三维深度信息;
和/或,
获取利用红外热成像装置针对所述预设损伤区域进行扫描得到的表面热成像信息。
可选地,计算机可执行指令在被执行时,所述获取利用摄像装置拍摄得到的目标车辆上预设损伤区域的车损图像,包括:
获取针对目标车辆上预设损伤区域的车损图像集合,其中,所述车损图像集合包括:利用摄像装置在不同拍摄条件下拍摄得到的多张车损图像;
对应的,所述获取基于物理探测方式针对所述预设损伤区域进行扫描得到的物理属性信息,包括:
获取针对所述预设损伤区域的物理属性信息集合,其中,所述物理属性信息集合包括:利用物理探测方式在不同拍摄条件下扫描得到的多个物理属性信息。
可选地,计算机可执行指令在被执行时,所述根据所述物理属性信息对所述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据,包括:
根据所述物理属性信息,确定所述车损图像中各像素点的损伤情况;
将所述各像素点的损伤情况和所述车损图像确定为用于训练车损识别模型的车损样本数据。
可选地,计算机可执行指令在被执行时,所述目标车辆上预设损伤区域的车损图像包括:在不同拍摄条件下拍摄得到的多张车损图像;
所述根据所述物理属性信息,确定所述车损图像中各像素点的损伤情况,包括:
针对每张所述车损图像,根据在该车损图像对应的拍摄条件下得到的所述物理属性信息,确定该车损图像中各像素点的损伤情况。
可选地,计算机可执行指令在被执行时,在生成用于训练车损识别模型的车损样本数据之后,还包括:
将所述车损样本数据输入至基于有监督学习模式的机器学习模型;
利用机器学习方法并基于所述车损样本数据对所述机器学习模型进行训练,得到车损识别模型。
可选地,计算机可执行指令在被执行时,所述拍摄条件包括:所述摄像装置的拍摄方位、所述摄像装置与目标车辆的相对位置、拍摄环境的光照参数、以及其他影响损伤区域视觉特征的现场环境因素中至少一种。
可选地,计算机可执行指令在被执行时,所述摄像装置与目标车辆的相对位置是基于具备厘米级精确定位能力的定位装置对所述目标车辆的移动进行控制得到的。
本说明书一个或多个实施例中的图像标注设备,获取利用摄像装置拍摄得到的预设损伤区域的车损图像;以及,获取基于物理探测方式针对预设损伤区域进行扫描得到的物理属性信息;根据该物理属性信息对车损图像进行损伤标注,生成车损样本数据。通过将利用摄像装置得到的视觉图像和基于物理探测方式得到的物理属性信息相结合,自动生成训练模型所需标注数据,无需人工手动对车损图像进行损伤情况标注,还能够实现对车损图像进行像素级的损伤情况标注,提高了车损图像的标注效率和精度,从而能够为基于深度学习进行模型训练的过程提供海量、精准的标注样本数据,以便训练得到识别精度更高的车损识别模型。
进一步地,对应上述图2至图8所示的方法,基于相同的技术构思,本说明书一个或多个实施例还提供了一种存储介质,用于存储计算机可执行指令,一种具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令在被处理器执行时,能实现以下流程:
获取利用摄像装置拍摄得到的目标车辆上预设损伤区域的车损图像;以及,
获取基于物理探测方式针对所述预设损伤区域进行扫描得到的物理属性信息;
根据所述物理属性信息对所述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据。
本说明书一个或多个实施例中,通过将利用摄像装置得到的视觉图像和基于物理探测方式得到的物理属性信息相结合,自动生成训练模型所需标注数据,无需人工手动对车损图像进行损伤情况标注,还能够实现对车损图像进行像素级的损伤情况标注,提高了车损图像的标注效率和精度,从而能够为基于深度学习进行模型训练的过程提供海量、精准的标注样本数据,以便训练得到识别精度更高的车损识别模型。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述获取基于物理探测方式针对所述预设损伤区域进行扫描得到的物理属性信息,包括:
获取利用激光雷达装置针对所述预设损伤区域进行扫描得到的三维深度信息;
和/或,
获取利用红外热成像装置针对所述预设损伤区域进行扫描得到的表面热成像信息。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述获取利用摄像装置拍摄得到的目标车辆上预设损伤区域的车损图像,包括:
获取针对目标车辆上预设损伤区域的车损图像集合,其中,所述车损图像集合包括:利用摄像装置在不同拍摄条件下拍摄得到的多张车损图像;
对应的,所述获取基于物理探测方式针对所述预设损伤区域进行扫描得到的物理属性信息,包括:
获取针对所述预设损伤区域的物理属性信息集合,其中,所述物理属性信息集合包括:利用物理探测方式在不同拍摄条件下扫描得到的多个物理属性信息。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述物理属性信息对所述车损图像进行损伤标注,生成用于训练车损识别模型的车损样本数据,包括:
根据所述物理属性信息,确定所述车损图像中各像素点的损伤情况;
将所述各像素点的损伤情况和所述车损图像确定为用于训练车损识别模型的车损样本数据。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述目标车辆上预设损伤区域的车损图像包括:在不同拍摄条件下拍摄得到的多张车损图像;
所述根据所述物理属性信息,确定所述车损图像中各像素点的损伤情况,包括:
针对每张所述车损图像,根据在该车损图像对应的拍摄条件下得到的所述物理属性信息,确定该车损图像中各像素点的损伤情况。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,在生成用于训练车损识别模型的车损样本数据之后,还包括:
将所述车损样本数据输入至基于有监督学习模式的机器学习模型;
利用机器学习方法并基于所述车损样本数据对所述机器学习模型进行训练,得到车损识别模型。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述拍摄条件包括:所述摄像装置的拍摄方位、所述摄像装置与目标车辆的相对位置、拍摄环境的光照参数、以及其他影响损伤区域视觉特征的现场环境因素中至少一种。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述摄像装置与目标车辆的相对位置是基于具备厘米级精确定位能力的定位装置对所述目标车辆的移动进行控制得到的。
本说明书一个或多个实施例中的存储介质存储的计算机可执行指令在被处理器执行时,获取利用摄像装置拍摄得到的预设损伤区域的车损图像;以及,获取基于物理探测方式针对预设损伤区域进行扫描得到的物理属性信息;根据该物理属性信息对车损图像进行损伤标注,生成车损样本数据。通过将利用摄像装置得到的视觉图像和基于物理探测方式得到的物理属性信息相结合,自动生成训练模型所需标注数据,无需人工手动对车损图像进行损伤情况标注,还能够实现对车损图像进行像素级的损伤情况标注,提高了车损图像的标注效率和精度,从而能够为基于深度学习进行模型训练的过程提供海量、精准的标注样本数据,以便训练得到识别精度更高的车损识别模型。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HD Cal、JHDL(Java Hardware Description Language)、Lava、Lola、My HDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书一个或多个的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书一个或多个可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个是参照根据本说明书一个或多个实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书一个或多个的实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书一个或多个的实施例而已,并不用于限制本说明书一个或多个。对于本领域技术人员来说,本说明书一个或多个可以有各种更改和变化。凡在本说明书一个或多个的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书一个或多个的权利要求范围之内。