CN112583414A - 场景处理方法、装置、设备、存储介质以及产品 - Google Patents
场景处理方法、装置、设备、存储介质以及产品 Download PDFInfo
- Publication number
- CN112583414A CN112583414A CN202011446055.7A CN202011446055A CN112583414A CN 112583414 A CN112583414 A CN 112583414A CN 202011446055 A CN202011446055 A CN 202011446055A CN 112583414 A CN112583414 A CN 112583414A
- Authority
- CN
- China
- Prior art keywords
- scene
- sampled
- probability
- initial
- scenes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 24
- 238000007906 compression Methods 0.000 claims abstract description 83
- 230000006835 compression Effects 0.000 claims abstract description 83
- 238000005070 sampling Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000012360 testing method Methods 0.000 claims description 92
- 238000000034 method Methods 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 22
- 238000005065 mining Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 5
- 238000007418 data mining Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013100 final test Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
Abstract
本公开公开了场景处理方法、装置、设备、存储介质以及产品,涉及自动驾驶以及智能交通等领域。具体实现方案为:基于场景集的目标压缩系数和所述场景集中每个场景的重要性程度值,确定出每个所述场景被采样的概率;基于每个所述场景被采样的概率,对所述场景集进行采样,以实现对所述场景集的压缩。提高了采样多样性,实现了处理效率、采样多样性和全面性的平衡。
Description
技术领域
本公开涉及数据处理领域,尤其涉及自动驾驶以及智能交通等领域。
背景技术
无人车,也即自动驾驶车辆,是在大数据的基础上进行的自动驾驶控制,可以应对各种场景。为了控制准确,需要对车辆覆盖的各种场景进行测试。从车辆测试覆盖的角度考虑,测试的场景越多覆盖越全面。但是随着场景数量级的上升,面对海量场景,做一次全量测试的周期和资源需求就会显著增加,因此从实际使用的角度出发,可以在满足一定覆盖率的情况下尽可能减少资源事件消耗。传统的测试方案中,一般会对海量场景采用一定比例的随机、均匀采样进行测试,以保持与原始样本分布一致。该方案虽然能够实现海量场景的压缩效果,但是该方案的明显缺点是,在保持样本整体分布不变的情况下,均匀采样导致样本多样性下降,尤其是占比较低的低频率场景(即不常见场景)会因为稀疏采样导致丢失,因此会引起测试覆盖不充分,进而引起漏测风险。
发明内容
本公开提供了一种场景处理方法、装置、设备、存储介质以及产品。
根据本公开的一方面,提供了一种场景处理方法,包括:
基于场景集的目标压缩系数和所述场景集中每个场景的重要性程度值,确定出每个所述场景被采样的概率;
基于每个所述场景被采样的概率,对所述场景集进行采样。
根据本公开的另一方面,提供了一种场景处理装置,包括:
第一确定模块,用于基于场景集的目标压缩系数和所述场景集中每个场景的重要性程度值,确定出每个所述场景被采样的概率;
场景采样模块,用于基于每个所述场景被采样的概率,对所述场景集进行采样。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据本公开任一实施例中的方法。
根据本公开的技术提高了采样多样性,实现了处理效率、采样多样性和全面性的平衡。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的场景处理方法的示意图;
图2是根据本公开第二实施例的场景处理方法的示意图;
图3是根据本公开第二实施例的事件频率时序图;
图4是根据本公开第二实施例的信息熵时序图;
图5是根据本公开第三实施例的场景处理方法的示意图;
图6是根据本公开第四实施例的场景处理方法的示意图;
图7是根据本公开第五实施例的场景处理方法的示意图;
图8是根据本公开第六实施例的场景处理方法的示意图;
图9是根据本公开第六实施例的熵阈值与测试差异性关系示意图;
图10是根据本公开第七实施例的场景处理方法的系统框架图;
图11是根据本公开第七实施例的场景处理方法的示意图;
图12是根据本公开实施例的场景处理装置的结构示意图一;
图13是根据本公开实施例的场景处理装置的结构示意图二;
图14是根据本公开实施例的场景处理装置的结构示意图三;
图15是根据本公开实施例的场景处理装置的结构示意图四;
图16是用来实现本公开实施例的场景处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开实施例提供一种场景处理方法,如图1所示,该方法包括:
步骤S101:基于场景集的目标压缩系数和场景集中每个场景的重要性程度值,确定出每个场景被采样的概率。
步骤S102:基于每个场景被采样的概率,对场景集进行采样,以实现对场景集的压缩。
以上场景集中可以包括自动驾驶应对的各种场景。这里,随着场景数量量级的上升,能够形成海量场景,此时,需要对场景集进行采样,得到一部分场景,以实现对场景集的压缩。
本示例中,压缩系数指场景集中场景的采样个数与总个数的比值。例如,场景集中有10万个场景,从场景集中采样出3万个场景,则压缩系数为0.3。目标压缩系数则是实际需要达到的压缩系数。
场景的重要性程度值是场景的重要性程度的量化值。实际应用中,可以根据实际需要基于场景中的某些重要因素进行量化。场景的重要性程度值越高,表示场景越重要。场景越重要,场景被采样的概率越大。
本方案能够基于场景的重要性程度值和目标压缩系数,确定出场景被采样的概率,基于此进行采样,可以使得各种重要的场景(例如,不常见但重要的场景)被采样出来,提升了采样的场景的多样性,采样覆盖更充分,进而提升了采样的全面性,如此,既实现了对海量场景压缩,保证了后续处理的效率,又兼顾了采样的多样性和全面性,从而实现了处理效率、多样性和全面性的平衡。
在一种实施方式中,基于场景集的目标压缩系数和场景集中每个场景的重要性程度值,确定出每个场景被采样的概率之前,场景处理方法还包括:统计场景的每个时刻的事件发生数量;基于每个时刻的事件发生数量,确定出场景的重要性程度值。
事件是场景中的某些重要信息的代指。在自动驾驶的场景中,事件可以是被机动车切入、行人横穿、通过十字路口等。实际应用中的事件包括并不仅限于上述事件。另外,事件之间不需要严格的正交,只要能保持不同即可,例如,左转遇行人和左转可以同时存在,可以认为是两个不同的事件。
实际应用中,可以基于机器学习等数据挖掘技术对场景进行事件的挖掘。经事件挖掘后,可以得到每个事件的开始、结束时间等挖掘信息,以基于该挖掘信息统计场景的每个时刻的事件发生数量。
对于一个场景来说,每个时刻的事件发生数量,体现出了场景每个时刻的事件发生频率,能够反映出一个场景是事件高发的场景还是事件低发的场景,因此,事件发生频率是场景的一个非常重要的因素。本实施例中,通过统计场景的每个时刻的事件发生数量,基于该统计结果,确定出场景的重要性程度值,这种采样事件挖掘的思路,对场景进行了更为深入的刻画,使得后续场景选择更有针对性,解决了如何对场景重要信息聚焦的问题,如此,以事件为主要目标,从事件发生频率的角度,将各种重要的场景采样出来,从而实现了采样多样性的提升。
在一种实施方式中,基于每个时刻的事件发生数量,确定出场景的重要性程度值,如图2所示,具体实现方式可以包括:
步骤S201:基于每个时刻的事件发生数量分别计算每个时刻对应的信息熵。
本步骤中,首先,可以将每个时刻的事件发生数量进行归一化处理,处理成0~1的取值,作为每个时刻的事件发生频率。归一化处理时,至少有以下两种方式:一是可以进行单独归一化,即,在单个场景中进行归一化处理,确定出该单个场景中事件发生数量的最大值作为第一最大值,将该单个场景中每个时刻的事件发生数量除以该第一最大值,得到0~1的取值。二是可以进行全局归一化,即,在整个场景集中进行归一化处理,确定出整个场景集中事件发生数量的最大值作为第二最大值,然后,将每个场景中每个时刻的事件发生数量除以该第二最大值,得到0~1的取值。针对每个场景的处理结果可以参见图3所示的事件频率时序图,横坐标为时刻t,纵坐标为事件发生频率P。
之后,基于每个时刻的事件发生频率,得到每个时刻对应的信息熵。
信息熵是用于度量信息量的。高信息度的信息熵是偏低的。信息熵的计算公式如下:
e=-P*ln(P)-(1-P)*ln(1-P) (1)
其中,e表示信息熵。P是事件发生频率。
如图4所示,虚曲线表示事件频率时序图,实曲线表示信息熵时序图,横坐标为时刻t,纵坐标为信息熵e。从图中可以看出,高频率时刻(即事件发生数量较高的时刻)和低频率时刻(即事件发生数量较低的时刻)对应的信息熵偏低。
步骤S202:统计信息熵低于或等于第一阈值的时刻,得到小熵时段长度。
其中,第一阈值可以预先根据实际需要进行设置。如图4所示,虚直线表示第一阈值,也即熵阈值θ。基于第一阈值进行过滤统计,将信息熵低于或等于第一阈值的时刻统计出来,得到小熵时段长度,准确的选择出了场景中的高频率时段和低频率时段。
步骤S203:计算小熵时段长度在场景的总时段长度中的占比,作为场景的重要性程度值。
高频率时段是事件高发的时段,该时段发生的事件是高价值事件,在压缩后的场景中的占比应该高一些,低频率时段虽是事件低发的时段,但是更有可能存在一些不常见的事件,利于提升多样性和全面性,因此,该时段发生的事件也是高价值事件,也应该在压缩后的场景中多保留一些。本实施例中,基于信息熵来衡量场景的重要性程度,通过选择的小熵时段的占比,得到重要性程度值,可以使得高频率时段和低频率时段都作为对场景重要性贡献的一部分,尤其对于低频率时段贡献大的场景来说,其重要性程度值就高,更可能被采样出来,甚至未被任何事件击中的场景也能够被以最高的概率保留下来,避免了事件覆盖不全导致丢失的可能性,可以避免不常见的场景被丢失的情况,如此,通过高频率时段和低频率时段的合理留存,使得高频率时段和低频率时段数据同时对采样产生影响,充分考虑了多样性和全面性的均衡。另外,基于信息熵进行重要性分析的方案,仅基于第一阈值这一个阈值,就可以得到场景的重要性程度值,效率更高。
在一种实施方式中,基于每个时刻的事件发生数量,确定出场景的重要性程度值,如图5所示,具体实现方式可以包括:
步骤S501:统计事件发生数量低于或等于第二阈值的时刻,得到低频率事件的时段长度。
步骤S502:统计事件发生数量高于或等于第三阈值的时刻,得到高频率事件的时段长度。
步骤S503:计算低频率事件的时段长度和高频率事件的时段长度之和在场景的总时段长度中的占比,作为场景的重要性程度值。
其中,第三阈值大于第二阈值。第二阈值和第三阈值的大小都可以根据实际需要进行设置。
这样,可以直接基于事件发生数量来衡量场景的重要性程度,选择出高频率时段和低频率时段,基于该高频率时段和低频率时段的占比得到重要性程度值,也可以使得高频率时段和低频率时段都作为对场景重要性贡献的一部分,从而提升采样多样性和全面性。
在一种实施方式中,基于场景集的目标压缩系数和场景集中每个场景的重要性程度值,确定出每个场景被采样的概率,如图6所示,具体实现方式可以包括:
步骤S601:基于场景的重要性程度值,确定出场景被采样的初始概率。
步骤S602:基于场景被采样的初始概率,得到场景对应的初始压缩系数。
步骤S603:计算场景对应的目标压缩系数与场景对应的初始压缩系数的比值。
步骤S604:将场景被采样的初始概率与比值的乘积,作为场景被采样的概率,以得到每个场景被采样的概率。
基于每个场景被采样的初始概率对场景集进行采样,综合达到的对场景集的初始压缩系数,可能并不等于目标压缩系数,也就是说,不符合对场景集的压缩目标,通过目标压缩系数与初始压缩系数的比值,对场景被采样的初始概率进行转换,得到最终的场景被采样的概率,从而可以准确的实现对场景集的压缩目标。
在一种实施方式中,基于场景的重要性程度值,确定出场景被采样的初始概率,具体可以包括:将场景的重要性程度值作为场景被采样的初始概率。具体的,可以将场景的重要性程度值处理成0~1的取值,直接将该场景的重要性程度值作为场景被采样的初始概率。重要性程度值越高,相应的,场景被采样的初始概率越高。如此,处理简单快速,提高了处理效率。
在一种实施方式中,基于场景被采样的初始概率,得到场景对应的初始压缩系数,如图7所示,具体实现方式可以包括:
步骤S701:基于场景被采样的初始概率得到场景对应的被采样的初始期望值。
具体的,场景对应的被采样的初始期望值:
E=1*P0+0*(1-P0)=P0 (2)
其中,E表示场景被采样的初始期望值,P0表示场景被采样的初始概率。基于此,场景对应的被采样的初始期望值等于场景被采样的初始概率。
步骤S702:统计所有场景对应的初始期望值,得到场景集被采样的场景的期望个数。
具体的,将所有场景对应的初始期望值求和,得到场景集被采样的场景的期望个数。
步骤S703:计算期望个数与场景集中场景的总个数的比值,得到初始压缩系数。
如此,基于每个场景被采样的初始概率所能达到的被采样的初始期望值,得到了综合达到的被采样的期望个数,该期望个数与场景集中场景的总个数的比值,即综合达到的初始压缩系数,该初始压缩系数的计算方式简单且准确。
在一种实施方式中,场景处理方法还可以包括:对采样得到的目标场景进行测试,得到第一测试结果。在自动驾驶的场景中,可以对采样得到的目标场景进行自动驾驶测试。测试时,可以基于仿真测试引擎的仿真环境进行仿真测试,也可以基于真实环境测试。由于采样出的目标场景的多样性和全面性得到提升,使得测试时,实现了测试效率、多样性和全面性的平衡。
在一种实施方式中,如图8所示,场景处理方法还可以包括:
步骤S801:对场景集的全部场景进行测试,得到第二测试结果。
步骤S802:确定第一测试结果与第二测试结果之间的差异信息。
具体的,在自动驾驶测试中,可以基于仿真测试引擎的测试结果,确定第一测试结果和第二测试结果的差异信息。测试结果根据实际的度量系统进行确定,可以提供诸如允许失败量、安全性指标舒适性指标等多种指标以进行定量分析。分析的目标是,确定出第一测试结果和第二测试结果的测试差异性(即差异信息),压缩的目标是尽可能获得一致性的结果,使得测试差异性较小。例如,可以将第一测试结果相对第二测试结果产生的差异与第二测试结果的百分比,作为测试差异性。
步骤S803:基于差异信息,调整针对目标压缩系数的重要性程度值。
在目标压缩系数一定的情况下,场景的重要性程度值不同,相应的,采样结果也不同,最后的测试结果也可能不同,采样的场景数量越多,测试结果对应的测试差异性越小,但是测试效率也会随之降低,为了兼顾测试效率和测试差异性的大小,需要针对目标压缩系数的重要性程度值进行调整,达到测试效率与测试差异性的平衡,也即实现了压缩效果的闭环验证。
如此,通过增加压缩效果验证闭环,对压缩前后的测试效果进行差异化分析,进而灵活调整针对目标压缩系数的重要性程度值,更好的根据实际场景集特点进行针对性的压缩控制,以实现场景压缩调优。
以上闭环验证过程不是必须的,也可以通过人工定性分析等方式实现效果比对,直接调整针对目标压缩系数的重要性程度值。
当基于信息熵来衡量场景的重要性程度时,可以通过调整熵阈值的大小,来调整重要性程度值,当熵阈值发生变化,场景的重要性程度值发生变化,场景被采样的初始概率、目标压缩系数与初始压缩系数的比值都会随之发生变化,使得场景被采样的概率发生变化,基于此,场景集的采样结果也会发生变化,最终测试结果也会发生变化,进而调整测试差异性大小。如图9所示,示意出了经过统计得到的测试差异性与熵阈值θ的关系。随着熵阈值的增加,测试差异性逐渐减小。实施中,可以基于测试差异性与熵阈值θ的关系,调整针对目标压缩系数的重要性程度值。如此,可以实现快速调整,满足实际需求。
下面以具体的应用场景为例,对本公开实施例提供的场景处理方法进行更加详细地说明。
本实施例中,需要测试的场景集为待进行自动驾驶测试的海量场景。本实施例的场景处理方案基于图10所示的闭环反馈系统架构实现,下面对基于该闭环反馈系统实现的闭环反馈流程进行详细说明。
如图10所示,整个场景处理方案的过程可以分为如下3个部分:
第一部分Part1:海量场景数据挖掘过程,主要是以事件为目标进行挖掘。
由于海量场景数据挖掘是以事件为挖掘目标实现。可以预先设置核心事件列表,例如,被机动车切入、行人横穿、通过十字路口等。之后,数据挖掘器事件挖掘,得到事件挖掘结果。经过事件挖掘后,可以输出每个事件的开始、结束时间等信息,用于后续的信息熵分析过程。
第二部分Part2:指标分析与数据压缩过程,主要是以信息熵为分析目标进行数据的压缩。
本过程的重点是从事件挖掘结果中获得对海量场景压缩所需要的采样指标(即场景的重要性程度值),并根据一定的压缩参数(即场景被采样的初始概率和目标压缩系数与初始压缩系数的比值)实现压缩。本过程整体划分两个子过程,指标求解和数据压缩。
假设对n个自动驾驶场景(Autonomous Driving scene,ads)分别挖掘m个事件(event)。基于事件挖掘结果和核心事件列表,分析器信息熵分析,得到采样指标,即指标求解。如图11所示,该指标求解子过程包括:
步骤一:事件频率时序统计。
先对每个场景做事件频率时序统计,即统计每个时刻的发生事件数量,然后做归一化处理(单独归一化、全局归一化均可),处理成0~1的取值。最终结果可以参见图3所示的频率时序图。
步骤二:信息熵求解。
在频率时序图基础上,采用公式(1)进行信息熵求解。最终结果可以参见图4所示的信息熵时序图。
步骤三:信息熵过滤统计。
本步骤是对信息熵做阈值过滤统计,选定一个熵阈值θ,对于时序上信息熵低于熵阈值的时段长度进行统计,得到小熵时段在场景总时段长度中的占比,即小熵比例。之所以选小熵,就是保证高频频率时段和低频率时段的事件都能作为重要性贡献的一部分。
步骤四:采样指标。
将得到的小熵比例即作为场景的采样指标。
数据压缩子过程包括:
步骤一、求出场景的采样指标后,直接将该采样指标作为场景被采样的初始概率,再结合压缩系数(即场景对应的目标压缩系数与场景对应的初始压缩系数的比值)获得综合采样概率(即场景被采样的概率),即:综合采样概率=采样指标*压缩系数。
步骤二、数据压缩器按综合采样概率,对每个场景进行随机采样,即以综合采样概率产生0-1随机数,如果随机数为1,则选择该场景,否则放弃该场景。
经过采样后就得到了最终压缩后的场景。
第三部分Part3:压缩效果闭环验证过程,主要是实现闭环验证的效果,以选择合适的压缩参数。
其中,压缩参数可以包括以上采样指标和压缩系数。采样指标和压缩系数与熵阈值的选取有关。熵阈值不同,得到的场景的采样指标和压缩系数不同。
本过程的目标是对压缩后的效果进行验证,并通过验证效果来优化压缩参数和熵阈值的选取,起到闭环调节的过程。该过程主要是将原始数据(即海量场景数据)和压缩后数据分别作为测试源,进行测试,然后分析测试结果的差异。测试过程中需要测试引擎的支持,此处可采用仿真测试引擎等。测试引擎对海量场景数据测试后得到测试结果A,测试引擎对压缩后数据测试后得到测试结果B。测试结果根据实际的度量系统进行确定,此处可以查看诸如运行失败量,安全性指标、舒适性指标等多种指标以进行定量分析。结果差异分析器对测试结果A和测试结果B进行分析,得到结果差异(即测试差异性)。基于此,由压缩参数优化器对压缩参数进行优化,以减小差异性。通过调整不同的熵阈值、压缩参数,可以获得如图5所示的测试差异性与熵阈值θ的关系示意图。在实际使用中可以根据测试差异性与熵阈值θ的关系找到一个较为合适的熵阈值,进而选择出合适的压缩参数。
本实施例的方案提升了海量测试的效率。并且,以数据挖掘技术为基础进行事件挖掘,基于事件挖掘结果,对场景的信息熵进行分析,保留了场景的多样性信息,进而提升了采样全面性,测试时,降低了低频率场景被漏测的风险。另外,通过一定的闭环分析和参数控制实现海量场景的有效压缩,以实现覆盖率(即全面性)和效率的平衡,最终实现了测试效率、多样性和全面性的平衡,测试结果价值更高。
本公开实施例还提供一种场景处理装置,如图12所示,包括:
第一确定模块1201,用于基于场景集的目标压缩系数和场景集中每个场景的重要性程度值,确定出每个场景被采样的概率;
场景采样模块1202,用于基于每个场景被采样的概率,对场景集进行采样,以实现对场景集的压缩。
在一种实施方式中,如图13所示,还包括第二确定模块1203,用于:
统计场景的每个时刻的事件发生数量;
基于每个时刻的事件发生数量,确定出场景的重要性程度值。
在一种实施方式中,第二确定模块1203具体用于:
基于每个时刻的事件发生数量分别计算每个时刻对应的信息熵;
统计信息熵低于或等于第一阈值的时刻,得到小熵时段长度;
计算小熵时段长度在场景的总时段长度中的占比,作为场景的重要性程度值。
在一种实施方式中,第二确定模块1203具体用于:
统计事件发生数量低于或等于第二阈值的时刻,得到低频率事件的时段长度;
统计事件发生数量高于或等于第三阈值的时刻,得到高频率事件的时段长度;
计算低频率事件的时段长度和高频率事件的时段长度之和在场景的总时段长度中的占比,作为场景的重要性程度值。
在一种实施方式中,第一确定模块1201具体用于:
基于场景的重要性程度值,确定出场景被采样的初始概率;
基于场景被采样的初始概率,得到场景对应的初始压缩系数;
计算场景对应的目标压缩系数与场景对应的初始压缩系数的比值;
将场景被采样的初始概率与比值的乘积,作为场景被采样的概率,以得到每个场景被采样的概率。
在一种实施方式中,第一确定模块1201具体用于:
将场景的重要性程度值作为场景被采样的初始概率。
在一种实施方式中,第一确定模块1201具体用于:
基于场景被采样的初始概率得到场景对应的被采样的初始期望值;
统计所有场景对应的初始期望值,得到场景集被采样的场景的期望个数;
计算期望个数与场景集中场景的总个数的比值,得到初始压缩系数。
在一种实施方式中,如图14所示,还包括第一测试模块1204,用于:
对采样得到的目标场景进行测试,得到第一测试结果。
在一种实施方式中,如图15所示,还包括:
第二测试模块1205,用于对场景集的全部场景进行测试,得到第二测试结果;
差异确定模块1206,用于确定第一测试结果与第二测试结果之间的差异信息;
差异调整模块1207,用于基于差异信息,调整针对目标压缩系数的重要性程度值。
本公开实施例各装置中的各模块的功能可以参见上述场景处理方法中的对应描述,在此不再赘述。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图16示出了可以用来实施本公开的实施例的示例电子设备1600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或要求的本公开的实现。
如图16所示,设备1600包括计算单元1601,其可以根据存储在只读存储器(ROM)1602中的计算机程序或者从存储单元1608加载到随机访问存储器(RAM)1603中的计算机程序来执行各种适当的动作和处理。在RAM 1603中,还可存储设备1600操作所需的各种程序和数据。计算单元1601、ROM 1602以及RAM 1603通过总线1604彼此相连。输入输出(I/O)接口1605也连接至总线1604。
设备1600中的多个部件连接至I/O接口1605,包括:输入单元1606,例如键盘、鼠标等;输出单元1607,例如各种类型的显示器、扬声器等;存储单元1608,例如磁盘、光盘等;以及通信单元1609,例如网卡、调制解调器、无线通信收发机等。通信单元1609允许设备1600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元160执行上文所描述的各个方法和处理,例如场景处理方法。例如,在一些实施例中,场景处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1602和/或通信单元1609而被载入和/或安装到设备1600上。当计算机程序加载到RAM 1603并由计算单元1601执行时,可以执行上文描述的场景处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元1601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行场景处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (21)
1.一种场景处理方法,包括:
基于场景集的目标压缩系数和所述场景集中每个场景的重要性程度值,确定出每个所述场景被采样的概率;
基于每个所述场景被采样的概率,对所述场景集进行采样。
2.根据权利要求1所述的方法,所述基于场景集的目标压缩系数和所述场景集中每个场景的重要性程度值,确定出每个所述场景被采样的概率之前,还包括:
统计所述场景的每个时刻的事件发生数量;
基于每个时刻的事件发生数量,确定出所述场景的重要性程度值。
3.根据权利要求2所述的方法,其中,所述基于每个时刻的事件发生数量,确定出所述场景的重要性程度值,包括:
基于每个时刻的事件发生数量分别计算每个时刻对应的信息熵;
统计所述信息熵低于或等于第一阈值的时刻,得到小熵时段长度;
计算所述小熵时段长度在所述场景的总时段长度中的占比,作为所述场景的重要性程度值。
4.根据权利要求2所述的方法,其中,所述基于每个时刻的事件发生数量,确定出所述场景的重要性程度值,包括:
统计所述事件发生数量低于或等于第二阈值的时刻,得到低频率事件的时段长度;
统计所述事件发生数量高于或等于第三阈值的时刻,得到高频率事件的时段长度;
计算所述低频率事件的时段长度和所述高频率事件的时段长度之和在所述场景的总时段长度中的占比,作为所述场景的重要性程度值。
5.根据权利要求1所述的方法,其中,所述基于场景集的目标压缩系数和所述场景集中每个场景的重要性程度值,确定出每个所述场景被采样的概率,包括:
基于所述场景的重要性程度值,确定出所述场景被采样的初始概率;
基于所述场景被采样的初始概率,得到所述场景对应的初始压缩系数;
计算所述场景对应的目标压缩系数与所述场景对应的初始压缩系数的比值;
将所述场景被采样的初始概率与所述比值的乘积,作为所述场景被采样的概率,以得到每个所述场景被采样的概率。
6.根据权利要求5所述的方法,其中,所述基于所述场景的重要性程度值,确定出所述场景被采样的初始概率,包括:
将所述场景的重要性程度值作为所述场景被采样的初始概率。
7.根据权利要求5所述的方法,其中,所述基于所述场景被采样的初始概率,得到所述场景对应的初始压缩系数,包括:
基于所述场景被采样的初始概率得到所述场景对应的被采样的初始期望值;
统计所有所述场景对应的所述初始期望值,得到所述场景集被采样的所述场景的期望个数;
计算所述期望个数与所述场景集中所述场景的总个数的比值,得到所述初始压缩系数。
8.根据权利要求1-7任一项所述的方法,还包括:
对采样得到的目标场景进行测试,得到第一测试结果。
9.根据权利要求8所述的方法,还包括:
对所述场景集的全部场景进行测试,得到第二测试结果;
确定所述第一测试结果与所述第二测试结果之间的差异信息;
基于所述差异信息,调整针对所述目标压缩系数的所述重要性程度值。
10.一种场景处理装置,包括:
第一确定模块,用于基于场景集的目标压缩系数和所述场景集中每个场景的重要性程度值,确定出每个所述场景被采样的概率;
场景采样模块,用于基于每个所述场景被采样的概率,对所述场景集进行采样。
11.根据权利要求10所述的装置,还包括第二确定模块,用于:
统计所述场景的每个时刻的事件发生数量;
基于每个时刻的事件发生数量,确定出所述场景的重要性程度值。
12.根据权利要求11所述的装置,其中,所述第二确定模块具体用于:
基于每个时刻的事件发生数量分别计算每个时刻对应的信息熵;
统计所述信息熵低于或等于第一阈值的时刻,得到小熵时段长度;
计算所述小熵时段长度在所述场景的总时段长度中的占比,作为所述场景的重要性程度值。
13.根据权利要求11所述的装置,其中,所述第二确定模块具体用于:
统计所述事件发生数量低于或等于第二阈值的时刻,得到低频率事件的时段长度;
统计所述事件发生数量高于或等于第三阈值的时刻,得到高频率事件的时段长度;
计算所述低频率事件的时段长度和所述高频率事件的时段长度之和在所述场景的总时段长度中的占比,作为所述场景的重要性程度值。
14.根据权利要求10所述的装置,其中,所述第一确定模块具体用于:
基于所述场景的重要性程度值,确定出所述场景被采样的初始概率;
基于所述场景被采样的初始概率,得到所述场景对应的初始压缩系数;
计算所述场景对应的目标压缩系数与所述场景对应的初始压缩系数的比值;
将所述场景被采样的初始概率与所述比值的乘积,作为所述场景被采样的概率,以得到每个所述场景被采样的概率。
15.根据权利要求14所述的装置,其中,所述第一确定模块具体用于:
将所述场景的重要性程度值作为所述场景被采样的初始概率。
16.根据权利要求14所述的装置,其中,所述第一确定模块具体用于:
基于所述场景被采样的初始概率得到所述场景对应的被采样的初始期望值;
统计所有所述场景对应的所述初始期望值,得到所述场景集被采样的所述场景的期望个数;
计算所述期望个数与所述场景集中所述场景的总个数的比值,得到所述初始压缩系数。
17.根据权利要求10-16任一项所述的装置,还包括第一测试模块,用于:
对采样得到的目标场景进行测试,得到第一测试结果。
18.根据权利要求17所述的装置,还包括:
第二测试模块,用于对所述场景集的全部场景进行测试,得到第二测试结果;
差异确定模块,用于确定所述第一测试结果与所述第二测试结果之间的差异信息;
差异调整模块,用于基于所述差异信息,调整针对所述目标压缩系数的所述重要性程度值。
19.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使计算机执行权利要求1-9中任一项所述的方法。
21.一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011446055.7A CN112583414A (zh) | 2020-12-11 | 2020-12-11 | 场景处理方法、装置、设备、存储介质以及产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011446055.7A CN112583414A (zh) | 2020-12-11 | 2020-12-11 | 场景处理方法、装置、设备、存储介质以及产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112583414A true CN112583414A (zh) | 2021-03-30 |
Family
ID=75131282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011446055.7A Pending CN112583414A (zh) | 2020-12-11 | 2020-12-11 | 场景处理方法、装置、设备、存储介质以及产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112583414A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113326638A (zh) * | 2021-08-03 | 2021-08-31 | 北京赛目科技有限公司 | 自动驾驶测试场景的确定方法及其装置 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103530472A (zh) * | 2013-10-24 | 2014-01-22 | 山东师范大学 | 基于重要性采样的三维模型自动化简化方法 |
CN107421752A (zh) * | 2017-07-13 | 2017-12-01 | 同济大学 | 一种智能汽车测试场景加速重构方法 |
CN107608888A (zh) * | 2017-09-15 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种软件测试用例评审方法及系统 |
CN108595340A (zh) * | 2018-05-11 | 2018-09-28 | 重庆大学 | 一种汽车主动安全系统测试场景的自动生成方法 |
CN108764346A (zh) * | 2018-05-30 | 2018-11-06 | 华东理工大学 | 一种基于熵的混合采样集成分类器 |
CN109409127A (zh) * | 2018-10-30 | 2019-03-01 | 北京天融信网络安全技术有限公司 | 网络数据安全策略的生成方法、装置及存储介质 |
CN109617065A (zh) * | 2019-01-02 | 2019-04-12 | 清华大学 | 一种考虑海量运行场景的电力系统输电网线路规划方法 |
CN110175740A (zh) * | 2019-04-15 | 2019-08-27 | 大唐环境产业集团股份有限公司 | 一种基于Kriging代理模型的场景分析实现方法 |
CN111079800A (zh) * | 2019-11-29 | 2020-04-28 | 上海汽车集团股份有限公司 | 一种智能驾驶虚拟测试的加速方法及加速系统 |
CN111122175A (zh) * | 2020-01-02 | 2020-05-08 | 北京百度网讯科技有限公司 | 测试自动驾驶系统的方法以及装置 |
CN111177887A (zh) * | 2019-12-09 | 2020-05-19 | 武汉光庭信息技术股份有限公司 | 一种基于真实驾驶场景构造仿真轨迹数据的方法和装置 |
CN111231983A (zh) * | 2020-01-14 | 2020-06-05 | 浙江吉利汽车研究院有限公司 | 基于交通事故记忆网络的车辆控制方法、装置及设备 |
CN111401476A (zh) * | 2020-04-16 | 2020-07-10 | 三峡大学 | 基于边界区域重要性采样与核向量机的暂态安全评估方法 |
-
2020
- 2020-12-11 CN CN202011446055.7A patent/CN112583414A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103530472A (zh) * | 2013-10-24 | 2014-01-22 | 山东师范大学 | 基于重要性采样的三维模型自动化简化方法 |
CN107421752A (zh) * | 2017-07-13 | 2017-12-01 | 同济大学 | 一种智能汽车测试场景加速重构方法 |
CN107608888A (zh) * | 2017-09-15 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种软件测试用例评审方法及系统 |
CN108595340A (zh) * | 2018-05-11 | 2018-09-28 | 重庆大学 | 一种汽车主动安全系统测试场景的自动生成方法 |
CN108764346A (zh) * | 2018-05-30 | 2018-11-06 | 华东理工大学 | 一种基于熵的混合采样集成分类器 |
CN109409127A (zh) * | 2018-10-30 | 2019-03-01 | 北京天融信网络安全技术有限公司 | 网络数据安全策略的生成方法、装置及存储介质 |
CN109617065A (zh) * | 2019-01-02 | 2019-04-12 | 清华大学 | 一种考虑海量运行场景的电力系统输电网线路规划方法 |
CN110175740A (zh) * | 2019-04-15 | 2019-08-27 | 大唐环境产业集团股份有限公司 | 一种基于Kriging代理模型的场景分析实现方法 |
CN111079800A (zh) * | 2019-11-29 | 2020-04-28 | 上海汽车集团股份有限公司 | 一种智能驾驶虚拟测试的加速方法及加速系统 |
CN111177887A (zh) * | 2019-12-09 | 2020-05-19 | 武汉光庭信息技术股份有限公司 | 一种基于真实驾驶场景构造仿真轨迹数据的方法和装置 |
CN111122175A (zh) * | 2020-01-02 | 2020-05-08 | 北京百度网讯科技有限公司 | 测试自动驾驶系统的方法以及装置 |
CN111231983A (zh) * | 2020-01-14 | 2020-06-05 | 浙江吉利汽车研究院有限公司 | 基于交通事故记忆网络的车辆控制方法、装置及设备 |
CN111401476A (zh) * | 2020-04-16 | 2020-07-10 | 三峡大学 | 基于边界区域重要性采样与核向量机的暂态安全评估方法 |
Non-Patent Citations (1)
Title |
---|
崔承刚 郝慧玲 杨宁 奚培锋: "基于优化Kriging代理模型的场景分析法求解机组组合问题", 《电力系统保护与控制》, pages 49 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113326638A (zh) * | 2021-08-03 | 2021-08-31 | 北京赛目科技有限公司 | 自动驾驶测试场景的确定方法及其装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110852421B (zh) | 模型生成方法和装置 | |
CN109961147B (zh) | 一种基于Q-Learning算法的自动化模型压缩方法 | |
CN114282670A (zh) | 神经网络模型的压缩方法、设备和存储介质 | |
CN113837596B (zh) | 一种故障确定方法、装置、电子设备及存储介质 | |
CN112669867B (zh) | 噪声消除算法的调试方法、装置和电子设备 | |
CN114500339B (zh) | 一种节点带宽监测方法、装置、电子设备及存储介质 | |
CN113470618A (zh) | 唤醒测试的方法、装置、电子设备和可读存储介质 | |
CN110750529A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN112712821A (zh) | 基于仿真的语音测试方法、装置、电子设备及存储介质 | |
CN112583414A (zh) | 场景处理方法、装置、设备、存储介质以及产品 | |
CN111967167A (zh) | 一种非线性退化过程可靠性评估方法 | |
CN114742237A (zh) | 联邦学习模型聚合方法、装置、电子设备及可读存储介质 | |
CN116882321A (zh) | 气象影响量化评估方法、装置、存储介质及电子设备 | |
CN114494814A (zh) | 基于注意力的模型训练方法、装置及电子设备 | |
US10699808B2 (en) | Cost of healthcare analytics platform | |
CN114880182B (zh) | 监控平台测试方法、装置、电子设备和可读存储介质 | |
CN115391158A (zh) | 一种时延确定方法、系统、装置及电子设备 | |
CN115391204A (zh) | 自动驾驶服务的测试方法、装置、电子设备及存储介质 | |
CN113656313A (zh) | 自动化测试处理方法及装置 | |
CN114661571A (zh) | 模型评测方法、装置、电子设备和存储介质 | |
CN113609027A (zh) | 一种arm云服务器的测试方法、装置、电子设备和存储介质 | |
CN113590447A (zh) | 埋点处理方法和装置 | |
CN114021642A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN114355793A (zh) | 用于车辆仿真评测的自动驾驶规划模型的训练方法及装置 | |
CN112035159B (zh) | 一种稽核模型的配置方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |