CN112770106B - 硬件在环评价方法、装置、存储介质、电子设备与系统 - Google Patents
硬件在环评价方法、装置、存储介质、电子设备与系统 Download PDFInfo
- Publication number
- CN112770106B CN112770106B CN202011511330.9A CN202011511330A CN112770106B CN 112770106 B CN112770106 B CN 112770106B CN 202011511330 A CN202011511330 A CN 202011511330A CN 112770106 B CN112770106 B CN 112770106B
- Authority
- CN
- China
- Prior art keywords
- frame
- scene video
- simulation scene
- display screen
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种硬件在环评价方法、装置、存储介质、电子设备与系统，属于计算机技术领域，能够对目标检测模型进行实时评测。一种硬件在环评价方法，包括：接收摄像头对仿真场景视频拍摄帧中的目标进行检测得到的检测结果，其中，仿真场景视频拍摄帧是摄像头在将摄像头的像素坐标系中心点与显示屏幕的中心点对齐之后对显示屏幕上显示的仿真场景视频帧进行拍摄得到的；接收对应于仿真场景视频帧的真值帧，其中，真值帧中包括对仿真场景视频帧中的目标正确打标注的训练数据；对仿真场景视频拍摄帧和真值帧进行时间对齐；基于对齐后的仿真场景视频拍摄帧和真值帧，利用预设评价指标对检测结果进行评价。
Description
技术领域
本公开涉及计算机技术领域，具体地，涉及一种硬件在环评价方法、装置、存储介质、电子设备与系统。
背景技术
现有的对目标检测模型进行评测的方法都是对目标检测模型直接输入数据集，进行离线评测，无法实现目标检测模型的实时评测。
发明内容
本公开的目的是提供一种硬件在环评价方法、装置、存储介质、电子设备与系统，能够对目标检测模型进行实时评测。
根据本公开的第一实施例，提供一种硬件在环评价方法，包括：接收摄像头对仿真场景视频拍摄帧中的目标进行检测得到的检测结果，其中，仿真场景视频拍摄帧是摄像头在将摄像头的像素坐标系中心点与显示屏幕的中心点对齐之后对显示屏幕上显示的仿真场景视频帧进行拍摄得到的；接收对应于仿真场景视频帧的真值帧，其中，真值帧中包括对仿真场景视频帧中的目标正确打标注的训练数据；对仿真场景视频拍摄帧和真值帧进行时间对齐；基于对齐后的仿真场景视频拍摄帧和真值帧，利用预设评价指标对检测结果进行评价。
可选地，对仿真场景视频拍摄帧和真值帧进行时间对齐，包括：基于仿真场景视频帧被传输到显示屏幕的传输时延、仿真场景视频拍摄帧的拍摄时间、真值帧的传输时延和真值帧的接收时间对仿真场景视频拍摄帧和真值帧进行时间对齐。
可选地，基于仿真场景视频帧被传输到显示屏幕的传输时延、仿真场景视频拍摄帧的拍摄时间、真值帧的传输时延和真值帧的接收时间对仿真场景视频拍摄帧和真值帧进行时间对齐，包括：将仿真场景视频拍摄帧的拍摄时间减去仿真场景视频帧的传输时延；将真值帧的接收时间减去真值帧的传输时延；对于减去了传输时延的仿真场景视频拍摄帧中的各个仿真场景视频拍摄帧而言，将减去了传输时延的真值帧中、时间大于等于该仿真场景视频拍摄帧但与该仿真场景视频拍摄帧的时间距离最近的真值帧与该仿真场景视频帧进行时间对齐。
可选地，若不存在时间大于等于该仿真场景视频拍摄帧的真值帧，则将该仿真场景视频拍摄帧与最后一帧真值帧进行时间对齐。
可选地，预设评价指标包括以下中的至少一项：平均精准率、漏检率、错检率和摄像头的检测速度。
可选地，平均精准率包括以下中的至少一种：针对所有目标检测框的平均精准率、针对尺寸小于第一尺寸的目标检测框的平均精准率、针对尺寸大于第一尺寸但小于第二尺寸的目标检测框的平均精准率以及针对尺寸大于第二尺寸的目标检测框的平均精准率。
根据本公开的第二实施例，提供一种硬件在环评价装置，包括：第一接收模块，用于接收摄像头对仿真场景视频拍摄帧中的目标进行检测得到的检测结果，其中，仿真场景视频拍摄帧是摄像头在将摄像头的像素坐标系中心点与显示屏幕的中心点对齐之后对显示屏幕上显示的仿真场景视频帧进行拍摄得到的；第二接收模块，用于接收对应于仿真场景视频帧的真值帧，其中，真值帧中包括对仿真场景视频帧中的目标正确打标注的训练数据；时间对齐模块，用于对仿真场景视频拍摄帧和真值帧进行时间对齐；评价模块，用于基于对齐后的仿真场景视频拍摄帧和真值帧，利用预设评价指标对检测结果进行评价。
可选地，时间对齐模块对仿真场景视频拍摄帧和真值帧进行时间对齐，包括：基于仿真场景视频帧被传输到显示屏幕的传输时延、仿真场景视频拍摄帧的拍摄时间、真值帧的传输时延和真值帧的接收时间对仿真场景视频拍摄帧和真值帧进行时间对齐。
可选地，时间对齐模块基于仿真场景视频帧被传输到显示屏幕的传输时延、仿真场景视频拍摄帧的拍摄时间、真值帧的传输时延和真值帧的接收时间对仿真场景视频拍摄帧和真值帧进行时间对齐，包括：将仿真场景视频拍摄帧的拍摄时间减去仿真场景视频帧的传输时延；将真值帧的接收时间减去真值帧的传输时延；对于减去了传输时延的仿真场景视频拍摄帧中的各个仿真场景视频拍摄帧而言，将减去了传输时延的真值帧中、时间大于等于该仿真场景视频拍摄帧但与该仿真场景视频拍摄帧的时间距离最近的真值帧与该仿真场景视频帧进行时间对齐。
可选地，若不存在时间大于等于该仿真场景视频拍摄帧的真值帧，则时间对齐模块将该仿真场景视频拍摄帧与最后一帧真值帧进行时间对齐。
可选地，预设评价指标包括以下中的至少一项：平均精准率、漏检率、错检率和摄像头的检测速度。
可选地，平均精准率包括以下中的至少一种：针对所有目标检测框的平均精准率、针对尺寸小于第一尺寸的目标检测框的平均精准率、针对尺寸大于第一尺寸但小于第二尺寸的目标检测框的平均精准率以及针对尺寸大于第二尺寸的目标检测框的平均精准率。
根据本公开的第三实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开第一实施例所述方法的步骤。
根据本公开的第四实施例，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行存储器中的计算机程序，以实现根据本公开第一实施例所述方法的步骤。
根据本公开的第五实施例，提供一种硬件在环评价系统，包括仿真平台、显示屏幕、摄像头和评测终端，其中：仿真平台，用于同时分别向显示屏幕发送仿真场景视频帧和向评测终端发送对应于仿真场景视频帧的真值帧，其中，真值帧中包括对仿真场景视频帧中的目标正确打标注的训练数据；显示屏幕，用于显示仿真场景视频帧；摄像头，用于将摄像头的像素坐标系中心点与显示屏幕的中心点对齐，然后对显示屏幕上显示的仿真场景视频帧进行拍摄得到仿真场景视频拍摄帧，对仿真场景视频拍摄帧中的目标进行检测，并将检测结果发送给评测终端；评测终端，用于存储并执行计算机程序，以实现根据本公开第一实施例所述方法的步骤。
可选地，摄像头将摄像头的像素坐标系中心点与显示屏幕的中心点对齐，包括：利用显示屏幕上的空间校准用图像来确定显示屏幕的中心点在摄像头的像素坐标系下的对应坐标；将对应坐标作为摄像头的像素坐标系中心点的坐标。
可选地，空间校准用图像包括位于显示屏幕的四角处的长方形，而且长方形处的颜色与显示屏幕上的其他区域的颜色不同。
可选地，显示屏幕的宽高比为N:M，则长方形的长边位于显示屏幕的宽边处且其边长为n/N，长方形的短边位于显示屏幕的高边处且其边长为m/M，n<2/N，m<2/M。
通过采用上述技术方案，能够实现以下有益效果：(1)由于能够接收摄像头对仿真场景视频拍摄帧中的目标进行检测得到的检测结果以及对应于仿真场景视频帧的真值帧，因此真值和检测结果是实时产生的；(2)由于能够首先在时间和空间上将仿真场景视频拍摄帧和真值帧进行对齐，然后基于对齐后的仿真场景视频拍摄帧和真值帧、利用预设评价指标对检测结果进行评价，因此实现了对目标检测模型尤其是封装在摄像头中的目标检测算法的实时评测，而且还能够客观地评测出目标检测模型的鲁棒性，从而帮助用户挑选出合适的摄像头；(3)由于真值帧中包括对仿真场景视频帧中的目标正确打标注的训练数据，所以还节省了人工标注的成本与时间，提高了检测效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开一种实施例的硬件在环评价方法的流程图。
图2是根据本公开一种实施例的硬件在环评价装置的示意框图。
图3是根据本公开一种实施例的硬件在环评价系统的示意框图。
图4是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
硬件在环，也即是硬件在回路，其是一种半实物仿真技术，通常指的是由虚拟对象和实际控制器组成的硬件在回路仿真系统。虚拟对象指的是实际对象的仿真。
图1是根据本公开一种实施例的硬件在环评价方法的流程图。该方法可以应用于评测终端。如图1所示，该方法包括以下步骤S11至S14。
在步骤S11中，接收摄像头对仿真场景视频拍摄帧中的目标进行检测得到的检测结果，其中，仿真场景视频拍摄帧是摄像头在将摄像头的像素坐标系中心点与显示屏幕的中心点对齐之后对显示屏幕上显示的仿真场景视频帧进行拍摄得到的。
也即，摄像头会对显示在显示屏幕上显示的仿真场景视频帧进行拍摄，然后，摄像头中的目标检测算法会对拍摄得到的仿真场景视频拍摄帧中的目标进行检测，然后检测结果会从摄像头传输给评测终端。
另外，通过将摄像头的像素坐标系中心点与显示屏幕的中心点对齐，能够实现仿真场景视频拍摄帧和下文中提及的真值帧的坐标对齐。而坐标对齐实际上是一种空间对齐，也即，通过将摄像头的像素坐标系中心点与显示屏幕的中心点对齐，就能够使得真值帧中目标被正确打标注的训练数据与仿真场景视频拍摄帧中的目标在坐标上相对齐，确保目标被正确打标注的训练数据在坐标上被正确对应到相应的目标上。
在步骤S12中，接收对应于仿真场景视频帧的真值帧，其中，真值帧中包括对仿真场景视频帧中的目标正确打标注的训练数据。
仿真场景指的是对实际场景的仿真。
仿真场景视频帧可以由仿真平台产生，并由仿真平台发送给显示屏幕进行显示。真值帧也可以由仿真平台产生，并由仿真平台发送给评测终端。
仿真平台是能够根据用户需求来设置并随意切换仿真场景的平台，这使得仿真平台能够仿真满足用户需求的场景，进而也就能够在场景中设置满足需求的目标(例如众多数量、众多种类的目标等)，进而也就能够满足针对用户需要的场景与特殊案例对目标检测性能进行评价的目的。也即，仿真平台能够提供场景众多(例如，跟天气有关的仿真场景，跟光照强度有关的仿真场景等等)且具有针对性的仿真场景，而且还能够对仿真场景进行随时变换，这更贴合现实中目标在场景中的运动规律，使得对目标检测算法的评价更为客观。
在本公开中，仿真平台可以是能够根据用户需求来设置并随意切换仿真场景的任意平台，例如可以是51Sim-One仿真平台。因此，本公开对仿真平台的具体形式不作限制，只要能够满足上述需求即可。
另外，真值帧可以从仿真平台直接传输给评测终端，也可以经由中间方传输给评测终端，例如经由感知计算平台(例如NVIDIA_DRIVE端到端平台)传输给评测终端。
在步骤S13中，对仿真场景视频拍摄帧和真值帧进行时间对齐。
在本公开中，时间对齐指的是从真值帧中找到在时间上与仿真场景视频拍摄帧相匹配的帧。例如，假设第i个仿真场景视频拍摄帧对应于第j个仿真场景视频帧，那么就需要从真值帧中找到在时间上与第j个仿真场景视频帧相对应的真值帧。
在步骤S14中，基于对齐后的仿真场景视频拍摄帧和真值帧，利用预设评价指标对检测结果进行评价。
通过采用上述技术方案，能够实现以下有益效果：(1)由于能够接收摄像头对仿真场景视频拍摄帧中的目标进行检测得到的检测结果以及对应于仿真场景视频帧的真值帧，因此真值和检测结果是实时产生的；(2)由于能够首先在时间和空间上将仿真场景视频拍摄帧和真值帧对齐，然后基于对齐后的仿真场景视频拍摄帧和真值帧、利用预设评价指标对检测结果进行评价，因此实现了对目标检测模型尤其是封装在摄像头中的目标检测算法的实时评测，而且还能够客观地评测出目标检测模型的鲁棒性，从而帮助用户挑选出合适的摄像头；(3)由于真值帧中包括对仿真场景视频帧中的目标正确打标注的训练数据，所以还节省了人工标注的成本与时间，提高了检测效率。
在一种实施方式中，可以在步骤S13中，基于仿真场景视频帧被传输到显示屏幕的传输时延、仿真场景视频拍摄帧的拍摄时间、真值帧的传输时延和真值帧的接收时间对仿真场景视频拍摄帧和真值帧进行时间对齐。真值帧的接收时间指的是真值帧到达评测终端的到达时间。
例如，在一个实施例中，可以通过以下步骤实现时间对齐。
首先，将仿真场景视频拍摄帧的拍摄时间减去仿真场景视频帧的传输时延，将真值帧的接收时间减去真值帧的传输时延。
然后，对于减去了传输时延的仿真场景视频拍摄帧中的各个仿真场景视频拍摄帧而言，将减去了传输时延的真值帧中、时间大于等于该仿真场景视频拍摄帧但与该仿真场景视频拍摄帧的时间距离最近的真值帧与该仿真场景视频帧进行时间对齐，这种情况对应于仿真场景视频拍摄帧的总时间没有超过真值帧的总时间的情况，也即，可以利用以下公式(1)来表示。另外，若不存在时间大于等于该仿真场景视频拍摄帧的真值帧，则将该仿真场景视频拍摄帧与最后一帧真值帧进行时间对齐，这种情况对应于仿真场景视频拍摄帧的检测速度比真值帧的刷新频率快以及真值帧结束时仿真场景视频拍摄帧仍然在检测的情况，也即，可以利用以下公式(2)来表示。
if Tg[i]>＝Tpre[j]:GF[i]＝PreF[j]break； (1)
if Tpre[j]>Tg:PreF[j]＝Tg break； (2)
其中，Tg[i]表示真值帧中第i帧的时间，Tpre[j]表示仿真场景视频拍摄帧中第j帧的时间，GF[i]表示真值帧中第i帧，PreF[j]表示仿真场景视频拍摄帧中第j帧，Tg表示真值帧中的最后一帧的时间。
前文中，减去传输时延的目的是为了消除传输时延对时间对齐结果的影响。仿真场景视频帧的传输时延和真值帧的传输时延均可以利用测试手段获得。例如，可以检测同一仿真场景视频帧的发送时间和被拍摄时间，然后利用被拍摄时间减去发送时间，得到仿真场景视频帧的传输时延。再例如，还可以在仿真场景视频帧发送视频信息流中携带时间戳信息，然后利用仿真场景视频帧的被拍摄时间减去视频信息流中携带的时间戳信息所表示的时间，得到仿真场景视频帧的传输时延。真值帧的传输时延与此类似，不再赘述。另外，也可以通过软件对真值帧的传输时延做处理，使得真值帧到达评测终端的到达时间与真值帧的发送时间一致，从而默认真值帧的传输没有时延，进而能够简化时间对齐处理过程。
另外，在本公开中，可以将仿真平台传输仿真场景视频帧的频率设置为小于仿真场景视频帧传输时延的二分之一，例如如果仿真场景视频帧的传输时延为1/30秒，那么仿真平台传输仿真场景视频帧的频率就小于等于60帧秒，以此确保后续时间对齐步骤的准确度。本领域技术人员应当理解的是，本公开对传输时延和帧率不作限制，只要其能够满足仿真平台的性能要求即可。
在一种实施方式中，预设评价指标可以包括以下中的至少一项：平均精准率、漏检率、错检率和摄像头的检测速度。
平均精准率可以用以下公式来表示：
AP[i]＝Precision[i]*recall[i] (3)
其中，AP[i]表示第i类目标预测的平均精准率，Precision[i]表示第i类目标的精准率，recall[i]表示第i类目标的召回率。
漏检率可以用以下公式来表示：
其中，Mis_check[i]表示第i类目标的漏检率，GT[i]表示第i类目标的所有真值，TP[i]表示第i类目标检测到的总数。
错检率可以用以下公式来表示：
其中，表示False_check[i]第i类目标的错检率，FP[i]表示第i类目标中错检的总数，GT[i]表示第i类目标的所有真值。
检测速度表示摄像头中的目标检测算法在单位时间内检测到的帧数。
另外，平均精准率可以包括以下中的至少一种：针对所有目标检测框的平均精准率、针对尺寸小于第一尺寸的目标检测框的平均精准率、针对尺寸大于第一尺寸但小于第二尺寸的目标检测框的平均精准率以及针对尺寸大于第二尺寸的目标检测框的平均精准率。其中，第一尺寸用于限定小目标，也即尺寸小于第一尺寸的目标属于小目标，第一尺寸可以是例如32×32；第二尺寸用于限定大目标，也即尺寸大于第二尺寸的目标属于大目标，第二尺寸可以是例如96×96；尺寸位于第一尺寸和第二尺寸之间的目标属于中等大小的目标。
通过上述的预设评价指标，就能够对摄像头中的目标检测算法进行全面评价，最终可以对比出不同摄像头中目标检测算法的优劣，帮助用户选取合适的摄像头。
图2是根据本公开一种实施例的硬件在环评价装置的示意框图。如图2所示，该硬件在环评价装置包括：第一接收模块21，用于接收摄像头对仿真场景视频拍摄帧中的目标进行检测得到的检测结果，其中，仿真场景视频拍摄帧是摄像头在将摄像头的像素坐标系中心点与显示屏幕的中心点对齐之后对显示屏幕上显示的仿真场景视频帧进行拍摄得到的；第二接收模块22，用于接收对应于仿真场景视频帧的真值帧，其中，真值帧中包括对仿真场景视频帧中的目标正确打标注的训练数据；时间对齐模块23，用于对仿真场景视频拍摄帧和真值帧进行时间对齐；评价模块24，用于基于对齐后的仿真场景视频拍摄帧和真值帧，利用预设评价指标对检测结果进行评价。
通过采用上述技术方案，能够实现以下有益效果：(1)由于能够接收摄像头对仿真场景视频拍摄帧中的目标进行检测得到的检测结果以及对应于仿真场景视频帧的真值帧，因此真值和检测结果是实时产生的；(2)由于能够首先在时间和空间上将仿真场景视频拍摄帧和真值帧进行对齐，然后基于对齐后的仿真场景视频拍摄帧和真值帧、利用预设评价指标对检测结果进行评价，因此实现了对目标检测模型尤其是封装在摄像头中的目标检测算法的实时评测，而且还能够客观地评测出目标检测模型的鲁棒性，从而帮助用户挑选出合适的摄像头；(3)由于真值帧中包括对仿真场景视频帧中的目标正确打标注的训练数据，所以还节省了人工标注的成本与时间，提高了检测效率。
可选地，时间对齐模块23对仿真场景视频拍摄帧和真值帧进行时间对齐，包括：基于仿真场景视频帧被传输到显示屏幕的传输时延、仿真场景视频拍摄帧的拍摄时间、真值帧的传输时延和真值帧的接收时间对仿真场景视频拍摄帧和真值帧进行时间对齐。
可选地，时间对齐模块23基于仿真场景视频帧被传输到显示屏幕的传输时延、仿真场景视频拍摄帧的拍摄时间、真值帧的传输时延和真值帧的接收时间对仿真场景视频拍摄帧和真值帧进行时间对齐，包括：将仿真场景视频拍摄帧的拍摄时间减去仿真场景视频帧的传输时延；将真值帧的接收时间减去真值帧的传输时延；对于减去了传输时延的仿真场景视频拍摄帧中的各个仿真场景视频拍摄帧而言，将减去了传输时延的真值帧中、时间大于等于该仿真场景视频拍摄帧但与该仿真场景视频拍摄帧的时间距离最近的真值帧与该仿真场景视频帧进行时间对齐。
可选地，若不存在时间大于等于该仿真场景视频拍摄帧的真值帧，则时间对齐模块23将该仿真场景视频拍摄帧与最后一帧真值帧进行时间对齐。
可选地，预设评价指标包括以下中的至少一项：平均精准率、漏检率、错检率和摄像头的检测速度。
可选地，平均精准率包括以下中的至少一种：针对所有目标检测框的平均精准率、针对尺寸小于第一尺寸的目标检测框的平均精准率、针对尺寸大于第一尺寸但小于第二尺寸的目标检测框的平均精准率以及针对尺寸大于第二尺寸的目标检测框的平均精准率。
根据本公开实施例的硬件在环评价装置中各个模块所执行操作的具体实现方式已经在根据本公开实施例的硬件在环评价方法中进行了详细描述，因此此处不再赘述。
图3是根据本公开一种实施例的硬件在环评价系统的示意框图。如图3所示，该硬件在环评价系统包括仿真平台31、显示屏幕32、摄像头33和评测终端34。
仿真平台31，用于同时分别向显示屏幕32发送仿真场景视频帧和向评测终端34发送对应于仿真场景视频帧的真值帧，其中，真值帧中包括对仿真场景视频帧中的目标正确打标注的训练数据。
显示屏幕32，用于显示仿真场景视频帧。
摄像头33，用于将摄像头33的像素坐标系中心点与显示屏幕32的中心点对齐，然后对显示屏幕32上显示的仿真场景视频帧进行拍摄得到仿真场景视频拍摄帧，对仿真场景视频拍摄帧中的目标进行检测，并将检测结果发送给评测终端34。
评测终端34，用于存储并执行计算机程序，以实现根据本公开实施例所述的硬件在环评价方法的步骤。
通过采用上述技术方案，能够实现以下有益效果：(1)由于仿真平台31能够同时分别向显示屏幕32发送仿真场景视频帧和向评测终端34发送对应于仿真场景视频帧的真值帧，摄像头33能够实时对显示屏幕32上显示的仿真场景视频帧进行拍摄得到仿真场景视频拍摄帧、对仿真场景视频拍摄帧中的目标进行检测并将检测结果发送给评测终端34，因此真值和检测结果是实时产生的；(2)由于能够首先在时间和空间上将仿真场景视频拍摄帧和真值帧对齐，然后基于对齐后的仿真场景视频拍摄帧和真值帧、利用预设评价指标对检测结果进行评价，因此实现了对目标检测模型尤其是封装在摄像头33中的目标检测算法的实时评测，而且还能够客观地评测出目标检测模型的鲁棒性，从而帮助用户挑选出合适的摄像头；(3)由于真值帧中包括对仿真场景视频帧中的目标正确打标注的训练数据，所以还节省了人工标注的成本与时间，提高了检测效率。
可选地，摄像头33还用于：利用显示屏幕32上的空间校准用图像来确定显示屏幕32的中心点在摄像头33的像素坐标系下的对应坐标；将该对应坐标作为摄像头33的像素坐标系中心点的坐标。
空间校准用图像可以包括位于显示屏幕32的四角处的长方形，本领域技术人员应当理解的是，空间校准用图像也可以采用其他图形，例如椭圆形、圆形等等。在一个实施例中，空间校准用图像的非长方形区域和长方形区域可以用不同的颜色来进行区分，以方便观察。例如，非长方形区域可以显示为纯白色，长方形区域可以显示为纯黑色。
另外，在显示屏幕32的宽高比为N:M的情况下，则长方形的长边位于显示屏幕32的宽边处且其边长为n/N，长方形的短边位于显示屏幕32的高边处且其边长为m/M，n<2/N，m<2/M。通过如此设置，能够快速地实现摄像头的像素坐标系中心点与显示屏幕中心点的空间对齐。
举例而言，在评价测试开始之前，首先在显示屏幕32上显示空间校准用图像，该空间校准用图像所包括的四个长方形位于显示屏幕的四个角上，其中四个长方形区域显示为纯黑色，四个长方形区域之外的区域显示为纯白色。另外，假设显示屏幕32是16:9的屏幕，则长方形的长边位于显示屏幕32的宽边处且其边长可以为显示屏幕32的宽边的1/16，长方形的短边位于显示屏幕32的高边处且其边长可以为显示屏幕32的宽边的1/9。然后，在评价测试开始时，根据空间校准用图像里四个(可能不完整)黑色长方形的位置信息，捕捉四个黑色长方形靠近屏幕中心的角点，根据这四个角点在显示屏幕上的像素坐标，就能够推算出显示屏幕32的中心点在摄像头像素坐标系下的坐标。然后，将该对应坐标作为摄像头的像素坐标系中心点的坐标，就实现了仿真场景视频拍摄帧与真值帧的空间对齐。
图4是根据一示例性实施例示出的一种电子设备700的框图。如图4所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的硬件在环评价方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的硬件在环评价方法中的全部或部分步骤。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的硬件在环评价方法的全部或部分步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的硬件在环评价方法的全部或部分步骤。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (13)
1.一种硬件在环评价方法，其特征在于，包括：
接收摄像头对仿真场景视频拍摄帧中的目标进行检测得到的检测结果，其中，所述仿真场景视频拍摄帧是所述摄像头在将所述摄像头的像素坐标系中心点与显示屏幕的中心点对齐之后对所述显示屏幕上显示的仿真场景视频帧进行拍摄得到的；
接收对应于所述仿真场景视频帧的真值帧，其中，所述真值帧中包括对所述仿真场景视频帧中的目标正确打标注的训练数据；
对所述仿真场景视频拍摄帧和所述真值帧进行时间对齐；
基于对齐后的所述仿真场景视频拍摄帧和所述真值帧，利用预设评价指标对所述检测结果进行评价。
2.根据权利要求1所述的方法，其特征在于，所述对所述仿真场景视频拍摄帧和所述真值帧进行时间对齐，包括：
基于所述仿真场景视频帧被传输到所述显示屏幕的传输时延、所述仿真场景视频拍摄帧的拍摄时间、所述真值帧的传输时延和所述真值帧的接收时间对所述仿真场景视频拍摄帧和所述真值帧进行时间对齐。
3.根据权利要求2所述的方法，其特征在于，所述基于所述仿真场景视频帧被传输到所述显示屏幕的传输时延、所述仿真场景视频拍摄帧的拍摄时间、所述真值帧的传输时延和所述真值帧的接收时间对所述仿真场景视频拍摄帧和所述真值帧进行时间对齐，包括：
将所述仿真场景视频拍摄帧的拍摄时间减去所述仿真场景视频帧的传输时延；
将所述真值帧的接收时间减去所述真值帧的传输时延；
对于减去了传输时延的仿真场景视频拍摄帧中的各个仿真场景视频拍摄帧而言，将减去了传输时延的真值帧中、时间大于等于该仿真场景视频拍摄帧但与该仿真场景视频拍摄帧的时间距离最近的真值帧与该仿真场景视频帧进行时间对齐。
4.根据权利要求3所述的方法，其特征在于，若不存在时间大于等于该仿真场景视频拍摄帧的真值帧，则将该仿真场景视频拍摄帧与最后一帧真值帧进行时间对齐。
5.根据权利要求1所述的方法，其特征在于，所述预设评价指标包括以下中的至少一者：平均精准率、漏检率、错检率和所述摄像头的检测速度。
6.根据权利要求5所述的方法，其特征在于，所述平均精准率包括以下中的至少一者：针对所有目标检测框的平均精准率、针对尺寸小于第一尺寸的目标检测框的平均精准率、针对尺寸大于所述第一尺寸但小于第二尺寸的目标检测框的平均精准率以及针对尺寸大于所述第二尺寸的目标检测框的平均精准率。
7.一种硬件在环评价装置，其特征在于，包括：
第一接收模块，用于接收摄像头对仿真场景视频拍摄帧中的目标进行检测得到的检测结果，其中，所述仿真场景视频拍摄帧是所述摄像头在将所述摄像头的像素坐标系中心点与显示屏幕的中心点对齐之后对所述显示屏幕上显示的仿真场景视频帧进行拍摄得到的；
第二接收模块，用于接收对应于所述仿真场景视频帧的真值帧，其中，所述真值帧中包括对所述仿真场景视频帧中的目标正确打标注的训练数据；
时间对齐模块，用于对所述仿真场景视频拍摄帧和所述真值帧进行时间对齐；
评价模块，用于基于对齐后的所述仿真场景视频拍摄帧和所述真值帧，利用预设评价指标对所述检测结果进行评价。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。
9.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。
10.一种硬件在环评价系统，其特征在于，包括仿真平台、显示屏幕、摄像头和评测终端，其中：
所述仿真平台，用于同时分别向所述显示屏幕发送仿真场景视频帧和向所述评测终端发送对应于所述仿真场景视频帧的真值帧，其中，所述真值帧中包括对所述仿真场景视频帧中的目标正确打标注的训练数据；
所述显示屏幕，用于显示所述仿真场景视频帧；
所述摄像头，用于将所述摄像头的像素坐标系中心点与所述显示屏幕的中心点对齐，然后对所述显示屏幕上显示的仿真场景视频帧进行拍摄得到仿真场景视频拍摄帧，对所述仿真场景视频拍摄帧中的目标进行检测，并将检测结果发送给所述评测终端；
所述评测终端，用于存储并执行计算机程序，以实现根据权利要求1至6中任一项所述方法的步骤。
11.根据权利要求10所述的系统，其特征在于，所述摄像头将摄像头的像素坐标系中心点与所述显示屏幕的中心点对齐，包括：
利用所述显示屏幕上的空间校准用图像来确定所述显示屏幕的中心点在所述摄像头的像素坐标系下的对应坐标；
将所述对应坐标作为所述摄像头的像素坐标系中心点的坐标。
12.根据权利要求11所述的系统 ，其特征在于，所述空间校准用图像包括位于所述显示屏幕的四角处的长方形，而且所述长方形处的颜色与所述显示屏幕上的其他区域的颜色不同。
13.根据权利要求12所述的系统，其特征在于，所述显示屏幕的宽高比为N:M，则所述长方形的长边位于所述显示屏幕的宽边处且其边长为n/N，所述长方形的短边位于所述显示屏幕的高边处且其边长为m/M，n<2/N，m<2/M。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011511330.9A CN112770106B (zh) | 2020-12-18 | 2020-12-18 | 硬件在环评价方法、装置、存储介质、电子设备与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011511330.9A CN112770106B (zh) | 2020-12-18 | 2020-12-18 | 硬件在环评价方法、装置、存储介质、电子设备与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112770106A CN112770106A (zh) | 2021-05-07 |
| CN112770106B true CN112770106B (zh) | 2022-10-11 |
Family
ID=75694389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011511330.9A Active CN112770106B (zh) | 2020-12-18 | 2020-12-18 | 硬件在环评价方法、装置、存储介质、电子设备与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112770106B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902842A (zh) * | 2021-09-14 | 2022-01-07 | 清华大学 | 机器人野外可行驶区域数据集制作方法、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6014183A (en) * | 1997-08-06 | 2000-01-11 | Imagine Products, Inc. | Method and apparatus for detecting scene changes in a digital video stream |
| CN109407547A (zh) * | 2018-09-28 | 2019-03-01 | 合肥学院 | 面向全景视觉感知的多摄像头在环仿真测试方法与系统 |
| CN110377006A (zh) * | 2019-07-17 | 2019-10-25 | 中国第一汽车股份有限公司 | 一种泊车测试系统及方法 |
| CN110837231A (zh) * | 2019-11-15 | 2020-02-25 | 清华大学 | 在环仿真方法、装置及控制平台 |
| CN111240226A (zh) * | 2020-01-19 | 2020-06-05 | 智慧航海（青岛）科技有限公司 | 一种用于船载视觉感知设备的仿真测试系统及方法 |
| CN111447434A (zh) * | 2020-02-21 | 2020-07-24 | 中国汽车技术研究中心有限公司 | 一种adas前视摄像机硬件在环测试评价方法 |
-
2020
- 2020-12-18 CN CN202011511330.9A patent/CN112770106B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6014183A (en) * | 1997-08-06 | 2000-01-11 | Imagine Products, Inc. | Method and apparatus for detecting scene changes in a digital video stream |
| CN109407547A (zh) * | 2018-09-28 | 2019-03-01 | 合肥学院 | 面向全景视觉感知的多摄像头在环仿真测试方法与系统 |
| CN110377006A (zh) * | 2019-07-17 | 2019-10-25 | 中国第一汽车股份有限公司 | 一种泊车测试系统及方法 |
| CN110837231A (zh) * | 2019-11-15 | 2020-02-25 | 清华大学 | 在环仿真方法、装置及控制平台 |
| CN111240226A (zh) * | 2020-01-19 | 2020-06-05 | 智慧航海（青岛）科技有限公司 | 一种用于船载视觉感知设备的仿真测试系统及方法 |
| CN111447434A (zh) * | 2020-02-21 | 2020-07-24 | 中国汽车技术研究中心有限公司 | 一种adas前视摄像机硬件在环测试评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112770106A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108986199B (zh) | 虚拟模型处理方法、装置、电子设备及存储介质 | |
| US20160065785A1 (en) | Methods and apparatuses for generating photograph | |
| CN107454433B (zh) | 直播的批注方法及装置、终端及直播系统 | |
| CN110913131B (zh) | 一种月亮拍摄方法及电子设备 | |
| CN109582122B (zh) | 增强现实信息提供方法、装置及电子设备 | |
| CN110569822A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| US11074449B2 (en) | Method, apparatus for controlling a smart device and computer storge medium | |
| CN114071120A (zh) | 摄像头测试系统、方法、存储介质及电子设备 | |
| CN112991553A (zh) | 信息展示方法及装置、电子设备和存储介质 | |
| CN114088061B (zh) | 目标定位方法及装置、电子设备和存储介质 | |
| CN112770106B (zh) | 硬件在环评价方法、装置、存储介质、电子设备与系统 | |
| CN111010314A (zh) | 终端设备的通信测试方法及装置、路由设备、存储介质 | |
| CN108616719B (zh) | 监控视频展示的方法、装置及系统 | |
| CN109167917B (zh) | 一种图像处理方法及终端设备 | |
| CN112950712B (zh) | 定位方法及装置、电子设备和存储介质 | |
| CN109587188B (zh) | 确定终端设备之间相对位置关系的方法、装置及电子设备 | |
| JP7084485B2 (ja) | 画像処理方法及び装置、電子機器、並びに記憶媒体 | |
| CN111526380B (zh) | 视频处理方法、装置、服务器、电子设备及存储介质 | |
| CN114489549B (zh) | 投屏图像处理方法、装置、电子设备及存储介质 | |
| CN111292372B (zh) | 目标物体定位方法、装置、存储介质以及电子设备 | |
| EP3848894A1 (en) | Method and device for segmenting image, and storage medium | |
| CN113506320A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN108459770B (zh) | 坐标校正方法及装置 | |
| CN113469036A (zh) | 活体检测方法及装置、电子设备和存储介质 | |
| CN109389547B (zh) | 图像显示方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220913 Address after: Room 315, 3rd Floor, Supporting Public Building, Mantingfangyuan Community, Qingyunli, Haidian District, Beijing 100000 Applicant after: Everything mirror (Beijing) computer system Co.,Ltd. Address before: Room 307, 3 / F, supporting public building, Mantingfangyuan community, qingyanli, Haidian District, Beijing 100086 Applicant before: Beijing Wuyi Vision digital twin Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |