CN114092896A - 一种状态检测方法、装置、计算机设备和存储介质 - Google Patents

一种状态检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114092896A
CN114092896A CN202111437066.3A CN202111437066A CN114092896A CN 114092896 A CN114092896 A CN 114092896A CN 202111437066 A CN202111437066 A CN 202111437066A CN 114092896 A CN114092896 A CN 114092896A
Authority
CN
China
Prior art keywords
state
information
target
state information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111437066.3A
Other languages
English (en)
Inventor
申影影
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202111437066.3A priority Critical patent/CN114092896A/zh
Publication of CN114092896A publication Critical patent/CN114092896A/zh
Priority to PCT/CN2022/096575 priority patent/WO2023092982A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本公开提供了一种状态检测方法、装置、计算机设备和存储介质,其中,该方法包括:获取待检测图像中目标对象所包含的多个预设部位对应的子对象图像,以及目标对象对应的状态序列信息;状态序列信息包括用于表征目标对象在多个历史时刻的历史状态信息;将多个子对象图像拼接为目标图像,并对目标图像进行对象状态检测,得到目标对象对应的初始状态信息;基于初始状态信息和状态序列信息,确定目标对象对应的目标状态信息。

Description

一种状态检测方法、装置、计算机设备和存储介质
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种状态检测方法、装置、计算机设备和存储介质。
背景技术
车灯状态检测在自动驾驶场景中的车辆意图判定、交管安防中判断驾驶员是否合法驾驶等领域有着巨大的应用价值。实际中可以通过对包括车灯的图像进行检测,确定出车灯状态。
传统技术是通过车灯状态分类器对整张车辆图像进行检测,有监督的训练出车灯的状态。由于整张车辆图像包含了较多的车辆信息,因此,利用整张车辆图像进行训练,导致车灯状态的检测精度较低。
发明内容
本公开实施例至少提供一种状态检测方法、装置、计算机设备和存储介质,针对检测出的目标对象对应的初始状态信息做进一步的优化,能够得到较高精度的目标状态信息。
第一方面,本公开实施例提供了一种状态检测方法,包括:
获取待检测图像中目标对象所包含的多个预设部位对应的子对象图像,以及所述目标对象对应的状态序列信息;所述状态序列信息包括用于表征所述目标对象在多个历史时刻的历史状态信息;
将多个所述子对象图像拼接为目标图像,并对所述目标图像进行对象状态检测,得到所述目标对象对应的初始状态信息;
基于所述初始状态信息和所述状态序列信息,确定所述目标对象对应的目标状态信息。
该方面,将多个子对象图像拼接为目标图像,使得目标图像仅包括目标对象待检测的预设部位的子对象图像,由于去除了非检测部位的图像,聚焦了待检测的预设部位的图像(即子对象图像),因此,对目标图像进行对象状态检测,能够得到精准的目标对象对应的初始状态信息。之后,利用包括表征目标对象在多个历史时刻的历史状态信息对初始状态信息做进一步的优化处理,由于多个历史时刻的历史状态信息与当前的初始状态信息有关联,因此,结合多个历史时刻的历史状态信息对初始状态信息进行优化,能够提高优化得到的目标状态信息的准确性。
一种可选的实施方式中,所述状态序列信息还包括每个历史状态信息对应的目标有效性信息;
所述基于所述初始状态信息和所述状态序列信息,确定所述目标对象对应的目标状态信息,包括:
在所述状态序列信息中存储的历史状态信息的数量大于预设数量的情况下,基于多个所述历史状态信息以及每个所述历史状态信息对应的目标有效性信息,确定在所述状态序列信息中所述目标对象对应的有效状态信息;
基于所述初始状态信息和所述有效状态信息,确定所述目标对象对应的目标状态信息。
该实施方式中,为了确保状态序列信息中的多个历史状态信息能够较为准确地反映目标对象在某一历史时段的状态信息,即上述有效状态信息,因此,需要在状态序列信息中累计一定数量的历史状态信息。具体的,利用历史状态信息对应的目标有效性信息,比如利用有效的历史状态信息能够较为准确地确定上述有效状态信息。考虑到初始状态信息受各种条件因素影响产生的误差,在优化初始状态信息的过程中,利用有效状态信息优化初始状态信息,能够提高最终确定的目标对象对应的目标状态信息的准确性。
一种可选的实施方式中,还包括:
在所述状态序列信息中存储的历史状态信息的数量小于或等于所述预设数量的情况下,将所述初始状态信息对应的初始有效性信息作为所述初始状态信息对应的目标有效性信息,并将所述初始状态信息以及目标有效性信息添加到状态序列信息对应的序列中,得到更新后的状态序列信息。
该实施方式中,由于状态序列信息中累计的历史状态信息的数量不够,因此无法准确地反映目标对象在某一历史时段的状态信息,此时,需要在状态序列信息中添加历史状态信息。具体的,不断确定初始状态信息对应的初始有效性信息,并将其添加到状态序列信息对应的序列中,直到更新后的状态序列信息中累计的历史状态信息达到预计数量为止,这样有利于提高确定的目标状态信息的准确性。
一种可选的实施方式中,在所述将所述初始状态信息对应的初始有效性信息作为所述初始状态信息对应的目标有效性信息之前,还包括确定所述初始有效性信息的步骤:
获取所述初始状态信息对应的可信度;
在所述可信度大于第一预设值的情况下,确定所述初始状态信息对应的初始有效性信息为有效。
该实施方式中,由于第一预设值可以是根据经验值确定出来的,其能够较为准确的评估初始状态信息对应的初始有效性信息是否有效,因此,通过比较初始状态信息对应的可信度与第一预设值之间大小,能够准确地判定出初始有效性信息是否有效,如果可信度大于第一预设值,即判定初始有效性信息为有效。
一种可选的实施方式中,在基于所述初始状态信息和所述有效状态信息,确定所述目标对象对应的目标状态信息之后,还包括:
确定所述目标状态信息对应的目标有效性信息;
按照所述目标状态信息确定的时间顺序,将所述目标状态信息以及所述目标有效性信息添加到状态序列中,得到更新后的状态序列信息。
该实施方式,目标状态信息是优化后的目标对象的状态信息,将优化后的目标状态信息以及目标状态信息对应的目标有效性信息添加到状态序列信息中,能够提高状态序列信息中的历史状态信息(包括已添加的目标状态信息)的有效性。
一种可选的实施方式中,所述确定所述目标状态信息对应的目标有效性信息,包括:
获取所述初始状态信息对应的可信度;
响应于所述可信度大于第一预设值,确定所述目标状态信息对应的目标有效性信息为有效;
响应于所述可信度小于或等于所述第一预设值、所述有效状态信息与所述初始状态信息相同,并且所述可信度大于第二预设值,确定所述目标状态信息对应的目标有效性信息为有效;其中,所述第一预设值大于所述第二预设值。
该实施方式,第一预设值和第二预设值可以是根据经验值确定出来的,其能够较为准确的评估目标状态信息对应的目标有效性信息是否有效;结合第一预设值、第二预设值、有效状态信息以及所述初始状态信息,能够较为准确地确定目标有效性信息。
一种可选的实施方式中,所述确定所述目标状态信息对应的目标有效性信息,还包括:
响应于所述可信度小于或等于所述第一预设值,并且所述有效状态信息与所述初始状态信息不相同,确定所述目标状态信息对应的目标有效性信息为无效;
响应于所述可信度小于或等于所述第一预设值,并且所述可信度小于或等于所述第二预设值,确定所述目标状态信息对应的目标有效性信息为无效。
该实施方式,可信度较小(小于或等于第二预设值),或者可信度较大(大于第二预设值,但是小于或等于第一预设值),并且有效状态信息与初始状态信息不相同时,目标状态信息大概率为无效,因此结合第一预设值、第二预设值、有效状态信息以及所述初始状态信息,能够较为准确地确定目标有效性信息。
一种可选的实施方式中,所述状态序列信息还包括每个所述历史状态信息对应的时序信息;
所述基于所述初始状态信息和所述有效状态信息,确定所述目标对象对应的目标状态信息,包括:
基于所述状态序列信息中每个所述历史状态信息对应的时序信息、所述目标对象对应的每种预设状态的标准状态序列,确定所述目标对象对应的预测状态信息;
基于所述初始状态信息、所述有效状态信息和所述预测状态信息,确定所述目标对象对应的目标状态信息。
该实施方式,考虑到初始状态信息受各种条件因素影响产生的误差,在优化初始状态信息的过程中,还可以参考理论上估计出的状态信息,即预测状态信息,因此,这里结合预测状态信息和有效状态信息同时对初始状态信息做进一步的优化处理,能够提高最终确定的目标对象对应的目标状态信息的准确性。
一种可选的实施方式中,所述基于所述状态序列信息中每个所述历史状态信息对应的时序信息、所述目标对象对应的每种预设状态的标准状态序列,确定所述目标对象对应的预测状态信息,包括:
获取预先设置的图像采样频率;
基于所述状态序列信息中每个所述历史状态信息对应的时序信息、所述目标对象对应的每种预设状态的标准状态序列,和所述图像采样频率,确定所述目标对象对应的预测状态信息;其中,所述标准状态序列包括对应的预设状态的状态开启子序列和状态结束子序列。
该实施方式,根据图像采样频率能够准确地确定目标对象对应的每种预设状态的标准状态序列,结合准确的标准状态序列和按照时序信息已经排列好的历史状态信息,能够预测出较为精准的预测状态信息。
一种可选的实施方式中,所述获取待检测图像中目标对象所包含的多个预设部位对应的子对象图像,包括:
对所述待检测图像进行识别,得到所述目标对象所包含的多个预设部位中每个预设部位在所述待检测图像中的位置信息;
基于所述位置信息,从所述待检测图像中分别截取包含每个预设部位的子图像,得到每个预设部位对应的所述子对象图像;
所述将多个所述子对象图像拼接为目标图像,包括:
按照每个预设部位在所述待检测图像中的位置信息,将每个预设部位对应的子对象图像进行拼接,得到所述目标图像。
该实施方式,根据位置信息拼接预设部位对应的子对象图像,得到的目标图像既聚焦了预设部位,同时也保留了预设部位在目标对象上的相对位置信息,即保留了预设位置对应的结构信息,因此,基于目标图像进行检测能够提高状态检测的效率以及精确度。
第二方面,本公开实施例还提供一种状态检测装置,包括:
信息获取模块,用于获取待检测图像中目标对象所包含的多个预设部位对应的子对象图像,以及所述目标对象对应的状态序列信息;所述状态序列信息包括用于表征所述目标对象在多个历史时刻的历史状态信息;
初始状态检测模块,用于将多个所述子对象图像拼接为目标图像,并对所述目标图像进行对象状态检测,得到所述目标对象对应的初始状态信息;
状态优化模块,用于基于所述初始状态信息和所述状态序列信息,确定所述目标对象对应的目标状态信息。
一种可选的实施方式中,所述状态序列信息还包括每个历史状态信息对应的目标有效性信息;
所述状态优化模块,具体用于在所述状态序列信息中存储的历史状态信息的数量大于预设数量的情况下,基于多个所述历史状态信息以及每个所述历史状态信息对应的目标有效性信息,确定在所述状态序列信息中所述目标对象对应的有效状态信息;
基于所述初始状态信息和所述有效状态信息,确定所述目标对象对应的目标状态信息。
一种可选的实施方式中,所述装置包括序列更新模块;
所述序列更新模块,用于在所述状态序列信息中存储的历史状态信息的数量小于或等于所述预设数量的情况下,将所述初始状态信息对应的初始有效性信息作为所述初始状态信息对应的目标有效性信息,并将所述初始状态信息以及目标有效性信息添加到状态序列信息对应的序列中,得到更新后的状态序列信息。
一种可选的实施方式中,所述序列更新模块,还用于在所述将所述初始状态信息对应的初始有效性信息作为所述初始状态信息对应的目标有效性信息之前,获取所述初始状态信息对应的可信度;
在所述可信度大于第一预设值的情况下,确定所述初始状态信息对应的初始有效性信息为有效。
一种可选的实施方式中,所述序列更新模块,还用于在基于所述初始状态信息和所述有效状态信息,确定所述目标对象对应的目标状态信息之后,确定所述目标状态信息对应的目标有效性信息;
按照所述目标状态信息确定的时间顺序,将所述目标状态信息以及所述目标有效性信息添加到状态序列中,得到更新后的状态序列信息。
一种可选的实施方式中,所述序列更新模块,还用于获取所述初始状态信息对应的可信度;
响应于所述可信度大于第一预设值,确定所述目标状态信息对应的目标有效性信息为有效;
响应于所述可信度小于或等于所述第一预设值、所述有效状态信息与所述初始状态信息相同,并且所述可信度大于第二预设值,确定所述目标状态信息对应的目标有效性信息为有效;其中,所述第一预设值大于所述第二预设值。
一种可选的实施方式中,所述序列更新模块,还用于响应于所述可信度小于或等于所述第一预设值,并且所述有效状态信息与所述初始状态信息不相同,确定所述目标状态信息对应的目标有效性信息为无效;
响应于所述可信度小于或等于所述第一预设值,并且所述可信度小于或等于所述第二预设值,确定所述目标状态信息对应的目标有效性信息为无效。
一种可选的实施方式中,所述状态序列信息还包括每个所述历史状态信息对应的时序信息;
所述状态优化模块,具体用于基于所述状态序列信息中每个所述历史状态信息对应的时序信息、所述目标对象对应的每种预设状态的标准状态序列,确定所述目标对象对应的预测状态信息;
基于所述初始状态信息、所述有效状态信息和所述预测状态信息,确定所述目标对象对应的目标状态信息。
一种可选的实施方式中,所述状态优化模块,具体用于获取预先设置的图像采样频率;
基于所述状态序列信息中每个所述历史状态信息对应的时序信息、所述目标对象对应的每种预设状态的标准状态序列,和所述图像采样频率,确定所述目标对象对应的预测状态信息;其中,所述标准状态序列包括对应的预设状态的状态开启子序列和状态结束子序列。
一种可选的实施方式中,所述信息获取模块,具体用于对所述待检测图像进行识别,得到所述目标对象所包含的多个预设部位中每个预设部位在所述待检测图像中的位置信息;
基于所述位置信息,从所述待检测图像中分别截取包含每个预设部位的子图像,得到每个预设部位对应的所述子对象图像;
所述初始状态检测模块,具体用于按照每个预设部位在所述待检测图像中的位置信息,将每个预设部位对应的子对象图像进行拼接,得到所述目标图像。
第三方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的状态检测方法的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的状态检测方法的步骤。
关于上述状态检测装置、计算机设备和存储介质的效果描述参见上述状态检测方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种状态检测方法的流程图;
图2示出了本公开实施例所提供的车灯状态检测过程的具体流程示意图;
图3示出了本公开实施例所提供的一种确定目标状态信息的具体流程图;
图4示出了本公开实施例所提供的一种状态检测装置的示意图;
图5示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
另外,本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
经研究发现,车灯状态检测在实际中可以通过对包括车灯的图像进行检测,确定出车灯状态。传统技术是通过车灯状态分类器对整张车辆图像进行检测,有监督的训练出车灯的状态。由于整张车辆图像包含了较多的车辆信息,因此,利用整张车辆图像进行训练,导致车灯状态的检测精度较低。
基于上述研究,本公开提供了一种状态检测方法,将多个子对象图像拼接为目标图像,使得目标图像仅包括目标对象待检测的预设部位的子对象图像,由于去除了非检测部位的图像,聚焦了待检测的预设部位的图像(即子对象图像),因此,对目标图像进行对象状态检测,能够得到精准的目标对象对应的初始状态信息。之后,利用包括表征目标对象在多个历史时刻的历史状态信息对初始状态信息做进一步的优化处理,由于多个历史时刻的历史状态信息与当前的初始状态信息有关联,因此,结合多个历史时刻的历史状态信息对初始状态信息进行优化,能够提高优化得到的目标状态信息的准确性。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种状态检测方法进行详细介绍,本公开实施例所提供的一种状态检测方法的执行主体一般为具有一定计算能力的计算机设备。在一些可能的实现方式中,该状态检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为计算机设备为例对本公开实施例提供的状态检测方法加以说明。
首先对本公开实施例所公开的一种状态检测方法的应用场景进行介绍,本发明实施例提供的状态检测方法可以应用于检测机动车灯的车灯状态,车灯状态的基本状态包括左转、右转、双闪、刹车、不转(左、右车灯均灭,可能是白天的前行,这种状态需要做进一步的优化处理才能确定最终的车灯状态)。车灯检测的状态包括左转、右转、双闪、不转这四种基本状态,与刹车、刹车/前行(左、右车灯均亮,可能是白天的刹车,也可能是晚上的前行,这种状态需要做进一步的优化处理)、不刹车这三种状态的排列,确定12种不同的车灯检测状态,即左转+刹车、右转+刹车、双闪+刹车、不转+刹车(即为刹车)、左转+刹车/前行、右转+刹车/前行、双闪+刹车/前行、不转+刹车/前行(即为刹车前行)、左转+不刹车(即为左转)、右转+不刹车(即为右转)、双闪+不刹车(即为双闪)、不转+不刹车(即为不转)。
参见图1所示,为本公开实施例提供的状态检测方法的流程图,所述方法包括步骤S101~S103,其中:
S101:获取待检测图像中目标对象所包含的多个预设部位对应的子对象图像,以及目标对象对应的状态序列信息;状态序列信息包括用于表征目标对象在多个历史时刻的历史状态信息。
本步骤中,待检测图像包括目标对象,目标对象为等待状态检测的对象,比如车辆、行人重识别(Person re-identification,reid)中的特定行人、目标检测mono3D中的组件等。
以目标对象为车辆为例,预设部位包括车灯组件,比如左车灯组件、右车灯组件、刹车灯组件(即顶灯组件)等。其中,左车灯组件包括左转向灯、雾灯和示廓灯等。左车灯组件包括右转向灯、雾灯和示廓灯等。刹车灯组件包括刹车灯等。需要说明的是,不同类型的车辆,车灯布局方式不同,比如,某一类型车辆没有刹车灯组件。目标对象所包含的多个预设部位对应的子对象图像可以包括车灯对应的多个子对象图像。
车灯组件安装在车辆中的不同位置,利用车灯检测模型能够检测出车灯组件以及每个车灯组件所在的位置,得到位置信息;之后,根据位置信息,从待检测图像中将车灯组件对应的图像裁剪出来,得到多个子对象图像,比如,左车灯组件图像、右车灯组件图像、刹车灯组件图像。
状态序列信息30(参见图2所示)包括用于表征目标对象在多个历史时刻的历史状态信息31。状态序列信息对应的状态序列包括按照时序信息顺序排列的多个历史状态信息对应的历史状态。这里,历史状态可以包括历史时刻获取到的初始状态信息对应的初始状态经过下述优化过程(S102~S103)优化后的状态,确定历史状态信息的过程可参见下述S102~S103中对初始状态信息优化为目标状态信息并添加到状态序列信息的描述,重复部分在此不再赘述。这里,将目标状态信息添加到状态序列信息后,目标状态信息就变成了历史状态信息。
S102:将多个子对象图像拼接为目标图像,并对目标图像进行对象状态检测,得到目标对象对应的初始状态信息。
以车灯状态检测为例,参见图2所示,其为车灯状态检测过程的具体流程示意图,首先,利用车灯检测模型21(比如Faster RCNN等神经网络模型,利用眼部车灯样本图像进行训练)检测待检测图像20中的车灯组件,输出包含车灯组件的子对象图像,其中,子对象图像包括左车灯组件图像22、右车灯组件图像23、刹车灯组件图像24、左转向灯组件图像25、右转向灯图像26;之后,将上述多个子对象图像按照每个车灯组件在车辆上的位置顺序进行拼接,确定目标图像27;之后,将目标图像27输入到车灯状态检测模型(比如FasterRCNN等神经网络模型,利用车灯不同状态样本图像进行训练)28进行车灯状态检测,确定车辆对应的初始状态信息29。
将上述多个子对象图像按照每个车灯组件在车辆上的位置顺序进行拼接,具体的,左车灯组件图像22拼接在目标图像27中部左侧,右车灯组件图像23拼接在目标图像27中部右侧,刹车灯组件图像24拼接在目标图像27顶部,左转向灯组件图像25拼接在目标图像27下部左侧,右转向灯图像26拼接在目标图像27下部右侧,由于图2中车辆的左车灯组件中包括左转向灯,右车灯组件包括右转向灯,无刹车灯,因此,刹车灯组件图像24,左转向灯组件图像25和右转向灯图像26,无实质内容可展示,即为黑框。
这里,由于减少了针对车辆中一些其他组件(即非车灯组件)的检测,因此,能够提高车灯状态检测的效率。同时,只针对车灯组件进行车灯状态检测,由于降低了非车灯组件干扰因素的影响,因此,能够降低车灯状态检测的误差,提高车灯状态检测的精度。
车灯状态检测模型28输出车辆对应的初始状态信息,以及初始状态信息的可信度,其中,可信度越低车灯状态检测模型输出的初始状态信息越不可信,即车灯状态检测模型检测误差较大。
初始状态信息包括上述列举的12种不同车灯检测状态对应的状态信息,比如标签信息,即每个车辆检测状态对应一个标签,车灯状态检测模型输出标签,标签用于指示当前检测到的车灯的状态。示例性的,预先设置前行对应的标签为0,左转对应的标签为1,右转对应的标签为2,刹车对应的标签为3,…。
S103:基于初始状态信息和状态序列信息,确定目标对象对应的目标状态信息。
这里,确定目标状态信息的具体流程图可以参见图2所示,其中,32表示目标状态信息,可以结合初始状态信息29和状态序列信息30得到。
本步骤中,状态序列信息还包括每个历史状态信息对应的目标有效性信息,其中,目标有效性信息为评估历史状态信息是否有效的信息。当目标有效性信息为有效的情况下,即该目标有效性信息对应的历史状态信息有效。“有效”表示车灯状态可用于对初始状态信息对应的初始状态进行优化处理;“无效”表示检测的车灯状态不可用于对初始状态信息对应的初始状态进行优化处理。需要说明的是,前行状态为预先设置好的无效状态。
在一种可能的实施方式中,可以利用包括表征目标对象在多个历史时刻的历史状态信息对初始状态信息做进一步的优化处理,由于多个历史时刻的历史状态信息与当前的初始状态信息有关联,因此,结合多个历史时刻的历史状态信息对初始状态信息进行优化,能够提高优化得到的目标状态信息的准确性。具体实施时,基于多个历史状态信息以及每个历史状态信息对应的目标有效性信息,确定在状态序列信息中目标对象对应的有效状态信息。之后,基于初始状态信息和有效状态信息,确定目标对象对应的目标状态信息。
这里,有效状态信息用于表征目标对象在历史时刻的有效历史状态,有效历史状态可以是从状态序列信息指示的状态序列中筛选出的,也即从多个历史状态信息中筛选出的有效的历史状态信息。
确定目标对象对应的有效状态信息包括如下步骤:
S1031、确定序列中有效的历史状态信息,并从有效的历史状态信息中筛选出有效数量最多的历史状态信息A,可以将该历史状态信息A作为有效状态信息。
S1032、确定序列中有效的历史状态信息,如果从有效的历史状态信息中筛选出有效数量最多的多个历史状态信息B和历史状态信息C,进一步计算历史状态信息B对应的可信度(车灯状态检测模型输出的可信度)之和、以及历史状态信息C对应的可信度之和,并比较大小,将可信度之和较大的历史状态信息作为有效状态信息。
示例性的,以车灯状态检测为例,利用状态序列信息中包括的多个历史状态信息优化车灯状态检测模型输出的车辆的初始状态信息,具体的,车灯状态检测模型输出标签为1,则确定车辆的初始状态信息m(t)=1,即初始状态为左转,其中,t表示帧数,m(t)表示检测第t帧待检测图像确定的车辆对应的初始状态信息。已知状态序列信息对应的序列中包括多个历史状态信息以及每个历史状态信息对应的目标有效性信息,比如,左转(有效)、前行(无效)、左转(有效)、前行(无效)、左转(有效)、前行(无效)、前行(无效)、前行(无效),刹车(有效)、刹车(有效),确定有效状态信息为左转,标签为1,即有效状态信息p(t)=1,p(t)表示检测第t帧待检测图像确定的车辆对应的有效状态信息。之后,根据初始状态信息m(t)=1和有效状态信息p(t)=1,确定目标对象对应的目标状态信息y(t),y(t)表示检测第t帧待检测图像确定的车辆对应的目标状态信息,可以参见公式一:
y(t)=αm(t)+βp(t) 公式一
其中,α表示车灯状态检测模型输出的初始状态信息在优化过程中所占权重;β表示有效状态信息在优化过程中所占权重;其中,α+β=1。因此,计算得到y(t)=α+β=1,即初始状态信息优化后的目标状态信息为左转。
在一些实施例中,为了确保状态序列信息中的多个历史状态信息能够较为准确地反映目标对象在某一历史时段的状态信息,即有效状态信息,因此,需要在状态序列信息中累计一定数量的历史状态信息。具体实施时,在状态序列信息中存储的历史状态信息的数量大于预设数量的情况下,基于多个历史状态信息以及每个历史状态信息对应的目标有效性信息,确定目标对象对应的有效状态信息;基于初始状态信息和有效状态信息,确定在状态序列信息中目标对象对应的目标状态信息。
这里,预设数量可以根据拍摄设备采集待检测图像时的图像采样频率设定,本公开实施例不进行具体限定。预设数量一般大于某一预设状态的标准状态序列中历史状态信息的数量,以使预设数量的历史状态信息所组成的状态序列信息能够表示一段时间内目标对象对应的预设状态。这里,预设状态表示一个执行行为状态,比如左转向行为对应的左转向状态,包括多个历史状态信息,比如,左转、前行、左转、前行、左转、前行,确定左转向开启。预设状态的标准状态序列可以包括对应的预设状态的状态开启子序列和状态结束子序列。
示例性的,预设状态可以包括左转向、右转向、前行、刹车和双闪等。
示例性的,车灯左转向的状态开启子序列包括6个历史状态信息,比如左转、前行、左转、前行、左转、前行,确定左转向开启。左转状态结束子序列包括4个历史状态信息,即除了左转以外的其他车灯状态,比如前行、前行、刹车、刹车,确定左转向结束。
由于确定预设状态需要多个历史状态信息,因此,需要状态序列信息中存储的历史状态信息的数量大于预设数量,才能较为准确地确定反映目标对象对应的预设状态,进而较为准确地确定反映目标对象对应的有效状态信息。
之后,确定目标对象对应的目标状态信息的说明可以参见上述公式一中的详细内容,重复部分在此不再赘述。
在一些实施例中,在状态序列信息中存储的历史状态信息的数量小于或等于预设数量的情况下,将初始状态信息对应的初始有效性信息作为初始状态信息对应的目标有效性信息,并将初始状态信息以及目标有效性信息添加到状态序列信息对应的序列中,得到更新后的状态序列信息。
这里,由于状态序列信息中累计的历史状态信息的数量不够,因此无法准确地反映目标对象在某一历史时段的状态信息,此时,需要在状态序列信息中添加历史状态信息。具体的,不断确定初始状态信息对应的初始有效性信息,并将其添加到状态序列信息对应的序列中,直到更新后的状态序列信息中累计的历史状态信息达到预计数量为止,这样有利于提高确定的目标状态信息的准确性。
其中,初始有效性信息为评估车灯状态检测模型输出的初始状态信息是否有效的信息,当初始有效性信息为有效的情况下,即该初始有效性信息对应的初始状态信息有效。
确定初始状态信息对应的初始有效性信息,具体的,获取初始状态信息对应的可信度;在可信度大于第一预设值的情况下,确定初始状态信息对应的初始有效性信息为有效。
这里,第一预设值可以根据经验值设定,本公开实施例不进行具体限定。
由于第一预设值可以是根据经验值确定出来的,其能够较为准确的评估初始状态信息对应的初始有效性信息是否有效,因此,通过比较初始状态信息对应的可信度与第一预设值之间大小,能够准确地判定出初始有效性信息是否有效,如果可信度大于第一预设值,即判定初始有效性信息为有效。
针对S103,在确定了目标状态信息之后,还需要进一步确定目标状态信息对应的目标有效性信息;之后,按照目标状态信息确定的时间顺序,将目标状态信息以及目标有效性信息添加到状态序列中,得到更新后的状态序列信息。能够提高状态序列信息中的历史状态信息(包括已添加的目标状态信息)的有效性。
这里,状态序列信息中包括的历史状态信息可以是按照历史状态信息被确定的时间顺序排列的,因此,状态序列信息还包括历史状态信息对应的时序信息,所述时序信息即为确定历史状态信息的时间顺序。如图2所示,按照时间顺序从下到上依次添加历史状态信息。在确定了目标状态信息以及目标状态信息对应的目标有效性信之后,根据确定的目标状态信息的时间,将目标状态信息以及目标有效性信息顺序添加到状态序列中,也即将目标状态信息添加在图2中状态序列信息30所在区域的最上方,同时更新后的状态序列信息还包括目标状态信息对应的时序信息。
另外,利用优化后的目标状态信息以及目标状态信息对应的目标有效性信息,更新状态序列信息,能够提高优化下一帧目标图像中目标对象对应的初始状态信息的准确性。
确定目标状态信息对应的目标有效性信息,具体的,首先,可以获取初始状态信息对应的可信度。这里,初始状态信息为目标状态信息优化前的、车灯状态检测模型输出的初始状态信息。该初始状态信息对应的可信度可以作为判断目标有效性信息是否有效的依据。
这里,初始状态信息对应的可信度可以作为目标有效性信息有效性判断的首要依据。具体判断方式包括:
方式1、响应于可信度大于第一预设值,确定目标状态信息对应的目标有效性信息为有效。
这里,由于可信度作为目标有效性信息有效性判断的首要依据,因此,在确定可信度大于第一预设值的情况下,可以直接确定目标状态信息对应的目标有效性信息为有效,不再进行其他条件的判断。
如果可信度小于或等于第一预设值,即首要依据不满足预设条件,还以根据次要依据继续进行目标有效性信息有效性的判断。次要依据包括有效状态信息与初始状态信息之间的比较,以及可信度与第二预设值之间的比较。
方式2、响应于可信度小于或等于第一预设值、有效状态信息与初始状态信息相同,并且可信度大于第二预设值,确定目标状态信息对应的目标有效性信息为有效。其中,第一预设值大于第二预设值。
这里,一旦有效状态信息与初始状态信息相同,则可以降低可信度的重要程度,即可信度大于第二预设值,即可确定目标状态信息对应的目标有效性信息为有效。
方式3、响应于可信度小于或等于第一预设值,并且有效状态信息与初始状态信息不相同,确定目标状态信息对应的目标有效性信息为无效。
方式4、响应于可信度小于或等于所述第一预设值,并且可信度小于或等于第二预设值,确定目标状态信息对应的目标有效性信息为无效。
上述方式3和方式4说明,在首要依据不满足条件的情况下,次要依据中的任意一个比较结果不满足条件的情况下,均判定目标有效性信息为无效。
上述,第一预设值和第二预设值可以是根据经验值确定出来的,本公开实施例不进行具体限定,第一预设值和第二预设值能够较为准确的评估目标状态信息对应的目标有效性信息是否有效;结合第一预设值、第二预设值、有效状态信息以及初始状态信息,能够较为准确地确定目标有效性信息。
在另一种可能的实施方式中,考虑到初始状态信息受各种条件因素影响产生的误差,在优化初始状态信息的过程中,还可以参考理论上估计出的状态信息,即预测状态信息。参见图3所示,其为一种确定目标状态信息的具体流程图,包括S301~S302:
S301:基于状态序列信息中每个历史状态信息对应的时序信息、目标对象对应的每种预设状态的标准状态序列,确定目标对象对应的预测状态信息。
本步骤中,时序信息包括历史状态信息在状态序列信息对应的序列中的排列顺序,按照每个历史状态信息存储时的先后顺序进行排列。目标对象对应的每种预设状态、标准状态序列、以及标准状态序列包括对应的预设状态的状态开启子序列和状态结束子序列,参见上述的详细说明,重复部分在此不再赘述。
预测状态信息预测的是最新获取的待检测图像上的目标对象对应的状态信息。
示例性的,已知状态序列信息中包括20个历史状态信息,按照时序信息排列分别为刹车、前行、前行、前行、左转、前行、左转、前行、左转、前行、左转、前行、左转、前行、左转、前行、左转、前行、左转、前行,默认车灯闪烁的周期为1(下述有针对车灯闪烁的周期的详细说明)。已知车灯左转向的状态开启子序列包括6个历史状态信息,即左转、前行、左转、前行、左转、前行;车灯左转向的状态结束启子序列包括4个除了左转以外的其他车灯状态对应的历史状态信息。根据时序信息和标准状态序列,预测第21帧待检测图像中车辆的车灯状态,具体的,在确定第20个历史状态信息为前进状态的情况下,由于从第5个车灯状态到第20个车灯状态不断循环左转和前进,且不断循环对应的序列中包括车灯左转向的状态开启子序列,可以确定左转向开启,根据第20个历史状态信息为前进状态,能够预测最新获取的待检测图像上的目标对象对应的预测状态信息为左转。
S302:基于初始状态信息、有效状态信息和预测状态信息,确定目标对象对应的目标状态信息。
确定预测状态信息s(t),s(t)表示检测第t帧待检测图像时预测的车辆对应的预测状态信息。根据公式二,确定目标对象对应的目标状态信息y(t):
y(t)=γm(t)+δp(t)+εs(t) 公式二
其中,γ表示车灯状态检测模型输出的初始状态信息在优化过程中所占权重;δ表示有效状态信息在优化过程中所占权重;ε表示预测状态信息在优化过程中所占权重;其中,γ+δ+ε=1。
延续上例,已知状态序列信息中包括20个历史状态信息,车灯状态检测模型输出标签为1,即m(t)=1,根据序列中多个历史状态信息的目标有效性,确定左转有效个数为8,刹车有效个数为1,前进无效个数为11,因此,确定有效状态信息为左转,即标签为1,p(t)=1,已知上例预测状态信息为左转,即标签为1,s(t)=1;之后,根据公式二计算得到y(t)=γ+δ+ε=1,即初始状态信息优化后的目标状态信息为左转。
这里结合预测状态信息和有效状态信息同时对初始状态信息做进一步的优化处理,能够提高最终确定的目标对象对应的目标状态信息的准确性。
在一些实施例中,还可以获取预先设置的图像采样频率;之后,基于状态序列信息中每个历史状态信息对应的时序信息、目标对象对应的每种预设状态的标准状态序列,和图像采样频率,确定目标对象对应的预测状态信息。
其中,预先设置的图像采样频率可以根据拍摄设备拍摄待检测图像的频率进行设定,不同拍摄设备的拍摄频率不同,因此图像采样频率本公开实施例不进行具体限定。
之后,根据多种不同类型车灯闪烁的频率(比如左转向中左车灯闪烁的频率)的经验值,确定车灯闪烁的预估频率;之后,根据图像采集频率和预估频率,确定车灯闪烁的周期,比如,预测车辆处于左转向状态下,左转向的周期为1,则左转向的车灯闪烁情况为左转、前行、左转、前行、……;周期为2,则左转向的车灯闪烁情况为左转、左转、前行、前行、左转、左转、前行、前行、……。周期对应的数字为图像的帧数,比如,周期为1,即为每间隔一帧循环到左转状态。即为第一帧目标图像中车辆对应的车灯状态为左转,第二帧目标图像中车辆对应的车灯状态为前行,第三帧目标图像中车辆对应的车灯状态为左转,第四帧目标图像中车辆对应的车灯状态为前行,…。
这里,根据车灯闪烁的周期能够准确地确定目标对象对应的每种预设状态的标准状态序列,比如,车灯闪烁的周期为2,可以确定车灯左转向的状态开启子序列包括10个历史状态信息,即左转、左转、前行、前行、左转、左转、前行、前行、左转、左转;车灯左转向的状态结束启子序列包括6个除了左转以外的其他车灯状态对应的历史状态信息。
之后,根据时序信息、标准状态序列和车灯闪烁的周期,确定目标对象对应的预测状态信息。
示例性的,已知状态序列信息中包括20个历史状态信息,按照时序信息排列分别为刹车、前行、前行、左转、左转、前行、前行、左转、左转、前行、前行、左转、左转、前行、前行、左转、左转、前行、前行、左转;已知车灯左转向的状态开启子序列包括10个历史状态信息,即左转、左转、前行、前行、左转、左转、前行、前行、左转、左转;车灯左转向的状态结束启子序列包括6个除了左转以外的其他车灯状态对应的历史状态信息;已知车灯闪烁的周期为2。根据时序信息、标准状态序列和车灯闪烁的周期,预测第21帧待检测图像中车辆的车灯状态,具体的,在确定第20个历史状态信息为左转状态的情况下,由于从第4个车灯状态到第20个车灯状态不断循环左转、左转、前进、前进,且不断循环对应的序列中包括车灯左转向的状态开启子序列,可以确定左转向开启,根据第20个历史状态信息为左转状态,车灯闪烁的周期为2,能够预测最新获取的待检测图像上的目标对象对应的预测状态信息为左转。
这里,根据图像采样频率能够得到车灯闪烁的周期,根据车灯闪烁的周期能够准确地确定目标对象对应的每种预设状态的标准状态序列,之后,结合准确的标准状态序列和按照时序信息已经排列好的历史状态信息,能够预测出较为精准的预测状态信息。
在一些实施例中,针对S101,确定子对象图像,具体实施时,可以对待检测图像进行识别,得到目标对象所包含的多个预设部位中每个预设部位在待检测图像中的位置信息;之后,可以基于位置信息,从待检测图像中分别截取包含每个预设部位的子图像,得到每个预设部位对应的子对象图像。之后,对多个子对象图像进行拼接,可以按照每个预设部位在待检测图像中的位置信息,将每个预设部位对应的子对象图像进行拼接,得到目标图像。
具体的,可以参照图2所示,可以利用车灯检测模型对待检测图像进行车灯识别,得到每个车灯组件对应的检测框,即每个车灯组件在待检测图像中的位置信息,之后,从待检测图像中截取每个车灯组件对应的检测框所框出的子图像,得到每个车灯组件对应的子对象图像。之后,可以按照每个检测框在待检测图像中的相对位置关系,确定每个子对象图像的拼接位置,之后,按照拼接位置将子对象图像进行拼接得到目标图像。
这里,根据位置信息拼接预设部位对应的子对象图像,得到的目标图像既聚焦了预设部位,同时也保留了预设部位在目标对象上的相对位置信息,即保留了预设位置对应的结构信息,因此,基于目标图像进行检测能够提高状态检测的效率以及精确度。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与状态检测方法对应的状态检测装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述状态检测方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图4所示,为本公开实施例提供的一种状态检测装置的示意图,所述装置包括:信息获取模块401、初始状态检测模块402和状态优化模块403;其中,
信息获取模块401,用于获取待检测图像中目标对象所包含的多个预设部位对应的子对象图像,以及所述目标对象对应的状态序列信息;所述状态序列信息包括用于表征所述目标对象在多个历史时刻的历史状态信息;
初始状态检测模块402,用于将多个所述子对象图像拼接为目标图像,并对所述目标图像进行对象状态检测,得到所述目标对象对应的初始状态信息;
状态优化模块403,用于基于所述初始状态信息和所述状态序列信息,确定所述目标对象对应的目标状态信息。
一种可选的实施方式中,所述状态序列信息还包括每个历史状态信息对应的目标有效性信息;
所述状态优化模块403,具体用于在所述状态序列信息中存储的历史状态信息的数量大于预设数量的情况下,基于多个所述历史状态信息以及每个所述历史状态信息对应的目标有效性信息,确定在所述状态序列信息中所述目标对象对应的有效状态信息;
基于所述初始状态信息和所述有效状态信息,确定所述目标对象对应的目标状态信息。
一种可选的实施方式中,所述装置包括序列更新模块404;
所述序列更新模块404,用于在所述状态序列信息中存储的历史状态信息的数量小于或等于所述预设数量的情况下,将所述初始状态信息对应的初始有效性信息作为所述初始状态信息对应的目标有效性信息,并将所述初始状态信息以及目标有效性信息添加到状态序列信息对应的序列中,得到更新后的状态序列信息。
一种可选的实施方式中,所述序列更新模块404,还用于在所述将所述初始状态信息对应的初始有效性信息作为所述初始状态信息对应的目标有效性信息之前,获取所述初始状态信息对应的可信度;
在所述可信度大于第一预设值的情况下,确定所述初始状态信息对应的初始有效性信息为有效。
一种可选的实施方式中,所述序列更新模块404,还用于在基于所述初始状态信息和所述有效状态信息,确定所述目标对象对应的目标状态信息之后,确定所述目标状态信息对应的目标有效性信息;
按照所述目标状态信息确定的时间顺序,将所述目标状态信息以及所述目标有效性信息添加到状态序列中,得到更新后的状态序列信息。
一种可选的实施方式中,所述序列更新模块404,还用于获取所述初始状态信息对应的可信度;
响应于所述可信度大于第一预设值,确定所述目标状态信息对应的目标有效性信息为有效;
响应于所述可信度小于或等于所述第一预设值、所述有效状态信息与所述初始状态信息相同,并且所述可信度大于第二预设值,确定所述目标状态信息对应的目标有效性信息为有效;其中,所述第一预设值大于所述第二预设值。
一种可选的实施方式中,所述序列更新模块404,还用于响应于所述可信度小于或等于所述第一预设值,并且所述有效状态信息与所述初始状态信息不相同,确定所述目标状态信息对应的目标有效性信息为无效;
响应于所述可信度小于或等于所述第一预设值,并且所述可信度小于或等于所述第二预设值,确定所述目标状态信息对应的目标有效性信息为无效。
一种可选的实施方式中,所述状态序列信息还包括每个所述历史状态信息对应的时序信息;
所述状态优化模块403,具体用于基于所述状态序列信息中每个所述历史状态信息对应的时序信息、所述目标对象对应的每种预设状态的标准状态序列,确定所述目标对象对应的预测状态信息;
基于所述初始状态信息、所述有效状态信息和所述预测状态信息,确定所述目标对象对应的目标状态信息。
一种可选的实施方式中,所述状态优化模块403,具体用于获取预先设置的图像采样频率;
基于所述状态序列信息中每个所述历史状态信息对应的时序信息、所述目标对象对应的每种预设状态的标准状态序列,和所述图像采样频率,确定所述目标对象对应的预测状态信息;其中,所述标准状态序列包括对应的预设状态的状态开启子序列和状态结束子序列。
一种可选的实施方式中,所述信息获取模块401,具体用于对所述待检测图像进行识别,得到所述目标对象所包含的多个预设部位中每个预设部位在所述待检测图像中的;
基于所述位置信息,从所述待检测图像中分别截取包含每个预设部位的子图像,得到每个预设部位对应的所述子对象图像;
所述初始状态检测模块402,具体用于按照每个预设部位在所述待检测图像中的位置信息,将每个预设部位对应的子对象图像进行拼接,得到所述目标图像。
关于状态检测装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述状态检测方法实施例中的相关说明,这里不再详述。
基于同一技术构思,本申请实施例还提供了一种计算机设备。参照图5所示,为本申请实施例提供的计算机设备的结构示意图,包括:
处理器51、存储器52和总线53。其中,存储器52存储有处理器51可执行的机器可读指令,处理器51用于执行存储器52中存储的机器可读指令,所述机器可读指令被处理器51执行时,处理器51执行下述步骤:S101:获取待检测图像中目标对象所包含的多个预设部位对应的子对象图像,以及目标对象对应的状态序列信息;状态序列信息包括用于表征目标对象在多个历史时刻的历史状态信息;S102:将多个子对象图像拼接为目标图像,并对目标图像进行对象状态检测,得到目标对象对应的初始状态信息;S103:基于初始状态信息和状态序列信息,确定目标对象对应的目标状态信息。
上述存储器52包括内存521和外部存储器522;这里的内存521也称内存储器,用于暂时存放处理器51中的运算数据,以及与硬盘等外部存储器522交换的数据,处理器51通过内存521与外部存储器522进行数据交换,当计算机设备运行时,处理器51与存储器52之间通过总线53通信,使得处理器51在执行上述方法实施例中所提及的执行指令。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的状态检测方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现上述的状态检测方法的步骤。其中,计算机程序产品可以是任何能实现上述状态检测方法的产品,该计算机程序产品中对现有技术做出贡献的部分或全部方案可以以软件产品(例如软件开发包(Software Development Kit,SDK))的形式体现,该软件产品可以被存储在一个存储介质中,通过包含的计算机指令使得相关设备或处理器执行上述状态检测方法的部分或全部步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种状态检测方法,其特征在于,包括:
获取待检测图像中目标对象所包含的多个预设部位对应的子对象图像,以及所述目标对象对应的状态序列信息;所述状态序列信息包括用于表征所述目标对象在多个历史时刻的历史状态信息;
将多个所述子对象图像拼接为目标图像,并对所述目标图像进行对象状态检测,得到所述目标对象对应的初始状态信息;
基于所述初始状态信息和所述状态序列信息,确定所述目标对象对应的目标状态信息。
2.根据权利要求1所述的方法,其特征在于,所述状态序列信息还包括每个历史状态信息对应的目标有效性信息;
所述基于所述初始状态信息和所述状态序列信息,确定所述目标对象对应的目标状态信息,包括:
在所述状态序列信息中存储的历史状态信息的数量大于预设数量的情况下,基于多个所述历史状态信息以及每个所述历史状态信息对应的目标有效性信息,确定在所述状态序列信息中所述目标对象对应的有效状态信息;
基于所述初始状态信息和所述有效状态信息,确定所述目标对象对应的目标状态信息。
3.根据权利要求2所述的方法,其特征在于,还包括:
在所述状态序列信息中存储的历史状态信息的数量小于或等于所述预设数量的情况下,将所述初始状态信息对应的初始有效性信息作为所述初始状态信息对应的目标有效性信息,并将所述初始状态信息以及目标有效性信息添加到状态序列信息对应的序列中,得到更新后的状态序列信息。
4.根据权利要求3所述的方法,其特征在于,在所述将所述初始状态信息对应的初始有效性信息作为所述初始状态信息对应的目标有效性信息之前,还包括确定所述初始有效性信息的步骤:
获取所述初始状态信息对应的可信度;
在所述可信度大于第一预设值的情况下,确定所述初始状态信息对应的初始有效性信息为有效。
5.根据权利要求2所述的方法,其特征在于,在基于所述初始状态信息和所述有效状态信息,确定所述目标对象对应的目标状态信息之后,还包括:
确定所述目标状态信息对应的目标有效性信息;
按照所述目标状态信息确定的时间顺序,将所述目标状态信息以及所述目标有效性信息添加到状态序列中,得到更新后的状态序列信息。
6.根据权利要求5所述的方法,其特征在于,所述确定所述目标状态信息对应的目标有效性信息,包括:
获取所述初始状态信息对应的可信度;
响应于所述可信度大于第一预设值,确定所述目标状态信息对应的目标有效性信息为有效;
响应于所述可信度小于或等于所述第一预设值、所述有效状态信息与所述初始状态信息相同,并且所述可信度大于第二预设值,确定所述目标状态信息对应的目标有效性信息为有效;其中,所述第一预设值大于所述第二预设值。
7.根据权利要求6所述的方法,其特征在于,所述确定所述目标状态信息对应的目标有效性信息,还包括:
响应于所述可信度小于或等于所述第一预设值,并且所述有效状态信息与所述初始状态信息不相同,确定所述目标状态信息对应的目标有效性信息为无效;
响应于所述可信度小于或等于所述第一预设值,并且所述可信度小于或等于所述第二预设值,确定所述目标状态信息对应的目标有效性信息为无效。
8.根据权利要求2所述的方法,其特征在于,所述状态序列信息还包括每个所述历史状态信息对应的时序信息;
所述基于所述初始状态信息和所述有效状态信息,确定所述目标对象对应的目标状态信息,包括:
基于所述状态序列信息中每个所述历史状态信息对应的时序信息、所述目标对象对应的每种预设状态的标准状态序列,确定所述目标对象对应的预测状态信息;
基于所述初始状态信息、所述有效状态信息和所述预测状态信息,确定所述目标对象对应的目标状态信息。
9.根据权利要求8所述的方法,其特征在于,所述基于所述状态序列信息中每个所述历史状态信息对应的时序信息、所述目标对象对应的每种预设状态的标准状态序列,确定所述目标对象对应的预测状态信息,包括:
获取预先设置的图像采样频率;
基于所述状态序列信息中每个所述历史状态信息对应的时序信息、所述目标对象对应的每种预设状态的标准状态序列,和所述图像采样频率,确定所述目标对象对应的预测状态信息;其中,所述标准状态序列包括对应的预设状态的状态开启子序列和状态结束子序列。
10.根据权利要求1所述的方法,其特征在于,所述获取待检测图像中目标对象所包含的多个预设部位对应的子对象图像,包括:
对所述待检测图像进行识别,得到所述目标对象所包含的多个预设部位中每个预设部位在所述待检测图像中的位置信息;
基于所述位置信息,从所述待检测图像中分别截取包含每个预设部位的子图像,得到每个预设部位对应的所述子对象图像;
所述将多个所述子对象图像拼接为目标图像,包括:
按照每个预设部位在所述待检测图像中的位置信息,将每个预设部位对应的子对象图像进行拼接,得到所述目标图像。
11.一种状态检测装置,其特征在于,包括:
信息获取模块,用于获取待检测图像中目标对象所包含的多个预设部位对应的子对象图像,以及所述目标对象对应的状态序列信息;所述状态序列信息包括用于表征所述目标对象在多个历史时刻的历史状态信息;
初始状态检测模块,用于将多个所述子对象图像拼接为目标图像,并对所述目标图像进行对象状态检测,得到所述目标对象对应的初始状态信息;
状态优化模块,用于基于所述初始状态信息和所述状态序列信息,确定所述目标对象对应的目标状态信息。
12.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至10任一项所述的状态检测方法的步骤。
13.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至10任一项所述的状态检测方法的步骤。
CN202111437066.3A 2021-11-29 2021-11-29 一种状态检测方法、装置、计算机设备和存储介质 Pending CN114092896A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111437066.3A CN114092896A (zh) 2021-11-29 2021-11-29 一种状态检测方法、装置、计算机设备和存储介质
PCT/CN2022/096575 WO2023092982A1 (zh) 2021-11-29 2022-06-01 状态检测方法、装置、计算机设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111437066.3A CN114092896A (zh) 2021-11-29 2021-11-29 一种状态检测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN114092896A true CN114092896A (zh) 2022-02-25

Family

ID=80305545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111437066.3A Pending CN114092896A (zh) 2021-11-29 2021-11-29 一种状态检测方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN114092896A (zh)
WO (1) WO2023092982A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023092982A1 (zh) * 2021-11-29 2023-06-01 上海商汤智能科技有限公司 状态检测方法、装置、计算机设备、存储介质和程序产品

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351485B (zh) * 2023-12-04 2024-03-08 深圳赛陆医疗科技有限公司 基因测序训练数据集的增强方法及装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255356B (zh) * 2018-07-24 2022-02-01 创新先进技术有限公司 一种文字识别方法、装置及计算机可读存储介质
CN110969647B (zh) * 2019-12-04 2023-06-30 苏州智加科技有限公司 一种整合车辆的识别跟踪与车灯检测的方法
JP7115502B2 (ja) * 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
CN112528923A (zh) * 2020-12-21 2021-03-19 上海眼控科技股份有限公司 视频分析方法、装置、电子设备和存储介质
CN112712057B (zh) * 2021-01-13 2021-12-07 腾讯科技(深圳)有限公司 交通信号识别方法、装置、电子设备及存储介质
CN114092896A (zh) * 2021-11-29 2022-02-25 上海商汤临港智能科技有限公司 一种状态检测方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023092982A1 (zh) * 2021-11-29 2023-06-01 上海商汤智能科技有限公司 状态检测方法、装置、计算机设备、存储介质和程序产品

Also Published As

Publication number Publication date
WO2023092982A1 (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
US20210213961A1 (en) Driving scene understanding
CN114092896A (zh) 一种状态检测方法、装置、计算机设备和存储介质
US10679099B2 (en) Method and apparatus for a manifold view of space
CN112801229B (zh) 一种识别模型的训练方法及装置
Avramović et al. Neural-network-based traffic sign detection and recognition in high-definition images using region focusing and parallelization
CN112200193B (zh) 基于多属性融合的分布式车牌识别方法、系统、装置
CN112733818B (zh) 基于注意力机制的车灯状态识别方法、装置、终端和介质
CN106183988A (zh) 无功用前照灯报警
CN114419583A (zh) 一种大尺度特征的YOLOv4-tiny目标检测算法
CN112949578B (zh) 车灯状态识别方法、装置、设备及存储介质
Ding et al. Mit-avt clustered driving scene dataset: Evaluating perception systems in real-world naturalistic driving scenarios
Nieto et al. Optimising computer vision based ADAS: vehicle detection case study
CN111724607B (zh) 转向灯使用检测方法、装置、计算机设备和存储介质
US20230298335A1 (en) Computer-implemented method, data processing apparatus and computer program for object detection
CN115953430B (zh) 基于改进的批量样本损失函数的视频单目标跟踪方法及系统
Choodowicz et al. Hybrid algorithm for the detection and recognition of railway signs
CN111950644B (zh) 模型的训练样本选择方法、装置及计算机设备
CN116894317A (zh) 数据处理方法、装置、电子设备和介质
CN111597959B (zh) 行为检测方法、装置及电子设备
EP4131178A1 (en) Image classification method and apparatus, and method and apparatus for improving training of an image classifier
CN116824251B (zh) 一种物体检测模型的训练方法、物体检测方法及装置
Ellis et al. An analysis of lightweight convolutional neural networks for parking space occupancy detection
CN112149639A (zh) 检测车灯状态的方法、装置、电子设备和存储介质
CN116912801A (zh) 车辆双闪信号灯识别模型构建及识别方法、装置及介质
CN117935200A (zh) 一种基于改进YOLOv8的自动驾驶路况监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40062825

Country of ref document: HK