CN112084905A - 交通灯状态识别方法、系统、设备及存储介质 - Google Patents

交通灯状态识别方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112084905A
CN112084905A CN202010876586.3A CN202010876586A CN112084905A CN 112084905 A CN112084905 A CN 112084905A CN 202010876586 A CN202010876586 A CN 202010876586A CN 112084905 A CN112084905 A CN 112084905A
Authority
CN
China
Prior art keywords
frame image
video frame
acquiring
traffic light
coordinate position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010876586.3A
Other languages
English (en)
Other versions
CN112084905B (zh
Inventor
刘明
杨承晋
钱连举
兰华兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sen Ke Polytron Technologies Inc
Original Assignee
Shenzhen Sen Ke Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sen Ke Polytron Technologies Inc filed Critical Shenzhen Sen Ke Polytron Technologies Inc
Priority to CN202010876586.3A priority Critical patent/CN112084905B/zh
Publication of CN112084905A publication Critical patent/CN112084905A/zh
Application granted granted Critical
Publication of CN112084905B publication Critical patent/CN112084905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种交通灯状态识别方法、系统、设备及存储介质,交通灯状态识别方法,包括:检测本车辆是否停止;若本车辆停止则获取第一视频数据;根据第一视频数据以获取第一视频帧图像和第二视频帧图像;判断第一视频帧图像中红灯区域的坐标位置与第二视频帧图像中的绿灯区域的坐标位置之间的差值是否在预设差值范围内;若差值在预设差值范围内则输出提示信息。本发明通过判断第一视频帧图像中红灯区域的坐标位置与第二视频帧图像中绿灯区域的坐标位置之间的差值位于预设差值范围内,以判检测同一个交通灯状态是否发生变化,若是,则输出对应的提示信息,以便用户掌握当前交通灯状态,以做出相应的措施,进而提高驾驶时的安全性。

Description

交通灯状态识别方法、系统、设备及存储介质
技术领域
本发明涉及图像识别技术领域,尤其是涉及一种交通灯状态识别方法、系统、设备及存储介质。
背景技术
交通灯有两种,其中一种给机动车看的叫机动车灯,通常指由红、黄、绿三种颜色灯组成用来指挥交通通行的信号灯。通过交通灯指示机动车通行或停止以进行交通管理。
目前,机动车驾驶员都是通过人眼判断交通灯的变化以确定是否可以通行。若遇上雨天、阴天以及雾天时,驾驶员很难判断交通灯的状态,容易出现闯红灯现象,从而违反交通规则。特别针对一些视力不好的驾驶员,对于红灯和绿灯判断存在障碍,也容易引起闯红灯等违反交通规则的事件,而且因为闯红灯也容易造成交通事故。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种交通灯状态识别方法,能够自动检测交通灯状态,以便于在交通灯发生变化时输出提示信息给驾驶员,从而提高驾驶的安全性。
本发明还提出一种交通灯状态识别系统。
本发明还提出一种交通灯状态识别设备。
本发明还提出一种计算机可读存储介质。
第一方面,本发明的一个实施例提供了交通灯状态识别方法,包括:
检测本车辆是否停止;
若所述本车辆停止则获取第一视频数据;
根据所述第一视频数据以获取第一视频帧图像和第二视频帧图像;
判断所述第一视频帧图像中红灯区域的坐标位置与所述第二视频帧图像中的绿灯区域的坐标位置之间的差值是否在预设差值范围内;
若所述差值在所述预设差值范围内则输出提示信息。
本发明实施例的交通灯状态识别方法至少具有如下有益效果:通过判断第一视频帧图像中红灯区域的坐标位置与第二视频帧图像中绿灯区域的坐标位置之间的差值位于预设差值范围内,以判检测同一个交通灯的状态是否发生变化,若是,则输出对应的提示信息,以便用户掌握当前交通灯状态,以做出相应的措施,进而提高驾驶时的安全性。
根据本发明的另一些实施例的交通灯状态识别方法,所述根据所述第一视频数据以获取第一视频帧图像和第二视频帧图像,具体包括:
根据所述第一视频数据获取第一时刻的视频帧图像以得到所述第一视频帧图像;
根据所述第一视频数据获取所述第一时刻后的第二时刻的视频帧图像以得到所述第二视频帧图像。
根据本发明的另一些实施例的交通灯状态识别方法,所述判断所述第一视频帧图像中红灯区域的坐标位置与所述第二视频帧图像中的绿灯区域的坐标位置之间的差值是否在预设差值范围内,具体包括:
获取所述第一视频帧图像中的第一颜色区域,若所述第一颜色区为红灯区域,则记录所述第一颜色区域的第一坐标位置信息;
获取所述第二视频帧图像中的第二颜色区域,若所述第二颜色区域为绿灯区域,则记录所述第二颜色区域的第二坐标位置信息;
判断所述第一坐标位置信息和所述第二坐标位置信息之间的所述差值是否在所述预设差值范围内。
根据本发明的另一些实施例的交通灯状态识别方法,所述获取所述第一视频帧图像中的第一颜色区域,具体包括:
检测所述第一视频帧图像中的交通灯,以获取第一交通灯区域;
识别所述第一交通灯区域中的颜色区域,以获取第一颜色区域;
所述获取所述第二视频帧图像中的第二颜色区域,具体包括:
根据所述第二视频帧图像获取与所述第一交通灯区域相同特征的第二交通灯区域;
识别所述第二交通灯区域的颜色区域,以获取第二颜色区域。
根据本发明的另一些实施例的交通灯状态识别方法,5.所述检测本车辆是否停止,具体包括:
获取第二视频数据,根据所述第二视频数据以获取第三视频帧图像和第四视频帧图像;
获取所述第三视频帧图像中的第一特征点,并获取所述第四视频帧图像中与所述第一特征点相同特征的第二特征点;
判断所述第一特征点和所述第二特征点的位置是否发生变化以判断所述本车辆是否有停止。
根据本发明的另一些实施例的交通灯状态识别方法,所述获取所述第三视频帧图像中的第一特征点,并获取所述第四视频帧图像中与所述第一特征点相同特征的第二特征点,具体包括:
获取所述第三视频帧图像中的第一感兴趣区域;
检测所述第一感兴趣区域中的特征点并筛选出稳定的所述第一特征点;
获取所述第四视频帧图像中的第二感兴趣区域;
检测所述第二感兴趣区域内与所述第一特征点相同特征的所述第二特征点。
第二方面,本发明的一个实施例提供了交通灯状态识别系统,包括:
检测模块,用于检测本车辆是否停止;
获取模块,用于在所述本车辆停止时获取第一视频数据,并根据所述第一视频数据以获取第一视频帧图像和第二视频帧图像;
判断模块,用于判断第一视频帧图像中红灯区域的坐标位置与所述第二视频帧图像中的绿色区的坐标位置之间差值是否在预设差值范围内;
提示模块,用于根据所述差值在预设差值范围内以输出提示信息。
本发明实施例的交通灯状态识别系统至少具有如下有益效果:通过判断第一视频帧图像中红灯区域的坐标位置与第二视频帧图像中绿灯区域的坐标位置之间的差值位于预设差值范围内,以判检测同一个交通灯的状态是否发生变化,若是,则输出对应的提示信息,以便用户掌握当前交通灯状态,以做出相应的措施,进而提高驾驶时的安全性。
根据本发明的另一些实施例的交通灯状态识别系统,所述判断模块包括:
第一获取单元,用于获取所述第一视频帧图像中的第一颜色区域;
第二获取单元,用于获取所述第二视频帧图像中的第二颜色区域;
第一记录单元,用于根据所述第一颜色区域为红灯区域,则记录所述第一颜色区域的第一坐标位置信息;
第二记录单元,用于根据所述第二颜色区域为绿灯区域,则记录所述第二颜色区域的第二坐标位置信息;
判断单元,用于判断所述第一坐标位置信息和所述第二坐标位置信息之间的差值是否在预设差值范围内。
第三方面,本发明的一个实施例提供了交通灯状态识别设备,包括:
至少一个处理器,以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的交通灯状态识别方法。
本发明实施例的交通灯状态识别设备至少具有如下有益效果:通过设置处理器执行第一方面的交通灯状态识别方法,使得交通灯状态识别方法执行简易。
第四方面,本发明的一个实施例提供了计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行第一方面所述的交通灯状态识别方法。
本发明实施例的计算机可读存储介质至少具有如下有益效果:通过计算机可读存储介质存储用于使计算机执行第一方面的交通灯状态识别方法的计算机可执行指令,使得交通灯状态识别方法执行简易。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本发明实施例中交通灯识别方法的一具体实施例流程示意图;
图2是图1中步骤S100的一具体实施例流程示意图;
图3是图2中步骤S120的一具体实施例流程示意图;
图4是图1中步骤S300的一具体实施例流程示意图;
图5是图1中步骤S400的一具体实施例流程示意图;
图6是图5中步骤S410的一具体实施例流程示意图;
图7是图5中步骤S420的一具体实施例流程示意图;
图8是本发明实施例中交通灯状态识别系统的一具体实施例模块框图;
图9是本发明实施例中交通灯状态识别系统的另一具体实施例模块框图。
附图标记:100、检测模块;200、获取模块;300、判断模块;310、第一获取单元;320、第二获取单元;330、第一记录单元;340、第二记录单元;350、判断单元。
具体实施方式
以下将结合实施例对本发明的构思及产生的技术效果进行清楚、完整地描述,以充分地理解本发明的目的、特征和效果。显然,所描述的实施例只是本发明的一部分实施例,而不是全部实施例,基于本发明的实施例,本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例,均属于本发明保护的范围。
在本发明实施例的描述中,如果涉及到“若干”,其含义是一个以上,如果涉及到“多个”,其含义是两个以上,如果涉及到“大于”、“小于”、“超过”,均应理解为不包括本数,如果涉及到“以上”、“以下”、“以内”,均应理解为包括本数。如果涉及到“第一”、“第二”,应当理解为用于区分技术特征,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
交通事故死亡人数巨大,其中不合规的强行、疲劳驾驶、逆行等是引起交通事故的主要原因之一。对于机动车驾驶员而言,主要是安全意识不强,但驾驶员误判或观察不全面也是路口交通事故多发的重要因素。
目前,驾驶员观察交通灯的状态主要通过人眼识别红灯还是绿灯,当驾驶员到达路口时停止,然后判断交通灯显示为绿灯则通行,红灯则停止。但是在雨天、阴天或者雾天驾驶员难以清楚地看到交通灯显示的是红灯还是绿灯,因此容易产生误判而发生闯红灯的事件,进而引起交通事故。
为此,本发明申请公开了一种交通灯状态识别方法、系统、设备及存储介质,能够智能判断交通灯的状态,以得到准确的判断结果并根据判断结果输出对应的提示信息,以便于用户根据提示信息掌握当前交通灯的状态,从而提高驾驶员的安全性。
参照图1,第一方面,本发明实施例公开了一种交通灯状态识别方法,包括:
S100、检测本车辆是否停止;
S200、若本车辆停止则获取第一视频数据;
S300、根据第一视频数据以获取第一视频帧图像和第二视频帧图像;
S400、判断第一视频帧图像中红灯区域的坐标位置与第二视频帧图像中的绿灯区域的坐标位置之间的差值是否在预设差值范围内;
S500、若差值在预设差值范围内则输出提示信息。
先判断本车辆是否停止,若本车辆在行驶则不需要执行步骤S200至S500,也即无需进行交通灯状态的检测。因为对于行驶的本车辆而言本车辆正在行驶过程中且未遇到交通路口,若一直进行交通灯状态的检测则浪费程序执行产生的电能。若检测本车辆停止时,则执行步骤S200至S500,也即开始对交通灯状态进行检测。当检测本车辆停止时,获取第一视频数据,根据第一视频数据获取第一视频帧图像和第二视频帧图像。其中第一视频帧图像和第二视频帧图像是在第一视频数据中不同时刻的视频帧图像,因此通过第一视频帧图像到第二视频帧图像的图像变化来判断交通灯状态是否发生变化。若第一视频帧图像中的红灯区域的坐标位置与第二视频帧图像的绿灯区域的坐标位置之间的差值位于预设差值范围内,则证明交通灯的状态发生变化。其中,第一视频帧图像中可能存在红灯区域或绿灯区域,第二视频帧图像中也可能存在绿灯区域和红灯区域。若第二视频帧图像为第一视频帧图像后的视频帧图像,则第一视频帧图像中存在红灯区域且第二视频帧图像存在绿灯区域时,然后判断第一视频帧图像中红灯区域的坐标位置与第二视频帧图像中绿灯区域的坐标位置之间的差值位于预设差值范围内,则证明交通灯从红灯状态变为绿灯状态,以输出对应的提示信息,以便于用户根据提示信息得知当前交通灯的状态,便于驾驶员根据提示信息判断是否通过该路口。若第一视频帧图像为第二视频帧图像后的视频帧图像,则第一视频帧图像中存在红灯区域且第二视频帧图像存在绿灯区域时,第一视频帧图像中存在红灯区域与第二视频帧图像存在绿灯区域的坐标位置之间的差值位于预设差值范围内,则证明交通绿灯从变为红灯,以输出对应的提示信息,便于驾驶员根据提示信息知道当前为红灯,则提示驾驶员保持停止状态。
通过判断第一视频帧图像中的红灯区域与第二视频帧图像的绿灯区域的坐标位置之间的差值是否位于预设差值范围内,以证明交通灯状态发生变化,并输出提示信息,便于驾驶员根据提示信息做出对应的措施,从而提高驾驶的安全性。
参照图2,在一些实施例中,步骤S100具体包括:
S110、获取第二视频数据,根据第二视频数据以获取第三视频帧图像和第四视频帧图像;
S120、获取第三视频帧图像中的第一特征点,并获取第四视频帧图像中与第一特征点相同特征的第二特征点;
S130、判断第一特征点和第二特征点的位置是否发生变化以判断本车辆是否有停止。
其中,通过获取第二视频数据,然后讲第二视频数据拆分成多个视频帧图像,以获取相邻的两个视频帧图像以得到第三视频帧图像和第四视频帧图像。第四视频帧图像为当前视频帧图像,第三视频帧图像为当前视频帧图像前一时刻的视频帧图像,第三视频帧图像和第四视频帧图像之间的时间间隔为相邻两个视频帧图像的时间差。
获取第一视频帧图像中的第一特征点,且第一特征点为稳定不变的特征点,也就是相对于本车辆是静止参考物,然后获取第四视频帧图像中于第一特征点相同特征的第二特征点。通过判断第一特征点和第二特征点的位置是否发生变化以判断车辆是否停止。
例如,从第一视频帧图像中获取的第一特征点为路边的垃圾桶,第二视频帧图像获取的第二特征点也为同一个垃圾桶。如果本车辆在行使中则垃圾桶在第三视频帧图像和第四视频帧图像中的位置发生变化,因此判断出该车辆行驶中则无需进行交通灯检测,如果检测垃圾桶在第三视频帧图像的位置和第四视频帧图像的位置相同,则证明本车辆没有发生位移变化,处于停止状态,则开始进行交通灯状态的检测。通过获取第二视频数据,然后判断第一特征点在第三视频帧图像的位置和第二特征点在第四视频帧图像的位置是否发生变化以判断本车辆是否处于停止状态,使得本车辆的启停状态分析准确,而且对于本车辆停止再执行交通灯状态的检测,以针对需要时刻再执行交通灯状态的检测,既能节省电能的浪费又能防止交通灯状态检测输出的提示信息影响正在行驶的驾驶员。
参照图3,在一些实施例中,步骤S120具体包括:
S121、获取第三视频帧图像中的第一感兴趣区域;
S122、检测第一感兴趣区域中的特征点并筛选出稳定的第一特征点;
S123、获取第三视频帧图像中的第二感兴趣区域;
S124、检测第二感兴趣区域内与第一特征点相同特征的第二特征点。
通过获取第一视频帧图像中第一感兴趣区域,然后采用FastFeatureDetector检测算法(Fast特征点检测算法)以检测第一感兴趣区域中的特征点。其中第一感兴趣区域可以检测出若干特征点,例如第三视频帧图像中存在车辆、栏杆、电线杆、监控摄像头、垃圾桶、行人等。先获取第三视频帧图像中的第一感兴趣区域,假设获取第三视频帧图像中的车辆、栏杆、电线杆、监控摄像头集中所在的区域设为第一感兴趣区域,然后通过检测第一感兴趣区域中特征点以得到车辆、栏杆、电线杆、监控摄像头等特征点,通过筛选算法筛选出若干特征点中稳定的特征点以得到第一特征点。若特征点为车辆特征,该特征点是变化则需要滤除,需要获取第三视频帧图像中清晰、明显且稳定的特征点,假设设置电线杆做为第一特征点。获取第一特征点后,同理采用Fast特征点检测算法检测第二感兴趣区域中与第一特征点相同的特征点以得到第二特征点,也即获取第二感兴趣区域中同一个栏杆形状的第二特征点。获取第一特征点和第二特征点后,判断第一特征点和第二特征点分别在第三视频帧图像和第四视频帧图像中的位置,如果第一特征点在第三视频帧图像的位置与第二特征点在第四视频帧图像的位置不同,则证明本车辆处于行驶状态,若如果第一特征点在第三视频帧图像的位置与第二特征点在第四视频帧图像的位置相同,则证明本车辆处于停止状态驶。因此通过判断第一特征点在第三视频帧图像的位置与第二特征点在第四视频帧图像的位置是否相同以判断本车辆的启停状态,使得本车辆的启停状态判断准确。
参照图4,在一些实施例中,步骤S300具体包括:
S310、根据第一视频数据获取第一时刻的视频帧图像以得到第一视频帧图像;
S320、根据第一视频数据获取第一时刻后的第二时刻的视频帧图像以得到第二视频帧图像。
其中,第一视频数据包括若干视频帧图像,且第二时刻在第一时刻后,因此获取的第二视频帧图像位于第一视频帧图像后。因此通过判断第一视频帧图像中的红灯区域的坐标位置与第二视频帧图像中的绿灯区域的坐标位置之间的差值在预设差值范围内,则证明交通灯从红灯状态变为绿灯状态,则输出的提示信息为红灯状态变为绿灯状态,以便于驾驶员根据提示信息启动本车辆以通过该路口。
具体地,第二时刻为当前时刻,而第一时刻为第二时刻前一个视频帧图像的时刻,且第一时刻和第二时刻为相邻时刻。假设视频帧图像之间的时间间距为t,第一时刻为T1,第二时刻为T2,则T2=T1+t。因此,第二视频帧图像为当前时刻的视频帧图像,而第一视频帧图像为当前时刻前一个视频帧图像的视频帧图像。因此,第一视频帧图像若存在红灯区域,第二视频帧图像存在绿灯区域,且该红灯区域的坐标位置和该绿色的坐标位置之间的差值位于预设差值范围内,则证明属于同一个交通灯上红灯状态变为绿灯状态,因此输出提示信息以提示驾驶员通过,防止在天气情况影响人眼判断交通灯的情况下误判,得到准确且智能的提示,以提高驾驶员在交通路口通行的安全性。
参照图5,在一些实施例中,步骤S400具体包括:
S410、获取第一视频帧图像中的第一颜色区域,若第一颜色区为位红灯区域,则记录第一颜色区域的第一坐标位置信息;
S420、获取第二视频帧图像中的第二颜色区域,若第二颜色区域为绿灯区域,则记录第二颜色区域的第二坐标位置信息;
S430、判断第一坐标位置信息和第二坐标位置信息之间的差值是否在预设差值范围内。
一般交通灯上设置三个颜色的灯,分别为绿灯、红灯和橙灯,获取第一视频帧图像为本车辆前方的图像。若在第一视频帧图像中识别出第一颜色区域,且第一颜色区域可以为红灯区域也可以为绿灯区域。若第一颜色区域内无红灯区域和绿灯区域,则重新获取当前时刻的第二视频帧图像,进而再获取第一视频帧图像的前一个视频帧图像以得到新的第一视频帧图像,然后再识别新的第一视频帧图像中的第一颜色区域,直到识别出第一颜色区域为红灯区域,且通过识别出第一视频帧图像的第一颜色区域为红灯区域相当于第一时刻的交通灯状态为红灯状态,然后记录当前第一颜色区域的第一坐标位置信息。然后获取第二视频帧图像中第二颜色区域,若第二颜色区域为红灯区域,则循环检测以获取另一个时刻的第一视频帧图像和第二视频帧图像,直到第一视频帧图像中的第一颜色区域为红灯区域,第二视频帧图像中的第二颜色区域为绿灯区域,则表明当前时刻的交通灯存在绿灯状态,然后记录当前第二颜色区域的第二坐标位置信息。通过由于第二时刻和第一时刻之间的时间间隔为视频帧图像之间的时间差,第一颜色区域为红灯区域且第二颜色区域为绿灯区域,则证明在第一时刻到第二时刻期间,交通灯由红灯状态变为绿灯状态。由于第一颜色区域为红灯区域、第二颜色区域为绿灯区域只能证明第一时刻存在红灯,第二时刻存在绿灯,然后判断第一时刻的红灯和第二时刻的绿灯是否位于同一个交通灯上。由于一般机动车行驶路口的交通灯存在机动车指示交通灯和行人指示交通灯,因此通过判断第一坐标位置信息和第二坐标位置信息之间的差值。对于交通灯采用一个灯分别显示红灯状态、绿灯状态和黄灯状态,第一坐标位置信息和第二坐标位置信息相匹配则认为第一颜色区域和第二颜色区域位于同一个交通灯上。对于交通灯采用三个灯分别显示红灯状态、绿灯状态和黄灯状态,则红灯和绿灯之间的距离在一定的阈值内,通过判断第一坐标位置信息和第二坐标位置信息之间的差值位于预设差值范围内则证明第一颜色区域和第二颜色区域位于同一个交通灯上,从而提高交通灯状态判断的准确性。
其中,对第一视频帧图像和第二视频帧图像识别出为红灯区域还是绿灯区域主要采用SqueezeNet深度学习网络识别算法进行识别,SqueezeNet网络基本单元是采用了模块化的卷积,其称为Fire module。Fire模块主要包含两层卷积操作:一是采用1x1卷积核的squeeze层;二是混合使用1x1和3x3卷积核的expand层。SqueezeNet是Han等提出的一种轻量且高效的CNN模型,它参数比AlexNet少50x,但模型性能(accuracy)与AlexNet接近。在可接受的性能下,小模型相比大模型,具有很多优势:(1)更高效的分布式训练,小模型参数小,网络通信量减少;(2)便于模型更新,模型小,客户端程序容易更新;(3)利于部署在特定硬件如FPGA。因此通过SqueezeNet深度学习网络识别算法识别第一视频帧图像和第二视频帧图像是红灯区域还是绿灯区域快速且便捷。
通过获取第一视频帧图像中的第一颜色区域,第二视频帧图像中的第二颜色区域,在满足第一颜色区域为红灯区域,第二颜色区域为绿灯区域的前提下,获取第一颜色区域的第一坐标位置信息,第二颜色区域的第二坐标位置信息。然后在通过判断第一坐标位置信息和第二坐标位置信息之间的差值是否位于差值范围内,若第一坐标位置信息和第二坐标位置信息之间的差值位于差值范围内,则证明第一颜色区域和第二颜色区域位于同一个交通灯上,则准确判断出红灯变为绿灯。
参照图6,在一些实施例中,步骤S410具体包括:
S411、检测第一视频帧图像中的交通灯,以获取第一交通灯区域;
S412、识别第一交通灯区域中的颜色区域,以获取第一颜色区域;
S413、若第一颜色区域为位红灯区域,则记录第一颜色区域的第一坐标位置信息。
参照图7,步骤S420具体包括:
S421、根据第二视频帧图像获取与第一交通灯区域相同特征的第二交通灯区域;
S422、识别第二交通灯区域的颜色区域,以获取第二颜色区域;
S423、若第二颜色区域为绿灯区域,则记录第二颜色区域的第二坐标位置信息。
其中,通过检测第一视频帧图像中交通灯以获取第一交通灯区域,然后对第一交通灯区域使用HSV颜色空间模型进行构建以获取第一交通灯区域的RGB颜色变化,从而识别出第一交通灯区域中的第一颜色区域。第二视频帧图像也通过深度学习算法获取第二交通灯区域,通过第二交通灯区域使用HSV颜色空间模型进行构建以获取RGB颜色的变化,从而提取第二交通灯区域中的第二颜色区域。
具体地,通过检测第一视频帧图像中的交通灯以获取第一交通灯区域,然后对第一交通灯区域构建HSV颜色空间模型以得到第一交通灯区域的RGB颜色变化,从而提取出第一交通灯区域的第一颜色区域。通过获取第二视频帧图像中的第二交通灯区域,然后对第二交通灯区域进行HSV空间模型的构建以得到第二交通灯区域的RGB颜色变化,因此识别出第二交通灯区域的第二颜色区域。通过识别第一颜色区域为红灯区域,第二颜色区域为绿灯区域,则证明交通灯由红灯状态变为绿灯状态,再判断第一颜色区域和第二颜色区域之间坐标位置的差值是否在差值范围内,以判断第一颜色区域和第二颜色区域是否位于同一个交通灯上,因此提高了交通灯状态检测的精准性。
下面参考图1至图7以一个具体的实施例详细描述根据本发明实施例的交通灯状态识别方法。值得理解的是,下述描述仅是示例性说明,而不是对发明的具体限制。
先获取第二视频数据,通过第二视频数据获取第三视频帧图像和第四视频帧图像,再获取第三视频帧图像的第一感兴趣区域和第四视频帧图像中的第二感兴趣区域,然后采用Fast特征点检测算法检测第一感兴趣区域的第一特征点,检测第二感兴趣区域的第二特征点,然后判断第一特征点在第三视频帧图像和第二特征点在第四视频帧图像中的位置是否相同,若相同则证明本车辆处于停止状态。然后获取第一视频数据,根据第一视频数据获取当前时刻的第二视频帧图像,然后获取与第二视频帧图像前一个视频帧图像以得到第一视频帧图像,通过检测第一视频帧图像中的交通灯以获取第一交通灯区域,然后对第一交通灯区域进行HSV颜色空间模型构建以获取第一交通灯区域的RGB颜色变化进而获得第一颜色区域。检测第二视频帧图像中交通灯以获取第二交通灯区域,并对第二交通灯区域进行HSV颜色空间模型构建以获取第二交通灯区域的RGB颜色变化,进而获得第二颜色区域。若第一颜色区域为红灯区域则记录第一颜色区域的第一坐标位置信息,第二颜色区域为绿灯区域则获取第二坐标位置信息,通过判断第一坐标位置信息与第二坐标位置信息之间的差值是否在预设差值范围内,相当于判断识别出的红灯变化到绿灯是否在同一个交通灯上,若差值位于预设差值范围内,则证明同一个交通灯从红灯状态变为绿灯状态,则输出提示信息,以提示驾驶员可以通过,从而提高驾驶员行驶时的安全性。
参照图8,第二方面,本发明实施例还公开了交通灯状态识别系统,包括:检测模块100、获取模块200、判断模块300;检测模块100用于检测本车辆是否停止;获取模块200用于在本车辆停止时获取第一视频数据,并根据第一视频数据以获取第一视频帧图像和第二视频帧图像;判断模块300用于判断第一视频帧图像中红灯区域的坐标位置与第二视频帧图像中的绿色区的坐标位置之间的差值是否在预设差值范围内;提示模块,用于根据差值在预设差值范围内以输出提示信信息。
通过检测模块100检测本车辆停止时,获取模块200获取第一视频数据,然后根据第一视频数据获取第一视频帧图像和第二视频帧图像,若第一视频帧图像中的红灯区域的坐标位置与第二视频帧图像中的坐标位置之间的差值位于预设差值范围内,则证明同一个交通灯状态发生变化,则输出提示信息,以智能检测交通灯状态,进而提示驾驶员通过,从而提高驾驶员在通过路口时的安全性。
参照图9,在一些实施例中,判断模块300包括:第一获取单元310、第二获取单元320、第一记录单元330、第二记录单元340以及判断单元350;第一获取单元310用于获取第一视频帧图像中的第一颜色区域;第二获取单元320用于获取第二视频帧图像中的第二颜色区域;第一记录单元330用于根据第一颜色区域为红灯区域,则记录第一颜色区域的第一坐标位置信息;第二记录单元340用于根据第二颜色区域为绿灯区域,则记录第二颜色区域的第二坐标位置信息;判断单元350用于判断第一坐标位置信息和第二坐标位置信息之间的差值是否在预设差值范围内。
通过第一获取单元310获取第一视频帧图像的第一颜色区域,第二获取单元320获取第二视频帧图像中的第二颜色区域,第一记录单元330记录第一颜色区域为红灯区域时第一颜色区域的第一坐标位置信息,第二记录单元340记录第二颜色区域为绿灯区域的第二颜色区域的第二坐标位置信息,然后判断单元350判断第一坐标位置信息与第二坐标位置信息之间的差值是否在预设差值范围内,若是,则输出提示信息。因此通过设置第一获取单元310、第二获取单元320、第一记录单元330、第二记录单元340以及判断单元350进行红绿灯状态的检测准确。
其中,一种交通灯状态识别系统具体的执行过程参照第一方面的交通灯状态识别方法,此处不再赘述。
第三方面,本发明实施例还公开了一种交通灯状态识别设备,包括:至少一个处理器,以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面的交通灯状态识别方法。
其中,交通灯状态识别设备为终端,终端可以为移动终端设备,也可以为非移动终端设备。移动终端设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端设备、可穿戴设备、超级移动个人计算机、上网本、个人数字助理、CPE、UFI(无线热点设备)等;非移动终端设备可以为个人计算机、电视机、柜员机或者自助机等;本发明实施方案不作具体限定。
第四方面,一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面的交通灯状态识别方法。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。此外,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。

Claims (10)

1.交通灯状态识别方法,其特征在于,包括:
检测本车辆是否停止;
若所述本车辆停止则获取第一视频数据;
根据所述第一视频数据以获取第一视频帧图像和第二视频帧图像;
判断所述第一视频帧图像中红灯区域的坐标位置与所述第二视频帧图像中的绿灯区域的坐标位置之间的差值是否在预设差值范围内;
若所述差值在所述预设差值范围内则输出提示信息。
2.根据权利要求1所述的交通灯状态识别方法,其特征在于,所述根据所述第一视频数据以获取第一视频帧图像和第二视频帧图像,具体包括:
根据所述第一视频数据获取第一时刻的视频帧图像以得到所述第一视频帧图像;
根据所述第一视频数据获取所述第一时刻后的第二时刻的视频帧图像以得到所述第二视频帧图像。
3.根据权利要求1或2所述的交通灯状态识别方法,其特征在于,所述判断所述第一视频帧图像中红灯区域的坐标位置与所述第二视频帧图像中的绿灯区域的坐标位置之间的差值是否在预设差值范围内,具体包括:
获取所述第一视频帧图像中的第一颜色区域,若所述第一颜色区为红灯区域,则记录所述第一颜色区域的第一坐标位置信息;
获取所述第二视频帧图像中的第二颜色区域,若所述第二颜色区域为绿灯区域,则记录所述第二颜色区域的第二坐标位置信息;
判断所述第一坐标位置信息和所述第二坐标位置信息之间的所述差值是否在所述预设差值范围内。
4.根据权利要求3所述的交通灯状态识别方法,其特征在于,所述获取所述第一视频帧图像中的第一颜色区域,具体包括:
检测所述第一视频帧图像中的交通灯,以获取第一交通灯区域;
识别所述第一交通灯区域中的颜色区域,以获取第一颜色区域;
所述获取所述第二视频帧图像中的第二颜色区域,具体包括:
根据所述第二视频帧图像获取与所述第一交通灯区域相同特征的第二交通灯区域;
识别所述第二交通灯区域的颜色区域,以获取第二颜色区域。
5.根据权利要求1所述的交通灯状态识别方法,其特征在于,所述检测本车辆是否停止,具体包括:
获取第二视频数据,根据所述第二视频数据以获取第三视频帧图像和第四视频帧图像;
获取所述第三视频帧图像中的第一特征点,并获取所述第四视频帧图像中与所述第一特征点相同特征的第二特征点;
判断所述第一特征点和所述第二特征点的位置是否发生变化以判断所述本车辆是否有停止。
6.根据权利要求5所述的交通灯状态识别方法,其特征在于,所述获取所述第三视频帧图像中的第一特征点,并获取所述第四视频帧图像中与所述第一特征点相同特征的第二特征点,具体包括:
获取所述第三视频帧图像中的第一感兴趣区域;
检测所述第一感兴趣区域中的特征点并筛选出稳定的所述第一特征点;
获取所述第四视频帧图像中的第二感兴趣区域;
检测所述第二感兴趣区域内与所述第一特征点相同特征的所述第二特征点。
7.交通灯状态识别系统,其特征在于,包括:
检测模块,用于检测本车辆是否停止;
获取模块,用于在所述本车辆停止时获取第一视频数据,并根据所述第一视频数据以获取第一视频帧图像和第二视频帧图像;
判断模块,用于判断第一视频帧图像中红灯区域的坐标位置与所述第二视频帧图像中的绿色区的坐标位置之间差值是否在预设差值范围内;
提示模块,用于根据所述差值在预设差值范围内以输出提示信息。
8.根据权利要求7所述的交通灯状态识别系统,其特征在于,所述判断模块包括:
第一获取单元,用于获取所述第一视频帧图像中的第一颜色区域;
第二获取单元,用于获取所述第二视频帧图像中的第二颜色区域;
第一记录单元,用于根据所述第一颜色区域为红灯区域,则记录所述第一颜色区域的第一坐标位置信息;
第二记录单元,用于根据所述第二颜色区域为绿灯区域,则记录所述第二颜色区域的第二坐标位置信息;
判断单元,用于判断所述第一坐标位置信息和所述第二坐标位置信息之间的差值是否在预设差值范围内。
9.一种交通灯状态识别设备,其特征在于,包括:
至少一个处理器,以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至6任一项所述的交通灯状态识别方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至6任一项所述的交通灯状态识别方法。
CN202010876586.3A 2020-08-27 2020-08-27 交通灯状态识别方法、系统、设备及存储介质 Active CN112084905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010876586.3A CN112084905B (zh) 2020-08-27 2020-08-27 交通灯状态识别方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010876586.3A CN112084905B (zh) 2020-08-27 2020-08-27 交通灯状态识别方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112084905A true CN112084905A (zh) 2020-12-15
CN112084905B CN112084905B (zh) 2024-03-12

Family

ID=73729657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010876586.3A Active CN112084905B (zh) 2020-08-27 2020-08-27 交通灯状态识别方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112084905B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712547A (zh) * 2020-12-25 2021-04-27 华雁智科(杭州)信息技术有限公司 一种隔离开关的状态检测方法及模型的建立方法
CN113033464A (zh) * 2021-04-10 2021-06-25 阿波罗智联(北京)科技有限公司 信号灯检测方法、装置、设备以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101097657A (zh) * 2006-06-26 2008-01-02 上海宝信软件股份有限公司 基于视频图像处理的交通信号灯状态判定方法
CN101950478A (zh) * 2010-08-24 2011-01-19 宇龙计算机通信科技(深圳)有限公司 一种红绿灯状态信息的提示方法、系统及移动终端
CN103886755A (zh) * 2014-04-04 2014-06-25 姜廷顺 具有闯红灯拍照功能的路口异常停车快速报警系统及方法
CN104732771A (zh) * 2015-04-08 2015-06-24 高萍 交通路口抢行车辆识别方法
CN109166333A (zh) * 2018-11-02 2019-01-08 安徽安凯汽车股份有限公司 一种交通路口信号指示灯
CN110532903A (zh) * 2019-08-12 2019-12-03 浙江大华技术股份有限公司 一种交通灯图像处理的方法和设备
CN111086518A (zh) * 2018-10-19 2020-05-01 广东虚拟现实科技有限公司 显示方法、装置、车载平视显示设备及存储介质
CN111428663A (zh) * 2020-03-30 2020-07-17 北京百度网讯科技有限公司 红绿灯状态的识别方法、装置、电子设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101097657A (zh) * 2006-06-26 2008-01-02 上海宝信软件股份有限公司 基于视频图像处理的交通信号灯状态判定方法
CN101950478A (zh) * 2010-08-24 2011-01-19 宇龙计算机通信科技(深圳)有限公司 一种红绿灯状态信息的提示方法、系统及移动终端
CN103886755A (zh) * 2014-04-04 2014-06-25 姜廷顺 具有闯红灯拍照功能的路口异常停车快速报警系统及方法
CN104732771A (zh) * 2015-04-08 2015-06-24 高萍 交通路口抢行车辆识别方法
CN111086518A (zh) * 2018-10-19 2020-05-01 广东虚拟现实科技有限公司 显示方法、装置、车载平视显示设备及存储介质
CN109166333A (zh) * 2018-11-02 2019-01-08 安徽安凯汽车股份有限公司 一种交通路口信号指示灯
CN110532903A (zh) * 2019-08-12 2019-12-03 浙江大华技术股份有限公司 一种交通灯图像处理的方法和设备
CN111428663A (zh) * 2020-03-30 2020-07-17 北京百度网讯科技有限公司 红绿灯状态的识别方法、装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴彩林 等: "交通灯路口的前车运动状态测定研究", 齐齐哈尔大学学报(自然科学版), vol. 32, no. 3, pages 7 - 13 *
王洪伟 等: "基于双目视觉的红绿灯距离测量", 重庆理工大学学报( 自然科学), vol. 28, no. 11, pages 102 - 106 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712547A (zh) * 2020-12-25 2021-04-27 华雁智科(杭州)信息技术有限公司 一种隔离开关的状态检测方法及模型的建立方法
CN112712547B (zh) * 2020-12-25 2024-06-04 华雁智科(杭州)信息技术有限公司 一种隔离开关的状态检测方法及模型的建立方法
CN113033464A (zh) * 2021-04-10 2021-06-25 阿波罗智联(北京)科技有限公司 信号灯检测方法、装置、设备以及存储介质
CN113033464B (zh) * 2021-04-10 2023-11-21 阿波罗智联(北京)科技有限公司 信号灯检测方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN112084905B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
US11840239B2 (en) Multiple exposure event determination
US20200250405A1 (en) Method and apparatus for detecting fake license plates of vehicles, readable storage medium, and electronic device
CN111666853B (zh) 实时车辆违章检测方法、装置、设备及存储介质
CN107705552B (zh) 一种应急车道占用行为检测方法、装置及系统
CN110991224B (zh) 基于图像识别的行人闯红灯检测方法、装置及相关设备
CN101739809A (zh) 行人闯红灯自动报警监控系统
CN111950536A (zh) 信号灯图像的处理方法、装置、计算机系统和路侧设备
CN112084905A (zh) 交通灯状态识别方法、系统、设备及存储介质
CN108932849B (zh) 一种记录多台机动车低速行驶违法行为的方法及装置
KR101606476B1 (ko) 카메라의 다중 노출 영상을 이용한 신호등 자동 인식 장치 및 방법
CN111931726B (zh) 交通灯检测的方法、装置、计算机存储介质和路侧设备
CN113192109B (zh) 在连续帧中识别物体运动状态的方法及装置
CN111583659B (zh) 一种车辆违章判定方法、装置、设备及介质
CN103886761B (zh) 能够快速发现道路异常停车的智能卡口系统及其运行方法
CN111768630A (zh) 一种违章废图检测方法、装置及电子设备
CN112949470A (zh) 车辆变道转向灯识别方法、装置、设备及存储介质
CN113450578A (zh) 交通违章事件取证方法、装置、设备及系统
CN112733864B (zh) 模型训练方法、目标检测方法、装置、设备及存储介质
CN112907979A (zh) 一种基于多摄像头的机动车违法行驶轨迹跟踪系统及方法
CN115880632A (zh) 超时停留检测方法、监控设备、计算机可读存储介质和芯片
CN113408319A (zh) 一种城市道路异常感知处理方法、装置、系统及存储介质
CN110660225A (zh) 闯红灯行为检测方法、装置和设备
CN112215038A (zh) 特定车辆识别系统、方法及存储介质
KR20170037695A (ko) 신호등을 이용한 차량 사고 방지 시스템 및 방법
CN111582171B (zh) 一种行人闯红灯监测方法、装置、系统及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant