CN112235513A - 图像处理装置、方法和车辆 - Google Patents

图像处理装置、方法和车辆 Download PDF

Info

Publication number
CN112235513A
CN112235513A CN202011052663.XA CN202011052663A CN112235513A CN 112235513 A CN112235513 A CN 112235513A CN 202011052663 A CN202011052663 A CN 202011052663A CN 112235513 A CN112235513 A CN 112235513A
Authority
CN
China
Prior art keywords
image
environment
light
image processing
assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011052663.XA
Other languages
English (en)
Other versions
CN112235513B (zh
Inventor
罗衡荣
贺志国
王力敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sany Special Vehicle Co Ltd
Original Assignee
Sany Special Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sany Special Vehicle Co Ltd filed Critical Sany Special Vehicle Co Ltd
Priority to CN202011052663.XA priority Critical patent/CN112235513B/zh
Publication of CN112235513A publication Critical patent/CN112235513A/zh
Application granted granted Critical
Publication of CN112235513B publication Critical patent/CN112235513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像处理装置、方法和车辆。图像处理装置包括:图像采集组件、补光组件和判定组件;其中,图像采集组件采集拍摄区域的第一图像,拍摄区域包括车辆的周边环境,判定组件判定第一图像所处的环境是否为黑暗环境,基于第一图像所处的环境为黑暗环境,补光组件对拍摄区域进行补光,直到图像采集组件采集的拍摄区域的第二图像所处的环境为明亮环境或补光组件的补光参数满足结束条件。本发明的图像处理装置中图像采集组件和补光组件结构简单,补光操作便捷,制造成本低。

Description

图像处理装置、方法和车辆
技术领域
本发明涉及图像处理的技术领域,具体而言,涉及一种图像处理装置、方法和车辆。
背景技术
相关技术中,有些车辆需要在夜间施工时,由于光线不足或者照度不均,摄像头拍摄图像质量差,无法提供有效的特征信息,会导致基于视觉SLAM(英文全称:simultaneouslocalization and mapping,中文名称:即时图像处理与地图构建)的定位系统失效。
发明内容
本发明旨在解决上述技术问题的至少之一。
为此,本发明的第一目的在于提供一种图像处理装置。
本发明的第二目的在于提供一种图像处理方法。
本发明的第三目的在于提供一种车辆。
为实现本发明的第一目的,本发明的实施例提供了一种图像处理装置,包括:图像采集组件、补光组件和判定组件;其中,图像采集组件采集拍摄区域的第一图像,拍摄区域包括车辆的周边环境,判定组件判定第一图像所处的环境是否为黑暗环境,基于第一图像所处的环境为黑暗环境,补光组件对拍摄区域进行补光,直到图像采集组件采集的拍摄区域的第二图像所处的环境为明亮环境或补光组件的补光参数满足结束条件。
本技术方案中,通过判定组件识别黑暗环境,通过补光组件进行补光,提升了黑暗环境或光照条件不好工况下搅拌车定位系统的鲁棒性。当车辆为搅拌车时,本技术方案在搅拌车已有摄像头的基础上增加一个补光组件和一个判断是否需要补光的判定组件,以提升视觉定位系统的鲁棒性。图像处理装置中图像采集组件和补光组件结构简单,补光操作便捷,制造成本低。
另外,本发明上述实施例提供的技术方案还可以具有如下附加技术特征:
上述技术方案中,补光组件包括:照明组件和角度变换组件;其中,照明组件提供补光的光源,照明组件补光亮度的数值设有调节范围,角度变换组件改变照明组件的补光角度。
照明组件提供光源,通过角度变换组件调节光源照射的角度,使得光源照射在拍摄区域,照明组件的补光亮度的数值可以调节,根据实际需要,提供合适的补光亮度的光源,提高了补光的便捷性。
上述任一技术方案中,图像采集组件设置于车辆上。
图像采集组件安装于车辆上,拍摄车辆周围环境的图像,方便车辆移动时,对车辆周围环境进行图像采集。
为实现本发明的第二目的,本发明的实施例提供了一种图像处理方法,采用如本发明任一实施例中的图像处理装置,包括:采集拍摄区域的第一图像,拍摄区域包括车辆的周边环境;判定第一图像所处的环境是否为黑暗环境;基于第一图像所处的环境为黑暗环境,对拍摄区域进行补光,直到采集的拍摄区域的第二图像所处的环境为明亮环境或补光组件的补光参数满足结束条件。
本技术方案中,通过图像采集组件采集拍摄区域的第一图像,拍摄区域一般为车辆的周边环境,如果第一图像所处的环境是否为黑暗环境,补光组件对拍摄区域进行补光,通过补光很好的提升了黑暗环境或光照条件不好工况下搅拌车定位系统的鲁棒性。通过本技术方案获取的图像,用于基于视觉SLAM的定位系统,具有良好的鲁棒性。本技术方案方法简单,通过对黑暗环境的判定,开启补光组件即可完成图像处理,提高基于视觉SLAM的定位精度。
另外,本发明上述实施例提供的技术方案还可以具有如下附加技术特征:
上述技术方案中,判定第一图像所处的环境是否为黑暗环境,包括:对第一图像进行特征点提取和跟踪;计算特征点的跟踪数目与跟踪帧长;根据跟踪数目与跟踪帧长,判定第一图像所处的环境是否为黑暗环境。
对图像采集组件采集的第一图像进行特征点提取和跟踪,通常是视觉SLAM中特征点跟踪模块,特征点可以是ORB(Oriented Fast and Rotated Brief)、KLT(Kanade-Lucas-Tomasi Tracking Method)等传统特征跟踪算子,也可以是基于AI(ArtificialIntelligence,人工智能)的特征算子,通过采用特征点提取和跟踪的方式,可以提高判断是否黑暗环境的准确性。
上述任一技术方案中,根据跟踪数目与跟踪帧长,判定第一图像所处的环境是否为黑暗环境,包括:基于跟踪数目小于跟踪数目阈值,判定第一图像所处的环境为黑暗环境;基于跟踪帧长小于跟踪帧长阈值,判定第一图像所处的环境为黑暗环境。
计算特征点的跟踪数目、跟踪帧长等指标,如果跟踪数目较多、跟踪帧长较长,则判为特征跟踪质量良好,否则就判为跟踪质量较差并初步推测可能处于黑暗环境,通过合理设置跟踪数目阈值和跟踪帧长阈值,更加有效、准确的判断图像所处的环境是否为黑暗环境。
上述任一技术方案中,判定第一图像是否为黑暗环境,还包括:基于判定第一图像为黑暗环境后,通过图像亮度信息或采用神经网络方法进行验证。
本技术方案通过对黑暗环境的验证,提升了方法的准确程度。
上述任一技术方案中,调整补光组件的补光参数,对拍摄区域进行补光,其中,补光参数包括补光亮度的数值和/或补光角度。
本技术方案通过调整补光亮度的数值和/或补光角度,为摄像区域进行补光,具有较高的灵活度。
上述任一技术方案中,结束条件包括:补光亮度的数值超出补光组件的调节范围。
当补光组件的补光亮度的数值超过调节范围,结束对图像的处理,通过设置适当的补光亮度数值调节范围,使得补光更加灵活,应用方便。
为实现本发明的第三目的,本发明的实施例提供了一种车辆,包括:车辆本体和如本发明任一实施例中的图像处理装置;其中,图像处理装置设置于车辆本体上。
本发明实施例提供的车辆包括如本发明任一实施例的图像处理装置,因而其具有如本发明任一实施例的图像处理装置的全部有益效果,在此不再赘述。
本发明的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明一个实施例的图像处理装置组成示意图;
图2为本发明一个实施例的补光组件组成示意图;
图3为本发明一个实施例的图像处理方法流程图之一;
图4为本发明一个实施例的图像处理方法流程图之二;
图5为本发明一个实施例的图像处理方法流程图之三;
图6为本发明一个实施例的图像处理方法流程图之四;
图7为本发明一个实施例的图像处理方法流程图之五;
图8为本发明一个实施例的图像处理方法流程图之六;
图9为本发明一个实施例的车辆组成示意图;
图10为本发明一个实施例的图像采集组件与补光组件示意图;
图11为本发明一个实施例的图像处理方法流程图之七。
其中,图1至图11中附图标记与部件名称之间的对应关系为:
100:图像处理装置,110:图像采集组件,120:补光组件,122:照明组件,124:角度变换组件,130:判定组件,200:车辆,210:车辆本体。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
下面参照图1至图11描述本发明一些实施例的图像处理装置100、方法和车辆200。
要实现车辆的图像处理,主要有GNSS/RTK图像处理(Global NavigationSatellite System,GNSS,全球导航卫星系统;Real-time kinematic,RTK,实时动态)、激光SLAM(simultaneous localization and mapping,即时图像处理与地图构建)、视觉SLAM(simultaneous localization and mapping,即时图像处理与地图构建)等几种方式。GNSS/RTK方案能够全天候使用,但是遇到建筑物遮挡、立交桥等场景信号容易丢失,导致图像处理不准。激光SLAM方案也能全天候使用,但是受限于激光雷达传感器价格昂贵,目前还只装配在少数高档乘用车辆。普通的视觉摄像头,部署成本低,已经量厂化地应用在车辆的辅助驾驶功能比如360环视、盲区监测、驾驶员行为监控等,而视觉SLAM可以利用车辆已经安装的摄像头实现对车辆的图像处理,是一种很具有市场发展前景的技术方案。
搅拌车是一种用于运输混凝土的工程车辆。为了缩短工程开发时间,经常要在夜晚施工作业。搅拌车在夜间施工时,由于光线不足或者照度不均,摄像头拍摄图像质量差,无法提供有效的特征信息,导致基于视觉SLAM的图像处理系统失效。
相关技术的基于光栅投射立体视觉的机器人视觉系统及导航方法,解决黑暗环境中的位姿估计问题,使用投射光栅的结构光发射装置,基于两个摄像头的立体视觉进行位姿估计,本实施例采用普通的照明光补光装置,并且在单个摄像头的条件下也有效。
相关技术的基于二维码的室内移动机器人定位装置及方法,考虑黑暗环境中的位姿估计问题,用于室内场景中的机器人定位,需要在机器人移动路线上布置二维码,通过提取二维码特征进行位姿估计,简单地检测光照强度来判断是否需要补光,本实施例适用于恶劣施工环境中的搅拌车定位,可以提取普通的视觉特征点,不要求布置二维码,通过特征跟踪质量评估、黑暗环境识别等多重识别机制来判断是否需要调节补光装置。
综上所述,本实施例提供了一种图像处理装置100和图像处理方法,针对搅拌车在夜间施工时,由于光线不足或者照度不均,摄像头拍摄图像质量差,无法提供有效的特征信息,导致基于视觉SLAM的图像处理系统失效的问题,对拍摄区域的图像进行处理,使得图像可以用于视觉SLAM的图像处理系统。
实施例1:
如图1所示,本实施例提供了一种图像处理装置100,包括:图像采集组件110、补光组件120和判定组件130。其中,图像采集组件110采集拍摄区域的第一图像,拍摄区域包括车辆的周边环境,判定组件130判定第一图像所处的环境是否为黑暗环境,基于第一图像所处的环境为黑暗环境,补光组件120对拍摄区域进行补光,直到图像采集组件110采集的拍摄区域的第二图像所处的环境为明亮环境或补光组件120的补光参数满足结束条件。
图像采集组件110可以采用车辆现有已经安装的摄像头,举例而言,目前,车辆中普遍设置有视觉摄像头,因为其部署成本低,已经量厂化地应用在车辆的辅助驾驶功能,比如360环视、盲区监测、驾驶员行为监控等,视觉SLAM可以利用车辆已经安装的摄像头实现对车辆的定位,是一种很具有市场发展前景的技术方案。
视觉SLAM通过摄像头实现对车辆的定位,具体包含视觉里程计(VisualOdometry,VO)、后端优化(Optimization)、回环检测(Loop Closing)、建图(Mapping)等几个步骤;视觉里程计,估计相邻图像帧间的运动以及局部地图,又称为前端;后端优化,接收视觉里程计估计的多个时刻的相机位姿以及回环检测信息,对它们进行优化,得到全局一致的轨迹和地图;回环检测,检测是否到过先前的位置,如果检测到回环,就把信息提供给后端进行处理;建图,根据估计的轨迹,建立对应的地图。在视觉里程计、后端优化、回环检测这些步骤中,都需要提取图像的特征信息,特点提取、跟踪的质量好坏直接影响到位姿估计的准确性。
通过视觉SLAM进行车辆定位时,当车辆在夜间施工,所处的环境为黑暗环境,由于光线不足或者照度不均,摄像头拍摄图像质量差,无法提供有效、足够准确的特征信息,导致基于视觉SLAM的定位系统失效,无法进行有效的定位。
本实施例中,通过判定组件130识别黑暗环境,通过补光组件120进行补光,使得图像采集组件110采集到清晰的图像,通过提升图像的拍摄质量,得到图像有效、准确的特征信息,使得基于视觉SLAM的定位系统的准确性得到提高,进而提升了黑暗环境或光照条件不好工况下搅拌车定位系统的鲁棒性。
当车辆为搅拌车时,本实施例在搅拌车已有摄像头的基础上增加一个补光组件120和一个判断是否需要补光的判定组件130,以提升视觉定位系统的鲁棒性。
图像处理装置100中图像采集组件110和补光组件120结构简单,补光操作便捷,制造成本低。
实施例2:
如图2所示,除上述实施例的技术特征以外,本实施例进一步地包括了以下技术特征:
补光组件120包括:照明组件122和角度变换组件124。其中,照明组件122提供补光的光源,照明组件122补光亮度的数值设有调节范围,角度变换组件124改变照明组件122的补光角度。
照明组件122提供光源,通过角度变换组件124调节光源照射的角度,使得光源照射在拍摄区域,照明组件122的补光亮度的数值可以调节,根据实际需要,提供合适的补光亮度的光源,提高了补光的便捷性。
通过照明组件122改变补光亮度的数值,通过角度变换组件124改变光源照射的角度,使得拍摄区域的图像为明亮环境,进而图像采集组件110采集到清晰的图像,通过提升图像的拍摄质量,得到图像有效、准确的特征信息,使得基于视觉SLAM的定位系统的准确性得到提高。
补光组件120结构简单,安装方便,制造成本低。
实施例3:
除上述实施例的技术特征以外,本实施例进一步地包括了以下技术特征:
图像采集组件110设置于车辆上。
图像采集组件110安装于车辆上,可以为车辆原有设置的摄像头,也可以是新安装的摄像头,摄像头只需要基础的图像采集功能即可,有效降低购置成本低。
通过图像采集组件110拍摄车辆周围环境的图像,基于视觉SLAM的定位系统根据拍摄车辆周围环境的图像,进行定位,并且,通过将图像采集组件110设置于车辆上,方便车辆移动时,对车辆周围环境进行图像采集。
实施例4:
如图3所示,本实施例提供了一种图像处理方法,采用如本发明任一实施例中的图像处理装置100,包括以下步骤:
步骤S102,采集拍摄区域的第一图像,拍摄区域包括车辆的周边环境;
步骤S104,判定第一图像所处的环境是否为黑暗环境;
步骤S106,基于第一图像所处的环境为黑暗环境,对拍摄区域进行补光,直到采集的拍摄区域的第二图像所处的环境为明亮环境或补光组件的补光参数满足结束条件。
通过视觉SLAM进行车辆定位时,当车辆在夜间施工,所处的环境为黑暗环境,由于光线不足或者照度不均,摄像头拍摄图像质量差,无法提供有效的特征信息,导致基于视觉SLAM的定位系统失效,无法进行有效的定位。
本实施例中,通过图像采集组件110采集拍摄区域的第一图像,拍摄区域一般为车辆的周边环境,如果第一图像所处的环境是否为黑暗环境,则通过补光组件120对拍摄区域进行补光,使得拍摄区域光线充足,提升图像采集组件110采集的图像质量,基于视觉SLAM的定位系统通过高质量的图像,能够得到图像有效、准确的特征信息,使得基于视觉SLAM的定位系统的准确性得到提高,进而提升了黑暗环境或光照条件不好工况下搅拌车定位系统的鲁棒性。
本实施例方法简单,通过对黑暗环境的判定,控制补光组件120的开启,即可完成图像处理,提高基于视觉SLAM的定位精度。
实施例5:
如图4所示,除上述实施例的技术特征以外,本实施例进一步地包括了以下技术特征:
判定第一图像所处的环境是否为黑暗环境,包括以下步骤:
步骤S202,对第一图像进行特征点提取和跟踪;
步骤S204,计算特征点的跟踪数目与跟踪帧长;
步骤S206,根据跟踪数目与跟踪帧长,判定第一图像所处的环境是否为黑暗环境。
对图像采集组件110采集的第一图像进行特征点提取和跟踪,通常为视觉SLAM中的特征点跟踪模块进行特征点提取和跟踪,特征点可以是ORB特征、KLT特征等传统特征跟踪算子,也可以是基于AI的特征算子,通过采用特征点提取和跟踪的方式,可以提高判断是否黑暗环境的准确性。
实施例6:
如图5所示,除上述实施例的技术特征以外,本实施例进一步地包括了以下技术特征:
根据跟踪数目与跟踪帧长,判定第一图像所处的环境是否为黑暗环境,包括以下步骤:
步骤S302,基于跟踪数目小于跟踪数目阈值,判定第一图像所处的环境为黑暗环境;
步骤S304,基于跟踪帧长小于跟踪帧长阈值,判定第一图像所处的环境为黑暗环境。
举例而言,跟踪数目阈值可以通过统计基于视觉SLAM的定位系统在明亮环境(正常光照)、黑暗环境下的特征点参数获取,即跟踪数目阈值的取值可以为基于视觉SLAM的定位系统在黑暗环境下的特征点参数的数目,或跟踪数目阈值的取值也可以为统计基于视觉SLAM的定位系统运行正常时的特征点参数的数目。
再次举例而言,跟踪帧长可以采用平均跟踪帧长,跟踪帧长阈值可以通过统计基于视觉SLAM的定位系统在明亮环境(正常光照)、黑暗环境下的特征点平均跟踪帧长参数获取,即跟踪帧长阈值的取值可以为基于视觉SLAM的定位系统在黑暗环境下的特征点平均跟踪帧长,或跟踪帧长阈值的取值也可以为统计基于视觉SLAM的定位系统运行正常时的特征点平均跟踪帧长。
通过合理设置跟踪数目阈值和跟踪帧长阈值,可以更加有效、准确的识别第一图像所处的环境,判断出是否处于黑暗环境。
本实施例中,计算特征点的跟踪数目、跟踪帧长等指标,如果跟踪数目较多、跟踪帧长较长,则判为特征跟踪质量良好,否则就判为跟踪质量较差并初步推测可能处于黑暗环境。
实施例7:
如图6所示,除上述实施例的技术特征以外,本实施例进一步地包括了以下技术特征:
判定第一图像是否为黑暗环境,还包括以下步骤:
步骤S402,基于判定第一图像为黑暗环境后,通过图像亮度信息或采用神经网络方法进行验证。
因为在有些光照充足的场景,比如图像采集组件110拍摄区域为白墙、纯色地板等弱纹理场景时,特征跟踪质量也会比较差,因此初步推测的黑暗环境,还需要通过图像亮度信息或者神经网络方法来进一步识别、确认是否黑暗环境,以免出现误判。
举例而言,基于图像亮度信息的验证方法为:计算图像亮度平均值,如果图像亮度平均值低于图像亮度阈值,则判定为黑暗环境,否则,判定为明亮环境。
基于神经网络方法的验证方法,包括,模型训练、模型推断两个阶段;在模型训练阶段,需要先收集明亮环境、黑暗环境的图像数据并标记类别标签,作为训练样本,然后利用所收集的样本训练神经网络分类模型,样本覆盖的场景越丰富,训练出来的模型就能越准确;在模型推断阶段,即在搅拌车作业时采集周围环境的图像,然后输入已经训练好的模型,得到判别结果,即周围环境为明亮环境或黑暗环境。
本实施例通过对黑暗环境的验证,提升了方法的准确程度。
实施例8:
如图7所示,除上述实施例的技术特征以外,本实施例进一步地包括了以下技术特征:
对拍摄区域进行补光,包括以下步骤:
步骤S502,调整补光组件的补光参数,对拍摄区域进行补光,其中,补光参数包括补光亮度的数值和/或补光角度。
如果判定图像为黑暗环境,通过调节补光参数使得所拍摄区域能获得更好的光照。其中,补光亮度的数值可以逐步由小到大调节,补光角度的数值可以在当前角度下减小或增大。
当确认车辆处于黑暗环境后,开启补光组件120,调整补光亮度的数值和补光角度,对拍摄区域进行补光,为图像采集组件110采集拍摄区域的图像提供合适的光照条件。
本实施例通过调整补光亮度的数值和/或补光角度,为摄像区域进行补光,具有较高的灵活度。
实施例9:
如图8所示,除上述实施例的技术特征以外,本实施例进一步地包括了以下技术特征:
结束条件包括以下步骤:
步骤S602,补光亮度的数值超出补光组件的调节范围。
当补光组件120的补光亮度的数值超过调节范围,结束对图像的处理。
补光组件120的补光亮度的数值设有可调节范围,针对周围环境的具体情况,可以灵活进行补光亮度的数值的调整,使得补光组件120应用的场景和范围更加广泛,根据实际环境进行补光,调节补光亮度的数值,在图像满足要求的情况下,使得增加最小的补光亮度,即可满足要求,有效节约了能源。
实施例10:
如图9所示,本实施例提供了一种车辆200,包括:车辆本体210和如本发明任一实施例中的图像处理装置100;其中,图像处理装置100设置于车辆本体210上。
具体实施例:
本实施例提供了一种图像处理方法,提高夜间作业场景中搅拌车图像处理系统的鲁棒性,通过特征点跟踪质量评估、黑暗场景识别、光照调节等技术,提升黑暗或光照条件不好工况下搅拌车图像处理系统的鲁棒性。本实施例在搅拌车已有摄像头(图像采集组件110)的基础上增加一个补光装置(补光组件120)和一个判断是否需要补光的软件模块(判定组件130),以提升视觉图像处理系统的鲁棒性。如图10所示,补光组件120可以向图像采集组件110所拍摄区域提供合适的光照,使得图像采集组件110能拍摄质量符合要求的图像。判定组件130主要指特征跟踪质量评估、黑暗场景识别等算法组成的算法库,用于判断是否需要开启补光、调节补光参数。
如图11所示,实施步骤如下:
步骤S702,拍摄图像;
摄像头拍摄拍摄区域的图像;
步骤S704,特征跟踪;
对摄像头拍摄的图像进行特征点提取、跟踪,这一步也可能已经存在于基本的视觉SLAM中,特征点可以是ORB、KLT等传统特征跟踪算子,也可以是基于AI的特征算子;
步骤S706,特征跟踪质量评估;
计算特征点的跟踪数目、跟踪帧长等指标,如果跟踪数目较多、跟踪帧长较长,则判为特征跟踪质量良好,否则就判为跟踪质量较差并初步推测可能处于黑暗环境;
步骤S708,判定是否可能在黑暗环境;
如果是,进入步骤S710,如果否,结束;
步骤S710,黑暗环境确认;
因为在有些光照充足的场景,比如摄像头拍摄区域为白墙、纯色地板等弱纹理场景时,特征跟踪质量也会比较差,因此对于步骤S708中初步推测的黑暗环境,还需要通过图像亮度信息或者神经网络方法来进一步识别、确认是否黑暗环境,以免出现误判。
步骤S712,判定是否在黑暗环境;
如果是,进入步骤S714,如果否,结束;
步骤S714,开启/调节补光光置;
当确认搅拌车处于黑暗环境后,就可以开启补光或者调节亮度、角度等补光参数,为摄像头拍摄图像提供合适的光照条件。
重复步骤S702至步骤S714,直到光照条件达到要求或者超出补光装置可调节范围时结束补光。
基于激光的图像处理方案,不受光照条件的影响;或者采用具有夜视功能的摄像头,在夜间黑暗场景也能拍摄质量较好的图像。但是,这两种替代方案的成本都明显高于本实施例。
本实施例能够提高夜间作业场景中搅拌车图像处理系统的鲁棒性,并且方案实施方面,只需在基本的视觉图像处理系统的基础上增加一个普通的补光组件120,实施简单、部署成本低。
综上,本发明实施例的有益效果为:
1.本实施例中,通过判定组件130识别黑暗环境,通过补光组件120进行补光,使得图像采集组件110采集到清晰的图像,通过提升图像的拍摄质量,得到图像有效、准确的特征信息,使得基于视觉SLAM的定位系统的准确性得到提高,进而提升了黑暗环境或光照条件不好工况下搅拌车定位系统的鲁棒性。
2.图像处理装置100中的图像采集组件110和补光组件120结构简单,补光操作便捷,制造成本低。
3.本实施例方法简单,通过对黑暗环境的判定,开启补光组件120即可完成图像处理,提高基于视觉SLAM的定位精度。
在本发明中,术语“第一”、“第二”、“第三”仅用于描述的目的,而不能理解为指示或暗示相对重要性;术语“多个”则指两个或两个以上,除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;“相连”可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的描述中,需要理解的是,术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作,因此,不能理解为对本发明的限制。
在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像处理装置(100),其特征在于,包括:
图像采集组件(110);
补光组件(120);
判定组件(130);
其中,所述图像采集组件(110)采集拍摄区域的第一图像,所述拍摄区域包括车辆的周边环境;所述判定组件(130)判定所述第一图像所处的环境是否为黑暗环境,基于所述第一图像所处的环境为黑暗环境,所述补光组件(120)对所述拍摄区域进行补光,直到所述图像采集组件(110)采集的所述拍摄区域的第二图像所处的环境为明亮环境或所述补光组件(120)的补光参数满足结束条件。
2.根据权利要求1所述的图像处理装置(100),其特征在于,所述补光组件(120)包括:
照明组件(122);
角度变换组件(124);
其中,所述照明组件(122)提供补光的光源,所述照明组件(122)补光亮度的数值设有调节范围,所述角度变换组件(124)改变所述照明组件(122)的补光角度。
3.根据权利要求1所述的图像处理装置(100),其特征在于,所述图像采集组件(110)设置于所述车辆上。
4.一种图像处理方法,采用如权利要求1至3中任一项所述的图像处理装置(100),其特征在于,包括:
采集拍摄区域的第一图像,所述拍摄区域包括车辆的周边环境;
判定所述第一图像所处的环境是否为黑暗环境;
基于所述第一图像所处的环境为黑暗环境,对所述拍摄区域进行补光,直到采集的所述拍摄区域的第二图像所处的环境为明亮环境或补光组件的补光参数满足结束条件。
5.根据权利要求4所述的图像处理方法,其特征在于,所述判定所述第一图像所处的环境是否为黑暗环境,包括:
对所述第一图像进行特征点提取和跟踪;
计算特征点的跟踪数目与跟踪帧长;
根据所述跟踪数目与所述跟踪帧长,判定所述第一图像所处的环境是否为黑暗环境。
6.根据权利要求5所述的图像处理方法,其特征在于,所述根据所述跟踪数目与所述跟踪帧长,判定所述第一图像所处的环境是否为黑暗环境,包括:
基于所述跟踪数目小于跟踪数目阈值,判定所述第一图像所处的环境为黑暗环境;
基于所述跟踪帧长小于跟踪帧长阈值,判定所述第一图像所处的环境为黑暗环境。
7.根据权利要求4所述的图像处理方法,其特征在于,所述判定所述第一图像是否为黑暗环境,还包括:
基于判定所述第一图像为黑暗环境后,通过图像亮度信息或采用神经网络方法进行验证。
8.根据权利要求4所述的图像处理方法,其特征在于,所述对所述拍摄区域进行补光,包括:
调整所述补光组件的补光参数,对所述拍摄区域进行补光,其中,所述补光参数包括补光亮度的数值和/或补光角度。
9.根据权利要求8所述的图像处理方法,其特征在于,所述结束条件包括:
所述补光亮度的数值超出所述补光组件的调节范围。
10.一种车辆(200),其特征在于,包括:
车辆本体(210);
如权利要求1至3中任一项所述的图像处理装置(100);
其中,所述图像处理装置(100)设置于所述车辆本体(210)上。
CN202011052663.XA 2020-09-29 2020-09-29 图像处理装置、方法和车辆 Active CN112235513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011052663.XA CN112235513B (zh) 2020-09-29 2020-09-29 图像处理装置、方法和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011052663.XA CN112235513B (zh) 2020-09-29 2020-09-29 图像处理装置、方法和车辆

Publications (2)

Publication Number Publication Date
CN112235513A true CN112235513A (zh) 2021-01-15
CN112235513B CN112235513B (zh) 2023-04-07

Family

ID=74120809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011052663.XA Active CN112235513B (zh) 2020-09-29 2020-09-29 图像处理装置、方法和车辆

Country Status (1)

Country Link
CN (1) CN112235513B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051823A (zh) * 2021-03-25 2021-06-29 深圳市优博讯科技股份有限公司 一种扫描头的补光灯调节方法及系统
CN113592946A (zh) * 2021-07-27 2021-11-02 深圳甲壳虫智能有限公司 位姿定位方法、装置、智能机器人及存储介质
CN115742941A (zh) * 2022-08-26 2023-03-07 惠州市德赛西威汽车电子股份有限公司 一种车辆控制方法、系统、装置、设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102573239A (zh) * 2012-01-16 2012-07-11 迅驰(北京)视讯科技有限公司 用于摄像机的补光灯亮度智能控制方法及装置
CN103303205A (zh) * 2012-03-07 2013-09-18 歌乐株式会社 车辆周围监视装置
CN106004638A (zh) * 2016-05-30 2016-10-12 扬州泰博汽车电子智能科技有限公司 汽车前照灯智能控制装置及控制前照灯的方法
CN106200932A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN107128239A (zh) * 2016-02-29 2017-09-05 长城汽车股份有限公司 车辆、车辆的照明系统及其控制方法
WO2017206932A1 (zh) * 2016-06-01 2017-12-07 北京天诚盛业科技有限公司 一种具有补光功能的虹膜识别装置、识别方法和补光方法
CN109383362A (zh) * 2017-08-04 2019-02-26 西安中兴新软件有限责任公司 一种汽车前照灯控制方法和装置
CN109703444A (zh) * 2018-12-29 2019-05-03 浙江大学常州工业技术研究院 一种车载智慧照明系统及其照明方法
CN110266930A (zh) * 2019-07-15 2019-09-20 维沃移动通信有限公司 图像拍摄的补光方法、移动终端及灯光调节方法
CN111439193A (zh) * 2020-03-31 2020-07-24 东风汽车集团有限公司 基于大灯控制的驾驶辅助控制系统及方法
CN111688568A (zh) * 2020-05-14 2020-09-22 华南师范大学 亮度检测方法、车灯控制方法及其系统及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102573239A (zh) * 2012-01-16 2012-07-11 迅驰(北京)视讯科技有限公司 用于摄像机的补光灯亮度智能控制方法及装置
CN103303205A (zh) * 2012-03-07 2013-09-18 歌乐株式会社 车辆周围监视装置
CN107128239A (zh) * 2016-02-29 2017-09-05 长城汽车股份有限公司 车辆、车辆的照明系统及其控制方法
CN106004638A (zh) * 2016-05-30 2016-10-12 扬州泰博汽车电子智能科技有限公司 汽车前照灯智能控制装置及控制前照灯的方法
WO2017206932A1 (zh) * 2016-06-01 2017-12-07 北京天诚盛业科技有限公司 一种具有补光功能的虹膜识别装置、识别方法和补光方法
CN106200932A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN109383362A (zh) * 2017-08-04 2019-02-26 西安中兴新软件有限责任公司 一种汽车前照灯控制方法和装置
CN109703444A (zh) * 2018-12-29 2019-05-03 浙江大学常州工业技术研究院 一种车载智慧照明系统及其照明方法
CN110266930A (zh) * 2019-07-15 2019-09-20 维沃移动通信有限公司 图像拍摄的补光方法、移动终端及灯光调节方法
CN111439193A (zh) * 2020-03-31 2020-07-24 东风汽车集团有限公司 基于大灯控制的驾驶辅助控制系统及方法
CN111688568A (zh) * 2020-05-14 2020-09-22 华南师范大学 亮度检测方法、车灯控制方法及其系统及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051823A (zh) * 2021-03-25 2021-06-29 深圳市优博讯科技股份有限公司 一种扫描头的补光灯调节方法及系统
CN113051823B (zh) * 2021-03-25 2024-09-06 深圳市优博讯科技股份有限公司 一种扫描头的补光灯调节方法及系统
CN113592946A (zh) * 2021-07-27 2021-11-02 深圳甲壳虫智能有限公司 位姿定位方法、装置、智能机器人及存储介质
CN115742941A (zh) * 2022-08-26 2023-03-07 惠州市德赛西威汽车电子股份有限公司 一种车辆控制方法、系统、装置、设备及介质

Also Published As

Publication number Publication date
CN112235513B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112235513B (zh) 图像处理装置、方法和车辆
CN107852465B (zh) 车载环境识别装置
US8634593B2 (en) Pixel-based texture-less clear path detection
US8452053B2 (en) Pixel-based texture-rich clear path detection
US8332134B2 (en) Three-dimensional LIDAR-based clear path detection
CN1223964C (zh) 用于测量车辆队列长度的装置和方法
JP5747549B2 (ja) 信号機検出装置及びプログラム
JP4035910B2 (ja) 車色判別装置
US20100104137A1 (en) Clear path detection using patch approach
CN109829365B (zh) 基于机器视觉的多场景适应驾驶偏离及转弯预警方法
JP2002083297A (ja) 物体認識方法および物体認識装置
CN105144260B (zh) 用于识别变换交通标志的方法和设备
CN104123533A (zh) 对象检测设备
CN111523368B (zh) 信息处理装置、服务器以及交通管理系统
KR20050114916A (ko) 교통정보수집과 부가기능을 갖는 네트워크 카메라 장치 및그 교통정보 처리방법
JP2003168104A (ja) 道路白線認識装置
EP1945414A1 (en) System and method for real-time calculating location
US20040061712A1 (en) Stereoscopic image processing apparatus and the method of processing stereoscopic images
US20130128044A1 (en) Vision-based scene detection
JPH11139225A (ja) トンネル検出装置及びそれを用いた車両制御装置
CN114370871A (zh) 一种可见光定位与激光雷达惯性里程计的紧耦合优化方法
CN112634269A (zh) 一种轨道车辆车体检测方法
KR102062579B1 (ko) 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템
JP4706693B2 (ja) 車色判定装置、車色判定システム及び車色判定方法
JP7319824B2 (ja) 移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210115

Assignee: Sany Automobile Manufacturing Co.,Ltd.

Assignor: SANY SPECIAL PURPOSE VEHICLE Co.,Ltd.

Contract record no.: X2024980010904

Denomination of invention: Image processing device, method, and vehicle

Granted publication date: 20230407

License type: Common License

Record date: 20240801

EE01 Entry into force of recordation of patent licensing contract