CN110717369B - 一种对图像进行分层推理识别物体的方法 - Google Patents
一种对图像进行分层推理识别物体的方法 Download PDFInfo
- Publication number
- CN110717369B CN110717369B CN201810815256.6A CN201810815256A CN110717369B CN 110717369 B CN110717369 B CN 110717369B CN 201810815256 A CN201810815256 A CN 201810815256A CN 110717369 B CN110717369 B CN 110717369B
- Authority
- CN
- China
- Prior art keywords
- information
- texture
- image
- objects
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000008859 change Effects 0.000 claims description 22
- 230000009191 jumping Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 8
- 230000001788 irregular Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003141 lower extremity Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种对图像进行分层推理识别物体的方法,该方法包括:对图像待识别区域进行切片扫描;找出纹理跳变边缘点或三维外形不连续点;分析出同纹理轮廓区域或三维外形连续区域,生成疑似部件的特征信息;根据疑似部件的特征信息从已建立的数据库中查找匹配的可能部件;由多个相近或相连接的可能部件或子物体推理出子物体或物体;对于已确认的部件或子物体忽略之后重新检索未确认的疑似部件或子物体,直至推理出所有物体。本发明涉及图像处理及图像物体识别技术领域,由于部件、子物体或物体的特征信息数据量较小,而其数据库可以相对很大,因此可以实现对上千种、几万种甚至上百万种物体进行识别,而且速度快、计算量小、识别准确度高。
Description
技术领域:
本发明涉及图像处理及图像物体识别技术领域,具体涉及一种对图像进行分层推理识别物体的方法。
背景技术:
随着国家发布了智能汽车创新发展战略,以及世界上各国和各汽车生产商的广泛关注和追捧,智能汽车自动驾驶的发展是必然趋势。未来智能汽车的自动驾驶技术等级会按照一级、二级、三级、四级、五级进行推进,随着级别的上升,越是到高级别,越是需要从视频采集、监视、识别、到失效应对及控制车辆紧急避撞处理,实现这样一种高级别的自动驾驶。对智能汽车来说要实现高级别自动驾驶,从感知到决策到控制全部由汽车自己完成的,意味着车要实现对自己的完全控制。但是到现在为止感知技术还很难很完善地满足高级别自动驾驶的需求,目前主要都是通过基于神经网络的深度学习的人工智能技术来实现感知,但是无论如何改进深度学习的技术,仍然存在缺陷:该深度学习最核心的部分就是深度卷积神经网络,利用卷积操作对图像进行处理,挖掘其重要的特征,实现对图像中对象的准确检测和识别,以及对图像语义信息的准确理解:(1)但由于算法复杂,计算量庞大,对系统要求很高,即便如此准确率也只能达到95-98%;(2)必须对特定目标物体进行识别,而且目标物体种类有限,目前最多十几种;(3)远远达不到人眼可以分辨的能力;(4)由于分辨种类有限,导致失效几率上升,不能满足汽车等级要求。
发明专利201710624582.4《基于抠图处理的物体识别方法及其装置》,与本发明专利不同之处在于:
(1)、该发明专利的目的是精确评估图像或视频序列的前景部分与背景部分,是基于抠图处理的物体识别方法及其装置;而本发明专利是基于切片扫描采样然后对图像进行分层推理识别物体的方法;
(2)、该发明专利的方法是:先获取待识别物体的当前图像;然后对当前图像进行处理以得到轮廓图像;再经处理得到第一图像(包括前景区域和背景区域);再采用洪水填充法对第一图像的背景区域填充得到第二图像;再对第二图像中背景区域进行透明处理以得到目标图像;再根据目标图像对待识别图像进行识别;
发明专利2017105223176.9《一种基于分层特征提取的交通标志识别方法》,与本发明专利不同之处在于:
(1)、该发明专利只是针对交通标志和汉字进行识别;而本发明专利适用于所有物体的识别,包括交通标志和汉字的识别,交通标志和汉字可以作为不同种类的物体在本发明专利的方法中进行识别;
(2)、该发明专利的方法是:先对交通标志图像进行分割和汉字定位,实现第一次粗略分类;然后对交通标志图像提取颜色纹理边缘方向特征CEDD,并基于稀疏表示的分类方法,在样本库中筛选出与交通标志区域最接近的样本种类,提取样本集合的分层HoGi特征,基于SVM实现交通标志的精确识别;再通过二次识别方法由粗到精的分层检测。
发明内容:
本发明的目的在于提供一种对图像进行分层推理识别物体的方法,以提高物体识别的种类、效率及准确性。
为实现上述目的,本发明提供了一种对图像进行分层推理识别物体的方法,所述方法包括以下步骤:
步骤1,对图像待识别区域进行切片扫描;
步骤2,找出纹理跳变边缘点或三维外形不连续点并生成跳变点的特征信息,直至完成图像待识别区域的检测;
步骤3,分析出同纹理轮廓区域或三维外形连续区域,精细化查找轮廓边界,在需要时对本轮廓重新切片扫描,细化查找同纹理轮廓区域或三维外形连续区域,生成疑似部件的特征信息;
步骤4,将疑似部件的特征信息从已建立的包含了规则部件数据库、不规则部件数据库、其它超长尺度部件数据库、其它外形不规则部件数据库的部件数据总库中查找匹配可能的部件,物体某一区段,物体某一侧面,以及背景、路面、地面、墙面、路沿、栅栏、围墙、建筑物、树木、草丛、灌木、管道的部件,其它超长尺度部件,其它外形不规则部件;并计算部件匹配度,超过设定门限则确认为可能的部件,按搜索规则找出所有可能的部件;未有超过设定门限的部件时,找出匹配度前几位的部件当作可能的部件,并设可信度信息;
步骤5,当已获得超过设定数量的多个相近或相连接的可能的部件或子物体时,根据多个相近或相连接的可能的部件或子物体推算所有可能的共同子物体或物体种类,并据此依次从已建立的包含了规则物体数据库、不规则物体数据库、其它超长尺度物体数据库、其它外形不规则物体数据库的物体数据总库中查找可能的子物体或物体并获取其特征信息,其包含背景、路面、地面、墙面、路沿、栅栏、围墙、建筑物、树木、草丛、灌木、其它超长尺度物体、或其它外形不规则物体;当获得的可能的部件或子物体数量少于设定值时,则直接将每个可能的部件或子物体对应的可能子物体或物体到物体数据总库中查找其特征信息,根据物体数据总库中记载的各对应物体的组成部件或子物体信息来分析是否需要进一步获取更多部件或子物体,如需要,则根据该物体对其它部件或子物体的空间位置要求,返回步骤1至步骤4,在原图特定位置寻找相应的部件或子物体是否存在;下一步则根据物体数据库记载的可能的物体或子物体的特征信息中记载的内容来进一步分析是否需计算疑似子物体或物体的特征信息,如需要则将构成疑似子物体或物体的多个部件或子物体合在一起来计算整个疑似子物体或物体的特征信息;下一步则计算疑似子物体或物体匹配度,将疑似子物体或物体与数据库中对应的子物体或物体进行匹配度计算;下一步,将所有可能的部件所对应的子物体或物体重复步骤5上述过程,完成对应的子物体或物体的匹配度计算;所有可能的部件所对应的子物体或物体计算的匹配度中取匹配度最高的子物体或物体作为识别结果,匹配度最高的子物体或物体其匹配度超过设定门限则确认识别子物体或物体结果;未超设定门限时,输出可信度信息;将已确认的子物体或物体所相关的部件或子物体标记为已确认,不包含在本子物体或物体中的部件或子物体标注为未确认;
步骤6,判断图像待识别区域疑似部件或疑似子物体是否检索完:若否,则返回步骤3;若是,则继续步骤7;
步骤7,判断未确认的部件或子物体是否都已确认:若是,则进入步骤8;若否,则分析是否进入死循环,若是则进入步骤8,若否则以推理被遮盖的可能物体,忽略已确认的物体的方式,返回步骤3;
步骤8,判断所有的图像待识别区域或图像识别距离是否都已完成:若是,则完成本帧图像识别任务;若否,则重新设定切片参数返回步骤1。
进一步地,所述的一种对图像进行分层推理识别物体的方法,其特征在于,所述的步骤1具体包括:
对图像从包含水平、垂直、斜线特定方向按照间隔设定值进行取样,得到图像中每个取样点的颜色和亮度信息;所述的间隔设定值的设置具体包括:对于不同场景或不同距离调整间隔设定值;采用机器学习方式对训练样本图像集进行训练,每次自动设定一组间隔设定值,重复所述的一种对图像进行分层推理识别物体的方法的步骤进行物体识别,最终得到识别率最高,误识率最低、识别时间最短的对应不同场景及不同距离的间隔设定值。
进一步地,所述的一种对图像进行分层推理识别物体的方法,其特征在于,所述的步骤2具体包括:
对每个取样点的颜色信息、亮度信息、运动速度信息、运动方向信息、三维空间信息、或其它物理量信息分别进行纹理变化检测和分析,超过设定门限则为跳变点,并记录成一种跳变点的特征信息;对纹理变化斜率较低的图像分析累积变化大小及变化方向以此推理渐变纹理的边沿点,并记录成一种跳变点的特征信息;当输入的图像信息包含三维外形信息时,以三维外形的变化曲率或外形的深度突变点超过设定门限作为跳变点,并记录成一种跳变点的特征信息;跳变点的特征信息包括:跳变类型,前后是否处理过标识,前后部件系列号,前后同纹理区链表指针,跳变方向,图像位置,所在方向前后纹理信息,前后亮度和颜色分量,斜率,幅度,前后外形曲率,前后深度、三维空间坐标、速度、运动方向。
进一步地,所述的一种对图像进行分层推理识别物体的方法,其特征在于,所述的步骤3具体包括:
对所有跳变点的特征信息进行分析,找出同纹理轮廓区域,并根据该区域外形轮廓和内在纹理,生成一个疑似部件的特征信息;当输入的图像信息为含有三维外形信息如双目摄像头或激光雷达信息时,找出三维外形连续区域,并根据该区域外形轮廓和内在纹理,生成一个疑似部件的特征信息;疑似部件的特征信息包括:外形尺寸信息,水平、垂直、斜线特定方向间尺寸的比率,纹理信息,各主要方向跳变点特征信息统计值,各特定方向所设定数目的各切片在本纹理轮廓内的各个区段长度信息、或起始结束位置坐标、或最外起始和结束间的长度各占整体轮廓在该方向长度的比率,各特定方向所设定数目的各切片在本纹理轮廓内的中心位置及其与本部件整体轮廓的相对位置关系,外形轮廓描述信息,外形变化转折点信息,外形特异点信息,三维外形信息,光照变化信息,运动速度信息,运动方向信息,本轮廓区域内包含的所有其它纹理区域的位置信息、形状信息、尺寸信息、纹理信息、三维外形信息、光照变化信息、运动速度信息、运动方向信息。
进一步地,所述的一种对图像进行分层推理识别物体的方法,其特征在于,所述的步骤4所述的部件数据总库中记载的每个部件的库特征信息具体包括:
部件类型,部件信息长度,部件编号,部件名称,部件所属物体个数及物体编号,部件所属物体层数,部件所属物体每一层中位置,部件四个方向顶点在原图坐标,外形尺寸信息及评分标准,水平、垂直、斜线特定方向间尺寸的比率及评分标准,纹理信息及评分标准,各主要方向跳变点特征信息统计值及评分标准,各特定方向所设定数目的各切片在本纹理轮廓内的各个区段长度信息及评分标准、或起始结束位置坐标及评分标准、或最外起始和结束间的长度各占整体轮廓在该方向长度的比率及评分标准,各特定方向所设定数目的各切片在本纹理轮廓内的中心位置及其与本部件整体轮廓的相对位置关系及评分标准,外形轮廓描述信息及评分标准,外形变化转折点信息及评分标准,外形特异点信息及评分标准,三维外形信息及评分标准,光照变化信息及评分标准,运动速度信息及评分标准,运动方向信息及评分标准,本轮廓区域内包含的所有其它纹理区域的位置信息、形状信息、尺寸信息、纹理信息、三维外形信息、光照变化信息、运动速度信息、运动方向信息及各评分标准。
进一步地,所述的一种对图像进行分层推理识别物体的方法,其特征在于,所述的步骤5所述的物体数据总库中记载的每个物体或其子物体的库特征信息具体包括:物体类型或子物体类型,物体信息长度,物体编号,物体名称,物体朝向,物体姿态,额外需要的判断本物体相似度的函数指针或函数、物体外形尺寸及评分标准,物体水平或垂直比及评分标准,物体水平n切片的每个切片所内含的每个区段的起始结束坐标、每个切片长度及评分标准,物体垂直n切片的每个切片所内含的每个区段的起始结束坐标、每个切片长度及评分标准,物体水平n切片的中心位置占物体的相对位置及评分标准,物体垂直n切片的中心位置占物体的相对位置及评分标准,物体其它特定方向n切长的每个切片所内含的每个区段的起始结束坐标、每个切片长度及评分标准,物体其他特定方向n切片的中心位置占物体的相对位置及评分标准;以及物体的子物体或部件个数及评分标准,每个子物体或部件的类型、编号、名称及评分标准,尺寸大小与物体大小的相对关系及评分标准,水平尺寸、垂直尺寸、中心位置相对物体的位置及评分标准,子物体或部件的水平和垂直比及评分标准,子物体或部件出现概率及评分标准,子物体或部件位置变化区间及评分标准,与该子物体或部件相联的其它部件或子物体或物体的个数、编号、方向、联结方式及评分标准,水平尺寸的比例及评分标准,垂直尺寸的比例及评分标准,连结区的坐标范围及评分标准。
进一步地,所述的一种对图像进行分层推理识别物体的方法,其特征在于,步骤3中所述的部件数据总库和步骤5所述的物体数据总库的建立过程具体包括:
采集图像或视频,在PC平台上由特定的标注软件对图像或视频中的各种要识别的物体进行标注,由特定的机器学习训练软件对标注好的图像和视频,按所述的一种对图像进行分层推理识别物体的方法进行图像识别,对每个物体的每个部件生成部件特征信息,先查找部件数据总库中对应的位置中是否有接近数据,是否能匹配计算识别出本部件,如能识别出本部件,则放弃本部件数据的更新,如不能识别出本部件则调整相关参数或评分标准,如调整相关参数或评分标准仍无法识别,则按新类别或新部件储存到部件数据总库中;当本物体的所有部件都处理完后,按本物体各部件的空间关系生成本物体或其子物体的特征信息,查找物体数据总库中对应的位置中是否有接近数据,是否能匹配计算出本物体或其子物体,如能识别出本物体或其子物体,则放弃更新本物体或其子物体数据,如不能识别出本物体或其子物体则调整相关参数或评分标准,如调整相关参数或评分标准仍无法识别,则按新类别或新物体或新子物体储存到物体数据总库中;生成的部件数据总库和物体数据总库下载到需要使用的终端。
进一步地,所述的一种对图像进行分层推理识别物体的方法,其特征在于,所述的步骤7中所述的推理被遮盖的可能物体,忽略已确认的物体的方法具体包括:未确认的可能物体或其子物体将与之紧密相连的已确认物体当作对本可能物体或子物体的遮盖,先将已确认的物体过滤之后,按照同纹理轮廓区域或三维外形连续区域的特征,扩大寻找相近区域的与其特征信息一致的同纹理轮廓区域或三维外形连续区域,组合成新的疑似部件或者部分疑似部件,返回步骤3重新进行物体识别。
进一步地,所述的一种对图像进行分层推理识别物体的方法,其特征在于,所述的步骤8中所述的图像识别距离具体包括:
当对近距离的图像待识别区域进行切片扫描时,选择较粗间隔设定值;而当对中远距离的图像待识别区域进行切片扫描时,选择较细间隔设定值。
本发明所述的一种对图像进行分层推理识别物体的方法,由于每个部件或子物体或物体的特征信息数据量较小,而部件数据总库和物体数据总库的容量可以相对很大,因此可以实现对上千种、几万种甚至上百万种物体进行识别,对目标物体的种类限制很小,而且速度快、计算量小、识别准确度高。
本发明所述的一种对图像进行分层推理识别物体的方法,适用于机器视觉、无人驾驶汽车、自动驾驶汽车、监控安防、各种图形识别等领域中,可以对视频摄像头或各种传感器采集的视频或图像进行物体种类识别。
附图说明:
图1为一种应用本发明方法的物体识别系统
图2为一种对图像进行分层推理识别物体的方法的流程图
图3为一张行驶在右车道的汽车前视摄像头拍摄的道路图像的示意图
具体实施方式:
以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。依照实施例所作各种变形或套用均在此技术方案保护范围之内。
如图1所示,本实施例提供了一种应用本发明所述的图像识别方法的图像识别系统,该系统包括:
S11、前视摄像头
S12、主机
S13、DSP模块
S14、显示器
S15、执行器
具体为:在一辆带有智能驾驶系统的汽车上安装该系统,该系统通过前视摄像头S11采集车辆行驶中的道路图像,道路图像的信号送给主机S12中的DSP模块S13,该DSP模块S13内的处理器含有本发明的一种对图像进行分层推理识别物体的方法的实施软件,该软件对图像信号进行物体识别,并将识别出来的物体信息输出给显示器S14和执行器S15;其中前视摄像头S11内的图像传感器芯片是采用安森美的AR0143T芯片,DSP模块S13内的处理器是采用Ti的TDA3X处理器。假设视频采集的图像如图3所示,是一张行驶在右车道的汽车前视摄像头拍摄的道路图像的示意图,分辨率640*480,处理器内的实施软件的具体实施方法如图2所示,图像识别具体步骤如下:
S21、对图像待识别区域进行切片扫描:
具体地,假设水平间隔设定值为10,则每10行作为一个间隔行扫描一次,每次连续扫描同行的480个像素,然后扫描下一个间隔行直至所有行扫描完。
S22、找出纹理跳变边缘点或三维外形不连续点并生成跳变点的特征信息:
具体地,在S21步骤的扫描过程中,比较每个像素点与前面n1个像素点的颜色分量在水平方向或垂直方向的变化是否超过设定门限m1,如果是,则标注该像素点为跳变点,记录其特征信息;同时判断该像素点的SOBEL值是否超过设定门限m2,如果是,也标注为跳变点,记录其特征信息;同时判断该像素点的LBP值是否超过设定门限m3,如果是,也标注为跳变点,记录其特征信息;其中n1,m1,m2,m3为系统设定值,根据在机器学习方式下对训练样本图像集进行训练时,确定具体数值;这三种跳变点均作为纹理跳变边缘点;跳变点的特征信息组成数组变量,其中每个特征信息都分配相应的字节空间。如图3所示,L1为第一个水平切片线,找到五个跳变点:0、1、2、3、4、5:L2为第二个水平切片线,找到五个跳变点:6、7、8、9、10;以此类推。
S23、分析出同纹理轮廓区域或三维外形连续区域,生成疑似部件的特征信息:
具体地,初始化设定从最下面一行的最右边开始读第一个跳变点信息,及同一行下一个跳变点信息,本点跳变点和下一个跳变点之间的纹理区理论上是同纹理区,设为目标纹理区;然后读取上一行的跳变点信息,过滤掉已识别过的跳变点,在目标纹理区所在行位置附近关联区查找纹理与目标纹理相同或相近跳变点区间,如果找到这样的区间则设为新的目标纹理区,而新旧目标纹理区所对应的跳变点各自建立互相链接的指针链表,而后再更上一行查找与目标纹理区同纹理的跳变点区间,重复上述过程,直到在上一行的关联区中没有找到同纹理的跳变点区间;而后精细查找没有该纹理的行与有该纹理的行之间是否存在其它有纹理的行,找出边界行;而后由最上一行有该纹理的行往下沿着下一行进行查找直到没有同纹理跳变点行;最上一行和最下一行作为同纹理区在垂直方向最外边界;用同样的方法,可以查找该跳变点的垂直列的目标纹理区间以及最左一列和最右一列作为同纹理区在垂直方向最外边界;进一步将目标纹理区域限制在垂直和水平最外边界内;所有确认为同纹理区的跳变点均设置部件系列号;将同纹理轮廓区域作为一个疑似部件,对其进行相关的数学分析和运算,以生成一个疑似部件的特征信息,并将其特征信息组成数组变量,其中每个特征信息都分配相应的字节空间存储数据信息;
如图3所示:首先从水平切片线L1上找到跳变点0和跳变点1之间是同纹理区域;然后读取上一行跳变点附近区域,找到跳变点5和跳变点6之间也是同纹理区域;以此类推,当从水平切片线L7上查找附近区域时,找到跳变点11和跳变点12之间是同纹理区域,此时同纹理区域已经扩大到中间和左边车道;然后继续更上一行,直至L38行没有同纹理的跳变点区间;而后精细查找,找出边界行L38a;而后再由最上一行往下沿着下一行进行查找,除去已经查找到的同纹理区域,将水平切片线L7以下的中间和左边车道的同纹理区域也找出;直至最下一行L0。
S24、从部件数据总库中查找匹配的可能部件:
具体地,通过外形尺寸及水平或垂直切片相对坐标来作第一步粗搜索,数据库按这些参数大小排列;每个粗搜索里面,会得到比较多的可能部件,然后按照每个特征信息的评分标准进行打分并统计分数,达到设定值则确认为可能部件;如图3所示,根据同纹理区域的尺寸、边界、形状、平均颜色及纹理等可以从部件数据总库中匹配出是“行车道”的可能的部件。
S25、根据多个相近或相连接未确认的部件或子物体的共同物体种类特征推理出子物体或物体:
具体地,将多个相近或相连接未确认的部件或子物体的进行组合,生成疑似子物体或物体,对其进行相关的数学分析和运算生成物体特征信息,并将其特征信息组成一个数组变量,其中每个特征信息都分配相应的字节空间存储数据信息;然后将子物体或物体的特征信息与物体数据总库的特征信息匹配时,按照每个特征信息的评分标准进行打分并统计分数,达到设定值则确认为子物体或物体;如图3所示,根据可能的部件“行车道”及内嵌或紧临“白色线条”的部件特点,生成疑似物体,然后将其特征信息在物体数据总库中匹配,最后确认为“行车道”物体;
同样的方法,经过S21、S22、S23、S24步骤,找出图3中的跳变点1和跳变点2之间,跳变点7和跳变点8之间是同纹理区域,往上继而找出一段白色线段的疑似部件,然后从部件数据库中匹配出可能部件;然后根据可能部件对应的可能物体,如果是“车道线”可能物体,则其物体数据库中描述其特征有:按线段直线延长方向一定间隔可以找到多个同样的同纹理区域,然后经重新扫描附近区域确认后,生成“车道线”疑似物体;然后将其特征信息与物体数据总库的特征信息匹配,最后确认为“车道线”物体;
同样的方法,当识别“人”这个物体且从背面观察“人”且从下往上顺序识别时,首先是识别疑似“脚”、“腿”部件,识别疑似“手”、“身子”、“臂”部件,识别疑似“脖子”、“头发”、“耳”部件;然后是疑似“脚”和“腿”部件推理出疑似“下肢”子物体,疑似“手”和“臂”部件推理出疑似“上肢”子物体,疑似“身子”和“脖子”部件推理出疑似“躯干”子物体,疑似“头发”、“耳”推理出疑似“头”子物体;最后识别出来的疑似“下肢”、“上肢”、“躯干”、“头”子物体推理出“人”物体。
S26、判断图像待识别区域疑似部件或疑似子物体是否检索完:
具体地,若否(S26的N),则返回上述S23步骤;若是(S26的Y),则继续执行S27步骤。
S27、判断未确认的部件或子物体是否都已确认:
具体地,若是(S27的Y),则进入S28步骤;若否(S27的N),则分析是否进入死循环S29步骤,若是(S29的Y),则进入S28步骤,若否(S29的N),则以推理被覆盖的可能物体,忽略已确认的物体的方式,返回上述S23步骤,具体包括:已确认的物体先过滤,未确认的部件或子物体按照同纹理轮廓区域或三维外形连续区域的特征信息,扩大寻找相近区域的与其特征信息一致的同纹理轮廓区域或三维外形连续区域,组合成新的疑似部件或者部分疑似部件,返回S23步骤重新进行物体识别。
S28、判断所有的图像待识别区域或图像识别距离是否都已完成:
具体地,若是(S28的Y),则进入S30步骤;若否(S28的N),则重新设定切片参数返回S21步骤,具体包括:当对近距离的图像待识别区域进行切片扫描时,选择较粗间隔设定值,如S21步骤的水平和垂直间隔设定值均设为10;而当对中远距离的图像待识别区域进行切片扫描时,选择较细间隔设定值,如S21步骤的水平和垂直间隔设定值均设为2。
S30、完成本帧图像的物体识别任务。
Claims (3)
1.一种对图像进行分层推理识别物体的方法,其特征在于,包括以下步骤:
步骤1,对图像待识别区域进行切片扫描;
步骤2,找出纹理跳变边缘点和三维外形不连续点并生成跳变点的特征信息,直至完成图像待识别区域的检测;
步骤3,分析同纹理轮廓区域和三维外形连续区域,精细化查找轮廓边界,在需要时对轮廓重新切片扫描,细化查找同纹理轮廓区域和三维外形连续区域,生成疑似部件的特征信息;
步骤4,将疑似部件的特征信息从已建立的部件数据总库中查找匹配可能的部件;并计算部件匹配度,超过设定门限则确认为可能的部件,找出所有可能的部件;未有超过设定门限的部件时,找出匹配度前几位的部件当作可能的部件,并设可信度信息;
步骤5,当获得的相近或相连接的可能的部件超过设定数量时,根据多个相近或相连接的可能的部件推算所有可能的物体种类,并据此依次从已建立的物体数据总库中查找可能物体并获取其特征信息;当获得的相近或相连接的可能的部件数量少于设定数量时,则直接将每个可能的部件对应的可能物体到物体数据总库中查找其特征信息,根据物体数据总库中记载的各对应物体的组成部件信息来分析是否需要获取更多部件,如需要,则根据该物体对其它部件的空间位置要求,返回步骤1,在原图特定位置寻找相应的部件是否存在;根据物体数据总库记载的可能的物体的特征信息中记载的内容来分析是否需计算正检测图像区疑似物体的特征信息,如需要则将构成疑似物体的多个部件合在一起来计算整个物体的特征信息;计算疑似物体匹配度,将疑似物体与物体数据总库中对应的物体进行匹配度计算;将所有可能的部件所对应的物体重复步骤5上述过程,完成对应的物体的匹配度计算;在所有可能的部件所对应的物体计算的匹配度中取匹配度最高的物体作为识别结果,匹配度最高的物体的匹配度超过设定门限时,确认识别物体结果;未超设定门限时,输出可信度信息;将已确定的物体所相关的部件标记为已确认,不包含在本物体中的部件标注为未确认;
步骤6,判断图像待识别区域疑似部件是否检索完:若否,则返回步骤3;若是,则继续步骤7;
步骤7,判断未确认的部件是否都已确认:若是,则进入步骤8;若否,则分析是否进入死循环,若是则进入步骤8,若否,将与未确认的可能物体紧密相连的已确认物体当作对所述未确认的可能物体的遮盖,忽略已确认的物体,返回步骤3;
步骤8,判断所有的图像待识别区域是否都已完成:若是,则完成本帧图像识别任务:若否,则返回步骤1重新设定切片参数;
所述的步骤1包括:
对图像从特定方向按照间隔设定值进行取样,得到图像中每个取样点的颜色和亮度信息;所述的间隔设定值的设置具体包括:对于不同场景或不同距离调整间隔设定值;特定方向包含水平、垂直、斜线方向;
所述的步骤2包括:
对每个取样点的颜色信息、亮度信息、运动速度信息、运动方向信息和三维空间信息分别进行纹理变化检测和分析,超过设定门限则为跳变点,并记录成一种跳变点的特征信息;对纹理变化斜率较低的图像分析累积纹理变化大小及纹理变化方向以此推理渐变纹理的纹理跳变边缘点,并记录成一种跳变点的特征信息;当输入的图像信息包含三维外形信息时,以三维外形的变化曲率或外形的深度突变点超过设定门限作为跳变点,并记录成一种跳变点的特征信息;
所述的步骤3包括:
对所有跳变点的特征信息进行分析,找出同纹理轮廓区域,并根据所述同纹理轮廓区域外形轮廓和内在纹理,生成一个疑似部件的特征信息;当输入的图像信息为三维外形信息时,所述三维外形信息为激光雷达信息,找出三维外形连续区域,并根据所述三维外形连续区域外形轮廓和内在纹理,生成一个疑似部件的特征信息。
2.如权利要求1所述的一种对图像进行分层推理识别物体的方法,其特征在于,所述的步骤4中所述的部件数据总库记载每个部件的库特征信息,每个部件的库特征信息包括:部件类型、部件信息长度、部件编号、部件名称、部件所属物体个数、部件所属物体编号、部件所属物体层数、部件所属物体每一层中位置、部件四个方向顶点在原图坐标、外形尺寸信息、特定方向间尺寸的比率、纹理信息、特定方向所设定数目的各切片在本纹理轮廓区域内的各个区段长度信息、起始结束位置坐标、特定方向所设定数目的各切片在本纹理轮廓区域内的中心位置、外形轮廓描述信息、外形变化转折点信息、外形特异点信息、三维外形信息、光照变化信息、运动速度信息、运动方向信息。
3.如权利要求1所述的一种对图像进行分层推理识别物体的方法,其特征在于,所述的步骤7中所述的将与未确认的可能物体紧密相连的已确认物体当作对所述未确认的可能物体的遮盖,忽略已确认物体包括:将与未确认的可能物体紧密相连的已确认物体当作对所述未确认的可能物体的遮盖,过滤已确认物体,按照同纹理轮廓区域或三维外形连续区域的特征,扩大寻找相近区域的与已确认物体紧密相连的未确认的可能物体的特征信息一致的同纹理轮廓区域或三维外形连续区域,组合成新的疑似部件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810815256.6A CN110717369B (zh) | 2018-07-11 | 2018-07-11 | 一种对图像进行分层推理识别物体的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810815256.6A CN110717369B (zh) | 2018-07-11 | 2018-07-11 | 一种对图像进行分层推理识别物体的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110717369A CN110717369A (zh) | 2020-01-21 |
CN110717369B true CN110717369B (zh) | 2024-05-17 |
Family
ID=69208753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810815256.6A Active CN110717369B (zh) | 2018-07-11 | 2018-07-11 | 一种对图像进行分层推理识别物体的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110717369B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218831A (zh) * | 2013-04-21 | 2013-07-24 | 北京航空航天大学 | 一种基于轮廓约束的视频运动目标分类识别方法 |
CN104364824A (zh) * | 2012-06-13 | 2015-02-18 | 松下知识产权经营株式会社 | 物体检测装置 |
CN106446911A (zh) * | 2016-09-13 | 2017-02-22 | 李志刚 | 一种基于图像边缘线弯曲度和距离特征的人手识别方法 |
CN107103323A (zh) * | 2017-03-09 | 2017-08-29 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于图像轮廓特征的目标识别方法 |
JP2017194301A (ja) * | 2016-04-19 | 2017-10-26 | 株式会社デジタルハンズ | 顔形状測定装置及び方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2016385541B2 (en) * | 2016-01-15 | 2019-07-11 | Wuhan Optics Valley Zoyon Science And Technology Co., Ltd. | Object surface deformation feature extraction method based on line scanning three-dimensional point Cloud |
-
2018
- 2018-07-11 CN CN201810815256.6A patent/CN110717369B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104364824A (zh) * | 2012-06-13 | 2015-02-18 | 松下知识产权经营株式会社 | 物体检测装置 |
CN103218831A (zh) * | 2013-04-21 | 2013-07-24 | 北京航空航天大学 | 一种基于轮廓约束的视频运动目标分类识别方法 |
JP2017194301A (ja) * | 2016-04-19 | 2017-10-26 | 株式会社デジタルハンズ | 顔形状測定装置及び方法 |
CN106446911A (zh) * | 2016-09-13 | 2017-02-22 | 李志刚 | 一种基于图像边缘线弯曲度和距离特征的人手识别方法 |
CN107103323A (zh) * | 2017-03-09 | 2017-08-29 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于图像轮廓特征的目标识别方法 |
Non-Patent Citations (2)
Title |
---|
基于知识推理的机场目标识别;陈韶斌 等;《红外与激光工程》;第40卷(第3期);第548-552页 * |
基于统计边缘跳变次数的车牌定位算法;陈阳 等;《机械工程与自动化》(第142期);第26-28页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110717369A (zh) | 2020-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Roynard et al. | Classification of point cloud scenes with multiscale voxel deep network | |
Yenikaya et al. | Keeping the vehicle on the road: A survey on on-road lane detection systems | |
Cheng et al. | Extraction and classification of road markings using mobile laser scanning point clouds | |
Gurghian et al. | Deeplanes: End-to-end lane position estimation using deep neural networksa | |
Yu et al. | Learning hierarchical features for automated extraction of road markings from 3-D mobile LiDAR point clouds | |
CN100495438C (zh) | 一种基于视频监控的运动目标检测与识别方法 | |
CN102708356B (zh) | 一种基于复杂背景下的车牌自动定位和识别方法 | |
JP5405741B2 (ja) | 道路使用弱者保護システム | |
CN110175576A (zh) | 一种结合激光点云数据的行驶车辆视觉检测方法 | |
Zhou et al. | Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain | |
CN108304873A (zh) | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 | |
CN106709436A (zh) | 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统 | |
Tümen et al. | Intersections and crosswalk detection using deep learning and image processing techniques | |
CN102076531A (zh) | 车辆畅通路径检测 | |
CN108830246B (zh) | 一种交通环境行人多维运动特征视觉提取方法 | |
CN110532961B (zh) | 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法 | |
CN113345237A (zh) | 一种使用路侧激光雷达数据提取车辆轨迹的变道识别与预测方法、系统、设备及存储介质 | |
CN112508985B (zh) | 一种基于语义分割的slam回环检测改进方法 | |
CN112241969A (zh) | 基于交通监控视频的目标检测跟踪方法、装置及存储介质 | |
CN110188606A (zh) | 基于高光谱成像的车道识别方法、装置及电子设备 | |
CN113989784A (zh) | 一种基于车载激光点云的道路场景类型识别方法及系统 | |
Tumen et al. | Recognition of road type and quality for advanced driver assistance systems with deep learning | |
CN117058646B (zh) | 基于多模态融合鸟瞰图的复杂道路目标检测方法 | |
Zhang et al. | Gc-net: Gridding and clustering for traffic object detection with roadside lidar | |
CN113963259A (zh) | 基于点云数据的街景地物多维度提取方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |