CN101410872B - 道路图像解析装置及道路图像解析方法 - Google Patents

道路图像解析装置及道路图像解析方法 Download PDF

Info

Publication number
CN101410872B
CN101410872B CN2007800111981A CN200780011198A CN101410872B CN 101410872 B CN101410872 B CN 101410872B CN 2007800111981 A CN2007800111981 A CN 2007800111981A CN 200780011198 A CN200780011198 A CN 200780011198A CN 101410872 B CN101410872 B CN 101410872B
Authority
CN
China
Prior art keywords
mentioned
continuous component
road
straight line
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800111981A
Other languages
English (en)
Other versions
CN101410872A (zh
Inventor
笹川正
朱林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pasco Corp
Original Assignee
Pasco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pasco Corp filed Critical Pasco Corp
Publication of CN101410872A publication Critical patent/CN101410872A/zh
Application granted granted Critical
Publication of CN101410872B publication Critical patent/CN101410872B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/076—Slope angle of the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种能够明确并且快速地区分道路标示和护栏、能够获取准确的位置信息的道路图像解析装置，预处理单元(28)为摄像单元(26)获得的主图像数据设定辅助区域，边界抽出单元(30)抽出每个辅助区域的边界成分。直线抽出单元(32)解析上述抽出的边界成分、抽出直线成分，直线成分解析单元(34)使用该直线成分从直线成分中抽出连续成分。匹配处理单元(36)进行上述连续成分的顶点与辅助图像数据的匹配处理，获取各连续成分的三维位置信息。识别单元(40)根据三维位置信息中包含的各连续成分的高度信息识别连续成分是道路标示还是护栏。

Description

道路图像解析装置及道路图像解析方法
技术领域
本发明涉及解析道路图像提取车道中央线、车道边缘线、车道外侧线等道路标示以及护栏(guard rail)等的道路图像解析装置及道路图像解析方法。
背景技术
以往，为了制作高精度的道路地图，有必要获取有关道路标示或护栏等准确的位置信息。为了到达这个目的，我们知道例如使用车载单目摄像机获取的二维图像，根据其辉度信息进行解析的方法。这样的技术例公开在日本特开平1-242916号公报中。
并且，日本特开平6-266828号公报中公开了由立体摄像机获得的立体图像计算出三维位置数据，检测护栏等侧壁的技术。
但是，上述现有技术中当使用单目摄像机获取的二维图像时，由于道路标示和护栏都成为直线状的图像，因此存在难以区别的问题。
并且，当使用立体摄像机获得的立体图像时，由于必须对整个图像进行匹配处理，因此处理量大，即使在将图像分割成小区域提高匹配处理的速度的情况下，由于小区域内多个距离不同的物体混在，因此存在不能够获得足够的距离测量精度的问题。而且，还存在仅依靠获得的三维位置信息难以区分道路标示和护栏的问题。
发明内容
本发明就是鉴于上述现有问题，其目的是要提供一种能够明确并且迅速地区分道路标示和护栏、能够获得准确的位置信息的道路图像解析装置及道路图像解析方法。
为了达到上述目的，本发明为道路图像解析装置，其特征在于，具备以下单元：从不同的方向拍摄同一位置的2台摄像单元；从上述摄像单元中的一方获取的图像数据中提取连续成分的连续成分提取单元；将上述连续成分与上述摄像单元中的另一方获取的图像数据进行组合，计算出上述连续成分的三维位置信息的三维位置计算单元；根据上述三维位置计算单元计算出的三维位置信息识别上述连续成分的识别单元。
其中，上述连续成分提取单元从上述摄像单元中的一方获取的图像数据中提取直线成分，根据该直线成分的位置、倾斜度及直线间的相关性提取上述连续成分。
并且，上述三维位置计算单元通过匹配处理上述连续成分的端点和上述摄像单元中的另一方获取的图像数据计算出三维位置信息。
上述识别单元根据上述三维位置信息中包含的上述连续成分的高度信息识别上述连续成分。
并且，上述连续成分提取单元、三维位置计算单元以及识别单元以设定在与道路行走方向正交的方向上的子区域为处理单位。
并且，本发明为一种道路图像解析方法，其特征在于，包括以下步骤：从不同的2个方向拍摄同一位置的步骤；从上述拍摄的一方图像数据中提取连续成分的步骤；将上述连续成分与上述拍摄到的另一方图像数据进行组合，计算出上述连续成分的三维位置信息的步骤；根据上述计算出的三维位置信息识别上述连续成分的步骤。
其中，上述提取连续成分的步骤从上述拍摄到的一方图像数据中提取直线成分，根据该直线成分的位置、倾斜度及直线间的相关性提取上述连续成分。
并且，上述计算连续成分的三维位置信息的步骤通过匹配处理上述连续成分的端点和上述拍摄到的另一个图像数据，计算出三维位置信息。
并且，上述识别连续成分的步骤根据上述三维位置信息中包含的上述连续成分的高度信息识别上述连续成分。
并且，上述提取连续成分的步骤、计算连续成分的三维位置信息的步骤以及识别连续成分的步骤，以设定在与道路行走方向正交的方向上的子区域为处理单位而实行。
附图说明
图1为本发明的道路图像解析装置的结构例的方框图。
图2为表示本发明的道路图像解析装置各种功能的功能方框图。
图3为摄像装置的摄像区域的说明图。
图4为本发明的道路图像解析装置的动作例的流程图。
图5为表示设定了子区域的主图像例的图。
图6为边缘提取处理的说明图。
图7为表示提取的直线成分例的图。
图8为表示连续成分提取处理的结果例的图。
图9为匹配处理的说明图。
图10为表示道路图像解析结果的显示例的图。
具体实施方式
下面根据附图说明实施本发明的优选形态(以下称为“实施形态”)。
图1为本发明的道路图像解析装置的结构例的方框图。该道路图像解析装置能够用例如计算机等实现。图1中，道路图像解析装置的结构包括第1摄像机10、第2摄像机12、接口14、16、处理器18、存储单元20、显示单元22和操作单元24。
第1摄像机10为为了获取立体图像而以2台一组设置的立体摄像机中的中的一台，例如左侧的摄像机。并且，第2摄像机12为上述立体摄像机中的另一台，例如右侧的摄像机。这些第1摄像机10和第2摄像机12从不同的方向拍摄同一位置的彩色或黑白图像，构成本发明的摄像单元。
接口14、16分别获取上述第1摄像机10、第2摄像机12获取的图像数据转输给处理器18等。
处理器18由CPU(中央处理装置)等构成，一边与接口14、16、存储单元20、显示单元22和操作单元24进行数据交换一边控制它们的动作。
存储单元20为处理器18工作用的RAM(随机存取存储器)、存储了处理器18执行的程序等的ROM(只读存储器)、作为非易失性存储器的闪存、由磁性纪录媒体等构成的计算机能够读取的记录媒体。并且，也可以存储作为本装置的解析结果的道路标示或护栏的位置信息。
显示单元22用例如液晶显示器(LCD)构成，显示道路图像解析装置的解析结果、使用者用来向道路图像解析装置输出动作指令等的用户接口等。
操作单元24包括鼠标等指向装置和键盘等输入装置，用于使用者输入数据等。
图2为表示上述道路图像解析装置各种功能的功能方框图。图2中，道路图像解析装置的结构包括摄像单元26、预处理单元28、边缘提取单元30、直线提取单元32、直线成分解析单元34、匹配处理单元36、地图坐标信息计算单元38、识别单元40和位置信息获取单元42。
摄像单元26由第1摄像机10、第2摄像机12和接口14、16实现，输出第1摄像机10获取的图像数据作为主图像数据、输出第2摄像机12获取的图像数据作为辅助图像数据。
预处理单元28由处理器18实现，不仅对上述主图像数据进行图像增强处理等使边缘提取处理变得容易，而且执行将图像分割成作为图像解析的基本单位的多个子区域的处理。另外，子区域与道路的行走方向正交地设定。
边缘提取单元30由处理器18实现，提取上述各子区域中辉度或颜色的明-暗图案以及暗-明图案的边缘成分。其中，边缘成分为包含在上述主图像数据中的道路标示、护栏、电线杆等柱状结构体等的轮廓。并且，上述边缘的提取可以使用例如水平一次微分滤光器。
直线提取单元32由处理器18实现，从上述边缘提取单元30所提取的边缘成分中提取直线成分。该直线成分的提取使用例如霍夫变换等进行。
直线成分解析单元34由处理器18实现，根据上述直线提取单元32所提取的直线成分的位置或倾斜度、直线成分之间的关联性等提取主图像数据中的连续成分。其中，连续成分为图像中在一定的方向上反复存在、并且在一定的方向上连续的直线成分。例如，道路上以规定的长度反复描绘的车道边缘线或在道路端部以规定的长度设置的电线杆等为前者的例子，道路上连续描绘的车道外侧线或护栏等为后者的例子。这样的直线成分的连续性由直线成分解析单元34根据各子区域内或各子区域彼此之间上述直线成分的位置关系来判断。并且，电线杆等柱状结构体的直线成分能够通过其倾斜度去除，从直线解析的对象中除去。而且，上述直线成分之间的关联性为例如直线成分之间的距离，用于提取在道路上描绘的道路标示。即，由于事先知道道路标示和道路标示之间的宽度，因此根据上述宽度能够明确地判定形成大或小距离的直线成分的组合不是道路标示的直线成分。
另外，上述边缘提取单元30、直线提取单元32和直线成分解析单元34构成本发明的连续成分提取单元。
匹配处理单元36由处理器18实现，进行上述主图像数据的连续成分的顶点与辅助图像数据的匹配处理，用三角测量法根据与对应点的视差以及摄像机的位置等信息计算出各连续线段的相对的三维位置信息。
地图坐标信息计算单元38由处理器18实现，根据位置信息获取单元42所获得的坐标信息和匹配处理单元36所求出的相对的三维位置信息计算出地图上的坐标信息。
由上述匹配处理单元36构成本发明的三维位置计算单元。
识别单元40由处理器18实现，根据上述三维位置信息中包含的各连续成分的高度信息，识别连续成分是道路标示还是护栏。
位置信息获取单元42由GPS(全球定位系统)或陀螺仪等实现，求出摄像单元26拍摄的位置和姿势，决定对应的图像数据的坐标，作为坐标信息输出给地图坐标信息计算单元38。
图3中表示了车载摄像单元26拍摄的区域的说明图。另外，图3中用X表示了摄像单元26的第1摄像机10和第2摄像机12排列的方向，用Z表示拍摄方向(车辆行进的方向)。并且，用α表示作为第1摄像机10的左侧摄像机拍摄的区域，用β表示作为第2摄像机的右侧摄像机拍摄的区域。另外，也可能将摄像机安装成与车辆行进方向相反的方向。
图3中拍摄区域α的图像数据为主图像数据，拍摄区域β的图像数据为辅助图像数据。上述匹配处理单元36进行的匹配处理对存在于拍摄区域α与拍摄区域β重复的重复区域γ中的对象物的图像数据进行。
图4表示图1及图2中说明过的本实施形态的道路图像解析装置的动作例的流程。图4中，预处理单元28从摄像单元26中获取主图像数据(S1)。虽然图2中以第1摄像机10拍摄的图像数据为主图像数据，但也可以以第2摄像机12拍摄的图像数据为主图像数据。
预处理单元28对上述获得的主图像数据进行上述初始化处理，设定多个子区域(S2)。
图5中表示了设定了子区域的主图像。图5中，主图像设定了多个子区域44，分别用虚线分隔表示。
接着，边缘提取单元30提取每个上述子区域44中的边缘成分(S3)。该边缘提取处理通过使用水平一次微分滤光器识别初始化处理过的主图像数据的各子区域中辉度或色彩的明-暗图案或暗-明图案进行。由于图5所示的主图像中的道路标示或护栏、电线杆等柱状结构体的辉度比道路等背景的辉度高，因此能够识别明和暗的边缘作为边缘。
图6表示边缘提取处理的说明图。图6中用点划线表示边缘提取单元30提取的各边缘成分。
接着，直线提取单元32解析上述提取的边缘成分，提取直线成分(S4)。
图7用实线表示提取的直线成分的例子。在这一阶段中，提取的直线成分没有区分是道路标示、护栏、电线杆等柱状结构体中的哪一种。
因此，直线成分解析单元34根据上述直线成分的位置或倾斜度、直线之间的关联性等提取作为解析对象的连续成分(S5)。提取该连续成分时，优选用直线成分的倾斜度或道路上的位置将电线杆等柱状结构体排除在外。由此，能够将以后的处理集中到道路标示和护栏，能够简化处理。
图8表示连续成分提取处理的结果例。图8中提取图像中在一定的方向上反复存在、并且在一定的方向上连续的直线成分。
然后，匹配处理单元36进行上述连续成分的顶点与辅助图像数据的匹配处理(S6)。
图9(a)、9(b)表示匹配处理的说明图。其中，图9(a)表示直线成分解析单元34提取的连续成分，图9(b)表示与辅助图像的匹配结果。匹配处理单元36用例如面积相关法进行图9(a)所示的连续成分的端点与辅助图像数据的匹配，用三角测量法根据与对应点的视差、摄像机位置以及姿势等信息计算出各连续成分的相对的三维位置信息。图9(a)用12点(a1～a12)表示端点的例子。另外，端点的数量并不限定于上述12点，还可以更多。通过以上的处理，由于不是对连续成分的所有的点而是仅对端点进行对应点的检索，因此能够高精度并且快速地进行匹配处理。
地图坐标信息计算单元38根据位置信息获取单元42获取的坐标信息和匹配处理单元36求得的相对三维位置信息，计算出地图上的坐标信息。并且，识别单元40根据上述地图上的坐标信息中包含的各连续成分的高度信息，识别连续成分是道路标示还是护栏(S7)。该处理能够通过在上述高度信息中设定规定的临界值，将高度比该临界值高的连续成分作为护栏、将高度比临界值低的连续成分作为道路标示来实行。另外，也可以根据相对坐标信息进行上述识别处理，然后根据位置信息获取单元42获取的坐标信息计算出地图上的坐标信息。
上述解析动作求出的道路标示和护栏在地图上的坐标信息显示在显示单元22中(S8)。图10表示该显示例。图10中，每一个道路标示和护栏的属性显示X、Y、Z这3个坐标值。另外，上述坐标信息也可以作为数据库存储到存储单元20中。
如果采用以上各过程，用直线成分解析单元34将解析对象集中为道路标示和护栏，用匹配处理单元36和识别单元40识别道路标示和护栏。由此，能够用简单的处理组合明确区分道路标示和护栏，能够获得准确的位置信息。
如果采用本发明，能够明确并且快速地区分道路标示和护栏，能够获取准确的位置信息。

Claims (6)

1.一种道路图像解析装置，其特征在于，具备：
二台摄像单元，从不同的方向对同一位置进行拍摄；
连续成分提取单元，对从上述摄像单元中的一方获取的图像数据中提取的边缘成分进行解析而提取直线成分，根据该直线成分的位置、倾斜度、及包含道路标示宽度和道路标示之间宽度的数据的直线间的关联性，将柱状结构体、道路标示及护栏作为连续成分、即在图像中一定方向上反复存在、或在一定方向上连续的直线成分而提取，并且，根据所述直线成分的倾斜度或道路上的位置从所述连续成分中去除柱状结构体；
三维位置计算单元，将去除了上述柱状结构体的连续成分的端点与上述摄像单元中的另一方获取的图像数据进行组合，计算出上述连续成分的三维位置信息；
识别单元，根据上述三维位置计算单元计算出的三维位置信息识别上述连续成分是道路标示还是护栏。
2.如权利要求1所述的道路图像解析装置，其特征在于，上述识别单元根据上述三维位置信息中包含的上述连续成分的高度信息识别上述连续成分是道路标示还是护栏。
3.如权利要求1所述的道路图像解析装置，其特征在于，上述连续成分提取单元、上述三维位置计算单元以及上述识别单元，以设定在与道路行走方向正交的方向上的子区域为处理单位。
4.一种道路图像解析方法，其特征在于，包括以下步骤：
从不同的2个方向对同一位置进行拍摄的步骤；
对从上述拍摄的一方的图像数据中提取的边缘成分进行解析而提取直线成分，根据该直线成分的位置、倾斜度、及包含道路标示宽度和道路标示间宽度的数据的直线间的关联性，将柱状结构体、道路标示及护栏作为连续成分、即在图像中一定方向上反复存在、或在一定方向上连续的直线成分而提取，并且，根据所述直线成分的倾斜度或道路上的位置从所述连续成分中去除柱状结构体的步骤；
将去除了上述柱状结构体的连续成分的端点与上述拍摄到的另一方的图像数据进行组合，计算出上述连续成分的三维位置信息的步骤；
根据上述计算出的三维位置信息识别上述连续成分是道路标示还是护栏的步骤。
5.如权利要求4所述的道路图像解析方法，其特征在于，上述识别连续成分的步骤根据上述三维位置信息中包含的上述连续成分的高度信息识别上述连续成分是道路标示还是护栏。
6.如权利要求4或5所述的道路图像解析方法，其特征在于，上述提取连续成分的步骤、上述计算连续成分的三维位置信息的步骤以及上述识别连续成分的步骤，以设定在与道路行走方向正交的方向上的子区域为处理单位而实行。
CN2007800111981A 2006-03-28 2007-03-23 道路图像解析装置及道路图像解析方法 Expired - Fee Related CN101410872B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP089496/2006 2006-03-28
JP2006089496A JP4632987B2 (ja) 2006-03-28 2006-03-28 道路画像解析装置及び道路画像解析方法
PCT/JP2007/055986 WO2007111241A1 (ja) 2006-03-28 2007-03-23 道路画像解析装置及び道路画像解析方法

Publications (2)

Publication Number Publication Date
CN101410872A CN101410872A (zh) 2009-04-15
CN101410872B true CN101410872B (zh) 2012-06-20

Family

ID=38541159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800111981A Expired - Fee Related CN101410872B (zh) 2006-03-28 2007-03-23 道路图像解析装置及道路图像解析方法

Country Status (5)

Country Link
US (1) US8126209B2 (zh)
EP (1) EP2000979A4 (zh)
JP (1) JP4632987B2 (zh)
CN (1) CN101410872B (zh)
WO (1) WO2007111241A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010050162A1 (ja) * 2008-10-28 2010-05-06 株式会社パスコ 道路計測装置及び道路計測方法
JP5298991B2 (ja) * 2009-03-18 2013-09-25 富士通株式会社 車両認識装置及びプログラム
CN101901343B (zh) * 2010-07-20 2012-05-23 同济大学 基于立体约束的遥感影像道路提取方法
CN102985947B (zh) 2010-07-29 2015-06-10 本田技研工业株式会社 车辆周围监测装置
CN103109313B (zh) * 2010-09-08 2016-06-01 丰田自动车株式会社 危险度计算装置
JP5746996B2 (ja) * 2012-03-21 2015-07-08 日立オートモティブシステムズ株式会社 道路環境認識装置
US8965107B1 (en) 2012-05-18 2015-02-24 Google Inc. Feature reduction based on local densities for bundle adjustment of images
US8897543B1 (en) * 2012-05-18 2014-11-25 Google Inc. Bundle adjustment based on image capture intervals
JP6168794B2 (ja) * 2012-05-31 2017-07-26 キヤノン株式会社 情報処理方法および装置、プログラム。
WO2014096398A1 (en) 2012-12-21 2014-06-26 Institute Of Technology Blanchardstown System and method for multiline retroreflection measurement of road markings
DE102013224791A1 (de) * 2013-12-03 2015-06-03 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung von wenigstens einer Fahrspurmarkierung einer einem Fahrzeug vorausliegenden Fahrspur
CN104021693B (zh) * 2014-06-25 2016-08-03 青海省恒立公路勘测设计有限公司 基于雷达探测的车行道标示方法及车行道标示系统
JP6936098B2 (ja) * 2017-09-29 2021-09-15 トヨタ自動車株式会社 対象物推定装置
CN114981138A (zh) * 2020-02-13 2022-08-30 华为技术有限公司 车辆可行驶区域的检测方法以及检测装置
WO2021241482A1 (ja) * 2020-05-25 2021-12-02 国立大学法人静岡大学 経路検出装置
KR102520189B1 (ko) * 2021-03-02 2023-04-10 네이버랩스 주식회사 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템
CN114046749B (zh) * 2021-10-26 2022-07-08 刘红霞 预制混凝土构件点状凹坑结合面粗糙度检测方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1267039A (zh) * 1999-03-12 2000-09-20 现代自动车株式会社 用于车道偏移警告系统的道路模拟方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2662583B2 (ja) 1988-03-24 1997-10-15 アイシン精機株式会社 車上距離検出装置
JPH04253286A (ja) * 1991-01-29 1992-09-09 Nissan Motor Co Ltd 路面パラメータの推定方法および推定装置
JP3324821B2 (ja) 1993-03-12 2002-09-17 富士重工業株式会社 車輌用車外監視装置
JPH0778234A (ja) * 1993-06-30 1995-03-20 Nissan Motor Co Ltd 走行路検出装置
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JP3437671B2 (ja) * 1995-03-17 2003-08-18 株式会社東芝 ランドマーク認識装置およびランドマーク認識方法
JP3337197B2 (ja) * 1997-04-04 2002-10-21 富士重工業株式会社 車外監視装置
JP3516856B2 (ja) * 1998-01-30 2004-04-05 富士重工業株式会社 車外監視装置
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
JP3352655B2 (ja) * 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP2001101415A (ja) * 1999-09-29 2001-04-13 Fujitsu Ten Ltd 画像認識装置および画像処理装置
JP3786618B2 (ja) * 2002-03-25 2006-06-14 株式会社東芝 画像処理装置及びその方法
WO2003093857A2 (en) * 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
JP4377665B2 (ja) * 2003-12-01 2009-12-02 本田技研工業株式会社 位置検出用マーク、並びに、マーク検出装置、その方法及びそのプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1267039A (zh) * 1999-03-12 2000-09-20 现代自动车株式会社 用于车道偏移警告系统的道路模拟方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JP特开2003-281552A 2003.10.03
JP特开平4-253286A 1992.09.09
JP特开平7-78234A 1995.03.20
JP特开平8-255245A 1996.10.01

Also Published As

Publication number Publication date
US8126209B2 (en) 2012-02-28
EP2000979A9 (en) 2009-03-04
US20090274362A1 (en) 2009-11-05
CN101410872A (zh) 2009-04-15
WO2007111241A1 (ja) 2007-10-04
EP2000979A2 (en) 2008-12-10
EP2000979A4 (en) 2013-10-09
JP4632987B2 (ja) 2011-02-16
JP2007265038A (ja) 2007-10-11

Similar Documents

Publication Publication Date Title
CN101410872B (zh) 道路图像解析装置及道路图像解析方法
CN109658504B (zh) 地图数据标注方法、装置、设备及存储介质
WO2018145602A1 (zh) 车道的确定方法、装置及存储介质
US8548229B2 (en) Method for detecting objects
JP4553072B1 (ja) 画像統合装置および画像統合方法
US20110090252A1 (en) Markerless augmented reality system and method using projective invariant
US9336595B2 (en) Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function
CN113255578B (zh) 交通标识的识别方法及装置、电子设备和存储介质
CN111243003B (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
CN106918312B (zh) 基于机械视觉的路面标线剥落面积检测装置及方法
JP2010224930A (ja) 道路認識装置
CN113392169A (zh) 一种高精度地图更新的方法、装置及服务器
CN113408407A (zh) 电子地图车道线修正方法、设备及计算机可读存储介质
CN111288890A (zh) 基于双目摄影测量技术的道路标志尺寸及高度自动测量方法
CN111383286B (zh) 定位方法、装置、电子设备及可读存储介质
JP4762026B2 (ja) 道路標識データベース構築装置
CN110675442A (zh) 一种结合目标识别技术的局部立体匹配方法及系统
CN112200838B (zh) 一种弹丸轨迹跟踪方法、装置、设备及存储介质
JP3919722B2 (ja) 肌形状計測方法及び肌形状計測装置
CN111768373A (zh) 基于深度学习的层级式路面标记破损检测方法
CN103559492A (zh) 一种车标识别装置及方法
JP2012160116A (ja) 物体識別装置
CN112507887B (zh) 一种路口标志牌提取及关联的方法及装置
TW201309519A (zh) 車道定位系統與方法
Huang et al. Self-recalibration of PTZ Cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120620

Termination date: 20160323

CF01 Termination of patent right due to non-payment of annual fee