CN108335507B - 利用摄像头的拍摄影像的驾驶引导提供方法及装置 - Google Patents

利用摄像头的拍摄影像的驾驶引导提供方法及装置 Download PDF

Info

Publication number
CN108335507B
CN108335507B CN201810035613.7A CN201810035613A CN108335507B CN 108335507 B CN108335507 B CN 108335507B CN 201810035613 A CN201810035613 A CN 201810035613A CN 108335507 B CN108335507 B CN 108335507B
Authority
CN
China
Prior art keywords
branch point
road
captured image
image
driving guidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810035613.7A
Other languages
English (en)
Other versions
CN108335507A (zh
Inventor
李韩雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thinkware Systems Corp
Original Assignee
Thinkware Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thinkware Systems Corp filed Critical Thinkware Systems Corp
Publication of CN108335507A publication Critical patent/CN108335507A/zh
Application granted granted Critical
Publication of CN108335507B publication Critical patent/CN108335507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开利用摄像头的拍摄影像的驾驶引导提供方法及装置。本方法包括：获得在移动体的行驶过程中由摄像头拍摄的拍摄影像的步骤；在所获得的拍摄影像中识别用于表示道路的分支点的分支点对象的步骤；若识别出分支点对象，则确定移动体与分支点对象之间的位置关系的步骤；利用所确定的位置关系来判断以分支点为基准来分离的多个道路中移动体所处的道路的信息的步骤；以及基于移动体所处的道路的信息来提供分支点上的驾驶引导的步骤。

Description

利用摄像头的拍摄影像的驾驶引导提供方法及装置
技术领域
本发明涉及利用摄像头的拍摄影像的驾驶引导提供方法、驾驶引导提供装置、电子装置、计算机程序及计算机可读记录介质，更详细地，涉及利用摄像头的拍摄影像来在分支点中提供用于驾驶移动体的引导的利用摄像头的拍摄影像的驾驶引导提供方法、驾驶引导提供装置、电子装置、计算机程序及计算机可读记录介质。
背景技术
一般情况下，导航系统(navigation system)作为利用人造卫星来提供用于车辆等移动体(vehicle)的行驶的信息的系统，也被称为自动导航系统。
导航系统具有全球定位系统(GPS，global positioning system)模块，由此从全球定位系统卫星中接收规定的数据，并基于所接收的所述数据来计算移动体的位置。
更具体地，全球定位系统卫星为对在高度约为20000公里(Km)的上空中沿着地球轨道旋转的24个全球定位系统卫星的统称，全球定位系统卫星使用1.5GHz频带的电波，并在地面上具有被称为控制站(Control Station)的调整中心，来进行接收从全球定位系统卫星传送的信息并实施同步化的工作，而导航系统通过全球定位系统模块来接收从多个全球定位系统卫星发出的信号来计算自己的位置，并在开阔地拥有数米(m)以内的位置准确度。
而且，导航系统使移动体的位置与预先存储的地图数据实施地图匹配，来用作用于进行地图及地理引导的基础资料，尤其，通过搜索移动体的当前位置至用户指定的目的地为止的移动路径，来提供根据移动路径引导用户的路径引导服务。
在这种情况下，普通的导航系统通过接收全球定位系统信号后进行计算的坐标来掌握车辆的当前位置，并通过地图匹配来在附近的(相邻的)道路中显示这些。
只不过，因全球定位系统本身所具有的位置误差和周边环境而很难在道路被分支为多条的分支点中掌握准确的车辆的位置，且更难判断实际行驶的车行道。尤其，平行行驶的地下车道、高架道路及马路边的小路等道路因其特性而难以只利用全球定位系统坐标来判断位置。
由此，即使发生路径的脱离，也因无法在脱离当时立刻识别而频繁发生向错误的路径继续导航或因在过了一段时间之后掌握当前位置而无法在适当的时机提供路径的重新搜索的情况。
尤其，与普通导航仪相比，在一同向驾驶人员提供与实际行驶道路相对应的影像和驾驶引导的增强现实(Augmented Reality：AR)导航仪中，所述问题成为更大的问题。
发明内容
本发明为了解决所述问题而提出，本发明的目的在于，提供基于摄像头拍摄影像来判断以分支点为基准相分离的多个道路中的移动体所处的道路的信息的驾驶引导提供方法、驾驶引导提供装置、电子装置、计算机程序及计算机可读记录介质。
用于实现所述目的的本发明一实施例的利用摄像头的拍摄影像的驾驶引导提供方法包括：获得在移动体的行驶过程中由摄像头拍摄的拍摄影像的步骤；在所获得的所述拍摄影像中识别用于表示道路的分支点的分支点对象的步骤；若识别出所述分支点对象，则确定所述移动体与所述分支点对象之间的位置关系的步骤；利用所确定的所述位置关系来判断以所述分支点为基准来分离的多个道路中所述移动体所处的道路的信息的步骤；以及基于所述移动体所处的道路的信息来提供所述分支点上的驾驶引导的步骤。
而且，所述分支点对象可以包括道路隔离带、道路指示牌及特定车道线图案中的至少一种。
并且，识别所述道路隔离带的步骤可以包括：生成与道路隔离带相对应的第一数据集和与非道路隔离带相对应的第二数据集的步骤；以及利用所生成的所述第一数据集及第二数据集来在所获得的所述拍摄影像中识别所述道路隔离带的步骤。
而且，识别所述道路指示牌的步骤可以包括：将所获得的所述拍摄影像分类为白天拍摄影像和夜间拍摄影像的步骤；在白天拍摄影像的情况下，基于第一颜色转换模型来对所述拍摄影像实施颜色转换的步骤；在夜间拍摄影像的情况下，基于第二颜色转换模型来对所述拍摄影像实施颜色转换的步骤；以预设的图像元素值为基准，对实现颜色转换的所述拍摄影像实施二进制来获得二进制影像的步骤；对所述二进制影像执行用于去除噪声的过滤的步骤；以及利用所述道路指示牌的特征点来在所述拍摄影像中识别所述道路指示牌的步骤。
并且，进行上述分类的步骤可以包括：对消失点的上部区域的平均像素值和预设的值进行比较的步骤；在所述平均像素值大于预设的值的情况下，判断所获得的拍摄影像为白天拍摄影像的步骤；以及在所述平均像素值小于预设的值的情况下，判断所获得的拍摄影像为夜间拍摄影像的步骤。
而且，进行上述分类的步骤可以包括：计算出消失点的上部区域和下部区域的各个平均像素值的步骤；计算出所述上部区域的平均像素值与所述下部区域的平均像素值之间的差值的步骤；在所述平均像素值的差值大于预设的值的情况下，判断所获得的拍摄影像为白天拍摄影像的步骤；以及在所述平均像素值的差值小于预设的值的情况下，判断所获得的拍摄影像为夜间拍摄影像的步骤。
并且，在计算出所述平均像素值的步骤中，可分别计算出在所述上部区域内具有最大平均像素值的区域的平均像素值及下部区域的平均像素值。
而且，识别所述道路指示牌的步骤可以包括：利用第三颜色模型来对所获得的所述拍摄影像实施颜色转换的步骤；以预设的图像元素值为基准对实现颜色转换的所述拍摄影像实施二进制来获得二进制影像的步骤；对所述二进制影像执行用于去除噪声的过滤的步骤；以及利用所述道路指示牌的特征点来在所述拍摄影像中识别所述道路指示牌的步骤。
并且，在确定所述移动体与所述分支点对象之间的位置关系的步骤中，能够以所述移动体和所述分支点对象中的一侧为基准来确定另一侧的方向。
而且，在所述多个道路包括以分支点为基准位于左侧的第一道路及以分支点为基准位于右侧的第二道路的情况下，在进行所述判断的步骤中，在以所述移动体为基准，所述分支点对象位于右侧的情况下，可判断所述移动体位于所述第一道路，在以所述移动体为基准，所述分支点对象位于左侧的情况下，可判断所述移动体位于所述第二道路。
并且，所述位置关系还可以包括所述一侧与所述另一侧之间的距离，本发明还可以包括确定所述移动体的速度及所述移动体的行驶方向的步骤，进行所述判断的步骤可以包括考虑所述移动体的速度、所述移动体的行驶方向及所述位置关系中的至少一种来预测以所述分支点为基准相分离的多个道路中所述移动体应处的道路。
而且，本发明还可以包括获得所述移动体的全球定位系统位置信息的步骤，若基于所获得的所述全球定位系统位置信息来判断所述移动体在预设的距离以内接近所述分支点对象，则可以执行所述识别的步骤的步骤。
并且，本发明还可以利用所述拍摄影像来确定消失点(Vanishing point)的步骤，识别所述分支点对象的步骤包括：基于所述消失点来设定所述拍摄影像内的关注区域的步骤；以及利用所设定的所述关注区域来在所述拍摄影像中识别所述分支点对象的步骤，在所述拍摄影像内，所述关注区域的位置可根据所述分支点对象的种类来以不同的方式设定。
而且，本发明还可以包括：获得所述移动体的全球定位系统位置信息的步骤；以及在所述移动体在预设的距离以内接近所述分支点对象的情况下，设定所述移动体所处的道路的信息比所述移动体的全球定位系统位置信息具有优先顺序，以作为用于判断所述移动体的位置的信息的步骤。
并且，提供所述驾驶引导的步骤可以包括：在基于所述移动体所处的道路的信息来判断所述移动体脱离目的地为止的路径的情况下，基于所述移动体所处的道路的信息来重新搜索目的地为止的路径的步骤；以及提供基于所述重新搜索的路径引导的步骤。
另一方面，用于实现所述目的的本发明一实施例的驾驶引导提供装置可以包括：分支点对象识别部，从在移动体的行驶过程中由摄像头拍摄的拍摄影像中识别用于表示道路的分支点的分支点对象；位置关系确定部，若识别所述分支点对象，则确定所述移动体与所述分支点对象之间的位置关系；以及控制部，在以所述分支点为基准相分离的多个道路中，利用所确定的位置关系来判断所述移动体所处的道路的信息，基于所述移动体所处的道路信息来生成所述分支点上的驾驶引导。
并且，所述分支点对象可以包括道路隔离带、道路指示牌及特定车道线图案中的至少一种。
而且，分支点对象识别部可以包括用于识别所述道路隔离带的道路隔离带识别部，所述道路隔离带识别部可以包括：瞄准部，生成与道路隔离带相对应的第一数据集和与非道路隔离带相对应的第二数据集；以及影像比较部，利用所生成所述第一数据集及第二数据集来在所获得的所述拍摄影像中识别所述道路隔离带。
并且，分支点对象识别部可以包括用于识别所述道路指示牌的道路指示牌识别部，所述道路指示牌识别部可以包括：昼夜影像分类部，将所获得的所述拍摄影像分类为白天拍摄影像和夜间拍摄影像；颜色转换部，在白天拍摄影像的情况下，基于第一颜色转换模型来对所述拍摄影像实施颜色转换，在夜间拍摄影像的情况下，基于第二颜色转换模型来对所述拍摄影像实施颜色转换；二进制部，以预设的图像元素值为基准来对实现颜色转换的所述拍摄影像实施二进制来获得二进制影像；过滤部，对所述二进制影像执行用于去除噪声的过滤；以及检测部，利用所述道路指示牌的特征点来在所述拍摄影像中识别所述道路指示牌。
而且，所述昼夜影像分类部比较消失点的上部区域为平均像素值和预设的值，在所述平均像素值大于预设的值的情况下，可判断所获得的拍摄影像为白天拍摄影像，在所述平均像素值小于预设的值的情况下，可判断所获得的拍摄影像为夜间拍摄影像。
并且，所述昼夜影像分类部可计算出消失点的上部区域和下部区域的各个平均像素值，并计算出所述上部区域的平均像素值与所述下部区域的平均像素值之间的差值，在所述平均像素值的差值大于预设的值的情况下，可判断所获得的拍摄影像为白天拍摄影像，在所述平均像素值的差值小于预设的值的情况下，可判断所获得的拍摄影像为夜间拍摄影像。
而且，所述昼夜影像分类部可分别计算出在所述上部区域内具有最大平均像素值的区域的平均像素值及下部区域的平均像素值。
并且，用于所述道路指示牌的识别部可以包括：颜色转换部，基于第三颜色模型来对所获得的所述拍摄影像实施颜色转换；二进制部，以预设的图像元素值为基准对实现颜色转换的所述拍摄影像实施二进制来获得二进制影像；过滤部，对所述二进制影像执行用于去除噪声的过滤；以及检测部，利用所述道路指示牌的特征点来在所述拍摄影像中识别所述道路指示牌。
而且，所述位置关系确定部能够以所述移动体和所述分支点对象中的一侧为基准来确定另一侧的方向。
并且，在所述多个道路包括以分支点为基准位于左侧的第一道路及以分支点为基准位于右侧的第二道路的情况下，当以所述移动体为基准，所述分支点对象位于右侧时，所述控制部可判断所述移动体位于所述第一道路，当以所述移动体为基准，所述分支点对象位于左侧时，所述控制部可判断所述移动体位于所述第二道路。
而且，所述位置关系还可以包括所述一侧与所述另一侧之间的距离，本发明还可以包括行驶速度确定部，所述行驶速度确定部确定所述移动体的速度及所述移动体的行驶方向，所述控制部可以考虑所述移动体的速度、所述移动体的行驶方向及所述位置关系中的至少一种来预测以所述分支点为基准相分离的多个道路中所述移动体应处的道路。
并且，本发明还可以包括全球定位系统位置信息获得部，所述全球定位系统位置信息获得部获得所述移动体的全球定位系统位置信息，若判断所述移动体基于所获得的所述全球定位系统位置信息来在预设的距离以内接近所述分支点对象，则所述分支点对象识别部可执行在所获得的所述拍摄影像中识别用于表示道路的分支点的分支点对象的步骤。
而且，本发明还可以包括消失点确定部，所述消失点确定部利用所述拍摄影像来确定消失点，所述分支点对象识别部可基于所述消失点来设定所述拍摄影像内的关注区域，并利用所确定的所述关注区域来在所述拍摄影像中识别所述分支点对象，而在所述拍摄影像内，所述关注区域的位置可根据所述分支点对象的种类来以不同的方式设定。
本发明还包括用于获得所述移动体的全球定位系统位置信息的全球定位系统位置信息获得部，在所述移动体在预设的距离以内接近所述分支点对象的情况下，所述控制部可设定所述移动体所处的道路的信息比所述移动体的全球定位系统位置信息更具有优先顺序，以作为用于判断所述移动体的位置的信息。
而且，在基于所述移动体所处的道路的信息来判断所述移动体脱离目的地为止的路径的情况下，所述控制部可基于所述移动体所处的道路的信息来重新搜索目的地为止的路径，并可以生成基于重新搜索的所述路径引导。
另一方面，用于实现所述目的的本发明一实施例的电子装置包括：输出部，提供针对移动体的驾驶引导；分支点对象识别部，从在所述移动体的行驶过程中由摄像头拍摄的拍摄影像中识别用于表示道路的分支点的分支点对象；位置关系确定部，若识别所述分支点对象，则确定所述移动体与所述分支点对象之间的位置关系；以及控制部，在以所述分支点为基准相分离的多个道路中，利用所确定的位置关系来判断所述移动体所处的道路的信息，并以基于所述移动体所处的道路的信息来提供所述分支点上的驾驶引导的方式控制所述输出部。
而且，所述输出部可以包括显示部，所述显示部显示用于进行所述驾驶引导的画面，在基于所述移动体所处的道路的信息来判断所述移动体脱离目的地为止的路径的情况下，所述控制部能够以基于所述移动体所处的道路的信息来重新搜索目的地为止的路径，并显示基于重新搜索的所述路径引导的方式控制所述显示部。
另一方面，用于实现所述目的的本发明一实施例的计算机可读记录介质可以记录用于执行所述驾驶引导提供方法的程序。
并且，用于实现所述目的的本发明一实施例的程序可存储于计算机可读记录介质来执行所述驾驶引导提供方法。
根据所述本发明的多种实施例，可在很难仅利用全球定位系统位置信息来判断准确位置的分支点中，利用摄像头拍摄影像使移动体准确地掌握行驶过程中的道路，从而可以迅速判断移动体的当前位置和是否脱离路径。
因此，与在掌握准确的全球定位系统坐标之前无法重新搜索路径的现有方式相比，可在分支点中直接判断车辆是否脱离行驶路径，从而在脱离路径时，立刻重新搜索路径，从而可以提供更为快捷、准确的路径引导。
附图说明
图1为表示本发明一实施例的驾驶引导提供装置的框图。
图2为更具体地表示本发明一实施例的驾驶引导提供装置的框图。
图3为用于说明位于本发明一实施例的道路分支点的道路隔离带的概念图。
图4为用于说明位于本发明一实施例的道路分支点的道路指示牌的概念图。
图5为用于说明画在本发明一实施例的道路分支点的特定车道线图案的概念图。
图6为更具体地表示本发明一实施例的道路隔离带识别部及道路指示牌识别部的框图。
图7为表示本发明一实施例的驾驶引导提供方法的流程图。
图8为表示本发明一实施例的道路隔离带识别步骤的流程图。
图9为表示本发明一实施例的道路指示牌识别步骤的流程图。
图10为用于说明本发明一实施例的道路指示牌识别步骤的概念图。
图11的(a)部分、图11的(b)部分为用于说明本发明一实施例的移动体和分支点对象的位置关系确定方法的概念图。
图12为表示本发明再一实施例的驾驶引导提供方法的流程图。
图13为表示本发明另一实施例的驾驶引导提供方法的流程图。
图14为表示本发明一实施例的电子装置的框图。
图15为表示本发明一实施例的摄像头和电子装置为分离型情况下的体现形态的图。
图16为表示本发明一实施例的摄像头和电子装置为一体型情况下的体现形态的图。
图17为表示本发明一实施例的利用平视显示器(HUD，Head-Up Display)及电子装置的体现形态的图。
具体实施方式
以下的内容仅仅例示本发明的原理。因此，虽然本说明书未做明确说明和图示，但本发明所属领域的技术人员可以体现本发明的原理，并可以发明出本发明的概念和范围所包括的多种装置。并且，需要理解的是，原则上，在本说明书所例举的所有条件性术语及多个实施例仅为了理解本发明的概念而进行明确的意图。并且，并不局限于像这样特意例举的多个实施例及多种状态。
并且，除了本发明的原理、观点及多个实施例之外，例举特定实施例的所有详细说明应被理解为包括这种事项的结构及功能性等同技术方案。并且，这种等同技术方案应被理解为不仅包括当前公知的等同技术方案，而且也包括今后将要研发的等同技术方案，即，以与结构无关地执行相同功能的方式发明的所有元件。
因此，需要理解的是，所有流程图、状态转换图、伪代码等可以实质性地呈现于计算机可读介质，并且，不管计算机或处理器是否明确示出，表示由计算机或处理器执行的多种程序。
包括处理器或以与此相类似的概念显示的功能块的附图所示的多种元件的功能不仅可以提供为专用硬件，而且可以提供为具有与适当的软件相关联来执行软件的能力的硬件的使用。当借助处理器来提供时，所述功能可以被单一的专用处理器、单一的共享处理器或多个单独的处理器提供，而且它们中的一部分可以被共享。
通过与所附的附图相关的如下的详细说明可使所述目的、特征及优点变得更加明确，由此，本发明所属领域的技术人员可以容易地实施本发明的技术思想。并且，在对本发明进行说明的过程中，在判断对相关公知技术的具体说明有可能不必要地混淆本发明的要旨的情况下，对此省略对此的详细说明。
以下，参照附图对本发明的多种实施例进行详细说明。
图1为表示本发明一实施例的驾驶引导提供装置的框图。图2为更具体地表示本发明一实施例的驾驶引导提供装置的框图。参照图1至图2，驾驶引导提供装置100可包括分支点对象识别部110、位置关系确定部120、控制部130、行驶速度确定部140、全球定位系统位置信息获得部150、消失点确定部160的全部或一部分。在此，分支点对象识别部110可包括道路隔离带识别部111、道路指示牌识别部112及特定车道线图案识别部113的全部或一部分。
这种驾驶引导提供装置100可利用摄像头的拍摄影像来判断以道路分支点为基准相分离的多个道路中移动体所处的道路的信息，并可基于移动体所处的道路的信息来提供分支点上的驾驶引导。在此，移动体为可以移动且需要进行位置测定的对象，作为一例，可以为人、狗、汽车、船舶等。以下，为了便于说明而以移动体为车辆的情况为例进行说明。
分支点对象识别部110可从移动体的行驶过程中由摄像头拍摄的拍摄影像中识别用于表示道路的分支点的分支点对象。在此，拍摄影像可以为在移动体的行驶过程中实时拍摄的实时拍摄影像，分支点对象识别部110可获得所述实时拍摄影像，并可从所获得的实时拍摄影像中实时识别用于表示道路的分支点的分支点对象。
而且，道路分支点可意味着道路开始被分为多条的地点。而且，分支点对象作为可设置于或位于道路分支点来表示道路开始被分为多条的地点的对象，可包括道路隔离带、道路指示牌及特定车道线图案中的至少一种。针对这种分支点对象，将参照图3至5来进行具体说明。
图3为用于说明位于本发明一实施例的道路分支点的道路隔离带1001的概念图。参照图3，作为一例，道路隔离带1001可以为黄色和黑色以特定图案相结合的形状，且可以为位于道路上来使移动体的驾驶人员识别道路分支点的对象。但是，图3所示的道路隔离带1001仅为本申请的一示例，道路隔离带的形状可根据不同国家的道路情况、不同国家的交通政策而有所不同。
图4为用于说明位于本发明一实施例的道路分支点的道路指示牌1002的概念图。参照图4，作为一例，道路指示牌1002可以为为了显示从道路指示牌的位置至目的地的距离而立在道路上的标桩。但是，图4所示的道路指示牌1002仅为本申请的一示例，道路指示牌的形状可根据不同国家的道路情况、不同国家的交通政策而有所不同。
图5为用于说明画在本发明一实施例的道路分支点的特定车道线图案1003的概念图。参照图5，作为一例，特定车道线图案1003可包括：第一车道线、第二车道线及多个第三车道线，所述多个第三车道线在所述第一车道线和第二车道线之间以水平方式形成。但是，图5所示的特定车道线图案1003仅为本申请的一示例，特定车道线图案的形状可根据不同国家的道路情况、不同国家的交通政策而有所不同。
另一方面，所述分支点对象识别部110可识别所述道路隔离带、道路指示牌及特定车道线图案。为此，分支点对象识别部110可包括道路隔离带识别部111、道路指示牌识别部112及特定车道线图案识别部113的全部或一部分，所述道路隔离带识别部111用于道路隔离带，所述道路指示牌识别部112用于识别道路指示牌，所述特定车道线图案识别部113用于识别特定车道线图案。以下，参照图6对本发明一实施例的道路隔离带识别部111及道路指示牌识别部112进行更具体的说明。
道路隔离带识别部111可从移动体的行驶过程中由摄像头拍摄的实时拍摄影像中实时识别道路隔离带。这种道路隔离带识别部111可在多个对象识别算法中基于机器学习(machine learning)算法来从移动体的行驶过程中由摄像头拍摄的拍摄影像中识别道路隔离带。在这种情况下，道路隔离带识别部111可包括：瞄准部111-1，利用机器学习算法来生成与道路隔离带相对应的第一数据集和与非道路隔离带相对应的第二数据集；以及影像比较部111-2，对所生成的第一数据集、第二数据集和拍摄影像进行比较，从而在拍摄影像中识别道路隔离带。由此，道路隔离带识别部111可以判断移动体的行驶过程中由摄像头拍摄的拍摄影像中是否存在道路隔离带。
但是，这仅为本发明的一实施例，道路隔离带识别部111的算法并不局限于以上所例示的算法。根据另一实例，道路隔离带识别部111可利用模板匹配算法等多种算法来在拍摄影像中识别道路隔离带。
另一方面，道路指示牌识别部112可从移动体的行驶过程中由摄像头拍摄的拍摄影像中实时识别道路指示牌。这种道路指示牌识别部112可从移动体的行驶过程中由摄像头拍摄的拍摄影像中检测道路指示牌来识别所述道路指示牌。作为一例，道路指示牌识别部112可以为了从所获得的拍摄影像中抽取特征(feature)而使拍摄影像的RGB值实现正规化。具体地，道路指示牌识别部112可将所拍摄的影像分类为仅存在红色(R，Red)值的第一影像、仅存在绿色(G，Green)值的第二影像及仅存在蓝色(B，Blue)值的第三影像。而且，道路指示牌识别部112可利用道路指示牌来识别被分类的第一影像、第二影像及第三影像共同呈现的特征。
这种道路指示牌识别部112可以包括：昼夜影像分类部112-1，将所获得的拍摄影像分类为白天拍摄影像和夜间拍摄影像；颜色转换部112-2，在白天拍摄影像的情况下，基于第一颜色转换模型对所述拍摄影像实施颜色转换，在夜间拍摄影像的情况下，基于第二颜色转换模型对所述拍摄影像实施颜色转换；二进制部112-3，以预设的图像元素值来对实现颜色转换的拍摄影像实施二进制；过滤部112-4，对二进制影像执行用于去除噪声的过滤；以及检测部112-5，利用道路指示牌的四角形特征来在拍摄影像中识别道路指示牌。由此，道路指示牌识别部112可以判断在移动体的行驶过程中由摄像头拍摄的拍摄影像中是否存在道路指示牌。
在此，昼夜影像分类部112-1可基于消失点确定部160所确定的消失点来确定拍摄影像内的关注区域，并利用所确定的关注区域的像素值来将拍摄影像分类为白天拍摄影像和夜间拍摄影像。
作为一例，白天拍摄影像和夜间拍摄影像可根据是在日落前拍摄还是在日落后拍摄来进行区分，而可以通过天空的亮度来区分是否日落。在此，天空位于消失点的上部区域，昼夜影像分类部112-1可设定消失点的上部区域为关注区域。而且，昼夜影像分类部112-1将所设定的关注区域的平均像素值与预设的值相比较，在比较结果为平均像素值大于预设的值的情况下，可判断所获得的拍摄影像为白天拍摄影像。只不过，在比较结果为平均像素值小于预设的值的情况下，昼夜影像分类部112-1可判断所获得的拍摄影像为夜间拍摄影像。
作为另一例，即使是日落状态下拍摄的影像，对设置有路灯等照明的区域的夜间拍摄影像而言，因像素值大而有可能被判断为白天拍摄影像。为了解决这种问题，昼夜影像分类部112-1可设定消失点的上部区域及消失点的下部区域为关注区域，并利用上部区域的像素值及下部区域的像素值来将拍摄影像分类为白天拍摄影像和夜间拍摄影像。在这种情况下，本发明一实施例的昼夜影像分类部112-1可以比以上的示例更为准确地分类昼夜拍摄影像。更具体地，昼夜影像分类部112-1可设定消失点的上部区域及下部区域为关注区域。而且，昼夜影像分类部112-1可计算出上部区域的平均像素值及下部区域的平均像素值。而且，昼夜影像分类部112-1可计算出上部区域的平均像素值和部区域的平均像素值的差值。而且，在平均像素值的差值大于预设的值的情况下，昼夜影像分类部112-1可判断所获得的拍摄影像为白天拍摄影像。只不过，在平均像素值的差值小于预设的值的情况下，昼夜影像分类部112-1可判断所获得的拍摄影像为夜间拍摄影像。
另一方面，由于照明仅在影像内的一部分区域进行显示，因而在基于消失点的上部区域的平均像素值来区分昼夜方面有可能不准确。由此，昼夜影像分类部112-1可计算出上部区域的照明所处的区域，即，具有最大像素值的区域的平均像素值和下部区域的平均像素值。而且，在两像素值的差值大于预设的值的情况下，昼夜影像分类部112-1可判断所获得的拍摄影像为白天拍摄影像。只不过，在平均像素值的差值小于预设的值的情况下，昼夜影像分类部112-1可判断所获得的拍摄影像为夜间拍摄影像。
另一方面，在以上的示例中，虽然以将所获得的实时拍摄影像分类为白天拍摄影像和夜间拍摄影像，并转换为各不同的颜色转换模型为例进行了说明，但并不局限于此。本发明再一实施例的道路指示牌识别部112可以无需划分白天拍摄影像和夜间拍摄影像而利用相同的颜色转换模型来执行道路指示牌识别步骤。更具体地，本发明再一实施例的道路指示牌识别部112可以包括：颜色转换部112-2，基于第三颜色转换模型来对所获得的拍摄影像实施颜色转换；二进制部112-3，以预设的图像元素值为基准对实现颜色转换的拍摄影像实施二进制；过滤部112-4，对二进制影像执行用于去除噪声的过滤；以及检测部112-5，利用道路指示牌的四角形特征来在拍摄影像中识别道路指示牌。在此，第三颜色转换模型可以为使白天拍摄影像及夜间拍摄影像均被转换为不受周边影响的颜色模型的颜色转换模型。
但是，这仅为本发明的一实施例，道路指示牌识别部112的算法并不局限于以上的示例。根据另一实例，道路指示牌识别部112可利用机器学习算法来在拍摄影像中识别道路指示牌。作为一例，道路指示牌识别部112可包括：瞄准部111-1，利用机器学习算法来生成与道路指示牌相对应的第一数据集和与非道路指示牌相对应的第二数据集；以及影像比较部，对所生成的第一数据集、第二数据集和拍摄影像进行比较，从而在拍摄影像中识别道路指示牌。由此，道路指示牌识别部112可判断在移动体的行驶过程中由摄像头拍摄的拍摄影像中是否存在道路指示牌。
另一方面，特定车道线图案识别部113可从移动体的行驶过程中由摄像头拍摄的拍摄影像中抽取车道线，并与将所抽取的车道线与预存储的特定车道线图案进行比较，从而可以识别画在道路分支点的特定车道线。由此，特定车道线图案识别部113可判断移动体的行驶过程中由摄像头拍摄的拍摄影像中是否存在特定车道线图案。
另一方面，若在分支点对象识别部110识别分支点对象，则位置关系确定部120可以确定移动体和分支点对象之间的位置关系。而且，控制部130可利用位置关系确定部120所确定的位置关系来判断以分支点为基准相分离的多个道路中的移动体所处的道路的信息，并基于移动体所处的道路的信息来生成分支点上的驾驶引导。
作为一例，位置关系确定部120能够以移动体和分支点对象中的一侧为基准来确定另一侧的方向。更具体地，位置关系确定部120可计算出拍摄影像内移动体的位置和拍摄影像内分支点对象的位置，并基于所计算出的拍摄影像内移动体的位置和拍摄影像内分支点对象的位置来确定移动体和分支点对象的方向关系。在设定移动体的位置作为基准的情况下，位置关系确定部120可基于所计算出的拍摄影像内移动体的位置来确定分支点对象位于移动体的左侧还是右侧。或者，位置关系确定部120可确定移动体的行驶方向，并基于所确定的移动体的行驶方向来确定移动体和分支点对象的方向关系。在设定移动体的行驶方向作为基准的情况下，位置关系确定部120可基于所确定的移动体的行驶方向来确定分支点对象位于移动体行驶方向线的左侧还是右侧。
在这种情况下，控制部130可基于位置关系确定部120所确定的方向来判断以分支点为基准相分离的多个道路中的移动体所处的道路的信息。作为一例，在多个道路包括以分支点为基准位于左侧的第一道路及以分支点为基准位于右侧的第二道路的情况下，若分支点对象以移动体的拍摄影像内的位置为基准位于右侧，则控制部130可以判断移动体位于第一道路，若分支点对象以移动体的拍摄影像内的位置为基准位于左侧，则控制部130可以判断移动体位于第二道路。或者，在多个道路包括以分支点为基准位于左侧的第一道路及以分支点为基准位于右侧的第二道路的情况下，若分支点对象以移动体的行驶方向线为基准位于右侧，则控制部130可以判断移动体位于第一道路，若分支点对象以移动体的行驶方向线为基准位于左侧，则控制部130可以判断移动体位于第二道路。
这种本发明的位置关系确定部120的确定过程可以在移动体根据移动体的行驶来经过分支点之前持续得到计算，控制部130可基于移动体的行驶过程期间内所计算出的位置关系信息来判断移动体所处的道路的信息。
另一方面，作为不同于以上示例的例，位置关系确定部120可以计算出拍摄影像内移动体的位置和拍摄影像内分支点对象的位置，并基于所计算出的拍摄影像内的各个位置来确定移动体和分支点对象的方向关系及距离。在以移动体的位置为基准进行设定的情况下，位置关系确定部120可基于所计算出的拍摄影像内移动体的位置来确定分支点对象位于移动体的左侧还是右侧，并可以确定两者的距离。在这种情况下，控制部130可基于位置关系确定部120所确定的距离来判断移动体在固定距离以内接近分支点对象。若判断移动体在规定距离以内接近分支点对象，则控制部130可基于位置关系确定部120所确定的方向关系来判断以分支点为基准相分离的多个道路中的移动体所处的道路的信息。作为一例，在多个道路包括以分支点为基准位于左侧的第一道路及以分支点为基准位于右侧的第二道路的情况下，首先，控制部130可以判断移动体是否在规定距离以内接近分支点对象。若判断移动体在规定距离以内接近分支点对象，则控制部130能够以移动体的拍摄影像内位置为基准来判断分支点对象位于右侧还是左侧。在分支点对象以移动体的拍摄影像内位置为基准位于右侧的情况下，可判断移动体位于第一道路，在分支点对象以移动体的拍摄影像内位置为基准位于左侧的情况下，可判断移动体位于第二道路。
另一方面，作为不同于以上示例的例，控制部130不仅可以考虑位置关系确定部120所确定的方向及距离，而且还可以考虑行驶速度确定部140所确定的移动体的速度及移动体的行驶方向，来预测以分支点为基准相分离的多个道路中的移动体所处的道路。
在此，行驶速度确定部140可利用多种方式来确定移动体的行驶速度。例如，行驶速度确定部140可以从与车辆的速度传感器及转向传感器中的至少一个相连接的车辆的变换器(例如，AVN、音频(Audio)、电子控制单元(ECU))中获得速度感测信息及转向感测信息中的至少一种。在此，车辆的速度传感器及转向传感器和变换器之间可通过控制器区域网络(CAN，Controller Area Network)通信或局域互连网络(LIN，Local InterconnectNetwork)通信来传输信息。在这种情况下，行驶速度确定部140可利用以规定时间(例如，1秒钟)单位接收的速度感测信息及转向感测信息来确定移动体的行驶速度及行驶方向。
作为另一例，行驶速度确定部140可以依次比较及分析移动体的行驶过程中实时拍摄的影像所包含的多个帧，并基于比较及分析结果来确定移动体的行驶速度及行驶方向。
另一方面，在这种情况下，控制部130可以考虑位置关系确定部120所确定的方向、距离和行驶速度确定部140所确定的移动体的行驶速度及移动体的行驶方向来预测以分支点为基准相分离的多个道路中的移动体所处的道路。作为一例，在多个道路包括以分支点为基准位于左侧的第一道路及以分支点为基准位于右侧的第二道路的情况下，首先，控制部130可基于位置关系确定部120所确定的方向来判断当前移动体位于第一道路还是第二道路。而且，控制部130可以考虑位置关系确定部120所确定的距离和行驶速度确定部140所确定的移动体的行驶速度及移动体的行驶方向来判断移动体是否可以通过转换方向等来从当前所处的道路向分支点的另一道路行驶。若判断移动体无法从当前所处的道路向分支点的另一道路行驶，则控制部130可判断移动体当前所处的道路为分支点中移动体所处的道路。只不过，若判断移动体可从当前所处的道路向分支点的另一道路行驶，则控制部130可以反映移动体的之后行驶状况，来判断为移动体所处的道路。
另一方面，本发明一实施例的驾驶引导提供装置100还可以包括全球定位系统位置信息获得部150，所述全球定位系统位置信息获得部150获得移动体的全球定位系统位置信息。在此，全球定位系统位置信息获得部150可通过全球导航卫星系统(GNSS，GlobalNavigation Satellite System)来获得数据。全球导航卫星系统意味着利用从人工卫星接收的电波信号来计算出接收终端的位置的导航系统。作为全球导航卫星系统的具体例，可根据操作主体分为全球定位系统、伽利略卫星导航系统(Galileo)、全球轨道导航卫星系统(GLONASS，Global Orbiting Navigational Satellite System)、站管理系统(COMPASS)、印度区域导航卫星系统(IRNSS，Indian Regional Navigational Satellite System)、准天顶卫星系统(QZSS，Quasi-Zenith Satellite System)等。因此，本发明一实施例的全球定位系统位置信息获得部150的名称可根据操作主体来以不同的方式发生变更。
另一方面，若基于全球定位系统位置信息获得部150所获得的全球定位系统位置信息来判断移动体在预设的距离以内接近分支点对象，则所述分支点对象识别部110可执行识别分支点对象的步骤。即，根据本发明的一实施例，若基于全球定位系统位置信息获得部150所获得的全球定位系统位置信息来判断移动体在预设的距离以内接近分支点对象，则可以使分支点对象识别部110活性化，若移动体未接近分支点对象，则可以使分支点对象识别部110非活性化。
并且，本发明一实施例的驾驶引导提供装置100还可以包括消失点确定部160，所述消失点确定部160利用拍摄影像来确定消失点。这种消失点确定部160可从车辆的驾驶过程中由摄像头拍摄的拍摄影像中抽取车道线，并可以确定所抽取的车道线延伸后相互交叉的点作为消失点。
在这种情况下，分支点对象识别部110可基于消失点来设定拍摄影像内的关注区域，并利用所确定的关注区域来在拍摄影像中识别分支点对象，而在拍摄影像内，关注区域的位置可根据分支点对象的种类来以不同的方式设定。更具体地，道路隔离带位于作为消失点的下部区域的道路，分支点对象识别部110可设定消失点的下部区域作为关注区域。并且，道路指示牌位于消失点的上部区域，分支点对象识别部110可设定消失点的上部区域作为关注区域。
另一方面，移动体在预设的距离以内接近分支点对象的情况下，设定移动体所处的道路的信息比所述移动体的全球定位系统位置信息更具有优先顺序，以作为用于判断移动体的位置的信息。即，在移动体根据行驶来接近分支点附近的情况下，可以同时获得移动体所处的道路信息和球定位系统位置信息，控制部130可基于两种信息中移动体所处的道路信息来判断移动体的位置。
而且，控制部130可基于根据优先顺序来判断的移动体的位置来执行目的地为止的路径引导或移动体的实时位置引导。作为一例，在基于移动体所处的道路的信息来判断移动体在分支点中脱离目的地为止的路径的情况下，控制部130可基于移动体所处的道路的信息来重新搜索目的地为止的路径，并可以生成基于重新搜索的路径引导。
根据这种本发明，在无法仅以全球定位系统坐标判断准确的位置的分支点中，可利用摄像头拍摄影像来准确地掌握移动体所行驶的道路，从而可以迅速判断移动体的当前位置和是否脱离路径。因此，与在掌握准确的全球定位系统坐标之前无法重新搜索路径的现有方式相比，在分支点中直接判断是否脱离车辆的行驶路径，并在脱离路径时，可以立刻执行路径的重新搜索，从而可以提供更加迅速和准确的路径引导。
对于这种驾驶引导提供装置100的工作，将参照图7至图15来进行更具体的说明。
图7为表示本发明一实施例的驾驶引导提供方法的流程图。参照图7，驾驶引导提供装置100可以获得移动体的行驶过程中由摄像头拍摄的拍摄影像(步骤S101)。在此，拍摄影像可以为在移动体的行驶过程中实时拍摄的影像。
而且，驾驶引导提供装置100可在获得的拍摄影像中识别用于表示道路的分支点的分支点对象(步骤S102)。在此，分支点对象可包括道路隔离带、道路指示牌及特定车道线图案中的至少一种。参照图8至图10来对这种步骤S102中的道路隔离带识别步骤及道路指示牌识别步骤进行更具体的说明。
而且，若在拍摄影像中识别分支点对象(步骤S103中“是”)，则驾驶引导提供装置100可以确定移动体和分支点对象之间的位置关系(步骤S104)。在此，位置关系可包括移动体和分支点对象之间的距离、以移动体和分支点对象中的一侧为基准的另一侧的方向、以移动体的行驶方向为基准的分支点对象的方向。
而且，驾驶引导提供装置100可利用确定的位置关系来判断以分支点为基准相分离的多个道路中的移动体所处的道路的信息(步骤S105)。作为一例，在包括以分支点为基准来设置的多个道路位于左侧的第一道路及以分支点为基准位于右侧的第二道路的情况下，在判断移动体所处的道路的信息的步骤(步骤S105)中，在分支点对象以移动体为基准位于右侧的情况下，可判断移动体位于第一道路，在分支点对象以移动体为基准位于左侧的情况下，可判断移动体位于第二道路。对于这种S105步骤，将参照图11来进行更具体的说明。
而且，驾驶引导提供装置100可基于移动体所处的道路的信息来提供分支点上的驾驶引导(步骤S106)。作为一例，在判断移动体基于移动体所处的道路的信息来脱离目的地为止的路径的情况下，可基于移动体所处的道路的信息来重新搜索目的地为止的路径，并可以提供基于重新搜索的路径引导。
图8为表示本发明一实施例的道路隔离带识别步骤的流程图。参照图8，首先，道路隔离带识别部111可利用机器学习算法来生成与道路隔离带相对应的第一数据集以及与非道路隔离带相对应的第二数据集(步骤S201)。以这种方式生成的第一数据集和第二数据集可通过机器学习算法的学习过程来得到更新，而随着学习过程的进行，第一数据集和第二数据集的数据准确度可以得到进一步的提高。
而且，道路隔离带识别部111可以对所生成的第一数据集、第二数据集和摄像头所拍摄的拍摄影像进行比较(步骤S202)。
而且，若比较结果判断拍摄影像和第一数据集的一致度高，则道路隔离带识别部111可以判断拍摄影像中存在道路隔离带(步骤S203)。
只不过，若比较判断拍摄影像和第二数据集的一致度高，则道路隔离带识别部111可以判断拍摄影像中不存在道路隔离带(步骤S204)。
图9为表示本发明一实施例的道路指示牌识别步骤的流程图。图10为用于说明本发明一实施例的道路指示牌识别步骤的概念图。
参照图9至图10，首先，道路指示牌识别部112可将摄像头拍摄影像分类为白天拍摄影像和夜间拍摄影像(步骤S301)。具体地，如图10，摄像头所拍摄的影像可分类为白天拍摄的白天拍摄影像1101和夜间拍摄的夜间拍摄影像1102。在这种情况下，道路指示牌识别部112可基于拍摄时间或拍摄影像的像素值、拍摄时间信息等来将摄像头拍摄影像分类为白天拍摄影像1101和夜间拍摄影像1102。
更具体地，昼夜影像分类部112-1可基于消失点确定部160所确定的消失点来确定拍摄影像内的关注区域，并利用所确定的关注区域的像素值来将拍摄影像分类为白天拍摄影像和夜间拍摄影像。
作为一例，白天拍摄影像和夜间拍摄影像可根据是在日落前拍摄还是在日落状态下拍摄来进行区分，而可以通过天空的亮度来区分是否日落。在此，天空位于消失点的上部区域，昼夜影像分类部112-1可设定消失点的上部区域为关注区域。而且，昼夜影像分类部112-1将所设定的关注区域的平均像素值与预设的值相比较，在比较结果为平均像素值大于预设的值的情况下，可判断所获得的拍摄影像为白天拍摄影像。只不过，在比较结果为平均像素值小于预设的值的情况下，昼夜影像分类部112-1可判断所获得的拍摄影像为夜间拍摄影像。
作为另一例，即使是日落状态下拍摄的影像，对设置有路灯等照明的区域的夜间拍摄影像而言，因像素值大而有可能被判断为白天拍摄影像。为了解决这种问题，昼夜影像分类部112-1可设定消失点的上部区域及消失点的下部区域为关注区域，并利用上部区域的像素值及下部区域的像素值来将拍摄影像分类为白天拍摄影像和夜间拍摄影像。在这种情况下，本发明一实施例的昼夜影像分类部112-1可以比以上的示例更为准确地分类昼夜拍摄影像。更具体地，昼夜影像分类部112-1可设定消失点的上部区域及下部区域为关注区域。而且，昼夜影像分类部112-1可计算出上部区域的平均像素值及下部区域的平均像素值。而且，昼夜影像分类部112-1可计算出上部区域的平均像素值和部区域的平均像素值的差值。而且，在平均像素值的差值大于预设的值的情况下，昼夜影像分类部112-1可判断所获得的拍摄影像为白天拍摄影像。只不过，在平均像素值的差值小于预设的值的情况下，昼夜影像分类部112-1可判断所获得的拍摄影像为夜间拍摄影像。
在摄像头拍摄影像为白天拍摄影像的情况下(步骤S302中“是”)，道路指示牌识别部112可基于第一颜色转换模型来对拍摄影像实施颜色转换(步骤S303)。在此，第一颜色转换模型可以为用于使白天拍摄影像转换为不受周边影响的颜色模型的颜色转换模型。在这种情况下，如图10，白天拍摄影像1101可以被转换为第一颜色模型影像1103。
只不过，在摄像头拍摄影像为夜间拍摄影像的情况下(步骤S302中“否”)，道路指示牌识别部112可基于第二颜色转换模型来对拍摄影像实施颜色转换(步骤S304)。在此，第二颜色转换模型可以为用于使夜间拍摄影像转换为不受周边影响的颜色模型的颜色转换模型。在这种情况下，如图10，夜间拍摄影像1102可以被转换为第二颜色模型影像1104。
这种第一颜色转换模型和第二颜色转换模型可以为互不相同的转换模型。
另一方面，道路指示牌识别部112能够以预设的图像元素值为基准对颜色转换后的拍摄影像实施二进制(步骤S305)。在此，用于实现第一颜色模型影像1103的二进制的预设的图像元素值和用于实现第二颜色模型影像1104的二进制的预设的图像元素值可以相同或不同。根据这种二进制，可生成道路指示牌区域得到明确区分的二进制影像。作为一例，如图10，第一颜色模型影像1103被转换为第一二进制影像1105，第二颜色模型影像1104被转换为第二二进制影像1106，而在两二进制影像1105、1106中，可以明确地区分道路指示牌区域与其他区域。
而且，道路指示牌识别部112可以对二进制影像执行用于去除噪声的过滤(步骤S306)。根据这种过滤，可在二进制影像中去除噪声，而道路指示牌的内部区域可以被与外侧相同的图像元素值填充。作为一例，如图10，第一二进制影像1105可以被转换为第一过滤影像1107，第二二进制影像1106可以被转换为第二过滤影像1108，而在两过滤影像1107、1108中，可以更加明确道路指示牌区域的四角形特征。
而且，道路指示牌识别部112可利用道路指示牌的四角形特征
Figure BDA0001547829670000221
来在拍摄影像中识别所述道路指示牌(步骤S307)。更具体地，道路指示牌识别部112可以判断在过滤影像1107、1108中是否存在具有与道路指示牌相对应的四角形特征的四角形区域。在过滤影像1107、1108中存在相应的四角形区域的情况下，可以判断拍摄影像中存在道路指示牌，并可以判断过滤影像1107、1108内的四角形区域的位置。只不过，在过滤影像1107、1108中不存在相应的四角形区域的情况下，可以判断拍摄影像中不存在道路指示牌。作为一例，如图10，在过滤影像1107、1108中存在与道路指示牌相对应的四角形区域的情况下，可以判断拍摄影像1101、1102中存在道路指示牌。而且，如图10的1109、1110，可基于过滤影像内四角形区域的位置来判断拍摄影像内道路指示牌的位置。
另一方面，在图10中，虽然以将实时拍摄影像分类为白天拍摄影像和夜间拍摄影像，并分别转换为不同的颜色转换模型为例进行了说明，但本发明并不局限于此。本发明的再一实施例的道路指示牌识别部112可以无需区分白天拍摄影像和夜间拍摄影像而利用相同的颜色转换模型来执行道路指示牌识别步骤。
另一方面，本发明一实施例的驾驶引导提供方法还可以包括利用拍摄影像来确定消失点的步骤。在这种情况下，识别分支点对象的步骤可以包括：基于消失点来设定拍摄影像内的关注区域的步骤；以及利用所确定的关注区域来在拍摄影像中识别所述分支点对象的步骤。在此，拍摄影像内的关注区域的位置可根据分支点对象的种类来以不同的方式设定。
并且，本发明一实施例的驾驶引导提供方法利用移动体和分支点对象的位置关系来判断以分支点为基准相分离的多个道路中的移动体所处的道路的信息，而对于此，将参照图11来进行更具体的说明。
图11的(a)部分、图11的(b)部分为用于说明本发明一实施例的移动体和分支点对象的位置关系确定方法的概念图。参照图11，位置关系确定部120可基于所计算出的拍摄影像内的位置来确定分支点对象位于移动体的左侧还是右侧。
更具体地，图11的(a)部分为表示分支点对象识别部110所识别的分支点对象为道路隔离带的情况下的一例的图。在这种情况下，位置关系确定部120可以计算出拍摄影像内移动体的位置1201和拍摄影像内道路隔离带1210的中心位置1202。而且，位置关系确定部120可以确定向垂直方向延伸拍摄影像内移动体的位置1201的线1203和道路隔离带1210的中心位置1202之间的方向关系。如图11的(a)部分所示，以与移动体相对应的延伸线1203为基准，道路隔离带1210的中心位置1202位于右侧，因此，位置关系确定部120可向右侧方向确定道路隔离带1210的方向信息。
图11的(b)部分为表示分支点对象识别部110所识别的分支点对象为道路指示牌1211、1212的情况下的一例的图。根据道路指示牌的一例，可以包括表示与第一道路相对应的指示牌的第一道路指示牌1211和表示与第二道路相对应的指示牌的第二道路指示牌1212。在这种情况下，位置关系确定部120可以计算出拍摄影像内移动体的位置1204和拍摄影像内道路指示牌1211、1212的中心位置1205。而且，位置关系确定部120可以确定向垂直方向延伸拍摄影像内移动体的位置1204的线1206和道路指示牌1211、1212的中心位置1205之间的方向关系。如图11的(b)部分所示，以与移动体相对应的延伸线1203为基准，道路指示牌1211、1212的中心位置1205位于左侧，因此，位置关系确定部120可以相左侧方向确定道路指示牌1211、1212的方向信息。
图12为表示本发明再一实施例的驾驶引导提供方法的流程图。参照图12，首先，驾驶引导提供装置100可以获得移动体的行驶过程中由摄像头拍摄的拍摄影像(步骤S401)。
而且，驾驶引导提供装置100可以获得移动体的全球定位系统位置信息(步骤S402)。作为一例，驾驶引导提供装置100可接收全球定位系统信号来计算出移动体的全球定位系统坐标。
而且，驾驶引导提供装置100可基于所获得的全球定位系统位置信息来判断移动体是否在预设的距离以内接近分支点对象(步骤S403)。更具体地，可在预存储的地图数据中存储有分支点对象的位置信息，驾驶引导提供装置100可基于移动体的全球定位系统位置信息和地图数据来判断移动体是否在预设的距离以内接近分支点对象。
在判断移动体在预设的距离以内接近分支点对象的情况下(步骤S403中“是”)，驾驶引导提供装置100可以识别从所获得的拍摄影像中表示道路的分支点的分支点对象(步骤S404)。
而且，若识别分支点对象，则驾驶引导提供装置100可以确定移动体和分支点对象之间的位置关系(步骤S405)。
而且，驾驶引导提供装置100可以利用所确定的位置关系来判断以分支点为基准相分离的多个道路中的移动体所处的道路的信息(步骤S406)。
而且，驾驶引导提供装置100可基于移动体所处的道路的信息来在分支点中提供驾驶引导(步骤S407)。
图13为表示本发明另一实施例的驾驶引导提供方法的流程图。参照图13，，首先，驾驶引导提供装置100可以获得移动体的行驶过程中由摄像头拍摄的拍摄影像(步骤S501)。而且，驾驶引导提供装置100可以获得移动体的全球定位系统位置信息(步骤S502)。而且，驾驶引导提供装置100可基于所获得的全球定位系统位置信息来判断移动体是否在预设的距离以内接近分支点对象(步骤S503)。在判断移动体在预设的距离以内接近分支点对象的情况下(步骤S503中“是”)，驾驶引导提供装置100可以在所获得的拍摄影像中识别用于表示道路的分支点的分支点对象(步骤S504)。而且，若识别分支点对象，则驾驶引导提供装置100可以确定移动体和分支点对象之间的位置关系(步骤S505)。而且，驾驶引导提供装置100可以利用所确定的位置关系来判断以分支点为基准相分离的多个道路中的移动体所处的道路的信息(步骤S506)。
而且，驾驶引导提供装置100可设定移动体所处的道路的信息比移动体的全球定位系统位置信息更具有优先顺序，以作为用于判断移动体的位置的信息(步骤S507)。而且，驾驶引导提供装置100可基于移动体所处的道路的信息来提供分支点上的驾驶引导(步骤S508)。更具体地，驾驶引导提供装置100可以设定移动体所处的道路的信息为第一顺序，设定全球定位系统位置信息为第二顺序，来判断所述移动体的位置。因此，在分支点进入地点附近，基于移动体所处的道路信息来计算出的移动体的位置和基于全球定位系统位置信息来计算出的移动体的位置不同的情况下，驾驶引导提供装置100可基于移动体所处的道路信息来判断移动体的位置。
另一方面，驾驶引导提供装置100可以判断移动体是否经过分支点对象(步骤S509)。若判断移动体经过分支点对象(步骤S509中“是”)，则驾驶引导提供装置100可基于移动体的全球定位系统位置信息来提供驾驶引导(步骤S510)。
这种驾驶引导可以包括用于引导目的地为止的路径的路径引导及用于显示移动体的实时位置的实时位置引导等。作为一例，在基于移动体所处的道路的信息来判断移动体脱离目的地为止的路径的情况下，驾驶引导提供装置100可基于移动体所处的道路的信息来重新搜索目的地为止的路径，并可以提供基于重新搜索的路径引导。
另一方面，这种驾驶引导提供装置100可以利用软件、硬件或它们的组合来体现。作为一例，根据硬件方式的体现，可以利用专用集成电路(ASICs，application specificintegrated circuits)、数字信号处理器(DSPs，digital signal processors)、数字信号处理设备(DSPDs，digital signal processing devices)、PLDs(programmable logicdevices)、可编程逻辑器件(FPGAs，field programmable gate arrays)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers)、微处理器(microprocessors)及用于执行其他功能的电单元中的至少一种来体现。
而且，驾驶引导提供装置100能够作为一模块设置于之后所述的电子装置200中。在这种情况下，驾驶引导提供装置100可以提供电子装置200的所述驾驶引导。对此，将参照图14进行具体说明。
图14为表示发明一实施例的电子装置的框图。参照图14，电子装置200可以包括存储部210、输入部220、输出部230、驾驶引导生成部240、增强现实提供部260、控制部270、通信部280、传感部290、电源部295的全部或一部分。
在此，电子装置200可以被体现为可向车辆的驾驶人员提供驾驶引导的智能手机、平板电脑、笔记本电脑、个人数字助理(PDA，personal digital assistant)、便携式多媒体播放器(PMP，portable multimedia player)、智能玻璃、工程玻璃、导航仪(navigation)、作为车载影像拍摄装置的汽车仪表凸轮(Car dash cam)或车载视频记录仪(Car videorecorder)等多种装置，并可以设置于车辆。
驾驶引导可包括路径引导、车道线脱离引导、车道线维持引导、前方车辆出发引导、信号灯变更引导、前方车辆碰撞防止引导、车行道变更引导、车行道引导、曲线引导等用于辅助车辆驾驶人员的驾驶的多种引导。
在此，路径引导可以包括在拍摄运行中的车辆的前方的影像中结合用户的位置、方向等各种信息来执行路径引导的增强现实路径引导、在二维(2D，2-Dimensional)或三维(3D，3-Dimensional)的地图数据中结合用户的位置、方向等各种信息来执行路径引导的二维或三维路径引导。
不仅如此，路径引导可以包括在航空地图数据中结合用户的位置、方向等各种信息来执行路径引导的航空地图路径引导。在此，路径引导不仅可以被解释为用户搭乘车辆来进行驾驶的情况，而且还可以被解释为用户在以走路或奔跑的方式移动的情况下的路径引导。
并且，车道线脱离引导也可以为引导行驶过程中的车辆是否脱离车道线的方式。
并且，车道线维持引导可以为引导车辆回到原来的行驶中的车行道的方式。
并且，前方车辆出发引导可以为引导位于停车中的车辆的前方的车辆是否出发的方式。
并且，信号灯变更引导可以为引导位于停车中的车辆的前方的信号灯是否变更信号的方式。作为一例，若从开启表示停止信号的红色信号灯的状态变更为表示出发信号的绿色信号灯，则可以对此进行引导。
并且，前方车辆碰撞防止引导可以为若与位于停车或行驶中的车辆的前方的车辆之间的距离在规定距离以内，则为了防止与前方车辆之间的碰撞而对此进行引导的方式。
并且，车行道变更引导可以为为了目的地为止的路径引导而引导从车辆所处的车行道向另一车行道变更的方式。
并且，车行道引导可以为引导当前车辆所处的车行道的方式。
并且，曲线引导可以为引导规定时间之后车辆所要行驶的道路为曲线的方式。
如这种可以提供多种引导的车辆的前方影像之类的驾驶相关影像可以被设置于车辆的摄像头或智能手机的摄像头拍摄。在此，摄像头可以为与设置在车辆的电子装置200形成为一体，从而拍摄车辆的前方的摄像头。
作为另一例，摄像头可以为与电子装置200单独设置于车辆来拍摄车辆的前方的摄像头。在这种情况下，摄像头可以为朝向车辆的前方来设置的额外的车载影像拍摄装置，电子装置200可通过有线/无线通信来与单独设置的车载影像拍摄装置接收拍摄影像，或者，若用于存储车载影像拍摄装置的拍摄影像的存储介质插入于电子装置200，则电子装置200可以接收拍摄影像。
以下，基于所述内容来更具体地说明本发明一实施例的电子装置200。
存储部210起到存储电子装置200的工作所需的多种数据及应用程序的功能。尤其，存储部210可以存储电子装置200的工作所需的数据，例如操作系统(OS)、路径搜索应用程序、地图数据等。并且，存储部210可存储根据电子装置200的工作来生成的数据，例如，所搜索的路径数据、所接收的影像等。
这种存储部210不仅可以体现为随机存取存储器(RAM，Random Access Memory)、闪存、只读存储器(ROM，Read Only Memory)、可擦写可编程只读存储器(EPROM，ErasableProgrammable ROM)、电可擦除可编程只读存储器(EEPROM，Electronically Erasable andProgrammable ROM)、寄存器、硬盘、可移动磁盘、存储卡及通用用户识别模块(USIM，Universal Subscriber Identity Module)等内置形态的存储元件，而且也可以体现为通用串行总线(USB)存储器等可拆装形态的存储元件。
输入部220起到将电子装置200的源于外部的物理输入转换为特定的电信号的功能。在此，输入部220可以包括用户输入部221和传声器部223的全部或一部分。
用户输入部221可接收触摸、推动工作等用户输入。在此，用户输入部221可以利用多种按钮的形态、用于接收触摸输入的触摸传感器、接收所接近的运动的非接触式传感器中的至少一种。
传声器部223可以接收用户的声音及在车辆的内外部发生的音响。
输出部230为以影像和/或声音方式向用户输出电子装置200的数据的装置。在此，输出部230可以包括显示部231和音频输出部233的全部或一部分。
显示部231为向用户输出能够以视觉性的方式进行识别的数据的装置。显示部231可以被体现为设置于电子装置200的外壳的前部面(前面)的显示部。并且，显示部231可以与电子装置200形成为一体来输出视觉性的识别数据，并如同平视显示器，与电子装置200单独设置来输出视觉性的识别数据。
音频输出部233为输出电子装置200能够以听觉性的方式识别的数据的装置。音频输出部233能够以用于表达声音的扬声器来体现需要向电子装置200的用户告知的数据。
驾驶引导生成部240可以执行所述驾驶引导提供装置100的功能。具体地，驾驶引导生成部240可以获得移动体的行驶过程中由摄像头拍摄的拍摄影像，并在所获得的拍摄影像中识别用于表示道路的分支点的分支点对象，若识别出分支点对象，则确定移动体和分支点对象之间的位置关系，利用位置关系来判断以分支点为基准相分离的多个道路中的移动体所处的道路的信息，并基于移动体所处的道路的信息来生成分支点上的驾驶引导。
增强现实提供部260可以提供增强现实视图模式。在此，增强现实可以为在呈现出用户实际所看到的现实世界的画面中以视觉性的方式重叠附加信息(例如，表示关注点(Point Of Interest：POI)的图像要素，引导曲线的图像要素，用于帮助驾驶人员的安全驾驶的多种附加信息等)来提供的方法。
这种增强现实提供部260可以包括校准部、三维空间生成部、对象生成部及映射部的全部或一部分。
校准部可以执行用于从摄像头所拍摄的拍摄影像中推测出与摄像头相对应的摄像头参数的校准(Calibration)。在此，摄像头参数为构成作为表示实拍空间映射在照片的关系的信息的摄像头行列的参数，所述摄像头参数可以包括摄像头外部参数(extrinsicparameters)及摄像头内部参数(intrinsic parameters)。
三维空间生成部可基于摄像头所拍摄的拍摄影像来生成虚拟三维空间。具体地，三维空间生成部可在二维的拍摄影像中适用校准部所推测的摄像头参数来生成虚拟三维空间。
对象生成部可在增强现实上生成用于进行引导的对象，例如，路径引导对象、车行道变更引导对象、车道线脱离引导对象及曲线引导对象等。
映射部可以在三维空间生成部所生成的虚拟三维空间映射对象生成部所生成的对象。具体地，映射部可以确定对象生成部所生成的对象的虚拟三维空间中的位置，并可以在所确定的位置中执行对象的映射。
另一方面，通信部280可以为了使电子装置200与其他装置进行通信而设。通信部280可以包括位置数据部281、无线互联网部283、广播收发部285、移动通信部286、近距离通信部287及有线通信部289的全部或一部分。
位置数据部281为通过全球导航卫星系统来获得位置数据的装置。全球导航卫星系统意味着可以利用从人工卫星接收的电波信号来计算出接收终端的位置的导航系统。作为全球导航卫星系统的具体例，可根据其操作主体来分为全球定位系统、伽利略卫星导航系统、全球轨道导航卫星系统、站管理系统、印度区域导航卫星系统及准天顶卫星系统等。本发明一实施例的电子装置200的位置数据部281可以接收在使用电子装置200的区域进行服务的全球导航卫星系统信号来获得位置数据。或者，位置数据部281除了与全球导航卫星系统进行通信之外，还可以通过与基站或接入点(AP，Access Point)的通信来获得位置数据。
无线互联网部283为接入无线互联网来获得数据或发送数据的装置。无线互联网部283可通过无线局域网(WLAN，Wireless LAN)，无线宽带(Wibro，Wireless broadband)，全球微波互联接入(Wimax，World interoperability for microwave access)，高速下行分组接入(HSDPA，High Speed Downlink Packet Access)的以执行无线数据收发的方式定义的多种通信协议来接入互联网。
广播收发部285为通过各种广播系统来收发广播信号的装置。可通过广播收发部285来进行收发的广播系统可以为地面数字多媒体广播(DMBT，Digital MultimediaBroadcasting Terrestrial)，数字多媒体广播卫星(DMBS，Digital MultimediaBroadcasting Satellite)，媒体转发链接(MediaFLO，Media Forward Link Only)，手持数字视频广播(DVBH，Digital Video Broadcast Handheld)，综合业务数字地面广播(ISDBT，Integrated Services Digital Broadcast Terrestrial)等。通过广播收发部285来进行收发的广播信号可以包含交通数据、生活数据等。
移动通信部286可根据第三代移动通信技术(3G，3rd Generation)、第三代合作伙伴计划(3GPP，3rd Generation Partnership Project)、长期演进技术(LTE，Long TermEvolution)等多种移动通信规格来接入移动通信网，从而进行声音及数据通信。
近距离通信部287为用于进行近距离通信的装置。如上所述，近距离通信部287可通过蓝牙(Bluetooth)、射频识别技术(RFID，Radio Frequency Identification)、红外线通信(IrDA，Infrared Data Association)、超宽带(UWB，Ultra WideBand)、紫峰(ZigBee)、近场通信(NFC，Near Field Communication)、无线保真(Wi-Fi，Wireless-Fidelity)等来进行通信。
有线通信部289为能够使电子装置200以有线方式与其他装置相连接的接口装置。有线通信部289可以为可通过通用串行总线端口(USB Port)来进行通信的通用串行总线模块。
这种通信部280可利用位置数据部281、无线互联网部283、广播收发部285、移动通信部286、近距离通信部287、有线通信部289中的至少一种来与其他装置进行通信。
作为一例，在电子装置200不包括摄像头功能的情况下，可利用近距离通信部287、有线通信部289中的至少一种来接收汽车仪表凸轮(Car dash cam)或车载视频记录仪(Carvideo recorder)之类的车载影像拍摄装置所拍摄的影像。
作为另一例，在与多个装置进行通信的情况下，一个可以通过近距离通信部287进行通信，另一个可以通过有线通信部289来进行通信。
传感部290为可以感测电子装置200的当前状态的装置。传感部290可以包括运动传感部291和光传感部293的全部或一部分。
运动传感部291可以感测电子装置200在三维空间上的运动。运动传感部291可包括3轴地磁传感器及3轴加速度传感器。可使通过运动传感部291来获得的运动数据与通过位置数据部281来获得的位置数据相结合，从而可以更加准确地计算出附着有电子装置200的车辆的轨迹。
光传感部293为测定电子装置(100)的周边照度(illuminance)的装置。可利用通过光传感部293来获得的照度数据来改变显示部231的亮度与周边亮度相对应。
电源部295为用于对电子装置200的工作或与电子装置200相连接的其他装置的工作而提供所需电源的装置。电源部295可以为从内置于电子装置200的电池或车辆等外部电源接收电源的装置。并且，电源部295可根据接收电源的形态来体现为有线通信部289或体现为以无线方式接收的装置。
控制部270控制电子装置200的整体工作。具体地，控制部270可以控制存储部210、输入部220、输出部230、驾驶引导生成部240、增强现实提供部260、通信部280、传感部290及电源部295的全部或一部分。
尤其，若驾驶引导生成部240基于移动体所处的道路的信息来生成分支点上的驾驶引导，则控制部270能够以输出所生成的驾驶引导的方式控制输出部230。作为一例，在基于移动体所处的道路的信息来判断移动体脱离目的地为止的路径的情况下，控制部270能够以基于移动体所处的道路的信息来重新搜索目的地为止的路径，并显示基于重新搜索的路径引导的方式控制显示部231。
另一方面，可在增强现实画面内执行这种驾驶引导。具体地，增强现实提供部260可生成驾驶引导对象，并在虚拟三维空间中进行映射来生成增强现实画面，控制部270能够以显示所生成的所述增强现实画面的方式控制显示部231。
图15为表示本发明一实施例的电子装置不具有拍摄部的情况下的体现形态的图。参照图15，与车载电子装置200单独设置的车载影像拍摄装置300可利用有线/无线通信方式来构成本发明一实施例的系统。
车载电子装置200可包括设置于外壳291的前部面的显示部231、用户输入部221及传声器部223。
车载影像拍摄装置300可包括摄像头322、传声器部324及附着部381。
图16为表示本发明一实施例的电子装置具有拍摄部的情况下的体现形态的图。参照图16，在电子装置200包括拍摄部250的情况下，电子装置200的拍摄部250可以拍摄车辆的前方，用户可以识别电子装置200的显示部分。由此，可以体现本发明一实施例的系统。
图17为表示本发明一实施例的利用平视显示器的体现形态的图。参照图17，平视显示器可通过与其他装置之间的有线/无线通信来在平视显示器上显示增强现实引导画面。
作为一例，可通过利用车辆前挡风玻璃的平视显示器或通过利用额外的影像输出装置的影像覆盖等来提供增强现实，像这样，增强现实提供部260可以生成现实影像或覆盖于玻璃上的接口图像等。由此，可以体现增强现实导航仪或车辆信息娱乐系统等。
另一方面，所述本发明的多种实施例的驾驶引导提供方法可体现为程序，并向服务器或设备提供。由此，各装置可以接入存储有程序的服务器或设备，从而可以下载所有程序。
并且，所述本发明的多种实施例的驾驶引导提供方法可体现为程序，并存储于多种非临时性计算机可读介质(non-transitory computer readable medium)来提供。非临时性计算机可读介质并不意味着像寄存器、缓存、存储器一样在短时间内存储数据的介质，而是意味着半永久性地存储数据，并可以通过设备来读取(reading)的介质。具体地，所述多种应用程序或多个程序可以存储于光盘(CD)、数字化视频光盘(DVD)、硬盘、蓝光光盘、通用串行总线、存储卡、ROM等非临时性计算机可读介质来提供。
并且，以上虽对本发明的优选实施例进行了图示说明，但本发明并不局限于所述特定的实施例，也可以在不脱离权利要求所请求保护的本发明的要旨的情况下，由本发明所属领域的技术人员进行多种变形实施，而这种变形实施不应从本发明的技术思想或前景中单独理解。

Claims (19)

1.一种驾驶引导提供方法，其利用摄像头的拍摄影像，其特征在于，包括：
获得在移动体的行驶过程中由摄像头拍摄的拍摄影像的步骤；
在所获得的所述拍摄影像中识别用于表示道路的分支点的分支点对象的步骤；
计算出所述拍摄影像中所述移动体的位置和所述分支点对象的位置，并且确定所述移动体与所述分支点对象之间的位置关系的步骤；
利用所确定的所述位置关系来判断以所述分支点为基准来分离的多个道路中所述移动体所处的道路的信息的步骤；以及
基于所述移动体所处的道路的信息来提供所述分支点上的驾驶引导的步骤；其中
所述位置关系包括以所述移动体和所述分支点对象中的一侧为基准来确定另一侧的方向以及所述一侧与所述另一侧之间的距离，并且
利用所述位置关系来判断的步骤包括：
基于所确定的距离判断所述移动体是否在规定距离以内接近所述分支点对象的步骤；以及
若判断所述移动体在规定距离以内接近所述分支点对象，则基于所述规定距离以内的情况下的所述方向关系来判断以所述分支点为基准来分离的多个道路中移动体所处的道路的步骤。
2.根据权利要求1所述的驾驶引导提供方法，其特征在于，所述分支点对象包括道路隔离带、道路指示牌及特定车道线图案中的至少一种。
3.根据权利要求2所述的驾驶引导提供方法，其特征在于，识别所述道路隔离带的步骤包括：
生成与道路隔离带相对应的第一数据集和与非道路隔离带相对应的第二数据集的步骤；以及
利用所生成的所述第一数据集及第二数据集来在所获得的所述拍摄影像中识别所述道路隔离带的步骤。
4.根据权利要求2所述的驾驶引导提供方法，其特征在于，识别所述道路指示牌的步骤包括：
将所获得的所述拍摄影像分类为白天拍摄影像和夜间拍摄影像的步骤；
在白天拍摄影像的情况下，基于第一颜色转换模型来对所述拍摄影像实施颜色转换的步骤；
在夜间拍摄影像的情况下，基于第二颜色转换模型来对所述拍摄影像实施颜色转换的步骤；
以预设的图像元素值为基准，对实现颜色转换的所述拍摄影像实施二进制的步骤；
对所述二进制影像执行用于去除噪声的过滤的步骤；以及
利用所述道路指示牌的特征点来在所述拍摄影像中识别所述道路指示牌的步骤。
5.根据权利要求4所述的驾驶引导提供方法，其特征在于，进行上述分类的步骤包括：
对消失点的上部区域的平均像素值和预设的值进行比较的步骤；
在所述平均像素值大于预设的值的情况下，判断所获得的拍摄影像为白天拍摄影像的步骤；以及
在所述平均像素值小于预设的值的情况下，判断所获得的拍摄影像为夜间拍摄影像的步骤。
6.根据权利要求4所述的驾驶引导提供方法，其特征在于，进行上述分类的步骤包括：
计算出消失点的上部区域和下部区域的各个平均像素值的步骤；
计算出所述上部区域的平均像素值与所述下部区域的平均像素值之间的差值的步骤；
在所述平均像素值的差值大于预设的值的情况下，判断所获得的拍摄影像为白天拍摄影像的步骤；以及
在所述平均像素值的差值小于预设的值的情况下，判断所获得的拍摄影像为夜间拍摄影像的步骤。
7.根据权利要求6所述的驾驶引导提供方法，其特征在于，在计算出所述平均像素值的步骤中，分别计算出在所述上部区域内具有最大平均像素值的区域的平均像素值及下部区域的平均像素值。
8.根据权利要求2所述的驾驶引导提供方法，其特征在于，识别所述道路指示牌的步骤包括：
利用第三颜色模型来对所获得的所述拍摄影像实施颜色转换的步骤；
以预设的图像元素值为基准对实现颜色转换的所述拍摄影像实施二进制的步骤；
对所述二进制影像执行用于去除噪声的过滤的步骤；以及
利用所述道路指示牌的特征点来在所述拍摄影像中识别所述道路指示牌的步骤。
9.根据权利要求1所述的驾驶引导提供方法，其特征在于，在所述多个道路包括以分支点为基准位于左侧的第一道路及以分支点为基准位于右侧的第二道路的情况下，在进行所述判断的步骤中，
在以所述移动体为基准，所述分支点对象位于右侧的情况下，判断所述移动体位于所述第一道路，
在以所述移动体为基准，所述分支点对象位于左侧的情况下，判断所述移动体位于所述第二道路。
10.根据权利要求1所述的驾驶引导提供方法，其特征在于，
所述驾驶引导提供方法还包括确定所述移动体的速度及所述移动体的行驶方向的步骤，
进行所述判断的步骤包括考虑所述移动体的速度、所述移动体的行驶方向及所述位置关系中的至少一种来预测以所述分支点为基准相分离的多个道路中所述移动体应处的道路。
11.根据权利要求1所述的驾驶引导提供方法，其特征在于，
还包括获得所述移动体的全球定位系统位置信息的步骤，
若基于所获得的所述全球定位系统位置信息来判断所述移动体在预设的距离以内接近所述分支点对象，则执行所述识别的步骤。
12.根据权利要求2所述的驾驶引导提供方法，其特征在于，
还包括利用所述拍摄影像来确定消失点的步骤，
识别所述分支点对象的步骤包括：
基于所述消失点来设定所述拍摄影像内的关注区域的步骤；以及
利用所设定的所述关注区域来在所述拍摄影像中识别所述分支点对象的步骤，
在所述拍摄影像内，所述关注区域的位置根据所述分支点对象的种类来以不同的方式设定。
13.根据权利要求1所述的驾驶引导提供方法，其特征在于，还包括：
获得所述移动体的全球定位系统位置信息的步骤；以及
在所述移动体在预设的距离以内接近所述分支点对象的情况下，设定所述移动体所处的道路的信息比所述移动体的全球定位系统位置信息更具有优先顺序，以作为用于判断所述移动体的位置的信息的步骤。
14.根据权利要求13所述的驾驶引导提供方法，其特征在于，提供所述驾驶引导的步骤包括：
在基于所述移动体所处的道路的信息来判断所述移动体脱离目的地为止的路径的情况下，基于所述移动体所处的道路的信息来重新搜索目的地为止的路径的步骤；以及
提供基于所述重新搜索的路径引导的步骤。
15.一种驾驶引导提供装置，其特征在于，包括：
分支点对象识别部，从在移动体的行驶过程中由摄像头拍摄的拍摄影像中识别用于表示道路的分支点的分支点对象；
位置关系确定部，计算出所述拍摄影像中所述移动体的位置和所述分支点对象的位置，并且确定所述移动体与所述分支点对象之间的位置关系；以及
控制部，在以所述分支点为基准相分离的多个道路中，利用所确定的位置关系来判断所述移动体所处的道路的信息，基于所述移动体所处的道路信息来生成所述分支点上的驾驶引导；其中
所述位置关系包括以所述移动体和所述分支点对象中的一侧为基准来确定另一侧的方向以及所述一侧与所述另一侧之间的距离，并且
所述控制部基于所确定的距离判断所述移动体是否在规定距离以内接近所述分支点对象，若判断所述移动体在规定距离以内接近所述分支点对象，则基于所述规定距离以内的情况下的所述方向关系来判断以所述分支点为基准来分离的多个道路中移动体所处的道路。
16.根据权利要求15所述的驾驶引导提供装置，其特征在于，
所述位置关系确定部以所述移动体和所述分支点对象中的一侧为基准来确定另一侧的方向，
在所述多个道路包括以分支点为基准位于左侧的第一道路及以分支点为基准位于右侧的第二道路的情况下，当以所述移动体为基准，所述分支点对象位于右侧时，所述控制部判断所述移动体位于所述第一道路，当以所述移动体为基准，所述分支点对象位于左侧时，所述控制部判断所述移动体位于所述第二道路。
17.根据权利要求16所述的驾驶引导提供装置，其特征在于，
所述驾驶引导提供装置还包括行驶速度确定部，所述行驶速度确定部确定所述移动体的速度及所述移动体的行驶方向，
所述控制部考虑所述移动体的速度、所述移动体的行驶方向及所述位置关系中的至少一种来预测以所述分支点为基准相分离的多个道路中所述移动体应处的道路。
18.根据权利要求15所述的驾驶引导提供装置，其特征在于，
还包括全球定位系统位置信息获得部，所述全球定位系统位置信息获得部获得所述移动体的全球定位系统位置信息，
所述控制部在所述移动体在预设的距离以内接近所述分支点对象的情况下，设定所述移动体所处的道路的信息比所述移动体的全球定位系统位置信息更具有优先顺序，以作为用于判断所述移动体的位置的信息。
19.一种驾驶引导提供方法，在记录有用于执行驾驶引导提供方法的程序的计算机可读记录介质中，所述驾驶引导提供方法利用摄像头的拍摄影像，所述驾驶引导提供方法的特征在于，包括：
获得在移动体的行驶过程中由摄像头拍摄的拍摄影像的步骤；
在所获得的所述拍摄影像中识别用于表示道路的分支点的分支点对象的步骤；
计算出所述拍摄影像中所述移动体的位置和所述分支点对象的位置，并且确定所述移动体与所述分支点对象之间的位置关系的步骤；
利用所确定的所述位置关系来判断以所述分支点为基准来分离的多个道路中所述移动体所处的道路的信息的步骤；以及
基于所述移动体所处的道路的信息来提供所述分支点上的驾驶引导的步骤；其中
所述位置关系包括以所述移动体和所述分支点对象中的一侧为基准来确定另一侧的方向以及所述一侧与所述另一侧之间的距离，并且
利用所述位置关系来判断的步骤包括：
基于所确定的距离判断所述移动体是否在规定距离以内接近所述分支点对象的步骤；以及
若判断所述移动体在规定距离以内接近所述分支点对象，则基于所述规定距离以内的情况下的所述方向关系来判断以所述分支点为基准来分离的多个道路中移动体所处的道路的步骤。
CN201810035613.7A 2017-01-17 2018-01-15 利用摄像头的拍摄影像的驾驶引导提供方法及装置 Active CN108335507B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-20170008307 2017-01-17
KR1020170008307A KR20180084556A (ko) 2017-01-17 2017-01-17 카메라의 촬영 영상을 이용한 운전 안내 제공 방법, 운전 안내 제공 장치, 전자 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
CN108335507A CN108335507A (zh) 2018-07-27
CN108335507B true CN108335507B (zh) 2021-06-29

Family

ID=62924219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810035613.7A Active CN108335507B (zh) 2017-01-17 2018-01-15 利用摄像头的拍摄影像的驾驶引导提供方法及装置

Country Status (2)

Country Link
KR (1) KR20180084556A (zh)
CN (1) CN108335507B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6995079B2 (ja) * 2019-03-29 2022-01-14 本田技研工業株式会社 情報取得装置
KR102645503B1 (ko) * 2020-11-06 2024-03-11 카페24 주식회사 이탈 방지를 위한 인공 지능 기반의 보행 안내 장치 및 방법
CN114427876B (zh) * 2021-12-15 2023-11-28 武汉中海庭数据技术有限公司 一种交通看板关联关系的自动化检查方法及系统
KR102456083B1 (ko) * 2022-04-19 2022-10-19 한국생산기술연구원 영상기반 주행 속도 및 방향 추론 장치 및 이를 이용한 영상기반 주행 속도 및 방향 추론 방법

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1841023A (zh) * 2005-01-28 2006-10-04 爱信艾达株式会社 车辆位置识别装置及车辆位置识别方法
EP1752947A1 (en) * 2004-05-19 2007-02-14 HONDA MOTOR CO., Ltd. Lane boundary recognition apparatus for vehicle
CN101369312A (zh) * 2007-08-17 2009-02-18 日电（中国）有限公司 检测图像中交叉口的方法和设备
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理系统及方法
CN101675442A (zh) * 2007-05-25 2010-03-17 爱信艾达株式会社 车道确定装置、车道确定方法及使用该装置的导航设备
CN102201167A (zh) * 2010-04-07 2011-09-28 宫宁生 基于视频的汽车车道自动识别方法
KR20120078736A (ko) * 2009-11-27 2012-07-10 도요타지도샤가부시키가이샤 운전 지원 장치 및 운전 지원 방법
CN103206960A (zh) * 2012-01-13 2013-07-17 北京四维图新科技股份有限公司 一种路径导航方法和装置
US8600673B2 (en) * 2007-05-31 2013-12-03 Aisin Aw Co., Ltd. Driving assistance apparatus
CN103842774A (zh) * 2011-11-02 2014-06-04 爱信艾达株式会社 车道引导显示系统、车道引导显示方法及车道引导显示程序
CN104508708A (zh) * 2012-08-13 2015-04-08 本田技研工业株式会社 道路环境识别装置
KR101573764B1 (ko) * 2014-07-28 2015-12-02 현대모비스 주식회사 차량의 주행 차로 인식 시스템 및 방법
JP2016532975A (ja) * 2013-09-06 2016-10-20 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 自動車の誤走行の確実性を検査する方法および制御検出装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674878B2 (en) * 2001-06-07 2004-01-06 Facet Technology Corp. System for automated determination of retroreflectivity of road signs and other reflective objects
JP4861850B2 (ja) * 2007-02-13 2012-01-25 アイシン・エィ・ダブリュ株式会社 レーン判定装置及びレーン判定方法
CN101470801B (zh) * 2007-12-24 2011-06-01 财团法人车辆研究测试中心 车辆偏移的检知方法
CN102313554B (zh) * 2010-06-30 2014-04-16 株式会社电装 车载导航系统
CN102184413B (zh) * 2011-05-16 2013-06-12 浙江大华技术股份有限公司 车辆智能监控系统中车身颜色自动识别方法
CN103954292B (zh) * 2012-05-30 2017-02-22 常州市新科汽车电子有限公司 导航仪根据道路车线对道路主辅路的匹配方法
CN103940436B (zh) * 2012-05-30 2017-02-01 常州市新科汽车电子有限公司 实时性和准确性较高的导航仪的道路主辅路的匹配方法
CN103530622B (zh) * 2013-11-07 2017-03-29 青岛海信网络科技股份有限公司 一种车辆车标识别方法
US10037469B2 (en) * 2013-12-10 2018-07-31 Google Llc Image location through large object detection
KR102383425B1 (ko) * 2014-12-01 2022-04-07 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR102406490B1 (ko) * 2014-12-01 2022-06-10 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
US10025996B2 (en) * 2014-12-22 2018-07-17 Volkswagen Ag Early detection of exit only and shared lanes using perception technology
CN105335708A (zh) * 2015-10-22 2016-02-17 四川膨旭科技有限公司 车辆行驶过程中对路标、路牌进行识别的系统
CN105469115B (zh) * 2015-11-25 2018-09-18 天津大学 基于统计特征的昼夜图像识别方法
CN105631880B (zh) * 2015-12-31 2019-03-22 百度在线网络技术（北京）有限公司 车道线分割方法和装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1752947A1 (en) * 2004-05-19 2007-02-14 HONDA MOTOR CO., Ltd. Lane boundary recognition apparatus for vehicle
CN1841023A (zh) * 2005-01-28 2006-10-04 爱信艾达株式会社 车辆位置识别装置及车辆位置识别方法
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理系统及方法
CN101675442A (zh) * 2007-05-25 2010-03-17 爱信艾达株式会社 车道确定装置、车道确定方法及使用该装置的导航设备
US8600673B2 (en) * 2007-05-31 2013-12-03 Aisin Aw Co., Ltd. Driving assistance apparatus
CN101369312A (zh) * 2007-08-17 2009-02-18 日电（中国）有限公司 检测图像中交叉口的方法和设备
KR20120078736A (ko) * 2009-11-27 2012-07-10 도요타지도샤가부시키가이샤 운전 지원 장치 및 운전 지원 방법
CN102201167A (zh) * 2010-04-07 2011-09-28 宫宁生 基于视频的汽车车道自动识别方法
CN103842774A (zh) * 2011-11-02 2014-06-04 爱信艾达株式会社 车道引导显示系统、车道引导显示方法及车道引导显示程序
CN103206960A (zh) * 2012-01-13 2013-07-17 北京四维图新科技股份有限公司 一种路径导航方法和装置
CN104508708A (zh) * 2012-08-13 2015-04-08 本田技研工业株式会社 道路环境识别装置
JP2016532975A (ja) * 2013-09-06 2016-10-20 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 自動車の誤走行の確実性を検査する方法および制御検出装置
KR101573764B1 (ko) * 2014-07-28 2015-12-02 현대모비스 주식회사 차량의 주행 차로 인식 시스템 및 방법

Also Published As

Publication number Publication date
KR20180084556A (ko) 2018-07-25
CN108335507A (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
US11543256B2 (en) Electronic apparatus and control method thereof
US9987926B2 (en) Electronic apparatus, control method of electronic apparatus and computer readable recording medium
CN111284487B (zh) 车道线显示方法以及执行该方法的电子设备
US11049327B2 (en) Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
US11030816B2 (en) Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
US20170199049A1 (en) Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
CN108335507B (zh) 利用摄像头的拍摄影像的驾驶引导提供方法及装置
US20210224560A1 (en) Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
CN111681455B (zh) 电子装置的控制方法、电子装置以及记录介质
KR20150144681A (ko) 전자 장치 및 그의 제어 방법
US11227493B2 (en) Road speed limit identification method, road speed limit identification apparatus, electronic apparatus, computer program, and computer readable recording medium
KR102233391B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR20160065724A (ko) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN113516014A (zh) 车道线检测方法、车道线检测装置、电子设备、计算机程序以及计算机可读记录介质
KR102406490B1 (ko) 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR102299501B1 (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR20210038495A (ko) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant