CN105620364A - 提供驾驶信息的方法和装置 - Google Patents

提供驾驶信息的方法和装置 Download PDF

Info

Publication number
CN105620364A
CN105620364A CN201510783558.6A CN201510783558A CN105620364A CN 105620364 A CN105620364 A CN 105620364A CN 201510783558 A CN201510783558 A CN 201510783558A CN 105620364 A CN105620364 A CN 105620364A
Authority
CN
China
Prior art keywords
information
driver
output
image
point location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510783558.6A
Other languages
English (en)
Inventor
李亨求
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN105620364A publication Critical patent/CN105620364A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明涉及一种驾驶信息提供装置以及一种驾驶信息提供方法，所述装置包括：光场摄像机，其在车辆的至少一个方向上拍摄图像，以输出图像信息；驾驶员视线检测单元，其输出车辆驾驶员观看车辆外部的观看点位置；深度信息计算单元，其从所述图像信息中输出三维深度信息；以及图像输出单元，基于车辆驾驶员的观看点位置和三维深度信息，所述图像输出单元将预定图像输出给车辆驾驶员。

Description

提供驾驶信息的方法和装置
相关技术交叉引用
本申请要求2014年11月21日提交的申请No.10-2014-0163771的韩国专利申请的优先权，该申请的全部内容以引用的形式结合于此，用于通过该引用的所有目的。
技术领域
本发明涉及一种驾驶信息提供装置及其方法，更具体地说，涉及一种将根据驾驶员的视线位置的车辆的外部图像、交通信息以及导航信息提供给车辆驾驶员的驾驶信息提供装置及其方法。
背景技术
近来，获取并分析车辆的外部图像，以将结果提供给车辆驾驶员的技术被应用在许多车辆中。然而，由于正常的摄像机仅输出对应于一个焦点的外部图像，所以提供给车辆驾驶员的信息是有限的。
相反，当在车辆中设置若干个摄像机时，这些摄像机可能会阻碍驾驶员的视野，并且需要大量的费用来将这些摄像机提供在驾驶员的视线的每一个位置处。此外，在固定这些摄像机时可能会存在困难。
光场摄像机是多焦点摄像机。该光场摄像机包括所捕捉的图像中的所有对象的深度信息。
近来，正在研究检测驾驶员的视线位置以及将根据视线位置的车辆的外部图像和驾驶信息提供给车辆驾驶员的技术。
发明内容
本发明致力于提供一种利用设置在车辆中的摄像机来输出驾驶员的视线位置、利用光场摄像机来输出图像以及将根据驾驶员的视线位置的车辆的一侧的图像、交通信息或导航信息提供给车辆驾驶员的驾驶信息提供装置及驾驶信息提供方法。
本发明的对象并不限于上述所描述的对象，并且从以下的描述中，其他没有被描述的对象将会清楚的被本领域技术人员所理解。
本发明一示意性实施方式提供一种驾驶信息提供装置，包括：光场摄像机，其在车辆的至少一个方向上拍摄图像，以输出图像信息；驾驶员视线检测单元，其输出车辆驾驶员的观看点位置；深度信息计算单元，其从所述图像信息中输出三维深度信息；以及图像输出单元，基于车辆驾驶员的观看点位置和三维深度信息，所述图像输出单元将预定图像输出给车辆驾驶员。
考虑到所述驾驶员的瞳孔的上、下、左和右移动方向，所述驾驶员视线检测单元可输出驾驶员观看外部的观看点位置。
考虑到所述驾驶员的瞳孔的上、下、左和右移动方向中最常见的移动方向，所述驾驶员视线检测单元可输出驾驶员观看外部的观看点位置。
所述驾驶员视线检测单元可对所述驾驶员的眼睛在上、下、左和右方向上移动了多少次进行计数，以计算频率。
所述深度信息计算单元可从根据驾驶员观看车辆外部的观看点位置的一个方向上的车辆的图像中输出三维深度信息。
所述装置还可包括驾驶信息提供单元，考虑到车辆驾驶员的观看点位置，所述驾驶信息提供单元输出交通信息和导航信息中的至少一个。
所述交通信息可包括道路信息、车道信息和交通标志信息，以及导航信息包括天气、界标和地理特征。
所述驾驶信息提供单元可测量道路表面的反射率，以将道路状态变化告知车辆驾驶员。
本发明的另一示意性实施方式提供一种驾驶信息提供方法，包括：输出车辆驾驶员的观看点位置；在至少一个方向上拍摄车辆的图像，以输出图像信息；从所述车辆的图像信息中输出三维深度信息；以及基于所述车辆驾驶员的观看点位置和所述三维深度信息，将预定图像输出给车辆驾驶员。
在观看点位置的输出中，在通过拍摄驾驶员的眼睛所获得的图像中可设置感兴趣的区域，以检测驾驶员的面部特征。
在观看点位置的输出中，考虑到驾驶员的瞳孔的上、下、左和右移动方向，可输出所述观看点位置。
在观看点位置的输出中，考虑到驾驶员的瞳孔的上、下、左和右移动方向中的最常见移动方向，可输出驾驶员观看外部的观看点位置。
在观看点位置的输出中，可对所述驾驶员的眼睛在上、下、左和右方向移动了多少次进行计数，以计算频率。
在三维深度信息的输出中，可从根据驾驶员观看车辆外部的观看点位置的一个方向上的车辆的图像中输出三维深度信息。
所述方法还可包括：考虑到车辆驾驶员的观看点位置，输出交通信息和导航信息中的至少一个。
所述交通信息可包括道路信息、车道信息和交通标志信息，以及所述导航信息包括天气、界标和地理特征。
在所述交通信息和所述导航信息的输出中，当车辆驾驶员的观看点位置是道路时，考虑到天气，可将道路状态变化告知所述驾驶员。
在所述交通信息和所述导航信息的输出中，可测量道路表面的反射率，以将所述道路状态变化告知所述车辆驾驶员。
其他实施方式的具体内容包括在详细的说明书和附图中。
本发明的驾驶信息提供装置和驾驶信息提供方法具有以下一个或多个优点：
第一，考虑到驾驶员的瞳孔的上、下、左和右移动方向中的驾驶员瞳孔的最常见移动方向，通过应用输出驾驶员观看外部的观看点位置的统计方法，可快速计算出实时变化的驾驶员的视线位置。
第二，考虑到车辆驾驶员的观看点位置和三维深度信息，通过将一个方向上的车辆的图像输出给车辆驾驶员，不能直接被车辆驾驶员所观看的一个车辆的图像能被车辆驾驶员清楚地观看到。
第三，考虑到车辆驾驶员的观看点位置和三维深度信息，通过输出交通信息和导航信息，不能从现有技术中被固定到预定焦点的图像中提供的各种交通信息和导航信息，可被提供给驾驶员。
第四，光场摄像机用于连续地生成根据驾驶员的观看点的变化的图像，且精确地将该图像提供给驾驶员。
本发明的优点并不限于上述效果，以及从权利要求的详述中，没有被提及的其他优点将会清楚的被本领域技术人员所理解。
附图说明
图1是本发明示意性实施方式的驾驶信息提供装置的结构示意图；
图2是图1所示的结构的驾驶信息提供方法的控制流程的控制流程图。
具体实施方式
参考附图，本发明的各种优势和特征以及其完成方法将会从以下实施方式的详细描述中变得清楚。但是，本发明并不局限于以下所述的实施方式，以及可包含各种其他形式。本实施方式用于完整的呈现本发明的描述和被提出用于为本发明所述领域的技术人员提供完整理解，并且本发明只由权利要求项的范畴所定义。在整个说明书中，相似的附图标记表示相似的元件。
这里，将结合用于解释本发明实施方式的驾驶信息提供装置的附图，对本发明进行描述。
图1是本发明示意性实施方式的驾驶信息提供装置的结构示意图。参考图1，本发明示意性实施方式的驾驶信息提供装置包括摄像机100、驾驶员视线检测单元200、光场摄像机300、深度信息计算单元400、图像输出单元500和驾驶信息提供单元600。
摄像机100设置在车辆中。摄像机100拍摄车辆驾驶员的一个眼睛。摄像机100将通过拍摄驾驶员的眼睛所获得的图像输出给驾驶员视线检测单元200。
考虑到驾驶员的瞳孔的上、下、左和右移动方向，驾驶员视线检测单元200输出驾驶员观看外部的观看点位置。考虑到驾驶员的瞳孔的上、下、左和右移动方向中的最常见的移动方向，驾驶员视线检测单元200输出驾驶员观看外部的视线。
驾驶员视线检测单元200可通过位图操作来检测驾驶员的头、鼻子、嘴唇和眼睛。驾驶员视线检测单元200从通过拍摄驾驶员的眼睛所获得的图像中，检测驾驶员的眼睛向上、下、左和右移动。通过在通过拍摄驾驶员的眼睛所获得的图像的坐标中设置感兴趣区域，驾驶员视线检测单元200检测驾驶员的眼睛特征。
驾驶员视线检测单元200从所检测的驾驶员的眼睛中追捕瞳孔的移动。驾驶员视线检测单元200设置瞳孔的图像坐标，以检测瞳孔移动的方向。驾驶员视线检测单元200从通过拍摄驾驶员的眼睛所获得的图像中，对驾驶员的眼睛向上、下、左和右移动了多少次进行计数，以计算频率。
光场摄像机300在一个方向上拍摄车辆的图像，以将图像信息输出给深度信息计算单元400。光场摄像机300为多焦点摄像机且输出包括在摄像机的拍摄视图角度中的所有像素的深度信息。光场摄像机300的图像信息包括根据图像的所有焦点的RGB值。
深度信息计算单元400从车辆的图像信息中输出三维深度信息。深度信息计算单元400从根据驾驶员观看车辆外部的观看点位置的车辆图像中输出三维深度信息。
当车辆面貌是Bayer型时，深度信息计算单元400将Bayer型转换为RGB型。当车辆图像是RGB型时，深度信息计算单元400可按原样利用该车辆图像，无需转换该图像。
深度信息计算单元400可为车辆图像的每个像素输出具有不同焦点的图像。深度信息计算单元400从根据不同焦点的车辆图像中提取并输出对象的三维深度信息。
考虑到车辆驾驶员的观看点位置和三维深度信息，图像输出单元500将图像输出给车辆驾驶员。图像输出单元500接收从驾驶员视线检测单元200输出的车辆驾驶员的观看点位置。图像输出单元500可实时接收从驾驶员视线检测单元200连续输出的驾驶员的眼睛的视线位置。基于根据车辆驾驶员的眼睛的视线位置的图像坐标和车辆图像的三维深度信息，图像输出单元500输出预定图像。
图像输出单元500输出对应于车辆驾驶员的眼睛的视线位置的车辆图像。根据车辆驾驶员的视线位置，图像输出单元500输出在由于车辆驾驶员的视力限制和障碍物而具有盲区的区域中，由光场摄像机300捕获的清晰的车辆图像。
图像输出单元500可以以预定的时间间隔输出连续图像或离散图像。这是因为车辆驾驶员的观看点位置迅速改变，因此当实时输出驾驶员的视线时，对车辆驾驶员是不方便的。图像输出单元500可包括如按钮或虚拟接口的设备，该设备允许车辆驾驶员选择连续图像或离散图像。
考虑到车辆驾驶员的观看点位置和三维深度信息，驾驶信息提供单元600可将交通信息和导航信息中的至少一个提供给车辆驾驶员。通过考虑车辆驾驶员的观看点位置，而不考虑三维深度信息，驾驶信息提供单元600可将该信息提供给驾驶员。驾驶信息提供单元600通过声音或通过屏幕，将关于位于车辆驾驶员的观看点位置的物体的交通信息输出显示给车辆驾驶员。交通信息可包括道路信息、车道信息和交通标志信息。当车辆驾驶员的观看点位置存在界标或地理特征时，驾驶信息提供单元600与导航系统相互配合工作，以通过声音或通过屏幕将界标或地理特征的位置或预计行驶时间告知驾驶员。导航信息可包括天气信息。一示意性实施方式的驾驶信息提供单元600从导航信息中接收天气信息，以及当车辆驾驶员的观看点位置是道路表面时，由于天气条件如雨或雪，将该道路的状态变化告知车辆驾驶员。驾驶信息提供单元600可测量道路表面的反射率，以检测道路的状态变化和将该道路的状态变化告知车辆驾驶员。
以下将对配置为如上所描述的本发明的示意性实施方式的驾驶信息提供方法的操作进行介绍。
图2是图1所示的结构的驾驶信息提供方法的控制流程的控制流程图。
参考图2，摄像机100拍摄车辆驾驶员的一只眼睛。在步骤S100中，摄像机100将通过拍摄驾驶员的眼睛所获得的图像输出给驾驶员视线检测单元200。
在步骤S110中，驾驶员视线检测单元200输出车辆驾驶员观看车辆外部的观看点位置。考虑到驾驶员的瞳孔的上、下、左和右移动方向，驾驶员视线检测单元200输出驾驶员观看外部的视线。考虑到驾驶员的瞳孔的上、下、左和右移动方向中最常见的移动方向，驾驶员视线检测单元输出驾驶员观看外部的视线。
驾驶员视线检测单元200从通过拍摄驾驶员的眼睛所获得的图像中检测驾驶员的眼睛向上、下、左和右移动。驾驶员视线检测单元200通过在通过拍摄驾驶员的眼睛所获得的图像的坐标中设置感兴趣的区域来检测驾驶员的面部特征。驾驶员视线检测单元200检测驾驶员的头、鼻子和嘴唇，以检测驾驶员的眼睛。驾驶员视线检测单元200从所检测的驾驶员的眼睛中追捕瞳孔的移动。驾驶员视线检测单元200设置瞳孔的图像坐标，以检测瞳孔移动的方向。驾驶员视线检测单元200从通过拍摄驾驶员的眼睛所获得的图像中，对驾驶员的眼睛向上、下、左和右移动了多少次进行计数，以计算频率。
在步骤S120中，光场摄像机300拍摄车辆的一个方向，以将图像信息输出给深度信息计算单元400。
在步骤S130中，深度信息计算单元400从车辆的图像信息中输出三维深度信息。在步骤S130中，深度信息计算单元400从根据驾驶员观看车辆外部的观看点位置的车辆图像中输出三维深度信息。深度信息计算单元400将Bayer型车辆图像转换为RGB型图像。深度信息计算单元400可在车辆图像的所有像素中的所有焦点上输出图像。深度信息计算单元400从根据所有焦点的车辆图像中提取并输出对象的三维深度信息。
在步骤S140中，考虑到驾驶员的观看点位置和三维深度信息，图像输出单元500将车辆图像输出给车辆驾驶员。图像输出单元500接收从驾驶员视线检测单元200输出的车辆驾驶员的观看点位置。图像输出单元500可实时接收从驾驶员视线检测单元200连续输出的驾驶员的眼睛的视线位置。基于根据车辆驾驶员的眼睛的视线位置的图像坐标和车辆图像的三维深度信息，图像输出单元500输出对应于车辆驾驶员的眼睛的视线位置的车辆图像。根据车辆驾驶员的视线位置，图像输出单元500输出在由于车辆驾驶员的视力限制和障碍物而具有盲区的区域中，由光场摄像机300捕获的清晰的车辆图像。
在步骤S150中，考虑到车辆驾驶员的观看点位置和三维深度信息，驾驶信息提供单元600可以提供交通信息和导航信息中的至少一个。同时，驾驶信息提供单元600可不接收三维深度信息，而接收关于车辆驾驶员的观看点位置的信息并提供这些信息(交通信息和导航信息)中任何一个。当在车辆驾驶员的观看点位置中存在交通信息，即，车道信息或交通标志信息时，驾驶信息提供单元600通过声音或通过屏幕，将该信息输出显示给车辆驾驶员。当车辆驾驶员的观看点位置中存在界标或地理特征时，驾驶信息提供单元600与导航系统相互配合工作，以通过声音或通过屏幕将界标或地理特征的位置或预计行驶时间告知驾驶员。当车辆驾驶员的观看点位置是道路表面时，由于天气条件如雨或雪，一示意性实施方式的驾驶信息提供单元600将该道路的状态变化告知车辆驾驶员。为了通过驾驶信息提供单元600测量该道路的状态变化，可利用测量道路表面的反射率的方法。驾驶信息提供单元600可同时执行步骤S140和步骤S150。
以上对本发明的优选实施方式进行了描述，但是本发明并不局限于上述特定实施方式，显而易见的是，在不脱离本发明的权利要求中所要求的主旨的情况下，本发明所述技术领域的技术人员可作出各种修改，并且这些修改不应该与本发明的技术精神或前景分离来理解。

Claims (20)

1.一种驾驶信息提供装置，包括：
光场摄像机，其在车辆的至少一个方向上拍摄图像，以输出图像信息；
驾驶员视线检测单元，其输出车辆驾驶员的观看点位置；
深度信息计算单元，其从所述图像信息中输出三维深度信息；以及
图像输出单元，基于车辆驾驶员的观看点位置和三维深度信息，所述图像输出单元将预定图像输出给车辆驾驶员。
2.根据权利要求1所述的驾驶信息提供装置，其中，所述驾驶员视线检测单元在通过拍摄驾驶员的眼睛所获得的图像中设置感兴趣的区域，以检测所述驾驶员的眼睛特征。
3.根据权利要求1所述的驾驶信息提供装置，其中，考虑到所述驾驶员的瞳孔的上、下、左和右移动方向，所述驾驶员视线检测单元输出驾驶员观看外部的观看点位置。
4.根据权利要求1所述的驾驶信息提供装置，其中，考虑到所述驾驶员的瞳孔的上、下、左和右移动方向中最常见的移动方向，所述驾驶员视线检测单元输出驾驶员观看外部的观看点位置。
5.根据权利要求4所述的驾驶信息提供装置，其中，所述驾驶员视线检测单元对所述驾驶员的眼睛在上、下、左和右方向上移动了多少次进行计数，以计算频率。
6.根据权利要求1所述的驾驶信息提供装置，其中，所述深度信息计算单元从根据驾驶员观看车辆外部的观看点位置的图像信息中输出三维深度信息。
7.根据权利要求1所述的驾驶信息提供装置，还包括：
驾驶信息提供单元，考虑到车辆驾驶员的观看点位置，所述驾驶信息提供单元输出交通信息和导航信息中的至少一个。
8.根据权利要求7所述的驾驶信息提供装置，其中，所述交通信息包括道路信息、车道信息和交通标志信息，以及导航信息包括天气、界标和地理特征。
9.根据权利要求8所述的驾驶信息提供装置，其中，考虑到天气，当车辆驾驶员的观看点位置为道路时，所述驾驶信息提供单元将道路状态改变告知车辆驾驶员。
10.根据权利要求9所述的驾驶信息提供装置，其中，所述驾驶信息提供单元测量道路表面的反射率，以将所述道路状态变化告知车辆驾驶员。
11.一种驾驶信息提供方法，包括：
输出车辆驾驶员的观看点位置；
在至少一个方向上拍摄车辆的图像，以输出图像信息；
从所述图像信息中输出三维深度信息；以及
基于所述车辆驾驶员的观看点位置和所述三维深度信息，将预定图像输出给车辆驾驶员。
12.根据权利要求11所述的驾驶信息提供方法，其中，在观看点位置的输出中，在通过拍摄驾驶员的眼睛所获得的图像中设置感兴趣的区域，以检测驾驶员的面部特征。
13.根据权利要求11所述的驾驶信息提供方法，其中，在观看点位置的输出中，考虑到驾驶员的瞳孔的上、下、左和右移动方向，输出所述观看点位置。
14.根据权利要求11所述的驾驶信息提供方法，其中，在观看点位置的输出中，考虑到驾驶员的瞳孔的上、下、左和右移动方向中的最常见的移动方向，输出驾驶员观看外部的观看点位置。
15.根据权利要求14所述的驾驶信息提供方法，其中，在观看点位置的输出中，对所述驾驶员的眼睛在上、下、左和右方向移动了多少次进行计数，以计算频率。
16.根据权利要求11所述的驾驶信息提供方法，其中，在三维深度信息的输出中，从根据驾驶员观看车辆外部的观看点位置的所述图像信息中输出三维深度信息。
17.根据权利要求11所述的驾驶信息提供方法，其中，还包括：
考虑到车辆驾驶员的观看点位置，输出交通信息和导航信息中的至少一个。
18.根据权利要求17所述的驾驶信息提供方法，其中，所述交通信息包括道路信息、车道信息和交通标志信息，以及所述导航信息包括天气、界标和地理特征。
19.根据权利要求18所述的驾驶信息提供方法，其中，在所述交通信息和所述导航信息的输出中，当车辆驾驶员的观看点位置是在道路上时，考虑到天气，将道路状态变化告知给所述车辆驾驶员。
20.根据权利要求19所述的驾驶信息提供方法，其中，在所述交通信息和所述导航信息的输出中，测量道路表面的反射率，以将所述道路状态变化告知所述车辆驾驶员。
CN201510783558.6A 2014-11-21 2015-11-16 提供驾驶信息的方法和装置 Pending CN105620364A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140163771A KR102263725B1 (ko) 2014-11-21 2014-11-21 주행 정보 제공 장치 및 주행 정보 제공 방법
KR10-2014-0163771 2014-11-21

Publications (1)

Publication Number Publication Date
CN105620364A true CN105620364A (zh) 2016-06-01

Family

ID=56009392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510783558.6A Pending CN105620364A (zh) 2014-11-21 2015-11-16 提供驾驶信息的方法和装置

Country Status (3)

Country Link
US (1) US10124729B2 (zh)
KR (1) KR102263725B1 (zh)
CN (1) CN105620364A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107878301A (zh) * 2016-09-29 2018-04-06 法雷奥照明公司 用于通过机动车辆的投影系统投射图像的方法和相关联的投影系统
CN107878300A (zh) * 2016-09-29 2018-04-06 法雷奥照明公司 通过机动车辆的投影系统投射图像的方法和相关联的投影系统
CN108423004A (zh) * 2018-05-16 2018-08-21 浙江吉利控股集团有限公司 一种双目识别驾驶员状态检测系统及方法
CN108556738A (zh) * 2018-03-30 2018-09-21 深圳市元征科技股份有限公司 汽车a柱盲区的显示装置和方法
CN109922255A (zh) * 2017-12-12 2019-06-21 黑芝麻国际控股有限公司 用于生成实时深度图的双相机系统
CN110167823A (zh) * 2016-07-01 2019-08-23 视力移动技术有限公司 用于驾驶员监测的系统和方法
CN110494714A (zh) * 2017-01-27 2019-11-22 麻省理工学院 确定表面特征
CN112750194A (zh) * 2020-05-15 2021-05-04 奕目(上海)科技有限公司 一种无人驾驶汽车避障方法、装置
WO2021217575A1 (zh) * 2020-04-30 2021-11-04 华为技术有限公司 用户感兴趣对象的识别方法以及识别装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10671071B2 (en) * 2016-08-09 2020-06-02 Nissan Motor Co., Ltd. Control method and control device of automatic driving vehicle
DE102017207960A1 (de) * 2017-05-11 2018-11-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
CN107215332A (zh) * 2017-06-14 2017-09-29 深圳市车米云图科技有限公司 一种安全辅助驾驶系统及控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101269635A (zh) * 2007-03-23 2008-09-24 株式会社电装 视场监视设备
CN101500874A (zh) * 2006-09-14 2009-08-05 丰田自动车株式会社 视线终点估计装置和驾驶辅助装置
US20090268025A1 (en) * 2005-11-17 2009-10-29 Aisin Seiki Kabushiki Kaisha Vehicle surrounding area display device
CN101883291A (zh) * 2010-06-29 2010-11-10 上海大学 感兴趣区域增强的视点绘制方法
CN103207664A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 一种图像处理方法和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030006888A1 (en) * 2001-07-06 2003-01-09 Burchette Robert L. Vehicle-mounted mirror-integrated radar system
KR101359660B1 (ko) * 2011-07-26 2014-02-07 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
KR20130054830A (ko) * 2011-11-17 2013-05-27 현대자동차주식회사 운전자 시선추적과 교통정보를 이용한 도로상황 경보시스템 및 방법
KR20140036722A (ko) * 2012-09-18 2014-03-26 (주)휴맥스 운전자 시선을 고려한 차량 접근 경보 방법, 장치 및 시스템
KR102028757B1 (ko) * 2012-12-18 2019-10-04 두산인프라코어 주식회사 헤드업 디스플레이를 이용한 차량의 디스플레이 방법 및 장치
KR20140079947A (ko) * 2012-12-20 2014-06-30 한국전자통신연구원 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법
JP5999032B2 (ja) * 2013-06-14 2016-09-28 株式会社デンソー 車載表示装置およびプログラム
WO2015026350A1 (en) * 2013-08-22 2015-02-26 Empire Technology Development, Llc Influence of line of sight for driver safety
US9090260B2 (en) * 2013-12-04 2015-07-28 Mobileye Vision Technologies Ltd. Image-based velocity control for a turning vehicle
KR20150076627A (ko) * 2013-12-27 2015-07-07 한국전자통신연구원 차량 운전 학습 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268025A1 (en) * 2005-11-17 2009-10-29 Aisin Seiki Kabushiki Kaisha Vehicle surrounding area display device
CN101500874A (zh) * 2006-09-14 2009-08-05 丰田自动车株式会社 视线终点估计装置和驾驶辅助装置
CN101269635A (zh) * 2007-03-23 2008-09-24 株式会社电装 视场监视设备
CN101883291A (zh) * 2010-06-29 2010-11-10 上海大学 感兴趣区域增强的视点绘制方法
CN103207664A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 一种图像处理方法和设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110167823B (zh) * 2016-07-01 2022-08-12 视力移动技术有限公司 用于驾驶员监测的系统和方法
CN110167823A (zh) * 2016-07-01 2019-08-23 视力移动技术有限公司 用于驾驶员监测的系统和方法
CN107878301A (zh) * 2016-09-29 2018-04-06 法雷奥照明公司 用于通过机动车辆的投影系统投射图像的方法和相关联的投影系统
CN107878300A (zh) * 2016-09-29 2018-04-06 法雷奥照明公司 通过机动车辆的投影系统投射图像的方法和相关联的投影系统
CN107878300B (zh) * 2016-09-29 2023-03-07 法雷奥照明公司 通过机动车辆的投影系统投射图像的方法和投影系统
CN107878301B (zh) * 2016-09-29 2022-11-25 法雷奥照明公司 用于通过机动车辆的投影系统投射图像的方法和投影系统
CN110494714A (zh) * 2017-01-27 2019-11-22 麻省理工学院 确定表面特征
CN110494714B (zh) * 2017-01-27 2024-04-09 麻省理工学院 确定表面特征
CN109922255A (zh) * 2017-12-12 2019-06-21 黑芝麻国际控股有限公司 用于生成实时深度图的双相机系统
CN108556738A (zh) * 2018-03-30 2018-09-21 深圳市元征科技股份有限公司 汽车a柱盲区的显示装置和方法
CN108423004A (zh) * 2018-05-16 2018-08-21 浙江吉利控股集团有限公司 一种双目识别驾驶员状态检测系统及方法
WO2021217575A1 (zh) * 2020-04-30 2021-11-04 华为技术有限公司 用户感兴趣对象的识别方法以及识别装置
CN112750194A (zh) * 2020-05-15 2021-05-04 奕目(上海)科技有限公司 一种无人驾驶汽车避障方法、装置

Also Published As

Publication number Publication date
KR20160061187A (ko) 2016-05-31
KR102263725B1 (ko) 2021-06-11
US10124729B2 (en) 2018-11-13
US20160144786A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
CN105620364A (zh) 提供驾驶信息的方法和装置
US8711198B2 (en) Video conference
CA2998600C (en) Vehicular display apparatus and vehicular display method
US9563981B2 (en) Information processing apparatus, information processing method, and program
KR20140057594A (ko) 상호작용 스크린 보기
CN107710280B (zh) 对象可视化方法
US11141557B2 (en) Information processing apparatus, information processing method, and storage medium
RU2017101484A (ru) Способ и устройство для формирования трехмерного изображения
WO2017162812A1 (en) Adaptive display for low visibility
US20200081249A1 (en) Internal edge verification
CN109842790B (zh) 影像信息显示方法与显示器
US20130155190A1 (en) Driving assistance device and method
US10996469B2 (en) Method and apparatus for providing driving information of vehicle, and recording medium
CN112484743B (zh) 车载hud融合实景导航显示方法及其系统
US20160133021A1 (en) Imaging position determination device and imaging position determination method
US11376961B2 (en) Method and system for demonstrating function of vehicle-mounted heads up display, and computer-readable storage medium
CN110609721B (zh) 信息显示方法及其显示系统
RU2768013C2 (ru) Способ и устройство для предоставления информации пользователю, наблюдающему мультивидовое содержание
KR20150094381A (ko) 주변환경 기반의 ｈｕｄ 제어 장치 및 그 방법
US11189047B2 (en) Gaze based rendering for audience engagement
JP2017212633A (ja) 撮像装置、撮像表示方法および撮像表示プログラム
KR102098225B1 (ko) 전방위 영상 표시 장치 및 그 표시 방법
KR102643152B1 (ko) 스마트 어라운드 뷰 모니터 영상 처리 장치
KR101462269B1 (ko) 고화질 카메라의 부분 저장장치 및 방법
US9970766B2 (en) Platform-mounted artificial vision system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160601