CN108701415A - 驾驶辅助装置、驾驶辅助方法及驾驶辅助程序 - Google Patents

驾驶辅助装置、驾驶辅助方法及驾驶辅助程序 Download PDF

Info

Publication number
CN108701415A
CN108701415A CN201780011274.2A CN201780011274A CN108701415A CN 108701415 A CN108701415 A CN 108701415A CN 201780011274 A CN201780011274 A CN 201780011274A CN 108701415 A CN108701415 A CN 108701415A
Authority
CN
China
Prior art keywords
driver
image data
image
mentioned
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780011274.2A
Other languages
English (en)
Other versions
CN108701415B (zh
Inventor
新贝安浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN108701415A publication Critical patent/CN108701415A/zh
Application granted granted Critical
Publication of CN108701415B publication Critical patent/CN108701415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Abstract

本发明提供一种不会给驾驶者带来不适感而能够辅助安全驾驶的驾驶辅助装置、驾驶辅助方法及驾驶辅助程序。驾驶辅助装置具备：视线检测部(31)，检测乘坐物的驾驶者的视线；摄像选择部(32)，从拍摄乘坐物周围的多个第1摄像部(13～15)中选择与视线方向对应的第1摄像部；及显示控制部(33)，根据通过拍摄驾驶者眼睛的前方的第2摄像部(28)拍摄而获得的第2摄像图像数据，对通过所选择的第1摄像部拍摄而获得的第1摄像图像数据进行加工处理，并将基于加工处理后的第1摄像图像数据的图像显示于固定在乘坐物的驾驶者眼睛的前方的透射型显示部(27)。

Description

驾驶辅助装置、驾驶辅助方法及驾驶辅助程序
技术领域
本发明涉及一种驾驶辅助装置、驾驶辅助方法及驾驶辅助程序。
背景技术
作为辅助汽车、电车、船舶、重型设备、航空器或农用机械等乘坐物的驾驶的系统，提出有具备以能够拍摄乘坐物周围的方式搭载的多个摄像部、检测驾驶者的头部动向的动向检测部及装配在驾驶者头部后使用的透射型HMD(头戴式显示器(Head Mount Display))的系统(参考专利文献1及专利文献2)。
该系统通过将由与驾驶者的视线方向对应的摄像部拍摄的图像显示于HMD，使驾驶者辨识成为驾驶者的死角的部分，以辅助安全驾驶。
以往技术文献
专利文献
专利文献1：日本特开2009-278234号公报
专利文献2：日本特开平10-206789号公报
发明内容
发明要解决的技术课题
专利文献1中所记载的系统为在驾驶者通过透射型HMD看到的像上单纯重叠由摄像部拍摄的图像的系统。因此，当驾驶者看到的像的一部分被摄像部拍摄时，有时观察到2个相同内容的像，从而导致给驾驶者带来不适感。
专利文献2中所记载的系统使用非透射型HMD，因此驾驶者通过HMD无法确认实际像，从而给安全性上带来障碍。
本发明是鉴于上述情况而完成的，其目的在于提供一种不会给驾驶者带来不适感而能够辅助安全驾驶的驾驶辅助装置、驾驶辅助方法及驾驶辅助程序。
用于解决技术课题的手段
本发明的驾驶辅助装置辅助乘坐物的驾驶，该驾驶辅助装置具备：视线检测部，检测驾驶上述乘坐物的驾驶者的视线；摄像选择部，从拍摄上述乘坐物周围的多个第1摄像部中选择与上述视线方向对应的第1摄像部；及显示控制部，根据通过拍摄上述驾驶者眼睛的前方的第2摄像部拍摄而获得的第2摄像图像数据，对通过由上述摄像选择部选择的上述第1摄像部拍摄而获得的第1摄像图像数据进行加工处理，并将基于上述加工处理后的第1摄像图像数据的图像显示于固定在上述乘坐物的上述驾驶者眼睛的前方的透射型显示部。
本发明的驾驶辅助方法辅助乘坐物的驾驶，该驾驶辅助方法具备：视线检测步骤，检测上述乘坐物的驾驶者的视线；摄像选择步骤，从拍摄上述乘坐物周围的多个第1摄像部中选择与上述视线方向对应的第1摄像部；及显示控制步骤，根据通过装配在上述驾驶者的头部且拍摄上述驾驶者眼睛的前方的第2摄像部拍摄而获得的第2摄像图像数据，对通过在上述摄像选择步骤中选择的上述第1摄像部拍摄而获得的第1摄像图像数据进行加工处理，并将基于上述加工处理后的第1摄像图像数据的图像显示于装配在上述驾驶者的头部且固定在上述驾驶者眼睛的前方的透射型显示部。
本发明的驾驶辅助程序辅助乘坐物的驾驶，该驾驶辅助程序使计算机执行如下步骤：视线检测步骤，检测驾驶上述乘坐物的驾驶者的视线；摄像选择步骤，从拍摄上述乘坐物周围的多个第1摄像部中选择与上述视线方向对应的第1摄像部；及显示控制步骤，根据通过装配在上述驾驶者的头部且拍摄上述驾驶者眼睛的前方的第2摄像部拍摄而获得的第2摄像图像数据，对通过在上述摄像选择步骤中选择的上述第1摄像部拍摄而获得的第1摄像图像数据进行加工处理，并将基于上述加工处理后的第1摄像图像数据的图像显示于装配在上述驾驶者的头部且固定在上述驾驶者眼睛的前方的透射型显示部。
发明效果
根据本发明，能够提供一种不会给驾驶者带来不适感而能够辅助安全驾驶的驾驶辅助装置、驾驶辅助方法及驾驶辅助程序。
附图说明
图1是表示装配本发明的一实施方式即驾驶辅助装置2的驾驶者所乘的汽车1的概略结构的示意图。
图2是表示本发明的一实施方式即驾驶辅助装置2的外观结构的立体图。
图3是表示图2所示的驾驶辅助装置2的框结构的图。
图4是表示通过第1摄像部15拍摄而获得的第1摄像图像数据50的一例的图。
图5是表示驾驶者装配驾驶辅助装置2而朝向汽车1后方时由驾驶者观察的车内风景的图。
图6是表示在基于加工处理后的第1摄像图像数据50的图像显示于显示部27的状态下由驾驶者观察的风景的图。
具体实施方式
以下，参考附图对本发明的实施方式进行说明。
图1是表示装配本发明的一实施方式即驾驶辅助装置2的驾驶者所乘的汽车1的概略结构的示意图。图2是表示本发明的一实施方式即驾驶辅助装置2的外观结构的立体图。在此，对在汽车1的驾驶者上装配驾驶辅助装置2的例子进行说明，但也可以是在电车、船舶、重型设备、航空器或农用机械等乘坐物的驾驶者上装配驾驶辅助装置2的结构。
图1所示的汽车1在车体右侧设置有右后视镜11，在车体左侧设置有左后视镜12。汽车1具备安装于右后视镜11的第1摄像部13、安装于左后视镜12的第1摄像部14及安装于位于汽车1后方的行李箱部分的第1摄像部15。
第1摄像部13从汽车1的右侧拍摄后方的范围。第1摄像部14从汽车1的左侧方拍摄后方的范围。第1摄像部15拍摄汽车1的后方。
如此，在汽车1中设置有拍摄汽车1周围的多个第1摄像部。另外，第1摄像部13～15的配置位置并不限定于图1所示的位置。例如，第1摄像部13及第1摄像部14代替右后视镜11及左后视镜12也可以安装于倒车镜。并且，第1摄像部15例如也可以设置于号牌附近位置或后窗玻璃附近位置等。
第1摄像部13～15通过有线或无线与驾驶辅助装置2连接。通过第1摄像部13～15拍摄而获得的摄像图像数据通过有线或无线传送至驾驶辅助装置2。
驾驶辅助装置2为装配在驾驶者的头部后使用的装置，在图2所示的例子中为眼镜形状的装置。驾驶辅助装置2根据通过以装配在驾驶者的头部的状态拍摄驾驶者眼睛的前方而获得的摄像图像检测驾驶者的视线，并将从第1摄像部13～15中通过与检测到的视线对应的第1摄像部拍摄的摄像图像显示于显示部27。由此，能够辨识成为驾驶者的死角的范围而辅助安全驾驶。
驾驶辅助装置2具备由镜腿21R、21L、鼻架22、设置于鼻架22上的鼻托23R、23L及透明基板24R、24L构成的眼镜主体和固定于眼镜主体的控制单元25。
镜腿21R、21L为由具有挠性的弹性材料等构成的长条形状的部件，且卡止于驾驶者的耳部或侧头部，并用于进行对头部的保持及装配位置的调整。
鼻架22为架设于透明基板24R、24L彼此对置的规定位置上的细长的棒状部件，且将透明基板24R及透明基板24L保持为隔着一定间隙的位置关系。
在图2的例子中，控制单元25固定在配置于驾驶者右眼前方的透明基板24R上，且具备容纳电池及后述的系统控制部30等的框体26、透射型显示部27以及第2摄像部28。
显示部27固定在驾驶者眼睛的前方。由此，驾驶者能够观察显示于显示部27的图像与由驾驶者通过显示部27及透明基板24R、24L观察的背景像重叠的像。
第2摄像部28为拍摄驾驶者眼睛前方的部件。第2摄像部28的光轴及视角以与驾驶者的视线及视野成为大致相同的方式设定。
图3是表示图2所示的驾驶辅助装置2的框结构的图。
如图3所示，驾驶辅助装置2具备显示部27、第2摄像部28及系统控制部30。
系统控制部30集中控制驾驶辅助装置2。系统控制部30以处理器为主体构成，且包含存储有处理器所执行的程序等的ROM(只读存储器(Read Only Memory))及作为工作存储器的RAM(随机存取存储器(Random Access Memory))等。
系统控制部30通过处理器执行存储于ROM中的程序，作为视线检测部31、摄像选择部32及显示控制部33而发挥功能。该程序包含驾驶辅助程序。
视线检测部31通过有线或无线通信获取由第2摄像部28拍摄驾驶者眼睛的前方而获得的第2摄像图像数据，并通过公知的图像分析处理对所获取的第2摄像图像数据进行分析，以检测驾驶者的视线。
视线检测部31例如可以根据设置于驾驶辅助装置2的加速度传感器或陀螺仪传感器等传感器的信息检测驾驶者头部的动向，并根据检测到的动向检测装配者的视线。
摄像选择部32根据通过视线检测部31检测到的驾驶者的视线，从第1摄像部13～15中选择与检测到的视线方向对应的第1摄像部。
汽车1的驾驶者的视线方向与第1摄像部13～15中能够拍摄该驾驶者的视线方向的风景的第1摄像部之间的对应关系作为表格数据预先存储于ROM。摄像选择部32从该表格数据中确定与通过视线检测部31检测到的视线方向对应的第1摄像部，并选择所确定的第1摄像部。
具体而言，当检测到驾驶者的视线相对于正面朝向右方向时，选择拍摄比汽车1前进时的行进方向更靠右侧的风景的第1摄像部13。并且，当检测到驾驶者的视线朝向左方向时，选择拍摄比汽车1前进时的行进方向更靠左侧的风景的第1摄像部14。并且，当检测到驾驶者的视线朝向后方时，选择拍摄汽车1后退时的行进方向的风景的第1摄像部15。
显示控制部33分别获取通过由摄像选择部32选择的第1摄像部13～15中的任一个拍摄而获得的第1摄像图像数据及通过第2摄像部28拍摄而获得的第2摄像图像数据。显示控制部33根据第2摄像图像数据对第1摄像图像数据进行加工处理，并将基于加工处理后的第1摄像图像数据的图像显示于显示部27。
该加工处理为使通过显示部27及透明基板24R、24L由驾驶者在汽车1的窗框内观察的像的轮廓与该像被第1摄像部拍摄并显示于显示部27的与该像对应的图像(拍摄该像而获得的图像)的轮廓一致的处理。即，通过该加工处理，在基于加工处理后的第1摄像图像数据的图像显示于显示部27的状态下，该图像的轮廓与通过显示部27及透明基板24R、24L由驾驶者在汽车1的窗框内观察的像的轮廓一致。
具体而言，显示控制部33在第2摄像图像数据中从与由驾驶者在汽车1的窗框内观察的像对应的部分(对应部分)通过公知的轮廓提取处理提取轮廓。通过摄像选择部32选择的第1摄像部与第2摄像部28在汽车1的前后方向上存在位置上的差异，并且在重力方向上也存在光轴位置上的差异。
因此，从第2摄像图像数据中的与由驾驶者在汽车1的窗框内观察的像对应的部分通过轮廓提取处理提取的轮廓和通过由摄像选择部32选择的第1摄像部拍摄而获得的第1摄像图像数据中的与该像对应的部分的轮廓的大小及位置不同。
显示控制部33对第1摄像图像数据进行仿射变换，以使第1摄像图像数据中的与该像对应的部分的轮廓的大小及位置和从第2摄像图像数据中通过轮廓提取处理提取的轮廓的大小及位置相同。
接着，参考图4～图6对加工处理进行详述。在此，对驾驶者观察汽车1后方时进行的加工处理进行说明。
图4是表示通过第1摄像部15拍摄而获得的第1摄像图像数据50的一例的图。在图4所示的第1摄像图像数据50中包含与人物对应的图像51、与人物对应的图像52、与电线杆对应的图像53及与道路的白线对应的图像54。
图5是表示当驾驶者装配驾驶辅助装置2并朝向汽车1后方时由驾驶者观察的车内风景的图。
在汽车1的后方设置有被窗框101围住的透明窗，且成为驾驶者能够观察汽车1的后方。在汽车1的车内设置有用于同乘者就座的座位102。
从装配有驾驶辅助装置2的驾驶者通过显示部27及透明基板24R、24L在窗框101内可观察人物111、人物112、电线杆113及道路的白线114等像。在图5中示出了从装配有驾驶辅助装置2的驾驶者看到的显示部27的图像显示范围27A。
另外，图4中示出的图像51为通过第1摄像部15拍摄人物111而获得的图像。图4中示出的图像52为通过第1摄像部15拍摄人物112而获得的图像。图4中示出的图像53为通过第1摄像部15拍摄电线杆113而获得的图像。图4中示出的图像54为通过第1摄像部15拍摄白线114而获得的图像。
在驾驶辅助装置2的电源开启的期间，视线检测部31获取通过第2摄像部28拍摄而获得的第2摄像图像数据，并从所获取的第2摄像图像数据中检测驾驶者的视线方向。在图5的例子中，检测到驾驶者朝向汽车1的后方，因此摄像选择部32选择第1摄像部15。
若通过摄像选择部32选择第1摄像部，则显示控制部33获取通过由摄像选择部32选择的第1摄像部15拍摄而获得的第1摄像图像数据50及通过第2摄像部28拍摄而获得的第2摄像图像数据。
在第2摄像图像数据中包含与窗框101内的人物111对应的图像、与窗框101内的人物112对应的图像、与窗框101的电线杆113对应的图像及与窗框101的白线114对应的图像。
显示控制部33进行从第2摄像图像数据中检测窗框101的处理。而且，显示控制部33对第2摄像图像数据中的窗框101内的部分进行轮廓提取处理，而分别提取与窗框101内的人物111对应的图像的轮廓、与窗框101内的人物112对应的图像的轮廓、与窗框101内的电线杆113对应的图像的轮廓及与窗框101内的白线114对应的图像的轮廓。
显示控制部33也对第1摄像图像数据50进行轮廓提取处理，并分别提取图4中示出的图像51～图像54的轮廓。
显示控制部33检测从第1摄像图像数据中提取的图像51～图像54的各轮廓中的、从第2摄像图像数据中提取的与人物111对应的图像的轮廓、与人物112对应的图像的轮廓、与电线杆113对应的图像的轮廓及与白线114对应的图像的轮廓的各对应范围。例如，图4所示的范围55作为对应范围来检测。
显示控制部33对图4所示的第1摄像图像数据50进行仿射变换，并使从范围55检测到的图像51～图像54的轮廓的各位置及大小分别和从第2摄像图像数据中提取的与人物111对应的图像的轮廓、与人物112对应的图像的轮廓、与电线杆113对应的图像的轮廓及与白线114对应的图像的轮廓一致。
图6是表示在基于加工处理后的第1摄像图像数据50的图像显示于显示部27的状态下由驾驶者观察的风景的图。
如图6所示，显示于显示部27的仿射变换后的第1摄像图像数据50中的图像51的轮廓51A、图像52的轮廓52A、图像53的轮廓53A及图像54的轮廓54A分别与由驾驶者在窗框101内观察的人物111的轮廓、人物112的轮廓、电线杆113的轮廓及白线114的轮廓一致。
通过以上加工处理，不会给驾驶者带来不适感而辨识成为驾驶者的死角的部分，从而能够辅助安全驾驶。
显示控制部33设成对第2摄像图像数据中与由驾驶者在窗框101内观察的像对应的部分(通过窗框检测处理检测到的窗框内的部分)进行轮廓提取处理，但也可以在进行轮廓提取处理之前，对该对应部分进行检测可能成为驾驶汽车1的障碍的障碍物的障碍物检测处理，并且仅将通过该障碍物检测处理检测到的障碍物的部分设为对象而进行轮廓提取处理。由此，能够减少轮廓提取处理所花费的时间，从而能够提高处理速度。
作为障碍物检测处理的方法，例如可以使用通过检测白线等检测道路并将除道路以外的物体作为障碍物来检测的方法、使用立体摄像机等将距汽车1的距离为阈值以下的物体作为障碍物来检测的方法、将通过脸部检测处理检测到的人物作为障碍物来检测的方法或通过与预先登录的物体图案(例如，人物、电线杆或壁等)的图像匹配而检测障碍物的方法等。
并且，显示控制部33可以在第2摄像图像数据中的窗框101内的部分仅将包含重力方向的下端的一部分作为对象来进行轮廓提取处理。在窗框101内的大致上半部分设想为没有障碍物(即便存在障碍物也位于远处)。因此，例如通过仅将窗框101内的大致下半部分设为轮廓提取处理的对象范围，减少轮廓提取处理所花费的时间，从而能够提高处理速度。
并且，显示控制部33可以在第2摄像图像数据中的窗框101内的部分，从重力方向的下端朝向上端依次进行上述障碍物检测处理，当通过该障碍物检测处理检测到障碍物时，仅对最初检测到的障碍物进行轮廓提取处理。
在窗框101内越是在下端观察到的像设想视为越处于汽车1的近处，因此对第2摄像图像数据的窗框101内的部分从下端朝向上端进行障碍物检测处理，在最初检测到障碍物的时刻结束障碍物检测处理，仅将该障碍物设为对象而进行轮廓提取处理，由此减少障碍物检测处理及轮廓提取处理所花费的时间，从而能够提高处理速度。
并且，显示控制部33可以在第2摄像图像数据中的窗框101内的部分，从重力方向的下端朝向上端依次进行上述障碍物检测处理，当从该部分为检测不到障碍物时，以间隔剔除处理的方式进行轮廓提取处理。
间隔剔除处理是指例如对图像不是按每个像素行进行轮廓提取处理，而是隔1个像素行或隔多个像素行进行轮廓提取处理。
未检测到障碍物的状态例如相当于在第2摄像图像数据的窗框101内的部分只包含与白线114对应的图像的情况。白线为直线，因此即便间隔剔除来进行轮廓提取处理，也不怎么影响轮廓提取的精度。通过如此构成，减少轮廓处理所花费的时间，从而能够提高处理速度。
并且，进行了轮廓提取处理的结果，当轮廓没有被提取时，显示控制部33可以省略上述加工处理而将基于第1摄像图像数据的图像显示于显示部27。如此，即使在轮廓没有被提取的情况下，也将汽车1的车外的摄像图像直接显示于显示部27，由此能够使驾驶者辨识成为驾驶者的死角的部分。
并且，显示控制部33优选根据通过显示部27观察的汽车1的结构物(例如，图5中示出的座位102等)的颜色或汽车1的室内的明度，控制显示于显示部27的图像的颜色或亮度中的至少1个。
例如，在逆光的状况或车内较暗的夜间等的情况下，显示控制部33通过提高图像的亮度或对图像中与结构物重叠的部分以该结构部的颜色的补色来显示，能够提高显示于显示部27的图像的视觉辨认度。
驾驶辅助装置2的系统控制部30可以设置于控制汽车1的控制单元，且通过有线或无线通信能够与显示部27及第2摄像部28进行通信。由此，能够由设置于汽车1的高性能处理器来执行负荷高的处理，并能够延长连续使用驾驶辅助装置2的时间。在该情况下，系统控制部30构成驾驶辅助装置。
如以上进行的说明，本说明书中至少公开有以下事项。
驾驶辅助装置辅助乘坐物的驾驶，该驾驶辅助装置具备：视线检测部，检测驾驶上述乘坐物的驾驶者的视线；摄像选择部，从拍摄上述乘坐物周围的多个第1摄像部中选择与上述视线方向对应的第1摄像部；及显示控制部，根据通过拍摄上述驾驶者眼睛的前方的第2摄像部拍摄而获得的第2摄像图像数据，对通过由上述摄像选择部选择的第1摄像部拍摄而获得的第1摄像图像数据进行加工处理，将基于上述加工处理后的第1摄像图像数据的图像显示于固定在上述乘坐物的上述驾驶者眼睛的前方的透射型显示部。
上述驾驶辅助装置能够设成装配在上述驾驶者头部的装置，且能够设成还具备：透射型显示部，固定在上述乘坐物的上述驾驶者眼睛的前方；及第2摄像部，拍摄上述驾驶者眼睛的前方。
在上述驾驶辅助装置中，上述加工处理能够包含使由上述驾驶者在上述乘坐物的窗框内观察的像的轮廓和显示于上述显示部的该图像中所包含的与该像对应的图像的轮廓一致的处理。
在上述驾驶辅助装置中，上述显示控制部从上述第2摄像图像数据中与由上述驾驶者在上述乘坐物的窗框内观察的像对应的对应部分进行轮廓提取处理，且从上述第1摄像图像数据中进行轮廓提取处理，上述加工处理能够包含使从上述第1摄像图像数据中提取的轮廓中与从上述第2摄像图像数据中提取的轮廓对应的范围内的轮廓和从上述第2摄像图像数据中提取的轮廓一致的处理。
在上述驾驶辅助装置中，能够设成如下，即，上述显示控制部在上述第2摄像图像数据中，仅将上述对应部分且包含可能成为驾驶上述乘坐物的障碍的障碍物的部分设为对象而进行轮廓提取处理。
在上述驾驶辅助装置中，能够设成如下，即，上述显示控制部在上述第2摄像图像数据中，仅将包含上述对应部分的重力方向的下端的一部分设为对象而进行轮廓提取处理。
在上述驾驶辅助装置中，能够设成如下，即，上述显示控制部在上述第2摄像图像数据中，从上述对应部分的重力方向的下端朝向上端进行提取可能成为驾驶上述乘坐物的障碍的障碍物的处理，并将从上述对应部分最初检测到的上述障碍物设为对象而进行轮廓提取处理。
在上述驾驶辅助装置中，能够设成如下，即，上述显示控制部在上述第2摄像图像数据中，从上述对应部分的重力方向的下端朝向上端进行提取可能成为驾驶上述乘坐物的障碍的障碍物的处理，当从上述对应部分检测不到上述障碍物时，以间隔剔除处理的方式进行轮廓提取处理。
在上述驾驶辅助装置中，能够设成如下，即，进行了对上述第2摄像图像数据进行的轮廓提取处理的结果，当轮廓没有被提取时，上述显示控制部省略上述加工处理而将基于上述第1摄像图像数据的上述图像显示于上述显示部。
在上述驾驶辅助装置中，能够设成如下，即，上述显示控制部根据通过上述显示部观察的上述乘坐物的结构物的颜色或上述乘坐物的室内的明度，控制显示于上述显示部的上述图像的颜色或亮度中的至少一个。
在上述驾驶辅助装置中，能够设成如下，即，上述视线检测部根据拍摄上述驾驶者眼睛的前方而获得的摄像图像检测上述视线，或根据上述驾驶者头部的动向检测上述视线。
驾驶辅助方法辅助乘坐物的驾驶，该驾驶辅助方法具备：视线检测步骤，检测驾驶上述乘坐物的驾驶者的视线；摄像选择步骤，从拍摄上述乘坐物周围的多个第1摄像部中选择与上述视线方向对应的第1摄像部；及显示控制步骤，根据通过装配在上述驾驶者的头部且拍摄上述驾驶者眼睛的前方的第2摄像部拍摄而获得的第2摄像图像数据，对通过在上述摄像选择步骤中选择的上述第1摄像部拍摄而获得的第1摄像图像数据进行加工处理，并将基于上述加工处理后的第1摄像图像数据的图像显示于装配在上述驾驶者的头部且固定在上述驾驶者眼睛的前方的透射型显示部。
在上述驾驶辅助方法中，上述加工处理能够包含用于使由上述驾驶者在上述乘坐物的窗框内观察的像的轮廓和显示于上述显示部的该图像中所包含的与该像对应的图像的轮廓一致的处理。
在上述驾驶辅助方法中，上述显示控制步骤在上述第2摄像图像数据中，从与由上述驾驶者在上述乘坐物的窗框内观察的像对应的对应部分进行轮廓提取处理，且从上述第1摄像图像数据中进行轮廓提取处理，上述加工处理能够包含使从上述第1摄像图像数据中提取的轮廓中与从上述第2摄像图像数据中提取的轮廓对应的范围内的轮廓和从上述第2摄像图像数据中提取的轮廓一致的处理。
在上述驾驶辅助方法中，能够设成如下，即，上述显示控制步骤在上述第2摄像图像数据中，仅将上述对应部分且包含可能成为驾驶上述乘坐物的障碍的障碍物的部分设为对象而进行轮廓提取处理。
在上述驾驶辅助方法中，能够设成如下，即，上述显示控制步骤在上述第2摄像图像数据中，仅将包含上述对应部分的重力方向的下端的一部分设为对象而进行轮廓提取处理。
在上述驾驶辅助方法中，能够设成如下，即，上述显示控制步骤在上述第2摄像图像数据中，从上述对应部分的重力方向的下端朝向上端进行提取可能成为驾驶上述乘坐物的障碍的障碍物的处理，并将从上述对应部分最初检测到的上述障碍物设为对象而进行轮廓提取处理。
在上述驾驶辅助方法中，能够设成如下，即，上述显示控制步骤在上述第2摄像图像数据中，从上述对应部分的重力方向的下端朝向上端进行提取可能成为驾驶上述乘坐物的障碍的障碍物的处理，当从上述对应部分检测不到上述障碍物时，以间隔剔除处理的方式进行轮廓提取处理。
在上述驾驶辅助方法中，能够设成如下，即，进行了对上述第2摄像图像数据进行的轮廓提取处理的结果，当轮廓没有被提取时，上述显示控制步骤省略上述加工处理而将基于上述第1摄像图像数据的上述图像显示于上述显示部。
在上述驾驶辅助方法中，能够设成如下，即，上述显示控制步骤根据通过上述显示部观察的上述乘坐物的结构物的颜色或上述乘坐物的室内的明度，控制显示于上述显示部的上述图像的颜色或亮度中的至少一个。
在上述驾驶辅助方法中，能够设成如下，即，上述视线检测步骤根据拍摄上述驾驶者眼睛的前方而获得的摄像图像检测上述视线，或根据上述驾驶者头部的动向检测上述视线。
驾驶辅助程序辅助乘坐物的驾驶，该驾驶辅助程序使计算机执行如下步骤：视线检测步骤，检测驾驶上述乘坐物的驾驶者的视线；摄像选择步骤，从拍摄上述乘坐物周围的多个第1摄像部中选择与上述视线方向对应的第1摄像部；及显示控制步骤，根据通过装配在上述驾驶者的头部且拍摄上述驾驶者眼睛的前方的第2摄像部拍摄而获得的第2摄像图像数据，对通过在上述摄像选择步骤中选择的上述第1摄像部拍摄而获得的第1摄像图像数据进行加工处理，并将基于上述加工处理后的第1摄像图像数据的图像显示于装配在上述驾驶者的头部且固定在上述驾驶者眼睛的前方的透射型显示部。
产业上的可利用性
本发明适合辅助汽车的驾驶。
符号说明
1-汽车，11-右后视镜，12-左后视镜，13～15-第1摄像部，2-驾驶辅助装置，21L、21R-镜腿，22-鼻架，23R、23L-鼻托，24R、24L-透明基板，25-控制单元，26-框体，27-显示部，28-第2摄像部，30-系统控制部，31-视线检测部，32-摄像选择部，33-显示控制部，50-第1摄像图像数据，51～54-图像，55-范围，101-窗框，102-座位，111、112-人物，113-电线杆，114-白线，27A-图像显示范围，51A～53A-轮廓。

Claims (22)

1.一种驾驶辅助装置，其辅助乘坐物的驾驶，所述驾驶辅助装置具备：
视线检测部，检测所述乘坐物的驾驶者的视线；
摄像选择部，从拍摄所述乘坐物周围的多个第1摄像部中选择与所述视线方向对应的第1摄像部；及
显示控制部，根据通过拍摄所述驾驶者眼睛的前方的第2摄像部拍摄而获得的第2摄像图像数据，对通过由所述摄像选择部选择的所述第1摄像部拍摄而获得的第1摄像图像数据进行加工处理，并将基于所述加工处理后的第1摄像图像数据的图像显示于固定在所述乘坐物的所述驾驶者眼睛的前方的透射型显示部。
2.根据权利要求1所述的驾驶辅助装置，其还具备：
透射型显示部，固定在所述乘坐物的所述驾驶者眼睛的前方；及
第2摄像部，拍摄所述驾驶者眼睛的前方，
所述驾驶辅助装置装配在所述驾驶者的头部。
3.根据权利要求1或2所述的驾驶辅助装置，其中，
所述加工处理为用于使由所述驾驶者在所述乘坐物的窗框内观察的像的轮廓和显示于所述显示部的所述图像中所包含的与所述像对应的图像的轮廓一致的处理。
4.根据权利要求3所述的驾驶辅助装置，其中，
所述显示控制部在所述第2摄像图像数据中，从与由所述驾驶者在所述乘坐物的窗框内观察的像对应的对应部分进行轮廓提取处理，且从所述第1摄像图像数据中进行轮廓提取处理，
所述加工处理为使从所述第1摄像图像数据中提取的轮廓中与从所述第2摄像图像数据中提取的轮廓对应的范围内的轮廓和从所述第2摄像图像数据中提取的轮廓一致的处理。
5.根据权利要求4所述的驾驶辅助装置，其中，
所述显示控制部在所述第2摄像图像数据中，仅将为所述对应部分且包含可能成为驾驶所述乘坐物的障碍的障碍物的部分设为对象而进行轮廓提取处理。
6.根据权利要求4所述的驾驶辅助装置，其中，
所述显示控制部在所述第2摄像图像数据中，仅将包含所述对应部分的重力方向的下端的一部分设为对象而进行轮廓提取处理。
7.根据权利要求4～6中任一项所述的驾驶辅助装置，其中，
所述显示控制部在所述第2摄像图像数据中，从所述对应部分的重力方向的下端朝向上端进行提取可能成为驾驶所述乘坐物的障碍的障碍物的处理，并将从所述对应部分最初检测到的所述障碍物设为对象而进行轮廓提取处理。
8.根据权利要求4～6中任一项所述的驾驶辅助装置，其中，
所述显示控制部在所述第2摄像图像数据中，从所述对应部分的重力方向的下端朝向上端进行提取可能成为驾驶所述乘坐物的障碍的障碍物的处理，当从所述对应部分检测不到所述障碍物时，以间隔剔除处理的方式进行轮廓提取处理。
9.根据权利要求4～8中任一项所述的驾驶辅助装置，其中，
所述显示控制部中，进行了对所述第2摄像图像数据进行的轮廓提取处理的结果，当轮廓没有被提取时，省略所述加工处理而将基于所述第1摄像图像数据的图像显示于所述显示部。
10.根据权利要求1～9中任一项所述的驾驶辅助装置，其中，
所述显示控制部根据通过所述显示部观察的所述乘坐物的结构物的颜色或所述乘坐物的室内的明度，控制显示于所述显示部的图像的颜色或亮度中的至少一个。
11.根据权利要求1～10中任一项所述的驾驶辅助装置，其中，
所述视线检测部根据拍摄所述驾驶者眼睛的前方而获得的摄像图像检测所述视线，或根据所述驾驶者头部的动向检测所述视线。
12.一种驾驶辅助方法，其辅助乘坐物的驾驶，所述驾驶辅助方法具备：
视线检测步骤，检测所述乘坐物的驾驶者的视线；
摄像选择步骤，从拍摄所述乘坐物周围的多个第1摄像部中选择与所述视线方向对应的第1摄像部；及
显示控制步骤，根据通过装配在所述驾驶者的头部且拍摄所述驾驶者眼睛的前方的第2摄像部拍摄而获得的第2摄像图像数据，对通过在所述摄像选择步骤中选择的所述第1摄像部拍摄而获得的第1摄像图像数据进行加工处理，并将基于所述加工处理后的第1摄像图像数据的图像显示于装配在所述驾驶者的头部且固定在所述驾驶者眼睛的前方的透射型显示部。
13.根据权利要求12所述的驾驶辅助方法，其中，
所述加工处理为用于使由所述驾驶者在所述乘坐物的窗框内观察的像的轮廓和显示于所述显示部的所述图像中所包含的与所述像对应的图像的轮廓一致的处理。
14.根据权利要求13所述的驾驶辅助方法，其中，
所述显示控制步骤在所述第2摄像图像数据中，从与由所述驾驶者在所述乘坐物的窗框内观察的像对应的对应部分进行轮廓提取处理，且从所述第1摄像图像数据中进行轮廓提取处理，
所述加工处理为使从所述第1摄像图像数据中提取的轮廓中与从所述第2摄像图像数据中提取的轮廓对应的范围内的轮廓和从所述第2摄像图像数据中提取的轮廓一致的处理。
15.根据权利要求14所述的驾驶辅助方法，其中，
所述显示控制步骤在所述第2摄像图像数据中，仅将为所述对应部分且包含可能成为驾驶所述乘坐物的障碍的障碍物的部分设为对象而进行轮廓提取处理。
16.根据权利要求14所述的驾驶辅助方法，其中，
所述显示控制步骤在所述第2摄像图像数据中，仅将包含所述对应部分的重力方向的下端的一部分设为对象而进行轮廓提取处理。
17.根据权利要求14～16中任一项所述的驾驶辅助方法，其中，
所述显示控制步骤在所述第2摄像图像数据中，从所述对应部分的重力方向的下端朝向上端进行提取可能成为驾驶所述乘坐物的障碍的障碍物的处理，并将从所述对应部分最初检测到的所述障碍物设为对象而进行轮廓提取处理。
18.根据权利要求14～16中任一项所述的驾驶辅助方法，其中，
所述显示控制步骤在所述第2摄像图像数据中，从所述对应部分的重力方向的下端朝向上端进行提取可能成为驾驶所述乘坐物的障碍的障碍物的处理，当从所述对应部分检测不到所述障碍物时，以间隔剔除处理的方式进行轮廓提取处理。
19.根据权利要求14～18中任一项所述的驾驶辅助方法，其中，
所述显示控制步骤中，进行了对所述第2摄像图像数据进行的轮廓提取处理的结果，当轮廓没有被提取时，省略所述加工处理而将基于所述第1摄像图像数据的图像显示于所述显示部。
20.根据权利要求12～19中任一项所述的驾驶辅助方法，其中，
所述显示控制步骤根据通过所述显示部观察的所述乘坐物的结构物的颜色或所述乘坐物的室内的明度，控制显示于所述显示部的图像的颜色或亮度中的至少一个。
21.根据权利要求12～20中任一项所述的驾驶辅助方法，其中，
所述视线检测步骤根据拍摄所述驾驶者眼睛的前方而获得的摄像图像检测所述视线，或根据所述驾驶者头部的动向检测所述视线。
22.一种驾驶辅助程序，其辅助乘坐物的驾驶，所述驾驶辅助程序用于使计算机执行如下步骤：
视线检测步骤，检测所述乘坐物的驾驶者的视线；
摄像选择步骤，从拍摄所述乘坐物周围的多个第1摄像部中选择与所述视线方向对应的第1摄像部；及
显示控制步骤，根据通过装配在所述驾驶者的头部且拍摄所述驾驶者眼睛的前方的第2摄像部拍摄而获得的第2摄像图像数据，对通过在所述摄像选择步骤中选择的所述第1摄像部拍摄而获得的第1摄像图像数据进行加工处理，并将基于所述加工处理后的第1摄像图像数据的图像显示于装配在所述驾驶者的头部且固定在所述驾驶者眼睛的前方的透射型显示部。
CN201780011274.2A 2016-02-25 2017-01-27 驾驶辅助装置、驾驶辅助方法及驾驶辅助程序 Active CN108701415B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016034394 2016-02-25
JP2016-034394 2016-02-25
PCT/JP2017/002963 WO2017145645A1 (ja) 2016-02-25 2017-01-27 運転支援装置、運転支援方法、及び、運転支援プログラム

Publications (2)

Publication Number Publication Date
CN108701415A true CN108701415A (zh) 2018-10-23
CN108701415B CN108701415B (zh) 2021-08-03

Family

ID=59685372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780011274.2A Active CN108701415B (zh) 2016-02-25 2017-01-27 驾驶辅助装置、驾驶辅助方法及驾驶辅助程序

Country Status (4)

Country Link
US (1) US11025836B2 (zh)
JP (1) JP6410987B2 (zh)
CN (1) CN108701415B (zh)
WO (1) WO2017145645A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210291853A1 (en) * 2020-03-20 2021-09-23 Alpine Electronics, Inc. Vehicle image processing device
CN113752782A (zh) * 2020-06-05 2021-12-07 丰田自动车株式会社 体验系统、体验提供方法以及存储介质
CN114450185A (zh) * 2019-09-30 2022-05-06 三菱电机株式会社 图像显示装置、显示控制装置、显示控制方法以及程序和记录介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190102923A1 (en) * 2017-10-04 2019-04-04 L3 Technologies, Inc. Combining synthetic imagery with real imagery for vehicular operations
JP7203514B2 (ja) * 2018-05-31 2023-01-13 株式会社デンソーテン 走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法
JP7167562B2 (ja) * 2018-09-05 2022-11-09 トヨタ紡織株式会社 メガネ型端末、個人認証システム、及びカーシェアリングシステム
JP7163748B2 (ja) * 2018-12-05 2022-11-01 トヨタ自動車株式会社 車両用表示制御装置
JP7147527B2 (ja) * 2018-12-10 2022-10-05 トヨタ自動車株式会社 支援装置、支援方法およびプログラム
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法およびプログラム
JP2021064906A (ja) * 2019-10-16 2021-04-22 トヨタ自動車株式会社 画像表示システム

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294842A (ja) * 1994-04-26 1995-11-10 Toyota Motor Corp 自動車用情報表示装置
JPH10206787A (ja) * 1997-01-20 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
JP2005284473A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 運転支援システム、自動車、および運転支援方法
JP2006040123A (ja) * 2004-07-29 2006-02-09 Honda Motor Co Ltd 車両の認知支援装置
JP2006205930A (ja) * 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
EP1895510A1 (en) * 2006-08-29 2008-03-05 Aisin Aw Co., Ltd. Voice recognition method and voice recognition apparatus
JP2008143701A (ja) * 2006-12-13 2008-06-26 Mitsubishi Heavy Ind Ltd 産業車両の視界改善システム及び方法
CN101277432A (zh) * 2007-03-26 2008-10-01 爱信艾达株式会社 驾驶辅助方法以及驾驶辅助装置
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2009278234A (ja) * 2008-05-13 2009-11-26 Konica Minolta Holdings Inc 表示システム
CN101652802A (zh) * 2007-04-02 2010-02-17 松下电器产业株式会社 安全驾驶支持装置
JP2010058631A (ja) * 2008-09-03 2010-03-18 Mazda Motor Corp 車両用情報表示装置
JP2012198149A (ja) * 2011-03-22 2012-10-18 Toshiba Corp 単眼ヘッドマウントディスプレイ
CN103185963A (zh) * 2013-03-29 2013-07-03 南京智真电子科技有限公司 多功能车辆辅助驾驶眼镜
CN104090366A (zh) * 2014-07-23 2014-10-08 占舒婷 一种汽车驾驶眼镜

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10206789A (ja) 1997-01-22 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US9230501B1 (en) * 2012-01-06 2016-01-05 Google Inc. Device control utilizing optical flow
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US8988524B2 (en) * 2013-03-11 2015-03-24 The United States Of America As Represented By The Secretary Of The Army Apparatus and method for estimating and using a predicted vehicle speed in an indirect vision driving task
US9280202B2 (en) * 2013-05-10 2016-03-08 Magna Electronics Inc. Vehicle vision system
TWI505260B (zh) * 2013-07-30 2015-10-21 Univ Nat Chiao Tung 頭戴式人眼追蹤系統
DE102015202846B4 (de) * 2014-02-19 2020-06-25 Magna Electronics, Inc. Fahrzeugsichtsystem mit Anzeige
EP2933707B1 (en) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment
US20150321606A1 (en) * 2014-05-09 2015-11-12 HJ Laboratories, LLC Adaptive conveyance operating system
DE102014213021A1 (de) * 2014-07-04 2016-01-07 Bayerische Motoren Werke Aktiengesellschaft Lokalisierung eines HMD im Fahrzeug
US9477083B2 (en) * 2014-12-01 2016-10-25 Visteon Global Technologies, Inc. Adjusting an electronic display based on light sensing
US9690104B2 (en) * 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
US9898668B2 (en) * 2015-08-27 2018-02-20 Qualcomm Incorporated System and method of object detection
US10262466B2 (en) * 2015-10-14 2019-04-16 Qualcomm Incorporated Systems and methods for adjusting a combined image visualization based on depth information
US9881501B2 (en) * 2015-11-02 2018-01-30 Magna Electronics Inc. Driver assistance system with traffic light alert
CN107924465B (zh) * 2016-03-18 2021-09-10 Jvc 建伍株式会社 物体识别装置、物体识别方法以及存储介质
US20170287217A1 (en) * 2016-03-30 2017-10-05 Kahyun Kim Preceding traffic alert system and method
US10573074B1 (en) * 2017-03-21 2020-02-25 Rockwell Collins, Inc. Evaluating display accuracy
US11380018B2 (en) * 2017-12-19 2022-07-05 Telefonaktiebolaget Lm Ericsson (Publ) Head-mounted display device and method thereof
US10679410B2 (en) * 2018-09-14 2020-06-09 Facebook Technologies, Llc Display opacity control for preventing view occlusion in artificial reality
US10767997B1 (en) * 2019-02-25 2020-09-08 Qualcomm Incorporated Systems and methods for providing immersive extended reality experiences on moving platforms
KR20190109720A (ko) * 2019-09-06 2019-09-26 엘지전자 주식회사 차량의 주행 안내 방법 및 장치

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294842A (ja) * 1994-04-26 1995-11-10 Toyota Motor Corp 自動車用情報表示装置
JPH10206787A (ja) * 1997-01-20 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
JP2005284473A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 運転支援システム、自動車、および運転支援方法
JP2006040123A (ja) * 2004-07-29 2006-02-09 Honda Motor Co Ltd 車両の認知支援装置
JP2006205930A (ja) * 2005-01-28 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
EP1895510A1 (en) * 2006-08-29 2008-03-05 Aisin Aw Co., Ltd. Voice recognition method and voice recognition apparatus
JP2008143701A (ja) * 2006-12-13 2008-06-26 Mitsubishi Heavy Ind Ltd 産業車両の視界改善システム及び方法
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
CN101277432A (zh) * 2007-03-26 2008-10-01 爱信艾达株式会社 驾驶辅助方法以及驾驶辅助装置
CN101652802A (zh) * 2007-04-02 2010-02-17 松下电器产业株式会社 安全驾驶支持装置
JP2009278234A (ja) * 2008-05-13 2009-11-26 Konica Minolta Holdings Inc 表示システム
JP2010058631A (ja) * 2008-09-03 2010-03-18 Mazda Motor Corp 車両用情報表示装置
JP2012198149A (ja) * 2011-03-22 2012-10-18 Toshiba Corp 単眼ヘッドマウントディスプレイ
CN103185963A (zh) * 2013-03-29 2013-07-03 南京智真电子科技有限公司 多功能车辆辅助驾驶眼镜
CN104090366A (zh) * 2014-07-23 2014-10-08 占舒婷 一种汽车驾驶眼镜

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114450185A (zh) * 2019-09-30 2022-05-06 三菱电机株式会社 图像显示装置、显示控制装置、显示控制方法以及程序和记录介质
US20210291853A1 (en) * 2020-03-20 2021-09-23 Alpine Electronics, Inc. Vehicle image processing device
US11661004B2 (en) * 2020-03-20 2023-05-30 Alpine Electronics, Inc. Vehicle image processing device
CN113752782A (zh) * 2020-06-05 2021-12-07 丰田自动车株式会社 体验系统、体验提供方法以及存储介质

Also Published As

Publication number Publication date
US11025836B2 (en) 2021-06-01
WO2017145645A1 (ja) 2017-08-31
JPWO2017145645A1 (ja) 2018-12-27
US20180359429A1 (en) 2018-12-13
JP6410987B2 (ja) 2018-10-24
CN108701415B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN108701415A (zh) 驾驶辅助装置、驾驶辅助方法及驾驶辅助程序
CN105083122B (zh) 立体摄像头、车辆驾驶辅助装置及车辆
EP2950521B1 (en) Camera capable of reducing motion blur in a low luminance environment and vehicle including the same
JP5783471B2 (ja) 画像合成装置
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
US20160224852A1 (en) Vehicle operator monitoring system and method
JP2008230296A (ja) 車両用運転支援システム
JP4622740B2 (ja) 車両用表示制御装置
CN104380369B (zh) 图像显示设备和图像显示方法
EP3456574B1 (en) Method and system for displaying virtual reality information in a vehicle
CN112622765B (zh) 一种全时视觉辅助后视镜系统
CN106570852A (zh) 一种实时3d图像态势感知方法
TWI552907B (zh) 行車安全輔助系統和方法
JP4856291B1 (ja) 表示装置及び制御方法
JP2006195571A (ja) 画像認識システム、及び撮像装置
JP2008037118A (ja) 車両用表示装置
US20170270891A1 (en) Vehicle driving assistance apparatus
JP2012116400A (ja) コーナーポール投影装置
CN107009961A (zh) 汽车和汽车透明座舱系统
CN107640160A (zh) 车辆安全驾驶辅助系统及其控制方法
JP5517170B2 (ja) 表示装置及び制御方法
CN111016786B (zh) 基于3d视线估计的汽车a柱遮挡区域显示方法
US11589028B2 (en) Non-same camera based image processing apparatus
JP2018162030A (ja) 車両用表示装置
JP2018056755A (ja) 車載映像表示装置、車載映像表示方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant