CN113085729A - 车辆用电子镜系统 - Google Patents

车辆用电子镜系统 Download PDF

Info

Publication number
CN113085729A
CN113085729A CN202011528992.7A CN202011528992A CN113085729A CN 113085729 A CN113085729 A CN 113085729A CN 202011528992 A CN202011528992 A CN 202011528992A CN 113085729 A CN113085729 A CN 113085729A
Authority
CN
China
Prior art keywords
vehicle
image
virtual
travel track
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011528992.7A
Other languages
English (en)
Other versions
CN113085729B (zh
Inventor
饭田智阳
高桥佑纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN113085729A publication Critical patent/CN113085729A/zh
Application granted granted Critical
Publication of CN113085729B publication Critical patent/CN113085729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

一种车辆用电子镜系统，显示控制装置使合成影像显示于电子内后视镜，所述合成影像是，通过对由后方相机拍摄到的后方影像和由外部相机单元拍摄到的后侧方影像实施影像处理，而以使它们各自连续的方式进行合成而得到的合成影像。显示控制装置的本车辆假想图像重叠显示部生成假想地表示本车辆的本车辆假想图像，并在合成影像中重叠地显示本车辆假想图像。另外，显示控制装置的本车辆行驶轨迹重叠显示部生成在合成影像中从后轮朝向车辆的后方侧延伸设置的行驶轨迹假想图像并在合成影像中重叠地进行显示。

Description

车辆用电子镜系统
技术领域
本发明涉及车辆用电子镜系统。
背景技术
在下述国际专利公开第2016/178190中公开了涉及车辆用周边监视装置的发明。在该车辆用周边监视装置中，在由设置于车辆的外部且对车辆的侧方及后方进行拍摄的拍摄装置拍摄到的影像中重叠地显示沿车辆前后方向延伸的前后引导线、和从该前后引导线沿车辆宽度方向延伸的横向引导线。由此，在驾驶员看到所拍摄到的影像时，与仅显示前后引导线或横向引导线的情况相比，能够容易掌握车辆周边的距离感。
发明内容
在国际专利公开第2016/178190所公开的构成的情况下，由于本车辆的车门映入影像中，所以能够通过视觉确认反映在影像中的道路的车道边界线与本车辆的车门的间隔来掌握本车辆在路上的左右方向的相对位置。然而，在由对车辆的后方进行拍摄的后方拍摄单元拍摄的影像中，本车辆不会映入影像中。另外，即使在将由后方拍摄单元拍摄的影像与由分别对车辆的左右侧方侧的后方进行拍摄的左右一对的后侧方拍摄单元拍摄的影像一体地合成的影像中，在以使各个影像连续地相连的方式实施影像处理时，有时本车辆也不会映入影像中。因此，难以根据上述的影像来掌握本车辆在路上的左右方向的相对位置。因此，上述现有技术在这些方面有改良的余地。
考虑到上述事实，本发明的目的在于获得一种能够容易根据影像来掌握本车辆在路上的左右方向的相对位置的车辆用电子镜系统。
本发明的技术方案涉及的车辆用电子镜系统具有：后方拍摄单元，对车辆的后方进行拍摄；左右一对的后侧方拍摄单元，分别对所述车辆的左右侧方侧的后方进行拍摄；以及影像处理单元，具备本车辆假想图像重叠显示部和本车辆行驶轨迹重叠显示部，所述本车辆假想图像重叠显示部使合成影像显示于显示单元，并且生成假想地表示包括所述车辆的左右一对的后轮的所述车辆的本车辆假想图像，并在所述合成影像中重叠地显示该本车辆假想图像，所述合成影像是，通过对由所述后方拍摄单元拍摄到的后方影像和由所述后侧方拍摄单元拍摄到的后侧方影像实施影像处理，而以使它们各自连续的方式合成的合成影像，所述本车辆行驶轨迹重叠显示部生成假想地表示在所述合成影像中从所述左右一对的后轮朝向所述车辆的后方侧延伸设置的所述车辆的行驶轨迹的行驶轨迹假想图像，并在所述合成影像中重叠地显示该行驶轨迹假想图像。
根据上述技术方案，影像处理单元使合成影像显示于显示单元，所述合成影像是，通过对由后方拍摄单元拍摄到的后方影像和由后侧方拍摄单元拍摄到的后侧方影像实施影像处理，而以使它们各自连续的方式合成的合成影像。影像处理单元的本车辆假想图像重叠显示部生成假想地表示包括车辆的左右一对的后轮的本车辆的本车辆假想图像，并在合成影像中重叠地显示该本车辆假想图像。另外，影像处理单元的本车辆行驶轨迹重叠显示部生成行驶轨迹假想图像，并在合成影像中重叠地显示该行驶轨迹假想图像，所述行驶轨迹假想图像是假想地表示在合成影像中从左右一对的后轮朝向车辆的后方侧延伸设置的行驶轨迹的图像。因此，根据反映在合成影像中的行驶轨迹假想图像相对于道路的位置，能够容易掌握本车辆在路上的左右方向的相对位置。
上述技术方案涉及的车辆用电子镜系统具有能够容易根据影像来掌握本车辆在路上的左右方向的相对位置这样的优异效果。
在上述技术方案中，所述影像处理单元检测反映在所述后方影像、所述后侧方影像以及所述合成影像中的至少一个中的车道边界线，并且，所述本车辆行驶轨迹重叠显示部，算出所述合成影像中的从与所述左右一对的后轮对应的位置到所述后方影像、所述后侧方影像以及所述合成影像中的至少一个中的所述车道边界线为止的距离，以按该距离离开所述车道边界线、并且沿着所述车道边界线的方式生成所述行驶轨迹假想图像。
根据上述技术方案，影像处理单元检测反映在合成影像中的车道边界线，并且本车辆行驶轨迹重叠显示部算出合成影像中的从与左右一对的后轮对应的位置到车道边界线为止的距离，以按该距离离开车道边界线、并且沿着车道边界线的方式生成行驶轨迹假想图像。因此，即使在车辆用电子镜系统起动后车辆没有进行行驶的状态下，也能够生成行驶轨迹假想图像，所以即使在车辆行驶前的状态下也能够容易掌握本车辆在路上的左右方向的相对位置。
上述技术方案涉及的车辆用电子镜系统具有即使在车辆行驶前也能够容易根据影像来掌握行驶车道(lane)上的本车辆的左右方向的相对位置这样的优异效果。
在此，设为“车道边界线”包括本车辆所行驶的道路中的中心线、道路边界线、中央隔离带、埋设于路面的道路识别器和标志、以及道路标示等。
在上述技术方案中，所述本车辆行驶轨迹重叠显示部以与所述合成影像中的所述车道边界线的延伸设置方向的显示范围相同的方式，生成所述合成影像中的所述行驶轨迹假想图像的延伸设置方向的显示范围。
根据上述技术方案，本车辆行驶轨迹重叠显示部以与合成影像中的车道边界线的延伸设置方向的显示范围相同的方式，生成合成影像中的行驶轨迹假想图像的延伸设置方向的显示范围。因此，在通过了坡道的顶点之后等、与在平地行驶的情况相比，合成影像车道边界线的延伸设置方向的显示范围小的情况下，能够降低因较长地显示行驶轨迹假想图像引起的视觉确认合成影像时的违和感。
上述技术方案涉及的车辆用电子镜系统具有能够提高视觉确认性这样的优异效果。
在上述技术方案中，所述影像处理单元取得所述车辆的方向盘的舵角信息，并且所述本车辆假想图像重叠显示部使所述行驶轨迹假想图像以所述合成影像中的与所述左右一对的后轮对应的位置为中心，与所述舵角信息对应地在车辆宽度方向上弯曲。
根据上述技术方案，影像处理单元取得车辆的方向盘的舵角信息，并且本车辆假想图像重叠显示部使行驶轨迹假想图像以与左右一对的后轮对应的位置为中心，与舵角信息对应地在车辆宽度方向上弯曲，所以能够在合成影像中重叠地显示更接近实际的行驶状态的行驶轨迹假想图像。
上述技术方案涉及的车辆用电子镜系统具有能够降低视觉确认合成影像时的违和感这样的优异效果。
在上述技术方案中，所述影像处理单元，在所述后方影像、所述后侧方影像以及所述合成影像中的至少一个中的与所述左右一对的后轮对应的位置的车辆后方侧附近的范围内提取特征点，并且，所述本车辆行驶轨迹重叠显示部基于该特征点的移动轨迹生成所述行驶轨迹假想图像。
根据上述技术方案，影像处理单元基于在合成影像中的与左右一对的后轮对应的位置的车辆后方侧附近的范围内提取的特征点的移动轨迹生成行驶轨迹假想图像，所以能够显示沿着实际的行驶轨迹的轨迹。因此，即使在无法检测车道边界线的情况下也能够在合成影像中重叠地显示行驶轨迹假想图像。
上述技术方案涉及的车辆用电子镜系统具有即使在难以检测车道边界线的状况下也能够容易掌握本车辆在路上的左右方向的相对位置这样的优异效果。
在上述技术方案中，所述影像处理单元，在所述后方影像、所述后侧方影像以及所述合成影像中的至少一个中的与所述左右一对的后轮对应的位置的车辆后方侧附近的范围内不能提取所述特征点的情况下，扩大所述合成影像中的提取所述特征点的范围。
根据上述技术方案，影像处理单元在合成影像中的与左右一对的后轮对应的位置的车辆后方侧附近的范围内不能提取特征点的情况下，扩大合成影像中的提取特征点的范围，所以即使在难以提取特征点的状况下也能够生成行驶轨迹假想图像。
上述技术方案涉及的车辆用电子镜系统具有在各种状况下均能够在合成影像中重叠地显示行驶轨迹假想图像这样的优异效果。
在上述技术方案中，所述本车辆行驶轨迹重叠显示部，在所述合成影像中显示所述车辆的后续车辆的情况下，以使得所述行驶轨迹假想图像不与所述后续车辆重叠的方式变更所述行驶轨迹假想图像的延伸设置方向的长度。
根据上述技术方案，本车辆行驶轨迹重叠显示部以使得显示于合成影像的后续车辆不与行驶轨迹假想图像重叠的方式变更行驶轨迹假想图像的延伸设置方向的长度，所以能够降低由于行驶轨迹假想图像与后续车辆重叠而产生的视觉确认合成影像时的违和感。
在上述技术方案中，所述本车辆行驶轨迹重叠显示部，在所述合成影像中显示所述车辆的后续车辆且从所述车辆到该后续车辆为止的距离为预定的距离以下的情况下，相对于除此以外的情况变更所述行驶轨迹假想图像的显示。
根据上述技术方案，本车辆行驶轨迹重叠显示部在从显示于合成影像的后续车辆到本车辆为止的距离为预定的距离以下的情况下，相对于除此以外的情况变更行驶轨迹假想图像的显示，所以在视觉确认合成影像时容易掌握本车辆与后续车辆的距离感。
上述技术方案涉及的车辆用电子镜系统具有能够容易掌握本车辆与后续车辆的位置关系这样的优异效果。
附图说明
以下将参照附图说明本发明的示例性实施方式的特征、优点以及技术和产业意义，在附图中相似的附图标记表示相似的要素，并且其中：
图1是示出朝向车辆前方侧观察具有第1实施方式涉及的车辆用电子镜系统的车辆的车室内的状态的大致立体图。
图2是大致示出具有第1实施方式涉及的车辆用电子镜系统的车辆中的拍摄范围的俯视图。
图3是示出第1实施方式涉及的车辆用电子镜系统的合成影像的显示例的概略图。
图4是大致示出第1实施方式涉及的车辆用电子镜系统的影像处理的内容的概略图。
图5是示出具有第1实施方式涉及的车辆用电子镜系统的车辆在坡道行驶的情况下的合成影像的例子的概略图。
图6是示出将具有第1实施方式涉及的车辆用电子镜系统的车辆的方向盘被向左右一方进行操舵的情况下的合成影像的例子的概略图。
图7是示出第1实施方式涉及的车辆用电子镜系统的硬件构成的框图。
图8是示出第1实施方式涉及的车辆用电子镜系统的功能构成的框图。
图9是大致示出第2实施方式涉及的车辆用电子镜系统的影像处理中的初期阶段的概略图。
图10是大致示出第2实施方式涉及的车辆用电子镜系统的影像处理中的中期阶段的概略图。
图11是大致示出第2实施方式涉及的车辆用电子镜系统的影像处理中的后期阶段的概略图。
图12是大致示出第2实施方式涉及的车辆用电子镜系统的影像处理中的显示行驶轨迹假想图像前的阶段的概略图。
图13是示出第2实施方式涉及的车辆用电子镜系统的功能构成的框图。
图14是示出第3实施方式涉及的车辆用电子镜系统的合成影像的显示例的概略图。
图15是示出第3实施方式涉及的车辆用电子镜系统的功能构成的框图。
具体实施方式
(第1实施方式)
以下，使用图1～图8，对本发明涉及的车辆用电子镜系统10的一实施方式进行说明。
(整体构成)
如图1所示，车辆用电子镜系统10具有搭载于车辆(以下，也称为“本车辆”)12的作为后侧方拍摄单元的外部相机单元(outer camera unit)14、作为后方拍摄单元的后方相机16(参照图2)、作为显示单元的电子内后视镜(inner mirror)18、作为影像处理单元的显示控制装置20、以及舵角传感器22。
在车辆12的左侧门12A(前侧门)的车辆上下方向中间部的车辆前侧端部，以相机支承体15的顶端部向车辆外侧突出的方式安装有大致长方体形状且顶端部被设为圆弧状的相机支承体15的基部。在相机支承体15的顶端部附近安装有构成外部相机单元14的一部分的左后侧方相机14L，左后侧方相机14L使拍摄光轴(镜头)朝向车辆的左后方，对车辆的左后方侧和左侧方侧的一部分进行拍摄。相机支承体15能够以大致车辆上下方向为轴而转动，利用未图示的致动器的驱动力，相机支承体15能够向其长方向大致沿车辆的外侧面的收纳位置、或左后侧方相机14L对车辆的左后方进行拍摄的复位位置转动。在后面对左后侧方相机14L的具体的构成及作用进行叙述。
另外，在车辆12的右侧门12B(前侧门，省略图示)的车辆上下方向中间部的车辆前侧端部安装有与相机支承体15左右对称的形状的相机支承体17的基部。在相机支承体17的顶端部附近安装有构成外部相机单元14的另一部分的右后侧方相机14R，右后侧方相机14R使拍摄光轴(镜头)朝向车辆的右后方，对车辆的右后方侧和右侧方侧的一部分进行拍摄。相机支承体17也能够以大致车辆上下方向为轴而转动，利用未图示的致动器的驱动力，相机支承体17能够向其长方向大致沿车辆的外侧面的收纳位置、或右后侧方相机14R对车辆的右后方进行拍摄的复位位置转动。在后面对右后侧方相机14R的具体的构成及作用进行叙述。
进而，如图2所示，在车辆12的行李箱盖12C安装有后方相机16。后方相机16使拍摄光轴(镜头)朝向车辆的后方，对车辆12的后方进行拍摄。在后面对后方相机16的具体的构成及作用进行叙述。
如图1所示，电子内后视镜18设置于前挡风玻璃12D的车辆上方侧且车辆宽度方向大致中央处。在后面对电子内后视镜18的具体的构成及作用进行叙述。
显示控制装置20搭载于车室内，以能够通信的方式连接于外部相机单元14、后方相机16、电子内后视镜18以及舵角传感器22。在后面对显示控制装置20的具体的构成及作用进行叙述。
舵角传感器22设置于方向盘24的附近，以能够通信的方式与显示控制装置20连接。在后面对舵角传感器22的具体的构成及作用进行叙述。
(硬件构成)
图7是示出车辆用电子镜系统10的硬件构成的框图。
如图7所示，车辆用电子镜系统10构成为包括设置于显示控制装置20内的CPU(Central Processing Unit：中央处理单元)30、ROM(Read Only Memory：只读存储器)32、RAM(Random Access Memory：随机存取存储器)34及存储器36、左后侧方相机14L、右后侧方相机14R、后方相机16、电子内后视镜18、以及舵角传感器22。各构成经由总线42以能够彼此通信的方式连接。
CPU30是中央运算处理单元，执行各种程序、控制各部。即，CPU30从ROM32或存储器36读出程序，并将RAM34作为工作区域来执行程序。CPU30根据记录于ROM32或存储器36的程序来进行上述各构成的控制及各种运算处理。在本实施方式中，在ROM32或存储器36存储有在电子内后视镜18上显示影像的影像显示程序。
ROM32存储各种程序和各种数据。作为工作区域，RAM34暂时存储程序或数据。存储器36由HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态驱动器)构成，存储包括操作系统的各种程序和各种数据。
作为一例，左后侧方相机14L不具有变更拍摄光轴的方向的机构，镜头设为固定焦点且视角设为较广角。因此，左后侧方相机14L在相机支承体15位于复位位置的状态下，如图2所示那样，对车辆12的左后方侧的较广角且一定的拍摄范围PL进行拍摄。具体而言，左后侧方相机14L的拍摄范围PL被设为如下形状：在车辆俯视图中，以安装有左后侧方相机14L的相机支承体15的车辆宽度方向外侧为顶点，随着朝向车辆后方侧而在车辆宽度方向上变宽。
右后侧方相机14R与左后侧方相机14L同样，作为一例，不具有变更拍摄光轴的方向的机构，镜头设为固定焦点且视角设为较广角。因此，右后侧方相机14R在相机支承体17位于复位位置的状态下，对车辆12的右后方侧的较广角且一定的拍摄范围PR进行拍摄。具体而言，右后侧方相机14R的拍摄范围PR被设为如下形状：在车辆俯视图中，以安装有右后侧方相机14R的相机支承体17的车辆宽度方向外侧为顶点，随着朝向车辆后方侧而在车辆宽度方向上变宽。
作为一例，后方相机16不具有变更拍摄光轴的方向的机构，镜头设为固定焦点且视角设为较广角。因此，后方相机16对车辆12的后方侧的较广角且一定的拍摄范围PB进行拍摄。具体而言，后方相机16的拍摄范围PB被设为如下形状：在车辆俯视图中，以行李箱盖12C的车辆宽度方向大致中央且车辆上方侧为顶点，随着朝向车辆后方侧而在车辆宽度方向上变宽。
如图1所示，作为一例，电子内后视镜18由液晶面板构成并且能够朝向车室44的内侧进行影像显示。在电子内后视镜18上显示由显示控制装置20对由后方相机16(参照图2)、左后侧方相机14L以及右后侧方相机14R拍摄到的影像进行影像处理和以使它们各自连续的方式进行合成而得到的合成影像(参照图3)。即，电子内后视镜18代替内后视镜和侧视镜发挥作用，乘员通过视觉确认显示于电子内后视镜18的影像，能够确认以车辆的后方为中心的车辆12的周围的状况。
舵角传感器22是检测方向盘24的舵角的传感器，将与方向盘24的操舵角相应的信息(信号)向显示控制装置20输出。
(功能构成)
在执行上述的影像显示程序时，车辆用电子镜系统10使用上述的硬件资源来实现各种功能。对车辆用电子镜系统10实现的功能构成进行说明。
图8是示出车辆用电子镜系统10的功能构成的例子的框图。
如图8所示，车辆用电子镜系统10具有拍摄部46、影像处理控制部48、本车辆假想图像重叠显示部52、本车辆行驶轨迹重叠显示部54、车道边界线检测部56以及舵角检测部58作为功能构成。各功能构成通过显示控制装置20的CPU30读出并执行存储于ROM32或存储器36(参照图7)的影像显示程序而实现。
拍摄部46通过外部相机单元14和后方相机16以动态图像的方式对车辆12的周围的一部分进行拍摄。具体而言，外部相机单元14对车辆12的后方的后方影像进行拍摄，后方相机16对车辆12的左右侧方侧的后方进行车辆前后方向的拍摄。拍摄部46将这些拍摄影像向影像处理控制部48输出。
舵角检测部58从舵角传感器22取得本车辆12的方向盘24的舵角信息，并且将舵角信息向影像处理控制部48输出。
影像处理控制部48将对拍摄部46所拍摄到的影像实施了影像处理而得到的影像向电子内后视镜18输出。影像处理控制部48进行在由后方相机16拍摄的拍摄影像的左右两侧合成由左后侧方相机14L拍摄的拍摄影像和由右后侧方相机14R拍摄的拍摄影像的影像处理，并且在生成以成为从设定于本车辆12中的发动机罩12E的车辆上方侧的假想视点V(参照图2)朝向车辆后方侧且车辆下方侧倾斜地俯视那样的影像的方式进行影像处理而得到的合成影像(参照图3)后，使该合成影像显示于电子内后视镜18。
车道边界线检测部56通过对后方影像、后侧方影像以及合成影像中的至少一个进行图像解析来检测合成影像中的车道边界线LN。此外，车道边界线检测部56以对合成影像中的本车辆12所处的道路的行驶车道与其他车道或路肩等进行划分的车道边界线LN为中心进行检测。
如图3所示，本车辆假想图像重叠显示部52生成本车辆假想图像60，所述本车辆假想图像60是模拟从假想视点V朝向车辆后方侧且车辆下方侧进行观察的状态的本车辆12的外观的一部分(具体而言，从前挡风玻璃12D的车辆上方侧到顶板的范围)的假想图像。该本车辆假想图像60显示为包括从假想视点V朝向车辆后方侧且车辆下方侧进行观察的状态的本车辆12的左右一对的后轮62，并且在合成影像上的本车辆12所处的部位重叠地进行显示。另外，本车辆假想图像60被设为半透明的图像，由此也能够视觉确认重叠地显示了本车辆假想图像60的部位的合成影像。
本车辆行驶轨迹重叠显示部54生成假想地表示在合成影像中分别从本车辆假想图像60的左右一对的后轮62朝向本车辆12的后方侧延伸设置的行驶轨迹的第1行驶轨迹假想图像64，并且在合成影像中重叠地显示第1行驶轨迹假想图像64。具体而言，如图4所示，本车辆行驶轨迹重叠显示部54在合成影像上的本车辆假想图像60中的左右一对的后轮62的车辆后方侧且合成影像的下方侧生成一对假想点VP。换言之，合成影像上的与左右一对的后轮对应的位置相当于假想点VP。该假想点VP在合成影像上的坐标位置被固定。接着，生成一对假想线VL，该一对假想线VL与由车道边界线检测部56检测出的、对本车辆12所处的道路的行驶车道与其他车道或路肩等进行划分的车道边界线LN重叠。然后，算出从假想点VP到与其相邻的假想线VL为止的车辆宽度方向的距离，生成以假想点VP为起点且以该距离与车道边界线LN平行的第1行驶轨迹假想图像64(参照图3)。换言之，在合成影像上生成以假想点VP为起点朝向车辆后方侧，并且与车道边界线LN平行的第1行驶轨迹假想图像64。此外，图4中的假想点VP和假想线VL是为了进行说明而图示的，在实际的合成影像中不显示。
如图3所示，本车辆行驶轨迹重叠显示部54通常情况下在与从本车辆12的后端部向车辆后方侧离开了预定的距离(例如约10m)的位置相当的范围(以下，简称为“轨迹显示范围”)内重叠地显示第1行驶轨迹假想图像64。另外，作为一例，本车辆行驶轨迹重叠显示部54通过随着离开本车辆12而提高第1行驶轨迹假想图像64的透明度来表现出远近感。此外，如图5所示，在通过了坡道的顶点部后等由车道边界线检测部56检测出的车道边界线LN在车辆前后方向上比轨迹显示范围短的情况下，本车辆行驶轨迹重叠显示部54以与合成影像上的车道边界线LN的延伸设置方向的显示范围对应的方式，变更第1行驶轨迹假想图像64的延伸设置方向的长度。
另外，本车辆行驶轨迹重叠显示部54从舵角检测部58取得方向盘24的舵角信息，并且如图6所示，使合成影像中的第1行驶轨迹假想图像64与舵角信息对应地以假想点VP(参照图4)为中心在车辆宽度方向上弯曲。
(第1实施方式的作用·效果)
接着，对第1实施方式的作用和效果进行说明。
在本实施方式中，如图8所示，显示控制装置20使合成影像显示于电子内后视镜18，所述合成影像是通过对由后方相机16拍摄到的后方影像和由外部相机单元14拍摄到的后侧方影像实施影像处理，而以使它们各自连续的方式进行合成而得到的合成影像。如图3所示，显示控制装置20的本车辆假想图像重叠显示部52生成假想地表示包括车辆12的左右一对的后轮62的本车辆12的本车辆假想图像60，并在合成影像中重叠地显示该本车辆假想图像60。另外，显示控制装置20的本车辆行驶轨迹重叠显示部54生成假想地表示在合成影像中从左右一对的后轮62朝向车辆12的后方侧延伸设置的行驶轨迹的第1行驶轨迹假想图像64，并在合成影像中重叠地进行显示。因此，容易掌握反映在合成影像中的第1行驶轨迹假想图像64相对于道路的左右方向的相对位置。由此，能够容易根据影像掌握路上的本车辆12的左右方向的相对位置。
另外，显示控制装置20检测反映在合成影像中的车道边界线LN，并且本车辆行驶轨迹重叠显示部54算出合成影像中的从与左右一对的后轮62对应的位置到车道边界线LN为止的距离，以按该距离离开车道边界线LN、并且沿着车道边界线LN的方式生成第1行驶轨迹假想图像64。因此，即使在车辆用电子镜系统10起动之后车辆12不在行驶的状态下，也能够生成第1行驶轨迹假想图像64，所以即使在车辆12行驶前的状态下，也容易掌握本车辆12在路上的左右方向的相对位置。由此，即使在车辆12行驶前，也能够容易根据影像掌握行驶车道上的本车辆12的左右方向的相对位置。
进而，在假想图像上生成以假想点VP为起点朝向车辆后方侧与车道边界线LN平行的第1行驶轨迹假想图像64，所以与运算出实际的行驶轨迹并使其显示的情况相比，图像生成处理变得轻松。因此，能够降低显示控制装置20的负荷。
进而，另外，本车辆行驶轨迹重叠显示部54以与合成影像中的车道边界线LN的延伸设置方向的显示范围相同的方式，生成合成影像中的第1行驶轨迹假想图像64的延伸设置方向的显示范围。因此，如图5所示，在通过了坡道的顶点之后等、与在平地行驶的情况相比合成影像中的车道边界线LN的延伸设置方向的显示范围小的情况下，能够降低因较长地显示第1行驶轨迹假想图像64而在道路之外的地方进行显示引起的视觉确认合成影像时的违和感。由此，能够提高视觉确认性。
进而，另外，显示控制装置20取得车辆12的方向盘24的舵角信息，并且如图6所示，本车辆假想图像重叠显示部52使第1行驶轨迹假想图像64以与左右一对的后轮62对应的位置为中心，与舵角信息对应地在车辆宽度方向上弯曲，所以能够在合成影像中重叠地显示更接近实际的行驶状态的第1行驶轨迹假想图像64。由此，能够降低合成影像的违和感。
(第2实施方式)
接着，使用图9～图13对本发明的第2实施方式涉及的车辆用电子镜系统进行说明。此外，对与前述的第1实施方式等相同的构成部分标注相同的编号并省略其说明。
该第2实施方式涉及的车辆用电子镜系统80的基本构成与第1实施方式同样，其特征在于，显示控制装置81在左右一对的后轮62的车辆后方侧附近的范围内提取特征点并生成第1行驶轨迹假想图像64。
即，车辆用电子镜系统80具有后方相机16(参照图2)、外部相机单元14、电子内后视镜18、以及显示控制装置81(参照图1)。车辆用电子镜系统80使用上述的硬件资源来实现各种功能。对车辆用电子镜系统80实现的功能构成进行说明。
图13是示出车辆用电子镜系统80的功能构成的例子的框图。
如图13所示，车辆用电子镜系统80具有拍摄部46、影像处理控制部48、本车辆假想图像重叠显示部52、特征点检测部84以及本车辆行驶轨迹重叠显示部82作为功能构成。各功能构成通过显示控制装置20的CPU30读出并执行存储于ROM32或存储器36(参照图7)的影像显示程序来实现。
特征点检测部84通过对后方影像、后侧方影像以及合成影像中的至少一个进行图像解析，从而如图9所示，在后方影像、后侧方影像以及合成影像中的至少一个中的与左右一对的后轮62对应的位置(在本实施方式中，例如为与图4所示的假想点VP相同的位置)的车辆后方侧附近的范围内提取特征点C。此外，作为一例，该特征点C被设为亮度变化大的部位。并且，特征点检测部84检测所提取的特征点C的合成影像的下一帧中的移动目的地。通过反复进行该处理，如图10～图12所示，算出从合成影像上的最初的特征点C的坐标位置到几帧后的特征点C的位置为止的移动轨迹。另外，在后方影像和后侧方影像中提取特征点C时，以使得特征点C的位置在合成影像上也相同的方式进行特征点C的坐标变换。
另外，特征点检测部84在后方影像、后侧方影像以及合成影像中的至少一个中的与左右一对的后轮62对应的位置的车辆后方侧附近的范围内无法提取特征点C的情况下，扩大合成影像中的特征点C的检测范围直到能够提取特征点C为止。
本车辆行驶轨迹重叠显示部82生成表示在合成影像上分别从本车辆假想图像60的左右一对的后轮62朝向本车辆12的后方侧延伸设置的行驶轨迹的第1行驶轨迹假想图像64，并且在合成影像中重叠地显示第1行驶轨迹假想图像64(参照图3)。关于第1行驶轨迹假想图像64的生成，具体而言，本车辆行驶轨迹重叠显示部82以包括特征点检测部84所算出的特征点C的移动轨迹(参照图12)的方式生成第1行驶轨迹假想图像64。由此，本车辆行驶轨迹重叠显示部82所生成的第1行驶轨迹假想图像64成为沿着本车辆12的实际的行驶轨迹的图像。此外，本车辆行驶轨迹重叠显示部82与第1实施方式同样，使第1行驶轨迹假想图像64显示于合成影像中的轨迹显示范围内，并且根据状况，以与合成影像上的车道边界线LN的延伸设置方向的显示范围对应的方式变更第1行驶轨迹假想图像64的延伸设置方向的长度。
(第2实施方式的作用·效果)
接着，对第2实施方式的作用和效果进行说明。
根据上述构成，除了显示控制装置81在车辆后方侧附近的范围内提取特征点C并生成第1行驶轨迹假想图像64这一点以外，与第1实施方式的车辆用电子镜系统10同样地构成，所以也可获得与第1实施方式同样的效果。另外，如图9～图12所示，显示控制装置81基于在后方影像、后侧方影像以及合成影像中的至少一个中的与左右一对的后轮62对应的位置的车辆后方侧附近的范围内所提取的特征点C的移动轨迹来生成第1行驶轨迹假想图像64，所以能够显示沿着实际的行驶轨迹的轨迹。因此，即使在无法检测车道边界线LN的情况下也能够在合成影像中重叠地显示第1行驶轨迹假想图像64。由此，即使在难以检测车道边界线LN的状况下也能够容易掌握路上的本车辆12的左右方向的相对位置。
另外，显示控制装置81在后方影像、后侧方影像以及合成影像中的至少一个中的与左右一对的后轮62对应的位置的车辆后方侧附近的范围内无法提取特征点C的情况下，扩大提取特征点C的范围，所以即使在难以提取特征点C的状况下也能够生成第1行驶轨迹假想图像64。由此，在各种状况下均能够在合成影像中重叠地显示第1行驶轨迹假想图像64。
此外，在本实施方式中，构成为，在后方影像、后侧方影像以及合成影像中的至少一个中的左右一对的后轮62的后方侧附近的范围内提取特征点C并生成第1行驶轨迹假想图像64，但不限于此，也可以构成为，在能够检测合成影像上的车道边界线LN的情况下，与第1实施方式同样地算出从与左右一对的后轮62对应的位置到车道边界线LN为止的距离，以与左右一对的后轮62对应的位置为起点且以按该距离沿着车道边界线LN的方式生成第1行驶轨迹假想图像64。
(第3实施方式)
接着，使用图14、图15对本发明的第3实施方式涉及的车辆用电子镜系统进行说明。此外，对与前述的第1实施方式等相同的构成部分标注相同的编号并省略其说明。
该第3实施方式涉及的车辆用电子镜系统90的基本构成与第1实施方式同样，其特征在于，以使得第2行驶轨迹假想图像92不与合成影像中的后续车辆B重叠的方式变更第2行驶轨迹假想图像92的延伸设置方向的长度。
即，车辆用电子镜系统90具有后方相机16(参照图2)、外部相机单元14、电子内后视镜18以及显示控制装置91(参照图1)。车辆用电子镜系统90使用上述的硬件资源来实现各种功能。对车辆用电子镜系统90实现的功能构成进行说明。
图15是示出车辆用电子镜系统90的功能构成的例子的框图。
如图15所示，车辆用电子镜系统90具有拍摄部46、影像处理控制部48、本车辆假想图像重叠显示部52、车道边界线检测部56、舵角检测部58、本车辆行驶轨迹重叠显示部96以及后续车辆检测部98作为功能构成。各功能构成通过显示控制装置91的CPU30读出并执行存储于ROM32或存储器36(参照图7)的影像显示程序而实现。
后续车辆检测部98通过进行合成影像的图像识别来检测合成影像中的位于本车辆12的车辆后方侧的后续车辆B(参照图14)和从本车辆12到后续车辆B为止的距离。此外，后续车辆检测部98检测的后续车辆B不限于四轮车，也包括两轮车、自行车、行人等一般比四轮车宽度窄的物体(以下，简称为“窄物”)，并且在检测出窄物的情况下一并检测窄物接近左右一对的后轮62中的哪一侧。
本车辆行驶轨迹重叠显示部96生成假想地表示在合成影像中分别从本车辆假想图像60的左右一对的后轮62朝向本车辆12的后方侧延伸设置的行驶轨迹的第1行驶轨迹假想图像64，并且在合成影像中重叠地显示第1行驶轨迹假想图像64(参照图3)。另外，本车辆行驶轨迹重叠显示部96在后续车辆检测部98检测出的后续车辆B与第1行驶轨迹假想图像64重叠的情况下，生成以使得第1行驶轨迹假想图像64不与后续车辆B重叠的方式变更第1行驶轨迹假想图像64的延伸设置方向(合成影像上的车辆后方侧)的长度而得到的第2行驶轨迹假想图像92，并在合成影像中重叠地进行显示(参照图14)。此外，本车辆行驶轨迹重叠显示部96在本车辆12的车辆后方侧检测出窄物且该窄物接近左右一对的后轮62中的某一方侧的情况下，以使得仅从距该窄物近的一侧的后轮62延伸设置的第1行驶轨迹假想图像64的延伸设置方向的长度不与该窄物重叠的方式变更为第2行驶轨迹假想图像92。
另外，本车辆行驶轨迹重叠显示部96在后续车辆检测部98检测出的后续车辆B相对于本车辆12的距离为预定的阈值以下的情况下，变更第2行驶轨迹假想图像92的显示。在本实施方式中，在后续车辆B相对于本车辆12的距离近的情况下，将第2行驶轨迹假想图像92的颜色变更为红色。此外，除了变更颜色以外，也可以使第2行驶轨迹假想图像92闪烁、或者变更为其他显示。
(第3实施方式的作用·效果)
接着，对第3实施方式的作用和效果进行说明。
根据上述构成，除了以使得第2行驶轨迹假想图像92不与合成影像中的后续车辆B重叠的方式变更第2行驶轨迹假想图像92的延伸设置方向的长度这一点以外，与第1实施方式的车辆用电子镜系统10同样地构成，所以也可获得与第1实施方式同样的效果。另外，显示控制装置91以使得显示于合成影像的后续车辆B不与第2行驶轨迹假想图像92重叠的方式变更第2行驶轨迹假想图像92的延伸设置方向的长度，所以能够降低由于第2行驶轨迹假想图像92与后续车辆B重叠而产生的视觉确认合成影像时的违和感。由此，能够提高视觉确认性。
另外，本车辆行驶轨迹重叠显示部96在显示于合成影像的后续车辆B与本车辆12的距离为预定的距离以下的情况下，相对于除此以外的情况变更第2行驶轨迹假想图像92的显示，所以在视觉确认合成影像时容易掌握本车辆12与后续车辆B的距离感。由此，能够容易掌握本车辆12与后续车辆B的位置关系。
此外，在本实施方式中，构成为，与第1实施方式同样地算出从与左右一对的后轮62对应的位置到车道边界线LN为止的距离，以与左右一对的后轮62对应的位置为起点且以按该距离离开车道边界线LN、并且沿着车道边界线LN的方式生成第1行驶轨迹假想图像64，但不限于此，也可以构成为，在合成影像中的左右一对的后轮62的后方侧附近的范围内提取特征点C并生成第1行驶轨迹假想图像64，也可以对它们进行组合。
以上，对本发明的实施方式进行了说明，但本发明不限定于上述内容，当然，在不脱离其主旨的范围内，除了上述内容以外还可以进行各种变形来实施。

Claims (8)

1.一种车辆用电子镜系统，具有：
后方拍摄单元，对车辆的后方进行拍摄；
左右一对的后侧方拍摄单元，分别对所述车辆的左右侧方侧的后方进行拍摄；以及
影像处理单元，具备本车辆假想图像重叠显示部和本车辆行驶轨迹重叠显示部，所述本车辆假想图像重叠显示部使合成影像显示于显示单元，并且生成假想地表示包括所述车辆的左右一对的后轮的所述车辆的本车辆假想图像，并在所述合成影像中重叠地显示该本车辆假想图像，所述合成影像是，通过对由所述后方拍摄单元拍摄到的后方影像和由所述后侧方拍摄单元拍摄到的后侧方影像实施影像处理，而以使它们各自连续的方式合成的合成影像，所述本车辆行驶轨迹重叠显示部生成假想地表示在所述合成影像中从所述左右一对的后轮朝向所述车辆的后方侧延伸设置的所述车辆的行驶轨迹的行驶轨迹假想图像，并在所述合成影像中重叠地显示该行驶轨迹假想图像。
2.根据权利要求1所述的车辆用电子镜系统，
所述影像处理单元检测反映在所述后方影像、所述后侧方影像以及所述合成影像中的至少一个中的车道边界线，并且，
所述本车辆行驶轨迹重叠显示部，算出所述合成影像中的从与所述左右一对的后轮对应的位置到所述后方影像、所述后侧方影像以及所述合成影像中的至少一个中的所述车道边界线为止的距离，以按该距离离开所述车道边界线、并且沿着所述车道边界线的方式生成所述行驶轨迹假想图像。
3.根据权利要求2所述的车辆用电子镜系统，
所述本车辆行驶轨迹重叠显示部以与所述合成影像中的所述车道边界线的延伸设置方向的显示范围相同的方式，生成所述合成影像中的所述行驶轨迹假想图像的延伸设置方向的显示范围。
4.根据权利要求2或3所述的车辆用电子镜系统，
所述影像处理单元取得所述车辆的方向盘的舵角信息，并且所述本车辆假想图像重叠显示部使所述行驶轨迹假想图像以所述合成影像中的与所述左右一对的后轮对应的位置为中心，与所述舵角信息对应地在车辆宽度方向上弯曲。
5.根据权利要求1～4中任一项所述的车辆用电子镜系统，
所述影像处理单元，在所述后方影像、所述后侧方影像以及所述合成影像中的至少一个中的与所述左右一对的后轮对应的位置的车辆后方侧附近的范围内提取特征点，并且，
所述本车辆行驶轨迹重叠显示部基于该特征点的移动轨迹生成所述行驶轨迹假想图像。
6.根据权利要求5所述的车辆用电子镜系统，
所述影像处理单元，在所述后方影像、所述后侧方影像以及所述合成影像中的至少一个中的与所述左右一对的后轮对应的位置的车辆后方侧附近的范围内不能提取所述特征点的情况下，扩大所述合成影像中的提取所述特征点的范围。
7.根据权利要求1～6中任一项所述的车辆用电子镜系统，
所述本车辆行驶轨迹重叠显示部，在所述合成影像中显示所述车辆的后续车辆的情况下，以使得所述行驶轨迹假想图像不与所述后续车辆重叠的方式变更所述行驶轨迹假想图像的延伸设置方向的长度。
8.根据权利要求1～7中任一项所述的车辆用电子镜系统，
所述本车辆行驶轨迹重叠显示部，在所述合成影像中显示所述车辆的后续车辆且从所述车辆到该后续车辆为止的距离为预定的距离以下的情况下，相对于除此以外的情况变更所述行驶轨迹假想图像的显示。
CN202011528992.7A 2020-01-08 2020-12-22 车辆用电子镜系统 Active CN113085729B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020001637A JP7327171B2 (ja) 2020-01-08 2020-01-08 車両用電子ミラーシステム
JP2020-001637 2020-01-08

Publications (2)

Publication Number Publication Date
CN113085729A true CN113085729A (zh) 2021-07-09
CN113085729B CN113085729B (zh) 2023-09-12

Family

ID=76655698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011528992.7A Active CN113085729B (zh) 2020-01-08 2020-12-22 车辆用电子镜系统

Country Status (3)

Country Link
US (1) US11524630B2 (zh)
JP (1) JP7327171B2 (zh)
CN (1) CN113085729B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113879214A (zh) * 2021-11-17 2022-01-04 阿维塔科技(重庆)有限公司 电子后视镜的显示方法、电子后视镜显示系统及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043530A (ja) * 2005-08-04 2007-02-15 Nissan Motor Co Ltd 運転支援装置、および運転支援方法
JP2011211432A (ja) * 2010-03-29 2011-10-20 Kyocera Corp 車載用撮像装置
CN103676949A (zh) * 2012-09-03 2014-03-26 现代摩比斯株式会社 车道线跟踪控制系统及其控制方法
CN103903019A (zh) * 2014-04-11 2014-07-02 北京工业大学 一种多车道车辆轨迹时空图的自动生成方法
CN103946094A (zh) * 2011-11-08 2014-07-23 Lg伊诺特有限公司 停车辅助系统
US20140247352A1 (en) * 2013-02-27 2014-09-04 Magna Electronics Inc. Multi-camera dynamic top view vision system
WO2016017297A1 (ja) * 2014-07-28 2016-02-04 ボッシュ株式会社 自動二輪車のための情報提供装置及びプログラム
JP2017224881A (ja) * 2016-06-13 2017-12-21 株式会社デンソー 画像生成装置及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005236540A (ja) 2004-02-18 2005-09-02 Matsushita Electric Ind Co Ltd 車載カメラ装置
JP2006051850A (ja) 2004-08-10 2006-02-23 Matsushita Electric Ind Co Ltd 運転支援装置及び運転支援方法
JP2010136289A (ja) 2008-12-08 2010-06-17 Denso It Laboratory Inc 運転支援装置及び運転支援方法
KR101163446B1 (ko) * 2009-03-18 2012-07-18 기아자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
CN201402413Y (zh) * 2009-03-30 2010-02-10 德尔福技术有限公司 车辆的操控辅助设备
KR20150058531A (ko) 2011-04-20 2015-05-28 도요타 지도샤（주） 차량용 주변 경계 장치
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
JP6230280B2 (ja) * 2013-06-10 2017-11-15 ユニキャリア株式会社 作業車両の後方周辺監視装置
JP6171890B2 (ja) 2013-11-21 2017-08-02 トヨタ自動車株式会社 車両用支援制御装置
JP6318864B2 (ja) 2014-05-29 2018-05-09 トヨタ自動車株式会社 運転支援装置
JP6502662B2 (ja) 2014-12-24 2019-04-17 株式会社デンソー 車両制御装置
CN107848465B (zh) 2015-05-06 2021-06-01 麦格纳镜片美国有限公司 具有盲区显示和警示系统的车辆视觉系统
JP6654820B2 (ja) 2015-06-30 2020-02-26 株式会社デンソー 運転支援装置、及び運転支援方法
EP3305597B1 (en) 2016-10-04 2020-12-09 Ficomirrors, S.A.U. Vehicle driving assist system
JP2018121223A (ja) 2017-01-26 2018-08-02 株式会社富士通ゼネラル 画像処理装置および車載撮像装置
JP6889587B2 (ja) * 2017-03-31 2021-06-18 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6720924B2 (ja) 2017-06-12 2020-07-08 トヨタ自動車株式会社 車外報知装置
US10366541B2 (en) * 2017-07-21 2019-07-30 Ford Global Technologies, Llc Vehicle backup safety mapping
JP7119438B2 (ja) 2018-03-12 2022-08-17 トヨタ自動車株式会社 運転支援システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043530A (ja) * 2005-08-04 2007-02-15 Nissan Motor Co Ltd 運転支援装置、および運転支援方法
JP2011211432A (ja) * 2010-03-29 2011-10-20 Kyocera Corp 車載用撮像装置
CN103946094A (zh) * 2011-11-08 2014-07-23 Lg伊诺特有限公司 停车辅助系统
CN103676949A (zh) * 2012-09-03 2014-03-26 现代摩比斯株式会社 车道线跟踪控制系统及其控制方法
US20140247352A1 (en) * 2013-02-27 2014-09-04 Magna Electronics Inc. Multi-camera dynamic top view vision system
CN103903019A (zh) * 2014-04-11 2014-07-02 北京工业大学 一种多车道车辆轨迹时空图的自动生成方法
WO2016017297A1 (ja) * 2014-07-28 2016-02-04 ボッシュ株式会社 自動二輪車のための情報提供装置及びプログラム
JP2017224881A (ja) * 2016-06-13 2017-12-21 株式会社デンソー 画像生成装置及びプログラム

Also Published As

Publication number Publication date
JP2021111854A (ja) 2021-08-02
US20210206318A1 (en) 2021-07-08
JP7327171B2 (ja) 2023-08-16
US11524630B2 (en) 2022-12-13
CN113085729B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
JP4914458B2 (ja) 車両周辺表示装置
US7969326B2 (en) Parking assist method and parking assist apparatus
JP6806156B2 (ja) 周辺監視装置
CN107021018B (zh) 一种商用车辆可视系统
JP4782963B2 (ja) 駐車する車両の周辺状況を監視するための装置
US8872919B2 (en) Vehicle surrounding monitoring device
JP3695319B2 (ja) 車両周辺モニタ装置
JP3645196B2 (ja) 画像合成装置
JP7000822B2 (ja) 周辺監視装置
JP7159802B2 (ja) 車両用電子ミラーシステム
WO2012091476A2 (ko) 사각 지대 표시 장치 및 방법
JP5516988B2 (ja) 駐車支援装置
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
CN104126196B (zh) 驾驶辅助装置及驾驶辅助方法
JP2008222153A (ja) 合流支援装置
US20210370912A1 (en) Periphery monitoring device
JP2007124097A (ja) 車両周辺視認装置
JP2004147083A (ja) 運転支援装置
JP5617396B2 (ja) 運転支援装置
CN113085729B (zh) 车辆用电子镜系统
JP2008114691A (ja) 車両周辺監視装置および車両周辺監視映像表示方法
JP4566822B2 (ja) 車両用画像表示装置
JP3916930B2 (ja) 進入警報装置
JP4677820B2 (ja) 予測進路表示装置および予測進路表示方法
JP5724470B2 (ja) 車両の視界補助装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant