CN103609101A - 车辆周边监视装置 - Google Patents

车辆周边监视装置 Download PDF

Info

Publication number
CN103609101A
CN103609101A CN201280029641.9A CN201280029641A CN103609101A CN 103609101 A CN103609101 A CN 103609101A CN 201280029641 A CN201280029641 A CN 201280029641A CN 103609101 A CN103609101 A CN 103609101A
Authority
CN
China
Prior art keywords
barrier
image
photographic images
region
concern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280029641.9A
Other languages
English (en)
Inventor
池田圭吾
渡边宏行
加藤隆志
片桐贤树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011134463A external-priority patent/JP5500392B2/ja
Priority claimed from JP2011134464A external-priority patent/JP5495071B2/ja
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN103609101A publication Critical patent/CN103609101A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种车辆周边监视装置，其在识别出障碍物时，能够简单地掌握出车辆周边的拍摄图像所包含的风景与障碍物的位置关系，生成作为拍摄图像的一部分的窄视场区域，来作为关注拍摄图像，在作为识别出的障碍物的拍摄图像中的区域的障碍物区域位于窄视场区域外的情况下，在障碍物区域包括图像区域的情况下，生成该图像区域来作为关注障碍物图像，生成由该关注拍摄图像和关注障碍物图像构成的周边监视用显示图像，其中，图像区域为一部分与所述窄视场区域重复的区域，并且为拍摄图像的一部分。

Description

车辆周边监视装置
技术领域
本发明涉及一种利用由拍摄部获取的车辆周边的拍摄图像来确认车辆周边的障碍物的装置。
背景技术
已知一种车辆用监控装置，其具有：摄像头，其设置于车辆，具有用于以宽视场拍摄车辆周边的广角镜头；图像提取单元，其从由摄像头通过广角镜头拍摄出的拍摄图像中提取规定范围的图像；显示单元，其显示由图像提取单元提取出的提取图像；障碍物检测单元，其检测车辆的周边的障碍物。该车辆用监控装置，从拍摄图像中提取与由障碍物检测单元检测出的障碍物所在的方向对应的图像，并将其在显示部上放大显示（例如，参照专利文献1）。更详细来说，通常，按照规定时间依次反复显示摄像头的拍摄图像整体、拍摄图像的中央下部提取图像、拍摄图像的右下部提取图像、拍摄图像的左下部提取图像。于是，若右侧的倒车雷达检测出障碍物，则从在图像存储器内存储的拍摄图像中提取左侧的事先设定的范围内的图像（由于摄像头以朝向车辆的后方的形式设置，所以位于车辆的后方右侧的障碍物被拍摄在拍摄图像的左侧），在显示画面上放大显示其整体。若左侧的倒车雷达检测出障碍物，则从拍摄图像中提取右侧的事先设定的范围内的图像，在显示画面上放大显示其整体。此外，此时，提出了如下的方案：在显示画面的规定位置（例如，画面右上方）设置小的辅助画面，显示车辆位置和与提取图像对应的拍摄范围。然而，在该车辆用监控装置中，从监控显示用拍摄图像中提取拍摄出所检测出的障碍物的部分的图像，并放大显示该部分，由于采样了这样的方法，所以若障碍物不在监控显示的拍摄图像内，则无法显示障碍物图像。为了避免该问题，如果放大拍摄视场，则在通常尤为重要的拍摄中央附近的图像区域相对于监控显示面积来说变得比较小，会产生难以通过监控显示图像确认周围状态的不便。
在专利文献2中，已知有如下的车辆周围监视装置：基于与检测出的障碍物相关的障碍物距离及障碍物状态信息，生成利用一个图像表示障碍物距离及障碍物状态信息的障碍物显示图像，生成用于显示所生成的障碍物显示图像的视频序列的映像信号。在该装置中，在障碍物从车辆的左右方向的一方或两方接近的情况下，在监视器画面上显示如下图像：使用了映射关系（mapping）的图像，在该图像中，放大了与车辆的两侧方对应的周边区域；障碍物显示图像，其一并配置有车辆图标和障碍物图标。此时，就障碍物图标而言，使用相对于车辆图标的位置、障碍物图标的形状、大小及颜色来表示障碍物的障碍物距离、接近方向、接近速度及到达时间。利用车辆的两侧方被放大的拍摄图像和障碍物显示图像，更易于识别出障碍物从车辆侧方接近等。然而，因强制放大与车辆的两侧方对应的周边区域而使所显示的拍摄图像失真，因此，其结果为，变为中央区域失真并且整体难以观看的图像。而且，由于拍摄图像自身为宽视场图像，所以即使强制性地局部放大，外侧的障碍物图像的大小也受到限制。另外，利用在拍摄图像的周围（下侧）显示的图标来表示障碍物的位置以及障碍物是否接近，要求组合种类完全不同的图像信息来确认障碍物，不适用于直观地把握障碍物，其中，所述种类完全不同的图像信息是指拍摄出实际风景的拍摄图像和抽象的图标。
而且，在专利文献3中记载的车辆周边监视装置，根据由拍摄部获取的车辆周边的拍摄图像，生成表示车辆周边的一部分的窄视场图像，在该窄视场图像内不包含识别出的车辆周边的障碍物时，从拍摄图像中截取障碍物的拍摄区域来作为障碍物图像，向监视器一并输出窄视场图像和障碍物图像。由于在车辆周边识别出障碍物的情况下所显示的窄视场图像和障碍物图像是从同一个拍摄图像中截取的，所以两者的画质相同。然而，由于窄视场图像与障碍物图像没有连续性，并且两者是从拍摄图像中截取的彼此独立的图像，所以存在难以掌握位置关系的不便。
现有技术文献
专利文献
专利文献1：日本特开2003－143596号公报（段落编号[0005－0026]、图4、图5）
专利文献2：日本特开2009－217740号公报（段落编号[0022－0066]、图4）
专利文献3：日本特开2010‐130646号公报（段落编号[0020－0026]、图4、图5）
发明内容
发明要解决的问题
鉴于上述情况，期待一种在识别出障碍物时，能够简单地掌握车辆周边的拍摄图像所包含的风景与障碍物之间的位置关系的车辆周边监视装置。
用于解决问题的手段
为了解决上述问题，本发明的车辆周边监视装置由如下的各部分构成：关注拍摄图像生成部，其生成窄视场区域来作为关注拍摄图像，所述窄视场区域是由拍摄部获取的车辆周边的拍摄图像的一部分；障碍物识别部，其识别车辆周边的障碍物；障碍物区域推算部，其推算障碍物区域，所述障碍物区域是由所述障碍物识别部识别出的障碍物在所述拍摄图像中的区域；关注障碍物图像生成部，其在图像区域包括所述障碍物区域的情况下，生成该图像区域来作为关注障碍物图像，所述图像区域的一部分与所述窄视场区域重复，并且所述图像区域是所述拍摄图像的一部分；图像合成部，其生成由所述关注拍摄图像和所述关注障碍物图像构成的周边监视用显示图像。
根据该结构，通常，在作为由拍摄部获取的宽视场图像的拍摄图像内，生成窄视场区域来作为关注拍摄图像，并且能够在监视器上显示，其中窄视场区域为对车辆行驶来说尤其重要的区域。由此，驾驶员能够确认在窄视场区域内的行驶前方的安全性。而且，由于即使障碍物区域偏离窄视场区域，关注障碍物图像生成部也生成一部分与窄视场区域重复的关注障碍物图像，所以能够根据还包括窄视场区域的图像的关注障碍物图像，在监视器上确认没有进入窄视场区域内的障碍物。因此，根据周边监视用显示图像，能够简单地掌握车辆周边的拍摄图像所包含的风景与障碍物之间的位置关系。
关注障碍物图像生成部生成关注障碍物图像的具体的实施方式的一个例子为：生成宽视场障碍物图像来作为关注障碍物图像，该宽视场障碍物图像由如下的区域构成：障碍物区域，其为障碍物的拍摄图像中的图像区域；过渡区域，其连接该障碍物区域和窄视场区域；重复区域，其为该过渡区域进一步进入窄视场区域内的区域。在该实施方式中，由于在窄视场区域外的宽视场区域内识别出障碍物的情况下生成的关注障碍物图像中，包括关注拍摄图像的一部分来作为重复区域，所以在监控显示关注拍摄图像和关注障碍物图像的情况下，驾驶员根据重复区域，易于掌握关注拍摄图像与关注障碍物图像的连接关系。为了保持从重复区域到障碍物区域的连续性，原则上需要具有过渡区域，但只要至少保持重复区域和障碍物区域，就能够获得关注障碍物图像与关注拍摄图像的良好的连续性。通过周边监视用显示图像，能够简单地掌握车辆周边的拍摄图像所包含的风景与障碍物之间的位置关系。
在本发明的优选的实施方式中，在没有识别出障碍物时，显示所述关注拍摄图像，来作为所述周边监视用显示图像；在识别出障碍物时，在所述周边监视用显示图像上弹出显示所述关注障碍物图像。在该结构中，在没有识别出障碍物的通常的情况下，由于能够仅监控显示关注拍摄图像，所以通过通常的周边监视用显示图像而获得的周边监视效果良好。
实质上，在所述关注拍摄图像中不能显示的区域，位于作为关注拍摄图像的原始窄视场区域的左右外侧。因此，优选地，所述关注障碍物图像配置在关注拍摄图像的左侧、右侧或两方，来进行监控显示。为了达到该目的，在本发明的优选的一个实施方式中，在生成所述关注障碍物图像时，在所述周边监视用显示图像中，以相对于所述关注拍摄图像而左右对称的方式设定一对所述关注障碍物图像的配置区域，将所述关注障碍物图像配置在所述配置区域内。
另外，此时，若表示所述障碍物相对于所述车辆的存在方向的指标配置在所述关注拍摄图像的中央的上方，则基于该指标，使得关注障碍物图像与车辆之间的位置关系变明确。
另外，可采用如下的结构：在所述障碍物区域位于所述窄视场图像外的情况下，所述关注障碍物图像生成部根据所述拍摄图像生成至少包括所述障碍物区域的关注障碍物图像，所述图像合成部以在监视器画面弹出显示所述关注障碍物图像的方式，对所述关注拍摄图像、所述关注障碍物图像、表示所述关注障碍物图像相对于所述车辆的相对位置的指标图像进行合成。
根据该结构，通常，能够在作为由拍摄部获取的宽视场图像的拍摄图像内，生成窄视场区域，来作为关注拍摄图像，并在监视器上显示，其中窄视场区域为对车辆行驶来说尤其重要的区域。由此，驾驶员能够确认在窄视场区域内的行驶前方的安全性。而且，在窄视场区域外识别出障碍物的情况下，推算作为该障碍物在拍摄图像中的图像区域的障碍物区域，在显示关注拍摄图像的监视器画面中，弹出显示包括该障碍物区域的关注障碍物图像。而且，此时，在同一个监视器画面上，弹出显示指标图像，指标图像为将表示弹出显示的关注障碍物图像拍摄到的障碍物与车辆之间的相对位置的指标进行图像化的图像。由此，驾驶员能够通过弹出显示拍摄有障碍物的关注障碍物图像来掌握该识别出的障碍物，并且还能够根据同样弹出显示的指标图像，来掌握该障碍物相对于车辆的相对位置。
在本发明的优选的一个实施方式中，在所述关注拍摄图像的中央的上方显示所述指标图像，在所述指标图像的旁边显示所述关注障碍物图像。在该结构中，在关注拍摄图像的区域外识别出障碍物时，在关注拍摄图像的上方区域弹出显示关注障碍物图像和指标图像，在关注拍摄图像的上方区域，通常拍摄有对于车辆行驶来说并不是很重要的天空、建筑物的屋顶之类的拍摄物。因此，没有必要为显示关注障碍物图像和指标图像而在监视画面上腾出空间。另外，实质上，会在关注拍摄图像的图像区域的外侧的右侧或左侧出现障碍物，因此，能够根据该障碍物相对于车辆的相对位置，在指标图像的右边或左边的某一侧旁边弹出显示关注障碍物图像。由此，能够使驾驶员更易于掌握障碍物相对于车辆的相对位置。
车辆周边监视的重要的一个使用例为：处于后视镜的补充目的，而在监视器上确认车辆后方的周边区域。因此，在本发明的优选的一个实施方式中，所述车辆周边为所述车辆的后方，所述关注拍摄图像是将由所述拍摄部拍摄出的图像进行左右翻转之后的映像。即，所述关注拍摄图像还可以叫做对由所述拍摄部拍摄出图像进行左右翻转之后得到的映像的部分图像。在以这种方式构成的车辆周边监视装置中，利用显示拍摄图像的监视器取代后视镜，也不会觉得不协调，实现有效的后方监视。
在本发明的优选的一个实施方式中，在所述关注拍摄图像内，弹出显示所述关注障碍物图像和所述指标图像。在该结构中，仅在关注拍摄图像的区域外识别出障碍物时，在关注拍摄图像内，换言之，在关注拍摄图像上重叠地弹出显示关注障碍物图像和指标图像。因此，在驾驶时注视关注拍摄图像的驾驶员能够明确地理解到在关注拍摄图像区域的外侧识别出障碍物。
在本发明的优选的一个实施方式中，所述关注障碍物图像由所述障碍物区域的图像、从该障碍物区域向所述窄视场区域过渡的过渡区域的图像、从该过渡区域进一步进入所述窄视场区域内的重复区域的图像构成。在该结构中，由于关注障碍物图像包括关注拍摄图像的一部分来作为重复区域，所以有如下的优点：在监控显示的关注拍摄图像上弹出显示关注障碍物图像的情况下，驾驶员根据重复区域，易于掌握关注拍摄图像与关注障碍物图像的连接关系。
在障碍物远离车辆的情况下，或者在障碍物很大的情况下，关注障碍物图像变得很大，作为周边监视用显示图像的显示效果变差（只能显示周边监视用显示图像的一部分），因此，需要缩小关注障碍物图像的大小。因此，在本发明的优选的一个实施方式中，根据所述障碍物区域与所述窄视场区域之间的距离，沿着所述过渡区域的过渡方向压缩所述过渡区域，或者，根据所述障碍物区域与所述窄视场区域之间的距离，放大/缩小所述关注障碍物图像。
在障碍物远离车辆的情况下，或者在障碍物过大或过小的情况下，关注障碍物图像自身过大或过小，作为周边监视用显示图像的显示效果变差（只能显示周边监视用显示图像的一部分），但能够通过关注障碍物图像的放大缩小处理来解决这个问题。此外，此时，在障碍物远离车辆，关注障碍物图像变得细长的情况下，优选地，根据障碍物与车辆之间的距离，沿着过渡区域的过渡方向压缩该过渡区域。为了保持从重复区域到障碍物区域的连续性，原则上需要具有过渡区域，但只要至少保持重复区域和障碍物区域，就能够获得足够的关注障碍物图像与关注拍摄图像的实用的连续性。此外，在此所说的压缩过渡区域，包括省略过渡区域自身。
另外，为了解决上述问题，本发明的车辆周边监视装置能够由如下的各部分构成：关注拍摄图像生成部，其生成窄视场区域来作为关注拍摄图像，所述窄视场区域是由拍摄部获取的车辆周边的拍摄图像的一部分；障碍物识别部，其识别车辆周边的障碍物；障碍物区域推算部，其推算障碍物区域，所述障碍物区域是由所述障碍物识别部识别出的障碍物在所述拍摄图像中的区域；关注障碍物图像生成部，其在所述障碍物区域位于所述窄视场图像外的情况下，根据所述拍摄图像生成至少包括所述障碍物区域的关注障碍物图像；指标图像生成部，其输出表示所述关注障碍物图像相对于所述车辆的相对位置的指标图像；图像合成部，其以在监视画面上弹出显示所述关注障碍物图像的方式，合成所述关注障碍物图像、所述指标图像、所述关注拍摄图像。
根据该结构，通常，能够在作为由拍摄部获取的宽视场图像的拍摄图像内，生成窄视场区域，来作为关注拍摄图像，并在监视器上显示，其中窄视场区域为对车辆行驶来说尤其重要的区域。由此，驾驶员能够确认在窄视场区域内的行驶前方的安全性。而且，在窄视场区域外识别出障碍物的情况下，推算作为该障碍物在拍摄图像中的图像区域的障碍物区域，在显示关注拍摄图像的监视器画面中，弹出显示包括该障碍物区域的关注障碍物图像。而且，此时，在同一个监视器画面上，弹出显示指标图像，指标图像为将表示弹出显示的关注障碍物图像拍摄到的障碍物与车辆之间的相对位置的指标进行图像化的图像。由此，驾驶员能够通过弹出显示拍摄有障碍物的关注障碍物图像来掌握该识别出的障碍物，并且还能够根据同样弹出显示的指标图像，来掌握该障碍物相对于车辆的相对位置。
附图说明
图1是说明本发明的第一实施方式的车辆周边监视装置的基本结构的示意图。
图2是说明本发明的第一实施方式的车辆周边监视装置中的基本的图像处理的流程的示意图。
图3是说明本发明的第一实施方式的宽视场图像与窄视场图像的示意图。
图4是本发明的第一实施方式的车辆周边监视装置的一个实施方式的功能框图。
图5是本发明的第一实施方式的图像处理模块的功能框图。
图6是说明本发明的第一实施方式的周边监视用图像的关注障碍物图像和关注拍摄图像的配置的示意图。
图7是表示基于本发明的第一实施方式的车辆周边监视装置的倒车监控程序的一个例子的流程图。
图8是说明本发明的第二实施方式的车辆周边监视装置的基本结构的示意图。
图9是说明本发明的第二实施方式的车辆周边监视装置中的基本的图像处理的流程的示意图。
图10是本发明的第二实施方式的图像处理模块的功能框图。
图11是图解本发明的第二实施方式的倒车监控程序的示意图。
图12是表示基于本发明的第二实施方式的车辆周边监视装置的倒车监控程序的一个例子的流程图。
图13是说明另一个实施方式的周边监视用图像的关注障碍物图像和关注拍摄图像的显示的示意图。
具体实施方式
1.第一实施方式
在说明本发明的第一实施方式的车辆周边监视装置的具体的实施方式之前，利用图1和图2的示意图，说明本发明的基本的结构例。在该结构例中，应用搭载在车辆上的后置摄像头来作为拍摄部，说明该车辆周边监视装置在倒车时为了确认后方而启动的倒车监控程序。
通过后置摄像头获取拍摄图像。该拍摄图像为覆盖车辆后方的周边区域的大部分的宽视场拍摄图像（#1）。生成通过截取所获取的宽视场拍摄图像的中央部分（窄视场区域）而得到的窄视场拍摄图像，来作为关注拍摄图像（#2）。在监视器上显示该关注拍摄图像，以作为倒车监控（#3）。
同时，将宽视场拍摄图像供给图像识别处理，以便于识别障碍物（#4）。此时，优选基于利用超声波式、激光雷达式的障碍物检测装置而得到的障碍物位置信息等，缩小宽视场拍摄图像中的识别障碍物的对象区域。
若通过进行图像处理识别出障碍物，则推算宽视场拍摄图像中的该障碍物的位置（障碍物区域）（#5）。若识别出的障碍物在窄视场拍摄图像内，则在监视器中一并显示出拍摄有该障碍物的障碍物图像和窄视场拍摄图像，因此，驾驶员能够通过监视器了解到障碍物的存在。为了使驾驶员明确地觉察到障碍物的存在，可以进行利用粗线圈住障碍物的图像区域等的障碍物强调处理。与此相对，在障碍物不在窄视场拍摄图像内，而位于拍摄图像中的窄视场拍摄图像外的区域中的情况下，在监视器中不显示该障碍物。因此，虽然需要从拍摄图像中截取障碍物区域并在监视器中显示该障碍物区域，但在本发明中，不像在专利文献3中记载的那样仅将障碍物区域截取之后贴附在窄视场拍摄图像的适当位置。
在障碍物区域位于所述窄视场图像外的情况下，首先，决定由障碍物区域、过渡区域以及重复区域构成的针对障碍物限定的宽视场障碍物图像（#6），其中，该过渡区域是指，从上述障碍物区域向窄视场区域过渡的区域，该重复区域是指，从该过渡区域进入窄视场区域内的区域。即，该宽视场障碍物图像的图像区域，是从重复区域经由过渡区域而到达障碍物区域的连续的图像区域，该重复区域是用作关注拍摄图像的拍摄图像中的窄视场区域的周边部。重复区域是宽视场障碍物图像与窄视场区域重复的区域。从宽视场拍摄图像中，截取关注障碍物图像中的至少包括障碍物区域和重复区域的图像区域，来作为关注障碍物图像（#7）。由于在该关注障碍物图像中，重复区域包括监控显示的关注拍摄图像（窄视场区域）的周边区域中的一部分，所以能够易于根据该关注障碍物图像掌握关注障碍物图像与关注拍摄图像的位置关系。关注障碍物图像的大小取决于障碍物区域的大小以及障碍物区域与窄视场区域之间的距离。因此，在监控显示时关注障碍物图像的大小过大的情况下，可以缩小关注障碍物图像，或者，省略或压缩过渡区域。在关注障碍物图像的大小过小的情况下，可以放大关注障碍物图像（#7a）。若生成关注障碍物图像，则合成并输出关注障碍物图像与关注拍摄图像，来作为周边监视用图像（#8）。在监视器上显示周边监视用图像，作为该显示例之一，以弹出的形式在关注拍摄图像上进行显示（#9）。此时，由于关注拍摄图像的上方区域拍摄到天空等相对来说不影响车辆行驶的拍摄物的可能性很高，所以优选在关注拍摄图像的上方区域弹出关注障碍物图像。无论怎样，通过在监视器上显示关注障碍物图像，驾驶员都能够在监视器上确认障碍物。
下面，利用附图，说明本发明的车辆周边监视装置的具体的实施方式。
如图3所示，在此，该车辆周边监视装置设置于作为乘用车的车辆上，利用通过作为拍摄车辆的周边的拍摄部的摄像头1获取的拍摄图像，支援（辅助）驾驶员来确认车辆周边的状况。为了全方位监视车辆周围，作为摄像头1，需要将车辆前方作为拍摄视场的前置摄像头1a、将车辆后方作为拍摄视场的后置摄像头1b、将车辆左侧方和车辆右侧方作为拍摄视场的左右的侧置摄像头1c、1d。在该实施方式中，利用后置摄像头1b来作为摄像头1，此后，将后置摄像头1b简称为摄像头1。通过摄像头1获取的拍摄图像，用于在后面详细说明的车辆周边监视控制器2进行障碍物的图像识别及生成周边监视用图像的处理中。在监视器21上显示所生成的周边监视用图像。
摄像头1内置有CCD（charge coupled device：电荷耦合元件）、CIS（CMOSimage sensor：CMOS图像传感器）等的拍摄元件，其为将由该拍摄元件拍摄的信息作为视频信息或静态图像信息实时进行输出的元件摄像头。摄像头1的拍摄中心线略向下方延伸。从图3能够示意性地理解到，由于在摄像头1安装有140度左右的广角镜头，所以能够获取宽视场的拍摄图像。当然，还可以采用将水平180度作为视场的超广角镜头，来覆盖车辆后方整个区域。图3示出的窄视场为用于获得能够确认车辆行驶的推断行驶路径的状况所需的最小的窄视场的角度。若在该窄视场内存在障碍物，则有可能发生碰撞。因此，在障碍物、特别是沿着窄视场方向接近的障碍物位于窄视场外的宽视场内的时间点，提醒驾驶员注意尤为重要。
配置在车辆内部的车辆周边监视控制器2为车辆周边监视装置的核心。如图4所示，该车辆周边监视控制器2具有处理输入信息的微处理器、DSP（digital signal processor：数字信号处理器），其能够经由用作输入输出接口的通信接口70，与各种车载设备之间交换数据。例如，与通信接口70连接的车载LAN（局域网）连接有传感器控制器SC、监视器21、触摸屏21T、动力转向单元PS、变速机构T、制动装置BK等。传感器控制器SC直接将从车辆状态检测传感器组输入的信号传送给车辆周边监视控制器2的内部，或者对该信号进行评价之后将其传送给车辆周边监视控制器2的内部。与传感器控制器SC连接的车辆状态检测传感器组检测驾驶操作、车辆行驶的状态。虽然没有图示，但车辆状态检测传感器组包括如下等的传感器：转向传感器，其计测转向操作方向（操舵方向）和操作量（操舵量）；挡位传感器，其判断变速杆的挡位；加速传感器，其计测油门踏板的操作量；制动传感器，其检测制动踏板的操作量；距离传感器，其检测车辆自身的行驶距离。
车辆周边监视控制器2为计算机系统，具有硬件、软件或由两种形式构件的各种各样的功能部。作为与本发明尤其相关的功能部，列举有检测车辆周边的障碍物的障碍物检测模块30、图像识别模块40、图像处理模块50、上述的通信接口70、显示控制部71、音声处理模块72。利用显示控制部71将由图像处理模块50生成的监控显示图像转换为视频信号，发送至监视器21。通过扬声器22鸣放由音声处理模块72生成的语音导航、在紧急时的警告音等。
障碍物检测模块30具有障碍物检测部31，该障碍物检测部31对来自多个超声波传感器3的检测信号进行评价，以检测障碍物。超声波传感器3配置在车辆的前部、后部、左侧部、右侧部的各部分的两端处和中央处，能够通过来自位于车辆周边附近的物体（障碍物）的反射波来检测这些物体。障碍物检测部31精于计算到障碍物的距离即障碍物的位置，根据各超声波传感器3处理反射波的返回时间和振幅，来推断从车辆到物体为止的距离、物体的大小。而且，随着时间的推移，处理所有的超声波传感器3的检测结果，由此，还能够推断出物体的动作、在横向上的外形形状。障碍物检测模块30将描述识别出的障碍物的位置、姿势、大小等的障碍物信息输出至图像识别模块40。、还能够应用利用激光雷达之类的其它的方式来作为障碍物检测部31。另外，障碍物检测部31还能够通过对车载摄像头1的拍摄图像进行图像识别来检测障碍物。
图像识别模块40具有障碍物识别部41，该障碍物识别部41利用来自车载摄像头1的原始大小的拍摄图像即宽视场拍摄图像来识别障碍物。障碍物识别部41自身安装（设置）有公知的物体识别算法，用来从所输入的每个拍摄图像及随着时间的推移而连续的拍摄图像中，识别车辆周边的障碍物。为了确认障碍物的存在及位置，可以利用障碍物检测部31或障碍物识别部41中的任一方，但通过具有能够使用出于显示目的而拍摄的拍摄图像来检测障碍物的存在障碍物识别部41、精于计算障碍物的位置的障碍物检测部31双方，使双方共同作业，能够更准确地识别障碍物。
图5示出了图像处理模块50的功能框图。图像处理模块50也为计算机单元，通过启动程序能够实现各种各样的功能。在该图像处理模块50中，对从摄像头1发送来的在存储器中展开的宽视场的拍摄图像进行处理以输出周边监视用图像所需的各种各样的功能部，由程序或硬件构成。此时，参照图像识别模块40、障碍物检测模块30或从这两个模块发送来的障碍物信息，以易于确认障碍物的方式，将障碍物图像嵌入到周边监视用图像内。如图5所示，作为与本发明尤其相关的功能部，包括拍摄图像存储器51、前处理部52、周边监视用图像生成部60、帧存储器53。由摄像头1获取的拍摄图像在拍摄图像存储器51中展开，前处理部52调整由摄像头1分别获得的各个拍摄图像之间的亮度均衡、色彩平衡等。
周边监视用图像生成部60包括关注拍摄图像生成部61、关注障碍物图像生成部62、障碍物信息获取部63、障碍物区域推算部64、过渡区域推算部65、重复区域推算部66、图像放大缩小部67。关注拍摄图像生成部61在拍摄图像存储器51中展开的宽视场的拍摄图像中，截取事先设定的中央区域（窄视场区域）的图像，来作为关注拍摄图像（窄视场拍摄图像），并将其发送至图像合成部55。
在拍摄图像存储器51中展开的拍摄图像中，在上述的窄视场区域以外的区域识别出障碍物的情况下，关注障碍物图像生成部62生成包括该障碍物图像的关注障碍物图像。基本上，该关注障碍物图像由如下的区域构成：拍摄图像中的由障碍物区域推算部64推算出的障碍物区域；拍摄图像中的由过渡区域推算部65推算出的过渡区域；拍摄图像中的由重复区域推算部66推算出的重复区域。
障碍物区域推算部64基于从障碍物识别部41发送来的含有所识别出的障碍物在拍摄图像上的位置等在内的障碍物信息，计算包括障碍物在内的矩形区域，来作为障碍物区域。过渡区域推算部65推算如下特定区域，来作为过渡区域，该特定区域是指，通过在使障碍物区域向车辆中心的方向移动时获得的在窄视场区域外的移动轨迹来规定的区域。重复区域推算部66推算出从过渡区域延长至窄视场区域内的区域，来作为重复区域。该重复区域可以事先设定。优选为关注障碍物图像的横向宽度的1/3～1/5，但不限于此。由于上述障碍物区域、过渡区域、重复区域连续，所以关注障碍物图像成为与关注拍摄图像的特定的周边区域连接的图像。
在该实施方式中，在关注拍摄图像的显示画面上弹出显示该关注障碍物图像。因此，特别是在关注障碍物图像以弹出显示的方式显示在关注拍摄图像上的情况下，会因关注障碍物图像的显示面积而导致产生几乎将关注拍摄图像全部遮挡住的不良情况。因此，在关注障碍物图像的显示面积在规定以上的情况下，需要缩小图像。当然，在关注障碍物图像的显示面积过于小而难以确认障碍物的情况下，需要放大图像。另外，在过渡区域过长的情况下，需要压缩（缩小）过渡区域。通过图像放大缩小部67来放大/缩小上述这种关注障碍物图像以及压缩过渡区域。将被实施了图像放大缩小处理的关注障碍物图像或无需实施图像放大缩小处理的关注障碍物图像发送至图像合成部55。
在该实施方式中，如图6所示，图像合成部55以如下的方式对关注障碍物图像和关注拍摄图像进行图像合成：在关注拍摄图像的上方，在存在障碍物的方向一侧的位置显示关注障碍物图像。此外，在图6的例子中，在关注障碍物图像的相反一侧，还将不存在障碍物监视图像合成在关注拍摄图像上，从而显示相对于车辆而与注障碍物图像对称的图像区域，来作为不存在障碍物监视图像。
虽然驾驶员能够根据关注障碍物图像来掌握障碍物，但为了更加明确地向驾驶员告知障碍物的存在，在关注拍摄图像的上方的中央，显示车辆的后视的图像（也可以为图标），显示表示障碍物位于车辆的哪个方向的指标。而且，可以用红色或黑色的粗线圈住关注障碍物图像，或者用红色或黑色的粗线圈住障碍物区域的轮廓。将合成的最终合成图像作为周边监视图像传送给帧存储器53，并经由显示控制部71在监视器21上显示。
此外，在关注拍摄图像上合成关注障碍物图像时，优选地，在关注拍摄图像中的在关注拍摄图像的左侧存在障碍物的情况下，将关注障碍物图像配置在监视器画面的左侧，而在关注拍摄图像的右侧存在障碍物的情况下，将关注障碍物图像配置在监视器画面的右侧。由此，驾驶员能够以自己为基准，迅速地掌握到障碍物位于哪个方位。由此，便于进行视觉确认。
此外，若识别出障碍物，则对包括识别出的障碍物的关注障碍物图像内的障碍物实施引人注目的强调处理，例如，实施利用框圈住障碍物（做标记）等的处理，则易于确定障碍物。
利用图6的控制程序示意图和图7的流程图，对以上述方式构成的车辆周边监视装置的作为用于确认后方的控制的倒车监控程序的一个例子进行说明。
首先，若开始进行倒车监控程序，则摄像头1获取拍摄图像（宽视场图像）（#01）。所获取的拍摄图像在存储器中依次展开，并暂时保存，仅保存规定时间（#02）。对在存储器中展开的拍摄图像实施失真修正、分辨率转换、灰度（level）调整等必要的图像处理。所保存的拍摄图像还被同时执行的障碍物识别程序所使用。由于根据在时间上连续获取的拍摄图像来识别具有相对动作的物体（若位于车辆前进的道路附近，则为障碍物）的识别算法广为人知，所以在此省略说明。
关注拍摄图像生成部61利用事先设定的窄视场区域截取框截取图像，将所截取出的图像作为关注拍摄图像（#03）。接着，确认（check）障碍物识别部41是否输出了障碍物信息（#04）。在输出了障碍物信息的情况下，障碍物区域推算部64从障碍物信息中读取障碍物在拍摄图像上的坐标位置，以推算障碍物区域（#05）。接着，确认在该拍摄图像上确定出的障碍物区域是否位于窄视场区域内，即，确认是否能够通过监控显示的关注拍摄图像而以视觉确认识别出的障碍物（#06）。此时，在拍摄图像上确定出的障碍物区域的一部分或全部位于窄视场区域外的情况下，认为障碍物区域不在窄视场区域内。若通过该确认，判断出障碍物区域不在窄视场图像区域内（在#06为否的分支），则过渡区域推算部65进而推算拍摄图像中的过渡区域（#07），重复区域推算部66推算重复区域（#08）。接着，基于推算出的障碍物区域、过渡区域和重复区域，从拍摄图像中截取关注障碍物图像（#09）。确认关注障碍物图像的显示面积（#10），仅在需要进行放大缩小处理的情况下，进行包括过渡区域的压缩处理的关注障碍物图像的放大缩小处理（#11）。以上述方式，将由关注障碍物图像生成部62生成的关注障碍物图像作为障碍物监视图像进行监控显示，基于该障碍物相对于车辆的方向，决定此时的关注障碍物图像的关注拍摄图像中的显示（弹出）位置（#12）。接着，在图像合成部55中，对关注拍摄图像和关注障碍物图像进行合成，生成并输出周边监视用图像（#13）。此外，在图6中，在左上方仅显示了一个关注障碍物图像，还可以对不存在障碍物一侧的关注障碍物图像（以车辆为中心而与关注障碍物图像对称的虚设关注障碍物图像）进行合成。由此，驾驶员能够掌握到在一个方向上存在障碍物，而在另一个方向上不存在障碍物。在上述步骤#04的确认结果为没有输出障碍物信息的情况下（#04为否的分支），则图像合成部55不进行处理而直接（through）输出关注拍摄图像（窄视场图像）来作为周边监视用图像（#14）。
通过将从图像合成部55输出的周边监视用图像发送至显示控制部71，所以在监视器21上显示与该显示图像对应的画面（#15）。确认该倒车监控程序是否接收到中止指令（#16），只要继续运行该倒车监视器（#16为否分支），就返回步骤#04，利用最新的拍摄图像，重复上述过程。
2.第二实施方式
在说明本发明的第二实施方式的车辆周边监视装置的具体的实施方式之前，利用图8和图9的示意图，说明本发明的基本的结构例。在该结构例中，应用搭载于车辆的后置摄像头，来作为拍摄部。该后置摄像头例如设置成其光轴方向从水平方向略微朝向下方。说明该车辆周边监视装置在倒车时为了确认后方而启动的倒车监控程序。
通过后置摄像头获取拍摄图像。该拍摄图像为覆盖车辆后方的周边区域的大部分的宽视场拍摄图像（#1）。在该拍摄图像中，例如，上部拍摄有天空、建筑物的屋顶等拍摄物，下部拍摄有路面。另外，在监视器上显示由后置摄像头拍摄的图像（包括拍摄图像及作为拍摄图像的一部分的窄视场拍摄图像、关注障碍物图像等），来作为倒车监控时，为了与利用后视镜进行视觉确认的情况对应，对由后置摄像头拍摄的图像进行左右翻转，并显示翻转后的图像（镜像显示）。能够在从后置摄像头输出图像之前、在监视器即将显示图像之前或者在输出图像和显示图像之间的适当的处理过程中，进行所拍摄的图像的左右翻转处理。例如，可以考虑后置摄像头向车辆周边监视控制器输出由后置摄像头拍摄的图像，利用车辆周边监视控制器来进行左右翻转处理的形态。在此，为了便于说明，从后置摄像头输出被进行了左右翻转处理的拍摄图像。另外，在此，将被进行了左右翻转处理的拍摄图像也简称为拍摄图像。生成通过截取所获取的宽视场拍摄图像的中央部分（窄视场区域）而得到的窄视场拍摄图像，来作为关注拍摄图像（#2）。在监视器上显示该关注拍摄图像，以作为倒车监控（#3）。
同时，将宽视场拍摄图像供给图像识别处理，以便于识别障碍物（#4）。此时，优选基于利用超声波式、激光雷达式的障碍物检测装置而得到的障碍物位置信息等，缩小宽视场拍摄图像中的识别障碍物的对象区域。
若通过进行图像处理识别出障碍物，则推算宽视场拍摄图像中的该障碍物的位置（障碍物区域）（#5）。若识别出的障碍物在窄视场拍摄图像内，则在监视器中一并显示出拍摄有该障碍物的障碍物图像和窄视场拍摄图像，因此，驾驶员能够通过监视器了解到障碍物的存在。为了使驾驶员明确地觉察到障碍物的存在，可以进行利用粗线圈住障碍物的图像区域等的障碍物强调处理。与此相对，在障碍物不在窄视场拍摄图像内而位于拍摄图像中的窄视场拍摄图像外的区域中的情况下，在监视器中没有显示出该障碍物。
在障碍物区域位于所述窄视场图像外的情况下，生成以包含该障碍物区域的方式从宽视场拍摄图像中截取的宽视场障碍物图像，来作为应该在上述的关注拍摄图像上弹出显示的关注障碍物图像。此外，在该结构例中，采用从宽视场拍摄图像截取的宽视场障碍物图像的优选的一个方式。即，决定由障碍物区域、过渡区域以及重复区域构成的图像，来作为宽视场障碍物图像，其中，过渡区域是指，从上述障碍物区域向窄视场区域过渡的区域，重复区域是指，从该过渡区域进一步进入窄视场区域内的区域（#6）。在此，该宽视场障碍物图像为从重复区域经由过渡区域达到障碍物区域的连续的图像区域，该重复区域是用作关注拍摄图像的拍摄图像中的窄视场区域的周边部。重复区域是宽视场障碍物图像与窄视场区域重复的区域。从宽视场拍摄图像中截取关注障碍物图像中的至少包括障碍物区域和重复区域的图像区域，来作为关注障碍物图像（#7）。由于在该关注障碍物图像中，作为重复区域，包括监控显示的关注拍摄图像（窄视场区域）的周边区域中的一部分，所以能够易于从该关注障碍物图像中掌握关注障碍物图像与关注拍摄图像的位置关系。关注障碍物图像的大小取决于障碍物区域的大小和障碍物区域与窄视场区域之间的距离。因此，在因监控显示时关注障碍物图像的大小过大的情况下，可以缩小关注障碍物图像，或者，省略或压缩过渡区域。在关注障碍物图像的大小过小的情况下，可以放大关注障碍物图像（#7a）。
在生成关注障碍物图像的同时，生成用于在关注拍摄图像上弹出显示的指标图像（#8）。该指标图像表示关注障碍物图像相对于车辆的相对位置、识别出的障碍物相对于车辆的相对位置。在图9示出的例子中，指标图像由车辆的插画图像或照片图像以及特定的插画图像构成，该特定的插画图像以图形的方式示出与该指标图像同时显示的关注拍摄图像所包含的障碍物相对于该车辆的存在区域。即，将该车辆图像和表示障碍物相对于车辆的存在区域的图像统称为指标图像。另外，图9的车辆的插画图像或照片图像为从后方观察车辆的插画图像或照片图像。也可以采用如下的图像来作为作为其它的指标图像：在车辆图像的周围描画栅格图案，对障碍物的位置进行填涂或利用强调线等来明确表示的图像。由于能够预测识别出的障碍物的位置，所以便于将与各障碍物的位置对应的指标图像进行图标化，并进行保存。
此外，在图9的例子中，在监视器上在指标图像的左侧显示关注障碍物图像，这是利用关注障碍物图像来显示位于如图3所示的车辆的后方左侧的障碍物。即，设置成，使在该关注障碍物图像中拍摄出的障碍物相对于车辆的相对位置（方向）与弹出显示的关注障碍物图像在监视器上相对于指标图像的相对位置（方向）对应。即，使得在该关注障碍物图像中拍摄出的障碍物相对于车辆的相对位置（方向），与弹出显示的关注障碍物图像在监视器上相对于指标图像的相对位置（方向）一致。通过以这种方式显示，使障碍物实际存在的方向与弹出显示关注障碍物图像的位置在监视器上相对于指标图像的方向一致，因此，有使驾驶员易于理解障碍物所在位置（方向）的效果。
若生成关注障碍物图像和指标图像，则以在关注拍摄图像上弹出显示的方式对关注障碍物图像、指标图像以及关注拍摄图像进行合成，然后作为周边监视用图像进行输出（#9），在监视器上进行显示（#10）。
下面，利用附图，说明本发明的车辆周边监视装置的具体的实施方式。该车辆周边监视装置与上述第一实施方式同样地，如图3所示，在此，该车辆周边监视装置设置于作为乘用车的车辆上，利用通过作为拍摄车辆的周边的拍摄部的摄像头1获取的拍摄图像，支援（辅助）驾驶员来确认车辆周边的状况。为了全方位监视车辆周围，作为摄像头1，需要将车辆前方作为拍摄视场的前置摄像头1a、将车辆后方作为拍摄视场的后置摄像头1b、将车辆左侧方和车辆右侧方作为拍摄视场的左右的侧置摄像头1c、1d。在该实施方式中，利用后置摄像头1b来作为摄像头1，此后，将后置摄像头1b简称为摄像头1。通过摄像头1获取的拍摄图像，用于在后面详细说明的车辆周边监视控制器2进行的障碍物的图像识别及生成周边监视用图像的处理。在监视器21上显示所生成的周边监视用图像。
摄像头1内置有CCD（charge coupled device：电荷耦合元件）、CIS（CMOSimage sensor：CMOS图像传感器）等的拍摄元件，其为将由该拍摄元件拍摄的信息作为视频信息或静态图像信息实时进行输出的元件摄像头。摄像头1的拍摄中心线略向下方延伸。从图3能够示意性地理解到，由于在摄像头1安装有140度左右的广角镜头，所以能够获取宽视场的拍摄图像。当然，还可以采用将水平180度作为视场的超广角镜头，来覆盖车辆后方整个区域。图3示出的窄视场为用于获得能够确认车辆行驶的推断行驶路径的状况所需的最小的窄视场的角度。若在该窄视场内存在障碍物，则有可能发生碰撞。因此，在障碍物、特别是沿着窄视场方向接近的障碍物位于窄视场外的宽视场内的时间点，提醒驾驶员注意尤为重要。
配置在车辆内部的车辆周边监视控制器2为车辆周边监视装置的核心。该车辆周边监视控制器2与上述第一实施方式同样地，如图4所示，具有处理输入信息的微处理器、DSP（digital signal processor），其能够经由用作输入输出接口的通信接口70，与各种车载设备之间交换数据。例如，与通信接口70连接的车载LAN（局域网）连接有传感器控制器SC、监视器21、触摸屏21T、动力转向单元PS、变速机构T、制动装置BK等。传感器控制器SC直接将从车辆状态检测传感器组输入的信号传送给车辆周边监视控制器2的内部，或者对该信号进行评价之后传送给车辆周边监视控制器2的内部。与传感器控制器SC连接的车辆状态检测传感器组检测驾驶操作、车辆行驶的状态。虽然没有图示，但车辆状态检测传感器组包括如下等的传感器：转向传感器，其计测转向操作方向（操舵方向）和操作量（操舵量）；挡位传感器，其判断变速杆的挡位；加速传感器，其计测油门踏板的操作量；制动传感器，其检测制动踏板的操作量；距离传感器，其检测车辆自身的行驶距离。
车辆周边监视控制器2为计算机系统，具有硬件、软件或由两种形式构件的各种各样的功能部。作为与本发明尤其相关的功能部，列举有检测车辆周边的障碍物的障碍物检测模块30、图像识别模块40、图像处理模块50、上述的通信接口70、显示控制部71、音声处理模块72。利用显示控制部71将由图像处理模块50生成的监控显示图像转换为视频信号，发送至监视器21。通过扬声器22鸣放由音声处理模块72生成的语音导航、在紧急时的警告音等。
障碍物检测模块30具有障碍物检测部31，该障碍物检测部31对来自多个超声波传感器3的检测信号进行评价，以检测障碍物。超声波传感器3配置在车辆的前部、后部、左侧部、右侧部的各部分的两端处和中央处，能够通过来自位于车辆周边附近的物体（障碍物）的反射波来检测这些物体。障碍物检测部31精于计算到障碍物的距离即障碍物的位置，根据各超声波传感器3处理反射波的返回时间和振幅，来推断从车辆到物体为止的距离、物体的大小。而且，随着时间的推移，处理所有的超声波传感器3的检测结果，由此，还能够推断出物体的动作、在横向上的外形形状。障碍物检测模块30将描述识别出的障碍物的位置、姿势、大小等的障碍物信息输出至图像识别模块40。、还能够应用利用激光雷达之类的其它的方式来作为障碍物检测部31。
图像识别模块40具有障碍物识别部41，该障碍物识别部41利用来自车载摄像头1的原始大小的拍摄图像即宽视场拍摄图像来识别障碍物。障碍物识别部41自身安装（设置）有公知的物体识别算法，用来从所输入的每个拍摄图像及随着时间的推移而连续的拍摄图像中，识别车辆周边的障碍物。为了确认障碍物的存在及位置，虽然可以利用障碍物检测部31或障碍物识别部41的任一方，但通过具有能够使用出于显示目的而拍摄的拍摄图像来检测障碍物的存在障碍物识别部41、精于计算障碍物的位置的障碍物检测部31双方，使双方共同作业，能够更准确地识别障碍物。
图10示出了图像处理模块50的功能框图。图像处理模块50也为计算机单元，通过启动程序能够实现各种各样的功能。在该图像处理模块50中，对从摄像头1发送来的在存储器中展开的宽视场的拍摄图像进行处理以输出周边监视用图像所需的各种各样的功能部，由程序、硬件构成。此时，参照图像识别模块40、障碍物检测模块30或从这两个模块发送来的障碍物信息，以易于确认障碍物的方式将障碍物图像嵌入到周边监视用图像。如图10所示，作为与本发明尤其相关的功能部，包括拍摄图像存储器51、前处理部52、周边监视用图像生成部60、帧存储器53。由摄像头1获取的拍摄图像在拍摄图像存储器51中展开，前处理部52调整由摄像头1分别获得的各个拍摄图像之间的亮度均衡、色彩平衡等。
周边监视用图像生成部60包括关注拍摄图像生成部61、关注障碍物图像生成部62、障碍物信息获取部63、障碍物区域推算部64、过渡区域推算部65、重复区域推算部66、图像放大缩小部67、指标图像生成部68、指标图像保存部69。关注拍摄图像生成部61在拍摄图像存储器51中展开的宽视场的拍摄图像中，截取事先设定的中央区域（窄视场区域）的图像，来作为关注拍摄图像（窄视场拍摄图像），并将其发送至图像合成部55。
关注障碍物图像生成部62，在拍摄图像存储器51中展开的拍摄图像中，在上述的窄视场区域以外的区域识别出障碍物的情况下，生成包括该障碍物图像在内的关注障碍物图像。该实施方式的关注障碍物图像由如下的区域构成：拍摄图像中的由障碍物区域推算部64推算出的障碍物区域；拍摄图像中的由过渡区域推算部65推算出的过渡区域；拍摄图像中的由重复区域推算部66推算出的重复区域。障碍物区域推算部64基于从障碍物识别部41发送来的包括所识别出的障碍物在拍摄图像上的位置等的障碍物信息，计算包括障碍物的矩形区域，来作为障碍物区域。
过渡区域推算部65推算特定区域，来作为过渡区域，该特定区域是指，通过在使障碍物区域向车辆中心的方向移动时获得的在窄视场区域外的移动轨迹来规定的区域。重复区域推算部66推算出从过渡区域延长至窄视场区域内的区域，来作为重复区域。该重复区域的长度可以事先设定，优选为关注障碍物图像的横向宽度的1/3～1/5，但不限于此。由于上述障碍物区域、过渡区域、重复区域连续，所以关注障碍物图像为与关注拍摄图像的特定的周边区域连接的图像。
指标图像生成部68输出指标图像，该指标图像表示关注障碍物图像拍摄到的车辆周边区域、特别是识别出的障碍物所在的区域相对于车辆的相对位置。指标图像保存部69保存指标图像组，该指标图像组表示这种障碍物所在的区域相对于车辆的各种各样的相对位置。因此，指标图像生成部68根据从关注障碍物图像生成部62获得的关注障碍物图像、特别是从与障碍物图像的位置相关的信息，从指标图像保存部69中提取适当的指标图像。另外，在指标图像为利用栅格图案等来划分车辆周边区域的图像的情况下，通过根据与关注障碍物图像的位置相关的信息对与该信息对应的划分区域进行填涂等，以能够视觉确认的方式进行强调，恰当地生成并输出表示关注障碍物图像相对于车辆的相对位置的指标图像。
利用图像合成部55一并合成从指标图像生成部68输出的指标图像、从关注障碍物图像生成部62输出的关注障碍物图像和关注拍摄图像。在该实施方式中，如图10所示，图像合成部55，在监视器21上，在关注拍摄图像的上方，在障碍物所在方向一侧的位置显示关注障碍物图像，在关注拍摄图像的上方中央显示指标图像。此外，能够在隔着指标图像的与关注障碍物图像的相反一侧，显示相对于车辆对称的图像区域，来作为不存在障碍物的关注障碍物图像。像这样，若识别出障碍物，则生成并输出关注障碍物图像、指标图像，并在关注拍摄图像上显示这些图像，因此，关注障碍物图像和指标图像以弹出显示的方式显示在关注拍摄图像的显示画面上，使得驾驶员易于关注。
此外，在关注障碍物图像以弹出的方式显示在关注拍摄图像上的情况下，会因关注障碍物图像的显示面积而产生几乎将关注拍摄图像全部遮挡住的不良情况。因此，在关注障碍物图像的显示面积在规定以上的情况下，优选缩小图像。当然，在关注障碍物图像的显示面积过于小而难以确认障碍物的情况下，放大图像。另外，可以在过渡区域过长的情况下，压缩（缩小）过渡区域。通过图像放大缩小部67来放大/缩小上述这种关注障碍物图像以及压缩过渡区域。
例如，如图11所示，在监视图像中，在关注拍摄图像的上方，在中央弹出显示的指标图像上描画有车辆的后视的图像（可以为图标），并且示出了障碍物位于上述车辆的哪个方向，因此，驾驶员还能够直观地理解到同时弹出显示的关注障碍物图像拍摄到位于车辆哪个方向上的周边区域。
利用图11的控制程序示意图和图12的流程图，对倒车监控程序的一个例子进行说明，该倒车监控程序是以上述方式构成的车辆周边监视装置中的用于确认后方的控制程序。
首先，若开始进行倒车监控程序，则摄像头1获取拍摄图像（宽视场图像）（#01）。所获取的拍摄图像在存储器中依次展开，并暂时保存，仅保存规定时间（#02）。对在存储器中展开的拍摄图像实施失真修正、分辨率转换、灰度调整等必要的图像处理。所保存的拍摄图像还被同时执行的障碍物识别程序所使用。由于从在时间上连续获取的拍摄图像识别具有相对动作的物体（若位于车辆前进的道路附近，则为障碍物）的识别算法广为人知，所以在此省略说明。
关注拍摄图像生成部61利用事先设定的窄视场区域截取框截取图像，将所截取出的图像作为关注拍摄图像（#03）。接着，确认（check）障碍物识别部41是否输出了障碍物信息（#04）。在输出了障碍物信息的情况下，障碍物区域推算部64从障碍物信息中读取障碍物在拍摄图像上的坐标位置，以推算障碍物区域（#05）。接着，确认在该拍摄图像上确定出的障碍物区域是否位于窄视场区域内，即，确认是否能够通过监控显示的关注拍摄图像视觉确认识别出的障碍物（#06）。此时，在拍摄图像上确定出的障碍物区域的一部分或全部位于窄视场区域外的情况下，认为障碍物区域不在窄视场区域内。若通过该确认，判断出障碍物区域不在窄视场图像区域内（在#06为否分支），则过渡区域推算部65进而推算拍摄图像中的过渡区域（#07），重复区域推算部66推算重复区域（#08）。接着，基于推算出的障碍物区域、过渡区域和重复区域，从拍摄图像中截取关注障碍物图像（#09）。确认关注障碍物图像的显示面积（#10），仅在需要进行放大缩小处理的情况下，进行包括过渡区域的压缩处理的关注障碍物图像的放大缩小处理（#11）。生成关注障碍物图像，并且通过指标图像生成部68生成表示关注障碍物图像拍摄到的车辆周边区域相对于车辆的相对位置的指标图像（#12）。接着，在图像合成部55中，对关注障碍物图像、指标图像、关注拍摄图像进行合成，生成并输出周边监视用图像（#13）。此外，此时，还合成不存在障碍物的一侧的关注障碍物图像（以车辆为中心，与关注障碍物图像对称的虚设关注障碍物图像），则驾驶员能够掌握到在一个方向上存在障碍物，而在另一个方向上不存在障碍物。
此外，在上述步骤#04的确认结果为没有输出障碍物信息的情况下（#04为否分支），则不进行处理而直接通过（through）图像合成部55而输出关注拍摄图像（窄视场图像），来作为周边监视用图像（#14）。通过将从图像合成部55输出的周边监视用图像发送至显示控制部71，所以在监视器21上显示与该显示图像对应的画面（#15）。
从上述的程序能够理解到，在仅将关注拍摄图像作为周边监视用图像显示在监视器21上的状态下能够识别出障碍物，若在监视器21上显示由关注障碍物图像、指标图像、关注拍摄图像构成的周边监视用图像，则能够以弹出显示关注障碍物图像和指标图像的方式观察到这些图像。
确认该倒车监控程序是否接收到中止指令（#16），只要继续运行该倒车监视器（#16为否分支），就返回步骤#04，利用最新的拍摄图像，重复上述过程。
[另一个实施方式]
（1）在上述的第一实施方式中，推算障碍物区域，基于该障碍物区域，生成最终监控显示的关注障碍物图像。在该另一个实施方式中，可以变更为：事先设定关注障碍物图像的配置及该关注障碍物图像在原始拍摄图像中的区域（如图6所示，事先设定为与窄视场拍摄图像重复的状态），在该区域内检测出障碍物时，弹出显示关注障碍物图像。此时，在关注障碍物图像弹出显示之后，在该关注障碍物图像内没有检测到障碍物的情况下，中止关注障碍物图像的弹出显示。
（2）在周边监视用图像上分配与车辆前进方向的周边区域对应的关注拍摄图像、与车辆左右的周边区域对应的关注障碍物图像的位置，从而，通常不仅对关注拍摄图像进行合成，还可以对不存在识别出的障碍物的关注障碍物图像进行合成，以便于能够显示。在该情况下，若识别出障碍物，则对包括所识别出的障碍物在内的关注障碍物图像实施用于引人注目的强调处理，例如，可以实施改变关注障碍物图像（弹出显示）的外框的颜色或者利用闪烁的框圈住关注障碍物图像等的处理。
（3）在上述实施方式的说明中，由于采用拍摄车辆后方的后置摄像头1b来作为拍摄部1，所以在该监视器21上显示的周边监视用图像用于确认车辆后方。然而，当然，也可以采用拍摄车辆侧方的侧置摄像头1c、1d，拍摄车辆前方的前置摄像头1a来作为拍摄部1，还可以将本发明用于监视所选择的车辆的任意的周边。而且，还可以对来自拍摄部1的覆盖车辆整个周围的拍摄图像进行上方视点的视点转换来生成俯视图像，将该俯视图像作为应该与关注障碍物图像合成的关注拍摄图像。
（4）就在关注拍摄图像上的关注障碍物图像的显示方式而言，可以不采用在上述那样的关注拍摄图像上重叠显示关注障碍物图像的方式，而是并列配置各自的图像，还可以每隔规定时间交互进行显示。而且，还可以采用如下的方式：对关注拍摄图像和关注障碍物图像进行α混合（半透明合成），以能够观察两种图像。
（5）在上述实施方式的说明中，作为关注障碍物图像，不在监视器上显示所有在窄视场图像的外侧识别出的障碍物，在障碍物识别部41能够识别出例如向车辆接近的方向这样的障碍物的动作方向的情况下，可以仅针对向车辆自身接近的障碍物生成关注障碍物图像，在监视器上显示该关注障碍物图像。
（6）在上述第二实施方式的说明中，关注障碍物图像包括障碍物区域、过渡区域、重复区域，但只要至少包括障碍物区域即可，能够省略过渡区域、重复区域或这两者。另外，为了强调识别出的障碍物，可以利用障碍物的轮廓或矩形等的多角形线、圆形（包括椭圆）线、虚线来圈出障碍物。
（7）在图12中，通常，即，在窄视场区域外没有识别出障碍物时，仅在关注拍摄图像上显示拍摄图像的窄视场区域的图像，在窄视场区域外识别出障碍物的情况下，以弹出显示的方式一并示出由车辆自身、表示障碍物与车辆之间的相对位置的指标构成的指标图像和关注障碍物图像。但也可以取而代之，如图13所示，在通常显示的关注拍摄图像上还附加指标图像的原始车辆自身图像，在窄视场区域外识别出障碍物的情况下，可以弹出显示关注障碍物图像，并且显示指标图像来代替上述的车辆自身图像。在图13中，通常显示的自车辆图像包括表示车辆自身的车辆自身图像（插图等）和多个指标用框。即，包括车辆后方中央、车辆后方左侧、车辆后方右侧的三个指标用框。在窄视场区域外（关注障碍物图像内）等识别出障碍物的情况下，利用关注色（易于与背景进行区别的会引人注意的红色或黄色等），填涂多个指标用框中的表示障碍物与车辆之间的相对位置的指标用框（当然，在填涂该指标用框的同时，还弹出显示关注障碍物图像）。即，若在与车辆后方中央、车辆后方左侧、车辆后方右侧的三个指标用框对应的车辆的周边位置检测出障碍物的存在，则填涂相应的指标用框。此时，若在多个车辆周边位置（车辆后方中央、车辆后方左侧、车辆后方右侧）检测出障碍物，则填涂相应的多个指标用框。
此外，上述第二实施方式的车辆周边监视装置还可以按如下方式构成。
车辆周边监视装置，在所述关注拍摄图像的中央的上方显示所述指标图像，在所述指标图像的旁边显示所述关注障碍物图像。
另外，在车辆周边监视装置中，所述车辆周边为所述车辆的后方，所述关注拍摄图像为将通过所述拍摄部拍摄的图像左右翻转而得的影像。
另外，车辆周边监视装置，在所述关注拍摄图像内弹出显示所述关注障碍物图像和所述指标图像。
另外，在车辆周边监视装置中，所述关注障碍物图像由如下的图像构成：所述障碍物区域的图像、从该障碍物区域向所述窄视场区域过渡的过渡区域的图像、从该过渡区域进一步进入所述窄视场区域内的重复区域的图像。
另外，车辆周边监视装置根据所述障碍物区域与所述窄视场区域之间的距离，放大缩小所述关注障碍物图像。
工业上的可利用性
本发明能够应用于一并监控显示由用于拍摄车辆周边区域的车载摄像头获取的拍摄图像和在车辆周边区域内识别出的障碍物的停车支援装置。
附图标记说明
1：拍摄部（摄像头）
2：周边监视控制器
21：监视器
30：障碍物检测模块
41：障碍物识别部
50：图像处理模块
55：图像合成部
60：周边监视用图像生成部
61：关注拍摄图像生成部
62：关注障碍物图像生成部
63：障碍物信息获取部
64：障碍物区域推算部
65：过渡区域推算部
66：重复区域推算部
67：图像放大缩小部
68：指标图像生成部
69：指标图像保存部
71：显示控制部

Claims (12)

1.一种车辆周边监视装置，其特征在于，
由如下的各部分构成：
关注拍摄图像生成部，其将窄视场区域作为关注拍摄图像，所述窄视场区域是由拍摄部获取的车辆周边的拍摄图像的一部分，
障碍物识别部，其识别车辆周边的障碍物，
障碍物区域推算部，其推算障碍物区域，所述障碍物区域是由所述障碍物识别部识别出的障碍物在所述拍摄图像中的区域，
关注障碍物图像生成部，其在图像区域包括所述障碍物区域的情况下，将该图像区域作为关注障碍物图像，所述图像区域的一部分与所述窄视场区域重复，并且所述图像区域是所述拍摄图像的一部分，
图像合成部，其生成由所述关注拍摄图像和所述关注障碍物图像构成的周边监视用显示图像。
2.如权利要求1所述的车辆周边监视装置，其特征在于，
在生成所述关注障碍物图像时，在所述周边监视用显示图像中，以相对于所述关注拍摄图像而左右对称的方式设定一对所述关注障碍物图像的配置区域，将所述关注障碍物图像配置在所述配置区域内。
3.如权利要求2所述的车辆周边监视装置，其特征在于，
用于表示所述障碍物相对于所述车辆的存在方向的指标，被配置在所述关注拍摄图像的中央的上方。
4.如权利要求1～3中任一项所述的车辆周边监视装置，其特征在于，
在没有识别出障碍物时，显示所述关注拍摄图像，来作为所述周边监视用显示图像，
在识别出障碍物时，在所述周边监视用显示图像上弹出显示所述关注障碍物图像。
5.如权利要求1～4中任一项所述的车辆周边监视装置，其特征在于，
根据所述障碍物区域与所述窄视场区域之间的距离，沿着过渡区域的过渡方向压缩该过渡区域，所述过渡区域是连接所述障碍物区域与所述窄视场区域之间的区域。
6.如权利要求1所述的车辆周边监视装置，其特征在于，
在所述障碍物区域位于所述窄视场图像外的情况下，所述关注障碍物图像生成部根据所述拍摄图像生成至少包括所述障碍物区域的关注障碍物图像，
所述图像合成部，以在监视器画面弹出显示所述关注障碍物图像的方式，对所述关注拍摄图像、所述关注障碍物图像以及指标图像进行合成，所述指标图像表示所述关注障碍物图像相对于所述车辆的相对位置。
7.如权利要求6所述的车辆周边监视装置，其特征在于，
在所述关注拍摄图像的中央的上方显示所述指标图像，在所述指标图像的旁边显示所述关注障碍物图像。
8.如权利要求6或者7所述的车辆周边监视装置，其特征在于，
所述车辆周边是指所述车辆的后方，
所述关注拍摄图像是将由所述拍摄部拍摄出的图像进行左右翻转之后的映像。
9.如权利要求6～8中任一项所述的车辆周边监视装置，其特征在于，
在所述关注拍摄图像内，弹出显示所述关注障碍物图像和所述指标图像。
10.如权利要求6～9中任一项所述的车辆周边监视装置，其特征在于，
所述关注障碍物图像，由所述障碍物区域的图像、从该障碍物区域向所述窄视场区域过渡的过渡区域的图像、从该过渡区域进一步进入所述窄视场区域内的重复区域的图像构成。
11.如权利要求1～4及6～10中任一项所述的车辆周边监视装置，其特征在于，
根据所述障碍物区域与所述窄视场区域之间的距离，放大或缩小所述关注障碍物图像。
12.一种车辆周边监视装置，其特征在于，
由如下的各部分构成：
关注拍摄图像生成部，其将窄视场区域来作为关注拍摄图像，所述窄视场区域是由拍摄部获取的车辆周边的拍摄图像的一部分，
障碍物识别部，其识别车辆周边的障碍物，
障碍物区域推算部，其推算障碍物区域，所述障碍物区域是由所述障碍物识别部识别出的障碍物在所述拍摄图像中的区域，
关注障碍物图像生成部，其在所述障碍物区域位于所述窄视场图像外的情况下，根据所述拍摄图像生成至少包括所述障碍物区域的关注障碍物图像，
指标图像生成部，其输出表示所述关注障碍物图像相对于所述车辆的相对位置的指标图像，
图像合成部，其以在监视画面上弹出显示所述关注障碍物图像的方式，合成所述关注障碍物图像、所述指标图像、所述关注拍摄图像。
CN201280029641.9A 2011-06-16 2012-05-18 车辆周边监视装置 Pending CN103609101A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011134463A JP5500392B2 (ja) 2011-06-16 2011-06-16 車両周辺監視装置
JP2011134464A JP5495071B2 (ja) 2011-06-16 2011-06-16 車両周辺監視装置
JP2011-134464 2011-06-16
JP2011-134463 2011-06-16
PCT/JP2012/062846 WO2012172923A1 (ja) 2011-06-16 2012-05-18 車両周辺監視装置

Publications (1)

Publication Number Publication Date
CN103609101A true CN103609101A (zh) 2014-02-26

Family

ID=47356917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280029641.9A Pending CN103609101A (zh) 2011-06-16 2012-05-18 车辆周边监视装置

Country Status (4)

Country Link
US (1) US9013579B2 (zh)
EP (1) EP2723069B1 (zh)
CN (1) CN103609101A (zh)
WO (1) WO2012172923A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105291979A (zh) * 2014-06-10 2016-02-03 Lg电子株式会社 车辆用全景环视装置及具有该装置的车辆
CN105719311A (zh) * 2014-12-19 2016-06-29 现代摩比斯株式会社 用于检测目标的车辆系统及其操作方法
CN106114366A (zh) * 2016-08-31 2016-11-16 重庆长安汽车股份有限公司 基于雷达的视角自动切换倒车后视系统及方法
CN106170827A (zh) * 2014-04-11 2016-11-30 株式会社电装 识别辅助系统
CN106772397A (zh) * 2016-12-14 2017-05-31 深圳市歌美迪电子技术发展有限公司 车辆数据处理方法和车辆雷达系统
US9840197B2 (en) 2014-06-10 2017-12-12 Lg Electronics Inc. Apparatus for providing around view and vehicle including the same
CN108995589A (zh) * 2017-06-06 2018-12-14 福特全球技术公司 基于相对位置确定车辆视图
CN109068091A (zh) * 2017-06-09 2018-12-21 爱信精机株式会社 图像传送装置、图像诊断装置以及图像诊断系统
CN110352391A (zh) * 2017-01-20 2019-10-18 株式会社久保田 作业车
CN110582198A (zh) * 2017-06-23 2019-12-17 株式会社久保田 收割机
CN110612562A (zh) * 2017-05-11 2019-12-24 三菱电机株式会社 车载用监视摄像头装置
CN113442831A (zh) * 2020-03-25 2021-09-28 斑马智行网络(香港)有限公司 视野盲区显示方法、装置以及采用该方法的导航系统
CN115273552A (zh) * 2022-09-19 2022-11-01 南通立信自动化有限公司 一种汽车仪表的hmi控制系统

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011028686A1 (en) * 2009-09-01 2011-03-10 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
JP6229272B2 (ja) * 2013-02-07 2017-11-15 市光工業株式会社 車両用視認装置
JP2014204361A (ja) * 2013-04-08 2014-10-27 株式会社ビートソニック 車載モニタリングシステムにおける車載カメラ用アダプター
US9823824B2 (en) * 2013-08-19 2017-11-21 Kodak Alaris Inc. Context sensitive adaptable user interface
KR101751362B1 (ko) * 2013-08-23 2017-06-27 주식회사 만도 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
TWI533694B (zh) * 2013-12-18 2016-05-11 歐特明電子股份有限公司 車用障礙物偵測顯示系統
JPWO2015151485A1 (ja) * 2014-04-01 2017-04-13 パナソニックＩｐマネジメント株式会社 後方視界確認装置と、それを搭載した自動車
US10932657B2 (en) * 2014-04-02 2021-03-02 Transenterix Europe S.A.R.L. Endoscope with wide angle lens and adjustable view
JP6643659B2 (ja) 2014-04-09 2020-02-12 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法、および表示制御プログラム
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
US20160035063A1 (en) * 2014-07-30 2016-02-04 Lenovo (Singapore) Pte. Ltd. Scaling data automatically
US9918001B2 (en) * 2014-08-21 2018-03-13 Toyota Motor Sales, U.S.A., Inc. Crowd sourcing exterior vehicle images of traffic conditions
DE102014014662A1 (de) 2014-09-19 2016-03-24 Mekra Lang North America, Llc Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
DE102014116441A1 (de) * 2014-11-11 2016-05-12 Connaught Electronics Ltd. Verfahren zum Darstellen einer Sicherheitsinformation, Fahrerassistenzsystem und Kraftfahrzeug
WO2016178190A1 (en) * 2015-05-06 2016-11-10 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
KR101741433B1 (ko) * 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US10040394B2 (en) * 2015-06-17 2018-08-07 Geo Semiconductor Inc. Vehicle vision system
JP6493024B2 (ja) * 2015-06-30 2019-04-03 株式会社デンソー 表示装置、車両制御装置及び走行支援システム
EP3130276B8 (en) * 2015-08-12 2020-02-26 TransEnterix Europe Sàrl Endoscope with wide angle lens and adjustable view
DE102015217258A1 (de) * 2015-09-10 2017-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Darstellen eines Fahrzeugumfeldes eines Fahrzeuges
US10999559B1 (en) * 2015-09-11 2021-05-04 Ambarella International Lp Electronic side-mirror with multiple fields of view
US20170124881A1 (en) * 2015-10-28 2017-05-04 Velvac Incorporated Blind zone warning for semi-trailer
US10522041B2 (en) * 2016-01-19 2019-12-31 Nissan Motor Co., Ltd. Display device control method and display device
JP6595401B2 (ja) * 2016-04-26 2019-10-23 株式会社Ｓｏｋｅｎ 表示制御装置
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
WO2018020751A1 (ja) 2016-07-26 2018-02-01 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
US9791557B1 (en) * 2016-09-15 2017-10-17 Qualcomm Incorporated System and method for multi-area LIDAR ranging
CN107968806A (zh) * 2016-10-20 2018-04-27 福特环球技术公司 车辆通信和图像投影系统
US10410440B2 (en) * 2016-12-09 2019-09-10 Traffilog Ltd. Distributed system and method for monitoring vehicle operation
DE102017200165A1 (de) * 2017-01-09 2018-07-12 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines abgestellten Kraftfahrzeugs
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
JP6976719B2 (ja) * 2017-05-25 2021-12-08 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
JP6837931B2 (ja) * 2017-06-26 2021-03-03 アルパイン株式会社 表示制御装置、表示制御方法及びカメラモニタリングシステム
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
DE102018119024A1 (de) * 2018-08-06 2020-02-06 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Kameraüberwachungssystem
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11302197B2 (en) * 2018-09-17 2022-04-12 Nissan Motor Co., Ltd. Vehicle behavior prediction method and vehicle behavior prediction device
WO2020077117A1 (en) 2018-10-11 2020-04-16 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
JP6575668B2 (ja) * 2018-11-19 2019-09-18 株式会社デンソー 映像処理装置
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
FR3090169B1 (fr) * 2018-12-14 2021-05-28 Psa Automobiles Sa Procédé d’affichage d’une image pour système d’aide à la conduite d’un véhicule automobile et système mettant en œuvre ce procédé
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11285844B2 (en) 2019-01-31 2022-03-29 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with morphing portions
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11370330B2 (en) * 2019-03-22 2022-06-28 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with morphing portions
US11752901B2 (en) 2019-03-28 2023-09-12 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with tilting seat portion
CN110827197A (zh) * 2019-10-08 2020-02-21 武汉极目智能技术有限公司 一种基于深度学习检测和识别车辆环视目标的方法和装置
WO2021144662A1 (ja) * 2020-01-17 2021-07-22 株式会社半導体エネルギー研究所 撮像システム、走行支援システム、及びプログラム
EP3862804A1 (en) * 2020-02-05 2021-08-11 Leica Instruments (Singapore) Pte. Ltd. Apparatuses, methods and computer programs for a microscope system
WO2021192655A1 (ja) * 2020-03-27 2021-09-30 日立建機株式会社 作業機械
CN113255439B (zh) * 2021-04-13 2024-01-12 深圳市锐明技术股份有限公司 一种障碍物识别方法、装置、系统、终端及云端
US11897379B2 (en) 2021-10-20 2024-02-13 Toyota Motor Engineering & Manufacturing North America, Inc. Seat with shape memory material member actuation
CN114743433B (zh) * 2021-12-23 2023-03-24 中国科学院软件研究所 模拟飞行训练环境下威胁的多通道告警呈现方法及装置
JP2024115033A (ja) * 2023-02-14 2024-08-26 キヤノン株式会社 通信システム、制御方法及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0651350A1 (en) * 1993-10-27 1995-05-03 Xerox Corporation An image display
CN1787636A (zh) * 2004-12-07 2006-06-14 本田制锁有限公司 车辆视野辅助装置
CN1878299A (zh) * 2005-06-07 2006-12-13 日产自动车株式会社 图像显示装置和方法
CN101396989A (zh) * 2007-09-26 2009-04-01 日产自动车株式会社 车辆周边监视设备和车辆周边监视方法
US20100134264A1 (en) * 2008-12-01 2010-06-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding confirmation apparatus
JP2010130647A (ja) * 2008-12-01 2010-06-10 Aisin Seiki Co Ltd 車両周辺確認装置
CN201604583U (zh) * 2010-02-10 2010-10-13 徽昌电子股份有限公司 结合鸟瞰与倒车雷达的智能型警示系统

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5339152A (en) * 1992-04-24 1994-08-16 Grumman Aerospace Corporation Holographic inspection system with integral stress inducer
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP3619753B2 (ja) * 2000-07-03 2005-02-16 トヨタ自動車株式会社 移動体の後方視界表示装置
JP2003143596A (ja) 2001-10-30 2003-05-16 Fujitsu Ten Ltd 車両用モニタ装置
CA2386560A1 (en) * 2002-05-15 2003-11-15 Idelix Software Inc. Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools
US7427996B2 (en) * 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US7995652B2 (en) * 2003-03-20 2011-08-09 Utc Fire & Security Americas Corporation, Inc. Systems and methods for multi-stream image processing
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US7394053B2 (en) * 2004-09-09 2008-07-01 Beth Israel Deaconess Medical Center, Inc. Systems and methods for multi-modal imaging having a spatial relationship in three dimensions between first and second image data
US7423521B2 (en) 2004-12-07 2008-09-09 Kabushiki Kaisha Honda Lock Vehicular visual assistance system
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
US8386909B2 (en) * 2005-04-07 2013-02-26 Hewlett-Packard Development Company, L.P. Capturing and presenting interactions with image-based media
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
US9836716B2 (en) * 2006-05-09 2017-12-05 Lytx, Inc. System and method for reducing driving risk with hindsight
US8314708B2 (en) * 2006-05-08 2012-11-20 Drivecam, Inc. System and method for reducing driving risk with foresight
US7659827B2 (en) * 2006-05-08 2010-02-09 Drivecam, Inc. System and method for taking risk out of driving
US20070268158A1 (en) * 2006-05-09 2007-11-22 Drivecam, Inc. System and Method for Reducing Driving Risk With Insight
US7804426B2 (en) * 2006-05-08 2010-09-28 Drivecam, Inc. System and method for selective review of event data
US8373567B2 (en) * 2006-05-08 2013-02-12 Drivecam, Inc. System and method for identifying non-event profiles
JP5159070B2 (ja) * 2006-08-31 2013-03-06 アルパイン株式会社 車両周辺画像表示装置及び表示方法
DE102006048910A1 (de) * 2006-10-17 2008-04-24 Robert Bosch Gmbh Ausfallsicheres Parkassistenzsystem
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
CN101681244B (zh) * 2007-05-09 2012-02-29 松下电器产业株式会社 显示装置、显示方法、显示程序
JP5182545B2 (ja) * 2007-05-16 2013-04-17 アイシン精機株式会社 駐車支援装置
JP5003946B2 (ja) * 2007-05-30 2012-08-22 アイシン精機株式会社 駐車支援装置
US8786704B2 (en) * 2007-08-09 2014-07-22 Donnelly Corporation Vehicle mirror assembly with wide angle element
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
US20090187300A1 (en) * 2008-01-22 2009-07-23 David Wayne Everitt Integrated vehicle computer system
KR20090088210A (ko) * 2008-02-14 2009-08-19 주식회사 만도 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템
JP2009217740A (ja) 2008-03-12 2009-09-24 Panasonic Corp 車両周囲監視装置および車両周囲監視方法
JP4900326B2 (ja) * 2008-06-10 2012-03-21 日産自動車株式会社 駐車支援装置及び駐車支援方法
US8207835B2 (en) * 2008-10-19 2012-06-26 Micha Schwartz Vehicle safety device
US8289189B2 (en) * 2009-05-11 2012-10-16 Robert Bosch Gmbh Camera system for use in vehicle parking
JP5257695B2 (ja) * 2009-05-20 2013-08-07 アイシン精機株式会社 監視装置
JP5035321B2 (ja) * 2009-11-02 2012-09-26 株式会社デンソー 車両周辺表示制御装置および車両周辺表示制御装置用のプログラム
US8390648B2 (en) * 2009-12-29 2013-03-05 Eastman Kodak Company Display system for personalized consumer goods
US9762880B2 (en) * 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0651350A1 (en) * 1993-10-27 1995-05-03 Xerox Corporation An image display
CN1787636A (zh) * 2004-12-07 2006-06-14 本田制锁有限公司 车辆视野辅助装置
CN1878299A (zh) * 2005-06-07 2006-12-13 日产自动车株式会社 图像显示装置和方法
CN101489117A (zh) * 2005-06-07 2009-07-22 日产自动车株式会社 图像显示装置和方法
CN101396989A (zh) * 2007-09-26 2009-04-01 日产自动车株式会社 车辆周边监视设备和车辆周边监视方法
US20100134264A1 (en) * 2008-12-01 2010-06-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding confirmation apparatus
JP2010130647A (ja) * 2008-12-01 2010-06-10 Aisin Seiki Co Ltd 車両周辺確認装置
CN201604583U (zh) * 2010-02-10 2010-10-13 徽昌电子股份有限公司 结合鸟瞰与倒车雷达的智能型警示系统

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106170827B (zh) * 2014-04-11 2019-01-25 株式会社电装 识别辅助系统
CN106170827A (zh) * 2014-04-11 2016-11-30 株式会社电装 识别辅助系统
CN105291979A (zh) * 2014-06-10 2016-02-03 Lg电子株式会社 车辆用全景环视装置及具有该装置的车辆
US9840197B2 (en) 2014-06-10 2017-12-12 Lg Electronics Inc. Apparatus for providing around view and vehicle including the same
CN105291979B (zh) * 2014-06-10 2018-04-06 Lg电子株式会社 车辆用全景环视装置及具有该装置的车辆
CN105719311B (zh) * 2014-12-19 2018-12-07 现代摩比斯株式会社 用于检测目标的车辆系统及其操作方法
CN105719311A (zh) * 2014-12-19 2016-06-29 现代摩比斯株式会社 用于检测目标的车辆系统及其操作方法
CN106114366B (zh) * 2016-08-31 2019-01-22 重庆长安汽车股份有限公司 基于雷达的视角自动切换倒车后视系统及方法
CN106114366A (zh) * 2016-08-31 2016-11-16 重庆长安汽车股份有限公司 基于雷达的视角自动切换倒车后视系统及方法
CN106772397A (zh) * 2016-12-14 2017-05-31 深圳市歌美迪电子技术发展有限公司 车辆数据处理方法和车辆雷达系统
CN110352391A (zh) * 2017-01-20 2019-10-18 株式会社久保田 作业车
CN110352391B (zh) * 2017-01-20 2024-01-16 株式会社久保田 作业车
US11904851B2 (en) 2017-01-20 2024-02-20 Kubota Corporation Work vehicle
CN110612562A (zh) * 2017-05-11 2019-12-24 三菱电机株式会社 车载用监视摄像头装置
CN110612562B (zh) * 2017-05-11 2022-02-25 三菱电机株式会社 车载用监视摄像头装置
CN108995589A (zh) * 2017-06-06 2018-12-14 福特全球技术公司 基于相对位置确定车辆视图
CN109068091A (zh) * 2017-06-09 2018-12-21 爱信精机株式会社 图像传送装置、图像诊断装置以及图像诊断系统
CN110582198A (zh) * 2017-06-23 2019-12-17 株式会社久保田 收割机
CN113442831A (zh) * 2020-03-25 2021-09-28 斑马智行网络(香港)有限公司 视野盲区显示方法、装置以及采用该方法的导航系统
CN115273552A (zh) * 2022-09-19 2022-11-01 南通立信自动化有限公司 一种汽车仪表的hmi控制系统

Also Published As

Publication number Publication date
EP2723069B1 (en) 2017-10-18
EP2723069A4 (en) 2014-04-23
US20140118551A1 (en) 2014-05-01
EP2723069A1 (en) 2014-04-23
WO2012172923A1 (ja) 2012-12-20
US9013579B2 (en) 2015-04-21

Similar Documents

Publication Publication Date Title
CN103609101A (zh) 车辆周边监视装置
JP6937443B2 (ja) 撮像装置及び撮像装置の制御方法
US8330816B2 (en) Image processing device
KR100936558B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
CN103299617B (zh) 图像生成装置
KR100466458B1 (ko) 운전지원장치
WO2012169355A1 (ja) 画像生成装置
JP7024782B2 (ja) 画像処理装置と画像処理方法および撮像装置
JP5516998B2 (ja) 画像生成装置
JP5495071B2 (ja) 車両周辺監視装置
JP2012071635A (ja) 駐車支援装置
JPWO2006028180A1 (ja) カメラ及びカメラ装置
US10671868B2 (en) Vehicular vision system using smart eye glasses
TWI842952B (zh) 攝像裝置
KR102388259B1 (ko) 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법
JP5500392B2 (ja) 車両周辺監視装置
JP4795813B2 (ja) 車両周囲監視装置
KR20220097656A (ko) 운전자 보조 장치, 차량 및 그 제어 방법
JP2017117357A (ja) 立体物検知装置
US20240078803A1 (en) Information processing apparatus, information processing method, computer program, and sensor apparatus
JP2011077806A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140226