CN102804763B - 车辆周边监视装置 - Google Patents

车辆周边监视装置 Download PDF

Info

Publication number
CN102804763B
CN102804763B CN201180014466.1A CN201180014466A CN102804763B CN 102804763 B CN102804763 B CN 102804763B CN 201180014466 A CN201180014466 A CN 201180014466A CN 102804763 B CN102804763 B CN 102804763B
Authority
CN
China
Prior art keywords
image
cut zone
eye view
view image
viewing area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180014466.1A
Other languages
English (en)
Other versions
CN102804763A (zh
Inventor
三好英彦
长岭升
三浦健次
山本欣司
后藤谦二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to CN201610230747.5A priority Critical patent/CN105774656B/zh
Publication of CN102804763A publication Critical patent/CN102804763A/zh
Application granted granted Critical
Publication of CN102804763B publication Critical patent/CN102804763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

在对显示在监视器上的俯瞰图像的一部分进行放大显示时，能够准确地识别出放大了对哪个区域的装置。在指定了通过将显示在监视器21上的俯瞰图像分割成多个而成的分割区域D1～D4中的某个分割区域的情况下，将被指定的分割区域D1～D4的图像设定为放大对象图像，并将副显示区域21B设定为放大显示区域。放大显示单元形成尺寸为被指定的分割区域D2的尺寸和放大显示区域的尺寸之间的中间尺寸的多个中间图像M，并以被指定的分割区域D2为起点，从小的中间图像M起依次显示这些多个中间图像M。

Description

车辆周边监视装置
技术领域
本发明涉及车辆周边监视装置，详细来说，涉及将摄像头拍摄而得到的拍摄图像显示在监视器上并对显示在该监视器上的拍摄图像进行放大显示的技术。
背景技术
作为如上述那样构成的车辆周边监视装置，在专利文献1中记载有如下的处理方式，即：基于多个摄像头拍摄而得到的拍摄图像来生成车辆周边的俯瞰图像并将其显示在监视器（文献中是显示器）上，并且将该俯瞰图像中的车辆周边区域分割成多个区域，在用户通过触摸面板选择了该多个区域中的某个区域的情况下，将选择的区域的俯瞰图像放大显示在监视器上。
在该专利文献1中，还记载有如下技术，即：在监视器上分别独立地设定用于显示俯瞰图像的区域和用于显示放大图像的区域，能够选择对俯瞰图像进行放大而作为放大图像的模式和对拍摄选择的区域的摄像头拍摄而得到的拍摄图像（摄像头视点的图像）进行放大而作为放大图像的模式。
现有技术文献
专利文献
专利文献1：日本特开2009-239674号公报
发明内容
发明要解决的问题
在放大俯瞰图像的一部分并将其显示在监视器上的方式中，在将放大的图像单纯地显示在监视器上时，难以判别是哪个部位的放大图像。另外，在如专利文献1所述那样在指定比较窄的区域并放大该区域时，有时还会因错误操作而导致放大驾驶人员不希望放大的区域的图像。在进行了这样的错误操作的情况下，不仅需要重新进行适当的操作，而且需要时间注意错误操作，因而存在改善的余地。
本发明的目的在于，合理地构成如下的装置：在对显示在监视器上的俯瞰图像的一部分进行放大显示的情况下，能够准确地识别出放大了哪个区域的装置。
用于解决问题的手段
本发明的车辆周边监视装置的特征在于，该车辆周边监视装置具有：多个摄像头，它们拍摄包含车辆周边的路面的区域，图像处理部，其将所述多个摄像头拍摄而得到的拍摄图像显示在监视器上；所述图像处理部具有：俯瞰图像生成单元，其基于多个所述摄像头拍摄而得到的拍摄图像来生成从上方俯瞰车体周边的俯瞰图像，并将该俯瞰图像显示在所述监视器的俯瞰图像显示区域中，放大显示单元，其在指定了通过分割所述俯瞰图像显示区域而设定的多个分割区域中的某一分割区域的情况下，执行生成尺寸为被指定的所述分割区域的尺寸和放大显示区域的尺寸之间的中间尺寸的多个中间图像，并从尺寸小的中间图像起依次显示所述多个中间图像的处理，并且在执行该处理的初期，设定显示位置关系，以使被指定的所述分割区域被包含在下一个显示的中间图像的显示区域中，而且将被指定的分割区域的图像放大至所述放大显示区域的尺寸来作为放大对象图像。
根据该结构，在指定了分割区域的情况下，将该分割区域的图像显示在放大显示区域中。在进行该放大处理时，执行生成尺寸为分割区域的尺寸和放大显示区域的尺寸之间的中间尺寸的多个中间图像，并从这些多个中间图像中从小的中间图像起依次进行显示的处理。在进行该处理的初期，设定显示位置关系，以使被指定的分割行域被包含在下一个显示的中间图像的显示区域中。通过这样的显示方式，以被指定的分割图像为起点，以连续显示中间图像的推摄方式，将最终的放大图像显示在放大显示区域中。
特别地，作为对分割区域的指定，不仅包括人为的指定，例如还包括在检测出障碍物时通过自动控制的指定。
其结果，在对显示在监视器上的俯瞰图像的一部分进行放大显示的情况下，能够准确地识别出放大了哪个区域。
本发明也可以构成为：所述放大显示单元，将所述俯瞰图像显示区域设定为所述放大显示区域，并且，在除了被指定的分割区域以外的分割区域中显示的俯瞰图像上，重叠放大显示所述中间图像。
这样一来，以在已显示的俯瞰图像上重叠中间图像的位置关系进行显示，因而能够使驾驶人员识别出对已显示的俯瞰图像进行了更新显示。
本发明也可以构成为：显示在多个所述分割区域中的俯瞰图像中的至少一个俯瞰图像，是对基于两个所述摄像头的拍摄图像而生成的俯瞰图像进行合成来生成的，在指定了该分割区域时，将显示在该分割区域中的俯瞰图像设定为放大对象图像。
这样一来，将通过对基于两个摄像头拍摄而得到的拍摄图像生成的俯瞰图像进行合成，将合成生成的俯瞰图像显示在分割区域中，在此状态下，在将该俯瞰图像设定为放大对象图像时，对合成生成的俯瞰图像进行放大。
本发明也可以构成为：在所述监视器的显示面上具有触摸面板，在通过触摸面板检测出接触了多个所述分割区域中的某一分割区域时，所述放大显示单元将检测出接触的分割区域的俯瞰图像设定为所述放大对象图像。
这样一来，在通过触摸面板指定了某个分割区域的情况下，能够实现将显示在被指定的该分割区域中的俯瞰图像作为放大对象图像的放大处理。由于这样被放大的图像是俯瞰图像，因而能够以从上方俯瞰车辆的视点掌握车辆周边的状况。
本发明也可以构成为：在所述监视器的显示面上具有触摸面板，在通过触摸面板检测出接触了多个所述分割区域中的某一分割区域时，所述放大显示单元在该分割区域中显示从对显示在该分割区域中的区域进行拍摄的摄像头获取的拍摄图像，以取代在检测出接触的分割区域中已显示的俯瞰图像，并将这样显示的拍摄图像指定为所述放大对象图像。
这样一来，能够实现如下放大处理：在通过触摸面板指定了某个分割区域的情况下，取代在被指定的该分割区域中己显示的俯瞰图像，将来自拍摄显示在该分割区域中的区域的摄像头的拍摄图像作为放大对象图像进行显示。由于这样被放大的图像是摄像头拍摄而成的拍摄图像，因而能够掌握以摄像头为视点的车辆周边的状况。
本发明也可以构成为：所述放大显示单元，在所述中间图像的外周部上显示使边界明显的边界线。
这样一来，即使在依次显示中间图像时，中间图像和已显示的图像之间的边界也变得明显，从而能够容易地判断是基于哪个分割区域来进行了放大显示。
附图说明
图1是示出了车辆的概要结构的俯视图。
图2是示出了车辆的结构的局部切口立体图。
图3是控制系统的模块回路（电路）图。
图4是车辆周边监视处理的流程图。
图5是连续示出了在副显示区域中放大分割区域的俯瞰图像的处理的图。
图6是连续示出了在副显示区域中放大分割区域的俯瞰图像的处理的图。
图7是连续示出了在主显示区域中放大分割区域的俯瞰图像的处理的图。
图8是连续示出了在监视器的整个画面上放大分割区域的俯瞰图像的处理的图。
具体实施方式
下面，基于附图，对本发明的实施方式进行说明。
在本实施方式中，具有车辆周边监视装置，该车辆周边监视装置，根据利用车辆1所具备的多个摄像头拍摄而得到的拍摄图像，生成从上方俯瞰车辆1周边的方式的俯瞰图像，并将其显示到监视器21上。特别地，该车辆周边监视装置执行控制（下面，称之为放大处理），在检测出车辆附近位置的障碍物X时，将显示在监视器21上的俯瞰图像分割成多个而设定分割区域D1～D4，并进行用于确定包含障碍物X的分割区域D1～D4的强调显示，并且将存在障碍物X的区域的图像放大显示在监视器21上。下面，对这样的控制方式和控制结构进行说明。
[基本结构]
如图1及图2所示，乘用车的车辆1具有左右前车轮2和左右后车轮3。在车辆1的前部位置具有通过铰链（折页）开闭自如的左前部车门4和右前部车门5，并且在车辆1的后部位置具有以滑动式开闭自如的左后部车门6和右后部车门7，而在车辆1的后端具有掀背（hatchback）式的背门（backdoor）8。
在车体1的车室内具有驾驶座13、副驾驶座14及多个后部坐席15。在驾驶座13的前方位置具有方向盘16，在该方向盘16的前部配置有具有仪表类的面板。驾驶座13的（驾驶员）脚下配置有油门踏板17和操作前车轮2及后车轮3的制动装置BK的制动踏板18，并且在驾驶座13的侧部配置有实现变速的变速杆19。
在驾驶座13附近的仪表板的上部位置，具有在显示面上形成有触摸面板21T的监视器21。监视器21是具有背光灯（backlight）的液晶监视器。显然，也可以是等离子显示类或CRT类。另外，触摸面板21T由将手指等的接触位置作为位置数据来输出的压力感应类或静电类指示输入装置构成。在监视器21的外壳21H上还具有扬声器22，但扬声器22也可以设置在车门内侧等其他位置。另外，将监视器21兼做导航系统的显示装置来使用，但为了显示车辆周边监视显示也可以具有专用的监视器。
在左前部车门4上具有左侧后视镜23，在右前部车门5上具有右侧后视镜24。在左侧后视镜23上具有左侧摄像头25，在右侧后视镜24上具有右侧摄像头26。在车辆1的前端具有前部摄像头27，在车辆1的后端具有后部摄像头28。
特别地，左侧摄像头25和右侧摄像头26被设定为拍摄方向朝向下方，在拍摄区域中包含有车辆1的一部分。前部摄像头27和后部摄像头28设定为拍摄方向朝向斜下方，拍摄区域中包含有车辆1的一部分和路面。
作为这些拍摄装置的摄像头是内置CCD（chargecoupleddevice：电荷耦合器件）或CIS（CMOSimagesensor：互补金属氧化物半导体型图像传感器）等拍摄器件的数码摄像头，实时输出拍摄而得到的信息作为动画（视频）信息。这些摄像头通过具有广角镜头而确保了宽广的视角。
监视器21在导航模式控制中显示导航信息，但在将变速杆19操作到倒退（后退、倒车）挡位上时，显示后部摄像头28的拍摄图像。特别地，后部摄像头28拍摄而得到的拍摄图像通过镜面翻转左右而形成左右交换的图像，能够以与通过车室内后视镜来确认后方时的像相同的感觉来以视觉辨认监视器21的显示内容。
在车辆前部具有将方向盘16的旋转操作力传递给前车轮2来进行驱动操向（操舵）的动力转向单元PS。另外，在车辆前部具有发动机E和对从该发动机E输出的动力进行变速并将其传递至前车轮2的由液力变矩器CVT等构成的变速机构T。变速机构T通过变速杆19的操作来切换前进和后退，并且对行驶速度进行变速。
在车辆1上具有用于检测驾驶操作及车辆1的移动状态的各种传感器。若具体说明，则在方向盘16的操作系统中具有对转向操作方向（操舵方向）和操作量（操舵量）进行计测的转向传感器S16。在变速杆19的操作系统中具有判别挡位的挡位传感器S19。在油门踏板17的操作系统中具有对操作量进行计测的油门传感器S17，在所述制动踏板18的操作系统中具有检测操作有无的制动传感器S18。
在后车轮3附近具有根据后车轮3的旋转量来对车辆1的移动量进行计测的光断续器类（photo-interruptertype）或拾波器类（pickuptype）移动距离传感器S3。另外，也可以使用根据变速机构T内部的传动系统的旋转量来获取移动量的移动距离传感器S3。另外，移动距离传感器S3也可以对前车轮2的旋转量进行计测。并且，也可以通过对前部摄像头27或者后部摄像头28拍摄而得到的拍摄图像进行图像处理来检测出车辆1的移动量和转向量。
[控制结构]
在车辆1的中央部配置有ECU（电子控制装置）30以作为本发明的车辆周边监视装置。如图3所示，该ECU30具有由传感器输入接口31和通信接口32构成的接口，并且具有图像输出模块33和语音输出模块34。
在该ECU30中，具有对经由接口取得的信息进行处理的微处理器以及DSP（digitalsignalprocessor微处理器）等处理系统，处理结果从图像输出模块33输出至监视器21，另外，从语音输出模块34将语音信息输出至扬声器22。
在该ECU30中具有实现导航模式控制的导航控制部35、向导航控制部35提供地图信息的地图数据保存部36、实现停车支援模式控制的停车支援控制部37、检测车辆附近的障碍物X的障碍物检测部38（障碍物检测出单元的一个例子）以及实现车辆周边监视处理的图像处理部39。
导航控制部35，在行驶时从GPS单元41获取用经度信息和纬度信息表示的自身车辆位置，并且获取与该自身车辆位置相对应的地图数据并将其显示在监视器21上。然后，将向目的地引导的导航信息显示在监视器21上，并且从扬声器22用语音输出引导信息。地图数据保存部36进行将与自身车辆位置相对应的地图数据提供给导航控制部35的处理。
停车支援控制部37，在通过图像处理部39而在监视器21上显示的图像上，重叠显示用于将车辆1引导至停车位置的预想行进路线图像Y（参照图6的（a）部分）。驾驶人员基于显示在监视器21上的预想行进路线图像Y进行转向操作，由此能够将车辆1容易地导入至停车目标位置上。
图像处理部39，在车辆周边监视处理中，在监视器21上以图5的（a）部分所示的布局来配置主显示区域21A和副显示区域21B（俯瞰图像显示区域的一个例子），并且在主显示区域21A的上部位置显示表示拍摄了该区域的图像的摄像头的摄像头图标21C。
另外，图像处理部39具有：俯瞰图像生成单元39A，其根据前述的多个摄像头拍摄而得到的拍摄图像来生成从上方俯瞰车辆1的方式的俯瞰图像；分割区域管理单元39B，其将显示在监视器21上的俯瞰图像分割成多个分割区域D1～D4进行管理；特定信息输出单元39C，其强调显示多个框状部F1～F4中的与存在障碍物X的分割区域D相对应的框状部F，以作为用于从多个分割区域D1～D4中确定显示有障碍物X的区域；放大模式设定单元39D，其设定放大对象图像和放大显示区域；放大显示单元39E，其将放大对象图像放大到放大显示区域中。如图5的（a）部分示出那样，分割区域D1和分割区域D2分别与车辆前部的左侧和右侧相对应，分割区域D3和分割区域D4分别与车辆后部的左侧和右侧相对应。与此同样地，如图5的（a）部分示出那样，框状部F1～F4也与分割区域D1～D4相对应。另外，将分割区域D1～D4的上位概念表示为分割区域D，将框状部F1～F4的上位概念表示为框状部F。
ECU30由电路构成，也可以在这样的电路中包含接口及输出系统的一部分或全部。另外，ECU30具有构成处理系统的电路，或者具有由存储器或记录器等构成的存储部来作为其他元件，通过数据总线、地址总线、控制总线等进行信息的输入输出。
传感器输入接口31从转向传感器S16、挡位传感器S19、油门传感器S17、制动传感器S18及移动距离传感器S3接收驾驶操作信息以及用于检测移动状态的信息。
通信接口32经由通信线路与动力转向单元PS、变速机构T、制动装置BK、GPS单元41进行通信。并且，该通信接口32从触摸面板21T、左侧摄像头25、右侧摄像头26、前部摄像头27及后部摄像头28获取信息。
图像输出模块33向监视器21输出图像，语音输出模块34向扬声器22输出语音。
[控制方式]
在图4的流程图中示出了车辆周边监视显示处理的处理方式，并且图5～图8中示出了执行该处理时显示在监视器21上的显示内容。
即，在选择了车辆周边监视处理的状态下变速杆19被设定在前进位置上时，如图5的（a）部分示出那样，在主显示区域21A上显示前部摄像头27拍摄而得到的拍摄图像。在该主显示区域21A的上部位置显示表示该拍摄图像是前部摄像头27拍摄而得到的拍摄图像的摄像头图标21C，在副显示区域21B中显示俯瞰图像。与此相反，在变速杆19被设定在后退位置上时，如图6的（a）部分那样，在主显示区域21A显示后部摄像头28拍摄而得到的拍摄图像。在该主显示区域21A的上部位置显示表示该拍摄图像是后部摄像头28拍摄而得到的拍摄图像的摄像头图标21C，并且在副显示区域21B中显示俯瞰图像（#101、#102步骤）。
作为具体的处理方式，在变速杆19被设定在前进位置上时，在主显示区域21A上显示前部摄像头27拍摄而得到的拍摄图像。相对于此，在变速杆19被设定在后退位置上时，获取后部摄像头28拍摄而得到的拍摄图像，并生成对该拍摄图像进行了左右交换的镜面翻转图像，并且将该图像显示在监视器21上。
俯瞰图像生成单元39A获取由左侧摄像头25、右侧摄像头26、前部摄像头27及后部摄像头28拍摄而得到的拍摄图像，并将这些拍摄图像变换为从上方俯瞰的方式的投影图像，再通过将这些投影图像映射绘制（mapping）在包围车辆图像的位置的假想平面上，来生成配置在路面上的单一的俯瞰图像，以作为在副显示区域21B中显示的俯瞰图像。
如通过用虚线表示的分区线L进行分区那样，将这样显示的俯瞰图像分割成四个分割区域D1～D4来进行管理。另外，虽然在图6的（a）部分中没有将分区线L显示在画面上，但也可以设定为将该分区线L显示在画面上的处理方式。
特别地，显示在副显示区域21B上的俯瞰图像是基于四个摄像头拍摄而得到的拍摄图像来生成的，但用分区线L分区的四个分割区域D1～D4上的每个俯瞰图像是通过合成两个摄像头拍摄而得到的拍摄图像来生成的。即，在车辆1的前后位置的角部的外侧位置上形成由两个摄像头拍摄而得到的拍摄图像的重复区域W（参照图1），因而对该重复区域W进行合成处理而使边界部位不醒目。并且，在这样合成的俯瞰图像被设定为放大对象图像时，将该俯瞰图像放大成放大显示区域的尺寸。
另外，在变速杆19被设定在后退位置上时，也能够与停车支援控制一同执行，在这样执行停车支援控制时，如图6的（a）部分所示，在主显示区域21A和副显示区域21B上重叠显示预想行进路线图像Y。
预想行进路线图像Y是表示在以当前的转向量使车辆1后退时车辆1移动的路线的图像，该预想行进路线图像Y是以与显示在监视器21上的拍摄图像相对应的纵深感而在与路面相同的假想平面上生成的。该行进路线预想图像，由与车辆1的宽度相同的宽度的一对车宽线Ya和表示在车辆1后退了设定量时所到达的位置的多个距离线Yb而形成为框状。
前述的障碍物检测部38构成为软件，该软件用于从在左侧摄像头25、右侧摄像头26、前部摄像头27及后部摄像头28的拍摄区域中重复的重复区域W的图像中提取产生视差的立体物来作为障碍物X。能够如下说明这样提取立体物的处理的概要。即，将两个摄像头拍摄而得到的拍摄图像中的重复区域W的图像投影变换在同一背景的假想平面上，使投影变换后的各图像以相同背景一致的位置关系重叠。在这样重叠时不一致的图像为立体物，由此将该立体物推定为障碍物X，并确定障碍物X的位置。
这样的两个摄像头的拍摄区域的重复区域W也是对驾驶人员来说成为死角的区域，因而仅将存在于该区域的障碍物X作为检测对象是合理的。另外，为了放大该障碍物X的检测区域，也可以在车辆上安装四个以上的摄像头。并且，该障碍物检测部38也可以是通过光流法的技术来检测障碍物X的软件。
特别地，也可以将超声波式等的障碍物传感器作为障碍物检测部38安装在车辆1的前端或后端等多个部位上。为了这样检测障碍物X，使用障碍物传感器来构成障碍物检测部38，由此能够检测车辆1全周的障碍物X。
在通过障碍物检测部38检测出障碍物X的情况下，具体来说，在分割区域D1～D4中，在如图5示出那样在分割区域D2中存在障碍物X的情况下，指定分割区域D2（包含所检测出的障碍物X的分割区域D），并强调显示该分割区域D2的外周的框状部F2（在图中用影线示出），与此同时，变更存在障碍物X的分割区域D2的色调，并从扬声器22输出警报音（#103、#104步骤）。此外，也可以不变更D2的色调。此时，也可以仅变更中间图像的色调。
在该处理中，针对由分割区域管理单元39B管理的分割区域D1～D4中的存在障碍物X的分割区域D2，由特定信息输出单元39C对框状部F2提高亮度、提高色度、或将其变更为不同的色彩（色调），由此实现强调显示。也可以与这样的强调显示一起将框状部F2的显示变更为闪烁显示。另外，作为将存在障碍物X的分割区域D2的色调变更为不同的色调的处理，例如可考虑对分割区域D2的图像的各像素的三原色中的B（蓝）的成分提高亮度或降低亮度的这样的处理。并且，从扬声器22输出的警报音不仅可以采用电子音，还可以是人的语言的消息。
接着，在检测出驾驶人员的手指等接触副显示区域21B的接触操作的情况下，进行如下处理：将该接触操作作为契机，将已指定的分割区域D2的图像（俯瞰图像或摄像头拍摄而得到的拍摄图像）作为放大对象图像，并将放大对象图像放大到放大显示区域中（#105、#106步骤）。
在该处理中，按照由放大模式设定单元39D设定的放大模式，由放大显示单元39E进行放大处理。在该放大模式中，设定放大对象图像和放大显示区域。将在存在障碍物X的分割区域D2中显示的俯瞰图像和正在拍摄该障碍物X的摄像头的拍摄图像（成为摄像头视点的图像）中的任意一个图像，设定为放大对象图像。另外，设定以下模式中的任意一个模式，这些模式是：将副显示区域21B设定为放大显示区域的通常放大模式、将主显示区域21A设定为放大显示区域的其他画面放大模式、将监视器21的整个画面设定为放大显示区域的整个画面放大模式。
作为设定该放大模式的方法，通过将模式设定画面显示在监视器21上，通过人为操作来预先设定放大模式。
[控制方式：通常放大模式]
放大显示单元39E，在通常放大模式中进行放大处理时，设定放大对象图像（图中是分割区域D的俯瞰图像），并设定图5及图6所示的副显示区域21B作为放大显示区域，并且在分割区域D2/D3（图5中表示D2、图6中表示D3）和放大显示区域（副显示区域21B）之间设定放大显示轨迹（未图示）。
接着，如图5的（b）部分及图6的（b）部分所示，通过放大分割区域D2/D3的图像（俯瞰图像），来生成尺寸比该分割区域D2/D3尺寸稍微大的尺寸的中间图像M，并在整体覆盖作为显示起点的分割区域D2/D3（因存在障碍物X而被指定的分割区域D）的位置上，在副显示区域21B的俯瞰图像上重叠显示该中间图像M。在刚刚进行了该处理之后，如图5的（c）部分及图6的（c）部分如所示，通过进一步放大分割区域D2/D3的图像（俯瞰图像），来生成更大尺寸的中间图像M，并在沿放大显示轨迹的位置上显示该中间图像M。此时，删除之前显示的中间图像M而显示下一个中间图像M，在该通常放大模式中，以整体覆盖之前显示的中间图像M的位置关系，在副显示区域21B的俯瞰图像上重叠显示下一个中间图像M。
这样一边使中间图像M的尺寸沿着放大显示轨迹渐渐移动，一边显示尺寸依次变大的中间图像M。例如在0.5秒或1秒左右的时间内执行该放大显示，并最终如图5的（d）部分及图6的（d）部分所示，将放大分割区域D2/D3的图像（俯瞰图像）而成的放大图像显示在整个副显示区域21B的区域内。然后，通过在该放大图像的角上显示区域图标21D来结束放大处理。特别地，将区域图标21D设定为表示摄像头的拍摄区域的形状，并且，将其尺寸设定为不会使其重叠在路面上（重叠在车辆图像上的尺寸），能够根据该区域图标21D来识别出放大对象图像的原来的位置。
[控制方式：其他画面放大模式]
放大显示单元39E，在其他画面放大模式中进行放大处理时，设定放大对象图像（在图7中是分割区域D3的俯瞰图像），将主显示区域21A设定为放大显示区域，并且在分割区域D3和放大显示区域（主显示区域21A）之间设定放大显示轨迹（未图示）。在该控制方式中也变更存在障碍物X的分割区域D3的色调，并强调显示其外周的框状部F3（在图中用影线示出）。
接着，如图7的（a）部分所示，通过放大分割区域D3的图像（俯瞰图像），来生成尺寸比该分割区域D3的尺寸稍微大的中间图像M，并在覆盖作为显示起点的分割区域D3（因存在障碍物X而被指定的分割区域D）的大部分区域的位置上，重叠显示该中间图像M。在刚刚进行了该处理之后，如图7的（b）部分所示，通过进一步放大分割区域D3的图像（俯瞰图像），来形成更大尺寸的中间图像M，并在沿放大显示轨迹的位置上显示该中间图像M。
这样一边使中间图像M的尺寸沿着放大显示轨迹渐渐移动，一边显示尺寸依次变大的中间图像M。例如在0.5秒或1秒左右的时间内执行该放大显示，并最终如图7的（c）部分所示，将放大分割区域D3的图像（俯瞰图像）而成的放大图像显示在整个主显示区域21A的区域内。然后，通过在该放大图像的角上显示区域图标21D来结束放大处理。特别地，区域图标21D具有表示摄像头的拍摄区域的形状，能够根据该区域图标21D来识别出放大对象图像的原来的位置。
在该其他画面放大模式中，由于放大显示区域（主显示区域21A）和分割区域D3之间的高宽比不同，因而将分割区域D3的俯瞰图像放大显示在整个主显示区域21A的区域内的放大图像会发生变形。另外，也可以保留显示障碍物X的区域的同时，切除放大图像的上下方向上的端部，以此方式进行显示。
[控制方式：全面放大模式]
放大显示单元39E，在整个画面放大模式中进行放大处理时，设定放大对象图像（在图8中是分割区域D3的俯瞰图像），将监视器21的显示区域设定为放大显示区域，并且在分割区域D3和放大显示区域（监视器21的显示区域）之间设定放大显示轨迹（未图示）。在该控制方式中也变更存在障碍物X的分割区域D3的色调，并强调显示其外周的框状部F3（在图中用影线示出）。
接着，如图8的（a）部分所示，通过放大分割区域D3的图像（俯瞰图像），来生成尺寸比该分割区域D3的尺寸稍微大的中间图像M，并在覆盖作为显示起点的分割区域D3（因存在障碍物X而被指定的分割区域D）的大部分区域的位置上，重叠显示该中间图像M。在刚刚进行了该处理之后，如图8的（b）部分所示，通过进一步放大分割区域D3的图像（俯瞰图像），来形成更大尺寸的中间图像M，并在沿放大显示轨迹的位置上显示该中间图像M。
这样一边使中间图像M的尺寸沿着放大显示轨迹渐渐移动，一边显示尺寸依次变大的中间图像M。例如在0.5秒或1秒左右的时间内执行该放大显示，并最终如图8的（c）部分所示，将放大分割区域D3的图像（俯瞰图像）而成的放大图像显示在整个监视器21的显示区域内。然后，通过在该放大图像的角上显示区域图标21D来结束放大处理。特别地，区域图标21D具有表示摄像头的拍摄区域的形状，能够根据该区域图标21D来识别出放大对象图像的原来的位置。
在该整个画面放大模式中，也由于放大显示区域（监视器21的显示区域）和分割区域D3之间的高宽比不同，因而将分割区域D3的俯瞰图像放大显示在整个监视器21的显示区域内的放大图像会发生变形。另外，也可以保留显示障碍物X的区域的同时，切除放大图像的上下方向上的端部，以此方式进行显示。
无论以何种放大模式进行放大处理，都通过以分割区域D的位置作为起点而使中间图像M的显示位置沿放大显示轨迹移动的方式（在图5及图6的通常放大模式中，中间图像M的角的位置不移动）进行放大，从而使被放大的原图像的位置（存在障碍物X的分割区域D的位置）明显（清楚）的同时以推摄（zoomup）方式实现放大。并且，通过在放大图像的角上显示区域图标21D，或者根据区域图标21D的显示位置，也能够识别出放大图像是哪个区域的图像。
另外，无论以何种放大模式进行放大处理，都通过进行针对动画层（animationlayer）来形成中间图像M的处理来实现重叠显示，因而在重叠显示的状态下，无论是在俯瞰图像中还是在拍摄图像中，均能够实时显示车辆1和障碍物X之间的位置关系的变化。另外，如下面的说明那样在删除放大图像而返回原来的显示的情况下，只要删除动画层的图像即可。
接着，在检测出驾驶人员的手指等接触监视器21的任何区域的接触操作的情况下，或者，在障碍物检测部38处于未检测出障碍物X的状态的情况下，通过删除放大图像，并转移至#101步骤的处理，来控制返回至在监视器21的主显示区域21A上显示拍摄图像并在副显示区域21B中显示俯瞰图像（#107～#109步骤）。
然后，继续进行该车辆周边监视显示处理，直至进行了中止该控制的选择为止（#110步骤）。
这样在本发明中，在要将车辆1导入至停车位置的情况，或者，在存在围栏或停车状态的车辆等障碍物X的路面上移动车辆1的情况下，在监视器21的主显示区域21A中显示摄像头的拍摄图像，并在监视器21的副显示区域21B中显示俯瞰图像。由此，即使障碍物X处于驾驶人员的死角的位置上，也能够确认车辆1和车辆的附近的障碍物X之间的位置关系。
另外，在接近障碍物X的情况下，通过进行强调显示，即，提高俯瞰图像的分割区域D1～D4中存在障碍物X的分割区域D的外周的框状部F1～F4中的所对应的框状部F的亮度，并与该显示处理同时进行变更存在障碍物X的分割区域D的色调的显示，从扬声器22输出警报音，由此能够掌握存在障碍物X的区域。
这样在能够掌握障碍物X的存在位置的状态下，通过将手指等接触到副显示区域21B上，将分割区域D1～D4中的存在障碍物X的分割区域D放大显示在放大显示区域中，由此能够通过放大图像来确认障碍物X和车辆1之间的位置关系。
特别地，在将多个分割区域D1～D4中的某个图像放大显示在放大显示区域中时，以存在障碍物X的分割区域D为起点，以使不同尺寸的多个中间图像M从小尺寸向大尺寸过渡的方式沿着放大显示轨迹依次移动，以此方式进行显示。通过这样进行放大，来在使被放大的原图像的位置（存在障碍物X的分割区域D的位置）明显（清楚）的同时以推摄的方式进行放大。
并且，放大显示存在障碍物X的区域的俯瞰图像或者拍摄了障碍物X的摄像头的拍摄图像，其结果，能够根据放大的图像来掌握障碍物X和车辆1之间的位置关系，从而能够以避免与障碍物X接触的方式实现车辆1的移动。
[其他实施方式]
本发明除了上述实施方式以外，也可以如下构成。
（a）放大显示单元39E在形成中间图像M时，为了使该中间图像M和已显示的图像之间的边界明显，显示高亮度的边界线。在这样显示边界线时，也可以设定通过获取背景图像的色彩（色调）并相对于该色彩（色调）设定互补色等不同的色彩（色调）的处理方式。这样通过在中间图像M上显示边界线来形成中间图像M的轮廓，由此实现使被放大的原图像的位置（存在障碍物X的分割区域D的位置）更加明显（清楚）的同时以推摄的方式进行放大。
（b）在将俯瞰图像分割成多个分割区域D来进行管理时，也可以如分割成两个或六个那样分割成四个以外的个数来进行管理。特别地，也可以构成为能够由用户任意设定该分割个数。另外，在分割成多的个数的情况下，能够识别出障碍物X接近车辆1周边的局部区域，并且能够放大显示该部位。
（c）也可以设定如下的控制方式：在检测出障碍物X的状况下，无论通过触摸面板21T来接触副显示区域21B的显示区域的任意一个部位，都放大显示检测出障碍物X的分割区域D的图像（俯瞰图像或摄像头拍摄而得到的拍摄图像）；而在未检测出障碍物X的状况下，放大显示通过触摸面板21T来选择的分割区域D的图像（俯瞰图像或摄像头拍摄而得到的拍摄图像）。另外，也可以在监视器21上显示与分割区域D的个数相对应的专用的放大按钮，还可以在监视器21上显示用于结束放大显示的专用的按钮。
（d）在通过放大模式设定单元39D的放大处理来设定放大对象图像时，如在前述的（c）中说明那样在通过人为操作指定了前部的分割区域D的情况，或，在前部位置上检测出障碍物X的情况下，将俯瞰图像设定为放大对象图像。与此相反，如在前述的（c）中说明说明那样在通过人为操作指定了后部的分割区域D的情况，或，在后部位置上检测出障碍物X的情况下，将摄像头拍摄而得到的拍摄图像设定为放大对象图像。
即，驾驶人员也能够通过摆出探出身子的姿势来视觉辨认车辆1的前端侧的区域，针对能够这样视觉辨认的区域，通过将俯瞰图像设定为放大对象图像，显示从与驾驶人员通过眼睛看到的区域的方向不同的方向观察到的图像更为有效。另外，驾驶人员大多看不到车辆1的后端侧的区域，从而以直接观察摄像头拍摄而得到的拍摄图像的感觉接近的图像的拍摄图像设定为放大对象图像更为有效。
（e）在前述的其他实施方式（d）中，在将摄像头拍摄而得到的拍摄图像设定为放大对象图像的情况下，在判断为方向盘16的操作方向是以车辆1的行进方向是向拍摄区域（障碍物X）接近的方向的情况下，将侧部摄像头（左侧摄像头25或右侧摄像头26）的拍摄图像设定为显示对象图像。在判断为车辆1的行进方向是从拍摄区域（障碍物X）离开的方向的情况下，将车辆1端部的摄像头（前部摄像头27或后部摄像头28）拍摄而得到的拍摄图像设定为显示对象。
这样通过基于转向方向来选择获取拍摄图像的摄像头，即使在将车辆1向接近障碍物X等的方向稍微移动的情况下，也能够通过侧部摄像头（左侧摄像头25或右侧摄像头26）的拍摄图像，容易地掌握障碍物X等和车辆1之间的相对位置关系的变化。另外，在车辆1向从障碍物X等离开的方向移动的情况下，能够通过车辆1端部的摄像头拍的拍摄图像，在监视器21上显示车辆1的行进方向的宽广的区域而确认行进方向。
（f）另外，检测“接触了俯瞰图像显示区域（副显示区域）”的处理，可以通过检测从未接触触摸面板21T（俯瞰图像区域）的状态向接触的接触状态的状态变化来进行，也可以通过检测从手指等接触触摸面板21T（俯瞰图像区域）的状态到手指等离开的状态的状态变化来进行。
产业上的可利用性
本发明能够用于具有如下的图像处理系统的所有的车辆上，其中，该图像处理系统是根据车辆所具备的多个摄像头拍摄而得到的拍摄图像来生成俯瞰图像并将其显示在监视器上的图像处理系统。
附图标记的说明
1车辆
21监视器
21B俯瞰图像显示区域（副显示区域）
21T触摸面板
25摄像头（左侧摄像头）
26摄像头（右侧摄像头）
27摄像头（前部摄像头）
28摄像头（后部摄像头）
39图像处理部
39A俯瞰图像生成单元
39E放大显示单元
D分割区域
M中间图像

Claims (8)

1.一种车辆周边监视装置，其特征在于，
具有：
多个摄像头，它们拍摄包含车辆周边的路面的区域，
图像处理部，其将多个所述摄像头拍摄而得到的拍摄图像显示在监视器上；
所述图像处理部具有：
俯瞰图像生成单元，其基于多个所述摄像头拍摄而得到的拍摄图像来生成从上方俯瞰车体周边的俯瞰图像，并将该俯瞰图像显示在所述监视器的俯瞰图像显示区域中，
放大显示单元，其在指定了通过分割所述俯瞰图像显示区域而设定的多个分割区域中的某一分割区域的情况下，执行生成尺寸为被指定的所述分割区域的尺寸和放大显示区域的尺寸之间的中间尺寸的多个中间图像，并从尺寸小的中间图像起依次显示所述多个中间图像的处理，将被指定的分割区域的图像作为放大对象图像而放大至所述放大显示区域的尺寸；
在所述中间图像被放大至所述放大显示区域的尺寸而生成了放大图像时，在该放大图像的一部分显示区域图标，该区域图标用于示出所述放大对象图像的原来的位置；
所述图像处理部，对所述监视器配置主显示区域和俯瞰图像显示区域，通过人为操作将所述主显示区域和所述俯瞰图像显示区域中的一个区域设定为所述放大显示区域，在所述放大显示区域中将所述放大对象图像放大至所述放大显示区域的尺寸来进行显示，其中，所述主显示区域用于显示由所述多个摄像头中的某些摄像头拍摄而得的拍摄图像，所述俯瞰图像显示区域用于显示所述俯瞰图像；
强调显示设在所述放大对象图像外周的框状部；
用户能够设定分割所述俯瞰图像显示区域的个数；
在所述放大显示单元依次显示所述多个中间图像的处理的初期，这样设定显示位置关系：在所述俯瞰图像显示区域被设定为所述放大显示区域的情况下，使被指定的所述分割区域被包含在下一个显示的中间图像的显示区域中，在所述主显示区域被设定为所述放大显示区域的情况下，使被指定的所述分割区域的一部分被包含在下一个显示的中间图像的显示区域中。
2.如权利要求1所述的车辆周边监视装置，其特征在于，
所述放大显示单元，将所述俯瞰图像显示区域设定为所述放大显示区域，并且，在除了被指定的分割区域以外的分割区域中显示的俯瞰图像上，重叠放大显示所述中间图像。
3.如权利要求1或2所述的车辆周边监视装置，其特征在于，
显示在多个所述分割区域中的俯瞰图像中的至少一个俯瞰图像，是对基于两个所述摄像头的拍摄图像而生成的俯瞰图像进行合成来生成的，在指定了该分割区域时，将显示在该分割区域中的俯瞰图像设定为放大对象图像。
4.如权利要求1或2所述的车辆周边监视装置，其特征在于，
在所述监视器的显示面上具有触摸面板，在通过触摸面板检测出接触了多个所述分割区域中的某一分割区域时，所述放大显示单元将检测出接触的分割区域的俯瞰图像设定为所述放大对象图像。
5.如权利要求1或2所述的车辆周边监视装置，其特征在于，
在所述监视器的显示面上具有触摸面板，在通过触摸面板检测出接触了多个所述分割区域中的某一分割区域时，所述放大显示单元在该分割区域中显示从对显示在该分割区域中的区域进行拍摄的摄像头获取的拍摄图像，以取代在检测出接触的分割区域中已显示的俯瞰图像，并将这样显示的拍摄图像指定为所述放大对象图像。
6.如权利要求1或2所述的车辆周边监视装置，其特征在于，
所述放大显示单元，在所述中间图像的外周部显示使边界明显的边界线。
7.如权利要求3所述的车辆周边监视装置，其特征在于，
所述放大显示单元，在所述中间图像的外周部显示使边界明显的边界线。
8.如权利要求4所述的车辆周边监视装置，其特征在于，
所述放大显示单元，在所述中间图像的外周部显示使边界明显的边界线。
CN201180014466.1A 2010-03-26 2011-02-02 车辆周边监视装置 Active CN102804763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610230747.5A CN105774656B (zh) 2010-03-26 2011-02-02 车辆周边监视装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-072326 2010-03-26
JP2010072326A JP5696872B2 (ja) 2010-03-26 2010-03-26 車両周辺監視装置
PCT/JP2011/052136 WO2011118261A1 (ja) 2010-03-26 2011-02-02 車両周辺監視装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610230747.5A Division CN105774656B (zh) 2010-03-26 2011-02-02 车辆周边监视装置

Publications (2)

Publication Number Publication Date
CN102804763A CN102804763A (zh) 2012-11-28
CN102804763B true CN102804763B (zh) 2016-05-04

Family

ID=44672835

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610230747.5A Active CN105774656B (zh) 2010-03-26 2011-02-02 车辆周边监视装置
CN201180014466.1A Active CN102804763B (zh) 2010-03-26 2011-02-02 车辆周边监视装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610230747.5A Active CN105774656B (zh) 2010-03-26 2011-02-02 车辆周边监视装置

Country Status (6)

Country Link
US (3) US9308863B2 (zh)
EP (1) EP2555520A4 (zh)
JP (1) JP5696872B2 (zh)
KR (1) KR101446898B1 (zh)
CN (2) CN105774656B (zh)
WO (1) WO2011118261A1 (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP5813944B2 (ja) * 2010-12-06 2015-11-17 富士通テン株式会社 画像表示システム、画像処理装置及び画像表示方法
JP5765995B2 (ja) * 2011-03-31 2015-08-19 富士通テン株式会社 画像表示システム
JP2012244600A (ja) * 2011-05-24 2012-12-10 Fujitsu Ten Ltd 画像表示システム、画像処理装置、及び、画像表示方法
CN103987582B (zh) * 2011-12-15 2017-02-22 松下知识产权经营株式会社 驾驶辅助装置
JP5765575B2 (ja) * 2011-12-22 2015-08-19 アイシン精機株式会社 撮影領域明示装置
WO2013094345A1 (ja) * 2011-12-22 2013-06-27 アイシン精機株式会社 撮影領域明示装置
JP5825091B2 (ja) * 2011-12-22 2015-12-02 アイシン精機株式会社 撮影領域明示装置
JP6077210B2 (ja) * 2011-12-22 2017-02-08 トヨタ自動車株式会社 車両用後方監視装置
JP5996879B2 (ja) * 2012-02-16 2016-09-21 日立建機株式会社 作業機械の周囲監視装置
JP6014664B2 (ja) * 2012-06-08 2016-10-25 日立建機株式会社 自走式産業機械の表示装置
JP5986206B2 (ja) * 2012-07-27 2016-09-06 京セラ株式会社 画像処理装置、撮像装置、移動体、プログラム、および領域設定方法
TWI517992B (zh) * 2012-11-13 2016-01-21 義晶科技股份有限公司 車用影像系統及其影像之顯示控制方法
TWI535587B (zh) 2012-11-14 2016-06-01 義晶科技股份有限公司 利用觸控面板來控制車用影像之顯示的方法及其車用影像系統
JP6022930B2 (ja) 2012-12-25 2016-11-09 京セラ株式会社 カメラシステム、カメラモジュールおよびカメラ制御方法
US20140211009A1 (en) * 2013-01-25 2014-07-31 Magna Electronics Inc. Lens assembly for vehicle vision system camera
KR101491324B1 (ko) * 2013-10-08 2015-02-06 현대자동차주식회사 차량용 영상 획득 장치
DE102013224954A1 (de) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Warnung mittels zweier durch Kameras erfasster Bilder einer Fahrzeugumgebung
US10431105B2 (en) 2014-01-07 2019-10-01 Honeywell International Inc. Enhanced awareness of obstacle proximity
US10963133B2 (en) * 2014-01-07 2021-03-30 Honeywell International Inc. Enhanced awareness of obstacle proximity
US10419703B2 (en) * 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
KR20160032451A (ko) * 2014-09-16 2016-03-24 현대자동차주식회사 차량, 차량용 표시 장치 및 차량용 표시 장치의 제어 방법
EP3040829A1 (de) * 2015-01-02 2016-07-06 Volkswagen AG Anwenderschnittstelle und Verfahren zum Betrieb einer Anwenderschnittstelle für ein Fortbewegungsmittel
KR101643557B1 (ko) * 2015-01-02 2016-07-29 현대자동차주식회사 차량 및 차량의 제어방법
US10247941B2 (en) * 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
US20160314559A1 (en) * 2015-04-24 2016-10-27 Kabushiki Kaisha Toshiba Electronic apparatus and method
WO2017081717A1 (ja) * 2015-11-09 2017-05-18 三菱電機株式会社 画像生成システム及び画像生成方法
CN105447850B (zh) * 2015-11-12 2018-02-09 浙江大学 一种基于多视点图像的全景图拼接合成方法
CN108026714A (zh) * 2015-11-30 2018-05-11 住友重机械工业株式会社 施工机械用周边监视系统
KR20170080797A (ko) * 2015-12-30 2017-07-11 삼성디스플레이 주식회사 차량용 디스플레이 시스템
CN105667398B (zh) * 2016-01-04 2018-10-23 京东方科技集团股份有限公司 汽车后视镜的图像显示方法及系统
JP6609513B2 (ja) * 2016-05-19 2019-11-20 株式会社東海理化電機製作所 車両用視認装置
JP6642306B2 (ja) 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
US20180165838A1 (en) * 2016-07-29 2018-06-14 Faraday&Future Inc. System and method for generating a semantically meaningful two-dimensional image from three-dimensional data
JP6551336B2 (ja) * 2016-08-12 2019-07-31 株式会社デンソー 周辺監査装置
EP3293717B1 (en) 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
KR20180037414A (ko) 2016-10-04 2018-04-12 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
JP6185135B2 (ja) * 2016-10-06 2017-08-23 京セラ株式会社 統合画像処理システム
JP6639379B2 (ja) 2016-12-21 2020-02-05 トヨタ自動車株式会社 車両周辺監視装置
JP6730614B2 (ja) * 2017-02-28 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置
CN107483882A (zh) * 2017-07-07 2017-12-15 上海斐讯数据通信技术有限公司 一种多窗口显示系统及方法
JP7005269B2 (ja) 2017-10-18 2022-01-21 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
JP7201315B2 (ja) * 2017-11-08 2023-01-10 トヨタ自動車株式会社 電子ミラー装置
CN111279689B (zh) * 2017-11-10 2021-06-04 本田技研工业株式会社 显示系统、显示方法及存储介质
KR102441079B1 (ko) * 2017-11-30 2022-09-06 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
CN208745890U (zh) * 2018-07-19 2019-04-16 汪玉华 太阳能无线倒车可视系统
CN110858890A (zh) * 2018-08-23 2020-03-03 华为技术有限公司 视频监控多画面显示的方法、装置及系统
JP2020042370A (ja) * 2018-09-06 2020-03-19 アイシン精機株式会社 表示制御装置
JP7119798B2 (ja) * 2018-09-07 2022-08-17 株式会社アイシン 表示制御装置
US11138449B2 (en) * 2018-09-28 2021-10-05 Intel Corporation Obstacle representation display
KR20200040135A (ko) * 2018-10-08 2020-04-17 주식회사 만도 초음파 센서를 이용한 후측방 사각 지대의 차량 위치 추적 방법 및 시스템
CN109743539B (zh) * 2018-12-07 2020-05-29 吉林大学 一种视野可调节的全景行车辅助装置及其调节方法
CN109774603A (zh) * 2019-02-28 2019-05-21 上海豫兴电子科技有限公司 一种车载摄像头角度辅助标定方法和装置
JP2020170341A (ja) * 2019-04-03 2020-10-15 パイオニア株式会社 表示制御装置、表示制御方法及びプログラム
CN110466430A (zh) * 2019-07-02 2019-11-19 安徽森力汽车电子有限公司 一种半挂车环视盲区显示方法
JP7443705B2 (ja) * 2019-09-12 2024-03-06 株式会社アイシン 周辺監視装置
JP6774612B2 (ja) * 2019-10-18 2020-10-28 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
KR102367959B1 (ko) * 2020-06-02 2022-03-03 주식회사 만도모빌리티솔루션즈 운전 보조 표시 장치, 그를 가지는 차량 및 그 제어 방법
JP2024038699A (ja) * 2022-09-08 2024-03-21 パナソニックＩｐマネジメント株式会社 車両用情報提供システム、車両用情報提供方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082502A (zh) * 2006-05-29 2007-12-05 爱信艾达株式会社 驻车辅助方法及驻车辅助装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US6690268B2 (en) * 2000-03-02 2004-02-10 Donnelly Corporation Video mirror systems incorporating an accessory module
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
JP2002019556A (ja) * 2000-07-04 2002-01-23 Matsushita Electric Ind Co Ltd 監視システム
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
US20040219980A1 (en) * 2003-04-30 2004-11-04 Nintendo Co., Ltd. Method and apparatus for dynamically controlling camera parameters based on game play events
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
JP2005191962A (ja) * 2003-12-25 2005-07-14 Sharp Corp 移動体周囲監視装置および移動体
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4573242B2 (ja) 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
EP1696669B1 (en) 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP4687160B2 (ja) 2005-03-14 2011-05-25 アイシン精機株式会社 周辺監視装置
JP2006273190A (ja) 2005-03-30 2006-10-12 Alpine Electronics Inc 車載用ナビゲーション装置
JP2006341641A (ja) 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4807104B2 (ja) * 2006-03-01 2011-11-02 日産自動車株式会社 車両周囲監視システム及び画像表示方法
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP4661658B2 (ja) * 2006-03-30 2011-03-30 アイシン・エィ・ダブリュ株式会社 運転支援方法、運転支援装置及び運転支援プログラム
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
JP5309442B2 (ja) 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4899826B2 (ja) * 2006-11-28 2012-03-21 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
EP2110797B1 (en) * 2006-12-05 2015-10-07 Fujitsu Limited Traffic situation display method, traffic situation display system, vehicle-mounted device, and computer program
JP2008254710A (ja) * 2007-04-09 2008-10-23 Fujitsu Ten Ltd 障害物検知装置
JP2008301091A (ja) 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 車両用周辺監視装置
JP4973564B2 (ja) * 2008-03-27 2012-07-11 三菱自動車工業株式会社 車両周辺表示装置
JP5397373B2 (ja) * 2008-05-29 2014-01-22 富士通株式会社 車両用画像処理装置、車両用画像処理方法
US8289189B2 (en) * 2009-05-11 2012-10-16 Robert Bosch Gmbh Camera system for use in vehicle parking
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP5113220B2 (ja) * 2010-06-28 2013-01-09 本田技研工業株式会社 車両用画像表示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082502A (zh) * 2006-05-29 2007-12-05 爱信艾达株式会社 驻车辅助方法及驻车辅助装置

Also Published As

Publication number Publication date
US9308863B2 (en) 2016-04-12
CN102804763A (zh) 2012-11-28
CN105774656A (zh) 2016-07-20
KR101446898B1 (ko) 2014-10-22
WO2011118261A1 (ja) 2011-09-29
CN105774656B (zh) 2018-05-22
EP2555520A1 (en) 2013-02-06
US20180178725A1 (en) 2018-06-28
US9919650B2 (en) 2018-03-20
KR20120118073A (ko) 2012-10-25
EP2555520A4 (en) 2017-12-13
JP2011205514A (ja) 2011-10-13
US10479275B2 (en) 2019-11-19
US20160176349A1 (en) 2016-06-23
US20130010117A1 (en) 2013-01-10
JP5696872B2 (ja) 2015-04-08

Similar Documents

Publication Publication Date Title
CN102804763B (zh) 车辆周边监视装置
CN102812704B (zh) 车辆周边监视装置
JP6381826B2 (ja) 車両情報表示制御装置
JP6014442B2 (ja) 画像生成装置、画像表示システム、および、画像生成方法
JP5035643B2 (ja) 画像表示装置
JP6148887B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
US8854466B2 (en) Rearward view assistance apparatus displaying cropped vehicle rearward image
JP5825323B2 (ja) 車両周辺監視装置
DE112010005944T5 (de) Stereoskopische Dreidimensionen-Anzeigevorichtung
JP2022095303A (ja) 周辺画像表示装置、表示制御方法
JP2011255812A (ja) 駐車支援装置
US11973922B2 (en) Vehicular travel-environment display apparatus
JP6781035B2 (ja) 撮像装置、画像処理装置、表示システム、および車両
US11938863B2 (en) Peripheral image generation device and display control method
JP6027782B2 (ja) 車両用映像表示装置
CN115755405A (zh) 用于基于增强现实技术辅助驾驶的方法和设备
TWM521172U (zh) 行車導航裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant