CN111066319A - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN111066319A
CN111066319A CN201880055229.1A CN201880055229A CN111066319A CN 111066319 A CN111066319 A CN 111066319A CN 201880055229 A CN201880055229 A CN 201880055229A CN 111066319 A CN111066319 A CN 111066319A
Authority
CN
China
Prior art keywords
vehicle
projection
area
target parking
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880055229.1A
Other languages
English (en)
Other versions
CN111066319B (zh
Inventor
山本欣司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN111066319A publication Critical patent/CN111066319A/zh
Application granted granted Critical
Publication of CN111066319B publication Critical patent/CN111066319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/08—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Abstract

实施方式的图像处理装置，作为一个示例，具备：获取部，其获取由车辆搭载的拍摄部对车辆的周围进行拍摄而得到的拍摄图像；生成部，其对立体投影面投影拍摄图像，并且生成从虚拟视点观察立体投影面所得的合成图像，其中立体投影面包含车辆、以及向该车辆上方竖起的第一投影区域；显示控制部，其使显示部显示合成图像；决定部，其决定立体投影面中车辆停车的目标停车区域；以及变更部，其将第一投影区域中的、从车辆的位置到目标停车区域的车辆的移动路径和目标停车区域的至少一部分，变更为相对于车辆为水平的第二投影区域。

Description

图像处理装置
技术领域
本发明的实施方式涉及一种图像处理装置。
背景技术
正在开发一种显示合成图像的技术，其中该合成图像是将拍摄车辆周围所得的拍摄图像投影在立体的投影面上，并从虚拟视点观察投影有拍摄图像的立体的投影面所得到的。
专利文献1：日本特许第5292874号公报
专利文献2：日本特许第3300334号公报
发明内容
然而，当立体的投影面中包含车辆的平坦的投影面较窄时，车辆周围存在的停车区域没有被投影在平坦的投影面上，从而使能确定停车区域的停车框失真。另一方面，当该平坦的投影面过宽时，由于远离车辆的位置处的障碍物被投影在平坦的投影面上，所以该障碍物会失真，从而显示出感觉不自然的合成图像。
实施方式的图像处理装置中，作为一个示例，具备：获取部，其获取由车辆搭载的拍摄部对所述车辆的周围进行拍摄而得到的拍摄图像；生成部，其对立体投影面投影所述拍摄图像，并且生成从虚拟视点观察所述立体投影面所得的合成图像，其中所述立体投影面包含所述车辆、以及向该车辆上方竖起的第一投影区域；显示控制部，其使显示部显示所述合成图像；决定部，其决定所述立体投影面中所述车辆停车的目标停车区域；以及变更部，其将所述第一投影区域中的、从所述车辆的位置到所述目标停车区域的所述车辆的移动路径和所述目标停车区域的至少一部分，变更为相对于所述车辆为水平的第二投影区域。因此，作为一个示例，本实施方式的图像处理装置能够显示使车辆的目标停车区域看上去自然的合成图像。
此外，实施方式的图像处理装置中，作为一个示例，第一投影区域位于第二投影区域的周围，第二投影区域包含车辆，变更部使第二投影区域整体增大，以使从车辆的位置观察时目标停车区域的后侧端部包含在第二投影区域中。因此，作为一个示例，本实施方式的图像处理装置能够显示使车辆的目标停车区域看上去自然的合成图像。
此外，实施方式的图像处理装置中，作为一个示例，变更部使第二投影区域局部增大，以使第一投影区域中的、目标停车区域和移动路径的仅至少一部分包含在第二投影区域中。因此，作为一个示例，本实施方式的图像处理装置能够显示使车辆的目标停车以及目标停车周围的障碍物看上去自然的合成图像。
此外，实施方式的图像处理装置中，作为一个示例，第一投影区域位于第二投影区域的周围，第二投影区域包含车辆，当目标停车区域的周围不存在障碍物时，变更部使第二投影区域整体增大，以使从车辆的位置观察时目标停车区域的后侧端部包含在第二投影区域中，当目标停车区域的周围存在障碍物时，变更部使第二投影区域局部增大，以使第一投影区域中的、目标停车区域和移动路径的仅一部分包含在第二投影区域中。因此，作为一个示例，即使车辆的目标停车位置周围的环境改变，本实施方式的图像处理装置也能够显示使目标停车区域以及该目标停车区域周围看上去自然的合成图像。
此外，实施方式的图像处理装置中，作为一个示例，还具备：存储部，其存储使立体投影面的坐标与投影于该坐标的拍摄图像的纹理坐标对应关联的第一映射图、以及使仅由相对于车辆为水平的投影面构成的平面投影面的坐标与投影于该坐标的纹理坐标对应关联的第二映射图；以及发送部，当目标停车区域决定了时，该发送部用使平面投影面中移动路径的坐标与投影于该坐标的拍摄图像的纹理坐标对应关联的第二映射图，重写第一映射图之中使第二投影区域中的移动路径的坐标与投影于该坐标的拍摄图像的纹理坐标对应关联的映射图，并将第一映射图发送至生成部，其中，生成部根据从发送部接收到的第一映射图，将拍摄图像投影在立体投影面上。因此，作为一个示例，本实施方式的图像处理装置能够提高合成图像的显示处理速度。
附图说明
图1是表示搭载有第一实施方式涉及的图像处理装置的车辆的一个示例的立体图，其中以透视状态示出了车室的一部分。
图2是第一实施方式涉及的车辆的一个示例的俯视图。
图3是表示第一实施方式涉及的车辆的功能结构的一个示例的框图。
图4是表示第一实施方式涉及的车辆具有的ECU的功能结构的一个示例的框图。
图5是表示由第一实施方式涉及的车辆具有的ECU进行的、合成图像的显示处理的流程的一个示例的流程图。
图6是用于说明由第一实施方式涉及的车辆具有的ECU进行的、立体投影区域的变更处理的一个示例的图。
图7是用于说明由第一实施方式涉及的车辆具有的ECU进行的、立体投影区域的变更处理的一个示例的图。
图8是表示由第一实施方式涉及的车辆具有的ECU显示的合成图像的一个示例的图。
图9是由第一实施方式涉及的车辆具有的ECU投影拍摄图像的立体投影面的截面图的一个示例。
图10是表示由第一实施方式涉及的车辆具有的ECU显示的合成图像的一个示例的图。
图11是由第一实施方式涉及的车辆具有的ECU投影拍摄图像的立体投影面的截面图的一个示例。
图12是表示由第一实施方式涉及的车辆具有的ECU显示的合成图像的一个示例的图。
图13是由第一实施方式涉及的车辆具有的ECU投影拍摄图像的立体投影面的截面图的一个示例。
图14是表示由第一实施方式涉及的车辆具有的ECU显示的合成图像的一个示例的图。
图15是由第一实施方式涉及的车辆具有的ECU投影拍摄图像的立体投影面的截面图的一个示例。
图16是表示由第一实施方式涉及的车辆具有的ECU显示的合成图像的一个示例的图。
图17是由第一实施方式涉及的车辆具有的ECU投影拍摄图像的立体投影面的截面图的一个示例。
图18是表示由第一实施方式涉及的车辆具有的ECU显示的合成图像的一个示例的图。
图19是由第一实施方式涉及的车辆具有的ECU投影拍摄图像的立体投影面的截面图的一个示例。
图20是用于説明第二实施方式涉及的车辆具有的ECU中拍摄图像的投影处理的一个示例的图。
具体实施方式
以下，对本发明的示例性实施方式进行公开。以下所示的实施方式的结构、以及由该结构带来的作用、结果以及效果仅是一个示例。本发明也能够由以下实施方式中公开的结构以外的结构来实现，并且能够获得基于基本结构的各种效果以及衍生效果中的至少一种。
搭载有本实施方式涉及的图像处理装置的车辆可以是以内燃机(发动机)作为驱动源的汽车(内燃机汽车)，也可以是以电动机(马达)作为驱动源的汽车(电动汽车、燃料电池汽车等)，还可以是以上述两者作为驱动源的汽车(混合动力汽车)。而且，车辆可以搭载各种变速装置，还可以搭载用于驱动内燃机或电动机所需的各种装置(系统、部件等)。此外，对车辆中与车轮驱动有关的装置的形式、数量以及布置等，可以进行各种设定。
第一实施方式
图1是表示搭载有第一实施方式涉及的图像处理装置的车辆的一个示例的立体图，其中以透视状态示出了车室的一部分。如图1所示，车辆1具备车身2、转向操作部4、油门操作部5、制动操作部6、变速操作部7、监控装置11。车身2具有供乘坐者乘坐的车室2a。在车室2a内，以作为乘坐者的驾驶员于座椅2b相对的状态，设有转向操作部4、油门操作部5、制动操作部6、变速操作部7等。转向操作部4例如是从前围板24突出的方向盘。油门操作部5例如是位于驾驶员脚下的油门踏板。制动操作部6例如是位于驾驶员脚下的制动踏板。变速操作部7例如是从中央控制台突出的变速杆。
监控装置11例如设置于前围板24的车宽方向(即，左右方向)的中央部。监控装置11例如可以具有导航系统或音响系统等功能。监控装置11具有显示装置8、语音输出装置9以及操作输入部10。此外，监控装置11还可以具有开关、旋钮盘、控制杆以及按钮等各种操作输入部。
显示装置8由LCD(Liquid Crystal Display，液晶显示器)或OELD(OrganicElectroluminescent Display，有机电致发光显示器)等构成，能够基于图像数据来显示各种图像。语音输出装置9由扬声器等构成，基于语音数据来输出各种语音。语音输出装置9可以设置在车室2a内除监控装置11以外的不同位置。
操作输入部10由触控面板等构成，供乘坐者能够输入各种信息。此外，操作输入部10设置于显示装置8的显示画面，能够透过显示装置8所显示的图像。由此，操作输入部10能够使乘坐者目视确认显示装置8的显示画面上所显示的图像。操作输入部10通过对显示装置8的显示画面上乘坐者的触碰操作进行检测，接受乘坐者输入各种信息。
图2是第一实施方式涉及的车辆的一个示例的俯视图。如图1和图2所示，车辆1是四轮汽车等，具有左右两个前轮3F和左右两个后轮3R。四个车轮3全部或一部分能够转向。
车辆1搭载有多个拍摄部15。本实施方式中，车辆1例如搭载有四个拍摄部15a～15d。拍摄部15是具有CCD(Charge Coupled Device，电荷耦合器件)或CIS(CMOS ImageSensor，互补金属-氧化物-半导体图像传感器)等拍摄元件的数码摄像头。拍摄部15能够以规定的帧率拍摄车辆1的周围。而且，拍摄部15输出对车辆1的周围进行拍摄而得到的拍摄图像。拍摄部15分别具有广角镜头或鱼眼镜头，能够在水平方向上拍摄例如140°～220°的范围。此外，拍摄部15的光軸也可朝斜下方设定。
具体而言，拍摄部15a例如位于车身2后侧的端部2e，设置于后备箱门2h的后窗下方的壁部。而且，拍摄部15a能够拍摄车辆1周围中该车辆1的后方的区域。拍摄部15b例如位于车身2的右侧的端部2f，设置于右侧的车门后视镜2g。而且，拍摄部15b能够拍摄车辆1周围中该车辆1侧面的区域。拍摄部15c例如位于车身2的前侧，即车辆1的前后方向的前方侧的端部2c，设置于前保险杠或前格栅等。而且，拍摄部15c能够拍摄车辆1周围中该车辆1的前方的区域。拍摄部15d例如位于车身2的左侧，即车宽方向的左侧的端部2d，设置于左侧的车门后视镜2g。而且，拍摄部15d能够拍摄车辆1周围中该车辆1侧面的区域。
图3是表示第一实施方式涉及的车辆的功能结构的一个示例的框图。如图3所示，车辆1具备转向系统13、制动系统18、转向角传感器19、油门传感器20、档位传感器21、轮速传感器22、车内网络23以及ECU(Electronic Control Unit，电子控制单元)14。监控装置11、转向系统13、制动系统18、转向角传感器19、加速传感器20、档位传感器21、轮速传感器22以及ECU14经由电信线路即车内网络23电连接。车内网络23例如由CAN(Controller AreaNetwork，控制器局域网)等构成。
转向系统13是电动助力转向系统或SBW(Steer By Wire，线控转向)系统等。转向系统13具有致动器13a和扭矩传感器13b。而且，转向系统13通过ECU14等电控制，使致动器13a动作，来对转向操作部4附加扭矩并补充转向力，从而使车轮3转向。扭矩传感器13b检测驾驶员对转向操作部4施加的扭矩，并将其检测结果发送至ECU14。
制动系统18包括控制车辆1的制动抱死的ABS(Anti-lock Brake System，防抱死制动系统)、用于抑制转弯时的车辆1侧滑的侧滑防止装置(ESC：Electronic StabilityControl，电子稳定控制)、用于增强制动力来进行制动辅助的电动制动系统以及BBW(BrakeBy Wire，线控制动)等。制动系统18具有致动器18a和制动传感器18b。制动系统18由ECU14等电控制，经由致动器18a，对车轮3施加制动力。制动系统18基于左右的车轮3的旋转差等，对制动抱死、车轮3的空转和侧滑的征兆等进行检测，并执行用于抑制制动抱死、车轮3的空转和侧滑的控制。制动传感器18b是检测作为制动操作部6的可动部分的制动踏板的位置的位移传感器，将制动踏板的位置的检测结果发送至ECU14。
转向角传感器19是检测方向盘等转向操作部4的转向量的传感器。本实施方式中，转向角传感器19由霍尔元件等构成，检测转向操作部4的旋转部分的旋转角度作为转向量，并将其检测结果发送至ECU14。油门传感器20是检测作为油门操作部5的可动部分的油门踏板的位置的位移传感器，将其检测结果发送至ECU14。
档位传感器21是检测变速操作部7的可动部分(操作杆、操作臂、操作按钮等)的位置的传感器，并将其检测结果发送至ECU14。轮速传感器22具有霍尔元件等，是检测车轮3的旋转量以及每单位时间的车轮3的转速的传感器，并将其检测结果发送至ECU14。
ECU14作为下述图像处理装置的一个示例而发挥功能：将由拍摄部15对车辆1周围进行拍摄而得到的拍摄图像投影在预先设定的投影面上，生成从虚拟视点观察该投影面所得的图像，并将该生成的图像显示于显示装置8。ECU14由计算机等构成，通过硬件与软件协作，来全面管理对车辆1的控制。具体而言，ECU14具备CPU(Central Processing Unit，中央处理单元)14a、ROM(Read Only Memory，只读存储器)14b、RAM(Random Access Memory，随机存取存储器)14c、显示控制部14d、语音控制部14e以及SSD(Solid State Drive，固态硬盘)14f。CPU14a、ROM14b以及RAM14c可设置于同一电路基板内。
CPU14a读取ROM14b等非易失性存储装置中存储的程序，并根据该程序执行各种运算处理。例如，CPU14a对显示于显示装置8的图像数据执行图像处理等。
ROM14b存储各种程序以及执行该程序所需参数等。RAM14c临时存储CPU14a上的运算所使用的各种数据。在ECU14上进行的运算处理之中，显示控制部14d主要对从拍摄部15获取并输出至CPU14a的图像数据进行图像处理、以及将从CPU14a获取的图像数据转换为显示于显示装置8的显示用图像数据等。在ECU14上进行的运算处理之中，语音控制部14e主要对从CPU14a获取并使语音输出装置9输出的语音进行处理。SSD14f是能够擦写的非易失性存储部，即使在ECU14的电源断开时也能继续存储从CPU14a获取的数据。
图4是表示第一实施方式涉及的车辆具有的ECU的功能结构的一个示例的框图。如图4所示，ECU14具备车辆状态获取部401、图像获取部402、合成图像生成部403、车辆周围状况检测部404、目标停车区域决定部405、投影区域变更部406以及图像输出部407。例如，通过电路基板上搭载的CPU14a等处理器执行ROM14b或SSD14f等存储介质内所存储的周边监视用程序，ECU14实现车辆状态获取部401、图像获取部402、合成图像生成部403、车辆周围状况检测部404、目标停车区域决定部405、投影区域变更部406以及图像输出部407的功能。车辆状态获取部401、图像获取部402、合成图像生成部403、车辆周围状况检测部404、目标停车区域决定部405、投影区域变更部406以及图像输出部407的一部分或全部也可以由电路等硬件构成。
车辆状态获取部401获取由转向角传感器19检测的转向操作部4的转向量、由油门传感器20检测的油门踏板的位置、由档位传感器21检测的变速操作部7的可动部分的位置、由轮速传感器22检测的车轮3的转速等车辆1的状态。图像获取部402从拍摄部15获取该拍摄部15对车辆1周围进行拍摄而得到的拍摄图像。
合成图像生成部403将由图像获取部402获取的拍摄图像，对立体的投影面(以下称为“立体投影面”)进行投影。这里，立体投影面是包含车辆1、以及向该车辆1的上方竖起的投影区域(以下称为“立体投影区域”)的投影面。本实施方式中，立体投影面具有相对于车辆1为水平的投影区域(以下称为“平面投影区域”)、以及位于该平面投影区域周围的立体投影区域。而且，合成图像生成部403将拍摄图像投影在立体投影面上，并生成从虚拟视点观察投影了拍摄图像的立体投影面所得的图像(以下称为“合成图像”)。
车辆周围状况检测部404基于图像获取部402获取的拍摄图像等，检测车辆1停车的位置即目标停车位置、车辆1周围存在的障碍物等车辆1周围的状况。目标停车区域决定部405决定立体投影面中车辆1停车的区域，即目标停车区域。这里，目标停车区域，是指立体投影面中与车辆周围状况检测部404所检测到的目标停车位置对应的区域。具体而言，目标停车区域，是指立体投影面中投影目标停车位置的拍摄图像(由拍摄部15对车辆1的目标停车位置进行拍摄而得到的拍摄图像)的区域。
图像输出部407作为将由合成图像生成部403生成的合成图像输出至显示装置8，并将合成图像显示于显示装置8的显示控制部的一个示例而发挥功能。投影区域变更部406将立体投影区域中车辆1的移动路径和目标停车区域的至少一部分，变更为平面投影区域。这里，移动路径，是指车辆1从车辆1的位置移动到目标停车区域的路径。由此，车辆1的移动路径的拍摄图像被投影在平坦的投影面上，能够防止立体投影面中车辆1的目标停车区域(例如，停车框)失真或没有被投影的情况，因此能够显示使车辆1的目标停车区域看上去自然的合成图像。
接下来，利用图5对由本实施方式涉及的车辆1具有的ECU14进行的合成图像的显示处理的流程的一个示例进行说明。图5是表示由第一实施方式涉及的车辆具有的ECU进行的合成图像的显示处理的流程的一个示例的流程图。
本实施方式中，图像获取部402从操作输入部10等获取对合成图像的显示进行指示的显示指示(步骤S501)。若获取了显示指示(步骤S502：是)，则图像获取部402从拍摄部15获取由该拍摄部15对车辆1的周围进行拍摄而得到的拍摄图像(步骤S503)。例如，图像获取部402获取在车辆1的当前位置由拍摄部15对车辆1的周围进行拍摄而得到的拍摄图像。
接着，合成图像生成部403将所获取的拍摄图像投影在立体投影面上，并且生成从预先设定的虚拟视点观察该立体投影面所得的合成图像(步骤S504)。本实施方式中，合成图像生成部403通过射影变换，将所获取的拍摄图像内的各坐标(以下称为“纹理坐标”)，变换为立体投影面内的坐标。而且，合成图像生成部403将所获取的拍摄图像内的各纹理坐标的图像，投影在立体投影面中该纹理坐标经射影变换后的坐标所表示的位置。由此，合成图像生成部403将拍摄图像投影在立体投影面上。
车辆周围状况检测部404基于由图像获取部402所获取的拍摄图像等，对目标停车位置等车辆1周围的状况进行检测(步骤S505)。此外，目标停车区域决定部405决定在立体投影面中与车辆周围状况检测部404所检测到的目标停车位置对应的目标停车区域(步骤S506)。接着，合成图像生成部403判断所决定的目标停车区域是否包含在立体投影区域中(步骤S507)。接着，若所决定的目标停车区域不包含在立体投影区域中(步骤S507：否)，则图像输出部407将合成图像生成部403所生成的合成图像显示于显示装置8(步骤S508)。
另一方面，若所决定的目标停车区域包含在立体投影区域中(步骤S507：是)，则合成图像生成部403将立体投影区域中车辆1的移动路径和目标停车区域变更为平面投影区域(步骤S509)。接着，合成图像生成部403对变更了立体投影区域之后的立体投影面重新投影拍摄图像，并且生成从虚拟视点观察重新投影了拍摄图像的立体投影面所得的合成图像(步骤S510)。然后，图像输出部407将合成图像生成部403所生成的合成图像显示于显示装置8(步骤S508)。
接着，利用图6对由本实施方式涉及的车辆1具有的ECU14进行的立体投影区域的变更处理的一个示例进行说明。图6是用于说明由第一实施方式涉及的车辆具有的ECU进行的立体投影区域的变更处理的一个示例的图。图6中，将与平面投影区域R2平行的一个方向设为Z方向，与平面投影区域R2平行且与Z方向正交的方向设为X方向，与平面投影区域R2垂直的方向设为Y方向。
例如，如图6所示，合成图像生成部403预先生成包含平面投影区域R2和立体投影区域R1的立体投影面R。平面投影区域R2是以车辆1的位置P为中心的圆形(正圆或椭圆等)的平坦的投影区域。本实施方式中，将平面投影区域R2设为圆形的投影区域，但不限于此，例如也可以是多边形的平坦的投影区域。立体投影区域R1是以平面投影区域R2为基准，从平面投影区域R2的边缘(外边缘)，随着远离平面投影区域R2而沿Y方向(向平面投影区域R2的上方)逐渐竖起的投影区域。具体而言，立体投影区域R1是从平面投影区域R2的外边缘，沿Y方向呈椭圆状或抛物线状竖起的曲面。也即是说，合成图像生成部403生成包含车辆1的位置P的碗形三维面，作为立体投影面R。接着，合成图像生成部403对所生成的立体投影面R投影由图像获取部402所获取的拍摄图像。
此外，车辆周围状况检测部404基于图像获取部402所获取的拍摄图像等，检测车辆1的目标停车位置。接着，如图6所示，目标停车区域决定部405决定立体投影面R中与车辆周围状况检测部404所检测到的目标停车位置对应的目标停车区域TR。接着，如图6所示，若所决定的目标停车区域TR包含在立体投影区域R1中，则投影区域变更部406使平面投影区域R2的半径增大，以使立体投影区域R1中的、从车辆1的位置P观察时该目标停车区域TR的后侧端部E包含在平面投影区域R2中。本实施方式中，投影区域变更部406是通过使平面投影区域R2的半径增大来使从车辆1的位置P观察时目标停车区域TR的后侧端部E包含在平面投影区域R2中的，但不限于此，只要是通过使平面投影区域R2整体增大(扩宽)而使从车辆1的位置P观察时目标停车区域TR的后侧端部E包含在平面投影区域R2中即可。
由此，能够将车辆1的移动路径和目标停车区域TR的拍摄图像投影在平坦的平面投影区域R2中，从而能够防止立体投影面R中能确定车辆1的目标停车位置的图像(例如，停车框)失真或没有被投影的情况。其结果是，能够显示使车辆1的目标停车区域TR看上去自然的合成图像。
接下来，利用图7对由本实施方式涉及的车辆1具有的ECU14进行的立体投影区域的变更处理的其他示例进行说明。图7是用于说明由第一实施方式涉及的车辆具有的ECU进行的立体投影区域的变更处理的一个示例的图。图7中，将与平面投影区域R2平行的一个方向设为Z方向，与平面投影区域R2平行且与Z方向正交的方向设为X方向，与平面投影区域R2垂直的方向设为Y方向。
例如，如图7所示，与图6同样地，合成图像生成部403对预先生成的立体投影面R投影由图像获取部402所获取的拍摄图像。此外，车辆周围状况检测部404基于由图像获取部402所获取的拍摄图像等，检测车辆1的目标停车位置。接着，如图7所示，目标停车区域决定部405决定立体投影面R中与车辆周围状况检测部404所检测到的目标停车位置对应的目标停车区域TR。
接着，如图7所示，当所决定的目标停车区域TR包含在立体投影区域R1中时，投影区域变更部406使平面投影区域R2局部增大(扩宽)，以使立体投影区域R1中仅目标停车区域TR包含在平面投影区域R2中。换言之，如图7所示，当所决定的目标停车区域TR包含在立体投影区域R1中时，合成图像生成部403扩宽平面投影区域R2，以将立体投影区域R1中除目标停车区域TR以外的区域保持在立体投影区域R1中，且同时使该目标停车区域TR包含在平面投影区域R2中。
因此，当目标停车区域TR的相邻区域中存在其他车辆等立体的障碍物时，能够将目标停车区域TR的拍摄图像投影在平坦的平面投影区域R2中，且同时将投影在目标停车区域TR的相邻区域中的立体的障碍物的拍摄图像，投影在立体投影区域R1中。由此，投影在立体投影面R上的障碍物的图像不会变成拉长的图像，能够防止车辆1的目标停车区域TR(例如，停车框)失真的情况。其结果是，能够显示使车辆1的目标停车区域TR及目标停车区域TR周围的障碍物看上去自然的合成图像。本实施方式中，投影区域变更部406是将立体投影区域R1中目标停车区域TR整体变更为平面投影区域R2，但只要扩宽平面投影区域R2而使立体投影区域R1中仅目标停车区域TR和移动路径的至少一部分包含在平面投影区域R2中即可。
此外，投影区域变更部406还能够根据所决定的目标停车区域TR的周围是否存在障碍物，来切换将立体投影区域R1变更为平面投影区域R2的方法。具体而言，当目标停车区域TR的周围不存在障碍物时，投影区域变更部406扩大平面投影区域R2，以使从车辆1的位置P观察时该目标停车区域TR的后侧端部E包含在平面投影区域R2。而当目标停车区域TR的周围存在障碍物时，投影区域变更部406扩宽平面投影区域R2，以使立体投影区域R1中仅目标停车区域TR和移动路径的至少一部分包含在平面投影区域R2中。由此，即使车辆1的目标停车位置周围的环境改变，也能够显示使目标停车区域TR及该目标停车区域TR周围看上去自然的合成图像。
此外，当在立体投影面R中，从车辆1观察时比目标停车区域TR远(前方)的区域包含在平面投影区域R2中时，投影区域变更部406也可以缩小平面投影区域R2。具体而言，投影区域变更部406缩小平面投影区域R2，以使立体投影面R中从车辆1观察时目标停车区域TR的后侧端部E与平面投影区域R2的边缘一致。由此，能够将目标停车区域TR的拍摄图像投影在平面投影区域R2中，且同时将比目标停车区域TR远的区域投影在立体投影区域R1中。
接下来，利用图8至图13对本实施方式涉及的车辆1具有的ECU14显示的合成图像的一个示例进行说明。图8、图10、图12是由第一实施方式涉及的车辆具有的ECU显示的合成图像的一个示例的图。图9、图11、图13是由第一实施方式涉及的车辆具有的ECU投影拍摄图像的立体投影面的截面图的一个示例。图9、图11、图13中，横坐标表示与X方向和Z方向平行的XZ面中从车辆1的位置到立体投影面内各点的距离，纵坐标表示立体投影面内各点的高度(即，Y方向的坐标)。
例如，如图9所示，合成图像生成部403将拍摄图像投影在下述立体投影面上，该立体投影面包含以车辆1的位置为中心且半径为5000mm的圆形的平面投影区域、以及从该平面投影区域的外边缘沿Y方向呈抛物线状竖起的立体投影区域。此时，从车辆1的位置观察时，立体投影面从靠目标停车区域前侧沿Y方向竖起，目标停车区域的拍摄图像被投影在立体的投影面上。因此，如图8所示，显示于显示装置8的合成图像G中所包含的目标停车区域TR(例如，目标停车区域TR中所包含的停车框W)失真，从而无法显示使车辆1的目标停车区域TR看上去自然的合成图像G。
此外，如图11所示，合成图像生成部403将拍摄图像投影在下述立体投影面上，该立体投影面包含以车辆1的位置为中心且半径为30000mm的圆形的平面投影区域、以及从该平面投影区域的外边缘沿Y方向呈抛物线状竖起的立体投影区域。此时，目标停车区域被投影在平坦的投影面上。然而，从车辆1的位置观察时在比目标停车区域远之处存在的其他车辆等立体的障碍物也被投影在平坦的投影面上。因此，如图10所示，虽然显示于显示装置8的合成图像G中所包含的目标停车区域TR(例如，停车框W)没有出现失真，但远处存在的立体的障碍物的图像不再包含在合成图像G中，从而无法显示能确定车辆1的目标停车区域TR及其周围的合成图像G。
为此，如图13所示，投影区域变更部406扩大平面投影区域，以使从车辆1的位置观察时目标停车区域的后侧端部包含在平面投影区域中。接着，合成图像生成部403将拍摄图像投影在下述立体投影面中，该立体投影面包含以车辆1的位置为中心且半径为7000mm的圆形的平面投影区域、以及从该平面投影区域的外边缘沿Y方向呈抛物线状竖起的立体投影区域。此时，在立体投影面中，目标停车区域包含在平面投影区域中，并且从车辆1的位置观察时在比目标停车区域远之处存在的立体的障碍物被投影在立体投影区域中。由此，如图12所示，显示于显示装置8的合成图像G中所包含的目标停车区域TR没有失真，能够将远处存在的立体的障碍物的图像包含在合成图像G中，因此能够显示使车辆1的目标停车区域TR及其周围看上去自然的合成图像G。
接下来，利用图14至图19对本实施方式涉及的车辆1具有的ECU14显示的合成图像的其他示例进行说明。图14、图16、图18是由第一实施方式涉及的车辆具有的ECU显示的合成图像的一个示例的图。图15、图17、图19是由第一实施方式涉及的车辆具有的ECU投影拍摄图像的立体投影面的截面图的一个示例。图15、图17、图19中，横坐标表示与X方向和Z方向平行的XZ面中从车辆1的位置到立体投影面内各点的距离，纵坐标表示立体投影面内各点的高度(即，Y方向的坐标)。
例如，如图15所示，合成图像生成部403将拍摄图像投影在下述立体投影面上，该立体投影面包含以车辆1的位置为中心且半径为5000mm的圆形的平面投影区域、以及从该平面投影区域的外边缘沿Y方向呈抛物线状竖起的立体投影区域。此时，从车辆1的位置观察时，立体投影面从靠目标停车区域前侧沿Y方向竖起，目标停车区域被投影在立体的投影面上。因此，如图14所示，虽然在显示于显示装置8的合成图像G中，目标停车区域TR周围存在的其他车辆C显示得很自然，但目标停车区域TR(例如，停车框W)失真，从而无法显示使车辆1的目标停车区域TR看上去自然的合成图像G。
此外，如图17所示，合成图像生成部403将拍摄图像投影在下述立体投影面上，该立体投影面包含以车辆1的位置为中心且半径为30000mm的圆形的平面投影区域、以及从该平面投影区域的外边缘沿Y方向呈抛物线状竖起的立体投影区域。此时，在立体投影面中，目标停车区域包含在平面投影区域中，从而目标停车区域被投影在平坦的投影面上。然而，在目标停车区域周围存在的其他车辆、以及从车辆1的位置观察时在比目标停车区域TR远之处存在的立体的障碍物也被投影在平坦的投影面上。因此，如图16所示，显示于显示装置8的合成图像G中所包含的目标停车区域TR(例如，停车框W)没有出现失真，但在目标停车区域TR周围存在的其他车辆C、以及远处存在的立体的障碍物的图像变成拉长的图像，从而无法显示使车辆1的目标停车区域TR及其周围看上去自然的合成图像G。
为此，如图19所示，投影区域变更部406扩宽平面投影区域，以使立体投影区域中仅目标停车区域TR包含在平面投影区域中。接着，合成图像生成部403将拍摄图像投影在扩宽了平面投影区域的立体投影面上。此时，在目标停车区域的周围、以及从车辆1的位置观察时在比目标停车区域远之处存在的立体的障碍物被投影在立体投影区域中。由此，如图18所示，显示于显示装置8的合成图像G中所包含的目标停车区域TR(例如，停车框W)不会失真，并且能够使目标停车区域TR的周围(例如，其他的车辆C)、以及在比目标停车区域TR远之处存在的立体的障碍物包含在合成图像G中，因此能够显示使车辆1的目标停车区域TR及其周围看上去自然的合成图像G。
这样，根据第一实施方式涉及的车辆1，车辆1的目标停车区域以及车辆1的移动路径被投影在平坦的投影面上，从而能够防止立体投影面中车辆1的目标停车区域(例如，停车框)失真或没有被投影的情况，因此能够显示使车辆1的目标停车区域看上去自然的合成图像。
第二实施方式
本实施方式是利用3D对应映射图和2D映射图(map)而将拍摄图像投影在立体投影面上的示例，其中，3D对应映射图是使立体投影面的坐标与投影于该坐标的拍摄图像的纹理坐标对应关联的映射图，2D映射图是使仅由相对于车辆为水平的投影面构成的平面投影面的坐标与投影于该坐标的拍摄图像的纹理坐标对应关联的映射图。以下説明中，省略与第一实施方式相同的结构的有关说明。
图20是用于说明第二实施方式涉及的车辆具有的ECU中拍摄图像的投影处理的一个示例的图。本实施方式中，ROM14b是存储3D映射图M1和2D映射图M2的存储部。这里，3D映射图M1是使立体投影面的坐标与投影于该坐标的拍摄图像的纹理坐标对应关联的映射图。2D映射图M2是使仅由相对于车辆1为水平的投影面构成的平面投影面的坐标与投影于该坐标的拍摄图像的纹理坐标对应关联的映射图。
本实施方式中，若决定了目标停车区域(即，执行了车辆1的停车辅助处理时)，则投影区域变更部406用使平面投影面中移动路径的坐标与投影于该坐标的拍摄图像的纹理坐标对应关联的2D映射图M2，重写(Overwrite)3D映射图M1之中使立体投影区域中移动路径的坐标与投影于该坐标的拍摄图像的纹理坐标对应关联的映射图。接着，投影区域变更部406将用2D映射图M2重写后的3D映射图M1发送至合成图像生成部403。此外，本实施方式中，若未决定目标停车区域(即，未执行车辆1的停车辅助处理时)，则投影区域变更部406不对ROM14b中所存储的3D映射图M1进行基于2D映射图M2的重写而将其发送至合成图像生成部403。由此，每次显示合成图像时，无需计算立体投影面内的坐标以及投影于该坐标的拍摄图像的纹理坐标，因此能够提高合成图像的显示处理速度。此外，即使立体投影面内移动路径发生改变，只要用2D映射图M2重写3D映射图M1然后发送即可，而无需重新计算立体投影面内的坐标以及投影于该坐标的拍摄图像的纹理坐标，因此能够进一步提高合成图像的显示处理速度。
本实施方式中，合成图像生成部403根据从投影区域变更部406接收到的3D映射图M1，将由图像获取部402所获取的拍摄图像投影在立体投影面上。具体而言，合成图像生成部403对于拍摄图像中所包含的各像素，确定3D映射图M1中与该像素的纹理坐标对应关联的立体投影面的坐标。接着，合成图像生成部403在立体投影面中，对所确定的坐标的位置投影该像素，从而将拍摄图像投影在立体投影面上。
这样，根据第二实施方式涉及的车辆1，由于每次显示合成图像时，无需计算立体投影面内的坐标以及投影于该坐标的拍摄图像的纹理坐标，所以能够提高合成图像的显示处理速度。

Claims (5)

1.一种图像处理装置，具备：
获取部，其获取由车辆搭载的拍摄部对所述车辆的周围进行拍摄而得到的拍摄图像；
生成部，其对立体投影面投影所述拍摄图像，并且生成从虚拟视点观察所述立体投影面所得的合成图像，其中所述立体投影面包含所述车辆、以及向该车辆上方竖起的第一投影区域；
显示控制部，其使显示部显示所述合成图像；
决定部，其决定所述立体投影面中所述车辆停车的目标停车区域；以及
变更部，其将所述第一投影区域中的、从所述车辆的位置到所述目标停车区域的所述车辆的移动路径和所述目标停车区域的至少一部分，变更为相对于所述车辆为水平的第二投影区域。
2.根据权利要求1所述的图像处理装置，其中：
所述第一投影区域位于所述第二投影区域的周围，
所述第二投影区域包含所述车辆，
所述变更部使所述第二投影区域整体增大，以使从所述车辆的位置观察时所述目标停车区域的后侧端部包含在所述第二投影区域中。
3.根据权利要求1所述的图像处理装置，其中：
所述变更部使所述第二投影区域局部增大，以使所述第一投影区域中的、所述目标停车区域和所述移动路径的仅至少一部分包含在所述第二投影区域中。
4.根据权利要求1所述的图像处理装置，其中：
所述第一投影区域位于所述第二投影区域的周围，
所述第二投影区域包含所述车辆，
当所述目标停车区域的周围不存在障碍物时，所述变更部使所述第二投影区域整体增大，以使从所述车辆的位置观察时所述目标停车区域的后侧端部包含在所述第二投影区域中，当所述目标停车区域的周围存在障碍物时，所述变更部使所述第二投影区域局部增大，以使所述第一投影区域中的、所述目标停车区域和所述移动路径的仅一部分包含在所述第二投影区域中。
5.根据权利要求1～4中任一项所述的图像处理装置，还具备：
存储部，其存储使所述立体投影面的坐标与投影于该坐标的所述拍摄图像的纹理坐标对应关联的第一映射图、以及使仅由相对于所述车辆为水平的投影面构成的平面投影面的坐标与投影于该坐标的所述纹理坐标对应关联的第二映射图；以及
发送部，当所述目标停车区域决定了时，所述发送部用使所述平面投影面中所述移动路径的坐标与投影于该坐标的所述拍摄图像的所述纹理坐标对应关联的所述第二映射图，重写所述第一映射图之中使所述第二投影区域中的所述移动路径的坐标与投影于该坐标的所述拍摄图像的所述纹理坐标对应关联的映射图，并将所述第一映射图发送至所述生成部，
其中，所述生成部根据从所述发送部接收到的所述第一映射图，将所述拍摄图像投影在所述立体投影面上。
CN201880055229.1A 2017-09-15 2018-03-05 图像处理装置 Active CN111066319B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017177417A JP7091624B2 (ja) 2017-09-15 2017-09-15 画像処理装置
JP2017-177417 2017-09-15
PCT/JP2018/008321 WO2019053922A1 (ja) 2017-09-15 2018-03-05 画像処理装置

Publications (2)

Publication Number Publication Date
CN111066319A true CN111066319A (zh) 2020-04-24
CN111066319B CN111066319B (zh) 2021-05-28

Family

ID=65723258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880055229.1A Active CN111066319B (zh) 2017-09-15 2018-03-05 图像处理装置

Country Status (4)

Country Link
US (1) US10970812B2 (zh)
JP (1) JP7091624B2 (zh)
CN (1) CN111066319B (zh)
WO (1) WO2019053922A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
DE102019204656A1 (de) * 2019-04-02 2020-10-08 Conti Temic Microelectronic Gmbh Parkassistenzsystem
JP7000383B2 (ja) * 2019-07-04 2022-01-19 株式会社デンソー 画像処理装置および画像処理方法
WO2023195056A1 (ja) * 2022-04-04 2023-10-12 株式会社ソシオネクスト 画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム
WO2023243310A1 (ja) * 2022-06-17 2023-12-21 株式会社デンソー 画像処理システム、画像処理装置、画像処理方法、画像処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130057690A1 (en) * 2010-06-18 2013-03-07 Mitsubishi Electric Corporation Driving assist apparatus, driving assist system, and driving assist camera unit
US20140125774A1 (en) * 2011-06-21 2014-05-08 Vadas, Ltd. Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
CN103854335A (zh) * 2012-12-05 2014-06-11 厦门雅迅网络股份有限公司 一种行车记录仪全景视频生成方法
JP2015015527A (ja) * 2013-07-03 2015-01-22 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法
JP2017068826A (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置
US20170324943A1 (en) * 2016-05-05 2017-11-09 Via Technologies, Inc. Driver-assistance method and a driver-assistance apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2369648A1 (en) 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Limited Image processing device and monitoring system
JP3300334B2 (ja) 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP4992696B2 (ja) 2007-12-14 2012-08-08 日産自動車株式会社 駐車支援装置及び方法
JP5292874B2 (ja) 2007-12-17 2013-09-18 富士通株式会社 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法
JP5682788B2 (ja) 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
JP5813439B2 (ja) 2011-09-27 2015-11-17 クラリオン株式会社 俯瞰画像表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130057690A1 (en) * 2010-06-18 2013-03-07 Mitsubishi Electric Corporation Driving assist apparatus, driving assist system, and driving assist camera unit
US20140125774A1 (en) * 2011-06-21 2014-05-08 Vadas, Ltd. Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
CN103854335A (zh) * 2012-12-05 2014-06-11 厦门雅迅网络股份有限公司 一种行车记录仪全景视频生成方法
JP2015015527A (ja) * 2013-07-03 2015-01-22 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法
JP2017068826A (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置
US20170324943A1 (en) * 2016-05-05 2017-11-09 Via Technologies, Inc. Driver-assistance method and a driver-assistance apparatus

Also Published As

Publication number Publication date
JP2019054420A (ja) 2019-04-04
US10970812B2 (en) 2021-04-06
US20200134777A1 (en) 2020-04-30
JP7091624B2 (ja) 2022-06-28
CN111066319B (zh) 2021-05-28
WO2019053922A1 (ja) 2019-03-21

Similar Documents

Publication Publication Date Title
CN111066319B (zh) 图像处理装置
JP7151293B2 (ja) 車両周辺表示装置
CN110997409B (zh) 周边监控装置
CN110945558B (zh) 显示控制装置
CN111095921B (zh) 显示控制装置
JP2020120327A (ja) 周辺表示制御装置
US10540807B2 (en) Image processing device
CN110959289B (zh) 周边监控装置
CN111034188B (zh) 周边监控装置
US20200184722A1 (en) Periphery monitoring device
JP6965563B2 (ja) 周辺監視装置
JP2022009331A (ja) 周辺監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant