CN110997409B - 周边监控装置 - Google Patents

周边监控装置 Download PDF

Info

Publication number
CN110997409B
CN110997409B CN201880054031.1A CN201880054031A CN110997409B CN 110997409 B CN110997409 B CN 110997409B CN 201880054031 A CN201880054031 A CN 201880054031A CN 110997409 B CN110997409 B CN 110997409B
Authority
CN
China
Prior art keywords
vehicle
image
display
display image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880054031.1A
Other languages
English (en)
Other versions
CN110997409A (zh
Inventor
渡边一矢
丸冈哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Co Ltd
Original Assignee
Aisin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Co Ltd filed Critical Aisin Co Ltd
Publication of CN110997409A publication Critical patent/CN110997409A/zh
Application granted granted Critical
Publication of CN110997409B publication Critical patent/CN110997409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Abstract

作为一个示例，实施方式的周边监控装置包括：生成部，其生成从虚拟视点观察虚拟空间内的注视点而得到的显示用图像，虚拟空间包含将通过车辆搭载的拍摄部对第一时刻的车辆的第一位置处的车辆的周围进行拍摄而得到的拍摄图像粘贴于车辆的周围的三维的面而成的模型、以及在第一时刻之后的第二时刻的车辆的第二位置设置的三维的车辆图像，虚拟视点是通过操作输入部输入的；以及输出部，其将显示用图像输出至显示部。

Description

周边监控装置
技术领域
本发明的实施方式涉及一种周边监控装置。
背景技术
目前已开发出这样的技术：通过在设置于车辆的车内的监视装置上显示过去前方相机图像，来使车辆的周围(特别是车轮的周围)的情况可视化，以辅助驾驶员对车辆的前进路径进行判断，该过去前方相机图像为：在过去对车辆前方进行拍摄而得到的图像上、叠加了表示当前的车辆或车轮的图像而得到的图像。
专利文献1：WO2014/156220
发明内容
然而，在上述的过去前方相机图像上叠加的是：作为表示当前的车辆或车轮的图像、以平面方式表示车辆或车轮的外形的线，因此，存在难以掌握当前的车辆或车轮与存在于该当前的车辆或车轮的周围的障碍物之间的位置关系的情况。
作为一个示例，实施方式的周边监控装置包括：生成部，其生成从虚拟视点观察虚拟空间内的注视点而得到的显示用图像，虚拟空间包含将通过车辆搭载的拍摄部对第一时刻的车辆的第一位置处的车辆的周围进行拍摄而得到的拍摄图像粘贴于车辆的周围的三维的面而成的模型、以及在第一时刻之后的第二时刻的车辆的第二位置设置的三维的车辆图像，虚拟视点是通过操作输入部输入的；以及输出部，其将显示用图像输出至显示部。由此，作为一个示例，通过本实施方式的周边监控装置，能够使车辆与障碍物之间的位置关系变得易于掌握。
此外，作为一个示例，实施方式的周边监控装置中，车辆图像为能透视到模型的图像。由此，作为一个示例，通过本实施方式的周边监控装置，能够透视到虚拟空间内的车辆图像的车底下方的图像。
此外，作为一个示例，实施方式的周边监控装置中，拍摄图像是通过一个拍摄部对第一位置处的车辆的周围进行拍摄而得到的。由此，作为一个示例，通过本实施方式的周边监控装置，能够使车辆与其周围的障碍物之间的位置关系变得更加易于确认。
此外，作为一个示例，实施方式的周边监控装置中，车辆图像为这样的图像：穿过该车辆图像所包含的车身的图像、能够观察到车辆图像所包含的车轮的图像的三维外形。由此，作为一个示例，本实施方式的周边监控装置，能够通过车轮图像容易地掌握显示用图像内的车辆图像与障碍物之间的位置关系。
此外，作为一个示例，实施方式的周边监控装置中，生成部将在虚拟空间内从上方观察车辆图像情况下的该车辆图像的轮廓线配置于虚拟空间内。由此，作为一个示例，本实施方式的周边监控装置，能够使车辆与障碍物之间的位置关系变得更加易于掌握。
此外，作为一个示例，实施方式的周边监控装置中，生成部获取第二位置处的车辆的转向操作量，并使车辆图像包含旋转了该获取的转向操作量后的车轮的图像。由此，作为一个示例，本实施方式的周边监控装置，能够使在车辆以当前的转向角行驶的情况下车辆是否会与障碍物接触变得易于掌握。
此外，作为一个示例，实施方式的周边监控装置中，拍摄图像包括与第二位置处的车辆的车底下方对应的图像。由此，作为一个示例，本实施方式的周边监控装置，能够通过显示部确认第二位置处的车辆的车底下方的情况。
附图说明
图1为表示搭载第一实施方式涉及的周边监控装置的车辆的车室的一部分呈透视状态的一个示例的立体图。
图2为第一实施方式涉及的车辆的一个示例的俯视图。
图3为表示第一实施方式涉及的车辆的功能结构的一个示例的框图。
图4为表示第一实施方式涉及的车辆所具有的ECU的功能结构的一个示例的框图。
图5为表示基于第一实施方式涉及的车辆的显示用图像的显示处理的流程的一个示例的流程图。
图6为用于说明基于第一实施方式涉及的车辆的显示用图像的生成所使用的相机画面模型的一个示例的图。
图7为用于说明基于第一实施方式涉及的车辆的显示用图像的生成所使用的相机画面模型的一个示例的图。
图8为用于说明第一实施方式涉及的车辆中的显示用图像的生成所使用的相机画面模型以及车辆图像的一个示例的图。
图9为用于说明第一实施方式涉及的车辆中的显示用图像的生成所使用的相机画面模型以及车辆图像的一个示例的图。
图10为表示在第一实施方式涉及的车辆生成的显示用图像的一个示例的图。
图11为表示在第一实施方式涉及的车辆生成的显示用图像的一个示例的图。
图12为表示在第一实施方式涉及的车辆生成的显示用图像的一个示例的图。
图13为用于说明基于第二实施方式涉及的车辆的虚拟空间的生成处理的一个示例的图。
图14为表示通过第三实施方式涉及的车辆生成的显示用图像的一个示例的图。
具体实施方式
以下对本发明的示例性的实施方式进行公开。以下示出的实施方式的结构、以及由该结构带来的作用、结果和效果仅为一例。本发明也可以通过以下实施方式中公开的结构以外的结构实现，并能够获得基于基本结构的各种效果及衍生的效果中的至少一种。
搭载本实施方式涉及的周边监控装置(周边监控系统)的车辆可以是以内燃机(发动机)作为驱动源的汽车(内燃机汽车)，也可以是以电动机(马达)作为驱动源的汽车(电动汽车、燃料电池汽车等)，也可以是以上述双方作为驱动源的汽车(混合动力车)。此外，车辆可以搭载各种变速装置、用于驱动内燃机或电动机所需要的各种装置(系统、部件等)。此外，与车辆的车轮的驱动相关的装置的形式、数量、布局等可以进行各种设定。
第一实施方式
图1为表示搭载第一实施方式涉及的周边监控装置的车辆的车室的一部分呈透视状态的一个示例的立体图。如图1所示，车辆1包括：车身2、转向部4、加速操作部5、制动操作部6、变速操作部7、以及监视装置11。车身2具有供乘坐人员乘车的车室2a。在车室2a内，以作为乘坐人员的驾驶员落座于座席2b的状态，设置有转向部4、加速操作部5、制动操作部6、变速操作部7等。转向部4例如是从仪表板24突出的方向盘。加速操作部5例如是位于驾驶员脚下的油门踏板。制动操作部6例如是位于驾驶员脚下的制动踏板。变速操作部7例如是从中央控制台突出的变速杆。
监视装置11例如设置于仪表板24的车宽方向(即，左右方向)的中央部。监视装置11例如也可以具有导航系统或者音响系统等的功能。监视装置11具有显示装置8、语音输出装置9、以及操作输入部10。此外，监视装置11可以具有开关、旋钮、控制杆、以及按钮等各种操作输入部。
显示装置8由LCD(Liquid Crystal Display，液晶显示器)或OELD(OrganicElectroluminescent Display，有机电致发光显示器)等构成，可以基于图像数据显示各种图像。语音输出装置9由扬声器等构成，基于语音数据输出各种语音。语音输出装置9在车室2a内，可以设置在监视装置11以外的不同的位置。
操作输入部10由触控面板等构成，使由乘坐人员进行各种信息的输入变得可能。此外，操作输入部10设置于显示装置8的显示画面，能够透过其看到显示于显示装置8的图像。由此，操作输入部10能够使乘坐人员观察到显示于显示装置8的显示画面的图像。操作输入部10通过检测显示装置8的显示画面上的乘坐人员的触碰操作，接收来自乘坐人员的各种信息的输入。
图2为第一实施方式涉及的车辆的一个示例的俯视图。如图1及图2所示，车辆1为四轮汽车等，具有左右两个前轮3F及左右两个后轮3R。四个车轮3全部或者其中一部分能够转向。
车辆1搭载多个拍摄部15。在本实施方式中，车辆1例如搭载四个拍摄部15a～15d。拍摄部15为具有CCD(Charge Coupled Device，电荷耦合器件)或者CIS(CMOS ImageSensor，互补金属氧化物半导体图像传感器)等拍摄元件的数码相机。拍摄部15能够以规定的帧率拍摄车辆1的周围。并且，拍摄部15将拍摄车辆1的周围而得到的拍摄图像输出。拍摄部15分别具有广角镜头或鱼眼镜头，能够在水平方向上拍摄例如140°～220°的范围。此外，拍摄部15的光轴也可以设定为朝向斜下方。
具体来说，拍摄部15a例如位于车身2的后侧的端部2e，设置于后备箱的门2h上的后窗的下方的壁部。并且，拍摄部15a能够拍摄车辆1的周围的该车辆1后方的区域。拍摄部15b例如位于车身2右侧的端部2f，设置于右侧的车门后视镜2g。并且，拍摄部15b能够拍摄车辆1的周围的该车辆1的侧面的区域。拍摄部15c例如位于车身2的前侧即车辆1前后方向上的前方侧的端部2c，设置于前保险杠或前格栅等。并且，拍摄部15c能够拍摄车辆1的周围的该车辆1的前方的区域。拍摄部15d例如位于车身2的左侧即车宽方向上的左侧的端部2d，设置于左侧的车门后视镜2g。并且，拍摄部15d能够拍摄车辆1的周围的该车辆1的侧面的区域。
图3为表示第一实施方式涉及的车辆的功能结构的一个示例的框图。如图3所示，车辆1包括：转向系统13、制动系统18、转向角传感器19、油门传感器20、档位传感器21、轮速传感器22、车内网络23、以及ECU(Electronic Control Unit，电子控制单元)14。监视装置11、转向系统13、制动系统18、转向角传感器19、油门传感器20、档位传感器21、轮速传感器22以及ECU14通过作为电信线路的车内网络23电连接。车内网络23由CAN(Controller AreaNetwork，控制器区域网络)等构成。
转向系统13为电动助力转向系统或SBW(Steer By Wire，线控转向)系统等。转向系统13具有致动器13a及扭矩传感器13b。并且，转向系统13由ECU14等电控制，使致动器13a动作，对转向部4附加扭矩而补充转向力，由此使车轮3转向。扭矩传感器13b检测驾驶员施加给转向部4的扭矩，并将该检测结果发送至ECU14。
制动系统18包括：控制车辆1的制动的锁死的ABS(Anti-lock Brake System，防锁死制动系统)、抑制转弯时车辆1的侧滑的防止侧滑装置(ESC：Electronic StabilityControl，电子稳定控制)、增强制动力以进行制动辅助的电动制动系统、以及BBW(Brake ByWire，线控制动)。制动系统18具有致动器18a及制动传感器18b。制动系统18由ECU14等电控制，通过致动器18a对车轮3赋予制动力。制动系统18基于左右的车轮3的旋转差等，检测制动的锁死、车轮3的空转以及侧滑的征兆等，并实施对制动的锁死、车轮3的空转以及侧滑进行抑制的控制。制动传感器18b为检测作为制动操作部6的可动部的制动踏板的位置的位移传感器，并将制动踏板的位置的检测结果发送至ECU14。
转向角传感器19为检测方向盘等的转向部4的转向操作量的传感器。在本实施方式中，转向角传感器19由霍尔元件等构成，检测转向部4的旋转部分的旋转角度作为转向操作量，并将该检测结果发送至ECU14。油门传感器20为检测作为加速操作部5的可动部的油门踏板的位置的位移传感器，并将该检测结果发送至ECU14。
档位传感器21为检测变速操作部7的可动部(杆、臂、按钮等)的位置的传感器，并将该检测结果发送至ECU14。轮速传感器22具有霍尔元件等，为检测车轮3的旋转量或每单位时间车轮3的转数的传感器，并将该检测结果发送至ECU14。
ECU14基于由拍摄部15拍摄车辆1的周围而得到的拍摄图像，来生成从虚拟视点观察车辆1的周围的注视点而得到的图像，并使该生成的图像显示于显示装置8。ECU14由计算机等构成，通过硬件与软件的协同工作，掌管车辆1的全盘控制。具体来说，ECU14包括：CPU(Central Processing Unit，中央处理单元)14a、ROM(Read Only Memory，只读存储器)14b、RAM(Random Access Memory，随机存取存储器)14c、显示控制部14d、语音控制部14e、以及SSD(Solid State Drive，固态硬盘)14f。CPU14a、ROM14b、以及RAM14c可以设置于同一电路板内。
CPU14a读取存储于ROM14b等非易失性存储装置的程序，并按照该程序实施各种运算处理。例如，CPU14a实施对显示于显示装置8的图像数据进行的图像处理、对距存在于车辆1的周围的障碍物的距离的计算等。
ROM14b存储各种程序以及实施该程序所需要的参数等。RAM14c临时性地存储在CPU14a的运算中使用的各种数据。显示控制部14d在ECU14的运算处理中主要实施：对由拍摄部15获取而向CPU14a输出的图像数据进行的图像处理、以及将从CPU14a获得的图像数据转换为显示于显示装置8的显示用的图像数据等。语音控制部14e在ECU14的运算处理中，主要实施对从CPU14a获取而使语音输出装置9输出的语音进行的处理。SSD14f为可擦写的非易失性的存储部，即使在ECU14的电源被断开的情况下也能够持续存储从CPU14a获得的数据。
图4为表示第一实施方式涉及的车辆所具有的ECU的功能结构的一个示例的框图。如图4所示，ECU14包括显示用图像生成部401以及显示用图像输出部402。例如，搭载于电路板的CPU14a等处理器执行存储于ROM14b或者SSD14f等存储介质内的周边监控用的程序，由此使得ECU14实现显示用图像生成部401以及显示用图像输出部402的功能。显示用图像生成部401以及显示用图像输出部402的一部分或者全部也可以由电路等硬件构成。
显示用图像生成部401从拍摄部15获取：某时刻(以下称为过去时刻)的车辆1的位置(以下称为过去位置)处的、由拍摄部15拍摄该车辆1的周围而得到的拍摄图像。接着，显示用图像生成部401基于获得的拍摄图像，生成能够观察到车辆1与存在于该车辆1的周围的障碍物之间的位置关系的显示用图像。
具体来说，显示用图像生成部401基于获得的拍摄图像，生成从通过操作输入部10输入的虚拟视点观察车辆1的周围的虚拟空间内的注视点而得到的图像作为显示用图像。这里，虚拟空间为过去位置处的车辆1的周围的空间，并且是对应于该空间内的、处于过去时刻之后的时刻(例如，当前时刻)的车辆1的位置(例如，当前位置)设置了车辆图像的空间。车辆图像为三维的车辆1的图像。在本实施方式中，车辆图像为能透视到过去位置处的车辆1的周围的空间的、三维的车辆1的图像。由此，能够透视到虚拟空间中的车辆图像的车底下方的图像。在本实施方式中，使车辆图像为能透视到虚拟空间的图像，但并不限定于此，车辆图像也可以是不透明的图像(即，不能透视到虚拟空间的图像)。
在本实施方式中，显示用图像生成部401将获得的拍摄图像粘贴至过去位置处的车辆1的周围的三维的面(以下称为相机画面模型)，并生成包含该相机画面模型的空间作为过去位置处的车辆1的周围的空间。在本实施方式中，显示用图像生成部401将获得的拍摄图像粘贴至过去位置处的车辆1的周围的相机画面模型，但只要是将获得的拍摄图像粘贴至车辆1的周围的相机画面模型即可，例如，也可以将获得的拍摄图像粘贴至当前位置处的车辆1的周围的相机画面模型。接着，显示用图像生成部401生成对应于生成的空间内的车辆1的当前位置配置车辆图像的空间作为虚拟空间。然后，显示用图像生成部401生成从通过操作输入部10输入的虚拟视点观察生成的虚拟空间内的注视点而得到的图像作为显示用图像。
此外，在本实施方式中，显示用图像生成部401每当通过操作输入部10输入了新的虚拟视点，就重新生成从新的虚拟视点观察虚拟空间内的注视点而得到的显示用图像。显示用图像输出部402将由显示用图像生成部401生成的显示用图像输出至显示装置8。由此，能够同时观察显示用图像中包含的障碍物的图像与立体的车辆图像，因此能够使车辆1与障碍物之间的位置关系变得易于掌握。
接下来，利用图5，对基于本实施方式涉及的车辆1的显示用图像的显示处理的流程的一个示例进行说明。图5为表示基于第一实施方式涉及的车辆的显示用图像的显示处理的流程的一个示例的流程图。
在本实施方式中，显示用图像生成部401获取对显示用图像的显示进行指示的显示指示(步骤S501)。获得了显示指示的情况下(步骤S502：“是”)，显示用图像生成部401获取由拍摄部15拍摄过去位置处的车辆1的周围而得到的拍摄图像(步骤S503)。例如，显示用图像生成部401获取：在当前时刻之前预先设定时间(例如，数秒)的过去时刻的车辆1的过去位置(或者，比车辆1的当前位置靠近前预先设定距离(例如，2m)的过去位置)，由拍摄部15拍摄车辆1的周围而得到的拍摄图像。此外，在本实施方式中，显示用图像生成部401获取包含与当前位置处的车辆1的车底下方对应的图像的拍摄图像。由此，能够生成包含当前位置处的车辆1的车底下方的图像的显示用图像，因此能够通过显示装置8确认当前位置处的车辆1的车底下方的情况。
接下来，显示用图像生成部401基于获得的拍摄图像，生成从通过操作输入部10输入的虚拟视点观察虚拟空间内的注视点而得到的显示用图像(步骤S504)。在本实施方式中，显示用图像生成部401将通过一个拍摄部15拍摄过去位置处的车辆1的周围而得到的拍摄图像粘贴至相机画面模型。并且，显示用图像生成部401将包含该相机画面模型的空间作为虚拟空间。由此，与将通过多个拍摄部15拍摄车辆1的周围而得到的多个拍摄图像粘贴至相机画面模型的情况不同，能够防止粘贴到相机画面模型的拍摄图像上产生接缝，因此能够使车辆1与其周围的障碍物之间的位置关系变得更加易于确认。另外，在本实施方式中，显示用图像生成部401基于一个拍摄部15的拍摄图像来生成显示用图像，但也可以基于多个拍摄部15的拍摄图像来生成显示用图像。
显示用图像输出部402将由显示用图像生成部401生成的显示用图像输出至显示装置8，并在显示装置8显示显示用图像(步骤S505)。然后，显示用图像生成部401获取指示显示用图像的显示结束的结束指示(步骤S506)。在获得了结束指示的情况下(步骤S507：“是”)，显示用图像输出部402停止对显示装置8输出显示用图像，使显示用图像在显示装置8的显示结束(步骤S508)。
另一方面，在未获得结束指示的情况下(步骤S507：“否”)，显示用图像生成部401对是否通过操作输入部10输入了新的虚拟视点进行判断(步骤S509)。在未输入新的虚拟视点而经过了预先设定时间的情况下(步骤S509：“否”)，显示用图像输出部402停止对显示装置8输出显示用图像，使显示用图像在显示装置8的显示结束(步骤S508)。在输入了新的虚拟视点的情况下(步骤S509：“是”)，显示用图像生成部401返回步骤S504，重新生成从新的虚拟视点观察虚拟空间内的注视点而得到的显示用图像。
接下来，利用图6～9，对基于本实施方式涉及的车辆1的显示用图像的生成处理的一个示例进行说明。图6及图7为用于说明基于第一实施方式涉及的车辆的显示用图像的生成所使用的相机画面模型的一个示例的图。在图6及图7中，设与车辆1的轮胎的接地面(路面)平行的一个方向为Z方向、与车辆1的轮胎的接地面平行且与Z方向正交的方向为X方向、与接地面垂直的方向为Y方向。图8及图9为用于说明第一实施方式涉及的车辆中的显示用图像的生成所使用的相机画面模型以及车辆图像的一个示例的图。
在本实施方式中，如图6及图7所示，显示用图像生成部401预先生成包含第一面S1与第二面S2的相机画面模型S。在本实施方式中，第一面S1为与车辆1所在的路面对应的平坦的面。例如，第一面S1为椭圆形的平坦的面。第二面S2为：以第一面S1为基准、与第一面S1的外侧(外缘)连接地设置、并且随着远离该第一面S1而在Y方向上逐渐上升的曲面。例如，第二面S2为从第一面S1的外侧起、在Y方向上呈椭圆状或者抛物线状上升的曲面。即，显示用图像生成部401生成呈碗型或者圆筒状的三维的面作为相机画面模型S。
在本实施方式中，显示用图像生成部401生成具有平坦的第一面S1与曲面的第二面S2的三维的粘贴面作为相机画面模型S，但只要是生成三维的粘贴面作为相机画面模型S即可，并不限定于此。例如，显示用图像生成部401也可以生成具有平坦的第一面S1以及从该第一面S1的外侧起相对于该第一面S1垂直或者逐渐上升的平坦的面的第二面S2的三维的粘贴面，作为相机画面模型S。
接下来，显示用图像生成部401将在过去位置P1处由拍摄部15拍摄车辆1的周围而得到的拍摄图像粘贴至相机画面模型S。在本实施方式中，显示用图像生成部401预先生成：使在以过去位置P1为原点的世界坐标系内表示的相机画面模型S内的点(以下称为粘贴点)的坐标(以下称为三维坐标)、与粘贴于该三维坐标的粘贴点的、拍摄图像内的点(以下称为相机画面点)的坐标(以下称为相机画面坐标)建立关联的坐标表。并且，显示用图像生成部401将拍摄图像内的相机画面点粘贴至：在坐标表中与该相机画面点的相机画面坐标建立了关联的三维坐标的粘贴点。在本实施方式中，显示用图像生成部401每当车辆1的内燃机或者电动机启动时，就生成该坐标表。
然后，显示用图像生成部401将粘贴了拍摄图像的相机画面模型S配置于过去位置P1处的车辆1的周围的空间。并且，如图8及图9所示，显示用图像生成部401生成对应于该空间内的车辆1的当前位置P2配置了车辆图像CG的空间作为虚拟空间A。当生成虚拟空间A时，如图6所示，显示用图像生成部401将从在该虚拟空间A中设置于车辆1的当前位置P2的车辆图像CG的前端起相对于第一面S1垂直降下的点设定为注视点P3。接着，如图6、图8及图9所示，显示用图像生成部401生成从由操作输入部10输入的虚拟视点P4观察注视点P3而得到的显示用图像。由此，能够同时观察显示用图像中包含的障碍物的图像与立体的车辆图像CG，因此能够使车辆1与障碍物之间的位置关系变得易于掌握。
此外，在本实施方式中，如图8及图9所示，显示用图像生成部401对车辆图像CG的透明度进行调整，以使得穿过车辆图像CG能透视到粘贴到相机画面模型S的拍摄图像，然后将该车辆图像CG配置在虚拟空间A。此时，显示用图像生成部401使车辆图像CG包含车轮的图像TG，该车轮的图像TG(以下称为车轮图像)为能够穿过车辆图像CG所包含的车身图像而被观察到三维的外形的显示形态。例如，显示用图像生成部401使车辆图像CG内的车轮图像TG以外的部分(例如，车身的图像)的透明度高于车轮图像TG的透明度。由此，如图8及图9所示，能够防止显示用图像中包含的车轮图像TG由于车辆图像CG内的车轮图像TG以外的部分而变得无法观察，因此能够基于车轮图像TG，使显示用图像内的车辆图像CG与障碍物之间的位置关系变得易于掌握。
此外，在本实施方式中，显示用图像生成部401从转向角传感器19获取当前位置P2处的车辆1的转向操作量。并且，如图8及图9所示，显示用图像生成部401，生成包含车辆图像CG的空间作为虚拟空间A，该车辆图像CG包含旋转了与获取的转向操作量对应的转向角后的车轮图像TG。由此，基于显示用图像中包含的车轮图像TG能够确认车辆1的车轮的转向角，因此能够使在车辆1以当前的转向角行驶的情况下车辆1是否会与障碍物接触变得易于掌握。此外，显示用图像生成部401可以将车轮图像TG的透明度设定为在虚拟空间A内能够观察该车轮图像TG所在的位置的路面的图像的透明度。由此，能够掌握车辆1的车轮正在行驶的路面的状态。
此外，在本实施方式中，显示用图像生成部401可以从轮速传感器22获取车轮3的转数，并根据获得的转数使车轮图像TG旋转。由此，在显示用图像内，在车轮图像TG旋转的同时，车辆图像CG移动，因此能够防止车辆1的乘坐人员对在显示用图像内车轮图像TG没有旋转而车辆图像CG却在移动的情况产生的别扭感。
此外，在本实施方式中，如图8及图9所示，显示用图像生成部401将以面来表示车辆1的三维图像的图像作为车辆图像CG设置于虚拟空间A，但只要将能够观察车辆1的三维的形状的图像作为车辆图像CG设置于虚拟空间A即可。例如，显示用图像生成部401也可以将以轮廓线来表示车辆1的三维的形状的线框模型作为车辆图像CG设置于虚拟空间A。由此，能够防止车轮图像TG由于车辆图像CG内的车轮图像TG以外的部分而变得无法观察，因此能够通过车轮图像TG使显示用图像内的车辆图像CG与障碍物之间的位置关系变得易于掌握。
此外，在将包含粘贴了通过广角的相机(例如，视角为180°的相机)拍摄过去位置P1处的车辆1的周围(例如，车辆1的前方)而得到的拍摄图像的相机画面模型S的虚拟空间A的图像，保持原样地显示于显示装置8的情况下，拍摄图像中包含的车辆1的图像(例如，车辆1的前保险杠的图像)会映入显示用图像，车辆1的乘坐人员可能会感到别扭。对此，在本实施方式中，显示用图像生成部401通过从车辆1的过去位置P1起、朝向车辆1的外侧隔开间隙地设置相机画面模型S，能够防止拍摄图像中包含的车辆1的图像映入显示用图像，能够防止车辆1的乘坐人员产生别扭的感觉。
接下来，利用图10～图12，对在本实施方式涉及的车辆1生成的显示用图像的一个示例进行说明。图10～图12为表示在第一实施方式涉及的车辆生成的显示用图像的一个示例的图。
如图10所示，显示用图像输出部402将由显示用图像生成部401生成的显示用图像G输出至显示装置8，使显示装置8显示显示用图像G。然后，在车辆1的乘坐人员在显示有图10所示的显示用图像G的显示装置8的显示画面上进行轻击等、指示了虚拟视点P4在车辆图像CG的车宽方向上从该车辆图像CG的中央向右方移动的情况下，如图11所示，显示用图像生成部401生成从在车辆图像CG的车宽方向上从该车辆图像CG的中央向右侧移动了的虚拟视点P4观察注视点P3而得到的图像，作为显示用图像G。在本实施方式中，如图10及图11所示，显示用图像生成部401以使显示用图像G内的注视点P3的位置位于该显示用图像G内的中心的方式，生成显示用图像G。
另一方面，在车辆1的乘坐人员在显示装置8的显示画面上进行轻击、指示了虚拟视点P4在车辆图像CG的车宽方向上从该车辆图像CG的中央向左方移动的情况下，如图12所示，显示用图像生成部401生成从在车辆图像CG的车宽方向上从该车辆图像CG的中央向左侧移动了的虚拟视点P4观察注视点P3而得到的图像，作为显示用图像G。由此，能够显示从各种角度观察车辆图像CG与障碍物之间的位置关系而得到的显示用图像G，因此能够使车辆1与障碍物之间的位置关系变得更加易于掌握。
如此，通过第一实施方式涉及的车辆1，能够同时观察显示用图像中包含的障碍物的图像与立体的车辆图像，因此能够使车辆1与障碍物之间的位置关系变得易于掌握。
第二实施方式
本实施方式为对在以车辆的当前位置为原点的世界坐标系内表示的相机画面模型、粘贴在过去位置处拍摄车辆的周围而得到的拍摄图像的示例。在以下的说明中，省略对与第一实施方式相同的结构的说明。
图13为用于说明基于第二实施方式涉及的车辆的虚拟空间的生成处理的一个示例的图。在图13中，设与车辆1的轮胎的接地面(路面)平行的一个方向为Z方向，与车辆1的轮胎的接地面平行且与Z方向正交的方向为X方向，与接地面垂直的方向为Y方向。如图13所示，显示用图像生成部401与第一实施方式同样地，预先生成包含第一面S1与第二面S2的相机画面模型S。
此外，显示用图像生成部401获取过去位置P1、以及该过去位置P1处的车辆1的行进方向(方位)。接着，显示用图像生成部401求取过去位置P1处的车辆1的行进方向(方位)与当前位置P2处的车辆1的行进方向(方位)之差即方位差、以及过去位置P1与当前位置P2之差即本车位置差。并且，如图13所示，显示用图像生成部401基于求得的方位差及本车位置差，对于在以当前位置P2为原点的世界坐标系内表示的相机画面模型S内的各个三维坐标(X1，Y1，Z1)，进行旋转和/或平行移动，将该三维坐标(X1，Y1，Z1)转换成在以过去位置P1为原点的世界坐标系内的三维坐标(X2，Y2，Z2)。
进而，如图13所示，显示用图像生成部401对在以过去位置P1为原点的世界坐标系内表示的三维坐标(X2，Y2，Z2)进行投影转换，求取粘贴于该三维坐标(X2，Y2，Z2)的相机画面点的相机画面坐标(U，V)。并且，显示用图像生成部401将求得的相机画面坐标(U，V)的相机画面点粘贴至在以当前位置P2为原点的世界坐标系内表示的三维坐标(X1，Y1，Z1)的粘贴点。由此，显示用图像生成部401对在以车辆1的当前位置P2为原点的世界坐标系内表示的相机画面模型S，粘贴在过去位置P1处拍摄车辆1的周围而得到的拍摄图像。
如此，通过第二实施方式涉及的车辆1，能够得到与第一实施方式相同的作用效果。
第三实施方式
本实施方式为将在虚拟空间内从上方观察车辆图像的情况下的该车辆图像的轮廓线配置于该虚拟空间的示例。在以下的说明中，省略对与第一实施方式相同的结构进行的说明。
图14为表示通过第三实施方式涉及的车辆生成的显示用图像的一个示例的图。在本实施方式中，显示用图像生成部401将对虚拟空间内的车辆图像从该车辆图像的上方进行观察的情况下的该车辆图像的轮廓线L1(例如，虚线)配置于虚拟空间。具体地，显示用图像生成部401求取将车辆图像投影于相机画面模型S的第一面S1而得到的图像的轮廓作为轮廓线L1。并且，显示用图像生成部401将求得的轮廓线L1配置于第一面S1。由此，如图14所示，在显示用图像G内也可以包含轮廓线L1，能够同时观察显示用图像G中包含的障碍物的图像与平面的车辆图像CG的位置，因此能够使车辆1与障碍物之间的位置关系变得更加易于掌握。
此外，在本实施方式中，在显示用图像生成部401具有能够对存在于车辆1的周围的路面与车身2的距离进行检测的立体相机作为拍摄部15的情况下，基于通过该立体相机检测出的距离，求取到当前时刻之后的时刻为止车轮3通过的轨迹线L2(以下称为预想轨迹线)。并且，如图14所示，显示用图像生成部401可以在显示用图像G中，对路面的图像RG(以下称为路面图像)叠加求得的预想轨迹线L2。由此，能够观察车辆1所行驶的路面的路面情况，因此能够使车辆1的周围的环境变得更加易于掌握。在本实施方式中，是通过立体相机对存在于车辆1的周围的路面与车身2的距离进行检测，但并不限定于此，例如，也可以通过激光雷达等对存在于车辆1的周围的路面与车身2的距离进行检测。
此外，在本实施方式中，显示用图像生成部401使预想轨迹线L2叠加于显示用图像G，但仅需使显示用图像G包含能够观察到存在于车辆1的周围的路面的凹凸的图像即可。例如，显示用图像生成部401也可以根据由立体相机或激光雷达等检测出的、存在于车辆1的周围的路面与车身2的距离，将使存在于车辆1的周围的路面的凹凸能够被观察到的影线(例如，半透明的影线)叠加于显示用图像G，或者对显示用图像G内的路面图像RG的阴影进行强调。或者，显示用图像生成部401还可以在相机画面模型S的第一面S1设置与存在于车辆1的周围的路面的凹凸对应的凹凸。
进而，在本实施方式中，显示用图像生成部401通过设置于悬架的行程传感器，检测车辆1具有的悬架的行程。并且，显示用图像生成部401可以将能够观察检测出的行程的车辆图像配置于虚拟空间。由此，能够观察车辆1所行驶的路面的路面情况，因此能够使车辆1的周围的环境变得更加易于掌握。
具体地，显示用图像生成部401根据检测出的行程，改变虚拟空间内的车辆图像所包含的车身的图像与车轮图像之间的距离。例如，在车辆1的车轮3位于路面的凹部、检测出的行程长于预先设定的行程的情况下，显示用图像生成部401使车辆图像所包含的车身的图像与车轮图像之间的距离长于预先设定的距离。由此，如图14所示，在车辆1的车轮3位于路面的凹部的情况下，增长车辆图像CG所包含的车身的图像与车轮图像TG(以实线表示的车轮图像TG)之间的距离，能够表示出车轮3位于凹部这一点，因此能够使车辆1的周围的环境变得更加易于掌握。
另一方面，在车辆1的车轮位于路面的凸部、检测出的行程短于预先设定的行程的情况下，显示用图像生成部401使车辆图像所包含的车身的图像与车轮图像之间的距离短于预先设定的距离。由此，如图14所示，在车辆1的车轮3位于路面的凸部的情况下，缩短车辆图像CG所包含的车身的图像与车轮图像TG(以虚线表示的车轮图像TG)之间的距离，能够表示出车轮3位于凸部这一点，因此能够使车辆1的周围的环境变得更加易于掌握。
如此，通过第三实施方式涉及的车辆1，能够同时观察显示用图像G中包含的障碍物的图像与以平面方式表示的车辆图像的位置，因此能够使车辆1与障碍物之间的位置关系变得更加易于掌握。

Claims (7)

1.一种周边监控装置，其特征在于，包括：
生成部，其生成从虚拟视点观察虚拟空间内的注视点而得到的显示用图像，所述虚拟空间包含将通过车辆搭载的拍摄部对第一时刻的车辆的第一位置处的所述车辆的周围进行拍摄而得到的拍摄图像粘贴于以所述第一位置为原点的所述车辆的周围的三维的面而成的模型、以及在所述第一时刻之后的第二时刻的所述车辆的第二位置设置的三维的车辆图像，所述虚拟视点是通过操作输入部输入的；以及
输出部，其将所述显示用图像输出至显示部。
2.根据权利要求1所述的周边监控装置，其特征在于：
所述车辆图像为能透视到所述模型的图像。
3.根据权利要求1或2所述的周边监控装置，其特征在于：
所述拍摄图像是通过一个所述拍摄部对所述第一位置处的所述车辆的周围进行拍摄而得到的。
4.根据权利要求1～3中的任一项所述的周边监控装置，其特征在于：
所述车辆图像为：穿过所述车辆图像所包含的车身的图像、能够观察到所述车辆图像所包含的车轮的图像的三维外形的图像。
5.根据权利要求1～4中的任一项所述的周边监控装置，其特征在于：
所述生成部将在所述虚拟空间内从上方观察所述车辆图像情况下的该车辆图像的轮廓线配置于所述虚拟空间内。
6.根据权利要求4所述的周边监控装置，其特征在于：
所述生成部获取所述第二位置处的所述车辆的转向操作量，并使所述车辆图像包含旋转了该获取的转向操作量后的所述车轮的图像。
7.根据权利要求1～6中的任一项所述的周边监控装置，其特征在于：
所述拍摄图像包括与所述第二位置处的所述车辆的车底下方对应的图像。
CN201880054031.1A 2017-07-07 2018-03-05 周边监控装置 Active CN110997409B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017133814A JP6962036B2 (ja) 2017-07-07 2017-07-07 周辺監視装置
JP2017-133814 2017-07-07
PCT/JP2018/008408 WO2019008824A1 (ja) 2017-07-07 2018-03-05 周辺監視装置

Publications (2)

Publication Number Publication Date
CN110997409A CN110997409A (zh) 2020-04-10
CN110997409B true CN110997409B (zh) 2023-05-19

Family

ID=64949915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880054031.1A Active CN110997409B (zh) 2017-07-07 2018-03-05 周边监控装置

Country Status (4)

Country Link
US (1) US11477373B2 (zh)
JP (1) JP6962036B2 (zh)
CN (1) CN110997409B (zh)
WO (1) WO2019008824A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019191002A1 (en) 2018-03-26 2019-10-03 Nvidia Corporation Object movement behavior learning
KR20210062144A (ko) * 2019-11-20 2021-05-31 현대자동차주식회사 군집 주행 시 가상 차선 표시 장치 및 그 방법
JP2022082487A (ja) 2020-11-23 2022-06-02 株式会社デンソー 周辺画像生成装置、表示制御方法
JP2022125859A (ja) * 2021-02-17 2022-08-29 株式会社デンソー 周辺画像表示装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0183299B1 (ko) * 1996-11-04 1999-04-15 삼성전자주식회사 자동차의 주변사항을 알려주는 네비게이션 장치 및 그 제어방법
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP2006031101A (ja) * 2004-07-12 2006-02-02 Olympus Corp 画像生成方法およびその装置
JP5134504B2 (ja) * 2008-11-06 2013-01-30 クラリオン株式会社 車両周辺監視システム
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5271154B2 (ja) * 2009-05-29 2013-08-21 富士通テン株式会社 画像生成装置及び画像表示システム
JP5765995B2 (ja) * 2011-03-31 2015-08-19 富士通テン株式会社 画像表示システム
EP2511137B1 (en) * 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
JP5720969B2 (ja) * 2011-10-21 2015-05-20 アイシン精機株式会社 車両運転支援装置
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
US9762880B2 (en) * 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
JP5862532B2 (ja) * 2012-09-26 2016-02-16 アイシン精機株式会社 車両運転支援装置
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
JP6105244B2 (ja) * 2012-09-28 2017-03-29 富士通テン株式会社 画像処理装置、及び画像処理システム
US9956913B2 (en) 2013-03-28 2018-05-01 Aisin Seiki Kabushiki Kaisha Surroundings-monitoring device and computer program product
JP6148887B2 (ja) * 2013-03-29 2017-06-14 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP6084097B2 (ja) * 2013-03-29 2017-02-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP6340969B2 (ja) * 2014-07-14 2018-06-13 アイシン精機株式会社 周辺監視装置、及びプログラム
EP3072710B1 (en) * 2015-03-24 2018-03-28 LG Electronics Inc. Vehicle, mobile terminal and method for controlling the same
JP6613774B2 (ja) * 2015-09-30 2019-12-04 アイシン精機株式会社 周辺監視装置
JP6610140B2 (ja) * 2015-09-30 2019-11-27 アイシン精機株式会社 周辺監視装置
JP6555056B2 (ja) * 2015-09-30 2019-08-07 アイシン精機株式会社 周辺監視装置
JP6606956B2 (ja) * 2015-09-30 2019-11-20 アイシン精機株式会社 周辺監視装置
JP6816436B2 (ja) 2016-10-04 2021-01-20 アイシン精機株式会社 周辺監視装置
US20180210442A1 (en) * 2017-01-23 2018-07-26 Qualcomm Incorporated Systems and methods for controlling a vehicle using a mobile device
CN108791062B (zh) * 2017-05-02 2021-12-10 上海蔚兰动力科技有限公司 动态信息系统及操作方法

Also Published As

Publication number Publication date
US11477373B2 (en) 2022-10-18
US20200169662A1 (en) 2020-05-28
JP2019014398A (ja) 2019-01-31
JP6962036B2 (ja) 2021-11-05
CN110997409A (zh) 2020-04-10
WO2019008824A1 (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
JP7151293B2 (ja) 車両周辺表示装置
JP7222254B2 (ja) 周辺表示制御装置
CN110997409B (zh) 周边监控装置
CN110945558B (zh) 显示控制装置
CN111066319B (zh) 图像处理装置
WO2019058585A1 (ja) 表示制御装置
JP6876236B2 (ja) 表示制御装置
JP7013751B2 (ja) 画像処理装置
JP7283514B2 (ja) 表示制御装置
CN110959289B (zh) 周边监控装置
CN111034188B (zh) 周边监控装置
JP6962035B2 (ja) 周辺監視装置
US20200184722A1 (en) Periphery monitoring device
JP6930202B2 (ja) 表示制御装置
JP7259914B2 (ja) 周辺監視装置
JP6965563B2 (ja) 周辺監視装置
JP2018191061A (ja) 周辺監視装置
JP2018186387A (ja) 表示制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220214

Address after: Aichi Prefecture, Japan

Applicant after: AISIN Co.,Ltd.

Address before: Aichi Prefecture, Japan

Applicant before: AISIN SEIKI Kabushiki Kaisha

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant