CN109792509B - 周边监控装置 - Google Patents

周边监控装置 Download PDF

Info

Publication number
CN109792509B
CN109792509B CN201780060990.XA CN201780060990A CN109792509B CN 109792509 B CN109792509 B CN 109792509B CN 201780060990 A CN201780060990 A CN 201780060990A CN 109792509 B CN109792509 B CN 109792509B
Authority
CN
China
Prior art keywords
image
virtual
moving object
display
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780060990.XA
Other languages
English (en)
Other versions
CN109792509A (zh
Inventor
渡边一矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN109792509A publication Critical patent/CN109792509A/zh
Application granted granted Critical
Publication of CN109792509B publication Critical patent/CN109792509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种周边监控装置，其具有：拍摄部，其拍摄移动体的周边并生成拍摄图像；以及控制部，其基于上述拍摄图像生成从虚拟视点观察到的周边图像，其还生成使移动体图像叠加于上述周边图像的显示图像，并且使上述移动体图像的位置在上述显示图像内固定来进行显示；该虚拟视点为随着上述移动体的移动在与上述移动体的当前位置相对的相对位置所设定的视点，该移动体图像表示上述移动体的位置。

Description

周边监控装置
技术领域
本发明涉及周边监控装置。
背景技术
已知有这样的周边监控装置：其显示将由基于拍摄图像生成的车辆等移动体的周边的图像与移动体的图像合成而得到的显示图像。这样的周边图像装置，例如显示这样的显示图像：在基于1张拍摄图像生成的周边图像内，移动体的图像与移动体的移动对应地移动。
专利文献1：WO2014/156220
发明内容
然而，上述的周边监控装置存在以下问题：由于使移动体的图像在显示图像内移动，因此乘坐人员不易观察该显示图像。
本发明是鉴于上述问题而完成的，其提供一种周边监控装置，能够显示使乘坐人员易于观察的显示图像。
为了解决上述问题，实现目的，本发明的周边监控装置具有：拍摄部，其拍摄移动体的周边并生成拍摄图像；以及控制部，其基于上述拍摄图像生成从虚拟视点观察到的周边图像，其还生成使移动体图像叠加于上述周边图像的显示图像，并且使上述移动体图像的位置在上述显示图像内固定来进行显示；该虚拟视点为随着上述移动体的移动在与上述移动体的当前位置相对的相对位置所设定的视点，该移动体图像表示上述移动体的位置。
如此，周边监控装置使得移动体图像的位置在显示图像内固定，因此能够显示使乘坐人员易于观察的显示图像。
本发明的周边监控装置中，可以是：上述控制部生成对投影于三维虚拟投影面的上述拍摄图像从上述虚拟视点进行观察而得到的上述周边图像，该三维虚拟投影面包含第1虚拟面以及与上述第1虚拟面相交的第2虚拟面。由此，与基于在二维虚拟投影面上投影的拍摄图像生成周边图像的情况相比，周边监控装置能够在显示图像内抑制沿铅垂方向延伸的移动体的周边物体(例如，电线杆等)的图像的拉伸，生成乘坐人员易于观察的周边图像。
本发明的周边监控装置中，可以是：对于上述控制部，上述控制部基于来自用户的输入，使上述虚拟视点移动。由此，周边监控装置能够提供包含从用户期望的虚拟视点观察到的周边图像的显示图像。
本发明的周边监控装置中，可以具有：存储部，其用于存储三维移动体形状模型，该三维移动体形状模型是上述移动体的三维的形状模型；上述移动体图像基于预先存储于上述存储部的上述三维移动体形状模型而生成。由此，周边监控装置通过将三维的移动体图像叠加，能够提供更加易于观察的显示图像。
附图说明
图1为第1实施方式的车辆的例示性的立体图，该车辆的车室的一部分以透视的状态表示。
图2为车辆的例示性的俯视图。
图3为用于说明车辆的构成的框图。
图4为表示ECU的功能的框图。
图5为控制部实施的图像显示处理的流程图。
图6为用于说明包含投影先前拍摄图像的投影面的虚拟空间的图。
图7为从侧面观察虚拟投影面而得到的侧视图。
图8为用于说明基于图像生成部生成周边图像的图。
图9为表示包含由图像生成部生成的周边图像的显示图像的一个示例的图。
图10为用于说明从图8起车辆移动了的状态下的基于图像生成部生成显示图像的图。
图11为表示由图像生成部更新了的显示图像的一个示例的图。
图12为第1变形例的虚拟投影面的侧视图。
图13为第1变形例的虚拟投影面的侧视图。
图14为表示第2实施方式中虚拟视点与虚拟投影面的关系的图。
图15为表示使三维的车辆图像叠加于将虚拟视点设定于车辆的内侧的周边图像的显示图像的一个示例的图。
图16为表示使三维的车辆图像叠加于将虚拟视点设定于车辆的外侧的周边图像的显示图像的一个示例的图。
具体实施方式
以下的例示性的实施方式等中，对相同的构成要素赋予相同的符号，并酌情省略重复的说明。
第1实施方式
图1为第1实施方式的车辆1的例示性的立体图，该车辆1的车室2a的一部分以透视的状态表示。车辆1例如可以是以内燃机(发动机，未图示)作为驱动源的汽车(内燃机汽车)，也可以是以电动机(马达，未图示)作为驱动源的汽车(电动汽车、燃料电池汽车等)，还可以是以上述二者双方作为驱动源的汽车(混合动力汽车)。此外，车辆1可以搭载各种变速装置，也可以搭载对于驱动内燃机或电动机来说是必要的各种装置(系统、部件等)。此外，对车辆1中的与车轮3的驱动相关装置的方式、个数、以及布局等，可以进行各种设定。
如图1所示，车辆1具有：车身2、转向部4、加速操作部5、制动操作部6、变速操作部7、以及显示器装置11。
车身2构成有供未图示的乘坐人员乘车的车室2a。在车室2a内，以朝向作为乘坐人员的驾驶员的座椅2b的状态，设置有转向部4、加速操作部5、制动操作部6、变速操作部7、显示装置8、声音输出装置9、以及操作输入部10等。车身2包括设置于前端部的下部的前保险杠以及设置于后端部的下部的后保险杠等。
转向部4例如是从前围板突出的方向盘。加速操作部5例如是位于驾驶员脚下的油门踏板。制动操作部6例如是位于驾驶员脚下的制动踏板。变速操作部7例如是从中央控制台突出的变速杆。另外，转向部4、加速操作部5、制动操作部6、以及变速操作部7并不限定于此。
显示器装置11例如设置于前围板的车宽方向即左右方向上的中央部。显示器装置11例如也可以具有导航系统或者音响系统等的功能。显示器装置11具有显示装置8、声音输出装置9、以及操作输入部10。显示器装置11还可以具有开关、旋钮、控制杆、以及按钮等未图示的操作输入部。
显示装置8基于图像信息显示图像。显示装置8例如是LCD(Liquid CrystalDisplay，液晶显示器)或者OELD(Organic Electroluminescent Display，有机电致发光显示器)等。
声音输出装置9基于声音数据输出声音。声音输出装置9例如是扬声器。声音输出装置9可以设置于显示器装置11以外的车室2a内的不同位置。
操作输入部10接收乘坐人员的输入。操作输入部10例如是触控面板。操作输入部10设置于显示装置8的显示屏。操作输入部10构成为能够透过在显示装置8显示的图像。由此，操作输入部10使乘坐人员能够目视确认在显示装置8的显示屏显示的图像。操作输入部10接收、乘坐人员通过触碰与在显示装置8的显示屏显示的图像对应的位置而输入的指示。
图2为车辆1的例示性的俯视图。如图1以及图2所示，车辆1例如是四轮汽车，具有左右两个前轮3F和左右两个后轮3R。四个车轮3全部或者其中一部分可以转向。
车辆1具有多个拍摄部15。拍摄部15例如是内置CCD(Charge Coupled Device，电荷耦合器件)或者CIS(CMOS Image Sensor，互补金属氧化物半导体图像传感器)等拍摄元件的数码拍摄装置。拍摄部15能够将以规定的帧率生成的包括多帧图像的动态图像、或者静态图像的数据，作为图像的数据输出。例如，拍摄部15将对车辆1的周边进行拍摄得到的静态图像作为拍摄图像生成，并将该拍摄图像的数据输出。拍摄图像可以是动态图像或者静态图像。拍摄部15分别具有广角镜头或者鱼眼镜头，能够对水平方向上的140°～190°的范围进行拍摄。拍摄部15的光轴被设定为朝向斜下方。由此，拍摄部15输出对车辆1的周边的外部的环境进行拍摄而得到的拍摄图像数据，该车辆1的周边的外部的环境包括车辆1可移动的路面。
在本实施方式中，在车辆1设置有4个拍摄部15a、15b、15c和15d。车辆1也可以具有3个以下或者5个以上的多个拍摄部15。拍摄部15a例如设置于车辆1的前部的中央部。拍摄部15a拍摄车辆1的前方的周边的环境。拍摄部15b例如设置于车辆1的后部的中央部。拍摄部15b拍摄车辆1的后方的周边的环境。拍摄部15c设置于车身2的左侧的端部，例如左侧的车门后视镜2g。拍摄部15c拍摄车辆1的左侧的周边的环境。拍摄部15d设置于车身2的右侧的端部，例如右侧的车门后视镜2h。拍摄部15d拍摄车辆1的右侧的周边的环境。
图3为用于说明车辆1的构成的框图。如图3所示，车辆1还具有：轮速传感器22、ECU(Electronic Control Unit，电子控制单元)24、以及车内网络25。例如，显示器装置11、拍摄部15、以及ECU24作为周边监控装置50发挥功能。
轮速传感器22是用于检测车轮3的旋转量或每单位时间的旋转数的传感器。轮速传感器22将表示检测出的旋转数的轮速脉冲数作为传感器值输出。轮速传感器22例如使用霍尔元件等来构成。
ECU24例如是计算机。ECU24从拍摄部15接收拍摄图像数据。ECU24向显示器装置11发送与要输出的图像或者声音相关的数据。ECU24具有：CPU(Central Processing Unit，中央处理单元)24a、ROM(Read Only Memory，只读存储器)24b、RAM(Random Access Memory，随机存取存储器)24c、显示控制部24d、声音控制部24e、以及SSD(Solid State Drive，固态硬盘)24f。CPU24a、ROM24b以及RAM24c也可以集成在同一封装内。
CPU24a读取在ROM24b等非易失性的存储装置中存储的程序，并根据该程序实施各种运算处理以及控制。CPU24a例如实施对显示于显示装置8的周边监控用的图像等进行的图像处理。
ROM24b存储各程序以及对于执行程序来说是必要的参数等。RAM24c临时性地存储用于在CPU24a进行运算的各种数据。在ECU24中进行的运算处理中，显示控制部24d主要实施对由拍摄部15得到的图像进行的图像处理、以及要在显示装置8显示的显示用图像的数据转换等。在ECU24中进行的运算处理中，声音控制部24e主要实施对要使声音输出装置9输出的声音进行的处理。SSD24f是可以改写的非易失性的存储部，即使在ECU24的电源被切断的情况下也能够保持数据。
在本实施方式中，ECU24通过硬件与软件(控制程序)的配合，全盘管理对车辆1的控制。例如，ECU24基于从轮速传感器22获得的传感器值，对车辆1的移动距离以及车速等进行运算，实施各种控制。ECU24基于包含由拍摄部15拍摄到的周边的图像的拍摄图像，生成包含周边图像的显示图像，并使其在显示装置8显示。由此，ECU24实现作为周边监控装置50的功能。
车内网络25例如为CAN(Controller Area Network，控制器局域网络)。车内网络25将ECU24、操作输入部10、以及轮速传感器22电连接，并使其彼此之间能够收发控制信号以及操作信号等信息。
图4为表示ECU24的功能的框图。如图4所示，ECU24具有控制部30和存储部32。控制部30实现作为CPU24a、显示控制部24d、以及声音控制部24e的功能。存储部32实现作为ROM24b、RAM24c、以及SSD24f的功能。
控制部30基于拍摄图像，生成从随着车辆1的移动在与车辆1的当前位置相对的相对位置所设定的虚拟视点观察到的周边图像。控制部30还生成使表示车辆1的位置的车辆图像(移动体图像的一个示例)叠加于生成的周边图像上的显示图像。控制部30使车辆图像的位置在显示图像内固定地对其进行显示。控制部30具有判定部52和图像生成部54。控制部30例如通过读取存储于存储部32的图像显示用的程序，来作为判定部52及图像生成部54发挥功能。另外，判定部52以及图像生成部54的一部分或者全部，也可以由包括ASIC(Application Specific Integrated Circuit，专用集成电路)的电路等硬件构成。
判定部52实施在图像显示中是必要的判定。具体地，判定部52判定是否要显示包含周边图像的显示图像。例如，判定部52根据车辆1的速度(即，车速)，判定是否要显示包含周边图像的显示图像。另外，判定部52也可以根据变速操作部7的档位等其他情况，判定是否要显示包含周边图像的显示图像。此外，判定部52判定是否要更新包含周边图像的显示图像。例如，判定部52根据车辆1的移动距离，判定是否更新显示图像。此外，判定部52还判定是否要结束显示包含周边图像的显示图像。例如，判定部52根据车辆1是否已停止，判定是否结束显示包含周边图像的显示图像。
图像生成部54生成在显示装置8显示的显示图像。具体地，图像生成部54获取由拍摄部15拍摄到的拍摄图像。图像生成部54基于拍摄图像，生成从随着车辆1的移动在与车辆1的当前位置相对的相对位置所设定的虚拟视点观察到的周边图像。例如，图像生成部54将从虚拟视点观察投影于预先设定的虚拟投影面的撮影图像而得到的图像作为周边图像生成。另外，图像生成部54也可以不生成将撮影图像投影到虚拟投影面而得到的中间图像，而是使用GPU(Graphics Processing Unit，图形处理单元)等，将与上述的从虚拟视点观察投影于虚拟投影面的撮影图像而得到的图像同等的图像作为周边图像生成。图像生成部54生成将车辆图像叠加于生成的周边图像而得到的显示图像。这里，图像生成部54使车辆图像的位置在显示图像内固定。另外，车辆图像例如预先存储于存储部32。图像生成部54使生成的显示图像依序在显示装置8显示。
存储部32用于存储控制部30实施的程序及对于程序的实施来说是必要的数据等。例如，存储部32存储图像显示用的程序。存储部32将与用于进行判断是否要显示包含周边图像的显示图像的阈值车速、投影拍摄图像的虚拟投影面、以及车辆图像相关的数据，作为对于图像显示用的程序的实施来说是必要的数据进行存储。存储部32也可以是设置于网络上的存储装置(例如，云)等。
图5为控制部30实施的图像显示处理的流程图。控制部30通过读取图像显示用的程序，作为判定部52以及图像生成部54发挥功能，实施图像显示处理。
在图像显示处理中，控制部30的判定部52判定是否要显示包含周边图像的显示图像(S102)。例如，判定部52根据基于从轮速传感器22获得的传感器值计算出的车速是否小于预先设定的阈值车速，来判定是否显示包含周边图像的显示图像。阈值车速的一个示例是10km/h。此时，判定部52在车速小于阈值车速的情况下，判定为显示包含周边图像的显示图像。另一方面，判定部52在车速为阈值车速以上的情况下，判定为不显示包含周边图像的显示图像。另外，判定部52也可以基于通过操作输入部10接收到的乘坐人员的操作指示，来判定是否要显示该显示图像。
判定部52在判定为不显示包含周边图像的显示图像时(S102：否)，成为待机状态。另一方面，判定部52在判定为要显示包含周边图像的显示图像时(S102：是)，将显示指示向图像生成部54输出。
图像生成部54在从判定部52获得显示指示时，生成周边图像(S104)。例如，图像生成部54从存储部32获取由拍摄部15拍摄到的先前拍摄图像，将从虚拟视点观察将该拍摄图像投影于虚拟投影面而得到的图像作为周边图像生成。
图6为用于说明包含投影先前拍摄图像的虚拟投影面60的虚拟空间66的图。图7为从侧面观察虚拟投影面60而得到的侧视图。设图6中以箭头表示的XZ为X方向以及Z方向。设图7中以箭头表示的Y为Y方向。图6为虚拟空间66中的车辆1以及车辆1的周边的大致情况的俯视图。
例如，图像生成部54从存储部32获取：由存在于拍摄图像被拍摄时的车辆1的位置即拍摄位置PT0的车辆1的拍摄部15拍摄到的先前拍摄图像。图像生成部54还从存储部32获取与预先设定的虚拟投影面60相关的信息(例如，虚拟投影面60的大小以及位置等信息)。图像生成部54在图6中示出的三维的虚拟空间66内，将三维虚拟投影面60设定于拍摄位置PT0的行进方向侧(例如，前方侧)。虚拟投影面60包含第1虚拟面62、以及与第1虚拟面62连续的第2虚拟面64。第1虚拟面62是与XZ面(即，水平面)平行的面。第2虚拟面64是与YZ面(即，铅垂面)平行的面。即，第2虚拟面64与第1虚拟面62相交。第1虚拟面62的行进方向侧的端部与第2虚拟面64的下端部连结。图像生成部54将从虚拟视点观察投影于三维虚拟投影面60的先前拍摄图像而得到的图像作为周边图像生成。
对基于图像生成部54生成周边图像72a进行具体说明。图8为用于说明基于图像生成部54生成周边图像72a的图。图8为在虚拟空间66中，从图6的拍摄位置PT0沿着粗线箭头AR1移动到虚拟位置PT1的状态下的车辆1以及车辆1的周边的大致情况的俯视图。另外，在图8中，以虚线表示处于拍摄位置PT0的车辆1。
如图8所示，图像生成部54在虚拟空间66内设定与在实际空间(例如，世界坐标)中的车辆1的当前位置对应的车辆1的虚拟位置PT1。图像生成部54将从基于车辆1的虚拟位置PT1设定的虚拟视点VV1观察投影于虚拟投影面60的拍摄图像而得到的图像作为周边图像72a生成。例如，图像生成部54以虚拟视点VV1为起点，将在从该起点起沿行进方向(例如，前方)的方向规定的虚拟视线的两侧的区域中预先规定出的设定角度的区域(例如，图8的带点区域)能够观察到的图像，作为周边图像72a生成。另外，图像生成部54也可以根据车辆1的当前位置或者虚拟位置PT1，任意设定虚拟视点VV1的位置。本实施方式的图像生成部54使虚拟视点VV1相对于车辆1的当前位置或者虚拟位置PT1的相对位置固定，随着车辆1的移动使虚拟视点VV1的位置也移动。例如，图像生成部54将虚拟视点VV1的位置设为在俯视时位于车辆1的中心轴的后方1米以及高度2米处。在本实施方式中，使虚拟视点VV1与虚拟位置PT1一致，但并不限定于此。
接下来，图像生成部54将车辆1的图像即车辆图像74叠加于生成的周边图像72a，生成显示图像(S106)。
图9为包含由图像生成部54生成的周边图像72a的显示图像70a的一个示例。图像生成部54将车辆1的图像即车辆图像74叠加于生成的周边图像72a内的车辆1的虚拟位置PT1处，生成如图9所示的显示图像70a。另外，在图9中，车辆图像74以带点区域以及虚线的框来表示，但并不限定于此。图像生成部54也可以生成在投影于第2虚拟面64的拍摄图像上附加了水平线76而得到的显示图像70a。
图像生成部54使生成的如图9所示的显示图像70a在显示装置8显示(S108)。
判定部52判定是否要更新显示图像70a(S110)。例如，判定部52根据基于从轮速传感器22获得的传感器值计算出的车速，计算车辆1的移动距离。判定部52根据移动距离是否在预先规定的阈值距离以上，来判定是否要更新显示图像70a。判定部52在移动距离小于阈值距离的情况下，判定为不更新显示图像70a。另一方面，判定部52在移动距离为阈值距离以上的情况下，判定为更新显示图像70a。
判定部52在判定为不更新显示图像70a时(S110：否)，判定是否要结束对显示图像70a的显示(S112)。例如，判定部52基于车辆1是否已停止，来判定是否结束对显示图像70a的显示。判定部52在判定为不结束对显示图像70a的显示时(S112：否)，重复步骤S110。
判定部52在判定为要更新显示图像70a时(S110：是)，将更新指示向图像生成部54输出。
在图像生成部54获得更新指示时，利用上述的显示图像70a的生成方法生成新的周边图像72b，并更新显示图像70b(S104、S106)。例如，图像生成部54可以毎次使用不同的拍摄图像而只改变周边图像。此外，图像生成部54也可以将从随着车辆1的移动而移动的虚拟视点观察投影于同一虚拟空间66的虚拟投影面60的同一拍摄图像而得到的图像，作为新的周边图像72b生成，并更新显示图像70b。换言之，图像生成部54可以基于1幅拍摄图像生成多个周边图像72a、72b。
对基于图像生成部54生成以及更新显示图像70b进行具体说明。图10为用于说明从图8起车辆1移动了的状态下的基于图像生成部54生成显示图像70b的图。图11为由图像生成部54更新了的显示图像70b的一个示例。在以下的说明中，在没有必要区分显示图像70a、70b的情况下，记为显示图像70。同样地，在没有必要区分周边图像72a、72b的情况下，记为周边图像72。
如图10所示，即使是车辆1沿着箭头AR2移动到虚拟位置PT2的情况下，图像生成部54也可以：将对投影于同一虚拟空间66的虚拟投影面60的同一拍摄图像从基于移动了的车辆1的当前位置移动了的虚拟视点VV2进行观察而得到的图像，作为周边图像72b生成。图像生成部54将车辆图像74叠加于生成的周边图像72b内与车辆1的虚拟位置PT2对应的位置，生成如图11所示的显示图像70b并进行更新。这里，如图11所示，图像生成部54在显示图像70b内不使车辆图像74的位置移动而将其固定。即，在对图9以及图11的显示图像70a、70b进行显示的显示装置8的显示屏内，车辆图像74的位置以及形状相同。换言之，图像生成部54在显示图像70a、70b内，仅改变周边图像72a、72b。
图像生成部54使更新后的显示图像70b在显示装置8显示(S108)。由此，图像生成部54只要从判定部52获得了更新指示，就生成并更新车辆图像74固定的显示图像70。
判定部52在步骤S112中，判定为结束对显示图像70的显示时(S112：是)，结束对显示图像70的显示，并且结束图像显示处理。
如上所述，在周边监控装置50中，控制部30生成显示图像70，在显示图像70内车辆图像74的位置是固定的。由此，即使车辆1移动，周边图像72发生变化，周边监控装置50也能够提供车辆图像74的位置固定的使乘坐人员易于观察的显示图像70。
周边监控装置50，在图像生成部54基于投影于虚拟投影面60的一幅拍摄图像来生成从移动的虚拟视点VV观察到的多个周边图像72的情况下，能够减轻控制部30为了生成周边图像72所进行的处理的负担。
在周边监控装置50中，控制部30将从虚拟视点VV观察投影于具有连续的第1虚拟面62以及第2虚拟面64的三维虚拟投影面60的拍摄图像而得到的图像作为周边图像72生成。由此，周边监控装置50能够生成：与基于投影于二维虚拟投影面的拍摄图像生成周边图像的情况相比，乘坐人员易于观察的周边图像72。特别是，在车辆1的周边存在沿铅垂方向延伸的物体(例如，电线杆)的情况下，投影于二维的物体的图像与实际的物体相比被伸长了。另一方面，控制部30通过在具有第2虚拟面64的虚拟投影面60上投影，能够抑制该物体的图像的伸长，能够生成易于观察的周边图像72。
第1变形例
接下来，对将上述的第1实施方式的虚拟投影面60进行变形而得到的第1变形例的虚拟投影面60b进行说明。图12为第1变形例的虚拟投影面60b的侧视图。如图12所示，虚拟投影面60b呈碗形，具有第1虚拟面62和第2虚拟面64b。第2虚拟面64b形成为沿着铅垂方向弯曲的曲面状。例如，第2虚拟面64b形成为向行进方向(在图12所示的示例中为+Z方向)突出的曲面状。第2虚拟面64b的下端部与第1虚拟面62的行进方向侧的端部连接。控制部30也可以将从随着车辆1的移动而移动的虚拟视点观察投影于同一虚拟投影面60b的拍摄图像而得到的多个图像作为多个周边图像生成。
第2变形例
接下来，对将上述第1实施方式的虚拟投影面60变形后得到的第2变形例的虚拟投影面60c进行说明。图13为第2变形例的虚拟投影面60c的侧视图。如图13所示，虚拟投影面60c具有第2虚拟面64。换言之，虚拟投影面60c为从第1实施方式的虚拟投影面60中将第1虚拟面62省略后的构成。控制部30可以将从随着车辆1的移动而移动的虚拟视点观察投影于虚拟投影面60c的拍摄图像而得到的多个图像，作为多个周边图像生成。
第2实施方式
对第2实施方式进行说明，其周边图像72的生成方法与第1实施方式不同。图14为表示第2实施方式中虚拟视点与虚拟投影面的关系的图。根据图5的流程图对第2实施方式的显示图像处理进行说明。
如图14所示，控制部30的图像生成部54基于车辆1的当前位置设定虚拟视点VV3。图像生成部54基于该虚拟视点VV3设定平面状的虚拟投影面60d。图像生成部54将把在图6所示的先前的拍摄位置PT0拍摄到的拍摄图像投影于虚拟投影面60d而得到的视点图像，作为周边图像72生成(S104)。图像生成部54生成包含该周边图像72以及车辆图像74的显示图像70并进行显示(S106、S108)。
然后，随着车辆1的移动更新显示图像时(S110：是)，图像生成部54通过如图5所示地重复步骤S104以下的处理，重新设定虚拟视点以及虚拟投影面，基于同一拍摄图像生成显示图像70并进行更新。换言之，图像生成部54将在基于随着车辆1的移动而移动的虚拟视点VV3、……等各虚拟视点所设定出的多个虚拟投影面60d、……等上投影拍摄图像而生成的多个视点图像，作为多个周边图像72而生成。另外，在本实施方式中，图像生成部54使车辆图像74的位置在显示图像内固定。
上述的实施方式的各个结构的功能、连接关系、配置、以及个数等可以酌情变更。此外，也可以对各实施方式或者变形例进行组合。
例如，在上述的实施方式中，图像生成部54将虚拟视点VV1、VV2、……等的位置设定于在俯视时位于车辆1的中心轴的后方1米以及高度2米处，但并不限定于此。图像生成部54使以虚拟视点VV1、VV2、……等作为起点的虚拟视线的方向为车辆1的行进方向，但并不限定于此。例如，图像生成部54也可以使以虚拟视点VV1、VV2、……等作为起点的虚拟视线的方向为拍摄部15的朝向(例如，拍摄部15的镜头的光轴方向)。由此，控制部30能够降低观察上述显示图像70的乘坐人员的不适感。特别是，在控制部30切换显示拍摄部15当前拍摄的周边图像与上述的显示图像70时，视点以及视线不会偏离，因此能够进一步降低乘坐人员的不适感。
在上述的实施方式中，示出了图像生成部54生成包含基于由1个拍摄部15拍摄到的拍摄图像生成的周边图像72的显示图像70的示例，但并不限定于此。例如，图像生成部54也可以生成包含基于由多个拍摄部15拍摄到的多个拍摄图像生成的周边图像的显示图像。
在上述的实施方式中，示出了对包含从由图像生成部54设定的虚拟视点VV观察到的周边图像72的显示图像70进行显示的示例，但并不限定于此。例如，图像生成部54也可以生成：包含从基于用户通过触控面板等操作输入部10输入的指示、以车辆1的当前位置为基准的虚拟视点观察到的周边图像的显示图像，并对其进行显示。这种情况下，图像生成部54可以与用户的输入对应地，例如使以车辆1的当前位置为基准设定的、对1个注视点的方向进行观察的虚拟视点在圆周上移动，来生成包含周边图像的显示图像。此外，图像生成部54也可以生成：从用户从以车辆1的当前的位置为基准设定的多个虚拟视点中选择出的虚拟视点观察到的周边图像。由此，图像生成部54能够提供包含从用户期望的虚拟视点观察到的周边图像的显示图像。
在上述的实施方式中，举二维的车辆图像74为例进行了说明，但并不限定于此。例如，图像生成部54也可以基于预先存储于存储部32的三维移动体形状模型来生成车辆图像。三维移动体形状模型是车辆1的三维的形状模型。
图15为使三维的车辆图像274叠加于将虚拟视点VV设定于车辆1的内侧的周边图像272的显示图像270的一个示例。图像生成部54可以：例如如图15所示，将虚拟视点VV设定于车辆1的内侧，将三维的车辆图像274(参见虚线)叠加于对行进方向(例如，前方)进行观察的周边图像272，来生成显示图像270。由此，图像生成部54能够提供更加易于观察的显示图像270。
图16为使三维的车辆图像374叠加于将虚拟视点VV设定于车辆1的外侧的周边图像372的显示图像370的一个示例。图像生成部54可以：例如如图16所示，将虚拟视点VV设定于车辆1的外侧(例如，车辆1的左侧)，将三维的车辆图像374(参见虚线)叠加于对行进方向(例如，前方)进行观察的周边图像372，来生成显示图像370。由此，图像生成部54能够提供更加易于观察的显示图像370。此外，通过使车辆图像274、374半透明地进行叠加，能够使得车辆图像274、374与拍摄部15拍摄到的对象物之间的位置关系易于把握。
以上对本发明的实施方式以及变形例进行了说明，但这些实施方式以及变形例仅是作为示例展示的，并不用于限定发明的范围。这些新的实施方式能够以其他各种方式来实施，在不脱离发明的要旨的范围内，可以进行各种省略、替换、以及变更。这些实施方式及其变形，均包含于发明的范围及要旨内，并且包含于权利要求书中记载的发明与其等同范围内。

Claims (13)

1.一种周边监控装置，其特征在于，具有：
拍摄部，其拍摄移动体的周边并生成拍摄图像；以及
控制部，其基于仅由对所述移动体的行进方向进行拍摄的所述拍摄部拍摄到的所述拍摄图像生成从虚拟视点观察到的周边图像，其还生成使移动体图像叠加于所述周边图像的显示图像，并且将所述显示图像显示于显示装置，该虚拟视点为随着所述移动体的移动在与所述移动体的当前位置相对的相对位置所设定的视点，该移动体图像表示所述移动体的位置，
所述控制部进行如下操作：通过将先前拍摄图像投影到预先设定的虚拟投影面从而生成所述周边图像，该先前拍摄图像是在与所述当前位置不同的拍摄位置处仅由对所述移动体的行进方向进行拍摄的所述拍摄部先前拍摄到的图像；在更新所述显示图像时，生成基于所述移动体的所述当前位置的新的周边图像，不将需要更新的显示图像的所述移动体图像的位置在所述显示装置的画面内进行变更，通过将所述移动体图像叠加于所述新的周边图像，从而生成更新后的显示图像。
2.根据权利要求1所述的周边监控装置，其特征在于：
所述控制部生成对投影于三维虚拟投影面的所述拍摄图像从所述虚拟视点进行观察而得到的所述周边图像，该三维虚拟投影面包含第1虚拟面以及与所述第1虚拟面相交的第2虚拟面。
3.根据权利要求1或2所述的周边监控装置，其特征在于：
所述控制部基于来自用户的输入，使所述虚拟视点移动。
4.根据权利要求1所述的周边监控装置，其特征在于，具有：
存储部，其用于存储三维移动体形状模型，该三维移动体形状模型是所述移动体的三维的形状模型，
所述移动体图像基于预先存储于所述存储部的所述三维移动体形状模型而生成。
5.根据权利要求1所述的周边监控装置，其特征在于：
所述控制部判定所述移动体的移动距离是否为预先设定的阈值以上，在为所述阈值以上的情况下，更新所述周边图像。
6.根据权利要求1所述的周边监控装置，其特征在于：
所述控制部基于一个所述先前拍摄图像而生成分别与多个所述虚拟视点对应的多个所述周边图像。
7.一种周边监控方法，其特征在于，包括：
拍摄移动体的周边并生成拍摄图像；
基于仅对所述移动体的行进方向进行了拍摄的所述拍摄图像生成从虚拟视点观察到的周边图像，该虚拟视点为随着所述移动体的移动在与所述移动体的当前位置相对的相对位置所设定的视点；
生成使移动体图像叠加于所述周边图像的显示图像，该移动体图像表示所述移动体的位置；以及
将所述显示图像显示于显示装置，
其中，通过将先前拍摄图像投影到预先设定的虚拟投影面从而生成所述周边图像，该先前拍摄图像是在与所述当前位置不同的拍摄位置处仅对所述移动体的行进方向先前拍摄到的图像；在更新所述显示图像时，生成基于所述移动体的所述当前位置的新的周边图像，不将需要更新的显示图像的所述移动体图像的位置在所述显示装置的画面内进行变更，通过将所述移动体图像叠加于所述新的周边图像，从而生成更新后的显示图像。
8.根据权利要求7所述的周边监控方法，其特征在于：
所述的生成周边图像，包括生成对投影于三维虚拟投影面的所述拍摄图像从所述虚拟视点进行观察而得到的所述周边图像，该三维虚拟投影面包含第1虚拟面以及与所述第1虚拟面相交的第2虚拟面。
9.根据权利要求7或8所述的周边监控方法，其特征在于，还包括：
基于来自用户的输入，使所述虚拟视点移动。
10.根据权利要求7所述的周边监控方法，其特征在于，还包括：
存储三维移动体形状模型，该三维移动体形状模型是所述移动体的三维的形状模型，
所述移动体图像基于预先存储于所述存储部的所述三维移动体形状模型而生成。
11.根据权利要求7所述的周边监控方法，其特征在于，还包括：
判定所述移动体的移动距离是否为预先设定的阈值以上，在为所述阈值以上的情况下，更新所述周边图像。
12.根据权利要求7所述的周边监控方法，其特征在于，还包括：
基于一个所述先前拍摄图像而生成分别与多个所述虚拟视点对应的多个所述周边图像。
13.一种存储介质，其上存储有一个或多个程序，其特征在于：所述一个或多个程序可被一个或多个处理器执行，以实现如权利要求7～12中的任一项所述的周边监控方法。
CN201780060990.XA 2016-10-04 2017-09-01 周边监控装置 Active CN109792509B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-196357 2016-10-04
JP2016196357A JP6816436B2 (ja) 2016-10-04 2016-10-04 周辺監視装置
PCT/JP2017/031652 WO2018066282A1 (ja) 2016-10-04 2017-09-01 周辺監視装置

Publications (2)

Publication Number Publication Date
CN109792509A CN109792509A (zh) 2019-05-21
CN109792509B true CN109792509B (zh) 2021-08-27

Family

ID=61832003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780060990.XA Active CN109792509B (zh) 2016-10-04 2017-09-01 周边监控装置

Country Status (5)

Country Link
US (1) US11302076B2 (zh)
EP (1) EP3525455B1 (zh)
JP (1) JP6816436B2 (zh)
CN (1) CN109792509B (zh)
WO (1) WO2018066282A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6962036B2 (ja) 2017-07-07 2021-11-05 株式会社アイシン 周辺監視装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP2010274813A (ja) 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
JP5500255B2 (ja) * 2010-08-06 2014-05-21 富士通株式会社 画像処理装置および画像処理プログラム
JP5716389B2 (ja) * 2010-12-24 2015-05-13 日産自動車株式会社 車両用表示装置
JP2012195793A (ja) * 2011-03-17 2012-10-11 Clarion Co Ltd 車両周辺監視装置
JP5681569B2 (ja) * 2011-05-31 2015-03-11 富士通テン株式会社 情報処理システム、サーバ装置、および、車載装置
WO2013018173A1 (ja) * 2011-07-29 2013-02-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6014442B2 (ja) 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
JP6095985B2 (ja) * 2013-01-09 2017-03-15 富士通テン株式会社 再生装置、再生システム、再生方法及びプログラム
EP2981077B1 (en) 2013-03-28 2017-09-27 Aisin Seiki Kabushiki Kaisha Periphery monitoring device and program
JP2015184839A (ja) * 2014-03-21 2015-10-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法

Also Published As

Publication number Publication date
US11302076B2 (en) 2022-04-12
EP3525455A4 (en) 2019-08-14
WO2018066282A1 (ja) 2018-04-12
US20210279959A1 (en) 2021-09-09
JP6816436B2 (ja) 2021-01-20
EP3525455B1 (en) 2020-10-21
JP2018061113A (ja) 2018-04-12
EP3525455A1 (en) 2019-08-14
CN109792509A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
CN110945558B (zh) 显示控制装置
JP6257978B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP6958163B2 (ja) 表示制御装置
JP6760122B2 (ja) 周辺監視装置
US11477373B2 (en) Periphery monitoring device
JP2020120327A (ja) 周辺表示制御装置
CN111066319B (zh) 图像处理装置
JP7013751B2 (ja) 画像処理装置
US11669230B2 (en) Display control device
JP6258000B2 (ja) 画像表示システム、画像表示方法及びプログラム
US11475676B2 (en) Periphery monitoring device
CN109792509B (zh) 周边监控装置
JP2020127171A (ja) 周辺監視装置
US20190126827A1 (en) Image generating apparatus and program
JP2018076019A (ja) 画像処理装置
US11091096B2 (en) Periphery monitoring device
JP2012065228A (ja) 画像処理装置、画像表示システム及び画像表示方法
US20200184722A1 (en) Periphery monitoring device
CN111194396A (zh) 驾驶辅助装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant