CN110706497A - 图像处理装置以及计算机可读存储介质 - Google Patents

图像处理装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN110706497A
CN110706497A CN201910560947.0A CN201910560947A CN110706497A CN 110706497 A CN110706497 A CN 110706497A CN 201910560947 A CN201910560947 A CN 201910560947A CN 110706497 A CN110706497 A CN 110706497A
Authority
CN
China
Prior art keywords
image
vehicle
superimposed
captured
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910560947.0A
Other languages
English (en)
Other versions
CN110706497B (zh
Inventor
大高优
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN110706497A publication Critical patent/CN110706497A/zh
Application granted granted Critical
Publication of CN110706497B publication Critical patent/CN110706497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Library & Information Science (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

期望提供在由于雪、雨的影响而无法视觉辨认或者难以视觉辨认白线的状况下，无需准备空中照片也能够使驾驶员掌握白线的位置的技术。提供一种图像处理装置，具备：车辆图像信息取得部，取得包括由车辆摄像的摄像图像和摄像图像的摄像位置的车辆图像信息；道路图像取得部，从由车辆摄像的多个道路图像取得与摄像位置对应的道路图像；以及重叠图像生成部，生成在摄像图像上重叠道路图像的重叠图像。

Description

图像处理装置以及计算机可读存储介质
技术领域
本发明涉及图像处理装置以及计算机可读存储介质。
背景技术
已知预先储存从上空对道路进行摄像而得到的空中照片，读出车辆前方的道路的空中照片，探测白线并将白线变换为驾驶员视角的图像而发送给车辆的技术(参照例如专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2014-170378号公报
发明内容
期望提供在由于雪、雨的影响而无法视觉辨认或者难以视觉辨认白线的状况下，无需准备空中照片也能够使驾驶员掌握白线的位置的技术。
根据本发明的第1方案，提供图像处理装置。图像处理装置可以具备取得包括由车辆摄像的摄像图像和摄像图像的摄像位置的车辆图像信息的车辆图像信息取得部。图像处理装置可以具备从由车辆摄像的多个道路图像取得与摄像位置对应的道路图像的道路图像取得部。图像处理装置可以具备生成在摄像图像上重叠道路图像的重叠图像的重叠图像生成部。
上述车辆图像信息取得部可以取得包括由第1车辆摄像的第1摄像图像、和上述第1摄像图像的摄像位置的第1车辆图像信息，上述重叠图像生成部可以生成在上述第1摄像图像上重叠上述道路图像的第1重叠图像，上述图像处理装置可以具备将由上述重叠图像生成部生成的上述第1重叠图像发送到上述第1车辆的重叠图像发送部。上述车辆图像信息取得部可以取得包括由第1车辆摄像的第1摄像图像、和上述第1摄像图像的摄像位置的第1车辆图像信息，上述重叠图像生成部可以生成在上述第1摄像图像上重叠上述道路图像的第1重叠图像，上述图像处理装置可以具备将由上述重叠图像生成部生成的上述第1重叠图像发送到第2车辆的重叠图像发送部。上述重叠图像发送部可以将上述第1重叠图像发送到在上述第1车辆的后方行驶的上述第2车辆。
上述车辆图像信息取得部可以取得包括由第1车辆摄像的第1摄像图像、和上述第1摄像图像的摄像位置的第1车辆图像信息，上述图像处理装置可以具备：地图数据储存部，储存道路地图数据并且包括表示多个道路中的各个道路有无白线的白线信息的道路地图数据；以及重叠与否判定部，根据上述第1车辆图像信息及上述道路地图数据，判定是否在上述第1摄像图像上重叠上述道路图像，上述重叠图像生成部可以在由上述重叠与否判定部判定为重叠的情况下，生成在上述第1摄像图像上重叠上述道路图像的第1重叠图像。上述重叠与否判定部可以在上述道路地图数据表示在包含于上述第1车辆图像信息的上述第1摄像图像的摄像位置的道路中包括白线的情况、且在上述第1摄像图像内无法识别白线的情况下，判定为在上述第1摄像图像上重叠上述道路图像。
根据本发明的第2方案，提供存储有用于使计算机作为上述图像处理装置发挥功能的程序的计算机可读存储介质。
此外，上述发明内容并未列举本发明的必要的所有特征。另外，这些特征群的子组合也能够成为发明。
附图说明
图1概略地示出图像管理服务器100的通信环境的一个例子。
图2概略地示出由图像管理服务器100生成的重叠图像320的一个例子。
图3概略地示出车辆200的结构的一个例子。
图4概略地示出图像管理服务器100的功能结构的一个例子。
图5概略地示出图像管理服务器100所执行的处理的流程的一个例子。
图6概略地示出图像管理服务器100所执行的处理的流程的一个例子。
图7概略地示出控制装置500的功能结构的一个例子。
图8概略地示出控制装置500所执行的处理的流程的一个例子。
图9概略地示出作为图像管理服务器100或者控制装置500发挥功能的计算机1000的硬件结构的一个例子。
附图标记说明
20：网络；100：图像管理服务器；102：储存部；104：图像收集部；106：重叠请求接收部；108：车辆图像信息取得部；110：道路图像取得部；112：重叠图像生成部；114：重叠图像发送部；116：车辆图像信息请求部；200：车辆；202：前方车辆；210：操作部；220：显示部；230：无线通信部；240：摄像部；250：GNSS接收部；260：传感器部；300：摄像图像；310：道路图像；320：重叠图像；500：控制装置；502：储存部；504：摄像图像取得部；506：重叠图像生成部；508：重叠图像显示部；510：重叠与否判定部；512：车辆图像信息请求部；1000：计算机；1010：CPU；1020：ROM；1030：RAM；1040：通信I/F；1050：硬盘驱动器；1080：输入输出芯片；1085：图形控制器；1092：主机控制器；1094：输入输出控制器。
具体实施方式
以下，根据发明的实施方式说明本发明，但以下的实施方式不限定权利要求书所涉及的发明。另外，在实施方式中说明的特征的所有组合并非在发明的解决手段中必须。
图1概略地示出图像管理服务器100的通信环境的一个例子。图像管理服务器100经由网络20从车辆200接收并管理具有摄像部的车辆200对道路进行摄像而得到的道路图像。车辆200例如将在道路上行驶的同时进行摄像而得到的道路图像、和摄像位置以及摄像时间发送到图像管理服务器100。摄像时间可以表示摄像时刻或者摄像日期时间。道路图像可以是静止图像。另外，道路图像也可以是影像(运动图像)。
网络20可以是任意的网络。例如，网络20可以包括因特网、所谓3G(3rdGeneration)、LTE(Long Term Evolution)、4G(4th Generation)及5G(5th Generation)等移动电话网、公共无线LAN(Local Area Network，局域网)、以及专用网的至少任意个。
图像管理服务器100将道路图像、和摄像位置以及摄像时间对应起来储存。图像管理服务器100储存的道路图像可以是在道路的可见度良好时摄像的道路图像。例如，图像管理服务器100储存的道路图像并非在下雨、下雪时对道路进行摄像而得到的图像，而是在晴天或者阴天时进行摄像而得到的图像。图像管理服务器100也可以仅受理在道路的可见度良好时摄像的道路图像。另外，也可以通过对接收到的道路图像进行图像解析而挑选、或者人工挑选接收到的道路图像，仅储存道路的可见度良好时的图像。
图像管理服务器100根据来自车辆200的请求，在车辆200在行驶的同时对前方的道路进行摄像并发送到图像管理服务器100的摄像图像上重叠所储存的道路图像，生成重叠图像，发送到车辆200。图像管理服务器100可以是图像处理装置的一个例子。车辆200的驾驶员例如在如雪道这种无法视觉辨认白线的道路上行驶时，针对图像管理服务器100，从车辆200发送重叠请求。在发送重叠请求之后，车辆200将包括摄像的道路的道路图像、和表示摄像位置的摄像位置的车辆图像信息，发送到图像管理服务器100。
图像管理服务器100读出与包含于车辆图像信息的摄像位置对应的道路图像，生成在包含于车辆图像信息的摄像图像上重叠道路图像的重叠图像，并发送到车辆200。由此，能够对车辆200的驾驶员，提供在车辆200行驶的雪道上重叠能够视觉辨认白线的道路图像的重叠图像，能够使驾驶员在掌握白线的位置的状态下驾驶。
图像管理服务器100进而也可以管理多个车辆200各自的车辆信息。车辆信息可以包括车辆200的位置。车辆信息可以包括车辆200的行进方向以及行驶速度。车辆信息可以包括表示直至车辆200的目的地的路线的路线信息。图像管理服务器100可以经由网络20，从车辆200定期地接收各种车辆信息。
图像管理服务器100可以在从车辆200接收到重叠请求的情况下，针对在车辆200的前方行驶的前方车辆202，请求车辆图像信息，从前方车辆202接收车辆图像信息。前方车辆202可以具有与车辆200同样的结构。
图像管理服务器100读出与从前方车辆202接收到的车辆图像信息中包含的摄像位置对应的道路图像，生成在包含于车辆图像信息的摄像图像上重叠道路图像的重叠图像，并发送到车辆200。由此，能够使车辆200的驾驶员，掌握前方的道路的白线的位置。另外，假设，在摄像图像的发送以及重叠图像的生成需要比较长的时间，在从车辆200接收到的摄像图像上重叠道路图像并发送到车辆200时发生无法忽略的时滞的状况下，通过在前方车辆202的摄像图像上重叠道路图像并发送到车辆200，能够减少时滞或者消除时滞。
图2概略地示出由图像管理服务器100生成的重叠图像320的一个例子。图2所示的摄像图像300表示道路的白线被积雪隐藏而无法视觉辨认的状况。在如摄像图像300所示的状况下，驾驶员必须在依赖经验、直觉推测白线的位置的同时驾驶车辆，对于驾驶员造成负担。
相对于此，通过对驾驶员提示重叠道路图像310的重叠图像320，能够掌握原本存在白线的情形和白线的位置，能够减轻驾驶员的负担。
图像管理服务器100可以针对作为静止图像的一个摄像图像300生成作为静止图像的一个重叠图像320并发送到车辆200。仅通过发送作为静止图像的一个重叠图像320，就能够使车辆200的驾驶员掌握白线的存在、和白线的大致的位置。图像管理服务器100也可以针对连续地摄像的多个静止图像的摄像图像300生成多个重叠图像320并发送到车辆200。图像管理服务器100也可以针对影像的摄像图像300，生成影像的重叠图像320并发送到车辆200。
图3概略地示出车辆200的结构的一个例子。车辆200具备操作部210、显示部220、无线通信部230、摄像部240、GNSS(Global Navigation Satellite System，全球导航卫星系统)接收部250、传感器部260、以及控制装置500。这些结构的至少一部分可以是包含于所谓车辆导航系统的结构。
操作部210受理由车辆200的用户实施的操作。操作部210可以包括物理性的操作按钮类。操作部210以及显示部220也可以是触摸面板显示器。操作部210也可以受理声音操作。操作部210可以包括麦克风以及扬声器。
无线通信部230经由网络20与图像管理服务器100进行通信。无线通信部230可以包括经由移动电话网的无线基站与网络20进行通信的通信部件。另外，无线通信部230可以包括经由WiFi(注册商标)接入点与网络20进行通信的通信部件。另外，无线通信部230可以包括执行路车间通信的通信部件。
无线通信部230也可以执行与其他车辆200的无线通信。无线通信部230可以包括执行车车间通信的通信部件。
摄像部240包括1个或者多个照相机。照相机也可以是行车记录仪。在摄像部240包括多个照相机的情况下，多个照相机的各个配置于车辆200的不同的位置。另外，多个照相机的各个对不同的摄像方向进行摄像。多个照相机的至少1个对车辆200的前方进行摄像。
GNSS接收部250接收从GNSS卫星发送的电波。GNSS接收部250也可以根据从GNSS卫星接收到的信号，确定车辆200的位置。
传感器部260包括1个或者多个传感器。传感器部260例如包括加速度传感器。传感器部260例如包括角速度传感器(陀螺传感器)。传感器部260例如包括地磁传感器。传感器部260例如包括车速传感器。
控制装置500控制操作部210、显示部220、无线通信部230、摄像部240、GNSS接收部250、以及传感器部260，执行各种处理。控制装置500例如执行导航处理。控制装置500可以执行与公知的车辆导航系统执行的导航处理同样的导航处理。
例如，控制装置500根据来自GNSS接收部250以及传感器部260的输出确定车辆200的当前位置，读出与当前位置对应的地图数据并显示于显示部220。另外，控制装置500经由操作部210受理目的地的输入，确定车辆200的当前位置至目的地的推荐路线，并显示于显示部220。控制装置500在受理到路线的选择的情况下，依照选择出的路线，经由显示部220以及扬声器，进行车辆200应行驶的进路的引导。
另外，控制装置500执行将摄像部240摄像的道路图像发送到图像管理服务器100的处理。控制装置500对摄像部240摄像的道路图像对应起来摄像位置以及摄像时间，发送到图像管理服务器100。控制装置500、和图像管理服务器100的外部的通信经由无线通信部230进行。控制装置500可以将道路图像定期地发送到图像管理服务器100。另外，控制装置500也可以根据来自图像管理服务器100的请求，将道路图像发送到图像管理服务器100。
本实施方式所涉及的控制装置500执行请求在摄像部240摄像的摄像图像上重叠图像管理服务器100储存的道路图像的重叠请求处理。控制装置500例如根据来自驾驶员的指示，将重叠请求发送到图像管理服务器100。然后，根据从图像管理服务器100接收到承诺应答，开始包括摄像部240摄像的摄像图像和摄像位置的车辆图像信息的向图像管理服务器100的发送。控制装置500可以连续地将车辆图像信息发送到图像管理服务器100。
然后，控制装置500执行显示从图像管理服务器100接收的重叠图像的显示处理。控制装置500可以使从图像管理服务器100接收的重叠图像显示于显示部220。
图4概略地示出图像管理服务器100的功能结构的一个例子。图像管理服务器100具备储存部102、图像收集部104、重叠请求接收部106、车辆图像信息取得部108、道路图像取得部110、重叠图像生成部112、重叠图像发送部114、车辆图像信息请求部116。此外，图像管理服务器100并非必须具备这些所有结构。
储存部102储存各种信息。储存部102将道路图像、和摄像位置以及摄像时间对应起来储存。储存部102可以储存多个车辆200的车辆信息。
图像收集部104收集道路图像。图像收集部104接收由车辆200经由网络20发送的道路图像、摄像位置以及摄像时间，并储存到储存部102。图像收集部104可以接收由车辆200定期地发送的道路图像、摄像位置以及摄像时间并储存到储存部102。另外，图像收集部104也可以针对车辆200发送请求，使其发送道路图像、摄像位置以及摄像时间。例如，图像收集部104针对车辆200发送包括各道路中的、未储存道路图像的道路、储存的道路图像旧的道路的位置的请求，从对该位置的道路进行摄像的车辆200，接收道路图像、摄像位置以及摄像时间。
重叠请求接收部106接收重叠请求。重叠请求接收部106从车辆200，经由网络20接收重叠请求。重叠请求接收部106可以根据重叠请求，针对发送重叠请求的车辆200发送承诺应答。
车辆图像信息取得部108从车辆200，接收车辆图像信息。道路图像取得部110从储存部102取得与在车辆图像信息取得部108接收到的车辆图像信息中包含的摄像位置对应的道路图像。
重叠图像生成部112生成在车辆图像信息取得部108接收到的车辆图像信息中包含的摄像图像上重叠道路图像取得部110取得的道路图像的重叠图像。重叠图像生成部112可以对道路图像进行放大缩小、或者从道路图像切出一部分区域，而重叠到摄像图像。重叠图像发送部114将由重叠图像生成部112生成的重叠图像发送到车辆200。
车辆图像信息请求部116请求车辆图像信息。车辆图像信息请求部116例如在重叠请求接收部106从车辆200接收到重叠请求的情况下，针对在车辆200的前方行驶的前方车辆202，请求车辆图像信息。车辆图像信息请求部116可以参照储存于储存部102的多个车辆200的车辆信息，发送重叠请求来确定在车辆200的前方行驶的前方车辆202。车辆图像信息取得部108可以接收根据由车辆图像信息请求部116发出的请求而前方车辆202发送的车辆图像信息。
图5概略地示出图像管理服务器100所执行的处理的流程的一个例子。在此，示出从车辆200接收重叠请求并针对车辆200发送重叠图像的处理的一个例子。图5所示的各处理可以图像管理服务器100具备的控制部成为主体而执行。
在步骤(有时将步骤省略记载为S)102中，重叠请求接收部106从车辆200接收重叠请求。在S104中，车辆图像信息取得部108从车辆200接收车辆图像信息。道路图像取得部110从储存部102取得与包含于车辆图像信息的摄像位置对应的道路图像。
在S106中，重叠图像生成部112生成重叠图像。在S108中，重叠图像发送部114将重叠图像发送到车辆200。在S110中，判定是否结束处理。图像管理服务器100例如在从车辆200接收到结束指示的情况下，判定为结束处理。在判定为不结束的情况下，返回到S106，在判定为结束的情况下，结束处理。
图6概略地示出图像管理服务器100所执行的处理的流程的一个例子。在此，示出从车辆200接收重叠请求并针对车辆200发送重叠图像的处理的另一例子。图6所示的各处理可以图像管理服务器100具备的控制部成为主体而执行。
在S202中，重叠请求接收部106从车辆200接收重叠请求。在S204中，车辆图像信息请求部116向在车辆200的前方行驶的前方车辆202请求车辆图像信息。
在S206中，车辆图像信息取得部108从前方车辆202接收车辆图像信息。道路图像取得部110取得与包含于车辆图像信息的摄像位置对应的道路图像。
在S208中，重叠图像生成部112生成重叠图像。在S210中，重叠图像发送部114将重叠图像发送到车辆200。在S212中，判定是否结束处理。图像管理服务器100例如在从车辆200接收到结束指示的情况下，判定为结束处理。在判定为不结束的情况下，返回到S204，在判定为结束的情况下，结束处理。此外，也可以在针对前方车辆202发送请求信息之后，直至针对前方车辆202指示发送停止，继续通过前方车辆202发送车辆图像信息。在该情况下，在S212中判定为不结束的情况下，返回到S206。
在上述实施方式中，举出图像管理服务器100生成重叠图像的例子进行了说明，但不限于此，也可以车辆200的控制装置500生成重叠图像。控制装置500可以是图像处理装置的一个例子。
图7概略地示出控制装置500的功能结构的一个例子。控制装置500具备储存部502、摄像图像取得部504、重叠图像生成部506、重叠图像显示部508、重叠与否判定部510、以及车辆图像信息请求部512。此外，控制装置500并非必须具备这些所有结构。
储存部502储存各种信息。储存部502将由多个车辆200摄像的道路图像、和摄像位置以及摄像时间对应起来储存。储存部502例如可以从图像管理服务器100接收并储存他们。另外，储存部502储存道路地图数据并且包括表示多个道路中的各个道路有无白线的白线信息的道路地图数据。储存部502可以是地图数据储存部的一个例子。
摄像图像取得部504取得由摄像部240摄像的图像。摄像图像取得部504可以将取得的摄像图像、和摄像位置对应起来储存到储存部502。
重叠图像生成部506生成在摄像图像取得部504取得并储存到储存部102的摄像图像上重叠储存于储存部502的道路图像的重叠图像。重叠图像生成部506可以从储存部102读出摄像图像、和与该摄像图像的摄像位置对应的道路图像，生成重叠图像。
重叠图像显示部508使由重叠图像生成部506生成的重叠图像显示。重叠图像显示部508例如使重叠图像显示于显示部220。另外，重叠图像显示部508也可以向预先指定的通信终端发送重叠图像，在该通信终端上显示重叠图像。作为通信终端的例子，可以例示车辆200的用户所持的智能手机等移动电话以及平板终端等。
重叠与否判定部510根据摄像图像取得部504取得的摄像图像、其摄像位置、以及储存于储存部102的道路地图数据，判定是否在摄像图像上重叠道路图像。重叠与否判定部510例如在道路地图数据表示在该摄像位置的道路中包括白线的情况、且在摄像图像内无法识别白线的情况下，判定为在摄像图像上重叠道路图像。重叠图像生成部506可以在由重叠与否判定部510判定为在摄像图像上重叠道路图像的情况下，生成在摄像图像上重叠道路图像的重叠图像。
车辆图像信息请求部512向其他车辆200请求车辆图像信息。车辆图像信息请求部512例如针对在搭载有控制装置500的车辆200的前方行驶的前方车辆202，请求车辆图像信息。车辆图像信息请求部512可以经由车车间通信，针对前方车辆202，请求车辆图像信息。车辆图像信息请求部512可以接收根据请求而前方车辆202发送的车辆图像信息，储存到储存部102。在该情况下，重叠图像生成部506可以生成在从前方车辆202接收到的车辆图像信息中包含的摄像图像上重叠储存于储存部502的道路图像的重叠图像。
图8概略地示出控制装置500所执行的处理的流程的一个例子。在此，示出重叠与否判定部510判定是否在摄像图像上重叠道路图像的情况的、控制装置500所执行的处理的流程。图8所示的各处理由控制装置500具备的控制部成为主体而执行。
在S302中，重叠与否判定部510解析由摄像图像取得部504取得的摄像图像。在S304中，重叠与否判定部510根据解析结果，判定是否在摄像图像上重叠道路图像。在判定为重叠的情况下，进入到S306，在判定为不重叠的情况下，进入到S312。
在S306中，重叠图像生成部506生成重叠图像。重叠图像生成部506生成在判定为重叠道路图像的摄像图像上重叠与该摄像图像的摄像位置对应的道路图像的重叠图像。在S308中，重叠图像显示部508使在S306中生成的重叠图像显示。在S310中，判定是否结束处理。图像管理服务器100例如在从车辆200接收到结束指示的情况下，判定为结束处理。在判定为不结束的情况下，返回到S302，在判定为结束的情况下，结束处理。
图9概略地示出作为图像管理服务器100或者控制装置500发挥功能的计算机1000的硬件结构的一个例子。本实施方式所涉及的计算机1000具备：CPU周边部，具有通过主机控制器1092相互连接的CPU1010、RAM1030、及图形控制器1085；以及输入输出部，具有通过输入输出控制器1094与主机控制器1092连接的ROM1020、通信I/F1040、硬盘驱动器1050、及输入输出芯片1080。
CPU1010根据储存于ROM1020以及RAM1030的程序动作，进行各部的控制。图形控制器1085取得CPU1010等在RAM1030内设置的帧缓冲器上生成的图像数据并显示于显示器上。代替其，图形控制器1085也可以在内部包括储存CPU1010等生成的图像数据的帧缓冲器。
通信I/F1040经由网络与其他装置进行通信。另外，通信I/F1040作为进行通信的硬件发挥功能。硬盘驱动器1050储存CPU1010使用的程序以及数据。
ROM1020储存计算机1000在起动时执行的引导程序以及依赖于计算机1000的硬件的程序等。输入输出芯片1080经由例如并行端口、串行端口、键盘端口、鼠标端口等，将各种输入输出装置连接到输入输出控制器1094。
由利用者将经由RAM1030提供给硬盘驱动器1050的程序储存到IC卡等记录介质而提供。将程序从记录介质读出并经由RAM1030安装到硬盘驱动器1050，而在CPU1010中执行。
安装到计算机1000而使计算机1000作为图像管理服务器100或者控制装置500发挥功能的程序可以对CPU1010等发挥作用而使计算机1000作为图像管理服务器100或者控制装置500的各部分别发挥功能。记述于这些程序的信息处理通过被读入到计算机1000，作为软件和上述各种硬件资源协作的具体的单元即储存部102、图像收集部104、重叠请求接收部106、车辆图像信息取得部108、道路图像取得部110、重叠图像生成部112、重叠图像发送部114、以及车辆图像信息请求部116发挥功能。另外，记述于这些程序的信息处理通过被读入到计算机1000，作为软件和上述各种硬件资源协作的具体的单元即储存部502、摄像图像取得部504、重叠图像生成部506、重叠图像显示部508、重叠与否判定部510、以及车辆图像信息请求部512发挥功能。而且，通过利用这些具体的单元，实现与本实施方式中的计算机1000的使用目的对应的信息的运算或者加工，构筑与使用目的对应的特有的图像管理服务器100或者控制装置500。
以上，使用实施方式说明了本发明，但本发明的技术的范围不限定于上述实施方式记载的范围。本领域技术人员可知能够对上述实施方式施加各种变更或者改良。根据权利要求书的记载，明确施加这样的变更或者改良的方式也包含于本发明的技术的范围。
应留意在权利要求书、说明书、以及附图中示出的装置、系统、程序、以及方法中的动作、次序、步骤、以及阶段等各处理的执行顺序只要未特别明示为“比…前”、“以前”等、并且、在后面的处理中使用前面的处理的输出，则可以按照任意的顺序实现。关于权利要求书、说明书、以及附图中的动作流程，即使为便于说明使用“首先，”、“接下来，”等来说明，也不意味着必须按照该顺序实施。

Claims (7)

1.一种图像处理装置，具备：
车辆图像信息取得部，取得车辆图像信息，所述车辆图像信息包括由车辆摄像的摄像图像和所述摄像图像的摄像位置；
道路图像取得部，从由车辆摄像的多个道路图像取得与所述摄像位置对应的道路图像；以及
重叠图像生成部，生成在所述摄像图像上重叠所述道路图像而成的重叠图像。
2.根据权利要求1所述的图像处理装置，其中，
所述车辆图像信息取得部取得第1车辆图像信息，所述第1车辆图像信息包括由第1车辆摄像的第1摄像图像和所述第1摄像图像的摄像位置，
所述重叠图像生成部生成在所述第1摄像图像上重叠所述道路图像而成的第1重叠图像，
所述图像处理装置具备重叠图像发送部，
所述重叠图像发送部将由所述重叠图像生成部生成的所述第1重叠图像发送到所述第1车辆。
3.根据权利要求1所述的图像处理装置，其中，
所述车辆图像信息取得部取得第1车辆图像信息，所述第1车辆图像信息包括由第1车辆摄像的第1摄像图像和所述第1摄像图像的摄像位置，
所述重叠图像生成部生成在所述第1摄像图像上重叠所述道路图像而成的第1重叠图像，
所述图像处理装置具备重叠图像发送部，
所述重叠图像发送部将由所述重叠图像生成部生成的所述第1重叠图像发送到第2车辆。
4.根据权利要求3所述的图像处理装置，其中，
所述重叠图像发送部将所述第1重叠图像发送到在所述第1车辆的后方行驶的所述第2车辆。
5.根据权利要求1所述的图像处理装置，其中，
所述车辆图像信息取得部取得第1车辆图像信息，所述第1车辆图像信息包括由第1车辆摄像的第1摄像图像和所述第1摄像图像的摄像位置，
所述图像处理装置具备：
地图数据储存部，储存道路地图数据，所述道路地图数据包括表示多个道路中的各个道路有无白线的白线信息；以及
重叠与否判定部，根据所述第1车辆图像信息及所述道路地图数据，判定是否在所述第1摄像图像上重叠所述道路图像，
其中，所述重叠图像生成部在由所述重叠与否判定部判定为重叠的情况下，生成在所述第1摄像图像上重叠所述道路图像而成的第1重叠图像。
6.根据权利要求5所述的图像处理装置，其中，
所述重叠与否判定部在如下情况下判定为在所述第1摄像图像上重叠所述道路图像，即、在所述道路地图数据表示在包含于所述第1车辆图像信息的所述第1摄像图像的摄像位置的道路中包含白线，且在所述第1摄像图像内无法识别白线。
7.一种计算机可读存储介质，存储有用于使计算机作为权利要求1至6中的任意一项所述的图像处理装置发挥功能的程序。
CN201910560947.0A 2018-07-10 2019-06-26 图像处理装置以及计算机可读存储介质 Active CN110706497B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018130439A JP7082538B2 (ja) 2018-07-10 2018-07-10 画像処理装置及びプログラム
JP2018-130439 2018-07-10

Publications (2)

Publication Number Publication Date
CN110706497A true CN110706497A (zh) 2020-01-17
CN110706497B CN110706497B (zh) 2022-12-20

Family

ID=69139283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910560947.0A Active CN110706497B (zh) 2018-07-10 2019-06-26 图像处理装置以及计算机可读存储介质

Country Status (3)

Country Link
US (1) US11039087B2 (zh)
JP (1) JP7082538B2 (zh)
CN (1) CN110706497B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7384014B2 (ja) * 2019-12-06 2023-11-21 トヨタ自動車株式会社 表示システム
JP7250172B2 (ja) * 2019-12-17 2023-03-31 三菱電機株式会社 計測車両および遠隔管理システム
JP7464230B1 (ja) 2022-10-04 2024-04-09 株式会社Cct 表示装置

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101566A (ja) * 1999-09-30 2001-04-13 Toshiba Corp 交通安全確認システム
JP2005112187A (ja) * 2003-10-08 2005-04-28 Denso Corp 車両用表示装置
US20060072788A1 (en) * 2004-09-28 2006-04-06 Aisin Seiki Kabushiki Kaisha Monitoring system for monitoring surroundings of vehicle
CN101155258A (zh) * 2006-09-27 2008-04-02 索尼株式会社 成像设备和成像方法
CN101739843A (zh) * 2009-12-04 2010-06-16 河海大学常州校区 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法
CN101801724A (zh) * 2007-09-18 2010-08-11 宝马股份公司 用于在汽车中为驾驶者提供信息的方法
CN101866049A (zh) * 2009-04-02 2010-10-20 通用汽车环球科技运作公司 挡风玻璃平视显示器上的行驶车道
JP2010234851A (ja) * 2009-03-30 2010-10-21 Mazda Motor Corp 車両用表示装置
US20100295937A1 (en) * 2009-05-20 2010-11-25 International Business Machines Corporation Transmitting a composite image
CN102741900A (zh) * 2010-03-03 2012-10-17 松下电器产业株式会社 道路状况管理系统及道路状况管理方法
US20140046550A1 (en) * 2012-08-10 2014-02-13 Smartdrive Systems Inc. Vehicle Event Playback Apparatus and Methods
CN104272345A (zh) * 2012-05-18 2015-01-07 日产自动车株式会社 车辆用显示装置、车辆用显示方法以及车辆用显示程序
CN104781829A (zh) * 2012-08-29 2015-07-15 罗伯特·博世有限公司 用于识别车辆在车道上的位置的方法和设备
CN104870256A (zh) * 2012-11-27 2015-08-26 歌乐株式会社 车载用控制装置
CN105009574A (zh) * 2013-03-28 2015-10-28 爱信精机株式会社 周边监视装置及程序
CN105339992A (zh) * 2013-06-25 2016-02-17 株式会社东芝 道路状况掌握系统以及道路状况掌握装置
CN105765641A (zh) * 2013-11-27 2016-07-13 株式会社电装 驾驶辅助装置
US20170248958A1 (en) * 2016-02-25 2017-08-31 Delphi Technologies, Inc. Adjacent lane verification for an automated vehicle
CN107458375A (zh) * 2016-06-02 2017-12-12 丰田自动车株式会社 车辆用限制速度显示装置
US20180253630A1 (en) * 2017-03-02 2018-09-06 Denso International America, Inc. Surrounding View Camera Blockage Detection

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011152865A (ja) 2010-01-27 2011-08-11 Kyocera Corp 車載撮像装置
JP6083261B2 (ja) 2013-03-04 2017-02-22 株式会社デンソー 情報処理センターおよび車載機
WO2015129045A1 (ja) * 2014-02-28 2015-09-03 パイオニア株式会社 画像取得システム、端末、画像取得方法および画像取得プログラム
JP2015177442A (ja) 2014-03-17 2015-10-05 パイオニア株式会社 情報処理装置、情報処理方法、情報処理プログラム及び情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP6368651B2 (ja) 2015-01-06 2018-08-01 株式会社日立製作所 走行環境認識システム
US10699571B2 (en) * 2017-12-04 2020-06-30 Ford Global Technologies, Llc High definition 3D mapping

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101566A (ja) * 1999-09-30 2001-04-13 Toshiba Corp 交通安全確認システム
JP2005112187A (ja) * 2003-10-08 2005-04-28 Denso Corp 車両用表示装置
US20060072788A1 (en) * 2004-09-28 2006-04-06 Aisin Seiki Kabushiki Kaisha Monitoring system for monitoring surroundings of vehicle
CN101155258A (zh) * 2006-09-27 2008-04-02 索尼株式会社 成像设备和成像方法
CN101801724A (zh) * 2007-09-18 2010-08-11 宝马股份公司 用于在汽车中为驾驶者提供信息的方法
JP2010234851A (ja) * 2009-03-30 2010-10-21 Mazda Motor Corp 車両用表示装置
CN101866049A (zh) * 2009-04-02 2010-10-20 通用汽车环球科技运作公司 挡风玻璃平视显示器上的行驶车道
US20100295937A1 (en) * 2009-05-20 2010-11-25 International Business Machines Corporation Transmitting a composite image
CN101739843A (zh) * 2009-12-04 2010-06-16 河海大学常州校区 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法
CN102741900A (zh) * 2010-03-03 2012-10-17 松下电器产业株式会社 道路状况管理系统及道路状况管理方法
US20150145996A1 (en) * 2012-05-18 2015-05-28 Nissan Motor Co., Ltd. Vehicular display apparatus, vehicular display method, and vehicular display program
CN104272345A (zh) * 2012-05-18 2015-01-07 日产自动车株式会社 车辆用显示装置、车辆用显示方法以及车辆用显示程序
US20140046550A1 (en) * 2012-08-10 2014-02-13 Smartdrive Systems Inc. Vehicle Event Playback Apparatus and Methods
CN104781829A (zh) * 2012-08-29 2015-07-15 罗伯特·博世有限公司 用于识别车辆在车道上的位置的方法和设备
CN104870256A (zh) * 2012-11-27 2015-08-26 歌乐株式会社 车载用控制装置
CN105009574A (zh) * 2013-03-28 2015-10-28 爱信精机株式会社 周边监视装置及程序
CN105339992A (zh) * 2013-06-25 2016-02-17 株式会社东芝 道路状况掌握系统以及道路状况掌握装置
CN105765641A (zh) * 2013-11-27 2016-07-13 株式会社电装 驾驶辅助装置
US20170248958A1 (en) * 2016-02-25 2017-08-31 Delphi Technologies, Inc. Adjacent lane verification for an automated vehicle
CN107458375A (zh) * 2016-06-02 2017-12-12 丰田自动车株式会社 车辆用限制速度显示装置
US20180253630A1 (en) * 2017-03-02 2018-09-06 Denso International America, Inc. Surrounding View Camera Blockage Detection

Also Published As

Publication number Publication date
JP7082538B2 (ja) 2022-06-08
JP2020009215A (ja) 2020-01-16
CN110706497B (zh) 2022-12-20
US11039087B2 (en) 2021-06-15
US20200021751A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
CN110519555B (zh) 显示控制装置以及计算机可读存储介质
CN110706497B (zh) 图像处理装置以及计算机可读存储介质
US10997853B2 (en) Control device and computer readable storage medium
US11322026B2 (en) Control device and computer readable storage medium
CN110620901B (zh) 控制装置以及计算机可读存储介质
CN110581981B (zh) 显示控制装置以及计算机可读存储介质
CN110730326B (zh) 摄像系统、摄像装置、通信终端以及计算机可读存储介质
CN110782686B (zh) 控制装置以及计算机可读存储介质
CN110782685B (zh) 显示控制装置以及计算机可读存储介质
JP2016173764A (ja) 撮影装置、撮影システム、撮影方法および撮影プログラム
JP7026003B2 (ja) 表示制御装置及びプログラム
JP2006031583A (ja) 車載システム及び遠隔地点観測システム
KR20080050731A (ko) 휴대용 단말기에서 교통소통정보를 획득하기 위한 방법 및장치
CN110576793B (zh) 显示控制装置以及计算机可读存储介质
US11430213B2 (en) Information processing device, information processing method, and storage medium
JP7016773B2 (ja) 表示制御装置及びプログラム
WO2016147355A1 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant