CN111008289A - 图像处理设备、图像处理方法和存储程序的非暂时性可读记录介质 - Google Patents

图像处理设备、图像处理方法和存储程序的非暂时性可读记录介质 Download PDF

Info

Publication number
CN111008289A
CN111008289A CN201910654720.2A CN201910654720A CN111008289A CN 111008289 A CN111008289 A CN 111008289A CN 201910654720 A CN201910654720 A CN 201910654720A CN 111008289 A CN111008289 A CN 111008289A
Authority
CN
China
Prior art keywords
image data
index value
image
base image
base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910654720.2A
Other languages
English (en)
Inventor
大荣義博
西村和也
神丸博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN111008289A publication Critical patent/CN111008289A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及图像处理设备、图像处理方法和存储程序的非暂时性可读记录介质。一种图像处理设备包括存储器和处理器,所述存储器被配置为记录基础图像数据和所述基础图像数据的指标值。所述处理器被配置为基于输入图像数据和捕获所述输入图像数据的位置处的正确答案信息计算指标值,从所述存储器读取捕获所述输入图像数据的所述位置处的基础图像数据的指标值,以及在计算出的指标值具有比所述基础图像数据的所述指标值的评价高的评价的情况下,将所述输入图像数据和所述计算出的指标值写入所述存储器,使得更新所述基础图像数据和所述基础图像数据的所述指标值中的每一个。

Description

图像处理设备、图像处理方法和存储程序的非暂时性可读记 录介质
技术领域
本发明涉及图像处理设备、图像处理方法和存储程序的非暂时性可读记录介质。
背景技术
日本未审查专利申请公开第2014-056501号(JP 2014-056501 A)公开了一种包括天气变量信息获取单元和着色器控制器的视频处理设备,该天气变量信息获取单元获取指示天气的天气信息和指示天气等级的天气等级信息,该着色器控制器基于天气信息改变视频中的天气。利用该视频处理设备,可以基于“晴朗”天气的图像生成“阴雨”或“下雪”天气的图像。
发明内容
在现有技术中,用于“晴朗”天气的图像是用于为其他天气生成图像的基础图像。因此,在基于基础图像生成具有不同显示内容的其他图像的情况下,所生成的图像的质量取决于基础图像的质量。因此,在基础图像具有低图像质量的情况下,存在所生成的图像也具有低图像质量的问题。
本发明提供了图像处理设备、图像处理方法和存储程序的非暂时性可读记录介质,其能够提高基础图像的质量从而提高基于基础图像生成的图像的质量。
本发明的第一方案涉及一种图像处理设备,其包括存储器和处理器。所述存储器被配置为记录基础图像数据和所述基础图像数据的指标值。所述基础图像数据是由所述图像处理设备生成的新图像数据的基础。所述处理器被配置为基于输入图像数据和捕获所述输入图像数据的位置处的正确答案信息计算指标值,从所述存储器读取捕获所述输入图像数据的所述位置处的所述基础图像数据的所述指标值,以及在计算出的指标值具有比所述基础图像数据的所述指标值的评价高的评价的情况下,将所述输入图像数据和所述计算出的指标值写入所述存储器,使得更新所述基础图像数据和所述基础图像数据的所述指标值中的每一个。
在根据第一方案的图像处理设备中,所述处理器可被配置为计算如下识别率作为所述指标值:包括在所述输入图像数据中的、在路面上绘制的图形和在所述路面上设置的物体中的至少一个相对于包括在所述正确答案信息中的、关于在路面上绘制的图形的信息和关于在所述路面上设置的物体的信息中的至少一个的识别率。
根据第一方案,由于识别在路面上绘制的图形或在路面上设置的物体的识别率被用作指标值,因此大指标值具有高评价,可以计算更准确的指标值,从而便于计算出的指标值与基础图像数据的指标值之间的比较。
在根据第一方案的图像处理设备中,所述处理器可被配置为计算所述输入图像数据中的路面的像素的中值,并计算所述中值和包括在所述正确答案信息中的理想像素值之间的差作为所述指标值。
根据第一方案,由于计算所述路面的像素的中值,并且所述中值和所述理想像素值之间的差被用作指标值,所以小指标值具有高评价,可以计算更准确的指标值,从而便于计算出的指标值与基础图像数据的指标值之间的比较。
在根据第一方案的图像处理设备中,所述处理器可被配置为读取在与捕获所述输入图像数据的位置相同的位置处的天气信息,并在包括在所述天气信息中的天气是预定天气的情况下将所述计算出的指标值与所述基础图像数据的所述指标值进行比较。
根据第一方案,由于在天气被限制于预定天气的情况下,例如,选择适于捕获图像的天气作为预定天气,将所述输入图像数据的所述指标值与所述基础图像数据的所述指标值进行比较,因此提高了指标值的可靠性,使得可以提高指标值比较处理的可靠性。
本发明的第二方案涉及一种由图像处理设备执行的图像处理方法。所述图像处理设备包括存储器和处理器。所述图像处理方法包括基于输入图像数据和捕获所述输入图像数据的位置处的正确答案信息计算指标值;从所述存储器读取捕获所述输入图像数据的所述位置处的基础图像数据的指标值,所述基础图像数据是由所述图像处理设备生成的新图像数据的基础;以及在计算出的指标值具有比所述基础图像数据的所述指标值的评价高的评价的情况下,将所述输入图像数据和所述计算出的指标值写入所述存储器,使得更新所述基础图像数据和所述基础图像数据的所述指标值中的每一个。
本发明的第三方案涉及一种存储程序的非暂时性可读记录介质,所述程序使处理器执行用于包括所述处理器和存储器的图像处理设备的控制方法。所述程序使所述处理器执行用于所述图像处理设备的控制处理。所述控制处理包括:基于输入图像数据和捕获所述输入图像数据的位置处的正确答案信息计算指标值;从所述存储器读取捕获所述输入图像数据的所述位置处的基础图像数据的指标值,所述基础图像数据是由所述图像处理设备生成的新图像数据的基础;以及在计算出的指标值具有比所述基础图像数据的所述指标值的评价高的评价的情况下,将所述输入图像数据和所述计算出的指标值写入所述存储器,使得更新所述基础图像数据和所述基础图像数据的所述指标值中的每一个。
根据本发明的方案,在输入图像数据的指标值具有比过去捕获的基础图像数据的指标值的评价高的评价的情况下,所述基础图像数据被更新为所述输入图像数据。因此,可以提高基础图像数据的质量,从而提高基于所述基础图像数据生成的图像数据的质量。
附图说明
以下将参考附图来描述本发明的示例性实施例的特征、优点、以及技术和工业意义,其中相同的附图标记指代相同的元件,并且其中:
图1为示出可应用根据第一实施例的图像处理设备的图像更新系统的框图;
图2为用于描述根据第一实施例的图像处理方法的流程图;
图3为用于描述根据第一实施例的计算图像的指标值的方法的示例的图示;
图4为用于描述基于第一实施例的图像处理方法的图像生成方法的流程图;
图5为用于描述基于第一实施例的图像处理方法的图像生成方法的示意图;
图6为示出根据第二实施例的车辆的配置的框图;以及
图7为用于描述根据第二实施例的图像处理方法的流程图。
具体实施方式
第一实施例
图像处理系统
首先,将描述可应用根据第一实施例的图像处理设备的图像处理系统。图1示出了可应用根据第一实施例的图像处理设备的图像处理系统1。如图1中所示,根据该实施例的图像处理系统1包括可以经由网络10彼此进行通信的图像处理服务器30和车辆50。网络10可以是因特网或移动电话网络。网络10例如是诸如因特网的公共通信网络,并且可以包括广域网(WAN)、用于移动电话等的电话通信网络、或者例如Wi-Fi的无线通信网络等的其他通信网络。
图像处理服务器
作为图像处理设备的图像处理服务器30处理从车辆50发送的图像信息。所述图像信息包括图像数据,以及关于图像数据的成像位置和图像数据的成像时间的信息。所述图像数据可以是静止图像数据,并且可以是运动图像数据,并且可以通过使用多条时间上连续的静止图像数据来生成运动图像。在第一实施例中,各种车辆信息在预定时刻从每个车辆50发送到图像处理服务器30。所述车辆信息包括位置信息,并且还可以包括关于车辆50的状况的信息,诸如充电状态(SOC)、剩余燃料量和车内状态。
图像处理服务器30具有可以经由网络10执行通信的通用计算机的配置。图像处理服务器30包括通信单元31、图像控制器32、在其中存储基础图像数据库36a的存储单元36、以及输入/输出单元37。通信单元31例如是局域网(LAN)接口板,或执行无线通信的无线通信电路。LAN接口板或无线通信电路连接到诸如作为公共通信网络的因特网之类的网络10。通信单元31连接到网络10,并且执行与车辆50的通信。通信单元31从车辆50接收车辆识别信息或每个车辆50特有的车辆信息,或者将指令信号发送到车辆50。车辆识别信息包括用于使每个车辆50能够被单独识别的信息。
图像控制器32包括例如诸如中央处理单元(CPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)的处理器,以及诸如随机存取存储器(RAM)或只读存储器(ROM)(都未示出)的主存储单元。存储单元36被配置为包括从可擦除可编程ROM(EPROM)、硬盘驱动器(HDD)和远程介质中选择的存储介质。远程介质例如是通用串行总线(USB)存储器或存储卡,或诸如光盘(CD)、数字通用盘(DVD)或蓝光(注册商标)光盘(BD)的盘记录介质。存储单元36存储操作系统(OS)、各种程序、各种表、各种数据库等。
存储单元36包括基础图像数据库36a和正确答案信息数据库36b,其中在基础图像数据库36a中多条基础图像数据存储成可检索的。基础图像数据库36a例如是关系数据库(RDB),其中图像数据被存储为可检索的。基础图像数据和该基础图像数据的图像附带信息彼此相关联,并且被存储为在基础图像数据库36a中可检索。图像附带信息例如是指示基础图像数据的成像位置的经度和纬度的图像位置信息、基础图像数据的成像时间信息和基础图像的指标值。正确答案信息数据库36b是其中与位置信息相关联地存储用作判定输入图像数据的标准的正确答案信息的数据库。存储在正确答案信息数据库36b中的正确答案信息被存储为例如地图信息或图像数据的各种信息。地图信息或图像数据通过图像控制器32经由网络10从外部装置收集,或者由工作人员从输入/输出单元37输入,以作为正确答案信息存储在正确答案信息数据库36b中。收集正确答案信息的方法不限于上述方法。此处,数据库(DB)通过由管理存储在存储单元36中的数据的处理器执行的数据库管理系统(DBMS)的程序来构建。
图像控制器32可以将存储在存储单元36中的程序加载到主存储单元的工作区,执行该程序,并通过执行该程序来控制每个组成元件,以实现与预定目的匹配的功能。在本实施例中,图像控制器32可以通过执行程序来实现图像识别单元33、基础图像判定单元34和图像生成单元35的功能。
图像识别单元33对从预定车辆50接收的基础图像数据执行识别处理,以便计算指标值。基础图像判定单元34将在图像识别单元33中经历了识别处理的基础图像数据的指标值与存储在存储单元36的基础图像数据库36a中的基础图像数据的指标值进行比较,并判定哪个指标值有较高的评价。稍后将描述基础图像的指标值和评价级别的细节。图像生成单元35对存储在基础图像数据库36a中的基础图像执行图像处理,以便基于基础图像数据生成另一条图像数据。另一条图像数据是通过在基础图像数据上叠加与捕获基础图像数据时的天气或时间点不同的天气或时间点的图像而生成的图像数据。作为输出工具的输入/输出单元37在图像控制器32的控制下将由图像生成单元35生成的图像数据显示在例如液晶显示器或有机EL显示器的显示屏幕上。
输入/输出单元37在图像控制器32的控制下在触摸面板显示器的屏幕上显示文本、图形等,以便向外部装置通知预定信息。在输入/输出单元37中,可以从扬声器麦克风输出声音。作为输入工具的输入/输出单元37被配置为包括键盘、开关、触摸板显示器或扬声器麦克风。例如,用户等可以操作触摸板显示器或者向扬声器麦克风生成语音,因此输入/输出单元37可以将预定信息输入到图像控制器32。
车辆
作为移动物体的车辆50是由于驾驶员驾驶而行驶的车辆或者能够根据给定的操作指令自动行驶的自动行驶车辆。车辆50包括驱动单元51、电子控制器52、通信单元53、存储单元54、输入/输出单元55、传感器组56、全球定位系统(GPS)单元57和成像单元58。
驱动单元51用于使车辆50行驶。具体地,车辆50设置有作为驱动源的发动机,并且发动机构造成能够通过燃料燃烧引起的驱动通过使用电动机等来产生电力。产生的电力为可充电电池充电。车辆50包括传递发动机的驱动力的驱动传动机构,用于车辆行驶的驱动轮等。
电子控制器52和存储单元54分别在物理上与图像控制器32和存储单元36相同。电子控制器52总体地控制安装在车辆50上的各种组成元件的操作。通信单元53例如是数据通信模块(DCM),其使用网络10通过无线通信与图像处理服务器30进行通信。电子控制器52的图像归档单元52a将由成像单元58捕获的图像数据作为图像信息进行归档,并通过通信单元53将图像信息发送给图像处理服务器30。存储单元54包括车辆信息数据库54a和操作信息数据库54b。包括充电状态、剩余燃料量和当前位置的各种信息被可更新地存储在车辆信息数据库54a中。包括提供给例如操作管理服务器(未示出)的操作信息的各种数据被可更新地存储在操作信息数据库54b中。输入/输出单元55在物理上与输入/输出单元37相同。
传感器组56包括关于车辆50的行驶的传感器,例如车速传感器和加速度传感器,以及例如可以感测车厢的各种情况的车厢传感器。GPS单元57从GPS卫星(未示出)接收无线电波,并检测车辆50的位置。检测到的位置作为车辆信息中的位置信息被存储为在车辆信息数据库54a中是可检索的。作为检测车辆50的位置的方法,可以采用将光检测和测距或激光成像检测和测距(LiDAR)与三维数字地图组合的方法。成像单元58例如是诸如成像相机的成像装置,并且将捕获的图像数据输入到电子控制器52。
图像处理方法
接下来,将描述在具有上述配置的图像处理系统1中执行的图像处理方法。在以下描述中,经由网络10执行信息的发送和接收,但是将省略其描述。图2为用于描述根据第一实施例的图像处理方法的流程图。
换句话说,如图2中的步骤ST1所示,图像处理服务器30周期性地从每个车辆50接收包括图像数据的图像信息和车辆信息。在车辆50的电子控制器52的控制下,在预定时刻从通信单元53周期性地发送车辆信息。图像信息是通过在电子控制器52的图像归档单元52a中归档图像数据和图像附带信息而获得的信息,并且在预定时刻从通信单元53周期性地发送。此处,作为预定时刻,例如,可以设置车辆50中的各种时刻,诸如以预定时间间隔的周期时刻或者车辆50经过预定位置的时刻。包括在图像信息中的图像数据是由车辆50的成像单元58捕获的静止图像数据和运动图像数据中的至少一个。
接下来,在步骤ST2中,已经接收到图像信息的图像处理服务器30的图像识别单元33对包括在由图像处理服务器30接收的图像信息中的图像数据(下文中称为“输入图像数据”)执行图像识别处理。图3为用于描述图像识别处理方法的示意图,并且示出了由车辆50的成像单元58捕获的输入图像数据的示例。
如图3中所示,例如,在路面上绘制的两条白线100a、100b,以及在路面上设置的诸如招牌的物体100c被捕获在输入图像数据100中。图像识别单元33识别白线100a、100b的成像状态,例如,具体地为输入图像数据100中的白线100a、100b的坐标信息。类似地,图像识别单元33识别输入图像数据100中的物体100c的坐标信息。
图像识别单元33基于输入图像数据100中的位置信息从正确答案信息数据库36b读取正确答案信息。正确答案信息包括在与输入图像数据100中的位置信息对应的地点处在路面上绘制的白线100a、100b和物体100c的正确状态下的坐标信息。图像识别单元33比较读取的正确答案信息中的白线100a、100b的坐标信息与输入图像数据100中识别的白线100a、100b的坐标信息。图像识别单元33比较在读取的正确答案信息中物体100c的坐标信息与在输入图像数据100中识别的物体100c的坐标信息。
在步骤ST3中,图像识别单元33基于图像数据中的白线100a、100b和物体100c的坐标信息与正确答案信息中的白线100a、100b和物体100c的坐标信息之间的比较结果来计算识别率。例如,在图像数据的识别结果基本上匹配关于白线100a和物体100c的坐标信息的正确答案信息,并且图像数据的识别结果与关于白线100b的坐标信息的正确答案信息不同的情况下,识别率被计算为约2/3,即67%。图像识别单元33将识别率设置为指标值,并将指标值输出到基础图像判定单元34。
接下来,流程进行到步骤ST4,并且基础图像判定单元34从基础图像数据库36a读取与输入图像数据100中的位置相同的位置处的相应基础图像数据的指标值。基础图像判定单元34判定输入图像数据100的指标值是否具有比从基础图像数据库36a读取的基础图像数据的指标值的评价高的评价。此处,在识别率被用作指标值的情况下,随着指标值变大,识别率变得更高并且图像数据的质量变得更高,因此给出了高的评价。在这种情况下,基础图像判定单元34判定输入图像数据100的指标值是否大于从基础图像数据库36a读取的基础图像数据的指标值。
在基础图像判定单元34判定输入图像数据100的指标值大于从基础图像数据库36a读取的基础图像数据的指标值的情况下(步骤ST4:是),流程进行到步骤ST5。在步骤ST5中,基础图像判定单元34将输入图像数据100与关于由图像识别单元33计算的输入图像数据100的指标值的数据相关联地存储在基础图像数据库36a中,从而更新基础图像和指标值。因此,完成了基于第一实施例的图像处理方法的基础图像更新处理。
在基础图像判定单元34判定输入图像数据100的指标值等于或小于从基础图像数据库36a读取的基础图像数据的指标值的情况下(步骤ST4:否),流程进行到步骤ST6。在步骤ST6中,基础图像判定单元34擦除输入图像数据100和关于指标值的数据。在这种情况下,不更新基础图像,并且完成图像处理。
指标值计算的修改示例
在此,将描述上述步骤ST2至ST4中的图像处理的修改示例。如图3中所示,例如,沥青路100d捕获在输入图像数据100中。此处,作为与步骤ST2对应的处理,图像识别单元33对输入图像数据100中的道路100d的沥青部分执行图像识别处理,并因此计算沥青部分的像素值的中值。另一方面,作为与步骤ST3对应的处理,图像识别单元33基于输入图像数据100中的位置信息从正确答案信息数据库36b读取沥青部分的像素值的中值的理想像素值。图像识别单元33计算正确答案信息中的读取的理想像素值与通过识别处理计算的像素值的中值之间的差。图像识别单元33将计算的差设置为指标值,并将指标值输出到基础图像判定单元34。
已经接收到指标值的基础图像判定单元34从基础图像数据库36a读取与输入图像数据100中的位置相同的位置处的相应基础图像数据的指标值。基础图像判定单元34判定输入图像数据100的指标值是否具有比从基础图像数据库36a读取的基础图像数据的指标值的评价高的评价。此处,在像素值的中值与理想像素值之间的差被用作指标值的情况下,随着指标值变小,像素值的中值与理想像素值彼此接近并且图像数据的质量变得更高,因此给出了高评价。在这种情况下,基础图像判定单元34判定输入图像数据100的指标值是否小于从基础图像数据库36a读取的基础图像数据的指标值。
在基础图像判定单元34判定输入图像数据100的指标值小于从基础图像数据库36a读取的基础图像数据的指标值的情况下(步骤ST4:是),流程进行到步骤ST5。另一方面,在基础图像判定单元34判定输入图像数据100的指标值等于或大于从基础图像数据库36a读取的基础图像数据的指标值的情况下(步骤ST4:否),流程进行到步骤ST6。其余图像处理方法与第一实施例中的相同。
以上述方式,在基础图像数据库36a中更新并累积了各个地点处的基础图像数据。图像生成单元35可以基于累积在基础图像数据库36a中的基础图像数据,生成与各个捕获地点处的成像环境或时间变化相对应的图像。图4和图5分别为用于描述基于第一实施例的图像处理方法的图像生成方法的流程图和示意图。以下将根据图4的流程图,同时适当参考图5进行描述。
如图4中所示,在步骤ST21中,希望再现图像的地点的位置信息经由网络10从外部装置输入到图像处理服务器30,或者从输入/输出单元37输入。输入的位置信息被输入到图像控制器32的图像生成单元35。在步骤ST22中,关于与期望再现图像的情况对应的类别的信息经由网络10从外部装置输入到图像处理服务器30,或从输入/输出单元37输入。如图5中所示,指定类别例如是用于阴雨天气的图像101b、用于在晴朗天气中的晚上的图像101c、或用于下雪天气的图像101d。随后,在图4中的步骤ST23中,图像生成单元35基于基础图像101a,例如,通过使用深度神经网络的图像样式转换或使用生成性对抗网络(GAN)的图像生成来生成指定类别的图像数据。如上所述,基础图像101a与诸如捕获基础图像101a的时间信息、位置信息和指标值的图像附带信息相关联。图像生成单元35将生成的图像数据输出到输入/输出单元37,或者经由网络10将图像数据发送到外部显示装置(未示出)。在步骤ST24中,输入/输出单元37或被输入图像数据的显示器装置再现输入图像数据。可以针对每个地点A、B、C、D、...执行图像生成处理。因此,图像生成单元35可以基于基础图像和关于每个地点A、B、C、D、...的指定类别的信息,生成和再现在各种情况下的图像数据。因此,可以为看起来彼此不同的环境提供图像并在显示装置上再现图像。
根据上述本发明的第一实施例,在通过基础图像判定处理、由车辆50的成像单元58捕获的新图像数据的指标值具有比存储在图像处理服务器30中并在过去捕获的基础图像数据的指标值的评价高的评价的情况下,将过去捕获的基础图像数据更新为新图像。因此,可以提高基础图像的质量,因此可以提高基于基础图像生成的其他图像的质量。由于仅更新对应于基本图像的基础图像,并且基于基础图像生成其中特定地点处的环境看起来彼此不同的其他图像,因此不必在存储单元36中累积每种环境的所有图像数据。因此,可以减小存储单元36的容量,从而降低操作成本。
第二实施例
接下来,将描述根据第二实施例的图像处理系统和图像处理方法。图6为示出根据第二实施例的车辆50的配置的框图。图7为用于描述根据第二实施例的图像处理方法的流程图。
如图6中所示,在第二实施例中,车辆50的电子控制器52包括图像识别单元52b和基础图像判定单元52c。图像识别单元52b和基础图像判定单元52c分别与根据第一实施例的图像处理服务器30中的图像控制器32的图像识别单元33和基础图像判定单元34相同。
如图7中所示,首先,在步骤ST11中,成像单元58在车辆50静止或正在行驶的同时执行成像。通过在成像单元58中成像获得的捕获的图像数据例如是图3中所示的图像数据。接下来,在步骤ST12中,车辆50将包括捕获的图像数据的位置信息的车辆信息发送到图像处理服务器30。在步骤ST13中,图像处理服务器30将接收到的位置信息的基础图像数据的指标值和关于与接收到的位置信息对应的地点的正确答案信息发送到车辆50。
随后,在步骤ST14和ST15中,车辆50的图像识别单元52b以与上述步骤ST2和ST3相同的方式基于所接收的关于捕获的图像数据的正确答案信息执行图像识别处理,以便计算指标值。此后,在步骤ST16中,基础图像判定单元52c以与上述步骤ST4中相同的方式将计算出的指标值与接收的基础图像数据的指标值进行比较。
在步骤ST16中,基础图像判定单元52c判定捕获的图像数据的指标值是否具有比接收到的基础图像数据的指标值的评价高的评价。此处,作为基础图像数据或捕获的图像数据的指标值,可以使用上述识别率,或者可以使用上述像素值的中值与理想像素值之间的差。在基础图像判定单元52c判定捕获的图像数据的指标值具有比基础图像数据的指标值的评价高的评价的情况下(步骤ST16:是),流程进行到步骤ST17。
在步骤ST17中,基础图像判定单元52c将捕获的图像数据与关于由图像识别单元52b计算的捕获的图像数据的指标值的数据相关联,并将关联结果发送到图像处理服务器30。在步骤ST18中,图像处理服务器30将接收的捕获的图像数据和关于指标值的数据存储在基础图像数据库36a中作为新的基础图像数据,从而更新基础图像和指标值。因此,完成了基于第二实施例的图像处理方法的基础图像更新处理。
在基础图像判定单元52c判定捕获的图像数据的指标值具有等于或低于接收到的基础图像数据的指标值的评价的评价的情况下(步骤ST16:否),流程进行到步骤ST19。在步骤ST19中,基础图像判定单元52c擦除捕获的图像数据和关于指标值的数据。在这种情况下,不从车辆50发送捕获的图像数据,并且完成图像处理。
在上述第二实施例中,在车辆50中执行图像识别处理和基础图像判定处理,因此可以实现与第一实施例中相同的效果。根据第二实施例,在发送通过在车辆50的成像单元58中成像获得的捕获的图像数据之前,将捕获的图像数据的指标值与存储在图像处理服务器30中的基础图像数据的指标值进行比较。因此,在捕获的图像数据的指标值具有等于或低于基础图像数据的指标值的评价的评价的情况下,不需要从通信单元53发送大量图像数据。因此,可以降低车辆50的通信容量,从而降低通信所需的成本。
记录介质
在上述实施例中,使得图像处理方法能够被执行的程序可以记录在可由计算机或其他机器或装置(下文中,称为“计算机等”)读取的记录介质上。计算机等读取记录在记录介质上的程序并执行该程序,因此计算机用作第一实施例的图像处理服务器30或第二实施例的车辆50的电子控制器52。此处,计算机等可读取的记录介质表示非暂时性记录介质,其中诸如数据或程序之类的信息通过电、磁、光、机械或化学作用累积,并且信息可以由计算机等从中读取。在这种记录介质中,可从计算机等拆卸的记录介质的例子包括软盘、磁光盘、CD-ROM、可重写光盘(CD-R/W)、DVD、BD、数字录音带(DAT)、磁带和诸如闪存的存储卡。固定到计算机等的记录介质的示例包括硬盘和ROM。固态驱动器(SSD)可以用作可从计算机等拆卸的记录介质,并且可以用作固定到计算机等的记录介质。
本领域技术人员可以容易地得出进一步的效果或修改示例。本发明的更广泛的方面不限于如上所述所表示和描述的具体细节和代表性实施例。因此,在不脱离由所附权利要求及其等同物限定的总的发明的概念的范围的精神的情况下,可以对本发明进行各种修改。
例如,在上述实施例中描述的服务器的配置或信息的类型仅仅是示例,并且可以根据需要采用与上述示例中不同的服务器的配置或信息的类型。
例如,在上述实施例中,图像处理服务器30的各个功能组成元件中的任何一个或其中的一些处理可以由连接到网络10的另一计算机执行。由图像处理服务器30执行的一系列处理可以由硬件执行,并且可以由软件执行。
例如,在上述第一实施例中,图像处理服务器30是单个服务器,但是图像处理服务器30可以被配置为包括可以彼此进行通信的多个单独的服务器。具体地,例如,图像处理服务器30的存储单元36可以设置在可以通过网络10执行信息的发送和接收的另一个数据服务器中。图像处理服务器30的存储单元36中的基础图像数据库36a和正确答案信息数据库36b可以分别存储在不同的数据服务器中。图像处理服务器30可以经由网络10存储过去收集的各种图像数据作为包括例如大数据的数据库。
例如,在上述第一实施例和修改示例1中,可以存在如下配置:基础图像判定单元34经由网络10接收天气信息,并且在该天气信息指示预定天气,例如晴天的情况下,执行步骤ST4中的判定。

Claims (6)

1.一种图像处理设备,其特征在于包括:
存储器,其被配置为记录基础图像数据和所述基础图像数据的指标值,所述基础图像数据是由所述图像处理设备生成的新图像数据的基础;以及
处理器,其被配置为
基于输入图像数据和捕获所述输入图像数据的位置处的正确答案信息计算指标值,
从所述存储器读取捕获所述输入图像数据的所述位置处的所述基础图像数据的所述指标值,以及
在计算出的指标值具有比所述基础图像数据的所述指标值的评价高的评价的情况下,将所述输入图像数据和所述计算出的指标值写入所述存储器,使得更新所述基础图像数据和所述基础图像数据的所述指标值中的每一个。
2.根据权利要求1所述的图像处理设备,其特征在于,所述处理器被配置为计算如下识别率作为所述指标值:包括在所述输入图像数据中的、在路面上绘制的图形和在所述路面上设置的物体中的至少一个相对于包括在所述正确答案信息中的、关于在路面上绘制的图形的信息和关于在所述路面上设置的物体的信息中的至少一个的识别率。
3.根据权利要求1所述的图像处理设备,其特征在于,所述处理器被配置为计算所述输入图像数据中的路面的像素的中值,并计算所述中值和包括在所述正确答案信息中的理想像素值之间的差作为所述指标值。
4.根据权利要求2或3所述的图像处理设备,其特征在于,所述处理器被配置为读取在与捕获所述输入图像数据的所述位置相同的位置处的天气信息,并在包括在所述天气信息中的天气是预定天气的情况下将所述计算出的指标值与所述基础图像数据的所述指标值进行比较。
5.一种由包括存储器和处理器的图像处理设备执行的图像处理方法,所述图像处理方法的特征在于包括:
基于输入图像数据和捕获所述输入图像数据的位置处的正确答案信息计算指标值;
从所述存储器读取捕获所述输入图像数据的所述位置处的基础图像数据的指标值,所述基础图像数据是由所述图像处理设备生成的新图像数据的基础;以及
在计算出的指标值具有比所述基础图像数据的所述指标值的评价高的评价的情况下,将所述输入图像数据和所述计算出的指标值写入所述存储器,使得更新所述基础图像数据和所述基础图像数据的所述指标值中的每一个。
6.一种存储程序的非暂时性可读记录介质,所述程序使处理器执行用于包括所述处理器和存储器的图像处理设备的控制方法,所述程序使所述处理器执行用于所述图像处理设备的控制处理,所述控制处理的特征在于包括:
基于输入图像数据和捕获所述输入图像数据的位置处的正确答案信息计算指标值;
从所述存储器读取捕获所述输入图像数据的所述位置处的基础图像数据的指标值,所述基础图像数据是由所述图像处理设备生成的新图像数据的基础;以及
在计算出的指标值具有比所述基础图像数据的所述指标值的评价高的评价的情况下,将所述输入图像数据和所述计算出的指标值写入所述存储器,使得更新所述基础图像数据和所述基础图像数据的所述指标值中的每一个。
CN201910654720.2A 2018-10-04 2019-07-19 图像处理设备、图像处理方法和存储程序的非暂时性可读记录介质 Pending CN111008289A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-189499 2018-10-04
JP2018189499A JP7059881B2 (ja) 2018-10-04 2018-10-04 画像処理装置、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN111008289A true CN111008289A (zh) 2020-04-14

Family

ID=70052265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910654720.2A Pending CN111008289A (zh) 2018-10-04 2019-07-19 图像处理设备、图像处理方法和存储程序的非暂时性可读记录介质

Country Status (3)

Country Link
US (1) US20200111202A1 (zh)
JP (1) JP7059881B2 (zh)
CN (1) CN111008289A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102585521B1 (ko) * 2020-12-29 2023-10-10 주식회사 와이즈오토모티브 차량용 영상 제어기 성능 테스트 장치 및 그 동작 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1327531A (zh) * 1999-10-27 2001-12-19 日本精机株式会社 导航装置
CN1543226A (zh) * 2003-04-30 2004-11-03 ������������ʽ���� 图像处理设备、图像处理方法及图像捕获设备
CN101859387A (zh) * 2009-04-01 2010-10-13 富士施乐株式会社 图像处理装置、图像形成装置及图像处理方法
US20140063565A1 (en) * 2012-09-06 2014-03-06 Omnivision Technologies, Inc. Systems And Methods For Resuming Capture Of A Base Image Of An Object By A Mobile Scanner
US20140079325A1 (en) * 2012-09-14 2014-03-20 Buffalo Inc. Image information processing system, image information processor and recording media
US20140277939A1 (en) * 2013-03-14 2014-09-18 Robert Bosch Gmbh Time and Environment Aware Graphical Displays for Driver Information and Driver Assistance Systems
US20150319374A1 (en) * 2014-05-02 2015-11-05 Canon Kabushiki Kaisha Image capture apparatus, image processing system, and control method thereof
US20160086311A1 (en) * 2013-07-12 2016-03-24 Mitsubishi Electric Corporation High-resolution image generation apparatus, high-resolution image generation method, and high-resolution image generation program
CN105809619A (zh) * 2015-01-19 2016-07-27 株式会社理光 用于线性全景图像拼接的图像获取用户界面
US20160305794A1 (en) * 2013-12-06 2016-10-20 Hitachi Automotive Systems, Ltd. Vehicle position estimation system, device, method, and camera device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4995787B2 (ja) * 2008-08-26 2012-08-08 日本電信電話株式会社 画像蓄積装置,画像蓄積装置用プログラムおよび画像蓄積システム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1327531A (zh) * 1999-10-27 2001-12-19 日本精机株式会社 导航装置
CN1543226A (zh) * 2003-04-30 2004-11-03 ������������ʽ���� 图像处理设备、图像处理方法及图像捕获设备
CN101859387A (zh) * 2009-04-01 2010-10-13 富士施乐株式会社 图像处理装置、图像形成装置及图像处理方法
US20140063565A1 (en) * 2012-09-06 2014-03-06 Omnivision Technologies, Inc. Systems And Methods For Resuming Capture Of A Base Image Of An Object By A Mobile Scanner
US20140079325A1 (en) * 2012-09-14 2014-03-20 Buffalo Inc. Image information processing system, image information processor and recording media
CN103685923A (zh) * 2012-09-14 2014-03-26 巴法络股份有限公司 图像信息处理系统、图像信息处理装置以及方法
US20140277939A1 (en) * 2013-03-14 2014-09-18 Robert Bosch Gmbh Time and Environment Aware Graphical Displays for Driver Information and Driver Assistance Systems
US20160086311A1 (en) * 2013-07-12 2016-03-24 Mitsubishi Electric Corporation High-resolution image generation apparatus, high-resolution image generation method, and high-resolution image generation program
US20160305794A1 (en) * 2013-12-06 2016-10-20 Hitachi Automotive Systems, Ltd. Vehicle position estimation system, device, method, and camera device
US20150319374A1 (en) * 2014-05-02 2015-11-05 Canon Kabushiki Kaisha Image capture apparatus, image processing system, and control method thereof
CN105809619A (zh) * 2015-01-19 2016-07-27 株式会社理光 用于线性全景图像拼接的图像获取用户界面

Also Published As

Publication number Publication date
US20200111202A1 (en) 2020-04-09
JP7059881B2 (ja) 2022-04-26
JP2020060807A (ja) 2020-04-16

Similar Documents

Publication Publication Date Title
CN107577227A (zh) 操作无人驾驶车辆的方法、装置和数据处理系统
US20220185318A1 (en) Information processing device, information processing system, and program
JP2021103091A (ja) ルート検索システム
JP2016224477A (ja) 車載装置、運転モード制御システム、及び運転モード制御方法
JP2022545213A (ja) 三次元空間に対応するマップを生成する車両、及びその方法
CN114882464B (zh) 多任务模型训练方法、多任务处理方法、装置及车辆
JP2020008436A (ja) 経路情報支援装置および経路情報支援システム
Sharma et al. Cost reduction for advanced driver assistance systems through hardware downscaling and deep learning
CN111008289A (zh) 图像处理设备、图像处理方法和存储程序的非暂时性可读记录介质
WO2022147785A1 (zh) 车辆驾驶场景识别方法及装置
CN110796760B (zh) 交通事故证据收集方法、车载终端、服务器及系统
CN112597235A (zh) 基于无人车的智能交互方法、装置及无人车
CN115203457B (zh) 图像检索方法、装置、车辆、存储介质及芯片
CN114973178A (zh) 模型训练方法、物体识别方法、装置、车辆及存储介质
WO2020258222A1 (en) Method and system for identifying object
US20210158703A1 (en) Information processing device, information processing system, and computer readable recording medium
US11262206B2 (en) Landmark based routing
JP2023124396A (ja) 情報表示装置および情報表示プログラム
US11256927B2 (en) Information provision device, vehicle, driving assistance system, map generation device, driving assistance device, and driving assistance method
WO2020073272A1 (en) Snapshot image to train an event detector
KR102443843B1 (ko) 차량 및 그 제어 방법
JP2022190507A (ja) 車載情報処理装置、車両、情報処理装置、情報処理方法、およびプログラム
WO2020073271A1 (en) Snapshot image of traffic scenario
WO2020073270A1 (en) Snapshot image of traffic scenario
CN114912694A (zh) 一种电动车行程预估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200414

WD01 Invention patent application deemed withdrawn after publication