CN111354210B - 地图生成设备、地图生成系统、地图生成方法以及地图生成程序 - Google Patents

地图生成设备、地图生成系统、地图生成方法以及地图生成程序 Download PDF

Info

Publication number
CN111354210B
CN111354210B CN201911319882.7A CN201911319882A CN111354210B CN 111354210 B CN111354210 B CN 111354210B CN 201911319882 A CN201911319882 A CN 201911319882A CN 111354210 B CN111354210 B CN 111354210B
Authority
CN
China
Prior art keywords
image
detection
vehicle
information
pollen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911319882.7A
Other languages
English (en)
Other versions
CN111354210A (zh
Inventor
柳卓郎
田村麻贵
松浦睦实
井上利彦
山室直树
林贵志
志贺孝广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN111354210A publication Critical patent/CN111354210A/zh
Application granted granted Critical
Publication of CN111354210B publication Critical patent/CN111354210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3826—Terrain data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Ecology (AREA)
  • Educational Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

地图生成设备包括：通信单元，其获取在从车辆拍摄图像的时刻关于车辆的位置信息；和控制单元，其基于由通信单元获取的关于车辆的位置信息和指示图像中的第一检测的结果的检测信息估计花粉的飞散状态，并生成指示所估计的飞散状态的地图信息，图像中的第一检测是对佩戴防花粉物品的人的检测。

Description

地图生成设备、地图生成系统、地图生成方法以及地图生成 程序
技术领域
本发明涉及地图生成设备，地图生成系统，地图生成方法以及地图生成程序。
背景技术
第2004-310397号日本专利申请公开(JP 2004-310397 A)和第2008-083932号日本专利申请公开(JP 2008-083932 A)描述了从通过拍摄人的脸而获得的图像来判定人是否佩戴口罩的技术。
发明内容
在当前被提供为天气信息服务的一部分的花粉信息中，针对每个广阔区域预测了花粉飞散量。由于粗糙的粒度，花粉信息不是对于遭受花粉热的用户真正有用的信息。
本发明的目的是获得与花粉的飞散状态相关的细粒度信息(granularinformation)。
根据本发明的实施例的地图生成设备包括：通信单元，其获取在从车辆拍摄图像的时刻关于车辆的位置信息；和控制单元，其基于由通信单元获取的关于车辆的位置信息和指示图像中的检测的结果的检测信息估计花粉的飞散状态，并生成指示所估计的飞散状态的地图信息，图像中的检测是对佩戴防花粉物品的人的检测。
根据本发明的实施例的地图生成方法包括：通信单元获取在从车辆拍摄图像的时刻关于车辆的位置信息；和控制单元基于由通信单元获取的关于车辆的位置信息和指示图像中的检测的结果的检测信息估计花粉的飞散状态，并生成指示所估计的飞散状态的地图信息，图像中的检测是对佩戴防花粉物品的人的检测。
根据本发明的实施例的地图生成程序使计算机执行：获取在从车辆拍摄图像的时刻关于车辆的位置信息的步骤；和基于所获取的关于车辆的位置信息和指示图像中的检测的结果的检测信息估计花粉的飞散状态，并生成指示所估计的飞散状态的地图信息的步骤，图像中的检测是对佩戴防花粉物品的人的检测。
通过本发明的实施例，能够获得与花粉的飞散状态相关的细粒度信息。
附图说明
本发明的示例性实施例的特征、优点和技术及工业意义，将在下文中参考附图而加以描述，其中相似标号表示相似要素，且其中：
图1是展示根据本发明的实施例的地图生成系统的配置的示意图；
图2是展示根据本发明的实施例的地图生成系统的配置的框图；
图3是展示根据本发明的实施例的地图生成系统的行为的流程图；
图4是展示根据本发明的实施例的变型的地图生成系统的配置的框图；和
图5是展示根据本发明的实施例的变型的地图生成系统的行为的流程图。
具体实施方式
在下文中，将参照附图描述本发明的实施例。
在附图中，相同或等同的部分由相同的附图标记表示。在实施例的描述中，在适当时省略或简化了相同或等同部分的描述。
将参考图1和图2描述实施例的概述。
地图生成设备42的通信单元23获取在从车辆10拍摄图像51的时刻关于车辆10的位置信息52。地图生成设备42的控制单元21基于由通信单元23获取的关于车辆10的位置信息52和指示在图像51中佩戴防花粉物品的人的检测的结果的检测信息53，估计花粉的飞散状态。控制单元21生成指示所估计的飞散状态的地图信息55。
在该实施例中，控制单元21基于在从车辆10拍摄的图像51上展示的防花粉物品(例如人的口罩或眼镜)的佩戴状态，估计拍摄图像51的位置处的花粉分散量。结果，不同于当前提供的花粉信息54，控制单元21生成指示在特定位置处的花粉飞散量而不是在每个广阔区域的花粉飞散量的地图信息55。
作为图像51，例如，可以使用从正移动的车辆10连续拍摄的移动图像。替代性地，可以使用从正移动的车辆10间歇地拍摄的多个静止图像。替代性地，可以使用从多个车辆10在不同位置处单独拍摄的多个图像。在所有情况下，估计在每个特定位置处的花粉飞散量。因此，生成指示在每个特定位置处的花粉飞散量的地图信息55。例如，能够生成指示一个或多个区域中各种位置处的花粉飞散量的地图信息55。
因此，该实施例给出与花粉的飞散状态相关的细粒度信息。即，该实施例给出了对于遭受花粉热的用户有用的信息。
在该实施例中，车辆10是汽车，但是可以是另一类型的车辆。
将参考图2描述根据实施例的地图生成系统40的配置。
地图生成系统40包括图像分析设备41和地图生成设备42。
图像分析设备41和地图生成设备42可以通过网络43(例如移动通信网络和因特网)彼此通信。地图生成设备42可以通过网络43与终端装置30通信。
图像分析设备41包括在车辆10中。图像分析设备41可以被配置为车载装置(例如导航设备)，或者可以被配置为在与车载装置(例如智能电话)连接的同时使用的电子装置。
图像分析设备41包括构成元件，例如控制单元11、存储单元12、通信单元13和定位单元14。
控制单元11由一个或多个处理器构成。作为处理器，可以使用通用处理器(例如CPU)或专用于特定处理的专用处理器。“CPU”是中央处理单元(Central Processing Unit)的缩写。控制单元11可以包括一个或多个专用电路，或者在控制单元11中，一个或多个处理器由一个或多个专用电路所替代。作为专用电路，例如，可以使用FPGA或ASIC。“FPGA”是现场可编程门阵列(Field-Programmable Gate Array)的缩写。“ASIC”是应用型专用集成电路(Application Specific Integrated Circuit)的缩写。控制单元11可以包括一个或多个ECU。“ECU”是电子控制单元(Electronic Control Unit)的缩写。控制单元11执行与图像分析设备41的行为相关的信息处理，同时控制包括图像分析设备41的车辆10的部件。
存储单元12由一个或多个存储器构成。作为存储器，例如，可以使用半导体存储器、磁存储器或光存储器。该存储器可以用作主存储设备、辅助存储设备或高速缓冲存储器。在存储单元12中，存储要用于图像分析设备41的行为的信息和通过图像分析设备41的行为而获得的信息。
通信单元13由一个或多个通信模块构成。作为通信模块，例如，可以使用用于DSRC、LTE、4G或5G的通信模块。“DSRC”是专用短程通信(Dedicated Short RangeCommunications)的缩写。“LTE”是长期演进(Long Term Evolution)的缩写。“4G”是第4代(4th Generation)的缩写。“5G”是第5代(5th Generation)的缩写。通信单元13接收要用于图像分析设备41的行为的信息，并发送通过图像分析设备41的行为而获得的信息。
定位单元14由一个或多个定位模块构成。作为定位模块，例如，可以使用用于GPS、QZSS、GLONASS或Galileo的定位模块。“GPS”是全球定位系统(Global PositioningSystem)的缩写。“QZSS”是准天顶卫星系统(Quasi-Zenith Satellite System)的缩写。QZSS的卫星称为准天顶卫星系统。“GLONASS”是全球导航卫星系统(Global NavigationSatellite System)的缩写。定位单元14获取关于车辆10的位置信息52。
当通过包括在控制单元11中的处理器执行根据实施例的图像分析程序时，实现图像分析设备41的功能。即，图像分析设备41的功能通过软件实现。图像分析程序是用于通过使计算机执行包括在图像分析设备41的行为中的步骤而使计算机实现与该步骤相对应的功能的程序。即，图像分析程序是用于使计算机用作图像分析设备41的程序。
程序可以被记录在计算机可读记录介质中。作为计算机可读记录介质，例如，可以使用磁记录设备、光盘、磁光记录介质或半导体存储器。例如，通过对其中记录有程序的诸如DVD或CD-ROM的便携式记录介质执行销售、转移或出租来执行程序的分发。“DVD”是数字多功能光盘(Digital Versatile Disc)的缩写。“CD-ROM”是只读光盘存储器(CompactDisc Read Only Memory)的缩写。可以通过将程序存储在服务器的存储装置中并且通过网络将程序从该服务器传送到其他计算机来分发程序。该程序可以被提供为程序产品。
例如，在存储器中，计算机临时(once)存储在便携式记录介质中记录的程序或从服务器传送的程序。然后，计算机利用处理器读取存储在存储器中的程序，并根据所读取的程序利用处理器执行处理。计算机可以直接从便携式记录介质读取程序，并且可以根据该程序执行处理。每当程序从服务器传送至计算机时，计算机可以根据所接收的程序来执行处理。计算机可以通过所谓的ASP类型服务执行该处理，在该ASP类型服务中仅通过执行指令和结果获取来实现功能而无需将程序从服务器传送至计算机。“ASP”是应用服务提供商(Application Service Provider)的缩写。该程序包括由电子计算机用于处理的信息，并且该信息等同于程序。例如，具有不直接指示计算机而是由计算机规定处理的属性的数据被包括在“等同于程序的信息”中。
图像分析设备41的一些或全部功能可以通过包括在控制单元11中的专用电路来实现。即，图像分析设备41的一些或全部功能可以通过硬件来实现。
除了图像分析设备41之外，车辆10还包括拍摄单元15、输入单元16和输出单元17。在车辆10中，拍摄单元15、输入单元16和输出单元17可以构成图像分析设备41的一部分。
拍摄单元15由一个或多个车载摄像头构成。作为车载摄像头，例如，可以使用前摄像头、侧摄像头或后摄像头。拍摄单元15从车辆10拍摄图像51。即，拍摄单元15拍摄车辆10的外部的图像51。
输入单元16由一个或多个输入接口构成。作为输入接口，例如，可以使用物理键、电容键、指点设备、与车载显示器一体地设置的触摸屏、或车载麦克风。输入单元16从用户(例如车辆10的驾驶员)接受要用于图像分析设备41的行为的信息的输入。
输出单元17由一个或多个输出接口构成。作为输出接口，例如，可以使用车载显示器或车载扬声器。作为车载显示器，例如，可以使用HUD、LCD或有机EL显示器。“HUD”是抬头显示器(Head-Up Display)的缩写。“LCD”是液晶显示器(Liquid Crystal Display)的缩写。“EL”是电致发光(Electro Luminescence)的缩写。输出单元17将通过图像分析设备41的行为获得的信息输出至用户。
地图生成设备42可以设置在任意位置中。在该实施例中，地图生成设备42设置在数据中心中。地图生成设备42被配置为云计算系统或其他计算系统中的服务器20。
地图生成设备42包括构成元件，例如控制单元21、存储单元22和通信单元23。
控制单元21由一个或多个处理器构成。作为处理器，可以使用通用处理器(例如CPU)或专用于特定处理的专用处理器。控制单元21可以包括一个或多个专用电路，或者在控制单元21中，一个或多个处理器可以由一个或多个专用电路所替代。作为专用电路，例如，可以使用FPGA或ASIC。控制单元21执行与地图生成设备42的行为相关的信息处理，同时控制作为地图生成设备42的服务器20的部件。
存储单元22由一个或多个存储器构成。作为存储器，例如，可以使用半导体存储器、磁存储器或光存储器。该存储器可以用作主存储设备，辅助存储设备或高速缓冲存储器。在存储单元22中，存储要用于地图生成设备42的行为的信息和通过地图生成设备42的行为而获得的信息。
通信单元23由一个或多个通信模块构成。作为通信模块，例如，可以使用用于LAN模块的通信模块。“LAN”是局域网(Local Area Network)的缩写。通信单元23接收要用于地图生成设备42的行为的信息，并发送通过地图生成设备42的行为而获得的信息。
当通过包括在控制单元21中的处理器执行根据实施例的地图生成程序时，实现地图生成设备42的功能。即，地图生成设备42的功能是通过软件实现的。地图生成程序是用于通过使计算机执行包括在地图生成设备42的行为中的步骤而使计算机实现与该步骤相对应的功能的程序。即，地图生成程序是用于使计算机用作地图生成设备42的程序。
地图生成设备42的一些或全部功能可以通过包括在控制单元21中的专用电路来实现。即，可以通过硬件来实现地图生成设备42的一些或全部功能。
终端装置30是用户使用的装置。终端装置30可以配置为由用户携带的移动装置，如示例性的，智能手机；可以配置为用户在家庭或办公室中使用的非移动装置，如示例性的，台式PC；或者可以是用户与车辆一起使用的车载装置，如示例性的，导航设备。“PC”是个人计算机(Personal Computer)的缩写。
除了图2以外，还将参考图3描述根据实施例的地图生成系统40的行为。地图生成系统40的行为对应于根据实施例的地图生成方法。
在车辆10中执行步骤S101至步骤S103中的处理。
在步骤S101中，图像分析设备41的控制单元11获取从车辆10拍摄的图像51和在拍摄图像51的时刻关于车辆10的位置信息52。
具体地，控制单元11从拍摄单元15获取车辆10的外部的图像51，如示例性的，车辆10的前方视图、侧方视图或后方视图的图像。图像51可以是移动图像，或者可以是静止图像。控制单元11从定位单元14获取在当前钟点(current hour)的关于车辆10的位置信息52。例如，位置信息52包括使用GPS、QZSS、GLONASS、Galileo或它们中的两个或更多个的组合而获得的车辆10的当前位置的二维坐标或三维坐标。控制单元11将从拍摄单元15获取的图像51存储在存储单元12中，并且与图像51相关联地将指示当前钟点的钟点信息和从定位单元14获取的位置信息52存储在存储单元12中。
控制单元11可以将指示在拍摄图像51时的钟点的钟点信息与图像51一起从拍摄单元15获取。在这种情况下，控制单元11从定位单元14获取在由所获取的钟点信息指示的钟点处的关于车辆10的位置信息52。控制单元11将所获取的图像51存储在存储单元12中，并且与图像51相关联地将所获取的钟点信息和位置信息52存储在存储单元12中。
在步骤S102中，通过分析在步骤S101中获取的图像51，图像分析设备41的控制单元11在图像51中检测佩戴防花粉物品的人，并生成指示检测结果的检测信息53。即，控制单元11生成指示图像51中佩戴防花粉物品的人的检测结果的检测信息53。
具体地，控制单元11分析在步骤S101中存储在存储单元12中的图像51，并且识别车辆10周围的行人、乘坐在其他车辆中的人、以及其他人。控制单元11进一步分析图像51，并且判定所识别的人是否佩戴防花粉物品(例如口罩或眼镜)。作为用于识别图像51内的人和防花粉物品的技术，例如，可以使用机器学习、模式匹配、特征点提取，或具有机器学习、模式匹配和特征点提取的组合的图像识别技术。可以使用任意相关技术。例如，可以使用在JP 2004-310397A或JP 2008-083932A中描述的技术。作为检测信息53，控制单元11生成指示总人数和检测到的人数的信息，该总人数是所识别的人的数量，该检测到的人数是判定其中每个人佩戴了防花粉物品的人的数量。
检测信息53可以指示检测率，而不是检测到的人数，该检测率是检测到的人数与总人数的比率。
检测信息53可以将控制单元11判定其中每个人佩戴了口罩和眼镜的人的数量指示为检测到的人数。即，由检测信息53指示的检测到的人数可以是从排除仅佩戴口罩的人数和仅佩戴眼镜的人数而得到的数量。
检测信息53可以将控制单元11判定其中每个人佩戴了防花粉眼镜的人的数量指示为检测到的人数。与通常的眼镜不同，在防花粉眼镜中，作为特征，用于眼睛的罩被附接到框架。通过分析图像51并检测该特征，控制单元11可以在佩戴通常的眼镜的人和佩戴防花粉眼镜的人之间进行区分。
检测信息53可以进一步指示图像51中佩戴防花粉物品的人的眼睛的湿润状态的检测结果。例如，检测信息53可以将控制单元11判定其中每个人佩戴了防花粉物品并且眼睛湿润的人的数量指示为检测到的人数。作为用于识别图像51内的人的眼睛的湿润状态的技术，可以使用例如机器学习、模式匹配、特征点提取，或具有机器学习、模式匹配和特征点提取的组合的图像识别技术。
检测信息53可以进一步指示图像51中佩戴防花粉物品的人的眼睛的充血状态的检测的结果。例如，检测信息53可以将控制单元11判定其中每个人佩戴了防花粉物品并且眼睛充血的人的数量指示为检测到的人数。作为用于识别图像51内的人的眼睛的充血状态的技术，可以使用例如机器学习、模式匹配、特征点提取，或具有机器学习，模式匹配和特征点提取的组合的图像识别技术。
在包括在拍摄单元15中的车载摄像头布置在车辆10的外侧上的情况下，检测信息53可以进一步指示图像51中附着至车载摄像头的镜头的花粉的检测的结果。在那种情况下，通过分析图像51，控制单元11判定花粉是否附着至用于图像51的拍摄的车载摄像头的镜头上。作为用于识别图像51内的附着至镜头的花粉的技术，可以使用例如机器学习、模式匹配、特征点提取，或具有机器学习，模式匹配和特征点提取的组合的图像识别技术。
在包括在拍摄单元15中的车载摄像头布置在车辆10的内侧上的情况下，检测信息53可以进一步指示图像51中附着至面向车载摄像头的镜头的车辆10的窗玻璃的花粉的检测的结果。在那种情况下，通过分析图像51，控制单元11判定花粉是否附着至存在于图像51的拍摄方向的车辆10的窗玻璃。作为用于识别图像51内的附着至窗玻璃的花粉的技术，可以使用例如机器学习、模式匹配、特征点提取，或具有机器学习，模式匹配和特征点提取的组合的图像识别技术。
在步骤S103中，图像分析设备41的通信单元13将在步骤S101中由控制单元11获取的关于车辆10的位置信息52和在步骤S102中由控制单元生成的检测信息53提供至地图生成设备42。
具体地，控制单元11将在步骤S101中存储在存储单元12中的钟点信息和位置信息52以及在步骤S102中生成的检测信息53输入至通信单元13。通信单元13通过经由网络43的通信将从控制单元11输入的钟点信息、位置信息52和检测信息53发送至作为服务器20的地图生成设备42。
在正移动的车辆10中重复执行步骤S101至步骤S103中的处理。替代性地，在不同位置的多个车辆10中执行步骤S101至步骤S103中的处理。
每当执行步骤S101至步骤S103中的处理时，即每当提供位置信息52和检测信息53时，服务器20执行步骤S104中的处理。
在步骤S104中，地图生成设备42的通信单元23获取在步骤S103中从车辆10的图像分析设备41提供的关于车辆10的位置信息52和检测信息53。
具体地，通信单元23通过网络43接收在步骤S103中从车辆10的图像分析设备41发送的钟点信息、位置信息52和检测信息53。控制单元21从通信单元23获取由通信单元23接收的钟点信息、位置信息52和检测信息53。控制单元21将所获取的钟点信息、位置信息52和检测信息53存储在存储单元22中。
在以几乎实时的方式从车辆10的图像分析设备41发送位置信息52的情况下，控制单元21可以将指示当通信单元23从车辆10的图像分析设备41接收位置信息52时的钟点的信息存储在存储单元22中，作为钟点信息。在那种情况下，通信单元23不需要从车辆10的图像分析设备41接收钟点信息。
服务器20执行步骤S105中的处理。步骤S105中的处理可以在步骤S104中的处理之前执行。
在步骤S105中，地图生成设备42的通信单元23获取每个区域的花粉信息54。
具体地，通信单元23通过网络43接收从公共服务器发送的花粉信息54，作为天气信息服务的一部分。控制单元21从通信单元23获取由通信单元23接收的花粉信息54。控制单元21将所获取的花粉信息54存储在存储单元22中。
每当执行步骤S104中的处理时，即，每当获取位置信息52和检测信息53时(对于位置信息52和检测信息53中的每一者在那时刻获取)，服务器20执行步骤S106和步骤S107中的处理。替代性地，每单位时段(例如几分钟、几十分钟或几小时)服务器20统一地对在单位时段内在步骤S104中获取的位置信息52和检测信息53中的全部执行步骤S106和步骤S107中的处理。
在步骤S106中，地图生成设备42的控制单元21基于在步骤S104中由通信单元23获取的关于车辆10的位置信息52和检测信息53以及在步骤S105中由通信单元23获取的花粉信息54，估计花粉的飞散状态。控制单元21生成指示所估计的飞散状态的地图信息55。控制单元21在步骤S106中一旦生成地图信息55。然后，当再次执行步骤S106中的处理时，可以更新所生成的地图信息55，或者可以新生成地图信息55。
具体地，如果在步骤S104中由存储在存储单元22中的钟点信息所指示的钟点与当前钟点之间的差落入规定时段(例如几分钟、几十分钟或几小时)内，则控制单元21参考在步骤S104中存储在存储单元22中的位置信息52和检测信息53以及在步骤S105中存储在存储单元22中的花粉信息54。控制单元21将取决于由检测信息53所指示的检测到的人数的花粉飞散量识别为第一飞散量。使用用于将检测到的人数转换为花粉飞散量的表或式，或者用于从检测到的人数估计花粉飞散量的函数来识别第一飞散量。可以通过任意方法来决定要用于识别第一飞散量的表、式和函数中的每一者。例如，通过对其中每个人佩戴防花粉物品的人数与花粉飞散量之间的关系执行现场调查并分析现场调查的结果，预先决定表、式或函数。对于包含由位置信息52指示的位置的区域，控制单元21采用由花粉信息54指示的花粉飞散量作为第二飞散量，并将第二飞散量与第一飞散量进行比较。第二飞散量是在广阔区域中花粉飞散量的预测值。如果第一飞散量和第二飞散量之间的差不超过阈值，则控制单元21判定第一飞散量是正确的，并且通过执行第一飞散量在由位置信息52指示的地图上的位置处的映射来生成或更新地图信息55。如果第一飞散量和第二飞散量之间的差超过阈值，则控制单元21判定第一飞散量是不正确的，并且不执行第一飞散量的映射。第一飞散量和第二飞散量中的每一者都可以通过任意单位(例如每平方厘米的花粉颗粒的数量或每立方米的花粉颗粒的数量)来表达，并且可以方便地通过指示五个等级的等级的数值来表达。
在检测信息53指示检测率而不是检测到的人数的情况下，控制单元21将取决于检测率的花粉飞散量识别为第一飞散量。使用用于将检测率转换为花粉飞散量的表或式，或用于从检测率估计花粉飞散量的函数来识别第一飞散量。可以通过任意方法来决定要用于识别第一飞散量的表、式和函数中的每一者。例如，通过佩戴防花粉物品的人的比率和花粉飞散量之间的关系执行现场调查并分析现场调查的结果，预先决定表、式或函数。
在检测信息53将控制单元11判定其中每个人佩戴了口罩和眼镜两者的人的数量指示为检测到的人数的情况下，检测到的人数不太可能包括其中每个人出于与花粉措施不同的目的而佩戴口罩的人的数量。因此，第一飞散量的正确性，即对花粉的飞散状态的估计准确度增加。
在检测信息53将控制单元11判定其中每个人佩戴了防花粉眼镜的人的数量指示为检测到的人数的情况下，检测到的人数不太可能包括其中每个人佩戴通常的眼镜的人的数量。因此，第一飞散量的正确性，即对花粉的飞散状态的估计准确度增加。
在检测信息53将控制单元11判定其中每个人佩戴了防花粉物品并且眼睛湿润的人的数量指示为检测到的人数的情况下，检测到的人数不太可能包括出于与花粉热的不同的原因而佩戴口罩的人的数量。因此，第一飞散量的正确性，即对花粉的飞散状态的估计准确度增加。
在检测信息53将控制单元11判定其中每个人佩戴了防花粉物品并且眼睛充血的人的数量指示为检测到的人数的情况下，检测到的人数不太可能包括出于与花粉热的不同的原因而佩戴口罩的人的数量。因此，第一飞散量的正确性，即对花粉的飞散状态的估计准确度增加。
仅在检测信息53指示花粉被附着至用于图像51的拍摄的车载摄像头的镜头或附着至存在于图像51的拍摄方向上的车辆10的窗玻璃的情况下，控制单元21才可以生成地图信息55。在那种情况下，第一飞散量的正确性，即对花粉的飞散状态的估计准确度增加。
控制单元21可以生成地图信息55而不比较第一飞散量和第二飞散量。在那种情况下，控制单元21不需要参考花粉信息54，以及因此可以跳过步骤S105中的处理。
控制单元21可以在适当时检查地图信息55，并且如果存在基于在最后的规定时段之前获取的位置信息52和检测信息53映射的第一飞散量，则控制单元21可以从地图信息55去除第一飞散量。
在该实施例中，控制单元21执行第一飞散量到针对至少一个车辆10识别的第一飞散量的位置的映射。然而，控制单元21可以执行第一飞散量仅到针对规定数量或更多的车辆10识别的几乎相同的第一飞散量的位置的映射。在那种情况下，地图信息55的可靠性增加。
在步骤S107中，地图生成设备42的通信单元23将在步骤S106中由控制单元21生成或更新的地图信息55提供至终端装置30。
具体地，控制单元21将在步骤S106中生成或更新的地图信息55输入至通信单元23。通信单元23通过网络43将从控制单元21输入的地图信息55发送至终端装置30。
每当执行步骤S107中的处理时，即，每当提供地图信息55时，终端装置30执行步骤S108和步骤S109中的处理。
在步骤S108中，终端装置30获取在步骤S107中从作为服务器20的地图生成设备42提供的地图信息55。
具体地，终端装置30通过网络43接收在步骤S107中从作为服务器20的地图生成设备42发送的地图信息55。
在步骤S109中，终端装置30将在步骤S108中获取的地图信息55显示给用户。
具体地，终端装置30将包含在步骤S108中接收的地图信息55的画面(screen)显示在显示器上。在该画面上，显示地图信息55，使得指示所映射的第一飞散量的数字、字符、图形(例如图标)或它们的组合被布置在地图上的一个或多个位置处。图形(例如人的图标)可以显示在同一地图上的当前用户位置处。
如上所述，车辆10的图像分析设备41分析从车辆10拍摄的图像51。图像分析设备41在图像51中检测佩戴防花粉物品的人。图像分析设备41生成指示检测结果的检测信息53。图像分析设备41将在拍摄图像51的时刻关于车辆10的位置信息52以及所生成的检测信息53提供至地图生成设备42。地图生成设备42获取从图像分析设备41提供的关于车辆10的位置信息52和检测信息53。地图生成设备42基于所获取的关于车辆10的位置信息52和所获取的检测信息53来估计花粉的飞散状态。地图生成设备42生成指示所估计的飞散状态的地图信息55。因此，利用该实施例，能够获得与花粉的飞散状态相关的细粒度信息。即，能够获得对遭受花粉热的用户有用的信息。
图像分析设备41可以被配置为云计算系统或其他计算系统中的服务器。该服务器可以是服务器20，或者可以是与服务器20不同的服务器。
在图像分析设备41配置为服务器20的情况下，如图4所示，图像分析设备41与地图生成设备42集成。如图5所示，服务器20执行步骤S102中的处理作为步骤S104a中的处理。因此，在步骤S101之后的步骤S102a中，步骤S104a中的处理的必要信息(如示例性的，在步骤S101中获取的图像51和关于车辆10的位置信息52)从车辆10被提供至服务器20。在步骤S102a之后的步骤S103a中，地图生成设备42的通信单元23获取在步骤S102a中从车辆10提供的图像51和关于车辆10的位置信息52。在步骤S104a中，通过分析在步骤S103a中由通信单元23获取的图像51，地图生成设备42的控制单元21在图像51中检测佩戴防花粉物品的人，并生成指示检测结果的检测信息53。即，控制单元21生成指示在图像51中佩戴防花粉物品的人的检测的结果的检测信息53。检测信息53用于在步骤S106的处理中生成或更新地图信息55。
在图像分析设备41配置为与服务器20不同的服务器X的情况下，服务器X执行步骤S102和步骤S103中的处理。每当在车辆10中执行步骤S101中的处理时，步骤S102和步骤S103中的处理的必要信息(如示例性的，在步骤S101中获取的图像51和关于车辆10的位置信息52)从车辆10被上载至服务器X。在步骤S103中，步骤S104至步骤S107中处理的必要信息(如示例性的，关于车辆10的位置信息52和检测信息53)从服务器X被传送至服务器20。
本发明不限于上述实施例。例如，框图中描述的多个框可以被集成，并且单个框可以被划分。取决于执行步骤的设备的处理能力，或者根据需要，可以并行或以不同的顺序执行流程图中描述的多个步骤，而不是按照所描述的时间顺序来执行。此外，在不脱离本发明的精神的情况下可以做出修改。

Claims (9)

1.地图生成设备，其特征在于，包括：
通信单元，其获取在从车辆拍摄图像的时刻关于车辆的位置信息；和
控制单元，其基于由所述通信单元获取的所述关于车辆的位置信息和指示图像中的第一检测的结果的检测信息估计花粉的飞散状态，并生成指示所估计的飞散状态的地图信息，所述图像中的第一检测是对佩戴防花粉物品的人的检测。
2.根据权利要求1所述的地图生成设备，其特征在于，所述检测信息还指示图像中的第二检测的结果，所述图像中的第二检测是对佩戴防花粉物品的人的眼睛的湿润状态和充血状态中至少一者的检测。
3.根据权利要求1或2所述的地图生成设备，其特征在于，所述检测信息还指示图像中的第三检测的结果，所述图像中的第三检测是对附着至用于拍摄图像的车载摄像头的镜头或附着至图像的拍摄方向上存在的车辆的窗玻璃的花粉的检测。
4.根据权利要求1或2所述的地图生成设备，其特征在于：
所述通信单元还获取每个区域的花粉信息；并且
所述控制单元基于所述关于车辆的位置信息、所述检测信息和由所述通信单元获取的所述花粉信息估计所述飞散状态。
5.根据权利要求1或2所述的地图生成设备，其特征在于：
所述通信单元还获取所述图像；并且
所述控制单元分析由所述通信单元获取的所述图像，并生成所述检测信息。
6.地图生成系统，其特征在于，包括：
根据权利要求1至4中任一项所述的地图生成设备；和
图像分析设备，其分析所述图像，生成所述检测信息，并将所述检测信息提供至所述地图生成设备。
7.根据权利要求6所述的地图生成系统，其特征在于，所述图像分析设备被包括在所述车辆中，并进一步将与所述关于车辆的位置信息提供至所述地图生成设备。
8.地图生成方法，其特征在于，包括：
通信单元获取在从车辆拍摄图像的时刻关于车辆的位置信息；和
控制单元基于由所述通信单元获取的所述关于车辆的位置信息和指示图像中的第一检测的结果的检测信息估计花粉的飞散状态，并生成指示所估计的飞散状态的地图信息，所述图像中的第一检测是对佩戴防花粉物品的人的检测。
9.计算机可读记录介质，在其上记录地图生成程序，所述地图生成程序使计算机执行：
获取在从车辆拍摄图像的时刻关于车辆的位置信息的步骤；和
基于所获取的所述关于车辆的位置信息和指示图像中的第一检测的结果的检测信息估计花粉的飞散状态，并生成指示所估计的飞散状态的地图信息的步骤，所述图像中的第一检测是对佩戴防花粉物品的人的检测。
CN201911319882.7A 2018-12-21 2019-12-19 地图生成设备、地图生成系统、地图生成方法以及地图生成程序 Active CN111354210B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-240121 2018-12-21
JP2018240121A JP7119985B2 (ja) 2018-12-21 2018-12-21 地図生成装置、地図生成システム、地図生成方法、及び地図生成プログラム

Publications (2)

Publication Number Publication Date
CN111354210A CN111354210A (zh) 2020-06-30
CN111354210B true CN111354210B (zh) 2022-02-22

Family

ID=71096984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911319882.7A Active CN111354210B (zh) 2018-12-21 2019-12-19 地图生成设备、地图生成系统、地图生成方法以及地图生成程序

Country Status (3)

Country Link
US (1) US10893388B2 (zh)
JP (1) JP7119985B2 (zh)
CN (1) CN111354210B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022137534A (ja) * 2021-03-09 2022-09-22 本田技研工業株式会社 地図生成装置および車両位置認識装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006263408A (ja) * 2005-03-24 2006-10-05 Hisatoku Sugiura ファッションマスク
JP2008102784A (ja) * 2006-10-19 2008-05-01 Matsushita Electric Ind Co Ltd 花粉症情報提供システムおよび花粉症情報提供方法
CN104380047A (zh) * 2012-11-06 2015-02-25 丰田自动车株式会社 导航系统
CN106200925A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 移动终端的控制方法、装置及移动终端
CN107179870A (zh) * 2016-03-11 2017-09-19 丰田自动车株式会社 信息提供装置及存储信息提供程序的存储介质
US10022614B1 (en) * 2016-05-02 2018-07-17 Bao Tran Smart device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853097B2 (en) * 2002-12-27 2010-12-14 Nikon Corporation Image processing apparatus and image processing program
JP4322537B2 (ja) 2003-04-07 2009-09-02 株式会社豊田中央研究所 マスク着用判定装置
JP2007163442A (ja) * 2005-12-16 2007-06-28 Clarion Co Ltd ナビゲーション装置、サーバシステム、これらの制御方法ならびに制御プログラム、気象データ配信表示システム及び方法
JP5054349B2 (ja) 2006-09-27 2012-10-24 綜合警備保障株式会社 入場規制装置、入場規制方法および入場規制プログラム
JP4989385B2 (ja) * 2007-09-12 2012-08-01 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP2010277526A (ja) * 2009-06-01 2010-12-09 Nec Corp 通信機器およびサーバおよび健康対策情報提供システムおよび健康対策情報提供方法
JPWO2012157015A1 (ja) * 2011-05-13 2014-07-31 三菱電機株式会社 ナビゲーション装置
US9230180B2 (en) * 2013-01-18 2016-01-05 GM Global Technology Operations LLC Eyes-off-the-road classification with glasses classifier
US9375847B2 (en) * 2013-01-18 2016-06-28 Irobot Corporation Environmental management systems including mobile robots and methods using same
JP2015041969A (ja) * 2013-08-23 2015-03-02 ソニー株式会社 画像取得装置及び画像取得方法、並びに情報配信システム。
JP6518078B2 (ja) * 2015-02-25 2019-05-22 キヤノン株式会社 測定装置および測定方法、ならびに画像形成装置
US10226982B2 (en) * 2015-04-29 2019-03-12 International Business Machines Corporation Automatic vehicle climate control based on predicted air quality
US20170173371A1 (en) * 2015-12-21 2017-06-22 Nextteq Llc Respirator Seals
JP6629139B2 (ja) * 2016-05-30 2020-01-15 株式会社東芝 制御装置、制御方法およびプログラム
US10915601B2 (en) * 2016-06-30 2021-02-09 International Business Machines Corporation Personalized particulate matter exposure management using fine-grained weather modeling and optimal control theory
JP6712825B2 (ja) * 2016-10-06 2020-06-24 三菱電機株式会社 ナビゲーションシステム、乗員監視装置、情報端末装置、サーバ、およびナビゲーション用プログラム
US10302613B2 (en) * 2016-10-11 2019-05-28 International Business Machines Corporation Estimation of concentration of particulate matter in atmosphere
JP6940969B2 (ja) * 2017-03-29 2021-09-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 車両制御装置、車両制御方法及びプログラム
JP7119346B2 (ja) * 2017-11-13 2022-08-17 トヨタ自動車株式会社 環境改善システム、ならびにそれに用いられるサーバ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006263408A (ja) * 2005-03-24 2006-10-05 Hisatoku Sugiura ファッションマスク
JP2008102784A (ja) * 2006-10-19 2008-05-01 Matsushita Electric Ind Co Ltd 花粉症情報提供システムおよび花粉症情報提供方法
CN104380047A (zh) * 2012-11-06 2015-02-25 丰田自动车株式会社 导航系统
CN107179870A (zh) * 2016-03-11 2017-09-19 丰田自动车株式会社 信息提供装置及存储信息提供程序的存储介质
US10022614B1 (en) * 2016-05-02 2018-07-17 Bao Tran Smart device
CN106200925A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 移动终端的控制方法、装置及移动终端

Also Published As

Publication number Publication date
US10893388B2 (en) 2021-01-12
JP7119985B2 (ja) 2022-08-17
US20200204955A1 (en) 2020-06-25
CN111354210A (zh) 2020-06-30
JP2020101696A (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
US10789786B2 (en) Picture-based vehicle loss assessment
CN106662458B (zh) 用于改进地图和导航数据的可穿戴传感器数据
US20180341985A1 (en) Provision and management of advertising via mobile entity
US9830510B2 (en) Method and apparatus for object identification and location correlation based on received images
WO2018191435A1 (en) Picture-based vehicle loss assessment method and apparatus, and electronic device
WO2018191421A1 (en) Image-based vehicle damage determining method, apparatus, and electronic device
US11270136B2 (en) Driving support device, vehicle, information providing device, driving support system, and driving support method
CN111428937A (zh) 用户流失的预测方法、装置、电子设备及可读存储介质
CN111354210B (zh) 地图生成设备、地图生成系统、地图生成方法以及地图生成程序
CN111429235A (zh) 获取订单热力信息的方法、装置、设备及存储介质
US20210342601A1 (en) Information processing system, method of information processing, and program
JP6734487B2 (ja) 地域別笑顔度表示システム、地域別笑顔度表示方法及びプログラム
CN112818243A (zh) 导航路线的推荐方法、装置、设备及存储介质
CN111523409B (zh) 用于生成位置信息的方法和装置
US11809621B2 (en) State estimation device, method and computer program therefor
JP7176398B2 (ja) 制御装置、車両、画像表示システム、及び画像表示方法
JP7194158B2 (ja) 情報処理装置及びプログラム
US11184413B2 (en) Information processing apparatus and non-transitory computer readable medium
JP2022189393A (ja) 情報処理装置、情報処理プログラム、及び情報処理システム
JP2024025843A (ja) 工事検出システム
JPWO2020044646A1 (ja) 画像処理装置、画像処理方法及びプログラム
US20180288610A1 (en) Privacy-protected activity reporting
CN114780869A (zh) 乘车点推荐方法、装置、电子设备、介质
CN117931962A (zh) 车道级事件提醒的方法和装置
CN116363604A (zh) 目标交通事件识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant