JP2018081404A - 識別方法、識別装置、識別器生成方法及び識別器生成装置 - Google Patents

識別方法、識別装置、識別器生成方法及び識別器生成装置 Download PDF

Info

Publication number
JP2018081404A
JP2018081404A JP2016222178A JP2016222178A JP2018081404A JP 2018081404 A JP2018081404 A JP 2018081404A JP 2016222178 A JP2016222178 A JP 2016222178A JP 2016222178 A JP2016222178 A JP 2016222178A JP 2018081404 A JP2018081404 A JP 2018081404A
Authority
JP
Japan
Prior art keywords
image data
acquired
discriminator
learning
shooting condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016222178A
Other languages
English (en)
Inventor
幸恵 庄田
Yukie Shoda
幸恵 庄田
谷川　徹
Toru Tanigawa
徹 谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2016222178A priority Critical patent/JP2018081404A/ja
Priority to CN201710853009.0A priority patent/CN108073950A/zh
Priority to US15/802,435 priority patent/US10747996B2/en
Priority to EP17201112.4A priority patent/EP3321854A3/en
Publication of JP2018081404A publication Critical patent/JP2018081404A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/24765—Rule-based classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Abstract

【課題】高い精度で対象物を識別することができる識別方法、識別装置、識別器生成方法及び識別器生成装置を提供する。【解決手段】識別方法は、画像データを取得するステップと、画像データの撮影条件を取得するステップと、それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、取得した撮影条件に応じた識別器を選択するステップと、選択した識別器を用いて、取得した画像データ中の対象物を識別するステップとを含む。【選択図】図４

Description

本開示は、識別器を用いて画像データ中の対象物を識別する識別方法及び識別装置、並びに画像データ中の対象物を識別する識別器を生成する識別器生成方法及び識別器生成装置に関するものである。
従来、識別器を用いて画像データ中の対象物を識別する識別装置が知られている。従来の識別装置では、識別器に対して機械学習を行うことにより、識別器の識別精度を高めている（例えば、特許文献１参照）。
特開２００４−２１３５６７号公報
機械学習としては、多層ニューラルネットワークを用いたディープラーニングが知られている。ディープラーニングでは、学習データセットに依存した識別器が作成される。偏りがある学習データを用いて学習した識別器では、当該学習データに特化した画像データに対しては高い精度で対象物を識別することができるが、汎用的な画像データに対しては識別精度が低くなる。このような、偏りがある学習データを用いた学習は、一般に過学習と呼ばれる。
一般には、過学習に陥らず、汎用性が高い識別器を作成することが求められる。しかしながら、汎用性が高い識別器を作成するためには、偏りがない学習データを大量に収集する必要があり、難易度が高く、コストもかかる。また、大量の学習データを用いて学習するためには膨大な時間がかかり、学習が収束しないおそれもある。
本開示は、上記の問題を解決するためになされたもので、高い精度で対象物を識別することができる識別方法、識別装置、識別器生成方法及び識別器生成装置を提供することを目的とするものである。
本開示に係る識別方法は、識別器を用いて画像データ中の対象物を識別する識別方法であって、前記画像データを取得し、前記画像データの撮影条件を取得し、それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、前記取得した撮影条件に応じた識別器を選択し、前記選択した識別器を用いて、前記取得した画像データ中の前記対象物を識別する。
本開示によれば、識別時において取得した画像データと同じ撮影条件で取得した学習用画像データを用いて学習した識別器を用いて画像データ中の対象物が識別されるので、高い精度で対象物を識別することができる。
本実施の形態１に係る学習システムの構成を示すブロック図である。 本実施の形態１に係る学習システムの動作について説明するためのフローチャートである。 本実施の形態１に係る識別システムの構成を示すブロック図である。 本実施の形態１に係る識別システムの動作について説明するためのフローチャートである。 本実施の形態２に係る自動運転車両の構成を示すブロック図である。 第１の地域で撮影した複数の学習用画像データを用いて学習した第１識別器により第１の地域で撮影した画像データの中から歩行者を識別した識別結果を示す図である。 第１の地域で撮影した複数の学習用画像データを用いて学習した第１識別器により第１の地域とは異なる第２の地域で撮影した画像データの中から歩行者を識別した識別結果を示す図である。 第２の地域で撮影した複数の学習用画像データを用いて学習した第２識別器により第２の地域で撮影した画像データの中から歩行者を識別した識別結果を示す図である。
（本開示に係る一態様を発明するに至った経緯）
機械学習としては、多層ニューラルネットワークを用いたディープラーニングが知られている。ディープラーニングでは、学習データセットに依存した識別器が作成される。偏りがある学習データを用いて学習した識別器では、当該学習データに特化した画像データに対しては高い精度で対象物を識別することができるが、汎用的な画像データに対しては識別精度が低くなる。このような、偏りがある学習データを用いた学習は、一般に過学習と呼ばれる。
例えば、車載カメラで撮影した画像から人物又は道路標識を識別する識別器が、アメリカで撮影された画像データを用いて学習されたとする。そして、当該識別器が日本で使用された場合、当該識別器は日本で撮影した画像データを用いて学習されていないため、識別率が低下する可能性がある。これは、アメリカと日本とでは、道路標識の図柄、太陽の高度等の日照条件、植物及び電柱等の風景、並びに走行車線が異なっているためである。
一般には、過学習に陥らず、汎用性が高い識別器を作成することが求められる。しかしながら、汎用性が高い識別器を作成するためには、偏りがない学習データを大量に収集する必要があり、難易度が高く、コストもかかる。また、大量の学習データを用いて学習するためには膨大な時間がかかり、学習が収束しないおそれもある。
以上の課題を解決するために、本開示の一態様に係る識別方法は、識別器を用いて画像データ中の対象物を識別する識別方法であって、前記画像データを取得し、前記画像データの撮影条件を取得し、それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、前記取得した撮影条件に応じた識別器を選択し、前記選択した識別器を用いて、前記取得した画像データ中の前記対象物を識別する。
この構成によれば、画像データが取得される。画像データの撮影条件が取得される。それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、取得した撮影条件に応じた識別器が選択される。選択された識別器を用いて、取得した画像データ中の対象物が識別される。
したがって、識別時において取得した画像データと同じ撮影条件で取得した学習用画像データを用いて学習した識別器を用いて画像データ中の対象物が識別されるので、高い精度で対象物を識別することができる。
また、上記の識別方法において、前記複数の識別器は、前記複数の撮影条件毎に分類された複数の学習用画像データが撮影条件毎に所定の学習モデルに入力され、前記対象物の特徴を示す情報が前記撮影条件毎に学習され、前記対象物の特徴を示す情報が前記撮影条件毎の前記所定の学習モデルに適用されることで、生成されてもよい。
この構成によれば、複数の撮影条件毎に分類された複数の学習用画像データが撮影条件毎に所定の学習モデルに入力され、対象物の特徴を示す情報が撮影条件毎に学習され、対象物の特徴を示す情報が撮影条件毎の所定の学習モデルに適用されることで、複数の識別器が生成される。
したがって、無条件に学習用画像データを用いて識別器を学習するのではなく、所定の撮影条件に応じた学習用画像データのみを用いて識別器を学習するので、学習時間を短縮することができる。
また、上記の識別方法において、前記画像データは、道路を移動する移動体に設けられた撮影装置から撮影することにより取得され、前記撮影条件は、前記画像データが取得された地域を示し、前記対象物は、前記道路上に存在する障害物を示し、前記画像データが取得された地域を特定するための地域情報を取得し、それぞれ異なる複数の地域毎に生成された複数の識別器の中から、前記取得した地域情報に応じた識別器を選択し、前記選択した識別器を用いて、前記取得した画像データ中の前記障害物を識別してもよい。
この構成によれば、画像データは、道路を移動する移動体に設けられた撮影装置から撮影することにより取得される。撮影条件は、画像データが取得された地域を示す。対象物は、道路上に存在する障害物を示す。画像データが取得された地域を特定するための地域情報が取得される。それぞれ異なる複数の地域毎に生成された複数の識別器の中から、取得された地域情報に応じた識別器が選択される。選択された識別器を用いて、取得された画像データ中の障害物が識別される。したがって、特定の地域で撮影された画像データ中の障害物を識別することができる。
また、上記の識別方法において、前記画像データは、道路を移動する移動体に設けられた撮影装置から撮影することにより取得され、前記撮影条件は、前記画像データが取得された国を示し、前記対象物は、前記道路上に存在する道路標識を示し、前記画像データが取得された国を特定するための国情報を取得し、それぞれ異なる複数の国毎に生成された複数の識別器の中から、前記取得した国情報に応じた識別器を選択し、前記選択した識別器を用いて、前記取得した画像データ中の前記道路標識を識別してもよい。
この構成によれば、画像データは、道路を移動する移動体に設けられた撮影装置から撮影することにより取得される。撮影条件は、画像データが取得された国を示す。対象物は、道路上に存在する道路標識を示す。画像データが取得された国を特定するための国情報が取得される。それぞれ異なる複数の国毎に生成された複数の識別器の中から、取得された国情報に応じた識別器が選択される。選択された識別器を用いて、取得された画像データ中の道路標識が識別される。したがって、特定の国で撮影された画像データ中の道路標識を識別することができる。
また、上記の識別方法において、前記撮影条件は、前記画像データが取得された場所の天候を示し、前記画像データが取得された場所の天候を取得し、それぞれ異なる複数の天候毎に生成された複数の識別器の中から、前記取得した天候に応じた識別器を選択してもよい。
この構成によれば、撮影条件は、画像データが取得された場所の天候を示す。画像データが取得された場所の天候が取得される。それぞれ異なる複数の天候毎に生成された複数の識別器の中から、取得された天候に応じた識別器が選択される。したがって、特定の天候の下で撮影された画像データ中の対象物を識別することができる。
また、上記の識別方法において、前記撮影条件は、前記画像データが取得された時間帯を示し、前記画像データが取得された時間帯を取得し、それぞれ異なる複数の時間帯毎に生成された複数の識別器の中から、前記取得した時間帯に応じた識別器を選択してもよい。
この構成によれば、撮影条件は、画像データが取得された時間帯を示す。画像データが取得された時間帯が取得される。それぞれ異なる複数の時間帯毎に生成された複数の識別器の中から、取得された時間帯に応じた識別器が選択される。したがって、特定の時間帯に撮影された画像データ中の対象物を識別することができる。
また、上記の識別方法において、前記撮影条件は、前記画像データが取得された市街地、山間部及び海岸部のいずれかの場所を示し、前記画像データが取得された場所が前記市街地、前記山間部及び前記海岸部のいずれであるかを特定するための場所情報を取得し、前記市街地、前記山間部及び前記海岸部毎に生成された複数の識別器の中から、前記取得した場所情報に応じた識別器を選択してもよい。
この構成によれば、撮影条件は、画像データが取得された市街地、山間部及び海岸部のいずれかの場所を示す。画像データが取得された場所が市街地、山間部及び海岸部のいずれであるかを特定するための場所情報が取得される。市街地、山間部及び海岸部毎に生成された複数の識別器の中から、取得した場所情報に応じた識別器が選択される。したがって、市街地、山間部及び海岸部のいずれかの場所で撮影された画像データ中の対象物を識別することができる。
本開示の他の態様に係る識別装置は、識別器を用いて画像データ中の対象物を識別する識別装置であって、前記画像データを取得する画像データ取得部と、前記画像データの撮影条件を取得する撮影条件取得部と、複数の撮影条件毎に生成された複数の識別器の中から、前記取得した撮影条件に応じた識別器を選択する選択部と、前記選択した識別器を用いて、前記取得した画像データ中の前記対象物を識別する識別部と、を備える。
この構成によれば、画像データが取得される。画像データの撮影条件が取得される。それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、取得した撮影条件に応じた識別器が選択される。選択された識別器を用いて、取得した画像データ中の対象物が識別される。
したがって、識別時において取得した画像データと同じ撮影条件で取得した学習用画像データを用いて学習した識別器を用いて画像データ中の対象物が識別されるので、高い精度で対象物を識別することができる。
本開示の他の態様に係る識別器生成方法は、画像データ中の対象物を識別する識別器を生成する識別器生成方法であって、それぞれ撮影条件が異なる複数の学習用画像データを取得し、前記取得した複数の学習用画像データを、前記撮影条件毎に所定の学習モデルに入力して、前記対象物の特徴を示す情報を前記撮影条件毎に学習し、前記対象物の特徴を示す情報を、前記撮影条件毎の前記所定の学習モデルに適用することで、前記撮影条件毎に異なる複数の識別器を生成する。
この構成によれば、それぞれ撮影条件が異なる複数の学習用画像データが取得される。取得された複数の学習用画像データが、撮影条件毎に所定の学習モデルに入力されて、対象物の特徴を示す情報が撮影条件毎に学習され、対象物の特徴を示す情報が、撮影条件毎の所定の学習モデルに適用されることで、撮影条件毎に異なる複数の識別器が生成される。
したがって、無条件に学習用画像データを用いて識別器を学習するのではなく、所定の撮影条件に応じた学習用画像データのみを用いて識別器を学習するので、学習時間を短縮することができる。
本開示の他の態様に係る識別器生成装置は、画像データ中の対象物を識別する識別器を生成する識別器生成装置であって、それぞれ撮影条件が異なる複数の学習用画像データを取得する画像データ取得部と、前記取得した複数の学習用画像データを、前記撮影条件毎に所定の学習モデルに入力して、前記対象物の特徴を示す情報を前記撮影条件毎に学習し、前記対象物の特徴を示す情報を、前記撮影条件毎の前記所定の学習モデルに適用することで、前記撮影条件毎に異なる複数の識別器を生成する生成部と、を備える。
この構成によれば、それぞれ撮影条件が異なる複数の学習用画像データが取得される。取得された複数の学習用画像データが、撮影条件毎に所定の学習モデルに入力されて、対象物の特徴を示す情報が撮影条件毎に学習され、対象物の特徴を示す情報が、撮影条件毎の所定の学習モデルに適用されることで、撮影条件毎に異なる複数の識別器が生成される。
したがって、無条件に学習用画像データを用いて識別器を学習するのではなく、所定の撮影条件に応じた学習用画像データのみを用いて識別器を学習するので、学習時間を短縮することができる。
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
（実施の形態１）
本実施の形態１に係る学習システム及び識別システムについて説明する。
図１は、本実施の形態１に係る学習システムの構成を示すブロック図である。図１に示す学習システムは、学習装置１、カメラ１０１、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１０３及びユーザ入力部１０７を備える。
学習装置１は、画像データ中の対象物を識別する識別器を生成する。学習装置１は、画像データ蓄積部１０２、撮影条件取得部１０４、画像データ取得部１０５、分類部１０６、ラベル付与部１０８、学習部１０９及びメモリ１１０を備える。なお、学習装置１が、カメラ１０１、ＧＰＳ１０３及びユーザ入力部１０７をさらに備えてもよい。
カメラ１０１は、撮影装置の一例であり、異なる撮影条件で学習用画像を撮影する。撮影条件は、例えば、画像データが取得された地域を示す。学習システムは、例えば、自動車に搭載され、カメラ１０１は、自動車の進行方向（前方）の風景を撮影する。
画像データ蓄積部１０２は、カメラ１０１によって撮影された複数の学習用画像データを蓄積する。なお、画像データ蓄積部１０２は、例えばインターネットなどのネットワークを介して取得した複数の学習用画像データを蓄積してもよい。
ＧＰＳ１０３は、学習装置１の現在位置、すなわち、学習用画像が撮影された位置を取得する。なお、現在位置は、例えば、緯度及び経度で表される。
撮影条件取得部１０４は、ＧＰＳ１０３によって取得された学習装置１の現在位置、すなわち、学習用画像が撮影された位置を取得し、取得した位置から学習用画像が撮影された地域を特定する。撮影条件取得部１０４は、カメラ１０１によって撮影されて画像データ蓄積部１０２に蓄積された学習用画像データに対して、当該学習用画像データが撮影された地域である撮影条件を示す撮影条件情報を付与する。
画像データ取得部１０５は、それぞれ撮影条件が異なる複数の学習用画像データを画像データ蓄積部１０２から取得する。例えば、画像データ取得部１０５は、それぞれ撮影された地域が異なる複数の学習用画像データを取得する。
分類部１０６は、画像データ取得部１０５によって取得された複数の学習用画像データを撮影条件毎に分類する。
ユーザ入力部１０７は、例えば、タッチパネル又はキーボード等のユーザインタフェースで構成され、識別器が識別する対象物を示す正解ラベルのユーザによる入力を受け付ける。例えば、対象物が歩行者であれば、ユーザ入力部１０７は、歩行者を示す正解ラベルの入力を受け付ける。なお、正解ラベルは、機械学習に用いられる。
ラベル付与部１０８は、ユーザ入力部１０７によって入力された正解ラベルを、分類部１０６によって分類された複数の学習用画像データのそれぞれに付与するアノテーション処理を行う。
学習部１０９は、画像データ取得部１０５によって取得された複数の学習用画像データを、撮影条件毎に所定の学習モデルに入力して、対象物の特徴を示す情報を撮影条件毎に学習し、対象物の特徴を示す情報を、撮影条件毎の所定の学習モデルに適用することで、撮影条件毎に異なる複数の識別器を生成する。学習部１０９は、機械学習の１つであるディープラーニングを用いて撮影条件毎に分類された複数の学習用画像データを学習する。なお、ディープラーニングは、一般的な技術であるので、説明を省略する。
メモリ１１０は、学習部１０９によって生成された複数の識別器を記憶する。メモリ１１０は、第１識別器１１１、第２識別器１１２及び第３識別器１１３を備える。第１識別器１１１、第２識別器１１２及び第３識別器１１３は、それぞれ異なる撮影条件に対応する識別器である。
第１識別器１１１は、例えば、第１の地域で撮影された複数の学習用画像データを用いて生成された識別器であり、第２識別器１１２は、第１の地域とは異なる第２の地域で撮影された複数の学習用画像データを用いて生成された識別器であり、第３識別器１１３は、第１の地域及び第２の地域とは異なる第３の地域で撮影された複数の学習用画像データを用いて生成された識別器である。例えば、第１の地域は、アメリカのカリフォルニアであり、第２の地域は、日本の東京であり、第３の地域は、中国の北京である。なお、本実施の形態では、メモリ１１０は、第１識別器１１１、第２識別器１１２及び第３識別器１１３の３つの識別器を備えているが、本開示は特にこれに限定されず、２つの識別器を備えてもよく、また、４つ以上の識別器を備えてもよい。
続いて、本実施の形態１に係る学習システムの動作について説明する。
図２は、本実施の形態１に係る学習システムの動作について説明するためのフローチャートである。
まず、ステップＳ１において、カメラ１０１は、所定の撮影条件で学習用画像を撮影する。撮影条件は、例えば、画像データが取得された地域であり、カメラ１０１は、第１の地域で学習用画像を撮影する。カメラ１０１は、撮影した学習用画像データを画像データ蓄積部１０２に蓄積する。なお、カメラ１０１は、所定の時間間隔で撮影した複数の学習用画像データを画像データ蓄積部１０２に蓄積してもよいし、撮影した動画像データから所定の時間間隔で切り出した複数の学習用画像データを画像データ蓄積部１０２に蓄積してもよい。
次に、ステップＳ２において、撮影条件取得部１０４は、ＧＰＳ１０３によって取得された、学習用画像が撮影された位置を取得し、取得した位置から学習用画像が撮影された撮影条件を特定する。例えば、撮影条件取得部１０４は、ＧＰＳ１０３によって取得された緯度及び経度と、予め記憶されている地図情報とから、学習用画像が撮影された地域を特定する。
次に、ステップＳ３において、撮影条件取得部１０４は、カメラ１０１によって撮影されて画像データ蓄積部１０２に蓄積された学習用画像データに対して、当該学習用画像データが撮影された地域である撮影条件を示す撮影条件情報を付与する。
次に、ステップＳ４において、画像データ取得部１０５は、それぞれ撮影条件が異なる複数の学習用画像データを画像データ蓄積部１０２から取得する。
次に、ステップＳ５において、分類部１０６は、画像データ取得部１０５によって取得された複数の学習用画像データを撮影条件毎に分類する。
次に、ステップＳ６において、ラベル付与部１０８は、ユーザ入力部１０７によって入力された識別器が識別する対象物を示す正解ラベルを、分類部１０６によって分類された複数の学習用画像データのそれぞれに付与する。
次に、ステップＳ７において、学習部１０９は、分類部１０６によって分類された複数の学習用画像データを、撮影条件毎にニューラルネットワークモデルに入力して、対象物の特徴を示す重み情報を撮影条件毎に学習し、対象物の特徴を示す重み情報を、撮影条件毎のニューラルネットワークモデルに適用することで、撮影条件毎に異なる複数の識別器を生成する。
次に、ステップＳ８において、学習部１０９は、生成した複数の識別器のそれぞれに対して、撮影条件を示す撮影条件情報を付与し、撮影条件情報を付与した複数の識別器をメモリ２０７に記憶する。
このように、無条件に学習用画像データを用いて識別器を学習するのではなく、所定の撮影条件に応じた学習用画像データのみを用いて識別器を学習するので、学習時間を短縮することができる。
図３は、本実施の形態１に係る識別システムの構成を示すブロック図である。図３に示す識別システムは、識別装置２、カメラ２０１及びＧＰＳ２０３を備える。
識別装置２は、識別器を用いて画像データ中の対象物を識別する。識別装置２は、画像データ取得部２０２、撮影条件取得部２０４、条件選択部２０５、識別部２０６、メモリ２０７及び識別結果出力部２０８を備える。なお、識別装置２が、カメラ２０１及びＧＰＳ２０３をさらに備えてもよい。
カメラ２０１は、所定の撮影条件で画像を撮影する。撮影条件は、例えば、画像データが取得された地域を示す。識別システムは、例えば、自動車に搭載され、カメラ２０１は、自動車の進行方向（前方）の風景を撮影する。
画像データ取得部２０２は、カメラ２０１によって撮影された画像データを取得する。画像データは、道路を移動する移動体に設けられたカメラ２０１から撮影することにより取得される。
ＧＰＳ２０３は、識別装置２の現在位置、すなわち、画像が撮影された位置を取得する。なお、現在位置は、例えば、緯度及び経度で表される。
撮影条件取得部２０４は、画像データの撮影条件を取得する。撮影条件取得部２０４は、画像データが取得された地域を特定するための地域情報を取得する。
条件選択部２０５は、それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、取得した撮影条件に応じた識別器を選択する。複数の識別器は、複数の撮影条件毎に分類された複数の学習用画像データが撮影条件毎に所定の学習モデルに入力され、対象物の特徴を示す情報が撮影条件毎に学習され、対象物の特徴を示す情報が撮影条件毎の所定の学習モデルに適用されることで、生成される。なお、対象物は、例えば、道路上に存在する障害物を示す。障害物は、例えば、歩行者である。条件選択部２０５は、それぞれ異なる複数の地域毎に生成された複数の識別器の中から、取得した地域情報に応じた識別器を選択する。
識別部２０６は、条件選択部２０５によって選択された識別器を用いて、取得した画像データ中の対象物を識別する。例えば、識別部２０６は、条件選択部２０５によって選択された識別器を用いて、取得した画像データ中の障害物を識別する。
メモリ２０７は、学習装置１によって生成された複数の識別器を記憶する。メモリ２０７は、第１識別器１１１、第２識別器１１２及び第３識別器１１３を備える。第１識別器１１１、第２識別器１１２及び第３識別器１１３は、それぞれ異なる撮影条件に対応する識別器である。第１識別器１１１、第２識別器１１２及び第３識別器１１３は、識別装置２の製造時に予め記憶される。なお、識別装置２は、第１識別器１１１、第２識別器１１２及び第３識別器１１３を、ネットワークを介してサーバから受信してもよい。
識別結果出力部２０８は、識別部２０６によって識別された識別結果を出力する。なお、識別結果は、対象物が識別されたか否かを示す情報であってもよく、画像データ中の対象物が識別された位置を示す情報であってもよい。
続いて、本実施の形態１に係る識別システムの動作について説明する。
図４は、本実施の形態１に係る識別システムの動作について説明するためのフローチャートである。
まず、ステップＳ１１において、カメラ２０１は、所定の撮影条件で画像を撮影する。撮影条件は、例えば、画像データが取得された地域であり、カメラ２０１は、第１の地域で画像を撮影する。
次に、ステップＳ１２において、画像データ取得部２０２は、所定の撮影条件で撮影された画像データをカメラ２０１から取得する。例えば、画像データ取得部２０２は、第１の地域で撮影された画像データをカメラ２０１から取得する。
次に、ステップＳ１３において、撮影条件取得部２０４は、ＧＰＳ２０３によって取得された、画像が撮影された位置を取得し、取得した位置から画像が撮影された撮影条件を特定する。例えば、撮影条件取得部２０４は、ＧＰＳ２０３によって取得された緯度及び経度と、予め記憶されている地図情報とから、画像が撮影された地域を特定する。
次に、ステップＳ１４において、条件選択部２０５は、それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、撮影条件取得部２０４によって特定された撮影条件に応じた識別器を選択する。撮影条件取得部２０４によって特定された撮影条件が第１の地域である場合、条件選択部２０５は、第１の地域に応じた第１識別器１１１を選択する。
次に、ステップＳ１５において、識別部２０６は、条件選択部２０５によって選択された識別器を用いて、画像データ取得部２０２によって取得された画像データ中の対象物を識別する。条件選択部２０５によって第１識別器１１１が選択された場合、識別部２０６は、第１識別器１１１を用いて、画像データ取得部２０２によって取得された画像データ中の対象物を識別する。
次に、ステップＳ１６において、識別結果出力部２０８は、識別部２０６によって識別された識別結果を出力する。
このように、識別時において取得した画像データと同じ撮影条件で取得した学習用画像データを用いて学習した識別器を用いて画像データ中の対象物が識別されるので、高い精度で対象物を識別することができる。
なお、本実施の形態１に係る識別システムは、識別装置２とネットワークを介して通信可能に接続されたサーバをさらに備えてもよい。この場合、識別装置２は、画像データ取得部２０２、撮影条件取得部２０４、識別結果出力部２０８及び通信部を備える。識別装置２の通信部は、画像データ取得部２０２によって取得された画像データと、撮影条件取得部２０４によって特定された撮影条件とをサーバへ送信する。サーバは、通信部、条件選択部２０５、識別部２０６及びメモリ２０７を備える。サーバの通信部は、識別装置２によって送信された画像データ及び撮影条件を受信する。また、サーバの通信部は、識別部２０６によって識別された識別結果を識別装置２へ送信する。識別装置２の通信部は、サーバによって送信された識別結果を受信する。このように、サーバに複数の識別器を記憶することにより、識別装置２のメモリの容量を削減することができる。
また、本実施の形態１における撮影条件は地域であるが、本開示は特にこれに限定されず、撮影条件は、画像データが取得された国であってもよい。また、本実施の形態１における対象物は道路上に存在する道路標識、案内標識又は警戒標識であってもよい。この場合、画像データ取得部１０５は、異なる国で撮影された複数の学習用画像データを取得し、分類部１０６は、取得した複数の学習用画像データを国毎に分類し、学習部１０９は、取得した複数の学習用画像データを、国毎に所定の学習モデルに入力して、対象物の特徴を示す情報を国毎に学習し、対象物の特徴を示す情報を、国毎の所定の学習モデルに適用することで、国毎に異なる複数の識別器を生成してもよい。例えば、第１識別器１１１は、アメリカで撮影された学習用画像データを用いて生成され、第２識別器１１２は、日本で撮影された学習用画像データを用いて生成され、第３識別器１１３は、中国で撮影された学習用画像データを用いて生成される。また、撮影条件取得部２０４は、画像データが取得された国を特定するための国情報を取得し、条件選択部２０５は、それぞれ異なる複数の国毎に生成された複数の識別器の中から、取得した国情報に応じた識別器を選択し、識別部２０６は、選択した識別器を用いて、取得した画像データ中の道路標識、案内標識又は警戒標識を識別してもよい。
また、本実施の形態１において、撮影条件は、画像データが取得された場所の天候であってもよい。この場合、画像データ取得部１０５は、異なる天候で撮影された複数の学習用画像データを取得し、分類部１０６は、取得した複数の学習用画像データを天候毎に分類し、学習部１０９は、取得した複数の学習用画像データを、天候毎に所定の学習モデルに入力して、対象物の特徴を示す情報を天候毎に学習し、対象物の特徴を示す情報を、天候毎の所定の学習モデルに適用することで、天候毎に異なる複数の識別器を生成してもよい。例えば、第１識別器１１１は、晴れた日に撮影された学習用画像データを用いて生成され、第２識別器１１２は、曇りの日に撮影された学習用画像データを用いて生成され、第３識別器１１３は、雨の日に撮影された学習用画像データを用いて生成される。また、撮影条件取得部２０４は、画像データが取得された場所の天候を取得し、条件選択部２０５は、それぞれ異なる複数の天候毎に生成された複数の識別器の中から、取得した天候に応じた識別器を選択してもよい。
また、本実施の形態１において、撮影条件は、画像データが取得された時間帯であってもよい。この場合、画像データ取得部１０５は、異なる時間帯で撮影された複数の学習用画像データを取得し、分類部１０６は、取得した複数の学習用画像データを時間帯毎に分類し、学習部１０９は、取得した複数の学習用画像データを、時間帯毎に所定の学習モデルに入力して、対象物の特徴を示す情報を時間帯毎に学習し、対象物の特徴を示す情報を、時間帯毎の所定の学習モデルに適用することで、時間帯毎に異なる複数の識別器を生成してもよい。例えば、第１識別器１１１は、０時〜８時の間の時間帯に撮影された学習用画像データを用いて生成され、第２識別器１１２は、８時〜１６時の間の時間帯に撮影された学習用画像データを用いて生成され、第３識別器１１３は、１６時〜２４時（０時）の間の時間帯に撮影された学習用画像データを用いて生成される。また、撮影条件取得部２０４は、画像データが取得された時間帯を取得し、条件選択部２０５は、それぞれ異なる複数の時間帯毎に生成された複数の識別器の中から、取得した時間帯に応じた識別器を選択してもよい。
さらに、本実施の形態１において、撮影条件は、画像データが取得された市街地、山間部及び海岸部のいずれかの場所であってもよい。この場合、画像データ取得部１０５は、市街地、山間部及び海岸部で撮影された複数の学習用画像データを取得し、分類部１０６は、取得した複数の学習用画像データを市街地、山間部及び海岸部毎に分類し、学習部１０９は、取得した複数の学習用画像データを、市街地、山間部及び海岸部毎に所定の学習モデルに入力して、対象物の特徴を示す情報を市街地、山間部及び海岸部毎に学習し、対象物の特徴を示す情報を、市街地、山間部及び海岸部毎の所定の学習モデルに適用することで、市街地、山間部及び海岸部毎に異なる複数の識別器を生成してもよい。例えば、第１識別器１１１は、市街地で撮影された学習用画像データを用いて生成され、第２識別器１１２は、山間部で撮影された学習用画像データを用いて生成され、第３識別器１１３は、海岸部で撮影された学習用画像データを用いて生成される。また、撮影条件取得部２０４は、画像データが取得された場所が市街地、山間部及び海岸部のいずれであるかを特定するための場所情報を取得し、条件選択部２０５は、市街地、山間部及び海岸部毎に生成された複数の識別器の中から、取得した場所情報に応じた識別器を選択してもよい。
（実施の形態２）
本実施の形態２に係る自動運転車両について説明する。
図５は、本実施の形態２に係る自動運転車両の構成を示すブロック図である。図５に示す自動運転車両３は、自動運転システム３０１、車両制御プロセッサ３０２、ブレーキ制御システム３０３、アクセル制御システム３０４、ステアリング制御システム３０５、車両ナビゲーションシステム３０６、カメラ２０１、ＧＰＳ２０３及び識別装置２を備える。
自動運転車両３は、自律走行する車両である。本実施の形態２において、自動運転車両３は、自動車であるが、本開示は特にこれに限定されず、自動運転車両３は、オートバイ、トラック、バス、電車及び飛行体などの種々の車両であってもよい。
自動運転システム３０１は、プロセッサ３１０、メモリ３１１、ユーザ入力部３１２、表示部３１３及びセンサ３１４を備える。
メモリ３１１は、コンピュータ読み取り可能な記録媒体であり、例えば、ハードディスクドライブ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、光ディスク及び半導体メモリ等である。メモリ３１１は、自動運転プログラム３２１及びデータ３２２を記憶している。データ３２２は、地図データ３３１を含む。地図データ３３１は、地形情報、走行レーンを示すレーン情報、交差点に関する交差点情報、及び制限速度を示す制限速度情報などを含む。なお、地図データ３３１としては、上記の情報に限らない。
プロセッサ３１０は、例えばＣＰＵ（中央演算処理装置）であり、メモリ３１１に記憶されている自動運転プログラム３２１を実行する。プロセッサ３１０が自動運転プログラム３２１を実行することにより、自動運転車両３は自律的に走行する。また、プロセッサ３１０は、メモリ３１１からデータ３２２を読み出し、メモリ３１１にデータ３２２を書き込み、メモリ３１１に記憶されているデータ３２２を更新する。
ユーザ入力部３１２は、ユーザによる種々の情報の入力を受け付ける。表示部３１３は、種々の情報を表示する。センサ３１４は、自動運転車両３の周囲の環境及び自動運転車両３の内部の環境を測定する。センサ３１４は、例えば、自動運転車両３の速度を計測する速度計、自動運転車両３の加速度を計測する加速時計、自動運転車両３の向きを計測するジャイロスコープ、及びエンジン温度センサなどを含む。なお、センサ３１４は、上記のセンサに限らない。
車両制御プロセッサ３０２は、自動運転車両３を制御する。ブレーキ制御システム３０３は、自動運転車両３を減速するように制御する。アクセル制御システム３０４は、自動運転車両３の速度を制御する。ステアリング制御システム３０５は、自動運転車両３の進行方向を調節する。車両ナビゲーションシステム３０６は、自動運転車両３の走行経路を決定したり、自動運転車両３の走行経路を提示したりする。
カメラ２０１は、自動運転車両３のバックミラーの近傍に配置され、自動運転車両３の前方の画像を撮影する。カメラ２０１の構成は、図３に示すカメラ２０１の構成と同じである。なお、カメラ２０１は、自動運転車両３の前方だけでなく、自動運転車両３の後方、自動運転車両３の右方及び自動運転車両３の左方などの自動運転車両３の周囲の画像を撮影してもよい。
ＧＰＳ２０３は、自動運転車両３の現在位置を取得する。ＧＰＳ２０３の構成は、図３に示すＧＰＳ２０３の構成と同じである。
識別装置２は、カメラ２０１によって撮影された画像データの中から、対象物を識別し、識別結果を出力する。識別装置２の構成は、図３に示す識別装置２の構成と同じである。プロセッサ３１０は、識別装置２による識別結果に基づいて自動運転車両３の自律運転を制御する。例えば、対象物が歩行者である場合、識別装置２は、カメラ２０１によって撮影された画像データの中から、歩行者を識別し、識別結果を出力する。画像データの中から歩行者が識別された場合、プロセッサ３１０は、識別装置２による識別結果に基づいて、歩行者を回避するように自動運転車両３の自律運転を制御する。
なお、識別装置２は、歩行者だけでなく、他の車両、道路にある障害物、交通信号、道路標識、走行車線、又は樹木等の車両の外部の物体を画像データの中から識別してもよい。
プロセッサ３１０は、センサ３１４によるセンシング結果及び識別装置２による識別結果に基づいて、自動運転車両３の方向及び速度を制御する。プロセッサ３１０は、アクセル制御システム３０４によって自動運転車両３を加速させ、ブレーキ制御システム３０３によって自動運転車両３を減速させ、ステアリング制御システム３０５によって自動運転車両３の方向を変化させる。
続いて、本実施の形態２における自動運転車両３の識別装置２による画像識別処理について説明する。
図６は、第１の地域で撮影した複数の学習用画像データを用いて学習した第１識別器により第１の地域で撮影した画像データの中から歩行者を識別した識別結果を示す図であり、図７は、第１の地域で撮影した複数の学習用画像データを用いて学習した第１識別器により第１の地域とは異なる第２の地域で撮影した画像データの中から歩行者を識別した識別結果を示す図であり、図８は、第２の地域で撮影した複数の学習用画像データを用いて学習した第２識別器により第２の地域で撮影した画像データの中から歩行者を識別した識別結果を示す図である。
図６に示す画像４０１は、第１の地域で撮影された画像である。識別装置２の第１識別器１１１は、第１の地域で撮影した複数の学習用画像データを用いて学習された識別器である。この場合、撮影条件取得部２０４は、撮影条件が第１の地域であると特定し、識別部２０６は、第１の地域に対応する第１識別器１１１を用いて画像４０１中の歩行者を識別することにより、歩行者４０２を正しく識別する。
一方、図７に示す画像４１１は、第１の地域とは異なる第２の地域で撮影された画像である。識別装置２の第１識別器１１１は、第１の地域で撮影した複数の学習用画像データを用いて学習された識別器であり、仮に、メモリ２０７には、第２の地域で撮影した複数の学習用画像データを用いて学習した識別器が記憶されていないものとする。識別部２０６は、第１識別器１１１を用いて画像４１１中の歩行者を識別した場合、電柱４１２を歩行者であると誤って識別している。
さらに、図８に示す画像４２１は、第２の地域で撮影された画像である。識別装置２の第２識別器１１２は、第２の地域で撮影した複数の学習用画像データを用いて学習された識別器である。この場合、撮影条件取得部２０４は、撮影条件が第２の地域であると特定し、識別部２０６は、第２の地域に対応する第２識別器１１２を用いて画像４２１中の歩行者を識別することにより、歩行者４２２を正しく識別する。
このように、撮影条件に応じて学習した複数の識別器を生成し、撮影条件に応じた識別器を用いて画像データ中の対象物を識別することにより、特定の撮影条件において高い精度で画像データ中の対象物を識別することができる。
また、識別装置２は、歩行者などの対象物を高い精度で識別することができるので、識別装置２を自動運転車両に適用することができる。
本開示において、ユニット、装置、部材又は部の全部又は一部、又は図に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（Ｕｌｔｒａ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるＲｅｃｏｎｆｉｇｕｒａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅも同じ目的で使うことができる。
さらに、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（Ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（Ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（Ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていてもよい。
本開示に係る識別方法及び識別装置は、高い精度で対象物を識別することができ、識別器を用いて画像データ中の対象物を識別する識別方法及び識別装置として有用である。また、本開示に係る識別器生成方法及び識別器生成装置は、学習時間を短縮することができ、画像データ中の対象物を識別する識別器を生成する識別器生成方法及び識別器生成装置として有用である。
１ 学習装置
２ 識別装置
３ 自動運転車両
１０１ カメラ
１０２ 画像データ蓄積部
１０３ ＧＰＳ
１０４ 撮影条件取得部
１０５ 画像データ取得部
１０６ 分類部
１０７ ユーザ入力部
１０８ ラベル付与部
１０９ 学習部
１１０ メモリ
１１１ 第１識別器
１１２ 第２識別器
１１３ 第３識別器
２０１ カメラ
２０２ 画像データ取得部
２０３ ＧＰＳ
２０４ 撮影条件取得部
２０５ 条件選択部
２０６ 識別部
２０７ メモリ
２０８ 識別結果出力部
３０１ 自動運転システム
３０２ 車両制御プロセッサ
３０３ ブレーキ制御システム
３０４ アクセル制御システム
３０５ ステアリング制御システム
３０６ 車両ナビゲーションシステム
３１０ プロセッサ
３１１ メモリ
３１２ ユーザ入力部
３１３ 表示部
３１４ センサ
３２１ 自動運転プログラム
３２２ データ
３３１ 地図データ

Claims (10)

  1. 識別器を用いて画像データ中の対象物を識別する識別方法であって、
    前記画像データを取得し、
    前記画像データの撮影条件を取得し、
    それぞれ異なる複数の撮影条件毎に生成された複数の識別器の中から、前記取得した撮影条件に応じた識別器を選択し、
    前記選択した識別器を用いて、前記取得した画像データ中の前記対象物を識別する、
    識別方法。
  2. 前記複数の識別器は、前記複数の撮影条件毎に分類された複数の学習用画像データが撮影条件毎に所定の学習モデルに入力され、前記対象物の特徴を示す情報が前記撮影条件毎に学習され、前記対象物の特徴を示す情報が前記撮影条件毎の前記所定の学習モデルに適用されることで、生成される、
    請求項１記載の識別方法。
  3. 前記画像データは、道路を移動する移動体に設けられた撮影装置から撮影することにより取得され、
    前記撮影条件は、前記画像データが取得された地域を示し、
    前記対象物は、前記道路上に存在する障害物を示し、
    前記画像データが取得された地域を特定するための地域情報を取得し、
    それぞれ異なる複数の地域毎に生成された複数の識別器の中から、前記取得した地域情報に応じた識別器を選択し、
    前記選択した識別器を用いて、前記取得した画像データ中の前記障害物を識別する、
    請求項１又は２記載の識別方法。
  4. 前記画像データは、道路を移動する移動体に設けられた撮影装置から撮影することにより取得され、
    前記撮影条件は、前記画像データが取得された国を示し、
    前記対象物は、前記道路上に存在する道路標識を示し、
    前記画像データが取得された国を特定するための国情報を取得し、
    それぞれ異なる複数の国毎に生成された複数の識別器の中から、前記取得した国情報に応じた識別器を選択し、
    前記選択した識別器を用いて、前記取得した画像データ中の前記道路標識を識別する、
    請求項１又は２記載の識別方法。
  5. 前記撮影条件は、前記画像データが取得された場所の天候を示し、
    前記画像データが取得された場所の天候を取得し、
    それぞれ異なる複数の天候毎に生成された複数の識別器の中から、前記取得した天候に応じた識別器を選択する、
    請求項１又は２記載の識別方法。
  6. 前記撮影条件は、前記画像データが取得された時間帯を示し、
    前記画像データが取得された時間帯を取得し、
    それぞれ異なる複数の時間帯毎に生成された複数の識別器の中から、前記取得した時間帯に応じた識別器を選択する、
    請求項１又は２記載の識別方法。
  7. 前記撮影条件は、前記画像データが取得された市街地、山間部及び海岸部のいずれかの場所を示し、
    前記画像データが取得された場所が前記市街地、前記山間部及び前記海岸部のいずれであるかを特定するための場所情報を取得し、
    前記市街地、前記山間部及び前記海岸部毎に生成された複数の識別器の中から、前記取得した場所情報に応じた識別器を選択する、
    請求項１又は２記載の識別方法。
  8. 識別器を用いて画像データ中の対象物を識別する識別装置であって、
    前記画像データを取得する画像データ取得部と、
    前記画像データの撮影条件を取得する撮影条件取得部と、
    複数の撮影条件毎に生成された複数の識別器の中から、前記取得した撮影条件に応じた識別器を選択する選択部と、
    前記選択した識別器を用いて、前記取得した画像データ中の前記対象物を識別する識別部と、
    を備える識別装置。
  9. 画像データ中の対象物を識別する識別器を生成する識別器生成方法であって、
    それぞれ撮影条件が異なる複数の学習用画像データを取得し、
    前記取得した複数の学習用画像データを、前記撮影条件毎に所定の学習モデルに入力して、前記対象物の特徴を示す情報を前記撮影条件毎に学習し、前記対象物の特徴を示す情報を、前記撮影条件毎の前記所定の学習モデルに適用することで、前記撮影条件毎に異なる複数の識別器を生成する、
    識別器生成方法。
  10. 画像データ中の対象物を識別する識別器を生成する識別器生成装置であって、
    それぞれ撮影条件が異なる複数の学習用画像データを取得する画像データ取得部と、
    前記取得した複数の学習用画像データを、前記撮影条件毎に所定の学習モデルに入力して、前記対象物の特徴を示す情報を前記撮影条件毎に学習し、前記対象物の特徴を示す情報を、前記撮影条件毎の前記所定の学習モデルに適用することで、前記撮影条件毎に異なる複数の識別器を生成する生成部と、
    を備える識別器生成装置。
JP2016222178A 2016-11-15 2016-11-15 識別方法、識別装置、識別器生成方法及び識別器生成装置 Pending JP2018081404A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016222178A JP2018081404A (ja) 2016-11-15 2016-11-15 識別方法、識別装置、識別器生成方法及び識別器生成装置
CN201710853009.0A CN108073950A (zh) 2016-11-15 2017-09-20 识别方法、识别装置、识别器生成方法以及识别器生成装置
US15/802,435 US10747996B2 (en) 2016-11-15 2017-11-02 Identification method, identification apparatus, classifier creating method, and classifier creating apparatus
EP17201112.4A EP3321854A3 (en) 2016-11-15 2017-11-10 Identification method, identification apparatus, classifier creating method, and classifier creating apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016222178A JP2018081404A (ja) 2016-11-15 2016-11-15 識別方法、識別装置、識別器生成方法及び識別器生成装置

Publications (1)

Publication Number Publication Date
JP2018081404A true JP2018081404A (ja) 2018-05-24

Family

ID=60320711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016222178A Pending JP2018081404A (ja) 2016-11-15 2016-11-15 識別方法、識別装置、識別器生成方法及び識別器生成装置

Country Status (4)

Country Link
US (1) US10747996B2 (ja)
EP (1) EP3321854A3 (ja)
JP (1) JP2018081404A (ja)
CN (1) CN108073950A (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359623A (zh) * 2018-11-13 2019-02-19 西北工业大学 基于深度联合分布适配网络的高光谱图像迁移分类方法
JP2020012815A (ja) * 2018-07-19 2020-01-23 Ｚホールディングス株式会社 情報提供装置、情報提供方法、およびプログラム
JP2020020997A (ja) * 2018-08-02 2020-02-06 古河電気工業株式会社 融着接続システム、融着接続機及び光ファイバ種判別方法
JP2020020998A (ja) * 2018-08-02 2020-02-06 古河電気工業株式会社 融着接続システム、融着接続機及び光ファイバの回転角判定方法
JP2020052539A (ja) * 2018-09-25 2020-04-02 トヨタ自動車株式会社 学習画像選別装置
WO2020075624A1 (ja) * 2018-10-11 2020-04-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、情報提供装置、情報提供方法、提示制御装置、提示制御方法および情報処理システム
WO2020090251A1 (ja) * 2018-10-30 2020-05-07 日本電気株式会社 物体認識装置、物体認識方法および物体認識プログラム
JP2020134990A (ja) * 2019-02-13 2020-08-31 カシオ計算機株式会社 データベース生成方法、データベース生成装置およびデータベース生成プログラム
WO2020202244A1 (ja) * 2019-03-29 2020-10-08 日本電気株式会社 モデル生成装置、モデル調整装置、モデル生成方法、モデル調整方法、及び、記録媒体
JP2020190931A (ja) * 2019-05-22 2020-11-26 株式会社Ｊｖｃケンウッド 人物判定用の学習済みモデルセットの生成装置、生成方法、生成プログラム、人物領域判定装置、判定方法、および判定プログラム
JP2020201745A (ja) * 2019-06-11 2020-12-17 Kddi株式会社 物体識別装置、方法およびシステム
JPWO2020261333A1 (ja) * 2019-06-24 2020-12-30
JP2021018593A (ja) * 2019-07-19 2021-02-15 株式会社日立製作所 車両用情報処理装置
WO2021070324A1 (ja) * 2019-10-10 2021-04-15 日本電気株式会社 学習装置、学習方法、物体検出装置、物体検出方法、及び、記録媒体
WO2021200037A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 道路劣化判定装置、道路劣化判定方法、及び、記録媒体
JP2022504713A (ja) * 2018-10-11 2022-01-13 テスラ，インコーポレイテッド 拡張データによって機械モデルを訓練するためのシステムおよび方法
JP2022525272A (ja) * 2019-01-25 2022-05-12 グーグル エルエルシー 選択的な動きの描画を伴う画像表示
DE112020006752T5 (de) 2020-02-17 2022-12-29 Mitsubishi Electric Corporation Modellerzeugungsvorrichtung, fahrzeugseitige Vorrichtung und Modellerzeugungsverfahren
JP7209785B1 (ja) 2021-08-23 2023-01-20 セフテック株式会社 規制領域内への進入車両検出装置
WO2024013933A1 (ja) * 2022-07-14 2024-01-18 日本電気株式会社 映像処理システム、映像処理装置及び映像処理方法
JP7452095B2 (ja) 2020-02-27 2024-03-19 沖電気工業株式会社 データ処理装置、データ処理方法およびプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902739A (zh) * 2019-02-27 2019-06-18 厦门理工学院 一种机械设备故障程度识别方法、终端设备及存储介质
CN112180395B (zh) * 2019-06-13 2023-04-07 北京百度网讯科技有限公司 道路标记的提取方法、装置、设备及存储介质
CN110363146A (zh) * 2019-07-16 2019-10-22 杭州睿琪软件有限公司 一种物体识别方法、装置、电子设备和存储介质
CN110490955A (zh) * 2019-08-26 2019-11-22 成都步科智能有限公司 一种标注图像获取方法及装置
US11125575B2 (en) * 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
CN113628227B (zh) * 2021-08-02 2022-05-17 哈尔滨工业大学 一种基于深度学习的海岸线变化分析方法
CN115798239B (zh) * 2022-11-17 2023-09-22 长安大学 一种车辆运行道路区域类型辨识方法
CN117315237B (zh) * 2023-11-23 2024-02-27 上海闪马智能科技有限公司 目标检测模型的确定方法及装置、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329762A (ja) * 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置、および車両制御装置
JP2009042167A (ja) * 2007-08-10 2009-02-26 Aisin Aw Co Ltd 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム
JP2009239871A (ja) * 2008-03-28 2009-10-15 Canon Inc 物体検知方法及びその装置
JP2014215877A (ja) * 2013-04-26 2014-11-17 株式会社デンソー 物体検出装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213567A (ja) * 2003-01-08 2004-07-29 Ntt Docomo Inc 画像学習装置及びその学習方法
JP4321821B2 (ja) * 2005-01-28 2009-08-26 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
US7724962B2 (en) * 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
JP2008040851A (ja) * 2006-08-08 2008-02-21 Fuji Xerox Co Ltd 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
DE102007034505A1 (de) * 2007-07-24 2009-01-29 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Verkehrszeichenerkennung
US9002100B2 (en) * 2008-04-02 2015-04-07 Xerox Corporation Model uncertainty visualization for active learning
JP5388611B2 (ja) * 2009-02-03 2014-01-15 キヤノン株式会社 撮像装置およびその制御方法、プログラム
DE102009057553A1 (de) * 2009-12-09 2011-06-16 Conti Temic Microelectronic Gmbh Verfahren zur Unterstützung des Fahrers eines straßengebundenen Fahrzeugs bei der Fahrzeugführung
JP2012019293A (ja) * 2010-07-06 2012-01-26 Sony Corp 画像処理装置、撮影方法、撮影プログラム、画像処理方法及び画像処理プログラム
US9235766B2 (en) * 2011-10-20 2016-01-12 International Business Machines Corporation Optimizing the detection of objects in images
US9633436B2 (en) * 2012-07-26 2017-04-25 Infosys Limited Systems and methods for multi-dimensional object detection
JP2014063360A (ja) * 2012-09-21 2014-04-10 Sony Corp 信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラム
JP5708689B2 (ja) 2013-03-13 2015-04-30 株式会社デンソー 物体検出装置
KR102278945B1 (ko) * 2015-01-27 2021-07-19 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
CN107092920A (zh) * 2016-02-17 2017-08-25 福特全球技术公司 评估其上行驶有车辆的路面的方法和装置
JP6804965B2 (ja) * 2016-12-15 2020-12-23 株式会社日立製作所 画像処理装置、画像処理システム、および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329762A (ja) * 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置、および車両制御装置
JP2009042167A (ja) * 2007-08-10 2009-02-26 Aisin Aw Co Ltd 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム
JP2009239871A (ja) * 2008-03-28 2009-10-15 Canon Inc 物体検知方法及びその装置
JP2014215877A (ja) * 2013-04-26 2014-11-17 株式会社デンソー 物体検出装置

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7365145B2 (ja) 2018-07-19 2023-10-19 ヤフー株式会社 情報提供装置、情報提供方法、およびプログラム
JP2020012815A (ja) * 2018-07-19 2020-01-23 Ｚホールディングス株式会社 情報提供装置、情報提供方法、およびプログラム
JP2020020997A (ja) * 2018-08-02 2020-02-06 古河電気工業株式会社 融着接続システム、融着接続機及び光ファイバ種判別方法
JP2020020998A (ja) * 2018-08-02 2020-02-06 古河電気工業株式会社 融着接続システム、融着接続機及び光ファイバの回転角判定方法
US10921520B2 (en) 2018-08-02 2021-02-16 Furukawa Electric Co., Ltd. Fusion splicing system, fusion splicer and method of determining rotation angle of optical fiber
JP2020052539A (ja) * 2018-09-25 2020-04-02 トヨタ自動車株式会社 学習画像選別装置
JP7052660B2 (ja) 2018-09-25 2022-04-12 トヨタ自動車株式会社 学習画像選別装置
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
JPWO2020075624A1 (ja) * 2018-10-11 2021-09-24 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、情報提供装置、情報提供方法、提示制御装置、提示制御方法および情報処理システム
JP7391029B2 (ja) 2018-10-11 2023-12-04 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および情報処理システム
JP2022504713A (ja) * 2018-10-11 2022-01-13 テスラ，インコーポレイテッド 拡張データによって機械モデルを訓練するためのシステムおよび方法
WO2020075624A1 (ja) * 2018-10-11 2020-04-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、情報提供装置、情報提供方法、提示制御装置、提示制御方法および情報処理システム
US11586856B2 (en) 2018-10-30 2023-02-21 Nec Corporation Object recognition device, object recognition method, and object recognition program
WO2020090251A1 (ja) * 2018-10-30 2020-05-07 日本電気株式会社 物体認識装置、物体認識方法および物体認識プログラム
JPWO2020090251A1 (ja) * 2018-10-30 2021-09-30 日本電気株式会社 物体認識装置、物体認識方法および物体認識プログラム
CN109359623A (zh) * 2018-11-13 2019-02-19 西北工业大学 基于深度联合分布适配网络的高光谱图像迁移分类方法
CN109359623B (zh) * 2018-11-13 2021-05-11 西北工业大学 基于深度联合分布适配网络的高光谱图像迁移分类方法
JP2022525272A (ja) * 2019-01-25 2022-05-12 グーグル エルエルシー 選択的な動きの描画を伴う画像表示
JP2020134990A (ja) * 2019-02-13 2020-08-31 カシオ計算機株式会社 データベース生成方法、データベース生成装置およびデータベース生成プログラム
JPWO2020202591A1 (ja) * 2019-03-29 2020-10-08
WO2020202244A1 (ja) * 2019-03-29 2020-10-08 日本電気株式会社 モデル生成装置、モデル調整装置、モデル生成方法、モデル調整方法、及び、記録媒体
WO2020202591A1 (ja) * 2019-03-29 2020-10-08 日本電気株式会社 モデル生成装置、モデル調整装置、モデル生成方法、モデル調整方法、及び、記録媒体
JP7251613B2 (ja) 2019-03-29 2023-04-04 日本電気株式会社 モデル生成装置、モデル生成方法、及び、プログラム
JP7167850B2 (ja) 2019-05-22 2022-11-09 株式会社Ｊｖｃケンウッド 人物判定用の学習済みモデルセットの生成装置、生成方法、生成プログラム、人物領域判定装置、判定方法、および判定プログラム
JP2020190931A (ja) * 2019-05-22 2020-11-26 株式会社Ｊｖｃケンウッド 人物判定用の学習済みモデルセットの生成装置、生成方法、生成プログラム、人物領域判定装置、判定方法、および判定プログラム
JP7025372B2 (ja) 2019-06-11 2022-02-24 Kddi株式会社 物体識別装置、方法およびシステム
JP2020201745A (ja) * 2019-06-11 2020-12-17 Kddi株式会社 物体識別装置、方法およびシステム
WO2020261333A1 (ja) * 2019-06-24 2020-12-30 日本電気株式会社 学習装置、交通事象予測システム及び学習方法
JPWO2020261333A1 (ja) * 2019-06-24 2020-12-30
JP7071316B2 (ja) 2019-07-19 2022-05-18 株式会社日立製作所 車両用情報処理装置
JP2021018593A (ja) * 2019-07-19 2021-02-15 株式会社日立製作所 車両用情報処理装置
WO2021070324A1 (ja) * 2019-10-10 2021-04-15 日本電気株式会社 学習装置、学習方法、物体検出装置、物体検出方法、及び、記録媒体
DE112020006752T5 (de) 2020-02-17 2022-12-29 Mitsubishi Electric Corporation Modellerzeugungsvorrichtung, fahrzeugseitige Vorrichtung und Modellerzeugungsverfahren
JP7452095B2 (ja) 2020-02-27 2024-03-19 沖電気工業株式会社 データ処理装置、データ処理方法およびプログラム
WO2021200037A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 道路劣化判定装置、道路劣化判定方法、及び、記録媒体
JP7209785B1 (ja) 2021-08-23 2023-01-20 セフテック株式会社 規制領域内への進入車両検出装置
JP2023030398A (ja) * 2021-08-23 2023-03-08 セフテック株式会社 規制領域内への進入車両検出装置
WO2024013933A1 (ja) * 2022-07-14 2024-01-18 日本電気株式会社 映像処理システム、映像処理装置及び映像処理方法

Also Published As

Publication number Publication date
CN108073950A (zh) 2018-05-25
EP3321854A3 (en) 2018-07-04
US10747996B2 (en) 2020-08-18
EP3321854A2 (en) 2018-05-16
US20180137336A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
JP2018081404A (ja) 識別方法、識別装置、識別器生成方法及び識別器生成装置
CN111102986B (zh) 用于运载工具导航的尺寸缩小的地图的自动生成以及时空定位
Possatti et al. Traffic light recognition using deep learning and prior maps for autonomous cars
CN111311709B (zh) 一种生成高精地图的方法及装置
CN109583415B (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
EP3299921A1 (en) Location specific assistance for autonomous vehicle control system
CN110378483A (zh) 部署在模拟平台上的用于训练机器学习模型的系统和方法
CN113646772A (zh) 预测用于自主驾驶的三维特征
CN110239562A (zh) 自动驾驶车辆的基于周围车辆行为的实时感知调整与驾驶调适
JP2018081545A (ja) 画像データ抽出装置及び画像データ抽出方法
US20220318464A1 (en) Machine Learning Data Augmentation for Simulation
CN111177288A (zh) 用于导出自主车辆启用的可行驶地图的系统
EP3660735B1 (en) A compressive environmental feature representation for vehicle behavior prediction
US20220396281A1 (en) Platform for perception system development for automated driving system
JP6795379B2 (ja) 運転制御装置、運転制御方法及び運転制御プログラム
CN114556249A (zh) 用于预测车辆轨迹的系统和方法
US11308324B2 (en) Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof
JP2022039188A (ja) 位置姿勢算出方法および位置姿勢算出プログラム
CN115705693A (zh) 用于传感器数据的标注的方法、系统和存储介质
CN112818968A (zh) 一种目标物分类方法及装置
US20240071122A1 (en) Object recognition method and time-of-flight object recognition circuitry
CN117516559A (zh) 一种联合地图生成方法、终端、服务器及通信系统
US20210302991A1 (en) Method and system for generating an enhanced field of view for an autonomous ground vehicle
US20230024799A1 (en) Method, system and computer program product for the automated locating of a vehicle
KR20200143554A (ko) 증강 현실 기반 운전 보조 장치 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210323

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210629