JP2019015692A - 付着物検出方法、付着物学習方法、付着物検出装置、付着物学習装置、付着物検出システム、および、プログラム - Google Patents

付着物検出方法、付着物学習方法、付着物検出装置、付着物学習装置、付着物検出システム、および、プログラム Download PDF

Info

Publication number
JP2019015692A
JP2019015692A JP2017135135A JP2017135135A JP2019015692A JP 2019015692 A JP2019015692 A JP 2019015692A JP 2017135135 A JP2017135135 A JP 2017135135A JP 2017135135 A JP2017135135 A JP 2017135135A JP 2019015692 A JP2019015692 A JP 2019015692A
Authority
JP
Japan
Prior art keywords
image
attached
deposit
recognition model
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017135135A
Other languages
English (en)
Inventor
谷川　徹
Toru Tanigawa
徹 谷川
幸恵 庄田
Yukie Shoda
幸恵 庄田
征矢 芋本
Seiya Imomoto
征矢 芋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2017135135A priority Critical patent/JP2019015692A/ja
Priority to US15/981,255 priority patent/US20190019042A1/en
Priority to EP18176853.2A priority patent/EP3428840A1/en
Priority to CN201810714547.6A priority patent/CN109241818A/zh
Publication of JP2019015692A publication Critical patent/JP2019015692A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】撮影画像に示されている付着物を、より高い精度で検出する。【解決手段】少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出方法は、撮像素子による透光体を介した撮影によって生成される撮影画像を取得し（ステップＳ３０１）、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに撮影画像を入力データとして入力することで出力される、撮影画像における付着物の有無を示す情報を取得することで、撮影画像における対象付着物の有無を検出する（ステップＳ３０２）。【選択図】図１２

Description

本発明は、付着物検出方法、付着物学習方法、付着物検出装置、付着物学習装置、付着物検出システム、および、プログラムに関する。
自動車の運転支援技術、及び、自動運転技術が開発されつつある。これらの技術では、車両の周囲にある物体を認識することで、車両の走行に関する制御がなされる。車両の周囲にある物体は、車載カメラによる撮影により得られる。
カメラのレンズに水滴などの付着物が付着している場合、付着物が光を反射又は屈折することで撮影画像に乱れが生じ得る。特許文献１は、照明下で撮影した画像と、非照明下で撮影した画像とを利用して、カメラの視野内に雨粒等の付着物がある場合であっても物体の認識を行うことができる技術を開示している。
特許第４９６７０１５号公報
しかしながら、特許文献１に開示される技術では、付着物により撮影画像の一部に滲み、歪み又は欠けが生じた場合の物体の認識精度の悪化については一切検討されていない。つまり、特許文献１に開示される技術では、付着物により撮影画像の一部に滲み、歪み又は欠けが生じた場合の認識精度の悪化を解消し得ないという問題がある。
そこで、本発明は、撮影画像に示されている付着物を、より高い精度で検出し得る付着物検出方法を開示する。
本発明の一態様に係る付着物検出方法は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出方法であって、前記撮像素子による前記透光体を介した撮影によって生成される撮影画像を取得し、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の有無を示す情報を取得することで、前記撮影画像における前記対象付着物の有無を検出する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の付着物検出方法は、撮影画像に示されている付着物を、より高い精度で検出できる。
図１は、実施の形態における付着物検出システムの構成を示す図である。 図２は、実施の形態におけるサーバの機能構成を示すブロック図である。 図３は、実施の形態における画像格納部に格納される画像の一例を示す説明図である。 図４は、実施の形態における訓練データを示す説明図である。 図５は、実施の形態におけるアノテーション付与部が付与するアノテーションを示す説明図である。 図６は、実施の形態における車両の機能構成を示すブロック図である。 図７は、実施の形態におけるサーバの処理を示すフロー図である。 図８は、実施の形態における車載機器の処理を示すフロー図である。 図９は、実施の形態の変形例１におけるアノテーション付与部が付与するアノテーションの第一例を示す説明図である。 図１０は、実施の形態の変形例１におけるアノテーション付与部が付与するアノテーションの第二例を示す説明図である。 図１１は、実施の形態の変形例２におけるアノテーション付与部が付与するアノテーションを示す説明図である。 図１２は、各実施の形態の変形例に係る付着物学習方法を示すフロー図である。 図１３は、各実施の形態の変形例に係る付着物学習装置を示すブロック図である。 図１４は、各実施の形態の変形例に係る付着物検出方法を示すフロー図である。 図１５は、各実施の形態の変形例に係る付着物検出装置を示すブロック図である。 図１６は、各実施の形態の変形例に係る付着物検出方法を示すフロー図である。 図１７は、各実施の形態の変形例に係る付着物検出システムを示すブロック図である。
本発明の一態様に係る付着物検出方法は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出方法であって、前記撮像素子による前記透光体を介した撮影によって生成される撮影画像を取得し、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の有無を示す情報を取得することで、前記撮影画像における前記対象付着物の有無を検出する。
上記態様によれば、認識モデルに基づいて、撮像画像における対象付着物の有無が検出される。この認識モデルは、透光体に付着している付着物が示された画像における当該付着物を認識するものであるので、この認識モデルに撮影画像を入力することで、撮影画像における対象付着物の有無がより高精度に検出され得る。このように、この付着物検出方法によれば、撮影画像における、透光体に付着している付着物を、より高い精度で検出できる。
例えば、前記認識モデルは、前記撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを用いて、前記撮影画像における当該付着物の有無を学習することによって構築されたものであってもよい。
上記態様によれば、アノテーションを付与された訓練データを用いて構築された認識モデル、つまり、付着物が示された画像における当該付着物の有無の学習が行われることによって構築された認識モデルが用いられる。つまり、画像に示されている付着物の有無が認識モデルに教え込まれている。例えば、画像に示されている付着物の色、形状又は模様等の特徴に基づいて、付着物の種別が学習されたものである。従って、認識モデルに撮影画像を入力することで、入力された撮影画像における付着物の有無が適切に検出され、対象付着物のより高精度の検出に貢献し得る。
例えば、前記訓練データは、（ａ）当該撮影画像における当該付着物の座標と、（ｂ）当該付着物の種別を示す種別情報とをさらに含む前記アノテーションが付与された前記訓練データであり、前記認識モデルは、前記訓練データを用いて、前記撮影画像における当該付着物の種別情報をさらに学習することによって構築されたものであり、前記対象付着物を検出する際には、前記認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の種別情報を取得することで、前記撮影画像における前記対象付着物の種別をさらに検出してもよい。
上記態様によれば、付着物が示された画像における当該付着物の種別及び位置の学習がさらに行われることによって構築された認識モデルが用いられる。つまり、画像に示されている付着物の種別及び位置がさらに認識モデルに教え込まれている。従って、認識モデルに撮影画像を入力することで、入力された撮影画像における付着物の種別が適切に検出され、対象付着物のより高精度の検出に貢献し得る。
例えば、前記対象付着物を検出する際には、前記認識モデルに前記撮影画像を入力することで出力される、前記撮影画像における付着物の寸法を取得することで、前記撮影画像における前記対象付着物の寸法を検出してもよい。
上記態様によれば、対象付着物の量を、より高精度に検出できる。
例えば、前記撮像素子は、対象車両に搭載されており、前記透光体は、２つの透光体である、前記撮像素子を備えるカメラのレンズ、及び、前記対象車両のフロントガラスであり、前記訓練データを取得する際には、さらに（ｃ）前記レンズ及び前記フロントガラスのうち当該付着物が付着している一方を示す特定情報を含む前記アノテーションが付与された前記訓練データを取得し、前記認識モデルは、前記訓練データを用いて、前記画像における当該付着物の特定情報をさらに学習することによって構築されたものであり、前記対象付着物を検出する際には、前記認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の特定情報を取得することで、前記撮影画像における前記対象付着物が前記レンズ及び前記フロントガラスのどちらに付着しているかを検出してもよい。
上記態様によれば、付着物が２つの透光体のうちのどちらに付着しているかをさらに用いて学習することで構築された認識モデルに基づいて、撮影画像における対象付着物が検出される。この認識モデルは、付着物が２つの透光体のうちのどちらに付着しているかを示す特定情報がさらに付与されているので、付着物がどちらの透光体に付着しているかについての学習が行われることによって構築されたものとなる。つまり、画像に示されている付着物の種別に加えて、付着物がどちらの透光体に付着しているかが認識モデルに教え込まれている。従って、認識モデルに撮影画像を入力することで、入力された撮影画像における付着物の種別、及び、付着物が付着している透光体が適切に検出され、対象付着物のより高精度の検出に貢献し得る。
例えば、前記アノテーションに含まれる前記種別情報は、水滴、雪粒、氷、埃、泥、虫及び糞のいずれかを示す情報であってもよい。
上記態様によれば、透光体に付着している対象付着物として、より具体的に、水滴、雪粒、氷、埃、泥、虫及び糞が検出される。
例えば、前記撮像素子は、対象車両に搭載されており、前記付着物検出方法では、さらに、検出した前記対象付着物の種別に基づいて、前記対象車両の運転者への通知を制御してもよい。
上記態様によれば、検出した付着物の種別に応じた運転者への通知がなされる。通知を受けた運転者は、付着物の種別に応じた行動をとることができる。例えば、付着物が水滴又は雪粒であればワイパーを駆動させ、泥又は虫であれば一時的に駐車して布でふき取るなどの対処ができる。
例えば、前記撮像素子は、対象車両に搭載されており、前記付着物検出方法では、さらに、検出した前記対象付着物の種別に基づいて前記対象車両を自動運転により制御するか、手動運転により制御するかを切り替えてもよい。
上記態様によれば、検出した付着物の種別に応じた車両の制御がなされる。付着物の種別によって、自動運転を継続することが不可能、又は、安全上の問題が発生する場合に、自動運転を解除して手動運転にするなどの制御が可能となる。
例えば、前記撮像素子は、対象車両に搭載されており、前記付着物検出方法では、さらに、検出した前記対象付着物の種別に基づいて、前記対象車両のワイパーの駆動を制御してもよい。
上記態様によれば、検出した付着物の種別に応じたワイパーの制御がなされる。例えば、付着物が水滴又は雪粒である場合に限り、ワイパーを駆動させるという制御が可能となる。
例えば、前記認識モデルは、雨天時に撮影された前記撮影画像における当該付着物と、当該付着物の種別を示す種別情報を認識する雨天用認識モデルを含み、前記対象付着物として水滴が検出された後には、前記雨天用認識モデルを前記認識モデルとして用いて前記対象付着物の検出をしてもよい。
上記態様によれば、雨天時に、より正確に付着物を認識できる利点がある。雨天用認識モデルは、雨天時に撮影された訓練用画像から構築されたものであるので、雨天時にカメラが撮影した画像における付着物の検出を、より高精度に行うことができる。
例えば、前記認識モデルは、ニューラルネットワークモデルであってもよい。
上記態様によれば、認識モデルとしてニューラルネットワークモデルを用いて、より具体的に、透光体に付着している付着物をより高い精度で検出できる。
また、本実施の形態に係る移動体学習方法は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習方法であって、透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを用いて、前記撮影画像における当該付着物の有無を学習することによって認識モデルを構築する。
上記態様によれば、アノテーションを付与された訓練データを用いて、付着物が示された画像における当該付着物の有無の学習が行われることによって認識モデルが構築される。つまり、画像に示されている付着物の有無が教え込まれた認識モデルが構築される。よって、この認識モデルを用いることで、撮影画像に示されている対象付着物を、より高い精度で検出することができる。
例えば、前記認識モデルを構築する際には、透光体を介して撮影された撮影画像に対して、（ａ）当該撮影画像における当該付着物の座標と、（ｂ）当該付着物の種別を示す種別情報と、を含む前記アノテーションが付与された前記訓練データを用いて、前記撮影画像における当該付着物の種別情報を学習することによって前記認識モデルを構築してもよい。
上記態様によれば、アノテーションを付与された訓練データを用いて、付着物が示された画像における当該付着物の種別の学習が行われることによって認識モデルが構築される。つまり、画像に示されている付着物の種別が教え込まれた認識モデルが構築される。よって、この認識モデルを用いることで、撮影画像に示されている対象付着物を、より高い精度で検出することができる。
例えば、前記撮像素子は、対象車両に搭載されており、前記透光体は、前記撮像素子を備えるカメラのレンズ、又は、前記対象車両のフロントガラスであり、前記訓練データを取得する際には、さらに（ｃ）前記レンズ及び前記フロントガラスのうち当該付着物が付着している一方を示す特定情報を含む前記アノテーションが付与された前記訓練データを取得し、前記認識モデルを構築する際には、前記訓練データを用いて、前記撮影画像における当該付着物の特定情報をさらに学習することによって前記認識モデルを構築してもよい。
上記態様によれば、付着物が２つの透光体のうちのどちらに付着しているかをさらに用いて学習することで認識モデルが構築される。この認識モデルは、付着物が２つの透光体のうちのどちらに付着しているかを示す特定情報がさらに付与されているので、付着物がどちらの透光体に付着しているかについての学習が行われることによって構築されたものとなる。よって、この認識モデルを用いることで、透光体に付着している対象付着物を、より高い精度で検出することができる。
また、本実施の形態に係る付着物検出装置は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出装置であって、前記撮像素子による前記透光体を介した撮影によって生成される撮影画像を取得する撮影画像取得部と、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の有無を示す情報を取得することで、前記撮影画像における前記対象付着物の有無を検出する検出部とを備える。
上記態様によれば、上記付着物検出方法と同様の効果を奏する。
また、本実施の形態に係る付着物学習装置は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習装置であって、透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得する取得部と、前記訓練データを用いて、前記撮影画像における当該付着物の有無を学習することによって認識モデルを構築する学習部とを備える。
上記態様によれば、上記付着物学習方法と同様の効果を奏する。
また、本実施の形態に係る付着物検出システムは、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出システムであって、透光体を介して撮影された第一撮影画像における前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得する取得部と、前記訓練データを用いて、前記第一撮影画像における当該付着物の種別情報を学習することによって認識モデルを構築する学習部と、前記撮像素子による前記透光体を介した撮影によって生成される第二撮影画像を取得する撮影画像取得部と、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記第二撮影画像を入力データとして入力することで出力される、前記第二撮影画像における付着物の有無を示す情報を取得することで、前記第二撮影画像における前記対象付着物の有無を検出する検出部とを備える。
上記態様によれば、上記付着物検出システムと同様の効果を奏する。
また、本実施の形態に係るプログラムは、コンピュータが、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を学習するためのプログラムであって、透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得し、前記訓練データを用いて、前記撮影画像における当該付着物の種別情報を学習することによって認識モデルを構築する。
上記態様によれば、上記付着物学習方法と同様の効果を奏する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態）
実施の形態において、撮影画像に示されている付着物を、より高い精度で検出する付着物検出装置、及び、付着物出システムなどについて説明する。
図１は、本実施の形態における付着物検出システムの構成を示すブロック図である。
本実施の形態における付着物検出システム１０は、少なくとも１つのコンピュータからなるシステムであって、車両１１が有する撮像素子と撮影対象とを隔てる透光体に付着している付着物（対象付着物ともいう）を検出する。なお、付着物検出システム１０は、付着物の他にも自動車、歩行者、道路なども検出し得る。付着物検出システム１０が検出する検出対象を対象物ということもある。なお、以下では、撮像素子が車両１１に搭載されている場合を例として示すが、撮像素子は車両１１に搭載されているものに限られず、他の用途のカメラ（監視カメラ、防犯カメラなど）でもよい。
付着物検出システム１０は、具体的には、車両１１に備えられている車載機器と、その車載機器にインターネットなどの通信網１３を介して接続されるサーバ１２とを備える。なお、上記透光体は、車載機器が有するカメラの撮像素子と、その撮影素子による撮影の対象とを隔てる透光体であり、具体的には、カメラのレンズ、又は、車両１１のフロントガラス（ウィンドシールド）である。なお、透光体は、透光性を有する部材であれば他の物でもよい。また、付着物は、水滴、雪粒、氷、埃、泥、虫及び糞などである。車載機器は、認識モデルを用いた認識に基づいて付着物を検出する。認識に用いる認識モデルは、サーバ１２から通信網１３を介して取得される。
サーバ１２は、表示装置１４および入力デバイス１５に有線通信または無線通信によって接続されている。表示装置１４は、液晶ディスプレイまたは有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを有し、サーバ１２からの制御に応じた画像を表示する。入力デバイス１５は、例えばキーボードおよびマウスなどを備え、ユーザによる入力操作に応じた操作信号をサーバ１２に出力する。
また、サーバ１２は、例えば、複数の端末装置（不図示）から通信網１３を介して送信される画像を取得して保存する。具体的には、端末装置は、例えば車両１１、又は、車両１１以外の車両に備えられたカメラによる撮像によって得られた画像をサーバ１２に通信網１３を介して送信する。そして、サーバ１２は、このように送信された画像を訓練用画像として用いて、訓練用画像における付着物の種別を学習することによって、認識モデルを構築する。そして、サーバ１２は、その構築された認識モデルを通信網１３を介して車両１１に送信する。
図２は、本実施の形態におけるサーバ１２の機能構成を示すブロック図である。
図２に示されるように、サーバ１２は、訓練データ取得部１２０と、学習部１２７と、モデル格納部１２８と、制御部１２９とを備える。
訓練データ取得部１２０は、付着物の検出の学習に用いられる訓練データを取得する。具体的には、訓練データ取得部１２０は、付着物が示された画像に対して、当該付着物の座標及び種別を示すアノテーションを付与することによって訓練データを取得する。
訓練データ取得部１２０は、画像格納部１２１と、アノテーション付与部１２２と、訓練データ格納部１２３とを備える。
画像格納部１２１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはハードディスクなどのデータを記録するための記録媒体である。画像格納部１２１には、例えばカメラによる撮像によって生成された複数の画像が複数の訓練用画像として格納される。
アノテーション付与部１２２は、訓練用画像に対してアノテーションを付与する。アノテーションは、付着物の座標と、種別情報とを含む。付着物の座標は、訓練用画像における付着物の座標（Ｘ，Ｙ）であり、例えば画像の左上隅を（０，０）とし、右方向をＸ軸正方向とし、下方向をＹ軸正方向とする座標系に対する座標である。種別情報は、付着物の種別を示す情報であり、具体的には、水滴、雪粒、氷、埃、泥、虫及び糞のいずれかを示す情報である。アノテーション付与部１２２は、入力デバイス１５から制御部１２９を介して操作信号を取得し、その操作信号に応じて、アノテーションを訓練用画像に付与する。
なお、アノテーション付与部１２２は、訓練用画像へのアノテーションの付与を、画像解析技術等に基づいて自動的に行ってもよく、ユーザからの操作に応じて行ってもよい。つまり、アノテーション付与部１２２は、訓練用画像を解析することによって自動的に訓練用画像における付着物の座標と種別とを決定してもよい。また、アノテーション付与部１２２は、表示装置１４により訓練用画像を表示し、訓練用画像を視認したユーザにより入力デバイス１５に入力された操作信号を取得することで、付着物の座標と種別とを決定してもよい。なお、以降では、アノテーション付与部１２２が、訓練用画像を視認したユーザによる操作信号の入力に基づいてアノテーションを付与する場合を例として説明する。
訓練データ格納部１２３は、ＲＡＭまたはハードディスクなどのデータを記録するための記録媒体である。訓練データ格納部１２３には、アノテーションが付与された訓練用画像が訓練データとして格納される。
学習部１２７は、訓練データを用いて付着物の種別を学習する。すなわち、学習部１２７は、訓練データ格納部１２３に格納されている訓練データを用いて、訓練用画像における付着物の種別を学習することによって、認識モデルを構築する。学習部１２７は、構築した認識モデルをモデル格納部１２８に格納する。
学習部１２７による学習は、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、またはＧｅｎｅｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇなどの機械学習である。また、画像中の物体の認識およびセグメンテーションには、グラフカットなどを用いることができる。あるいは、Ｒａｎｄｏｍ ＦｏｒｅｓｔまたはＧｅｎｅｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇによって作成された認識器などを用いてもよい。また、学習部１２７が構築する認識モデルは、ニューラルネットワークモデルであってもよい。
学習部１２７が構築する認識モデルは、付着物が撮影された画像における付着物と、当該付着物の種別を示す種別情報とを認識する認識モデルである。認識モデルは、より具体的には、例えば、透光体に付着している付着物が撮影された画像に対して、（ａ）当該画像における当該付着物の座標と、（ｂ）当該付着物の種別を示す種別情報と、を含む情報であるアノテーションが付与された訓練データを取得し、取得した訓練データを用いて、画像における付着物の種別情報を学習することによって構築されたものである。
モデル格納部１２８は、ＲＡＭまたはハードディスクなどのデータを記録するための記録媒体である。このモデル格納部１２８には、学習部１２７によって構築された認識モデルが格納される。モデル格納部１２８に格納された認識モデルは、制御部１２９を介して車載機器１１０に提供される。
制御部１２９は、入力デバイス１５からの操作信号を取得し、その操作信号に応じて訓練データ取得部１２０、学習部１２７および表示装置１４を制御する。また、モデル格納部１２８に格納されている認識モデルを車載機器１１０に提供する。
次に、訓練データ取得部１２０が訓練用画像を取得してから、訓練用画像にアノテーションを付与することで訓練データを生成し、訓練データ格納部１２３に格納する処理について詳しく説明する。
図３は、本実施の形態における画像格納部１２１に格納される画像の一例を示す説明図である。図４は、本実施の形態における訓練データを示す説明図である。図５は、本実施の形態におけるアノテーション付与部１２２が付与するアノテーションを示す説明図である。
図３に示される画像は、付着物が撮影された画像（訓練用画像）の一例である。この画像は、予め車両１１に搭載されたカメラによって過去に実際に撮影された画像であってもよいし、一般のカメラによって撮影された画像であってもよいし、コンピュータを用いた描画により生成された画像、いわゆるＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）であってもよい。なお、車両１１に搭載されるカメラは、画角を広げるために魚眼レンズを採用することもある。魚眼レンズを採用するカメラが取得した画像は、当該画像内の一部が歪曲していることもあるが、歪曲した画像であっても同様の説明が成立する。
図３に示される画像には、対象物としての自動車２１、水滴２２、及び、泥２３が撮影されている。対象物のうち、水滴２２及び泥２３は、付着物である。
図３に示される訓練用画像には付着物が示されているので、アノテーション付与部１２２によってアノテーションが付与される。図３に示される訓練用画像に対するアノテーションの付与について図４を参照しながら説明する。
アノテーション付与部１２２は、制御部１２９を通じて図３に示される画像を表示装置１４に表示し、ユーザに視認させる。
ユーザは、図３に示される画像を視認して、画像に示されている対象物として、自動車２１、水滴２２、及び、泥２３を認識する。
ユーザは、認識した対象物それぞれについて、当該対象物を囲む枠を設定する（図４参照）。ユーザは、例えば対象物である自動車２１に対して枠３１を入力デバイス１５を介して設定する。ユーザは、同様に、その他の対象物である水滴２２、及び、泥２３について、それぞれ、枠３２及び３３を設定する。なお、枠３１等の形状は特に限定されないが、矩形、又は、多角形とすれば、比較的少ない情報量で枠３１の位置及び形状を規定できる利点がある。例えば、矩形の枠であれば、矩形の左上の頂点と右下の頂点との２つの座標（二次元座標）により規定され、多角形の枠であれば複数の頂点それぞれの座標により規定され得る。ユーザが枠を設定すると、アノテーション付与部１２２は、ユーザが設定した枠に対応する座標を、画像における対象物の座標として取得する。
また、ユーザは、認識した対象物それぞれについて、当該対象物の種別を入力デバイス１５を介して設定する。例えば、対象物である自動車２１については、対象物の種別を「自動車」と設定する。また、対象物である水滴２２については、対象物の種別を「水滴」と設定する。また、対象物である泥２３については、対象物の種別を「泥」と設定する。また、自動車２１と水滴２２とについては、対象物の種別としてさらに付着物であることを示す「付着物」を設定する。
アノテーション付与部１２２は、対象物それぞれの種別についてのユーザによる設定を制御部１２９を通じて受け取る。アノテーション付与部１２２が受け取る対象物それぞれの座標及び種別を図５を参照しながら説明する。
図５は、対象物それぞれについての、訓練用画像における当該対象物の座標、及び、当該対象物の種別を示している。例えば、対象物である自動車２１については、座標が、枠の左上頂点の座標（ｘ１１，ｙ１１）及び右下頂点の座標（ｘ１２，ｙ１２）であり、種別が「自動車」であることが示されている。
次に、学習部１２７の学習処理について概念的に説明する。
学習部１２７は、訓練データ、つまり、訓練用画像と、対象物の座標と、種別とから、訓練用画像における対象物の種別と位置とをＤｅｅｐ Ｌｅａｒｎｉｎｇなどの機械学習により学習する。以下で機械学習による学習の方法の一例を示すが、学習の方法には、さまざまなものが検討されており、他の方法を採用することも可能である。
例えば、学習部１２７は、訓練用画像における対象物を取り囲む枠内の画像と、対象物の種別とにより、対象物の種別を学習する。このとき、例えば、訓練用画像に含まれる対象物の画像の特徴（色、形状、模様、寸法、ぼけ具合など）が用いられ得る。
例えば、対象物が水滴である場合には、対象物の内部の色が周囲と類似しており、かつ、対象物の内部の模様が周囲と比較して歪んでいるという特徴が用いられ得る。対象物が雪粒又は泥である場合には、対象物の色がそれぞれ白又は茶色に類似する粒状又は斑状の模様を有するという特徴が用いられ得る。その他の対象物についても、その対象物に特有の特徴がそれぞれ用いられ得る。例えば、Ｄｅｅｐ Ｌｅａｒｎｉｎｇでは、画像における歪などの画像特徴量は、学習により自動で獲得される。
次に、付着物の検出を行う車載機器１１０、及び、車載機器１１０を搭載した車両１１について説明する。
図６は、車両１１の機能構成を示すブロック図である。
車両１１は、車載機器１１０と、車両駆動機構１１５とを備える。
車載機器１１０は、カメラ１１１と、認識器１１２と、提示装置１１３と、車両制御装置１１４とを備える。
カメラ１１１は、車両１１の周囲を撮影するように車両１１に搭載されている。例えば、カメラ１１１は、車両１１の前方を撮影できる位置及び向きで車両１１の乗車空間内に搭載されている。カメラ１１１は、撮影によって生成される画像である撮影画像を認識器１１２に出力する。
カメラ１１１が有する撮像素子と撮影対象との間には、カメラ１１１のレンズと、フロントガラスとの２つの透光体が存在している。撮像素子は、この２つの透光体を介して車両１１の前方を撮影する。言い換えれば、撮像素子は、この２つの透光体を透過してくる光によって車両１１の前方を撮影する。
カメラ１１１が出力する画像には、透光体としてのフロントガラス、及び、透光体としてのカメラ１１１のレンズに付着した付着物が示されている可能性がある。
なお、カメラ１１１は、車両１１の乗車空間外に搭載されていてもよい。その場合、カメラ１１１が有する撮像素子と撮影対象との間には、カメラ１１１のレンズが存在しているので、撮像素子は、透光体としてのレンズを透過してくる光によって車両１１の前方を撮影する。カメラ１１１が出力する画像には、透光体としてのカメラ１１１のレンズに付着した付着物が示されている可能性がある。
認識器１１２は、サーバ１２から通信網１３を介して認識モデルを取得して保持している。ここで、認識器１１２が取得する認識モデルは、付着物が撮影された画像における付着物と、当該付着物の種別を示す種別情報を認識する認識モデルである。また、認識器１１２は、車両１１に搭載されたカメラ１１１による車両１１の前方の撮影によって生成される画像である撮影画像を取得する。認識器１１２は、検出部に相当する。
そして、認識器１１２は、その撮影画像を入力データとして認識モデルに入力することによって、撮影画像における付着物を検出する。具体的には、認識器１１２は、撮影画像における付着物の種別情報を取得することで、撮影画像における付着物（対象付着物）の種別を検出する。また、認識器１１２は、撮影画像における付着物の種別情報を取得することで、撮影画像における付着物の寸法を検出することもできる。このようにして、認識器１１２は、付着物の種別又は量を、より高精度に検出できる。
さらに、認識器１１２は、その特定された付着物を示す出力データを提示装置１１３と車両制御装置１１４とに出力する。出力データは、例えば、撮影画像に対して、その特定された付着物を指し示す図形（枠、矢印など）が重畳された画像である提示画像を含む。
提示装置１１３は、情報を提示する提示装置であり、例えば、液晶ディスプレイ若しくは有機ＥＬディスプレイ等の表示装置、又は、スピーカ等の音出力装置を含む。ここでは、提示装置１１３が表示装置である場合を例として説明する。
提示装置１１３は、認識器１１２から出力データを取得すると、その出力データを画像として表示する。具体的には、提示装置１１３は、撮影画像に対して、その特定された付着物を指し示す図形が重畳された提示画像を表示する。これにより、カメラ１１１によって撮影された撮影画像における、検出された付着物の位置が、提示画像によって車両１１の運転者に提示される。
車両制御装置１１４は、車両１１の駆動、及び、車両１１に搭載された設備の駆動を制御する制御装置である。車両制御装置１１４は、認識器１１２から出力データを取得すると、その出力データに基づいて、例えば車両１１の駆動を、自動運転によるものと手動運転によるものとの間で切り替え、又は、車両１１に搭載された設備であるワイパーの駆動を制御する。車両１１の駆動の制御は、車両駆動機構１１５によりなされる。
車両駆動機構１１５は、車両１１の駆動を制御する制御装置である。車両駆動機構１１５は、車両制御装置１１４からの制御の下で、車両１１の駆動、具体的には、加減速及び操舵などの制御を行う。
以上のように構成された付着物検知システムが実行する処理について説明する。
図７は、本実施の形態におけるサーバ１２が行う付着物学習方法に係る処理を示すフロー図である。
ステップＳ１２１において、サーバ１２のアノテーション付与部１２２は、画像格納部１２１から訓練用画像を取得する。
ステップＳ１２２において、アノテーション付与部１２２は、ステップＳ１２１で取得した訓練用画像に付着物が示されているかを、操作信号または画像処理に基づいて判定する。アノテーション付与部１２２は、付着物が示されていると判定した場合（ステップＳ１２２でＹｅｓ）、ステップＳ１２３に進み、そうでない場合（ステップＳ１２２でＮｏ）、ステップＳ１２５に進む。
ステップＳ１２３において、アノテーション付与部１２２は、ステップＳ１２１で取得した訓練用画像に対してアノテーションを付与する。アノテーションは、訓練用画像における付着物の座標と、種別情報とを含む。
ステップＳ１２４において、アノテーション付与部１２２は、アノテーションを付与した訓練用画像を、訓練データとして訓練データ格納部１２３に格納する。
ステップＳ１２５において、訓練データ取得部１２０は、付着物が示されているか否かについての判定が行われていない訓練用画像、すなわち未処理の訓練用画像が画像格納部１２１にあるか否かを判定する。未処理の訓練用画像があると判定した場合（ステップＳ１２５でＹｅｓ）、未処理の訓練用画像に対してステップＳ１２１からの処理を実行する。一方、未処理の訓練用画像がないと判定した場合（ステップＳ１２５でＮｏ）、ステップＳ１２６に進む。
ステップＳ１２６において、学習部１２７は、訓練データ格納部１２３に格納されている訓練データを用いて訓練画像における付着物の種別を学習する。これにより、学習部１２７は、付着物の種別の認識モデルを構築し、その認識モデルをモデル格納部１２８に格納する。
図８は、本実施の形態における車載機器１１０が行う付着物検出方法に係る処理を示すフローチャートである。
ステップＳ１１１において、車載機器１１０のカメラ１１１は、撮影によって撮影画像を生成する。
ステップＳ１１２において、認識器１１２は、ステップＳ１１１でカメラ１１１が生成した撮影画像を入力データとして認識モデルに入力する。
ステップＳ１１３において、認識器１１２は、ステップＳ１１２で撮影画像を認識モデルに入力したことにより出力される情報を得る。認識モデルから出力される情報は、ステップＳ１１２で認識モデルに入力された撮影画像における付着物の種別情報を含む。認識器１１２は、認識モデルから出力される情報を得ることで、撮影画像における付着物を検出する。
ステップＳ１１４において、車載機器１１０は、ステップＳ１１３で得た、撮影画像における付着物の種別情報に基づいて、提示装置１１３による付着物に関する情報の運転者への通知、又は、車両制御装置１１４による車両１１の制御を行う。
具体的には、提示装置１１３は、付着物の種別に基づいて、車両１１の運転者への通知を制御する。例えば、提示装置１１３は、付着物の種別を示す画像データを生成し、生成した画像データに基づいて画像を提示する。なお、提示装置１１３は、種別情報を運転者に知らせるための音声データを生成し、生成した音声データに基づいて音声を出力してもよい。
また、車両制御装置１１４は、検出した付着物の種別に基づいて車両１１を自動運転により制御するか、手動運転により制御するかを切り替える。
また、車両制御装置１１４は、検出した付着物の種別に基づいて、車両１１のワイパーの駆動を制御する。付着物が水滴又は雪粒などである場合にはワイパーで付着物を払拭することができるが、付着物が泥又は糞などである場合には、ワイパーで払拭することができず、付着物が拡がることがある。そこで、車両制御装置１１４は、検出した付着物の種別によってワイパーの駆動を制御する。なお、この場合、車両制御装置１１４は、付着物ごとの粘度を予め保有しておいてもよい。例えば、粘度を「高い」又は「低い」の２値で表現する場合、付着物である泥、虫及び糞は、粘度が高い方に分類され、付着物である水滴、雪粒及び埃は、粘度が低い方に分類される。なお、粘度を分類する分類数、分類の態様は上記に限られない。
なお、学習部１２７は、上記のようにすべての訓練用画像からの学習によって生成した認識モデルだけでなく、すべての訓練用画像のうちから特定の特徴を有する一部の訓練用画像だけを用いて生成した認識モデルを生成することもできる。そして、認識器１１２は、特定の条件が成立した場合には、上記一部の訓練用画像だけを用いて生成した認識モデルを用いて付着物の認識を行ってもよい。
具体的には、学習部１２７は、雨天時に撮影された訓練用画像における当該付着物と、当該付着物の種別を示す種別情報とからの学習により認識モデル（「雨天用認識モデル」ともいう）を構築してもよい。雨天用認識モデルは、雨天時に撮影された訓練用画像から構築されたものであるので、雨天時にカメラ１１１が撮影した画像における付着物の検出を、より正確に行うことができる。そして、認識器１１２が付着物として水滴を検出した後には、雨天用認識モデルを用いて付着物の検出をしてもよい。これにより、雨天時に、より正確に付着物を認識できる利点がある。
以上のように、付着物検出システム１０は、サーバ１２による機械学習により生成した付着物の種別に関する認識モデルを用いて、透光体に付着している付着物をより高い精度で検出することができる。
なお、付着物検出システム１０は、付着物の有無を検出するように構成されることも可能である。
この場合、訓練データ取得部１２０は、付着物が示された画像に対して、当該付着物の有無を示すアノテーションを付与することによって訓練データを取得する。また、アノテーション付与部１２２が訓練用画像に対して付与するアノテーションは、付着物の有無を示す情報を含む。例えば、アノテーション付与部１２２は、図３に示される訓練用画像に対して、付着物が有ることを示すアノテーションを付与する。
認識器１１２が取得する認識モデルは、付着物が撮影された画像における付着物の有無を認識する認識モデルである。そして、認識器１１２は、撮影画像における付着物の有無を示す情報を取得することで、撮影画像における付着物（対象付着物）の有無を検出する。ここで、認識モデルは、透光体に付着している付着物が撮影された画像に対して、当該画像における当該付着物の有無を示す情報であるアノテーションが付与された訓練データを用いて、上記画像における当該付着物の有無を学習することによって構築されたものである。
これにより、撮影画像における対象付着物の有無がより高精度に検出され得る。
（実施の形態の変形例１）
本変形例では、撮影画像に示されている付着物を、より高い精度で検出する付着物検出装置、及び、付着物出システムなどについて、さらに、透光体に付着物が付着している場合であっても、より正しく対象物の認識をすることができる認識モデルを構築する技術について説明する。
上記実施の形態では、図４における枠３１の内部の画像が自動車２１を含むことを示すアノテーションがアノテーション付与部１２２によって付与された訓練画像に基づいて、学習部１２７により認識モデルが構築される。しかしながら、枠３１の内部の画像は、水滴２２によって一部が隠された自動車２１の画像を含んでおり、完全な自動車２１の画像ではない。そのため、枠３１に含まれる画像を用いて学習部１２７により認識モデルを構築すると、自動車に関する認識モデルの精度が低下する可能性がある。
そこで、本変形例では、自動車に関する認識モデルの精度の低下を抑制する技術について説明する。
図９は、本変形例におけるアノテーション付与部１２２が付与するアノテーションの第一例を示す説明図である。この方法では、自動車に関する認識モデルの精度の低下を抑制すべく、自動車の一部の画像であって、水滴を含まないように切り出した一部の画像を用いて自動車の認識モデルを構築する。
図９の（ａ）には、図４における枠３１及び３２が模式的に示されており、これらに加えて、枠３１Ａが示されている。
アノテーション付与部１２２が付与するアノテーションは、枠３１が囲む領域から、枠３２が囲む領域を除いた領域を設定し、その領域を囲む枠３１Ａの頂点ａ〜ｉを対象物の座標として含む（図９の（ｂ）参照）。枠３１Ａは、自動車２１の一部の画像を含む一方、水滴２２を含まない、又は、ほとんど含まない領域である。枠３１Ａの設定は、枠３１と枠３２との位置から計算により求めることもできるし、図３に示される画像をユーザに視認させた上で、入力デバイス１５から制御部１２９を介して取得する操作信号に基づいて取得することもできる。
枠３１Ａが囲む領域に水滴２２が含まれない、又は、ほとんど含まれない領域なので、自動車に関する認識モデルの低下を抑制することができる。
図１０は、本変形例におけるアノテーション付与部１２２が付与するアノテーションの第二例を示す説明図である。この方法では、自動車に関する認識モデルの精度の低下を抑制すべく、自動車と水滴とを含む領域を、例えば「自動車＋水滴」という新たな対象物であると認識する認識モデルを構築する。
図１０の（ａ）には、図４における枠３１及び３２が模式的に示されている。
アノテーション付与部１２２が付与するアノテーションは、枠３１の頂点を対象物の座標として含む。また、種別情報として「自動車＋水滴」を含む（図１０の（ｂ）参照）。この種別情報の設定は、自動車２１の種別情報「自動車」と、水滴２２の種別情報「水滴」とから合成することもできるし、入力デバイス１５から制御部１２９を介して取得する操作信号に基づいて取得することもできる。
枠３１は、「自動車」とは異なる「自動車＋水滴」という対象物と認識されるので、自動車に関する認識モデルの低下を抑制することができる。
（実施の形態の変形例２）
本変形例では、撮影画像に示されている付着物を、より高い精度で検出する付着物検出装置、及び、付着物出システムなどについて、さらに、透光体が複数存在する場合に複数の透光体のうちのどちらに付着物が付着しているかを検出する付着物検出装置、及び、付着物検出システムなどについて説明する。
本変形例では、車両１１の乗車空間内にカメラ１１１が設置されている場合に限定して説明する。この場合、カメラ１１１が有する撮像素子と撮影対象との間に、カメラ１１１のレンズと、車両１１のフロントガラスとの２つの透光体が存在している。撮像素子は、この２つの透光体を透過してくる光によって車両１１の前方を撮影する。水滴２２はレンズに付着しており、泥２３はフロントガラスに付着しているとする。
本変形例に係る付着物検出システム１０は、実施の形態の付着物検出装置と同様の方法で付着物を検出し、さらに、複数の透光体のうちのどちらに付着物が付着しているかを検出する。本変形例に係る付着物検出システム１０は、実施の形態の付着物検出システム１０と、アノテーション付与部１２２と認識モデルとが異なる。
アノテーション付与部１２２は、訓練用画像に対してアノテーションを付与する。アノテーションは、付着物の座標と、種別情報とに加えて、特定情報を含む。特定情報とは、カメラ１１１のレンズ及び車両のフロントガラスのうち付着物が付着している一方を示す情報、言い換えれば、付着物がカメラ１１１のレンズに付着しているか、又は、車両のフロントガラスに付着しているかを特定する情報である。アノテーション付与部１２２は、入力デバイス１５から制御部１２９を介して操作信号を取得し、その操作信号に応じて、特定情報を含むアノテーションを訓練用画像に付与する。
図１１は、本変形例におけるアノテーション付与部１２２が付与するアノテーションを示す説明図である。なお、図１１に示される情報のうち、座標及び種別は、図５におけるものと同じであるので説明を省略する。
図１１に示されるように、水滴２２の特定情報がレンズであり、泥２３の特定情報がフロントガラスである。
学習部１２７は、訓練データを用いて、画像における当該付着物の特定情報をさらに学習することによって認識モデルを構築する。つまり、学習部１２７が生成する認識モデルは、訓練データを用いて、画像における当該付着物の特定情報をさらに学習することによって構築されたものである。
そして、認識器１１２は、認識モデルに撮影画像を入力データとして入力することで出力される、撮影画像における付着物の特定情報を取得することで、撮影画像における付着物がレンズ及びフロントガラスのどちらに付着しているかを検出する。
以上のように、本実施の形態の付着物検出方法によれば、認識モデルに基づいて、撮像画像における対象付着物の有無が検出される。この認識モデルは、透光体に付着している付着物が示された画像における当該付着物を認識するものであるので、この認識モデルに撮影画像を入力することで、撮影画像における対象付着物の有無がより高精度に検出され得る。このように、この付着物検出方法によれば、撮影画像における、透光体に付着している付着物を、より高い精度で検出できる。
また、アノテーションを付与された訓練データを用いて構築された認識モデル、つまり、付着物が示された画像における当該付着物の有無の学習が行われることによって構築された認識モデルが用いられる。つまり、画像に示されている付着物の有無が認識モデルに教え込まれている。例えば、画像に示されている付着物の色、形状又は模様等の特徴に基づいて、付着物の種別が学習されたものである。従って、認識モデルに撮影画像を入力することで、入力された撮影画像における付着物の有無が適切に検出され、対象付着物のより高精度の検出に貢献し得る。
また、付着物が示された画像における当該付着物の種別及び位置の学習がさらに行われることによって構築された認識モデルが用いられる。つまり、画像に示されている付着物の種別及び位置がさらに認識モデルに教え込まれている。従って、認識モデルに撮影画像を入力することで、入力された撮影画像における付着物の種別が適切に検出され、対象付着物のより高精度の検出に貢献し得る。
また、対象付着物の量を、より高精度に検出できる。
また、付着物が２つの透光体のうちのどちらに付着しているかをさらに用いて学習することで構築された認識モデルに基づいて、撮影画像における対象付着物が検出される。この認識モデルは、付着物が２つの透光体のうちのどちらに付着しているかを示す特定情報がさらに付与されているので、付着物がどちらの透光体に付着しているかについての学習が行われることによって構築されたものとなる。つまり、画像に示されている付着物の種別に加えて、付着物がどちらの透光体に付着しているかが認識モデルに教え込まれている。従って、認識モデルに撮影画像を入力することで、入力された撮影画像における付着物の種別、及び、付着物が付着している透光体が適切に検出され、対象付着物のより高精度の検出に貢献し得る。
また、透光体に付着している対象付着物として、より具体的に、水滴、雪粒、氷、埃、泥、虫及び糞が検出される。
また、検出した付着物の種別に応じた運転者への通知がなされる。通知を受けた運転者は、付着物の種別に応じた行動をとることができる。例えば、付着物が水滴又は雪粒であればワイパーを駆動させ、泥又は虫であれば一時的に駐車して布でふき取るなどの対処ができる。
また、検出した付着物の種別に応じた車両の制御がなされる。付着物の種別によって、自動運転を継続することが不可能、又は、安全上の問題が発生する場合に、自動運転を解除して手動運転にするなどの制御が可能となる。
また、検出した付着物の種別に応じたワイパーの制御がなされる。例えば、付着物が水滴又は雪粒である場合に限り、ワイパーを駆動させるという制御が可能となる。
また、雨天時に、より正確に付着物を認識できる利点がある。雨天用認識モデルは、雨天時に撮影された訓練用画像から構築されたものであるので、雨天時にカメラが撮影した画像における付着物の検出を、より高精度に行うことができる。
また、認識モデルとしてニューラルネットワークモデルを用いて、より具体的に、透光体に付着している付着物をより高い精度で検出できる。
（他の変形例）
上記各実施の形態の移動体検出システム等の一部又は全部は、以下のようにも記載され得るが、以下の記載に限定されない。
図１２は、各実施の形態の変形例に係る付着物学習方法を示すフロー図である。
図１２に示されるように、各実施の形態の変形例に係る付着物習方法は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習方法であって、透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得し（ステップＳ２０１）、訓練データを用いて、撮影画像における当該付着物の有無を学習することによって認識モデルを構築する（ステップＳ２０２）付着物学習方法である。
図１３は、各実施の形態の変形例に係る付着物学習装置２００を示すブロック図である。
図１３に示されるように、各実施の形態の変形例に係る付着物学習装置２００は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習装置２００であって、透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得する訓練データ取得部２０１と、訓練データを用いて、撮影画像における当該付着物の有無を学習することによって認識モデルを構築する学習部２０２とを備える付着物学習装置２００である。
図１４は、各実施の形態の変形例に係る付着物検出方法を示すフロー図である。
図１４に示されるように、各実施の形態の変形例に係る付着物検出方法は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出方法であって、撮像素子による透光体を介した撮影によって生成される撮影画像を取得し（ステップＳ３０１）、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに撮影画像を入力データとして入力することで出力される、撮影画像における付着物の有無を示す情報を取得することで、撮影画像における対象付着物の有無を検出する（ステップＳ３０２）付着物検出方法である。
図１５は、各実施の形態の変形例に係る付着物検出装置３００を示すブロック図である。
図１５に示されるように、各実施の形態の変形例に係る付着物検出装置３００は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出装置３００であって、撮像素子による透光体を介した撮影によって生成される撮影画像を取得する撮影画像取得部３０１と、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに撮影画像を入力データとして入力することで出力される、撮影画像における付着物の有無を示す情報を取得することで、撮影画像における対象付着物の有無を検出する検出部３０２とを備える付着物検出装置３００である。
図１６は、各実施の形態の変形例に係る付着物検出方法を示すフロー図である。
図１６に示されるように、各実施の形態の変形例に係る付着物検出方法は、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習方法であって、透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得し（ステップＳ２０１）、訓練データを用いて、撮影画像における当該付着物の有無を学習することによって認識モデルを構築し（ステップＳ２０２）、撮像素子による透光体を介した撮影によって生成される撮影画像を取得し（ステップＳ３０１）、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに撮影画像を入力データとして入力することで出力される、撮影画像における付着物の有無を示す情報を取得することで、撮影画像における対象付着物の有無を検出する（ステップＳ３０２）付着物検出方法である。
図１７は、各実施の形態の変形例に係る移動体検出システムを示すブロック図である。
図１７に示されるように、各実施の形態の変形例に係る移動体検出システムは、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出システム４００であって、透光体を介して撮影された第一撮影画像における前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得する訓練データ取得部２０１と、訓練データを用いて、第一撮影画像における当該付着物の種別情報を学習することによって認識モデルを構築する学習部２０２と、撮像素子による透光体を介した撮影によって生成される第二撮影画像を取得する撮影画像取得部３０１と、透光体を介して撮影された画像における透光体への付着物の有無を認識する認識モデルに第二撮影画像を入力データとして入力することで出力される、第二撮影画像における付着物の有無を示す情報を取得することで、第二撮影画像における対象付着物の有無を検出する検出部３０２とを備える付着物検出システムである。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の移動体学習装置及び移動体検出装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出方法であって、前記撮像素子による前記透光体を介した撮影によって生成される撮影画像を取得し、透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の有無を示す情報を取得することで、前記撮影画像における前記対象付着物の有無を検出する付着物検出方法を実行させる。
また、このプログラムは、コンピュータに、少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習方法であって、透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを用いて、前記撮影画像における当該付着物の有無を学習することによって認識モデルを構築する付着物学習方法を実行させる。
以上、一つまたは複数の態様に係る付着物検出方法などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本発明は、撮影画像に示されている付着物を、より高い精度で検出し得る付着物検出方法に利用可能である。より具体的には、自動運転車両に搭載される制御装置等に利用可能である。
１０、４００ 付着物検出システム
１１ 車両
１２ サーバ
１３ 通信網
１４ 表示装置
１５ 入力デバイス
２１ 自動車
２２ 水滴
２３ 泥
３１、３１Ａ、３２、３３ 枠
１１０ 車載機器
１１１ カメラ
１１２ 認識器
１１３ 提示装置
１１４ 車両制御装置
１１５ 車両駆動機構
１２０、２０１ 訓練データ取得部
１２１ 画像格納部
１２２ アノテーション付与部
１２３ 訓練データ格納部
１２７、２０２ 学習部
１２８ モデル格納部
１２９ 制御部
２００ 付着物学習装置
３００ 付着物検出装置
３０１ 撮影画像取得部
３０２ 検出部

Claims (18)

  1. 少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出方法であって、
    前記撮像素子による前記透光体を介した撮影によって生成される撮影画像を取得し、
    透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の有無を示す情報を取得することで、前記撮影画像における前記対象付着物の有無を検出する
    付着物検出方法。
  2. 前記認識モデルは、
    前記撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを用いて、前記撮影画像における当該付着物の有無を学習することによって構築されたものである
    請求項１に記載の付着物検出方法。
  3. 前記訓練データは、
    （ａ）当該撮影画像における当該付着物の座標と、（ｂ）当該付着物の種別を示す種別情報とをさらに含む前記アノテーションが付与された前記訓練データであり、
    前記認識モデルは、
    前記訓練データを用いて、前記撮影画像における当該付着物の種別情報をさらに学習することによって構築されたものであり、
    前記対象付着物を検出する際には、
    前記認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の種別情報を取得することで、前記撮影画像における前記対象付着物の種別をさらに検出する
    請求項２に記載の付着物検出方法。
  4. 前記対象付着物を検出する際には、
    前記認識モデルに前記撮影画像を入力することで出力される、前記撮影画像における付着物の寸法を取得することで、前記撮影画像における前記対象付着物の寸法を検出する
    請求項１〜３のいずれか１項に記載の付着物検出方法。
  5. 前記撮像素子は、対象車両に搭載されており、
    前記透光体は、２つの透光体である、前記撮像素子を備えるカメラのレンズ、及び、前記対象車両のフロントガラスであり、
    前記訓練データを取得する際には、
    さらに（ｃ）前記レンズ及び前記フロントガラスのうち当該付着物が付着している一方を示す特定情報を含む前記アノテーションが付与された前記訓練データを取得し、
    前記認識モデルは、
    前記訓練データを用いて、前記画像における当該付着物の特定情報をさらに学習することによって構築されたものであり、
    前記対象付着物を検出する際には、
    前記認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の特定情報を取得することで、前記撮影画像における前記対象付着物が前記レンズ及び前記フロントガラスのどちらに付着しているかを検出する
    請求項２に記載の付着物検出方法。
  6. 前記アノテーションに含まれる前記種別情報は、水滴、雪粒、氷、埃、泥、虫及び糞のいずれかを示す情報である
    請求項３に記載の付着物検出方法。
  7. 前記撮像素子は、対象車両に搭載されており、
    前記付着物検出方法では、さらに、
    検出した前記対象付着物の種別に基づいて、前記対象車両の運転者への通知を制御する
    請求項１〜６のいずれか１項に記載の付着物検出方法。
  8. 前記撮像素子は、対象車両に搭載されており、
    前記付着物検出方法では、さらに、
    検出した前記対象付着物の種別に基づいて前記対象車両を自動運転により制御するか、手動運転により制御するかを切り替える
    請求項１〜７のいずれか１項に記載の付着物検出方法。
  9. 前記撮像素子は、対象車両に搭載されており、
    前記付着物検出方法では、さらに、
    検出した前記対象付着物の種別に基づいて、前記対象車両のワイパーの駆動を制御する
    請求項１〜８のいずれか１項に記載の付着物検出方法。
  10. 前記認識モデルは、雨天時に撮影された前記撮影画像における当該付着物と、当該付着物の種別を示す種別情報を認識する雨天用認識モデルを含み、
    前記対象付着物として水滴が検出された後には、前記雨天用認識モデルを前記認識モデルとして用いて前記対象付着物の検出をする
    請求項１〜９のいずれか１項に記載の付着物検出方法。
  11. 前記認識モデルは、ニューラルネットワークモデルである
    請求項１〜１０のいずれか１項に記載の付着物検出方法。
  12. 少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習方法であって、
    透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを用いて、前記撮影画像における当該付着物の有無を学習することによって認識モデルを構築する
    付着物学習方法。
  13. 前記認識モデルを構築する際には、
    透光体を介して撮影された撮影画像に対して、（ａ）当該撮影画像における当該付着物の座標と、（ｂ）当該付着物の種別を示す種別情報と、を含む前記アノテーションが付与された前記訓練データを用いて、前記撮影画像における当該付着物の種別情報を学習することによって前記認識モデルを構築する
    請求項１２に記載の付着物学習方法。
  14. 前記撮像素子は、対象車両に搭載されており、
    前記透光体は、前記撮像素子を備えるカメラのレンズ、又は、前記対象車両のフロントガラスであり、
    前記訓練データを取得する際には、
    さらに（ｃ）前記レンズ及び前記フロントガラスのうち当該付着物が付着している一方を示す特定情報を含む前記アノテーションが付与された前記訓練データを取得し、
    前記認識モデルを構築する際には、
    前記訓練データを用いて、前記撮影画像における当該付着物の特定情報をさらに学習することによって前記認識モデルを構築する
    請求項１２又は１３に記載の付着物学習方法。
  15. 少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出装置であって、
    前記撮像素子による前記透光体を介した撮影によって生成される撮影画像を取得する撮影画像取得部と、
    透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記撮影画像を入力データとして入力することで出力される、前記撮影画像における付着物の有無を示す情報を取得することで、前記撮影画像における前記対象付着物の有無を検出する検出部とを備える
    付着物検出装置。
  16. 少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物学習装置であって、
    透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得する取得部と、
    前記訓練データを用いて、前記撮影画像における当該付着物の有無を学習することによって認識モデルを構築する学習部とを備える
    付着物学習装置。
  17. 少なくとも１つのコンピュータによって、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を検出する付着物検出システムであって、
    透光体を介して撮影された第一撮影画像における前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得する取得部と、
    前記訓練データを用いて、前記第一撮影画像における当該付着物の種別情報を学習することによって認識モデルを構築する学習部と、
    前記撮像素子による前記透光体を介した撮影によって生成される第二撮影画像を取得する撮影画像取得部と、
    透光体を介して撮影された画像における前記透光体への付着物の有無を認識する認識モデルに前記第二撮影画像を入力データとして入力することで出力される、前記第二撮影画像における付着物の有無を示す情報を取得することで、前記第二撮影画像における前記対象付着物の有無を検出する検出部とを備える
    付着物検出システム。
  18. コンピュータが、撮像素子と撮影対象とを隔てる透光体に付着している対象付着物を学習するためのプログラムであって、
    透光体を介した撮影によって生成される撮影画像に対して、前記透光体への付着物の有無を示す情報であるアノテーションが付与された訓練データを取得し、
    前記訓練データを用いて、前記撮影画像における当該付着物の種別情報を学習することによって認識モデルを構築する
    ことを前記コンピュータに実行させるプログラム。
JP2017135135A 2017-07-11 2017-07-11 付着物検出方法、付着物学習方法、付着物検出装置、付着物学習装置、付着物検出システム、および、プログラム Pending JP2019015692A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017135135A JP2019015692A (ja) 2017-07-11 2017-07-11 付着物検出方法、付着物学習方法、付着物検出装置、付着物学習装置、付着物検出システム、および、プログラム
US15/981,255 US20190019042A1 (en) 2017-07-11 2018-05-16 Computer implemented detecting method, computer implemented learning method, detecting apparatus, learning apparatus, detecting system, and recording medium
EP18176853.2A EP3428840A1 (en) 2017-07-11 2018-06-08 Computer implemented detecting method, computer implemented learning method, detecting apparatus, learning apparatus, detecting system, and recording medium
CN201810714547.6A CN109241818A (zh) 2017-07-11 2018-07-03 附着物检测方法及装置和系统、附着物学习方法及装置、程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017135135A JP2019015692A (ja) 2017-07-11 2017-07-11 付着物検出方法、付着物学習方法、付着物検出装置、付着物学習装置、付着物検出システム、および、プログラム

Publications (1)

Publication Number Publication Date
JP2019015692A true JP2019015692A (ja) 2019-01-31

Family

ID=62597389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017135135A Pending JP2019015692A (ja) 2017-07-11 2017-07-11 付着物検出方法、付着物学習方法、付着物検出装置、付着物学習装置、付着物検出システム、および、プログラム

Country Status (4)

Country Link
US (1) US20190019042A1 (ja)
EP (1) EP3428840A1 (ja)
JP (1) JP2019015692A (ja)
CN (1) CN109241818A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021061524A (ja) * 2019-10-07 2021-04-15 株式会社デンソー 雨滴認識装置、車両制御装置、学習方法および学習済みモデル
JP2022104431A (ja) * 2020-12-28 2022-07-08 本田技研工業株式会社 車両用認識装置、車両制御システム、車両用認識方法、およびプログラム
WO2023053498A1 (ja) * 2021-09-30 2023-04-06 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、記録媒体、および車載システム
JP7492453B2 (ja) 2020-12-28 2024-05-29 本田技研工業株式会社 車両用認識システムおよび認識方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10051344B2 (en) * 2016-09-27 2018-08-14 Clarifai, Inc. Prediction model training via live stream concept association
US10692002B1 (en) * 2019-01-28 2020-06-23 StradVision, Inc. Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
CN110532876A (zh) * 2019-07-26 2019-12-03 纵目科技（上海）股份有限公司 夜晚模式镜头付着物的检测方法、系统、终端和存储介质
CN112406788B (zh) * 2019-08-23 2022-06-24 华为技术有限公司 车窗自动清洁方法及装置
CN112748125A (zh) * 2019-10-29 2021-05-04 本田技研工业株式会社 车辆外观检查系统及其方法、车辆以及驻车位置显示物
CN111325715A (zh) * 2020-01-21 2020-06-23 上海悦易网络信息技术有限公司 相机色斑检测方法及设备
TWI767300B (zh) * 2020-08-18 2022-06-11 廣達電腦股份有限公司 運算裝置及視訊影像的雨滴去除方法
CN112198170B (zh) * 2020-09-29 2023-09-29 合肥公共安全技术研究院 一种无缝钢管外表面三维检测中识别水滴的检测方法
CN113581131B (zh) * 2021-08-12 2023-08-08 上海仙塔智能科技有限公司 挡风玻璃附着灰尘的清理方法及智能眼镜
WO2023126680A1 (en) * 2021-12-29 2023-07-06 Mobileye Vision Technologies Ltd. Systems and methods for analyzing and resolving image blockages

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565006B2 (en) * 2002-08-21 2009-07-21 Gentex Corporation Image acquisition and processing methods for automatic vehicular exterior lighting control
EP1790541A2 (en) * 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
WO2008126389A1 (ja) 2007-04-02 2008-10-23 Panasonic Corporation 安全運転支援装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021061524A (ja) * 2019-10-07 2021-04-15 株式会社デンソー 雨滴認識装置、車両制御装置、学習方法および学習済みモデル
JP7272226B2 (ja) 2019-10-07 2023-05-12 株式会社デンソー 雨滴認識装置、車両制御装置、学習方法および学習済みモデル
JP2022104431A (ja) * 2020-12-28 2022-07-08 本田技研工業株式会社 車両用認識装置、車両制御システム、車両用認識方法、およびプログラム
JP7187528B2 (ja) 2020-12-28 2022-12-12 本田技研工業株式会社 車両用認識装置、車両制御システム、車両用認識方法、およびプログラム
JP7492453B2 (ja) 2020-12-28 2024-05-29 本田技研工業株式会社 車両用認識システムおよび認識方法
WO2023053498A1 (ja) * 2021-09-30 2023-04-06 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、記録媒体、および車載システム

Also Published As

Publication number Publication date
EP3428840A1 (en) 2019-01-16
US20190019042A1 (en) 2019-01-17
CN109241818A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
JP2019015692A (ja) 付着物検出方法、付着物学習方法、付着物検出装置、付着物学習装置、付着物検出システム、および、プログラム
CN107209856B (zh) 环境场景状况检测
CN107914708B (zh) 后方障碍物检测和距离估算
US10878288B2 (en) Database construction system for machine-learning
JP7122364B2 (ja) 付着物検出装置、付着物検出方法
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
Eum et al. Enhancing light blob detection for intelligent headlight control using lane detection
RU2017109073A (ru) Обнаружение и прогнозирование движения пешеходов с помощью обращенной назад камеры
CN109476309A (zh) 高级驾驶辅助系统中的动态传感器范围
US10106126B2 (en) Apparatus and method for detecting precipitation for a motor vehicle
JP2019008519A (ja) 移動体検出方法、移動体学習方法、移動体検出装置、移動体学習装置、移動体検出システム、および、プログラム
JP2018041176A (ja) 駐車位置特定方法、駐車位置学習方法、駐車位置特定システム、駐車位置学習装置およびプログラム
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
US9286512B2 (en) Method for detecting pedestrians based on far infrared ray camera at night
JPWO2014084251A1 (ja) 車載画像処理装置
US11081008B2 (en) Vehicle vision system with cross traffic detection
TW202029134A (zh) 行車偵測方法、車輛及行車處理裝置
US11531197B1 (en) Cleaning system to remove debris from a lens
JP2008160635A (ja) カメラ状態検出方法
JP6847709B2 (ja) カメラ装置、検出装置、検出システムおよび移動体
Webster et al. Improved raindrop detection using combined shape and saliency descriptors with scene context isolation
JP6789151B2 (ja) カメラ装置、検出装置、検出システムおよび移動体
EP3349201B1 (en) Parking assist method and vehicle parking assist system
CN116434162A (zh) 用于减少在车辆的周围环境中的跟踪对象的漏检测的系统和方法
CN115088248A (zh) 摄像装置、摄像系统和摄像方法