JP2021136032A - 移動式信号機の検出方法、装置、電子機器及び記憶媒体 - Google Patents

移動式信号機の検出方法、装置、電子機器及び記憶媒体 Download PDF

Info

Publication number
JP2021136032A
JP2021136032A JP2021026431A JP2021026431A JP2021136032A JP 2021136032 A JP2021136032 A JP 2021136032A JP 2021026431 A JP2021026431 A JP 2021026431A JP 2021026431 A JP2021026431 A JP 2021026431A JP 2021136032 A JP2021136032 A JP 2021136032A
Authority
JP
Japan
Prior art keywords
traffic light
mobile traffic
detection model
sample image
image set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021026431A
Other languages
English (en)
Other versions
JP7164644B2 (ja
Inventor
フアン キン，
Huan Qin
フアン キン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021136032A publication Critical patent/JP2021136032A/ja
Application granted granted Critical
Publication of JP7164644B2 publication Critical patent/JP7164644B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

【課題】移動式信号機の検出方法、装置、電子機器及び記憶媒体を提供する。【解決手段】移動式信号機を含むポジティブサンプル画像セット及び移動式信号機を含まないネガティブサンプル画像セットを取得するステップと、事前設定されたサンプリング比に従って、ポジティブサンプル画像セット及びネガティブサンプル画像セットから現在のトレーニングデータを抽出するステップと、第１の事前設定された検出モデルを用いて、現在のトレーニングデータにおける各画像に対して移動式信号機の検出を行い、各画像の検出結果を決定するステップと、各画像の検出結果とラベル付けされたデータとの差異に基づいて、現在の分類損失及びバウンディングボックス回帰損失を決定するステップと、現在の分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たす場合、移動式信号機を検出するための移動式信号機検出モデルを生成するステップと、を含む。【選択図】図１

Description

本出願は、コンピュータ技術分野に関し、具体的には、自動運転技術の分野に関し、特に移動式信号機の検出方法、装置、電子機器及び記憶媒体に関する。
現在、自動運転では、地図から信号機のおおまかな領域を取得し、指定された領域で信号機を検出及び識別する方法が通常に使用されている。しかしながら、道路を走行している間に、信号機が故障したり、交差点に信号機が設置されなかったりする場合がよくあり、この場合、交差点に移動式信号機を設置し、地図上に移動式信号機を事前にラベル付けするが、移動式信号機の設置が固定されていない場合が多いため、地図を頻繁に更新する必要があり、移動式信号機を識別する方法が煩雑で非効率的である。
本出願は、関連技術における従来の移動式信号機の識別方法が煩雑で非効率である課題を解決する移動式信号機の検出方法、装置、電子機器及び記憶媒体を提案する。
本出願の第１態様の実施例は、移動式信号機を含むポジティブサンプル画像セット及び移動式信号機を含まないネガティブサンプル画像セットを取得するステップと、事前設定されたサンプリング比に従って、それぞれポジティブサンプル画像セット及びネガティブサンプル画像セットから現在のトレーニングデータを抽出するステップと、第１の事前設定された検出モデルを用いてトレーニングし、移動式信号機を検出するための移動式信号機検出モデルを生成するステップと、を含み、第１の事前設定された検出モデルを用いてトレーニングし、移動式信号機を検出するための移動式信号機検出モデルを生成するステップが、第１の事前設定された検出モデルを用いて、前記現在のトレーニングデータにおける各画像に対して移動式信号機の検出を行い、各画像の検出結果を決定するステップと、各画像の検出結果とラベル付けされたデータとの差異に基づいて、現在の分類損失及びバウンディングボックス回帰損失を決定するステップと、前記現在の分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たす場合、移動式信号機を検出するための移動式信号機検出モデルを生成するステップと、を含む移動式信号機の検出方法を提案する。
本出願の実施例に係る移動式信号機の検出方法は、移動式信号機を含むポジティブサンプル画像セット、及び移動式信号機を含まないネガティブサンプル画像セットを取得し、事前設定されたサンプリング比に従って、それぞれポジティブサンプル画像セット及びネガティブサンプル画像セットから現在のトレーニングデータを抽出し、そして、第１の事前設定された検出モデルを用いて、現在のトレーニングデータにおける各画像に対して移動式信号機の検出を行い、各画像の検出結果を決定し、各画像の検出結果とラベル付けされたデータとの差異に基づいて、現在の分類損失及びバウンディングボックス回帰損失を決定し、現在の分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たす場合、移動式信号機を検出するための移動式信号機検出モデルを生成する。これにより、トレーニングによって移動式信号機検出モデルを取得し、移動式信号機検出モデルを用いて移動式信号機を検出するため、識別プロセスがシンプルで効率的であり、かつ、事前設定されたサンプリング比に従ってトレーニングデータを抽出するため、ポジティブサンプルとネガティブサンプルの不均衡の問題を解決し、モデルを通常に収束させることができる。
本出願の第２態様の実施例は、移動式信号機を含むポジティブサンプル画像セット及び移動式信号機を含まないネガティブサンプル画像セットを取得するように構成される第１取得モジュールと、事前設定されたサンプリング比に従って、それぞれ前記ポジティブサンプル画像セット及びネガティブサンプル画像セットから現在のトレーニングデータを抽出するように構成される抽出モジュールと、第１の事前設定された検出モデルを用いて、前記現在のトレーニングデータにおける各画像に対して移動式信号機の検出を行い、各画像の検出結果を決定するように構成される検出モジュールと、各画像の検出結果とラベル付けされたデータとの差異に基づいて、現在の分類損失及バウンディングボックス回帰損失を決定するように構成される第１決定モジュールと、前記現在の分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たす場合、移動式信号機を検出するための移動式信号機検出モデルを生成するように構成される第２決定モジュールと、を備える移動式信号機の検出装置を提案する。
本出願の実施例に係る移動式信号機の検出装置は、移動式信号機を含むポジティブサンプル画像セット、及び移動式信号機を含まないネガティブサンプル画像セットを取得し、事前設定されたサンプリング比に従って、それぞれポジティブサンプル画像セット及びネガティブサンプル画像セットから現在のトレーニングデータを抽出し、そして、第１の事前設定された検出モデルを用いて、現在のトレーニングデータにおける各画像に対して移動式信号機の検出を行い、各画像の検出結果を決定し、各画像の検出結果とラベル付けされたデータとの差異に基づいて、現在の分類損失及びバウンディングボックス回帰損失を決定し、現在の分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たす場合、移動式信号機を検出するための移動式信号機検出モデルを生成する。これにより、トレーニングによって移動式信号機検出モデルを取得し、移動式信号機検出モデルを用いて移動式信号機を検出するため、識別プロセスがシンプルで効率的であり、かつ、事前設定されたサンプリング比に従ってトレーニングデータを抽出し、ポジティブサンプルとネガティブサンプルの不均衡の問題を解決し、モデルを通常に収束させることができる。
本出願の第３態様の実施例は、少なくとも一つのプロセッサと、該少なくとも一つのプロセッサと通信可能に接続されたメモリと、を備える電子機器であって、前記メモリには、前記少なくとも一つのプロセッサによって実行可能な命令が記憶され、前記命令が、前記少なくとも一つのプロセッサによって実行される場合、前記少なくとも一つのプロセッサが、上記第１態様の実施例に記載の移動式信号機の検出方法を実行可能である電子機器を提案する。
本出願の第４態様の実施例は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、コンピュータに上記第１態様の実施例に記載の移動式信号機の検出方法を実行させるコンピュータ読み取り可能な記憶媒体を提案する。
本出願の第５態様の実施例は、コンピュータに上記第１態様の実施例に記載の移動式信号機の検出方法を実行させるコンピュータプログラムを提案する。
上記出願の実施例は、以下の有益な効果を有する。事前設定されたサンプリング比に従って、それぞれポジティブサンプル画像セット及びネガティブサンプル画像セットから現在のトレーニングデータを抽出し、第１の事前設定された検出モデルを用いて、前記現在のトレーニングデータにおける各画像に対して移動式信号機の検出を行い、各画像の検出結果とラベル付けされたデータとの差異に基づいて、現在の分類損失及びバウンディングボックス回帰損失を決定し、現在の分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たす場合、移動式信号機を検出するための移動式信号機検出モデルを生成する。トレーニングによって得られた移動式信号機検出モデルを用いて移動式信号機を検出し、事前設定されたサンプリング比に従って、それぞれジティブサンプル画像セット及びネガティブサンプル画像セットからトレーニングデータを抽出するため、関連技術における従来の移動式信号機識別方法が煩雑で非効率である問題が解決され、移動式信号機の識別プロセスがシンプルで効率的であることが実現され、ポジティブサンプルとネガティブサンプルの不均衡の問題が解決され、モデルの通常な収束が確保される。
上記の選択可能な形態が有する他の効果については、具体的な実施例を組み合わせて以下に説明する。
図面は、本技術案がよりよく理解されるためのものであり、本出願を限定するものではない。
本出願の実施例に係る移動式信号機の検出方法の概略フローチャートである。 本出願の実施例に係る別の移動式信号機の検出方法の概略フローチャートである。 本出願の実施例に係る別の移動式信号機の検出方法の概略フローチャートである。 本出願の実施例に係る別の移動式信号機の検出方法の概略フローチャートである。 本出願の実施例に係る移動式信号機の検出装置の概略構成図である。 本出願の実施例に係る移動式信号機の検出方法を実現可能な電子機器のブロック図である。
以下、図面を参照して本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細を含んでおり、それらは単なる例示するものと見なされるべきである。したがって、当業者は、本出願の範囲及び趣旨から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解すべきである。同様に、明確及び簡潔するために、以下の説明では、周知の機能及び構成の説明を省略する。
以下、図面を参照して、本出願の実施例に係る移動式信号機の検出方法、装置、電子機器及び記憶媒体を説明する。
本出願の実施例は、関連技術における従来の移動式信号機の識別方法が煩雑で非効率である課題に対して、移動式信号機の検出方法を提案する。
本出願の実施例に係る移動式信号機の検出方法は、移動式信号機を含むポジティブサンプル画像セット、及び移動式信号機を含まないネガティブサンプル画像セットを取得し、事前設定されたサンプリング比に従って、それぞれポジティブサンプル画像セット及びネガティブサンプル画像セットから現在のトレーニングデータを抽出し、第１の事前設定された検出モデルを用いて、現在のトレーニングデータにおける各画像に対して移動式信号機の検出を行い、各画像の検出結果を決定し、各画像の検出結果とラベル付けされたデータとの差異に基づいて、現在の分類損失及びバウンディングボックス回帰損失を決定し、現在の分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たす場合、移動式信号機を検出するための移動式信号機検出モデルを生成する。これにより、トレーニングによって移動式信号機検出モデルを取得し、移動式信号機検出モデルを用いて移動式信号機を検出するため、識別プロセスがシンプルで効率的であり、かつ、事前設定されたサンプリング比に従ってトレーニングデータを抽出するため、ポジティブサンプルとネガティブサンプルの不均衡の問題を解決し、モデルを通常に収束させることができる。
図１は、本出願の実施例に係る移動式信号機の検出方法の概略フローチャートである。
本出願の実施例に係る移動式信号機の検出方法は、本出願の実施例に係る移動式信号機の検出装置によって実行可能であり、該装置が電子機器に配置可能であり、事前設定されたサンプリング比に従ってトレーニングデータを抽出してトレーニングし、移動式信号機検出モデルを取得し、該検出モデルを用いて移動式信号機を検出する。
図１に示すように、該移動式信号機の検出方法は、以下のステップ１０１〜ステップ１０５を含む。
ステップ１０１において、移動式信号機を含むポジティブサンプル画像セット及び移動式信号機を含まないネガティブサンプル画像セットを取得する。
本実施例において、サンプル画像セット及びネガティブサンプル画像セットを収集により取得可能であり、移動式信号機を有する交差点で画像を収集することにより、移動式信号機を含む画像を取得することができる。
ポジティブサンプル画像セットの各画像のそれぞれには移動式信号機が含まれ、ネガティブサンプル画像セットの各画像のそれぞれには移動式信号機が含まれていない。
ネガティブサンプル画像セットの画像は、移動式信号機と誤識別される可能性のある通常の信号機や標識などを含む画像であってもよいし、信号機が設置されていない交差点の画像、又は建物の画像であってもよく、移動式信号機を含まない画像でない限り、ネガティブサンプル画像セットの画像としてもよい。
ステップ１０２において、事前設定されたサンプリング比に従って、それぞれ前記正のサンプル画像セット及びネガティブサンプル画像セットから現在のトレーニングデータを抽出する。
実際の使用中に、移動式信号機を含むシーンは少なく、ほとんどのシーンには移動式信号機が含まれないため、トレーニング時にポジティブサンプルとネガティブサンプルが不均衡である。
本実施例において、使用される損失関数は、分類損失及びバウンディングボックス回帰損失を含む。バウンディングボックス回帰損失は、モデルによって予測された移動式信号機の位置とラベル付けされた移動式信号機の位置との間の差異を評価するために使用される。毎回取得されるトレーニングデータには移動式信号機が含まれない確率が高い場合、損失関数では毎回分類損失のみが算出され、バウンディングボックス回帰損失が算出されないため、損失が少なくなって不安定になる。
これに基づき、本出願では、事前設定されたサンプリング比に従い、現在のトレーニングデータとして、それぞれポジティブサンプル画像セット及びネガティブサンプル画像セットから、ポジティブサンプル画像及びネガティブサンプル画像を抽出する。例えば、サンプリング比は、１：１０、１：２０などである。
なお、トレーニングデータにはポジティブサンプル画像が含まれていることが確保される限り、サンプリング比は、任意に設定可能である。
ステップ１０３において、第１の事前設定された検出モデルを用いて、現在のトレーニングデータにおける各画像に対して移動式信号機の検出を行い、各画像の検出結果を決定する。
本実施例において、第１の事前設定された検出モデルは、初期検出モデルと見なすことができる。
事前設定されたサンプリング比に従って、それぞれ前記ポジティブサンプル画像セット及びネガティブサンプル画像セットから、現在のトレーニングデータを抽出した後、現在のトレーニングデータの各画像を第１の事前設定された検出モデルに入力して、移動式信号機の検出を行い、各画像の検出結果を決定することができる。
検出結果には、移動式信号機のバウンディングボックスの位置と信頼度とが含まれてもよい。移動式信号機がないことが検出された場合、移動式信号機のバウンディングボックスの位置を空として出力することができる。
ステップ１０４において、各画像の検出結果とラベル付けされたデータとの差異に基づいて、現在の分類損失及びバウンディングボックス回帰損失を決定する。
本実施例において、抽出された現在のトレーニングデータを事前にラベル付けすることができる。ポジティブサンプル画像のラベル付けされたデータは、移動式信号機の位置であってもよい。移動式信号機の位置は、移動式信号機を含むバウンディングボックスの位置で表すことができ、バウンディングボックスの位置は、バウンディングボックスの中心点座標及びバウンディングボックスの長さ及び幅で表すことができる。
抽出されたネガティブサンプル画像について、そのラベル付けされたデータは、移動式信号機を含むバウンディングボックスの位置が空であることであってもよい。
各画像の検出結果が決定された後、検出結果とラベル付けされたデータとに基づいて、各画像に対応する分類損失及びバウンディングボックス回帰損失を算出することができる。次に、各画像に対応する分類損失及びバウンディングボックス回帰損失に基づいて、現在のトレーニングデータ内のすべての画像の分類損失の平均値及びバウンディングボックス回帰損失の平均値を、それぞれ現在の分類損失及びバウンディングボックス回帰損失として算出する。
ステップ１０５において、現在の分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たす場合、移動式信号機を検出するための移動式信号機検出モデルを生成する。
本実施例において、現在の分類損失をその事前設定された条件と比較し、バウンディングボックス回帰損失をその事前設定された条件と比較し、現在の分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たす場合、モデルの現在のパラメータを調整する必要がないと考えてもよい。即ち、生成された移動式信号機検出モデルは、移動式信号機の検出に用いることができる。そして、生成された移動式信号機検出モデルを用いて、移動式信号機を検出できる。
具体的には、検出対象画像を移動式信号機検出モデルに入力し、検出対象画像を検出し、検出対象画像には移動式信号機が含まれているか否かを決定することができる。移動式信号機が含まれている場合、移動式信号機のバウンディングボックスの位置及び信頼度を出力する。信頼度は、検出された移動式信号機の位置の信頼性を評価するためのものである。
本出願の実施例に係る移動式信号機の検出方法は、移動式信号機を含むジティブサンプル画像セット、及び移動式信号機を含まないネガティブサンプル画像セットを取得し、事前設定されたサンプリング比に従って、それぞれポジティブサンプル画像セット及びネガティブサンプル画像セットから現在のトレーニングデータを抽出し、第１の事前設定された検出モデルを用いて、現在のトレーニングデータにおける各画像に対して移動式信号機の検出を行い、各画像の検出結果を決定し、各画像の検出結果とラベル付けされたデータとの差異に基づいて、現在の分類損失及びバウンディングボックス回帰損失を決定し、現在の分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たす場合、移動式信号機を検出するための移動式信号機検出モデルを生成する。これにより、トレーニングによって移動式信号機検出モデルを取得し、移動式信号機検出モデルを用いて移動式信号機を検出するため、識別プロセスがシンプルで効率的であり、かつ、事前設定されたサンプリング比に従ってトレーニングデータを抽出するため、ポジティブサンプルとネガティブサンプルの不均衡の問題を解決し、モデルを通常に収束させることができる。
実際の使用中に、第１の事前設定された検出モデルが要件を満たさない可能性がある。この問題を解決するために、図２に示す方法を使用可能であり、図２は、本出願の実施例に係る別の移動式信号機の検出方法の概略フローチャートである。
図２に示すように、現在の分類損失及びバウンディングボックス回帰損失を決定する上記ステップの後に、以下のステップ２０１〜ステップ２０３をさらに含む。
ステップ２０１において、現在の分類損失、及び／又はバウンディングボックス回帰損失が事前設定された条件を満たさない場合、現在の分類損失及びバウンディングボックス回帰損失に基づいて、第１の事前設定された検出モデルを誤差逆伝播法で更新する。
本実施例において、第１の事前設定された検出モデルによる現在のトレーニングデータの検出結果に基づいて、現在の分類損失及びバウンディングボックス回帰損失を取得し、現在の分類損失及びバウンディングボックス回帰損失のいずれか一方が事前設定された条件を満たさず、又は両方とも事前設定された条件を満たさない場合、第１の事前設定された検出モデルがまだ要件を満たさないことを示し、そうすると、現在の分類損失及びバウンディングボックス回帰損失に基づいて、第１の事前設定された検出モデルを誤差逆伝播法で更新し、即ち、第１の事前設定された検出モデルのパラメータを調整し、更新された検出モデルを取得する。
ステップ２０２において、事前設定されたサンプリング比に従って、ポジティブサンプル画像セット及びネガティブサンプル画像セットから新しいトレーニングデータを抽出する。
本実施例において、事前設定されたサンプリング比に従って、ポジティブサンプル画像セット及びネガティブサンプル画像セットから、ポジティブサンプル画像及びネガティブサンプル画像を新しいトレーニングデータとして引き続き抽出することができる。
なお、ここでのサンプリング比は、ステップ１０２のサンプリング比と同じであっても、異なってもよい。
ステップ２０３において、新しい分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たすと決定されるまで、抽出された新しいトレーニングデータを用いて、更新された検出モデルをトレーニングする。
具体的には、抽出された新しいトレーニングデータにおける１枚の画像を更新された検出モデルに入力し、検出結果及びラベル付けされたデータに基づいて、新しい分類損失及びバウンディングボックス回帰損失を決定できる。いずれか一方又は両方とも事前設定された条件を満たさない場合、モデルのパラメータを調整する。次に、抽出された新しいトレーニングデータにおける他の画像を用いて、更新された検出モデルを引き続きトレーニングする。
又は、抽出された新しいトレーニングデータにおける各画像を検出し、検出結果に基づいて、現在の分類損失及びバウンディングボックス回帰損失を決定することもできる。
抽出された新しいトレーニングデータのトレーニングが完了したが、分類損失及びバウンディングボックス回帰損失が依然として事前設定された条件を満たない場合、分類損失及びバウンディングボックスの両方が事前設定された条件を満たすまで、新しいトレーニングデータを引き続き抽出し、更新された検出モデルをトレーニングを引き続き行う。
本出願の実施例において、現在の分類損失、及び／又はバウンディングボックス回帰損失が事前設定された条件を満たさない場合、事前設定されたサンプリング比に従って、ポジティブサンプル画像セット及びネガティブサンプル画像セットから新しいトレーニングデータを抽出し、分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たすまで検出モデルを更新及びトレーニングする。これにより、トレーニングプロセスにわたって、事前設定されたサンプリング比に従ってトレーニングデータを抽出するため、モデルの通常な収束を確保し、ポジティブサンプルとネガティブサンプルの不均衡の問題を解決することができる。
実際の使用中に、運転中に収集された画像に信号機が含まれるが、これらは、移動式信号機又は通常の信号機である可能性がある。画像に信号機が含まれている場合に信号機の種類を検出し、運転の安全性を向上させることができるために、移動式信号機検出モデルを通常の信号機検出モデルと組み合わせることで、収集された画像に移動式信号機が含まれているか否かを検出することができる。以下、図３を参照して説明し、図３は、本出願の実施例に係る別の移動式信号機の検出方法の概略フローチャートである。
図３に示すように、移動式信号機を検出するための移動式信号機検出モデルを生成するステップの後に、該移動式信号機の検出方法は、以下のステップ３０１とステップ３０２とをさらに含む。
ステップ３０１において、運転中に収集された画像を、それぞれ移動式信号機検出モデル及び第２の事前設定された検出モデルに入力し、移動式信号機検出モデルにより出力された第１検出結果、及び第２の事前設定された検出モデルにより出力された第２検出結果を取得する。
本実施例において、第２の事前設定された検出モデルは、通常の信号機を検出するためのモデルである。車両の運転中に、車両の前方の画像を収集することができる。
具体的には、運転中に収集された画像を、それぞれ移動式信号機検出モデル及び第２の事前設定された検出モデルに入力し、移動式信号機検出モデルが画像を検出して検出結果を出力し、区別しやすいために、第１検出結果といい、第２の事前設定された検出モデルも同一の画像を検出し、第２検出結果を出力する。
ステップ３０２において、第１検出結果と第２検出結果との一致度に基づいて、現在収集している画像には移動式信号機が含まれているか否かを決定する。
本実施例において、第１検出結果が移動式信号機を含まないものであり、第２検出結果が通常の信号機を含まないものである場合、現在収集している画像には移動式信号機が含まれていないと考えることができる。
第１検出結果が移動式信号機のバウンディングボックスの位置及び信頼度であり、第２出力結果が通常の信号機を含まないものである場合、第１検出結果と第２検出結果との一致度が事前設定された閾値よりも小さく、現在収集している画像には移動式信号機が含まれていると考えることができる。第１検出結果が移動式信号機を含まないものであり、第２出力結果が通常の信号機のバウンディングボックスの位置及び信頼度である場合、第１検出結果と第２検出結果との一致度が事前設定された閾値よりも小さく、現在収集している画像には通常の信号機が含まれていると考えることができる。
又は、第１検出結果が移動式信号機のバウンディングボックスの位置及び信頼度であり、第２検出結果が通常の信号機バウンディングボックスの位置及び信頼度であり、かつ、移動式信号機のバウンディングボックスの位置に対応する信頼度が、通常の信号機のバウンディングボックスの位置に対応する信頼度よりも大きい場合、現在収集している画像には移動式信号機が含まれていると考えることができる。第２出力結果における通常の信号機バウンディングボックスの位置に対応する信頼度が、移動式信号機のバウンディングボックスの位置に対応する信頼度よりも大きい場合、現在収集している画像には通常の信号機が含まれていると考えることができる。
本出願の実施例において、移動式信号機を検出するための移動式信号機検出モデルを生成した後、運転中に収集された画像を、それぞれ移動式信号機検出モデル及び第２の事前設定された検出モデルに入力し、移動式信号機検出モデルにより出力された第１検出結果及び第２の事前設定された検出モデルにより出力された第２検出結果を取得し、第１検出結果と第２検出結果との一致度に基づいて、現在収集している画像には移動式信号機が含まれているか否かを決定する。これにより、生成された移動式信号機検出モデルが信号機の検出に使用できると決定した後、運転中に収集された画像を移動式信号機検出モデル及び第２の事前設定された検出モデルに入力し、画像に通常の信号機又は移動式信号機が含まれている場合に、信号機を識別可能であり、運転の安全性を向上させることができる。
移動式信号機検出モデルの検出精度をさらに向上させるために、モデルを更新することができる。以下、図４を参照して説明し、図４は、本出願の実施例に係る別の移動式信号機の検出方法の概略フローチャートである。
図４に示すように、移動式信号機を検出するための移動式信号機検出モデルを生成する上記ステップの後に、該移動式信号機の検出方法は、以下のステップ４０１〜４０４をさらに含む。
ステップ４０１において、運転中に第１画像を収集する。
車両の運転中に、画像を収集可能であり、例えば、車両の前方の画像を収集可能であり、ここでは、第１画像と呼ぶ。
ステップ４０２において、移動式信号機検出モデルを用いて、第１画像を検出し、第１画像には移動式信号機が含まれているか否かを決定する。
第１画像が収集された後、収集された第１画像を移動式信号機検出モデルに入力し、移動式信号機検出モデルを用いて、第１画像に対して特徴抽出を行い、検出結果を出力し、モデルの検出結果に基づいて、第１画像には移動式信号機が含まれているか否かを決定する。
ステップ４０３において、第１画像には移動式信号機が含まれており、かつ第１画像の収集位置が地図上の交差点の位置と一致しない場合、第１画像をネガティブサンプル画像セットに追加する。
第１画像には移動式信号機が含まれており、かつ第１画像の収集位置が地図上の交差点の位置と一致しない場合、移動式信号機検出モデルが第１画像内のコンテンツを移動式信号機として誤識別したことを示し、第１画像をネガティブサンプル画像としてネガティブサンプル画像セットに追加することができる。ここでの地図上の交差点は、地図上の任意の交差点を指す。
例えば、画像の収集位置が前方の信号機から３００メートル離れているが、画像には移動式信号機が含まれていることが検出される場合、画像の収集位置が交差点の位置ではないため、明らかに誤検出であり、該画像をネガティブサンプル画像セットに追加することができる。
これに基づいて、運転中に収集された、移動式信号機が含まれていることが検出され、かつ収集位置が地図上の交差点の位置と一致しない画像を、ネガティブサンプル画像セットに追加することができる。
ステップ４０４において、更新されたネガティブサンプル画像セット及びポジティブサンプル画像セットを用いて、移動式信号機検出モデルの更新及びトレーニングを行う。
本実施例において、事前設定されたサンプリング比に従って、それぞれポジティブサンプル画像セット及び更新されたネガティブサンプル画像セットからトレーニングデータを抽出し、抽出されたトレーニングデータを用いて、移動式信号機検出モデルをトレーニングし、移動式信号機検出モデルを更新して最適化する。
又は、移動式信号機を含み、かつ収集位置が地図上の交差点の位置と一致しない画像、及びポジティブサンプル画像セットから抽出された画像を用いて、移動式信号機検出モデルを更新及びトレーニングすることもできる。
本出願の実施例において、移動式信号機を検出するための移動式信号機検出モデルを生成した後、移動式信号機検出モデルを用いて、運転中に収集された第１画像を検出し、第１画像には移動式信号機が含まれているか否かを決定し、第１画像には移動式信号機が含まれており、かつ第１画像の収集位置が地図上の交差点の位置と一致しない場合、第１画像をネガティブサンプル画像セットに追加し、更新されたネガティブサンプル画像セット及びポジティブサンプル画像セットを用いて、移動式信号機検出モデルを更新及びトレーニングする。その結果、更新及びトレーニングにより、移動式信号機検出モデルの検出精度を向上させることができる。
ネガティブサンプル画像セットの新しく追加された画像の数が少ない場合、トレーニングデータを抽出するとき、新しく追加された画像が抽出される確率が低くなり、更新及びトレーニングの効果が低下するおそれがある。これに基づいて、移動式信号機検出モデルの検出精度をさらに向上させるために、本出願の一実施例では、更新されたネガティブサンプル画像セット及びポジティブサンプル画像セットを用いて、移動式信号機検出モデルを更新及びトレーニングする前に、新しく追加された画像の数が特定の数に達したことを確認することができる。
具体的には、更新されたネガティブサンプル画像セット内の画像の総数に対する、更新されたネガティブサンプル画像セットに含まれる新しく追加された画像の数の割合が閾値よりも大きいと決定された後、更新されたネガティブサンプル画像セット及びポジティブサンプル画像セットに基づいて、移動式信号機検出モデルを更新及びトレーニングする。
例えば、閾値は３分の１であり、つまり、更新されたネガティブサンプル画像セット内の画像の総数に対する、更新されたネガティブサンプル画像セットにおける新しく追加された画像の数の割合が、３分の１よりも大きい場合、更新されたネガティブサンプル画像セット及びネガティブサンプル画像セットを用いて、移動式信号機検出モデルを更新及びトレーニングする。
本出願の実施例において、更新されたネガティブサンプル画像セット及びポジティブサンプル画像セットを用いて、移動式信号機検出モデルを更新及びトレーニングする前に、更新されたネガティブサンプル画像セット内の画像の総数に対する、更新されたネガティブサンプル画像セットに含まれる新しく追加された画像の数の割合が閾値よりも大きいと決定する。これにより、更新及びトレーニングの効果を向上させ、移動式信号機検出モデルの精度を向上させることができる。
上記実施例を実現するために、本出願の実施例は、移動式信号機の検出装置をさらに提供する。図５は、本出願の実施例に係る移動式信号機の検出装置の概略構成図である。
図５に示すように、該移動式信号機の検出装置５００は、第１取得モジュール５１０、抽出モジュール５２０、検出モジュール５３０、第１決定モジュール５４０、及び第２決定モジュール５５０を備える。
第１取得モジュール５１０は、移動式信号機を含むポジティブサンプル画像セット及び移動式信号機を含まないネガティブサンプル画像セットを取得するように構成される。
抽出モジュール５２０は、事前設定されたサンプリング比に従って、それぞれポジティブサンプル画像セット及びネガティブサンプル画像セットから現在のトレーニングデータを抽出するように構成される。
検出モジュール５３０は、第１の事前設定された検出モデルを用いて、現在のトレーニングデータにおける各画像に対して移動式信号機の検出を行い、各画像の検出結果を決定するように構成される。
第１決定モジュール５４０は、各画像の検出結果とラベル付けされたデータとの差異に基づいて、現在の分類損失及びバウンディングボックス回帰損失を決定するように構成される。
第２決定モジュール５５０は、現在の分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たす場合、移動式信号機を検出するための移動式信号機検出モデルを生成するように構成される。
本出願の実施例の可能な一実現形態として、上記装置は、現在の分類損失、及び／又はバウンディングボックス回帰損失が事前設定された条件を満たさない場合、現在の分類損失及びバウンディングボックス回帰損失に基づいて、第１の事前設定された検出モデルを誤差逆伝播法で更新するように構成される第１更新モジュールと、事前設定されたサンプリング比に従って、ポジティブサンプル画像セット及びネガティブサンプル画像セットから新しいトレーニングデータを抽出するように構成される上記抽出モジュールと、新しい分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たすと決定されるまで、抽出された新しいトレーニングデータを用いて、更新された検出モデルをトレーニングするように構成されるトレーニングモジュールと、をさらに備えてもよい。
本出願の実施例の可能な一実現形態として、上記装置は、運転中に収集された画像を、それぞれ移動式信号機検出モデル及び第２の事前設定された検出モデルに入力し、移動式信号機検出モデルにより出力された第１検出結果及び第２の事前設定された検出モデルにより出力された第２検出結果を取得するように構成される第２取得モジュールと、第１検出結果と第２検出結果との一致度に基づいて、現在収集している画像には移動式信号機が含まれているか否かを決定するように構成される第３決定モジュールと、をさらに備えてもよい。
本出願の実施例の可能な一実現形態として、該装置は、運転中に第１画像を収集するように構成される収集モジュールと、移動式信号機検出モデルを用いて、第１画像を検出し、第１画像には移動式信号機が含まれているか否かを決定するように構成される第４決定モジュールと、第１画像には移動式信号機が含まれており、かつ第１画像の収集位置が地図上の交差点の位置と一致しない場合、第１画像をネガティブサンプル画像セットに追加するように構成される第３取得モジュールと、更新されたネガティブサンプル画像セット及びポジティブサンプル画像セットを用いて、移動式信号機検出モデルの更新及びトレーニングを行うように構成される第２更新モジュールと、をさらに備えてもよい。
本出願の実施例の可能な一実現形態として、該装置は、更新されたネガティブサンプル画像セット内の画像の総数に対する、更新されたネガティブサンプル画像セットに含まれる新しく追加された画像の数の割合が、閾値よりも大きいと決定するように構成される第５決定モジュールと、をさらに備えてもよい。
なお、移動式信号機の検出方法の実施例における前述した説明は、該実施例の移動式信号機の検出装置にも適用するため、ここでは、説明を省略する。
本出願の実施例に係る移動式信号機の検出装置は、移動式信号機を含むポジティブサンプル画像セット、及び移動式信号機を含まないネガティブサンプル画像セットを取得し、事前設定されたサンプリング比に従って、それぞれポジティブサンプル画像セット及びネガティブサンプル画像セットから現在のトレーニングデータを抽出し、第１の事前設定された検出モデルを用いて、現在のトレーニングデータにおける各画像に対して移動式信号機の検出を行い、各画像の検出結果を決定し、各画像の検出結果とラベル付けされたデータとの差異に基づいて、現在の分類損失及びバウンディングボックス回帰損失を決定し、現在の分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たす場合、移動式信号機を検出するための移動式信号機検出モデルを生成する。これにより、トレーニングによって移動式信号機検出モデルを取得し、移動式信号機検出モデルを用いて移動式信号機を検出するため、識別プロセスがシンプルで効率的であり、かつ、事前設定されたサンプリング比に従ってトレーニングデータを抽出するため、ポジティブサンプルとネガティブサンプルの不均衡の問題を解決し、モデルを通常に収束させることができる。
本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
図６に示すように、本出願の実施例に係る移動式信号機の検出方法を実現可能な電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図したものではない。
図６に示すように、当該電子機器は、一つ又は複数のプロセッサ６０１と、メモリ６０２と、高速インターフェースと低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を備える。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、電子機器内に実行される命令を処理することができ、該命令は、外部入力／出力装置（インターフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報を表示するために、メモリ内又はメモリ上に記憶されている命令を含む。他の実施形態では、必要であれば、複数のプロセッサ及び／又は複数のバスを、複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各機器は、部分的な必要な操作（例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図６では、一つのプロセッサ６０１を例とする。
メモリ６０２は、本出願に係る非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、少なくとも一つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサによって実行される場合、前記少なくとも一つのプロセッサが本出願に係る移動式信号機の検出方法を実行可能である。本出願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本出願に係る移動式信号機の検出方法を実行させるためのコンピュータ命令が記憶されている。
メモリ６０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例に係る移動式信号機の検出方法に対応するプログラム命令／モジュール（例えば、図５に示す第１取得モジュール５１０、抽出モジュール５２０、検出モジュール５３０、第１決定モジュール５４０、第２決定モジュール５５０）などの、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するように構成される。プロセッサ６０１は、メモリ６０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の方法の実施例に係る移動式信号機の検出方法を実現する。
メモリ６０２は、ストレージプログラム領域とストレージデータ領域とを備えてもよく、ここで、ストレージプログラム領域は、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶することができ、ストレージデータ領域は、移動式信号機の検出電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ６０２は、高速ランダムアクセスメモリを備えてもよく、非一時的なメモリをさらに備えてもよく、例えば、少なくとも一つのディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ６０２は、プロセッサ６０１に対して遠隔に設置されたメモリを備えることができ、これらの遠隔メモリは、ネットワークを介して移動式信号機の検出方法を実行する電子機器に接続することができる。上記のネットワークの例としては、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。
移動式信号機の検出方法を実行する電子機器は、入力装置６０３と出力装置６０４とをさらに備えることができる。プロセッサ６０１、メモリ６０２、入力装置６０３、及び出力装置６０４は、バス又は他の方式を介して接続することができ、図６では、バスを介して接続することを例とする。
入力装置６０３は、入力された数字又はキャラクタ情報を受信し、移動式信号機の検出方法の電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータースティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置６０４は、ディスプレイデバイス、補助照明デバイス（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを備えることができるが、これらに限定されない。いくつかの実施形態では、ディスプレイデバイスは、タッチスクリーンであってもよい。
本明細書で説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置に伝送することができる。
これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高レベルのプロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書に使用されるように、用語「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。用語「機械読み取り可能な信号」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。
ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって、入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するように構成されてもよい。例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを備えるコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを備えるコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを備えるコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを備えるコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続されてもい。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。
コンピュータシステムは、クライアント側とサーバとを備えることができる。クライアント側とサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント−サーバ関係を有するコンピュータプログラムによってクライアント側とサーバとの関係が生成される。
本出願の実施例に係る技術案によれば、トレーニングよって移動式信号機検出モデルを取得し、移動式信号機検出モデルを用いて、移動式信号機を検出することにより、識別プロセスがシンプルで効率的であり、かつ、事前設定されたサンプリング比に従ってトレーニングデータを抽出することにより、ポジティブサンプルとネガティブサンプルの不均衡の問題を解決し、モデルを通常に収束させることができる。
本明細書の説明では、用語「第１」、「第２」は、説明の目的でのみ使用され、相対的な重要性を示したり暗示したり、又は、示された技術的特徴の数を暗黙的に示したりするものとして理解することはできない。したがって、「第１」、「第２」で定義された特徴には、明示的又は暗黙的に少なくとも一つの該特徴が含まれる。本出願の説明において、「複数」は、特に明記されていない限り、少なくとも２つ、例えば２つ、３つなどを意味する。
本出願の実施例は上に示され、説明されてきたが、上記の実施例は、例示的であり、本出願を限定するものとして解釈されるべきではないことが理解されたい。当業者は、本出願の範囲内で上記の実施例を変更、修正、置換、及び変形することができる。

Claims (13)

  1. 移動式信号機を含むポジティブサンプル画像セット及び移動式信号機を含まないネガティブサンプル画像セットを取得するステップと、
    事前設定されたサンプリング比に従って、それぞれ前記サンプル画像セット及びネガティブサンプル画像セットから現在のトレーニングデータを抽出するステップと、
    第１の事前設定された検出モデルを用いてトレーニングし、移動式信号機を検出するための移動式信号機検出モデルを生成するステップと、
    を含み、
    第１の事前設定された検出モデルを用いてトレーニングし、移動式信号機を検出するための移動式信号機検出モデルを生成するステップが、
    第１の事前設定された検出モデルを用いて、前記現在のトレーニングデータにおける各画像に対して移動式信号機の検出を行い、各画像の検出結果を決定するステップと、
    各画像の検出結果とラベル付けされたデータとの差異に基づいて、現在の分類損失及びバウンディングボックス回帰損失を決定するステップと、
    前記現在の分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たす場合、移動式信号機を検出するための移動式信号機検出モデルを生成するステップと、
    を含む移動式信号機の検出方法。
  2. 現在の分類損失及びバウンディングボックス回帰損失を決定するステップの後に、
    前記現在の分類損失、及び／又はバウンディングボックス回帰損失が事前設定された条件を満たさない場合、前記現在の分類損失及バウンディングボックス回帰損失に基づいて、前記第１の事前設定された検出モデルを誤差逆伝播法で更新するステップと、
    前記事前設定されたサンプリング比に従って、前記ポジティブサンプル画像セット及びネガティブサンプル画像セットから新しいトレーニングデータを抽出するステップと、
    新しい分類損失及びバウンディングボックス回帰損失の両方が前記事前設定された条件を満たすと決定されるまで、抽出された新しいトレーニングデータを用いて、更新された検出モデルをトレーニングするステップと、
    を含む請求項１に記載の方法。
  3. 移動式信号機を検出するための移動式信号機検出モデルを生成するステップの後に、
    運転中に収集された画像を、それぞれ前記移動式信号機検出モデル及び第２の事前設定された検出モデルに入力し、前記移動式信号機検出モデルにより出力された第１検出結果、及び前記第２の事前設定された検出モデルにより出力された第２検出結果を取得するステップと、
    前記第１検出結果と前記第２検出結果との一致度に基づいて、現在収集している画像には移動式信号機が含まれているか否かを決定するステップと、
    を含む請求項１又は請求項２に記載の方法。
  4. 移動式信号機を検出するための移動式信号機検出モデルを生成するステップの後に、
    運転中に第１画像を取得するステップと、
    前記移動式信号機検出モデルを用いて、前記第１画像を検出し、前記第１画像には移動式信号機が含まれているか否かを決定するステップと、
    前記第１画像には移動式信号機が含まれており、かつ前記第１画像の収集位置が地図上の交差点の位置と一致しない場合、前記第１画像を前記ネガティブサンプル画像セットに追加するステップと、
    更新されたネガティブサンプル画像セット及び前記ポジティブサンプル画像セットを用いて、前記移動式信号機検出モデルの更新及びトレーニングを行うステップと、
    を含む請求項１から３のいずれか一項に記載の方法。
  5. 更新されたネガティブサンプル画像セット及び前記ポジティブサンプル画像セットを用いて、前記移動式信号機検出モデルの更新及びトレーニングを行うステップの前に、
    前記更新されたネガティブサンプル画像セット内の画像の総数に対する、前記更新されたネガティブサンプル画像セットに含まれる新しく追加された画像の数の割合が、閾値よりも大きいと決定するステップを含む請求項４に記載の方法。
  6. 移動式信号機を含むポジティブサンプル画像セット及び移動式信号機を含まないネガティブサンプル画像セットを取得するように構成される第１取得モジュールと、
    事前設定されたサンプリング比に従って、それぞれ前記ポジティブサンプル画像セット及びネガティブサンプル画像セットから現在のトレーニングデータを抽出するように構成される抽出モジュールと、
    第１の事前設定された検出モデルを用いて、前記現在のトレーニングデータにおける各画像に対して移動式信号機の検出を行い、各画像の検出結果を検出するように構成される検出モジュールと、
    各画像の検出結果とラベル付けされたデータとの差異に基づいて、現在の分類損失及バウンディングボックス回帰損失を決定するように構成される第１決定モジュールと、
    前記現在の分類損失及びバウンディングボックス回帰損失の両方が事前設定された条件を満たす場合、移動式信号機を検出するための移動式信号機検出モデルを生成するように構成される第２決定モジュールと、
    を備える移動式信号機の検出装置。
  7. 前記現在の分類損失及び／又はバウンディングボックス回帰損失が事前設定された条件を満たさない場合、前記現在の分類損失及びバウンディングボックス回帰損失に基づいて、前記第１の事前設定された検出モデルを誤差逆伝播法で更新するように構成される第１更新モジュールと、
    前記事前設定されたサンプリング比に従って、前記ポジティブサンプル画像セット及びネガティブサンプル画像セットから新しいトレーニングデータを抽出するように構成される前記抽出モジュールと、
    新しい分類損失及びバウンディングボックス回帰損失の両方が前記事前設定された条件を満たすと決定されるまで、抽出された新しいトレーニングデータを用いて、更新された検出モデルをトレーニングするように構成されるトレーニングモジュールと、
    を備える請求項６に記載の装置。
  8. 運転中に収集した画像を、それぞれ前記移動式信号機検出モデル及び第２の事前設定された検出モデルに入力し、前記移動式信号機検出モデルにより出力された第１検出結果及び前記第２の事前設定された検出モデルにより出力された第２検出結果を取得するように構成される第２取得モジュールと、
    前記第１検出結果と前記第２検出結果との一致度に基づいて、現在収集している画像には移動式信号機が含まれているか否かを決定するように構成される第３決定モジュールと、を
    含む請求項６又は請求項７に記載の装置。
  9. 運転中に第１画像を収集するように構成される収集モジュールと、
    前記移動式信号機検出モデルを用いて、前記第１画像を検出し、前記第１画像には移動式信号機が含まれているか否かを決定するように構成される第４決定モジュールと、
    前記第１画像には移動式信号機が含まれており、かつ前記第１画像の収集位置が地図上の交差点の位置と一致しない場合、前記第１画像を前記ネガティブサンプル画像セットに追加するように構成される第３取得モジュールと、
    更新されたネガティブサンプル画像セット及び前記ポジティブサンプル画像セットを用いて、前記移動式信号機検出モデルの更新及びトレーニングを行うように構成される第２更新モジュールと、
    を備える請求項６から８のいずれか一項に記載の装置。
  10. 前記更新されたネガティブサンプル画像セット内の画像の総数に対する、前記更新されたネガティブサンプル画像セットに含まれる新しく追加された画像の数の割合が、閾値よりも大きいと決定するように構成される第５決定モジュールを含む請求項９に記載の装置。
  11. 少なくとも一つのプロセッサと、
    該少なくとも一つのプロセッサに通信可能に接続されるメモリと、
    を備える電子機器であって、
    前記メモリには、前記少なくとも一つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサによって実行される場合、前記少なくとも一つのプロセッサが、請求項１から５のいずれか一項に記載の移動式信号機の検出方法を実行可能な電子機器。
  12. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項１から５のいずれか一項に記載の移動式信号機の検出方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体。
  13. コンピュータに請求項１から５のいずれか一項に記載の移動式信号機の検出方法を実行させるコンピュータプログラム。
JP2021026431A 2020-02-25 2021-02-22 移動式信号機の検出方法、装置、電子機器及び記憶媒体 Active JP7164644B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010116857.5 2020-02-25
CN202010116857.5A CN111275011B (zh) 2020-02-25 2020-02-25 移动红绿灯检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
JP2021136032A true JP2021136032A (ja) 2021-09-13
JP7164644B2 JP7164644B2 (ja) 2022-11-01

Family

ID=71003685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021026431A Active JP7164644B2 (ja) 2020-02-25 2021-02-22 移動式信号機の検出方法、装置、電子機器及び記憶媒体

Country Status (5)

Country Link
US (1) US11508162B2 (ja)
EP (1) EP3872696A1 (ja)
JP (1) JP7164644B2 (ja)
KR (1) KR102616470B1 (ja)
CN (1) CN111275011B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275011B (zh) * 2020-02-25 2023-12-19 阿波罗智能技术(北京)有限公司 移动红绿灯检测方法、装置、电子设备和存储介质
CN111882899B (zh) * 2020-07-24 2021-10-22 北京小马慧行科技有限公司 确定交通信号灯的位置的方法及装置、系统
CN113657428B (zh) * 2021-06-30 2023-07-14 北京邮电大学 网络流量数据的抽取方法及装置
CN113963167B (zh) * 2021-10-29 2022-05-27 北京百度网讯科技有限公司 应用于目标检测的方法、装置及计算机程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033851A (ja) * 2006-08-01 2008-02-14 Nec Corp 郵便自動区分機及び郵便自動区分方法
WO2019083336A1 (ko) * 2017-10-27 2019-05-02 전북대학교산학협력단 신경회로망 학습에 의한 작물과 잡초 식별 방법 및 장치
WO2019100946A1 (zh) * 2017-11-22 2019-05-31 北京市商汤科技开发有限公司 用于物体检测的方法、装置和设备

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993020545A1 (de) * 1992-04-02 1993-10-14 Voehringer, Albert, E. Verfahren und anlage zur verkehrsregulierung
CN101216884B (zh) * 2007-12-29 2012-04-18 北京中星微电子有限公司 一种人脸认证的方法及系统
US8576069B2 (en) * 2009-10-22 2013-11-05 Siemens Corporation Mobile sensing for road safety, traffic management, and road maintenance
CN102176287B (zh) * 2011-02-28 2013-11-20 无锡中星微电子有限公司 一种交通信号灯识别系统和方法
US8620032B2 (en) 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
DE102012110219A1 (de) * 2012-10-25 2014-04-30 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen
CN104680120B (zh) * 2013-12-02 2018-10-19 华为技术有限公司 一种人脸检测的强分类器的生成方法及装置
US9779314B1 (en) * 2014-08-21 2017-10-03 Waymo Llc Vision-based detection and classification of traffic lights
CN104408424B (zh) * 2014-11-26 2017-08-15 浙江大学 一种基于图像处理的多信号灯识别方法
KR101934325B1 (ko) * 2014-12-10 2019-01-03 삼성에스디에스 주식회사 객체 분류 방법 및 그 장치
KR102374565B1 (ko) * 2015-03-09 2022-03-14 한화테크윈 주식회사 표적 추적 방법 및 장치
CN105528607B (zh) * 2015-10-30 2019-02-15 小米科技有限责任公司 区域提取方法、模型训练方法及装置
CN106407901A (zh) * 2016-08-31 2017-02-15 重庆云库房物联科技有限公司 一种基于红外阵列的人流行为分析系统及人体识别方法
CN106529424B (zh) * 2016-10-20 2019-01-04 中山大学 一种基于选择性搜索算法的车标检测识别方法及系统
CN106934346B (zh) * 2017-01-24 2019-03-15 北京大学 一种目标检测性能优化的方法
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
KR102309296B1 (ko) * 2017-03-17 2021-10-06 엘지전자 주식회사 이동단말기 및 그 제어 방법
KR20180131789A (ko) * 2017-06-01 2018-12-11 현대자동차주식회사 정차 중 전방의 신호등 정보를 제공하는 시스템 및 방법
CN110490177A (zh) * 2017-06-02 2019-11-22 腾讯科技（深圳）有限公司 一种人脸检测器训练方法及装置
CN108391446B (zh) * 2017-06-20 2022-02-22 埃森哲环球解决方案有限公司 基于机器学习算法对针对数据分类器的训练语料库的自动提取
CN107679455A (zh) * 2017-08-29 2018-02-09 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质
CN109508580B (zh) * 2017-09-15 2022-02-25 阿波罗智能技术(北京)有限公司 交通信号灯识别方法和装置
CN109823344B (zh) * 2017-11-22 2021-10-22 宏碁股份有限公司 驾驶提示方法与系统
CN107968840B (zh) * 2017-12-15 2020-10-09 华北电力大学（保定） 一种大规模电力设备监测报警数据实时处理方法及系统
CN110659545B (zh) * 2018-06-29 2023-11-14 比亚迪股份有限公司 车辆识别模型的训练方法、车辆识别方法、装置和车辆
WO2020038699A1 (en) * 2018-08-22 2020-02-27 Starship Technologies Oü Method and system for traffic light signal detection and usage
CN109800778B (zh) * 2018-12-03 2020-10-09 浙江工业大学 一种基于难分样本挖掘的Faster RCNN目标检测方法
US10633003B1 (en) * 2018-12-05 2020-04-28 Here Global B.V. Method, apparatus, and computer readable medium for verifying a safe vehicle operation via a portable device
WO2020157068A1 (en) * 2019-01-28 2020-08-06 Starship Technologies Oü Device, system and method for assisting mobile robot operations
CN110121088B (zh) * 2019-04-17 2021-05-25 北京奇艺世纪科技有限公司 一种用户属性信息确定方法、装置及电子设备
CN110569721B (zh) * 2019-08-01 2023-08-29 平安科技（深圳）有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN110689747B (zh) * 2019-10-12 2021-04-06 北京百度网讯科技有限公司 自动驾驶车辆的控制方法和装置、自动驾驶车辆
CN111275011B (zh) * 2020-02-25 2023-12-19 阿波罗智能技术(北京)有限公司 移动红绿灯检测方法、装置、电子设备和存储介质
CN111368424B (zh) * 2020-03-03 2023-09-01 阿波罗智能技术(北京)有限公司 一种车辆仿真方法、装置、设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033851A (ja) * 2006-08-01 2008-02-14 Nec Corp 郵便自動区分機及び郵便自動区分方法
WO2019083336A1 (ko) * 2017-10-27 2019-05-02 전북대학교산학협력단 신경회로망 학습에 의한 작물과 잡초 식별 방법 및 장치
WO2019100946A1 (zh) * 2017-11-22 2019-05-31 北京市商汤科技开发有限公司 用于物体检测的方法、装置和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MICHAEL WEBER, PETER WOLF, J. MARIUS ZOLLNER: ""DeepTLR: A single deep convolutional network for detection and classification of traffic lights"", 2016 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), JPN6022009481, 19 June 2016 (2016-06-19), pages 342 - 348, XP032938986, ISSN: 0004727879, DOI: 10.1109/IVS.2016.7535408 *

Also Published As

Publication number Publication date
CN111275011A (zh) 2020-06-12
EP3872696A1 (en) 2021-09-01
JP7164644B2 (ja) 2022-11-01
US20210264178A1 (en) 2021-08-26
CN111275011B (zh) 2023-12-19
KR20210108324A (ko) 2021-09-02
KR102616470B1 (ko) 2023-12-21
US11508162B2 (en) 2022-11-22

Similar Documents

Publication Publication Date Title
JP2021136032A (ja) 移動式信号機の検出方法、装置、電子機器及び記憶媒体
US11694461B2 (en) Optical character recognition method and apparatus, electronic device and storage medium
EP3862723A2 (en) Method and apparatus for detecting map quality
CN111753914B (zh) 模型优化方法和装置、电子设备及存储介质
JP2021082279A (ja) 交通信号の制御方法、装置、コンピュータ機器及び記憶媒体
JP2021174516A (ja) ナレッジグラフ構築方法、装置、電子機器、記憶媒体およびコンピュータプログラム
US20210312799A1 (en) Detecting traffic anomaly event
EP4064212A2 (en) Method and apparatus for detecting camera occlusion, device, storage medium and program product
US20230072632A1 (en) Obstacle detection method, electronic device and storage medium
CN111696095B (zh) 用于检测物体表面缺陷的方法及装置
US11290843B2 (en) Method for measuring sensing range of vehicle, device and medium
EP3842753B1 (en) Method and apparatus for positioning a vehicle, vehicle, storage medium, and computer program product
CN113033431B (zh) 光学字符识别模型训练和识别方法、装置、设备及介质
CN113051926B (zh) 文本抽取方法、设备和存储介质
CN111611902B (zh) 车辆违章检测方法、装置、设备以及存储介质
CN114475631B (zh) 驾驶数据处理方法装置、设备、自动驾驶车辆介质及产品
CN111599174A (zh) 一种交通指标的异常检测方法和电子设备
WO2016192558A2 (zh) 一种提供对象信息的方法与设备
CN113177077B (zh) 用于自动驾驶的异常事件确定方法、装置及电子设备
CN114926447B (zh) 用于训练模型的方法、用于检测目标的方法和装置
JP7349012B2 (ja) ウェイクアップ指標の監視方法、装置及び電子機器
CN111783591B (zh) 异常检测方法、装置、设备和存储介质
CN116703028A (zh) 自动驾驶性能的评估方法、装置、设备及介质
CN117762767A (zh) 用户界面的显示方法、装置、电子设备和存储介质
CN115293264A (zh) 数据处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221020

R150 Certificate of patent or registration of utility model

Ref document number: 7164644

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150