JP2023104214A - 信号色判定装置および信号色判定方法 - Google Patents
信号色判定装置および信号色判定方法 Download PDFInfo
- Publication number
- JP2023104214A JP2023104214A JP2022005078A JP2022005078A JP2023104214A JP 2023104214 A JP2023104214 A JP 2023104214A JP 2022005078 A JP2022005078 A JP 2022005078A JP 2022005078 A JP2022005078 A JP 2022005078A JP 2023104214 A JP2023104214 A JP 2023104214A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color
- color determination
- captured image
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 33
- 239000003086 colorant Substances 0.000 claims description 10
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 19
- 230000015654 memory Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】画像データを用いて信号機の信号色を判定する構成において、信号色の判定結果を得られる可能性を高めることができる技術を提供する。【解決手段】例示的な信号色判定装置は、撮像画像を取得する処理部を備える。前記処理部は、前記撮像画像から信号機が有する複数の信号灯の一部が検出された場合に、前記信号機の信号色を判定する。【選択図】図4
Description
本発明は、画像データを用いて信号機の信号色を判定する技術に関する。
例えば、特許文献1には、撮像部から信号機を認識できない信号機遮蔽環境であると判定された場合に、新たな走行計画を生成することで、撮像部が信号機を視認できる可能性を高めることができることが開示される。
信号機を認識可能とするために走行計画を変更する構成の場合、信号機の認識に要する時間が長くなることが懸念される。場合によっては、信号機を認識することができず、信号機の信号色が何色であるか、或いは、何色であったのかを判定できない状況が生じ得る。車両の走行計画の変更等を行うことなく、簡単に信号機の信号色を判定することができると便利である。
本発明は、上記の点に鑑み、画像データを用いて信号機の信号色を判定する構成において、信号色の判定結果を得られる可能性を高めることができる技術を提供することを目的とする。
例示的な本発明の信号色判定装置は、撮像画像を取得する処理部を備える。前記処理部は、前記撮像画像から信号機が有する複数の信号灯の一部が検出された場合に、前記信号機の信号色を判定する。
例示的な本発明によれば、画像データを用いて信号機の信号色を判定する構成において、信号色の判定結果を得られる可能性を高めることができる。
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。
<1.信号色判定システム>
図1は、本発明の実施形態に係る信号色判定システム100の概略構成を示すブロック図である。信号色判定システム100は、画像データを用いて信号機の信号色を判定するシステムである。信号機の信号色の判定とは、信号機が有する複数の信号灯のうち、点灯している信号灯の色がいずれであるかを判定することを指す。本実施形態において、信号機は交通信号機である。図1に示すように、信号色判定システム100は、信号色判定装置1とカメラ2とを備える。
図1は、本発明の実施形態に係る信号色判定システム100の概略構成を示すブロック図である。信号色判定システム100は、画像データを用いて信号機の信号色を判定するシステムである。信号機の信号色の判定とは、信号機が有する複数の信号灯のうち、点灯している信号灯の色がいずれであるかを判定することを指す。本実施形態において、信号機は交通信号機である。図1に示すように、信号色判定システム100は、信号色判定装置1とカメラ2とを備える。
信号色判定装置1は、画像データを用いて信号機の信号色を判定する。信号色判定装置1は、車両に配置されても、車両以外の場所に配置されてもよい。信号色判定装置1は、車両に配置される場合に、車両に常時搭載される車載装置であっても、車両から持ち運ぶことができる可搬型の装置であってもよい。信号色判定装置1は、例えば、車両に配置されるドライブレコーダに含まれる構成であってよい。また、信号色判定装置1は、スマートフォンやタブレット端末等の携帯端末に含まれる構成であってもよい。また、信号色判定装置1は、車両に配置される装置とインターネット等の通信網を利用して通信可能に設けられるサーバ装置等に含まれる構成であってもよい。信号色判定装置1は、車両に配置される装置と通信不能なパーソナルコンピュータに含まれる構成であってもよい。
カメラ2は、光学系と、CCD(Charge Coupled Device)センサまたはCMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子とを有する。カメラ2は、車両に配置されて、車両の周辺を撮像する。カメラ2は、例えば、車両の前方を撮像する前方カメラである。前方カメラは、例えば車両のフロントガラス等に配置される。カメラ2は、例えば、単眼カメラであっても、ステレオカメラであってもよい。カメラ2は、常時車両に配置される車載カメラであっても、車両から持ち運ぶことができる可搬型のカメラであってもよい。
カメラ2は、有線および無線の少なくとも一方を用いて信号色判定装置1と通信可能に設けられる。カメラ2は、撮像した撮像画像(詳細には画像データ)を信号色判定装置1に出力する。カメラ2は、例えば、一定の時間間隔で撮像画像を信号色判定装置1に出力する。
なお、本実施形態では、カメラ2は、信号色判定装置1とは別の装置である。ただし、カメラ2は、信号色判定装置1に含まれてもよい。また、カメラ2は、信号色判定装置1と通信できない構成であってもよい。この場合には、信号色判定装置1は、カメラ2で撮像された画像データを、例えばSDカード等の可搬型の記録媒体を介して取得する構成であってよい。
<2.信号色判定装置>
図1に示すように、信号色判定装置1は処理部11を備える。信号色判定装置1は、メモリ部12をさらに備える。信号色判定装置1は、いわゆるコンピュータ装置であってよい。
図1に示すように、信号色判定装置1は処理部11を備える。信号色判定装置1は、メモリ部12をさらに備える。信号色判定装置1は、いわゆるコンピュータ装置であってよい。
処理部11は、演算処理等を行うプロセッサを含む。プロセッサは、例えばCPU(Central Processing Unit)を含んで構成されてよい。また、プロセッサは、例えば、CPUおよびGPU(Graphics Processing Unit)を含んで構成されてもよい。処理部11は、1つのプロセッサで構成されてもよいし、複数のプロセッサで構成されてもよい。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続されればよい。
メモリ部12は、揮発性メモリおよび不揮発性メモリを含んで構成される。揮発性メモリには、例えばRAM(Random Access Memory)が含まれてよい。不揮発性メモリには、例えば、ROM(Read Only Memory)、フラッシュメモリ、ハードディスドライブが含まれてよい。不揮発性メモリには、コンピュータにより読み取り可能なプログラムおよびデータが格納されている。不揮発性メモリには、機械学習による学習が行われた学習済みモデル用のパラメータが適宜格納されてよい。
図2は、本発明の実施形態に係る信号色判定装置1が備える処理部11の機能構成を示すブロック図である。本実施形態においては、処理部11の機能は、メモリ部12に記憶されるプログラムにしたがった演算処理をプロセッサが実行することによって実現される。図2に示すように、処理部11は、その機能として、画像取得部111と、信号機検出部112と、信号灯数推定部113と、信号灯領域特定部114と、色判定部115とを備える。
なお、本実施形態の範囲には、信号色判定装置1の少なくとも一部の機能をプロセッサ(コンピュータ)に実現させるコンピュータプログラムが含まれてよい。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれてよい。不揮発性記録媒体には、例えば、上述の不揮発性メモリの他、光記録媒体(例えば光ディスク)、光磁気記録媒体(例えば光磁気ディスク)、USBメモリ、SDカード等が含まれてよい。
また、上記各部111~115は、上述のように、プロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてよいが、他の手法により実現されてもよい。上記各部111~115は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等を用いて実現されてもよい。すなわち、上記各部111~115は、専用のIC等を用いてハードウェアにより実現されてもよい。また、上記各部111~115は、ソフトウェアおよびハードウェアを併用して実現されてもよい。また、上記各部111~115は、概念的な構成要素である。1つの構成要素が実行する機能が、複数の構成要素に分散されてよい。また、複数の構成要素が有する機能が1つの構成要素に統合されてもよい。
画像取得部111は、撮像画像(画像データ)を取得する。すなわち、処理部11は、撮像画像を取得する。処理部11は、撮像画像を取得して、その処理を行う。本実施形態では、画像取得部111は、カメラ2から画像を取得する。なお、画像取得部111は、カメラ2から他の装置を介して撮像画像を取得してもよい。また、画像取得部111は、メモリ部12等の記録媒体からカメラ2が撮像した撮像画像を取得してもよい。
画像取得部111が取得する撮像画像は、車両に配置されるカメラ2により撮像される撮像画像である。詳細には、画像取得部111は、車両の周辺を撮像した撮像画像を取得する。本実施形態においては、画像取得部111は、車両の前方の風景を撮像した撮像画像を取得する。なお、撮像画像には、信号機が写ることと、写らないこととがある。
信号機検出部112は、信号機を撮像画像から検出する。図3Aおよび図3Bは、信号機検出部112によって検出される信号機3について説明するための図である。図3Aおよび図3Bに示すように、信号機検出部112が検出する信号機3は、信号機本体31と、信号機本体31に保持される複数の信号灯32と、を備える。複数の信号灯32は、詳細には、3つの信号灯32a、32b、32cである。すなわち、信号機3は、3灯型の信号機である。
なお、図3Aに示す信号機3aは、複数の信号灯32が横方向に並ぶ横型の信号機である。図3Bに示す信号機3bは、複数の信号灯32が縦方向に並ぶ縦型の信号機である。本実施形態の信号機3には、横型の信号機3aおよび縦型の信号機3bが含まれる。
3つの信号灯32a、32b、32cは、互いに異なる色の信号色を点灯する。すなわち、信号機3は、3色信号機である。なお、本実施形態の信号機3においては、3つの信号灯32a、32b、32cのうちの複数が同時に点灯することはなく、いずれか1つだけが点灯する。例えば、第1の信号灯32aが点灯している場合には、第2の信号灯32bおよび第3の信号灯32cは点灯しない。
3つの信号灯32a、32b、32cの信号色、および、信号色の並び順は、例えば、国毎等に設けられる交通法規によって決められている。例えば、日本国における横型の信号機3aは、右から左に向けて順番に、赤色信号灯32a、黄色信号灯32b、青色信号灯32cという配置に決められている。また、日本国における縦型の信号機3bでは、上から下に向けて順番に、赤色信号灯32a、黄色信号灯32b、青色信号灯32cという並びに決められている。なお、信号機3の信号色および並び順は、国によって異なることがある。例えば、日本国における青色信号灯32cは、米国等において緑色信号灯である。
信号機検出部112は、詳細には、互いに異なる色の信号色を点灯する3つの信号灯32a、32b、32cを有する3灯型の信号機3を撮像画像から検出する。すなわち、処理部11は、互いに異なる色の信号色を点灯する3つの信号灯32a、32b、32cを有する3灯型の信号機3を撮像画像から検出する。
信号機検出部112は、例えば、機械学習による学習済みの物体検出モデルを用いて、撮像画像から信号機を検出する。機械学習は、正解ラベル付きの学習データセットを用いた教師あり学習であってよい。物体検出モデルにおいて用いられる物体検出アルゴリズムは、例えば、公知のR-CNN、Fast R-CNN、Faster R-CNN、YOLO、又は、SSD等であってよい。なお、信号機3の検出には、パターンマッチング等の他の画像認識技術が利用されてもよい。
信号灯数推定部113は、撮像画像において検出された信号機3の信号機領域内に写る信号灯32の数を推定する。すなわち、処理部11は、検出された信号機3の撮像画像に写る信号灯32の数を推定する。信号灯32の数の推定には、機械学習を行った学習済みモデルが用いられてよい。ここでの機械学習は、例えば、信号灯32が3つ写るパターン、2つ写るパターン、および、1つ写るパターンの正解ラベル付きの学習データセットを準備し、当該学習データセットを用いてディープニューラルネットワークに学習させる構成であってよい。
なお、信号灯32が3つ写るパターンの画像においては、信号機3の3つの信号灯32a、32b、32cのいずれもが障害物によって隠されることなく画像内に写っている。正解ラベル付きの学習データセットには、このパターンの画像が含まれる。
また、信号灯32が2つ写るパターンの画像においては、信号機3の3つの信号灯32a、32b、32cのうち、いずれか1つだけが障害物によって隠され、残りの2つが画像内に写っている。信号灯32が2つ写るパターンには、詳細には3通りのパターンがある。3通りのパターンは、例えば、赤色信号灯32aが隠され、黄色信号灯32bと青色信号灯32cとの2つが写るパターンと、黄色信号灯32bが隠され、赤色信号灯32aと青色信号灯32cとの2つが写るパターンと、青色信号灯32cが隠され、赤色信号灯32aと黄色信号灯32bとの2つが写るパターンと、を含む。正解ラベル付きの学習データセットには、これら3つのパターンの画像が含まれる。
また、信号灯32が1つ写るパターンの画像においては、信号機3の3つの信号灯32a、32b、32cのうち、いずれか2つが障害物によって隠され、残りの1つが画像内に写っている。信号灯32が1つ写るパターンには、詳細には3通りのパターンがある。3通りのパターンは、例えば、赤色信号灯32aのみが写るパターンと、黄色信号灯32bのみが写るパターンと、青色信号灯32cのみが写るパターンと、を含む。正解ラベル付きの学習データセットには、これら3つのパターンの画像が含まれる。
なお、上述の障害物は、例えば、カメラ2の前方に存在するトラック等の車両、信号機付近に存在する樹木、又は、カメラ2を搭載する車両の一部等である。また、信号灯32の数の推定は、機械学習による学習済みモデルを利用せずに行われる構成であってもよい。例えば、撮像画像に写る信号機3のサイズを推定し、推定された信号機3のサイズから信号灯32の数を推定する構成であってもよい。
信号灯領域特定部114は、撮像画像に写る信号灯32がいずれの色の領域に存在するかを特定する。すなわち、処理部11は、撮像画像に写る信号灯32がいずれの色の領域に存在するかを特定する。上述のように、信号機3においては、各色の信号灯32の配置は予め決まっている。このために、撮像画像に写る信号灯32がいずれの色の領域に存在するかを、撮像画像に基づいて特定することができる。本実施形態において、信号灯領域特定部114が行う処理には、好ましい形態として、信号灯32が存在すると特定した色の領域の抽出を行う処理も含まれる。
信号灯領域特定部114の機能は、例えば、信号灯の数の推定の場合と同様に、正解ラベル付きの学習データセットを用いて学習が行われた学習済みモデル(例えばディープニューラルネットワーク)を利用することにより得られてよい。このような構成とする場合、信号灯32の数を推定する処理と、信号灯32がいずれの色の領域に存在するかを特定する処理が、同じ学習済みモデルによって実行されてもよい。また、別の例として、信号機3における信号灯32の配置を示すテンプレートデータを予め準備し、準備したテンプレートデータとの比較を利用して、撮像画像に写る信号灯32がいずれの色の領域に存在するかを特定してもよい。
色判定部115は、信号灯領域特定部114で特定された色の領域に対して色判定を行う。すなわち、処理部11は、信号灯領域特定部114で特定された色の領域に対して色判定を行う。なお、信号灯32は、点灯することにより、予め決められた色となり、非点灯の場合は予め決められた色と異なる色となる。例えば、信号灯32は、非点灯の場合、黒等の目立たない色となる。色判定は、例えば、各領域が点灯により予め決められた色となっているか否かを判定する処理であってよい。例えば、信号灯32が存在する領域が赤色領域であると特定された場合、当該領域の色判定は、赤色であるか否かであってよい。なお、色判定は、各領域がいずれの色かを決める処理であってもよい。
各領域に対する色判定には、例えば、機械学習を行った学習済みモデルが用いられてよい。ここでの機械学習は、例えば、信号灯の色に関する正解ラベル付きの学習データセットを準備し、学習データセットを用いてディープニューラルネットワークに学習させる構成であってよい。また、別の例として、各領域において公知の画像処理技術によって各画素の輝度値を求め、求められた輝度値の分布から各領域の色判定が行われてもよい。
本実施形態では、色判定部115は、各領域の色判定の結果に基づき、信号機3の信号色を決定する。なお、ここで言う信号機3の信号色とは、複数の信号灯32のうち、点灯している信号灯32の色のことを指す。色判定の結果に基づいて信号機3の信号色を決定する手法の詳細については、後述する。なお、各領域に対して色判定を行う代わりに、各領域に対して信号灯32が点灯しているか否かの判定を行い、当該点灯判定の結果に基づいて信号色の決定を行う構成としてもよい。
<3.信号色判定方法>
次に、本実施形態の信号色判定装置1を用いた信号色の判定方法について説明する。図4は、本発明の実施形態に係る信号色判定装置1を用いた信号色判定方法の流れを例示するフローチャートである。信号色判定方法は、例えば、車両がエンジン車両の場合にはエンジンの始動により開始され、車両が電動車両の場合には車両の電源スイッチがオンされた場合に開始される構成であってよい。
次に、本実施形態の信号色判定装置1を用いた信号色の判定方法について説明する。図4は、本発明の実施形態に係る信号色判定装置1を用いた信号色判定方法の流れを例示するフローチャートである。信号色判定方法は、例えば、車両がエンジン車両の場合にはエンジンの始動により開始され、車両が電動車両の場合には車両の電源スイッチがオンされた場合に開始される構成であってよい。
なお、本実施形態の信号色判定方法をコンピュータ装置に実現させるコンピュータプログラムは、本実施形態の範囲に含まれる。また、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体は、本実施形態の範囲に含まれる。
ステップS1では、画像取得部111がカメラ2から撮像画像を取得する。すなわち、信号色判定方法は、撮像画像を取得する工程を備える。画像取得部111は、例えば定期的に撮像画像を取得する。撮像画像を取得すると、次のステップS2に処理が進められる。
ステップS2では、信号機検出部112が、取得した撮像画像に対して信号機3を検出する処理を行う。すなわち、信号色判定方法は、取得した撮像画像から信号機を検出する工程を備える。ステップS2では、信号機3が検出されたか否かの判定を更に行う。撮像画像から信号機3が検出された場合(ステップS2でYes)、次のステップS3に処理が進められる。撮像画像から信号機3が検出されなかった場合(ステップS2でNo)、ステップS1で取得した撮像画像に対して信号機3の信号色を判定する処理を終了する。
ステップS3では、信号灯数推定部113が、検出された信号機3の撮像画像に写る信号灯32の数を推定する。すなわち、信号色判定方法は、検出された信号機3の撮像画像に写る信号灯32の数を推定する工程を備える。なお、本実施形態においては、推定される信号灯32の数は、3つ、2つ、或いは、1つである。推定される信号灯32の数が0と推定されることがある構成としてもよい。
ステップS3では、推定された信号灯32の数が3つ又は2つであるか否かを更に判定する。推定された信号灯32の数が、3つ又は2つである場合(ステップS3でYes)、次のステップS4に処理が進められる。推定された信号灯32の数が1つである場合(ステップS3でNo)、信号色の判定処理が終了される。すなわち、本実施形態では、推定された信号灯32の数が1つである場合には、信号色の判定が行われない。
ステップS4では、信号灯領域特定部114が、撮像画像に写る信号灯32がいずれの色の領域に存在するかを特定する。すなわち、信号色判定方法は、撮像画像に写る信号灯32がいずれの色の領域に存在するかを特定する工程を備える。撮像画像に写る信号灯32の数が3つである場合には、信号灯32が3つの色の領域(全ての色の領域)に存在することが特定され、3つの色の領域が抽出される。撮像画像に写る信号灯32の数が2つである場合には、2つの色の領域が特定され、2つの色の領域が抽出される。例えば、撮像画像に赤色信号灯32aと黄色信号灯32bとが写っている場合には、信号機3の赤色領域と黄色領域が抽出されることになる。信号灯32が存在する色の領域が抽出されると、次のステップS5に処理が進められる。
ステップS5では、色判定部115が、信号灯領域特定部114により特定された各色の領域に対して色判定を行う。すなわち、信号色判定方法は、特定された各色の領域に対して色判定を行う工程を備える。3つの色の領域が特定された場合には、3つの領域のそれぞれに対して色判定が行われる。2つの色の領域が特定された場合には、2つの領域のそれぞれに対して色判定が行われる。例えば、赤色領域と黄色領域が特定された場合には、赤色領域と黄色領域とのそれぞれに対して色判定が行われる。色判定が完了すると、次のステップS6に処理が進められる。
ステップS6では、各色の領域における色判定の結果に基づいて信号機3の信号色が決定される。すなわち、信号色判定方法は、各色の領域における色判定の結果に基づいて信号機3の信号色を決定する工程を備える。信号機3の信号色の決定により、図4に示す信号色判定方法は終了する。図5、図6A、図6B、および、図6Cを参照して、信号機3が赤色信号灯32a、黄色信号灯32b、および、青色信号灯32cを有する場合を例に挙げて、信号色の決定手法について説明する。
図5は、赤色領域、黄色領域、および、青色領域について色判定が行われた結果と、当該結果に基づいて決定された信号色を示す図である。なお、図5は、3つの信号灯32a、32b、32cの全てが撮像画像に写っている場合の信号色の決定方法を示す図に該当する。図5において、「Yes」は、色判定の結果、該当する色領域の色と一致すると判定されたことを示す。「No」は、色判定の結果、該当する色領域の色と一致しないと判定されたことを示す。なお、この点は、後述の図6A、図6B、および、図6Cについても同じである。
図5に示すように、色判定の結果、赤色領域が赤色、黄色領域が非黄色、青色領域が非青色と判定された場合、信号色は赤色と決定される。また、色判定の結果、赤色領域が非赤色、黄色領域が黄色、青色領域が非青色と判定された場合、信号色は黄色と決定される。また、色判定の結果、赤色領域が非赤色、黄色領域が非黄色、青色領域が青色と判定された場合、信号色は青色と決定される。すなわち、3つの信号灯32a、32b、32cの全てが撮像画像に写っている場合には、色領域の想定色と、色判定で得られた色とが一致する色領域の色が信号色となる。
図6Aは、黄色領域および青色領域について色判定が行われた結果と、当該結果に基づいて決定された信号色を示す図である。なお、図6Aは、赤色信号灯32aは障害物の存在によって撮像画像に写っておらず、黄色信号灯32bおよび青色信号灯32cが撮像画像に写っている場合の、信号色の決定方法を示す図に該当する。
図6Aに示すように、赤色領域の色判定の結果がなく、色判定が行われた黄色領域が非黄色、青色領域が非青色と判定された場合、信号色は赤色と決定される。また、赤色領域の色判定の結果がなく、色判定が行われた黄色領域が黄色、青色領域が非青色と判定された場合、信号色は黄色と決定される。また、赤色領域の色判定の結果がなく、色判定が行われた黄色領域が非黄色、青色領域が青色と判定された場合、信号色は青色と決定される。
図6Bは、赤色領域および黄色領域について色判定が行われた結果と、当該結果に基づいて決定された信号色を示す図である。なお、図6Bは、青色信号灯32cは障害物の存在によって撮像画像に写っておらず、赤色信号灯32aおよび黄色信号灯32bが撮像画像に写っている場合の、信号色の決定方法を示す図に該当する。
図6Bに示すように、青色領域の色判定の結果がなく、色判定が行われた赤色領域が赤色、黄色領域が非黄色と判定された場合、信号色は赤色と決定される。また、青色領域の色判定の結果がなく、色判定が行われた赤色領域が非赤色、黄色領域が黄色と判定された場合、信号色は黄色と決定される。また、青色領域の色判定の結果がなく、色判定が行われた赤色領域が非赤色、黄色領域が非黄色と判定された場合、信号色は青色と決定される。
図6Cは、赤色領域および青色領域について色判定が行われた結果と、当該結果に基づいて決定された信号色を示す図である。なお、図6Cは、黄色信号灯32bは障害物の存在によって撮像画像に写っておらず、赤色信号灯32aおよび青色信号灯32cが撮像画像に写っている場合の、信号色の決定方法を示す図に該当する。
図6Cに示すように、黄色領域の色判定の結果がなく、色判定が行われた赤色領域が赤色、青色領域が非青色と判定された場合、信号色は赤色と決定される。また、黄色領域の色判定の結果がなく、色判定が行われた赤色領域が非赤色、青色領域が非青色と判定された場合、信号色は黄色と決定される。また、黄色領域の色判定の結果がなく、色判定が行われた赤色領域が非赤色、青色領域が青色と判定された場合、信号色は青色と決定される。
すなわち、3つの信号灯32のうち、2つの信号灯32のみが撮像画像に写っている場合には、色判定を行った色領域の中に、色領域の想定色と色判定で得られた色とが一致する色領域があれば、当該一致する色領域の色が信号色となる。色判定を行った色領域の中に、色領域の色と色判定で得られた色とが一致する色領域がなければ、色判定を行われなかった色領域の色が信号色となる。
<4.実施形態に関するまとめ>
以上に説明したように、処理部11は、撮像画像から信号機3が有する複数の信号灯32の一部が検出された場合に、信号機3の信号色を判定する。別の言い方をすると、本実施形態の信号色判定方法は、撮像画像から信号機3が有する複数の信号灯32の一部が検出された場合に、信号機3の信号色を判定する工程を備える。
以上に説明したように、処理部11は、撮像画像から信号機3が有する複数の信号灯32の一部が検出された場合に、信号機3の信号色を判定する。別の言い方をすると、本実施形態の信号色判定方法は、撮像画像から信号機3が有する複数の信号灯32の一部が検出された場合に、信号機3の信号色を判定する工程を備える。
このような構成によれば、撮像画像に写る信号機3について、全ての信号灯32が写っていない場合に、信号機3の信号色が判定されるために、撮像画像から信号機3の信号色の判定結果を得られる可能性を高めることができる。また、このような構成によれば、車両の走行計画を変更しなくも信号色の判定結果を得られる可能性を高めることができる。また、このような構成によれば、車両の走行後、例えば事故の検証等のために事後的に撮像画像から信号機の信号色を得たいような場合に、信号色を得られる可能性を高めることができる。
なお、本実施形態では、複数の信号灯32の一部は、3つの信号灯のうちの2つの信号灯である。3つの信号灯32のうちの2つの信号灯32が写っていれば、信号機3の信号色が判定されるために、撮像画像から信号機3の信号色の判定結果を得られる可能性を高めることができる。
また、本実施形態では、処理部11は、複数の信号灯32の全部が検出された場合に、信号機3の信号色を判定する。別の言い方をすると、本実施形態では、処理部11は、信号灯32の数が3つ又は2つと判定された場合に、信号機3の信号色を判定する。このような構成によれば、撮像画像に写る信号機3について、全ての信号灯32が写っている場合のみならず、一部の信号灯32が写っている場合にも信号色の判定が行われる。このために、撮像画像から信号機3の信号色の判定結果を得られる可能性をさらに高めることができる。
また、本実施形態では、信号機3の信号色を判定する処理には、撮像画像に写る信号灯32がいずれの色の領域に存在するかを特定する処理が含まれる。このような構成は、信号機3の各色の並びがルール化されていることを利用する構成であり、信号機3の全ての信号灯32が写っていない場合でも適用可能である。すなわち、このような構成によれば、撮像画像に3つの信号灯32のうち2つの信号灯32しか写っていないような場合でも、信号色の判定結果を得ることができる。
また、本実施形態では、信号機3の信号色を判定する処理には、特定された色の領域に対して色判定を行う処理が含まれる。このような構成によれば、画像データを利用して、点灯している色の領域を適切に推定することが可能となる。
<5.変形例>
以上では、信号機3の複数の信号灯32の一部が検出された場合に、信号機3の信号色を判定する構成において、複数の信号灯32の一部は、3つの信号灯32のうちの2つの信号灯32である構成とした。ただし、複数の信号灯32の一部には、3つの信号灯32のうちの1つの信号灯32である構成も含まれてよい。このような構成でも、撮像画像に写る信号灯32が点灯している場合には、信号機3の信号色を決定できる。このために、本構成の場合にも、撮像画像から信号機3の信号色の判定結果を得られる可能性を高めることができる。
以上では、信号機3の複数の信号灯32の一部が検出された場合に、信号機3の信号色を判定する構成において、複数の信号灯32の一部は、3つの信号灯32のうちの2つの信号灯32である構成とした。ただし、複数の信号灯32の一部には、3つの信号灯32のうちの1つの信号灯32である構成も含まれてよい。このような構成でも、撮像画像に写る信号灯32が点灯している場合には、信号機3の信号色を決定できる。このために、本構成の場合にも、撮像画像から信号機3の信号色の判定結果を得られる可能性を高めることができる。
なお、3つの信号灯32のうち1つの信号灯32しか検出されない場合には、信号機3の信号色を決定できない場合がある。このような場合には、例えば、決定できなかった旨を通知する構成としてよい。また、このような場合には、例えば、信号機3の信号灯32が2つ以上写る場所へ車両を移動する指示を行う構成としてもよい。
<6.留意事項等>
本明細書の、発明を実施するための形態に開示される種々の技術的特徴は、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書の、発明を実施するための形態に開示される複数の実施形態および変形例は可能な範囲で組み合わせて実施されてよい。
本明細書の、発明を実施するための形態に開示される種々の技術的特徴は、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書の、発明を実施するための形態に開示される複数の実施形態および変形例は可能な範囲で組み合わせて実施されてよい。
1・・・信号色判定装置
3、3a、3b・・・信号機
11・・・処理部
32・・・信号灯
32a・・・赤色信号灯
32b・・・黄色信号灯
32c・・・青色信号灯
3、3a、3b・・・信号機
11・・・処理部
32・・・信号灯
32a・・・赤色信号灯
32b・・・黄色信号灯
32c・・・青色信号灯
Claims (8)
- 撮像画像を取得する処理部を備え、
前記処理部は、前記撮像画像から信号機が有する複数の信号灯の一部が検出された場合に、前記信号機の信号色を判定する、信号色判定装置。 - 前記複数の信号灯の一部は、3つの信号灯のうちの2つの信号灯である、請求項1に記載の信号色判定装置。
- 前記複数の信号灯の一部には、3つの信号灯のうちの1つの信号灯である構成が含まれる、請求項1又は2に記載の信号色判定装置。
- 前記処理部は、前記複数の信号灯の全部が検出された場合に、前記信号機の信号色を判定する、請求項1から3のいずれか1項に記載の信号色判定装置。
- 撮像画像を取得する処理部を備え、
前記処理部は、
互いに異なる色の信号色を点灯する3つの信号灯を有する3灯型の信号機を前記撮像画像から検出し、
検出された前記信号機の前記撮像画像に写る前記信号灯の数を推定し、
前記信号灯の数が3つ又は2つと判定された場合に、前記信号機の信号色を判定する、信号色判定装置。 - 前記信号機の信号色を判定する処理には、前記撮像画像に写る前記信号灯がいずれの色の領域に存在するかを特定する処理が含まれる、請求項1から5のいずれか1項に記載の信号色判定装置。
- 前記信号機の信号色を判定する処理には、特定された前記色の領域に対して色判定を行う処理が含まれる、請求項6に記載の信号色判定装置。
- 撮像画像を取得する工程と、
前記撮像画像から信号機が有する複数の信号灯の一部が検出された場合に、前記信号機の信号色を判定する工程と、
を備える、信号色判定方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022005078A JP2023104214A (ja) | 2022-01-17 | 2022-01-17 | 信号色判定装置および信号色判定方法 |
US17/726,837 US20230230344A1 (en) | 2022-01-17 | 2022-04-22 | Signal color determination device and signal color determination method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022005078A JP2023104214A (ja) | 2022-01-17 | 2022-01-17 | 信号色判定装置および信号色判定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023104214A true JP2023104214A (ja) | 2023-07-28 |
Family
ID=87162226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022005078A Pending JP2023104214A (ja) | 2022-01-17 | 2022-01-17 | 信号色判定装置および信号色判定方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230230344A1 (ja) |
JP (1) | JP2023104214A (ja) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11334753B2 (en) * | 2018-04-30 | 2022-05-17 | Uatc, Llc | Traffic signal state classification for autonomous vehicles |
-
2022
- 2022-01-17 JP JP2022005078A patent/JP2023104214A/ja active Pending
- 2022-04-22 US US17/726,837 patent/US20230230344A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230230344A1 (en) | 2023-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108364010B (zh) | 一种车牌识别方法、装置、设备及计算机可读存储介质 | |
EP2031571B1 (en) | Vehicle type determination device, program, and method | |
CN104751116B (zh) | 箭头信号识别装置 | |
KR101403876B1 (ko) | 차량 번호판 인식 방법과 그 장치 | |
KR101393391B1 (ko) | 임베디드 시스템 기반의 차량 번호판 인식 방법 | |
CN104616021B (zh) | 交通标志图像处理方法及装置 | |
US20180285664A1 (en) | Method and device for identifying the signaling state of at least one signaling device | |
Yousef et al. | SIFT based automatic number plate recognition | |
US9171224B2 (en) | Method of improving contrast for text extraction and recognition applications | |
KR101738129B1 (ko) | 단일 카메라를 이용한 원거리 영상에서의 차량 번호판 인식 장치 및 그 방법 | |
CN104769652A (zh) | 用于检测交通灯的方法和系统 | |
CN111783654A (zh) | 车辆重识别方法、装置及电子设备 | |
CN109977941A (zh) | 车牌识别方法及装置 | |
CN112115800A (zh) | 一种基于深度学习目标检测的车辆组合识别系统及方法 | |
CN112949470A (zh) | 车辆变道转向灯识别方法、装置、设备及存储介质 | |
JP5327241B2 (ja) | 物体識別装置 | |
JP2023104214A (ja) | 信号色判定装置および信号色判定方法 | |
KR102174208B1 (ko) | 얼굴이 촬영된 깊이 영상과 적외선 영상을 통한 신원 인식 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체 | |
CN114841874B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN113449629B (zh) | 基于行车视频的车道线虚实识别装置、方法、设备及介质 | |
JP5056931B2 (ja) | 車色判定装置、車色判定システム及び車色判定方法 | |
KR101877809B1 (ko) | Gpu를 이용한 신호등 인식 장치 및 방법 | |
JP3779229B2 (ja) | 識別方法、識別装置、及び交通制御システム | |
JP6742736B2 (ja) | 信号機の点灯色判定装置および信号機の点灯色判定方法 | |
JP2001222680A (ja) | ナンバー読取り装置 |