JP2023007604A

JP2023007604A - 信号認識装置

Info

Publication number: JP2023007604A
Application number: JP2021110557A
Authority: JP
Inventors: 広樹齋藤; Hiroki Saito
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2021-07-02
Filing date: 2021-07-02
Publication date: 2023-01-19
Also published as: US20230005276A1; CN115565363A

Abstract

【課題】信号機の点灯状態を認識する。
【解決手段】信号機認識装置（１００）は、
自車両の周囲を示す画像から対象信号機を検出して信号機検出情報を生成する検出手段（１１０）と、信号機検出情報と対象信号機に係る灯火パターン情報とを比較して対象信号機の点灯状態を認識する認識手段（１５０）とを備える。当該信号認識装置は、自車両に係る位置情報及び信号機検出情報に基づいて、自車両と対象信号機との位置関係を特定する特定手段（１２０）と、対象信号機の点灯部分に相当する点灯領域の中心を判定する判定手段（１３０）と、灯火パターン情報と比較するために、位置関係に基づいて所定の変換処理を施す画像変換手段（１４０）と、を更に備える。
【選択図】図１

Description

本発明は、画像から信号機を認識する信号認識装置の技術分野に関する。

この種の装置として、例えば、信号機を撮像した画像と、信号機に係る灯火パターン情報とを比較して、信号機の点灯状態を認識する装置が提案されている（特許文献１参照）。

特開２０２１－００２２７５号公報

特許文献１に記載の技術には改善の余地がある。

本発明は、上記事情に鑑みてなされたものであり、信号機の点灯状態を認識することができる信号認識装置を提供することを課題とする。

本発明の一態様に係る信号認識装置は、自車両の周囲を示す画像から対象信号機を検出し、前記対象信号機の外観を示す信号機画像を含む信号機検出情報を生成する検出手段と、前記信号機検出情報と前記対象信号機に係る灯火パターン情報とを比較して前記対象信号機の点灯状態を認識する認識手段とを備える信号認識装置であって、前記自車両に係る位置情報及び前記信号機検出情報に基づいて、前記自車両と前記対象信号機との位置関係を特定する特定手段と、前記信号機画像における、前記対象信号機の点灯部分に相当する点灯領域の中心を判定する判定手段と、前記灯火パターン情報と比較するために、前記位置関係に基づいて、前記信号機画像に対して所定の変換処理を施す画像変換手段と、を更に備え、前記認識手段は、前記所定の変換処理が施された信号機画像における前記点灯領域の中心と、前記灯火パターン情報とを比較して前記点灯状態を認識するというものである。

実施形態に係る車両の構成を示す図である。実施形態に係る認識処理部の動作を示すフローチャートである。灯火パターン情報の一例を示す図である。実施形態に係る画像変換処理の概念を説明するための図である。

信号認識装置に係る実施形態を図１乃至図３を参照して説明する。ここでは、車両１に搭載されている信号認識装置について説明する。図１において、車両１は、カメラ１０、記録装置２０、自己位置センサ３０及び認識処理部１００を備えている。認識処理部１００は、実施形態に係る信号認識装置の一具体例に相当する。

カメラ１０は、例えばフロントウインドウ越しに、車両１の前方を撮像可能に配置されている。記録装置２０は、例えば不揮発性メモリ、ハードディスクドライブ等により構成されていてよい。自己位置センサ３０は、車両１の位置及び向きを示す位置情報を取得可能に構成されている。尚、カメラ１０、記録装置２０及び自己位置センサ３０には、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。

認識処理部１００は、検出部１１０、特定部１２０、判定部１３０、画像変換部１４０及び認識部１５０を有する。検出部１１０、特定部１２０、判定部１３０、画像変換部１４０及び認識部１５０は、例えば論理ブロックとして論理的に実現されてよい。或いは、検出部１１０、特定部１２０、判定部１３０、画像変換部１４０及び認識部１５０は、例えば処理回路として物理的に実現されてよい。

認識処理部１００について図１に加えて、図２のフローチャートを参照して説明する。図２において、認識処理部１００は、カメラ１０により撮像された画像を取得する（ステップS１０１）。

次に、認識処理部１００の検出部１１０は、カメラ１０により撮像された画像から、車両１の周囲の信号機を検出する。ここで、画像から信号機を検出する方法については、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。検出部１１０により検出された信号機を、以降、「対象信号機」と称する。尚、画像から複数の信号機が検出された場合、検出部１１０は、例えば車両１の進行方向前方に存在し、且つ、車両１に最も近い信号機を対象信号機としてよい。

検出部１１０は、対象信号機の外観を示す画像を含む信号機検出情報を生成する。この結果、認識処理部１００は、信号機検出情報を取得する（ステップS１０２）。信号機検出情報には、例えば対象信号機の種別や形状を示す情報が含まれていてもよい。信号機検出情報には、例えば対象信号機の灯火の色を示す情報が含まれていてもよい。信号機検出情報には、例えば車両１に対する対象信号機の位置を示す情報が含まれていてもよい。

認識処理部１００の認識部１５０は、灯火パターン情報を選択する（ステップS１０３）。例えば記録装置２０に灯火パターン情報が記録されていてよい。この場合、認識部１５０は、記録装置２０から灯火パターン情報を取得してよい。例えば車両１の外部の装置に灯火パターン情報が記録されていてよい。この場合、認識部１５０は、外部の装置から灯火パターン情報を取得してよい。

ここで、灯火パターン情報は、信号機の灯火部分のパターンを示す情報である。「灯火部分」は、信号機の発光部分を意味する。信号機は複数の灯火部分を有する。各灯火部分は、信号機の動作状態に応じて点灯又は消灯する。

灯火パターン情報は、複数の灯火部分の配置を示す情報を含んでいてよい。灯火パターン情報は、複数の灯火部分各々の外観を示す情報を含んでいてよい。該外観を示す情報には、各灯火部分の色及び形状（例えば丸、矢印等）を示す情報が含まれていてよい。灯火パターン情報は、複数の灯火部分間の相対位置関係を示す情報を含んでいてよい。

灯火パターン情報の一具体例について図３を参照して説明する。図３は、６個の灯火部分を有する信号機の灯火パターン情報を示している。灯火部分Ｌ１～Ｌ３は、円形信号に相当する部分である。灯火部分Ｌ１～Ｌ３は、上段において水平方向に配置されている。灯火部分Ｌ４～Ｌ６は、矢印信号に相当する部分である。灯火部分Ｌ４～Ｌ６は、下段において水平方向に配置されている。図３に示すように、灯火部分Ｌ１とＬ４とは上下方向に隣接している。灯火部分Ｌ２とＬ５とは上下方向に隣接している。灯火部分Ｌ３とＬ６とは上下方向に隣接している。

灯火部分Ｌ１の点灯時の外観は青色の円である。灯火部分Ｌ２の点灯時の外観は黄色の円である。灯火部分Ｌ３の点灯時の外観は赤色の円である。灯火部分Ｌ４の点灯時の外観は青色の左矢印である。灯火部分Ｌ５の点灯時の外観は青色の上矢印である。灯火部分Ｌ６の点灯時の外観は青色の右矢印である。灯火部分Ｌ１～Ｌ６各々の非点灯時の色は黒色である。尚、灯火部分の非点灯時の色は灯火パターン情報に明記されていなくてよい。

灯火パターン情報は、様々な形式の信号機に対応可能なように複数種類の灯火パターン情報が予め用意されていてよい。例えば円形信号に相当する灯火部分が垂直方向に配置されている灯火パターン情報が用意されていてよい。例えば矢印信号に相当する灯火部分として、右矢印信号（図３の灯火部分Ｌ６に相当）だけを有する灯火パターン情報が用意されていてよい。

ステップS１０３の処理と並行して、以下に説明するステップS１０４の処理が行われる。認識処理部１００の特定部１２０は、車両１と対象信号機との位置関係を特定する。具体的には、特定部１２０は、先ず、自己位置センサ３０により取得された位置情報と、地図情報とを取得する。ここで、地図情報は、平面的な（即ち、２次元の）地図を示す地図情報であってもよいし、高精度な３次元地図情報であってもよい。地図情報が、高精度な３次元地図情報である場合には、特定部１２０は、例えばネットワークを介して、外部の装置から地図情報を取得してもよい。

特定部１２０は、次に、位置情報により示される車両１の位置と地図情報とから対象信号機の位置を特定（又は推定）する。このとき特定される対象信号機の位置は、絶対位置（又は絶対座標）であってよい。特定部１２０は、位置情報により示される車両１の位置及び向きと、特定された対象信号機の位置とから、対象信号機の灯火部分（又は発光部分）を含む面の車両１に対する傾きを特定（又は推定）する。

認識処理部１００の判定部１３０は、信号機検出情報に含まれる対象信号機の外観を示す画像から、対象信号機の灯火部分のうち点灯している部分（以降、適宜”点灯部分”と称する）に相当する点灯領域を検出する。判定部１３０は、検出された点灯領域の中心を判定する。ここで、判定部１３０は、点灯領域が複数ある場合には、各点灯領域の中心を判定する。判定部１３０は、例えば点灯領域に係る輝度値に基づいて点灯領域の中心を判定してよい。この場合、判定部１３０は、輝度値が最大のピクセルを点灯領域の中心としてよい。或いは、判定部１３０は、例えば点灯領域のサイズ（例えば幅及び高さ）に基づいて点灯領域の中心を判定してよい。

ここで、判定部１３０の動作について図３を参照して説明を加える。例えば夜間に、カメラ１０により信号機が撮像されると、信号機の光（即ち、点灯している灯火部分の光）が比較的強いため、フレアが発生することがある。すると、例えば図４（ａ）に示すように、画像において信号機の光に相当する領域（網掛け部分参照）が、点灯している灯火部分のサイズよりも大きくなることがある。

判定部１３０は、例えばフレアの影響を低減するために、上述した点灯領域の中心を判定する。例えば図４（ｂ）に示す画像における網掛け部分が、判定部１３０により判定された点灯領域の中心に相当する。

認識処理部１００の画像変換部１４０は、特定部１２０により特定された対象信号機の灯火部分を含む面の車両１に対する傾き等に基づいて、対象信号機の外観を示す画像に対して画像変換処理を施す。具体的には、画像変換部１４０は、対象信号機の外観を示す画像と灯火パターンとを比較可能なように、画像変換処理として、例えば対象信号機の外観を示す画像の角度変換を行う。

この結果、対象信号機の正面に対して傾いた位置から撮像した画像（図４（ｃ）参照）を、例えば対象信号機を正面から撮像した画像（図４（ｄ）参照）に変換することができる。尚、画像変換処理には、既存の各種態様を適用可能であるので、その詳細についての説明は省略する。

その後、認識部１５０は、対象信号機の点灯状態を認識する（ステップＳ１０５）。具体的には、認識部１５０は、ステップＳ１０４の処理において画像変換処理が施された画像から、対象信号機を含む所定の領域（例えば図４（ｅ）の点線枠で囲われた領域）を抽出する。認識部１５０は、該抽出された領域における点灯領域の中心と、ステップＳ１０３の処理において選択された灯火パターン情報とを比較する。

認識部１５０は、例えば図４に示す画像について、灯火部分Ｌ３及びＬ４（図３参照）が点灯しており、灯火部分Ｌ１、Ｌ２、Ｌ５及びＬ６（図３参照）が消灯していると認識する。つまり、認識部１５０は、「赤色の円形信号」及び「青色の左矢印信号」が点灯していると認識する。

その後、認識処理部１００は、認識部１５０により認識された点灯状態を示す認識結果情報を生成する（ステップS１０６）。この認識結果情報は、例えば車両１のドライバに赤信号であることを報知する赤信号注意喚起機能や、赤信号である場合に車両１を自動的に減速する減速支援機能、等において利用されてよい。

（技術的効果）
例えばカメラ１０等のカメラにより撮像された画像から信号機の点灯状態を認識する場合、次のような問題が生じることがある。信号機の点灯状態の認識結果は、例えば運転支援等に利用されてよい。運転支援等を適切に実施するためには、対象信号機から数十メートル離れた位置において撮像された画像から対象信号機の点灯状態を認識する必要がある。他方で、対象信号機から比較的離れた位置で撮像された画像では、例えば矢印信号の点灯状態が正しく認識されない可能性がある。これに対して、カメラの解像度を向上させるという手法が考えられる。しかしながら、カメラの解像度を向上させると、製品コストが増加するという新たな問題が生じる。

上述した認識処理部１００は、対象信号機を撮像した画像と点灯パターン情報とを比較することによって、対象信号機の点灯状態を認識している。この手法によれば、カメラ１０により撮像された画像から、例えば矢印信号の矢印の向きが認識できない場合であっても、対象信号機の点灯状態を適切に認識することができる。つまり、当該認識処理部１００は、比較的解像度の低いカメラで撮像された画像からでも、対象信号機の点灯状態を適切に認識することができる。

更に、次のような問題が生じることがある。例えば複数の車線がある道路を車両が走行している場合、車両の正面に信号機が配置されているとは限らない。つまり、対象信号機を、その正面から撮像できるとは限らない。また、例えば夜間には、対象信号機の光に起因してフレアが発生する可能性もある。このため、対象信号機を撮像した画像と点灯パターン情報とを適切に比較することが困難になることがある。

これに対して上述した認識処理部１００では、判定部１３０により点灯領域の中心が判定されるとともに、画像変換部１４０により画像変換処理が行われる。このため、当該認識処理部１００によれば、対象信号機をその正面から撮像できない場合や、フレアが発生した場合であっても、カメラ１０により撮像された画像と点灯パターンとを適切に比較することができる。この結果、当該認識処理部１００は、対象信号機の点灯状態を適切に認識することができる。

以上に説明した実施形態から導き出される発明の態様を以下に説明する。

発明の一態様に係る信号機認識装置は、自車両の周囲を示す画像から対象信号機を検出し、前記対象信号機の外観を示す信号機画像を含む信号機検出情報を生成する検出手段と、前記信号機検出情報と前記対象信号機に係る灯火パターン情報とを比較して前記対象信号機の点灯状態を認識する認識手段とを備える信号認識装置であって、前記自車両に係る位置情報及び前記信号機検出情報に基づいて、前記自車両と前記対象信号機との位置関係を特定する特定手段と、前記信号機画像における、前記対象信号機の点灯部分に相当する点灯領域の中心を判定する判定手段と、前記灯火パターン情報と比較するために、前記位置関係に基づいて、前記信号機画像に対して所定の変換処理を施す画像変換手段と、を更に備え、前記認識手段は、前記所定の変換処理が施された信号機画像における前記点灯領域の中心と、前記灯火パターン情報とを比較して前記点灯状態を認識するというものである。

上述の実施形態においては、「認識処理部１００」が「信号機認識装置」の一例に相当し、「検出部１１０」が「検出手段」の一例に相当し、「認識部１５０」が「認識手段」の一例に相当し、「特定部１２０」が「特定手段」の一例に相当し、「判定部１３０」が「判定手段」の一例に相当し、「画像変換部１４０」が「画像変換手段」の一例に相当する。

当該信号機認識装置では、前記判定手段は、前記点灯領域に係る輝度値に基づいて、前記点灯領域の中心を判定してよい。或いは、当該信号機認識装置では、前記判定手段は、前記点灯領域のサイズに基づいて、前記点灯領域の中心を判定してよい。

当該信号機認識装置では、前記所定の変換処理は、前記位置関係により示される前記自車両と前記対象信号機との相対角度に基づく角度変換処理を含んでよい。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う信号認識装置もまた本発明の技術的範囲に含まれるものである。

１…車両、１０…カメラ、２０…記録装置、３０…自己位置センサ、１００…認識処理部、１１０…検出部、１２０…特定部、１３０…判定部、１４０…画像変換部、１５０…認識部

Claims

自車両の周囲を示す画像から対象信号機を検出し、前記対象信号機の外観を示す信号機画像を含む信号機検出情報を生成する検出手段と、前記信号機検出情報と前記対象信号機に係る灯火パターン情報とを比較して前記対象信号機の点灯状態を認識する認識手段とを備える信号認識装置であって、
前記自車両に係る位置情報及び前記信号機検出情報に基づいて、前記自車両と前記対象信号機との位置関係を特定する特定手段と、
前記信号機画像における、前記対象信号機の点灯部分に相当する点灯領域の中心を判定する判定手段と、
前記灯火パターン情報と比較するために、前記位置関係に基づいて、前記信号機画像に対して所定の変換処理を施す画像変換手段と、
を更に備え、
前記認識手段は、前記所定の変換処理が施された信号機画像における前記点灯領域の中心と、前記灯火パターン情報とを比較して前記点灯状態を認識する
ことを特徴とする信号認識装置。
前記判定手段は、前記点灯領域に係る輝度値に基づいて、前記点灯領域の中心を判定することを特徴とする請求項１に記載の信号認識装置。
前記判定手段は、前記点灯領域のサイズに基づいて、前記点灯領域の中心を判定することを特徴とする請求項１に記載の信号認識装置。
前記所定の変換処理は、前記位置関係により示される前記自車両と前記対象信号機との相対角度に基づく角度変換処理を含むことを特徴とする請求項１乃至３のいずれか一項に記載の信号認識装置。