JP2018120600A

JP2018120600A - 信号機認識装置、制御方法、プログラム及び記憶媒体

Info

Publication number: JP2018120600A
Application number: JP2018026275A
Authority: JP
Inventors: 宏平伊藤; Kohei Ito
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2018-02-16
Filing date: 2018-02-16
Publication date: 2018-08-02

Abstract

【課題】点灯している信号の種類を短時間で高精度に認識することが可能な信号機認識装置を提供する。
【解決手段】ナビゲーション装置１のシステムコントローラ２０は、車両に搭載されたカメラ１４により信号機周辺の画像を取得する。また、システムコントローラ２０は、車両が停車状態の対象期間Ｔｔａｇ中に取得された複数の画像Ｉｍを基に、対象範囲Ｒｔａｇ内の画素ごとの最低輝度値に類する第１輝度を記憶する。さらに、システムコントローラ２０は、対象期間Ｔｔａｇ中又はその直後に取得された複数の画像Ｉｍのうち少なくとも１つの画像Ｉｍに基づく輝度値と、第１輝度値との差分を画素ごとに算出する。そして、システムコントローラ２０は、上述の輝度差が所定の閾値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する。
【選択図】図７

Description

本発明は、信号機が表示する信号を認識する技術に関する。

従来から、車両前方を撮影するカメラから取得した画像に基づき、車両の前方風景に存在する信号機の信号表示を認識する技術が知られている。また、近年では、信号灯として発光ダイオード（ＬＥＤ：ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）を複数配置して形成したＬＥＤ信号機が設置されている。ＬＥＤ信号機の信号灯は、一定の周期で点滅している。これに関し、特許文献１では、信号機の信号灯の候補領域を検出し、当該候補領域が所定周期で点滅しているか否かを判定することにより、ＬＥＤ信号機の信号灯を高精度に検出する技術が開示されている。

特開２００５−３０１５１８号公報

特許文献１に記載の技術によれば、ＬＥＤ信号機の信号灯の誤検出を防ぎ、信号灯を高精度に検出することが可能である。しかしながら、特許文献１には、点灯中の信号灯の形状を検出する点については、何ら記載されていない。従って、特許文献１の技術では、矢印信号の種類などを認識することができない。

本発明は、上記のような課題を解決するためになされたものであり、点灯している信号の種類を短時間で高精度に認識することが可能な信号機認識装置を提供することを主な目的とする。

請求項に記載の発明は、移動体が所定期間に、撮像手段により取得した信号機周辺の複数の画像を基に、前記信号機周辺の画像の最低輝度に類する第１輝度及び前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度との差分を画素ごとに算出する算出手段と、前記差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識手段と、を備える。

また、請求項に記載の発明は、信号機認識装置が実行する制御方法であって、移動体が所定期間に、撮像手段により取得した信号機周辺の複数の画像を基に、前記信号機周辺の画像の最低輝度に類する第１輝度及び前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度との差分を画素ごとに算出する算出工程と、前記差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識工程と、を有する。

また、請求項に記載の発明は、信号機認識装置を制御するコンピュータが実行するプログラムであって、移動体が所定期間に、撮像手段により取得した信号機周辺の複数の画像を基に、前記信号機周辺の画像の最低輝度に類する第１輝度及び前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度との差分を画素ごとに算出する算出手段と、前記差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識手段として前記コンピュータを機能させる。

ナビゲーション装置の概略構成を示す。ＬＥＤ信号機が直進及び左折のみを許可する旨の信号を表示したＬＥＤ信号機を示す。信号灯がＬＥＤの特性により一時的に消灯したときの対象範囲を示す。最低輝度値よりも所定閾値以上大きく、かつ青色の画素を抽出して表示した例を示す。連結画素領域と、各分割領域との位置関係を示す実施例に係る処理概要を示すフローチャートを示す。矢印信号認識処理のフローチャートを示す。変形例に係る矢印信号認識処理のフローチャートを示す変形例に係るシステムの概要図である。

本発明の好適な実施形態によれば、移動体に搭載された撮影手段により信号機周辺の画像を取得する取得手段と、前記取得手段により前記移動体が停車状態の所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最低輝度に類する第１輝度を記憶する第１記憶手段と、前記取得手段により前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度と、前記第１記憶手段に記憶された第１輝度との差分を画素ごとに算出する算出手段と、前記算出手段により算出された輝度の差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識手段と、を備える。

上記の信号機認識装置は、取得手段と、第１記憶手段と、算出手段と、認識手段とを備える。取得手段は、移動体に搭載された撮影手段により信号機周辺の画像を取得する。第１記憶手段は、取得手段により移動体が停車状態の所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最低輝度に類する第１輝度を記憶する。ここで、「第１輝度」は、対象となる画素での時系列での各輝度値から選定した最低値の他、当該各輝度値に対してノイズ除去等を目的とした統計処理を行うことで定めた最低輝度の推定値であってもよい。算出手段は、所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度と、第１輝度との差分を画素ごとに算出する。認識手段は、上記輝度差が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する。この態様では、信号機認識装置は、信号灯が点灯状態に周期的に点滅することを利用し、所定期間において、消灯時に対応する信号灯の最低輝度に類する第１輝度を算出する。これにより、信号機認識装置は、点灯中の信号灯の灯火部分を示す画素を短時間で高精度に抽出し、当該信号灯が示す信号の種類を好適に認識することができる。

上記信号機認識装置の一態様では、信号機認識装置は、前記取得手段により前記所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最高輝度に類する第２輝度を記憶する第２記憶手段を備え、前記算出手段は、前記１記憶手段に記憶された第１輝度と前記２記憶手段に記憶された第２輝度との差分を画素ごとに算出する。ここで、「第２輝度」は、所定画素での時系列での各輝度値から選定した最高値の他、当該各輝度値に対してノイズ除去等を目的とした統計処理を行うことで定めた最高値の推定値であってもよい。この態様により、信号機認識装置は、消灯時に対応する信号灯の最低輝度に類する第１輝度と、点灯時に対応する信号機の最高輝度に類する第２輝度とを比較することができ、点灯状態の信号灯の形状を好適に抽出することができる。

上記信号機認識装置の他の一態様では、前記認識手段は、前記算出手段により算出された輝度の差分が所定値以上となる画素が隣接して構成する画素群の形状を基に、点灯している信号の種類を認識する。この態様により、信号機認識装置は、点灯状態の信号灯の各々の灯火部分を示す画素領域を認識し、信号の種類を好適に認識することができる。

上記信号機認識装置の他の一態様では、前記認識手段は、点灯している矢印信号の矢印が指す向きを認識する。矢印信号は、右折、左折、直進のそれぞれで灯火部分の形状が異なる。従って、この態様により、信号機認識装置は、点灯状態の矢印信号がいずれの方向を指し示しているか好適に認識することができる。

上記信号機認識装置の他の一態様では、前記第１記憶手段は、前記所定期間を、前記信号機の赤信号が点灯状態の期間内に設定する。このようにすることで、信号機認識装置は、赤信号が点灯状態となる期間内で、矢印信号の表示部分の最低輝度の算出や形状の認識処理を行い、矢印信号の種類を認識することができる。

上記信号機認識装置の他の一態様では、前記認識手段は、前記算出手段により算出された輝度の差分が所定値以上となる画素が隣接して構成する画素群をそれぞれ含む最小の矩形領域の各々について、当該矩形領域を分割した領域での前記画素群の画素が存在する画素数に基づき、点灯している矢印信号の矢印が指す向きを認識する。この態様により、信号機認識装置は、点灯状態の矢印信号の矢印が指す向きを好適に認識することができる。

本発明の好適な他の実施形態によれば、記憶部を有する信号機認識装置が実行する制御方法であって、移動体に搭載された撮影手段により信号機周辺の画像を取得する取得工程と、前記取得工程により前記移動体が停車状態の所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最低輝度に類する第１輝度を前記記憶部に記憶する第１記憶工程と、前記取得工程により前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度と、前記第１記憶工程で前記記憶部に記憶された第１輝度との差分を画素ごとに算出する算出工程と、前記算出工程により算出された輝度の差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識工程と、を有する。信号機認識装置は、この制御方法を実行することで、点灯中の信号灯の灯火部分を示す画素を短時間で高精度に抽出し、当該信号灯が示す信号の種類を好適に認識することができる。

本発明の他の好適な実施形態によれば、記憶部を有する信号機認識装置を制御するコンピュータが実行するプログラムであって、移動体に搭載された撮影手段により信号機周辺の画像を取得する取得手段と、前記取得手段により前記移動体が停車状態の所定期間中に取得された複数の画像を基に、当該信号機周辺の画像の画素ごとの最低輝度に類する第１輝度を前記記憶部に記憶する第１記憶手段と、前記取得手段により前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度と、前記第１記憶手段で前記記憶部に記憶された第１輝度との差分を画素ごとに算出する算出手段と、前記算出手段により算出された輝度の差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識手段として前記コンピュータを機能させる。コンピュータは、このプログラムをインストールして実行することで、点灯中の信号灯の灯火部分を示す画素を短時間で高精度に抽出し、当該信号灯が示す信号の種類を好適に認識することができる。好適には、上述のプログラムは、記憶媒体に記憶される。

以下、図面を参照して本発明の好適な実施例について説明する。以後では、「点灯状態」とは、信号灯の表示がオンになっている状態を指し、ＬＥＤ信号の特性により一時的に消灯する状態も含むものとする。

［概略構成］
図１は、ナビゲーション装置１の概略構成を示す。ナビゲーション装置１は、例えば据置型のナビゲーション装置やルート案内を行う携帯端末であって、図１に示すように、自立測位装置１０、カメラ１４、ＧＰＳ受信機１８、システムコントローラ２０、ディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、通信装置３８、表示ユニット４０、音声出力ユニット５０及び入力装置６０を備える。

自立測位装置１０は、加速度センサ１１、角速度センサ１２及び距離センサ１３を備える。加速度センサ１１は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ１２は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ１３は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。

カメラ１４は、車両の前方に向けられた状態で固定され、所定の間隔ごとに車両前方を撮影した画像（「画像Ｉｍ」とも呼ぶ。）を生成する。カメラ１４は、生成した画像Ｉｍをシステムコントローラ２０に供給する。カメラ１４は、本発明における「撮像手段」として機能する。

ＧＰＳ受信機１８は、複数のＧＰＳ衛星から、測位用データを含む下り回線データを搬送する電波１９を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置を検出するために用いられる。

システムコントローラ２０は、インタフェース２１、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２２、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２３及びＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２４を含んでおり、ＲＯＭ２３などに記憶された制御プログラムを実行することで、ナビゲーション装置１全体の制御を行う。例えば、システムコントローラ２０は、カメラ１４が生成した画像Ｉｍに基づき、点灯状態の矢印信号を認識する処理（「矢印信号認識処理」とも呼ぶ。）を行う。矢印信号認識処理では、システムコントローラ２０は、ＬＥＤ信号機では点灯状態の信号灯が周期的に一時消灯する（即ち点滅する）ことを勘案し、点滅による画像Ｉｍ中の輝度変化に基づき点灯状態の矢印信号の灯火部分の形状を認識する。これについては、［矢印信号認識処理］のセクションで詳しく説明する。

インタフェース２１は、加速度センサ１１、角速度センサ１２及び距離センサ１３並びにＧＰＳ受信機１８とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、ＧＰＳ測位データ、絶対方位データ等をシステムコントローラ２０に入力する。ＣＰＵ２２は、システムコントローラ２０全体を制御する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、入力装置６０を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。

システムコントローラ２０、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブなどのディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、表示ユニット４０、音声出力ユニット５０及び入力装置６０は、バスライン３０を介して相互に接続されている。

ディスクドライブ３１は、システムコントローラ２０の制御の下、ＣＤ又はＤＶＤといったディスク３３から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ３１は、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブのうち、いずれか一方としてもよいし、ＣＤ及びＤＶＤコンパチブルのドライブとしてもよい。

データ記憶ユニット３６は、例えば、ＨＤＤなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。地図データは、道路に相当するリンクと、道路の接続部分（交差点）に相当するノードとにより表された道路データや、各施設に関する施設情報などを含む。また、地図データには、各信号機の位置を特定する情報が記憶されている。

通信装置３８は、例えば、ＦＭチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、通信用インタフェース３７を介して、ＶＩＣＳ（登録商標、ＶｅｈｉｃｌｅＩｎｆｏｒｍａｔｉｏｎＣｏｍｍｕｎｉｃａｔｉｏｎＳｙｓｔｅｍ）センタから配信される渋滞や交通情報などの道路交通情報、その他の情報を受信する。

表示ユニット４０は、システムコントローラ２０の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ２０は、データ記憶ユニット３６から地図データを読み出す。表示ユニット４０は、システムコントローラ２０によってデータ記憶ユニット３６から読み出された地図データなどを表示画面上に表示する。表示ユニット４０は、バスライン３０を介してＣＰＵ２２から送られる制御データに基づいて表示ユニット４０全体の制御を行うグラフィックコントローラ４１と、ＶＲＡＭ（ＶｉｄｅｏＲＡＭ）等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ４２と、グラフィックコントローラ４１から出力される画像データに基づいて、液晶、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）等のディスプレイ４４を表示制御する表示制御部４３と、ディスプレイ４４とを備える。ディスプレイ４４は、画像表示部として機能し、例えば対角５〜１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。

音声出力ユニット５０は、システムコントローラ２０の制御の下、ＣＤ−ＲＯＭドライブ３１又はＤＶＤ−ＲＯＭ３２、若しくはＲＡＭ２４等からバスライン３０を介して送られる音声デジタルデータのＤ／Ａ（ＤｉｇｉｔａｌｔｏＡｎａｌｏｇ）変換を行うＤ／Ａコンバータ５１と、Ｄ／Ａコンバータ５１から出力される音声アナログ信号を増幅する増幅器（ＡＭＰ）５２と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ５３とを備えて構成されている。

入力装置６０は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置６０は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ４４の周囲に配置される。また、ディスプレイ４４がタッチパネル方式の場合、ディスプレイ４４の表示画面上に設けられたタッチパネルも入力装置６０として機能する。

なお、システムコントローラ２０は本発明における「取得手段」、「第１記憶手段」、「算出手段」、「認識手段」、及び「コンピュータ」として機能する。

［矢印信号認識処理］
次に、システムコントローラ２０が実行する矢印信号認識処理について説明する。概略的には、システムコントローラ２０は、ＬＥＤ信号機の赤信号が点灯状態の時に、画像中の所定範囲内の輝度変化等に基づき、点灯状態の矢印信号を示す画素を抽出し、当該画素の連結領域の形状に基づき矢印信号の種類を認識する。これにより、システムコントローラ２０は、点灯状態の矢印信号の種類を、短期間で高精度に認識する。以下、必要な処理ごとに具体的に説明する。

（１）最低輝度値の認識
まず、システムコントローラ２０は、車両の停車時にＬＥＤ信号機の赤信号の点灯を認識した場合、矢印信号の表示領域を含む所定範囲（「対象範囲Ｒｔａｇ」とも呼ぶ。）の各画素を対象に、所定の期間（「対象期間Ｔｔａｇ」とも呼ぶ。）内で最小となる輝度値（「最低輝度値」とも呼ぶ。）を検出する。

ここで、対象範囲Ｒｔａｇは、認識した赤信号の表示領域の位置を基準として定められる範囲である。例えば、システムコントローラ２０は、赤信号の表示領域に対する対象範囲Ｒｔａｇの相対位置や大きさ等の情報を、実験等に基づき予め定めてデータ記憶ユニット３６やＲＯＭ２３などのメモリに記憶しておくことで、画像Ｉｍ中の対象範囲Ｒｔａｇを決定する。また、システムコントローラ２０は、対象期間Ｔｔａｇを、ＬＥＤ信号機の点灯状態での点滅の周期よりも長く、かつ、点灯状態となる信号灯が切り替わるおそれがない程度に短い期間（例えば１秒）に設定する。

ここで、ＬＥＤ信号機の信号灯の点灯状態における点滅について図２及び図３を参照して説明する。

図２は、ＬＥＤ信号機が直進及び左折のみを許可する旨の信号表示を行っているＬＥＤ信号機を示す。図２では、赤信号の信号灯８Ｒが赤色に点灯しており、かつ、左折の走行を許可する左折矢印信号の信号灯９Ｌ及び直進の走行を許可する直進矢印信号の信号灯９Ｓが青色に点灯している。そして、他の信号灯である黄色信号の信号灯８Ｙ、青信号の信号灯８Ｂ、及び右折の走行を許可する右折矢印信号の信号灯９Ｒは、消灯している。なお、図２では、便宜上、赤色を網状のハッチングにより表現し、青色を斜線のハッチングにより表現している。

図３は、ＬＥＤ信号機が図２と同一の信号表示を行っているときにカメラ１４が生成した画像Ｉｍ中の対象範囲Ｒｔａｇを示す。図３では、左折矢印信号及び直進矢印信号の信号灯９Ｌ、９Ｓは、点灯状態での点滅により一時的に消灯している。このように、ＬＥＤ信号の各信号灯は、点灯状態の場合に、所定周期で一時的に消灯する。

以上を勘案し、システムコントローラ２０は、点灯状態での消灯の周期よりも長い対象期間Ｔｔａｇ中にカメラ１４が生成した画像Ｉｍに基づき、対象範囲Ｒｔａｇの各画素の最低輝度値を検出し、データ記憶ユニット３６などのメモリに記憶する。これにより、システムコントローラ２０は、赤信号の信号灯が点灯状態である対象期間Ｔｔａｇ中に、点灯状態の各矢印信号の信号灯の消灯時の輝度値を、対象範囲Ｒｔａｇの画素の最低輝度値として好適に記憶することができる。

なお、システムコントローラ２０は、対象範囲Ｒｔａｇの各画素の輝度値のうち、統計処理により算出したばらつきを示す指標が所定量を超える輝度値を除外した残りの輝度値から最低輝度値を定めてもよい。上述のばらつきを示す指標は、例えば、対象の各画素での輝度値の平均値との差の二乗であってもよく、他のばらつきを示す種々の統計的な指標であってもよい。これにより、システムコントローラ２０は、突発的なノイズの影響に起因して、最低輝度値を、ノイズの影響による異常値に設定するのを好適に抑制することができる。

（２）矢印を表す画素領域の認識
次に、システムコントローラ２０は、対象範囲Ｒｔａｇの各画素の最低輝度値に基づき、点灯状態の矢印信号の信号灯が示す矢印を表示する画素領域を認識する。

具体的には、まず、システムコントローラ２０は、点灯した矢印信号を表示した画像Ｉｍ（「比較画像Ｉｍｃ」とも呼ぶ。）の輝度値とメモリに記憶した最低輝度値とを対象範囲Ｒｔａｇ内の画素ごとに比較する。ここで、システムコントローラ２０は、比較画像Ｉｍｃとして、例えば、対象期間Ｔｔａｇで取得された画像Ｉｍのうち、最低輝度値となる画素が最も少ない画像Ｉｍを選定してもよく、対象期間Ｔｔａｇの経過直後に生成された画像Ｉｍを選定してもよい。そして、システムコントローラ２０は、最低輝度値よりも所定閾値以上大きく、矢印信号の灯火色である青色を示す比較画像Ｉｍｃの画素を、点灯状態の矢印信号の信号灯が示す矢印を表示する画素として抽出する。上述の所定閾値は、例えば一般的な矢印信号が示す矢印の点灯時と消灯時との画像中での輝度差を勘案して設定され、メモリに予め記憶される。

そして、システムコントローラ２０は、抽出した画素中で、隣接する画素群を一まとまりとする領域（「連結画素領域Ｔｐ」とも呼ぶ。）を、それぞれ点灯状態の矢印信号の灯火部分（即ち矢印）を示す画素領域として認識する。

図４は、最低輝度値よりも所定閾値以上大きく、かつ青色の対象範囲Ｒｔａｇ内の画素を比較画像Ｉｍｃから抽出して表示した図である。図４の例では、システムコントローラ２０は、点灯状態であった左折矢印信号の信号灯９Ｌ及び直進矢印の信号灯９Ｓの矢印部分の各画素が、最低輝度値よりも所定閾値以上高く、かつ青色であると判断し、これらの画素を抽出している。そして、図４では、システムコントローラ２０は、抽出した画素からそれぞれ構成される連結画素領域Ｔｐ１、Ｔｐ２を、点灯状態の矢印信号の信号灯の矢印を表示する画素領域として認識する。

ここで、最低輝度値と所定閾値とを用いた画素の抽出処理について補足説明する。「（１）最低輝度値の認識」のセクションで述べたように、対象期間Ｔｔａｇは、点灯状態となる信号灯が変わる虞れがない程度に短い時間に設定される。従って、対象期間Ｔｔａｇでの対象範囲Ｒｔａｇの各画素の最低輝度値と、比較画像Ｉｍｃの対象範囲Ｒｔａｇの各画素の輝度値とは、灯火部分の画素領域では点滅による輝度差が生じ、それ以外の画素領域ではほぼ一致する。従って、システムコントローラ２０は、メモリに記憶した最低輝度値を用いることで、点灯状態の矢印信号の灯火部分の画素領域を好適に抽出することができる。また、システムコントローラ２０は、矢印信号の灯火色である青色を示す画素に限定して抽出処理を行うことで、矢印信号の灯火部分以外の画素を誤って抽出するのを好適に防ぐことができる。

（３）矢印信号の種類の認識
次に、システムコントローラ２０は、各連結画素領域Ｔｐを含む最小の矩形領域を分割した領域（「分割領域Ｔｄ」とも呼ぶ。）中の当該連結画素領域Ｔｐの各画素数に基づき、各連結画素領域Ｔｐが示す矢印信号の種類を認識する。これについて、図５を参照して説明する。

図５は、図４に示す連結画素領域Ｔｐ１、Ｔｐ２と、各分割領域Ｔｄ（Ｔｄ１Ａ〜Ｔｄ１Ｄ、Ｔｄ２Ａ〜Ｔｄ２Ｄ）との位置関係を示す図である。図５に示すように、分割領域Ｔｄ１Ａ〜Ｔｄ１Ｄは、連結画素領域Ｔｐ１を含む最小の矩形領域を、縦及び横に２等分して区切った４つの領域である。また、分割領域Ｔｄ２Ａ〜Ｔｄ２Ｄは、連結画素領域Ｔｐ２を含む最小の矩形領域を、縦及び横に２等分して区切った４つの領域である。

この場合、まず、システムコントローラ２０は、各分割領域Ｔｄに含まれる連結画素領域Ｔｐ１、Ｔｐ２の画素数を算出する。そして、システムコントローラ２０は、算出した各分割領域Ｔｄの画素数に基づき、各連結画素領域Ｔｐ１、Ｔｐ２について、左側、右側、上側のいずれに位置する分割領域Ｔｄに画素数が偏っているかを判定することで、各連結画素領域Ｔｐが示す矢印信号の種類を認識する。

例えば、システムコントローラ２０は、連結画素領域Ｔｐ１では、左側に位置する分割領域Ｔｄ１Ａ、Ｔｄ１Ｃの合計画素数が、右側の分割領域Ｔｄ１Ｂ、１Ｄの合計画素数及び上側の分割領域Ｔｄ１Ａ、Ｔｄ１Ｂの合計画素数よりも大きいことから、連結画素領域Ｔｐ１が左矢印を示すと認識する。同様に、システムコントローラ２０は、連結画素領域Ｔｐ２では、上側の分割領域Ｔｄ２Ａ、Ｔｄ２Ｂの合計画素数が、右側の分割領域Ｔｄ２Ｂ、２Ｄの合計画素数及び左側の分割領域Ｔｄ２Ａ、Ｔｄ２Ｃの合計画素数よりも大きいことから、連結画素領域Ｔｐ２が上矢印を示すと認識する。

このように、システムコントローラ２０は、各連結画素領域Ｔｐに対して分割領域Ｔｄを設定し、各分割領域Ｔｄ中に占める連結画素領域Ｔｐの画素数を算出することで、各連結画素領域Ｔｐが示す矢印信号の種類を好適に認識することができる。

［処理フロー］
（１）処理概要
まず、システムコントローラ２０が実行する処理概要を説明する。図６は、システムコントローラ２０が実行する本実施例に係る処理概要を示すフローチャートである。システムコントローラ２０は、図６に示すフローチャートの処理を繰り返し実行する。

まず、システムコントローラ２０は、車両が停車中であるか否か判定する（ステップＳ１０１）。例えば、システムコントローラ２０は、距離センサ１３が出力する車速パルスやＧＰＳ受信機１８のＧＰＳ測位データ等から車速を得て、車速が０になったか否かを判定する。そして、車両が停車した場合（ステップＳ１０１；Ｙｅｓ）、システムコントローラ２０は、カメラ１４から画像Ｉｍを取得する（ステップＳ１０２）。一方、車両が停車していない場合（ステップＳ１０１；Ｎｏ）、システムコントローラ２０は、フローチャートの処理を終了する。

次に、ステップＳ１０３では、システムコントローラ２０は、赤信号が点灯しているか否か判定する（ステップＳ１０３）。例えば、システムコントローラ２０は、周知の画像処理技術により画像Ｉｍから赤信号の信号灯の候補領域を認識し、当該候補領域が所定周期で点滅しているか否か判定することで、ＬＥＤ信号機の赤信号の点灯の有無を判定する。なお、ＬＥＤ信号機での赤信号の点灯を認識する方法については、例えば特開２００５−３０１５１８号公報に記載されている。

そして、赤信号が点灯していることを検出した場合（ステップＳ１０３；Ｙｅｓ）、システムコントローラ２０は、後述する図７のフローチャートに示す矢印信号認識処理を実行する（ステップＳ１０４）。一方、赤信号が点灯していることを検出できなかった場合（ステップＳ１０３；Ｎｏ）、システムコントローラ２０は、フローチャートの処理を終了する。

（２）矢印信号認識処理
図７は、図６のフローチャートのステップＳ１０４でシステムコントローラ２０が実行する矢印信号認識処理のフローチャートである。

まず、システムコントローラ２０は、画像Ｉｍをカメラ１４から取得する処理（ステップＳ２０１）、及び、対象範囲Ｒｔａｇ内での画素ごとの最低輝度値をメモリに記憶する処理（ステップＳ２０２）を、対象期間Ｔｔａｇ内で繰り返す（ステップＳ２０３）。この場合、システムコントローラ２０は、対象範囲Ｒｔａｇを、赤信号の表示位置を基準に矢印信号の表示位置を含む範囲に定めると共に、対象期間Ｔｔａｇを、ＬＥＤ信号機の点灯中の信号の点滅の周期よりも長く、かつ、信号表示が変更する虞がない程度に短い時間幅に設定する。

そして、矢印信号認識処理を開始してから対象期間Ｔｔａｇが経過した場合（ステップＳ２０３；Ｙｅｓ）、システムコントローラ２０は、比較画像Ｉｍｃの画素のうち、最低輝度値よりも所定の閾値以上高い輝度を有し、矢印信号の点灯時の色相である青色を示す画素を抽出する（ステップＳ２０４）。これにより、システムコントローラ２０は、矢印信号の矢印を示す画素を抽出する。

次に、システムコントローラ２０は、ステップＳ２０５で抽出した画素から、隣接する画素群を一まとまりとする領域である連結画素領域Ｔｐを認識する（ステップＳ２０５）。これにより、システムコントローラ２０は、点灯状態の矢印信号ごとに、その信号灯が示す矢印の領域をそれぞれ認識する。

そして、システムコントローラ２０は、各連結画素領域Ｔｐを含む最小の矩形領域を上下左右均等にそれぞれ２分割した分割領域Ｔｄごとの連結画素領域Ｔｐの画素数をそれぞれ算出する（ステップＳ２０６）。そして、システムコントローラ２０は、分割領域Ｔｄごとの連結画素領域Ｔｐの画素数に基づき、各連結画素領域Ｔｐが示す矢印の種類を認識する（ステップＳ２０７）。具体的には、システムコントローラ２０は、算出した画素数に基づき、各連結画素領域Ｔｐについて、左側、右側、上側のいずれの分割領域Ｔｄに画素数が偏っているかを判定することで、各連結画素領域Ｔｐが示す矢印信号の種類を認識する。

以上説明したように、本実施例に係るナビゲーション装置１のシステムコントローラ２０は、車両に搭載されたカメラ１４により信号機周辺の画像を取得する。また、システムコントローラ２０は、車両が停車状態の対象期間Ｔｔａｇ中に取得された複数の画像Ｉｍを基に、対象範囲Ｒｔａｇ内の画素ごとの最低輝度値を記憶する。さらに、システムコントローラ２０は、対象期間Ｔｔａｇ中又はその直後に取得された画像Ｉｍのうち少なくとも１つの画像Ｉｍに基づく輝度値と、最低輝度値との差分を画素ごとに算出する。そして、システムコントローラ２０は、上述の輝度差が所定の閾値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する。これにより、ナビゲーション装置１は、点灯状態の信号灯の形状を好適に認識して、当該信号灯が示す信号の種類を好適に認識することができる。

［変形例］
以下、実施例の各変形例について説明する。なお、これらの各変形例は、組み合わせて上述の実施例に適用してもよい。

（変形例１）
図７の矢印信号認識処理のステップＳ２０２において、システムコントローラ２０は、対象範囲Ｒｔａｇ内での画素ごとの最低輝度値に加えて、対象範囲Ｒｔａｇ内での画素ごとの最も高い輝度値（「最高輝度値」とも呼ぶ。）をさらに保持してもよい。これにより、システムコントローラ２０は、点灯状態の矢印信号の点灯した矢印を示す各画素の輝度を最高輝度値として好適に保持する。

図８は、本変形例に係る矢印信号認識処理のフローチャートを示す。図８のフローチャートでは、システムコントローラ２０は、ステップＳ３０２で、対象範囲Ｒｔａｇ内での画素ごとの最低輝度値及び最高輝度値をデータ記憶ユニット３６などのメモリに記憶する。そして、対象期間Ｔｔａｇの経過後のステップＳ３０４では、システムコントローラ２０は、比較画像Ｉｍｃに代えて対象範囲Ｒｔａｇ内の各画素の最高輝度値を対象に、最低輝度値よりも所定閾値以上高く、かつ、青色の最高輝度値の画素を抽出する。そして、システムコントローラ２０は、ステップＳ２０５〜ステップＳ２０７と同様に、ステップＳ３０５〜ステップＳ３０７の処理を実行する。

本変形例によれば、システムコントローラ２０は、ステップＳ３０４で、矢印信号の点灯時での矢印信号を示す各画素の輝度値と、矢印信号の消灯時での矢印信号を示す各画素の輝度値とを好適に比較することができ、矢印信号の灯火部分を示す画素の抽出精度を向上させることができる。そして、本変形例では、システムコントローラ２０は、本発明における「第２記憶手段」として機能する。

なお、システムコントローラ２０は、対象範囲Ｒｔａｇの各画素の輝度値のうち、統計処理により算出したばらつきを示す指標が所定量を超える輝度値を除外した残りの輝度値から最高輝度値を定めてもよい。上述のばらつきを示す指標は、例えば、対象の各画素での輝度値の平均値との差の二乗であってもよく、他のばらつきを示す種々の統計的な指標であってもよい。これにより、システムコントローラ２０は、突発的なノイズの影響に起因して、最高輝度値を、ノイズの影響による異常値に設定するのを好適に抑制することができる。

（変形例２）
ナビゲーション装置１が図６及び図７のフローチャートで実行する処理の一部の処理を、ナビゲーション装置１と接続するサーバ装置が実行してもよい。図９は、変形例に係るシステムの一例である。図９に示すように、ナビゲーション装置１は、ネットワーク２００を介してサーバ装置３００と接続する。そして、サーバ装置３００は、ナビゲーション装置１から送信される画像Ｉｍ等に基づき、矢印信号認識処理などを実行し、その処理結果をナビゲーション装置１に送信する。

（変形例３）
実施例では、ナビゲーション装置１は、矢印信号灯を含む範囲に対象範囲Ｒｔａｇを設定し、当該対象範囲Ｒｔａｇ内の対象期間Ｔｔａｇでの輝度の変化に基づき、矢印を示す画素領域を抽出して矢印の種類を認識した。これに代えて、ナビゲーション装置１は、矢印信号以外の信号灯を含む範囲に対象範囲Ｒｔａｇを設定し、当該対象範囲Ｒｔａｇ内の対象期間Ｔｔａｇでの輝度の変化に基づき信号灯の点灯部分を示す画素領域を抽出して当該信号灯が示す信号の種類を認識してもよい。

例えば、ナビゲーション装置１は、歩行者用の信号灯を含む範囲に対象範囲Ｒｔａｇを設定し、当該対象範囲Ｒｔａｇ内の対象期間Ｔｔａｇでの輝度の変化に基づき歩行者用の信号灯のマーク部分の形状を抽出してもよい。この場合、ナビゲーション装置１は、抽出したマークの形状を認識することで、歩行可の信号灯が点灯しているか、又は歩行不可を示す信号灯が点灯しているかを認識する。

１ナビゲーション装置
１０自立測位装置
１４カメラ
１８ＧＰＳ受信機
２０システムコントローラ
２２ＣＰＵ
３６データ記憶ユニット
３８通信装置
４０表示ユニット
４４ディスプレイ
６０入力装置

Claims

移動体が所定期間に、撮像手段により取得した信号機周辺の複数の画像を基に、前記信号機周辺の画像の最低輝度に類する第１輝度及び前記所定期間中に取得された複数の画像のうち少なくとも１つの画像に基づく輝度との差分を画素ごとに算出する算出手段と、
前記差分が所定値以上となる画素が構成する形状を基に、点灯している信号の種類を認識する認識手段と、
を備える信号機認識装置。