JP2020160510A - 信号灯表示判別装置、信号灯表示判別方法及びプログラム - Google Patents

Abstract

【課題】信号灯の表示状態を精度良く判別できる信号灯表示判別装置を提供する。【解決手段】信号灯表示判別装置は、撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、第１領域に近接する第２領域についての画像に関する情報を取得する情報取得部と、情報取得部により取得された第１領域及び第２領域についての画像に関する情報に基づいて、第１領域に含まれる表示部の表示状態を判別する判別部と、を有する。【選択図】図８

Description

本発明は、信号灯表示判別装置、信号灯表示判別方法及びプログラムに関する。

信号灯は、表示状態によって装置の稼働状況を報知するために用いられる。装置管理者は、信号灯の表示を目視して確認することにより、装置の稼働状況を確認する。装置管理者の負担を軽減するために、特許文献１に示すような技術がある。

特許文献１に記載の発明では、カメラで撮影した信号灯の画像を点灯状態の平均輝度及び消灯状態の平均輝度と比較して、信号灯の表示状態を判別する。

特開２０００−３５３２９２号公報

しかしながら、例えば積層型の信号灯のように発光部同士が近接した信号灯の場合、特許文献１に記載の発明では、隣接する発光部からの光漏れ等により、消灯している発光部を発光していると誤検出する可能性が高くなる。

そこで、本発明は、上記問題を解決するためになされたものであり、信号灯の表示状態を精度良く判別できる信号灯表示判別装置、信号灯表示判別方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の信号灯表示判別装置は、
撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得部と、
前記情報取得部により取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する判別部と、
を有する。

本発明によれば、信号灯の表示状態を精度良く判別することができる。

本発明の実施形態に係る生産設備管理システムの構成図である。 本発明の実施形態に係る信号灯の概略を示す図である。 本発明の実施形態に係る信号灯表示判別装置のブロック図である。 本発明の実施形態に係るガンマ補正のグラフである。 本発明の実施形態に係る信号灯表示判別装置が算出する明度の構成を示す図である。 本発明の実施形態に係る信号灯表示判別装置の信号灯の判別処理のフローチャートである。 本発明の実施形態に係る信号灯表示判別装置の信号灯位置情報設定処理のフローチャートである。 本発明の実施形態に係る信号灯表示判別装置の信号灯表示判別処理のフローチャートである。 本発明の変形例に係る信号灯の概略を示す図である。

本発明の実施形態に係る信号灯表示判別装置を備える生産設備管理システムについて、以下、図面を参照して詳細に説明する。

［生産設備管理システムの構成］
図１に示すように、生産設備管理システム１００は、例えば工場の生産設備に設置される積層型の信号灯群１０（信号灯１１，１２，１３）と、信号灯１１，１２，１３の表示状態を撮像して判別する信号灯表示判別装置２０と、を備える。工場の生産設備管理者は、生産設備管理システム１００の信号灯表示判別装置２０を監視することにより、工場の生産設備の稼働状況等を把握する。

（信号灯の構成）
図２に示すように、信号灯１１，１２，１３は、積層型の信号灯であり、生産設備のコンベア（図示せず）の稼働状態を報知するためのものである。信号灯１１，１２，１３は、基部１４、表示部１５、生産設備のコンベアの稼働状態を感知するセンサ（図示せず）、表示部１５及びセンサ等を制御する制御部（図示せず）を備える。

基部１４は、表示部１５を挟持する。基部１４は、不透明の、例えばＡＢＳ（Ａｃｒｙｌｏｎｉｔｒｉｌｅ Ｂｕｔａｄｉｅｎｅ Ｓｔｙｒｅｎｅ）樹脂製の筒状体であり、下部を床、壁面又はコンベア等に固定されている。本実施形態において、表示部１５は、灯火（灯火部）１６，１７，１８の３灯の灯火を備える。灯火１６，１７，１８は、透光性を有するアクリル樹脂製の筒状体と、筒状体内部に配置されたＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）とを有する。灯火１６のＬＥＤは、赤色に点灯し、灯火１７のＬＥＤは、黄色に点灯し、灯火１８のＬＥＤは、緑色に点灯する。灯火１６は、生産ラインが異常停止している時に点灯する。灯火１７は、生産設備のコンベアが所定の速度未満である時に点灯する。灯火１８は、生産設備のコンベアが所定の速度以上である時に点灯する。従業員の休憩や生産設備の点検等で生産設備が停止している時には、灯火１６〜灯火１８のいずれも点灯しない。信号灯１１，１２，１３に不具合等がある場合には、灯火１６，１７，１８のうち複数の灯火が点灯する場合がある。信号灯１１，１２，１３は、それぞれ別のコンベアに設置されている。

（信号灯表示判別装置の構成）
信号灯表示判別装置２０は、信号灯１１，１２，１３のそれぞれの灯火１６，１７，１８が点灯しているか消灯しているかを判別し、判別結果をユーザに提示する装置である。図３に示すように、信号灯表示判別装置２０は、撮像部３０と、制御部４０と、記憶部５０と、表示部６０と、を備える。信号灯表示判別装置２０は、撮像部３０によって信号灯１１，１２，１３を同時に撮像することができる位置に配置されている。

撮像部３０は、信号灯１１，１２，１３を撮像する。撮像部３０は、撮像装置（カメラ）を１台備え、撮像装置３１は、本実施形態では、一般的なデジタルカメラと同じ機能を有する。撮像装置３１は、信号灯１１，１２，１３との距離を５ｍ以上の距離を確保して配置されている。撮像部３０は、本実施形態において、生産設備が稼働中に、画角１００度、３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）で撮像装置３１により信号灯１１，１２，１３を撮像する。撮像部３０は、撮像した画像を制御部４０に送信する。

制御部４０は、撮像部３０から送信された画像から信号灯１１，１２，１３を検出し、太陽光や隣接する灯火の影響を補正し、各灯火１６，１７，１８の明度及び明度の変化の割合を算出して、信号灯１１，１２，１３の各表示部１５の表示状態を判別する。制御部４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成され、記憶部５０に記憶されたプログラムを実行することにより、後述する各部（設定部４１、検出部４２、算出部４３、情報取得部４４、補正部４５、判別部４６）の機能を実現する。また、制御部４０は、時計（図示せず）を備え、現在日時の取得や経過時間のカウントをすることができる。

記憶部５０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、設定記憶部５１や明度記憶部５２を含む。ＲＯＭには制御部４０のＣＰＵが実行するプログラム（例えば、後述する表示部１５の明度の算定をはじめとする信号灯表示判別処理に係るプログラム）や、プログラムを実行する上で予め必要なデータが記憶されている。ＲＡＭには、プログラム実行中に作成されたり変更されたりするデータが記憶される。

設定記憶部５１には、後述する設定部４１で設定される信号灯１１，１２，１３の位置情報や各種初期設定等が記憶される。

明度記憶部５２には、後述する制御部４０で算出された信号灯１１，１２，１３の各灯火１６，１７，１８のフレーム毎の明度Ｖが記憶される。信号灯１１，１２，１３の各灯火１６，１７，１８のフレーム毎の色相や模様等を保存してもよい。

表示部６０は、制御部４０から送信された、信号灯１１，１２，１３の灯火１６，１７，１８の表示状況を表示する。表示部６０は、液晶表示パネル（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）から構成された表示装置６１を備える。

表示装置６１としては、薄膜トランジスタ（ＴＦＴ：Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）、液晶、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）などを採用できる。

次に、信号灯表示判別装置２０の制御部４０の機能的構成について説明する。制御部４０は、設定部４１、検出部４２、算出部４３、情報取得部４４、補正部４５、判別部４６の機能を実現し、撮像された画像から信号灯１１，１２，１３の各灯火１６，１７，１８のフレーム毎の明度Ｖや明度の変化の割合ｒａｔｅを算出し、各表示部１５の表示状態を判別する。

設定部４１は、信号灯１１，１２，１３の表示部１５の位置情報の設定を行う。位置情報には、撮像画像内での表示部１５の領域の位置や範囲、撮像装置３１の画角やズーム倍率等が含まれる。撮像画像内での表示部１５の領域の設定は、撮像装置３１設置時に信号灯１１，１２，１３の全点灯時及び全消灯時の静止画画像の差分をとることにより行われる。設定部４１は、図２に破線で示すように、設定された表示部１５の領域を３分割し、上から灯火１６の領域、灯火１７の領域、灯火１８の領域と設定する。詳細は後述する。画角やズーム倍率は、設定部４１によって、撮像装置３１から自動的に取得される。

図３に戻り、検出部４２は、撮像部３０から受信した画像から、設定部４１によって設定された画像内での表示部１５の領域についての画素値Ｃを検出し、算出部４３に送信する。画像を取り込む際のガンマ補正は、図４に示すように、リニア設定にて処理する。

図３に戻り、算出部４３は、検出された画素値Ｃを、輝度信号（Ｙ）と色差（輝度信号と赤色成分の差、輝度信号と青色成分の差であるＵ及びＶ）の組み合わせで表した８ｂｉｔ入力のＹＵＶ色空間からＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ）色空間に変換する。算出部４３は、画像から算出して得られた明度を情報取得部４４に送信する。

情報取得部４４は、取得した明度に対して、最小値０、最大値１００（パーセント）とする正規化を行って、フレームにおける明度Ｖを算出する。情報取得部４４は、新たなフレームを取得する毎に信号灯１１，１２，１３の各灯火１６，１７，１８の領域内の明度Ｖの平均値Ｖｈを算出し、それぞれ明度記憶部５２に、図５に示すように、フレーム０、フレーム１、フレーム２、…、フレームＮにＶｈ_１、Ｖｈ_２、…Ｖｈ_Ｎとして記憶する。また、情報取得部４４は、新たなフレームを取得する毎に、明度Ｖｈを用いて所定の期間ｔ、本実施形態では１０フレームの間における信号灯１１，１２，１３の各灯火１６，１７，１８の明度の移動平均値ａｖｅ０、ａｖｅ１、ａｖｅ２、…、ａｖｅＮを算出し、補正部４５に送信する。本実施形態では、フレームレートが３０ｆｐｓであるので、商用電源周波数の６０Ｈｚや５０Ｈｚの公約数となる１０のフレームについて移動平均を用いることで、蛍光灯の揺らぎや明度が低い時の撮像素子ノイズの影響を低減させることができる。

図３に戻り、補正部４５は、隣接する灯火の現在の画像（フレームＮ）における明度Ｖｈ_Ｎ２及び所定の期間ｔ、本実施形態では、現在の画像の直前の１０フレームの平均値ａｖｅＮ２に基づいて、判別する灯火の現在の画像における明度Ｖｈ_Ｎ１と所定の期間ｔの画像の移動平均値の明度ａｖｅＮ１とをそれぞれ補正する。補正の詳細は後述する。補正部４５は、判別する灯火について、補正された明度Ｖｈ_Ｎ１を明度ａｖｅＮ１で除した後１００を掛けて、判別する灯火の明度の変化の割合ｒａｔｅＮを算出する。

判別部４６は、補正部４５から送信されたｒａｔｅＮが所定の閾値以上、本実施形態では１２５以上であれば、その灯火の表示状態が点灯状態に変化したと判別する。また、判別部４６は、ｒａｔｅＮが所定の閾値未満、本実施形態では８０未満であれば、その灯火の表示状態が消灯状態に変化したと判別する。判別部４６は、灯火の表示状態の判別結果を表示部６０に送信する。

以上、生産設備管理システム１００の機能・構成について説明した。次に、生産設備管理システム１００の信号灯表示判別装置２０の信号灯の判別処理について図６を用いて説明する。

まず、信号灯表示判別装置２０の電源がＯＮされ、信号灯表示判別装置２０の各種設定が初期化される。また、信号灯１１，１２，１３の電源もＯＮされる。設定部４１は、信号灯表示判別装置２０の初期設定である信号灯位置情報設定処理を行う（ステップＳ１０１）。詳細は後述する。

次に、測光方法を設定する。設定部４１は、測光方式を、平均測光とし（ステップＳ１０２）、撮像装置３１のレンズのフォーカス設定を、過焦点に設定する（ステップＳ１０３）。信号灯１１，１２，１３と撮像装置３１との距離を５ｍ以上確保していることにより、過焦点より遠くにピントが合うので、信号灯表示判別装置の稼働中でのフォーカス位置の変更が不要になり、画角の変動もない。

設定部４１は、ホワイトバランスを、オート設定とし（ステップＳ１０４）、顔検出等の機能はＯＦＦにする（ステップＳ１０５）。ガンマ補正（階調補正）は、リニア設定とする（ステップＳ１０６）。一般的なカメラでは、表示デバイスやプリントの関係等から、カーブ１．８や２．２などの曲線が一般的であるが、信号灯１１，１２，１３のそれぞれの灯火１６，１７，１８の変化を、ありのままに把握するためにリニア設定を採用する。設定部４１は、上記の各種設定を設定記憶部５１に記憶させ、信号灯群１０及び信号灯表示判別装置２０の設定に変更がない場合に、設定記憶部５１の設定を利用し、起動時の再設定を省略する。

その後、信号灯表示判別処理が行われ、判別部４６は、信号灯１１，１２，１３のそれぞれの灯火１６，１７，１８に点灯、消灯があったか否かを判別し、判別結果を制御部４０に送信する（ステップＳ１０７）。信号灯表示判別処理の詳細は後述する。

制御部４０は、信号灯表示判別処理の結果を表示部６０に表示する（ステップＳ１０８）。生産設備管理者は、表示部６０を目視することにより、信号灯１１，１２，１３を直接目視確認すること無く、信号灯１１，１２，１３の表示状態を確認できる。

信号灯表示判別装置２０の電源がＯＦＦされた場合（ステップＳ１０９：Ｙｅｓ）、終了する。

信号灯表示判別装置２０の電源がＯＦＦされていない場合（ステップＳ１０９：Ｎｏ）、ステップＳ１０７に戻る。

以上、信号灯表示判別装置２０の信号灯の判別処理を説明した。次に、信号灯位置情報設定処理について図７を用いて説明する。

まず、設定部４１は、信号灯１１，１２，１３の全ての灯火１６，１７，１８が消灯された状態の画像Ｐを撮像し、設定記憶部５１に保存する（ステップＳ２０１）。

次に、設定部４１は、信号灯１１，１２，１３の全ての灯火１６，１７，１８が点灯された状態の画像Ｌを撮像し、設定記憶部５１に保存する（ステップＳ２０２）。

設定部４１は、画像Ｐと画像Ｌとの差分Ｄを取った後に二値化画像処理を行って得られた画像Ｇを表示部６０に表示する（ステップＳ２０３）。

画像Ｐ、画像Ｌの撮像の際に、移動する人や物等がノイズとして差分Ｄに表示される場合があるので、設定部４１は、画像Ｇへのフィルター処理を行い、差分Ｄからノイズを除去する（ステップＳ２０４）。

設定部４１は、ノイズ除去された画像Ｇに、領域ごとにラベリングを行い、本実施形態では、信号灯１１，１２，１３の表示部１５の領域に番号が付される。これにより、設定部４１は、信号灯の台数を判別する（ステップＳ２０５）。

設定部４１は、ラベル情報を元に枠（信号灯１１，１２，１３の表示部１５の領域の境界）を検出する。これにより、設定部４１は、信号灯１１，１２，１３の表示部１５の位置を設定し設定記憶部５１に記憶する（ステップＳ２０６）。なお、本実施形態では、表示部１５は灯火１６，１７，１８の３灯を有するので、設定部４１は、表示部１５の領域を３分割し、上から灯火１６，１７，１８の３つの領域に設定する。また、設定部４１は、画像Ｌや画像Ｐより撮像装置３１の画角を設定し設定記憶部５１に記憶する。設定部４１は、フレームレートを、本実施形態では、３０ｆｐｓに設定し、設定記憶部５１に記憶して終了する。

以上、信号灯表示判別装置２０の信号灯位置情報設定処理を説明した。次に信号灯表示判別処理について図８を用いて説明する。例として、フレームＮの元となる画像が撮像部３０に撮像される時点において、信号灯１１の灯火１６の表示状態に変化があったか否かを判別する場合について説明する。なお、説明を簡略化するために、後述する所定の期間ｔ（１０フレーム）の途中では、いずれの灯火１６，１７，１８も、点灯及び消灯しないものとする。

まず、撮像部３０は、撮像装置３１に信号灯群１０（信号灯１１，１２，１３）の画像を撮像させる。撮像部３０は、撮像した画像を検出部４２に送信する（ステップＳ３０１）。

検出部４２は、撮像された画像から、信号灯１１について、設定部４１に指定された灯火１６及び灯火１７の画素値Ｃを検出し、算出部４３に送信する（ステップＳ３０２）。

算出部４３は、検出された画素値ＣをＹＵＶによる色空間の情報からＨＳＶによる色空間の情報へと変換する。算出部４３は、画像から算出して得られた灯火１６及び灯火１７の明度を情報取得部４４に送信する（ステップＳ３０３）。

情報取得部４４は、取得した明度を用いて、信号灯１１の表示部１５の灯火１６及び灯火１７について、以下の（１）式によってｍ＝０，Ｍ＝１００（最小値０、最大値１００（パーセント））とする正規化を行い、フレームにおける明度Ｖｔ１、Ｖｔ２を算出する（ステップＳ３０４）。

情報取得部４４は、フレーム毎に信号灯１１の灯火１６，１７の領域内の明度Ｖｔ１、Ｖｔ２の平均値Ｖｈ１、Ｖｈ２を算出し、それぞれ明度記憶部５２に、図５に示すように、フレーム０、フレーム１、フレーム２、…、フレームＮ−１にＶｈ１_１、Ｖｈ１_２、…Ｖｈ１_Ｎ−１、Ｖｈ２_１、Ｖｈ２_２、…Ｖｈ２_Ｎ−１として記憶する。また、情報取得部４４は、明度Ｖｈ１、Ｖｈ２の平均値を用いて所定の期間ｔである（最新のフレームＮを除く）１０フレームにおける信号灯１１の灯火１６，１７の最新の移動平均明度ａｖｅＮ１、ａｖｅＮ２を算出し、補正部４５に送信する（ステップＳ３０５）。

また、情報取得部４４は、灯火１６，１７の指定範囲毎に、撮像した最新のフレームＮの画素の明度平均値ｎｅｗＮ１、ｎｅｗＮ２を算出し、補正部４５に送信する（ステップＳ３０６）。

補正部４５は、灯火１６の指定範囲について、明度の変化の割合ｒａｔｅ１を、以下の（２）式によって算出する。
ｒａｔｅ１＝ｎｅｗＮ１÷ａｖｅＮ１×１００（パーセント）…（２）

また、補正部４５は、灯火１６に隣接する灯火１７の指定範囲について、ｒａｔｅ２を、ｎｅｗＮ１をｎｅｗＮ２に、ａｖｅＮ１をａｖｅＮ２に置き換えて（２）式により算出する（ステップＳ３０７）。

補正部４５は、本実施形態において、ｒａｔｅ２が１２５以上となった場合（隣接する灯火１７が点灯した場合）、ｒａｔｅ２が８０未満となった場合（灯火１７が消灯した場合）、フレームＮ以前のフレームにおいて判別部４６が灯火１７が点灯したと判別した後ｒａｔｅ２が８０未満になっていない場合、のいずれかに該当する場合（ステップＳ３０８；Ｙｅｓ）、ｒａｔｅ１を以下の式（３）により補正して灯火１６の明度の変化の割合ｒａｔｅ＿ＬＴを算出し、判別部４６に送信する（ステップＳ３０９）。ステップＳ３０８を満たす３つの場合には、灯火１６の明度の変化に灯火１７の明度の影響があると考えられるので、その影響を低減させるために下記（３）式を用いて灯火１６の明度の変化の割合を補正する。
ｒａｔｅ＿ＬＴ＝ｒａｔｅ１÷ｒａｔｅ２×１００（パーセント）…（３）

ｒａｔｅ２が８０以上１２５未満となった場合（ステップＳ３０８；Ｎｏ）、補正部４５は、ｒａｔｅ＿ＬＴを、（２）式で算出されたｒａｔｅ１の値とし（ステップＳ３１５）、ｒａｔｅ＿ＬＴを判別部４６に送信し、ステップＳ３１０に進む。

ステップＳ３１０において、判別部４６は、ｒａｔｅ＿ＬＴが１２５以上である場合（ステップＳ３１０；Ｙｅｓ）、灯火１６が点灯したと判別し（ステップＳ３１１）、判別結果を制御部４０に送信して終了する。

ｒａｔｅ＿ＬＴが１２５未満である場合（ステップＳ３１０；Ｎｏ）、ステップＳ３１２に進む。判別部４６は、ｒａｔｅ＿ＬＴが８０未満である場合（ステップＳ３１２；Ｙｅｓ）、灯火１６が消灯したと判別し（ステップＳ３１３）、判別結果を制御部４０に送信して終了する。

ｒａｔｅ＿ＬＴが８０以上である場合（ステップＳ３１２；Ｎｏ）、灯火１６の表示状態に変化なしと判別し（ステップＳ３１４）、判別結果を制御部４０に送信して終了する。

上記の説明は、灯火１６について判別する場合の説明であったが、灯火１７について判別する場合は、灯火１６，１８の明度の変化の影響を考慮する。灯火１８について判別する場合は、上記説明同様に、灯火１７の明度の変化の影響を考慮する。

また、上記の説明は、所定の期間ｔである１０フレーム内では、灯火１６，１７は、点灯及び消灯しない場合についてのものであったが、１０フレーム内に灯火１６，１７のいずれか又は両方が点灯又は消灯した場合には、明度に大きく変化があった後、１１フレーム以上経過してから、灯火１６の表示状態の判別を行うものとすればよい。

以上説明したように、信号灯表示判別装置２０は、隣接する灯火１７の明度の変化（点灯や消灯等）の割合に基づいて信号灯１１の灯火１６の明度の変化の割合を判別するので、隣接する灯火１７の明度の変化の影響（例えば灯火１７の点灯による反射板や接合部からの光漏れ等、灯火１７の消灯等の影響）を低減できる。従って、信号灯表示判別装置２０は、信号灯１１の灯火１６の表示状態を精度良く判別できる。特に、積層型信号灯等のように灯火が互いに隣接又は近接している場合に判別精度が向上する。また、灯火１６，１７の明度の変化の割合を最新のフレームに対応した所定の期間での移動平均に基づいて算出しているので、信号灯表示判別装置２０は、信号灯１１の灯火１６の表示状態の判別を、例えばゆっくりと変化する日照の変化等にも対応して行うことができる。

（変形例）
上記の実施形態では、隣接する灯火の影響を考慮したが、環境光の変化、例えば窓からの太陽光の変化や工場内の照明等を考慮することにより、信号灯の表示状態の判別精度をさらに向上させることができる。具体的には、図９に破線で示すように、灯火１８直下の基部１４の参照領域（非灯火部）１９を領域に設定する。この参照領域１９は発光することもなく、内部からの光の透過もないので、この参照領域１９の明度の変化は、環境光の変化を精度よく表すものになる。参照領域１９の変化の割合ｒａｔｅＲを、上記（３）式から除し、１００を掛けることで、環境光の変化による灯火の明度の変化の影響を低減させることができ、灯火の表示状態の判別精度を向上させることができる。また、隣接する灯火１７の代わりに、参照領域１９の明度を使用してもよい。参照領域１９は、灯火１６，１７，１８に隣接していなくてよく、灯火１６，１７，１８と環境光の影響がほぼ同程度である範囲で近接しているとよい。

上記の実施形態では、明度の変化により信号灯の表示状態を判別したが、色相の変化により信号灯の表示状態を判別してもよいし、明度及び色相の変化により信号灯の表示状態を判別してもよい。色相の変化を考慮する場合、数色の表示が可能な１灯式の信号灯の表示状態を判別することができる。例えば、前段落の参照領域１９の色相をグレー１８パーセントと設定し、この参照領域１９の色相を基準にして環境光の影響を考慮しつつ各灯火の色相を補正する。これにより、信号灯の灯火の表示状態を色相を基準に精度よく判別することができる。なお、色相を基準に信号灯の表示状態の判別を行う場合、領域の設定は、上記実施形態のように各灯火で行うのではなく、各信号灯で行えば足りる。

また、上記の実施形態では、隣接する灯火の影響を考慮したが、他の灯火、例えば、灯火１６の表示状態を判別する場合に隣接する灯火１７の明度だけでなく灯火１８の明度の影響も考慮してもよい。この場合、灯火１７の明度のほうが灯火１８よりも灯火１６の明度への影響が大きいので、灯火１８の明度の影響が小さくなるように数式（３）の調整を行うとよい。

上記の実施形態では、明度の変化により信号灯の表示状態を判別したが、模様の変化により信号灯の表示状態を判別してもよいし、明度、色相、模様のいずれか２つ以上の変化により信号灯の表示状態を判別してもよい。模様の変化の判別は、例えば、画像認識により行うとよい。模様としては、例えば、矢印、縞模様、市松模様、部品の形状、○×等、または、文字等を利用できる。或いは、画像に関する情報から取得できる他の要素、例えば、輝度や彩度等を利用してもよい。

また、上記の実施形態では、明度の変化の割合ｒａｔｅ１を補正したが、明度の変化の割合の補正を行わず、例えば、隣接する灯火１７と灯火１６との明度差と点灯、消灯の判別のための閾値との対応テーブル等を作成し、利用することにより、隣接する灯火等の影響を低減させてもよい。

上記の実施形態では、隣接する灯火１７の影響を図８のステップＳ３０８で場合分けしてｒａｔｅ１を補正したが、ステップＳ３０８で場合分けする事なくｒａｔｅ１にｒａｔｅ２を反映させてもよい。

上記の実施形態では、同一の信号灯１１の灯火１６に隣接する灯火１７の影響を考慮したが、他の信号灯１２，１３の灯火１６，１７，１８の影響を考慮してもよい。他の信号灯１２，１３が信号灯１１に近接している場合などには、信号灯１１の表示状態の判別の精度を向上できる。

上記の実施形態では、３灯の信号灯について表示状態を判別したが、２灯の信号灯、或いは４灯以上の信号灯について表示状態を判別してもよい。また、灯火の色や灯火の色の組み合わせも、上記の実施形態以外の灯火の色や灯火の色の組み合わせであってもよい。

上記の実施形態では、ＹＵＶ色空間からＨＳＶ色空間への変換を行ったが、他の変換、例えば輝度信号（Ｙ）と色差（輝度信号と青色成分の差、輝度信号と赤色成分の差であるＰｂ及びＰｒ）の組み合わせで表したＹＰｂＰｒ色空間からＨＬＳ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｌｕｍｉｎａｔｉｏｎ）色空間への変換を行う等、変換前後の色空間は他の色空間であってもよい。

上記の実施形態では、１０フレームの移動平均明度を使用したが、１０フレーム以外のフレーム数の移動平均明度でもよいし、１フレームの明度を使用してもよい。

上記の実施形態では、明度について正規化を行ったが、正規化を行わなくてもよい。

上記の実施形態では、判別部４６は、ｒａｔｅ＿ＬＴが１２５以上となった場合に点灯、ｒａｔｅ＿ＬＴが８０未満となった場合に消灯と判別したが、判別部４６が点灯、消灯と判別するしきい値は、これらの数値以外であってもよい。

上記の実施形態では、灯火１６，１７，１８のそれぞれ全体を領域に設定したが、例えば、灯火１６，１７，１８のＬＥＤの近くの領域だけを設定したり、灯火１６，１７，１８の右半分或いは左半分の領域を設定したりしてもよい。また、図１に示すように、灯火１６，１７，１８は、互いに離れていてもよく、互いの領域の表示状態に影響を与える位置に近接して配置されていればよい。灯火１６，１７，１８は、縦に並んでいるのでは無く、横や斜めに並んでいてもよい。

上記の実施形態では、信号灯表示判別装置２０は、生産設備管理システム１００に使用されていたが、信号灯表示判別装置２０は、例えば、物流設備を管理するシステム等、生産設備や倉庫等の様々な設備の管理に使用することができる。

上記の実施形態では、信号灯表示判別装置２０の表示部６０に信号灯の表示状況を表示していたが、信号灯表示判別装置２０が通信部を備え、通信部を介して外部機器のモニター等に信号灯の表示状況を表示してもよい。

上記の実施形態では、信号灯表示判別装置２０の撮像部３０は撮像装置３１を備えていたが、信号灯表示判別装置２０が通信部を備え、撮像装置を備えておらず、通信部を介して外部機器のカメラ等から信号灯の表示状況を撮像して画像を取得してもよい。また、撮像部３０は撮像措置を複数台有していてもよく、複数台の撮像装置によってより多くの信号灯を撮像させることができる。

上記の実施形態では、設定部４１により、表示部１５の位置情報の設定を行っていたが、ユーザに信号灯１１，１２，１３の表示部１５の位置情報の設定を行わせてもよい。位置情報の設定は、撮像装置３１設置時に静止画画像を取得し、取得した静止画画像を参照してユーザに信号灯１１，１２，１３の表示部１５及び参照領域１９の位置をＰＣやタブレットを用いて指定させることにより行われる。

この発明の信号灯表示判別装置２０の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のコンピュータによっても実施することができる。具体的には、上記実施形態では、信号灯表示判別装置２０が行う信号灯表示判別処理のプログラムが、記憶部５０のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）及びＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｄｉｓｃ）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記）
（付記１）
撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得部と、
前記情報取得部により取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する判別部と、
を有する信号灯表示判別装置。

（付記２）
前記情報取得部により取得された前記第２領域についての前記画像に関する情報に基づいて、前記第１領域の画像に関する情報を補正する補正部をさらに有し、
前記判別部は、前記補正部により補正された前記第１領域の画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する、
付記１に記載の信号灯表示判別装置。

（付記３）
前記撮像部により撮像された画像から明度を算出する算出部をさらに有し、
前記画像に関する情報は、前記算出部により算出された明度を含む、
付記１又は２に記載の信号灯表示判別装置。

（付記４）
前記撮像部により撮像された画像から色相を算出する算出部をさらに有し、
前記画像に関する情報は、前記算出部により算出された色相を含む、
付記１から３のいずれか１つに記載の信号灯表示判別装置。

（付記５）
前記撮像部により撮像された画像は、模様を含む、
付記１から４のいずれか１つに記載の信号灯表示判別装置。

（付記６）
前記画像に関する情報の所定の期間における変化の割合を算出する算出部をさらに有し、
前記画像に関する情報は、前記算出部により算出された前記画像に関する情報の所定の期間における変化の割合を含む、
付記１から５のいずれか１つに記載の信号灯表示判別装置。

（付記７）
前記情報取得部は、前記第１領域及び前記第２領域として、前記撮像部により撮像された信号灯の第１灯火部及び第２灯火部の領域についての画像に関する情報を取得する、
付記１から６のいずれか１つに記載の信号灯表示判別装置。

（付記８）
前記情報取得部は、前記第１領域及び前記第２領域として、前記撮像部により撮像された信号灯の灯火部及び非灯火部の領域についての画像に関する情報を取得する、
付記１から７のいずれか１つに記載の信号灯表示判別装置。

（付記９）
前記情報取得部は、前記撮像部により撮像された信号灯毎に、前記第１領域及び前記第２領域についての画像に関する情報を取得する、
付記１から８のいずれか１つに記載の信号灯表示判別装置。

（付記１０）
前記表示部は、３以上の灯火部を備え、
前記情報取得部は、前記撮像部により撮像された信号灯の表示部を含む領域である、前記第１領域に近接する第３領域の画像に関する情報をさらに取得し、
前記判別部は、前記第２領域及び前記第３領域の画像に関する情報に基づいて、前記第１領域の表示状態を判別する、
付記１から９のいずれか１つに記載の信号灯表示判別装置。

（付記１１）
撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得ステップと、
前記情報取得ステップにおいて取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する判別ステップと、
を有する信号灯表示判別方法。

（付記１２）
コンピュータに、
撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得し、
取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する、
ように機能させるためのプログラム。

１０…信号灯群、１１，１２，１３…信号灯、１４…基部、１５…表示部、１６，１７，１８…灯火（灯火部）、１９…参照領域（非灯火部）、２０…信号灯表示判別装置、３０…撮像部、３１…撮像装置、４０…制御部、４１…設定部、４２…検出部、４３…算出部、４４…情報取得部、４５…補正部、４６…判別部、５０…記憶部、５１…設定記憶部、５２…明度記憶部、６０…表示部、６１…表示装置、１００…生産設備管理システム

上記目的を達成するため、本発明の信号灯表示判別装置は、
撮像手段により撮像された信号灯の表示手段の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得手段と、
前記情報取得手段により取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第２領域に含まれる前記表示手段の表示状態を判別する判別手段と、
前記判別手段により前記第２領域に含まれる前記表示手段の表示状態が閾値未満の状態を所定の期間継続していないと判別された場合、前記第２領域についての前記画像に関する情報に基づいて、前記第１領域の画像に関する情報を補正する補正手段と、
を備える。

Claims (12)

1. 撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得部と、
   前記情報取得部により取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する判別部と、
   を有する信号灯表示判別装置。
2. 前記情報取得部により取得された前記第２領域についての前記画像に関する情報に基づいて、前記第１領域の画像に関する情報を補正する補正部をさらに有し、
   前記判別部は、前記補正部により補正された前記第１領域の画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する、
   請求項１に記載の信号灯表示判別装置。
3. 前記撮像部により撮像された画像から明度を算出する算出部をさらに有し、
   前記画像に関する情報は、前記算出部により算出された明度を含む、
   請求項１又は２に記載の信号灯表示判別装置。
4. 前記撮像部により撮像された画像から色相を算出する算出部をさらに有し、
   前記画像に関する情報は、前記算出部により算出された色相を含む、
   請求項１から３のいずれか１項に記載の信号灯表示判別装置。
5. 前記撮像部により撮像された画像は、模様を含む、
   請求項１から４のいずれか１項に記載の信号灯表示判別装置。
6. 前記画像に関する情報の所定の期間における変化の割合を算出する算出部をさらに有し、
   前記画像に関する情報は、前記算出部により算出された前記画像に関する情報の所定の期間における変化の割合を含む、
   請求項１から５のいずれか１項に記載の信号灯表示判別装置。
7. 前記情報取得部は、前記第１領域及び前記第２領域として、前記撮像部により撮像された信号灯の第１灯火部及び第２灯火部の領域についての画像に関する情報を取得する、
   請求項１から６のいずれか１項に記載の信号灯表示判別装置。
8. 前記情報取得部は、前記第１領域及び前記第２領域として、前記撮像部により撮像された信号灯の灯火部及び非灯火部の領域についての画像に関する情報を取得する、
   請求項１から７のいずれか１項に記載の信号灯表示判別装置。
9. 前記情報取得部は、前記撮像部により撮像された信号灯毎に、前記第１領域及び前記第２領域についての画像に関する情報を取得する、
   請求項１から８のいずれか１項に記載の信号灯表示判別装置。
10. 前記表示部は、３以上の灯火部を備え、
    前記情報取得部は、前記撮像部により撮像された信号灯の表示部を含む領域である、前記第１領域に近接する第３領域の画像に関する情報をさらに取得し、
    前記判別部は、前記第２領域及び前記第３領域の画像に関する情報に基づいて、前記第１領域の表示状態を判別する、
    請求項１から９のいずれか１項に記載の信号灯表示判別装置。
11. 撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得する情報取得ステップと、
    前記情報取得ステップにおいて取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する判別ステップと、
    を有する信号灯表示判別方法。
12. コンピュータに、
    撮像部により撮像された信号灯の表示部の少なくとも一部を含む領域のうち、第１領域、及び、前記第１領域に近接する第２領域についての画像に関する情報を取得し、
    取得された前記第１領域及び前記第２領域についての画像に関する情報に基づいて、前記第１領域に含まれる前記表示部の表示状態を判別する、
    ように機能させるためのプログラム。