JP2020187396A

JP2020187396A - 矢印方向特定装置及び矢印方向特定方法

Info

Publication number: JP2020187396A
Application number: JP2019089544A
Authority: JP
Inventors: 和寿石丸; Kazuhisa Ishimaru; 泰士末久; Taishi Suehisa
Original assignee: Denso Corp; Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 2019-05-10
Filing date: 2019-05-10
Publication date: 2020-11-19
Anticipated expiration: 2039-05-10
Also published as: JP7184705B2

Abstract

【課題】矢印を表示する標識における矢印の方向を簡易に且つ精度良く特定可能にする。【解決手段】矢印を表示する標識における矢印の方向を特定する矢印方向特定装置１００は、周辺環境を撮像する撮像装置から得られる撮像画像内において、標識に表示された矢印を特定する標識特定部１２と、特定された矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって矢印を表す色と関連する画素値を有する画素の数をカウントし、矢印含有領域の横方向の長さの全体に亘って、画素位置毎のカウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成するヒストグラム生成部１３と、縦方向ヒストグラムを利用して、矢印の方向を特定する方向特定部１４と、を備える。【選択図】図１

Description

本開示は、矢印方向特定装置に関する。

従来より、車両の自動運転制御等の目的のため、路上の標識を精度良く識別したいという要請がある。このような標識には、例えば、一方通行の標識や、所定の通行制限区間を示す標識のように、矢印を表示する標識が含まれる。特許文献１には、地図情報に応じて物体の識別器を切り換え、物体が何の標識であるかを識別する。

特開２０１８−９７７３８号公報

矢印を表示する標識では、矢印の方向が重要な意味を有する。特許文献１に記載の技術では、矢印を含む標識の種類、言い換えると矢印の方向の示す意味、例えば一方通行である旨や制限区間の開始や終了である旨は、予め地図情報に含まれている。したがって、かかる地図情報に基づき、矢印の方向を特定できる。しかし、特許文献１に記載の技術では、膨大なデータが付加された地図情報を用いるため、矢印の方向を特定する装置に必要な処理能力、消費電力、およびコストが膨大なものとなる。例えば、かかる装置が車両に搭載されて用いられる場合には、処理リソースが限られているため、特許文献１の技術を適用できないおそれもある。そこで、矢印を表示する標識における矢印の方向を簡易に且つ精度良く特定可能な技術が望まれている。

本開示は、以下の形態として実現することが可能である。

本開示の一形態によれば、矢印を表示する標識における前記矢印の方向を特定する矢印方向特定装置（１００）が提供される。この矢印方向特定装置は、周辺環境を撮像する撮像装置から得られる撮像画像内において、前記標識に表示された前記矢印を特定する標識特定部（１２）と、特定された前記矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成するヒストグラム生成部（１３）と、前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する方向特定部（１４）と、を備える。

この形態の矢印方向特定装置（１００）によれば、特定された矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって矢印を表す色と関連する画素値を有する画素の数をカウントし、矢印含有領域の横方向の長さの全体に亘って、画素位置毎のカウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成し、縦方向ヒストグラムを利用して、矢印の方向を特定するので、膨大なデータが付加された地図情報を用いることなく矢印の方向を特定できる。このため、矢印の方向を特定する装置に必要な処理能力、消費電力、およびコストが膨大なものとならず、矢印を表示する標識における矢印の方向を簡易に且つ精度良く特定できる。

本開示は、矢印方向特定装置以外の種々の形態で実現することも可能である。例えば、矢印方向特定方法、矢印方向特定装置の制御方法、装置の機能や方法を実現するためのコンピュータプログラム、かかるコンピュータプログラムを記憶した記憶媒体等の形態で実現できる。

本開示の一実施形態としての矢印方向特定装置の機能構成を示すブロック図である。矢印判定処理の手順を示すフローチャートである。矢印を含む補助標識が付随した最高速度制限の標識の一例を示す説明図である。図３に示す画像から切り出された候補領域の一例を示す説明図である。補助標識推定領域の切り出し処理の手順を示すフローチャートである。切り出された補助標識推定領域をリサイズ処理して得られた画像を示す説明図である。ヒストグラム作成処理の手順を示すフローチャートである。横方向ヒストグラムの一例を示す説明図である。縦方向ヒストグラムの一例を示す説明図である。縦方向ヒストグラムに特徴量を示した説明図である。第１実施形態における方向特定処理の手順を示すフローチャートである。第２実施形態における方向特定処理の手順を示すフローチャートである。第３実施形態における方向特定処理の手順を示すフローチャートである。矢印を含む主標識の一例を示す説明図である。

Ａ．第１実施形態：
Ａ１．装置構成：
図１に示される矢印方向特定装置１００は、標識に表された矢印の方向を特定する装置である。本実施形態において、矢印の方向が表わされた標識とは、主標識に付随して用いられる補助標識が該当する。このような補助標識としては、例えば、所定の制限速度が定められていることを示す主標識に対して、かかる制限速度が定められている区間（通行制限区間）を示す補助標識が該当する。具体的には、日本国においては、右向きの矢印の補助標識は、通行制限区間の開始を示し、両方向の矢印の補助標識は、通行制限区間内であることを示し、左向きの矢印の補助標識は、通行制限区間の終了を示す。

矢印方向特定装置１００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０と、メモリ２０と、外部インターフェイス（外部Ｉ／Ｆ）１５とを備えるＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）として構成されている。ＣＰＵ１０とメモリ２０は内部バスにより互いに通信可能に接続されている。本実施形態において、矢印方向特定装置１００は、図示しない車両に搭載されて用いられる。具体的には、矢印方向特定装置１００により特定された矢印の方向に基づき、補助標識の種類、例えば、通行制限区間の開始を示す補助標識であることが特定され、かかる補助標識を示すアイコンが、車両内の表示装置に表示される。かかる表示装置としては、例えば、インストルメントパネル内の液晶パネルや、ヘッドアップディスプレイなどが該当する。このようなアイコンが表示されることにより、運転者は、車両が走行制限区間に入ったことを知ることができる。

ＣＰＵ１０は、メモリ２０に予め記憶されている制御用プログラムを読み出して実行することにより、取得部１１、標識特定部１２、ヒストグラム生成部１３、方向特定部１４として、機能する。

取得部１１は、車両の周囲を撮像して得られた画像データを取得する。矢印方向特定装置１００は、外部インターフェイス１５を介して車両内に配置されているネットワーク１６に接続されている。このネットワーク１６には、車両に搭載されている撮像装置１８用の制御装置１７も接続されている。取得部１１は、制御装置１７およびネットワーク１６を介して、撮像装置１８により得られた画像データを取得する。撮像装置１８は、車両のイグニッションがオンして給電されると撮像を開始する。撮像は、例えば、１秒間に２４フレーム等のフレームレートで行われる。そして、撮像により得られた各フレーム画像が取得部１１により取得される。本実施形態において、ネットワーク１６は、ＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）により構成されている。なお、ＣＡＮに代えてＬＩＮ（ＬｏｃａｌＩｎｔｅｒｃｏｎｎｅｃｔＮｅｔｗｏｒｋ）やＥｔｈｅｒｎｅｔ（登録商標）が用いられてもよい。

標識特定部１２は、取得部１１によって取得された画像データに基づき、撮像画像内における標識を特定する。具体的には、標識特定部１２は、撮像画像全体に対して、走査窓を少しずつずらしながら領域の画像特徴量を計算し、その画像特徴量が標識の特徴量に似たものを探索して標識を特定する。このような画像特徴量としては、例えば、大きさ、形状、画素値（ＲＧＢの値）、エッジの形状などが該当する。標識特定部１２は、標識を特定するために、後述するように、主標識認識と、補助標識切り出し処理と、リサイズ処理と、２値化処理とを行う。

ヒストグラム生成部１３は、標識特定部１２により特定された標識内において、矢印の色を示す値を有する画素値の画素数をカウントし、ヒストグラムを生成する。このような矢印の色を示す値としては、例えば、所定の色相、彩度および明度を有する赤色に該当するＲＧＢの値が該当する。なお、かかる画素値は単一の値（ＲＧＢの単一の組み合わせ）に限らず、Ｒ、Ｇ、Ｂのそれぞれについて所定の範囲を持つ色空間に含まれる任意の画素値であってもよい。ヒストグラムの詳細については、後で説明する。

方向特定部１４は、ヒストグラム生成部１３によって生成されたヒストグラムを用いて、矢印の方向を特定する。具体的な矢印の特定方法については、後述する。

Ａ２．矢印判定処理：
図２に示す矢印判定処理は、補助標識の矢印の方向を特定する処理である。矢印判定処理は、矢印方向特定装置１００の電源がオンし、取得部１１により撮像画像が取得されると開始される。

標識特定部１２は、主標識を認識する（ステップＳ１００）。前述したように、標識特定部１２は、取得部１１によって取得された画像データ全体に対して、走査窓を少しずつずらしながら領域の画像特徴量を計算し、その画像特徴量が主標識の特徴量に似たものを探索して主標識を認識する。その結果、例えば、図３に示されるような速度制限を示す主標識１２１と、かかる速度制限の区間の開始を示す補助標識１２２とが含まれる領域Ｗにおける画像特徴量に基づき、主標識１２１が認識される。

図２に示すように、標識特定部１２は、補助標識切り出し処理を行う（ステップＳ１１０）。補助標識切り出し処理とは、主標識１２１の位置を基準として、補助標識が存在すると推定される予め定められた位置および大きさの領域（補助標識推定領域と呼ぶ）を所定の領域として特定して切り出す処理である。当該処理によって、補助標識が存在する領域の絞り込みが可能となる。

具体的には、図５に示すような手順にて補助標識推定領域の切り出し処理が行われる。標識特定部１２は、主標識１２１の下部における所定の位置、大きさおよび形状の領域を、候補領域として切り出す（ステップＳ１１１）。本実施形態において、候補領域１２０の形状は矩形である。例えば、図３に示すように、領域Ｗにおいて、ステップＳ１００により特定された主標識１２１の下部の破線で示す矩形の領域が候補領域１２０として切り出される。主標識および補助標識の大きさ、また、主標識に対する補助標識の相対的な位置は、予め所定の規定にて定められている。したがって、候補領域として切り出す領域の位置および大きさは、補助標識が含まれるような位置および大きさとなるように、予め実験等により定められて設定されている。

図５に示すように、標識特定部１２は、候補領域１２０に対して２値化処理を行う（ステップＳ１１２）。具体的には、補助標識の赤色を表す画素値範囲として予め定められた範囲内の画素値を有する画素を白色（数値１）に設定して、かかる範囲に含まれない画素を黒色（数値０）に設定する。このため、図４に示す候補領域１２０では、ステップＳ１１２によって、主標識の円環部分の領域１２１ａの各画素と、補助標識の矢印部分の領域１２３の各画素とが、白色（数値１）に設定され、その他の領域の画素が黒色（数値０）に設定される。

図５に示すように、標識特定部１２は、２値化された画像で白色（数値１）を示す領域を連結して連結画像として、各連結画像にラベル付けを行う処理（ラベリング）を行う（ステップＳ１１３）。図４の例では、領域１２１ａおよび領域１２３が、連結画像としてそれぞれラベル付けされる。例えば、領域１２１ａの連結画像に対してラベル「１」が、領域１２３の連結画像に対してラベル「２」がそれぞれ付与される。なお、図４では、図示の便宜上、領域１２１ａおよび領域１２３以外の領域についても白色にて表わされている。

図５に示すように、標識特定部１２は、各ラベルの連結画像において、補助標識の矢印らしくない予め定められた除去条件に該当する除去対象領域があるかどうか判定する（ステップＳ１１４）。予め定められた除去条件として、例えば下記条件１〜３が挙げられる。
（条件１）長辺／短辺比が小さい。
（条件２）縦または横の長さが短い補助標識の矢印。
（条件３）領域に対して線形回帰を実行し、回帰直線との残差が大きい場合。

矢印は長細い形状上の特徴がある。このため、長辺／短辺比が小さいときは正方形に近くなるので、除去条件となる（条件１）。縦または横の長さが短い場合、領域が小さくなりすぎてノイズなのか補助標識の矢印か分かりづらいので除去条件となる（条件２）。また、領域に対して線形回帰を実行した場合に、回帰線との残差が大きい場合も除去条件となる（条件３）。例えば、図４において、ラベル１が付与された領域１２１ａに対して線形回帰を実行した場合、破線１２４辺りに図示しない回帰直線が引かれる。また、ラベル２が付与された領域１２３に対して線形回帰を実行した場合、破線１２５辺りに図示しない回帰直線が引かれる。この場合、ラベル２が付与された領域１２３と破線１２５辺りの回帰直線とは、平行に近い。すなわち、領域１２３から破線１２５辺りの回帰直線に垂線を引いた場合、垂線の長さに相当する残差はほとんどない。他方、ラベル１が付与された領域１２１ａに対して線形回帰を実行した場合、破線１２４辺りに図示しない回帰直線が引かれる。ラベル１が付与された領域１２１ａと破線１２４辺りの回帰直線とは、平行または略平行でなく、また、領域１２１ａの一部は破線１２４から大きく離れている。すなわち、領域１２１ａから破線１２４辺りの回帰直線に垂線を引いた場合、垂線の長さに相当する残差が大きくなるので、ラベル１が付与された領域１２１ａは、除去対象領域である。

図５に示すように、各ラベルが付与された連結画像で、上記条件１から条件３までのいずれかに該当する除去対象領域があると判定された場合（ステップＳ１１４：Ｙｅｓ）、標識特定部１２は、該当除去対象領域を除去する（ステップＳ１１５）。他方、各ラベルが付与された連結画像で、上記条件１から条件３までのいずれにも該当する除去対象領域がないと判定された場合（ステップＳ１１４：Ｎｏ）、または、上述のステップＳ１１５の完了後、標識特定部１２は、絞り込まれた連結画像の周辺を補助標識推定領域として切り出す（ステップＳ１１６）。図４の例においては、標識特定部１２は、ラベル２が付与された連結画像１２３の周辺の所定の位置、大きさおよび形状の領域を特定し、かかる領域と同じ位置および大きさの領域を補助標識推定領域１２６として、撮像画像から切り出す。ステップＳ１１６の実行後、図２に示すステップＳ１２０が実行される。なお、補助標識推定領域は、本開示の矢印含有領域の下位概念に相当する。

標識特定部１２は、ステップＳ１１０により切り出された補助標識推定領域１２６に対してリサイズ処理を行う（ステップＳ１２０）。標識特定部１２は、リサイズ化された領域を２値化する（ステップＳ１３０）。このステップＳ１３０では、上述したステップＳ１１２における２値化処理と同じ処理が行われる。図６に示すように、例えば、標識特定部１２は、ステップＳ１２０において、補助標識推定領域１２６に対して、縦４０ピクセル（ｐｉｘ）、横９６ピクセル（ｐｉｘ）にリサイズ化する処理を行う。リサイズ化処理によって、判定対象領域が一定の大きさに正規化されるので、小さすぎる領域や大きすぎる領域が混在することなく、矢印方向の判定精度にばらつきが生じることが回避される。なお、標識特定部１２によるリサイズ処理後の大きさは、上述の４０ｐｉｘ×９６ｐｉｘに限らず、任意の大きさであってもよい。図６には、補助標識の矢印に対応する画素が白色の画素として表わされている。かかる矢印の上下に横方向に延びる白線が描かれているが、これら２つの白線については、後述する。ステップＳ１３０が実行されることにより、赤系の矢印領域が白色となり、それ以外は黒色となる。当該２値化処理によって、矢印と背景の判別が明瞭となる。

図２に示すように、ヒストグラム生成部１３は、ステップＳ１３０により２値化された領域に対してヒストグラム作成処理を行う（ステップＳ１４０）。具体的には、図７に示すように、ヒストグラム生成部１３は、横方向ヒストグラムを作成する（ステップＳ１４２）。横方向ヒストグラムとは、補助標識推定領域の縦方向に沿った画素位置ごとに横方向に並んだ画素であって白色（数値１）の画素値を有する画素の数をカウントし、補助標識推定領域の縦方向の長さの全体に亘って、画素位置毎のカウントされた画素の数の横方向の合計値を示すヒストグラムを意味する。なお、白色（数値１）は、矢印の色（赤色）と関連する画素値といえる。例えば、ヒストグラム生成部１３は、図６に示される縦方向に沿った画素位置ごとに横方向に並んだ画素で、白色の値（数値１）を有する画素の数をカウントする。そして、図６の縦方向の画素位置を横軸にし、各画素位置のカウント数を縦軸にして、図８に示される横方向ヒストグラムを作成する。図７に示すように、ヒストグラム生成部１３は、縦方向ヒストグラムを生成する前に、横方向ヒストグラムを生成する。

図７に示されるように、ヒストグラム生成部１３は、横方向ヒストグラムにおける最大値を示す縦方向位置を特定する（ステップＳ１４４）。図８の例では、最大値である約７５を示す縦方向位置（約２２ｐｉｘ）が特定される。図７に示すように、ヒストグラム生成部１３は、横方向ヒストグラムにおける最大値を示す縦方向位置を含んだ縦方向における所定範囲を特定する（ステップＳ１４６）。本実施形態では、最大値を示す縦方向位置を中心として上下に所定の長さの範囲が特定される。図８の例では、ヒストグラム生成部１３は、最大値を示す縦方向位置約２２を中心として、上下にそれぞれ１０ｐｉｘの範囲、すなわち、１２ｐｉｘ〜３２ｐｉｘの範囲を特定する。当該特定された範囲は、図６においては、横軸と平行の２本の白線、すなわち、１２ｐｉｘの白線と３２ｐｉｘの白線に囲まれた領域に相当し、当該範囲が後述する処理（ステップＳ１４８）の対象となる。

図７に示すように、ヒストグラム生成部１３は、縦方向ヒストグラムを生成する（ステップＳ１４８）。縦方向ヒストグラムとは、補助標識推定領域の横方向に沿った画素位置ごとに縦方向に並んだ画素であって白色（数値１）の画素値を有する画素の数をカウントし、補助標識推定領域の横方向の長さの全体に亘って、画素位置毎のカウントされた画素の数の縦方向の合計値を示すヒストグラムを意味する。このとき、ヒストグラム生成部１３は、ステップＳ１４６により特定された範囲内を処理対象として、縦方向ヒストグラムを生成する。例えば、図６の２値化画像に基づき、上下２つの白線で囲まれた範囲内における白色の画素の数がカウントされ、図９に示す縦方向ヒストグラムが生成される。ステップＳ１４８の完了後、図２に示す矢印方向特定処理が実行される（ステップＳ１５０）。

方向特定部１４は、矢印方向特定処理を行う（ステップＳ１５０）。具体的には、図１１に示すように、方向特定部１４は、データ長による除外判定として、入力データ、すなわち取得部１１により取得された画像データの横幅が有効な横幅以下であるか否かを判定する（ステップＳ１５１）。本実施形態では、有効な横幅を４０ｐｉｘにしているが、当該値に限らず任意の値でよい。方向特定部１４は、入力データの有効な横幅が有効な横幅以下であると判定した場合（ステップＳ１５１：Ｙｅｓ）、方向特定の判定を行わない（ステップＳ１５２）。例えば、撮像装置１８の故障などに起因して撮像画像の大きさが小さくなり、横幅が４０ｐｉｘ以下の画像データが取得された場合には、かかる画像データに基づく方向特定の判定は行われない。

方向特定部１４は、入力データの有効な横幅が有効な横幅以下でないと判定した場合（ステップＳ１５１：Ｎｏ）、両方向の矢印であるか否かの判定を行う（ステップＳ１５３）。具体的には、方向特定部１４は、まず、縦方向ヒストグラムにおけるピーク左の値、ピーク右の値、および中央フラット部の平均値を求める。ここで、ピーク左とは、縦方向ヒストグラムにおける中央フラット部の左側の領域で最もカウント数が大きい位置である。同様にして、ピーク右とは、縦方向ヒストグラムにおける中央フラット部の右側の領域で最もカウント数が大きい位置である。本実施形態においては、中央フラット部とは、図９および図１０に示すように、縦方向ヒストグラムのうち、縦方向ヒストグラムの作成の対象となった縦方向画素範囲全体における中央寄りの８０％の領域におけるカウント値を意味する。補助標識の矢印においては、かかる領域の縦方向の幅（高さ）はほぼ一定であるため、白色画素のカウント値も一定となり、ヒストグラム上では、フラットな領域となる。ピーク左値は、中央フラット部の左側であって全体の１０％に当たる領域のうちで、最もカウント数が大きい位置であり、ピーク右値は、中央フラット部の右側であって全体の１０％に当たる領域のちで、最もカウント数が大きい位置である。

図１１に示すように、方向特定部１４は、右比＞２．０であり、かつ、左比＞２．０を満たす否かの判定を行う。右比とは、ピーク右値と中央フラット部の平均値の比（ピーク右値／中央フラット部の平均値）を意味する。左比とは、ピーク左値と中央フラット部の平均値の比（ピーク左値／中央フラット部の平均値）を意味する。ピーク左値およびピーク右値が、それぞれ中央フラット部の平均値に対して２．０より大きい、すなわち、矢印を示すカウント数が両端部分において大きいということは、矢印の先端の三角形部分を両端に有すると判断できる。そこで、方向特定部１４は、（右比）＞２．０、かつ、（左比）＞２．０であると判定した場合に両方向の矢印であると判定し（ステップＳ１５３：Ｙｅｓ）、対象標識は両方向矢印であると特定する（ステップＳ１５４）。方向特定部１４は、（右比）＞２．０、かつ、（左比）＞２．０でないと判定した場合、両方向の矢印ではないと判定する（ステップＳ１５３：Ｎｏ）。

両方向の矢印ではないと判定された場合（ステップＳ１５３：Ｎｏ）、方向特定部１４は、左右比の値が０．７未満か否かの判定を行う（ステップＳ１５５）。左右比とは、ピーク左値とピーク右値との比率（ピーク左値／ピーク右値）を意味する。方向特定部１４は、左右比の値が０．７未満であると判定した場合（ステップＳ１５５：Ｙｅｓ）、対象画像は右方向の矢印であると特定する（ステップＳ１５６）。上式で示す左右比の値が、０．７未満であるということは、ピーク右値がピーク左値に対してカウント数が大きいことから、対象画像が右方向の矢印であることが推測される。本実施形態では、片方向矢印の判定の閾値を０．７としているが、他の値でもよい。方向特定部１４は、左右比の値が０．７未満でない、すなわち０．７以上であると判定した場合（ステップＳ１５５：Ｎｏ）、対象画像は、左方向の矢印、または、両方向の矢印であると特定する（ステップＳ１５７）。

ステップＳ１５２〜Ｓ１５７の完了後、図２に示すように、矢印方向特定（ステップＳ１５０）は完了し、処理はステップＳ１００に戻る。

以上説明した第１実施形態の矢印方向特定装置１００は、周辺環境を撮像する撮像装置から得られる撮像画像内において、標識に表示された矢印を特定する標識特定部１２と、特定された矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって矢印を表す色と関連する画素値を有する画素の数をカウントし、矢印含有領域の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成するヒストグラム生成部１３と、縦方向ヒストグラムを利用して、矢印の方向を特定する方向特定部１４と、を備える。したがって、矢印方向特定装置１００によれば、膨大なデータが付加された地図情報を用いることなく矢印の方向を特定できる。このため、矢印の方向を特定する装置に必要な処理能力、消費電力、およびコストが膨大なものとならず、矢印を表示する標識における矢印の方向を簡易に且つ精度良く特定できる。

また、本実施形態の矢印方向特定装置１００において、方向特定部１４は、縦方向ヒストグラムにおいて、少なくとも左側ピークと右側ピークとを特定し、ピーク左値と、ピーク右値との比（ピーク左値／ピーク右値）が、予め定められた閾値よりも小さい場合は、対象画像は右方向矢印であると特定し、他方、当該比の値が予め定められた閾値以上の場合は、対象画像は左方向矢印または両方向矢印であると特定する。このため、矢印を表示する標識における矢印の方向を簡易に特定できる。

さらに、本実施形態の矢印方向特定装置１００において、方向特定部１４は、縦方向ヒストグラムにおいて、少なくとも左側ピークと、右側ピークと、縦方向ヒストグラムにおける横方向の中央部の合計値の平均値と、を特定し、平均値と左側ピークとの比である第１比と、平均値と右側ピークとの比である第２比とが、予め定められた閾値より大きいと判定した場合、対象画像は、両方向の矢印であると特定するので、矢印を表示する標識における矢印が両方向であるか否かを簡易に特定できる。

Ｂ．第２実施形態：
第２実施形態の矢印方向特定装置１００の構成は、第１実施形態の矢印方向特定装置１００と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。第２実施形態の矢印方向特定装置１００は、矢印方向特定処理（ステップＳ１５０）の詳細手順において第１実施形態の矢印方向特定装置１００と異なる。矢印判定処理のその他の手順は、第１実施形態と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。

図１２に示す第２実施形態の矢印方向特定処理は、ステップＳ１６６、Ｓ１６７、Ｓ１６８を追加して実行する点において、図１１に示す第１実施形態の矢印方向特定処理と異なる。第２実施形態の矢印方向特定処理におけるその他の手順は、第１実施形態と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。第２実施形態の矢印方向特定装置１００は、傾きを用いて方向を特定する点において、第１実施形態の矢印方向特定装置１００と異なる。

上述のステップＳ１５５において、左右比の値が０．７未満でない、すなわち、０．７以上であると判定された場合（ステップＳ１５５：Ｎｏ）、方向特定部１４は、後述する回帰直線の傾きが０．０２以上であるか否かを判定する（ステップＳ１６６）。このステップＳ１６６の詳細手順について説明する。方向特定部１４は、まず、図９に示される縦方向ヒストグラムを用いて、全データの平均値を求める。方向特定部１４は、各データの数値、すなわち各画素値のカウント数から平均値を差し引いて偏差を求める。方向特定部１４は、求められた偏差を用いた最小二乗法により、一次線形直線である回帰直線を求め、かかる回帰直線の傾きを求める。すなわち、方向特定部１４は、縦方向ヒストグラムにおける横方向の変化を、一次線形直線で近似する。そして、方向特定部１４は、求められた傾きが０．０２以上であるか否かを判定する。

傾きが０．０２以上であると判定された場合（ステップＳ１６６：Ｙｅｓ）、方向特定部１４は、右方向の矢印と特定する（ステップＳ１６７）。方向特定部１４は、傾きが０．０２未満である場合（ステップＳ１６６：Ｎｏ）、左方向の矢印または両方向の矢印であると特定する（ステップＳ１６８）。回帰直線の傾きが０．０２以上である場合、右肩上がりの直線であるので、矢印を示す白色の数値のカウント数が右側に多く、対象画像の右端に矢印を示す三角形部分が存在することが推測される。従ってこの場合、右方向矢印と特定するようにしている。他方、回帰直線の傾きが０．０２未満である場合、左肩上がりの直線または水平方向にフラットな直線であるので、矢印を示す白色の数値のカウント数が左側に多く対象画像の左端に矢印を示す三角形部分が存在する場合、或いは、左右の両端に矢印を示す三角形部分が存在する場合が推測される。そこで、この場合、左方向の矢印または両方向の矢印であると特定するようにしている。上述のステップＳ１６６における閾値は、０．０２に限らず、他の任意の値であってもよい。例えば、閾値を０とした場合、方向特定部１４は、回帰直線の傾きがプラスまたはマイナスのいずれかで、矢印の方向を特定してもよい。

以上説明した第２実施形態の矢印方向特定装置１００は、第１実施形態の矢印方向特定装置１００と同様の効果を有する。加えて、第２実施形態の矢印方向特定装置１００においては、方向特定部１４は、右比かつ左比と、左右比とに加えて、傾きを用いて矢印の方向を特定しているので、矢印を表示する標識における矢印の方向を更に精度良く特定できる。

Ｃ．第３実施形態：
第３実施形態の矢印方向特定装置１００の構成は、第１実施形態の矢印方向特定装置１００と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。第３実施形態の矢印方向特定装置１００は、矢印方向特定処理（ステップＳ１５０）の詳細手順において第１実施形態の矢印方向特定装置１００と異なる。矢印判定処理のその他の手順は、第１実施形態と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。

図１３に示す第３実施形態の矢印方向特定処理は、ステップＳ１５３およびＳ１５４を省略する点において、図１２に示す第２実施形態の矢印方向特定処理と異なる。第３実施形態の矢印方向特定処理におけるその他の手順は、第２実施形態の矢印方向特定処理と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。第３実施形態の矢印方向特定処理では、ステップＳ１５１において、入力データの横幅は有効な横幅以下でないと判定した場合（ステップＳ１５１：Ｎｏ）、上述のステップＳ１５５が実行され、左右比の値が０．７未満か否かの判定が行われる。

以上説明した第３実施形態の矢印方向特定装置１００は、第１実施形態および第２実施形態の矢印方向特定装置１００と同様の効果を有する。第１実施形態の矢印方向特定装置１００に対して、第３実施形態の矢印方向特定装置１００においては、方向特定部１４は、主に両方向の矢印判定のために行う右比かつ左比を用いた判定処理を省略して、傾きを用いて矢印の方向を特定している。本実施形態においては、方向特定部１４は、両方向の矢印判定のための右比かつ左比を用いた判定は行わないので、片側方向特定を重視しており、矢印を表示する標識における矢印の方向を簡易に特定し、片側方向を精度良く特定できる。

Ｄ．他の実施形態：
（Ｄ１）各実施形態では、主標識に対して、矢印が付随的な補助標識を対象としていたが、本開示はこれに限定されない。矢印を示す標識が主標識であってもよい。例えば、図１４に示されるように、一方通行を示す主標識２００の矢印を対象としてもよい。

（Ｄ２）各実施形態において、方向特定部１４は、左右比による判定や、傾きによる判定など、複数の特徴量を用いて、矢印の方向特定を行っているが、本開示はこれに限定されない。方向特定部１４は、１つの特徴量のみで矢印の方向特定を行ってもよい。例えば、方向特定部１４は、左右比のみの判定、または、傾きのみの判定、を行って矢印の方向を行ってもよい。これにより簡易な判定ができる。

（Ｄ３）各実施形態では、車両に搭載された矢印方向特定装置１００を対象としていたが、本開示はこれに限定されない。矢印方向特定装置１００は、車両に搭載されていなくてもよい。また、表示装置に矢印が表示されなくてもよい。矢印の方向を音声出力によって案内してもよい。さらに、特定された矢印の方向は、メモリ２０に記憶されるだけでもよい。また、矢印方向特定装置１００により特定された矢印の方向は、補助標識または主標識の種類の特定に用いられているが、本開示はこれに限定されない。矢印方向特定装置１００により特定された矢印の方向は、メモリ２０に記憶するために用いられてもよい。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した形態中の技術的特徴に対応する各実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１２標識特定部、１３ヒストグラム生成部、１４方向特定部、１００矢印方向特定装置

Claims

矢印を表示する標識における前記矢印の方向を特定する矢印方向特定装置（１００）であって、
周辺環境を撮像する撮像装置から得られる撮像画像内において、前記標識に表示された前記矢印を特定する標識特定部（１２）と、
特定された前記矢印を含む予め定められた大きさの矢印含有領域内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成するヒストグラム生成部（１３）と、
前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する方向特定部（１４）と、
を備える、矢印方向特定装置。
請求項１に記載の矢印方向特定装置において、
前記方向特定部は、前記縦方向ヒストグラムにおける前記横方向の変化を、一次線形直線で近似し、該一次線形直線の傾きがプラスの場合には、前記矢印の方向を右向きと特定し、マイナスの場合には、前記矢印の方向を左向きと特定する、
矢印方向特定装置。
請求項１または請求項２に記載の矢印方向特定装置において、
前記方向特定部は、前記縦方向ヒストグラムにおいて、少なくとも左側ピークと右側ピークとを特定し、前記左側ピークと前記右側ピークとを利用して、前記矢印の方向を特定する、
矢印方向特定装置。
請求項１から請求項３までのいずれか一項に記載の矢印方向特定装置において、
前記方向特定部は、前記縦方向ヒストグラムにおいて、少なくとも左側ピークと右側ピークとを特定し、前記左側ピークと前記右側ピークとの比率に基づき、前記矢印の方向を特定する、
矢印方向特定装置。
請求項１から請求項４までのいずれか一項に記載の矢印方向特定装置において、
前記方向特定部は、前記縦方向ヒストグラムにおいて、少なくとも左側ピークと、右側ピークと、前記縦方向ヒストグラムにおける横方向の中央部の合計値の平均値と、を特定し、前記平均値と前記左側ピークとの比である第１比と、前記平均値と前記右側ピークとの比である第２比と、に基づき、前記矢印の方向を特定する、
矢印方向特定装置。
請求項１から請求項５までのいずれか一項に記載の矢印方向特定装置において、
前記標識は、主標識に付随する補助標識であり、
前記標識特定部は、前記撮像画像内において前記主標識を認識し、該認識された前記主標識の位置を基準として、前記補助標識が存在すると推定される補助標識推定領域を前記撮像画像から切り出し、切り出された前記補助標識推定領域を対象として前記縦方向ヒストグラムを生成する、
矢印方向特定装置。
請求項６に記載の矢印方向特定装置において、
前記標識特定部は、前記補助標識推定領域を２値化して同じ値の画像を連結し、該連結された連結画像にラベル付けをし、該ラベル付けされた前記連結画像のうち、予め定められた条件に該当する前記連結画像を除去する絞り込み処理を行う、
矢印方向特定装置。
請求項１から請求項７までのいずれか一項に記載の矢印方向特定装置において、
前記ヒストグラム生成部は、前記縦方向ヒストグラムを生成する前に、前記矢印含有領域内において、縦方向に沿った画素位置ごとに横方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記矢印含有領域の縦方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の横方向の合計値を示す横方向ヒストグラムを生成し、前記横方向ヒストグラムにおける最大値を示す縦方向位置を含んだ縦方向における所定範囲の領域を、処理対象として、前記縦方向ヒストグラムを生成する、
矢印方向特定装置。
矢印を表示する標識における前記矢印の方向を、矢印方向特定装置を用いて特定する矢印方向特定方法であって、
前記矢印方向特定装置において、周辺環境を撮像する撮像装置から得られる撮像画像内において前記標識を特定する工程と、
前記矢印方向特定装置において、前記特定された前記標識内において、横方向に沿った画素位置ごとに縦方向に並んだ画素であって前記矢印を表す色と関連する画素値を有する画素の数をカウントし、前記標識の横方向の長さの全体に亘って、画素位置毎の前記カウントされた画素の数の縦方向の合計値を示す縦方向ヒストグラムを生成する工程と、
前記矢印方向特定装置において、前記縦方向ヒストグラムを利用して、前記矢印の方向を特定する工程と、
を備える、
矢印方向特定方法。