JP2022507128A - 交差点状態検出方法、装置、電子機器及び車両 - Google Patents

Abstract

本願は、交差点状態検出方法、装置、電子機器及び車両を開示し、該方法は、取得された画像に対して、開閉バーを含む目標物体の検出を行って、目標物体の目標検出枠を取得するステップと、前記目標物体の目標検出枠に基づいて前記目標物体の目標状態情報を決定するステップと、前記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定するステップとを含む。【選択図】図１

Description

本願は、２０１８年１１月１３日に中国国家知識産権局に提出された、「交差点状態検出方法、装置、電子機器及び車両」と題する中国特許出願第２０１８１１３５１５１１．２号の優先権を主張するものであり、その全ての内容は参照により本願に取り込まれるものとする。

本願は、マシンビジョンの技術分野に関し、特に、交差点状態検出方法、装置、電子機器及び車両に関する。

現在、人工知能はますます多くの分野、例えば先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ、ＡＤＡＳ）又は自動運転、盲導機器などの支援システムに応用されており、人々の生活にますます多くの便利さをもたらしており、例えばＡＤＡＳは車に取り付けられた様々なセンサを利用して、自動車の走行中に各種のデータを収集し、静的、動的物体の識別、検出及び追跡を行うことにより、発生する可能性のある危険を運転者に事前に認識させ、自動車運転の快適性及び安全性を効果的に向上させる。

しかしながら、これらの支援システムの使用中に、交差点、駐車場、踏切などの、様々な複雑な環境に直面し、システムは、特定の環境下で特定の環境に対する提示情報を生成するために、異なる走行環境に応じて異なる検出方法を設計する必要がある。

本願の実施例は、交差点状態検出の技術的解決手段を提供する。

第１の態様では、本願の実施例に係る交差点状態検出方法は、
取得された画像に対して、開閉バーを含む目標物体の検出を行って、目標物体の目標検出枠を取得するステップと、
前記目標物体の目標検出枠に基づいて前記目標物体の目標状態情報を決定するステップと、
前記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定するステップと、を含む。

第２の態様では、本願の実施例に係る交差点状態検出装置は、
取得された画像に対して、開閉バーを含む目標物体の検出を行って、目標物体の目標検出枠を取得する検出ユニットと、
前記目標物体の目標検出枠に基づいて前記目標物体の目標状態情報を決定する処理ユニットと、
前記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定する処理ユニットと、を含む。

第３の態様では、本願に係る電子機器は、プログラム命令を呼び出して第１の態様に記載の方法を実行するように構成されたプロセッサと、データを入力又は出力する入出力装置と、前記プログラム命令を含むコンピュータプログラムを記憶するメモリとを含み、前記プロセッサ、入力装置、出力装置及びメモリが互いに接続されている。

第４の態様では、本願に係るコンピュータ記憶媒体には、プロセッサにより実行されると、第１の態様に記載の方法を実現するコンピュータプログラムが記憶されている。

第５の態様では、本願に係る車両には、第３の態様に記載の電子機器が設けられているか又は第４の態様に記載のコンピュータ記憶媒体が設けられている。

本願の実施例に係る交差点状態検出の技術的解決手段を実施することにより、開閉バーが設けられた交差点において、開閉バーなどの目標物体をマシンビジョンの方式で検出識別し、かつ検出識別された目標の画像情報に基づいて各目標の目標状態を判断し、さらに各目標の目標状態を組み合わせて、交差点の状態情報及び交差点に対する提示情報などを生成することにより、ＡＤＡＳ、自動運転、盲導機器、ロボットなどのシステムの応用シーンを増加させ、応用の安全性を向上させることができる。

本願の実施例における技術的解決手段をより明らかに説明するために、以下、実施例の記載に必要な図面を簡単に説明し、明らかに、以下の記載における図面は、本願のいくつかの実施例であり、当業者であれば、創造的な労働をしない前提で、これらの図面に基づいて他の図面を得ることができる。
本願の実施例に係る交差点検出方法の概略フローチャートである。 本願の実施例に係る開閉バーの状態概略図である。 本願の実施例に係る候補検出枠の概略図である。 本願の実施例に係る画像座標系の概略図である。 本願の実施例に係る踏切状態、及び各状態の間の切り替え関係の概略図である。 本願の実施例に係る別の踏切状態、及び各状態の間の切り替え関係の概略図である。 本願の実施例に係る交差点提示情報生成装置の概略ブロック図である。 本願の実施例に係る電子機器の概略ブロック図である。

以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明確かつ完全に説明する。明らかに、説明される実施例は、本願の実施例の一部であり、全てではない。本願の実施例に基づいて、当業者が創造的な労働をしない前提で得られる他の全ての実施例は、いずれも本願の保護範囲に属するものである。

「含む」及び「含める」という用語は、本明細書及び添付の特許請求の範囲において使用される場合、説明される特徴、全体、ステップ、操作、要素及び／又はコンポーネントの存在を指示するが、１つ以上の他の特徴、全体、ステップ、操作、要素、コンポーネント及び／又はそれらの集合の存在又は追加を排除しないことを理解されたい。

さらに、本願の明細書で使用される用語は、単に特定の実施例を説明することを目的とし、本願を限定することを意図するものではないことを理解されたい。本願の明細書及び添付の特許請求の範囲に使用されるように、文脈で明白に他の意味が示されない限り、単数形の「一」、「１つ」及び「該」は複数形を含むことを意味する。

本明細書及び添付の特許請求の範囲に使用されるように、「すれば」という用語は、文脈に基づいて「．．．すると」、「したら」、「決定することに応じて」、又は「検出したことに応じて」と解釈されてもよい。同様に、「決定すれば」又は「［説明される条件又はイベント］を検出すれば」という短句は、文脈に基づいて「決定したら」、「決定することに応じて」、「［説明される条件又はイベント］を検出したら」、又は「［説明される条件又はイベント］を検出したことに応じて」を意味すると解釈されてもよい。

本願の実施例における「第１の」、「第２の」という用語は、説明の目的のみに用いられ、相対的な重要性を指示又は暗示し、或いは指示された技術的特徴の数を暗黙的に示すと理解すべきではない。これにより、「第１の」、「第２の」で限定された特徴は、１つ以上の該特徴を明示的又は暗黙的に含むことができる。

本願の実施例において、「少なくとも１つ」は、１つ以上を指し、「複数」は、２つ以上を指す。

本願の実施例に使用される「及び／又は」という用語は、関連して列挙された項目のうちの１つ以上の任意の組み合わせを指し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を表すことができ、Ａ、Ｂは単数形又は複数形であってもよい。「／」という文字は、一般的に、前後の関連対象が「又は」の関係であることを示す。「以下の少なくとも１項（個）」又はその類似の表現は、これらの項目の任意の組み合わせを指し、単一の項（個）又は複数の項（個）の任意の組み合わせを含む。例えば、ａ、ｂ又はｃのうちの少なくとも１項（個）は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ又はａ－ｂ－ｃを示してもよく、ａ、ｂ、ｃは単一であってもよく、複数であってもよい。

本願において「例示的」又は「例えば」と説明される任意の実施例又は設計案は、他の実施例又は設計案よりも好ましい又は有利であると解釈されるべきではない。具体的には、「例示的」又は「例えば」などの用語の使用は、具体的な方式で関連する概念を提示することを目的とする。

本願に係る交差点検出方法を説明する前に、まず、本願の応用シーンを説明し、本願に係る交差点検出方法は、開閉バーが設けられた交差点、例えば鉄道と道路の交差点、駐車場の入口、料金所、団地の入口などに用いられる。

本願の実施例は、交差点検出方法を提供し、図１を参照すると、図１は、本願の実施例に係る交差点検出方法の概略フローチャートであり、図１に示すとおり、該方法は、以下のステップ１０２、１０４及び１０６を含む。

１０２では、取得された画像に対して、開閉バーを含む目標物体の検出を行って、目標物体の目標検出枠を取得する。

本願の実施例において、端末は、参照対象に設けられたカメラにより収集された上記参照対象の前方の画像を取得し、上記画像に対して目標物体の検出を行って、上記目標物体に対応する目標検出枠を取得し、各目標物体は１つの目標検出枠に対応し、前方は上記参照対象の進行方向を指し、上記参照対象は車両、ロボット、ウェアラブル機器及び盲導機器などを含む。

１０４では、上記目標物体の目標検出枠に基づいて上記目標物体の目標状態情報を決定する。

本願の実施例において、上記目標物体が開閉バーである場合、上記目標検出枠は矩形枠であり、上記開閉バーに対応する目標検出枠のアスペクト比に基づいて上記開閉バーの目標状態情報を決定することができ、上記開閉バーの目標状態情報は、水平状態、傾斜状態、垂直状態のうちの少なくとも１つを含む。

例えば、上記開閉バーの目標状態情報を決定するとき、各目標検出枠の四隅の、画像における位置情報に基づいて開閉バーに対応する目標領域のアスペクト比を取得することができる。図２に示すとおり、図２は、本願の実施例に係る開閉バーの状態概略図であり、図において、開閉バーが３つの異なる状態にあるときに対応する目標検出枠を矩形枠で示し、開閉バーの状態を決定するとき、開閉バーに対応する目標検出枠の水平方向での各行の画素点の個数を目標検出枠の長さとし、開閉バーに対応する目標検出枠の垂直方向での各列の画素点の個数を目標検出枠の幅とし、目標検出枠の四隅の、画像座標系における座標がそれぞれ（ｘ３、ｙ３）、（ｘ４、ｙ３）、（ｘ３、ｙ４）及び（ｘ４、ｙ４）であれば、目標検出枠の長さはｘ４－ｘ３であり、目標検出枠の幅はｙ４－ｙ３であり、開閉バーに対応する目標検出枠のアスペクト比Ｎは、

Ｎが第１の比の閾値以下である場合、図４中の検出枠ｈに示すとおり、開閉バーが垂直状態にあると決定し、Ｎが上記第１の比の閾値より大きく、かつ第２の比の閾値以下である場合、図４中の検出枠ｉに示すとおり、上記開閉バーが傾斜状態にあると決定し、Ｎが上記第２の比の閾値より大きい場合、図４中の検出枠ｊに示すとおり、上記開閉バーが水平状態にあると決定する。図４を参照して分かるように、開閉バーが垂直状態にあると、目標領域ｂの長さは幅より小さいため、第１の比の閾値は１より小さい正の実数であり、例えば０．７、０．５３、０．５、０．３２などを取ってもよく、本願の実施例では具体的に限定されない。開閉バーが傾斜状態にあり、かつ水平方向となす角がπ／４である場合、上記アスペクト比Ｎは１に近く、開閉バーが下降し続ける場合、上記アスペクト比Ｎの値は徐々に増大するため、開閉バーが水平状態にある場合、上記アスペクト比Ｎは１より大きい値であり、即ち、上記第２の比の閾値は１より大きい実数であり、しかしながら水平状態にある場合、上記アスペクト比は無限大である可能性がないため、第２の比の閾値は上限値を有し、例えば１より大きく２０より小さい任意の実数を取ってもよく、本願の実施例では具体的に限定されない。可能な実施例において、開閉バーに対応する目標検出枠の垂直方向での各列の画素点の個数を目標検出枠の長さとし、かつ開閉バーに対応する目標検出枠の水平方向での各行の画素点の個数を目標検出枠の幅としてもよく、上記例は例示的な説明に過ぎず、具体的な限定であると理解すべきではないことを理解されたい。

１０６では、上記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定する。

本願の実施例において、上記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定することができ、例えば、上記開閉バーが垂直状態にある場合、上記交差点状態情報が開状態であると決定し、上記開閉バーが傾斜状態にある場合、上記交差点状態情報が開こうとする状態又は閉めようとする状態であると決定し、上記開閉バーが傾斜状態にある場合、上記交差点状態情報が閉状態であると決定する。理解できるように、以上の交差点状態情報は例示的なものであり、実際の応用において必要に応じて交差点状態情報の他の説明方式を決定することができ、本願はこれを限定しない。

本願の実施例において、上記ステップ１０２では、上記取得された画像に対して目標物体の検出を行って、目標物体の目標検出枠を取得するとき、理解できるように、様々な検出アルゴリズムにより画像に対して目標検出を行うとき、画像中の１つの目標物体に対して複数の候補検出枠を検出する可能性があり、図３に示すとおり、図３に実際に１つの開閉バーのみがあるが、検出アルゴリズムにより目標検出を行うとき、図３中の矩形枠に示すとおり、該開閉バーが位置する領域に、開閉バーを含む４つの候補検出枠を検出し、各矩形枠は検出アルゴリズムにより検出された１つの開閉バーの候補領域を表す。各候補検出枠は、上記画像に対して目標検出を行うとき、検出された各目標物体の境界枠（ｂｏｕｎｄｉｎｇ ｂｏｘ）に対応する画像領域であり、各候補検出枠の四辺は上記画像の四辺に平行な矩形枠である。

上記原因により、上記複数の候補検出枠のうちの、目標物体への測位が不正確である候補検出枠を削除して、選別された後の目標検出枠を取得するように、検出された候補検出枠を選別する必要がある。複数の候補検出枠を選別する前に、まず、上記画像に対して目標物体の検出を行い、上記画像に上記目標物体を含む候補検出枠が存在すると検出すれば、各候補検出枠の位置情報を取得し、上記位置情報は、候補検出枠の四隅の、上記画像における座標情報を含み、次に、ニューラルネットワークモデルを用いて各候補検出枠内の目標物体を識別し、各候補検出枠内の目標物体が属する目標種別、及び各目標物体が、対応する目標種別に属する確率値を取得し、上記目標検出時に決定された各候補検出枠の位置情報を組み合わせ、各候補検出枠の対応する画像情報を取得する。

以下、画像内のいずれか１つの候補検出枠ａを例とし、上記各候補検出枠に対応する画像情報を決定することを説明する。図４に示すとおり、上記画像の左上隅を座標原点とし、水平方向をｘ軸とし、垂直方向をｙ軸として画像座標系を確立する。まず、上記画像において目標物体Ｔを含む候補検出枠ａを検出し、候補検出枠ａの四隅の、画像座標系における座標をそれぞれＺ１（ｘ１、ｙ１）、Ｚ２（ｘ２、ｙ１）、Ｚ３（ｘ１、ｙ２）及びＺ４（ｘ２、ｙ２）として取得し、ここで、ｘ１＜ｘ２、ｙ１＜ｙ２、ｘ１が０以上であり、ｙ１が０以上であり、さらに、ニューラルネットワークモデルに基づいて候補検出枠ａ内の目標物体Ｔを識別し、目標物体Ｔが標識板に属する確率が０．９２であることを取得することにより、候補検出枠ａに対応する画像情報を取得し、該画像情報は、候補検出枠ａ内の目標物体が標識板に属する確率が０．９２で、上記候補検出枠ａの画像における位置が（ｘ１、ｙ１）、（ｘ２、ｙ１）、（ｘ１、ｙ２）及び（ｘ２、ｙ２）であることである。

上記複数の候補検出枠を選別するとき、以下の２つの方式のうちいずれか１つ又は２つの組み合わせを用いて上記複数の候補検出枠を選別することができるが、これらに限定されない。

第１の方式では、上記複数の候補検出枠を選別するとき、図３に示すとおり、候補検出枠Ａと候補検出枠Ｂに対して、候補検出枠Ａ内の目標物体が、対応する目標種別に属する確率値が第１の確率値であり、候補検出枠Ｂ内の目標物体が、対応する目標種別に属する確率値が第２の確率値であれば、候補検出枠Ａと候補検出枠Ｂとの間の重なり度合い（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ、ｉｏｕ）を第１の重なり度合いｉｏｕ１として定義し、候補検出枠Ａと候補検出枠Ｂ内の目標物体の上記目標種別が同じである。

ここで、Ｓ_Ａは候補検出枠Ａの面積を示し、Ｓ_Ｂは候補検出枠Ｂの面積を示し、Ｓ_ＡＢは候補検出枠Ａと候補検出枠Ｂとの間の重なり部分の面積を示し、Ｓｐｍｉｎ（Ｓ_Ａ、Ｓ_Ｂ）は参照領域の面積を示す。各候補検出枠内の目標物体はいずれも、対応する目標種別に属する確率値に対応し、即ち、各候補検出枠はいずれも、１つの確率値に対応し、各２つの候補検出枠の第１の重なり度合いｉｏｕ１を算出した後、該ｉｏｕ１の値が第３の比の閾値より大きければ、２つの候補検出枠に対応する２つの確率値の大きさを比較し、比較的小さい確率値に対応する候補検出枠及び該候補検出枠に対応する画像情報を削除し、さらに選別された目標検出枠及び目標検出枠に対応する画像情報を取得して、第３の比の閾値は１より小さい正の実数である。

例えば、目標検出により、画像に目標物体を含む６つの候補領域が存在することを検出すれば、それぞれ候補検出枠ｂ、候補検出枠ｃ、候補検出枠ｄ、候補検出枠ｅ、候補検出枠ｆ及び候補検出枠ｇであり、上記６つの候補検出枠内の目標物体を識別し、候補検出枠ｂ～候補検出枠ｇ内の目標物体が開閉バーに属する確率がそれぞれ０．９０、０．９３、０．９２、０．９０、０．９１及び０．９４であることを取得する。この６つの初期画像を選別するとき、まず、対応する確率値が最も大きい候補検出枠ｇを選択し、候補検出枠ｇと候補検出枠ｂ～候補検出枠ｆとの間の重なり度合いｉｏｕ１をそれぞれ計算し、候補検出枠ｂ及び候補検出枠ｄと候補検出枠ｇとの間の重なり度合いｉｏｕ１が第３の比の閾値より大きいと仮定すれば、候補検出枠ｂ及び候補検出枠ｄを削除し、候補領域ｇを残し、次に、残りの候補検出枠ｃ、候補検出枠ｅ及び候補検出枠ｆから、対応する確率値が最も大きい候補検出枠ｃを選択し、候補検出枠ｅ及び候補検出枠ｆと候補検出枠ｇとの間の重なり度合いがいずれも第３の比の閾値より大きいことを計算すれば、候補検出枠ｅ及び候補検出枠ｆを削除し、候補検出枠ｃを残し、この６つの候補検出枠を選別した後、最終的に候補検出枠ｇ及び候補検出枠ｃのみを目標検出枠として残す。上記例は例示的な説明に過ぎず、具体的な限定であると理解すべきではなく、例えば、可能な実施例において、上記候補検出枠ｇと候補検出枠ｂ～候補検出枠ｆとの間の重なり度合いｉｏｕ１はいずれも第３の比の閾値よりも大きい可能性があり、最終的に候補検出枠ｇのみを目標検出枠として残すことを理解されたい。

第２の方式では、候補検出枠Ａと候補検出枠Ｂに対して、候補検出枠Ａ内の目標物体が、対応する目標種別に属する確率値が第３の確率値であり、候補検出枠Ｂ内の目標物体が、対応する目標種別に属する確率値が第４の確率値であれば、候補検出枠Ａと候補検出枠Ｂとの間の重なり度合いを第２の重なり度合いｉｏｕ２として定義する。

ここで、Ｓ_Ａは候補検出枠Ａの面積を示し、Ｓ_Ｂは候補検出枠Ｂの面積を示し、Ｓ_ＡＢは候補検出枠Ａと候補検出枠Ｂとの間の重なり部分の面積を示し、上記参照領域は上記第１の確率値と前記第２の確率値のうちの比較的小さい値に対応する候補検出枠である。上記式３に基づいて各２つの候補検出枠の第２の重なり度合いｉｏｕ２を算出した後、２つの候補検出枠の間の新たな重なり度合いｉｏｕ２が第４の比の閾値より大きければ、２つの候補検出枠に対応する２つの確率値の大きさを比較し、比較的小さい確率値に対応する候補検出枠及び該候補検出枠に対応する画像情報を削除し、第４の比の閾値は１より小さい正の実数であり、第４の比の閾値は第３の比の閾値以下である。重なり度合いｉｏｕ２に基づいて候補検出枠を選別する過程は、上記重なり度合いｉｏｕ１に基づいて候補検出枠を選別する過程と同じであり、ここでは説明を省略する。

可能な実施例において、まず、上記第１の方式に基づいて上記複数の候補検出枠を選別し、次に上記第２の方式に基づいて残りの少なくとも１つの候補検出枠をさらに選別して、最終的な目標検出枠を取得することができる。理解できるように、上記式２と式３によれば、ｉｏｕ１がｉｏｕ２より大きいことが分かり、第３の比の閾値が第４の比の閾値以上であれば、式２に基づいて求められた２つの候補検出枠の第１の重なり度合いｉｏｕ１が上記第３の比の閾値より小さく、式３に基づいて求められた第２の重なり度合いｉｏｕ２が上記第４の比の閾値より大きい可能性があり、上記式３に対応する方法に基づいて１つの候補検出枠を削除することができ、例えば、上記第１の方式の例では、複数の候補領域を選別した後、候補検出枠ｇ及び候補検出枠ｃを目標検出枠として残すが、候補検出枠ｇと候補検出枠ｃ内の目標物体は依然として同じ目標物体であり、その上で、第２の方式を用いて候補検出枠ｇと候補検出枠ｃとの間の新たな重なり度合いｉｏｕ２を計算し続け、新たな重なり度合いｉｏｕ２が第４の比の閾値より大きければ、候補検出枠ｃ及び候補領域ｃに対応する画像情報を削除することができ、第１の方式を用い、次に第２の方式を用いて複数の候補検出枠を選別することにより、目標検出枠の数をさらに減らし、後続のステップにおける処理に必要なデータ量を減らし、システム処理の時間を短縮することにより、踏切の状態情報及び踏切に対する提示情報をよりタイムリーに生成し、システムの安全性を向上させることができる。

可能な実施例において、上記目標状態情報及び上記交差点状態情報を決定した後、上記交差点状態情報に基づいて第１の提示情報を生成することにより、参照対象の操作者に関連操作を行うように提示し、及び／又は、第１の運転制御情報を生成することにより、自動運転システムに、対応する操作を実行させることができ、例えば、上記交差点状態情報が閉状態である場合、減速という提示情報を生成し、及び／又は、上記参照対象を減速させるように制御するための制御命令を生成する。

好ましくは、上記画像に対して目標検出を行う方法は、エッジボックス（Ｅｄｇｅ Ｂｏｘｅｓ）検出アルゴリズム、選択的検索アルゴリズム、テンプレートマッチング、領域ベースの畳み込みニューラルネットワーク（Ｒｅｇｉｏｎ－Ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＲＣＮＮ）、領域ベースの全畳み込みニューラルネットワーク（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、ＲＦＣＮ）モデルなどを含むが、これらに限定されない。

好ましくは、本願の実施例において、目標物体を識別するニューラルネットワークモデルは、領域分類ネットワークモデル又は分割畳み込みニューラルネットワークモデルであってもよく、領域分類ニューラルネットワークモデルは、残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋｓ、ＲｅｓＮｅｔ）モデル、ＶＧＧ１６モデル、ＶＧＧＮｅｔモデル、Ｉｎｃｅｐｔｉｏｎモデルなどを含むが、これらに限定されず、分割畳み込みニューラルネットワークモデルは、全畳み込みネットワーク（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、ＦＣＮ）モデル、マルチタスクネットワークカスケードＭＮＣモデル、Ｍａｓｋ－ＲＣＮＮモデルなどを含むが、これらに限定されない。

本願の実施例に係る交差点検出方法では、マシンビジョンの方法を用いて踏切などの開閉バーを有する領域に対して目標検出及び識別を行って、開閉バーを検出し、かつ開閉バーの状態を判断することにより、開閉バーの状態に基づいて対応する提示情報及び／又は制御指令などを生成して、ユーザ又は装置に、対応する操作を行うように提示し、該領域を通過する安全性を向上させることができる。例えば、車両支援運転システム、自動運転システム、盲導機器又はロボット支援システムに応用することができ、これらのシステムの応用シーンを増加させ、応用の安全性を向上させることができる。

可能な実施例において、目標物体の目標状態情報を決定する上記ステップ１０４の前に、さらに参照対象の目標物体までの距離を決定することができる。例えば、検出された目標物体が開閉バーである場合、開閉バーに対応する目標検出枠の長辺の長さが第１の長さ閾値より小さいか否かを比較し、上記第１の長さ閾値より小さければ、参照対象の開閉バーまでの距離が第１の距離より大きいと決定し、上記第１の長さ閾値より大きければ、開閉バーまでの距離が第１の距離より小さいと決定することができる。上記長辺の長さは、目標検出枠の長辺の画素点の数であり、上記第１の長さ閾値は、参照対象が上記開閉バーから第１の距離離れる場合、画像内の上記開閉バーが４５度傾斜した時の長辺に対応する画素点の数である。

参照対象の開閉バーまでの距離が上記第１の距離より小さいと決定すれば、さらに開閉バーに対応する目標領域の長辺の長さが第２の長さ閾値より大きいか否かを比較し、上記第２の長さ閾値より大きければ、参照対象の開閉バーまでの距離が第２の距離より小さいと決定し、上記第２の距離は上記第１の距離より小さく、上記第２の長さ閾値は上記第１の長さ閾値より大きく、上記第２の長さ閾値は、参照対象が上記開閉バーから第２の距離離れる場合、画像内の上記開閉バーが垂直状態又は水平状態にあるときに対応する目標検出枠の長辺に対応する画素点の数である。

好ましくは、車両の目標物体までの距離を決定することにより、ユーザは、車両の目標物体までの距離が第１の距離より大きい場合、踏切から遠いため、開閉バーの状態情報を引き続き判断せず、交差点状態情報を引き続き決定せず、車両の前方の、第１の距離より大きい領域に踏切が存在することのみを決定し、車両の目標物体までの距離が第２の距離より小さい場合、引き続き開閉バーの状態情報を判断し、交差点状態情報を決定することを選択することができる。参照対象と目標物体との距離を測定することにより、目標物体を検出し、かつ目標物体までの距離が一定の距離より小さい場合のみに、目標物体の状態などを判断することにより、処理に必要なデータを減らし、交差点状態に対する提示情報を低減し、多すぎる提示を生成することで運転者の集中力を削ぐという問題を回避することができる。

可能な実施例において、上記目標物体は、さらに信号灯及び／又は標識板を含み、上記標識板の目標状態は、標識板が存在する状態及び標識板が存在しない状態の２つであり、上記信号灯の状態は、信号灯の点灯及び信号灯の消灯の２つであり、例えば、上記信号灯の点灯時に赤色であり、上記信号灯の点灯時に通行禁止を示し、信号灯の消灯時に通行許可を示す。

理解できるように、上記標識板の状態を決定するとき、上記候補検出枠を選別して目標検出枠を取得した後、目標検出枠に目標種別が標識板である目標物体が存在すれば、標識板の目標状態が標識板が存在することであることを示し、目標検出枠に目標種別が標識板である目標物体が存在しなければ、標識板の目標状態が標識板が存在しないことであることを示す。

理解できるように、上記信号灯の状態を決定するとき、信号灯の種別に基づいて信号灯の状態を直接的に決定することができ、可能な実施例において、ニューラルネットワークモデルをトレーニングするとき、点灯した信号灯及び消灯した信号灯を用いてニューラルネットワークモデルをトレーニングし、トレーニングされたニューラルネットワークモデルを用いて各候補検出枠を識別するとき、点灯した信号灯と消灯した信号灯を識別することができ、上記候補検出枠を選別した後、目標領域に目標種別が点灯である信号灯が存在すれば、信号灯の状態が点灯であることを示し、目標領域に目標種別が消灯である信号灯が存在すれば、信号灯の状態が消灯であることを示す。

本願の実施例において、上記交差点が踏切であれば、上記信号灯は上記踏切の列車の通行状態を指示し、例えば、上記信号灯の状態が点灯である場合、上記踏切を通過しようとする列車があるか又は上記踏切を通過している列車があることを示し、上記信号灯の状態が消灯である場合、上記踏切を通過する列車がないことを示す。上記開閉バーは、上記踏切を通過しようとする列車がある時、及び上記踏切を通過している列車がある時、車両と歩行者が上記踏切を通過することを阻止する。

以下、上記分析によれば、標識板、信号灯及び開閉バーの状態を組み合わせ、踏切の状態情報の決定を説明し、図５を参照すると、図５は本願の実施例に係る踏切状態、及び各状態の間の切り替え関係の概略図であり、画像において目標物体を含む候補検出枠が検出されなければ、目標物体が検出されないという提示情報を生成し、図５における対応する踏切状態は「未検出」であり、信号灯の状態が点灯であり、開閉バーが垂直状態（即ちＮが第２の比の閾値Ｎ２以下）である場合、該踏切を通過しようとする列車があることを意味し、開閉バーは、車両又は歩行者の通過を阻止するために降下しようとしており、この時に開閉バーが下降しようとするという提示情報を生成し、図５における対応する踏切状態は「下降しようとする」ことであり、信号灯の状態が点灯であり、開閉バーが傾斜状態（即ちＮが第２の比の閾値より大きく、第３の比の閾値Ｎ３以下）である場合、該踏切を通過しようとする列車があることを意味し、この時に開閉バーが下降しているという提示情報を生成し、図５における対応する踏切状態は「下降しようとする」から「下降している」に変更され、信号灯の状態が点灯であり、開閉バーが水平状態である（即ちＮが第３の比の閾値Ｎ３よりも大きい）場合、該踏切を通過しようとする列車又は通過している列車があることを意味し、この時に開閉バーが落下したという提示情報を生成し、図５における対応する踏切状態は「下降している」から「落下した」に変更される。

好ましくは、上記分析に基づいて、本願の実施例は、さらに３つの踏切状態を追加してもよい。信号灯の状態が消灯であり、開閉バーが水平状態である場合、列車が該踏切を通過したことを意味し、この時に開閉バーが上昇しようとするという提示情報を生成し、対応する踏切状態は「上昇しようとする」ことであり、信号灯の状態が消灯であり、開閉バーが傾斜状態である場合、列車が該踏切を通過したことを意味し、この時に開閉バーが上昇しているという提示情報を生成し、対応する踏切状態は「上昇している」ことであり、信号灯の状態が消灯であり、開閉バーが垂直状態である場合、列車が該踏切を通過したことを意味し、この時に開閉バーが上昇したという提示情報を生成し、対応する踏切状態は「上昇した」ことである。

マシンビジョンの方式により交差点の標識板、信号灯及び開閉バーなどの目標を検出識別し、かつ検出識別された目標の画像情報に基づいて各目標の目標状態を判断し、さらに各目標の目標状態を組み合わせ、交差点の状態情報及び踏切に対する提示情報などを生成することにより、開閉バーを有する交差点のようなシーンに対してマシンビジョンに基づく検出提示方法を提供し、車両支援運転システム又はロボット支援システムなどのシステムの応用シーンを増加させ、応用の安全性を向上させる。

好ましくは、上記参照対象の目標物体までの距離を決定するとき、標識板又は信号灯に対応する目標検出枠を用いて決定してもよく、本願の実施例では具体的に限定されない。

参照対象の開閉バーまでの距離を決定することにより、２つの踏切提示情報及び２つの踏切状態を追加することができ、即ち、目標物体があると検出し、かつ車両の目標物体までの距離が上記第１の距離より大きい場合、第１の距離よりも大きい距離で目標物体が検出されるという提示情報を生成し、対応する踏切状態は「遠距離に目標物体がある」ことであり、目標物体があると検出し、かつ車両の目標物体までの距離が上記第２の距離より小さい場合、第２の距離より小さい距離で目標物体が検出されるという提示情報を生成し、対応する踏切状態は「近距離に目標物体がある」ことである。上記踏切状態を組み合わせると、踏切状態は「未検出」、「遠距離に目標物体がある」、「近距離に目標物体がある」、「下降しようとする」、「下降している」、「落下した」、「上昇しようとする」、「上昇している」及び「上昇した」の９つの状態を含むことができる。図６に示すとおり、図６は本願の実施例に係る別の踏切状態、及び各状態の間の切り替え関係の概略図であり、図において「未検出」、「遠距離に目標物体がある」、「近距離に目標物体がある」、「下降しようとする」、「下降している」及び「落下した」の６つの状態を例として説明し、画像に目標物体が検出されなければ、目標物体が検出されないという提示情報を生成し、図６における対応する踏切状態は「未検出」であり、少なくとも１つの目標物体があると検出し、かつ目標物体までの距離が第１の距離閾値よりも大きい場合、第１の距離よりも大きい距離で目標物体が検出されるという提示情報を生成し、図６における対応する踏切状態は「遠距離に目標物体がある」ことであり、少なくとも１つの目標物体があると検出し、かつ車両の目標物体までの距離が上記第２の距離より小さい場合、第２の距離より小さい距離で目標物体が検出されるという提示情報を生成し、図６における対応する踏切状態は「近距離に目標物体がある」ことであり、信号灯の状態が点灯であり、開閉バーが垂直状態である場合、開閉バーが下降しようとするという提示情報を生成し、図６における対応する踏切状態は「下降しようとする」ことであり、信号灯の状態が点灯であり、開閉バーが傾斜状態である場合、開閉バーが下降しているという提示情報を生成し、図６における対応する踏切状態は「下降している」ことであり、信号灯の状態が点灯であり、開閉バーが水平状態である場合、開閉バーが落下したという提示情報を生成し、図６における対応する踏切状態は「落下した」ことである。理解できるように、上記９つの交差点状態は例示的なものであり、実際の応用において必要に応じて交差点状態の他の説明方式を決定することができ、本願はこれを限定しない。

可能な実施例において、上記交差点状態情報が上記交差点の開閉バーが下降しようとする状態と、上記交差点の開閉バーが下降している状態と、上記交差点の開閉バーが落下した状態とのうちいずれか１つである場合、減速又は停車の提示情報を生成し、及び／又は、上記参照対象を減速させるか又は停止させるように制御するための運転制御命令を生成し、上記交差点状態情報が、上記交差点の開閉バーが上昇した状態と、上記交差点の開閉バーが上昇している状態と、上記交差点の開閉バーが上昇しようとする状態とのうちいずれか１つである場合、現在の走行状態を保持するか又は低速走行する提示情報を生成し、及び／又は、上記参照対象が現在の走行状態を保持するか又は低速走行するように制御するための運転制御命令を生成する。

可能な実施例において、１つのフレーム画像に目標物体が検出されれば、目標追跡アルゴリズムを用いて、次のフレーム画像における目標物体の位置を推定することにより、目標検出の範囲を縮小し、目標検出の速度を高めることができ、また、矩形枠を用いて画像に候補検出枠又は目標領域をマークすれば、目標追跡アルゴリズムを用いてビデオにおける矩形枠のジッタを効果的に抑制することができる。

図７を参照すると、図７は本願の実施例に係る交差点検出装置の概略ブロック図であり、上記装置は、検出ユニット７０１及び処理ユニット７０２を含み、
上記検出ユニット７０１は、取得された画像に対して、開閉バーを含む目標物体の検出を行って、目標物体の目標検出枠を取得し、
上記処理ユニット７０２は、上記目標物体の目標検出枠に基づいて上記目標物体の目標状態情報を決定し、
上記処理ユニット７０２は、さらに上記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定する。

上記装置は、参照対象に設けられたカメラにより収集された上記参照対象の前方の画像を取得する取得ユニット７０３をさらに含む。上記参照対象は、車両、ロボット、ウェアラブル機器及び盲導機器を含む。

上記処理ユニット７０２は、具体的に、上記開閉バーに対応する目標検出枠のアスペクト比に基づいて上記開閉バーの目標状態情報を決定し、上記開閉バーの目標状態情報は、水平状態、傾斜状態、垂直状態のうちの少なくとも１つを含む。

上記処理ユニット７０２は、さらに、具体的に、上記開閉バーが垂直状態にある場合、上記交差点状態情報が開状態であると決定し、及び／又は、上記開閉バーが傾斜状態にある場合、上記交差点状態情報が開こうとする状態又は閉めようとする状態であると決定し、及び／又は、上記開閉バーが傾斜状態にある場合、上記交差点状態情報が閉状態であると決定する。

本願の実施例において、上記目標物体は、信号灯及び／又は交差点標識板をさらに含み、上記信号灯の目標状態情報は信号灯の点灯及び信号灯の消灯を含む。

具体的には、上記各ユニットが各操作を実行する過程は、上記方法の実施例における実現過程を参照してよく、ここでは説明を省略する。

図８を参照すると、図８は本願の実施例に係る電子機器の概略ブロック図である。図８に示す本実施例における電子機器は、１つ以上のプロセッサ８０１、１つ以上の入力装置８０２、１つ以上の出力装置８０３、及びメモリ８０４を含んでよい。上記プロセッサ８０１、入力装置８０２、出力装置８０３及びメモリ８０４は、バス８０５を介して接続されている。メモリ８０２は、プログラム命令を含むコンピュータプログラムを記憶し、プロセッサ８０１は、メモリ８０２に記憶されたプログラム命令を実行することにより、上記方法の実施例に記載の方法のステップを実現する。

本願の実施例において、いわゆるプロセッサ８０１は、中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）であってもよく、他の汎用プロセッサ、グラフィックスプロセッシングユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよいことを理解されたい。汎用プロセッサは、マイクロプロセッサであってもよく、任意の通常のプロセッサなどであってもよい。

入力装置８０２は、タッチパッド、センサ、マイクロフォン、画像収集装置などを含んでよく、出力装置８０３は、ディスプレイ（ＬＣＤなど）、スピーカ、通信モジュールなどを含んでよい。

メモリ８０４は、読み出し専用メモリ及びランダムアクセスメモリを含んでよく、かつプロセッサ８０１に命令及びデータを提供する。メモリ８０４の一部は、不揮発性ランダムアクセスメモリを含んでもよい。例えば、メモリ８０４はまた、装置タイプの情報を記憶することができる。

具体的な実現において、本願の実施例に説明されたプロセッサ８０１、入力装置８０２、出力装置８０３は、本願の方法の実施例に係る交差点検出方法に説明された実現方式を実行してもよく、本願の実施例に説明された装置の実現方式を実行してもよく、ここでは説明を省略する。

具体的な実現において、本願の実施例における電子機器は、本願に係る方法の実施例に説明された方法を実行できる端末装置であってもよく、本願に説明された装置を含む端末装置であってもよく、該電子機器は、画像収集及び画像処理を行うことができる携帯電話、ドライブレコーダー、タブレットコンピュータ、モバイルインターネット装置（Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅ、ＭＩＤ）、サーバなどの様々な端末装置であってもよく、本願の実施例では限定されない。

本願の実施例はまた、プロセッサ上で実行されると、上記方法の実施例における方法のステップを実現できる命令が記憶される非一時的なコンピュータ記憶媒体を提供し、上記コンピュータ記憶媒体のプロセッサが上記方法のステップを実行する具体的な実現は、上記方法の実施例の具体的な操作を参照することができ、ここでは説明を省略する。

本願の実施例はさらに、上記電子機器が設けられているか又は上記コンピュータ記憶媒体が設けられている車両を提供する。

当業者であれば理解できるように、本明細書で開示される実施例に説明された各例のユニット及び方法のステップと組み合わせて、電子ハードウェア、コンピュータソフトウェア又は両者の組み合わせにより実現することができ、ハードウェアとソフトウェアの互換性を明確に説明するために、上記説明において機能に応じて各例の構成及びステップを一般的に説明した。これらの機能がハードウェアの方式で実行されるか又はソフトウェアの方式で実行されるかは、技術的解決手段の特定の応用及び設計上の制約条件に依存する。当業者であれば、各特定の応用に対して異なる方法で説明された機能を実現してよいが、このような実現は本願の範囲を超えると考えられるべきではない。

当業者であれば明確に理解できるように、便利かつ簡潔で説明するために、上記説明された装置、電子機器及びユニットの具体的な動作過程については、前述した方法の実施例における対応する過程を参照してよく、ここでは説明を省略する。

本願に係るいくつかの実施例において、開示される装置、電子機器及び方法は他の方式によって実現することができることを理解されたい。例えば、上述した装置の実施例は、例示的なものに過ぎず、例えば、上記ユニットの区分は、論理機能の区分に過ぎず、実際の実現時に他の区分方式があってもよく、例えば、複数のユニット又はコンポーネントが組み合わせられるか又は別のシステムに集積されてよく、或いは、いくつかの特徴を省略するか又は実行しなくてもよい。また、示されるか又は議論される相互結合、直接結合又は通信接続は、いくつかのインタフェース、装置又はユニットを介する間接結合又は通信接続であってもよく、電気的、機械的、又は他の形態の接続であってよい。

また、本願の各実施例において、各機能ユニットは、１つの処理ユニットに集積されてもよく、各ユニットは、別個に物理的に存在してもよく、２つ以上のユニットは、１つのユニットに集積されてもよい。上記集積されたユニットをハードウェアの形態で実現でき、ソフトウェア機能ユニットの形態で実現することもできる。

上記集積されたユニットは、ソフトウェア機能ユニットの形態で実現され、かつ独立した製品として販売又は使用されると、１つのコンピュータ読み取り可能な記憶媒体に記憶されてよい。このような理解に基づいて、本願の技術的解決手段の本質的な又は従来技術に貢献する部分、又は該技術的解決手段の全部又は一部は、ソフトウェア製品の形態で実現することができ、該コンピュータソフトウェア製品は、１台のコンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワーク装置などであってよい）に本願の各実施例に記載の方法の全部又は一部のステップを実行させるいくつかの命令を含む記憶媒体に記憶されている。前述した記憶媒体は、Ｕディスク、リムーバブルハードディスク、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶可能な様々な媒体を含む。

以上の内容は、本願の具体的な実施形態に過ぎないが、本願の保護範囲はこれに限定されず、当業者であれば、本願に開示された技術的範囲内に、様々な等価な変更又は置き換えを容易に想到でき、これらの変更又は置き換えは、いずれも本願の保護範囲に属するものである。したがって、本願の保護範囲は、特許請求の範囲の保護範囲を基準とすべきである。

本願は、２０１８年１１月１３日に中国国家知識産権局に提出された、「交差点状態検出方法、装置、電子機器及び車両」と題する中国特許出願第２０１８１１３５１５１１．２号の優先権を主張するものであり、その全ての内容は参照により本願に取り込まれるものとする。

本願は、マシンビジョンの技術分野に関し、特に、交差点状態検出方法、装置、電子機器及び車両に関する。

現在、人工知能はますます多くの分野、例えば先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ、ＡＤＡＳ）又は自動運転、盲導機器などの支援システムに応用されており、人々の生活にますます多くの便利さをもたらしており、例えばＡＤＡＳは車に取り付けられた様々なセンサを利用して、自動車の走行中に各種のデータを収集し、静的、動的物体の識別、検出及び追跡を行うことにより、発生する可能性のある危険を運転者に事前に認識させ、自動車運転の快適性及び安全性を効果的に向上させる。

しかしながら、これらの支援システムの使用中に、交差点、駐車場、踏切などの、様々な複雑な環境に直面し、システムは、特定の環境下で特定の環境に対する提示情報を生成するために、異なる走行環境に応じて異なる検出方法を設計する必要がある。

本願の実施例は、交差点状態検出の技術的解決手段を提供する。

第１の態様では、本願の実施例に係る交差点状態検出方法は、
取得された画像に対して、開閉バーを含む目標物体の検出を行って、目標物体の目標検出枠を取得するステップと、
前記目標物体の目標検出枠に基づいて前記目標物体の目標状態情報を決定するステップと、
前記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定するステップと、を含む。

第２の態様では、本願の実施例に係る交差点状態検出装置は、
取得された画像に対して、開閉バーを含む目標物体の検出を行って、目標物体の目標検出枠を取得する検出ユニットと、
前記目標物体の目標検出枠に基づいて前記目標物体の目標状態情報を決定する処理ユニットと、
前記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定する処理ユニットと、を含む。

第３の態様では、本願に係る電子機器は、プログラム命令を呼び出して第１の態様に記載の方法を実行するように構成されたプロセッサと、データを入力又は出力する入出力装置と、前記プログラム命令を含むコンピュータプログラムを記憶するメモリとを含み、前記プロセッサ、入力装置、出力装置及びメモリが互いに接続されている。

第４の態様では、本願に係るコンピュータ記憶媒体には、プロセッサにより実行されると、第１の態様に記載の方法を実現するコンピュータプログラムが記憶されている。

第５の態様では、本願に係る車両には、第３の態様に記載の電子機器が設けられているか又は第４の態様に記載のコンピュータ記憶媒体が設けられている。

本願の実施例に係る交差点状態検出の技術的解決手段を実施することにより、開閉バーが設けられた交差点において、開閉バーなどの目標物体をマシンビジョンの方式で検出識別し、かつ検出識別された目標の画像情報に基づいて各目標の目標状態を判断し、さらに各目標の目標状態を組み合わせて、交差点の状態情報及び交差点に対する提示情報などを生成することにより、ＡＤＡＳ、自動運転、盲導機器、ロボットなどのシステムの応用シーンを増加させ、応用の安全性を向上させることができる。

本願の実施例における技術的解決手段をより明らかに説明するために、以下、実施例の記載に必要な図面を簡単に説明し、明らかに、以下の記載における図面は、本願のいくつかの実施例であり、当業者であれば、創造的な労働をしない前提で、これらの図面に基づいて他の図面を得ることができる。
本願の実施例に係る交差点検出方法の概略フローチャートである。 本願の実施例に係る開閉バーの状態概略図である。 本願の実施例に係る候補検出枠の概略図である。 本願の実施例に係る画像座標系の概略図である。 本願の実施例に係る踏切状態、及び各状態の間の切り替え関係の概略図である。 本願の実施例に係る別の踏切状態、及び各状態の間の切り替え関係の概略図である。 本願の実施例に係る交差点検出装置の概略ブロック図である。 本願の実施例に係る電子機器の概略ブロック図である。

以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明確かつ完全に説明する。明らかに、説明される実施例は、本願の実施例の一部であり、全てではない。本願の実施例に基づいて、当業者が創造的な労働をしない前提で得られる他の全ての実施例は、いずれも本願の保護範囲に属するものである。

「含む」及び「含める」という用語は、本明細書及び添付の特許請求の範囲において使用される場合、説明される特徴、全体、ステップ、操作、要素及び／又はコンポーネントの存在を指示するが、１つ以上の他の特徴、全体、ステップ、操作、要素、コンポーネント及び／又はそれらの集合の存在又は追加を排除しないことを理解されたい。

さらに、本願の明細書で使用される用語は、単に特定の実施例を説明することを目的とし、本願を限定することを意図するものではないことを理解されたい。本願の明細書及び添付の特許請求の範囲に使用されるように、文脈で明白に他の意味が示されない限り、単数形の「一」、「１つ」及び「該」は複数形を含むことを意味する。

本明細書及び添付の特許請求の範囲に使用されるように、「すれば」という用語は、文脈に基づいて「．．．すると」、「したら」、「決定することに応じて」、又は「検出したことに応じて」と解釈されてもよい。同様に、「決定すれば」又は「［説明される条件又はイベント］を検出すれば」という短句は、文脈に基づいて「決定したら」、「決定することに応じて」、「［説明される条件又はイベント］を検出したら」、又は「［説明される条件又はイベント］を検出したことに応じて」を意味すると解釈されてもよい。

本願の実施例における「第１の」、「第２の」という用語は、説明の目的のみに用いられ、相対的な重要性を指示又は暗示し、或いは指示された技術的特徴の数を暗黙的に示すと理解すべきではない。これにより、「第１の」、「第２の」で限定された特徴は、１つ以上の該特徴を明示的又は暗黙的に含むことができる。

本願の実施例において、「少なくとも１つ」は、１つ以上を指し、「複数」は、２つ以上を指す。

本願の実施例に使用される「及び／又は」という用語は、関連して列挙された項目のうちの１つ以上の任意の組み合わせを指し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を表すことができ、Ａ、Ｂは単数形又は複数形であってもよい。「／」という文字は、一般的に、前後の関連対象が「又は」の関係であることを示す。「以下の少なくとも１項（個）」又はその類似の表現は、これらの項目の任意の組み合わせを指し、単一の項（個）又は複数の項（個）の任意の組み合わせを含む。例えば、ａ、ｂ又はｃのうちの少なくとも１項（個）は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ又はａ－ｂ－ｃを示してもよく、ａ、ｂ、ｃは単一であってもよく、複数であってもよい。

本願において「例示的」又は「例えば」と説明される任意の実施例又は設計案は、他の実施例又は設計案よりも好ましい又は有利であると解釈されるべきではない。具体的には、「例示的」又は「例えば」などの用語の使用は、具体的な方式で関連する概念を提示することを目的とする。

本願に係る交差点検出方法を説明する前に、まず、本願の応用シーンを説明し、本願に係る交差点検出方法は、開閉バーが設けられた交差点、例えば鉄道と道路の交差点、駐車場の入口、料金所、団地の入口などに用いられる。

本願の実施例は、交差点検出方法を提供し、図１を参照すると、図１は、本願の実施例に係る交差点検出方法の概略フローチャートであり、図１に示すとおり、該方法は、以下のステップ１０２、１０４及び１０６を含む。

１０２では、取得された画像に対して、開閉バーを含む目標物体の検出を行って、目標物体の目標検出枠を取得する。

本願の実施例において、端末は、参照対象に設けられたカメラにより収集された上記参照対象の前方の画像を取得し、上記画像に対して目標物体の検出を行って、上記目標物体に対応する目標検出枠を取得し、各目標物体は１つの目標検出枠に対応し、前方は上記参照対象の進行方向を指し、上記参照対象は車両、ロボット、ウェアラブル機器及び盲導機器などを含む。

１０４では、上記目標物体の目標検出枠に基づいて上記目標物体の目標状態情報を決定する。

本願の実施例において、上記目標物体が開閉バーである場合、上記目標検出枠は矩形枠であり、上記開閉バーに対応する目標検出枠のアスペクト比に基づいて上記開閉バーの目標状態情報を決定することができ、上記開閉バーの目標状態情報は、水平状態、傾斜状態、垂直状態のうちの少なくとも１つを含む。

例えば、上記開閉バーの目標状態情報を決定するとき、各目標検出枠の四隅の、画像における位置情報に基づいて開閉バーに対応する目標領域のアスペクト比を取得することができる。図２に示すとおり、図２は、本願の実施例に係る開閉バーの状態概略図であり、図において、開閉バーが３つの異なる状態にあるときに対応する目標検出枠を矩形枠で示し、開閉バーの状態を決定するとき、開閉バーに対応する目標検出枠の水平方向での各行の画素点の個数を目標検出枠の長さとし、開閉バーに対応する目標検出枠の垂直方向での各列の画素点の個数を目標検出枠の幅とし、目標検出枠の四隅の、画像座標系における座標がそれぞれ（ｘ３、ｙ３）、（ｘ４、ｙ３）、（ｘ３、ｙ４）及び（ｘ４、ｙ４）であれば、目標検出枠の長さはｘ４－ｘ３であり、目標検出枠の幅はｙ４－ｙ３であり、開閉バーに対応する目標検出枠のアスペクト比Ｎは、

Ｎが第１の比の閾値以下である場合、図４中の検出枠ｈに示すとおり、開閉バーが垂直状態にあると決定し、Ｎが上記第１の比の閾値より大きく、かつ第２の比の閾値以下である場合、図４中の検出枠ｉに示すとおり、上記開閉バーが傾斜状態にあると決定し、Ｎが上記第２の比の閾値より大きい場合、図４中の検出枠ｊに示すとおり、上記開閉バーが水平状態にあると決定する。図４を参照して分かるように、開閉バーが垂直状態にあると、目標領域ｂの長さは幅より小さいため、第１の比の閾値は１より小さい正の実数であり、例えば０．７、０．５３、０．５、０．３２などを取ってもよく、本願の実施例では具体的に限定されない。開閉バーが傾斜状態にあり、かつ水平方向となす角がπ／４である場合、上記アスペクト比Ｎは１に近く、開閉バーが下降し続ける場合、上記アスペクト比Ｎの値は徐々に増大するため、開閉バーが水平状態にある場合、上記アスペクト比Ｎは１より大きい値であり、即ち、上記第２の比の閾値は１より大きい実数であり、しかしながら水平状態にある場合、上記アスペクト比は無限大である可能性がないため、第２の比の閾値は上限値を有し、例えば１より大きく２０より小さい任意の実数を取ってもよく、本願の実施例では具体的に限定されない。可能な実施例において、開閉バーに対応する目標検出枠の垂直方向での各列の画素点の個数を目標検出枠の長さとし、かつ開閉バーに対応する目標検出枠の水平方向での各行の画素点の個数を目標検出枠の幅としてもよく、上記例は例示的な説明に過ぎず、具体的な限定であると理解すべきではないことを理解されたい。

１０６では、上記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定する。

本願の実施例において、上記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定することができ、例えば、上記開閉バーが垂直状態にある場合、上記交差点状態情報が開状態であると決定し、上記開閉バーが傾斜状態にある場合、上記交差点状態情報が開こうとする状態又は閉めようとする状態であると決定し、上記開閉バーが水平状態にある場合、上記交差点状態情報が閉状態であると決定する。理解できるように、以上の交差点状態情報は例示的なものであり、実際の応用において必要に応じて交差点状態情報の他の説明方式を決定することができ、本願はこれを限定しない。

本願の実施例において、上記ステップ１０２では、上記取得された画像に対して目標物体の検出を行って、目標物体の目標検出枠を取得するとき、理解できるように、様々な検出アルゴリズムにより画像に対して目標検出を行うとき、画像中の１つの目標物体に対して複数の候補検出枠を検出する可能性があり、図３に示すとおり、図３に実際に１つの開閉バーのみがあるが、検出アルゴリズムにより目標検出を行うとき、図３中の矩形枠に示すとおり、該開閉バーが位置する領域に、開閉バーを含む４つの候補検出枠を検出し、各矩形枠は検出アルゴリズムにより検出された１つの開閉バーの候補領域を表す。各候補検出枠は、上記画像に対して目標検出を行うとき、検出された各目標物体の境界枠（ｂｏｕｎｄｉｎｇ ｂｏｘ）に対応する画像領域であり、各候補検出枠の四辺は上記画像の四辺に平行な矩形枠である。

上記原因により、上記複数の候補検出枠のうちの、目標物体への測位が不正確である候補検出枠を削除して、選別された後の目標検出枠を取得するように、検出された候補検出枠を選別する必要がある。複数の候補検出枠を選別する前に、まず、上記画像に対して目標物体の検出を行い、上記画像に上記目標物体を含む候補検出枠が存在すると検出すれば、各候補検出枠の位置情報を取得し、上記位置情報は、候補検出枠の四隅の、上記画像における座標情報を含み、次に、ニューラルネットワークモデルを用いて各候補検出枠内の目標物体を識別し、各候補検出枠内の目標物体が属する目標種別、及び各目標物体が、対応する目標種別に属する確率値を取得し、上記目標検出時に決定された各候補検出枠の位置情報を組み合わせ、各候補検出枠の対応する画像情報を取得する。

以下、画像内のいずれか１つの候補検出枠ａを例とし、上記各候補検出枠に対応する画像情報を決定することを説明する。図４に示すとおり、上記画像の左上隅を座標原点とし、水平方向をｘ軸とし、垂直方向をｙ軸として画像座標系を確立する。まず、上記画像において目標物体Ｔを含む候補検出枠ａを検出し、候補検出枠ａの四隅の、画像座標系における座標をそれぞれＺ１（ｘ１、ｙ１）、Ｚ２（ｘ２、ｙ１）、Ｚ３（ｘ１、ｙ２）及びＺ４（ｘ２、ｙ２）として取得し、ここで、ｘ１＜ｘ２、ｙ１＜ｙ２、ｘ１が０以上であり、ｙ１が０以上であり、さらに、ニューラルネットワークモデルに基づいて候補検出枠ａ内の目標物体Ｔを識別し、目標物体Ｔが標識板に属する確率が０．９２であることを取得することにより、候補検出枠ａに対応する画像情報を取得し、該画像情報は、候補検出枠ａ内の目標物体が標識板に属する確率が０．９２で、上記候補検出枠ａの画像における位置が（ｘ１、ｙ１）、（ｘ２、ｙ１）、（ｘ１、ｙ２）及び（ｘ２、ｙ２）であることである。

上記複数の候補検出枠を選別するとき、以下の２つの方式のうちいずれか１つ又は２つの組み合わせを用いて上記複数の候補検出枠を選別することができるが、これらに限定されない。

第１の方式では、上記複数の候補検出枠を選別するとき、図３に示すとおり、候補検出枠Ａと候補検出枠Ｂに対して、候補検出枠Ａ内の目標物体が、対応する目標種別に属する確率値が第１の確率値であり、候補検出枠Ｂ内の目標物体が、対応する目標種別に属する確率値が第２の確率値であれば、候補検出枠Ａと候補検出枠Ｂとの間の重なり度合い（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ、ｉｏｕ）を第１の重なり度合いｉｏｕ１として定義し、候補検出枠Ａと候補検出枠Ｂ内の目標物体の上記目標種別が同じである。

ここで、Ｓ_Ａは候補検出枠Ａの面積を示し、Ｓ_Ｂは候補検出枠Ｂの面積を示し、Ｓ_ＡＢは候補検出枠Ａと候補検出枠Ｂとの間の重なり部分の面積を示し、Ｓ _ｐｍｉｎ （Ｓ_Ａ、Ｓ_Ｂ）は参照領域の面積を示す。各候補検出枠内の目標物体はいずれも、対応する目標種別に属する確率値に対応し、即ち、各候補検出枠はいずれも、１つの確率値に対応し、各２つの候補検出枠の第１の重なり度合いｉｏｕ１を算出した後、該ｉｏｕ１の値が第３の比の閾値より大きければ、２つの候補検出枠に対応する２つの確率値の大きさを比較し、比較的小さい確率値に対応する候補検出枠及び該候補検出枠に対応する画像情報を削除し、さらに選別された目標検出枠及び目標検出枠に対応する画像情報を取得して、第３の比の閾値は１より小さい正の実数である。

例えば、目標検出により、画像に目標物体を含む６つの候補領域が存在することを検出すれば、それぞれ候補検出枠ｂ、候補検出枠ｃ、候補検出枠ｄ、候補検出枠ｅ、候補検出枠ｆ及び候補検出枠ｇであり、上記６つの候補検出枠内の目標物体を識別し、候補検出枠ｂ～候補検出枠ｇ内の目標物体が開閉バーに属する確率がそれぞれ０．９０、０．９３、０．９２、０．９０、０．９１及び０．９４であることを取得する。この６つの初期画像を選別するとき、まず、対応する確率値が最も大きい候補検出枠ｇを選択し、候補検出枠ｇと候補検出枠ｂ～候補検出枠ｆとの間の重なり度合いｉｏｕ１をそれぞれ計算し、候補検出枠ｂ及び候補検出枠ｄと候補検出枠ｇとの間の重なり度合いｉｏｕ１が第３の比の閾値より大きいと仮定すれば、候補検出枠ｂ及び候補検出枠ｄを削除し、候補領域ｇを残し、次に、残りの候補検出枠ｃ、候補検出枠ｅ及び候補検出枠ｆから、対応する確率値が最も大きい候補検出枠ｃを選択し、候補検出枠ｅ及び候補検出枠ｆと候補検出枠ｇとの間の重なり度合いがいずれも第３の比の閾値より大きいことを計算すれば、候補検出枠ｅ及び候補検出枠ｆを削除し、候補検出枠ｃを残し、この６つの候補検出枠を選別した後、最終的に候補検出枠ｇ及び候補検出枠ｃのみを目標検出枠として残す。上記例は例示的な説明に過ぎず、具体的な限定であると理解すべきではなく、例えば、可能な実施例において、上記候補検出枠ｇと候補検出枠ｂ～候補検出枠ｆとの間の重なり度合いｉｏｕ１はいずれも第３の比の閾値よりも大きい可能性があり、最終的に候補検出枠ｇのみを目標検出枠として残すことを理解されたい。

第２の方式では、候補検出枠Ａと候補検出枠Ｂに対して、候補検出枠Ａ内の目標物体が、対応する目標種別に属する確率値が第３の確率値であり、候補検出枠Ｂ内の目標物体が、対応する目標種別に属する確率値が第４の確率値であれば、候補検出枠Ａと候補検出枠Ｂとの間の重なり度合いを第２の重なり度合いｉｏｕ２として定義する。

ここで、Ｓ_Ａは候補検出枠Ａの面積を示し、Ｓ_Ｂは候補検出枠Ｂの面積を示し、Ｓ_ＡＢは候補検出枠Ａと候補検出枠Ｂとの間の重なり部分の面積を示し、上記参照領域は上記第１の確率値と前記第２の確率値のうちの比較的小さい値に対応する候補検出枠である。上記式３に基づいて各２つの候補検出枠の第２の重なり度合いｉｏｕ２を算出した後、２つの候補検出枠の間の新たな重なり度合いｉｏｕ２が第４の比の閾値より大きければ、２つの候補検出枠に対応する２つの確率値の大きさを比較し、比較的小さい確率値に対応する候補検出枠及び該候補検出枠に対応する画像情報を削除し、第４の比の閾値は１より小さい正の実数であり、第４の比の閾値は第３の比の閾値以下である。重なり度合いｉｏｕ２に基づいて候補検出枠を選別する過程は、上記重なり度合いｉｏｕ１に基づいて候補検出枠を選別する過程と同じであり、ここでは説明を省略する。

可能な実施例において、まず、上記第１の方式に基づいて上記複数の候補検出枠を選別し、次に上記第２の方式に基づいて残りの少なくとも１つの候補検出枠をさらに選別して、最終的な目標検出枠を取得することができる。理解できるように、上記式２と式３によれば、ｉｏｕ１がｉｏｕ２より大きいことが分かり、第３の比の閾値が第４の比の閾値以上であれば、式２に基づいて求められた２つの候補検出枠の第１の重なり度合いｉｏｕ１が上記第３の比の閾値より小さく、式３に基づいて求められた第２の重なり度合いｉｏｕ２が上記第４の比の閾値より大きい可能性があり、上記式３に対応する方法に基づいて１つの候補検出枠を削除することができ、例えば、上記第１の方式の例では、複数の候補領域を選別した後、候補検出枠ｇ及び候補検出枠ｃを目標検出枠として残すが、候補検出枠ｇと候補検出枠ｃ内の目標物体は依然として同じ目標物体であり、その上で、第２の方式を用いて候補検出枠ｇと候補検出枠ｃとの間の新たな重なり度合いｉｏｕ２を計算し続け、新たな重なり度合いｉｏｕ２が第４の比の閾値より大きければ、候補検出枠ｃ及び候補領域ｃに対応する画像情報を削除することができ、第１の方式を用い、次に第２の方式を用いて複数の候補検出枠を選別することにより、目標検出枠の数をさらに減らし、後続のステップにおける処理に必要なデータ量を減らし、システム処理の時間を短縮することにより、踏切の状態情報及び踏切に対する提示情報をよりタイムリーに生成し、システムの安全性を向上させることができる。

可能な実施例において、上記目標状態情報及び上記交差点状態情報を決定した後、上記交差点状態情報に基づいて第１の提示情報を生成することにより、参照対象の操作者に関連操作を行うように提示し、及び／又は、第１の運転制御情報を生成することにより、自動運転システムに、対応する操作を実行させることができ、例えば、上記交差点状態情報が閉状態である場合、減速という提示情報を生成し、及び／又は、上記参照対象を減速させるように制御するための制御命令を生成する。

好ましくは、上記画像に対して目標検出を行う方法は、エッジボックス（Ｅｄｇｅ Ｂｏｘｅｓ）検出アルゴリズム、選択的検索アルゴリズム、テンプレートマッチング、領域ベースの畳み込みニューラルネットワーク（Ｒｅｇｉｏｎ－Ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＲＣＮＮ）、領域ベースの全畳み込みニューラルネットワーク（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、ＲＦＣＮ）モデルなどを含むが、これらに限定されない。

好ましくは、本願の実施例において、目標物体を識別するニューラルネットワークモデルは、領域分類ネットワークモデル又は分割畳み込みニューラルネットワークモデルであってもよく、領域分類ニューラルネットワークモデルは、残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋｓ、ＲｅｓＮｅｔ）モデル、ＶＧＧ１６モデル、ＶＧＧＮｅｔモデル、Ｉｎｃｅｐｔｉｏｎモデルなどを含むが、これらに限定されず、分割畳み込みニューラルネットワークモデルは、全畳み込みネットワーク（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、ＦＣＮ）モデル、マルチタスクネットワークカスケードＭＮＣモデル、Ｍａｓｋ－ＲＣＮＮモデルなどを含むが、これらに限定されない。

本願の実施例に係る交差点検出方法では、マシンビジョンの方法を用いて踏切などの開閉バーを有する領域に対して目標検出及び識別を行って、開閉バーを検出し、かつ開閉バーの状態を判断することにより、開閉バーの状態に基づいて対応する提示情報及び／又は制御指令などを生成して、ユーザ又は装置に、対応する操作を行うように提示し、該領域を通過する安全性を向上させることができる。例えば、車両支援運転システム、自動運転システム、盲導機器又はロボット支援システムに応用することができ、これらのシステムの応用シーンを増加させ、応用の安全性を向上させることができる。

可能な実施例において、目標物体の目標状態情報を決定する上記ステップ１０４の前に、さらに参照対象の目標物体までの距離を決定することができる。例えば、検出された目標物体が開閉バーである場合、開閉バーに対応する目標検出枠の長辺の長さが第１の長さ閾値より小さいか否かを比較し、上記第１の長さ閾値より小さければ、参照対象の開閉バーまでの距離が第１の距離より大きいと決定し、上記第１の長さ閾値より大きければ、開閉バーまでの距離が第１の距離より小さいと決定することができる。上記長辺の長さは、目標検出枠の長辺の画素点の数であり、上記第１の長さ閾値は、参照対象が上記開閉バーから第１の距離離れる場合、画像内の上記開閉バーが４５度傾斜した時の長辺に対応する画素点の数である。

参照対象の開閉バーまでの距離が上記第１の距離より小さいと決定すれば、さらに開閉バーに対応する目標領域の長辺の長さが第２の長さ閾値より大きいか否かを比較し、上記第２の長さ閾値より大きければ、参照対象の開閉バーまでの距離が第２の距離より小さいと決定し、上記第２の距離は上記第１の距離より小さく、上記第２の長さ閾値は上記第１の長さ閾値より大きく、上記第２の長さ閾値は、参照対象が上記開閉バーから第２の距離離れる場合、画像内の上記開閉バーが垂直状態又は水平状態にあるときに対応する目標検出枠の長辺に対応する画素点の数である。

好ましくは、車両の目標物体までの距離を決定することにより、ユーザは、車両の目標物体までの距離が第１の距離より大きい場合、踏切から遠いため、開閉バーの状態情報を引き続き判断せず、交差点状態情報を引き続き決定せず、車両の前方の、第１の距離より大きい領域に踏切が存在することのみを決定し、車両の目標物体までの距離が第２の距離より小さい場合、引き続き開閉バーの状態情報を判断し、交差点状態情報を決定することを選択することができる。参照対象と目標物体との距離を測定することにより、目標物体を検出し、かつ目標物体までの距離が一定の距離より小さい場合のみに、目標物体の状態などを判断することにより、処理に必要なデータを減らし、交差点状態に対する提示情報を低減し、多すぎる提示を生成することで運転者の集中力を削ぐという問題を回避することができる。

可能な実施例において、上記目標物体は、さらに信号灯及び／又は標識板を含み、上記標識板の目標状態は、標識板が存在する状態及び標識板が存在しない状態の２つであり、上記信号灯の状態は、信号灯の点灯及び信号灯の消灯の２つであり、例えば、上記信号灯の点灯時に赤色であり、上記信号灯の点灯時に通行禁止を示し、信号灯の消灯時に通行許可を示す。

理解できるように、上記標識板の状態を決定するとき、上記候補検出枠を選別して目標検出枠を取得した後、目標検出枠に目標種別が標識板である目標物体が存在すれば、標識板の目標状態が標識板が存在することであることを示し、目標検出枠に目標種別が標識板である目標物体が存在しなければ、標識板の目標状態が標識板が存在しないことであることを示す。

理解できるように、上記信号灯の状態を決定するとき、信号灯の種別に基づいて信号灯の状態を直接的に決定することができ、可能な実施例において、ニューラルネットワークモデルをトレーニングするとき、点灯した信号灯及び消灯した信号灯を用いてニューラルネットワークモデルをトレーニングし、トレーニングされたニューラルネットワークモデルを用いて各候補検出枠を識別するとき、点灯した信号灯と消灯した信号灯を識別することができ、上記候補検出枠を選別した後、目標領域に目標種別が点灯である信号灯が存在すれば、信号灯の状態が点灯であることを示し、目標領域に目標種別が消灯である信号灯が存在すれば、信号灯の状態が消灯であることを示す。

本願の実施例において、上記交差点が踏切であれば、上記信号灯は上記踏切の列車の通行状態を指示し、例えば、上記信号灯の状態が点灯である場合、上記踏切を通過しようとする列車があるか又は上記踏切を通過している列車があることを示し、上記信号灯の状態が消灯である場合、上記踏切を通過する列車がないことを示す。上記開閉バーは、上記踏切を通過しようとする列車がある時、及び上記踏切を通過している列車がある時、車両と歩行者が上記踏切を通過することを阻止する。

以下、上記分析によれば、標識板、信号灯及び開閉バーの状態を組み合わせ、踏切の状態情報の決定を説明し、図５を参照すると、図５は本願の実施例に係る踏切状態、及び各状態の間の切り替え関係の概略図であり、画像において目標物体を含む候補検出枠が検出されなければ、目標物体が検出されないという提示情報を生成し、図５における対応する踏切状態は「未検出」であり、信号灯の状態が点灯であり、開閉バーが垂直状態（即ちＮが第２の比の閾値Ｎ２以下）である場合、該踏切を通過しようとする列車があることを意味し、開閉バーは、車両又は歩行者の通過を阻止するために降下しようとしており、この時に開閉バーが下降しようとするという提示情報を生成し、図５における対応する踏切状態は「下降しようとする」ことであり、信号灯の状態が点灯であり、開閉バーが傾斜状態（即ちＮが第２の比の閾値より大きく、第３の比の閾値Ｎ３以下）である場合、該踏切を通過しようとする列車があることを意味し、この時に開閉バーが下降しているという提示情報を生成し、図５における対応する踏切状態は「下降しようとする」から「下降している」に変更され、信号灯の状態が点灯であり、開閉バーが水平状態である（即ちＮが第３の比の閾値Ｎ３よりも大きい）場合、該踏切を通過しようとする列車又は通過している列車があることを意味し、この時に開閉バーが落下したという提示情報を生成し、図５における対応する踏切状態は「下降している」から「落下した」に変更される。

好ましくは、上記分析に基づいて、本願の実施例は、さらに３つの踏切状態を追加してもよい。信号灯の状態が消灯であり、開閉バーが水平状態である場合、列車が該踏切を通過したことを意味し、この時に開閉バーが上昇しようとするという提示情報を生成し、対応する踏切状態は「上昇しようとする」ことであり、信号灯の状態が消灯であり、開閉バーが傾斜状態である場合、列車が該踏切を通過したことを意味し、この時に開閉バーが上昇しているという提示情報を生成し、対応する踏切状態は「上昇している」ことであり、信号灯の状態が消灯であり、開閉バーが垂直状態である場合、列車が該踏切を通過したことを意味し、この時に開閉バーが上昇したという提示情報を生成し、対応する踏切状態は「上昇した」ことである。

マシンビジョンの方式により交差点の標識板、信号灯及び開閉バーなどの目標を検出識別し、かつ検出識別された目標の画像情報に基づいて各目標の目標状態を判断し、さらに各目標の目標状態を組み合わせ、交差点の状態情報及び踏切に対する提示情報などを生成することにより、開閉バーを有する交差点のようなシーンに対してマシンビジョンに基づく検出提示方法を提供し、車両支援運転システム又はロボット支援システムなどのシステムの応用シーンを増加させ、応用の安全性を向上させる。

好ましくは、上記参照対象の目標物体までの距離を決定するとき、標識板又は信号灯に対応する目標検出枠を用いて決定してもよく、本願の実施例では具体的に限定されない。

参照対象の開閉バーまでの距離を決定することにより、２つの踏切提示情報及び２つの踏切状態を追加することができ、即ち、目標物体があると検出し、かつ車両の目標物体までの距離が上記第１の距離より大きい場合、第１の距離よりも大きい距離で目標物体が検出されるという提示情報を生成し、対応する踏切状態は「遠距離に目標物体がある」ことであり、目標物体があると検出し、かつ車両の目標物体までの距離が上記第２の距離より小さい場合、第２の距離より小さい距離で目標物体が検出されるという提示情報を生成し、対応する踏切状態は「近距離に目標物体がある」ことである。上記踏切状態を組み合わせると、踏切状態は「未検出」、「遠距離に目標物体がある」、「近距離に目標物体がある」、「下降しようとする」、「下降している」、「落下した」、「上昇しようとする」、「上昇している」及び「上昇した」の９つの状態を含むことができる。図６に示すとおり、図６は本願の実施例に係る別の踏切状態、及び各状態の間の切り替え関係の概略図であり、図において「未検出」、「遠距離に目標物体がある」、「近距離に目標物体がある」、「下降しようとする」、「下降している」及び「落下した」の６つの状態を例として説明し、画像に目標物体が検出されなければ、目標物体が検出されないという提示情報を生成し、図６における対応する踏切状態は「未検出」であり、少なくとも１つの目標物体があると検出し、かつ目標物体までの距離が第１の距離閾値よりも大きい場合、第１の距離よりも大きい距離で目標物体が検出されるという提示情報を生成し、図６における対応する踏切状態は「遠距離に目標物体がある」ことであり、少なくとも１つの目標物体があると検出し、かつ車両の目標物体までの距離が上記第２の距離より小さい場合、第２の距離より小さい距離で目標物体が検出されるという提示情報を生成し、図６における対応する踏切状態は「近距離に目標物体がある」ことであり、信号灯の状態が点灯であり、開閉バーが垂直状態である場合、開閉バーが下降しようとするという提示情報を生成し、図６における対応する踏切状態は「下降しようとする」ことであり、信号灯の状態が点灯であり、開閉バーが傾斜状態である場合、開閉バーが下降しているという提示情報を生成し、図６における対応する踏切状態は「下降している」ことであり、信号灯の状態が点灯であり、開閉バーが水平状態である場合、開閉バーが落下したという提示情報を生成し、図６における対応する踏切状態は「落下した」ことである。理解できるように、上記９つの交差点状態は例示的なものであり、実際の応用において必要に応じて交差点状態の他の説明方式を決定することができ、本願はこれを限定しない。

可能な実施例において、上記交差点状態情報が上記交差点の開閉バーが下降しようとする状態と、上記交差点の開閉バーが下降している状態と、上記交差点の開閉バーが落下した状態とのうちいずれか１つである場合、減速又は停車の提示情報を生成し、及び／又は、上記参照対象を減速させるか又は停止させるように制御するための運転制御命令を生成し、上記交差点状態情報が、上記交差点の開閉バーが上昇した状態と、上記交差点の開閉バーが上昇している状態と、上記交差点の開閉バーが上昇しようとする状態とのうちいずれか１つである場合、現在の走行状態を保持するか又は低速走行する提示情報を生成し、及び／又は、上記参照対象が現在の走行状態を保持するか又は低速走行するように制御するための運転制御命令を生成する。

可能な実施例において、１つのフレーム画像に目標物体が検出されれば、目標追跡アルゴリズムを用いて、次のフレーム画像における目標物体の位置を推定することにより、目標検出の範囲を縮小し、目標検出の速度を高めることができ、また、矩形枠を用いて画像に候補検出枠又は目標領域をマークすれば、目標追跡アルゴリズムを用いてビデオにおける矩形枠のジッタを効果的に抑制することができる。

図７を参照すると、図７は本願の実施例に係る交差点検出装置の概略ブロック図であり、上記装置は、検出ユニット７０１及び処理ユニット７０２を含み、
上記検出ユニット７０１は、取得された画像に対して、開閉バーを含む目標物体の検出を行って、目標物体の目標検出枠を取得し、
上記処理ユニット７０２は、上記目標物体の目標検出枠に基づいて上記目標物体の目標状態情報を決定し、
上記処理ユニット７０２は、さらに上記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定する。

上記装置は、参照対象に設けられたカメラにより収集された上記参照対象の前方の画像を取得する取得ユニット７０３をさらに含む。上記参照対象は、車両、ロボット、ウェアラブル機器及び盲導機器を含む。

上記処理ユニット７０２は、具体的に、上記開閉バーに対応する目標検出枠のアスペクト比に基づいて上記開閉バーの目標状態情報を決定し、上記開閉バーの目標状態情報は、水平状態、傾斜状態、垂直状態のうちの少なくとも１つを含む。

上記処理ユニット７０２は、さらに、具体的に、上記開閉バーが垂直状態にある場合、上記交差点状態情報が開状態であると決定し、及び／又は、上記開閉バーが傾斜状態にある場合、上記交差点状態情報が開こうとする状態又は閉めようとする状態であると決定し、及び／又は、上記開閉バーが水平状態にある場合、上記交差点状態情報が閉状態であると決定する。

本願の実施例において、上記目標物体は、信号灯及び／又は交差点標識板をさらに含み、上記信号灯の目標状態情報は信号灯の点灯及び信号灯の消灯を含む。

具体的には、上記各ユニットが各操作を実行する過程は、上記方法の実施例における実現過程を参照してよく、ここでは説明を省略する。

図８を参照すると、図８は本願の実施例に係る電子機器の概略ブロック図である。図８に示す本実施例における電子機器は、１つ以上のプロセッサ８０１、１つ以上の入力装置８０２、１つ以上の出力装置８０３、及びメモリ８０４を含んでよい。上記プロセッサ８０１、入力装置８０２、出力装置８０３及びメモリ８０４は、バス８０５を介して接続されている。メモリ８０２は、プログラム命令を含むコンピュータプログラムを記憶し、プロセッサ８０１は、メモリ８０２に記憶されたプログラム命令を実行することにより、上記方法の実施例に記載の方法のステップを実現する。

本願の実施例において、いわゆるプロセッサ８０１は、中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）であってもよく、他の汎用プロセッサ、グラフィックスプロセッシングユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよいことを理解されたい。汎用プロセッサは、マイクロプロセッサであってもよく、任意の通常のプロセッサなどであってもよい。

入力装置８０２は、タッチパッド、センサ、マイクロフォン、画像収集装置などを含んでよく、出力装置８０３は、ディスプレイ（ＬＣＤなど）、スピーカ、通信モジュールなどを含んでよい。

メモリ８０４は、読み出し専用メモリ及びランダムアクセスメモリを含んでよく、かつプロセッサ８０１に命令及びデータを提供する。メモリ８０４の一部は、不揮発性ランダムアクセスメモリを含んでもよい。例えば、メモリ８０４はまた、装置タイプの情報を記憶することができる。

具体的な実現において、本願の実施例に説明されたプロセッサ８０１、入力装置８０２、出力装置８０３は、本願の方法の実施例に係る交差点検出方法に説明された実現方式を実行してもよく、本願の実施例に説明された装置の実現方式を実行してもよく、ここでは説明を省略する。

具体的な実現において、本願の実施例における電子機器は、本願に係る方法の実施例に説明された方法を実行できる端末装置であってもよく、本願に説明された装置を含む端末装置であってもよく、該電子機器は、画像収集及び画像処理を行うことができる携帯電話、ドライブレコーダー、タブレットコンピュータ、モバイルインターネット装置（Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅ、ＭＩＤ）、サーバなどの様々な端末装置であってもよく、本願の実施例では限定されない。

本願の実施例はまた、プロセッサ上で実行されると、上記方法の実施例における方法のステップを実現できる命令が記憶される非一時的なコンピュータ記憶媒体を提供し、上記コンピュータ記憶媒体のプロセッサが上記方法のステップを実行する具体的な実現は、上記方法の実施例の具体的な操作を参照することができ、ここでは説明を省略する。

本願の実施例はさらに、上記電子機器が設けられているか又は上記コンピュータ記憶媒体が設けられている車両を提供する。

当業者であれば理解できるように、本明細書で開示される実施例に説明された各例のユニット及び方法のステップと組み合わせて、電子ハードウェア、コンピュータソフトウェア又は両者の組み合わせにより実現することができ、ハードウェアとソフトウェアの互換性を明確に説明するために、上記説明において機能に応じて各例の構成及びステップを一般的に説明した。これらの機能がハードウェアの方式で実行されるか又はソフトウェアの方式で実行されるかは、技術的解決手段の特定の応用及び設計上の制約条件に依存する。当業者であれば、各特定の応用に対して異なる方法で説明された機能を実現してよいが、このような実現は本願の範囲を超えると考えられるべきではない。

当業者であれば明確に理解できるように、便利かつ簡潔で説明するために、上記説明された装置、電子機器及びユニットの具体的な動作過程については、前述した方法の実施例における対応する過程を参照してよく、ここでは説明を省略する。

本願に係るいくつかの実施例において、開示される装置、電子機器及び方法は他の方式によって実現することができることを理解されたい。例えば、上述した装置の実施例は、例示的なものに過ぎず、例えば、上記ユニットの区分は、論理機能の区分に過ぎず、実際の実現時に他の区分方式があってもよく、例えば、複数のユニット又はコンポーネントが組み合わせられるか又は別のシステムに集積されてよく、或いは、いくつかの特徴を省略するか又は実行しなくてもよい。また、示されるか又は議論される相互結合、直接結合又は通信接続は、いくつかのインタフェース、装置又はユニットを介する間接結合又は通信接続であってもよく、電気的、機械的、又は他の形態の接続であってよい。

また、本願の各実施例において、各機能ユニットは、１つの処理ユニットに集積されてもよく、各ユニットは、別個に物理的に存在してもよく、２つ以上のユニットは、１つのユニットに集積されてもよい。上記集積されたユニットをハードウェアの形態で実現でき、ソフトウェア機能ユニットの形態で実現することもできる。

上記集積されたユニットは、ソフトウェア機能ユニットの形態で実現され、かつ独立した製品として販売又は使用されると、１つのコンピュータ読み取り可能な記憶媒体に記憶されてよい。このような理解に基づいて、本願の技術的解決手段の本質的な又は従来技術に貢献する部分、又は該技術的解決手段の全部又は一部は、ソフトウェア製品の形態で実現することができ、該コンピュータソフトウェア製品は、１台のコンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワーク装置などであってよい）に本願の各実施例に記載の方法の全部又は一部のステップを実行させるいくつかの命令を含む記憶媒体に記憶されている。前述した記憶媒体は、Ｕディスク、リムーバブルハードディスク、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶可能な様々な媒体を含む。

以上の内容は、本願の具体的な実施形態に過ぎないが、本願の保護範囲はこれに限定されず、当業者であれば、本願に開示された技術的範囲内に、様々な等価な変更又は置き換えを容易に想到でき、これらの変更又は置き換えは、いずれも本願の保護範囲に属するものである。したがって、本願の保護範囲は、特許請求の範囲の保護範囲を基準とすべきである。

Claims (37)

1. 取得された画像に対して、開閉バーを含む目標物体の検出を行って、目標物体の目標検出枠を取得するステップと、
   前記目標物体の目標検出枠に基づいて前記目標物体の目標状態情報を決定するステップと、
   前記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定するステップと、を含む、ことを特徴とする交差点検出方法。
2. 取得された画像に対して目標物体の検出を行う前記ステップの前に、
   参照対象に設けられたカメラにより収集された前記参照対象の前方の画像を取得するステップをさらに含む、ことを特徴とする請求項１に記載の方法。
3. 前記交差点状態情報に基づいて第１の提示情報を生成し、及び／又は、前記交差点状態情報に基づいて第１の運転制御情報を生成するステップをさらに含む、ことを特徴とする請求項１又は２に記載の方法。
4. 前記参照対象は、
   車両、ロボット、ウェアラブル機器、盲導機器のうちの少なくとも１つを含む、ことを特徴とする請求項２又は３に記載の方法。
5. 前記目標検出枠は矩形枠であり、前記目標物体の目標検出枠に基づいて前記目標物体の目標状態情報を決定する前記ステップは、
   前記開閉バーに対応する目標検出枠のアスペクト比に基づいて前記開閉バーの目標状態情報を決定するステップを含み、前記開閉バーの目標状態情報は、
   水平状態、傾斜状態、垂直状態のうちの少なくとも１つを含む、ことを特徴とする請求項１～４のいずれか１項に記載の方法。
6. 前記開閉バーに対応する目標検出枠のアスペクト比に基づいて前記開閉バーの目標状態情報を決定するステップは、
   前記開閉バーに対応する目標検出枠のアスペクト比が第１の比の閾値以下である場合、前記開閉バーが垂直状態にあると決定するステップと、
   前記開閉バーに対応する目標検出枠のアスペクト比が前記第１の比の閾値より大きく、かつ第２の比の閾値以下である場合、前記開閉バーが傾斜状態にあると決定するステップと、
   前記開閉バーに対応する目標検出枠のアスペクト比が前記第２の比の閾値より大きい場合、前記開閉バーが水平状態にあると決定するステップと、のうちの少なくとも１つを含み、前記アスペクト比は、前記開閉バーに対応する目標検出枠の各行の画素点の個数と各列の画素点の個数との比であることを特徴とする請求項５に記載の方法。
7. 前記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定する前記ステップは、
   前記開閉バーが垂直状態にある場合、前記交差点状態情報が開状態であると決定するステップと、
   前記開閉バーが傾斜状態にある場合、前記交差点状態情報が開こうとする状態又は閉めようとする状態であると決定するステップと、
   前記開閉バーが傾斜状態にある場合、前記交差点状態情報が閉状態であると決定するステップと、のうちの少なくとも１つを含む、ことを特徴とする請求項６に記載の方法。
8. 取得された画像に対して目標物体の検出を行って、目標物体の目標検出枠を取得する前記ステップは、
   取得された画像に対して目標物体の検出を行って、前記目標物体に対応する複数の候補検出枠を取得するステップと、
   前記複数の候補検出枠を選別して、前記目標物体の目標検出枠を取得するステップと、を含む、ことを特徴とする請求項１～７のいずれか１項に記載の方法。
9. 前記候補検出枠を選別する前記ステップは、
   前記複数の候補検出枠のうちいずれか１つである第１の候補検出枠内の目標物体が目標種別に属する第１の確率値を取得するステップと、
   前記第１の候補検出枠と重なり領域を有する第２の候補検出枠内の目標物体が目標種別に属する第２の確率値を取得するステップと、
   前記重なり領域の面積と第１の参照領域の面積との間の面積比を決定し、前記面積比が第３の比の閾値より大きい場合、前記第１の参照領域に対応する候補検出枠を削除するステップとを含み、前記第１の参照領域は、前記第１の確率値と前記第２の確率値のうちの比較的小さい値に対応する候補検出枠である、ことを特徴とする請求項８に記載の方法。
10. 前記候補検出枠を選別する前記ステップは、
    前記少なくとも１つの候補検出枠のうちいずれか１つである第３の候補検出枠内の目標物体が目標種別に属する第３の確率値を取得するステップと、
    前記第３の候補検出枠と重なり領域を有する第４の候補検出枠内の目標物体が目標種別に属する第４の確率値を取得するステップと、
    前記重なり領域の面積と第２の参照領域の面積との間の面積比を決定し、前記面積比が第４の比の閾値より大きい場合、前記第３の確率値と前記第４の確率値のうちの比較的小さい値に対応する候補検出枠を削除するステップとを含み、前記第２の参照領域は、前記第３の候補検出枠と前記第４の候補検出枠との重なり領域と非重なり領域で構成された領域である、ことを特徴とする請求項８又は９に記載の方法。
11. 前記目標物体の目標検出枠に基づいて前記参照対象の前記交差点に対する距離情報を決定するステップと、
    前記交差点状態情報及び前記距離情報に基づいて第２の提示情報を生成し、及び／又は、交差点状態情報及び前記距離情報に基づいて第２の運転制御情報を生成するステップと、をさらに含む、ことを特徴とする請求項１～１０のいずれか１項に記載の方法。
12. 前記目標物体の目標検出枠に基づいて前記参照対象の前記交差点に対する距離情報を決定する前記ステップは、
    前記開閉バーに対応する目標検出枠の長辺の長さが第１の長さ閾値より小さい場合、前記参照対象の前記交差点に対する距離が第１の距離より大きいと決定するステップと、
    前記開閉バーに対応する目標検出枠の長辺の長さが第２の長さ閾値より大きい場合、前記参照対象の前記交差点に対する距離が第２の距離より小さいと決定するステップと、のうちの少なくとも１つを含み、前記第２の距離が第１の距離より小さく、前記第２の長さ閾値が前記第１の長さ閾値より大きい、ことを特徴とする請求項１１に記載の方法。
13. 前記目標物体は、
    信号灯及び／又は交差点標識板をさらに含む、ことを特徴とする請求項１～１２のいずれか１項に記載の方法。
14. 前記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定する前記ステップは、
    前記画像に目標物体が検出されない場合、前記交差点状態情報が交差点が検出されないことであると決定するステップと、
    前記参照対象の前記交差点に対する距離が第１の距離より大きい場合、前記交差点状態情報が交差点を遠距離で検出したことであると決定するステップと、
    前記参照対象の前記交差点に対する距離が第２の距離より小さい場合、前記交差点状態情報が交差点を近距離で検出したことであると決定するステップと、のうちの少なくとも１つを含む、ことを特徴とする請求項１３に記載の方法。
15. 前記信号灯の目標状態情報は信号灯の点灯及び信号灯の消灯を含み、前記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定する前記ステップは、
    前記開閉バーが垂直状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが下降しようとすることであると決定するステップと、
    前記開閉バーが傾斜状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが下降していることであると決定するステップと、
    前記開閉バーが水平状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが落下したことであると決定するステップと、
    前記開閉バーが垂直状態にあり、かつ前記信号灯の状態が消灯である場合、前記交差点状態情報が前記交差点の開閉バーが上昇したことであると決定するステップと、
    前記開閉バーが傾斜状態にあり、かつ前記信号灯の状態が消灯である場合、前記交差点状態情報が前記交差点の開閉バーが上昇していることであると決定するステップと、
    前記開閉バーが水平状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが上昇しようとすることであると決定するステップと、のうちの少なくとも１つをさらに含む、ことを特徴とする請求項１４に記載の方法。
16. 前記信号灯の目標状態情報は信号灯の点灯及び信号灯の消灯を含み、前記交差点状態情報が交差点を近距離で検出したことであると決定する前記ステップの後に、
    前記開閉バーが垂直状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが下降しようとすることであると決定するステップと、
    前記開閉バーが傾斜状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが下降していることであると決定するステップと、
    前記開閉バーが水平状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが落下したことであると決定するステップと、
    前記開閉バーが垂直状態にあり、かつ前記信号灯の状態が消灯である場合、前記交差点状態情報が前記交差点の開閉バーが上昇したことであると決定するステップと、
    前記開閉バーが傾斜状態にあり、かつ前記信号灯の状態が消灯である場合、前記交差点状態情報が前記交差点の開閉バーが上昇していることであると決定するステップと、
    前記開閉バーが水平状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが上昇しようとすることであると決定するステップと、のうちの少なくとも１つをさらに含む、ことを特徴とする請求項１４に記載の方法。
17. 前記交差点状態情報及び前記距離情報に基づいて第２の提示情報を生成し、及び／又は、交差点状態情報及び前記距離情報に基づいて第２の運転制御情報を生成するステップは、
    前記交差点状態情報が、前記交差点の開閉バーが下降しようとする状態と、前記交差点の開閉バーが下降している状態と、前記交差点の開閉バーが落下した状態とのうちいずれか１つである場合、減速又は停車の提示情報を生成し、及び／又は、前記参照対象を減速させるか又は停止させるように制御するための運転制御命令を生成するステップと、
    前記交差点状態情報が、前記交差点の開閉バーが上昇した状態と、前記交差点の開閉バーが上昇している状態と、前記交差点の開閉バーが上昇しようとする状態とのうちいずれか１つである場合、現在の走行状態を保持するか又は低速走行する提示情報を生成し、及び／又は、前記参照対象が現在の走行状態を保持するか又は低速走行するように制御するための運転制御命令を生成するステップと、のうちの少なくとも１つを含む、ことを特徴とする請求項１６に記載の方法。
18. 取得された画像に対して、開閉バーを含む目標物体の検出を行って、目標物体の目標検出枠を取得する検出ユニットと、
    前記目標物体の目標検出枠に基づいて前記目標物体の目標状態情報を決定する処理ユニットと、
    前記目標物体の目標状態情報に基づいて交差点の交差点状態情報を決定する処理ユニットとを含む、ことを特徴とする交差点検出装置。
19. 参照対象に設けられたカメラにより収集された前記参照対象の前方の画像を取得する取得ユニットをさらに含む、ことを特徴とする請求項１８に記載の装置。
20. 前記処理ユニットは、さらに、
    前記交差点状態情報に基づいて第１の提示情報を生成し、及び／又は、前記交差点状態情報に基づいて第１の運転制御情報を生成する、ことを特徴とする請求項１８又は１９に記載の装置。
21. 前記参照対象は、
    車両、ロボット、ウェアラブル機器、盲導機器のうちの少なくとも１つを含む、ことを特徴とする請求項２０に記載の方法。
22. 前記目標検出枠は矩形枠であり、前記処理ユニットは、さらに、
    前記開閉バーに対応する目標検出枠のアスペクト比に基づいて前記開閉バーの目標状態情報を決定し、前記開閉バーの目標状態情報は、
    水平状態、傾斜状態、垂直状態のうちの少なくとも１つを含む、ことを特徴とする請求項１８～２１のいずれか１項に記載の装置。
23. 前記処理ユニットは、具体的に、
    前記開閉バーに対応する目標検出枠のアスペクト比が第１の比の閾値以下である場合、前記開閉バーが垂直状態にあると決定することと、
    前記開閉バーに対応する目標検出枠のアスペクト比が前記第１の比の閾値より大きく、かつ第２の比の閾値以下である場合、前記開閉バーが傾斜状態にあると決定することと、
    前記開閉バーに対応する目標検出枠のアスペクト比が前記第２の比の閾値より大きい場合、前記開閉バーが水平状態にあると決定することと、のうちの少なくとも１つに用いられ、前記アスペクト比は、前記開閉バーに対応する目標検出枠の各行の画素点の個数と各列の画素点の個数との比である、ことを特徴とする請求項２２に記載の装置。
24. 前記処理ユニットは、さらに、
    前記開閉バーが垂直状態にある場合、前記交差点状態情報が開状態であると決定することと、
    前記開閉バーが傾斜状態にある場合、前記交差点状態情報が開こうとする状態又は閉めようとする状態であると決定することと、
    前記開閉バーが傾斜状態にある場合、前記交差点状態情報が閉状態であると決定することと、のうちの少なくとも１つに用いられる、ことを特徴とする請求項２３に記載の装置。
25. 前記検出ユニットは、具体的に、
    取得された画像に対して目標物体の検出を行って、前記目標物体に対応する複数の候補検出枠を取得し、
    前記複数の候補検出枠を選別して、前記目標物体の目標検出枠を取得する、ことを特徴とする請求項１８～２４のいずれか１項に記載の装置。
26. 前記検出ユニットは、具体的に、
    前記複数の候補検出枠のうちいずれか１つである第１の候補検出枠内の目標物体が目標種別に属する第１の確率値を取得し、
    前記第１の候補検出枠と重なり領域を有する第２の候補検出枠内の目標物体が目標種別に属する第２の確率値を取得し、
    前記重なり領域の面積と第１の参照領域の面積との間の面積比を決定し、前記面積比が第３の比の閾値より大きい場合、前記第１の参照領域に対応する候補検出枠を削除し、前記第１の参照領域は、前記第１の確率値と前記第２の確率値のうちの比較的小さい値に対応する候補検出枠である、ことを特徴とする請求項２５に記載の装置。
27. 前記検出ユニットは、具体的に、
    前記少なくとも１つの候補検出枠のうちいずれか１つである第３の候補検出枠内の目標物体が目標種別に属する第３の確率値を取得し、
    前記第３の候補検出枠と重なり領域を有する第４の候補検出枠内の目標物体が目標種別に属する第４の確率値を取得し、
    前記重なり領域の面積と第２の参照領域の面積との間の面積比を決定し、前記面積比が第４の比の閾値より大きい場合、前記第３の確率値と前記第４の確率値のうちの比較的小さい値に対応する候補検出枠を削除し、前記第２の参照領域は、前記第３の候補検出枠と前記第４の候補検出枠との重なり領域と非重なり領域で構成された領域である、ことを特徴とする請求項２５又は２６に記載の装置。
28. 前記処理ユニットは、さらに、
    前記目標物体の目標検出枠に基づいて前記参照対象の前記交差点に対する距離情報を決定し、
    前記交差点状態情報及び前記距離情報に基づいて第２の提示情報を生成し、及び／又は、交差点状態情報及び前記距離情報に基づいて第２の運転制御情報を生成する、ことを特徴とする請求項１８～２７のいずれか１項に記載の装置。
29. 前記処理ユニットは、具体的に、
    前記開閉バーに対応する目標検出枠の長辺の長さが第１の長さ閾値より小さい場合、前記参照対象の前記交差点に対する距離が第１の距離より大きいと決定することと、
    前記開閉バーに対応する目標検出枠の長辺の長さが第２の長さ閾値より大きい場合、前記参照対象の前記交差点に対する距離が第２の距離より小さいと決定することと、のうちの少なくとも１つに用いられ、前記第２の距離が第１の距離より小さく、前記第２の長さ閾値が前記第１の長さ閾値より大きい、ことを特徴とする請求項２８に記載の装置。
30. 前記目標物体は、
    信号灯及び／又は交差点標識板をさらに含み、前記信号灯の目標状態情報は信号灯の点灯及び信号灯の消灯を含む、ことを特徴とする請求項１８～２９のいずれか１項に記載の装置。
31. 前記処理ユニットは、具体的に、
    前記画像に目標物体が検出されない場合、前記交差点状態情報が交差点が検出されないことであると決定することと、
    前記参照対象の前記交差点に対する距離が第１の距離より大きい場合、前記交差点状態情報が交差点を遠距離で検出したことであると決定することと、
    前記参照対象の前記交差点に対する距離が第２の距離より小さい場合、前記交差点状態情報が交差点を近距離で検出したことであると決定することと、のうちの少なくとも１つに用いられる、ことを特徴とする請求項３０に記載の装置。
32. 前記処理ユニットは、具体的に、
    前記開閉バーが垂直状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが下降しようとすることであると決定することと、
    前記開閉バーが傾斜状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが下降していることであると決定することと、
    前記開閉バーが水平状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが落下したことであると決定することと、
    前記開閉バーが垂直状態にあり、かつ前記信号灯の状態が消灯である場合、前記交差点状態情報が前記交差点の開閉バーが上昇したことであると決定することと、
    前記開閉バーが傾斜状態にあり、かつ前記信号灯の状態が消灯である場合、前記交差点状態情報が前記交差点の開閉バーが上昇していることであると決定することと、
    前記開閉バーが水平状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが上昇しようとすることであると決定することと、のうちの少なくとも１つに用いられる、ことを特徴とする請求項３１に記載の装置。
33. 前記交差点状態情報が交差点を近距離で検出したことであると決定する前記ステップの後に、前記処理ユニットは、さらに、
    前記開閉バーが垂直状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが下降しようとすることであると決定することと、
    前記開閉バーが傾斜状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが下降していることであると決定することと、
    前記開閉バーが水平状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが落下したことであると決定することと、
    前記開閉バーが垂直状態にあり、かつ前記信号灯の状態が消灯である場合、前記交差点状態情報が前記交差点の開閉バーが上昇したことであると決定することと、
    前記開閉バーが傾斜状態にあり、かつ前記信号灯の状態が消灯である場合、前記交差点状態情報が前記交差点の開閉バーが上昇していることであると決定することと、
    前記開閉バーが水平状態にあり、かつ前記信号灯の状態が点灯である場合、前記交差点状態情報が前記交差点の開閉バーが上昇しようとすることであると決定することと、のうちの少なくとも１つに用いられる、ことを特徴とする請求項３１に記載の装置。
34. 前記処理ユニットは、具体的に、
    前記交差点状態情報が、前記交差点の開閉バーが下降しようとする状態と、前記交差点の開閉バーが下降している状態と、前記交差点の開閉バーが落下した状態とのうちいずれか１つである場合、減速又は停車の提示情報を生成し、及び／又は、前記参照対象を減速させる又は停止させるように制御するための運転制御命令を生成することと、
    前記交差点状態情報が、前記交差点の開閉バーが上昇した状態と、前記交差点の開閉バーが上昇している状態と、前記交差点の開閉バーが上昇しようとする状態とのうちいずれか１つである場合、現在の走行状態を保持するか又は低速走行する提示情報を生成し、及び／又は、前記参照対象が現在の走行状態を保持するか又は低速走行するように制御するための運転制御命令を生成することと、のうちの少なくとも１つに用いられる、ことを特徴とする請求項３３に記載の装置。
35. プログラム命令を呼び出して請求項１～１７のいずれか１項に記載の方法を実行するように構成されたプロセッサと、データを入力又は出力する入出力装置と、前記プログラム命令を含むコンピュータプログラムを記憶するメモリとを含み、前記プロセッサ、入力装置、出力装置及びメモリが互いに接続されている、ことを特徴とする電子機器。
36. プロセッサにより実行されると、請求項１～１７のいずれか１項に記載の方法を実現するコンピュータプログラムが記憶されている、ことを特徴とするコンピュータ記憶媒体。
37. 請求項３５に記載の電子機器が設けられているか又は請求項３６に記載のコンピュータ記憶媒体が設けられている、ことを特徴とする車両。

Images