JP2022120116A - 交通信号灯の識別方法、装置、電子機器、記憶媒体、コンピュータプログラム、路側機器、クラウド制御プラットフォーム及び車両道路協同システム - Google Patents

交通信号灯の識別方法、装置、電子機器、記憶媒体、コンピュータプログラム、路側機器、クラウド制御プラットフォーム及び車両道路協同システム Download PDF

Info

Publication number
JP2022120116A
JP2022120116A JP2022094835A JP2022094835A JP2022120116A JP 2022120116 A JP2022120116 A JP 2022120116A JP 2022094835 A JP2022094835 A JP 2022094835A JP 2022094835 A JP2022094835 A JP 2022094835A JP 2022120116 A JP2022120116 A JP 2022120116A
Authority
JP
Japan
Prior art keywords
location information
traffic light
position information
location
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022094835A
Other languages
English (en)
Inventor
博 ▲劉▼
Bo Liu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2022120116A publication Critical patent/JP2022120116A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/095Traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/096Arrangements for giving variable traffic instructions provided with indicators in which a mark progresses showing the time elapsed, e.g. of green phase
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】交通信号灯の識別方法、装置、電子機器、記憶媒体、コンピュータプログラム、路側機器、クラウド制御プラットフォーム及び車両道路協同システムを提供する。【解決手段】交通信号灯の識別方法は、識別すべき画像を識別し、交通信号灯の第一位置情報を取得することと、第一位置情報が交通信号灯の一部の位置を指示したことに応答し、第一位置情報と、交通信号灯の位置を指示した少なくとも一つの第二位置情報との間の相対的な位置関係に基づいて、少なくとも一つの第二位置情報から目標位置情報を決定することと、識別すべき画像における目標位置情報に対応する第一画像領域に対して、第一画像領域を識別し、交通信号灯の色を取得することと、を含む。【選択図】図2

Description

本開示は、インテリジェント交通の分野に関し、特に自動運転、画像処理等の分野に関し、より具体的には、交通信号灯の識別方法、装置、電子機器、記憶媒体、コンピュータプログラム、路側機器、クラウド制御プラットフォーム及び車両道路協同システムに関する。
交通の分野において、一般的に交通信号灯の色を識別する必要があり、それにより車両は、交通信号灯の色に基づいて走行するか又は停止することができる。特に自動運転及びインテリジェント交通の分野において、一般的に交通信号灯の色を自動的に識別する必要があり、自動運転車両が識別された色に基づいて関連操作を行うことを容易にする。しかし、関連技術は交通信号灯の色を識別する時、環境干渉、識別アルゴリズム自体の精度問題により、識別効果が良くなく、それにより車両運転中に安全上の問題が存在する。
本発明は、交通信号灯の識別方法、装置、電子機器、記憶媒体、コンピュータプログラム、路側機器、クラウド制御プラットフォーム及び車両道路協同システムを提供する。
本開示の一態様によれば、交通信号灯の識別方法を提供し、識別すべき画像を識別し、前記交通信号灯の第一位置情報を取得することと、前記第一位置情報が前記交通信号灯の一部の位置を指示したことに応答し、前記第一位置情報と、前記交通信号灯の位置を指示した少なくとも一つの第二位置情報との間の相対的な位置関係に基づいて、前記少なくとも一つの第二位置情報から目標位置情報を決定することと、前記識別すべき画像における前記目標位置情報に対応する第一画像領域に対して、前記第一画像領域を識別し、前記交通信号灯の色を取得することと、を含む。
本開示の別の態様によれば、交通信号灯の識別装置を提供し、識別すべき画像を識別し、前記交通信号灯の第一位置情報を取得する第一識別モジュールと、前記第一位置情報が前記交通信号灯の一部の位置を指示したことに応答し、前記第一位置情報と、前記交通信号灯の位置を指示した少なくとも一つの第二位置情報との間の相対的な位置関係に基づいて、前記少なくとも一つの第二位置情報から目標位置情報を決定する第一決定モジュールと、前記識別すべき画像における前記目標位置情報に対応する第一画像領域に対して、前記第一画像領域を識別し、前記交通信号灯の色を取得する第二識別モジュールと、を含む。
本開示の別の態様によれば、電子機器を提供し、少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサと通信接続されたメモリとを含み、前記メモリには、前記少なくとも一つのプロセッサにより実行可能な命令が記憶されており、前記少なくとも一つのプロセッサが上記した交通信号灯の識別方法を実行することができるように、前記命令は、前記少なくとも一つのプロセッサにより実行される。
本開示の別の態様によれば、コンピュータ命令が記憶された非一時的なコンピュータ読取可能な記憶媒体が提供され、前記コンピュータ命令は、前記コンピュータに上記した交通信号灯の識別方法を実行させる。
本開示の別の態様によれば、コンピュータプログラムを提供し、プロセッサにより実行される場合に、上記した交通信号灯の識別方法を実現する。
本開示の別の態様によれば、路側機器を提供し、上記した電子機器を含む。
本開示の別の態様によれば、クラウド制御プラットフォームを提供し、上記した電子機器を含む。
本開示の別の態様によれば、車両道路協同システムを提供し、上記した路側機器及び自動運転車両を含み、前記路側機器は、前記交通信号灯の色を前記自動運転車両に送信するために用いられ、前記自動運転車両は、前記交通信号灯の色に基づいて自動運転を行うために用いられる。
理解すべきことは、本部分に記載された内容は本開示の実施例のキー又は重要な特徴を識別することを意図するものではなく、本開示の範囲を限定するものではない。本開示の他の特徴は、以下の説明により容易に理解されるであろう。
図面は、本技術案をよりよく理解するために用いられ、本開示を限定するものではない。ここで、
図1は、本開示の一実施例に係る交通信号灯の識別方法及び装置の応用シーンを概略的に示す。 図2は、本開示の一実施例に係る交通信号灯の識別方法のフローチャートを概略的に示す。 図3は、本開示の一実施例に係る交通信号灯の識別方法の概略図を概略的に示す。 図4は、本開示の他の実施例に係る交通信号灯の識別方法の概略図を概略的に示す。 図5は、本開示の一実施例に係る交通信号灯の識別装置のブロック図を概略的に示す。 図6は、本開示の実施例に係る交通信号灯の識別を実行するための電子機器を実現するためのブロック図である。
以下、図面を参照して本開示の例示的な実施例を説明し、ここで、理解しやすいように、本開示の実施例の様々な詳細を含み、それらが例示的なものであると考えるべきである。したがって、当業者であれば、ここで説明した実施例に対して様々な変更及び修正を行うことができ、本開示の範囲及び精神から逸脱することはない。同様に、明確かつ簡単に説明するために、以下の説明において公知の機能及び構造に対する説明を省略する。
ここで使用される用語は、具体的な実施例を説明するためのものであり、本開示を限定することを意図しない。ここで使用される「含む」、「含有」などの用語は、前記特徴、ステップ、操作及び/又は部品の存在を示すが、一つ又は複数の他の特徴、ステップ、操作又は部品の存在又は追加を排除しない。
ここで使用される全ての用語(技術及び科学的用語を含む)は、特に定義されない限り、当業者が一般的に理解する意味を有する。注意すべきように、ここで使用される用語は、本明細書の文脈と一致する意味を有すると解釈すべきであり、理想化又は硬すぎる方式で解釈されるべきではない。
「A、B及びCなどのうちの少なくとも一つ」と類似する表現を用いる場合、一般的には、当業者が一般的に該表現を理解する意味で解釈すべきである(例えば、「A、B及びCのうちの少なくとも一つを有するシステム」とは、Aを単独で有し、Bを単独で有し、Cを単独で有し、AとBを有し、AとCを有し、BとCを有し、及び/又はA、B、Cを有するシステムなどを含むが、これらに限定しない)。
本開示の実施例は、交通信号灯の識別方法を提供する。交通信号灯の識別方法は、識別すべき画像を識別し、交通信号灯の第一位置情報を取得することを含む。そして、第一位置情報が交通信号灯の一部の位置を指示したことに応答し、第一位置情報と少なくとも一つの第二位置情報との間の相対的な位置関係に基づいて、少なくとも一つの第二位置情報から目標位置情報を決定し、第二位置情報は、交通信号灯の位置を指示する。次に、識別すべき画像における目標位置情報に対応する第一画像領域に対して、第一画像領域を識別し、交通信号灯の色を取得する。
図1は、本開示の一実施例に係る交通信号灯の識別方法及び装置の応用シーンを概略的に示す。なお、図1は、当業者が本開示の技術内容を理解するために、本開示の実施例を応用可能な応用シーンの例示のみを示し、本開示の実施例が他の装置、システム、環境又はシーンに用いることができないことを意味しない。
図1に示すように、該実施例に係る応用シーン100は、画像収集装置101、サーバ102及び車両103を含むことができる。
画像収集装置101は、カメラを含むことができる。画像収集装置101は、例えば交差点の監視ランプロッド、街灯柱というある位置に固定することができ、画像収集装置101は、交通信号灯の画像を収集するために用いられる。交通信号灯の画像を収集した後、画像をサーバ102に送信して処理することができる。自動運転車両の走行中に、大型車で遮蔽されて前方の信号灯を識別できない可能性がある。例えば路側カメラ、路側カメラという路側機器がより良好な視野を備えることにより、灯色を識別して自動運転車両に送信し、自動運転車両が交差点を安全通過することを補助し、車両と道路との協調を実現する。
サーバ102は、様々なサービスを提供するサーバであることができる。サーバ102は、画像を受信した後、画像を識別して、交通信号灯の色を取得することができる。交通信号灯の色には、例えば、赤色、黄色、緑色等が含まれる。
サーバ102は、交通信号灯の色を識別した後、識別結果を車両103に送信することができる。車両103は、自動運転車両であることができる。車両103は、識別結果を受信した後、識別結果に基づいて走行するか又は停止することができる。例えば、識別結果が交通信号灯が緑色であることを示す場合、車両103は走行し続けることができる。識別結果が交通信号灯が赤色又は黄色であることを示す場合、車両103は待ちを停止することができる。
説明すべきものとして、本開示の実施例が提供する交通信号灯の識別方法は、サーバ102により実行することができる。相応的には、本開示の実施例が提供する交通信号灯の識別装置はサーバ102に設置されることができる。
別の例示において、画像収集装置101が画像処理機能を有する場合、本開示の実施例の交通信号灯の識別方法は、画像収集装置101により実行されてもよく、交通信号灯の色を識別して取得し、識別結果を車両103に送信する。
別の例示において、車両103が画像処理機能を有する場合、本開示の実施例の交通信号灯の識別方法は、車両103により実行されてもよく、交通信号灯の色を識別して取得する。例えば、車両103が画像収集装置101からの画像を受信した後、画像を処理して交通信号灯の色を取得することができる。
例示的には、サーバ102は、プロセッサ及びメモリを有する電子機器を含むことができ、プロセッサとメモリとは通信接続される。メモリにプロセッサにより実行可能な命令が記憶され、命令がプロセッサにより実行される時に、本開示の実施例の交通信号灯の識別方法を実現することができる。
例示的には、本開示の実施例は、さらに路側機器及びクラウド制御プラットフォームをさらに提供し、路側機器は、電子機器を含むことができ、クラウド制御プラットフォームも電子機器を含むことができる。
選択的には、路側機器は、電子機器以外、通信部品等をさらに含むことができる。電子機器は通信部品と一体に集積されてもよく、別体で設置されてもよい。電子機器は、感知装置(例えば路側カメラ)のデータ、例えばピクチャ及びビデオなどを取得することができ、それにより画像ビデオ処理及びデータ計算を行う。選択的には、電子機器自体は、感知データ取得機能及び通信機能を備えてもよく、例えばAIカメラであり、電子機器は、直接に、取得された感知データに基づいて画像ビデオ処理及びデータ計算を行うことができる。
選択的には、クラウド制御プラットフォームは、クラウドで処理を実行し、クラウド制御プラットフォームに含まれる電子機器は、感知装置(例えば路側カメラ)のデータ、例えばピクチャ及びビデオ等を取得することができ、それにより画像ビデオ処理及びデータ計算を行う。クラウド制御プラットフォームは、車両道路協同管理プラットフォーム、エッジ計算プラットフォーム、クラウド計算プラットフォーム、センターシステム、クラウドサーバなどと呼ばれてもよい。
例示的には、本開示の実施例は、車両道路協同システムをさらに提供し、車両道路協同システムは、例えば路側機器及び自動運転車両を含み、自動運転車両は、上記車両103であってもよい。路側機器は、交通信号灯の色を自動運転車両に送信するために用いられ、自動運転車両は、交通信号灯の色に基づいて自動運転を行うために用いられる。
本開示の実施例は、交通信号灯の識別方法を提供し、以下、図1の応用シーンを組み合わせ、図2~図4を参照して本開示の例示的な実施形態に係る交通信号灯の識別方法を説明する。
図2は、本開示の一実施例に係る交通信号灯の識別方法のフローチャートを概略的に示す。
図2に示すように、本開示の実施例の交通信号灯の識別方法200は、例えば操作S210~操作S230を含むことができる。
操作S210において、識別すべき画像を識別し、交通信号灯の第一位置情報を取得する。
操作S220において、第一位置情報が交通信号灯の一部の位置を指示したことに応答し、第一位置情報と少なくとも一つの第二位置情報との間の相対的な位置関係に基づいて、少なくとも一つの第二位置情報から目標位置情報を決定する。
操作S230において、識別すべき画像における目標位置情報に対応する第一画像領域に対して、第一画像領域を識別し、交通信号灯の色を取得する。
例示的には、第二位置情報は例えば交通信号灯の位置を指示する。
例示的には、交通信号灯は、例えばランプグループであり、ランプグループは複数のランプ(灯頭)を含む。目標検出モデルにより、識別すべき画像を識別し、識別すべき画像における交通信号灯の第一位置情報を取得することができる。
第一位置情報は、通常、例えば交通信号灯における一部の位置を指示し、あるいは、交通信号灯全体の位置を指示してもよい。交通信号灯における一部は、例えば複数のランプの一部のランプであってもよく、交通信号灯全体は、例えば全てのランプを含む。交通信号灯が3つのランプを含むことを例とし、3つのランプはそれぞれ赤信号ランプ、黄信号ランプ、青信号ランプである。交通信号灯における一部は、例えば1つ又は2つのランプを含む。交通信号灯全体は例えば3つのランプを含む。
少なくとも一つの第二位置情報は、例えば他の画像を識別して得られ、他の画像は、交通信号灯に対する画像である。第二位置情報は、交通信号灯全体の位置を指示している。第一位置情報が交通信号灯における一部のランプの位置を指示する場合、第一位置情報と各第二位置情報との相対的な位置関係に基づいて、少なくとも一つの第二位置情報から、第一位置情報と距離が近い目標位置情報を決定することができ、目標位置情報は例えば交通信号灯全体の位置を指示している。
次に、識別すべき画像から目標位置情報に対応する第一画像領域を決定し、該第一画像領域は例えば交通信号灯に対する領域である。そして、該第一画像領域を識別し、交通信号灯の色を取得する。
本開示の実施例において、識別された第一位置情報が交通信号灯の一部の位置のみを指示する場合、識別すべき画像から第一位置情報に対応する画像領域を決定し、画像領域に対して色識別を行うと、識別効果がよくない。したがって、本開示の実施例は、第一位置情報とマッチングする目標位置情報を決定し、識別すべき画像から目標位置情報に対応する第一画像領域を決定し、第一画像領域に対して色識別を行い、交通信号灯の色を取得する。目標位置情報が交通信号灯全体の位置を指示するため、全体の位置に基づいて色識別を行って色識別効果を向上させる。
図3は、本開示の一実施例に係る交通信号灯の識別方法の概略図を概略的に示す。
図3に示すように、ある状況において、ある交差点の少なくとも一つの交通信号灯に対して、少なくとも一つの交通信号灯が二つであることを例とする。固定位置の画像収集装置によって、少なくとも一つの交通信号灯に対して画像収集を行って複数の画像を取得し、1つの画像310を例とする。画像310を識別して画像における少なくとも一つの交通信号灯全体の少なくとも一つの第二位置情報を取得し、少なくとも一つの第二位置情報は例えば、第二位置情報311及び第二位置情報312を含む。少なくとも一つの第二位置情報は、例えば少なくとも一つの交通信号灯全体と一対一に対応する。各第二位置情報は、例えば、交通信号灯の全体の灯枠情報を含んでいる。
別の状況において、該交差点の少なくとも一つの交通信号灯に対して、同じ画像収集装置によって少なくとも一つの交通信号灯に対して画像収集を行うことができ、識別すべき画像320を取得する。識別すべき画像320に画像品質が悪い画像がある可能性があるため、識別すべき画像320を識別する際に、得られた第一位置情報321は、例えば交通信号灯の一部のみに対応する。例えば、夜間に画像収集を行う場合、画像の品質が悪く、通常、あるランプが点灯しているため、強いハレーションを形成し、交通信号灯の全体の灯枠を識別することができない。例えば、識別すべき画像320にハレーションがあると識別した場合、第一位置情報321は、ハレーションの位置を含み、それにより、識別結果が交通信号灯の全体の灯枠情報を含むことができない。
第一位置情報321に基づいて識別すべき画像における画像領域を決定し、画像領域を識別して交通信号灯の色を取得する場合、識別結果がハレーションの強さにより影響を受けるため、識別効果がよくない。
したがって、第一位置情報321と各第二位置情報をマッチングすることにより、第一位置情報321に近い第二位置情報311を目標位置情報とする。そして、識別すべき画像320から目標位置情報とマッチングする第一画像領域322を決定する。そして、第一画像領域322に対して画像識別を行い、識別すべき画像320における交通信号灯の色を取得する。
例示的には、第一画像領域322を識別し、交通信号灯の色を取得することは以下のいくつかの方式を含む。
第一方式とは、第一画像領域322における部分画素の画素値に基づいて、交通信号灯の色を決定することができる。部分画素は、第一画像領域322における下方領域の画素を含み、該下部領域は、ハレーションが位置する領域を含み、ハレーションは、ここで点灯しているランプを有することを示す。ハレーションが位置する領域の画素値に基づいて色を決定することができる。
もう一つの方式とは、第一画像領域322における画素の分布に基づいて、交通信号灯の色を決定する。例えば、第一画像領域322における画素の分布状況は、ハレーションに対応する画素が第一画像領域322の下方領域に分布することを含む。交通信号灯に対して、交通信号灯は、上から下までのランプが順に赤信号ランプ、黄信号ランプ、青信号ランプとして表示される。第一画像領域322の下方領域がハレーションであれば、通常、交通信号灯の下方領域に点灯しているランプが存在することを示し、第一画像領域322における画素の分布に基づいて交通信号灯には、現在、青信号ランプが点灯していることが分かる。
もう一つの方式とは、第一画像領域322における部分画素の画素値と第一画像領域322における画素の分布を結合して交通信号灯の色を同時に決定することができ、それにより識別正確性を向上させる。
本開示の実施例において、識別された第一位置情報が交通信号灯の一部の位置のみを示す場合、第一位置情報とマッチングする目標位置情報を決定し、そして、識別すべき画像から目標位置情報に対応する第一画像領域を決定し、第一画像領域に対して色識別を行って識別結果を取得する。本開示の実施例において、色識別を行う場合、第一画像領域におけるハレーションの相対的な位置関係を考慮するため、色識別の効果を向上させる。
以下、図4を参照して、如何にして少なくとも一つの第二位置情報を決定するかについて説明する。
図4は、本開示の別の実施例に係る交通信号灯の識別方法の概略図を概略的に示す。
図4に示すように、交通信号灯に対する複数の初期画像410、420、430を取得し、複数の初期画像をそれぞれ処理する。例えば、各初期画像に対して画像識別を行い、交通信号灯に対する複数の初期位置情報411、412、421、422、431、432を取得する。各初期位置情報は、交通信号灯の位置を指示し、すなわち初期位置情報は、交通信号灯の全体灯枠に対応している。複数の初期位置情報の数が予め設定された数より小さい場合、引き続き初期画像を取得して識別することができ、初期位置情報の数が予め設定された数以上である場合、以下のグループ化操作を実行する。
複数の初期位置情報411、412、421、422、431、432同士の相対的な位置関係に基づいて、複数の初期位置情報411、412、421、422、431、432を分割し、少なくとも一つのグループを取得する。
例えば、複数の初期位置情報のうちの近い初期位置情報を同じグループに分割し、それにより2つのグループを取得する。第一番目のグループ440は、例えば初期位置情報411、421、431を含み、第二番目のグループ450は、例えば初期位置情報412、422、432を含む。
少なくとも一つのグループにおける各グループに対して、グループにおける初期位置情報に基づいて、平均位置情報を取得する。そして、少なくとも一つの平均位置情報を、少なくとも一つの第二位置情報とする。
例えば、各初期位置情報は、検出枠の位置情報を含み、各検出枠の中心点をデータ構造におけるデータグラフの頂点とし、中心点と中心点との間の距離をデータグラフの辺とし、辺の値が閾値より小さい場合に、この辺により接続された二つの頂点間が連通すると考えられ、該二つの頂点に対応する初期位置情報を一つのグループに分割する。
各グループに対して、該グループにおける各検出枠の中心点の位置情報に基づいて、参照中心点の位置情報を計算して取得する。例えば、該グループにおける全ての検出枠の中心点の位置を平均して平均値を取得し、平均値を参照中心点の位置とする。あるいは、該グループにおける全ての検出枠の中心点から、中央値にある中心点を参照中心点として選択し、中央値にある中心点の位置情報は、参照中心点の位置情報である。
そして、参照中心点の位置情報と基準検出枠の位置情報に基づいて、平均検出枠の位置情報を決定する。基準検出枠は、予めに基準画像に基づいて決定される交通信号灯に対する検出枠である。
基準検出枠が第一基準検出枠及び第二基準検出枠を含むことを例とする。第一グループ440に対して決定された平均検出枠461の中心点の位置情報は、第一グループ440に対応する参照中心点の位置情報であり、平均検出枠461の縦横は、第一基準検出枠の縦横である。第二グループ450に対して決定された平均検出枠462の中心点の位置情報は、第二グループ450に対応する参照中心点の位置情報であり、平均検出枠462の縦横は、第二基準検出枠の縦横である。第一基準検出枠の縦横と第二基準検出枠の縦横は例えば同じであってもよく、異なってもよい。
次に、平均検出枠の位置情報に基づいて、平均位置情報を決定することができる。例えば、複数のグループに一対一に対応する複数の平均検出枠461、462の位置情報に対して、複数の平均検出枠461、462の位置情報を基準検出枠の位置情報とそれぞれマッチングし、マッチング結果を取得する。
例示的には、複数の平均検出枠461、462のうちのいずれか一つに対して、該平均検出枠の位置情報がいずれか一つの基準検出枠の位置情報とマッチングすれば、例えば該平均検出枠の中心と基準検出枠の中心との間の距離が小さければ、マッチングすることを示す。このとき、複数の平均検出枠461、462の位置情報を平均位置情報とし、平均位置情報を第二位置情報とすることができる。
例示的には、複数の平均検出枠461、462のうちのいずれか一つに対して、平均検出枠の位置情報が全ての基準検出枠の位置情報と一致しない場合、例えば平均検出枠の中心と全ての基準検出枠の中心との間の距離が大きければ、マッチングしないことを示す。マッチングしないことは、初期画像を識別する際に、誤識別がある場合があるためである。このとき、複数の平均検出枠に対して削除操作を行うことができ、例えばマッチングしない平均検出枠を削除し、残りの平均検出枠の位置情報を平均位置情報とし、平均位置情報を第二位置情報とする。第一位置情報及び第二位置情報は、検出枠の位置情報であってもよい。
本開示の実施例において、複数の初期画像を識別して平均検出枠を取得し、平均検出枠に基づいて第二位置情報を取得し、これにより、第二位置情報に基づいて交通信号灯の色識別を実行しやすく、識別効果を向上させる。
本開示の別の実施例において、識別すべき画像を識別して第一位置情報を取得した後、第一位置情報が交通信号灯の全体位置を指示すれば、第一位置情報が全体灯枠に対応するものであることを決定することができ、この時に、第一位置情報と少なくとも一つの第二位置情報との間の相対的な位置関係を決定することができる。
例えば、少なくとも一つの第二位置情報のうちのいずれか一つに対して、いずれか一つの第二位置情報が示す位置と第一位置情報が示す位置との間の距離が予め設定された距離より小さく、第一位置情報と該第二位置情報とがマッチングすることを示す場合、識別すべき画像から第一位置情報に対応する第二画像領域を直接に決定することができる。そして、直接に、第二画像領域を識別し、交通信号灯の色を取得する。第二画像領域を識別する過程は、上記した第一画像領域を識別する過程と類似し、ここでは贅言しない。
全ての第二位置情報が示す位置と第一位置情報が示す位置との間の距離が予め設定された距離以上であり、第一位置情報と全ての第二位置情報とがマッチングしないことを示し、第一位置情報が指示する全体灯枠が後に新たに追加された灯枠である可能性があることを示し、この時に、色識別を行わない。引き続き、複数の新たに追加された画像を取得し、複数の新たに追加された画像を識別して第一位置情報に対応する複数の新たに追加された位置情報を取得し、第一位置情報及び新たに追加された位置情報を処理し、新たに追加された平均位置情報を取得する。第一位置情報及び新たに追加された位置情報を処理する過程は、上記した各グループにおける複数の初期位置情報に対する処理プロセスと類似し、ここでは贅言しない。そして、その後に更新された第二位置情報に基づいて色識別を行うように、新たに追加された平均位置情報を少なくとも一つの第二位置情報に添加する。
本開示の実施例において、第二位置情報をリアルタイムに更新することができ、これにより、更新された第二位置情報に基づいて色識別を行い、識別の正確性を向上させる。
図5は、本開示の一実施例に係る交通信号灯の識別装置のブロック図を概略的に示す。
図5に示すように、本開示の実施例の交通信号灯の識別装置500は、例えば、第一識別モジュール510、第一決定モジュール520及び第二識別モジュール530を含む。
第一識別モジュール510は、識別すべき画像を識別し、交通信号灯の第一位置情報を取得するために用いられる。本開示の実施例によれば、第一識別モジュール510は、例えば図2を参照して説明した操作S210を実行することができ、ここでは贅言しない。
第一決定モジュール520は、第一位置情報が交通信号灯の一部の位置を指示したことに応答し、第一位置情報と少なくとも一つの第二位置情報との間の相対的な位置関係に基づいて、少なくとも一つの第二位置情報から目標位置情報を決定するために用いられ、ここで、第二位置情報は交通信号灯の位置を指示する。本開示の実施例によれば、第一決定モジュール520は、例えば図2を参照して説明した操作S220を実行することができ、ここでは贅言しない。
第二識別モジュール530は、識別すべき画像における目標位置情報に対応する第一画像領域に対して、第一画像領域を識別し、交通信号灯の色を取得するために用いられる。本開示の実施例によれば、第二識別モジュール530は、例えば、図2を参照して説明した操作S230を実行することができ、ここでは贅言しない。
本開示の実施例によれば、装置500は、さらに、取得モジュール、処理モジュール及び第二決定モジュールを含むことができる。取得モジュールは、交通信号灯に対する複数の初期画像を取得するために用いられ、処理モジュールは、複数の初期画像を処理し、交通信号灯に対する少なくとも一つの平均位置情報を取得するために用いられ、第二決定モジュールは、少なくとも一つの平均位置情報を、少なくとも一つの第二位置情報とするために用いられる。
本開示の実施例によれば、処理モジュールは、識別サブモジュール、分割サブモジュール及び第一決定サブモジュールを含む。識別サブモジュールは、複数の初期画像を画像識別し、交通信号灯に対する複数の初期位置情報を取得するために用いられ、ここで、初期位置情報は、交通信号灯の位置を指示し、分割サブモジュールは、複数の初期位置情報同士の相対的な位置関係に基づいて、複数の初期位置情報を分割し、少なくとも一つのグループを取得するために用いられ、第一決定サブモジュールは、少なくとも一つのグループにおける各グループに対して、グループにおける初期位置情報に基づいて、平均位置情報を取得するために用いられる。
本開示の実施例によれば、初期位置情報は、検出枠の位置情報を含む。第一決定サブモジュールは、計算ユニット、第一決定ユニット及び第二決定ユニットを含む。計算ユニットは、グループにおける各検出枠の中心点の位置情報に基づいて、参照中心点の位置情報を計算して取得するために用いられる、第一決定ユニットは、参照中心点の位置情報と基準検出枠の位置情報に基づいて、平均検出枠の位置情報を決定するために用いられ、ここで、基準検出枠が基準画像に基づいて決定された交通信号灯に対する検出枠であり、第二決定ユニットは、平均検出枠の位置情報に基づいて、平均位置情報を決定するために用いられる。
本開示の実施例によれば、第二決定ユニットは、マッチングサブユニット及び削除サブユニットを含む。マッチングサブユニットは、複数のグループに一対一に対応する複数の平均検出枠の位置情報に対して、複数の平均検出枠の位置情報をそれぞれ基準検出枠の位置情報とマッチングし、マッチング結果を得るために用いられ、削除サブユニットは、マッチング結果に基づいて、複数の平均検出枠に対して削除操作を行い、残りの平均検出枠の位置情報を平均位置情報とするために用いられる。
本開示の実施例によれば、装置500は、さらに、第三決定モジュール、第四決定モジュール及び第三識別モジュールを含むことができる。第三決定モジュールは、第一位置情報が交通信号灯の位置を指示したことに応答し、第一位置情報と少なくとも一つの第二位置情報との間の相対的な位置関係を決定するために用いられる、第四決定モジュールは、少なくとも一つの第二位置情報のうちのいずれか一つに対して、いずれか一つの第二位置情報により示される位置と第一位置情報により示される位置との間の距離が予め設定された距離よりも小さいことに応答し、識別すべき画像から第一位置情報に対応する第二画像領域を決定するために用いられ、第三識別モジュールは、第二画像領域を識別し、交通信号灯の色を取得するために用いられる。
本開示の実施例によれば、装置500は、さらに、第四識別モジュール、第五決定モジュール及び添加モジュールを含むことができる。第四識別モジュールは、いずれか一つの第二位置情報により示される位置と第一位置情報により示される位置との間の距離が予め設定された距離以上であることに応答し、新たに追加された画像を識別し、新たに追加された位置情報を取得するために用いられ、第五決定モジュールは、第一位置情報及び新たに追加された位置情報に基づいて、新たに追加された平均位置情報を取得するために用いられ、添加モジュールは、新たに追加された平均位置情報を少なくとも一つの第二位置情報に添加するために用いられる。
本開示の実施例によれば、第二識別モジュール530は、第二決定サブモジュール及び第三決定サブモジュールのうちの少なくとも一つを含む。第二決定サブモジュールは、第一画像領域における一部の画素の画素値に基づいて、交通信号灯の色を決定するために用いられ、第三決定サブモジュールは、第一画像領域における画素の分布に基づいて、交通信号灯の色を決定するために用いられる。
本開示の技術案において、係るユーザ個人情報の取得、記憶及び応用等は、いずれも相関法規則の規定に適合し、かつ公序良俗に反するものではない。
本開示の実施例によれば、本開示は、さらに、電子機器、可読記憶媒体及びコンピュータプログラムを提供する。
図6は、本発明の実施例に係る交通信号灯の識別を実行するための電子機器のブロック図である。
図6は、本開示の実施例を実施可能な例示電子機器600の例示的な概略ブロック図を示す。電子機器600は、様々な形式のデジタルコンピュータ、例えば、ラップトップ型コンピュータ、デスクトップコンピュータ、作業台、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータを表示する。電子機器は、さらに様々な形式の移動装置、例えば、個人デジタルプロセス、携帯電話、スマートフォン、ウェアラブル装置及び他の類似の計算装置を表示することができる。本明細書に示された部材、それらの接続及び関係、及びそれらの機能は例示に過ぎず、本明細書に記載された及び/又は要求された本開示の実現を限定するものではない。
図6に示すように、機器600は計算ユニット601を含み、リードオンリーメモリ(ROM)602に記憶されたコンピュータプログラム又は記憶ユニット608からランダムアクセスメモリ(RAM)603にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行することができる。RAM 603には、さらに機器600の操作に必要な様々なプログラム及びデータをさらに記憶することができる。計算ユニット601、ROM 602、およびRAM 603は、バス604により相互に接続されている。入出力(I/O)インタフェース605もバス604に接続されている。
機器600における複数の部品は、I/Oインタフェース605に接続され、例えばキーボード、マウス等の入力ユニット606と、例えば様々なタイプのディスプレイ、スピーカ等の出力ユニット607と、例えば磁気ディスク、光ディスク等の記憶ユニット608と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信ユニット609と、を含む。通信ユニット609は、機器600は、例えばインターネット等のコンピュータネットワーク及び/又は様々な電気通信網を介して他の機器と情報/データをやり取りすることを許可する。
計算ユニット601は、処理及び計算能力を有する各種の汎用及び/又は専用の処理モジュールであることができる。計算ユニット601のいくつかの例示として、中央処理ユニット(CPU)、グラフィックスプロセッシングユニット(GPU)、各種の専用の人工知能(AI)計算チップ、各種の運行機械学習モデルアルゴリズムの計算ユニット、デジタルシグナルプロセッサ(DSP)、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラ等を含むが、これらに限定されるものではない。計算ユニット601は、上記説明した各方法及び処理、例えば交通信号灯の識別方法を実行する。例えば、いくつかの実施例において、交通信号灯の識別方法は、コンピュータソフトウェアプログラムとして実現され、例えば記憶ユニット608という機械可読媒体に有形的に含まれる。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ROM 602及び/又は通信ユニット609を介して機器600にロード及び/又はインストールされることができる。コンピュータプログラムがRAM 603にロードされ計算ユニット601により実行される場合、上記説明した交通信号灯の識別方法の一つ又は複数のステップを実行することができる。代替的に、他の実施例において、計算ユニット601は他の任意の適切な方式(例えば、ファームウェア)により交通信号灯の識別方法を実行するように配置されてもよい。
本明細書で説明したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、専用集積回路(ASIC)、専用標準製品(ASSP)、チップ上システムのシステム(SOC)、負荷プログラマブルロジックデバイス(CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステムで実行され及び/又は解釈される一つ又は複数のコンピュータプログラムに実施され、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を該記憶システム、該少なくとも一つの入力装置、及び該少なくとも一つの出力装置に伝送することができる、ということを含むことができる。
本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供することができ、それによりプログラムコードがプロセッサ又はコントローラにより実行される際に、フローチャート及び/又はブロック図に規定された機能/操作が実施される。プログラムコードは機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され遠隔機器で部分的に実行され、又は完全に遠隔機器又はサーバで実行されてもよい。
本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は機器により使用され又は命令実行システム、装置又は機器と組み合わせて使用されるプログラムを含むか又は記憶することができる。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外的、又は半導体システム、装置又は機器、又は上記内容の任意の適切な組み合わせを含むが、それらに限定されない。機械可読記憶媒体のより具体的な例示は、一つ又は複数の線に基づく電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能なプログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバ、便利式コンパクトフラッシュメモリ(CD-ROM)、光記憶装置、磁気記憶装置、又は上記コンテンツの任意の適切な組み合わせを含む。
ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施することができ、該コンピュータは、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)と、を有し、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供する。他の種類の装置は、さらにユーザとの対話を提供することもできる。例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であることができ、そして、いかなる形式(音声入力、音声入力、又は、触覚入力を含む)でユーザからの入力を受信することができる。
ここで説明されたシステム及び技術を、バックグラウンド部品を含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェア部品を含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンド部品を含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる)、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品の任意の組み合わせを含むコンピューティングシステムに実施することができる。任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によりシステムの部品を互いに接続することができる。通信ネットワークの例示は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)及びインターネットを含む。
コンピュータシステムは、クライアント及びサーバを含むことができる。クライアントとサーバとは一般的に互いに離れており、通常、通信ネットワークを介して対話する。相応的なコンピュータで運行し、かつ互いにクライアント-サーバの関係を有するコンピュータプログラムにより、クライアント-サーバの関係を生成する。サーバは、クラウドサーバであってもよく、配布式システムのサーバであってもよく、又はブロックチェーンを結合したサーバであってもよい。
理解すべきものとして、以上に示した様々な形式のフローによって、ステップについて、改めてソートし、追加し、又は削除することができる。例えば、本開示に記載の各ステップは、並列的に実行されてもよく、順次に実行されてもよく、異なる順序で実行されてもよい。本開示に開示される技術案の所望の結果を実現することができれば、本明細書はこれを限定しない。
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば理解すべきように、設計要求及び他の要因に基づいて、様々な修正、組み合わせ、サブ組み合わせ及び代替を行うことができる。本開示の精神と原則内で行われた任意の修正、均等置換及び改善などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (22)

  1. 識別すべき画像を識別し、前記交通信号灯の第一位置情報を取得することと、
    前記第一位置情報が前記交通信号灯の一部の位置を指示したことに応答し、前記第一位置情報と、前記交通信号灯の位置を指示した少なくとも一つの第二位置情報との間の相対的な位置関係に基づいて、前記少なくとも一つの第二位置情報から目標位置情報を決定することと、
    前記識別すべき画像における前記目標位置情報に対応する第一画像領域に対して、前記第一画像領域を識別し、前記交通信号灯の色を取得することと、を含む
    交通信号灯の識別方法。
  2. 前記交通信号灯に対する複数の初期画像を取得することと、
    前記複数の初期画像を処理し、前記交通信号灯に対する少なくとも一つの平均位置情報を取得することと、
    前記少なくとも一つの平均位置情報を、前記少なくとも一つの第二位置情報とすることと、をさらに含む
    請求項1に記載の方法。
  3. 前記複数の初期画像を処理し、前記交通信号灯に対する少なくとも一つの平均位置情報を取得することは、
    前記複数の初期画像を画像識別し、前記交通信号灯に対する、前記交通信号灯の位置を指示した複数の初期位置情報を取得することと、
    前記複数の初期位置情報同士の相対的な位置関係に基づいて、前記複数の初期位置情報を分割し、少なくとも一つのグループを取得することと、
    前記少なくとも一つのグループにおける各グループに対して、前記グループにおける初期位置情報に基づいて、前記平均位置情報を取得することと、を含む
    請求項2に記載の方法。
  4. 前記初期位置情報が検出枠の位置情報を含み、前記グループにおける初期位置情報に基づいて、前記平均位置情報を取得することは、
    前記グループにおける各検出枠の中心点の位置情報に基づいて、参照中心点の位置情報を計算して取得することと、
    参照中心点の位置情報と基準検出枠の位置情報に基づいて、平均検出枠の位置情報を決定し、ここで、前記基準検出枠が基準画像に基づいて決定された前記交通信号灯に対する検出枠であることと、
    前記平均検出枠の位置情報に基づいて、前記平均位置情報を決定することと、を含む
    請求項3に記載の方法。
  5. 前記平均検出枠の位置情報に基づいて、前記平均位置情報を決定することは、
    前記複数のグループに一対一に対応する複数の平均検出枠の位置情報に対して、前記複数の平均検出枠の位置情報をそれぞれ前記基準検出枠の位置情報とマッチングし、マッチング結果を取得することと、
    前記マッチング結果に基づいて、前記複数の平均検出枠に対して削除操作を行い、残りの平均検出枠の位置情報を前記平均位置情報とすることと、を含む
    請求項4に記載の方法。
  6. 前記第一位置情報が前記交通信号灯の位置を指示したことに応答し、前記第一位置情報と前記少なくとも一つの第二位置情報との間の相対的な位置関係を決定することと、
    前記少なくとも一つの第二位置情報のうちのいずれか一つに対して、いずれか一つの第二位置情報により示される位置と前記第一位置情報により示される位置との間の距離が予め設定された距離よりも小さいことに応答し、前記識別すべき画像から前記第一位置情報に対応する第二画像領域を決定することと、
    前記第二画像領域を識別し、前記交通信号灯の色を取得することと、をさらに含む
    請求項1~5のいずれか一項に記載の方法。
  7. いずれか一つの第二位置情報により示される位置と前記第一位置情報により示される位置との間の距離が予め設定された距離以上であることに応答し、新たに追加された画像を識別し、新たに追加された位置情報を取得することと、
    前記第一位置情報及び前記新たに追加された位置情報に基づいて、新たに追加された平均位置情報を取得することと、
    新たに追加された平均位置情報を前記少なくとも一つの第二位置情報に添加することと、をさらに含む
    請求項6に記載の方法。
  8. 前記第一画像領域を識別し、前記交通信号灯の色を取得することは、
    前記第一画像領域における一部の画素の画素値に基づいて、前記交通信号灯の色を決定することと、
    前記第一画像領域における画素の分布に基づいて、前記交通信号灯の色を決定することと、の少なくとも一つを含む
    請求項1~7のいずれか一項に記載の方法。
  9. 識別すべき画像を識別し、前記交通信号灯の第一位置情報を取得する第一識別モジュールと、
    前記第一位置情報が前記交通信号灯の一部の位置を指示したことに応答し、前記第一位置情報と、前記交通信号灯の位置を指示した少なくとも一つの第二位置情報との間の相対的な位置関係に基づいて、前記少なくとも一つの第二位置情報から目標位置情報を決定する第一決定モジュールと、
    前記識別すべき画像における前記目標位置情報に対応する第一画像領域に対して、前記第一画像領域を識別し、前記交通信号灯の色を取得する第二識別モジュールと、を含む
    交通信号灯の識別装置。
  10. 前記交通信号灯に対する複数の初期画像を取得する取得モジュールと、
    前記複数の初期画像を処理し、前記交通信号灯に対する少なくとも一つの平均位置情報を取得する処理モジュールと、
    前記少なくとも一つの平均位置情報を、前記少なくとも一つの第二位置情報とする第二決定モジュールと、をさらに含む
    請求項9に記載の装置。
  11. 前記処理モジュールは、
    前記複数の初期画像を画像識別し、前記交通信号灯に対する、前記交通信号灯の位置を指示した複数の初期位置情報を取得する識別サブモジュールと、
    前記複数の初期位置情報同士の相対的な位置関係に基づいて、前記複数の初期位置情報を分割し、少なくとも一つのグループを取得する分割サブモジュールと、
    前記少なくとも一つのグループにおける各グループに対して、前記グループにおける初期位置情報に基づいて、前記平均位置情報を取得する第一決定サブモジュールと、を含む
    請求項10に記載の装置。
  12. 前記初期位置情報が検出枠の位置情報を含み、
    前記第一決定サブモジュールは、
    前記グループにおける各検出枠の中心点の位置情報に基づいて、参照中心点の位置情報を計算して取得する計算ユニットと、
    参照中心点の位置情報と基準検出枠の位置情報に基づいて、平均検出枠の位置情報を決定し、ここで、前記基準検出枠が基準画像に基づいて決定された前記交通信号灯に対する検出枠である第一決定ユニットと、
    前記平均検出枠の位置情報に基づいて、前記平均位置情報を決定する第二決定ユニットと、を含む
    請求項11に記載の装置。
  13. 前記第二決定ユニットは、
    前記複数のグループに一対一に対応する複数の平均検出枠の位置情報に対して、前記複数の平均検出枠の位置情報をそれぞれ前記基準検出枠の位置情報とマッチングし、マッチング結果を取得するマッチングサブユニットと、
    前記マッチング結果に基づいて、前記複数の平均検出枠に対して削除操作を行い、残りの平均検出枠の位置情報を前記平均位置情報とする削除サブユニットと、を含む
    請求項12に記載の装置。
  14. 前記第一位置情報が前記交通信号灯の位置を指示したことに応答し、前記第一位置情報と前記少なくとも一つの第二位置情報との間の相対的な位置関係を決定する第三決定モジュールと、
    前記少なくとも一つの第二位置情報のうちのいずれか一つに対して、いずれか一つの第二位置情報により示される位置と前記第一位置情報により示される位置との間の距離が予め設定された距離よりも小さいことに応答し、前記識別すべき画像から前記第一位置情報に対応する第二画像領域を決定する第四決定モジュールと、
    前記第二画像領域を識別し、前記交通信号灯の色を取得する第三識別モジュールと、をさらに含む
    請求項9~13のいずれか一項に記載の装置。
  15. いずれか一つの第二位置情報により示される位置と前記第一位置情報により示される位置との間の距離が予め設定された距離以上であることに応答し、新たに追加された画像を識別し、新たに追加された位置情報を取得する第四識別モジュールと、
    前記第一位置情報及び前記新たに追加された位置情報に基づいて、新たに追加された平均位置情報を取得する第五決定モジュールと、
    新たに追加された平均位置情報を前記少なくとも一つの第二位置情報に添加する添加モジュールと、をさらに含む
    請求項14に記載の装置。
  16. 前記第二識別モジュールは、
    前記第一画像領域における一部の画素の画素値に基づいて、前記交通信号灯の色を決定する第二決定サブモジュールと、
    前記第一画像領域における画素の分布に基づいて、前記交通信号灯の色を決定する第三決定サブモジュールと、の少なくとも一つを含む
    請求項9~15のいずれか一項に記載の装置。
  17. 少なくとも一つのプロセッサと、
    前記少なくとも一つのプロセッサと通信接続されたメモリとを含み、
    前記メモリには、前記少なくとも一つのプロセッサにより実行可能な命令が記憶されており、
    前記少なくとも一つのプロセッサが請求項1~8のいずれか一項に記載の方法を実行することができるように、前記命令は、前記少なくとも一つのプロセッサにより実行される
    電子機器。
  18. コンピュータ命令が記憶された非一時的なコンピュータ読取可能な記憶媒体であって、
    前記コンピュータ命令は、前記コンピュータに請求項1~8のいずれか一項に記載の方法を実行させる記憶媒体。
  19. プロセッサにより実行される場合に、請求項1~8のいずれか一項に記載の方法を実現するコンピュータプログラム。
  20. 請求項17に記載の電子機器を含む
    路側機器。
  21. 請求項17に記載の電子機器を含む
    クラウド制御プラットフォーム。
  22. 請求項20に記載の路側機器及び自動運転車両を含み、
    前記路側機器は、前記交通信号灯の色を前記自動運転車両に送信するために用いられ、
    前記自動運転車両は、前記交通信号灯の色に基づいて自動運転を行うために用いられる
    車両道路協同システム。
JP2022094835A 2021-06-17 2022-06-13 交通信号灯の識別方法、装置、電子機器、記憶媒体、コンピュータプログラム、路側機器、クラウド制御プラットフォーム及び車両道路協同システム Pending JP2022120116A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110675157.4A CN113408409A (zh) 2021-06-17 2021-06-17 交通信号灯识别方法、设备、云控平台和车路协同系统
CN202110675157.4 2021-06-17

Publications (1)

Publication Number Publication Date
JP2022120116A true JP2022120116A (ja) 2022-08-17

Family

ID=77685008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022094835A Pending JP2022120116A (ja) 2021-06-17 2022-06-13 交通信号灯の識別方法、装置、電子機器、記憶媒体、コンピュータプログラム、路側機器、クラウド制御プラットフォーム及び車両道路協同システム

Country Status (5)

Country Link
US (1) US20220309763A1 (ja)
EP (1) EP4080479A3 (ja)
JP (1) JP2022120116A (ja)
KR (1) KR20220054258A (ja)
CN (1) CN113408409A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399917A (zh) * 2022-01-25 2022-04-26 北京理工大学 一种交通信号灯识别方法及车路协同路端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018055715A (ja) * 2017-12-06 2018-04-05 株式会社Jvcケンウッド 車線認識装置、車線認識方法
JP2019053619A (ja) * 2017-09-15 2019-04-04 株式会社東芝 信号識別装置、信号識別方法、及び運転支援システム
CN112528795A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 信号灯的灯色识别方法、装置及路侧设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119725B (zh) * 2019-05-20 2021-05-25 百度在线网络技术(北京)有限公司 用于检测信号灯的方法及装置
CN112149697A (zh) * 2019-06-27 2020-12-29 商汤集团有限公司 指示灯的指示信息识别方法及装置、电子设备和存储介质
CN110543814B (zh) * 2019-07-22 2022-05-10 华为技术有限公司 一种交通灯的识别方法及装置
CN111009003B (zh) * 2019-10-24 2023-04-28 合肥讯图信息科技有限公司 交通信号灯纠偏的方法、系统及存储介质
CN111428647B (zh) * 2020-03-25 2023-07-07 浙江中控信息产业股份有限公司 一种交通信号灯故障检测方法
CN112101272B (zh) * 2020-09-23 2024-05-14 阿波罗智联(北京)科技有限公司 交通灯检测的方法、装置、计算机存储介质和路侧设备
CN112733839B (zh) * 2020-12-28 2024-05-03 阿波罗智联(北京)科技有限公司 灯头位置确定方法、装置、存储介质、程序、路侧设备
CN112700410A (zh) * 2020-12-28 2021-04-23 北京百度网讯科技有限公司 信号灯位置确定方法、装置、存储介质、程序、路侧设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019053619A (ja) * 2017-09-15 2019-04-04 株式会社東芝 信号識別装置、信号識別方法、及び運転支援システム
JP2018055715A (ja) * 2017-12-06 2018-04-05 株式会社Jvcケンウッド 車線認識装置、車線認識方法
CN112528795A (zh) * 2020-12-03 2021-03-19 北京百度网讯科技有限公司 信号灯的灯色识别方法、装置及路侧设备

Also Published As

Publication number Publication date
KR20220054258A (ko) 2022-05-02
EP4080479A2 (en) 2022-10-26
US20220309763A1 (en) 2022-09-29
EP4080479A3 (en) 2022-12-14
CN113408409A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
EP3944213A2 (en) Method and apparatus of controlling traffic, roadside device and cloud control platform
KR20200018612A (ko) 물체 검출을 위한 방법, 장치 및 기기
EP3859708A1 (en) Traffic light image processing method and device, and roadside device
CN112101272B (zh) 交通灯检测的方法、装置、计算机存储介质和路侧设备
JP7329572B2 (ja) 通行状態取得方法及び装置、路側装置、並びに、クラウド制御プラットフォーム
CN112863187B (zh) 感知模型的检测方法、电子设备、路侧设备和云控平台
CN111931726B (zh) 交通灯检测的方法、装置、计算机存储介质和路侧设备
WO2023273344A1 (zh) 车辆跨线识别方法、装置、电子设备和存储介质
CN113221878A (zh) 应用于信号灯检测的检测框调整方法、装置及路侧设备
JP7429756B2 (ja) 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN112528927A (zh) 基于轨迹分析的置信度确定方法、路侧设备及云控平台
JP2022120116A (ja) 交通信号灯の識別方法、装置、電子機器、記憶媒体、コンピュータプログラム、路側機器、クラウド制御プラットフォーム及び車両道路協同システム
CN111950345A (zh) 摄像头的识别方法、装置、电子设备和存储介质
CN113052047B (zh) 交通事件的检测方法、路侧设备、云控平台及系统
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN113901911A (zh) 图像识别、模型训练方法、装置、电子设备及存储介质
CN113052048A (zh) 交通事件检测方法、装置、路侧设备以及云控平台
KR102604426B1 (ko) 목표 탐지 신뢰도를 결정하는 방법 및 장치, 전자 기기, 저장 매체, 노변 기기, 클라우드 제어 플랫폼, 컴퓨터 프로그램 제품
CN113806361B (zh) 电子监控设备与道路的关联方法、装置及存储介质
CN112700657B (zh) 用于生成检测信息的方法、装置、路侧设备和云控平台
CN113780322B (zh) 一种安全检测的方法和装置
CN117496474A (zh) 目标检测模型训练和目标检测方法、装置、设备及介质
CN116363400A (zh) 一种车辆匹配方法、装置、电子设备和存储介质
CN117570961A (zh) 基于停止线的地图实时更新方法、装置、设备及存储介质
CN115731386A (zh) 交通信号灯的灯头类型识别方法、设备和自动驾驶车辆

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230529

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231221