JP2022093481A - 車両の駐車違反の識別方法、装置、電子機器、記憶媒体及びコンピュータプログラム - Google Patents

車両の駐車違反の識別方法、装置、電子機器、記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP2022093481A
JP2022093481A JP2022073279A JP2022073279A JP2022093481A JP 2022093481 A JP2022093481 A JP 2022093481A JP 2022073279 A JP2022073279 A JP 2022073279A JP 2022073279 A JP2022073279 A JP 2022073279A JP 2022093481 A JP2022093481 A JP 2022093481A
Authority
JP
Japan
Prior art keywords
vehicle
parking
area
video image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022073279A
Other languages
English (en)
Other versions
JP7270808B2 (ja
Inventor
雨亭 杜
Yuting Du
旭 代
Xu Dai
孟▲尭▼ ▲孫▼
Mengyao Sun
石磊 文
shi lei Wen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022093481A publication Critical patent/JP2022093481A/ja
Application granted granted Critical
Publication of JP7270808B2 publication Critical patent/JP7270808B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】本開示は、車両の駐車違反の識別方法、識別装置、電子機器、記憶媒体及びコンピュータプログラムを開示し、人工知能分野に関し、特にディープラーニング、クラウドコンピューティング、コンピュータビジョンなどの分野に関するものである。【解決手段】具体的な実現解決手段は、電子機器が収集したビデオ画像を取得して、ビデオ画像における車両の駐車領域を識別して、電子機器がビデオ画像を収集するために使用される撮影角度を決定して、撮影角度に基づいて、ビデオ画像における駐車違反領域を決定して、車両の駐車領域及び駐車違反領域に基づいて、車両が駐車違反したか否かを識別する。【選択図】図2

Description

本開示は、人工知能分野に関し、特に、ディープラーニング、クラウドコンピューティング、コンピュータビジョンなどの分野に関する。具体的には、車両の駐車違反の識別方法、装置、電子機器、記憶媒体、及びコンピュータプログラムに関する。
インターネット及び人工知能技術の発展に伴い、ますます多くの分野は自動化計算及び解析に係り始めている。また、シェア自転車の発展に伴い、重要な交差点でますます多くなるシェア自転車が都市管理の課題となっている。
本開示は、車両の駐車違反の識別方法、装置、電子機器、記憶媒体およびコンピュータプログラムを提供することを目的とする。
本開示の一態様によれば、車両の駐車違反を識別する方法が提供され、該方法は、電子機器が収集したビデオ画像を取得することと、前記ビデオ画像における車両の駐車領域を識別することと、前記電子機器が前記ビデオ画像を収集するために使用される撮影角度を決定することと、前記撮影角度に基づいて、前記ビデオ画像における駐車違反領域を決定することと、前記車両の駐車領域と前記駐車違反領域に基づいて、前記車両が駐車違反したか否かを識別することとを含む。
本開示の別の態様によれば、車両の駐車違反を識別する装置が提供され、該装置は、電子機器が収集したビデオ画像を取得する取得モジュールと、前記ビデオ画像における車両の駐車領域を識別する第一識別モジュールと、前記電子装置が前記ビデオ画像を収集するために使用される撮影角度を決定する第一決定モジュールと、前記撮影角度に基づいて、前記ビデオ画像における駐車違反領域を決定する第二決定モジュールと、前記車両の駐車領域及び前記駐車違反領域に基づいて、前記車両が駐車違反したか否かを識別する第二識別モジュールとを含む。
本開示の別の態様によれば、電子機器が提供され、該電子機器は、少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサと通信接続されるメモリとを備え、前記メモリには、前記少なくとも一つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも一つのプロセッサが本開示の実施例に記載の方法を実行することができるように、前記少なくとも一つのプロセッサにより実行される。
本開示の別の態様によれば、コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体が提供され、前記コンピュータ命令は、コンピュータに本開示の実施例に記載の方法を実行させる。
本開示の別の態様によれば、コンピュータプログラムが提供され、プロセッサにより実行される場合に本開示の実施例に記載の方法を実現する。
理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。
図面は、本発明をよりよく理解するために用いられ、本開示を限定するものではない。
図1Aは、本開示の実施例に係るシステムアーキテクチャを例示的に示す。 図1Bは、本開示の実施例を実現できるシーン図を例示的に示す。 図2は、本開示の実施例に係る車両の駐車違反を識別する方法フローチャートを例示的に示す。 図3は、本開示の実施例に係る非自動車の駐車違反を監視する概略図を例示的に示す。 図4は、本開示の実施例に係る車両の駐車違反を識別する装置のブロック図を例示的に示す。 図5は、本開示の実施例を実現するための電子機器のブロック図を例示的に示す。
以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために、本開示の実施例の様々な詳細が含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することはないと分かるべきである。同様に、明確化及び簡潔化のために、以下の記載において周知の機能や構成に対する説明を省略する。
本開示の発明において、係る監視データの記録、記憶及び応用等は、いずれも関連法律・法規の規定に適合し、かつ公序良俗に反するものではない。
現在、関連技術において、非自動車の駐車違反に対して、通常、人的監視により処理される。理解されるべきこととして、人的監視方法は、時間と手間がかかり、かつ全ての場所を監視することが困難である。
これに対して、本開示の実施例は、多視野角に基づいて車両の駐車違反を識別する方法が提供されている。ビデオストリームをデコードした各フレームの画像に対して、いずれも類似性モデルを利用して、対応するカメラ角度(撮影角度)での駐車違反領域をマッチングして得ることができる。同時に、インスタンスセグメンテーションモデルを利用して、車両(例えば、非自動車)の具体的な駐車領域を識別することができる。そして、車両の具体的な駐車領域が対応駐車違反領域内にあるか否かを判断する。存在すれば、注意情報を送信することができる。例えば、関連会社に、ある交差点で止まっている関連車両が駐車違反に属するという注意を促す。又は、例えば、交通管理者に、ある交差点に駐車違反の車両が現れているという注意を促す。
以下、具体的な実施例を参照しながら本開示を詳しく説明する。
本開示の実施例に係る車両の駐車違反を識別する方法及び装置のシステムアーキテクチャを以下のように説明する。
図1Aは、本開示の実施例に係る車両の駐車違反を識別する方法及び装置のシステムアーキテクチャを例示的に示す。留意されるべきこととして、図1Aに示すのは、当業者が本開示の技術的内容をより理解しやすいように本開示の実施例のシステムアーキテクチャを適用可能な例示に過ぎず、本開示の実施例が他の環境又はシーンに適用されないと意味するものではない。
図1Aに示すように、システムアーキテクチャ100は、サーバ104及び異なる交差点で配置された電子機器101、102、103、・・・を含んでもよい。
説明すべきこととして、本開示の実施例において、電子機器101、102、103、・・・は多視野角でビデオ画像を収集できる監視機器であってもよい。例えば、電子機器101、102、103、・・・は、360°全方位で死角なく監視することができる球型監視カメラであってもよい。電子機器101、102、103、・・・のうちのいずれか一つの電子機器がリアルタイムで収集したビデオストリームデータは、いずれもサーバ104にアップロードされてもよい。
サーバ104は、これらのビデオストリームデータをデコードしてもよく、デコードして得られた各フレームのビデオ画像に基づいて、現在の画像の撮影角度での駐車違反領域内に駐車違反の車両があるか否かを決定することができる。さらに、駐車違反の車両があると決定すると、サーバ104は、対応する車両経営の会社に注意情報をさらに送信してよく、それによって、関連会社に、ある交差点で止まっている関連車両が駐車違反に属し、道路交通がよりスムーズに流れるように、早急に処理する必要があるという注意を促す。
例示的に、画像解析により、A会社及びB会社がいずれもある交差点に駐車違反の車両があると発見すれば、同時にA会社の責任者及びB会社の責任者に注意情報を送信してもよく、それによって、彼らに、早急に作業員に通知して現場に行って駐車違反の車両を処理するように注意を促す。
又は、駐車違反の車両があると決定すると、サーバ104は、さらに関連部門の管理者(例えば、交通管理者)に注意情報を送信してよく、それによって、ある交差点に大量又は少量の駐車違反の車両が現れており、道路交通がよりスムーズに流れるように早急に処理する必要があるという注意をタイムリーに促す。
本開示の実施例によれば、有人現場又は遠隔監視を必要とせず、時間と労力を節約し、かつより多くの場所を監視することができる。また、多視野角に基づく車両の駐車違反の識別方法は、単一視野角に基づく車両の駐車違反の識別方法に比べて、各駐車違反領域内に駐車違反の車両があるか否かを全方位で死角なく監視することができ、それによって、道路交通がよりスムーズに流れるようにタイムリーに処理する。
理解されるべきこととして、図1Aにおける電子機器及びサーバの数は単に例示的である。必要に応じて、任意の数の電子機器及びサーバを備えてもよい。
本開示の実施例に係る車両の駐車違反を識別する方法及び装置の応用シーンを以下に説明する。
説明すべきこととして、本開示の実施例が提供する車両の駐車違反を識別する方法及び装置は、自動車又は非自動車が駐車違反したか否かを識別するために用いられてもい。ここで、非自動車は、個人の電気自動車、各会社が出荷するシェア電気自動車、個人の自転車、各会社が出荷するシェア自転車等のうちの一種類又は複数種類を含んでもよいが、それらに限定されない。
また、説明すべきこととして、本開示の実施例が提供する車両の駐車違反を識別する方法及び装置は、多視野角の監視に基づく車両の駐車違反の識別方法及び装置であってもよい。
例示的に、図1Bに示すように、球型監視カメラ201は、ある交差点に対して360°全方位で死角なく全プロセスビデオ監視を行うことができる。一実施例として、360度角を8等分して、回転45°角毎に新たな撮影角度として定義されてもよい。例えば、撮影角度は、真北方向、北偏西45°、真西方向、南偏西45°、真南方向、南偏東45°、真東方向、北偏東45°というように定義されてもよい。他の実施例として、360°をN等分してよく、ここで、Nは2以上の任意の整数である。このように、回転(360/N)°毎に新たな撮影角度として定義されてもよい。
図1Bから理解されるように、本開示の実施例において、多視野角撮影機能を有する電子機器に対して、各撮影角度で電子機器が監視できる駐車違反領域はそれぞれ異なる。
説明すべきこととして、本開示の実施例において、シェア自転車を例として、車両の駐車違反を識別するプロセス又はステップを詳しく説明する。
本開示の実施例によれば、本開示は、車両の駐車違反を識別する方法を提供する。
図2は、本開示の実施例に係る車両違反を識別する方法フローチャートを例示的に示す。
図2に示すように、車両の駐車違反を識別する方法200は、操作S210~S250を含んでもよい。
操作S210において、電子機器が収集したビデオ画像を取得する。
操作S220において、ビデオ画像における車両の駐車領域を識別する。
操作S230において、電子機器がビデオ画像を収集するために使用される撮影角度を決定する。
操作S240において、撮影角度に基づいて、ビデオ画像における駐車違反領域を決定する。
操作S250において、車両の駐車領域と駐車違反領域に基づいて、車両が駐車違反したか否かを識別する。
本開示のいくつかの実施例において、各交差点に配置された多視野角撮影機能を有する各電子機器は、リアルタイムで収集された監視ビデオストリームデータに対して、いずれも先にデコードして、次にデコードして得られた各フレームのビデオ画像に対して、上記操作S210~S250を実行してよく、それによって、各交差点に設置された駐車違反領域内に駐車違反の車両があるか否かを識別する。
駐車違反の車両があると決定されば、対応する会社に注意情報を送信することができ、それによって、関連会社に、ある交差点で止まっている関連する車両が駐車違反に属し、道路交通がよりスムーズに流れるように早急に処理する必要があるという注意を促す。
又は、駐車違反の車両があると決定されば、例えば、さらに交通管理者に注意情報を送信することができ、それによって、ある交差点に大量又は少量の駐車違反の車両が現れており、道路交通がよりスムーズに流れるように早急に処理する必要があるという注意をタイムリーに促す。
理解すべきこととして、本開示の実施例において、電子機器は多視野角撮影機能を有し、かつ各撮影角度で電子機器が監視できる駐車違反領域がそれぞれ異なる。したがって、車両に対して駐車違反の識別を行うプロセスにおいて、各フレームのビデオ画像に対して、まず該ビデオ画像の撮影角度を決定し、次に電子装置が該撮影角度で監視できる駐車違反領域を決定してもよい。同時に、各フレームのビデオ画像に対して、さらに画像における車両の駐車領域(即ち、車両の具体的な駐車領域)を決定してもよい。最後に、同一フレームのビデオ画像に対して、画像における車両の駐車領域及び現在の画像の撮影角度で監視可能な駐車違反領域に基づいて、画像における車両が駐車違反したか否かを識別してもよい。
本開示の実施例によれば、多視野角監視装置が撮影した各フレームのビデオ画像に対して、まず画像の撮影角度を決定し、さらに該撮影角度での画像における駐車違反領域を決定し、次に画像における該駐車違反領域内に駐車違反した車両があるか否かを識別することができる。これによって、現在の監視領域内に駐車違反した車両があるか否かを識別する精度を増加させる。さらに、違反状況に基づいて、関係者に、各交差点をよりスムーズに流れるよう早急に現場に行って処理することをタイムリーに通知することができる。
また、本開示の実施例によれば、非自動車が停車違反したか否かを自動的に識別することができ、さらに、関連部門が日増しに増加した例えばシェア自転車などの非自動車を監視することをスマート化で連携することができる。さらに、継続的にスマート化している監視手段は、各車両会社の経営をより規範化することを促進することができ、人の外出がより便利になる。これによって、科学技術手段を利用して都市管理をよりスマート化するという目的を達成することができる。
選択可能な実施例として、電子機器がビデオ画像を収集するために使用される撮影角度を決定することは、以下の操作を含んでもよい。
複数の既知の撮影角度で電子機器が予め収集した複数の参照画像を取得し、ここで、複数の参照画像のうちの異なる参照画像は、異なる撮影角度に対応する。
ビデオ画像を複数の参照画像のうちの各参照画像と一つずつに類似度マッチングを行うことによって、複数の参照画像のうち、ビデオ画像との類似度が最も高いターゲット参照画像をマッチングして得る。
ターゲット参照画像に対応する撮影角度を取得し、該撮影角度を電子機器がビデオ画像を収集するために使用される撮影角度とする。
本開示の実施例において、電子機器の複数の撮影角度を予め定義し、この複数の撮影角度でそれぞれ一つの参照画像を予め収集し、その後、画像識別技術を利用して各参照画像に表れた駐車違反領域を識別してもよい。
例示的に、撮影角度は、真北方向、北偏西45°、真西方向、南偏西45°、真南方向、南偏東45°、真東方向、北偏東45°というように定義されてもよい。これらの撮影角度で予め収集された参照画像は、順に画像1~画像8である。さらに、この8枚の画像に表れた駐車違反領域をそれぞれ識別することができ、例えば順に領域1~領域8である。
リアルタイム監視プロセスにおいて、各フレームのビデオ画像を取得するたびに、該ビデオ画像を一つずつ各参照画像と類似度マッチングを行うことができ、それによって、該ビデオ画像との類似度が最も高い一つの参照画像をマッチングして得る。該参照画像の撮影角度が既知であるため、該参照画像の撮影角度を該ビデオ画像の撮影角度とすることができ、これにより、該ビデオ画像に含まれる駐車違反領域を決定する。
理解すべきこととして、本開示の実施例において、類似性モデルを利用して、各フレームのビデオ画像と各参照画像との類似度を判断することができる。
本開示の実施例によれば、リアルタイムに取得されたビデオ画像を撮影角度が既知である参照画像と類似度マッチングを行うことによって、リアルタイムに取得されたビデオ画像の撮影角度を決定することができる。さらに、撮影角度を決定することができるため、ビデオ画像に含まれる駐車違反領域も確実に決定することができる。これにより、画像における駐車違反領域内に駐車違反した車両があるか否かを確実に決定することができる。
又は、別の選択可能な実施例として、電子機器がビデオ画像を収集するために使用される撮影角度を決定することは、以下の操作を含んでもよい。
複数の既知の撮影角度で電子機器が予め収集した複数の参照画像を取得し、ここで、複数の参照画像のうちの異なる参照画像が異なる撮影角度に対応する。
ビデオ画像を第一所定サイズの第一画像に縮小する。
第一画像を複数の参照画像のうちの各参照画像と一つずつ類似度マッチングを行うことによって、複数の参照画像のうち、第一画像と類似度が最も高いターゲット参照画像をマッチングして得る。
ターゲット参照画像に対応する撮影角度を取得し、該撮影角度を電子機器がビデオ画像を収集するために使用される撮影角度とする。
本開示の実施例において、類似性モデルを利用して、各フレームのビデオ画像と各参照画像との類似度を判断することができる。
理解すべきこととして、本開示の実施例において、画像に対して類似度マッチングを行うプロセスにおいて、ターゲット識別と分類を行う必要がなく、キーポイントの識別を行う必要もなく、撮影角度のみを識別すればよいため、画像の解像度に対する要求が高くない。また、画像サイズが小さいほど、画像に対して類似度マッチングを行う処理効率が高くなることを考慮する。
したがって、本開示の実施例において、各フレームのビデオ画像を類似性モデルに入力する前に、まず、例えばビデオ画像を一定のサイズ(例えば224*224)にズームするように、ビデオ画像を前処理してもよい。
また、理解されるように、畳み込みニューラルネットワーク(類似性モデル)の入力は、一般的に画素点の値が0~1の間にある必要がある。したがって、本開示の実施例において、ビデオ画像を前処理することは、ビデオ画像を一定のサイズにズームした後、画像に対して正規化処理を行うことをさらに含んでもよい。
本開示の一実施例において、画像正規化処理フローは、例えば、画像における各画素点の値を255で割り算し、かつRGB平均値(例えば[0.485、0.456、0.406])を減算し、RGB分散(例えば[0.229、0.224、0.225])で割り算するという操作を含んでもよい。
本開示の実施例によれば、前処理された画像は、類似性モデルに入力されて、類似する画像が特徴距離だけ引き寄せされ、類似しない画像が特徴距離だけ引き離されるように、各既知の撮影角度の参照画像と類似度マッチングを行うことによって、ビデオ画像の撮影角度を分類することを実現する。
選択可能な実施例として、車両の駐車領域及び駐車違反領域に基づいて、車両が駐車違反したか否かを識別することは、以下の操作を含んでもよい。
ビデオ画像に基づいて、車両の駐車領域が駐車違反領域内にあるか否かを識別する。
ビデオ画像に基づいて車両の駐車領域が駐車違反領域内にあることを識別したことに応じて、車両の駐車違反を決定する。
理解すべきこととして、本開示のいくつかの実施例において、車両の駐車領域が完全に駐車違反領域内にあれば、車両が駐車違反したと認められる。本開示の他の実施例において、車両の駐車領域と駐車違反領域とが共通部分を具備すれば、車両が駐車違反したと認められる。本開示の他の実施例において、車両の駐車領域と駐車違反領域とが共通部分を具備し、かつその共通部分が所定値を超えれば、車両が駐車違反したと認められる。
さらに、選択可能な実施例として、ビデオ画像に基づいて車両の駐車領域が駐車違反領域内にあるか否かを識別することは、ビデオ画像に基づいて、車両の駐車領域と駐車違反領域との間の共通部分が所定値より大きいか否かを計算することを含んでもよい。
ここで、その共通部分が所定値以上であれば、車両の駐車領域が駐車違反領域内にあると決定される。その共通部分が所定値より小さいであれば、車両の駐車領域が駐車違反領域内にないと決定される。
本開示のいくつかの実施例において、ビデオ画像における駐車違反領域を識別した後、画像における駐車違反領域内の画素値を全て0又は1に設定してもよい。全て0に設定されることを例として、車両の駐車領域と駐車違反領域との間の共通部分を計算する時に、画像における車両の駐車領域内の画素値が0である画素点の数を統計することによって、該共通部分を決定してもよい。
又は、本開示のいくつかの実施例において、画像における車両の駐車領域と駐車違反領域との重なり面積を計算することによって、両者の間の共通部分を決定してもよい。
本開示の実施例によれば、ビデオ画像における駐車違反領域と車両(例えば非自動車)の具体的な駐車領域との間の共通部分が一定の閾値より大きい場合、該車両の具体的な駐車領域が対応的な駐車違反領域内に収まれたことを示し、即ち、該車両が駐車違反の問題が存在することを示す。さらに、車両が駐車違反の問題を有すると決定された後、インスタンスセグメンテーションモデルによる該車両の種類に対する分類結果に基づいて、各車両の経営会社又は関連部門に駐車違反の車両を処理することをタイムリーに通知することができる。
また、本開示の実施例において、関連部門が都市管理作業を上手く行うことをよりよく補助するように、駐車違反の問題を常に現すカメラ位置に対して重点監視を行ってもよい。
選択可能な実施例として、ビデオ画像における車両の駐車領域を識別することは、ビデオ画像をインスタンスセグメンテーションモデルに入力することによって、画像における異なる種類の車両の駐車領域分割結果を出力することをさらに含んでもよい。
本開示の実施例において、ビデオ画像を予めトレーニングされたインスタンスセグメンテーションモデルに直接入力することによって、モデルは、該ビデオ画像における異なる種類の車両の駐車領域分割結果を出力してもよい。
例示的に、あるビデオ画像に同時にA会社が経営するシェア自転車とB会社が経営するシェア自転車を含む場合、インスタンスセグメンテーションモデルの処理は、A会社が経営するシェア自転車の、該ビデオ画像における具体的な駐車領域分割結果と、B会社が経営するシェア自転車の、該ビデオ画像における具体的な駐車領域分割結果とを出力することができる。
又は、選択可能な実施例として、ビデオ画像における車両の駐車領域を識別することは、以下の操作を含む。
ビデオ画像を第二所定サイズの第二画像に縮小する。
第二画像をインスタンスセグメンテーションモデルに入力して、画像における異なる種類の車両の駐車領域分割結果を出力する。
本開示の実施例において、インスタンスセグメンテーションモデルを利用して、各ビデオ画像における異なる種類の車両の駐車領域分割結果を出力してもよい。説明すべきこととして、本開示の実施例において、採用されたインスタンスセグメンテーションモデルは、フレームワークがMask_R-CNNネットワークに基づく分割アルゴリズムであってもよい。該アルゴリズムは、種類を分割するだけでなく、同時に、同じ種類のターゲットが同じインスタンスであるか否かを分割することもできる。したがって、該インスタンスセグメンテーションモデルを採用することよって、異なる種類の非自動車の具体的な駐車領域分割結果を出力することができ、すなわち、出力結果は各非自動車の種類及び各種類の非自動車に関する駐車領域分割結果を含む。
説明すべきこととして、本開示の実施例において、ビデオ画像をインスタンスセグメンテーションモデルに入力して処理する前に、ビデオ画像を前処理してもよい。
本開示の実施例は、画像分割において、ターゲット検出、分類及び分割を行う必要があるため、画像類似度マッチングに比べて、画像の解像度に対する要求がやや高く、モデルに入力される画像が大きいであることが望ましい。したがって、本開示の実施例において、ビデオ画像における車両の駐車領域を識別するプロセスにおいて、ビデオ画像を一定のサイズの画像に縮小してもよい。但し、このプロセスにおいて、画像縮小の度合は、画像類似度マッチングのプロセスにおける画像縮小の度合より低くてもよい。すなわち、上記の第二所定サイズは、上記の第一所定サイズより大きくてもよい。
例示的に、本開示の実施例において、各フレームのビデオ画像をインスタンスセグメンテーションモデルに入力する前に、まず、ビデオ画像を前処理してもよく、例えばビデオ画像を一定のサイズ(例えば800*800)にズームする。
また、理解されるように、インスタンスセグメンテーションモデルの入力は、一般的に画素点の値が0~1の間にある必要がある。したがって、本開示の実施例において、画像分割プロセスにおいてビデオ画像を前処理することは、ビデオ画像を一定のサイズにズームした後、画像に対して正規化処理を行うことをさらに含んでもよい。
本開示の一実施例において、画像正規化処理フローは、例えば、画像における各画素点の値を255で割り算し、かつRGB平均値(例えば[0.485、0.456、0.406])を減算し、RGB分散(例えば[0.229、0.224、0.225])で割り算するという操作を含んでもよい。
本開示の実施例によれば、前処理された画像はインスタンスセグメンテーションモデルに入力されて、類似する画像が特徴距離だけ引き寄せされ、類似しない画像が特徴距離だけ引き離されるように各既知の撮影角度の参照画像と類似度マッチングを行うことによって、ビデオ画像の撮影角度を分類することを実現する。
また、選択可能な実施例として、上記の車両は、自動車と非自動車車両とを含んでもよいが、これらに限定されない。さらに、非自動車車両は、個人の電気自動車、各会社出荷のシェア電気自動車、個人の自転車、各会社出荷のシェア自転車等を含んでもよいが、これらに限定されない。
以下、図3及び具体的な実施例を参照して、本開示の実施例を詳しく説明する。
図3に示すように、監視ビデオストリームをデコードして取得されたビデオ画像に対して、同時に二つの分岐を入力してもよい。
ここで、一つの分岐は、画像類似度マッチングによって、該ビデオ画像の撮影角度と、該撮影角度で画像に含まれる駐車違反領域とを決定する。該分岐は、ビデオ画像を一定のサイズ224*224にズームし、画像前処理を行うことと、前処理を経た後、画像を類似性モデルに入力することと、モデルにより画像類似度マッチングを行い、類似度結果を出力することと、類似度結果に基づいて、駐車違反領域を決定すること、というフローを含む。
また、もう一つの分岐は、画像分割によって、撮影された非自動車の具体的な駐車領域を決定する。該分岐は、ビデオ画像を一定のサイズ800*800にズームし、画像前処理を行うことと、前処理を経た後、画像を非自動車に関するインスタンスセグメンテーションモデルに入力することと、モデルにより画像の識別及び分割を行い、画像における各種類の非自動車の具体的な駐車領域分割結果(各分割領域)を出力すること、というフローを含む。
そして、以上の二つの分岐の処理結果に基づいて、各分割領域が駐車違反領域内にあるか否かを判断してもよい。「Yes」であれば、対応する非自動車が駐車違反の問題が存在すると認められる。さらに、このような状況について、識別結果に基づいて関係者に通知してもよい。「No」であれば、対応する非自動車が正常であると認められ、すなわち、駐車違反の問題が存在しないと認められる。さらに、このような状況について、識別結果に基づいて関係者に通知してもよい。
本開示の実施例によれば、本開示は、車両の駐車違反を識別する装置をさらに提供する。
図4は、本開示の実施例に係る車両の駐車違反を識別する装置のブロック図を例示的に示す。
図4に示すように、車両の駐車違反を識別する装置400は、取得モジュール410と、第一識別モジュール420と、第一決定モジュール430と、第二決定モジュール440と、第二識別モジュール450とを含んでもよい。
具体的には、取得モジュール410は、電子機器が収集したビデオ画像を取得する。
第一識別モジュール420は、該ビデオ画像における車両の駐車領域を識別する。
第一決定モジュール430は、該電子機器が該ビデオ画像を収集するために使用される撮影角度を決定する。
第二決定モジュール440は、該撮影角度に基づいて、該ビデオ画像における駐車違反領域を決定する。
第二識別モジュール450は、該車両の駐車領域と該駐車違反領域に基づいて、該車両が駐車違反したか否かを識別する。
選択可能な実施例として、該第一決定モジュールは、該電子機器が複数の既知の撮影角度で予め収集した複数の参照画像を取得し、該複数の参照画像のうちの異なる参照画像が異なる撮影角度に対応する第一取得ユニットと、該ビデオ画像を該複数の参照画像のうちの各参照画像と一つずつ類似度マッチングを行うことによって、該複数の参照画像のうち、該ビデオ画像と類似度が最も高いターゲット参照画像をマッチングして得る第一マッチングユニットと、該ターゲット参照画像に対応する撮影角度を取得し、該撮影角度を該電子機器が該ビデオ画像を収集するために使用される撮影角度とする第二取得ユニットとを含む。
選択可能な実施例として、該第一決定モジュールは、該電子機器が複数の既知の撮影角度で予め収集した複数の参照画像を取得し、該複数の参照画像のうちの異なる参照画像が異なる撮影角度に対応する第三取得ユニットと、該ビデオ画像を第一所定サイズの第一画像に縮小する前処理ユニットと、該第一画像を該複数の参照画像のうちの各参照画像と一つずつ類似度マッチングを行うことによって、該複数の参照画像のうち、該第一画像と類似度が最も高いターゲット参照画像をマッチングして得る第二マッチングユニットと、該ターゲット参照画像に対応する撮影角度を取得し、該撮影角度を該電子機器が該ビデオ画像を収集するために使用される撮影角度とする第四取得ユニットとを含む。
選択可能な実施例として、該第二識別モジュールは、該ビデオ画像に基づいて、該車両の駐車領域が該駐車違反領域内にあるか否かを識別する識別ユニットと、該ビデオ画像に基づいて該車両の駐車領域が該駐車違反領域内にあることを識別したことを応じて、該車両の駐車違反を決定する決定ユニットとを含む。
選択可能な実施例として、該識別ユニットは、さらに、該ビデオ画像に基づいて、該車両の駐車領域と該駐車違反領域との間の共通部分が所定値より大きいか否かを計算し、該共通部分が該所定値以上であれば、該車両の駐車領域が該駐車違反領域内にあると決定する。
選択可能な実施例として、該第一識別モジュールは、さらに、該ビデオ画像をインスタンスセグメンテーションモデルに入力することによって、画像における異なる種類の車両の駐車領域分割結果を出力する。
選択可能な実施例として、該第一識別モジュールは、さらに、該ビデオ画像を第二所定のサイズの第二画像に縮小し、該第二画像をインスタンスセグメンテーションモデルに入力することによって、画像における異なる種類の車両の駐車領域分割結果を出力する。
選択可能な実施例として、該車両は、自動車及び非自動車車両を含む。
理解すべきこととして、本開示の装置の一部の実施例は、本開示の方法の一部の実施例に対応して同じ又は類似であり、解決しようとする技術的課題と達成される技術的効果も同じ又は類似であり、本開示は、ここで説明を省略する。
本開示の実施例によれば、本開示は、さらに電子機器、可読記憶媒体及びコンピュータプログラムを提供する。
図5は、本開示の実施例を実施することが可能な電子機器500の例示的なブロック図を示す。電子機器は、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータという様々な形式のデジタルコンピュータを示すことを目的とする。電子機器は、さらに、例えば、個人デジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器及び他の類似の演算装置という様々な形式の移動装置を示してもよい。本明細書に示された部材、それらの接続及び関係、及びそれらの機能は、例示に過ぎず、本明細書に記載された及び/又は要求された本開示の実現を限定しない。
図5に示すように、電子機器500は、演算ユニット501を含み、演算ユニット501は、リードオンリーメモリ(ROM)502に記憶されたコンピュータプログラム又は記憶ユニット508からランダムアクセスメモリ(RAM)503にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。RAM503には、さらに電子機器500の操作に必要な様々なプログラム及びデータを記憶してもよい。演算ユニット501、ROM502、およびRAM503は、バス504を介して相互に接続される。入出力(I/O)インタフェース505も、バス504に接続される。
電子機器500における複数の部品は、I/Oインタフェース505に接続され、I/Oインタフェース505は、例えばキーボード、マウス等の入力ユニット506と、例えば様々な種類のディスプレイ、スピーカ等の出力ユニット507と、例えば磁気ディスク、光ディスク等の記憶ユニット508と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信ユニット509とを含む。通信ユニット509は、電子機器500がインターネット等のコンピュータネットワーク及び/又は各種の電気通信ネットワークを介して他の機器と情報/データをやり取りすることを可能にする。
演算ユニット501は、処理及び演算能力を有する各種の汎用及び/又は専用の処理モジュールであってもよい。演算ユニット501の幾つかの例としては、中央処理装置(CPU)、GPU(Graphics Processing Unit)、各種専用の人工知能(AI)演算チップ、各種機械学習モデルアルゴリズムをランニングする演算ユニット、DSP(Digital Signal Processor)、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。演算ユニット501は、例えば車両の駐車違反を識別する方法のような上記に記載の各方法及び処理を実行する。例えば、いくつかの実施例において、車両の駐車違反を識別する方法は、例えば記憶ユニット508のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ROM502及び/又は通信ユニット509を介して電子機器500にロード及び/又はインストールされてもよい。コンピュータプログラムがRAM503にロードされて計算ユニット501により実行される場合、上記に記載の車両の駐車違反を識別する方法の一つ又は複数の操作を実行してもよい。代替的に、他の実施例において、演算ユニット501は、他の任意の適切な方式(例えば、ファームウェアを介する)により車両の駐車違反を識別する方法を実行するように構成されてもよい。
本明細書で説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、コンプレックスプログラムマブルロジックデバイス(CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、一つ又は複数のコンピュータプログラムにおいて実施され、該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び/又は解釈されることが可能であり、該プログラムマブルプロセッサは、専用又は汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも一つの入力装置、及び該少なくとも一つの出力装置に伝送することができることを含んでもよい。
本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び/又はブロック図に規定された機能/操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。
本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、一つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバ、コンパクトディスクリードオンリーメモリ(CD-ROM)、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。
ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、かついかなる形式(音声入力、語音入力又は、触覚入力を含む)でユーザからの入力を受信してもよい。
ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェア部品を含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンド部品を含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる)、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)及びインターネットを例示的に含む。
コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント-サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであってもよく、クラウドコンピューティングサーバ又はクラウドホストと呼ばれ、クラウドコンピューティングサービスシステムにおける一つのホスト製品であり、それによって、従来の物理ホストとVPSサービス(“Virtual Private Server”、又は“VPS”と略称する)に存在する管理難度が大きく、サービス拡張性が弱いという欠陥を解決している。サーバは、分散型システムのサーバであってもよく、又はブロックチェーンを組み合わせしたサーバであってもよい。
理解されるべきこととして、以上に示された様々な形式のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本開示に記載の各操作は、並列に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示の発明の所望の結果を実現することができれば、本明細書はここで限定されない。
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (23)

  1. 車両の駐車違反を識別する方法であって、
    電子機器が収集したビデオ画像を取得することと、
    前記ビデオ画像における車両の駐車領域を識別することと、
    前記電子機器が前記ビデオ画像を収集するために使用される撮影角度を決定することと、
    前記撮影角度に基づいて、前記ビデオ画像における駐車違反領域を決定することと、
    前記車両の駐車領域と前記駐車違反領域に基づいて、前記車両が駐車違反したか否かを識別することとを含む
    車両の駐車違反の識別方法。
  2. 請求項1に記載の方法において、
    前記電子機器が前記ビデオ画像を収集するために使用される撮影角度を決定することは、
    前記電子機器が複数の既知の撮影角度で予め収集した複数の参照画像を取得し、前記複数の参照画像のうちの異なる参照画像が異なる撮影角度に対応することと、
    前記ビデオ画像を前記複数の参照画像のうちの各参照画像と一つずつ類似度マッチングを行うことによって、前記複数の参照画像のうち、前記ビデオ画像との類似度が最も高いターゲット参照画像をマッチングして得ることと、
    前記ターゲット参照画像に対応する撮影角度を取得し、該撮影角度を前記電子機器が前記ビデオ画像を収集するために使用される撮影角度とすることとを含む
    車両の駐車違反の識別方法。
  3. 請求項1に記載の方法において、
    前記電子機器が前記ビデオ画像を収集するために使用される撮影角度を決定することは、
    前記電子機器が複数の既知の撮影角度で予め収集した複数の参照画像を取得し、前記複数の参照画像のうちの異なる参照画像が異なる撮影角度に対応することと、
    前記ビデオ画像を第一所定サイズの第一画像に縮小することと、
    前記第一画像を前記複数の参照画像のうちの各参照画像と一つずつ類似度マッチングを行うことによって、前記複数の参照画像のうち、前記第一画像と類似度が最も高いターゲット参照画像をマッチングして得ることと、
    前記ターゲット参照画像に対応する撮影角度を取得し、該撮影角度を前記電子機器が前記ビデオ画像を収集するために使用される撮影角度とすることとを含む
    車両の駐車違反の識別方法。
  4. 請求項1に記載の方法において、
    前記車両の駐車領域と前記駐車違反領域とに基づいて、前記車両が駐車違反したか否かを識別することは、
    前記ビデオ画像に基づいて、前記車両の駐車領域が前記駐車違反領域内にあるか否かを識別することと、
    前記ビデオ画像に基づいて前記車両の駐車領域が前記駐車違反領域内にあると識別されたことに応じて、前記車両の駐車違反を決定することとを含む
    車両の駐車違反の識別方法。
  5. 請求項2に記載の方法において、
    前記車両の駐車領域と前記駐車違反領域とに基づいて、前記車両が駐車違反したか否かを識別することは、
    前記ビデオ画像に基づいて、前記車両の駐車領域が前記駐車違反領域内にあるか否かを識別することと、
    前記ビデオ画像に基づいて前記車両の駐車領域が前記駐車違反領域内にあると識別されたことに応じて、前記車両の駐車違反を決定することとを含む
    車両の駐車違反の識別方法。
  6. 請求項3に記載の方法において、
    前記車両の駐車領域と前記駐車違反領域とに基づいて、前記車両が駐車違反したか否かを識別することは、
    前記ビデオ画像に基づいて、前記車両の駐車領域が前記駐車違反領域内にあるか否かを識別することと、
    前記ビデオ画像に基づいて前記車両の駐車領域が前記駐車違反領域内にあると識別されたことに応じて、前記車両の駐車違反を決定することとを含む
    車両の駐車違反の識別方法。
  7. 請求項4に記載の方法において、
    前記ビデオ画像に基づいて、前記車両の駐車領域が前記駐車違反領域内にあるか否かを識別することは、
    前記ビデオ画像に基づいて、前記車両の駐車領域と前記駐車違反領域との間の共通部分が所定値より大きいか否かを計算することを含み、
    前記共通部分が前記所定値以上であれば、前記車両の駐車領域が前記駐車違反領域内にあると決定する
    車両の駐車違反の識別方法。
  8. 請求項5に記載の方法において、
    前記ビデオ画像に基づいて、前記車両の駐車領域が前記駐車違反領域内にあるか否かを識別することは、
    前記ビデオ画像に基づいて、前記車両の駐車領域と前記駐車違反領域との間の共通部分が所定値より大きいか否かを計算することを含み、
    前記共通部分が前記所定値以上であれば、前記車両の駐車領域が前記駐車違反領域内にあると決定する
    車両の駐車違反の識別方法。
  9. 請求項6に記載の方法において、
    前記ビデオ画像に基づいて、前記車両の駐車領域が前記駐車違反領域内にあるか否かを識別することは、
    前記ビデオ画像に基づいて、前記車両の駐車領域と前記駐車違反領域との間の共通部分が所定値より大きいか否かを計算することを含み、
    前記共通部分が前記所定値以上であれば、前記車両の駐車領域が前記駐車違反領域内にあると決定する
    車両の駐車違反の識別方法。
  10. 請求項1に記載の方法において、
    前記ビデオ画像における車両の駐車領域を識別することは、
    前記ビデオ画像をインスタンスセグメンテーションモデルに入力することよって、画像における異なる種類の車両の駐車領域分割結果を出力することを含む
    車両の駐車違反の識別方法。
  11. 請求項1に記載の方法において、
    前記ビデオ画像における車両の駐車領域を識別することは、
    前記ビデオ画像を第二所定サイズの第二画像に縮小することと、
    前記第二画像をインスタンスセグメンテーションモデルに入力することよって、画像における異なる種類の車両の駐車領域分割結果を出力することとを含む
    車両の駐車違反の識別方法。
  12. 請求項1に記載の方法において、
    前記車両は、自動車及び非自動車を含む
    車両の駐車違反の識別方法。
  13. 車両の駐車違反を識別する装置であって、
    電子機器が収集したビデオ画像を取得する取得モジュールと、
    前記ビデオ画像における車両の駐車領域を識別する第一識別モジュールと、
    前記電子機器が前記ビデオ画像を収集するために使用される撮影角度を決定する第一決定モジュールと、
    前記撮影角度に基づいて、前記ビデオ画像における駐車違反領域を決定する第二決定モジュールと、
    前記車両の駐車領域と前記駐車違反領域に基づいて、前記車両が駐車違反したか否かを識別する第二識別モジュールとを含む
    車両の駐車違反の識別装置。
  14. 請求項13に記載の装置において、
    前記第一決定モジュールは、
    前記電子機器が複数の既知の撮影角度で予め収集した複数の参照画像を取得する第一取得ユニットであって、前記複数の参照画像のうちの異なる参照画像が異なる撮影角度に対応する第一取得ユニットと、
    前記ビデオ画像を前記複数の参照画像のうちの各参照画像と一つずつ類似度マッチングを行うことによって、前記複数の参照画像のうち、前記ビデオ画像との類似度が最も高いターゲット参照画像をマッチングして得る第一マッチングユニットと、
    前記ターゲット参照画像に対応する撮影角度を取得し、該撮影角度を前記電子機器が前記ビデオ画像を収集するために用いられる撮影角度とする第二取得ユニットとを含む
    車両の駐車違反の識別装置。
  15. 請求項13に記載の装置において、
    前記第一決定モジュールは、
    前記電子機器が複数の既知の撮影角度で予め収集した複数の参照画像を取得する第三取得ユニットであって、前記複数の参照画像のうちの異なる参照画像が異なる撮影角度に対応する第三取得ユニットと、
    前記ビデオ画像を第一所定サイズの第一画像に縮小する前処理ユニットと、
    前記第一画像を前記複数の参照画像のうちの各参照画像と一つずつ類似度マッチングを行うことによって、前記複数の参照画像のうち、前記第一画像と類似度が最も高いターゲット参照画像をマッチングして得る第二マッチングユニットと、
    前記ターゲット参照画像に対応する撮影角度を取得し、該撮影角度を前記電子機器が前記ビデオ画像を収集するために用いられる撮影角度とする第四取得ユニットとを含む
    車両の駐車違反の識別装置。
  16. 請求項13~15のいずれか一項に記載の装置において、
    前記第二識別モジュールは、
    前記ビデオ画像に基づいて、前記車両の駐車領域が前記駐車違反領域内にあるか否かを識別する識別ユニットと、
    前記ビデオ画像に基づいて前記車両の駐車領域が前記駐車違反領域内にあることを識別したことに応じて、前記車両の駐車違反を決定する決定ユニットとを含む
    車両の駐車違反の識別装置。
  17. 請求項16に記載の装置において、
    前記識別ユニットは、さらに、
    前記ビデオ画像に基づいて、前記車両の駐車領域と前記駐車違反領域との間の共通部分が所定値より大きいか否かを計算し、
    前記共通部分が前記所定値以上であれば、前記車両の駐車領域が前記駐車違反領域内にあると決定する
    車両の駐車違反の識別装置。
  18. 請求項13に記載の装置において、
    前記第一識別モジュールは、さらに、
    前記ビデオ画像をインスタンスセグメンテーションモデルに入力することによって、画像における異なる種類の車両の駐車領域分割結果を出力する
    車両の駐車違反の識別装置。
  19. 請求項13に記載の装置において、
    前記第一識別モジュールは、
    前記ビデオ画像を第二所定サイズの第二画像に縮小し、
    前記第二画像をインスタンスセグメンテーションモデルに入力することによって、画像における異なる種類の車両の駐車領域分割結果を出力する
    車両の駐車違反の識別装置。
  20. 請求項13に記載の装置において、
    前記車両は、自動車及び非自動車を含む
    車両の駐車違反の識別装置。
  21. 少なくとも一つのプロセッサと、
    前記少なくとも一つのプロセッサと通信接続されたメモリとを備え、
    前記メモリには、前記少なくとも一つのプロセッサにより実行可能な命令を記憶しており、
    前記命令は、前記少なくとも一つのプロセッサが請求項1~12のいずれか一項に記載の方法を実行することができるように、前記少なくとも一つのプロセッサにより実行される
    電子機器。
  22. コンピュータ命令が記憶された非一時的なコンピュータ読取可能な記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項1~12のいずれか一項に記載の方法を実行させる
    記憶媒体。
  23. プロセッサにより実行される場合に、請求項1~12のいずれか一項に記載の方法を実現する
    コンピュータプログラム。
JP2022073279A 2021-04-28 2022-04-27 車両の駐車違反の識別方法、装置、電子機器、記憶媒体及びコンピュータプログラム Active JP7270808B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110469314.6 2021-04-28
CN202110469314.6A CN113299073B (zh) 2021-04-28 2021-04-28 识别车辆违章停车的方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
JP2022093481A true JP2022093481A (ja) 2022-06-23
JP7270808B2 JP7270808B2 (ja) 2023-05-10

Family

ID=77320366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022073279A Active JP7270808B2 (ja) 2021-04-28 2022-04-27 車両の駐車違反の識別方法、装置、電子機器、記憶媒体及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US20220254251A1 (ja)
EP (1) EP4016474A3 (ja)
JP (1) JP7270808B2 (ja)
KR (1) KR20220062460A (ja)
CN (1) CN113299073B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807209A (zh) * 2021-08-30 2021-12-17 阿波罗智联(北京)科技有限公司 车位检测方法、装置、电子设备及存储介质
CN115472035B (zh) * 2022-08-16 2023-09-29 常德智眼云科技有限公司 一种共享车辆停车识别管理系统
CN115775459B (zh) * 2023-02-13 2023-04-28 青岛图达互联信息科技有限公司 一种基于智能图像处理的数据采集系统及方法
CN117765417A (zh) * 2023-12-20 2024-03-26 城市大脑(广州)科技有限公司 一种基于无人机的共享车辆巡检方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101567A (ja) * 1999-09-28 2001-04-13 Matsushita Electric Ind Co Ltd 交通情報システム
JP2001204007A (ja) * 2000-01-19 2001-07-27 Meidensha Corp 監視カメラの監視エリア設定装置及びその方法
JP2011192069A (ja) * 2010-03-15 2011-09-29 Kddi R & D Laboratories Inc 車両交通監視装置およびプログラム
US20140266803A1 (en) * 2013-03-15 2014-09-18 Xerox Corporation Two-dimensional and three-dimensional sliding window-based methods and systems for detecting vehicles
US20190065853A1 (en) * 2017-08-31 2019-02-28 Nec Laboratories America, Inc. Parking lot surveillance with viewpoint invariant object recognition by synthesization and domain adaptation
JP2019046464A (ja) * 2017-09-01 2019-03-22 株式会社コンピュータサイエンス研究所 歩道進行支援システム及び歩道進行支援ソフトウェア
CN109785637A (zh) * 2019-01-28 2019-05-21 平安科技(深圳)有限公司 车辆违规的分析评价方法及装置
JP2020191081A (ja) * 2019-05-17 2020-11-26 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 駐車違反の検出方法及び装置、電子機器、コンピュータ読み取り可能な媒体
JP2021036970A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 画像処理装置、放射線撮影システム、画像処理方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100565555C (zh) * 2007-12-05 2009-12-02 浙江工业大学 基于计算机视觉的违章停车检测装置
US9489839B2 (en) * 2012-08-06 2016-11-08 Cloudparc, Inc. Tracking a vehicle using an unmanned aerial vehicle
CN103927878B (zh) * 2014-04-10 2016-05-25 中海网络科技股份有限公司 一种用于违章停车的自动抓拍装置及自动抓拍方法
CN104050679B (zh) * 2014-07-03 2017-05-17 杭州藏愚科技有限公司 一种违法停车的自动取证方法
CN105389990B (zh) * 2015-11-20 2017-10-31 北京信路威科技股份有限公司 一种基于监控球机的违章停车检测识别方法
WO2018076182A1 (zh) * 2016-10-25 2018-05-03 华为技术有限公司 一种图像拍摄方法及装置
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
CN109035329A (zh) * 2018-08-03 2018-12-18 厦门大学 基于深度特征的相机姿态估计优化方法
CN111105621B (zh) * 2019-12-17 2021-11-16 浙江大华技术股份有限公司 一种检测违章停车的方法及装置
CN111275771B (zh) * 2020-02-19 2023-04-25 电子科技大学中山学院 一种摄像头标定方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101567A (ja) * 1999-09-28 2001-04-13 Matsushita Electric Ind Co Ltd 交通情報システム
JP2001204007A (ja) * 2000-01-19 2001-07-27 Meidensha Corp 監視カメラの監視エリア設定装置及びその方法
JP2011192069A (ja) * 2010-03-15 2011-09-29 Kddi R & D Laboratories Inc 車両交通監視装置およびプログラム
US20140266803A1 (en) * 2013-03-15 2014-09-18 Xerox Corporation Two-dimensional and three-dimensional sliding window-based methods and systems for detecting vehicles
US20190065853A1 (en) * 2017-08-31 2019-02-28 Nec Laboratories America, Inc. Parking lot surveillance with viewpoint invariant object recognition by synthesization and domain adaptation
JP2019046464A (ja) * 2017-09-01 2019-03-22 株式会社コンピュータサイエンス研究所 歩道進行支援システム及び歩道進行支援ソフトウェア
CN109785637A (zh) * 2019-01-28 2019-05-21 平安科技(深圳)有限公司 车辆违规的分析评价方法及装置
JP2020191081A (ja) * 2019-05-17 2020-11-26 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 駐車違反の検出方法及び装置、電子機器、コンピュータ読み取り可能な媒体
JP2021036970A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 画像処理装置、放射線撮影システム、画像処理方法及びプログラム

Also Published As

Publication number Publication date
CN113299073B (zh) 2023-05-23
US20220254251A1 (en) 2022-08-11
EP4016474A2 (en) 2022-06-22
EP4016474A8 (en) 2022-08-10
EP4016474A3 (en) 2022-10-26
JP7270808B2 (ja) 2023-05-10
KR20220062460A (ko) 2022-05-17
CN113299073A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
JP2022093481A (ja) 車両の駐車違反の識別方法、装置、電子機器、記憶媒体及びコンピュータプログラム
WO2020248386A1 (zh) 视频分析方法、装置、计算机设备及存储介质
WO2021135879A1 (zh) 监控车辆数据方法、装置、计算机设备及存储介质
CN111310562B (zh) 基于人工智能的车辆驾驶风险管控方法及其相关设备
CN110781768A (zh) 目标对象检测方法和装置、电子设备和介质
EP3951741B1 (en) Method for acquiring traffic state, relevant apparatus, roadside device and cloud control platform
WO2019214321A1 (zh) 车辆损伤识别的处理方法、处理设备、客户端及服务器
CN111540191B (zh) 基于车联网的行车示警方法、系统、设备及存储介质
CN113538963A (zh) 用于输出信息的方法、装置、设备以及存储介质
CN111191607A (zh) 确定车辆的转向信息的方法、设备和存储介质
CN115331185A (zh) 图像检测方法及装置、电子设备和存储介质
CN114663871A (zh) 图像识别方法、训练方法、装置、系统及存储介质
CN114240816A (zh) 道路环境感知方法、装置、存储介质、电子设备及车辆
CN113052048A (zh) 交通事件检测方法、装置、路侧设备以及云控平台
CN111985304A (zh) 巡防告警方法、系统、终端设备及存储介质
CN114743157B (zh) 一种基于视频的行人监控方法、装置、设备及介质
CN115019242A (zh) 一种交通场景的异常事件检测方法、装置和处理设备
CN112435475B (zh) 一种交通状态检测方法、装置、设备及存储介质
CN111009135B (zh) 车辆行驶速度的确定方法、装置以及计算机设备
CN112329621A (zh) 一种异常行为预警数据的处理方法、系统、终端及介质
CN116486347B (zh) 基于尺度不变特征变换图像识别的团雾监测捕获方法及装置
TWI832270B (zh) 路況檢測方法、電子設備及計算機可讀存儲媒體
CN113806361B (zh) 电子监控设备与道路的关联方法、装置及存储介质
JP2022137267A (ja) 画像認識方法、装置、電子機器、記憶媒体、及びプログラム
US20210217510A1 (en) Correlating driving behavior and user conduct

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230425

R150 Certificate of patent or registration of utility model

Ref document number: 7270808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150