JP2021157833A - 道路状況予測方法、道路状況予測モデルを確立する方法及びその対応装置、電子機器、記録媒体並びにコンピュータプログラム製品 - Google Patents

道路状況予測方法、道路状況予測モデルを確立する方法及びその対応装置、電子機器、記録媒体並びにコンピュータプログラム製品 Download PDF

Info

Publication number
JP2021157833A
JP2021157833A JP2021104711A JP2021104711A JP2021157833A JP 2021157833 A JP2021157833 A JP 2021157833A JP 2021104711 A JP2021104711 A JP 2021104711A JP 2021104711 A JP2021104711 A JP 2021104711A JP 2021157833 A JP2021157833 A JP 2021157833A
Authority
JP
Japan
Prior art keywords
road
image
feature
sequence
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021104711A
Other languages
English (en)
Inventor
際洲 黄
Jizhou Huang
際洲 黄
輝 趙
Teru Cho
輝 趙
徳国 夏
Deguo Xia
徳国 夏
海峰 王
Haifeng Wang
海峰 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021157833A publication Critical patent/JP2021157833A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)

Abstract

【課題】道路状況に対する予測を実現する道路状況予測方法及び道路状況予測モデルを確立する方法並びに対応装置、電子機器、記録媒体及びコンピュータプログラム製品を提供する。【解決手段】方法は、道路における第１の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンスを取得することと、ユーザ軌跡シーケンスから前記道路の軌跡関連特徴を抽出し、道路画像シーケンスから前記道路の画像関連特徴を抽出することと、道路の軌跡相関特徴及び画像関連特徴を、予めトレーニングして得られた道路状況予測モデルに入力し、道路状況予測モデルの推定結果を利用して道路における第１の時点よりも後の所定の第２の時間区間内の道路状況情報を得ることと、を含む。【選択図】図２

Description

本願は、コンピュータ応用の技術分野に関し、特にビッグデータ技術及びインテリジェント交通技術での道路状況予測方法、道路状況予測モデルを確立する方法及びその対応装置、電子機器、記録媒体ならびにコンピュータプログラム製品に関する。
都市交通需要が急速に増加するにつれて、交通渋滞の問題はますます厳しくなる。交通渋滞は人々の通勤時間を増加させ、燃料を浪費し、汚染を増加させる。また、このシーンでも交通事故が発生しやすくなり、大きな安全上の問題がある。
例えば地図類製品において道路状況に対する予測を実現可能になると、ユーザに参考をタイムリーに提供して、適切な経路を選択することができ、道路状況に応じて予測される状況に基づいてユーザに経路計画、経路提案などの後続のサービスをより良く提供することもできる。
これに鑑みて、本願は、道路状況に対する予測を実現するために、道路状況予測方法、道路状況予測モデルを確立する方法及びその対応装置、電子機器、記録媒体ならびにコンピュータプログラム製品を提供する。
第１の局面によれば、本願は、
道路における第１の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンスを取得することと、
前記ユーザ軌跡シーケンスから前記道路の軌跡関連特徴を抽出し、及び前記道路画像シーケンスから前記道路の画像関連特徴を抽出することと、
前記道路の軌跡関連特徴及び画像関連特徴を、予めトレーニングして得られた道路状況予測モデルに入力し、前記道路状況予測モデルの推定結果を利用して前記道路における前記第１の時点よりも後の所定の第２の時間区間内の道路状況情報を得ることと、を含む道路状況予測方法を提供している。
第２の局面によれば、本願は、
トレーニングデータを取得し、前記トレーニングデータにはサンプル道路における第２の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンス、および前記サンプル道路に付与された前記第２の時点よりも後の所定の第２の時間区間内の道路状況ラベルが含まれることと、
前記ユーザ軌跡シーケンスから前記サンプル道路の軌跡関連特徴を抽出し、及び前記道路画像シーケンスから前記サンプル道路の画像関連特徴を抽出することと、
前記サンプル道路の軌跡相関特徴及び画像関連特徴を分類モデルの入力とし、前記サンプル道路に付与された道路状況ラベルを前記分類モデルの目標出力とするように、前記分類モデルをトレーニングして前記道路状況予測モデルを得ることと、を含む道路状況予測モデルを確立する方法を提供している。
第３の局面によれば、本願は、
道路における第１の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンスを取得するためのシーケンス取得手段と、
前記ユーザ軌跡シーケンスから前記道路の軌跡関連特徴を抽出し、及び前記道路画像シーケンスから前記道路の画像関連特徴を抽出するための特徴抽出手段と、
前記道路の軌跡関連特徴及び画像関連特徴を、予めトレーニングして得られた道路状況予測モデルに入力し、前記道路状況予測モデルの推定結果を利用して前記道路における前記第１の時点よりも後の所定の第２の時間区間内の道路状況情報を得るための道路状況推定手段と、を含む道路状況予測装置を提供している。
第４の局面によれば、本願は、
トレーニングデータを取得するためのサンプル取得手段であって、前記トレーニングデータには、サンプル道路における第２の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンス、および前記サンプル道路に付与された前記第２の時点よりも後の所定の第２の時間区間内の道路状況ラベルが含まれるサンプル取得手段と、
前記ユーザ軌跡シーケンスから前記サンプル道路の軌跡関連特徴を抽出し、及び前記道路画像シーケンスから前記サンプル道路の画像関連特徴を抽出するための特徴抽出手段と、
前記サンプル道路の軌跡相関特徴及び画像関連特徴を分類モデルの入力とし、前記サンプル道路に付与された道路状況ラベルを前記分類モデルの目標出力とするように、前記分類モデルをトレーニングして前記道路状況予測モデルを得るためのモデルトレーニング手段と、を含む道路状況予測モデルを確立する装置を提供している。
第５の局面によれば、本願は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信接続するメモリとを含む電子機器であって、
前記メモリに、前記少なくとも１つのプロセッサによって実行され得るコマンドが記憶されており、
前記コマンドが前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが上述した方法を実行することができる電子機器を提供している。
第６の局面によれば、本願は、コンピュータに上述の方法を実行させるためのコンピュータコマンドを記憶している非一時的コンピュータ読取可能な記憶媒体を提供している。
第７の局面によれば、本願はプロセッサによって実行される時に上述の方法を実現するコンピュータプログラムを含む、コンピュータプログラム製品を提供している。
以上の技術案から分かるように、本願は、道路における第１の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンスに基づいて、第１の時点よりも後の所定の第２の時間区間内の道路状況情報を予測して取得することによって、道路状況に対する予測を実現することができる。
上記選択可能な態様が有する他の効果は、以下、具体的な実施例を参照しながら説明する。
図面は、本案がよりよく理解されるためのものであり、本願に対する限定を構成しない。
図１は、本願の実施例が適用される例示的なシステムアーキテクチャを示すものである。 図２は、本願の実施例によって提供される道路状況予測の主要な方法のフローチャートである。 図３は、本願の実施例によって提供される画像関連特徴抽出の方法フローチャートである。 図４は、本願の実施例によって提供される一つの道路画像の実例図である。 図５は、本願の実施例によって提供される道路状況予測モデルを確立する方法のフローチャートである。 図６は、本願の実施例によって提供される道路状況予測装置の構成図である。 図７は、本願の実施例によって提供される道路状況予測モデルを確立する装置構成図である。 図８は、本願の実施例を実現するための電子機器のブロック図である。
以下、図面を参照しながら、本願の例示的な実施例について説明する。その中、理解に役立つように本願の実施例の各詳細を含み、これらはあくまで例示的なものであると理解すべきである。そのため、当業者は、本願の範囲及び趣旨から逸脱せずに、ここで説明した実施例に対して、様々な変更や、修正をなし得ることに認識すべきである。同様に、明確及び簡明のために、以下の説明において公知の機能及び構成に対する説明を省略している。
現在、道路状況予測の主流方法は、ユーザ軌跡に基づくマイニングであり、すなわち、大量の履歴軌跡及び履歴道路状況の情報によって未来の道路状況を推定するものである。しかしながら、このようなユーザ軌跡マイニングに基づく方法は、主に以下の問題が存在する。
１）道路の軌跡量が疎である場合に、道路状況予測の正確率に深刻な影響を与える可能性がある。
２）例えば、トンネル、高架、施工現場、都市の谷間などの複雑な道路シーンにおいて、軌跡測位に深刻な干渉があることによって、道路状況の予測が不正確である。
３）道路状況に渋滞が発生する場合、運転者は地図類アプリケーションを閉じやすく、ユーザの軌跡を取得できなくなることによって道路状況の予測が不正確である。
これに鑑みて、本願は、ユーザ軌跡と道路画像とを結合する道路状況予測方法を提供し、以下、実施例を参照しながらこの方法を詳細に説明する。
システム全体のアーキテクチャに対する理解を容易にするために、図１は本願の実施例を適用できる例示的なシステムアーキテクチャを示している。図１に示すように、このシステムアーキテクチャは、端末装置１０１及び１０２と、ネットワーク１０３とサーバ１０４とを含むことができる。ネットワーク１０３は、端末装置１０１、１０２とサーバ１０４との間に通信リンクの媒体を提供するために用いられる。ネットワーク１０３は、例えば、有線、無線通信リンク又は光ファイバーケーブルなど、様々な接続タイプを含むことができる。
ユーザは、端末装置１０１及び１０２を用いてネットワーク１０３を介してサーバ１０４とインタラクティブすることができる。端末装置１０１及び１０２には、例えば、地図類アプリケーション、音声インタラクティブ型アプリケーション、ウェブページブラウザアプリケーション、通信類アプリケーションなど、様々なアプリケーションがインストールされてもよい。
端末装置１０１及び１０２は、地図類アプリケーションをサポートして表示することができる様々な電子機器であってもよく、スマートフォン、タブレットコンピュータ、スマートウェアラブル機器、クラウドソーシング収集機器等を含むが、これらに限られない。本願発明によって提供される装置は、上記サーバ１０４に設置して実行することができる。それは、複数のソフトウェアまたはソフトウェアモジュール（例えば分散サービスを提供するために用いられる）として実現されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実現されてもよく、ここでは具体的に限定されない。
例えば、道路状況予測装置は、上記サーバ１０４に設置して実行するものであり、一方では、上記端末装置１０１及び１０２は、収集装置としてユーザ軌跡データ、道路画像データ等を収集することができる。サーバ１０４は、各端末装置１０１及び１０２等が報告したユーザ軌跡データ、道路画像データ等を取得して記憶することができる。当然のことながら、専門的な収集装置によりユーザ軌跡データ、道路画像データなどを収集することを担当してもよい。道路状況予測装置は、本発明の実施例によって提供される形態を用いて道路の道路状況を推定し、能動的にまたは端末装置１０１または１０２の要求に応答して、道路の道路状況情報を各端末装置１０１または１０２に送信する。
さらに例えば、道路状況予測モデルを確立する装置は、上記サーバ１０４に設置して実行するものであり、サーバ１０４は、トレーニングデータを利用してトレーニングすることによって道路状況予測モデルが得られてサーバ側に記憶され、この道路状況予測モデルを用いて道路の道路状況予測を行うことに用いられる。
サーバ１０４は、単一のサーバであってもよく，複数のサーバで構成されるサーバ群であってもよい。図１における端末装置、ネットワーク及びサーバの数は、単に例示的なものであると理解すべきである。必要に応じて、任意の数の端末装置、ネットワーク及びサーバを有することができる。
図２は、本願の実施例によって提供される道路状況予測の主要な方法のフローチャートであり、図２に示すように、この方法は、以下のステップを含むことができる。
ステップ２０１において、道路における第１の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンスを取得する。
ユーザ軌跡シーケンスは、測位機能を有する収集端末（すなわち図１に示された端末装置に対応する）により報告された連続的な時点に対応する軌跡点で構成されたシーケンスであってもよい。道路画像シーケンスは、画像収集機能を有する収集端末で収集された道路画像からなるシーケンスであってもよい。ここで、収集端末は、ユーザが使用するインテリジェント端末装置で収集された画像、映像等であってもよく、例えば自動車上の道路収集クラウドソーシング装置等によって収集された画像、映像等であってもよい。サーバ側は、収集端末がアップロードしたユーザ軌跡シーケンス及び道路画像シーケンスを記憶する。
本実施例において、第１の時点は現在の時点であってもよく、すなわち、現時点よりも前の第１の時間区間内のユーザ軌跡シーケンスと道路画像シーケンスを利用して、未来の第２の時間区間内の道路状況情報を予測する。それ以外は、履歴のある所定の時間帯、例えばある履歴時点から第２の時間区間内の道路状況情報を推定しようとすると、履歴時点よりも前の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンスを取得することもできる。しかし、一般的に使用されるシーンは前者である。
ステップ２０２において、ユーザ軌跡シーケンスから道路の軌跡関連特徴、および、道路画像シーケンスから道路の画像関連特徴を抽出する。
本実施例において、軌跡関連特徴は、主に速度特徴を含む。速度特徴は、最も道路の渋滞状況を表すことができるためである。一般的には、継続的に高い速度であれば、道路の道路状況が一般的によく、継続的に低い速度であれば、道路の道路状況が一般的に悪い。
速度特徴に加えて、軌跡関連特徴として、ユーザ軌跡シーケンスから、例えば軌跡が道路中心線から逸脱する状況など、他の特徴を抽出してもよい。
画像関連特徴は、道路開放度特徴、車流特徴、建物特徴の少なくとも一種を含んでもよい。これらの特徴は、いずれもある程度で道路が発生し得る道路状況を表すことができる。これらの特徴の具体的な抽出方式は、後の実施例で詳述する。
ステップ２０３において、道路の軌跡関連特徴及び画像関連特徴を、予めトレーニングして得られた道路状況予測モデルに入力し、道路状況予測モデルの推定結果を利用して道路における第１の時点よりも後の所定の第２の時間区間内の道路状況情報を判定する。
道路状況予測モデルは、実際に予めトレーニングして得られた分類モデルであり、第１の時点よりも前の第１の時間区間内の道路軌跡関連特徴及び画像関連特徴に基づいて、第１の時点よりも後の第２の時間区間内の道路状況情報を予測することができる。予測された道路状況情報は、いくつかの道路状況種別を含むことができる。例えば、順調、徐行、渋滞である。さらに例えば、順調、徐行、渋滞、ひどい渋滞である。
道路状況予測モデルのトレーニング方式について、後の実施例で詳述する。
上記実施例に示すフローから分かるように、本願は、道路における第１の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンスに基づいて、第１の時点よりも後の所定の第２の時間区間内の道路状況情報を予測して得ることができ、道路の道路状況に対する予測を実現することができる。
以下に、実施例に合わせて上記ステップ２０１における「道路における第１の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンスを取得する」の実現形態を説明する。
本願に係る道路は、複数の方式を採用して判定された、道路状況を予測する必要がある道路であってもよく、以下のいくつかの形態を含むが、これらに限られない。
第１の形態であって、予め設定された目標道路である。例えば、指定された重要道路等であってもよい。
第２の形態であって、道路状況電子フェンス内の道路である。このような形態では、一つの領域範囲を予め設定することができ、この領域範囲は、一つの仮想的なフェンスと見なすことができ、「道路状況電子フェンス」と呼ばれる。収集端末がサーバ側に軌跡点をリアルタイムに報告し、例えば、軌跡点が道路状況電子フェンスの領域に入ったことを表示するなど、これらの軌跡点が道路状況電子フェンスをトリガすると、収集端末にこの道路状況電子フェンス内の道路のユーザ軌跡シーケンス及び道路画像シーケンスを収集するように指示することができる。
第３の形態であって、軌跡点が予め設定された道路状況予測トリガ条件を満たす道路である。
収集端末にとって、それがユーザ軌跡をリアルタイムに報告するため、サーバ側は、様々なユーザ軌跡に基づいて道路の軌跡点の数及び速度等を特定することができる。例えば、道路上の軌跡点の数が一定の数を超えるか、又は道路上の軌跡点の速度が一定の時間内に一定の速度閾値よりも低い場合に、この道路上の道路状況が良くないと説明することができ、この道路が道路状況を予測する必要がある道路であると判定することができる。
その中の一つの実現形態として、サーバ側は、道路情報を収集端末に送信し、収集端末は、この道路情報を受信した後、この道路の道路画像または映像を収集してサーバ側にアップロードすることを担当するように構成されてもよい。
別の実現形態として、サーバ側は、上記道路上に位置する収集端末に収集指令を送信し、収集端末は、この収集指令を受信した後、現在の道路上の道路画像又は映像を収集してサーバ側にアップロードするように構成されてもよい。
道路ｌｉに対して、収集端末によってこの道路上に収集された道路画像シーケンスは、＜Ｉｔ−Ｎ,Ｉｔ−Ｎ＋１,・・・,Ｉｔ−１,Ｉｔ＞と表記することができ、すなわち、時点ｔよりも前のＮ個の時点で構成された画像シーケンスである。これに応じて、収集端末は、ユーザ軌跡点をリアルタイムに報告し、軌跡点と画像シーケンス内の各画像を時点に応じて一対一に対応させた後、ユーザ軌跡シーケンスは、＜ｐｔ−Ｎ,ｐｔ−Ｎ＋１,・・・,ｐｔ−１,ｐｔ＞と表記することができる。ユーザ軌跡シーケンスにおける各軌跡点は、緯度経度座標などの方式で表すことができる。
ここで、収集端末がアップロードしたのは道路映像であると、道路画像シーケンスにおける各道路画像がユーザ軌跡シーケンスにおける各軌跡点と時間的に対応可能になるために、道路映像に対してフレームを抽出して、抽出された画像フレームがユーザ軌跡シーケンスにおける各軌跡点と時間的に対応するようにすることができ、抽出された画像フレームを道路画像シーケンスに構成する。
以下、実施例を参照しながら、上記ステップ２０２における「ユーザ軌跡シーケンスから道路の軌跡関連特徴、および、道路画像シーケンスから道路の画像関連特徴を抽出する」の実現形態を説明する。
ユーザ軌跡シーケンスから抽出された道路の軌跡関連特徴は、主に速度特徴を含む。道路上の瞬時速度は、道路状況を反映することができる。軌跡点の瞬時速度は、隣接する２つの軌跡点の距離差と時間差の比率を利用して得ることができる。
好ましい実施形態として、ユーザ軌跡シーケンスに使用される速度特徴は、シーケンスレベルの速度特徴として表すことができ、ユーザ軌跡シーケンスにおける各軌跡点の速度平均値、速度分散などを含むが、これらに限られない。
道路画像シーケンスから抽出された道路の画像関連特徴は、道路開放度特徴、車流特徴及び建築特徴のうちの少なくとも一種を含むが、これらに限られない。
画像関連特徴の抽出方式について、ここで好ましい実施形態を提供する。図３を参照すると、以下のステップを含むことができる。
ステップ３０１において、予めトレーニングして得られた画像意味分割モデルを利用し、道路画像シーケンスにおける各道路画像から主走行領域を識別する。
画像意味分割モデルは、画像処理分野において一般的に用いられるモデルであり、画素レベルに基づいて、画像における各画素をある具体的な種別に分類することができる。本実施例において、画像意味分割モデルを利用して道路画像における各画素を、例えば、走行領域、車両、建物、街灯、天空、路上障害物、二重黄線、分離帯、停止線など、道路交通における一般的な対象領域種別に分類する。
図４は、本願の実施例によって提供される収集端末で収集された道路画像シーケンスにおける一つの道路画像である。画像意味分割モデルにより識別された後、この画像における走行領域に属する各画素、車両に属する各画素、建物に属する各画素、天空に属する各画素、道路エッジに属する各画素、二重黄線に属する各画素などを識別することができる。
画像意味分割モデルを予めトレーニングするときに、採用されるトレーニングデータは、種々の道路画像サンプル、および、道路画像サンプルにおける各領域種別に対するラベルを含むことができる。トレーニングデータに基づいて画像意味分割モデルをトレーニングすることによって、意味分割モデルの入力は道路画像サンプルであり、目標出力は各画素に対する分類結果と道路画像サンプルにおける各領域種別に対するラベルとが一致することであるようにする。
ここで、画像意味分割モデルは、ＤｅｅｐＬａｂＶ３、ＲｅｆｉｎｅＮｅｔなどを用いることができる。
そのステップにおいて、画像意味分割モデルを利用して各道路画像に対して各画素に対応する領域種別をそれぞれ識別した後、道路画像における走行領域及び少なくとも一種の道路環境領域を判定することができる。ここで、道路環境領域は、道路環境における対象に属する領域であってもよく、例えば、路上障害物、二重黄線、分離帯、道路エッジなどである。これらの道路環境領域を利用して、道路画像における主走行領域を取得することができる。主走行領域とは、この道路画像を取集する収集端末が走行可能な走行領域のことである。画像意味分割モデルによって識別された走行領域は、現在の収集端末の走行方向と一致しない他の車線、例えば二重黄線以外の逆方向車線、さらに例えば立体道路の交差方向の車線、さらに例えば道路工事が存在する車線などを含む可能性がある。これらの車線はいずれも現在の収集端末が走行できない走行領域であり、それを排除して、収集端末が走行できる走行領域のみを特定する必要がある。主走行領域は、一つの車線を含んでもよく、同方向の複数の車線を含んでもよい（複数の車線が存在する場合に収集端末は車線を変更して走行することができるためである）。
より具体的には、一般的に収集端末が走行可能な領域では、道路エッジ、二重黄線、分離帯、路上障害物などの制限が存在し、例えば、収集端末が撮影した道路画像における道路エッジと二重黄線との間は収集端末が現在走行可能な領域であり、図４に示す通りである。さらに例えば、収集端末によって撮影された道路画像における道路エッジと路上障害物との間は収集端末が現在走行可能な領域である、などである。したがって、本願の実施例において、路上障害物、二重黄線、分離帯、道路エッジなどの道路環境領域に対して線形フィッティング処理を行うことができ、線形フィッティング処理後のこれらの道路環境領域で囲まれた道路領域が主走行領域であり、又は、線形フィッティング処理後のこれらの道路環境領域で囲まれた道路領域のうちの最大のものが主走行領域である。
ステップ３０２において、各道路画像から主走行領域の道路開放度及び/又は車流情報を抽出する。
その中の一つの好ましい実施形態として、主走行領域の道路開放度の抽出方式は以下のステップを含むことができる。
ステップＳ１１であって、主走行領域内で路面の最大内接矩形を判定する。
ステップＳ１２であって、最大内接矩形の面積と主走行領域との比率、最大内接矩形の幅と主走行領域の幅との比率、最大内接矩形の高さと主走行領域の高さとの比率の中の少なくとも一種を主走行領域の道路開放度の指標とする。
当然のことながら、上記実施形態以外に、他の道路開放度の抽出方式を採用してもよく、例えば、主走行領域内における路面に属する画素が主走行領域に属する画素に占める比率を判定し、それを主走行領域の道路開放度の指標とすること、などである。
その中の一つの好ましい実施形態として、主走行領域の車流情報の抽出方式は、以下のステップを含むことができる。
ステップＳ２１であって、目標検出アルゴリズムを利用して道路画像における各車両の種別、所在領域及び信頼度の情報を抽出する。
ここで、目標検出アルゴリズムは、例えば、Ｆａｓｔｅｒ−ＲＣＮＮ又はＹｏｌｏＶ３などを用いることができる。目標検出アルゴリズムにより、道路画像における各種別の車両を抽出することができる。これらの車両の画素によって、車両が所在する領域を判定することができ、ここでの領域とは、上記した、画像意味分割モデルを介して得られた領域のことを指す。また、目標検出アルゴリズムを介して、各車両の信頼度、すなわちこの車両が出力された種別に属する信頼度を出力することができる。
ステップＳ２２であって、道路画像内の車両に対して以下のフィルタリングを行う。即ち、走行領域内に位置しない車両をフィルタリングし、所定の種別に属しない車両をフィルタリングし、信頼度が所定の信頼度閾値よりも低い車両をフィルタリングする。
上記フィルタリングがすべて実行されると、実際には、主走行領域内における、所定の種別に属しかつ信頼度が一定の信頼度要件を満たす車両を選別すると見なすことができる。例えば、主走行領域内の自動車を選別する。
ステップＳ２３であって、フィルタリング処理後に得られた車両数とフィルタリング処理後に得られた主走行領域の面積に占める車両面積の比率のうちの少なくとも一種を主走行領域の車流情報の指標とする。
上記過程に係る面積に関連する比率は、いずれも対応する領域の画素数の比率によって判定することができる。例えば、主走行領域の面積に占める車両面積の比率は、対応する主走行領域の画素数に占める対応する車両の画素の比率であってもよい。例えば、幾何学的方式によるアルゴリズムなど、他のアルゴリズムを採用してもよい。
画像において異なる位置のものの実際の状況に対する影響は異なり、例えば、画像の中間に近い位置かつ画像奥行きが比較的近い位置に現れる車両の影響が大きく、両側で画像奥行きが比較的遠い位置に現れる車両の影響が小さいことが多い。したがって、好ましい実施形態として、所定の重み行列に従って道路開放度及び車流情報などに重み付け処理を行うことができる。ここで、重み行列は、道路画像における各位置に対応し、位置及び画像奥行きなどに応じて予め設定される。
ステップ３０３において、各道路画像における主走行領域の道路開放度及び／又は車流情報を利用して、道路開放度特徴及び／又は車流特徴を取得する。
道路画像シーケンスに複数の道路画像が含まれるため、本実施例では画像シーケンスにおける各道路画像の道路開放度の平均値及び／又は分散を道路の開放度特徴とし、画像シーケンスにおける各道路画像の車流の平均値及び／又は分散を道路の車流特徴とすることができる。
また、上記道路の開放度特徴及び車流特徴に加えて、さらに道路画像から建築特徴を抽出することもできる。画像意味分割モデルによる各道路画像における各画素の識別結果には、建物領域を含み、道路画像シーケンスにおける隣接する道路画像の建物領域の類似度の平均値及び／又は分散を道路の建築特徴とする。
好ましい実施形態として、道路画像における建物領域に対してＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ，スケール不変特徴変換）アルゴリズムの処理を行った後、建物特徴を取得することができる。道路画像シーケンスに対して、隣接する道路画像における建物特徴の類似度を二つずつ算出し、その後平均値及び／又は分散を計算し、得られた類似度の平均値及び／又は分散を道路の建築特徴とすることができる。
建築特徴を用いたのは、道路交通に渋滞が発生する場合、車両の進行が遅く、収集端末が収集した道路画像シーケンスにおいて各道路画像における建物の変化が非常に小さく、すなわち類似度が高いことを考慮したからである。道路画像における建物特徴の類似度平均値が高いほど，反映された渋滞が深刻である。
以下、実施例を参照しながら、上記ステップ２０３である「道路の軌跡関連特徴及び画像関連特徴を、予めトレーニングして得られた道路状況予測モデルに入力し、道路状況予測モデルの推定結果を利用して道路における第１の時点よりも後の所定の第２の時間区間内の道路状況情報を判定する」ことを詳細に説明する。
本願の実施例において、道路状況予測モデルは実質的に分類モデルであってもよく、例えばＧＢＤＴ（Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｄｅｃｉｓｏｎ Ｔｒｅｅ，勾配ブースティング決定木）、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ディープニューラルネットワーク）、ＬＲ（Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ，論理回帰）、ＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ，サポートベクターマシン）などのモデルを用いることができる。
一つの道路に対して、この道路の軌跡関連特徴及び画像関連特徴を道路状況予測モデルに入力したら、道路状況予測モデルは、この道路の道路状況情報を出力することができ、この道路状況情報は、所定のいくつかの道路状況種別であってもよい。例えば、渋滞、順調の２種類であってもよいし、渋滞、徐行、順調の３種類であってもよいし、さらに、ひどい渋滞、渋滞、徐行、順調の４種類などであってもよい。
また、上記ステップ２０２で抽出された道路の軌跡関連特徴及び画像関連特徴に加えて、さらに第１の時点よりも前の所定の第１の時間区間に対応する時間特徴、道路の属性特徴などを道路状況予測モデルに入力することができる。
ここで、時間特徴は、休日であるか否か、出勤日であるか否か、出勤時間であるか否か、退勤時間であるか否か、などの少なくとも一つを含むことができる。時間特徴を導入するのは、一般的に道路状況が時間的に一定の法則を有し、出勤日や通勤時間であるか否かなどがいずれも道路状況に大きな影響を与えるためである。
道路の属性特徴は、車線数、双方向通行道路であるか否か、道路レベルなどの少なくとも一つを含むことができる。道路の属性特徴を導入するのは、異なる属性を有する道路が一般的に異なる道路容量に対応し、異なる道路容量が道路状況に対して直接的な影響を与えるためである。
図５は、本願の実施例によって提供される道路状況予測モデルを確立する方法のフローチャートであり、図５に示すように、この方法は、以下のステップを含むことができる。
ステップ５０１において、サンプル道路における第２の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンス、並びに、サンプル道路に付与された第２の時点よりも後の所定の第２の時間区間内の道路状況ラベルが含まれるトレーニングデータを取得する。
トレーニングデータは、収集端末の履歴データから取得することができ、上記第２の時点は履歴時点であり、サーバ側は、収集端末によってこの履歴時点よりも前の所定の第１の時間区間内に収集されたサンプル道路に対するユーザ軌跡シーケンス及び道路画像シーケンスを取得することができ、また、第２の時点よりも後の所定の第２の時間区間内の道路状況も同様に履歴データであり、手動で付与する方式によって各サンプル道路に道路状況ラベルを付与することができる。
上記サンプル道路は、収集端末で収集された軌跡データ及び道路画像データが完全で、道路状況が明確である道路であってもよい。他の基準で選別された道路であってもよい。
ステップ５０２において、ユーザ軌跡シーケンスからサンプル道路の軌跡関連特徴を抽出し、道路画像シーケンスからサンプル道路の画像関連特徴を抽出する。
サンプル道路の軌跡関連特徴及び画像関連特徴に対する抽出方式は、図２に示す実施例のステップ２０２で用いられた軌跡関連特徴及び画像関連特徴の抽出方式と同じであり、ここで説明を省略し、以上の実施例における関連記載を参照することができる。
ステップ５０３において、サンプル道路の軌跡関連特徴及び画像関連特徴を分類モデルの入力とし、サンプル道路に付与された道路状況ラベルを分類モデルの目標出力とするように、分類モデルをトレーニングして前記道路状況予測モデルが得られる。
ここで用いられた分類モデルは、ＧＢＤＴ（Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｄｅｃｉｓｏｎ Ｔｒｅｅ，勾配ブースティング決定木）、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ディープニューラルネットワーク）、ＬＲ（Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ，論理回帰）、ＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ，サポートベクターマシン）などのモデルであってもよい。
道路状況ラベルは、例えば渋滞、順調の２種類に分けてもよい。道路状況ラベルは、例えば渋滞、徐行、順調の３種類に分けてもよい。道路状況ラベルは、さらに例えばひどい渋滞、渋滞、徐行、順調の４種類などに分けてもよい。
さらに、分類モデルに入力される特徴は、サンプル道路の軌跡関連特徴及び画像関連特徴以外に、さらに第２の時点よりも前の所定の第１の時間区間に対応する時間特徴、及び／又は、サンプル道路の属性特徴を入力することができる。
ここで、時間特徴は、休日であるか否か、出勤日であるか否か、出勤時間であるか否か、退勤時間であるか否か、などの少なくとも一つを含むことができる。時間特徴を導入するのは、一般的に道路状況が時間的に一定の法則を有し、出勤日、通勤時間であるか否かなどがいずれも道路状況に大きな影響を与えるためである。
道路の属性特徴は、車線数、双方向通行道路であるか否か、道路レベルなどの少なくとも一つを含むことができる。道路の属性特徴を導入するのは、異なる属性を有する道路が一般的に異なる道路容量に対応し、異なる道路容量が道路状況に対して直接的な影響を与えるためである。
トレーニング過程において、分類モデルの出力と目標出力との間の差異を利用して損失関数を構築し、損失関数の値を利用して前方フィードバックを行うことにより分類モデルのパラメータを更新し、トレーニング停止条件に達するまで停止する。ここで、トレーニング停止条件は、例えば損失関数の値が所定の損失関数閾値以下になること、反復回数が所定の回数閾値に達することなどであってもよい。
ここで、トレーニング過程において、ｋ−ｆｏｌｄｓ（ｋ層交差検証）の方式を用いてトレーニングを行うことができる。すなわち、トレーニングデータをｋ部に分割し、ｋは１より大きい正の整数である。各部のそれぞれにおいて、１個をテストデータとして選択し、他の（ｋ−１）個をトレーニングデータとする。各部のトレーニングデータを用いてそれぞれ分類モデルをトレーニングし、かつ、テストデータを用いてテストを行い、このようにすることによってｋ個の分類モデル、及びこのｋ個の分類モデルのテストデータにおける誤差率が得られる。その中から平均誤差率が最も小さい分類モデルを選択し、さらにすべてのトレーニングデータを利用してこの分類モデルをトレーニングして、最終の道路状況予測モデルを得る。
以上は、本願に提供される方法を詳細に説明したものであり、以下、実施例を参照しながら本願に提供される装置を詳細に説明する。
図６は本願の実施例によって提供される道路状況予測装置の構成図である。この装置は、サーバ側に位置するアプリケーションであってもよいし、或いはサーバ側に位置するアプリケーションにおけるプラグイン又はソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ，ＳＤＫ）などの機能ユニットであってもよいし、或いは、さらに高い計算能力を持つコンピュータ端末に位置してもよい。図６に示すように、この道路状況予測装置６００は、シーケンス取得手段０１と、特徴抽出手段０２と、道路状況推定手段０３とを含むことができ、さらに情報交換手段０４を含むことができる。ここで各構成手段の主な機能は、以下の通りである。
シーケンス取得手段０１は、道路における第１の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンスを取得するために用いられる。
ここで、道路は、予め設定された目標道路と、道路状況電子フェンス内の道路と、軌跡点が予め設定された道路状況予測トリガ条件を満たす道路との少なくとも一つを含む。
情報交換手段０４は、道路の情報を収集端末に送信し、収集端末で収集されたユーザ軌跡シーケンス及び道路画像シーケンスを取得するために用いられ、或いは、道路にある収集端末に収集指令を送信し、収集端末で収集されたユーザ軌跡シーケンス及び道路画像シーケンスを取得するために用いられる。
特徴抽出手段０２は、ユーザ軌跡シーケンスから道路の軌跡関連特徴を抽出し、及び道路画像シーケンスから道路の画像関連特徴を抽出するために用いられる。
ここで、ユーザ軌跡シーケンスから抽出された道路の軌跡関連特徴は、主に速度特徴を含む。道路上の瞬時速度は、道路状況を反映することができる。軌跡点の瞬時速度は、隣接する二つの軌跡点の距離差と時間差の比率を利用して得ることができる。
画像関連特徴は、道路開放度特徴、車流特徴及び建築特徴のうちの少なくとも一種を含む。
好ましい実施形態として、特徴抽出手段０２は、道路画像シーケンスから道路の画像関連特徴を抽出する場合、予めトレーニングして得られた画像意味分割モデルを利用して、道路画像シーケンスにおける各道路画像から主走行領域を識別し、各道路画像から主走行領域の道路開放度及び／又は車流情報を抽出し、各道路画像における主走行領域の道路開放度及び／又は車流情報を用いて、道路開放度特徴及び／又は車流特徴を取得することができる。
ここで、特徴抽出手段０２は、予めトレーニングして得られた画像意味分割モデルを利用して、道路画像シーケンスにおける各道路画像から主走行領域を識別する場合に、予めトレーニングして得られた画像意味分割モデルを利用して、各道路画像に対して各画素に対応する領域種別をそれぞれ識別することにより、道路画像における走行領域及び少なくとも一種の道路環境領域を判定し、少なくとも一種の道路環境領域を利用して、走行領域から主走行領域を判定することができる。
画像において異なる位置のものの実際の状況に対する影響は異なり、例えば、画像の中間に近い位置かつ画像奥行きが比較的近い位置に現れる車両の影響が大きく、両側で画像奥行きが比較的遠い位置に現れる車両の影響が小さいことが多い。したがって、好ましい実施形態として、所定の重み行列に従って道路開放度及び車流情報などに重み付け処理を行うことができる。ここで、重み行列は、道路画像における各位置に対応し、位置及び画像奥行きなどに応じて予め設定される。
道路画像シーケンスには複数の道路画像が含まれるため、本実施例では、画像シーケンスにおける各道路画像の道路開放度の平均値及び／又は分散を道路開放度特徴とし、画像シーケンスにおける各道路画像の車流の平均値及び／又は分散を道路車流特徴とすることができる。
特徴抽出手段０２は、道路画像シーケンスから道路の画像関連特徴を抽出する場合に、予めトレーニングして得られた画像意味分割モデルを利用して、道路画像シーケンスにおける各道路画像から建物領域を識別し、道路画像シーケンスにおける隣接する道路画像の建物領域の類似度平均値及び／又は分散を道路の建築特徴とすることができる。
道路状況推定手段０３は、道路の軌跡関連特徴及び画像関連特徴を予めトレーニングして得られた道路状況予測モデルに入力して、道路状況予測モデルの推定結果を利用して道路における第１の時点よりも後の所定の第２の時間区間内の道路状況情報を取得するために用いられる。
さらに、道路状況推定手段０３は、さらに第１の時点よりも前の第１の時間区間に対応する時間特徴、及び／又は道路の属性特徴を、予めトレーニングして得られた道路状況予測モデルに入力することができる。
ここで、時間特徴は、休日であるか否か、出勤日であるか否か、出勤時間であるか否か、退勤時間であるか否か、などの少なくとも一つを含むことができる。時間特徴を導入するのは、一般的に道路状況が時間的に一定の法則を有し、出勤日、通勤時間であるか否かなどがいずれも道路状況に大きな影響を与えるためである。
道路の属性特徴は、車線数、双方向通行道路であるか否か、道路レベルなどの少なくとも一つを含むことができる。道路の属性特徴を導入するのは、異なる属性を有する道路が一般的に異なる道路容量に対応し、異なる道路容量が道路状況に対して直接的な影響を与えるためである。
道路状況予測モデルは、実質的に分類モデルであってもよく、例えばＧＢＤＴ、ＤＮＮ、ＬＲ、ＳＶＭなどのモデルを用いることができる。
一つの道路に対して、この道路の軌跡関連特徴及び画像関連特徴を道路状況予測モデルに入力したら、道路状況予測モデルは、この道路の道路状況情報を出力することができ、この道路状況情報は、所定のいくつかの道路状況種別であってもよい。例えば、渋滞、順調の２種類であってもよく、渋滞、徐行、順調の３種類であってもよく、さらに、ひどい渋滞、渋滞、徐行、順調の４種類などであってもよい。
図７は本願の実施例によって提供される道路状況予測モデルを確立する装置構成図である。この装置は、サーバ側に位置するアプリケーションであってもよいし、或いはサーバ側に位置するアプリケーションにおけるプラグイン又はＳＤＫなどの機能ユニットであってもよいし、或いは、さらに高い計算能力を持つコンピュータ端末に位置してもよい。図７に示すように、この道路状況予測モデルを確立する装置７００は、サンプル取得手段１１と、特徴抽出手段１２と、モデルトレーニング手段１３とを含むことができる。ここで各構成手段の主な機能は、以下の通りである。
サンプル取得手段１１は、サンプル道路における第２の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンス、並びに、サンプル道路に付与された第２の時点よりも後の所定の第２の時間区間内の道路状況ラベルが含まれるトレーニングデータを取得するために用いられる。
特徴抽出手段１２は、ユーザ軌跡シーケンスからサンプル道路の軌跡関連特徴を抽出し、道路画像シーケンスからサンプル道路の画像関連特徴を抽出するために用いられる。
ここで、軌跡関連特徴は、速度特徴を含む。
画像関連特徴は、道路開放度特徴、車流特徴及び建築特徴のうちの少なくとも一種を含む。
好ましい実施形態として、特徴抽出手段１２は、道路画像シーケンスからサンプル道路の画像関連特徴を抽出する場合、予めトレーニングして得られた画像意味分割モデルを利用して、道路画像シーケンスにおける各道路画像から主走行領域を識別し、各道路画像から主走行領域の道路開放度及び／又は車流情報を抽出し、各道路画像における主走行領域の道路開放度及び／又は車流情報を用いて、道路開放度特徴及び／又は車流特徴を取得することができる。
ここで、特徴抽出手段１２は、予めトレーニングして得られた画像意味分割モデルを利用して、道路画像シーケンスにおける各道路画像から主走行領域を識別する場合に、予めトレーニングして得られた画像意味分割モデルを利用して、各道路画像に対して各画素に対応する領域種別をそれぞれ識別することにより、道路画像における走行領域及び少なくとも一種の道路環境領域を判定し、少なくとも一種の道路環境領域を利用して、走行領域から主走行領域を判定することができる。
特徴抽出手段１２は、道路画像シーケンスからサンプル道路の画像関連特徴を抽出する場合に、予めトレーニングして得られた画像意味分割モデルを利用して、道路画像シーケンスにおける各道路画像から建物領域を識別し、道路画像シーケンスにおける隣接する道路画像の建物領域の類似度平均値及び／又は分散を道路の建築特徴とすることができる。
モデルトレーニング手段１３は、サンプル道路の軌跡関連特徴及び画像関連特徴を分類モデルの入力とし、サンプル道路に付与された道路状況ラベルを分類モデルの目標出力とするように、分類モデルをトレーニングして道路状況予測モデルを得るために用いられる。
さらに、モデルトレーニング手段１３は、第２の時点よりも前の所定の第１の時間区間に対応する時間特徴、及び/又はサンプル道路の属性特徴をさらに分類モデルの入力とすることもできる。
ここで用いられる分類モデルは、ＧＢＤＴ、ＤＮＮ、ＬＲ、ＳＶＭなどのモデルであってもよい。
道路状況ラベルは、例えば渋滞、順調の２種類に分けてもよい。道路状況ラベルは、例えば渋滞、徐行、順調の３種類に分けてもよい。道路状況ラベルは、さらに例えばひどい渋滞、渋滞、徐行、順調の４種類などに分けてもよい。
本願の実施例によって提供される上記方法及び装置は、以下のシーンに適用することができるがそれらに限定されない。
シーン１
本願の実施例によって提供される方法及び装置を用いて道路の道路状況予測を行った後、例えば異なる色を用いて地図上で各道路の渋滞状況を区別させるように、各道路の道路状況情報を地図類アプリケーションで表示する。
シーン２
本願の実施例によって提供される方法及び装置を用いて道路の道路状況予測を行った後、ユーザが経路計画を行うように要求する場合、渋滞状態にある道路をできるだけ回避する。
シーン３
本願の実施例によって提供される方法及び装置を用いて道路の道路状況予測を行った後、渋滞状態にある道路情報を無線局に通報して再生し、或いは地図類アプリケーションのクライアントに送信して音声放送を行うか又はインタフェースに文字の形式で表示する。
シーン４
本願の実施例によって提供される方法及び装置を用いて道路の道路状況予測を行った後、各道路の道路状況情報をデータベースに記憶する。端末装置のある道路の道路状況に対する検索要求に応答し、この道路の道路状況情報をこの端末装置に送信する。
本願の実施例によれば、本願は、電子機器とコンピュータ読取可能な記憶媒体をさらに提供する。
図８に示すように、本願の実施例の道路状況予測方法、道路状況予測モデルを確立する方法による電子機器のブロック図である。電子機器は、様々な形式のデジタルコンピュータ、例えば、ラップトップ型コンピュータと、デスクトップコンピュータと、ワークベンチと、パーソナル・デジタル・アシスタントと、サーバと、ブレードサーバと、大型コンピュータと、他の適宜なコンピュータとを表す旨である。電子機器は、様々な形式の移動装置、例えば、パーソナル・デジタル・アシスタントと、携帯電話と、スマートフォンと、ウェアラブル機器と、他の類似する計算装置とを表してもよい。本文に示す部品と、それらの接続及び関係と、それらの機能とは単に例示であり、本文で説明した及び／又は要求した本願の実現を限定することを意図しない。
図８に示すように、この電子機器は、１つ又は複数のプロセッサ８０１と、メモリ８０２と、各部品を接続するための、高速インターフェース及び低速インターフェースを含むインターフェースとを含む。各部品は、異なるバスで互いに接続され、且つ共通メインボード上にインストールされてもよく、又は必要に応じて他の方式でインストールされてもよい。プロセッサは、電子機器内で実行されるコマンドを処理することができ、コマンドは、メモリ中に又はメモリ上に記憶されて外部入力・出力装置（例えば、インターフェースに結合する表示デバイス）上にＧＵＩの図形情報を表示するコマンドを含む。他の実施形態において、必要に応じて、複数のプロセッサ及び／又は複数のバスを複数のメモリと一緒に使用してもよい。同様に、複数の電子機器を接続して、各機器が一部の必要な操作を提供する（例えば、サーバアレー、一組のブレードサーバ、又はマルチプロセッサシステムとする）。図８において、１つのプロセッサ８０１を例とする。
メモリ８０２は、本願が提供した非一時的コンピュータ読取可能な記憶媒体である。その中、前記メモリには少なくとも１つのプロセッサに実行され得るコマンドが記憶されており、前記少なくとも１つのプロセッサに本願が提供した道路状況予測方法、道路状況予測モデルを確立する方法を実行させる。本願の非一時的コンピュータ読取可能な記憶媒体は、コンピュータコマンドを記憶しており、このコンピュータコマンドは、コンピュータに本願が提供した道路状況予測方法、道路状況予測モデルを確立する方法を実行させるために用いられる。
メモリ８０２は、非一時的コンピュータ読取可能な記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム及びモジュール、例えば本願の実施例における道路状況予測方法、道路状況予測モデルを確立する方法に対応するプログラムコマンド・ユニットを記憶するために用いられる。プロセッサ８０１は、メモリ８０２中に記憶されている非一時的ソフトウェアプログラム、コマンド及びユニットを実行することによって、サーバの各種機能アプリケーション及びデータ処理を実行し、即ち上記方法実施例における方法を実現する。
メモリ８０２は、プログラム記憶領域とデータ記憶領域とを含んでもよく、その中、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶してもよく、データ記憶領域は、この電子機器の使用に応じて生成されたデータなどを記憶してよい。また、メモリ８０２は、高速ランダムアクセスメモリを含んでもよいし、非一時なメモリ、例えば少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の非一時的なソリッド記憶デバイスを含んでもよい。一部の実施例において、メモリ８０２は選択的にプロセッサ８０１に対して遠隔に設置されたメモリを含み、これらの遠隔メモリが、ネットワークを介してこの電子機器に接続されてもよい。上記ネットワークの例示は、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組合を含むが、これらに限られない。
この電子機器は、入力装置８０３と出力装置８０４とをさらに含んでもよい。プロセッサ８０１と、メモリ８０２と、入力装置８０３と、出力装置８０４とが、バス又は他の方式で接続されてもよく、図８において、バスを介して接続されることを例とする。
入力装置８０３は、入力されたデジタル又はキャラクター情報を受信し、この電子機器のユーザ設定以及機能制御に関わるキー信号入力を発生してもよく、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケーターロッド、１つ又は複数のマウスボタン、トラックボール、レバーなどの入力装置である。出力装置８０４は、表示デバイスと、補助照明装置（例えば、ＬＥＤ）と、触覚フィードバック装置（例えば、振動モーター）などを含んでもよい。この表示デバイスは、液晶ディスプレー（ＬＣＤ）と、発光ダイオード（ＬＥＤ）ディスプレーと、プラズマディスプレーとを含むが、これらに限られない。一部の実施形態において、表示デバイスはタッチスクリーンであってもよい。
ここで説明したシステム及び技術の各実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組合せで実現されてもよい。これらの各実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含んでもよく、この１つまたは複数のコンピュータプログラムが、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈されてもよく、このプログラマブルプロセッサは、専用又は共通のプログラマブルプロセッサであってもよく、記憶システムと、少なくとも１つの入力装置と、少なくとも１つの出力装置とからデータと命令とを受信し、データと命令とをこの記憶システムと、この少なくとも１つの入力装置と、この少なくとも１つの出力装置とに伝送してもよい。
これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも称する）は、プログラマブルプロセッサの機械命令を含み、高級プロセス及び／又はオブジェクト指向のプログラミング言語、及び／又はアセンブリ・機械言語によってこれらの計算プログラムを実施してもよい。本明細書で使用した術語「機械読取可能な媒体」及び「コンピュータ読取可能な媒体」とは、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を意味しており、機械読取可能な信号である機械命令を受ける機械読取可能な媒体を含む。術語「機械読取可能な信号」とは、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を意味している。
ユーザとのインタラクションを提供するために、コンピュータでここで説明したシステム及び技術を実施してもよく、このコンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレー）モニタ）と、キーボード及び指向装置（例えば、マウス又はトラックボール）とを有し、ユーザは、このキーボード及びこの指向装置によって、入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクティブを提供するためのものであってもよく、例えば、ユーザに提供するフィードバックは、任意の形式のセンサーフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（声入力、語音入力、又は触覚入力を含む）でユーザからの入力を受信してもよい。
ここで説明したシステム及び技術は、バックグラウンド部品を含む計算システム（例えば、データサーバとする）、又はミドルウェア部品を含む計算システム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含む計算システム（例えば、グラフィカル・ユーザー・インターフェース又はネットワークブラウザを有するユーザコンピュータ、ユーザはこのグラフィカル・ユーザー・インターフェース又はこのネットワークブラウザを介してここで説明したシステム及び技術の実施形態とインタラクティブすることができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、或いはフロントエンド部品の任意の組合せを含む計算システムで実施されてもよい。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介してシステムの部品を相互に接続してもよい。通信ネットワークの例示は、ローカルエリアネットワーク（ＬＡＮ）と、広域ネットワーク（ＷＡＮ）と、インターネットとを含む。
コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバとは、一般的に互いに離れて、且つ通常に通信ネットワークを介してインタラクティブする。相応するコンピュータで実行されるとともに、互いにクライアント-サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係を形成する。
上記に示した様々な形式のフローを利用して、ステップを並び替え、追加又は削除することができると理解すべきである。例えば、本願に記載された各ステップは、並行に実行されてもよいし、順に実行されてもよいし、異なる順序で実行されてもよく、本願が開示した技術案が所望する結果を実現できる限り、本文はここで限定しない。
上述した具体的な実施形態は、本願の保護範囲に対する限定を構成しない。当業者は、設計要求や他の要因に応じて、さまざまな修正、組合、サブ組合及び置換を行うことができると理解すべきである。本願の趣旨及び原則の範囲内になされた任意の修正、等価な置換、改進などは、いずれも本願の保護範囲内に含まれるべきである。

Claims (31)

  1. 道路状況予測方法であって、
    道路における第１の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンスを取得することと、
    前記ユーザ軌跡シーケンスから前記道路の軌跡関連特徴を抽出し、及び前記道路画像シーケンスから前記道路の画像関連特徴を抽出することと、
    前記道路の軌跡関連特徴及び画像関連特徴を、予めトレーニングして得られた道路状況予測モデルに入力し、前記道路状況予測モデルの推定結果を利用して前記道路における前記第１の時点よりも後の所定の第２の時間区間内の道路状況情報を得ることと、を含む
    道路状況予測方法。
  2. 前記道路は、予め設定された目標道路、道路状況電子フェンス内の道路、および、軌跡点が予め設定された道路状況予測トリガ条件を満たす道路のうちの少なくとも一つを含む
    請求項１に記載の方法。
  3. 前記道路の情報を収集端末に送信し、前記収集端末によって収集されたユーザ軌跡シーケンス及び道路画像シーケンスを取得すること、または、
    前記道路上にある収集端末に収集指令を送信し、前記収集端末によって収集されたユーザ軌跡シーケンス及び道路画像シーケンスを取得すること、をさらに含む
    請求項１又は２に記載の方法。
  4. 前記軌跡関連特徴は、速度特徴を含み、
    前記画像関連特徴は、道路開放度特徴、車流特徴及び建築特徴のうちの少なくとも一種を含む
    請求項１に記載の方法。
  5. 前記道路画像シーケンスから前記道路の画像関連特徴を抽出することは、
    予めトレーニングして得られた画像意味分割モデルを利用し、前記道路画像シーケンスにおける各道路画像から主走行領域を識別することと、
    各道路画像から前記主走行領域の道路開放度及び/又は車流情報を抽出することと、
    各道路画像における主走行領域の道路開放度及び／又は車流情報を利用して、前記道路開放度特徴及び／又は車流特徴を得ることと、を含む
    請求項４に記載の方法。
  6. 前記予めトレーニングして得られた画像意味分割モデルを利用し、前記道路画像シーケンスにおける各道路画像から主走行領域を識別することは、
    予めトレーニングして得られた画像意味分割モデルを利用し、各道路画像に対して各画素に対応する領域種別をそれぞれ識別することにより、道路画像における走行領域及び少なくとも一種の道路環境領域を判定することと、
    前記少なくとも一種の道路環境領域を利用し、前記走行領域から主走行領域を判定することと、を含む
    請求項５に記載の方法。
  7. 前記道路画像シーケンスから前記道路の画像関連特徴を抽出することは、
    予めトレーニングして得られた画像意味分割モデルを利用し、前記道路画像シーケンスにおける各道路画像から建物領域を識別することと、
    前記道路画像シーケンスにおける隣接する道路画像の建物領域の類似度平均値及び/又は分散を前記道路の建築特徴とすることと、を含む
    請求項４に記載の方法。
  8. 前記道路状況予測モデルに入力される特徴は、さらに、
    前記第１の時点よりも前の所定の第１の時間区間に対応する時間特徴、及び/又は前記道路の属性特徴を含む
    請求項１に記載の方法。
  9. サンプル道路における第２の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンス、および前記サンプル道路に付与された前記第２の時点よりも後の所定の第２の時間区間内の道路状況ラベルを含むトレーニングデータを取得することと、
    前記ユーザ軌跡シーケンスから前記サンプル道路の軌跡関連特徴を抽出し、及び前記道路画像シーケンスから前記サンプル道路の画像関連特徴を抽出することと、
    前記サンプル道路の軌跡相関特徴及び画像関連特徴を分類モデルの入力とし、前記サンプル道路に付与された道路状況ラベルを前記分類モデルの目標出力とするように、前記分類モデルをトレーニングして前記道路状況予測モデルを得ることと、を含む
    道路状況予測モデルを確立する方法。
  10. 前記軌跡関連特徴は、速度特徴を含み、
    前記画像関連特徴は、道路開放度特徴、車流特徴及び建築特徴のうちの少なくとも一種を含む
    請求項９に記載の方法。
  11. 前記道路画像シーケンスから前記サンプル道路の画像関連特徴を抽出することは、
    予めトレーニングして得られた画像意味分割モデルを利用し、前記道路画像シーケンスにおける各道路画像から主走行領域を識別することと、
    各道路画像から前記主走行領域の道路開放度及び／又は車流情報を抽出することと、
    各道路画像における主走行領域の道路開放度及び／又は車流情報を利用して、前記道路開放度特徴及び／又は車流特徴を得ることと、を含む
    請求項１０に記載の方法。
  12. 前記予めトレーニングして得られた画像意味分割モデルを利用し、前記道路画像シーケンスにおける各道路画像から主走行領域を識別することは、
    予めトレーニングして得られた画像意味分割モデルを利用し、各道路画像に対して各画素に対応する領域種別をそれぞれ識別することにより、道路画像における走行領域及び少なくとも一種の道路環境領域を判定することと、
    前記少なくとも一種の道路環境領域を利用し、前記走行領域から主走行領域を判定することと、を含む
    請求項１１に記載の方法。
  13. 前記道路画像シーケンスから前記サンプル道路の画像関連特徴を抽出することは、
    予めトレーニングして得られた画像意味分割モデルを利用し、前記道路画像シーケンスにおける各道路画像から建物領域を識別することと、
    前記道路画像シーケンスにおける隣接する道路画像の建物領域の類似度平均値及び／又は分散を前記サンプル道路の建築特徴とすることと、を含む
    請求項１０に記載の方法。
  14. 前記分類モデルの入力は、さらに、
    前記第２の時点よりも前の所定の第１の時間区間に対応する時間特徴、及び／又は前記サンプル道路の属性特徴を含む
    請求項９に記載の方法。
  15. 道路における第１の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンスを取得するためのシーケンス取得手段と、
    前記ユーザ軌跡シーケンスから前記道路の軌跡関連特徴を抽出し、及び前記道路画像シーケンスから前記道路の画像関連特徴を抽出するための特徴抽出手段と、
    前記道路の軌跡関連特徴及び画像関連特徴を、予めトレーニングして得られた道路状況予測モデルに入力し、前記道路状況予測モデルの推定結果を利用して前記道路における前記第１の時点よりも後の所定の第２の時間区間内の道路状況情報を得るための道路状況推定手段と、を含む
    道路状況予測装置。
  16. 前記道路は、予め設定された目標道路、道路状況電子フェンス内の道路、および、軌跡点が予め設定された道路状況予測トリガ条件を満たす道路のうちの少なくとも一つを含む
    請求項１５に記載の装置。
  17. 前記道路の情報を収集端末に送信し、前記収集端末によって収集されたユーザ軌跡シーケンス及び道路画像シーケンスを取得するか、または、前記道路上にある収集端末に収集指令を送信し、前記収集端末によって収集されたユーザ軌跡シーケンス及び道路画像シーケンスを取得するための情報交換手段をさらに含む
    請求項１５又は１６に記載の装置。
  18. 前記軌跡関連特徴は、速度特徴を含み、
    前記画像関連特徴は、道路開放度特徴、車流特徴及び建築特徴のうちの少なくとも一種を含む
    請求項１５に記載の装置。
  19. 前記特徴抽出手段は、前記道路画像シーケンスから前記道路の画像関連特徴を抽出する場合、具体的に、
    予めトレーニングして得られた画像意味分割モデルを利用し、前記道路画像シーケンスにおける各道路画像から主走行領域を識別することと、
    各道路画像から前記主走行領域の道路開放度及び／又は車流情報を抽出することと、
    各道路画像における主走行領域の道路開放度及び／又は車流情報を利用して、前記道路開放度特徴及び／又は車流特徴を得ること、を実行する
    請求項１８に記載の装置。
  20. 前記特徴抽出手段は、予めトレーニングして得られた画像意味分割モデルを用いて、前記道路画像シーケンスにおける各道路画像から主走行領域を識別するときに、具体的に、
    予めトレーニングして得られた画像意味分割モデルを利用し、各道路画像に対して各画素に対応する領域種別をそれぞれ識別することにより、道路画像における走行領域及び少なくとも一種の道路環境領域を判定することと、
    前記少なくとも一種の道路環境領域を利用し、前記走行領域から主走行領域を判定すること、を実行する
    請求項１９に記載の装置。
  21. 前記特徴抽出手段は、前記道路画像シーケンスから前記道路の画像関連特徴を抽出するときに、具体的に、
    予めトレーニングして得られた画像意味分割モデルを利用し、前記道路画像シーケンスにおける各道路画像から建物領域を識別することと、
    前記道路画像シーケンスにおける隣接する道路画像の建物領域の類似度平均値及び／又は分散を前記道路の建築特徴とすること、を実行する
    請求項１８に記載の装置。
  22. 前記道路状況推定手段は、前記第１の時点よりも前の所定の第１の時間区間に対応する時間特徴、及び／又は前記道路の属性特徴を、前記予めトレーニングして得られた道路状況予測モデルにさらに入力するためにも用いられる
    請求項１５に記載の装置。
  23. サンプル道路における第２の時点よりも前の所定の第１の時間区間内のユーザ軌跡シーケンス及び道路画像シーケンス、および前記サンプル道路に付与された前記第２の時点よりも後の所定の第２の時間区間内の道路状況ラベルを含むトレーニングデータを取得するためのサンプル取得手段と、
    前記ユーザ軌跡シーケンスから前記サンプル道路の軌跡関連特徴を抽出し、及び前記道路画像シーケンスから前記サンプル道路の画像関連特徴を抽出するための特徴抽出手段と、
    前記サンプル道路の軌跡相関特徴及び画像関連特徴を分類モデルの入力とし、前記サンプル道路に付与された道路状況ラベルを前記分類モデルの目標出力とするように、前記分類モデルをトレーニングして前記道路状況予測モデルを得るためのモデルトレーニング手段と、を含む
    道路状況予測モデルを確立する装置。
  24. 前記軌跡関連特徴は、速度特徴を含み、
    前記画像関連特徴は、道路開放度特徴、車流特徴及び建築特徴のうちの少なくとも一種を含む
    請求項２３に記載の装置。
  25. 前記特徴抽出手段は、前記道路画像シーケンスから前記サンプル道路の画像関連特徴を抽出するときに、具体的に、
    予めトレーニングして得られた画像意味分割モデルを利用し、前記道路画像シーケンスにおける各道路画像から主走行領域を識別することと、
    各道路画像から前記主走行領域の道路開放度及び／又は車流情報を抽出することと、
    各道路画像における主走行領域の道路開放度及び／又は車流情報を利用して、前記道路開放度特徴及び／又は車流特徴を得ること、を実行する
    請求項２４に記載の装置。
  26. 前記特徴抽出手段は、予めトレーニングして得られた画像意味分割モデルを用いて、前記道路画像シーケンスにおける各道路画像から主走行領域を識別するときに、具体的に、
    予めトレーニングして得られた画像意味分割モデルを利用し、各道路画像に対して各画素に対応する領域種別をそれぞれ識別することにより、道路画像における走行領域及び少なくとも一種の道路環境領域を判定することと、
    前記少なくとも一種の道路環境領域を利用し、前記走行領域から主走行領域を判定すること、を実行する
    請求項２５に記載の装置。
  27. 前記特徴抽出手段は、前記道路画像シーケンスから前記サンプル道路の画像関連特徴を抽出するときに、具体的に、
    予めトレーニングして得られた画像意味分割モデルを利用し、前記道路画像シーケンスにおける各道路画像から建物領域を識別することと、
    前記道路画像シーケンスにおける隣接する道路画像の建物領域の類似度平均値及び／又は分散を前記サンプル道路の建築特徴とすること、を実行する
    請求項２４に記載の装置。
  28. 前記モデルトレーニング手段は、前記第２の時点よりも前の所定の第１の時間区間に対応する時間特徴、及び／又は前記サンプル道路の属性特徴をさらに前記分類モデルの入力とするためにも用いられる
    請求項２３に記載の装置。
  29. 少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信接続するメモリとを含む電子機器であって、
    前記メモリに、前記少なくとも１つのプロセッサによって実行され得るコマンドが記憶されており、
    前記コマンドが前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが請求項１〜１４のいずれか一項に記載の方法を実行することができる
    電子機器。
  30. コンピュータに請求項１〜１４のいずれか一項に記載の方法を実行させるためのコンピュータコマンドを記憶している非一時的コンピュータ読取可能な記憶媒体。
  31. プロセッサによって実行される時に請求項１〜１４のいずれか一項に記載の方法を実現するコンピュータプログラムを含む、コンピュータプログラム製品。
JP2021104711A 2020-12-03 2021-06-24 道路状況予測方法、道路状況予測モデルを確立する方法及びその対応装置、電子機器、記録媒体並びにコンピュータプログラム製品 Pending JP2021157833A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011410518.4A CN112560609B (zh) 2020-12-03 2020-12-03 路况预估方法、建立路况预估模型的方法及对应装置
CN202011410518.4 2020-12-03

Publications (1)

Publication Number Publication Date
JP2021157833A true JP2021157833A (ja) 2021-10-07

Family

ID=75048612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021104711A Pending JP2021157833A (ja) 2020-12-03 2021-06-24 道路状況予測方法、道路状況予測モデルを確立する方法及びその対応装置、電子機器、記録媒体並びにコンピュータプログラム製品

Country Status (5)

Country Link
US (1) US11887376B2 (ja)
EP (1) EP3926534A3 (ja)
JP (1) JP2021157833A (ja)
KR (1) KR102618445B1 (ja)
CN (1) CN112560609B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569759B (zh) * 2021-07-29 2022-06-10 沭阳新辰公路仪器有限公司 一种基于人工智能的道路掉落物识别方法及系统
KR102608343B1 (ko) * 2021-09-09 2023-11-30 네이버 주식회사 패턴 매칭을 이용하여 도로 정체 전파를 예측하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
CN114413832B (zh) * 2021-12-02 2023-12-15 中国通信建设第三工程局有限公司 一种基于光纤传感的道路监测系统及方法
CN114332699B (zh) * 2021-12-24 2023-12-12 中国电信股份有限公司 路况预测方法、装置、设备及存储介质
CN114418093B (zh) * 2022-01-19 2023-08-25 北京百度网讯科技有限公司 训练路径表征模型、输出信息的方法和装置
CN114332104B (zh) * 2022-03-09 2022-07-29 南方电网数字电网研究院有限公司 电网输电场景rgb点云语义分割多阶段模型联合优化方法
CN114742280B (zh) * 2022-03-18 2023-01-13 北京百度网讯科技有限公司 路况预测方法及相应的模型训练方法、装置、设备及介质
KR102422235B1 (ko) * 2022-05-26 2022-07-15 (주)에스엔테크 터널 내 지능형 차량 정체 알림 시스템
CN114998744B (zh) * 2022-07-18 2022-10-25 中国农业大学 基于运动与视觉双特征融合的农机轨迹田路分割方法及装置
CN117218858A (zh) * 2023-10-25 2023-12-12 河北高速公路集团有限公司承德分公司 用于高速公路的交通安全预警系统及方法
CN117115382B (zh) * 2023-10-25 2024-02-09 腾讯科技（深圳）有限公司 地图道路绘制方法、装置、计算机设备和存储介质
CN117493820B (zh) * 2024-01-03 2024-04-02 中国电子工程设计院股份有限公司 一种数据要素处理方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH064795A (ja) * 1992-06-17 1994-01-14 Hitachi Ltd 交通状況監視方法と装置および交通流監視制御システム
JP2020101908A (ja) * 2018-12-20 2020-07-02 株式会社東芝 交通状況予測装置、および交通状況予測方法
CN111477012A (zh) * 2020-06-24 2020-07-31 平安国际智慧城市科技股份有限公司 基于路况状态预测模型的溯源方法、装置和计算机设备
CN111915878A (zh) * 2019-05-09 2020-11-10 奥迪股份公司 道路交通状态的预测方法及装置、计算机设备和存储介质
CN111950537A (zh) * 2020-09-24 2020-11-17 北京百度网讯科技有限公司 斑马线信息获取方法、地图更新方法、装置及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100438981B1 (ko) * 2001-06-02 2004-07-03 엘지산전 주식회사 영상정보를 이용한 교통정보 추출 방법 및 장치
US8670592B2 (en) 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
CN102722982B (zh) 2012-03-30 2016-01-06 上海市金山区青少年活动中心 基于背景与帧间差分算法的车流及其运动状态检测方法
KR20140128063A (ko) * 2013-04-26 2014-11-05 한국교통연구원 교통 상황 예측 시스템
CN105761500B (zh) 2016-05-10 2019-02-22 腾讯科技（深圳）有限公司 交通事故处理方法及交通事故处理装置
JP6672077B2 (ja) * 2016-05-27 2020-03-25 株式会社東芝 交通情報推定装置および交通情報推定方法
CN106781592B (zh) 2017-01-04 2019-07-23 成都四方伟业软件股份有限公司 一种基于大数据的交通导航系统及方法
CN110657820A (zh) * 2017-01-12 2020-01-07 御眼视觉技术有限公司 基于车辆活动的导航
JP6343071B2 (ja) 2017-07-06 2018-06-13 株式会社日立製作所 システム解析装置、設計不良解析装置、故障モード解析装置、故障ツリー解析装置、自律動作装置及び自律動作制御システム
CN109754594B (zh) * 2017-11-01 2021-07-27 腾讯科技（深圳）有限公司 一种路况信息获取方法及其设备、存储介质、终端
CN109615862A (zh) 2018-12-29 2019-04-12 南京市城市与交通规划设计研究院股份有限公司 道路车辆交通运动状态参数动态获取方法及装置
CN111488770A (zh) * 2019-01-28 2020-08-04 初速度（苏州）科技有限公司 交通标志识别方法、神经网络模型的训练方法和装置
CN110364008B (zh) * 2019-08-16 2021-12-07 腾讯科技（深圳）有限公司 路况确定方法、装置、计算机设备和存储介质
CN111353009B (zh) * 2020-02-03 2021-10-26 百度在线网络技术（北京）有限公司 建立路线耗时预估模型、预估路线耗时的方法及对应装置
CN111292549B (zh) * 2020-02-03 2022-03-22 百度在线网络技术（北京）有限公司 建立路线耗时预估模型的方法、预估路线耗时的方法及对应装置
KR102144706B1 (ko) * 2020-03-11 2020-08-14 아주대학교산학협력단 합성곱 신경망 기반의 도로 검출 장치 및 방법
CN111489555A (zh) 2020-05-14 2020-08-04 武汉理工大学 一种交通运行状态预测方法、装置和系统
CN111611955B (zh) 2020-05-28 2023-09-26 百度在线网络技术（北京）有限公司 可通行施工道路的识别方法、装置、设备及存储介质
CN111783037A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 一种车辆里程预估模型优化方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH064795A (ja) * 1992-06-17 1994-01-14 Hitachi Ltd 交通状況監視方法と装置および交通流監視制御システム
JP2020101908A (ja) * 2018-12-20 2020-07-02 株式会社東芝 交通状況予測装置、および交通状況予測方法
CN111915878A (zh) * 2019-05-09 2020-11-10 奥迪股份公司 道路交通状态的预测方法及装置、计算机设备和存储介质
CN111477012A (zh) * 2020-06-24 2020-07-31 平安国际智慧城市科技股份有限公司 基于路况状态预测模型的溯源方法、装置和计算机设备
CN111950537A (zh) * 2020-09-24 2020-11-17 北京百度网讯科技有限公司 斑马线信息获取方法、地图更新方法、装置及系统

Also Published As

Publication number Publication date
KR20210087005A (ko) 2021-07-09
KR102618445B1 (ko) 2023-12-28
CN112560609A (zh) 2021-03-26
US20220058403A1 (en) 2022-02-24
US11887376B2 (en) 2024-01-30
CN112560609B (zh) 2022-11-15
EP3926534A3 (en) 2022-05-04
EP3926534A2 (en) 2021-12-22

Similar Documents

Publication Publication Date Title
JP2021157833A (ja) 道路状況予測方法、道路状況予測モデルを確立する方法及びその対応装置、電子機器、記録媒体並びにコンピュータプログラム製品
JP7351487B2 (ja) トポロジーマップに基づくインテリジェントナビゲーションの方法及びシステム
US11520346B2 (en) Navigating autonomous vehicles based on modulation of a world model representing traffic entities
WO2021249071A1 (zh) 一种车道线的检测方法及相关设备
CN111859291B (zh) 交通事故识别方法、装置、设备和计算机存储介质
EP3822852B1 (en) Method, apparatus, computer storage medium and program for training a trajectory planning model
US20210024094A1 (en) Filtering user responses for generating training data for machine learning based models for navigation of autonomous vehicles
US11615266B2 (en) Adaptive sampling of stimuli for training of machine learning based models for predicting hidden context of traffic entities for navigating autonomous vehicles
CN112614373B (zh) 一种基于BiLSTM周车换道意图预测方法
JP2023526329A (ja) 自律車両のための機械学習ベースモデルの検証およびトレーニングのためのシナリオ識別
CN114360239A (zh) 一种多层时空交通知识图谱重建的交通预测方法及系统
CN115662166A (zh) 一种自动驾驶数据处理方法及自动驾驶交通系统
Kim et al. Toward explainable and advisable model for self‐driving cars
CN113159403A (zh) 路口行人轨迹预测的方法及装置
Wang et al. Accidentgpt: Accident analysis and prevention from v2x environmental perception with multi-modal large model
Selvaraj et al. Edge learning of vehicular trajectories at regulated intersections
CN114742280B (zh) 路况预测方法及相应的模型训练方法、装置、设备及介质
Zheng et al. A method of detect traffic police in complex scenes
US11993291B2 (en) Neural networks for navigation of autonomous vehicles based upon predicted human intents
US20210114627A1 (en) Neural networks for navigation of autonomous vehicles based upon predicted human intents
Das et al. Early Detection of Driving Maneuvers for Proactive Congestion Prevention
Hongsheng Far-field sensing in partial VANET environment
Krishna et al. A Computational Data Science Based Detection of Road Traffic Anomalies
Kothuri et al. Enhancing Pedestrian Safety in Autonomous Vehicles through Machine Learning
Zhao et al. How Far are Autonomous Vehicles from Driving in Real Traffic? The Adaptability Analysis of Autonomous Vehicles to Cut-in Scenarios in China

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230606

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230615

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240315