JP2022105569A - スマート運転機器の走行状態を認識する方法及び装置、機器 - Google Patents
スマート運転機器の走行状態を認識する方法及び装置、機器 Download PDFInfo
- Publication number
- JP2022105569A JP2022105569A JP2022077972A JP2022077972A JP2022105569A JP 2022105569 A JP2022105569 A JP 2022105569A JP 2022077972 A JP2022077972 A JP 2022077972A JP 2022077972 A JP2022077972 A JP 2022077972A JP 2022105569 A JP2022105569 A JP 2022105569A
- Authority
- JP
- Japan
- Prior art keywords
- state
- driving device
- smart driving
- smart
- indicating lamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 123
- 238000013528 artificial neural network Methods 0.000 claims description 106
- 230000004044 response Effects 0.000 claims description 63
- 230000008569 process Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Abstract
【課題】スマート運転機器の走行状態を認識する方法及び装置、機器の提供。【解決手段】本願の実施例は、スマート運転機器の走行状態を認識する方法及び装置、機器を提供する。前記方法は、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することと、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することと、前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、を含む。【選択図】図1A
Description
(関連出願の相互参照)
本願は、2019年7月31日に提出された、出願番号が201910702893.7である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、2019年7月31日に提出された、出願番号が201910702893.7である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願の実施例は、自動運転技術分野に関し、スマート運転機器の走行状態を認識する方法及び装置、機器に関するが、これらに限定されない。
ランプ状態の認識は、自動運転の一部である。ランプ状態の認識により、左右転舵、ブレーキなどのような、周りのスマート運転機器の可能な状態を判別することができる。これは、自動運転に対する意思決定に役立つ。
これに鑑み、本願の実施例は、スマート運転機器の走行状態を認識する方法及び装置、機器を提供する。
本願の実施例の技術的解決手段は、以下のように実現する。
本願の実施例は、スマート運転機器の走行状態を認識する方法を提供する。前記方法は、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することと、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することと、前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、を含む。
本願の実施例は、スマート運転機器の走行状態を認識する装置を提供する。前記装置は、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第1決定モジュールと、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定するように構成される第2決定モジュールと、前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第3決定モジュールと、を備える。
本願の実施例は、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、本願の実施例で提供されるスマート運転機器の走行状態を認識する方法の工程を実現させることができる。本願の実施例は、コンピュータ機器を提供する。前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリに、コンピュータによる実行可能な命令が記憶されており、前記プロセッサが前記メモリにおけるコンピュータによる実行可能な命令を実行する時、本願の実施例で提供されるスマート運転機器の走行状態を認識する方法の工程を実現させることができる。
本願の実施例は、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、本願の実施例で提供されるスマート運転機器の走行状態を認識する方法の工程を実現させることができる。
例えば、本願は以下の項目を提供する。
(項目1)
スマート運転機器の走行状態を認識する方法であって、前記方法は、
スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することと、
前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、を含む、スマート運転機器の走行状態を認識する方法。
(項目2)
前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが、前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含むことを特徴とする
項目1に記載の方法。
(項目3)
前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが、前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含むことを特徴とする
項目1又は2に記載の方法。
(項目4)
前記スマート運転機器は、第2走行状態指示ランプを更に含み、前記第2走行状態指示ランプは、前記スマート運転機器が制動状態にあるかどうかを示すことに用いられ、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定する前に、前記方法は、
前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定することとを更に含み、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することは、
前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することを含むことを特徴とする
項目1から3のうちいずれか一項に記載の方法。
(項目5)
前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定した後、前記方法は、
前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定することを更に含むことを特徴とする
項目4に記載の方法。
(項目6)
前記処理待ち画像は、連続する複数フレームの処理待ち画像であり、
前記処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
各フレームの処理待ち画像により決定された前記スマート運転機器の本体の向きに基づいて、前記スマート運転機器の本体の向きを決定することと、を含み、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することは、
前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記第1走行状態指示ランプの状態を決定することと、
各フレームの処理待ち画像により決定された前記第1走行状態指示ランプの状態に基づいて、前記第1走行状態指示ランプの状態を決定することと、を含むことを特徴とする
項目1から5のうちいずれか一項に記載の方法。
(項目7)
前記処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
前記処理待ち画像における、前記スマート運転機器の本体により占められる第1画像領域を決定することと、
前記第1画像領域における画像に基づいて、前記スマート運転機器の本体の向きを決定することと、を含むことを特徴とする
項目1から6のうちいずれか一項に記載の方法。
(項目8)
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することは、
前記処理待ち画像における、前記スマート運転機器の第1走行状態指示ランプにより占められる第2画像領域を決定することと、
前記第2画像領域における画像に基づいて、前記第1走行状態指示ランプの状態を決定することと、を含むことを特徴とする
項目1から7のうちいずれか一項に記載の方法。
(項目9)
前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定することは、
前記処理待ち画像における、前記スマート運転機器の第2走行状態指示ランプにより占められる第3画像領域を決定することと、
前記第3画像領域における画像に基づいて、前記第2走行状態指示ランプの状態を決定することと、を含むことを特徴とする
項目4から8のうちいずれか一項に記載の方法。
(項目10)
前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現され、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
前記ニューラルネットワークを利用して、前記処理待ち画像から、特徴マップを抽出することと、
前記ニューラルネットワークが抽出した特徴マップに基づいて、前記スマート運転機器の本体の向きを決定することと、を含み
前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、を含むことを特徴とする
項目5に記載の装置。
(項目11)
前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定することは、
前記ニューラルネットワークが抽出した特徴マップに基づいて、前記第2走行状態指示ランプの状態を決定することと、
前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定することと、を含み、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であって、且つ、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含み、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって、且つ、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含むことを特徴とする
項目10に記載の方法。
(項目12)
前記ニューラルネットワークは、
スマート運転機器を含むサンプル画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
決定された前記本体の向き、ラベル付けられた前記本体の向き、決定された第1走行状態指示ランプの状態、ラベル付けられた第1走行状態指示ランプの状態に基づいて、ニューラルネットワークのネットワークパラメータを調整することと、を実行することで訓練されたものであることを特徴とする
項目10又は11に記載の方法。
(項目13)
スマート運転機器の走行状態を認識する装置であって、前記装置は、
スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第1決定モジュールと、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定するように構成される第2決定モジュールと、
前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第3決定モジュールと、を備える、スマート運転機器の走行状態を認識する装置。
(項目14)
前記第3決定モジュールは、
前記本体の向きが、前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第1決定サブモジュールを備えることを特徴とする
項目13に記載の装置。
(項目15)
前記第3決定モジュールは、
前記本体の向きが、前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第2決定サブモジュールを備えることを特徴とする
項目13又は14に記載の装置。
(項目16)
前記スマート運転機器は、第2走行状態指示ランプを更に含み、前記第2走行状態指示ランプは、前記スマート運転機器が制動状態にあるかどうかを示すことに用いられ、
前記装置は、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定する前に、前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定するように構成される第4決定モジュールを更に備え、
前記第2決定モジュールは、
前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定するように構成される第3決定サブモジュールを備えることを特徴とする
項目13から15のうちいずれか一項に記載の装置。
(項目17)
前記装置は、
前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定した後、前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定するように構成される第5決定モジュールを更に備えることを特徴とする
項目16に記載の装置。
(項目18)
前記処理待ち画像は、連続する複数フレームの処理待ち画像であり、
第1決定モジュールは、
前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第4決定サブモジュールと、
各フレームの処理待ち画像により決定された前記スマート運転機器の本体の向きに基づいて、前記スマート運転機器の本体の向きを決定するように構成される第5決定サブモジュールと、を備え、
第2決定モジュールは、
前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記第1走行状態指示ランプの状態を決定するように構成される第6決定サブモジュールと、
各フレームの処理待ち画像により決定された前記第1走行状態指示ランプの状態に基づいて、前記第1走行状態指示ランプの状態を決定するように構成される第7決定サブモジュールと、を備えることを特徴とする
項目13から17のうちいずれか一項に記載の装置。
(項目19)
前記第1決定モジュールは、
前記処理待ち画像における、前記スマート運転機器の本体により占められる第1画像領域を決定するように構成される第8決定サブモジュールと、
前記第1画像領域における画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第9決定サブモジュールと、を備えることを特徴とする
項目13から18のうちいずれか一項に記載の装置。
(項目20)
前記第2決定モジュールは、
前記処理待ち画像における、前記スマート運転機器の第1走行状態指示ランプにより占められる第2画像領域を決定するように構成される第10決定サブモジュールと、
前記第2画像領域における画像に基づいて、前記第1走行状態指示ランプの状態を決定するように構成される第11決定サブモジュールと、を備えることを特徴とする
項目13から19のうちいずれか一項に記載の装置。
(項目21)
前記第4決定モジュールは、
前記処理待ち画像における、前記スマート運転機器の第2走行状態指示ランプにより占められる第3画像領域を決定するように構成される第12決定サブモジュールと、
前記第3画像領域における画像に基づいて、前記第2走行状態指示ランプの状態を決定するように構成される第13決定サブモジュールと、を備えることを特徴とする
項目16から20のうちいずれか一項に記載の装置。
(項目22)
前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現され、前記第1決定モジュールは、
前記ニューラルネットワークを利用して、前記処理待ち画像から、特徴マップを抽出するように構成される第1抽出サブモジュールと、
前記ニューラルネットワークを利用して、抽出された特徴マップに基づいて、前記スマート運転機器の本体の向きを決定するように構成される第14決定サブモジュールと、を備え、
第3決定モジュールは、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第15決定サブモジュールと、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第16決定サブモジュールと、を備えることを特徴とする
項目17に記載の装置。
(項目23)
第4決定モジュールは、
前記ニューラルネットワークを採用して、抽出された特徴マップに基づいて、前記第2走行状態指示ランプの状態を決定するように構成される第17決定サブモジュールと、
前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定するように構成される第18決定サブモジュールと、を備え、
前記第15決定サブモジュールは、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であって、且つ、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第1決定ユニットを備え、
前記第16決定サブモジュールは、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって、且つ、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第2決定ユニットを備えることを特徴とする
項目22に記載の装置。
(項目24)
前記装置は、前記ニューラルネットワークを訓練するように構成される訓練モジュールを更に備え、前記訓練モジュールは、
スマート運転機器を含むサンプル画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第19決定サブモジュールと、
前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第20決定サブモジュールと、
前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第21決定サブモジュールと、
決定された前記本体の向き、ラベル付けられた前記本体の向き、決定された第1走行状態指示ランプの状態、ラベル付けられた第1走行状態指示ランプの状態に基づいて、ニューラルネットワークのネットワークパラメータを調整するように構成される第1調整サブモジュールと、を備えることを特徴とする
項目22又は23に記載の装置。
(項目25)
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、項目1から12のうちいずれか一項に記載の方法の工程を実現させることができる、コンピュータ記憶媒体。
(項目26)
コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリに、コンピュータによる実行可能な命令が記憶されており、前記プロセッサが前記メモリにおけるコンピュータによる実行可能な命令を実行する時、項目1から12のうちいずれか一項に記載の方法の工程を実現することができる、コンピュータ機器。
(項目27)
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、項目1から12のうちいずれか一項に記載の方法の工程を実現することができる、コンピュータプログラム製品。
例えば、本願は以下の項目を提供する。
(項目1)
スマート運転機器の走行状態を認識する方法であって、前記方法は、
スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することと、
前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、を含む、スマート運転機器の走行状態を認識する方法。
(項目2)
前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが、前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含むことを特徴とする
項目1に記載の方法。
(項目3)
前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが、前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含むことを特徴とする
項目1又は2に記載の方法。
(項目4)
前記スマート運転機器は、第2走行状態指示ランプを更に含み、前記第2走行状態指示ランプは、前記スマート運転機器が制動状態にあるかどうかを示すことに用いられ、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定する前に、前記方法は、
前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定することとを更に含み、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することは、
前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することを含むことを特徴とする
項目1から3のうちいずれか一項に記載の方法。
(項目5)
前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定した後、前記方法は、
前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定することを更に含むことを特徴とする
項目4に記載の方法。
(項目6)
前記処理待ち画像は、連続する複数フレームの処理待ち画像であり、
前記処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
各フレームの処理待ち画像により決定された前記スマート運転機器の本体の向きに基づいて、前記スマート運転機器の本体の向きを決定することと、を含み、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することは、
前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記第1走行状態指示ランプの状態を決定することと、
各フレームの処理待ち画像により決定された前記第1走行状態指示ランプの状態に基づいて、前記第1走行状態指示ランプの状態を決定することと、を含むことを特徴とする
項目1から5のうちいずれか一項に記載の方法。
(項目7)
前記処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
前記処理待ち画像における、前記スマート運転機器の本体により占められる第1画像領域を決定することと、
前記第1画像領域における画像に基づいて、前記スマート運転機器の本体の向きを決定することと、を含むことを特徴とする
項目1から6のうちいずれか一項に記載の方法。
(項目8)
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することは、
前記処理待ち画像における、前記スマート運転機器の第1走行状態指示ランプにより占められる第2画像領域を決定することと、
前記第2画像領域における画像に基づいて、前記第1走行状態指示ランプの状態を決定することと、を含むことを特徴とする
項目1から7のうちいずれか一項に記載の方法。
(項目9)
前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定することは、
前記処理待ち画像における、前記スマート運転機器の第2走行状態指示ランプにより占められる第3画像領域を決定することと、
前記第3画像領域における画像に基づいて、前記第2走行状態指示ランプの状態を決定することと、を含むことを特徴とする
項目4から8のうちいずれか一項に記載の方法。
(項目10)
前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現され、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
前記ニューラルネットワークを利用して、前記処理待ち画像から、特徴マップを抽出することと、
前記ニューラルネットワークが抽出した特徴マップに基づいて、前記スマート運転機器の本体の向きを決定することと、を含み
前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、を含むことを特徴とする
項目5に記載の装置。
(項目11)
前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定することは、
前記ニューラルネットワークが抽出した特徴マップに基づいて、前記第2走行状態指示ランプの状態を決定することと、
前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定することと、を含み、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であって、且つ、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含み、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって、且つ、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含むことを特徴とする
項目10に記載の方法。
(項目12)
前記ニューラルネットワークは、
スマート運転機器を含むサンプル画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
決定された前記本体の向き、ラベル付けられた前記本体の向き、決定された第1走行状態指示ランプの状態、ラベル付けられた第1走行状態指示ランプの状態に基づいて、ニューラルネットワークのネットワークパラメータを調整することと、を実行することで訓練されたものであることを特徴とする
項目10又は11に記載の方法。
(項目13)
スマート運転機器の走行状態を認識する装置であって、前記装置は、
スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第1決定モジュールと、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定するように構成される第2決定モジュールと、
前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第3決定モジュールと、を備える、スマート運転機器の走行状態を認識する装置。
(項目14)
前記第3決定モジュールは、
前記本体の向きが、前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第1決定サブモジュールを備えることを特徴とする
項目13に記載の装置。
(項目15)
前記第3決定モジュールは、
前記本体の向きが、前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第2決定サブモジュールを備えることを特徴とする
項目13又は14に記載の装置。
(項目16)
前記スマート運転機器は、第2走行状態指示ランプを更に含み、前記第2走行状態指示ランプは、前記スマート運転機器が制動状態にあるかどうかを示すことに用いられ、
前記装置は、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定する前に、前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定するように構成される第4決定モジュールを更に備え、
前記第2決定モジュールは、
前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定するように構成される第3決定サブモジュールを備えることを特徴とする
項目13から15のうちいずれか一項に記載の装置。
(項目17)
前記装置は、
前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定した後、前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定するように構成される第5決定モジュールを更に備えることを特徴とする
項目16に記載の装置。
(項目18)
前記処理待ち画像は、連続する複数フレームの処理待ち画像であり、
第1決定モジュールは、
前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第4決定サブモジュールと、
各フレームの処理待ち画像により決定された前記スマート運転機器の本体の向きに基づいて、前記スマート運転機器の本体の向きを決定するように構成される第5決定サブモジュールと、を備え、
第2決定モジュールは、
前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記第1走行状態指示ランプの状態を決定するように構成される第6決定サブモジュールと、
各フレームの処理待ち画像により決定された前記第1走行状態指示ランプの状態に基づいて、前記第1走行状態指示ランプの状態を決定するように構成される第7決定サブモジュールと、を備えることを特徴とする
項目13から17のうちいずれか一項に記載の装置。
(項目19)
前記第1決定モジュールは、
前記処理待ち画像における、前記スマート運転機器の本体により占められる第1画像領域を決定するように構成される第8決定サブモジュールと、
前記第1画像領域における画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第9決定サブモジュールと、を備えることを特徴とする
項目13から18のうちいずれか一項に記載の装置。
(項目20)
前記第2決定モジュールは、
前記処理待ち画像における、前記スマート運転機器の第1走行状態指示ランプにより占められる第2画像領域を決定するように構成される第10決定サブモジュールと、
前記第2画像領域における画像に基づいて、前記第1走行状態指示ランプの状態を決定するように構成される第11決定サブモジュールと、を備えることを特徴とする
項目13から19のうちいずれか一項に記載の装置。
(項目21)
前記第4決定モジュールは、
前記処理待ち画像における、前記スマート運転機器の第2走行状態指示ランプにより占められる第3画像領域を決定するように構成される第12決定サブモジュールと、
前記第3画像領域における画像に基づいて、前記第2走行状態指示ランプの状態を決定するように構成される第13決定サブモジュールと、を備えることを特徴とする
項目16から20のうちいずれか一項に記載の装置。
(項目22)
前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現され、前記第1決定モジュールは、
前記ニューラルネットワークを利用して、前記処理待ち画像から、特徴マップを抽出するように構成される第1抽出サブモジュールと、
前記ニューラルネットワークを利用して、抽出された特徴マップに基づいて、前記スマート運転機器の本体の向きを決定するように構成される第14決定サブモジュールと、を備え、
第3決定モジュールは、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第15決定サブモジュールと、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第16決定サブモジュールと、を備えることを特徴とする
項目17に記載の装置。
(項目23)
第4決定モジュールは、
前記ニューラルネットワークを採用して、抽出された特徴マップに基づいて、前記第2走行状態指示ランプの状態を決定するように構成される第17決定サブモジュールと、
前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定するように構成される第18決定サブモジュールと、を備え、
前記第15決定サブモジュールは、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であって、且つ、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第1決定ユニットを備え、
前記第16決定サブモジュールは、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって、且つ、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第2決定ユニットを備えることを特徴とする
項目22に記載の装置。
(項目24)
前記装置は、前記ニューラルネットワークを訓練するように構成される訓練モジュールを更に備え、前記訓練モジュールは、
スマート運転機器を含むサンプル画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第19決定サブモジュールと、
前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第20決定サブモジュールと、
前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第21決定サブモジュールと、
決定された前記本体の向き、ラベル付けられた前記本体の向き、決定された第1走行状態指示ランプの状態、ラベル付けられた第1走行状態指示ランプの状態に基づいて、ニューラルネットワークのネットワークパラメータを調整するように構成される第1調整サブモジュールと、を備えることを特徴とする
項目22又は23に記載の装置。
(項目25)
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、項目1から12のうちいずれか一項に記載の方法の工程を実現させることができる、コンピュータ記憶媒体。
(項目26)
コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリに、コンピュータによる実行可能な命令が記憶されており、前記プロセッサが前記メモリにおけるコンピュータによる実行可能な命令を実行する時、項目1から12のうちいずれか一項に記載の方法の工程を実現することができる、コンピュータ機器。
(項目27)
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、項目1から12のうちいずれか一項に記載の方法の工程を実現することができる、コンピュータプログラム製品。
本願の実施例において、スマート運転機器の走行状態の認識タスクを複数のサブタスクに細分化し、まず、スマート運転機器の本体の向きの認識及びスマート運転機器における第1走行状態指示ランプの状態の認識を行い、続いて、2つの認識結果を結合することで、スマート運転機器の走行状態を決定する。これにより、スマート運転機器の走行状態の認識タスクの難度を低減させ、スマート運転機器の走行状態の認識の正確度を向上させる。
本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の具体的な技術的解決手段を更に詳しく説明する。下記実施例は、本願を説明するためのものに過ぎず、本願の範囲を限定するものではない。
本実施例で提供されるスマート運転機器の走行状態を認識する方法は、コンピュータ機器に適用される。前記コンピュータ機器は、スマート運転機器又は非スマート運転機器を含んでもよく、該方法により実現される機能は、コンピュータ機器におけるプロセッサによりプログラムコードを呼び出すことで実現されてもよい。勿論、プログラムコードは、コンピュータ記憶媒体に記憶されてもよい。該コンピュータ機器は、少なくとも、プロセッサと、記憶媒体と、を備えることが明らかである。
図1Aは、本願の実施例によるスマート運転機器の走行状態を認識する方法を示すフローチャートである。図1Aに示すように、図1Aに示す方法を参照しながら、説明する。
ステップS101において、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定する。幾つかの可能な実現形態において、前記スマート運転機器は、様々な機能を有するスマート運転機器、様々な車輪数を有するスマート運転機器等、ロボット、飛行機、盲導装置、スマートホーム機器又はスマート玩具等を含む。前記処理待ち画像は、連続する複数フレームの画像であってもよい。例えば、スマート運転機器は、車両である。処理待ち画像は、車両走行中、1秒(s)内で収集された連続する複数フレームの車両を含む画像であってもよく、連続しない複数フレームの車両を含む画像であってもよい。本願の実施例において、前記スマート運転機器が車両であることを例として説明する。スマート運転機器の本体の向きは、前記処理待ち画像を取得する装置に向かう方向を含む。該処理待ち画像は、車両の頭部を示すと理解されてもよい。つまり、ユーザは、該処理待ち画像により、車両の頭部を見ることができる。又は、スマート運転機器の本体の向きは、前記処理待ち画像を取得する装置に背を向ける方向を含む。該処理待ち画像は、車両の尾部を示すと理解されてもよい。つまり、ユーザは、該処理待ち画像により、車両の尾部を見ることができる。
ステップS102において、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定する。該車両本体の向きを分類する。第1走行状態指示ランプは、前記スマート運転機器が、制動状態、転舵状態、後退状態、又は非正常状態などのうちの1つの状態にあることを示すためのものである。1つの具体的な例において、第1走行状態指示ランプが車両の前部に位置する場合、第1走行状態指示ランプは、ターンランプ等であってもよい。ターンランプが点灯した場合、該車両が転舵しようとするか又は転舵中であると判定する。第1走行状態指示ランプが車両の後部に位置する場合、第1走行状態指示ランプは、ブレーキランプ、バックランプ又はターンランプ等であってもよい。ランプの点灯状態に基づいて、車両の走行状態を判定することができる。バックランプが点灯した場合、車両が後退状態にあることを示す。ブレーキランプが点灯した場合、車両が制動状態にあることを示す。照明ランプが点灯した場合、車両が走行状態にあることを示す。ポジションランプが点灯した場合、車両が走行状態にあることを示す。
ステップS103において、前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。幾つかの可能な実現形態において、前記ステップS103は、下記2つのケースを含む。1つ目のケースにおいて、前記本体の向きが、前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。1つの具体的な例において、本体の向きは、前記処理待ち画像を取得する装置に向かう方向であることは、該処理待ち画像がスマート運転機器の頭部を示すことを表す。車両を例として、処理待ち画像から見えるものは、例えば、ターンランプ、ポジションランプ又は照明ランプなどのような、車両の頭部に位置するランプである。車両の前部に位置するランプに基づいて、車両の走行状態を決定する。例えば、左ターンランプが滅灯して右ターンランプが点灯した場合、車両が右転舵しようとするか又は右転舵中であることを示す。2つ目のケースにおいて、前記本体の向きが、前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。1つの具体的な例において、本体の向きは、前記処理待ち画像を取得する装置に背を向ける方向であることは、処理待ち画像がスマート運転機器の尾部を示すと理解されてもよい。車両を例として、処理待ち画像から見えるものは、例えば、ターンランプ、ブレーキランプ又はバックランプ等のような、車両の尾部に位置するランプである。車両の尾部に位置するランプに基づいて、車両の走行状態を決定する。例えば、車両のブレーキランプが点灯した場合、車両が制動状態にあり、つまり、車両のブレーキペダルが踏み込まれていることを示す。
本願の実施例において、スマート運転機器の走行状態の認識タスクを複数のサブタスクに細分化し、まず、スマート運転機器の本体の向きの認識及びスマート運転機器における第1走行状態指示ランプの状態の認識を行い、続いて、2つの認識結果を結合することで、スマート運転機器の走行状態を決定する。これにより、スマート運転機器の走行状態の認識タスクの難度を低減させ、スマート運転機器の走行状態の認識の正確度を向上させる。
本願の実施例は、スマート運転機器の走行状態を認識する方法を提供する。本願の実施例において、スマート運転機器が車両であることを例とする。図1Bは、本願の実施例によるスマート運転機器の走行状態を認識する方法を示すもう1つのフローチャートである。図1Bに示すように、図1Bに示す方法を参照しながら、説明する。
ステップS121において、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定する。本体の向きをより迅速かつ正確に決定するために、ステップS121は、下記ステップにより実現してもよい。
ステップ1において、前記処理待ち画像における、前記スマート運転機器の本体により占められる第1画像領域を決定する。幾つかの可能な実現形態において、ステップS121は、ニューラルネットワークにより実現してもよい。この場合、まず、処理待ち画像に対して特徴抽出を行い、続いて、スマート運転機器の本体を含む部分的特徴マップを決定し、最後に、部分的特徴マップに基づいて、スマート運転機器の本体の向きを判定する。
ステップ2において、前記第1画像領域における画像に基づいて、前記スマート運転機器の本体の向きを決定する。幾つかの可能な実現形態において、部分的特徴マップから、スマート運転機器の本体の向きを決定する。従って、スマート運転機器の本体を含む部分的特徴マップのみにより、本体の向きを判定することで、演算量を低減させるだけでなく、本体の向きをより正確に判定することもできる。
ステップS122において、前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定する。幾つかの可能な実現形態において、前記第2走行状態指示ランプは、前記スマート運転機器が制動状態にあるかどうかを示すためのものである。例えば、車両のハイマウントブレーキランプである。第2走行状態指示ランプの状態は、少なくとも、点灯、滅灯又は無しのうちの1つを含む。ここで、無しは、該処理待ち画像から、第2走行状態指示ランプが検出されていないことを示す。本願の実施例において、第2走行状態指示ランプの滅灯及び無しを滅灯と総称する。幾つかの可能な実現形態において、ステップS122は、ニューラルネットワークにより実現されてもよい。この場合、まず、該処理待ち画像に対して特徴抽出を行い、前記特徴マップを得る。続いて、該特徴マップに基づいて、第2走行状態指示ランプの状態を分類する。上記ステップS121とステップS122との間に先後関係はない。ステップS122の後に、第2走行状態指示ランプの状態は、滅灯であり、ステップS123へ進み、第2走行状態指示ランプの状態は、点灯であり、ステップS125へ進む。第2走行状態指示ランプの状態をより迅速かつ正確に決定するために、ステップS122はさらに、下記ステップにより実現されてもよい。ステップ1において、前記処理待ち画像における、前記スマート運転機器の第2走行状態指示ランプにより占められる第3画像領域を決定する。幾つかの可能な実現形態において、ステップS122は、ニューラルネットワークにより実現してもよい。この場合、まず、処理待ち画像に対して特徴抽出を行い、続いて、スマート運転機器の第2走行状態指示ランプを含む部分的特徴マップを決定し、最後に、部分的特徴マップに基づいて、スマート運転機器の第2走行状態指示ランプの状態を判定する。ステップ2において、前記第3画像領域における画像に基づいて、前記第2走行状態指示ランプの状態を決定する。幾つかの可能な実現形態において、部分的特徴マップから、スマート運転機器の第2走行状態指示ランプの状態を決定する。従って、スマート運転機器の第2走行状態指示ランプを含む部分的特徴マップのみにより、第2走行状態指示ランプの状態を判定することで、演算量を低減させるだけでなく、第2走行状態指示ランプの状態をより正確に判定することもできる。
ステップS123において、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定する。幾つかの可能な実現形態において、第2走行状態指示ランプの状態が滅灯である場合、第2走行状態指示ランプが検出されていないか又は第2走行状態指示ランプが滅灯であるという2つのケースを含む。従って、引き続き、第1走行状態指示ランプの状態を決定し、続いて、第1走行状態指示ランプの状態に基づいて、スマート運転機器の走行状態を決定する。例えば、ハイマウントブレーキランプが検出されていないことは、処理待ち画像に車両の頭部が示されるか又は車両がハイマウントブレーキランプを備えないことを意味する。従って、引き続き、車両の第1走行状態指示ランプを検出し、車両が操舵中であるか又は直進中であるかを決定する。第1走行状態指示ランプの状態をより迅速かつ正確に決定するために、ステップS123はさらに、下記ステップにより実現されてもよい。ステップ1において、前記処理待ち画像における、前記スマート運転機器の第1走行状態指示ランプにより占められる第2画像領域を決定する。幾つかの可能な実現形態において、ステップS123は、ニューラルネットワークにより実現してもよい。この場合、まず、処理待ち画像に対して特徴抽出を行い、続いて、スマート運転機器の第1走行状態指示ランプを含む部分的特徴マップを決定し、最後に、部分的特徴マップに基づいて、スマート運転機器の第2走行状態指示ランプの状態を判定する。ステップ2において、前記第2画像領域における画像に基づいて、前記第1走行状態指示ランプの状態を決定する。幾つかの可能な実現形態において、部分的特徴マップから、スマート運転機器の第1走行状態指示ランプの状態を決定する。従って、スマート運転機器の第1走行状態指示ランプを含む部分的特徴マップのみにより、第1走行状態指示ランプの状態を判定することで、演算量を低減させるだけでなく、第1走行状態指示ランプの状態をより正確に判定することもできる。第2走行状態指示ランプの状態が滅灯である場合、1つの具体的な例において、前記本体の向きが前向きであることに応答して、前記処理待ち画像をニューラルネットワークの第1分岐に入力し、前記第1走行状態指示ランプを得る。前記本体のターゲット向きが後向きであることに応答して、前記処理待ち画像をニューラルネットワークの第2分岐に入力し、前記第1走行状態指示ランプを得る。例えば、本体のターゲット向きが前向きであると、車両の前部の左右の2つのターンランプを分類し、車両の前部の左右の2つのターンランプを含む処理待ち画像をニューラルネットワークの第1分岐(例えば、分類器)に入力する必要がある。つまり、ニューラルネットワークの第1分岐により、車両の前部の左右の2つのターンランプを分類する。本体のターゲット向きが後向きであると、車両の後部の左右の2つのターンランプを分類し、車両の後部の左右の2つのターンランプを含む処理待ち画像をニューラルネットワークの第2分岐(例えば、分類器)に入力する必要がある。つまり、第2分岐により、車両の後部の左右の2つのターンランプを分類する。ターンランプは、車頭又は車尾の左右両側のランプを含む。本願の実施例において、同一の処理待ち画像に表示される車頭又は車尾の左右両側のランプを一組とすると、第1走行状態指示ランプの状態は、(左側ターンランプが点灯し、右側ターンランプが点灯した状態)、(左側ターンランプが点灯し、右側ターンランプが滅灯した状態)、(左側ターンランプが滅灯し、右側ターンランプが点灯した状態)及び(左側ターンランプが滅灯し、右側ターンランプが滅灯した状態)という複数の組み合わせを含む。
ステップS124において、前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。
ステップS125において、前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定する。1つの具体的な例において、車両のハイマウントブレーキランプが点灯した場合、車両が制動状態にあることを示す。車両の第1走行状態指示ランプを検出する必要がない。
本願の実施例において、スマート運転機器の第2走行状態指示ランプを検出することで、スマート運転機器が制動状態にあるかどうかを迅速に決定することができる。制動状態でなければ、引き続き、スマート運転機器の第1走行状態指示ランプを検出する。これにより、車両の走行状態を正確に予測する。
本願の実施例は、スマート運転機器の走行状態を認識する方法を提供する。本願の実施例において、スマート運転機器が車両であることを例とする。前記処理待ち画像は、連続する複数フレームの処理待ち画像である。図1Cは、本願の実施例によるスマート運転機器の走行状態を認識する方法を示すまた1つのフローチャートである。図1Cに示すように、図1Cに示す方法を参照しながら、説明する。
ステップS131において、前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定する。幾つかの可能な実現形態において、ステップS131は、ニューラルネットワークにより実現されてもよい。この場合、連続する複数フレームの処理待ち画像のうちの各フレームの画像に対して特徴抽出を行い、続いて、各フレームの処理待ち画像に対して、該特徴マップに基づいて、該フレームの処理待ち画像における本体の向きを決定する。
ステップS132において、各フレームの処理待ち画像により決定された前記スマート運転機器の本体の向きに基づいて、前記スマート運転機器の本体の向きを決定する。1つの具体的な例において、例えば、車両を回頭させている場合、前の1フレームの処理待ち画像において、車両の本体の向きは、処理待ち画像を取得する装置に向かう方向である。その後に回頭に成功した。全ての後の複数フレームの処理待ち画像において、車両の本体の向きは、処理待ち画像を取得する装置に背を向ける方向である。従って、最終的に、車両の本体の向きが処理待ち画像を取得する装置に背を向ける方向であると決定する。これにより、本体の向きに対する誤判定を避けることができる。
ステップS133において、前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記第1走行状態指示ランプの状態を決定する。幾つかの可能な実現形態において、各フレームの処理待ち画像に対して、該特徴マップに基づいて、該フレームの処理待ち画像における第1走行状態指示ランプの状態を決定する。
ステップS134において、各フレームの処理待ち画像により決定された前記第1走行状態指示ランプの状態に基づいて、前記第1走行状態指示ランプの状態を決定する。1つの具体的な例において、例えば、車両に故障が発生し、非常灯が点滅している場合、前の1フレームの処理待ち画像のみに基づいて、車両の第1走行状態指示ランプの状態を判定すれば、誤判定を発生してしまう。連続する複数フレームの処理待ち画像のうちの各フレームの画像における第1走行状態指示ランプの状態によれば、このような誤判定を避けることができる。従って、第1走行状態指示ランプの状態をより正確に判定することができる。
ステップS135において、前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。本願の実施例において、連続する複数フレームの処理待ち画像に基づいて、スマート運転機器の本体の向き及び第1走行状態指示ランプの状態を判定し、続いて、これに基づいて、スマート運転機器の走行状態を予測することで、本体の向き及び第1走行状態指示ランプの状態に対する誤判定を避け、スマート運転機器の走行状態の予測の正確度を向上させる。
本願の実施例は、スマート運転機器の走行状態を認識する方法を提供する。前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現される。図2Aは、本願の実施例によるスマート運転機器の走行状態を認識する方法を示すもう1つのフローチャートである。図2Aに示すように、図2Aに示す方法を参照しながら、説明する。
ステップS201において、前記ニューラルネットワークを利用して、前記処理待ち画像から、特徴マップを抽出する。1つの具体的な例において、処理待ち画像を残差ネットワーク(ResNetネットワーク)に入力し、該処理待ち画像に対して特徴抽出を行い、該処理待ち画像の特徴マップを得る。
ステップS202において、前記ニューラルネットワークが、抽出した特徴マップに基づいて、前記スマート運転機器の本体の向きを決定する。1つの具体的な例において、複数の処理待ち画像の特徴マップを前記ニューラルネットワークの第1分岐に入力し、各本体の向きの信頼度を得て、信頼度が所定の信頼度閾値より大きい本体の向きをスマート運転機器の本体の向きとする。
ステップS203において、前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。幾つかの可能な実現形態において、前記ニューラルネットワークの第1分岐は、スマート運転機器の前部の第1走行状態指示ランプの状態を分類することに用いられる。本体の向きが前記処理待ち画像を取得する装置に向かう方向である場合、連続する複数フレームの処理待ち画像の特徴マップを該ニューラルネットワークの第1分岐に入力し、各可能な第1走行状態指示ランプの状態の信頼度を得る。例えば、第1走行状態指示ランプの状態が(左ランプが滅灯して右ランプが滅灯した状態)、右ランプが滅灯して左ランプが点灯した状態、又は左ランプが滅灯して右ランプが点灯した状態などである場合の信頼度を得る。続いて、信頼度が所定の信頼度閾値より大きい第1走行状態指示ランプの状態を、スマート運転機器の第1走行状態指示ランプの状態とする。1つの具体的な例において、信頼度が大きい第1走行状態指示ランプの状態は、該第1走行状態指示ランプの状態が真実の第1走行状態指示ランプの状態である確率が大きいことを表す。従って、信頼度が所定の信頼度閾値より大きい第1走行状態指示ランプの状態を第1ランプのターゲット状態とすることで、第1分岐により得られた分類結果の正確度を確保する。
ステップS204において、前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。幾つかの可能な実現形態において、前記ニューラルネットワークの第2分岐は、スマート運転機器の後部の第1走行状態指示ランプの状態を分類することに用いられる。本体の向きが前記処理待ち画像を取得する装置に背を向ける方向である場合、該処理待ち画像に、例えば、車両の尾部のようなスマート運転機器の尾部が示される。従って、処理待ち画像から、スマート運転機器の後部の第1走行状態指示ランプの状態を取得することができる。つまり、車両の尾部の左右両側のターンランプの状態を取得する。連続する複数フレームの処理待ち画像の特徴マップを該ニューラルネットワークの第2分岐に入力し、各可能な第1走行状態指示ランプの状態の信頼度を得る。例えば、第1走行状態指示ランプの状態が(左ランプが滅灯して右ランプが滅灯した状態)、右ランプが滅灯して左ランプが点灯した状態、又は左ランプが滅灯して右ランプが点灯した状態などである場合の信頼度を得る。続いて、信頼度が所定の信頼度閾値より大きい第1走行状態指示ランプの状態を、スマート運転機器の第1走行状態指示ランプの状態とする。
本願の実施例において、ニューラルネットワークを利用して、まず、処理待ち画像に対して特徴抽出を行い、続いて、ニューラルネットワークは、特徴マップに基づいて、各可能な本体の向きの信頼度及び各可能な第1走行状態指示ランプの状態を決定し、信頼度が大きいものをスマート運転機器の本体の向き及び第1走行状態指示ランプの状態とする。最後に、このような信頼度が大きい本体の向き及び信頼度が大きい第1走行状態指示ランプの状態に基づいて、スマート運転機器の走行状態を認識する。スマート運転機器の走行状態の認識タスクを複数のサブタスクに細分化し、まず、スマート運転機器の本体の向きの認識及びスマート運転機器における第1走行状態指示ランプの状態の認識を行い、続いて、2つの認識結果を結合することで、スマート運転機器の走行状態を決定する。これにより、スマート運転機器の走行状態の認識タスクの難度を低減させ、スマート運転機器の走行状態の認識の正確度を向上させる。
本願の実施例は、スマート運転機器の走行状態を認識する方法を提供する。前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現される。図2Bは、本願の実施例によるスマート運転機器の走行状態を認識する方法を示すまた1つのフローチャートである。図2Bに示すように、図2Bに示す方法を参照しながら、説明する。
ステップS221において、前記ニューラルネットワークを利用して、前記処理待ち画像から特徴マップを抽出する。1つの具体的な例において、処理待ち画像を残差ネットワーク(ResNetネットワーク)に入力し、該処理待ち画像に対して特徴抽出を行い、該処理待ち画像の特徴マップを得る。
ステップS222において、前記ニューラルネットワークが、抽出された特徴マップに基づいて、前記スマート運転機器の本体の向きを決定する。1つの具体的な例において、複数の処理待ち画像の特徴マップを前記ニューラルネットワークの第1分岐に入力し、各本体の向きの信頼度を得て、信頼度が所定の信頼度閾値より大きい本体の向きをスマート運転機器の本体の向きとする。図2Cに示すように、画像21に、車両22の尾部が示される。画像21における車両22の本体の向きを後向きと決定する。つまり、本体の向きは、処理待ち画像を取得する装置に背を向ける方向である。
ステップS223において、ニューラルネットワークが、抽出された特徴マップに基づいて、前記第2走行状態指示ランプの状態を決定する。幾つかの可能な実現形態において、第2走行状態指示ランプは、スマート運転機器のハイマウントブレーキランプであってもよい。連続する複数フレームの処理待ち画像の特徴マップを該ニューラルネットワークに入力し、各可能な第2走行状態指示ランプの状態の信頼度を得る。例えば、第2走行状態指示ランプの状態が点灯又は滅灯である信頼度を得る。続いて、信頼度が所定の信頼度閾値より大きい第2走行状態指示ランプの状態をスマート運転機器の第2走行状態指示ランプの状態とする。これにより、第2走行状態指示ランプの状態の認識の正確度を確保する。
ステップS224において、前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であって、且つ、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。幾つかの可能な実現形態において、本体の向きが前記処理待ち画像を取得する装置に向かう方向であって(つまり、本体の向きが前向きである)、且つ、前記第2走行状態指示ランプの状態が滅灯である場合、特徴マップをニューラルネットワークの第1分岐に入力し、複数の可能な車両の頭部の第1走行状態指示ランプの状態の信頼度を得て、続いて、信頼度が大きいものを第1走行状態指示ランプの状態とする。
ステップS225において、前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって、且つ、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。幾つかの可能な実現形態において、本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって(つまり、本体の向きが後向きである)、且つ、前記第2走行状態指示ランプの状態が滅灯である場合、特徴マップをニューラルネットワークの第2分岐に入力し、複数の可能な車両の後部の第1走行状態指示ランプの状態の信頼度を得て、続いて、信頼度が大きいものを第1走行状態指示ランプの状態とする。
ステップS226において、前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定する。在本願の実施例において、ニューラルネットワークを利用してスマート運転機器の本体の向き及び複数の指示ランプの状態を詳細に分類することで、本体の向き及び複数の指示ランプの状態の認識の正確度を確保する。従って、これに基づいてスマート運転機器の走行状態を認識する場合の正確度を確保する。
上記工程によれば、前記ニューラルネットワークは、下記ステップで訓練されたものである。図2Dに示すように、図2Dを参照しながら、下記のように説明する。
ステップS231において、スマート運転機器を含むサンプル画像を取得する。幾つかの可能な実現形態において、前記スマート運転機器が車両であることを例として説明する。車両を含む複数枚のサンプル画像を取得する。例えば、車両パターンを含むサンプル画像を取得する。
ステップS232において、スマート運転機器を含むサンプル画像に基づいて、前記スマート運転機器の本体の向きを決定する。幾つかの可能な実現形態において、サンプル画像における、前記スマート運転機器の本体の向きを表すタグ情報に基づいて、該マート運転機器の本体の向きを決定し、特徴マップを該ニューラルネットワークの分岐に入力し、該スマート運転機器の第1走行状態指示ランプの状態を得る。例えば、本体の向きが前記サンプル画像を取得する装置に向かう方向である場合、特徴マップを第1分岐に入力し、スマート運転機器の前部の第1走行状態指示ランプの状態を得る。例えば、車両の前部の左右両側のターンランプの状態を得る。本体の向きが前記サンプル画像を取得する装置に背を向ける方向である場合、特徴マップを第2分岐に入力し、スマート運転機器の後部の第1走行状態指示ランプの状態を得る。例えば、車両の後部の左右両側のターンランプの状態を得る。これにより、異なる本体の向きに対して,異なる分岐を訓練し、タスクを更に細分化し分類することで、第1走行状態指示ランプの状態の分類の正確度を確保する。
ステップS233において、前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。
ステップS234において、前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。
ステップS235において、決定された前記本体の向き、ラベル付けられた前記本体の向き、決定された第1走行状態指示ランプの状態、ラベル付けられた第1走行状態指示ランプの状態に基づいて、ニューラルネットワークのネットワークパラメータを調整する。幾つかの可能な実現形態において、前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、スマート運転機器の前部の第1走行状態指示ランプの状態及びラベル付けられた前部の第1走行状態指示ランプの状態により、走行状態の所定の損失関数を決定する。該損失関数を利用して、ニューラルネットワークの第1分岐のネットワークパラメータを調整する。これにより調整された第1分岐は、スマート運転機器の前部の第1走行状態指示ランプの状態を正確に予測することができる。前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、スマート運転機器の後部の第1走行状態指示ランプの状態及びラベル付けられた後部の第1走行状態指示ランプの状態により、走行状態の所定の損失関数を決定する。該損失関数を利用して、ニューラルネットワークの第2分岐のネットワークパラメータを調整する。これにより調整された第2分岐は、スマート運転機器の後部の第1走行状態指示ランプの状態を正確に予測することができる
本願の実施例は、スマート運転機器の走行状態を認識する方法を提供する。スマート運転機器が車両であることを例として、まず、深層学習フレームワークを利用して、ランプの属性を認識し、続いて、大量の訓練データにより、訓練されたニューラルネットワークに、より高いロバスト性を持たせ、種々の適用シーンに好適に適用可能にする。関連技術において、ランプ属性認識により、全てのカテゴリのピクチャに対して大まかに分類し、ブレーキランプ認識とターンランプ認識に分ける。本願の実施例は、タスクを細分化し、サブタスクを処理する。まず、スマート運転機器の属性を認識し、異なる分岐により、訓練を行うことで、ランプ属性の細かいカテゴリの認識を実現させることができる。なお、キーポイントにより、ランプの位置を判定し、キーポイントの可視性情報を利用して、正確なランプ位置を得て、ランプ属性の判定の正確率をより高くする。
本願の実施例は、スマート運転機器の走行状態を認識する方法を提供する。スマート運転機器が車両であることを例として、まず、深層学習フレームワークを利用して、ランプの属性を認識し、続いて、大量の訓練データにより、訓練されたニューラルネットワークに、より高いロバスト性を持たせ、種々の適用シーンに好適に適用可能にする。関連技術において、ランプ属性認識により、全てのカテゴリのピクチャに対して大まかに分類し、ブレーキランプ認識とターンランプ認識に分ける。本願の実施例は、タスクを細分化し、サブタスクを処理する。まず、スマート運転機器の属性を認識し、異なる分岐により、訓練を行うことで、ランプ属性の細かいカテゴリの認識を実現させることができる。なお、キーポイントにより、ランプの位置を判定し、キーポイントの可視性情報を利用して、正確なランプ位置を得て、ランプ属性の判定の正確率をより高くする。
図3は、本願の実施例によるニューラルネットワークの訓練方法を示すまた1つのフローチャートである。図3に示すように、図3を参照しながら、下記のように説明する。
ステップS301において、スマート運転機器を含むサンプル画像をニューラルネットワークに入力し、該サンプル画像の特徴マップを得る。
ステップS302において、該特徴マップをニューラルネットワークに入力し、本体の向き及び第2走行状態指示ランプの状態を得る。幾つかの可能な実現形態において、車両本体のキーポイント情報を利用して、該キーポイント情報に基づいて、特徴マップにおける車両本体の所在する位置(該サンプル画像における、車両本体により占められる第1画像領域)を得て、該部分的特徴マップをニューラルネットワークに入力し、本体の向きを得る。車両の第2走行状態指示ランプのキーポイント情報を利用して、該キーポイント情報に基づいて、特徴マップにおける第2走行状態指示ランプの所在する位置(該サンプル画像における、車両の第2走行状態指示ランプにより占められる第3画像領域)を得て、該部分的特徴マップをニューラルネットワークに入力し、第2走行状態指示ランプの状態を得る。
ステップS303において、ラベル付けられた本体の向き及びラベル付けられた第2走行状態指示ランプの状態に基づいて、ニューラルネットワークから出力された本体の向きに対応する損失及び第2走行状態指示ランプの状態に対応する損失を決定する。幾つかの可能な実現形態において、本体の向きが2つであるため、本体の向きに対応する損失は、デュアルクラスクロスエントロピー損失である。第2走行状態指示ランプの状態は、例えば、点灯及び滅灯という2つの状態を含む(ここで、滅灯状態は、第2走行状態指示ランプが滅灯したこと及び第2走行状態指示ランプが存在しないという2つのケースを含む)。従って、第2走行状態指示ランプの状態に対応する損失は、デュアルクラスクロスエントロピー損失である。
ステップS304において、本体の向きに対応する損失及び第2走行状態指示ランプの状態に対応する損失を利用して、ニューラルネットワークのネットワークパラメータを調整する。
ステップS305において、本体の向きが前記サンプル画像を取得する装置に向かう方向であって、且つ、第2走行状態指示ランプの状態が滅灯であることに応答して、特徴マップをニューラルネットワークの第1分岐に入力し、車両の前部の第1走行状態指示ランプの状態を得る。幾つかの可能な実現形態において、車両の前部の第1走行状態指示ランプのキーポイント情報を利用して、キーポイント情報に基づいて、特徴マップにおける車両の前部の第1走行状態指示ランプの所在する位置(該サンプル画像における、車両の前部の第1走行状態指示ランプにより占められる第2画像領域)を得て、該部分的特徴マップをニューラルネットワークに入力し、車両の前部の第1走行状態指示ランプの状態を得る。
ステップS306において、前部の第1走行状態指示ランプの状態に対応する損失に基づいて、第1分岐のネットワークパラメータを調整する。
ステップS307において、本体の向きが前記サンプル画像を取得する装置に背を向ける方向であって、且つ、第2走行状態指示ランプの状態が滅灯であることに応答して、特徴マップをニューラルネットワークの第2分岐に入力し、車両の後部の第1走行状態指示ランプの状態を得る。幾つかの可能な実現形態において、車両の後部の第1走行状態指示ランプのキーポイント情報を利用して、キーポイント情報に基づいて、特徴マップにおける車両の後部の第1走行状態指示ランプの所在する位置(該サンプル画像における、車両の後部の第1走行状態指示ランプにより占められる第2画像領域)を得て、該部分的特徴マップをニューラルネットワークに入力し、車両の後部の第1走行状態指示ランプの状態を得る。
ステップS308において、後部の第1走行状態指示ランプの状態に対応する損失に基づいて、第2分岐のネットワークパラメータを調整する。幾つかの可能な実現形態において、第1走行状態指示ランプの状態は、例えば、(左側ターンランプが点灯し、右側ターンランプが点灯した状態)、(左側ターンランプが点灯し、右側ターンランプが滅灯した状態)、(左側ターンランプが滅灯し、右側ターンランプが点灯した状態)及び(左側ターンランプが滅灯し、右側ターンランプが滅灯した状態)等のような複数の可能な状態を含むため、第1走行状態指示ランプの状態に対応する損失は、マルチクラスクロスエントロピー損失。該損失に基づいて、ニューラルネットワークの第1分岐及び第2分岐の、重みなどのようなネットワークパラメータを調整することで、調整されたニューラルネットワークの第1分岐及び第2分岐による車両の指示ランプの分類の正確度をより高くする。
本願の実施例において、車両方向分類器とランプ属性分類器を結合し、車両自体の属性を更に細分化し、ランプ属性の認識を補助する。テールランプ及びターンランプの属性認識を単一フレームによるランプ属性認識とマルチフレーム併用による判別に分ける。単一フレームの認識の正確率を向上させることで、車両属性認識プロセスを簡略化する。また、キーポイント及び可視性情報により判定を補助し、ランプの位置をより正確に位置決めし、分類をより正確にする。
本願の実施例は、スマート運転機器の走行状態を認識する装置を提供する。図4は、本願の実施例によるスマート運転機器の走行状態を認識する装置の構造を示す概略図である。図4に示すように、前記スマート運転機器の走行状態を認識する装置400は、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第1決定モジュール401と、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定するように構成される第2決定モジュール402と、前記本体の向き及び前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第3決定モジュール403と、を備える。
上記装置において、前記第3決定モジュール403は、前記本体の向きが、前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第1決定サブモジュールを備える。
上記装置において、前記第3決定モジュール403は、前記本体の向きが、前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第2決定サブモジュールを備える。
上記装置において、前記スマート運転機器は、第2走行状態指示ランプを更に含み、前記第2走行状態指示ランプは、前記スマート運転機器が制動状態にあるかどうかを示すことに用いられ、前記装置は、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定する前に、前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定するように構成される第4決定モジュールを更に備え、前記第2決定モジュール402は、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定するように構成される第3決定サブモジュールを備える。
上記装置において、前記装置は、前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定した後、前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定するように構成される第5決定モジュールを更に備える。
上記装置において、前記処理待ち画像は、連続する複数フレームの処理待ち画像であり、第1決定モジュール401は、前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第4決定サブモジュールと、各フレームの処理待ち画像により決定された前記スマート運転機器の本体の向きに基づいて、前記スマート運転機器の本体の向きを決定するように構成される第5決定サブモジュールと、を備え、第2決定モジュール402は、前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記第1走行状態指示ランプの状態を決定するように構成される第6決定サブモジュールと、各フレームの処理待ち画像により決定された前記第1走行状態指示ランプの状態に基づいて、前記第1走行状態指示ランプの状態を決定するように構成される第7決定サブモジュールと、を備える。
上記装置において、前記第1決定モジュール401は、前記処理待ち画像における、前記スマート運転機器の本体により占められる第1画像領域を決定するように構成される第8決定サブモジュールと、前記第1画像領域における画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第9決定サブモジュールと、を備える。
上記装置において、前記第2決定モジュール402は、前記処理待ち画像における、前記スマート運転機器の第1走行状態指示ランプにより占められる第2画像領域を決定するように構成される第10決定サブモジュールと、前記第2画像領域における画像に基づいて、前記第1走行状態指示ランプの状態を決定するように構成される第11決定サブモジュールと、を備える。
上記装置において、前記第4決定モジュールは、前記処理待ち画像における、前記スマート運転機器の第2走行状態指示ランプにより占められる第3画像領域を決定するように構成される第12決定サブモジュールと、前記第3画像領域における画像に基づいて、前記第2走行状態指示ランプの状態を決定するように構成される第13決定サブモジュールと、を備える。
上記装置において、前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現され、前記第1決定モジュールは、前記ニューラルネットワークを利用して、前記処理待ち画像から、特徴マップを抽出するように構成される第1抽出サブモジュールと、前記ニューラルネットワークを利用して、抽出された特徴マップに基づいて、前記スマート運転機器の本体の向きを決定するように構成される第14決定サブモジュールと、を備え、第3決定モジュール403は、前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第15決定サブモジュールと、前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第16決定サブモジュールと、を備える。
上記装置において、第4決定モジュールは、前記ニューラルネットワークを採用して、抽出された特徴マップに基づいて、前記第2走行状態指示ランプの状態を決定するように構成される第17決定サブモジュールと、前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定するように構成される第18決定サブモジュールと、を備え、前記第15決定サブモジュールは、前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であって、且つ、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第1決定ユニットを備え、前記第16決定サブモジュールは、前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって、且つ、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第2決定ユニットを備える。
上記装置において、前記装置は、前記ニューラルネットワークを訓練するように構成される訓練モジュールを更に備え、前記訓練モジュールは、スマート運転機器を含むサンプル画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第19決定サブモジュールと、前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第20決定サブモジュールと、前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第21決定サブモジュールと、決定された前記本体の向き、ラベル付けられた前記本体の向き、決定された第1走行状態指示ランプの状態、ラベル付けられた第1走行状態指示ランプの状態に基づいて、ニューラルネットワークのネットワークパラメータを調整するように構成される第1調整サブモジュールと、を備える。
上記装置の実施例に関する説明は、上記方法の実施例に関する説明と類似しており、方法の実施例と類似した有益な効果を有することに留意されたい。本願の装置の実施例で説明されない技術的な詳細については、本願の方法の実施例の説明を参照されたい。本願の実施例において、上記インスタントメッセージング方法がソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよいことに留意されたい。のような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、一台のインスタントメッセージング機器(端末、サーバ等)に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、USBメモリ、リムーバブルハードディスク、読み出し専用メモリ(Read-only Me
mory:ROM)、磁気ディスク又は光ディスなど、プログラムコードを記憶可能な各種の媒体を含む。従って、本出願の実施例は、如何なる特定のハードウェアとソフトウェアの組み合わせにも限定されない。
mory:ROM)、磁気ディスク又は光ディスなど、プログラムコードを記憶可能な各種の媒体を含む。従って、本出願の実施例は、如何なる特定のハードウェアとソフトウェアの組み合わせにも限定されない。
なお、本願の実施例は、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体に、コンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、本願の実施例で提供されるスマート運転機器の走行状態を認識する方法における工程を実現させることができる。なお、本願の実施例は、コンピュータ機器を提供する。前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリに、コンピュータによる実行可能な命令が記憶されており、前記プロセッサが前記メモリにおけるコンピュータによる実行可能な命令を実行する時、本願の実施例で提供されるスマート運転機器の走行状態を認識する方法における工程を実現させることができる。なお、本願の実施例は、コンピュータ機器を提供する。図5は、本願の実施例によるコンピュータ機器の構造を示す概略図である。図5に示すように、該コンピュータ機器500のハードウェアエンティティは、プロセッサ501と、通信インタフェース502と、メモリ503と、を備え、プロセッサ501は、一般的には、コンピュータ機器500の全体操作を制御する.通信インタフェース502は、コンピュータ機器がネットワークを経由して他の端末又はサーバと通信するようにすることができる。メモリ503は、プロセッサ501による実行可能な命令及びアプリケーションを記憶するように構成され、また、プロセッサ501及びコンピュータ機器500における各モジュールにより処理されるか又は処理されたデータ(例えば、画像データ、オーディオデータ、音声通信データ及びビデオ通信データ)をキャッシュすることもでき、これは、FLASH(登録商標)(フラッシュ)又はランダムアクセスメモリ(Random Access Memory:RAM)により実現する。上記スマート運転機器の走行状態を認識する装置、コンピュータ機器及び記憶媒体の実施例に関する説明は、上記方法の実施例に関する説明と類似しており、方法の実施例と類似した有益な効果を有する。紙数に限りがあるため、上記方法の実施例の説明を参照することができ、ここで、詳細な説明を省略する。本願の走行軌跡予測装置、コンピュータ機器及び記憶媒体の実施例で説明されない技術的な詳細については、本願の方法の実施例の説明を参照されたい。明細書全文を通じて述べられる「1つの実施例」または「一実施例」は、実施例に関連する特定の特徴、構造または特性が、本願の少なくとも1つの実施例の中に含まれることを意味すると理解されたい。従って、本明細書全体を通して出現する「1つの実施例において」又は「一実施例において」は、同じ実施例を指すとは限らない。また、これらの特定の特徴、構造または特性は、任意かつ適切な方式で1つまたは複数の実施例に組み入れられることができる。本願の各実施例において、上記各プロセスの番号の大きさは、実行順の前後を意味するのではなく、各プロセスの実行順は、その機能および内在的な論理によって確定されるものであり、本発明の実施例の実施プロセスに対しいっさい限定を構成しないと理解すべきである。上記の本発明に係る実施例の番号は、ただ、記述するためのものであり、実施例の優劣を代表しない。本明細書において、用語「含む」、「備える」、またはそれらの他のいずれかの変形は、非排他的包含を包括するように意図される。従って、一連の要素を含むプロセス、方法、品目又は装置は、これらの要素を含むだけでなく、明確に列挙されていない他の要素も含み、又は、このようなプロセス、方法、品目又は装置に固有の要素も含む。更なる限定が存在しない場合、“・・・を含む”なる文章によって規定される要素は、該要素を有するプロセス、方法、品目又は装置内に、同じ要素が更に存在することを排除しない。
本願で提供される幾つかの実施例において、開示される装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインターフェイス、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
分離部材として説明した該ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、2つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとの組み合わせて実現してもよい。
上記各方法に係る実施例の全部又は一部のステップはプログラム命令に係るハードウェアにより実現され、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶されてもよく、該プログラムが実行される時、上記方法の実施例におけるステップを実行し、前記記憶媒体は、携帯型記憶装置、読み出し専用メモリ(Read-only Memor
y:ROM)、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含むことは、当業者でれば、理解すべきである。
y:ROM)、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含むことは、当業者でれば、理解すべきである。
又は、本願の上記集積したユニットがソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、コンピュータ機器(パーソナルコンピュータ、サーバな又はネットワーク装置など)に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、携帯型記憶装置、ROM、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
以上は本願の実施形態に過ぎず、本願の保護の範囲はそれらに制限されるものではなく、当業者が本願に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。
Claims (15)
- スマート運転機器の走行状態を認識する方法であって、前記方法は、
スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することと、
前記本体の向きおよび前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと
を含み、
前記スマート運転機器は、第2走行状態指示ランプを更に含み、前記第2走行状態指示ランプは、前記スマート運転機器が制動状態にあるかどうかを示すことに用いられ、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定する前に、前記方法は、
前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定することと、
前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定することと
を更に含む、方法。 - 前記本体の向きおよび前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが、前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含む、請求項1に記載の方法。 - 前記本体の向きおよび前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが、前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含む、請求項1または請求項2に記載の方法。 - 前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することは、
前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することを含む、請求項1~3のうちいずれか一項に記載の方法。 - 前記処理待ち画像は、連続する複数フレームの処理待ち画像であり、
前記処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
各フレームの処理待ち画像により決定された前記スマート運転機器の本体の向きに基づいて、前記スマート運転機器の本体の向きを決定することと
を含み、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することは、
前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記第1走行状態指示ランプの状態を決定することと、
各フレームの処理待ち画像により決定された前記第1走行状態指示ランプの状態に基づいて、前記第1走行状態指示ランプの状態を決定することと
を含む、請求項1~4のうちいずれか一項に記載の方法。 - 前記処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
前記処理待ち画像における、前記スマート運転機器の本体により占められる第1画像領域を決定することと、
前記第1画像領域における画像に基づいて、前記スマート運転機器の本体の向きを決定することと
を含む、請求項1~5のうちいずれか一項に記載の方法。 - 前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定することは、
前記処理待ち画像における、前記スマート運転機器の第1走行状態指示ランプにより占められる第2画像領域を決定することと、
前記第2画像領域における画像に基づいて、前記第1走行状態指示ランプの状態を決定することと
を含む、請求項1~6のうちいずれか一項に記載の方法。 - 前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定することは、
前記処理待ち画像における、前記スマート運転機器の第2走行状態指示ランプにより占められる第3画像領域を決定することと、
前記第3画像領域における画像に基づいて、前記第2走行状態指示ランプの状態を決定することと
を含む、請求項4~7のうちいずれか一項に記載の方法。 - 前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現され、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
前記ニューラルネットワークを利用して、前記処理待ち画像から、特徴マップを抽出することと、
前記ニューラルネットワークが抽出した特徴マップに基づいて、前記スマート運転機器の本体の向きを決定することと
を含み
前記本体の向きおよび前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと
を含む、請求項1に記載の方法。 - 前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定することは、
前記ニューラルネットワークが抽出した特徴マップに基づいて、前記第2走行状態指示ランプの状態を決定することと、
前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定することと
を含み、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であって、且つ、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含み、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって、且つ、前記第2走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含む、請求項9に記載の方法。 - 前記ニューラルネットワークは、
スマート運転機器を含むサンプル画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第1分岐を利用して、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第2分岐を利用して、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
決定された前記本体の向き、ラベル付けられた前記本体の向き、決定された第1走行状態指示ランプの状態、ラベル付けられた第1走行状態指示ランプの状態に基づいて、ニューラルネットワークのネットワークパラメータを調整することと
を実行することで訓練されたものである、請求項9または請求項10に記載の方法。 - スマート運転機器の走行状態を認識する装置であって、前記装置は、
スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成されている第1決定モジュールと、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定するように構成されている第2決定モジュールと、
前記本体の向きおよび前記第1走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成されている第3決定モジュールと
を備え、
前記スマート運転機器は、第2走行状態指示ランプを更に含み、前記第2走行状態指示ランプは、前記スマート運転機器が制動状態にあるかどうかを示すことに用いられ、
前記装置は、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第1走行状態指示ランプの状態を決定する前に、前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定するように構成されている第4決定モジュールと、
前記処理待ち画像に基づいて、前記第2走行状態指示ランプの状態を決定した後、前記第2走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定するように構成されている第5決定モジュールと
を更に備える、装置。 - コンピュータ記憶媒体であって、前記コンピュータ記憶媒体には、コンピュータによって実行可能な命令が記憶されており、前記命令は、コンピュータによって実行されると、請求項1~11のうちいずれか一項に記載の方法を実行することを前記コンピュータに行わせる、コンピュータ記憶媒体。
- コンピュータ機器であって、前記コンピュータ機器は、メモリとプロセッサとを備え、前記メモリには、コンピュータによって実行可能な命令が記憶されており、前記プロセッサは、前記メモリに記憶されている前記命令を実行することにより、請求項1~11のうちいずれか一項に記載の方法を実行するように構成されている、コンピュータ機器。
- コンピュータプログラムであって、請求項1~11のうちいずれか一項に記載の方法を実行することをコンピュータに行わせるコンピュータプログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910702893.7 | 2019-07-31 | ||
CN201910702893.7A CN112307833A (zh) | 2019-07-31 | 2019-07-31 | 识别智能行驶设备的行驶状态的方法及装置、设备 |
JP2020567963A JP7074896B2 (ja) | 2019-07-31 | 2019-11-26 | スマート運転機器の走行状態を認識する方法及び装置、機器 |
PCT/CN2019/121057 WO2021017341A1 (zh) | 2019-07-31 | 2019-11-26 | 识别智能行驶设备的行驶状态的方法及装置、设备 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020567963A Division JP7074896B2 (ja) | 2019-07-31 | 2019-11-26 | スマート運転機器の走行状態を認識する方法及び装置、機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022105569A true JP2022105569A (ja) | 2022-07-14 |
Family
ID=74229679
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020567963A Active JP7074896B2 (ja) | 2019-07-31 | 2019-11-26 | スマート運転機器の走行状態を認識する方法及び装置、機器 |
JP2022077972A Withdrawn JP2022105569A (ja) | 2019-07-31 | 2022-05-11 | スマート運転機器の走行状態を認識する方法及び装置、機器 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020567963A Active JP7074896B2 (ja) | 2019-07-31 | 2019-11-26 | スマート運転機器の走行状態を認識する方法及び装置、機器 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210103746A1 (ja) |
JP (2) | JP7074896B2 (ja) |
KR (1) | KR20210015861A (ja) |
CN (1) | CN112307833A (ja) |
SG (1) | SG11202013001RA (ja) |
WO (1) | WO2021017341A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7115502B2 (ja) | 2020-03-23 | 2022-08-09 | トヨタ自動車株式会社 | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 |
JP7388971B2 (ja) | 2020-04-06 | 2023-11-29 | トヨタ自動車株式会社 | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム |
JP7359735B2 (ja) * | 2020-04-06 | 2023-10-11 | トヨタ自動車株式会社 | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 |
CN114519848A (zh) * | 2022-02-09 | 2022-05-20 | 商汤集团有限公司 | 一种运动意图确定方法、装置、设备及存储介质 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4151890B2 (ja) * | 2002-11-22 | 2008-09-17 | 富士重工業株式会社 | 車両監視装置および車両監視方法 |
JP2004341801A (ja) * | 2003-05-15 | 2004-12-02 | Nissan Motor Co Ltd | 追跡車両ランプ検出システムおよび追跡車両ランプ検出方法 |
JP4830621B2 (ja) * | 2006-05-12 | 2011-12-07 | 日産自動車株式会社 | 合流支援装置及び合流支援方法 |
JP2010249768A (ja) * | 2009-04-20 | 2010-11-04 | Toyota Motor Corp | 車両検出装置 |
JP5499011B2 (ja) * | 2011-11-17 | 2014-05-21 | 富士重工業株式会社 | 車外環境認識装置および車外環境認識方法 |
CN102897086B (zh) * | 2012-10-12 | 2017-04-12 | 福尔达车联网(深圳)有限公司 | 一种后车行驶信息检测及提示方法及系统 |
JP6354356B2 (ja) * | 2014-06-10 | 2018-07-11 | 株式会社デンソー | 前方状況判定装置 |
JP6335037B2 (ja) * | 2014-06-19 | 2018-05-30 | 株式会社Subaru | 車外環境認識装置 |
KR101663511B1 (ko) * | 2015-04-30 | 2016-10-14 | 엘지전자 주식회사 | 차량 운전 보조 장치, 차량 운전 보조 장치의 제어 방법 및 차량 |
US9701239B2 (en) * | 2015-11-04 | 2017-07-11 | Zoox, Inc. | System of configuring active lighting to indicate directionality of an autonomous vehicle |
CN105975915B (zh) * | 2016-04-28 | 2019-05-21 | 大连理工大学 | 一种基于多任务卷积神经网络的前方车辆参数识别方法 |
JP6649178B2 (ja) * | 2016-05-24 | 2020-02-19 | 株式会社東芝 | 情報処理装置、および、情報処理方法 |
US10248874B2 (en) * | 2016-11-22 | 2019-04-02 | Ford Global Technologies, Llc | Brake light detection |
CN106874858A (zh) * | 2017-01-19 | 2017-06-20 | 博康智能信息技术有限公司北京海淀分公司 | 一种车辆信息识别方法及装置和一种车辆 |
US10614326B2 (en) * | 2017-03-06 | 2020-04-07 | Honda Motor Co., Ltd. | System and method for vehicle control based on object and color detection |
US10061322B1 (en) * | 2017-04-06 | 2018-08-28 | GM Global Technology Operations LLC | Systems and methods for determining the lighting state of a vehicle |
CN107316010A (zh) * | 2017-06-13 | 2017-11-03 | 武汉理工大学 | 一种识别前方车辆尾灯及判断其状态的方法 |
CN108229468B (zh) * | 2017-06-28 | 2020-02-21 | 北京市商汤科技开发有限公司 | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 |
US10474908B2 (en) * | 2017-07-06 | 2019-11-12 | GM Global Technology Operations LLC | Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation |
US10691962B2 (en) * | 2017-09-22 | 2020-06-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for rear signal identification using machine learning |
CN108357418B (zh) * | 2018-01-26 | 2021-04-02 | 河北科技大学 | 一种基于尾灯识别的前车驾驶意图分析方法 |
CN109345512A (zh) * | 2018-09-12 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 汽车图像的处理方法、装置及可读存储介质 |
-
2019
- 2019-07-31 CN CN201910702893.7A patent/CN112307833A/zh active Pending
- 2019-11-26 WO PCT/CN2019/121057 patent/WO2021017341A1/zh active Application Filing
- 2019-11-26 SG SG11202013001RA patent/SG11202013001RA/en unknown
- 2019-11-26 JP JP2020567963A patent/JP7074896B2/ja active Active
- 2019-11-26 KR KR1020207036574A patent/KR20210015861A/ko not_active Application Discontinuation
-
2020
- 2020-12-17 US US17/124,940 patent/US20210103746A1/en not_active Abandoned
-
2022
- 2022-05-11 JP JP2022077972A patent/JP2022105569A/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
CN112307833A (zh) | 2021-02-02 |
US20210103746A1 (en) | 2021-04-08 |
SG11202013001RA (en) | 2021-03-30 |
KR20210015861A (ko) | 2021-02-10 |
JP2021534472A (ja) | 2021-12-09 |
JP7074896B2 (ja) | 2022-05-24 |
WO2021017341A1 (zh) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7074896B2 (ja) | スマート運転機器の走行状態を認識する方法及び装置、機器 | |
US11613201B2 (en) | Automatic high beam control for autonomous machine applications | |
CN108082037B (zh) | 制动灯检测 | |
US10860873B2 (en) | Driver behavior recognition and prediction | |
US20210026355A1 (en) | Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications | |
US11769052B2 (en) | Distance estimation to objects and free-space boundaries in autonomous machine applications | |
US20200410254A1 (en) | Intersection region detection and classification for autonomous machine applications | |
US10482334B1 (en) | Driver behavior recognition | |
US10810745B2 (en) | Method and apparatus with image segmentation | |
WO2020018679A1 (en) | Regression-based line detection for autonomous driving machines | |
KR20200110702A (ko) | 기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출 | |
KR20210018434A (ko) | 자율 주행을 위한 데이터 파이프 라인 및 딥 러닝 시스템 | |
JP2019179372A (ja) | 学習データ作成方法、学習方法、危険予測方法、学習データ作成装置、学習装置、危険予測装置、及び、プログラム | |
JP2005196590A (ja) | 歩行者抽出装置 | |
CN112507852A (zh) | 一种车道线识别方法、装置、设备及存储介质 | |
CN115376095A (zh) | 用于在驾驶场景中完成联合风险定位和推理的系统和方法 | |
CN115273032A (zh) | 交通标志识别方法、装置、设备及介质 | |
Hariri et al. | Vision based smart in-car camera system for driver yawning detection | |
KR101513540B1 (ko) | 손 제스처 인식에 의한 차량 제어 장치 및 방법 | |
WO2023151241A1 (zh) | 一种运动意图确定方法、装置、设备及存储介质 | |
JP2019003343A (ja) | 運転支援装置および運転支援方法 | |
Boisclair et al. | Attention transfer from human to neural networks for road object detection in winter | |
JP6315580B2 (ja) | 車両発進支援装置および発進報知方法 | |
KR20180010363A (ko) | 전방 차량 감시 방법 및 장치 | |
JP7298171B2 (ja) | 画像圧縮装置および画像の圧縮方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220511 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20230116 |