JP2021534472A - スマート運転機器の走行状態を認識する方法及び装置、機器 - Google Patents

スマート運転機器の走行状態を認識する方法及び装置、機器 Download PDF

Info

Publication number
JP2021534472A
JP2021534472A JP2020567963A JP2020567963A JP2021534472A JP 2021534472 A JP2021534472 A JP 2021534472A JP 2020567963 A JP2020567963 A JP 2020567963A JP 2020567963 A JP2020567963 A JP 2020567963A JP 2021534472 A JP2021534472 A JP 2021534472A
Authority
JP
Japan
Prior art keywords
state
driving device
smart driving
smart
indicating lamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020567963A
Other languages
English (en)
Other versions
JP7074896B2 (ja
Inventor
▲陳▼▲錦▼生
▲蒋▼沁宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sensetime Technology Development Co Ltd
Original Assignee
Zhejiang Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sensetime Technology Development Co Ltd filed Critical Zhejiang Sensetime Technology Development Co Ltd
Publication of JP2021534472A publication Critical patent/JP2021534472A/ja
Priority to JP2022077972A priority Critical patent/JP2022105569A/ja
Application granted granted Critical
Publication of JP7074896B2 publication Critical patent/JP7074896B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Abstract

本願の実施例は、スマート運転機器の走行状態を認識する方法及び装置、機器を提供する。前記方法は、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することと、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定することと、前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、を含む。

Description

（関連出願の相互参照）
本願は、２０１９年７月３１日に提出された、出願番号が２０１９１０７０２８９３．７である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願の実施例は、自動運転技術分野に関し、スマート運転機器の走行状態を認識する方法及び装置、機器に関するが、これらに限定されない。
ランプ状態の認識は、自動運転の一部である。ランプ状態の認識により、左右転舵、ブレーキなどのような、周りのスマート運転機器の可能な状態を判別することができる。これは、自動運転に対する意思決定に役立つ。
これに鑑み、本願の実施例は、スマート運転機器の走行状態を認識する方法及び装置、機器を提供する。
本願の実施例の技術的解決手段は、以下のように実現する。
本願の実施例は、スマート運転機器の走行状態を認識する方法を提供する。前記方法は、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することと、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定することと、前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、を含む。
本願の実施例は、スマート運転機器の走行状態を認識する装置を提供する。前記装置は、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第１決定モジュールと、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定するように構成される第２決定モジュールと、前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第３決定モジュールと、を備える。
本願の実施例は、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、本願の実施例で提供されるスマート運転機器の走行状態を認識する方法の工程を実現させることができる。本願の実施例は、コンピュータ機器を提供する。前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリに、コンピュータによる実行可能な命令が記憶されており、前記プロセッサが前記メモリにおけるコンピュータによる実行可能な命令を実行する時、本願の実施例で提供されるスマート運転機器の走行状態を認識する方法の工程を実現させることができる。
本願の実施例は、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、本願の実施例で提供されるスマート運転機器の走行状態を認識する方法の工程を実現させることができる。
本願の実施例において、スマート運転機器の走行状態の認識タスクを複数のサブタスクに細分化し、まず、スマート運転機器の本体の向きの認識及びスマート運転機器における第１走行状態指示ランプの状態の認識を行い、続いて、２つの認識結果を結合することで、スマート運転機器の走行状態を決定する。これにより、スマート運転機器の走行状態の認識タスクの難度を低減させ、スマート運転機器の走行状態の認識の正確度を向上させる。
本願の実施例によるスマート運転機器の走行状態を認識する方法を示すフローチャートである。 本願の実施例によるスマート運転機器の走行状態を認識する方法を示すもう１つのフローチャートである。 本願の実施例によるスマート運転機器の走行状態を認識する方法を示すまた１つのフローチャートである。 本願の実施例によるスマート運転機器の走行状態を認識する方法を示すまた１つのフローチャートである。 本願の実施例によるスマート運転機器の走行状態を認識する方法を示すもう１つのフローチャートである。 本願の実施例によるスマート運転機器のシーンを示す図である。 本願の実施例によるニューラルネットワーク訓練方法を示すまた１つのフローチャートである。 本願の実施例によるニューラルネットワーク訓練方法を示すもう１つのフローチャートである。 本願の実施例によるスマート運転機器の走行状態を認識する装置の構造を示す概略図である。 本願の実施例によるコンピュータ機器の構造を示す概略図である。
本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の具体的な技術的解決手段を更に詳しく説明する。下記実施例は、本願を説明するためのものに過ぎず、本願の範囲を限定するものではない。
本実施例で提供されるスマート運転機器の走行状態を認識する方法は、コンピュータ機器に適用される。前記コンピュータ機器は、スマート運転機器又は非スマート運転機器を含んでもよく、該方法により実現される機能は、コンピュータ機器におけるプロセッサによりプログラムコードを呼び出すことで実現されてもよい。勿論、プログラムコードは、コンピュータ記憶媒体に記憶されてもよい。該コンピュータ機器は、少なくとも、プロセッサと、記憶媒体と、を備えることが明らかである。
図１Ａは、本願の実施例によるスマート運転機器の走行状態を認識する方法を示すフローチャートである。図１Ａに示すように、図１Ａに示す方法を参照しながら、説明する。
ステップＳ１０１において、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定する。幾つかの可能な実現形態において、前記スマート運転機器は、様々な機能を有するスマート運転機器、様々な車輪数を有するスマート運転機器等、ロボット、飛行機、盲導装置、スマートホーム機器又はスマート玩具等を含む。前記処理待ち画像は、連続する複数フレームの画像であってもよい。例えば、スマート運転機器は、車両である。処理待ち画像は、車両走行中、１秒（ｓ）内で収集された連続する複数フレームの車両を含む画像であってもよく、連続しない複数フレームの車両を含む画像であってもよい。本願の実施例において、前記スマート運転機器が車両であることを例として説明する。スマート運転機器の本体の向きは、前記処理待ち画像を取得する装置に向かう方向を含む。該処理待ち画像は、車両の頭部を示すと理解されてもよい。つまり、ユーザは、該処理待ち画像により、車両の頭部を見ることができる。又は、スマート運転機器の本体の向きは、前記処理待ち画像を取得する装置に背を向ける方向を含む。該処理待ち画像は、車両の尾部を示すと理解されてもよい。つまり、ユーザは、該処理待ち画像により、車両の尾部を見ることができる。
ステップＳ１０２において、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定する。該車両本体の向きを分類する。第１走行状態指示ランプは、前記スマート運転機器が、制動状態、転舵状態、後退状態、又は非正常状態などのうちの１つの状態にあることを示すためのものである。１つの具体的な例において、第１走行状態指示ランプが車両の前部に位置する場合、第１走行状態指示ランプは、ターンランプ等であってもよい。ターンランプが点灯した場合、該車両が転舵しようとするか又は転舵中であると判定する。第１走行状態指示ランプが車両の後部に位置する場合、第１走行状態指示ランプは、ブレーキランプ、バックランプ又はターンランプ等であってもよい。ランプの点灯状態に基づいて、車両の走行状態を判定することができる。バックランプが点灯した場合、車両が後退状態にあることを示す。ブレーキランプが点灯した場合、車両が制動状態にあることを示す。照明ランプが点灯した場合、車両が走行状態にあることを示す。ポジションランプが点灯した場合、車両が走行状態にあることを示す。
ステップＳ１０３において、前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。幾つかの可能な実現形態において、前記ステップＳ１０３は、下記２つのケースを含む。１つ目のケースにおいて、前記本体の向きが、前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。１つの具体的な例において、本体の向きは、前記処理待ち画像を取得する装置に向かう方向であることは、該処理待ち画像がスマート運転機器の頭部を示すことを表す。車両を例として、処理待ち画像から見えるものは、例えば、ターンランプ、ポジションランプ又は照明ランプなどのような、車両の頭部に位置するランプである。車両の前部に位置するランプに基づいて、車両の走行状態を決定する。例えば、左ターンランプが滅灯して右ターンランプが点灯した場合、車両が右転舵しようとするか又は右転舵中であることを示す。２つ目のケースにおいて、前記本体の向きが、前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。１つの具体的な例において、本体の向きは、前記処理待ち画像を取得する装置に背を向ける方向であることは、処理待ち画像がスマート運転機器の尾部を示すと理解されてもよい。車両を例として、処理待ち画像から見えるものは、例えば、ターンランプ、ブレーキランプ又はバックランプ等のような、車両の尾部に位置するランプである。車両の尾部に位置するランプに基づいて、車両の走行状態を決定する。例えば、車両のブレーキランプが点灯した場合、車両が制動状態にあり、つまり、車両のブレーキペダルが踏み込まれていることを示す。
本願の実施例において、スマート運転機器の走行状態の認識タスクを複数のサブタスクに細分化し、まず、スマート運転機器の本体の向きの認識及びスマート運転機器における第１走行状態指示ランプの状態の認識を行い、続いて、２つの認識結果を結合することで、スマート運転機器の走行状態を決定する。これにより、スマート運転機器の走行状態の認識タスクの難度を低減させ、スマート運転機器の走行状態の認識の正確度を向上させる。
本願の実施例は、スマート運転機器の走行状態を認識する方法を提供する。本願の実施例において、スマート運転機器が車両であることを例とする。図１Ｂは、本願の実施例によるスマート運転機器の走行状態を認識する方法を示すもう１つのフローチャートである。図１Ｂに示すように、図１Ｂに示す方法を参照しながら、説明する。
ステップＳ１２１において、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定する。本体の向きをより迅速かつ正確に決定するために、ステップＳ１２１は、下記ステップにより実現してもよい。
ステップ１において、前記処理待ち画像における、前記スマート運転機器の本体により占められる第１画像領域を決定する。幾つかの可能な実現形態において、ステップＳ１２１は、ニューラルネットワークにより実現してもよい。この場合、まず、処理待ち画像に対して特徴抽出を行い、続いて、スマート運転機器の本体を含む部分的特徴マップを決定し、最後に、部分的特徴マップに基づいて、スマート運転機器の本体の向きを判定する。
ステップ２において、前記第１画像領域における画像に基づいて、前記スマート運転機器の本体の向きを決定する。幾つかの可能な実現形態において、部分的特徴マップから、スマート運転機器の本体の向きを決定する。従って、スマート運転機器の本体を含む部分的特徴マップのみにより、本体の向きを判定することで、演算量を低減させるだけでなく、本体の向きをより正確に判定することもできる。
ステップＳ１２２において、前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定する。幾つかの可能な実現形態において、前記第２走行状態指示ランプは、前記スマート運転機器が制動状態にあるかどうかを示すためのものである。例えば、車両のハイマウントブレーキランプである。第２走行状態指示ランプの状態は、少なくとも、点灯、滅灯又は無しのうちの１つを含む。ここで、無しは、該処理待ち画像から、第２走行状態指示ランプが検出されていないことを示す。本願の実施例において、第２走行状態指示ランプの滅灯及び無しを滅灯と総称する。幾つかの可能な実現形態において、ステップＳ１２２は、ニューラルネットワークにより実現されてもよい。この場合、まず、該処理待ち画像に対して特徴抽出を行い、前記特徴マップを得る。続いて、該特徴マップに基づいて、第２走行状態指示ランプの状態を分類する。上記ステップＳ１２１とステップＳ１２２との間に先後関係はない。ステップＳ１２２の後に、第２走行状態指示ランプの状態は、滅灯であり、ステップＳ１２３へ進み、第２走行状態指示ランプの状態は、点灯であり、ステップＳ１２５へ進む。第２走行状態指示ランプの状態をより迅速かつ正確に決定するために、ステップＳ１２２はさらに、下記ステップにより実現されてもよい。ステップ１において、前記処理待ち画像における、前記スマート運転機器の第２走行状態指示ランプにより占められる第３画像領域を決定する。幾つかの可能な実現形態において、ステップＳ１２２は、ニューラルネットワークにより実現してもよい。この場合、まず、処理待ち画像に対して特徴抽出を行い、続いて、スマート運転機器の第２走行状態指示ランプを含む部分的特徴マップを決定し、最後に、部分的特徴マップに基づいて、スマート運転機器の第２走行状態指示ランプの状態を判定する。ステップ２において、前記第３画像領域における画像に基づいて、前記第２走行状態指示ランプの状態を決定する。幾つかの可能な実現形態において、部分的特徴マップから、スマート運転機器の第２走行状態指示ランプの状態を決定する。従って、スマート運転機器の第２走行状態指示ランプを含む部分的特徴マップのみにより、第２走行状態指示ランプの状態を判定することで、演算量を低減させるだけでなく、第２走行状態指示ランプの状態をより正確に判定することもできる。
ステップＳ１２３において、前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定する。幾つかの可能な実現形態において、第２走行状態指示ランプの状態が滅灯である場合、第２走行状態指示ランプが検出されていないか又は第２走行状態指示ランプが滅灯であるという２つのケースを含む。従って、引き続き、第１走行状態指示ランプの状態を決定し、続いて、第１走行状態指示ランプの状態に基づいて、スマート運転機器の走行状態を決定する。例えば、ハイマウントブレーキランプが検出されていないことは、処理待ち画像に車両の頭部が示されるか又は車両がハイマウントブレーキランプを備えないことを意味する。従って、引き続き、車両の第１走行状態指示ランプを検出し、車両が操舵中であるか又は直進中であるかを決定する。第１走行状態指示ランプの状態をより迅速かつ正確に決定するために、ステップＳ１２３はさらに、下記ステップにより実現されてもよい。ステップ１において、前記処理待ち画像における、前記スマート運転機器の第１走行状態指示ランプにより占められる第２画像領域を決定する。幾つかの可能な実現形態において、ステップＳ１２３は、ニューラルネットワークにより実現してもよい。この場合、まず、処理待ち画像に対して特徴抽出を行い、続いて、スマート運転機器の第１走行状態指示ランプを含む部分的特徴マップを決定し、最後に、部分的特徴マップに基づいて、スマート運転機器の第２走行状態指示ランプの状態を判定する。ステップ２において、前記第２画像領域における画像に基づいて、前記第１走行状態指示ランプの状態を決定する。幾つかの可能な実現形態において、部分的特徴マップから、スマート運転機器の第１走行状態指示ランプの状態を決定する。従って、スマート運転機器の第１走行状態指示ランプを含む部分的特徴マップのみにより、第１走行状態指示ランプの状態を判定することで、演算量を低減させるだけでなく、第１走行状態指示ランプの状態をより正確に判定することもできる。第２走行状態指示ランプの状態が滅灯である場合、１つの具体的な例において、前記本体の向きが前向きであることに応答して、前記処理待ち画像をニューラルネットワークの第１分岐に入力し、前記第１走行状態指示ランプを得る。前記本体のターゲット向きが後向きであることに応答して、前記処理待ち画像をニューラルネットワークの第２分岐に入力し、前記第１走行状態指示ランプを得る。例えば、本体のターゲット向きが前向きであると、車両の前部の左右の２つのターンランプを分類し、車両の前部の左右の２つのターンランプを含む処理待ち画像をニューラルネットワークの第１分岐（例えば、分類器）に入力する必要がある。つまり、ニューラルネットワークの第１分岐により、車両の前部の左右の２つのターンランプを分類する。本体のターゲット向きが後向きであると、車両の後部の左右の２つのターンランプを分類し、車両の後部の左右の２つのターンランプを含む処理待ち画像をニューラルネットワークの第２分岐（例えば、分類器）に入力する必要がある。つまり、第２分岐により、車両の後部の左右の２つのターンランプを分類する。ターンランプは、車頭又は車尾の左右両側のランプを含む。本願の実施例において、同一の処理待ち画像に表示される車頭又は車尾の左右両側のランプを一組とすると、第１走行状態指示ランプの状態は、（左側ターンランプが点灯し、右側ターンランプが点灯した状態）、（左側ターンランプが点灯し、右側ターンランプが滅灯した状態）、（左側ターンランプが滅灯し、右側ターンランプが点灯した状態）及び（左側ターンランプが滅灯し、右側ターンランプが滅灯した状態）という複数の組み合わせを含む。
ステップＳ１２４において、前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。
ステップＳ１２５において、前記第２走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定する。１つの具体的な例において、車両のハイマウントブレーキランプが点灯した場合、車両が制動状態にあることを示す。車両の第１走行状態指示ランプを検出する必要がない。
本願の実施例において、スマート運転機器の第２走行状態指示ランプを検出することで、スマート運転機器が制動状態にあるかどうかを迅速に決定することができる。制動状態でなければ、引き続き、スマート運転機器の第１走行状態指示ランプを検出する。これにより、車両の走行状態を正確に予測する。
本願の実施例は、スマート運転機器の走行状態を認識する方法を提供する。本願の実施例において、スマート運転機器が車両であることを例とする。前記処理待ち画像は、連続する複数フレームの処理待ち画像である。図１Ｃは、本願の実施例によるスマート運転機器の走行状態を認識する方法を示すまた１つのフローチャートである。図１Ｃに示すように、図１Ｃに示す方法を参照しながら、説明する。
ステップＳ１３１において、前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定する。幾つかの可能な実現形態において、ステップＳ１３１は、ニューラルネットワークにより実現されてもよい。この場合、連続する複数フレームの処理待ち画像のうちの各フレームの画像に対して特徴抽出を行い、続いて、各フレームの処理待ち画像に対して、該特徴マップに基づいて、該フレームの処理待ち画像における本体の向きを決定する。
ステップＳ１３２において、各フレームの処理待ち画像により決定された前記スマート運転機器の本体の向きに基づいて、前記スマート運転機器の本体の向きを決定する。１つの具体的な例において、例えば、車両を回頭させている場合、前の１フレームの処理待ち画像において、車両の本体の向きは、処理待ち画像を取得する装置に向かう方向である。その後に回頭に成功した。全ての後の複数フレームの処理待ち画像において、車両の本体の向きは、処理待ち画像を取得する装置に背を向ける方向である。従って、最終的に、車両の本体の向きが処理待ち画像を取得する装置に背を向ける方向であると決定する。これにより、本体の向きに対する誤判定を避けることができる。
ステップＳ１３３において、前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記第１走行状態指示ランプの状態を決定する。幾つかの可能な実現形態において、各フレームの処理待ち画像に対して、該特徴マップに基づいて、該フレームの処理待ち画像における第１走行状態指示ランプの状態を決定する。
ステップＳ１３４において、各フレームの処理待ち画像により決定された前記第１走行状態指示ランプの状態に基づいて、前記第１走行状態指示ランプの状態を決定する。１つの具体的な例において、例えば、車両に故障が発生し、非常灯が点滅している場合、前の１フレームの処理待ち画像のみに基づいて、車両の第１走行状態指示ランプの状態を判定すれば、誤判定を発生してしまう。連続する複数フレームの処理待ち画像のうちの各フレームの画像における第１走行状態指示ランプの状態によれば、このような誤判定を避けることができる。従って、第１走行状態指示ランプの状態をより正確に判定することができる。
ステップＳ１３５において、前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。本願の実施例において、連続する複数フレームの処理待ち画像に基づいて、スマート運転機器の本体の向き及び第１走行状態指示ランプの状態を判定し、続いて、これに基づいて、スマート運転機器の走行状態を予測することで、本体の向き及び第１走行状態指示ランプの状態に対する誤判定を避け、スマート運転機器の走行状態の予測の正確度を向上させる。
本願の実施例は、スマート運転機器の走行状態を認識する方法を提供する。前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現される。図２Ａは、本願の実施例によるスマート運転機器の走行状態を認識する方法を示すもう１つのフローチャートである。図２Ａに示すように、図２Ａに示す方法を参照しながら、説明する。
ステップＳ２０１において、前記ニューラルネットワークを利用して、前記処理待ち画像から、特徴マップを抽出する。１つの具体的な例において、処理待ち画像を残差ネットワーク（ＲｅｓＮｅｔネットワーク）に入力し、該処理待ち画像に対して特徴抽出を行い、該処理待ち画像の特徴マップを得る。
ステップＳ２０２において、前記ニューラルネットワークが、抽出した特徴マップに基づいて、前記スマート運転機器の本体の向きを決定する。１つの具体的な例において、複数の処理待ち画像の特徴マップを前記ニューラルネットワークの第１分岐に入力し、各本体の向きの信頼度を得て、信頼度が所定の信頼度閾値より大きい本体の向きをスマート運転機器の本体の向きとする。
ステップＳ２０３において、前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。幾つかの可能な実現形態において、前記ニューラルネットワークの第１分岐は、スマート運転機器の前部の第１走行状態指示ランプの状態を分類することに用いられる。本体の向きが前記処理待ち画像を取得する装置に向かう方向である場合、連続する複数フレームの処理待ち画像の特徴マップを該ニューラルネットワークの第１分岐に入力し、各可能な第１走行状態指示ランプの状態の信頼度を得る。例えば、第１走行状態指示ランプの状態が（左ランプが滅灯して右ランプが滅灯した状態）、右ランプが滅灯して左ランプが点灯した状態、又は左ランプが滅灯して右ランプが点灯した状態などである場合の信頼度を得る。続いて、信頼度が所定の信頼度閾値より大きい第１走行状態指示ランプの状態を、スマート運転機器の第１走行状態指示ランプの状態とする。１つの具体的な例において、信頼度が大きい第１走行状態指示ランプの状態は、該第１走行状態指示ランプの状態が真実の第１走行状態指示ランプの状態である確率が大きいことを表す。従って、信頼度が所定の信頼度閾値より大きい第１走行状態指示ランプの状態を第１ランプのターゲット状態とすることで、第１分岐により得られた分類結果の正確度を確保する。
ステップＳ２０４において、前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。幾つかの可能な実現形態において、前記ニューラルネットワークの第２分岐は、スマート運転機器の後部の第１走行状態指示ランプの状態を分類することに用いられる。本体の向きが前記処理待ち画像を取得する装置に背を向ける方向である場合、該処理待ち画像に、例えば、車両の尾部のようなスマート運転機器の尾部が示される。従って、処理待ち画像から、スマート運転機器の後部の第１走行状態指示ランプの状態を取得することができる。つまり、車両の尾部の左右両側のターンランプの状態を取得する。連続する複数フレームの処理待ち画像の特徴マップを該ニューラルネットワークの第２分岐に入力し、各可能な第１走行状態指示ランプの状態の信頼度を得る。例えば、第１走行状態指示ランプの状態が（左ランプが滅灯して右ランプが滅灯した状態）、右ランプが滅灯して左ランプが点灯した状態、又は左ランプが滅灯して右ランプが点灯した状態などである場合の信頼度を得る。続いて、信頼度が所定の信頼度閾値より大きい第１走行状態指示ランプの状態を、スマート運転機器の第１走行状態指示ランプの状態とする。
本願の実施例において、ニューラルネットワークを利用して、まず、処理待ち画像に対して特徴抽出を行い、続いて、ニューラルネットワークは、特徴マップに基づいて、各可能な本体の向きの信頼度及び各可能な第１走行状態指示ランプの状態を決定し、信頼度が大きいものをスマート運転機器の本体の向き及び第１走行状態指示ランプの状態とする。最後に、このような信頼度が大きい本体の向き及び信頼度が大きい第１走行状態指示ランプの状態に基づいて、スマート運転機器の走行状態を認識する。スマート運転機器の走行状態の認識タスクを複数のサブタスクに細分化し、まず、スマート運転機器の本体の向きの認識及びスマート運転機器における第１走行状態指示ランプの状態の認識を行い、続いて、２つの認識結果を結合することで、スマート運転機器の走行状態を決定する。これにより、スマート運転機器の走行状態の認識タスクの難度を低減させ、スマート運転機器の走行状態の認識の正確度を向上させる。
本願の実施例は、スマート運転機器の走行状態を認識する方法を提供する。前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現される。図２Ｂは、本願の実施例によるスマート運転機器の走行状態を認識する方法を示すまた１つのフローチャートである。図２Ｂに示すように、図２Ｂに示す方法を参照しながら、説明する。
ステップＳ２２１において、前記ニューラルネットワークを利用して、前記処理待ち画像から特徴マップを抽出する。１つの具体的な例において、処理待ち画像を残差ネットワーク（ＲｅｓＮｅｔネットワーク）に入力し、該処理待ち画像に対して特徴抽出を行い、該処理待ち画像の特徴マップを得る。
ステップＳ２２２において、前記ニューラルネットワークが、抽出された特徴マップに基づいて、前記スマート運転機器の本体の向きを決定する。１つの具体的な例において、複数の処理待ち画像の特徴マップを前記ニューラルネットワークの第１分岐に入力し、各本体の向きの信頼度を得て、信頼度が所定の信頼度閾値より大きい本体の向きをスマート運転機器の本体の向きとする。図２Ｃに示すように、画像２１に、車両２２の尾部が示される。画像２１における車両２２の本体の向きを後向きと決定する。つまり、本体の向きは、処理待ち画像を取得する装置に背を向ける方向である。
ステップＳ２２３において、ニューラルネットワークが、抽出された特徴マップに基づいて、前記第２走行状態指示ランプの状態を決定する。幾つかの可能な実現形態において、第２走行状態指示ランプは、スマート運転機器のハイマウントブレーキランプであってもよい。連続する複数フレームの処理待ち画像の特徴マップを該ニューラルネットワークに入力し、各可能な第２走行状態指示ランプの状態の信頼度を得る。例えば、第２走行状態指示ランプの状態が点灯又は滅灯である信頼度を得る。続いて、信頼度が所定の信頼度閾値より大きい第２走行状態指示ランプの状態をスマート運転機器の第２走行状態指示ランプの状態とする。これにより、第２走行状態指示ランプの状態の認識の正確度を確保する。
ステップＳ２２４において、前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であって、且つ、前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。幾つかの可能な実現形態において、本体の向きが前記処理待ち画像を取得する装置に向かう方向であって（つまり、本体の向きが前向きである）、且つ、前記第２走行状態指示ランプの状態が滅灯である場合、特徴マップをニューラルネットワークの第１分岐に入力し、複数の可能な車両の頭部の第１走行状態指示ランプの状態の信頼度を得て、続いて、信頼度が大きいものを第１走行状態指示ランプの状態とする。
ステップＳ２２５において、前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって、且つ、前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。幾つかの可能な実現形態において、本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって（つまり、本体の向きが後向きである）、且つ、前記第２走行状態指示ランプの状態が滅灯である場合、特徴マップをニューラルネットワークの第２分岐に入力し、複数の可能な車両の後部の第１走行状態指示ランプの状態の信頼度を得て、続いて、信頼度が大きいものを第１走行状態指示ランプの状態とする。
ステップＳ２２６において、前記第２走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定する。在本願の実施例において、ニューラルネットワークを利用してスマート運転機器の本体の向き及び複数の指示ランプの状態を詳細に分類することで、本体の向き及び複数の指示ランプの状態の認識の正確度を確保する。従って、これに基づいてスマート運転機器の走行状態を認識する場合の正確度を確保する。
上記工程によれば、前記ニューラルネットワークは、下記ステップで訓練されたものである。図２Ｄに示すように、図２Ｄを参照しながら、下記のように説明する。
ステップＳ２３１において、スマート運転機器を含むサンプル画像を取得する。幾つかの可能な実現形態において、前記スマート運転機器が車両であることを例として説明する。車両を含む複数枚のサンプル画像を取得する。例えば、車両パターンを含むサンプル画像を取得する。
ステップＳ２３２において、スマート運転機器を含むサンプル画像に基づいて、前記スマート運転機器の本体の向きを決定する。幾つかの可能な実現形態において、サンプル画像における、前記スマート運転機器の本体の向きを表すタグ情報に基づいて、該マート運転機器の本体の向きを決定し、特徴マップを該ニューラルネットワークの分岐に入力し、該スマート運転機器の第１走行状態指示ランプの状態を得る。例えば、本体の向きが前記サンプル画像を取得する装置に向かう方向である場合、特徴マップを第１分岐に入力し、スマート運転機器の前部の第１走行状態指示ランプの状態を得る。例えば、車両の前部の左右両側のターンランプの状態を得る。本体の向きが前記サンプル画像を取得する装置に背を向ける方向である場合、特徴マップを第２分岐に入力し、スマート運転機器の後部の第１走行状態指示ランプの状態を得る。例えば、車両の後部の左右両側のターンランプの状態を得る。これにより、異なる本体の向きに対して，異なる分岐を訓練し、タスクを更に細分化し分類することで、第１走行状態指示ランプの状態の分類の正確度を確保する。
ステップＳ２３３において、前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。
ステップＳ２３４において、前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定する。
ステップＳ２３５において、決定された前記本体の向き、ラベル付けられた前記本体の向き、決定された第１走行状態指示ランプの状態、ラベル付けられた第１走行状態指示ランプの状態に基づいて、ニューラルネットワークのネットワークパラメータを調整する。幾つかの可能な実現形態において、前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、スマート運転機器の前部の第１走行状態指示ランプの状態及びラベル付けられた前部の第１走行状態指示ランプの状態により、走行状態の所定の損失関数を決定する。該損失関数を利用して、ニューラルネットワークの第１分岐のネットワークパラメータを調整する。これにより調整された第１分岐は、スマート運転機器の前部の第１走行状態指示ランプの状態を正確に予測することができる。前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、スマート運転機器の後部の第１走行状態指示ランプの状態及びラベル付けられた後部の第１走行状態指示ランプの状態により、走行状態の所定の損失関数を決定する。該損失関数を利用して、ニューラルネットワークの第２分岐のネットワークパラメータを調整する。これにより調整された第２分岐は、スマート運転機器の後部の第１走行状態指示ランプの状態を正確に予測することができる
本願の実施例は、スマート運転機器の走行状態を認識する方法を提供する。スマート運転機器が車両であることを例として、まず、深層学習フレームワークを利用して、ランプの属性を認識し、続いて、大量の訓練データにより、訓練されたニューラルネットワークに、より高いロバスト性を持たせ、種々の適用シーンに好適に適用可能にする。関連技術において、ランプ属性認識により、全てのカテゴリのピクチャに対して大まかに分類し、ブレーキランプ認識とターンランプ認識に分ける。本願の実施例は、タスクを細分化し、サブタスクを処理する。まず、スマート運転機器の属性を認識し、異なる分岐により、訓練を行うことで、ランプ属性の細かいカテゴリの認識を実現させることができる。なお、キーポイントにより、ランプの位置を判定し、キーポイントの可視性情報を利用して、正確なランプ位置を得て、ランプ属性の判定の正確率をより高くする。
図３は、本願の実施例によるニューラルネットワークの訓練方法を示すまた１つのフローチャートである。図３に示すように、図３を参照しながら、下記のように説明する。
ステップＳ３０１において、スマート運転機器を含むサンプル画像をニューラルネットワークに入力し、該サンプル画像の特徴マップを得る。
ステップＳ３０２において、該特徴マップをニューラルネットワークに入力し、本体の向き及び第２走行状態指示ランプの状態を得る。幾つかの可能な実現形態において、車両本体のキーポイント情報を利用して、該キーポイント情報に基づいて、特徴マップにおける車両本体の所在する位置（該サンプル画像における、車両本体により占められる第１画像領域）を得て、該部分的特徴マップをニューラルネットワークに入力し、本体の向きを得る。車両の第２走行状態指示ランプのキーポイント情報を利用して、該キーポイント情報に基づいて、特徴マップにおける第２走行状態指示ランプの所在する位置（該サンプル画像における、車両の第２走行状態指示ランプにより占められる第３画像領域）を得て、該部分的特徴マップをニューラルネットワークに入力し、第２走行状態指示ランプの状態を得る。
ステップＳ３０３において、ラベル付けられた本体の向き及びラベル付けられた第２走行状態指示ランプの状態に基づいて、ニューラルネットワークから出力された本体の向きに対応する損失及び第２走行状態指示ランプの状態に対応する損失を決定する。幾つかの可能な実現形態において、本体の向きが２つであるため、本体の向きに対応する損失は、デュアルクラスクロスエントロピー損失である。第２走行状態指示ランプの状態は、例えば、点灯及び滅灯という２つの状態を含む（ここで、滅灯状態は、第２走行状態指示ランプが滅灯したこと及び第２走行状態指示ランプが存在しないという２つのケースを含む）。従って、第２走行状態指示ランプの状態に対応する損失は、デュアルクラスクロスエントロピー損失である。
ステップＳ３０４において、本体の向きに対応する損失及び第２走行状態指示ランプの状態に対応する損失を利用して、ニューラルネットワークのネットワークパラメータを調整する。
ステップＳ３０５において、本体の向きが前記サンプル画像を取得する装置に向かう方向であって、且つ、第２走行状態指示ランプの状態が滅灯であることに応答して、特徴マップをニューラルネットワークの第１分岐に入力し、車両の前部の第１走行状態指示ランプの状態を得る。幾つかの可能な実現形態において、車両の前部の第１走行状態指示ランプのキーポイント情報を利用して、キーポイント情報に基づいて、特徴マップにおける車両の前部の第１走行状態指示ランプの所在する位置（該サンプル画像における、車両の前部の第１走行状態指示ランプにより占められる第２画像領域）を得て、該部分的特徴マップをニューラルネットワークに入力し、車両の前部の第１走行状態指示ランプの状態を得る。
ステップＳ３０６において、前部の第１走行状態指示ランプの状態に対応する損失に基づいて、第１分岐のネットワークパラメータを調整する。
ステップＳ３０７において、本体の向きが前記サンプル画像を取得する装置に背を向ける方向であって、且つ、第２走行状態指示ランプの状態が滅灯であることに応答して、特徴マップをニューラルネットワークの第２分岐に入力し、車両の後部の第１走行状態指示ランプの状態を得る。幾つかの可能な実現形態において、車両の後部の第１走行状態指示ランプのキーポイント情報を利用して、キーポイント情報に基づいて、特徴マップにおける車両の後部の第１走行状態指示ランプの所在する位置（該サンプル画像における、車両の後部の第１走行状態指示ランプにより占められる第２画像領域）を得て、該部分的特徴マップをニューラルネットワークに入力し、車両の後部の第１走行状態指示ランプの状態を得る。
ステップＳ３０８において、後部の第１走行状態指示ランプの状態に対応する損失に基づいて、第２分岐のネットワークパラメータを調整する。幾つかの可能な実現形態において、第１走行状態指示ランプの状態は、例えば、（左側ターンランプが点灯し、右側ターンランプが点灯した状態）、（左側ターンランプが点灯し、右側ターンランプが滅灯した状態）、（左側ターンランプが滅灯し、右側ターンランプが点灯した状態）及び（左側ターンランプが滅灯し、右側ターンランプが滅灯した状態）等のような複数の可能な状態を含むため、第１走行状態指示ランプの状態に対応する損失は、マルチクラスクロスエントロピー損失。該損失に基づいて、ニューラルネットワークの第１分岐及び第２分岐の、重みなどのようなネットワークパラメータを調整することで、調整されたニューラルネットワークの第１分岐及び第２分岐による車両の指示ランプの分類の正確度をより高くする。
本願の実施例において、車両方向分類器とランプ属性分類器を結合し、車両自体の属性を更に細分化し、ランプ属性の認識を補助する。テールランプ及びターンランプの属性認識を単一フレームによるランプ属性認識とマルチフレーム併用による判別に分ける。単一フレームの認識の正確率を向上させることで、車両属性認識プロセスを簡略化する。また、キーポイント及び可視性情報により判定を補助し、ランプの位置をより正確に位置決めし、分類をより正確にする。
本願の実施例は、スマート運転機器の走行状態を認識する装置を提供する。図４は、本願の実施例によるスマート運転機器の走行状態を認識する装置の構造を示す概略図である。図４に示すように、前記スマート運転機器の走行状態を認識する装置４００は、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第１決定モジュール４０１と、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定するように構成される第２決定モジュール４０２と、前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第３決定モジュール４０３と、を備える。
上記装置において、前記第３決定モジュール４０３は、前記本体の向きが、前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第１決定サブモジュールを備える。
上記装置において、前記第３決定モジュール４０３は、前記本体の向きが、前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第２決定サブモジュールを備える。
上記装置において、前記スマート運転機器は、第２走行状態指示ランプを更に含み、前記第２走行状態指示ランプは、前記スマート運転機器が制動状態にあるかどうかを示すことに用いられ、前記装置は、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定する前に、前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定するように構成される第４決定モジュールを更に備え、前記第２決定モジュール４０２は、前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定するように構成される第３決定サブモジュールを備える。
上記装置において、前記装置は、前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定した後、前記第２走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定するように構成される第５決定モジュールを更に備える。
上記装置において、前記処理待ち画像は、連続する複数フレームの処理待ち画像であり、第１決定モジュール４０１は、前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第４決定サブモジュールと、各フレームの処理待ち画像により決定された前記スマート運転機器の本体の向きに基づいて、前記スマート運転機器の本体の向きを決定するように構成される第５決定サブモジュールと、を備え、第２決定モジュール４０２は、前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記第１走行状態指示ランプの状態を決定するように構成される第６決定サブモジュールと、各フレームの処理待ち画像により決定された前記第１走行状態指示ランプの状態に基づいて、前記第１走行状態指示ランプの状態を決定するように構成される第７決定サブモジュールと、を備える。
上記装置において、前記第１決定モジュール４０１は、前記処理待ち画像における、前記スマート運転機器の本体により占められる第１画像領域を決定するように構成される第８決定サブモジュールと、前記第１画像領域における画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第９決定サブモジュールと、を備える。
上記装置において、前記第２決定モジュール４０２は、前記処理待ち画像における、前記スマート運転機器の第１走行状態指示ランプにより占められる第２画像領域を決定するように構成される第１０決定サブモジュールと、前記第２画像領域における画像に基づいて、前記第１走行状態指示ランプの状態を決定するように構成される第１１決定サブモジュールと、を備える。
上記装置において、前記第４決定モジュールは、前記処理待ち画像における、前記スマート運転機器の第２走行状態指示ランプにより占められる第３画像領域を決定するように構成される第１２決定サブモジュールと、前記第３画像領域における画像に基づいて、前記第２走行状態指示ランプの状態を決定するように構成される第１３決定サブモジュールと、を備える。
上記装置において、前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現され、前記第１決定モジュールは、前記ニューラルネットワークを利用して、前記処理待ち画像から、特徴マップを抽出するように構成される第１抽出サブモジュールと、前記ニューラルネットワークを利用して、抽出された特徴マップに基づいて、前記スマート運転機器の本体の向きを決定するように構成される第１４決定サブモジュールと、を備え、第３決定モジュール４０３は、前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第１５決定サブモジュールと、前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第１６決定サブモジュールと、を備える。
上記装置において、第４決定モジュールは、前記ニューラルネットワークを採用して、抽出された特徴マップに基づいて、前記第２走行状態指示ランプの状態を決定するように構成される第１７決定サブモジュールと、前記第２走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定するように構成される第１８決定サブモジュールと、を備え、前記第１５決定サブモジュールは、前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であって、且つ、前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第１決定ユニットを備え、前記第１６決定サブモジュールは、前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって、且つ、前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第２決定ユニットを備える。
上記装置において、前記装置は、前記ニューラルネットワークを訓練するように構成される訓練モジュールを更に備え、前記訓練モジュールは、スマート運転機器を含むサンプル画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第１９決定サブモジュールと、前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第２０決定サブモジュールと、前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第２１決定サブモジュールと、決定された前記本体の向き、ラベル付けられた前記本体の向き、決定された第１走行状態指示ランプの状態、ラベル付けられた第１走行状態指示ランプの状態に基づいて、ニューラルネットワークのネットワークパラメータを調整するように構成される第１調整サブモジュールと、を備える。
上記装置の実施例に関する説明は、上記方法の実施例に関する説明と類似しており、方法の実施例と類似した有益な効果を有することに留意されたい。本願の装置の実施例で説明されない技術的な詳細については、本願の方法の実施例の説明を参照されたい。本願の実施例において、上記インスタントメッセージング方法がソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよいことに留意されたい。のような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、一台のインスタントメッセージング機器（端末、サーバ等）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（Ｒｅａｄ-ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気ディスク又は光ディスなど、プログラムコードを記憶可能な各種の媒体を含む。従って、本出願の実施例は、如何なる特定のハードウェアとソフトウェアの組み合わせにも限定されない。
なお、本願の実施例は、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体に、コンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、本願の実施例で提供されるスマート運転機器の走行状態を認識する方法における工程を実現させることができる。なお、本願の実施例は、コンピュータ機器を提供する。前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリに、コンピュータによる実行可能な命令が記憶されており、前記プロセッサが前記メモリにおけるコンピュータによる実行可能な命令を実行する時、本願の実施例で提供されるスマート運転機器の走行状態を認識する方法における工程を実現させることができる。なお、本願の実施例は、コンピュータ機器を提供する。図５は、本願の実施例によるコンピュータ機器の構造を示す概略図である。図５に示すように、該コンピュータ機器５００のハードウェアエンティティは、プロセッサ５０１と、通信インタフェース５０２と、メモリ５０３と、を備え、プロセッサ５０１は、一般的には、コンピュータ機器５００の全体操作を制御する．通信インタフェース５０２は、コンピュータ機器がネットワークを経由して他の端末又はサーバと通信するようにすることができる。メモリ５０３は、プロセッサ５０１による実行可能な命令及びアプリケーションを記憶するように構成され、また、プロセッサ５０１及びコンピュータ機器５００における各モジュールにより処理されるか又は処理されたデータ（例えば、画像データ、オーディオデータ、音声通信データ及びビデオ通信データ）をキャッシュすることもでき、これは、ＦＬＡＳＨ（登録商標）（フラッシュ）又はランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）により実現する。上記スマート運転機器の走行状態を認識する装置、コンピュータ機器及び記憶媒体の実施例に関する説明は、上記方法の実施例に関する説明と類似しており、方法の実施例と類似した有益な効果を有する。紙数に限りがあるため、上記方法の実施例の説明を参照することができ、ここで、詳細な説明を省略する。本願の走行軌跡予測装置、コンピュータ機器及び記憶媒体の実施例で説明されない技術的な詳細については、本願の方法の実施例の説明を参照されたい。明細書全文を通じて述べられる「１つの実施例」または「一実施例」は、実施例に関連する特定の特徴、構造または特性が、本願の少なくとも１つの実施例の中に含まれることを意味すると理解されたい。従って、本明細書全体を通して出現する「１つの実施例において」又は「一実施例において」は、同じ実施例を指すとは限らない。また、これらの特定の特徴、構造または特性は、任意かつ適切な方式で１つまたは複数の実施例に組み入れられることができる。本願の各実施例において、上記各プロセスの番号の大きさは、実行順の前後を意味するのではなく、各プロセスの実行順は、その機能および内在的な論理によって確定されるものであり、本発明の実施例の実施プロセスに対しいっさい限定を構成しないと理解すべきである。上記の本発明に係る実施例の番号は、ただ、記述するためのものであり、実施例の優劣を代表しない。本明細書において、用語「含む」、「備える」、またはそれらの他のいずれかの変形は、非排他的包含を包括するように意図される。従って、一連の要素を含むプロセス、方法、品目又は装置は、これらの要素を含むだけでなく、明確に列挙されていない他の要素も含み、又は、このようなプロセス、方法、品目又は装置に固有の要素も含む。更なる限定が存在しない場合、“・・・を含む”なる文章によって規定される要素は、該要素を有するプロセス、方法、品目又は装置内に、同じ要素が更に存在することを排除しない。
本願で提供される幾つかの実施例において、開示される装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインターフェイス、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
分離部材として説明した該ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとの組み合わせて実現してもよい。
上記各方法に係る実施例の全部又は一部のステップはプログラム命令に係るハードウェアにより実現され、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶されてもよく、該プログラムが実行される時、上記方法の実施例におけるステップを実行し、前記記憶媒体は、携帯型記憶装置、読み出し専用メモリ（Ｒｅａｄ-ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含むことは、当業者でれば、理解すべきである。
又は、本願の上記集積したユニットがソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、コンピュータ機器（パーソナルコンピュータ、サーバな又はネットワーク装置など）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、携帯型記憶装置、ＲＯＭ、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
以上は本願の実施形態に過ぎず、本願の保護の範囲はそれらに制限されるものではなく、当業者が本願に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。
本願の実施例は、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、本願の実施例で提供されるスマート運転機器の走行状態を認識する方法の工程を実現させることができる。
例えば、本願は以下の項目を提供する。
（項目１）
スマート運転機器の走行状態を認識する方法であって、前記方法は、
スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定することと、
前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、を含む、スマート運転機器の走行状態を認識する方法。
（項目２）
前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが、前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含むことを特徴とする
項目１に記載の方法。
（項目３）
前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが、前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含むことを特徴とする
項目１又は２に記載の方法。
（項目４）
前記スマート運転機器は、第２走行状態指示ランプを更に含み、前記第２走行状態指示ランプは、前記スマート運転機器が制動状態にあるかどうかを示すことに用いられ、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定する前に、前記方法は、
前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定することとを更に含み、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定することは、
前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定することを含むことを特徴とする
項目１から３のうちいずれか一項に記載の方法。
（項目５）
前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定した後、前記方法は、
前記第２走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定することを更に含むことを特徴とする
項目４に記載の方法。
（項目６）
前記処理待ち画像は、連続する複数フレームの処理待ち画像であり、
前記処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
各フレームの処理待ち画像により決定された前記スマート運転機器の本体の向きに基づいて、前記スマート運転機器の本体の向きを決定することと、を含み、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定することは、
前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記第１走行状態指示ランプの状態を決定することと、
各フレームの処理待ち画像により決定された前記第１走行状態指示ランプの状態に基づいて、前記第１走行状態指示ランプの状態を決定することと、を含むことを特徴とする
項目１から５のうちいずれか一項に記載の方法。
（項目７）
前記処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
前記処理待ち画像における、前記スマート運転機器の本体により占められる第１画像領域を決定することと、
前記第１画像領域における画像に基づいて、前記スマート運転機器の本体の向きを決定することと、を含むことを特徴とする
項目１から６のうちいずれか一項に記載の方法。
（項目８）
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定することは、
前記処理待ち画像における、前記スマート運転機器の第１走行状態指示ランプにより占められる第２画像領域を決定することと、
前記第２画像領域における画像に基づいて、前記第１走行状態指示ランプの状態を決定することと、を含むことを特徴とする
項目１から７のうちいずれか一項に記載の方法。
（項目９）
前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定することは、
前記処理待ち画像における、前記スマート運転機器の第２走行状態指示ランプにより占められる第３画像領域を決定することと、
前記第３画像領域における画像に基づいて、前記第２走行状態指示ランプの状態を決定することと、を含むことを特徴とする
項目４から８のうちいずれか一項に記載の方法。
（項目１０）
前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現され、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
前記ニューラルネットワークを利用して、前記処理待ち画像から、特徴マップを抽出することと、
前記ニューラルネットワークが抽出した特徴マップに基づいて、前記スマート運転機器の本体の向きを決定することと、を含み
前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、を含むことを特徴とする
項目５に記載の装置。
（項目１１）
前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定することは、
前記ニューラルネットワークが抽出した特徴マップに基づいて、前記第２走行状態指示ランプの状態を決定することと、
前記第２走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定することと、を含み、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であって、且つ、前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含み、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって、且つ、前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含むことを特徴とする
項目１０に記載の方法。
（項目１２）
前記ニューラルネットワークは、
スマート運転機器を含むサンプル画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
決定された前記本体の向き、ラベル付けられた前記本体の向き、決定された第１走行状態指示ランプの状態、ラベル付けられた第１走行状態指示ランプの状態に基づいて、ニューラルネットワークのネットワークパラメータを調整することと、を実行することで訓練されたものであることを特徴とする
項目１０又は１１に記載の方法。
（項目１３）
スマート運転機器の走行状態を認識する装置であって、前記装置は、
スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第１決定モジュールと、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定するように構成される第２決定モジュールと、
前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第３決定モジュールと、を備える、スマート運転機器の走行状態を認識する装置。
（項目１４）
前記第３決定モジュールは、
前記本体の向きが、前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第１決定サブモジュールを備えることを特徴とする
項目１３に記載の装置。
（項目１５）
前記第３決定モジュールは、
前記本体の向きが、前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第２決定サブモジュールを備えることを特徴とする
項目１３又は１４に記載の装置。
（項目１６）
前記スマート運転機器は、第２走行状態指示ランプを更に含み、前記第２走行状態指示ランプは、前記スマート運転機器が制動状態にあるかどうかを示すことに用いられ、
前記装置は、
前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定する前に、前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定するように構成される第４決定モジュールを更に備え、
前記第２決定モジュールは、
前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定するように構成される第３決定サブモジュールを備えることを特徴とする
項目１３から１５のうちいずれか一項に記載の装置。
（項目１７）
前記装置は、
前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定した後、前記第２走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定するように構成される第５決定モジュールを更に備えることを特徴とする
項目１６に記載の装置。
（項目１８）
前記処理待ち画像は、連続する複数フレームの処理待ち画像であり、
第１決定モジュールは、
前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第４決定サブモジュールと、
各フレームの処理待ち画像により決定された前記スマート運転機器の本体の向きに基づいて、前記スマート運転機器の本体の向きを決定するように構成される第５決定サブモジュールと、を備え、
第２決定モジュールは、
前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記第１走行状態指示ランプの状態を決定するように構成される第６決定サブモジュールと、
各フレームの処理待ち画像により決定された前記第１走行状態指示ランプの状態に基づいて、前記第１走行状態指示ランプの状態を決定するように構成される第７決定サブモジュールと、を備えることを特徴とする
項目１３から１７のうちいずれか一項に記載の装置。
（項目１９）
前記第１決定モジュールは、
前記処理待ち画像における、前記スマート運転機器の本体により占められる第１画像領域を決定するように構成される第８決定サブモジュールと、
前記第１画像領域における画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第９決定サブモジュールと、を備えることを特徴とする
項目１３から１８のうちいずれか一項に記載の装置。
（項目２０）
前記第２決定モジュールは、
前記処理待ち画像における、前記スマート運転機器の第１走行状態指示ランプにより占められる第２画像領域を決定するように構成される第１０決定サブモジュールと、
前記第２画像領域における画像に基づいて、前記第１走行状態指示ランプの状態を決定するように構成される第１１決定サブモジュールと、を備えることを特徴とする
項目１３から１９のうちいずれか一項に記載の装置。
（項目２１）
前記第４決定モジュールは、
前記処理待ち画像における、前記スマート運転機器の第２走行状態指示ランプにより占められる第３画像領域を決定するように構成される第１２決定サブモジュールと、
前記第３画像領域における画像に基づいて、前記第２走行状態指示ランプの状態を決定するように構成される第１３決定サブモジュールと、を備えることを特徴とする
項目１６から２０のうちいずれか一項に記載の装置。
（項目２２）
前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現され、前記第１決定モジュールは、
前記ニューラルネットワークを利用して、前記処理待ち画像から、特徴マップを抽出するように構成される第１抽出サブモジュールと、
前記ニューラルネットワークを利用して、抽出された特徴マップに基づいて、前記スマート運転機器の本体の向きを決定するように構成される第１４決定サブモジュールと、を備え、
第３決定モジュールは、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第１５決定サブモジュールと、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第１６決定サブモジュールと、を備えることを特徴とする
項目１７に記載の装置。
（項目２３）
第４決定モジュールは、
前記ニューラルネットワークを採用して、抽出された特徴マップに基づいて、前記第２走行状態指示ランプの状態を決定するように構成される第１７決定サブモジュールと、
前記第２走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定するように構成される第１８決定サブモジュールと、を備え、
前記第１５決定サブモジュールは、
前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であって、且つ、前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第１決定ユニットを備え、
前記第１６決定サブモジュールは、
前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって、且つ、前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第２決定ユニットを備えることを特徴とする
項目２２に記載の装置。
（項目２４）
前記装置は、前記ニューラルネットワークを訓練するように構成される訓練モジュールを更に備え、前記訓練モジュールは、
スマート運転機器を含むサンプル画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第１９決定サブモジュールと、
前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第２０決定サブモジュールと、
前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第２１決定サブモジュールと、
決定された前記本体の向き、ラベル付けられた前記本体の向き、決定された第１走行状態指示ランプの状態、ラベル付けられた第１走行状態指示ランプの状態に基づいて、ニューラルネットワークのネットワークパラメータを調整するように構成される第１調整サブモジュールと、を備えることを特徴とする
項目２２又は２３に記載の装置。
（項目２５）
コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、項目１から１２のうちいずれか一項に記載の方法の工程を実現させることができる、コンピュータ記憶媒体。
（項目２６）
コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリに、コンピュータによる実行可能な命令が記憶されており、前記プロセッサが前記メモリにおけるコンピュータによる実行可能な命令を実行する時、項目１から１２のうちいずれか一項に記載の方法の工程を実現することができる、コンピュータ機器。
（項目２７）
コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、項目１から１２のうちいずれか一項に記載の方法の工程を実現することができる、コンピュータプログラム製品。

Claims (27)

  1. スマート運転機器の走行状態を認識する方法であって、前記方法は、
    スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
    前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定することと、
    前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、を含む、スマート運転機器の走行状態を認識する方法。
  2. 前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
    前記本体の向きが、前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含むことを特徴とする
    請求項１に記載の方法。
  3. 前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
    前記本体の向きが、前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含むことを特徴とする
    請求項１又は２に記載の方法。
  4. 前記スマート運転機器は、第２走行状態指示ランプを更に含み、前記第２走行状態指示ランプは、前記スマート運転機器が制動状態にあるかどうかを示すことに用いられ、
    前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定する前に、前記方法は、
    前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定することとを更に含み、
    前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定することは、
    前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定することを含むことを特徴とする
    請求項１から３のうちいずれか一項に記載の方法。
  5. 前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定した後、前記方法は、
    前記第２走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定することを更に含むことを特徴とする
    請求項４に記載の方法。
  6. 前記処理待ち画像は、連続する複数フレームの処理待ち画像であり、
    前記処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
    前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
    各フレームの処理待ち画像により決定された前記スマート運転機器の本体の向きに基づいて、前記スマート運転機器の本体の向きを決定することと、を含み、
    前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定することは、
    前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記第１走行状態指示ランプの状態を決定することと、
    各フレームの処理待ち画像により決定された前記第１走行状態指示ランプの状態に基づいて、前記第１走行状態指示ランプの状態を決定することと、を含むことを特徴とする
    請求項１から５のうちいずれか一項に記載の方法。
  7. 前記処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
    前記処理待ち画像における、前記スマート運転機器の本体により占められる第１画像領域を決定することと、
    前記第１画像領域における画像に基づいて、前記スマート運転機器の本体の向きを決定することと、を含むことを特徴とする
    請求項１から６のうちいずれか一項に記載の方法。
  8. 前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定することは、
    前記処理待ち画像における、前記スマート運転機器の第１走行状態指示ランプにより占められる第２画像領域を決定することと、
    前記第２画像領域における画像に基づいて、前記第１走行状態指示ランプの状態を決定することと、を含むことを特徴とする
    請求項１から７のうちいずれか一項に記載の方法。
  9. 前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定することは、
    前記処理待ち画像における、前記スマート運転機器の第２走行状態指示ランプにより占められる第３画像領域を決定することと、
    前記第３画像領域における画像に基づいて、前記第２走行状態指示ランプの状態を決定することと、を含むことを特徴とする
    請求項４から８のうちいずれか一項に記載の方法。
  10. 前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現され、スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定することは、
    前記ニューラルネットワークを利用して、前記処理待ち画像から、特徴マップを抽出することと、
    前記ニューラルネットワークが抽出した特徴マップに基づいて、前記スマート運転機器の本体の向きを決定することと、を含み
    前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
    前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
    前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、を含むことを特徴とする
    請求項５に記載の装置。
  11. 前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定することは、
    前記ニューラルネットワークが抽出した特徴マップに基づいて、前記第２走行状態指示ランプの状態を決定することと、
    前記第２走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定することと、を含み、
    前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
    前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であって、且つ、前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含み、
    前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することは、
    前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって、且つ、前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することを含むことを特徴とする
    請求項１０に記載の方法。
  12. 前記ニューラルネットワークは、
    スマート運転機器を含むサンプル画像に基づいて、前記スマート運転機器の本体の向きを決定することと、
    前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
    前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定することと、
    決定された前記本体の向き、ラベル付けられた前記本体の向き、決定された第１走行状態指示ランプの状態、ラベル付けられた第１走行状態指示ランプの状態に基づいて、ニューラルネットワークのネットワークパラメータを調整することと、を実行することで訓練されたものであることを特徴とする
    請求項１０又は１１に記載の方法。
  13. スマート運転機器の走行状態を認識する装置であって、前記装置は、
    スマート運転機器を含む処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第１決定モジュールと、
    前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定するように構成される第２決定モジュールと、
    前記本体の向き及び前記第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第３決定モジュールと、を備える、スマート運転機器の走行状態を認識する装置。
  14. 前記第３決定モジュールは、
    前記本体の向きが、前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第１決定サブモジュールを備えることを特徴とする
    請求項１３に記載の装置。
  15. 前記第３決定モジュールは、
    前記本体の向きが、前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第２決定サブモジュールを備えることを特徴とする
    請求項１３又は１４に記載の装置。
  16. 前記スマート運転機器は、第２走行状態指示ランプを更に含み、前記第２走行状態指示ランプは、前記スマート運転機器が制動状態にあるかどうかを示すことに用いられ、
    前記装置は、
    前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定する前に、前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定するように構成される第４決定モジュールを更に備え、
    前記第２決定モジュールは、
    前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記処理待ち画像に基づいて、前記スマート運転機器に含まれる第１走行状態指示ランプの状態を決定するように構成される第３決定サブモジュールを備えることを特徴とする
    請求項１３から１５のうちいずれか一項に記載の装置。
  17. 前記装置は、
    前記処理待ち画像に基づいて、前記第２走行状態指示ランプの状態を決定した後、前記第２走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定するように構成される第５決定モジュールを更に備えることを特徴とする
    請求項１６に記載の装置。
  18. 前記処理待ち画像は、連続する複数フレームの処理待ち画像であり、
    第１決定モジュールは、
    前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第４決定サブモジュールと、
    各フレームの処理待ち画像により決定された前記スマート運転機器の本体の向きに基づいて、前記スマート運転機器の本体の向きを決定するように構成される第５決定サブモジュールと、を備え、
    第２決定モジュールは、
    前記連続する複数フレームの処理待ち画像のうちの各フレームの処理待ち画像に基づいて、前記第１走行状態指示ランプの状態を決定するように構成される第６決定サブモジュールと、
    各フレームの処理待ち画像により決定された前記第１走行状態指示ランプの状態に基づいて、前記第１走行状態指示ランプの状態を決定するように構成される第７決定サブモジュールと、を備えることを特徴とする
    請求項１３から１７のうちいずれか一項に記載の装置。
  19. 前記第１決定モジュールは、
    前記処理待ち画像における、前記スマート運転機器の本体により占められる第１画像領域を決定するように構成される第８決定サブモジュールと、
    前記第１画像領域における画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第９決定サブモジュールと、を備えることを特徴とする
    請求項１３から１８のうちいずれか一項に記載の装置。
  20. 前記第２決定モジュールは、
    前記処理待ち画像における、前記スマート運転機器の第１走行状態指示ランプにより占められる第２画像領域を決定するように構成される第１０決定サブモジュールと、
    前記第２画像領域における画像に基づいて、前記第１走行状態指示ランプの状態を決定するように構成される第１１決定サブモジュールと、を備えることを特徴とする
    請求項１３から１９のうちいずれか一項に記載の装置。
  21. 前記第４決定モジュールは、
    前記処理待ち画像における、前記スマート運転機器の第２走行状態指示ランプにより占められる第３画像領域を決定するように構成される第１２決定サブモジュールと、
    前記第３画像領域における画像に基づいて、前記第２走行状態指示ランプの状態を決定するように構成される第１３決定サブモジュールと、を備えることを特徴とする
    請求項１６から２０のうちいずれか一項に記載の装置。
  22. 前記スマート運転機器の走行状態を認識する方法は、ニューラルネットワークにより実現され、前記第１決定モジュールは、
    前記ニューラルネットワークを利用して、前記処理待ち画像から、特徴マップを抽出するように構成される第１抽出サブモジュールと、
    前記ニューラルネットワークを利用して、抽出された特徴マップに基づいて、前記スマート運転機器の本体の向きを決定するように構成される第１４決定サブモジュールと、を備え、
    第３決定モジュールは、
    前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第１５決定サブモジュールと、
    前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第１６決定サブモジュールと、を備えることを特徴とする
    請求項１７に記載の装置。
  23. 第４決定モジュールは、
    前記ニューラルネットワークを採用して、抽出された特徴マップに基づいて、前記第２走行状態指示ランプの状態を決定するように構成される第１７決定サブモジュールと、
    前記第２走行状態指示ランプの状態が点灯であることに応答して、前記スマート運転機器が制動状態にあると決定するように構成される第１８決定サブモジュールと、を備え、
    前記第１５決定サブモジュールは、
    前記本体の向きが前記処理待ち画像を取得する装置に向かう方向であって、且つ、前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第１決定ユニットを備え、
    前記第１６決定サブモジュールは、
    前記本体の向きが前記処理待ち画像を取得する装置に背を向ける方向であって、且つ、前記第２走行状態指示ランプの状態が滅灯であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記特徴マップに基づいて、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第２決定ユニットを備えることを特徴とする
    請求項２２に記載の装置。
  24. 前記装置は、前記ニューラルネットワークを訓練するように構成される訓練モジュールを更に備え、前記訓練モジュールは、
    スマート運転機器を含むサンプル画像に基づいて、前記スマート運転機器の本体の向きを決定するように構成される第１９決定サブモジュールと、
    前記本体の向きが前記サンプル画像を取得する装置に向かう方向であることに応答して、前記ニューラルネットワークの第１分岐を利用して、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の前部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第２０決定サブモジュールと、
    前記本体の向きが前記サンプル画像を取得する装置に背を向ける方向であることに応答して、前記ニューラルネットワークの第２分岐を利用して、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態を決定し、決定された、前記スマート運転機器の後部に設けられる第１走行状態指示ランプの状態に基づいて、前記スマート運転機器の走行状態を決定するように構成される第２１決定サブモジュールと、
    決定された前記本体の向き、ラベル付けられた前記本体の向き、決定された第１走行状態指示ランプの状態、ラベル付けられた第１走行状態指示ランプの状態に基づいて、ニューラルネットワークのネットワークパラメータを調整するように構成される第１調整サブモジュールと、を備えることを特徴とする
    請求項２２又は２３に記載の装置。
  25. コンピュータ記憶媒体であって、前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、該コンピュータによる実行可能な命令が実行された後、請求項１から１２のうちいずれか一項に記載の方法の工程を実現させることができる、コンピュータ記憶媒体。
  26. コンピュータ機器であって、前記コンピュータ機器は、メモリと、プロセッサと、を備え、前記メモリに、コンピュータによる実行可能な命令が記憶されており、前記プロセッサが前記メモリにおけるコンピュータによる実行可能な命令を実行する時、請求項１から１２のうちいずれか一項に記載の方法の工程を実現することができる、コンピュータ機器。
  27. コンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータによる実行可能な命令を含み、該コンピュータによる実行可能な命令が実行された後、請求項１から１２のうちいずれか一項に記載の方法の工程を実現することができる、コンピュータプログラム製品。
JP2020567963A 2019-07-31 2019-11-26 スマート運転機器の走行状態を認識する方法及び装置、機器 Active JP7074896B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022077972A JP2022105569A (ja) 2019-07-31 2022-05-11 スマート運転機器の走行状態を認識する方法及び装置、機器

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910702893.7 2019-07-31
CN201910702893.7A CN112307833A (zh) 2019-07-31 2019-07-31 识别智能行驶设备的行驶状态的方法及装置、设备
PCT/CN2019/121057 WO2021017341A1 (zh) 2019-07-31 2019-11-26 识别智能行驶设备的行驶状态的方法及装置、设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022077972A Division JP2022105569A (ja) 2019-07-31 2022-05-11 スマート運転機器の走行状態を認識する方法及び装置、機器

Publications (2)

Publication Number Publication Date
JP2021534472A true JP2021534472A (ja) 2021-12-09
JP7074896B2 JP7074896B2 (ja) 2022-05-24

Family

ID=74229679

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020567963A Active JP7074896B2 (ja) 2019-07-31 2019-11-26 スマート運転機器の走行状態を認識する方法及び装置、機器
JP2022077972A Withdrawn JP2022105569A (ja) 2019-07-31 2022-05-11 スマート運転機器の走行状態を認識する方法及び装置、機器

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022077972A Withdrawn JP2022105569A (ja) 2019-07-31 2022-05-11 スマート運転機器の走行状態を認識する方法及び装置、機器

Country Status (6)

Country Link
US (1) US20210103746A1 (ja)
JP (2) JP7074896B2 (ja)
KR (1) KR20210015861A (ja)
CN (1) CN112307833A (ja)
SG (1) SG11202013001RA (ja)
WO (1) WO2021017341A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7115502B2 (ja) 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7388971B2 (ja) 2020-04-06 2023-11-29 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP7359735B2 (ja) * 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
CN114519848A (zh) * 2022-02-09 2022-05-20 商汤集团有限公司 一种运动意图确定方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173195A (ja) * 2002-11-22 2004-06-17 Fuji Heavy Ind Ltd 車両監視装置および車両監視方法
JP2004341801A (ja) * 2003-05-15 2004-12-02 Nissan Motor Co Ltd 追跡車両ランプ検出システムおよび追跡車両ランプ検出方法
JP2007304992A (ja) * 2006-05-12 2007-11-22 Nissan Motor Co Ltd 合流支援装置及び合流支援方法
JP2010249768A (ja) * 2009-04-20 2010-11-04 Toyota Motor Corp 車両検出装置
JP2013109391A (ja) * 2011-11-17 2013-06-06 Fuji Heavy Ind Ltd 車外環境認識装置および車外環境認識方法
JP2015232846A (ja) * 2014-06-10 2015-12-24 株式会社デンソー 前方状況判定装置
JP2016004503A (ja) * 2014-06-19 2016-01-12 富士重工業株式会社 車外環境認識装置
JP2017211761A (ja) * 2016-05-24 2017-11-30 株式会社東芝 情報処理装置、および、情報処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102897086B (zh) * 2012-10-12 2017-04-12 福尔达车联网（深圳）有限公司 一种后车行驶信息检测及提示方法及系统
KR101663511B1 (ko) * 2015-04-30 2016-10-14 엘지전자 주식회사 차량 운전 보조 장치, 차량 운전 보조 장치의 제어 방법 및 차량
US9701239B2 (en) * 2015-11-04 2017-07-11 Zoox, Inc. System of configuring active lighting to indicate directionality of an autonomous vehicle
CN105975915B (zh) * 2016-04-28 2019-05-21 大连理工大学 一种基于多任务卷积神经网络的前方车辆参数识别方法
US10248874B2 (en) * 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection
CN106874858A (zh) * 2017-01-19 2017-06-20 博康智能信息技术有限公司北京海淀分公司 一种车辆信息识别方法及装置和一种车辆
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US10061322B1 (en) * 2017-04-06 2018-08-28 GM Global Technology Operations LLC Systems and methods for determining the lighting state of a vehicle
CN107316010A (zh) * 2017-06-13 2017-11-03 武汉理工大学 一种识别前方车辆尾灯及判断其状态的方法
CN108229468B (zh) * 2017-06-28 2020-02-21 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
US10691962B2 (en) * 2017-09-22 2020-06-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for rear signal identification using machine learning
CN108357418B (zh) * 2018-01-26 2021-04-02 河北科技大学 一种基于尾灯识别的前车驾驶意图分析方法
CN109345512A (zh) * 2018-09-12 2019-02-15 百度在线网络技术（北京）有限公司 汽车图像的处理方法、装置及可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173195A (ja) * 2002-11-22 2004-06-17 Fuji Heavy Ind Ltd 車両監視装置および車両監視方法
JP2004341801A (ja) * 2003-05-15 2004-12-02 Nissan Motor Co Ltd 追跡車両ランプ検出システムおよび追跡車両ランプ検出方法
JP2007304992A (ja) * 2006-05-12 2007-11-22 Nissan Motor Co Ltd 合流支援装置及び合流支援方法
JP2010249768A (ja) * 2009-04-20 2010-11-04 Toyota Motor Corp 車両検出装置
JP2013109391A (ja) * 2011-11-17 2013-06-06 Fuji Heavy Ind Ltd 車外環境認識装置および車外環境認識方法
JP2015232846A (ja) * 2014-06-10 2015-12-24 株式会社デンソー 前方状況判定装置
JP2016004503A (ja) * 2014-06-19 2016-01-12 富士重工業株式会社 車外環境認識装置
JP2017211761A (ja) * 2016-05-24 2017-11-30 株式会社東芝 情報処理装置、および、情報処理方法

Also Published As

Publication number Publication date
CN112307833A (zh) 2021-02-02
US20210103746A1 (en) 2021-04-08
SG11202013001RA (en) 2021-03-30
KR20210015861A (ko) 2021-02-10
JP2022105569A (ja) 2022-07-14
JP7074896B2 (ja) 2022-05-24
WO2021017341A1 (zh) 2021-02-04

Similar Documents

Publication Publication Date Title
JP7074896B2 (ja) スマート運転機器の走行状態を認識する方法及び装置、機器
US20210019538A1 (en) Brake Light Detection
US11613201B2 (en) Automatic high beam control for autonomous machine applications
US11928822B2 (en) Intersection region detection and classification for autonomous machine applications
US11769052B2 (en) Distance estimation to objects and free-space boundaries in autonomous machine applications
US20210026355A1 (en) Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications
US10860873B2 (en) Driver behavior recognition and prediction
US10482334B1 (en) Driver behavior recognition
EP4339905A2 (en) Regression-based line detection for autonomous driving machines
US11636689B2 (en) Adaptive object tracking algorithm for autonomous machine applications
WO2020247265A1 (en) Multi-object tracking using correlation filters in video analytics applications
KR20210018434A (ko) 자율 주행을 위한 데이터 파이프 라인 및 딥 러닝 시스템
US20170300766A1 (en) System and method for verification of lamp operation
CN106292432B (zh) 信息处理方法、装置和电子设备
JP7345123B2 (ja) 情報処理装置、情報処理方法、及び、コンピュータプログラム
JP2005196590A (ja) 歩行者抽出装置
CN115376095A (zh) 用于在驾驶场景中完成联合风险定位和推理的系统和方法
US20230206488A1 (en) Gaze determination machine learning system having adaptive weighting of inputs
CN115273032A (zh) 交通标志识别方法、装置、设备及介质
US11021147B2 (en) Vehicles and methods for determining objects of driver focus
WO2023151241A1 (zh) 一种运动意图确定方法、装置、设备及存储介质
KR20180010363A (ko) 전방 차량 감시 방법 및 장치
JP7298171B2 (ja) 画像圧縮装置および画像の圧縮方法
US20220244727A1 (en) Patching deployed deep neural networks for autonomous machine applications
CN115880763A (zh) 操作员接管预测

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220512

R150 Certificate of patent or registration of utility model

Ref document number: 7074896

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150