JP2019523943A - 視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法 - Google Patents
視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法 Download PDFInfo
- Publication number
- JP2019523943A JP2019523943A JP2018563860A JP2018563860A JP2019523943A JP 2019523943 A JP2019523943 A JP 2019523943A JP 2018563860 A JP2018563860 A JP 2018563860A JP 2018563860 A JP2018563860 A JP 2018563860A JP 2019523943 A JP2019523943 A JP 2019523943A
- Authority
- JP
- Japan
- Prior art keywords
- load
- scene
- model
- features
- reference video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003068 static effect Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 56
- 238000013507 mapping Methods 0.000 claims description 40
- 239000013598 vector Substances 0.000 claims description 32
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000012417 linear regression Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000000611 regression analysis Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000003935 attention Effects 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000010344 pupil dilation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012508 change request Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
- G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
自己報告及び自己評価尺度などによる主観的尺度、
脳の活動(例えば、EEGによって検知することができるタスク関連脳電位)、心臓の活動(例えば、心拍数)、眼の活動(例えば、瞳孔拡張及び瞬き速度)、並びにストレス活動(例えば、電気皮膚応答によるもの)の尺度を含む生理学的尺度、
反応時間及びエラー率などのタスク及び能力に基づく尺度、
言いよどみ(speech disfluencies)などの行動尺度
を含む、多くの手法が用いられている。
improved dense trajectoriesでは、ビデオは、原始的な関心点(primitive interest points)のトラジェクトリ(trajectories)周辺において抽出された視覚的特徴として表される。トラジェクトリは、経時的に追跡された「関心点」の画像位置(x, y)である。このような「関心点」は、物体の角のような、顕著な又ははっきりと分かる画像の部分であり得る。関心点は、SURF(「Speeded Up Robust Features」アルゴリズムを用いて検出されことができ、ビデオの高密度オプティカルフロー場(dense optical flow field)においてメディアンフィルタリングによって追跡され得る。
3D畳み込み(C3D)特徴は、ラベル付きデータから特徴が自動的に学習される「深層ニューラルネットワーク」学習特徴の一種である。局所的な外観情報及び動作情報を補足するビデオフィルタの階層が学習される。特徴抽出のためのC3Dネットワークは、それが使用可能となる前に最初に訓練されなければならない。予め訓練されたネットワークを用いることができる(すなわち、他のデータについて訓練され、一般的なビデオ記述子を抽出することを学習する。)。例えば、予め訓練されたモデルは、スポーツを分類するために、百万のスポーツビデオのセットから訓練されてもよい。これは、ビデオ回帰/分類タスクにおいて用いることができる一般的な動作特徴/外観特徴を学習する。訓練の代わりに又は訓練に加えて、C3Dネットワークを微調整するために、ラベル付き参照ビデオを用いてもよい。
図7は、本開示の実施形態に係る負荷モデルの訓練を示した概略図を示している。負荷モデルは、回帰モデルであることが望ましい。回帰モデルを訓練するためには、機械学習アルゴリズムがシーン特徴のセットから知覚的負荷値への写像関数を学習することができるように、種々の運転シナリオの例、すなわち、特に、参照ビデオシーン及び参照ビデオシーンの対応する負荷値が必要とされる。
f(x) = wTx + b、すなわち、f(x) = w1*x1 + w2*x2 + w3*x3 ... + b
f(x) = wTΦ(x) + b
Claims (30)
- 視覚的且つ動的な運転シーン(10)の知覚的負荷を決定する、乗り物(10)の制御装置(1)であって、
当該制御装置(1)が、
視覚的運転シーンを検知するセンサ(3)のセンサ出力(101)を受信し、
前記視覚的運転シーンの静的情報及び/又は動的情報を表すシーン特徴のセット(102)を前記センサ出力(101)から抽出し、
予め定められた負荷モデル(103)に基づいて、抽出されたシーン特徴のセット(102)の知覚的負荷(104)を決定するように構成され、
前記負荷モデル(103)が、それぞれ負荷値でラベル付けされた参照ビデオシーンに基づいて予め定められる、制御装置。 - 前記負荷モデル(103)が、前記参照ビデオシーンから抽出されたシーン特徴のセットと前記負荷値との間の写像関数を含む、請求項1に記載の制御装置。
- 前記負荷モデル(103)がシーン特徴のセットを知覚的負荷値に写像するように構成される、請求項1又は2に記載の制御装置。
- 前記負荷モデル(103)が、前記参照ビデオシーンから抽出されたシーン特徴のセットと前記負荷値との間の回帰モデル及び/又は分類モデルである、請求項1から3の何れか一項に記載の制御装置。
- 前記参照ビデオシーンの負荷値の決定が、人間に基づき、特にクラウドソーシングに基づく、請求項1から4の何れか一項に記載の制御装置。
- 前記負荷値の決定が、ペアワイズランク付け法に基づき、特にTrueSkillアルゴリズムに基づく、請求項1から5の何れか一項に記載の制御装置。
- 当該制御装置が、運転シーン中に運転者を監視することによって前記負荷モデルを継続的に訓練するように構成され、決定された知覚的負荷(104)と一致しない、前記運転シーン中の前記運転者の監視された行動が、前記写像関数をオンラインで更新するように機能する、請求項1から6の何れか一項に記載の制御装置。
- 前記シーン特徴のセット(102)が、ある範囲の時空間特徴を含み、前記シーン特徴のセットが特にベクトル形式により記述される、請求項1から7の何れか一項に記載の制御装置。
- 前記シーン特徴のセットが、improved dense trajectory(iDT)特徴、及び/又は三次元畳み込みニューラルネットワーク(C3D)特徴を含む、請求項1から8の何れか一項に記載の制御装置。
- 前記負荷モデルが線形回帰モデルであり、入力シーン特徴ベクトルxである前記シーン特徴のセットが、線形写像関数f(x) = wTx + b = w1*x1 + w2*x2 + w3*x3 ... + bを介して、出力知覚的負荷値y=f(x)である前記知覚的負荷に写像され、前記線形写像関数が、前記入力シーン特徴ベクトルxの入力次元値の加重和であり、重みパラメータwが、前記入力シーン特徴ベクトルxのそれぞれの次元値に割り当てられ、バイアス項bが出力を特定の値にセンタリングし、又は
前記負荷モデルが多重チャネル非線形カーネル回帰モデルであり、写像関数がf(x) = wTΦ(x) + bであり、Φ(x)が、非線形カーネル空間への入力特徴ベクトルの変換関数である、請求項1から9の何れか一項に記載の制御装置。 - 請求項1から10の何れか一項に記載の制御装置(1)を備える、乗り物(10)。
- 前記視覚的運転シーンを検知するように構成されたセンサ(3)を更に備え、該センサ(3)が、特に光センサ、より詳細には少なくとも1つのデジタルカメラである、請求項11に記載の乗り物(10)。
- 視覚的且つ動的な運転シーンの知覚的負荷を決定する、乗り物(10)のシステム(30)であって、
請求項1から11の何れか一項に記載の制御装置(1)と、
前記負荷モデルを決定するように構成されたサーバ(20)と、
を備える、システム(30)。 - 前記サーバ(20)が、
複数の参照ビデオシーンを記憶し、
前記参照ビデオシーンを負荷値でラベル付けする手段を提供し、
それぞれの参照ビデオシーンからシーン特徴のセットを抽出し、
それぞれの参照ビデオシーンから抽出されたシーン特徴のセットと前記負荷値との間の写像関数を決定するように構成された回帰分析に基づいて前記負荷モデルを決定するように構成される、請求項13に記載のシステム(30)。 - 前記サーバ(20)が、
前記参照ビデオシーンの人間に基づく負荷格付けの手段を提供するように構成され、特に、前記負荷格付けがクラウドソーシングに基づき、前記負荷値が前記人間に基づく負荷格付けに基づいて決定される、請求項13又は14に記載のシステム(30)。 - 前記サーバ(20)は、前記負荷格付けが、ペアワイズランク付け法、特にTrueSkillアルゴリズムに基づくように構成される、請求項13から15の何れか一項に記載のシステム(30)。
- 視覚的且つ動的な運転シーンの知覚的負荷を決定する方法であって、
視覚的運転シーンを検知するセンサ(3)のセンサ出力(101)を受信する段階と、
前記視覚的運転シーンの静的情報及び/又は動的情報を表すシーン特徴のセット(102)を前記センサ出力(101)から抽出する段階と、
予め定められた負荷モデル(103)に基づいて、抽出されたシーン特徴のセット(102)の知覚的負荷(104)を決定する段階と、
を含み、
前記負荷モデル(103)が、それぞれ負荷値でラベル付けされた参照ビデオシーンに基づいて予め定められる、方法。 - 前記負荷モデル(103)が、前記参照ビデオシーンから抽出されたシーン特徴のセットと前記負荷値との間の写像関数を含む、請求項17に記載の方法。
- 前記負荷モデル(103)がシーン特徴のセットを知覚的負荷値に写像する、請求項17又は18に記載の方法。
- 前記負荷モデル(103)が、前記参照ビデオシーンから抽出されたシーン特徴のセットと前記負荷値との間の回帰モデル又は分類モデルである、請求項17から19の何れか一項に記載の方法。
- 前記参照ビデオシーンの負荷値の決定が、人間に基づき、特にクラウドソーシングに基づく、請求項17から20の何れか一項に記載の方法。
- 前記負荷値の決定が、ペアワイズランク付け法、特にTrueSkillアルゴリズムに基づく、請求項17から21の何れか一項に記載の方法。
- 前記負荷モデルが、運転シーン中に運転者を監視することによって継続的に訓練され、決定された知覚的負荷(104)と一致しない、前記運転シーン中の前記運転者の監視された行動が、前記写像関数をオンラインで更新するように機能する、請求項17から22の何れか一項に記載の方法。
- 前記シーン特徴のセットが、ある範囲の時空間特徴を含み、前記シーン特徴のセットが特にベクトル形式により記述される、請求項17から23の何れか一項に記載の方法。
- 前記シーン特徴のセットが、improved dense trajectory(iDT)特徴、及び/又は三次元畳み込みニューラルネットワーク(C3D)特徴を含む、請求項17から24の何れか一項に記載の方法。
- 前記負荷モデルが線形回帰モデルであり、入力シーン特徴ベクトルxであるシーン特徴のセットが、線形写像関数f(x) = wTx + b = w1*x1 + w2*x2 + w3*x3 ... + bを介して、出力知覚的負荷値y=f(x)である前記知覚的負荷に写像され、前記線形写像関数が、前記入力シーン特徴ベクトルxの入力次元値の加重和であり、重みパラメータwが、前記入力シーン特徴ベクトルxのそれぞれの次元値に割り当てられ、バイアス項bが出力を特定の値にセンタリングし、又は
前記負荷モデルが多重チャネル非線形カーネル回帰モデルであり、写像関数がf(x) = wTΦ(x) + bであり、Φ(x)が、非線形カーネル空間への入力特徴ベクトルの変換関数である、請求項17から25の何れか一項に記載の方法。 - 前記センサ(3)が、光センサ、特に少なくとも1つのデジタルカメラである、請求項17から26の何れか一項に記載の方法。
- サーバが、
複数の参照ビデオシーンを記憶する段階、
前記参照ビデオシーンを負荷値でラベル付けする手段を提供する段階、
それぞれの参照ビデオシーンからシーン特徴のセットを抽出する段階、及び
それぞれの参照ビデオシーンから抽出されたシーン特徴のセットと前記負荷値との間の写像関数を決定する回帰分析に基づいて、前記負荷モデルを決定する段階を行う、請求項17から27の何れか一項に記載の方法。 - 前記サーバが、前記参照ビデオシーンの人間に基づく負荷格付けの手段を提供し、特に、前記負荷格付けがクラウドソーシングに基づき、前記負荷値が前記人間に基づく負荷格付けに基づいて決定される、請求項28に記載の方法。
- 前記負荷格付けが、ペアワイズランク付け法、特にTrueSkillアルゴリズムに基づく、請求項28又は29に記載の方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2016/062910 WO2017211395A1 (en) | 2016-06-07 | 2016-06-07 | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019523943A true JP2019523943A (ja) | 2019-08-29 |
JP6737906B2 JP6737906B2 (ja) | 2020-08-12 |
Family
ID=56116422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018563860A Active JP6737906B2 (ja) | 2016-06-07 | 2016-06-07 | 視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10963741B2 (ja) |
EP (1) | EP3465532A1 (ja) |
JP (1) | JP6737906B2 (ja) |
WO (1) | WO2017211395A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3465532A1 (en) * | 2016-06-07 | 2019-04-10 | Toyota Motor Europe | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene |
CN108647599B (zh) * | 2018-04-27 | 2022-04-15 | 南京航空航天大学 | 结合3d跃层连接和循环神经网络的人体行为识别方法 |
CN113642633B (zh) * | 2018-06-11 | 2023-06-20 | 百度在线网络技术(北京)有限公司 | 用于对驾驶场景数据进行分类的方法、装置、设备和介质 |
CN109740424A (zh) * | 2018-11-23 | 2019-05-10 | 深圳市华尊科技股份有限公司 | 交通违规识别方法及相关产品 |
US11488399B2 (en) * | 2018-12-19 | 2022-11-01 | Magna Electronics Inc. | Vehicle driver monitoring system for determining driver workload |
WO2020182281A1 (en) | 2019-03-08 | 2020-09-17 | Toyota Motor Europe | Electronic device, system and method for determining the perceptual capacity of an individual human |
US20220225917A1 (en) | 2019-05-15 | 2022-07-21 | Toyota Motor Europe | Electronic device, system and method for predicting the performance of an individual human during a visual perception task |
US11364935B2 (en) * | 2019-07-22 | 2022-06-21 | Volvo Car Corporation | Robust autonomous drive design |
CN110781718B (zh) * | 2019-08-28 | 2023-10-10 | 浙江零跑科技股份有限公司 | 一种驾驶室红外视觉系统及驾驶员注意力分析方法 |
CN111103477B (zh) * | 2019-10-31 | 2020-08-25 | 武汉旗云高科信息技术有限公司 | 一种基于3d卷积神经网络的电气负载监测方法和系统 |
CN111208818B (zh) * | 2020-01-07 | 2023-03-07 | 电子科技大学 | 基于视觉时空特征的智能车预测控制方法 |
JP7421948B2 (ja) * | 2020-02-21 | 2024-01-25 | 本田技研工業株式会社 | 情報処理システムおよび情報処理方法 |
DE102020123976A1 (de) * | 2020-09-15 | 2022-03-17 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren, System und Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF) |
US20220363264A1 (en) * | 2021-05-14 | 2022-11-17 | International Business Machines Corporation | Assessing driver cognitive state |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07123409A (ja) * | 1993-10-25 | 1995-05-12 | Sony Corp | 動画像分析合成装置 |
JPH1166283A (ja) * | 1997-08-13 | 1999-03-09 | Matsushita Electric Ind Co Ltd | 画像特徴量の相関抽出方法及び画像検索装置 |
JP2010092293A (ja) * | 2008-10-08 | 2010-04-22 | Nippon Telegr & Teleph Corp <Ntt> | 時空間画像特徴量検出装置、時空間画像特徴量検出方法および時空間画像特徴量検出プログラム |
JP2012113477A (ja) * | 2010-11-24 | 2012-06-14 | Denso Corp | 運転疲労度判定装置 |
JP2013009825A (ja) * | 2011-06-29 | 2013-01-17 | Denso Corp | 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10103401A1 (de) | 2001-01-26 | 2002-08-01 | Daimler Chrysler Ag | Gefahrenabwendungssystem für ein Fahrzeug |
US7394393B2 (en) | 2005-08-02 | 2008-07-01 | Gm Global Technology Operations, Inc. | Adaptive driver workload estimator |
EP1754621B1 (en) | 2005-08-18 | 2009-10-14 | Honda Research Institute Europe GmbH | Driver assistance system |
WO2007145566A1 (en) * | 2006-06-11 | 2007-12-21 | Volvo Technology Corporation | Method and apparatus for determining and analyzing a location of visual interest |
US8442309B2 (en) * | 2009-06-04 | 2013-05-14 | Honda Motor Co., Ltd. | Semantic scene segmentation using random multinomial logit (RML) |
EP2316705B1 (en) * | 2009-10-28 | 2012-06-20 | Honda Research Institute Europe GmbH | Behavior-based learning of visual characteristics from real-world traffic scenes for driver assistance systems |
GB201305067D0 (en) * | 2013-03-19 | 2013-05-01 | Massive Analytic Ltd | Apparatus for controlling a land vehicle which is self-driving or partially self-driving |
US20150161877A1 (en) * | 2013-11-06 | 2015-06-11 | Vringo Labs Llc | Systems And Methods For Event-Based Reporting and Surveillance and Publishing Event Information |
US9771802B2 (en) * | 2014-02-25 | 2017-09-26 | Siemens Energy, Inc. | Thermal shields for gas turbine rotor |
EP3465532A1 (en) * | 2016-06-07 | 2019-04-10 | Toyota Motor Europe | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene |
US11034357B2 (en) * | 2018-09-14 | 2021-06-15 | Honda Motor Co., Ltd. | Scene classification prediction |
-
2016
- 2016-06-07 EP EP16727998.3A patent/EP3465532A1/en active Pending
- 2016-06-07 US US16/307,813 patent/US10963741B2/en active Active
- 2016-06-07 JP JP2018563860A patent/JP6737906B2/ja active Active
- 2016-06-07 WO PCT/EP2016/062910 patent/WO2017211395A1/en unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07123409A (ja) * | 1993-10-25 | 1995-05-12 | Sony Corp | 動画像分析合成装置 |
JPH1166283A (ja) * | 1997-08-13 | 1999-03-09 | Matsushita Electric Ind Co Ltd | 画像特徴量の相関抽出方法及び画像検索装置 |
JP2010092293A (ja) * | 2008-10-08 | 2010-04-22 | Nippon Telegr & Teleph Corp <Ntt> | 時空間画像特徴量検出装置、時空間画像特徴量検出方法および時空間画像特徴量検出プログラム |
JP2012113477A (ja) * | 2010-11-24 | 2012-06-14 | Denso Corp | 運転疲労度判定装置 |
JP2013009825A (ja) * | 2011-06-29 | 2013-01-17 | Denso Corp | 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6737906B2 (ja) | 2020-08-12 |
EP3465532A1 (en) | 2019-04-10 |
US10963741B2 (en) | 2021-03-30 |
WO2017211395A1 (en) | 2017-12-14 |
US20190272450A1 (en) | 2019-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6737906B2 (ja) | 視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法 | |
US11798297B2 (en) | Control device, system and method for determining the perceptual load of a visual and dynamic driving scene | |
Xia et al. | Predicting driver attention in critical situations | |
Xing et al. | Identification and analysis of driver postures for in-vehicle driving activities and secondary tasks recognition | |
Hoang Ngan Le et al. | Robust hand detection and classification in vehicles and in the wild | |
US10655978B2 (en) | Controlling an autonomous vehicle based on passenger behavior | |
US20220327840A1 (en) | Control device, system and method for determining perceptual load of a visual and dynamic driving scene in real time | |
Ragab et al. | A visual-based driver distraction recognition and detection using random forest | |
Moslemi et al. | Computer vision‐based recognition of driver distraction: A review | |
CN114648354A (zh) | 一种基于眼动追踪和情绪状态的广告测评方法和系统 | |
JP2020042785A (ja) | 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 | |
Weyers et al. | Action and object interaction recognition for driver activity classification | |
Zhao et al. | Deep convolutional neural network for drowsy student state detection | |
CN113990500A (zh) | 一种生命体征参数的监测方法、装置以及储存介质 | |
Gite et al. | Context–aware assistive driving: an overview of techniques for mitigating the risks of driver in real-time driving environment | |
Mittal et al. | Driver drowsiness detection using machine learning and image processing | |
Ramzan et al. | Automatic Unusual Activities Recognition Using Deep Learning in Academia. | |
Kshirsagar et al. | Fatigue detection using artificial intelligence | |
US20240046612A1 (en) | Fusion-based sensing intelligence and reporting | |
Zhou et al. | Development of a camera-based driver state monitoring system for cost-effective embedded solution | |
Chai et al. | Rethinking the Evaluation of Driver Behavior Analysis Approaches | |
US20220225917A1 (en) | Electronic device, system and method for predicting the performance of an individual human during a visual perception task | |
Berri et al. | A 3D vision system for detecting use of mobile phones while driving | |
SEÇKİN | Labeling System with EEG, EMG, and IMU for Visual Training of Autonomous Vehicles | |
WO2020182281A1 (en) | Electronic device, system and method for determining the perceptual capacity of an individual human |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200716 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6737906 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |