JP2019040465A - 行動認識装置，学習装置，並びに方法およびプログラム - Google Patents

行動認識装置，学習装置，並びに方法およびプログラム Download PDF

Info

Publication number
JP2019040465A
JP2019040465A JP2017162660A JP2017162660A JP2019040465A JP 2019040465 A JP2019040465 A JP 2019040465A JP 2017162660 A JP2017162660 A JP 2017162660A JP 2017162660 A JP2017162660 A JP 2017162660A JP 2019040465 A JP2019040465 A JP 2019040465A
Authority
JP
Japan
Prior art keywords
feature amount
vehicle
occupant
feature
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017162660A
Other languages
English (en)
Inventor
正雄 山中
Masao Yamanaka
正雄 山中
西島　敏文
Toshifumi Nishijima
敏文 西島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017162660A priority Critical patent/JP2019040465A/ja
Priority to US16/102,258 priority patent/US20190065872A1/en
Priority to CN201810963624.1A priority patent/CN109426808A/zh
Publication of JP2019040465A publication Critical patent/JP2019040465A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

【課題】車両内乗員の行動を精度良く識別する。
【解決手段】行動識別装置は，車両内を撮影した動画像の各フレーム画像から車両内乗員に関する情報を取得する乗員情報取得手段と，前記乗員情報に基づく特徴量である第1特
徴量を算出する第1特徴量算出手段と，所定期間のフレーム画像についての第1特徴量を連結した特徴量である第2特徴量を算出する第2特徴量算出手段と，第2特徴量から所定期間
における行動ラベルの確率分布を求めるようあらかじめ学習された識別器と，前記第2特
徴量算出手段が算出した第2特徴量とを用いて，車両内乗員の行動を識別する識別手段と
，を備える。
【選択図】図2

Description

本発明は，車両内乗員の行動認識装置に関し，特に，車両内乗員の状態を推定するうえで好適な車両内乗員の行動認識装置に関する。
車両内乗員の行動を認識する手法として，たとえば，非特許文献1のような方法が提案
されている。非特許文献１では，入力画像から解像度の異なる複数の画像（ピラミッド画像）を作成し，得られたピラミッド画像から高密度に着目点を検出する。また，各々の着目点を時間方向に追跡して得られた軌跡毎に，HOG，HOF，MBHといった複数の種類の画像
特徴量を算出する。さらに，これらの画像特徴量を次元方向に連結し，Bag-of-Feature表現を用いて，より記述能力の高い画像特徴量に変換する。最終的に，識別対象となる行動毎に得られた画像特徴量を入力とする非線形SVMを用いて識別器を学習する。
また，車両内乗員の行動を認識する手法として，たとえば，非特許文献２のような方法が提案されている。非特許文献２では，デプス・センサーを用いて各時刻における人体の部位の位置を検出し，得られた人体の部位の位置を入力とする隠れマルコフモデル（HMM
）を用いて，第一の特徴量を算出する。また，得られた第一の特徴量に対して，フィッシャー・カーネル（Fisher Kernel）を適用することで，より記述能力の高い第2の特徴量（Fisher Vector）に変換する。最終的に，識別対象となる行動毎に算出した第2の特徴量を入力とする非線形SVMを用いて識別器を学習する。
また，車両内乗員の行動を認識する手法として，たとえば，非特許文献３のような方法が提案されている。非特許文献３では，TOF型センサーを用いて各時刻における人体の部
位の位置を検出し，得られた人体の部位間の距離の順序関係に基づいて，特徴量を算出する。また，得られた特徴量を入力とするランダム・フォレスト（Random Forest）を用い
て識別器を学習する。最終的に，得られた識別器による各時刻の識別対象カテゴリに対する確率密度を時間方向に積算し，その確度を高めることで車両内乗員の行動を認識する。
特許第４４２００８１号公報 特許第４６７０８０３号公報
H. Wang, A. Klaser, C. Schmid. "Dense Trajectories and Motion Boundary Descriptors for Action Recognition", International Journal of Computer Vision (IJCV), 103, pp.60-79, 2013. Y. Goutsu et al., "Gesture recognition using hybrid generative discriminative approach with Fisher Vector", IEEE International Conference on Robotics and Automation (ICRA), 2015. M. Yamanaka et al., "Driver's Behavior Recognition Based on the Global Architecture of Human Parts Position", The 22th Symposium on Sensing via Image Information (SSII), 2016. M. Schwarz et al., "RGB-D Object Recognition and Pose Estimation Based on Pre-Trained Convolutional Neural Network Features", ICRA2015. A. Toshev et al., "Human Pose Estimation via Deep Neural Networks", CVPR2014. S. Hochreiter et al., "Long Short-Term Memory", Neural Computation archive, 1997. F. A. Gers et al., "Continual Prediction using LSTM with Forget Gates", Neural Nets WIRN Vietri-99. F. Gers et al., "Learning Precise Timing with LSTM Recurrent Networks", Journal of Machine Learning Research, 2002.
しかしながら，非特許文献１のように，画像空間上から高密度に着目点を抽出し，得られた軌跡毎に複数の種類の画像特徴量を算出する場合，得られる特徴量が膨大となり，識別器の学習だけでなく，その識別器を用いた識別処理にも長時間を要するという問題がある。
また，非特許文献２のように，デプス・センサーを用いて各時刻における人体の部位の位置を検出し，得られた人体の部位の位置を入力とする隠れマルコフモデル（HMM）を適
用する場合，ジェスチャー認識のような，動画像中の人物が意図した行動を認識するのに有効である反面，動画像中の人物が意図しない危険行動などを認識するのは困難であるという問題がある。
さらに，非特許文献３のように，TOF型センサーを用いて各時刻での人体の部位の位置
を検出し，得られた人体の部位間の距離の順序関係を特徴量とするランダム・フォレスト（Random Forest）を適用する場合，車両内乗員の状態（人体姿勢，手指姿勢，顔の位置
，顔の向き，視線など）の時系列的変化に依存した行動を認識するのは困難であるという問題がある。
本発明は上記の問題点を考慮してなされたものであり，車両内乗員の行動を精度良く認識可能とすることを目的とする。
本発明の一態様は，車両内を撮影した動画像に基づいて，車両内乗員の行動を識別する行動識別装置ある。本態様に係る行動識別装置は，前記動画像の各フレーム画像から，車両内乗員に関する情報を取得する乗員情報取得手段と，前記乗員情報に基づく特徴量である第1特徴量を算出する第1特徴量算出手段と，前記動画像の各フレーム画像について，所定期間のフレーム画像についての第1特徴量を連結した特徴量である第2特徴量を算出する第2特徴量算出手段と，第2特徴量から所定期間における行動ラベルの確率分布を求めるようあらかじめ学習された識別器と，前記第2特徴量算出手段が算出した第2特徴量とを用いて，車両内乗員の行動を識別する識別手段と，を備える。なお，識別手段は，識別器から得られる確率分布自体を出力してもよいし，確率分布において最大値を与える行動ラベルを車両内乗員の行動として決定して出力してもよい。
本発明の別の一態様は，上記の行動識別装置に利用可能な識別器を学習するための学習装置である。本態様に係る学習装置は，車両内を撮影した動画像の各フレーム画像から，車両内乗員に関する情報を取得する乗員情報取得手段と，各フレーム画像における前記車両内乗員の正解行動を取得する正解行動入力手段と，所定期間のフレーム画像において前記車両内乗員が取った各正解行動の割合を表す確率分布を算出する確率分布算出手段と，各フレーム画像について，前記乗員情報に基づく特徴量である第1特徴量を算出する第1特徴量算出手段と，所定期間のフレーム画像についての第1特徴量を連結した特徴量である
第2特徴量を算出する第2特徴量算出手段と，前記第2特徴量算出手段が算出した第2特徴量と，前記確率分布算出手段が算出した確率分布とに基づいて，車両内乗員が所定期間にお
いて取った各行動の確率分布を識別するための識別器を学習する学習手段と，を備える。
本発明において，車両内乗員に関する情報は，車両内を撮影した画像から得られる車両内乗員の姿勢に関する情報を含む。画像は，たとえば，可視光画像や赤外画像である。また，可視光画像や赤外画像と，距離画像とを組み合わせて用いてもよい。車両内の乗員の姿勢に関する情報として，たとえば，頭，首，肩，肘，手首，掌，胴，股関節，膝，足首などの位置（たとえば，各部位の中心位置）が含まれる。車両内の乗員の姿勢に関する情報の他の例として，頭部領域，顔の向き，視線方向，手（手指）領域，手指形状が含まれる。
第1特徴量は，1フレーム画像から得られる特徴量，すなわち，ある特定の時刻における車両内乗員情報から得られる特徴量である。これに対して，第2特徴量は，所定期間内に
おける第1特徴量を時系列方向に連結した特徴量である。
確率分布は，所定期間内における車両内乗員の行動が，あらかじめ定められた複数の行動（行動ラベル）に当てはまる確率をそれぞれ表したものである。行動ラベルは，システムの要求に応じて適宜決定すればよいが，たとえば，ハンドル操作，バックミラーの調整，コントロール・パネルの調整，シートベルトの着用・着脱，スマートフォン操作，飲食などが上げられる。
本発明によれば，時系列データから行動ラベルの確率分布を求めるようにしているので，一時点の情報からだけでは識別が困難な行動であっても，適切に識別ができる。
本発明において，乗員情報として車両内乗員の複数の人体部位の位置を利用し，第1特
徴量を人体部位の位置の関係に基づいて決定してもよい。この場合，第1特徴量は，人体
部位の間の距離の大きさの順位に基づいて決定してもよい。このような順位特徴量は，スケール変換・回転・平行移動に対して不変であり，また，微小変動に対して頑強である。したがって，順位特徴量の使用により，ロバスト性の高い認識が可能となる。
本発明において，乗員情報として，頭部領域の位置，顔の向き，および手領域の位置などのいずれかを利用する場合には，第1特徴量は，上述の人体部位の位置に基づく特徴量
（たとえば，順位特徴量）と，上記情報とを組み合わせたものとして決定すればよい。頭部領域や手指領域の位置や顔の向きなども利用することによって，より精度のよい認識が可能となる。
学習装置の正解行動入力手段による車両内乗員の正解行動の取得は，どのように行われてもよい。たとえば，正解行動入力手段を介して，ユーザ（人間）が正解行動を与えてもよい。あるいは，動画像に正解行動のラベルが関連付けられている場合には，正解行動入力手段は動画像に関連付けられた正解行動ラベルを取得してもよい。この際，フレームごとの正解行動が分かればよく，各フレームについて正解行動の取得するようにしてもよいし，正解行動の開始時刻と終了時刻を取得してもよい。
また，学習装置は，動画像から得られる第1特徴量に対して微小変動を加えることによ
り，学習データの数を増やしてもよい。微小変動を加えた学習データを利用することで，識別時における人体部位位置の推定誤差に対して頑強な識別器が学習できる。
なお、本発明は，上記手段の少なくとも一部を備える行動認識装置または学習装置として捉えることができる．また，本発明は、上記処理の少なくとも一部を実行する行動認識方法または学習方法として捉えることもできる。また、本発明は、これら方法をコンピュータに実行させるためのコンピュータプログラム、あるいはこのコンピュータプログラム
を非一時的に記憶したコンピュータ可読記憶媒体として捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
本発明によれば，車両内乗員の行動を精度良く認識できる。
第1の実施形態に係る行動認識装置1の機能構成図。 第1の実施形態に係る学習装置2の機能構成図。 学習装置2が行う学習処理のフローチャート。 赤外画像入力部11に入力される赤外画像の例。 人体部位検出部13による検出結果の例。 部位間の距離の大きさの順位に基づく順位特徴量の説明図。 真値付与部151による正解行動ラベルの付与の例。 確率分布算出部152による正解行動の確率分布算出の説明図。 確率分布算出部152による正解行動の確率分布算出の説明図。 時系列特徴量の説明図。 学習装置2が学習に使用する学習データの説明図。 行動認識装置1が行う行動認識処理のフローチャート。 第2の実施形態に係る行動認識装置3および学習装置4の機能構成図。 姿勢情報検出部34による検出結果の例。
（第1の実施形態）
本発明の第1の実施形態に関して，図面を参照して説明する。図1(a)は，本実施形態に
係る行動認識装置1の概略構成を示すブロック図である。本実施形態に係る行動認識装置1は，半導体集積回路(LSI)を用いて実現できる。ここで，行動認識装置1は，図1(a)に示すように，赤外画像入力部11と，奥行画像入力部12と，人体部位検出部13と，特徴量算出部14と，識別部16とを有する。これらの構成要素は，行動認識装置1が果たす機能にそれぞ
れ対応している。
図1(b)は，識別部16を学習するための，学習装置2の概略構成を示すブロック図である
。本実施形態に係る学習装置2は，半導体集積回路(LSI)を用いて実現できる。ここで，学習装置2は，図1(b)に示すように，赤外画像入力部11，奥行情報入力部12，人体部位検出
部13，学習部15を有する。学習部15は，真値付与部151，順位特徴量算出部152，確率分布算出部153，時系列特徴量算出部154，確率分布学習部154を含む。ここで，学習装置2が有する機能ブロックのうち行動認識装置1が有するものと同一のものについては，同一の参
照番号を付している。
これらの各機能部については，以下の学習処理および行動認識処理の説明の中で合わせて説明する。
［学習処理］
まず，学習装置2が行う学習処理について説明する。図2は学習処理の流れを示すフローチャートである。
ステップS10において，学習装置2は，正解行動が既知の行動について赤外画像および奥行情報（距離画像）の動画像を取得する。赤外画像は赤外画像入力部11から，奥行情報は奥行情報入力部12から，正解行動は正解行動入力部17からそれぞれ入力される。
赤外画像入力部11は，図3のように，行動認識装置1の外部から入力される車両内の赤外画像（以下，赤外画像）を取得し，時刻t (t = 1,2,…,T)での赤外画像I(t)を人体部位検出部13に出力する。赤外画像は，車両内に設置された赤外線カメラから取得すればよい。なお，本実施形態では赤外画像を用いているが可視光画像を用いても構わない。
奥行情報入力部12は，行動認識装置1の外部から入力される車両内の奥行情報（以下，
奥行情報）を取得し，時刻t (t=1,2,…,T)での奥行情報D(t)を人体部位検出部13に出力する。ここで，奥行情報D(t)は，すでに市販されているステレオ型カメラやTOF型センサー
などを車両内に設置して取得すればよい。
ステップS11-S12からなるループL1の処理は，入力された動画像の各フレームを対象に
して行われる。
ステップS11において，人体部位検出部13は，図4のように，赤外画像入力部11で得られた赤外画像I(t)と，奥行情報入力部12で得られた奥行情報D(t)とに基づいて，車両内乗員のM個の部位の2次元座標(xm(t),ym(t))または3次元座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)を検出し，特徴量算出部14に出力する。人体の部位の位置は，車両内乗員に関する情報（車両内乗員の姿勢に関する情報）の一例であり，人体部位検出部13は本発明における乗員情報取得手段に相当する。本実施形態では，人体部位検出部13は，頭，首，肩（左右），肘（左右），掌（左右），股関節（左右）の各部位の中心位置を検出する。
ここで，xm(t)は，時刻tでのm番目の部位の赤外画像I(t)における水平方向座標を表す
。また，ym(t)は，時刻tでのm番目の部位の赤外画像I(t)における垂直方向座標を表す。
一方，zm(t)は，時刻tでのm番目の部位の奥行方向座標を表し，奥行情報D(t)における2次元座標(xm(t),ym(t))上の値で与えられる。
具体的には，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)は，たとえば，非特許文献4のように，あらかじめ，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)と奥行方向座標zm(t) (m=1,2,…,M)とが付与された大量の学習用デー
タを用いて，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)を検出するための識別器C1を構成し，得られた識別器C1を用いて，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)を検出すればよい。
あるいは，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)は，非特許文献5のように，あらかじめ，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)が付与された大量の学習用データを用いて，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)を検出するための識別器C2を構成し，得られた識別器C2を用い
て，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)を検出してもよい。
ステップS12において，順位特徴量算出部152は，人体部位検出部13で得られた時刻tで
の車両内乗員のM個の部位の2次元座標(xm(t),ym(t))または3次元座標(xm(t),ym(t),zm(t)) (m=1,2,…,M)に基づいて，特徴量F(t)を算出する。具体的には，特徴量F(t)は，次の式(1)を用いて算出される。
Figure 2019040465
 ここで，式(1)において，D(m,n)はm番目の部位とn番目の部位との赤外画像空間上のユ
ークリッド距離，R(D(m,n))はD(1,2),D(1,3),...,D(8,9),D(9,10)を降順に並び替えたと
きのD(m,n)の順位を各々表す。たとえば，図5(a)のように，便宜上4つの部位を考え，す
べての部位のペア間の距離D(t)が,
D(t) = (D(1,2), D(1,3), D(1,4), D(2,3), D(2,4), D(3,4))
= (5.5, 2.6, 2.8, 3.5, 4.3, 4.0)
で与えられたとすると，時刻tにおける特徴量F(t)は
F(t)=(1,6,5,4,2,3)
のように算出できる。
特徴量F(t)は，人体部位の間の距離の大きさの順位に基づく特徴量であり，本発明の第1特徴量に相当する。また，順位特徴量算出部152が本発明の第1特徴量算出手段に相当す
る。
なお，順位特徴量に用いられる人体部位間の距離は，赤外画像上での2次元距離であっ
てもよいし，3次元空間内での3次元距離であってもよい。
特徴量F(t)は，スケール変換や微少変動に対して頑強であるという利点がある。図5(a)はある画像から得た人体部位を示し，図5（b）は図5(a)の画像を拡大したときに得られる人体部位を示し，図5（c）は図5(a)から人体部位が微小に変動したときに得られる人体部位を示す。図5(a)と図5(b)から分かるように，人体の部位の位置のスケール変動に対して，順位特徴量は不変である。また，図5(a)と図5(c)から分かるように，人体の部位の微小変動に対して順位特徴量は頑健である。すなわち，特徴量F(t)は，人体の部位間の距離の順位のみに依存するため，拡大・縮小といったスケール変動が生じても不変であり，人体の部位の位置が微小に変動しても，その変動がそれらの順位に影響しなければ，特徴量F(t)は一定である。このような特性により，車両内乗員の行動を推定する際に生じる様々な変動，たとえば，座席位置の水平移動，乗員の体格差，カメラの位置や向き，深層学習による人体の部位の位置の推定誤差などによる影響を抑制することができる。
以上のステップS11-S12の処理により，1フレーム分の画像I(t)について，特徴量F(t)が決定される。そして，ループL1の繰り返しにより，入力された動画像の各フレームについて当該処理が実行される。
ステップS13において，真値付与部151は，図6のように，各時刻tにおける行動ラベルl(=1,2,…L)を付与する。具体的には，時刻t=t1〜t=t2は行動ラベル1，時刻t=t2〜t3は行動ラベル2，時刻t=t3〜t4は行動ラベル3，といったように，ある行動l(=1,2,…L)が開始さ
れた時刻tsと終了した時刻teとを付与する。ここで，Lは識別対象となる行動ラベルの個
数を表し，実現したいアプリケーションに応じて，あらかじめ適切に決められる。真値付与部151への行動ラベル（正解ラベル）の入力は，ユーザ（人間）が手動で行えばよい。
なお，入力データの各フレームに行動ラベルが付されていてもよい。行動ラベルの非限定的な例として，ハンドル操作，バックミラーの調整，コントロール・パネルの調整，シートベルトの着用・着脱，スマートフォン操作，飲食などが挙げられる。真値付与部151が
，本発明の正解行動入力手段に相当する。
ステップS14-S15からなるループL2の処理は，時間軸上に設定される時間窓Δtのそれぞれについて行われる。たとえば，i回目の処理における時間窓はt=Ti〜Ti+Δtの範囲で与
えられる。ここで，時間窓の大きさΔtは，実現したいアプリケーションに応じて試行錯
誤的に決められばよい。また，Tiの増分は入力画像のタイムステップと同じとしてもよいし，それよりも大きくしてもよい。
ステップS14において，確率分布算出部152は，図7，図8のように，それぞれの時間窓について確率分布Ptr(t)を算出する。確率分布Ptr(t)は，時刻tから時刻t+Δtの間の時間窓において，各行動ラベルが占める割合（確率）の分布として求められる。
たとえば，真値付与部151が付与する行動ラベルが，行動ラベル1と2の2つである場合（L=2）を考える。図7(a)に示すように，時刻t=T1〜T1+Δtにおいて単一の行動ラベル1が付与されているので，確率分布Ptr(t=T1)はPtr(t=T1)=(1,0)と決定される。また，図7(b)に示すように，時刻t=T2〜T2+Δtにおいて2つの行動ラベル1と2とが混在しているので，確
率分布Ptr(t=T2)は，Ptr(t=T2)=((t2-T2)/Δt,(T2+Δt-t2)/Δt)と決定される。さらに，図7(c)に示すように，時刻t=T3〜T3+Δtにおいて単一の行動ラベル2が付与されているの
で，確率分布Ptr(t=T3)はPtr(t=T3)=(0,1)と決定される。
別の例として，真値付与部151が付与する行動ラベルが，行動ラベル1,2,3の3つである
場合（L=3）を考える。図8(a)に示すように，時刻t=T1〜T1+Δtにおいて単一の行動ラベ
ル1が付与されているので，確率分布Ptr(t=T1)はPtr(t=T1)=(1, 0, 0)決定される。また
，図8(b)に示すように，時刻t=T2〜T2+Δtにおいて2つの行動ラベル1と2とが混在してい
るので，確率分布Ptr(t=T2)はPtr(t=T2)=((t2-T2)/Δt, (T2+Δt-t2)/Δt, 0)と決定される。また，図8(c)に示すように，時刻t=T3〜T3+Δtにおいて3つの行動ラベル1, 2, 3が混在しているので，確率分布Ptr(t=T3)はPtr(t=T3)=((t2-T2)/Δt, (t3-t2)/Δt, (T3+Δt-t3)/Δt)でと決定される。また，図8(d)に示すように，時刻t=T4〜T4+Δtにおいて2つの
行動ラベル2と3とが混在しているので，確率分布Ptr(t=T4)はPtr(t=T4)=(0, (t3-T4)/Δt, (T4+Δt-t3)/Δt)と決定される。さらに，図8(e)に示すように，時刻t=T5〜T5+Δtにおいて単一の行動ラベル３が付与されているので，確率分布Ptr(t=T5)は，Ptr(t=T5)=(0, 0, 1)で与えられる。
ここでは行動ラベルの数が2個または3個の場合（L=2 or 3）について例示的に説明したが，行動ラベルの数Lに関わらず，時間窓に占める各行動ラベルの時間割合として確率分
布Ptr(t)を算出することができる。
ステップS15において，時系列特徴量算出部154は，図9のように，ある時刻tから時刻t+Δtまでの各時刻での特徴量F(t), F(t+1), F(t+2), … , F(t+Δt)を算出し，これらを時間方向に連結することで，時刻tにおける時系列特徴量Fts(t) = (F(t), F(t+1), F(t+2),
… , F(t+Δt))を算出する。時系列特徴量Fts(t)が本発明の第2特徴量に相当し，時系列特徴量算出部154が本発明の第2特徴量算出手段に相当する。
以上のステップS14-S15の処理により，1つの時間窓について確率分布Ptr(t)と系列特徴量Fts(t)が算出される。そして，ループL2の繰り返しにより，入力された動画像の全期間にわたって当該処理が実行される。
確率分布学習部155は，図10のように，時系列特徴量算出部154で得られた時系列特徴量Fts(t)=(F(t), F(t+1), F(t+2), … , F(t+Δt)) (t=1,2,…,T)を入力とし，確率分布算
出部153で得られた，時刻tにおける確率分布Ptr(t) (t=1,2,…,T)を推定するための識別
器C1を学習する。ここで，Tは，行動ラベルl(=1,2,…,L)に対する識別器C1を学習する際
の学習サンプル（赤外画像と奥行情報のペア）の個数を表し，識別対象となる行動ラベルの個数Lと，行動ラベル毎の識別の難易度（似て非なる行動ラベルが多いほど難易度が高
い）に応じて，試行錯誤的に決められる。
識別器C1の学習には，時系列データを分類する時系列型ニューラルネットワークを用いればよい。このような学習アルゴリズムとして，たとえば，非特許文献6に示すような，
時系列データの短期的情報だけでなく長期的情報も取り込み可能な長期短期記憶（LSTM: Long Short Term Memory）がある。LSTMは，RNN (Recurrent Neural Network)の拡張であり，RNNの中間層のユニットをLSTM blockと呼ばれるメモリと3つのゲートを持つブロックに置き換えたニューラルネットワークである。LSTMには様々な拡張があり，たとえば，非特許文献7や8のような手法も採用可能である。なお，採用可能な学習アルゴリズムはLSTM
に限定されず，時系列データを分類可能なアルゴリズムであれば既存の任意の手法が採用可能である。
以上の処理により，学習装置2によって識別器C1の学習が完了する。
［行動認識処理］
次に，行動認識装置1が行う行動認識処理について説明する。なお，行動認識装置1が有する識別部16は，学習装置2によって学習された識別器C1を利用する。図11は行動認識処
理の流れを示すフローチャートである。
ステップS20において，行動認識装置1の赤外画像入力部11および奥行情報入力部12は，認識対象の行動についての赤外画像および奥行情報（距離画像）の動画像を取得する。赤外画像と奥行情報の取得は，基本的に学習処理のときと同様である。
ステップS21-S22からなるループL3の処理は，入力された動画像の各フレームを対象に
して行われる。
ステップS21では，人体部位検出部13が人体の部位の2次元位置を検出する。ステップS22では，特徴量算出部14が人体の部位間の距離の順位に基づく順位特徴量を算出する。ス
テップS21およびS22における処理は，学習処理におけるステップS11およびS12の処理と同様である。
ステップS23-S25からなるループL4の処理は，入力された動画像に設定される各時間窓
（t=t'〜t'+Δt, t' = 1,2,…,T'）を対象にして行われる。
ステップS23では，特徴量算出部14は，時間窓（t=t'〜t'+Δt）内の順位特徴量を時間
方向に時間方向に連結した時系列特徴量時系列特徴量Fts(t’)=(F(t’), F(t’+1), F(t
’+2), … , F(t’+Δt)) (t’=1,2,…,T’)を算出する。この処理は，学習処理におけるステップS15の処理と同様である。
ステップS24において，識別部16は，学習部15で得られた識別器C1に対して，時系列特
徴量Fts(t’)=(F(t’), F(t’+1), F(t’+2), … , F(t’+Δt)) (t’=1,2,…,T’)を入
力することで，行動ラベルl(=1,2,…L)に対する確率分布Pte(t’) (t’=1,2,…,T’)を算出する。ステップS25において，識別部16は，得られた確率分布Pte(t’) (t’=1,2,…,T
’)の各時刻t’ (=1,2,…,T’)での最大値を与える行動ラベルlout(t’) (t’=1,2,…,T
’)に変換し，行動認識装置1の外部に出力する。ここで，時間T’は，行動ラベルが未知
の識別対象サンプル（赤外画像と奥行情報のペア）の個数を表す。
このようにして得られた車両内乗員の行動認識結果lout(t’) (= 1,…,L, t’=1,2,…,T’)は，行動認識装置1を活用するより上位の装置に伝達され，車両内乗員の行動を入力
とする様々なアプリケーションに適用される。たとえば，車両内乗員によるスマホ操作や飲食といった危険行動を認識し，車両の走行状態と照らし合わせることで適応的に注意を促すことなどに適用される。
本実施形態では，時間窓内での各時点における特徴量を連結した時系列特徴量と，当該時間窓内における正解行動の確率分布との組み合わせを学習データとして，時系列データから正解行動の確率分布を求める識別器を学習している。このように，時系列特徴量に基づいて行動認識をしているので，車両内乗員の状態の時系列変化を考慮して行動認識が可能となる。すなわち，ある一つの時点のみの状態では識別できないような行動であっても適切に識別可能である。また，車両内乗員の人体姿勢の時系列的変化に依存した行動，た
とえば，車両内乗員の乗降，シートベルトの着脱，右左折時のステアリング操作，ナビゲーション・システム操作時の上下左右へのスワイプ操作などの認識精度を向上することができる。
また，各時点における特徴量として，部位間の距離の大きさの順位を特徴量として利用しているので，ロバスト性の高い行動認識が行える。距離の大きさの順位は，拡大・縮小と言ったスケール変換，回転や平行移動が生じても不変であり，また部位の微小変動に対しても頑強であるためである。このような特性により，車両内乗員の行動を推定する際に生じる様々な変動，たとえば，座席位置の水平移動，乗員の体格差，カメラの位置や向き，深層学習による人体の部位の位置の推定誤差などによる影響を抑制することができる。
（第2の実施形態）
本発明の第2の実施形態について，図12,図13を参照して説明する。図12(a)および図12(b)は本実施形態に係る行動認識装置3および学習装置4の概略構成を示すブロック図である。本実施形態に係る行動認識装置は，半導体集積回路(LSI)を用いて実現できる。
行動認識装置3は，図12(a)に示すように，赤外画像入力部31と，奥行情報入力部32と，人体部位検出部33，姿勢情報検出部34と，特徴量算出部35と，識別部37とを有する。学習装置4は，図12(b)に示すように，赤外画像入力部31と，奥行情報入力部32と，人体部位検出部33，姿勢情報検出部34と，学習部36とを有する。これらの構成要素は行動認識装置3
および学習装置3が果たす機能にそれぞれ対応している。なお，本実施形態においては，
第1の実施形態との相違箇所のみ言及する。
第1の実施形態では，人体部位検出部13において，車両内乗員の人体の部位の位置を検
出し，得られた人体の部位間の距離の順序関係のみに基づいて，特徴量を算出したのに対して，本実施形態では，人体の部位間の距離の順序関係だけでなく，車両内乗員の顔の向き，頭部領域（車両内乗員の頭部領域が画像空間上のどこにあるのか），手領域（車両内乗員の手領域が画像空間上のどこにあるのか）に基づいて特徴量を算出する点に特徴がある。車両内乗員の顔の向き，頭部領域，手領域は，車両内乗員の姿勢に関する情報の一例である。
以下，本実施形態の各機能部について説明する。赤外画像入力部31と，奥行情報入力部32と，人体部位検出部33は，それぞれ第1の実施形態の対応する機能部と同様の処理を行
う。
姿勢情報検出部34は，図13のように，車両内乗員の頭部領域を包含する矩形領域を表す2点r1=(X1(t),Y1(t),Z1(t)), r2=(X2(t),Y2(t),Z2(t))と，車両内乗員の顔向きを示す方
向ベクトルr3=(X3(t),Y3(t),Z3(t))と，車両内乗員の手領域を包含する矩形領域を表す2
点r4=(X4(t),Y4(t),Z4(t)), r5=(X5(t),Y5(t),Z5(t))とに基づいて，乗員情報I(t)を抽出し，特徴量算出部25に出力する。具体的には，姿勢情報P(t)は，式(2)のように，これら
の3次元情報を次元方向に連結して与えればよい。
Figure 2019040465
ここで，車両内乗員の姿勢情報P(t)=(r1,r2,r3,r4,r5)は，たとえば，非特許文献4のように，あらかじめ，車両内乗員の頭部領域を包含する矩形領域を表す2点r1=(X’1(t),Y’1(t),Z1(t)), r2=(X’2(t),Y’2(t),Z’2(t))と，車両内乗員の顔向きを示す方向ベクト
ルr3=(X’3(t),Y’3(t),Z’3(t))と，車両内乗員の手領域を包含する矩形領域を表す2点r4=(X’4(t),Y’4(t),Z’4(t)), r5=(X’5(t),Y’5(t),Z’5(t))が付与された大量の学習
用データを用いて，車両内乗員の姿勢情報P(t)=(r1,r2,r3,r4,r5)を推定するための識別
器C2を構成し，得られた識別器C2を用いて，ある時刻tでの車両内乗員の姿勢情報P(t)=(r1,r2,r3,r4,r5)を推定すればよい。
なお，頭部領域や手領域は，矩形領域として特定する必要はなく，多角形や円（楕円を含む）の領域として特定してもよい。また，領域の特定方法も特に限定されず，頂点位置を指定する代わりに，中心位置と大きさを指定して特定するようにしてもよい。
特徴量算出部35は，人体部位検出部33で得られた時刻tでの車両内乗員のM個の部位の2
次元座標(xm(t),ym(t)) (m=1,2,…,M)の距離の順位を表す順位特徴量と，姿勢情報検出部24で得られた時刻tでの姿勢情報P(t)とに基づいて，特徴量F(t)を算出し，学習部15およ
び識別部16に出力する。具体的には，特徴量F(t)は，式(3)を用いて算出すればよい。順
位特徴量は，第1の実施形態と同様にして求められる。
Figure 2019040465
本実施形態では，上述の特徴量F(t)が第1の特徴量に相当し，人体部位検出部33と姿勢
情報検出部34の両方が乗員情報取得手段に相当する。
学習部36および識別部37は，使用する特徴量が式3により求められる特徴量を時系列に
並べた時系列特徴量であることを除けば，第1の実施形態と同様である。すなわち，学習
部36は，各時間窓における行動ラベルの確率分布を求め，同一の時間窓内の時系列特徴量と確率分布の組を学習データとして，時系列データから行動ラベルの確率分布を求める識別器C1を学習する。また，識別部37は，時系列特徴量に対応する行動ラベルの確率分布を識別器C1によって求め，最大値を与える行動ラベルを対象の時間窓内での行動として決定する。
本実施形態によれば，車両内乗員の顔の位置や向きおよび手の位置を考慮した行動認識が行える。したがって，より精度の良い認識が可能となる。たとえば，車両内乗員の行動に応じて，人体姿勢だけでなく，手指姿勢，顔の位置，顔の向き，視線なども変化する。したがって，そのような行動，たとえば，車両内乗員の乗降，シートベルトの着脱，右左折時のステアリング操作，ナビゲーション・システム操作時の上下左右へのスワイプ操作などの認識精度をさらに向上することができる。
（変形例）
上記の説明では，人体の部位の位置として2次元位置(xm(t), ym(t))を求めており，し
たがって，部位間の距離もxy面内での距離が用いられている。しかしながら，人体の部位の位置を3次元で求めて，部位間の距離として3次元空間内での距離を用いることも好適である。
また，学習処理や行動認識処理において用いられる人体の部位の位置は，どのようにして求められても構わない。これは部位検出のアルゴリズムが特定のものに限定されないことを意味するだけでなく，部位検出を人手で行ってもよいことを意味する。もっとも，行動認識処理については，リアルタイムに処理を行うために人体の部位検出を機械によって行うことが望ましい。
本発明における行動認識装置1,3や学習装置2,4は，半導体集積回路(LSI)による実装に
限定されず，汎用的なマイクロプロセッサやメモリを有するコンピュータがプログラムを実行することによって実現されても構わない。また，上記の説明では，行動認識装置1,3
と学習装置2,4を異なる装置として説明したが，1台の装置において学習モードを認識モードとを切り替えられるように構成しても構わない。
1…行動認識装置
11…赤外画像入力部
12…奥行情報入力部
13…人体部位検出部
14…特徴量算出部
15…学習部
16…識別部

Claims (14)

  1. 車両内を撮影した動画像に基づいて，車両内乗員の行動を識別する行動識別装置であって，
    前記動画像の各フレーム画像から，車両内乗員に関する乗員情報を取得する乗員情報取得手段と，
    前記動画像の各フレーム画像について，前記乗員情報に基づく特徴量である第1特徴量
    を算出する第1特徴量算出手段と，
    所定期間のフレーム画像についての第1特徴量を連結した特徴量である第2特徴量を算出する第2特徴量算出手段と，
    第2特徴量から所定期間における行動ラベルの確率分布を求めるようあらかじめ学習さ
    れた識別器と，前記第2特徴量算出手段が算出した第2特徴量とを用いて，車両内乗員の行動を識別する識別手段と，
    を備えることを特徴とする行動識別装置。
  2. 前記乗員情報は，車両内乗員の複数の人体部位の位置を含み，
    前記第1特徴量は，前記人体部位の位置の関係に基づく特徴量である，
    請求項1に記載の行動識別装置。
  3. 前記第1特徴量は，前記人体部位の間の距離の大きさの順位に基づく特徴量である，
    請求項2に記載の行動識別装置。
  4. 前記乗員情報は，さらに，頭部領域の位置，顔の向き，および手領域の位置の少なくともいずれかを含み，
    前記第1特徴量は，前記人体部位の位置の関係に基づく特徴量と，顔領域の位置，顔の
    向き，および手領域の位置の少なくともいずれかとを組み合わせたものである，
    請求項2または3に記載の行動識別装置。
  5. 前記動画像は，赤外画像と距離画像とを含む，
    請求項1から4のいずれか１項に記載の行動識別装置。
  6. 前記識別手段は，前記識別器から得られる確率分布において最大値を与える行動ラベルを，前記車両内乗員の行動として決定する，
    請求項1から5のいずれか１項に記載の行動識別装置。
  7. 車両内を撮影した動画像の各フレーム画像から，車両内乗員に関する情報を取得する乗員情報取得手段と，
    各フレーム画像における前記車両内乗員の正解行動を取得する正解行動入力手段と，
    所定期間のフレーム画像において前記車両内乗員が取った各正解行動の割合を表す確率分布を算出する確率分布算出手段と，
    各フレーム画像について，前記乗員情報に基づく特徴量である第1特徴量を算出する第1特徴量算出手段と，
    所定期間のフレーム画像についての第1特徴量を連結した特徴量である第2特徴量を算出する第2特徴量算出手段と，
    前記第2特徴量算出手段が算出した第2特徴量と，前記確率分布算出手段が算出した確率分布とに基づいて，車両内乗員が所定期間において取った各行動の確率分布を識別するための識別器を学習する学習手段と，
    を備えることを特徴とする学習装置。
  8. 前記乗員情報は，車両内乗員の複数の人体部位の位置を含む，
    前記第1特徴量は，前記人体部位の位置の関係に基づく特徴量である，
    請求項7に記載の学習装置。
  9. 前記第1特徴量は，前記人体部位の間の距離の大きさの順位に基づく特徴量である，
    請求項8に記載の学習装置。
  10. 前記乗員情報は，さらに，頭部領域の位置，顔の向き，および手領域の位置の少なくともいずれかを含み，
    前記第1特徴量は，前記人体部位の位置の関係に基づく特徴量と，顔領域の位置，顔の
    向き，および手領域の位置の少なくともいずれかとを組み合わせたものである，
    請求項8または9に記載の学習装置。
  11. 前記動画像は，赤外画像と距離画像とを含む，
    請求項7から10のいずれか１項に記載の学習装置。
  12. 車両内を撮影した動画像に基づいて，車両内乗員の行動を識別する行動識別方法であって，
    前記動画像の各フレーム画像から，車両内乗員に関する乗員情報を取得する乗員情報取得ステップと，
    前記動画像の各フレーム画像について，前記乗員情報に基づく特徴量である第1特徴量
    を算出する第1特徴量算出ステップと，
    所定期間のフレーム画像についての第1特徴量を連結した特徴量である第2特徴量を算出する第2特徴量算出ステップと，
    第2特徴量から所定期間における行動ラベルの確率分布を求めるようあらかじめ学習さ
    れた識別器と，前記第2特徴量算出ステップにおいて算出した第2特徴量を用いて，車両内乗員の行動を識別する識別ステップと，
    を含むことを特徴とする行動識別方法。
  13. 車両内を撮影した動画像の各フレーム画像から，車両内乗員に関する乗員情報を取得する乗員情報取得ステップと，
    各フレーム画像における前記車両内乗員の正解行動を取得する正解行動入力ステップと，
    所定期間のフレーム画像において前記車両内乗員が取った各正解行動の割合を表す確率分布を算出する確率分布算出ステップと，
    各フレーム画像について，前記乗員情報に基づく特徴量である第1特徴量を算出する第1特徴量算出ステップと，
    所定期間のフレーム画像についての第1特徴量を連結した特徴量である第2特徴量を算出する第2特徴量算出ステップと，
    前記第2特徴量算出ステップにおいて算出した第2特徴量と，前記確率分布算出ステップにおいて算出した確率分布とに基づいて，車両内乗員が所定期間において取った各行動の確率分布を識別するための識別器を学習する学習ステップと，
    を含むことを特徴とする学習方法。
  14. 請求項12または13に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
JP2017162660A 2017-08-25 2017-08-25 行動認識装置，学習装置，並びに方法およびプログラム Pending JP2019040465A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017162660A JP2019040465A (ja) 2017-08-25 2017-08-25 行動認識装置，学習装置，並びに方法およびプログラム
US16/102,258 US20190065872A1 (en) 2017-08-25 2018-08-13 Behavior recognition apparatus, learning apparatus, and method and program therefor
CN201810963624.1A CN109426808A (zh) 2017-08-25 2018-08-23 行为辨识装置、学习装置以及方法及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017162660A JP2019040465A (ja) 2017-08-25 2017-08-25 行動認識装置，学習装置，並びに方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2019040465A true JP2019040465A (ja) 2019-03-14

Family

ID=65436065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017162660A Pending JP2019040465A (ja) 2017-08-25 2017-08-25 行動認識装置，学習装置，並びに方法およびプログラム

Country Status (3)

Country Link
US (1) US20190065872A1 (ja)
JP (1) JP2019040465A (ja)
CN (1) CN109426808A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052815A (zh) * 2020-09-14 2020-12-08 北京易华录信息技术股份有限公司 一种行为检测方法、装置及电子设备
JP2021039598A (ja) * 2019-09-04 2021-03-11 日本電信電話株式会社 学習装置、照合装置、学習方法、照合方法及びプログラム
JP2021072059A (ja) * 2019-11-01 2021-05-06 学校法人トヨタ学園 ジェスチャ検出装置
JP2021103092A (ja) * 2019-12-24 2021-07-15 株式会社アイシン シート姿勢検出装置
JP2022528847A (ja) * 2019-03-28 2022-06-16 アークソフト コーポレイション リミテッド 手によるハンドルの把握状態の検出方法及び装置
JP2022095994A (ja) * 2019-05-29 2022-06-28 コニカミノルタ株式会社 画像処理システム、画像処理プログラム、および画像処理方法
WO2023188264A1 (ja) * 2022-03-31 2023-10-05 日本電気株式会社 情報処理システム
JP7380266B2 (ja) 2020-01-29 2023-11-15 株式会社アイシン 車室内状態検出装置、および車室内状態検出プログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509029B (zh) * 2018-03-09 2021-07-02 苏州佳世达电通有限公司 非接触式输入方法及非接触式输入系统
US11195030B2 (en) 2018-09-14 2021-12-07 Honda Motor Co., Ltd. Scene classification
US10860873B2 (en) * 2018-09-17 2020-12-08 Honda Motor Co., Ltd. Driver behavior recognition and prediction
US10482334B1 (en) * 2018-09-17 2019-11-19 Honda Motor Co., Ltd. Driver behavior recognition
US11034357B2 (en) 2018-09-14 2021-06-15 Honda Motor Co., Ltd. Scene classification prediction
US11270525B2 (en) * 2018-11-06 2022-03-08 Alliance For Sustainable Energy, Llc Automated vehicle occupancy detection
US10635917B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition
US10825196B2 (en) * 2019-02-15 2020-11-03 Universal City Studios Llc Object orientation detection system
CN110316200B (zh) * 2019-07-05 2021-11-02 重庆愉客行网络有限公司 一种用于出租车驾驶人员的行为管理系统及方法
CN112208475B (zh) * 2019-07-09 2023-02-03 奥迪股份公司 用于车辆乘员的安全保护系统、车辆及相应的方法和介质
CN112528824B (zh) * 2020-12-02 2022-11-25 创新奇智(深圳)技术有限公司 防止幼儿食用异物的方法及装置、电子设备、存储介质
CN113254596B (zh) * 2021-06-22 2021-10-08 湖南大学 基于规则匹配和深度学习的用户质检需求分类方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022528847A (ja) * 2019-03-28 2022-06-16 アークソフト コーポレイション リミテッド 手によるハンドルの把握状態の検出方法及び装置
JP7253639B2 (ja) 2019-03-28 2023-04-06 アークソフト コーポレイション リミテッド 手によるハンドルの把握状態の検出方法及び装置
JP2022095994A (ja) * 2019-05-29 2022-06-28 コニカミノルタ株式会社 画像処理システム、画像処理プログラム、および画像処理方法
JP2021039598A (ja) * 2019-09-04 2021-03-11 日本電信電話株式会社 学習装置、照合装置、学習方法、照合方法及びプログラム
JP7174382B2 (ja) 2019-09-04 2022-11-17 日本電信電話株式会社 学習装置、照合装置、学習方法、照合方法及びプログラム
JP2021072059A (ja) * 2019-11-01 2021-05-06 学校法人トヨタ学園 ジェスチャ検出装置
JP7216373B2 (ja) 2019-11-01 2023-02-01 学校法人トヨタ学園 ジェスチャ検出装置
JP2021103092A (ja) * 2019-12-24 2021-07-15 株式会社アイシン シート姿勢検出装置
JP7380266B2 (ja) 2020-01-29 2023-11-15 株式会社アイシン 車室内状態検出装置、および車室内状態検出プログラム
CN112052815A (zh) * 2020-09-14 2020-12-08 北京易华录信息技术股份有限公司 一种行为检测方法、装置及电子设备
CN112052815B (zh) * 2020-09-14 2024-02-20 北京易华录信息技术股份有限公司 一种行为检测方法、装置及电子设备
WO2023188264A1 (ja) * 2022-03-31 2023-10-05 日本電気株式会社 情報処理システム

Also Published As

Publication number Publication date
CN109426808A (zh) 2019-03-05
US20190065872A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
JP2019040465A (ja) 行動認識装置，学習装置，並びに方法およびプログラム
JP6443393B2 (ja) 行動認識装置，学習装置，並びに方法およびプログラム
CN112590794B (zh) 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置
CN111033512B (zh) 用于基于简单的二维平面摄像装置与自主行驶车辆通信的动作控制装置
JP5253588B2 (ja) 内部距離形状関連法を用いた手姿勢の取り込み及び認識
JP6398979B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
WO2020186867A1 (zh) 注视区域检测方法、装置及电子设备
JP4625074B2 (ja) サインに基づく人間−機械相互作用
García et al. Driver monitoring based on low-cost 3-D sensors
Sun et al. Combining machine learning and dynamic time wrapping for vehicle driving event detection using smartphones
Matzka et al. Efficient resource allocation for attentive automotive vision systems
Martin et al. Real time driver body pose estimation for novel assistance systems
Haid et al. Inertial-based gesture recognition for artificial intelligent cockpit control using hidden Markov models
US11080562B1 (en) Key point recognition with uncertainty measurement
Wang et al. A2dio: Attention-driven deep inertial odometry for pedestrian localization based on 6d imu
CN114973425A (zh) 一种交警手势识别方法及装置
Gan et al. Modeling intent and destination prediction within a Bayesian framework: Predictive touch as a usecase
Farmer et al. Smart automotive airbags: Occupant classification and tracking
CN114201985A (zh) 一种人体关键点的检测方法及装置
JP2022531828A (ja) 手動作の対称性の認識方法及びシステム
US20210327066A1 (en) Apparatus and method for determining musculoskeletal disease
CN113520397A (zh) 一种基于可穿戴式惯性测量单元的驾驶分心行为识别方法
Raman et al. Beyond estimating discrete directions of walk: a fuzzy approach
Englund Action intention recognition of cars and bicycles in intersections
JP6770488B2 (ja) 注視対象物推定装置、注視対象物推定方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200218