JP2018132996A - 推定装置、学習装置、推定方法、及び推定プログラム - Google Patents

推定装置、学習装置、推定方法、及び推定プログラム Download PDF

Info

Publication number
JP2018132996A
JP2018132996A JP2017027224A JP2017027224A JP2018132996A JP 2018132996 A JP2018132996 A JP 2018132996A JP 2017027224 A JP2017027224 A JP 2017027224A JP 2017027224 A JP2017027224 A JP 2017027224A JP 2018132996 A JP2018132996 A JP 2018132996A
Authority
JP
Japan
Prior art keywords
equipment
estimation
occupant
state
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017027224A
Other languages
English (en)
Other versions
JP6820533B2 (ja
Inventor
川口 京子
Kyoko Kawaguchi
京子 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017027224A priority Critical patent/JP6820533B2/ja
Priority to US15/830,239 priority patent/US11995536B2/en
Publication of JP2018132996A publication Critical patent/JP2018132996A/ja
Application granted granted Critical
Publication of JP6820533B2 publication Critical patent/JP6820533B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/34Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】車両の仕様にかかわらず適用できるとともに、装備に対する乗員の状態を精度よく推定できる推定装置、学習装置、推定方法、及び推定プログラムを提供する。
【解決手段】推定装置は、車両の装備に対する乗員の状態を推定する推定装置であって、機械学習により構築された推定モデルを記憶する記憶部と、装備を含む画像を入力として、推定モデルを用いて装備に対する乗員の状態を推定する処理部と、を備える。推定モデルは、装備を含む画像の入力に対して、乗員の特定部位の骨格位置を示す第1の情報と、装備に対する乗員の状態を示す第2の情報と、を出力するモデルである。
【選択図】図2

Description

本発明は、車両等の車室内における装備に対する乗員の状態(姿勢及び行動)を推定する推定装置、学習装置、推定方法、及び推定プログラムに関する。
近年、移動体(例えば、自動車等の車両)内における乗員の状態(動作やジェスチャー)を検知し、検知結果に基づいて乗員にとって有用な情報を提供する技術が開発されている(例えば、特許文献1、2)。
乗員の状態を検知する技術としては、例えば、車室内に設置された車載カメラから得られる画像に基づいて、乗員の状態を推定する推定装置がある。推定装置では、画像から乗員の特定部位を示す骨格位置が推定され、この骨格位置に基づいて、装備に対する乗員の状態が推定される。例えば、乗員の特定部位である「手」の骨格位置に基づいて、「ハンドルを握っている」や、「ナビゲーションシステムを操作している」という乗員の状態が推定される。装備に対する乗員の状態は、装備と特定部位との位置関係で表すことができる。
骨格位置は、例えば、機械学習により構築されたモデル(アルゴリズム)を利用して、推定される。特に、ディープラーニングにより構築されたモデルは、骨格位置の推定精度が高く、好適である。ディープラーニングとは、ニューラルネットワークを利用した機械学習である。
図1は、従来の推定装置5の一例を示す図である。ここでは、推定装置5が、運転者によるハンドルの把持状態を推定する場合について説明する。図1に示すように、従来の推定装置5は、骨格位置推定部51及び状態推定部53を備える。
骨格位置推定部51は、推定モデルMを用いて、車載カメラ20から入力された画像DIに含まれる乗員の特定部位(手)の骨格位置を推定し、骨格位置情報DO1を出力する。推定モデルMは、入力(問題)となる画像に、出力(解答)となる骨格位置が関連付けられた訓練データ(または、教師データともいう)を用いた機械学習により構築されるモデルである。骨格位置情報は、入力画像DIにおける特定部位の骨格位置を示す座標(x,y)で与えられる。
動作推定部53は、骨格位置推定部51からの骨格位置情報DO1と車両の装備情報54とに基づいて、運転者によるハンドルの把持状態を推定し、ハンドルの把持状態を示す位置関係情報DO2を出力する。装備情報54は、例えば、骨格位置と当該装備に対する状態(ここでは、ハンドルを把持しているか否か)とが関連付けられた判断テーブルである。図1に示す装備情報では、運転者の手がハンドルを把持していると判断する場合が「ON」、運転者の手がハンドルから離れていると判断する場合が「OFF」として設定されている。つまり、動作推定部53は、骨格位置情報に含まれる骨格位置座標(x,y)が、50<x<100及び80<y<90を満たす場合は、運転者がハンドルを把持していると推定し、骨格位置座標(x、y)が前記条件を満たさない場合は、運転者がハンドルを把持していないと推定する。
特開2014−221636号公報 特開2014−179097号公報
しかしながら、従来の推定装置において、装備に対する運転者の状態を正確に推定するためには、推定装置が搭載される車両の仕様に応じて装備情報(判断テーブル)を用意する必要がある。全メーカーの全車種に対応するためには、膨大な装備情報が必要となり、今後新たな車種が投入されることも考えると、実用的でない。また、ユーザーによって車両の装備に変更が加えられると、推定精度が低下してしまう。
本発明の目的は、車両の仕様にかかわらず適用できるとともに、装備に対する乗員の状態を精度よく推定できる推定装置、学習装置、推定方法、及び推定プログラムを提供することである。
本発明に係る推定装置は、
車両の装備に対する乗員の状態を推定する推定装置であって、
機械学習により構築されたモデルを記憶する記憶部と、
前記装備を含む画像を入力し、前記モデルを用いて前記乗員の状態を推定し、前記乗員の特定部位の骨格位置を示す第1の情報と、前記装備に対する乗員の状態を示す第2の情報と、を出力する処理部と、を備えることを特徴とする。
本発明に係る学習装置は、
車両の装備に対する乗員の状態を推定するために用いられるモデルを構築する学習装置であって、
前記装備を含む画像に、前記乗員の特定部位の骨格位置を示す第1の情報と、前記装備に対する乗員の状態を示す第2の情報と、が関連付けられた訓練データを取得する入力部と、
前記画像を推定装置に入力したときに、当該画像に関連付けられた前記第1の情報及び前記第2の情報が出力されるように、前記モデルを構築する学習部と、を備える。
本発明に係る推定方法は、
車両の装備に対する乗員の状態を推定する推定方法であって、
前記装備を含む画像を取得する第1工程と、
前記第1工程で取得した画像を入力し、機械学習により構築されたモデルを用いて前記装備に対する乗員の状態を推定する第2工程と、
前記第2工程による推定結果として、前記乗員の特定部位の骨格位置を示す第1の情報と、前記装備に対する乗員の状態を示す第2の情報と、を出力する第3工程と、を含む。
本発明に係る推定プログラムは、
車両の装備に対する乗員の状態を推定する推定装置のコンピューターに、
前記装備を含む画像を取得する第1処理と、
前記第1処理で取得した画像を入力し、機械学習により構築されたモデルを用いて前記装備に対する乗員の状態を推定する第2処理と、
前記第2処理による推定結果として、前記乗員の特定部位の骨格位置を示す第1の情報と、前記装備に対する乗員の状態を示す第2の情報と、を出力する第3処理と、を実行させる。
本発明によれば、車両の仕様にかかわらず適用できるとともに、装備に対する乗員の状態を精度よく推定することができる。
従来の推定装置の一例を示す図である。 本発明の一実施の形態に係る推定装置を示す図である。 推定モデルを構築するための学習装置の一例を示す図である。 図4A〜図4Iは、運転者によるハンドルの把持状態を推定する推定モデルを構築する場合の訓練データの一例を示す図である。 学習装置の処理部が実行する学習処理の一例を示すフローチャートである。 推定装置の処理部が実行する推定処理の一例を示すフローチャートである。
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
図2は、本発明の一実施の形態に係る推定装置1を示す図である。
推定装置1は、車両に搭載され、車載カメラ20によって撮像された画像DIに基づいて、当該画像DIに含まれる車両の装備に対する乗員の状態(姿勢や行動)を推定する。
車載カメラ20は、例えば、車室内に設置された赤外線カメラである。車載カメラ20は、乗員の状態を推定する対象となる装備を含む領域を撮像する。車載カメラ20は、例えば、推定装置1がハンドルに対する乗員の把持状態を推定する場合、撮像領域にハンドルが収まるように設置される。
車両の装備は、例えば、ハンドル、カーナビゲーションシステムのタッチパネル、窓、ドアノブ、エアコンのコントロールパネル、バックミラー、ダッシュボード、シート、アームレスト、センターボックス、グローブボックスなどであり、車種によって詳細なサイズや位置は異なるが、各装置の設置位置は車種にかかわらずある程度の領域に決まっているものである。
図2に示すように、推定装置1は、処理部11及び記憶部12等を備える。
処理部11は、演算/制御装置としてのCPU111(Central Processing Unit)、主記憶装置としてのROM112(Read Only Memory)及びRAM113(Random Access Memory)等を備える(いずれも図示略)。ROM112には、BIOS(Basic Input Output System)と呼ばれる基本プログラムや基本的な設定データが記憶される。CPU111は、ROM112又は記憶部12から処理内容に応じたプログラムを読み出してRAM113に展開し、展開したプログラムを実行することにより、所定の処理を実行する。
処理部11は、例えば、推定プログラムを実行することにより、画像入力部11A、推定部11B及び推定結果出力部11Cとして機能する。具体的には、処理部11は、車両の装備(例えば、ハンドル)を含む画像を入力として、推定モデルMを用いて装備に対する乗員の状態(ハンドルを把持状態)を推定し、推定結果を出力する。画像入力部11A、推定部11及び推定結果出力部11Cの機能については、図6のフローチャートに従って詳述する。
記憶部12は、例えばHDD(Hard Disk Drive)、又はSSD(Solid State Drive)等の補助記憶装置である。記憶部12は、CD(Compact Disc)、DVD(Digital versatile Disc)等の光ディスク、MO((Magneto-Optical disk)等の光磁気ディスクを駆動して情報を読み書きするディスクドライブであってもよい。また例えば、記憶部12は、USBメモリ、SDカード等のメモリカードであってもよい。
記憶部12は、例えば、オペーレーティングシステム(OS)、推定プログラム及び推定モデルMを記憶する。推定プログラムは、ROM112に記憶されてもよい。推定プログラムは、例えば、当該プログラムが格納されたコンピューター読取可能な可搬型記憶媒体(光ディスク、光磁気ディスク、及びメモリカードを含む)を介して提供される。また例えば、推定プログラムは、当該推定プログラムを保有するサーバ装置から、ネットワークを介してダウンロードにより提供されてもよい。推定モデルMも同様に、ROM112に記憶されてもよいし、可搬型記憶媒体又はネットワークを介して提供されてもよい。
推定モデルMは、機械学習により構築されたアルゴリズムであり、装備を含む画像の入力に対して、乗員の特定部位の骨格位置を示す骨格位置情報と、装備と特定部位との位置関係を示す位置関係情報と、を出力する。推定モデルMは、ニューラルネットワークを利用したディープラーニングにより構築されることが好ましい。ディープラーニングにより構築された推定モデルMは、画像認識性能が高く、装備と特定部位との位置関係を高精度で推定することができる。推定モデルMは、例えば、図3に示す学習装置2によって構築される。
図3は、推定モデルMを構築するための学習装置2の一例を示す図である。
図3に示すように、学習装置2は、処理部21及び記憶部22を備える。これらの具体的な構成のうち、推定装置1の処理部11及び記憶部12と共通する部分については、ここでの説明を省略する。
処理部21は、例えば、学習プログラムを実行することにより、訓練データ入力部21A及び学習部21Bとして機能する。具体的には、処理部21は、訓練データTによる教師あり学習を行い、推定モデルMの構築を行う。
訓練データTは、車両の装備(例えば、ハンドル)と乗員の特定部位(例えば、手)とを含む画像T1、画像T1における乗員の特定部位(例えば、手)の骨格位置情報T2、及び、装備と特定部位の位置関係を示す位置関係情報T3を有する。画像T1に、骨格位置情報T2及び位置関係情報T3が関連付けられており、これらが1セットで訓練データTを構成する。画像T1が推定モデルMの入力であり、骨格位置情報T2及び位置関係情報T3が推定モデルMの出力である。なお、画像T1は、装備だけの画像(乗員の特定部位を含まない画像)を含んでもよい。また、画像T1は、乗員の特定部位だけの画像(車両の特定の装備を含まない画像)を含んでもよい。
骨格位置情報T2は、画像T1における特定部位の骨格位置を示す座標(x,y)で与えられる。位置関係情報T3は、ON/OFFで与えられる。具体的には、位置関係情報T3が「ON」である場合、装備と手が重なっている(触れている)ことを示し、位置関係情報T3が「OFF」である場合、装備と手が離れていることを示す。
なお、訓練データTの画像T1は、車載カメラ20による撮像画像の全体に対応する全体画像であってもよいし、全体画像から切り出した一部に対応する部分画像であってもよい。
推定装置1において、車載カメラ20の撮像画像をそのまま推定モデルMの入力として用いる場合、訓練データTの画像T1として全体画像が準備され、骨格位置情報T2は全体画像上の座標で与えられる。また、推定装置1において、車載カメラ20の撮像画像を切り出して推定モデルMの入力として用いる場合、訓練データTの画像T1として部分画像が準備され、骨格位置情報T2は部分画像上の座標で与えられる。つまり、学習時の訓練データTの画像T1と推定時の推定モデルMの入力としての画像とは、処理対象範囲(画像サイズと位置)が同じであることが望ましい。
図4A〜図4Iは、運転者によるハンドルの把持状態を推定する推定モデルMを構築する場合の訓練データTの一例を示す図である。図4A〜図4Iは、ハンドルの大きさの違いにより、手の骨格位置が同じであっても、手とハンドルの位置関係が異なることを示している。なお、図4A〜図4Iは、ハンドル近傍の領域を示す部分画像を訓練データTの画像T1とした場合を示している。
図4C、図4E及び図4Gに示す画像T1では、手がハンドルと重なっている(触れている)。したがって、図4C、図4E及び図4Gに示す画像T1には、位置関係情報T3として「ON」が関連付けられる。また、骨格位置情報T2としては、それぞれの手の骨格位置を示す座標(x3,y3)、(x2,y2)、(x1,y1)が関連付けられる。一方、図4C、図4E及び図4G以外の画像T1では、手がハンドルと離れている。したがって、これらの画像T1には、位置関係情報T3として「OFF」が関連付けられる。また、骨格位置情報T2としては、それぞれの手の骨格位置を示す座標が関連付けられる。
訓練データTの画像T1は、装備のサイズや位置が違う最低2車種の車両に設置された車載カメラ20によって撮像されると想定される様々なパターンの画像を含む。すなわち、訓練データTの画像T1として、ハンドルの形態(位置、サイズ、模様等を含む)及び/又は手の位置が異なる膨大な画像が用意され、それぞれに対して、骨格位置情報T2と位置関係情報T3が関連付けられる。画像T1として、できるだけ多くのパターンを用意することで、推定モデルMによる推定精度を高めることができる。
図5は、学習装置2の処理部21が実行する学習処理の一例を示すフローチャートである。この処理は、CPU211が学習プログラムを実行することにより実現される。
ステップS101において、処理部21は、1セットの訓練データTを取得する(訓練データ入力部21Aとしての処理)。訓練データTは、画像T1、骨格位置情報T2及び位置関係情報T3を含む。
ステップS102において、処理部21は、取得した訓練データTに基づいて、推定モデルMを最適化する(学習部21Bとしての処理)。具体的には、処理部21は、記憶部22から現在の推定モデルMを読み出して、画像T1を推定モデルMに入力したときの出力と、当該画像T1に関連付けられた骨格位置情報T2及び位置関係情報T3の値が等しくなるように、推定モデルMを修正(再構築)する。例えば、ニューラルネットワークを利用したディープラーニングにおいては、ニューラルネットワークを構成するノード間の結合強度(パラメーター)が修正される。
ステップS103において、処理部21は、未学習の訓練データTがあるか否かを判定する。未学習の訓練データTがある場合(ステップS103で“YES”)、ステップS101の処理に移行する。これにより、推定モデルMの学習が繰り返し行われることになり、乗員の状態を推定するための推定モデルMとしての確度が向上する。一方、未学習の訓練データTがない場合(ステップS103で“NO”)、ステップS104の処理に移行する。
ステップS104において、処理部21は、学習が十分に行われたか否かを判定する。例えば、処理部21は、損失関数として、二乗誤差の平均値を用い、この値があらかじめ設定した閾値以下である場合に十分に学習が行われたと判断する。具体的には、処理部21は、ステップS102で用いた、画像T1を推定モデルMに入力したときの出力と、当該画像T1に関連付けられた骨格位置情報T2及び位置関係情報T3の二乗誤差の平均値を算出し、これが、あらかじめ設定した閾値以下かを判断する。
学習が十分であると判断された場合(ステップS104で“YES”)、ステップS105の処理に移行する。一方、学習が十分でないと判断された場合(ステップS104で“NO”)には、ステップSS101以降の処理を繰り返す。
ステップS105において、処理部21は、学習結果に基づいて、記憶部22に記憶されている推定モデルMを更新する。
このように、学習装置2は、車両の装備(例えば、ハンドル)に対する乗員の状態(例えば、ハンドルの把持状態)を推定するために用いられる推定モデルM(モデル)を構築する学習装置であって、装備を含む画像T1に、乗員の特定部位の骨格位置を示す骨格位置情報T2(第1の情報)と、装備に対する乗員の状態を示す位置関係情報T3(第2の情報)と、が関連付けられた訓練データTを取得する訓練データ入力部21A(入力部)と、画像T1を推定装置1に入力したときに、当該画像T1に関連付けられた骨格位置情報T2及び位置関係情報T3が出力されるように、推定モデルMを構築する学習部21Bと、を備える。
学習装置2によって構築された推定モデルMを用いることで、推定装置1は、車載カメラ20からの画像に基づいて、装備(例えば、ハンドル)と特定部位(例えば、手)の位置関係、すなわち装備に対する乗員の状態を精度よく推定することができる。ハンドルなどの車の装備は、車種によって軽微な違いはあるものの、設置位置を含めて類似性は高い。したがって、学習装置2は、車の装備と乗員の特定部位との位置関係を一般化して学習することができる。
例えば、車載カメラ20からの画像において、手からハンドルのような円弧状の物体が延びており、かつ、ハンドルの設置位置として想定しうる領域に手の骨格位置がある場合に、「ON」という位置関係情報が出力される。一方、車載カメラ20からの画像において、手からハンドルのような円弧状の物体が延びているが、ハンドルの設置位置として想定しうる領域に手の骨格位置がない場合は、「OFF」という位置関係情報が出力される。
ここで、推定装置1からの出力として要求されるのは、装備に対する乗員の状態を示す情報、すなわち装備と特定部位との位置関係を示す位置関係情報である。そのため、画像に位置関係情報だけを関連付けた訓練データを用いた機械学習により構築される推定モデルを用いて、装備に対する乗員の状態を推定することも考えられる。しかし、この場合、車載カメラ20からの画像において、実際にはハンドルを把持していないにもかかわらず、手からハンドルのような円弧状の物体が延びていれば、「ON」という位置関係情報が出力され、誤推定となる虞がある。これに対して、本実施の形態の推定モデルMは、ハンドルと手の位置関係だけでなく、手の骨格位置も合わせて学習しているので、運転者によるハンドルの把持状態を正確に推定することができる。
図6は、推定装置1の処理部11が実行する推定処理の一例を示すフローチャートである。この処理は、CPU111が推定プログラムを実行することにより実現される。なお、車載カメラ20は、処理部11に対して、1フレーム単位で画像DIを連続的に送出している。
ステップS201において、処理部11は、車載カメラ20から画像DIを取得する(画像入力部11Aとしての処理)。
ステップS202において、処理部12は、画像DIを入力として、推定モデルMを用いて乗員の状態の推定を実行する(推定部11Bとしての処理)。処理部12は、推定結果として、骨格位置情報DO1及び/または位置関係情報DO2を出力する。
ステップS203において、処理部11は、装備に対する乗員の状態を示す推定結果として、位置関係情報DO2を出力する(推定結果出力部11Cとしての処理)。以上の処理が、1フレームの画像DIごとに行われる。推定装置1から推定結果として出力される位置関係情報DO2は、例えば、推定装置1の後段に設けられる状態検知装置(アプリケーションプログラムを含む)で用いられる。状態検知装置は、装備に対する乗員の状態に応じて適当な処理を行う。例えば、ハンドルを把持していないという推定結果が得られた場合に、ハンドルを把持するように警告を行うことが考えられる。
このように、推定装置1は、車両の装備に対する乗員の状態を推定する推定装置であって、機械学習により構築された推定モデルM(モデル)を記憶する記憶部12と、装備を含む画像DIを入力し、推定モデルMを用いて乗員の状態を推定し、乗員の特定部位の骨格位置を示す骨格位置情報DO1(第1の情報)と、装備に対する乗員の状態を示す位置関係情報DO2(第2の情報)と、を出力する処理部11と、を備える。
また、推定装置1において行われる推定方法は、車両の装備に対する乗員の状態を推定する推定方法であって、装備を含む画像DIを取得する第1工程(図6のステップS201)と、第1工程で取得した画像DIを入力し、機械学習により構築された推定モデルM(モデル)を用いて装備に対する乗員の状態を推定する第2工程(図6のステップS202)と、第2工程による推定結果として、乗員の特定部位の骨格位置を示す骨格位置情報DO1(第1の情報)と、装備に対する乗員の状態を示す位置関係情報DO2(第2の情報)と、を出力する第3工程(図6のステップS203)と、を備える。
また、推定装置1において実行されるプログラムは、車両の装備に対する乗員の状態を推定する推定装置1の処理部11(コンピューター)に、装備を含む画像DIを取得する第1処理(図6のステップS201)と、第1処理で取得した画像DIを入力し、機械学習により構築された推定モデルM(モデル)を用いて装備に対する乗員の状態を推定する第2処理(図6のステップS202)と、第2処理による推定結果として、乗員の特定部位の骨格位置を示す骨格位置情報DO1(第1の情報)と、装備に対する乗員の状態を示す位置関係情報DO2(第2の情報)と、を出力する第3処理(図6のステップS203)と、を実行させる。
推定装置1によれば、車両の仕様にかかわらず適用できるとともに、装備に対する乗員の状態を精度よく推定することができる。具体的には、推定装置1によれば、従来の装備情報のように、車種ごとに専用のデータを準備しなくてもよい。つまり、推定モデルMは、特定部位の骨格位置と、特定部位と装備との位置関係を独立して学習しているので、車の装備のサイズや位置が異なる車種にも容易に対応することができる。また、従来の装備情報に比較して、推定モデルMのデータ量は小さいので、推定処理を高速で行うことができる。
以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
例えば、本発明の推定装置は、運転者によるハンドルの把持状態だけでなく、その他の装備に対する乗員の状態を推定することもできる。例えば、推定装置は、乗員によるナビゲーションシステムの操作、窓の開閉動作、ドアの開閉動作などを推定することができる。この場合、画像の入力に対して、各装備に対する乗員の状態が出力として得られる推定モデルが必要となる。
また例えば、推定装置は、装備と特定部位との位置関係を示す位置関係情報に、方向を含めるようにし、装備に対して特定部位がどの方向に離れているかを推定できるようにしてもよい。
また、推定モデルMは、ディープラーニング以外の機械学習(例えば、ランダムフォレスト)によって構築されてもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明は、車両等の車室内における装備のみならず、特定の箇所に対する人員の状態(姿勢及び行動)を推定する推定装置、学習装置、推定方法、及び推定プログラムに好適である。
1 推定装置
11 処理部
11A 画像入力部
11B 推定部
11C 推定結果出力部
12 記憶部
2 学習装置
21 処理部
21A 訓練データ入力部
21B 学習部
22 記憶部
M 推定モデル
T 訓練データ

Claims (7)

  1. 車両の装備に対する乗員の状態を推定する推定装置であって、
    機械学習により構築されたモデルを記憶する記憶部と、
    前記装備を含む画像を入力し、前記モデルを用いて前記乗員の状態を推定し、前記乗員の特定部位の骨格位置を示す第1の情報と、前記装備に対する乗員の状態を示す第2の情報と、を出力する処理部と、
    を備える推定装置。
  2. 前記モデルは、ニューラルネットワークを利用したディープラーニングにより構築される、請求項1に記載の推定装置。
  3. 前記装備は、車種にかかわらず、車室内における所定領域内に設置される、請求項1又は2に記載の推定装置。
  4. 前記装備は、少なくともハンドル、カーナビゲーションシステムのタッチパネル、窓、ドアノブ、エアコンのコントロールパネル、バックミラー、ダッシュボード、シート、アームレスト、センターボックス、グローブボックスのいずれかを含む、請求項1乃至3のいずれか一項に記載の推定装置。
  5. 車両の装備に対する乗員の状態を推定するために用いられるモデルを構築する学習装置であって、
    前記装備を含む画像に、前記乗員の特定部位の骨格位置を示す第1の情報と、前記装備に対する乗員の状態を示す第2の情報と、が関連付けられた訓練データを取得する入力部と、
    前記画像を推定装置に入力したときに、当該画像に関連付けられた前記第1の情報及び前記第2の情報が出力されるように、前記モデルを構築する学習部と、
    を含む学習装置。
  6. 車両の装備に対する乗員の状態を推定する推定方法であって、
    前記装備を含む画像を取得する第1工程と、
    前記第1工程で取得した画像を入力し、機械学習により構築されたモデルを用いて前記装備に対する乗員の状態を推定する第2工程と、
    前記第2工程による推定結果として、前記乗員の特定部位の骨格位置を示す第1の情報と、前記装備に対する乗員の状態を示す第2の情報と、を出力する第3工程と、
    を備える推定方法。
  7. 車両の装備に対する乗員の状態を推定する推定装置のコンピューターに、
    前記装備を含む画像を取得する第1処理と、
    前記第1処理で取得した画像を入力し、機械学習により構築されたモデルを用いて前記装備に対する乗員の状態を推定する第2処理と、
    前記第2処理による推定結果として、前記乗員の特定部位の骨格位置を示す第1の情報と、前記装備に対する乗員の状態を示す第2の情報と、を出力する第3処理と、
    を実行させる推定プログラム。
JP2017027224A 2017-02-16 2017-02-16 推定装置、学習装置、推定方法、及び推定プログラム Active JP6820533B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017027224A JP6820533B2 (ja) 2017-02-16 2017-02-16 推定装置、学習装置、推定方法、及び推定プログラム
US15/830,239 US11995536B2 (en) 2017-02-16 2017-12-04 Learning device, estimating device, estimating system, learning method, estimating method, and storage medium to estimate a state of vehicle-occupant with respect to vehicle equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017027224A JP6820533B2 (ja) 2017-02-16 2017-02-16 推定装置、学習装置、推定方法、及び推定プログラム

Publications (2)

Publication Number Publication Date
JP2018132996A true JP2018132996A (ja) 2018-08-23
JP6820533B2 JP6820533B2 (ja) 2021-01-27

Family

ID=63105861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017027224A Active JP6820533B2 (ja) 2017-02-16 2017-02-16 推定装置、学習装置、推定方法、及び推定プログラム

Country Status (2)

Country Link
US (1) US11995536B2 (ja)
JP (1) JP6820533B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190095908A (ko) * 2018-11-21 2019-08-16 엘지전자 주식회사 탑승자 모니터링 방법 및 이를 위한 장치
WO2020184290A1 (ja) 2019-03-08 2020-09-17 マツダ株式会社 自動車用演算システム
WO2020184297A1 (ja) 2019-03-08 2020-09-17 マツダ株式会社 自動車用演算システム
WO2020184281A1 (ja) 2019-03-08 2020-09-17 マツダ株式会社 自動車用演算装置
JPWO2021149593A1 (ja) * 2020-01-21 2021-07-29
JP2022528847A (ja) * 2019-03-28 2022-06-16 アークソフト コーポレイション リミテッド 手によるハンドルの把握状態の検出方法及び装置
US12005889B2 (en) 2019-03-08 2024-06-11 Mazda Motor Corporation Arithmetic operation device for vehicle

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034111A (zh) * 2018-08-17 2018-12-18 北京航空航天大学 一种基于深度学习的驾驶员手离方向盘检测方法及系统
JP7091983B2 (ja) * 2018-10-01 2022-06-28 トヨタ自動車株式会社 機器制御装置
KR20210070117A (ko) * 2019-12-04 2021-06-14 현대자동차주식회사 모션 인식 기반 핸즈 온 판단 장치, 그를 포함한 시스템 및 그 차량 제어 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102112945B (zh) 2008-06-18 2016-08-10 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制系统
US8942881B2 (en) * 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US9477315B2 (en) 2013-03-13 2016-10-25 Honda Motor Co., Ltd. Information query by pointing
MX2018003613A (es) * 2015-09-30 2018-04-30 Sony Corp Dispositivo de control, metodo de control y programa.
JP6575818B2 (ja) * 2016-03-25 2019-09-18 パナソニックIpマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム
US11423671B1 (en) * 2016-06-14 2022-08-23 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for detecting vehicle occupant actions

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190095908A (ko) * 2018-11-21 2019-08-16 엘지전자 주식회사 탑승자 모니터링 방법 및 이를 위한 장치
KR102640663B1 (ko) * 2018-11-21 2024-02-26 엘지전자 주식회사 탑승자 모니터링 방법 및 이를 위한 장치
WO2020184290A1 (ja) 2019-03-08 2020-09-17 マツダ株式会社 自動車用演算システム
WO2020184297A1 (ja) 2019-03-08 2020-09-17 マツダ株式会社 自動車用演算システム
WO2020184281A1 (ja) 2019-03-08 2020-09-17 マツダ株式会社 自動車用演算装置
US11970186B2 (en) 2019-03-08 2024-04-30 Mazda Motor Corporation Arithmetic operation system for vehicles
US12005889B2 (en) 2019-03-08 2024-06-11 Mazda Motor Corporation Arithmetic operation device for vehicle
JP2022528847A (ja) * 2019-03-28 2022-06-16 アークソフト コーポレイション リミテッド 手によるハンドルの把握状態の検出方法及び装置
JP7253639B2 (ja) 2019-03-28 2023-04-06 アークソフト コーポレイション リミテッド 手によるハンドルの把握状態の検出方法及び装置
JPWO2021149593A1 (ja) * 2020-01-21 2021-07-29
WO2021149593A1 (ja) * 2020-01-21 2021-07-29 パイオニア株式会社 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体
EP4095823A4 (en) * 2020-01-21 2024-01-24 Pioneer Corp INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM AND STORAGE MEDIUM

Also Published As

Publication number Publication date
US11995536B2 (en) 2024-05-28
JP6820533B2 (ja) 2021-01-27
US20180232636A1 (en) 2018-08-16

Similar Documents

Publication Publication Date Title
JP6820533B2 (ja) 推定装置、学習装置、推定方法、及び推定プログラム
CN112590794B (zh) 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置
US10528804B2 (en) Detection device, detection method, and storage medium
CN105365707B (zh) 车辆驾驶员识别
US20150116200A1 (en) System and method for gestural control of vehicle systems
Okuda et al. Modeling and analysis of driving behavior based on a probability-weighted ARX model
CN107284453A (zh) 基于解释驾驶员动作的交互式显示器
JP6386618B2 (ja) ジェスチャ用のインテリジェントなチュートリアル
WO2013101047A1 (en) Systems, methods, and apparatus for invehicle fiducial mark tracking and interpretation
JP2016200910A (ja) 運転者状態判定装置
WO2013128291A2 (en) Method of fusing multiple information sources in image-based gesture recognition system
US9349044B2 (en) Gesture recognition apparatus and method
CN109895711A (zh) 车辆维护操作
EP3623950B1 (en) System and method for verifying vehicle controller based on virtual machine
US20130204497A1 (en) User-based automotive cabin ventilation settings
US10884614B1 (en) Actuation interface
KR20160047147A (ko) 오토사 기반의 소프트웨어 플랫폼 검증 장치 및 그 방법
JP2018131110A (ja) 推定装置、推定方法、及び推定プログラム
US10890981B2 (en) Gesture-based vehicle control
CN114286770A (zh) 用于在自主车辆中实现安全停止释放的系统和方法
JP2018055614A (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
Sathyanarayana et al. Automatic driving maneuver recognition and analysis using cost effective portable devices
US11535268B2 (en) Vehicle and control method thereof
US20210276575A1 (en) Vehicle component identification system
CN114358240A (zh) 通过概率训练集选择的有效增量学习

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190829

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R151 Written notification of patent or utility model registration

Ref document number: 6820533

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151