JP2018131110A - 推定装置、推定方法、及び推定プログラム - Google Patents

Abstract

【課題】乗員の状態検知等における精度を向上できる推定装置、学習装置、推定方法、及び推定プログラムを提供する。【解決手段】推定装置は、車室内における乗員の骨格位置を推定する推定装置であって、機械学習により構築された推定モデルを記憶する記憶部と、車室内の少なくとも１つの装備を含む画像を入力し、推定モデルを用いて乗員の特定部位の骨格位置、及び、装備と特定部位との位置関係を推定する推定部と、推定された位置関係に基づいて、骨格位置を示す骨格位置情報の尤度を算出する尤度算出部と、少なくとも骨格位置情報を出力する出力部と、を備える。【選択図】図３

Description

本発明は、車両等の車室内における乗員の骨格位置を推定する推定装置、推定方法、及び推定プログラムに関する。

近年、移動体（例えば、自動車等の車両）内における乗員の状態（動作やジェスチャー）を検知し、検知結果に基づいて乗員にとって有用な情報を提供する技術が開発されている（例えば、特許文献１、２）。

乗員の状態を検知する技術としては、例えば、車室内に設置された車載カメラから得られる画像に基づいて、乗員の特定部位の骨格位置を推定する推定装置がある。骨格位置は、例えば、機械学習により構築された推定モデル（アルゴリズム）を利用して、推定される。特に、ディープラーニングにより構築された推定モデルは、骨格位置の推定精度が高く、好適である。ディープラーニングとは、ニューラルネットワークを利用した機械学習である。

図１は、従来の推定装置５の一例を示す図である。図１に示すように、推定装置５は、推定モデルＭを用いて、車載カメラ２０から入力された画像ＤＩに含まれる乗員の特定部位（例えば、手、肩など）の骨格位置を推定し、骨格位置情報ＤＯ１を出力する骨格位置推定部５１を備える。推定モデルＭは、入力（問題）となる画像に、出力（解答）となる骨格位置が関連付けられた訓練データ（または、教師データともいう）を用いた機械学習により構築されるモデルである。骨格位置情報は、入力画像ＤＩにおける特定部位の骨格位置を示す座標（ｘ，ｙ）で与えられる。

特開２０１４−２２１６３６号公報 特開２０１４−１７９０９７号公報

ところで、車室内の装備の中には、乗員の特定部位に類似する形状を有するものがある。例えば、シートの外縁やドアの凹凸は、乗員の腕や手に似通っており、画像上で区別しづらい。この場合、推定モデルを用いた推定結果が誤った骨格位置を示す虞がある。その結果、乗員の状態は、誤推定された骨格位置に基づいて検知されることになり、正確な検知結果が得られなくなる。

本発明の目的は、乗員の状態検知等の精度を向上できる推定装置、推定方法、及び推定プログラムを提供することである。

本発明に係る推定装置は、
車室内における乗員の骨格位置を推定する推定装置であって、
機械学習により構築されたモデルを記憶する記憶部と、
前記車室内の少なくとも１つの装備を含む画像を入力し、前記モデルを用いて前記乗員の特定部位の骨格位置、及び、前記装備と前記特定部位との位置関係を推定する推定部と、
前記推定された位置関係に基づいて、前記骨格位置を示す骨格位置情報の尤度を算出する尤度算出部と、
少なくとも前記骨格位置情報を出力する出力部と、を備える。

本発明に係る推定方法は、
車室内における乗員の骨格位置を推定する推定方法であって、
前記車室内の少なくとも１つの装備を含む画像を取得する第１工程と、
前記第１工程で取得した画像を入力し、記憶部に記憶されたモデルを用いて前記乗員の特定部位の骨格位置、及び、前記装備と前記特定部位との位置関係を推定する第２工程と、
前記推定された位置関係に基づいて、前記骨格位置を示す骨格位置情報の尤度を算出する第３工程と、
少なくとも前記骨格位置情報を出力する第４工程と、を含む。

本発明に係る推定プログラムは、
車室内における乗員の骨格位置を推定する推定装置のコンピューターに、
前記車室内の少なくとも１つの装備を含む画像を取得する第１処理と、
前記第１工程で取得した画像を入力し、記憶部に記憶されたモデルを用いて前記乗員の特定部位の骨格位置、及び、前記装備と前記特定部位との位置関係を推定する第２処理と、
前記推定された位置関係に基づいて、前記骨格位置を示す骨格位置情報の尤度を算出する第３処理と、
少なくとも前記骨格位置情報を出力する第４処理と、を実行させる。

本発明によれば、乗員の状態検知等の精度を向上することができる。

従来の推定装置の一例を示す図である。 図２Ａ、図２Ｂは、従来の推定装置による骨格位置の尤度を判断する手法の一例を示す図である。 本発明の一実施の形態に係る推定装置を示す図である。 推定モデルを構築するための学習装置の一例を示す図である。 学習装置の処理部が実行する学習処理の一例を示すフローチャートである。 推定装置の処理部が実行する推定処理の一例を示すフローチャートである。 推定結果に基づく尤度の算出手法の一例を示す図である。 推定結果に基づく尤度の算出手法の他の一例を示す図である。 推定された特定部位の骨格位置情報と、それぞれの装備の装備情報とに基づく位置関係の判定結果の一例を示す図である。 図１０Ａ、図１０Ｂは、推定モデルにより特定部位と装備との位置関係を推定した結果と、骨格位置情報と装備情報に基づいて特定部位と装備との位置関係を判定した結果の一例を示す図である。

機械学習により構築された推定モデルを用いて推定された乗員の特定部位の骨格位置に基づいて乗員の状態を検知する場合、尤度の低い推定結果（骨格位置情報）を排除し、尤度の高い推定結果のみを利用して乗員の状態を検知することが好ましい。しかしながら、推定モデルを用いて骨格位置を推定する場合、１フレームの画像について、一番もっともらしい値が推定結果として出力される。つまり、従来の推定装置では、推定結果（骨格位置情報）の尤度は、常に１００％である。そのため、乗員の状態検知において、推定結果の尤度に基づいて、推定結果の利用可否を判断することは困難である。

一方で、複数フレームの画像に対する推定結果に基づいて、推定対象フレームの推定結果の尤度を算出することは可能である。例えば、図２Ａ、図２Ｂに示すように、推定対象フレームの推定結果と前後のフレームの推定結果（図２Ａ、図２Ｂでは前後３フレーム）とを比較して、推定結果がほぼ一致する場合に尤度「高」（推定結果が正しい確率が高い）と判断し（図２Ａのケース）、推定結果が不安定である場合に尤度「低」（言い換えれば推定結果が間違っている確率が高い、図２Ｂのケース）と判断することができる。

しかしながら、図２Ａ、図２Ｂに示すように、推定対象フレームの後のフレームの推定結果を利用して尤度を算出する場合、当該後のフレームの推定結果を待つ分だけ尤度の算出が遅延してしまう。そこで、発明者は、新たな尤度の算出方法を見出し、その方法によって算出された尤度が高い推定結果を用いて乗員の状態を検知する発明を考案した。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。

図３は、本発明の一実施の形態に係る推定装置１を示す図である。
推定装置１は、車両に搭載され、車載カメラ２０によって撮像された画像ＤＩに基づいて、当該画像ＤＩに含まれる車室内の乗員の特定部位の骨格位置を推定するとともに、車室内の装備と乗員の特定部位との位置関係を推定する。推定された位置関係は、推定された骨格位置の尤度を判断（あるいは算出）する際に利用される。

車載カメラ２０は、例えば、車室内に設置された赤外線カメラである。車載カメラ２０は、着座している乗員及びその周辺の装備を含む領域を撮像する。推定装置１では、乗員の周辺装備のうち、乗員の特定部位と類似する形状を有する装備、すなわち、乗員の特定部位と画像上での区別がつきにくい装備について、特定部位との位置関係が推定される。例えば、乗員の特定部位が「手」である場合、「ドア」、「ステアリング」、「シートベルト」などの装備と、「手」との位置関係が推定される。

本実施の形態では、推定装置１が、乗員の「右手」の骨格位置を推定する場合に、「右手」と「ドア」の位置関係、「右手」と「ステアリング」の位置関係、及び「右手」と「シートベルト」の位置関係についての推定結果を利用して、推定された骨格位置の尤度を判断する場合について説明する。

図３に示すように、推定装置１は、処理部１１及び記憶部１２等を備える。
処理部１１は、演算／制御装置としてのＣＰＵ１１１（Central Processing Unit）、主記憶装置としてのＲＯＭ１１２（Read Only Memory）及びＲＡＭ１１３（Random Access Memory）等を備える。ＲＯＭ１１２には、ＢＩＯＳ（Basic Input Output System）と呼ばれる基本プログラムや基本的な設定データが記憶される。ＣＰＵ１１１は、ＲＯＭ１１２又は記憶部１２から処理内容に応じたプログラムを読み出してＲＡＭ１１３に展開し、展開したプログラムを実行することにより、所定の処理を実行する。

処理部１１は、例えば、推定プログラムを実行することにより、画像入力部１１Ａ、推定部１１Ｂ、尤度算出部１１Ｃ及び推定結果出力部１１Ｄとして機能する。具体的には、処理部１１は、車両の装備（ここでは、例えば、ドア、ステアリング、シートベルト、バックミラー、サンシェイド、センターパネル、カーナビ、エアコン、シフトレバー、センターボックス、ダッシュボード、アームレスト、シート）を含む画像を入力として、推定モデルＭを用いて乗員の骨格位置（ここでは、右手の骨格位置）を推定するとともに、装備と乗員の特定部位との位置関係を推定し、推定結果を出力する。画像入力部１１Ａ、推定部１１、尤度算出部１１Ｃ及び推定結果出力部１１Ｄの機能については、図６のフローチャートに従って詳述する。

記憶部１２は、例えばＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等の補助記憶装置である。記憶部１２は、ＣＤ（Compact Disc）、ＤＶＤ（Digital versatile Disc）等の光ディスク、ＭＯ（（Magneto-Optical disk）等の光磁気ディスクを駆動して情報を読み書きするディスクドライブであってもよい。また例えば、記憶部１２は、ＵＳＢメモリ、ＳＤカード等のメモリカードであってもよい。

記憶部１２は、例えば、オペーレーティングシステム（ＯＳ）、推定プログラム及び推定モデルＭを記憶する。推定プログラムは、ＲＯＭ１１２に記憶されてもよい。推定プログラムは、例えば、当該プログラムが格納されたコンピューター読取可能な可搬型記憶媒体（光ディスク、光磁気ディスク、及びメモリカードを含む）を介して提供される。また例えば、推定プログラムは、当該推定プログラムを保有するサーバ装置から、ネットワークを介してダウンロードにより提供されてもよい。推定モデルＭも同様に、ＲＯＭ１１２に記憶されてもよいし、可搬型記憶媒体又はネットワークを介して提供されてもよい。

推定モデルＭは、機械学習により構築されたアルゴリズムであり、装備を含む画像の入力に対して、乗員の特定部位の骨格位置を示す骨格位置情報と、装備と特定部位との位置関係を示す存在情報と、を出力する。推定モデルＭは、ニューラルネットワークを利用したディープラーニングにより構築されることが好ましい。ディープラーニングにより構築された推定モデルＭは、画像認識性能が高く、装備と特定部位との位置関係を高精度で推定することができる。推定モデルＭは、例えば、図４に示す学習装置２によって構築される。

図４は、推定モデルＭを構築するための学習装置２の一例を示す図である。
図４に示すように、学習装置２は、処理部２１及び記憶部２２を備える。これらの具体的な構成のうち、推定装置１の処理部１１及び記憶部１２と共通する部分については、ここでの説明を省略する。

処理部２１は、例えば、学習プログラムを実行することにより、訓練データ入力部２１Ａ及び学習部２１Ｂとして機能する。具体的には、処理部２１は、訓練データＴによる教師あり学習を行い、推定モデルＭの構築を行う。

訓練データＴは、車両の装備（ここでは、ドア、ステアリング、シートベルト）と乗員の特定部位（ここでは、右手）とを含む画像Ｔ１、画像Ｔ１における乗員の特定部位の骨格位置情報Ｔ２、及び、装備と特定部位の位置関係を示す存在情報Ｔ３を有する。画像Ｔ１に、骨格位置情報Ｔ２及び存在情報Ｔ３が関連付けられており、これらが１セットで訓練データＴを構成する。画像Ｔ１が推定モデルＭの入力であり、骨格位置情報Ｔ２及び存在情報Ｔ３が推定モデルＭの出力である。なお、画像Ｔ１は、装備だけの画像（乗員の特定部位を含まない画像）を含んでもよい。

骨格位置情報Ｔ２は、画像Ｔ１における特定部位の骨格位置を示す座標（ｘ，ｙ）で与えられる。

存在情報Ｔ３は、Ｔｒｕｅ／Ｆａｌｓｅで与えられる。具体的には、存在情報Ｔ３が「Ｔｒｕｅ」である場合、装備と手が重なっている（触れている）ことを示し、存在情報Ｔ３が「Ｆａｌｓｅ」である場合、装備と手が離れていることを示す。ここでは、存在情報Ｔ３は、右手とドアの位置関係を示す第１の装備別存在情報、右手とシートの位置関係を示す第２の装備別存在情報、及び右手とシートベルトの位置関係を示す第３の装備別存在情報を含む。

ここで、乗員の特定部位（ここでは、右手）は、異なる２つの装備（ここでは、ドアとステアリングなど、設置位置が明らかに１つの手の大きさよりも離れている２つの装備）に同時に触れることはない。したがって、存在情報Ｔ３においては、第１〜第３の装備別存在情報のうちの１つが「Ｔｒｕｅ」に設定されている場合、他の２つは「Ｆａｌｓｅ」に設定される。

なお、訓練データＴの画像Ｔ１は、車載カメラ２０による撮像画像の全体に対応する全体画像であってもよいし、全体画像から切り出した一部に対応する部分画像であってもよい。推定装置１において、車載カメラ２０の撮像画像をそのまま推定モデルＭの入力として用いる場合、訓練データＴの画像Ｔ１として全体画像が準備され、骨格位置情報Ｔ２は全体画像上の座標で与えられる。また、推定装置１において、車載カメラ２０の撮像画像を切り出して推定モデルＭの入力として用いる場合、訓練データＴの画像Ｔ１として部分画像が準備され、骨格位置情報Ｔ２は部分画像上の座標で与えられる。つまり、学習時の訓練データＴの画像Ｔ１と推定時の推定モデルＭの入力としての画像とは、処理対象範囲（画像サイズと位置）が同じであることが望ましい。

訓練データＴの画像Ｔ１は、車載カメラ２０によって撮像されると想定される様々なパターンの画像を含む。すなわち、訓練データＴの画像Ｔ１として、乗員の状態（特定部位の位置）が異なる膨大な画像が用意され、それぞれに対して、骨格位置情報Ｔ２と存在情報Ｔ３が関連付けられる。画像Ｔ１として、できるだけ多くのパターンを用意することで、推定モデルＭによる推定精度を高めることができる。

図５は、学習装置２の処理部２１が実行する学習処理の一例を示すフローチャートである。この処理は、ＣＰＵ２１１が学習プログラムを実行することにより実現される。

ステップＳ１０１において、処理部２１は、１セットの訓練データＴを取得する（訓練データ入力部２１Ａとしての処理）。訓練データＴは、画像Ｔ１、骨格位置情報Ｔ２及び存在情報Ｔ３を含む。

ステップＳ１０２において、処理部２１は、取得した訓練データＴに基づいて、推定モデルＭを最適化する（学習部２１Ｂとしての処理）。具体的には、処理部２１は、記憶部２２から現在の推定モデルＭを読み出して、画像Ｔ１を推定モデルＭに入力したときの出力と、当該画像Ｔ１に関連付けられた骨格位置情報Ｔ２及び存在情報Ｔ３の値が等しくなるように、推定モデルＭを修正（再構築）する。例えば、ニューラルネットワークを利用したディープラーニングにおいては、ニューラルネットワークを構成するノード間の結合強度（パラメーター）が修正される。

ステップＳ１０３において、処理部２１は、未学習の訓練データＴがあるか否かを判定する。未学習の訓練データＴがある場合（ステップＳ１０３で“ＹＥＳ”）、ステップＳ１０１の処理に移行する。これにより、推定モデルＭの学習が繰り返し行われることになり、乗員の骨格位置、及び特定骨格位置と装備との位置関係を推定するための推定モデルＭとしての確度が向上する。一方、未学習の訓練データＴがない場合（ステップＳ１０３で“ＮＯ”）、ステップＳ１０４の処理に移行する。

ステップＳ１０４において、処理部２１は、学習が十分に行われたか否かを判定する。例えば、処理部２１は、損失関数として、二乗誤差の平均値を用い、この値があらかじめ設定した閾値以下である場合に十分に学習が行われたと判断する。具体的には、処理部２１は、ステップＳ１０２で用いた、画像Ｔ１を推定モデルＭに入力したときの出力と、当該画像Ｔ１に関連付けられた骨格位置情報Ｔ２及び存在情報Ｔ３の二乗誤差の平均値を算出し、これが、あらかじめ設定した閾値以下かを判断する。
学習が十分であると判断された場合（ステップＳ１０４で“ＹＥＳ”）、ステップＳ１０５の処理に移行する。一方、学習が十分でないと判断された場合（ステップＳ１０４で“ＮＯ”）には、ステップＳＳ１０１以降の処理を繰り返す。

ステップＳ１０５において、処理部２１は、学習結果に基づいて、記憶部２２に記憶されている推定モデルＭを更新する。

このように、学習装置２は、車室内における乗員の骨格位置を推定するために用いられる推定モデルＭを構築する学習装置であって、車室内の少なくとも１つの装備（例えば、ドア、ステアリング、シートベルト）を含む画像Ｔ１に、乗員の特定部位（例えば、右手）の骨格位置を示す骨格位置情報Ｔ２（第１の情報）と、装備と特定部位との位置関係を示す存在情報Ｔ３（第２の情報）と、が関連付けられた訓練データＴを取得する訓練データ入力部２１Ａ（入力部）と、画像Ｔ１を推定モデルＭに入力したときに、当該画像Ｔ１に関連付けられた骨格位置情報Ｔ２及び存在情報Ｔ３が出力されるように、推定モデルＭを構築する学習部２１Ｂと、を備える。

学習装置２によって構築された推定モデルＭを用いることで、推定装置１は、車載カメラ２０からの画像に基づいて、乗員の特定部位（例えば、右手）の骨格位置とともに、装備と特定部位との位置関係を推定することができる。

図６は、推定装置１の処理部１１が実行する推定処理の一例を示すフローチャートである。この処理は、ＣＰＵ１１１が推定プログラムを実行することにより実現される。なお、車載カメラ２０は、処理部１１に対して、１フレーム単位で画像ＤＩを連続的に送出している。

ステップＳ２０１において、処理部１１は、車載カメラ２０から画像ＤＩを取得する（画像入力部１１Ａとしての処理）。

ステップＳ２０２において、処理部１１は、画像ＤＩを入力として、推定モデルＭを用いて乗員の特定部位の骨格位置、及び装備と特定部位との位置関係の推定を実行する（推定部１１Ｂとしての処理）。推定部１１Ｂによる推定結果として、特定部位の骨格位置を示す骨格位置情報と、特定部位と装備との位置関係を示す存在情報が得られる。ここでは、存在情報は、右手とドアの位置関係を示す第１の装備別存在情報、右手とシートの位置関係を示す第２の装備別存在情報、及び右手とシートベルトの位置関係を示す第３の装備別存在情報を含む。

ステップＳ２０３において、処理部１１は、存在情報を利用して、推定された骨格位置の尤度を算出する（尤度算出部１１Ｃとしての処理）。

例えば、処理部１１は、複数の装備別存在情報（ここでは、３つ）の推定結果を比較することにより、骨格位置情報の尤度を算出する。複数の装備別存在情報の推定結果が矛盾しない場合は、推定された骨格位置情報の尤度が「高」（例えば、尤度１）に設定され、矛盾する場合は、尤度が「低」（例えば、尤度０）に設定される。

図７に示すように、３つの装備別存在情報推定結果のうち０又は１つが「Ｔｒｕｅ」である場合（推定結果１、２参照）は推定結果に矛盾はないが、２つ又は３つが「Ｔｒｕｅ」となっている場合（推定結果３、４参照）は推定結果が矛盾する（少なくとも１つの推定結果は間違っている）ことになる。装備別存在情報の推定結果が矛盾する場合は、画像ＤＩにおける特定部位の識別が困難であるということになり、推定された骨格位置も正確でない可能性があるので、尤度が「低」に設定される。このとき、装備別識別情報の推定結果の矛盾の程度（「Ｔｒｕｅ」となっている数）に応じて、尤度をさらに細かく設定してもよい。例えば、図７において、推定結果４は、推定結果３よりも矛盾の程度が大きいので、推定結果３よりも尤度が低く設定される。

このように、複数の装備別存在情報（ここでは、３つ）の推定結果を比較することにより、推定された骨格位置情報の尤度を容易に判断することができる。

さらに、装備別存在情報の推定結果に矛盾が生じている場合（図７の推定結果３、４参照）、３つの装備別存在情報の推定結果の各々と、装備の位置を示す装備情報及び骨格位置情報に基づいて判定される位置関係と、を比較することにより、骨格位置情報の尤度を算出するようにしてもよい。

装備情報は、予め設定され、例えば、ＲＯＭ１１２に記憶される。装備情報は、それぞれの装備（ここでは、ドア、ステアリング、シートベルト）が画像上で占める領域（例えば、４点の座標）で与えられる。図８に示すように、ドアの領域Ａ１、ステアリングの領域Ａ２及びシートベルトの領域Ａ３は重複しない。

なお、図８は、それぞれの装備が占める領域Ａ１〜Ａ３が重複していないことを示すためのものであり、実際の画像における装備の位置を示しているわけではない。また、画像として、距離画像を用いる場合には、装備情報に、画像上のｘ座標、ｙ座標の情報だけでなく、距離情報を含めてもよい。

図８に示すように、推定モデルＭにより推定された右手の骨格位置Ｐが領域Ａ１に含まれていれば右手がドアに触れていることになり、右手とドアの位置関係は「Ｔｒｕｅ」と判定される。このとき、右手とステアリング及びシートベルトとの位置関係は、いずれも「Ｆａｌｓｅ」と判定される。つまり、図９に示すように、推定された特定部位の骨格位置情報と、それぞれの装備の装備情報とに基づいて判定される位置関係においては、すべてが「Ｆａｌｓｅ」（判定結果１）又は１つだけ「Ｔｒｕｅ」（判定結果２〜４）となる。

図１０Ａ、図１０Ｂは、推定モデルＭにより特定部位と装備との位置関係を推定した結果と、骨格位置情報と装備情報に基づいて特定部位と装備との位置関係を判定した結果の一例を示す図である。図１０Ａ、図１０Ｂでは、右手とドアの位置関係Ｒ１、右手とステアリングの位置関係Ｒ２及び右手とシートベルトの位置関係Ｒ３（Ｒ１、Ｒ２、Ｒ３＝Ｔｒｕｅ／Ｆａｌｓｅ）を、［Ｒ１，Ｒ２，Ｒ３］として表している。

例えば、推定モデルＭによる推定結果として図７の推定結果３が得られたのに対して、骨格位置情報と装備情報に基づく判定結果が図９の判定結果２であった場合、図１０Ａに示すように、右手とステアリングとの位置関係Ｒ２についての結果が矛盾する。また例えば、推定モデルＭによる推定結果として図７の推定結果３が得られたのに対して、骨格位置情報と装備情報に基づく判定結果が図９の判定結果１であった場合、図１０Ｂに示すように、右手とドアとの位置関係Ｒ１についての結果及び右手とステアリングとの位置関係Ｒ２についての結果が矛盾する。

装備別存在情報の推定結果に矛盾が生じている場合（図７の推定結果３、４参照）、推定モデルＭによる推定結果と、骨格位置情報と装備情報に基づく判定結果とを比較すると、少なくとも１つ（最大３つ）の矛盾がある。この矛盾数により、尤度をさらに細かく設定することができる。

図６に戻り、ステップＳ２０４において、処理部１１は、推定結果として、乗員の特定部位の骨格位置を示す骨格位置情報ＤＯ１とともに、算出された尤度を示す尤度情報ＤＯ２を出力する（推定結果出力部１１Ｃとしての処理）。以上の処理が、１フレームの画像ＤＩごとに行われる。推定装置１から推定結果として出力される骨格位置情報ＤＯ１及び尤度情報ＤＯ２は、例えば、推定装置１の後段に設けられる状態検知装置（アプリケーションプログラムを含む、図示略）で用いられる。

状態検知装置は、乗員の特定部位の骨格位置に応じて適当な処理を行う。例えば、推定結果から、右手がステアリングを把持していない判断できる場合に、ステアリングを把持するように警告を行うことが考えられる。このとき、状態検知装置は、所定の値よりも尤度が高い骨格位置情報だけを選択して利用することにより、検知精度を向上することができ、適切な処理を行うことができる。

なお、上記ステップＳ２０４において、処理部１１は、推定結果として、乗員の特定部位の骨格位置を示す骨格位置情報ＤＯ１とともに、算出された尤度を示す尤度情報ＤＯ２を出力するとしたが、処理部１１が所定の値よりも尤度が高い骨格位置情報のみを出力するようにしてもよい。この場合、状態検知装置は、処理部１１から出力された骨格位置情報に応じて適当な処理を行えばよく、状態検知装置が尤度の高い骨格位置情報を選択する必要はない。

このように、推定装置１は、車室内における乗員の骨格位置を推定する推定装置であって、機械学習により構築された推定モデルＭ（モデル）を記憶する記憶部１２と、車室内の少なくとも１つの装備（例えば、ドア、ステアリング、シートベルト）を含む画像ＤＩを入力し、推定モデルＭを用いて乗員の特定部位（例えば、右手）の骨格位置、及び、前記装備と前記特定部位との位置関係を推定する推定部１１Ｂと、推定された位置関係に基づいて、骨格位置を示す骨格位置情報ＤＯ１の尤度を算出する尤度算出部１１Ｃと、少なくとも骨格位置情報ＤＯ１を出力する推定結果出力部１１Ｄ（出力部）と、を備える。

また、推定装置１において行われる推定方法は、車室内における乗員の骨格位置を推定する推定方法であって、車室内の少なくとも１つの装備（例えば、ドア、ステアリング、シートベルト）を含む画像ＤＩを取得する第１工程（図６のステップＳ２０１）と、第１工程で取得した画像ＤＩを入力し、記憶部１２に記憶された推定モデルＭ（モデル）を用いて乗員の特定部位（例えば、右手）の骨格位置、及び、前記装備と前記特定部位との位置関係を推定する第２工程（図６のステップＳ２０２）と、推定された位置関係に基づいて、骨格位置を示す骨格位置情報ＤＯ１の尤度を算出する第３工程（図６のステップＳ２０３）と、少なくとも骨格位置情報ＤＯ１を出力する第４工程（図６のステップＳ２０４）と、を含む。

また、推定装置１において実行されるプログラムは、車室内における乗員の骨格位置を推定する推定装置１の処理部１１（コンピューター）に、車室内の少なくとも１つの装備（例えば、ドア、ステアリング、シートベルト）を含む画像ＤＩを取得する第１処理（図６のステップＳ２０１）と、第１工程で取得した画像ＤＩを入力し、記憶部１２に記憶された推定モデルＭ（モデル）を用いて乗員の特定部位（例えば、右手）の骨格位置、及び、前記装備と前記特定部位との位置関係を推定する第２処理（図６のステップＳ２０２）と、推定された位置関係に基づいて、骨格位置を示す骨格位置情報ＤＯ１の尤度を算出する第３処理（図６のステップＳ２０３）と、少なくとも骨格位置情報ＤＯ１を出力する第４処理（図６のステップＳ２０４）と、を実行させる。

推定装置１によれば、乗員の特定部位の骨格位置情報とともに、乗員の状態検知に有用な尤度に関する情報が出力されるので、乗員の状態検知等における精度を向上することができる。また、認識精度向上のための尤度算出を、１フレームの画像に基づいて行うことができる。

以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。

例えば、本発明に係る推定装置は、尤度に関する情報として、推定された存在情報をそのまま出力してもよい。この場合、推定装置の後段に設けられる状態検知装置等で、推定された骨格位置情報の尤度判断が行われることになる。

また、推定装置は、骨格位置情報及び尤度に関する情報に基づいて、乗員の状態（姿勢など）を検知する検知部を備え、検知部による検知結果を出力してもよい。すなわち、推定装置は、状態検知装置としての機能を兼ね備えてもよい。

また例えば、推定装置によって骨格位置が推定される特定部位は、実施の形態で説明した「右手」に限定されず、他の部位であってもよい。また、特定部位との位置関係が推定される対象装備は、１つ又は２つであってもよいし、４つ以上であってもよい。

また、推定モデルＭは、ディープラーニング以外の機械学習（例えば、ランダムフォレスト）によって構築されてもよい。

実施の形態では、尤度算出方法の一例として、装備別存在情報の推定結果に矛盾が生じている場合（図７の推定結果３、４参照）に、３つの装備別存在情報の推定結果の各々と、装備の位置を示す装備情報及び骨格位置情報に基づいて判定される位置関係と、を比較することにより、骨格位置情報の尤度を算出することについて説明したが、装備別存在情報の推定結果に矛盾がない場合（図７の推定結果１、２参照）に、３つの装備別存在情報の推定結果の各々と、装備の位置を示す装備情報及び骨格位置情報に基づいて判定される位置関係と、を比較することにより、骨格位置情報の尤度を算出してもよい。これにより、尤度をより的確に算出することができる。

また、１つの装備別存在情報の推定結果と、当該装備の位置を示す装備情報及び骨格位置情報に基づいて判定される位置関係と、を比較することにより、骨格位置情報の尤度を算出するようにしてもよい。すなわち、推定モデルＭを用いて、少なくとも１つの装備別存在情報が推定されるようになっていれば、骨格位置情報の尤度を算出することができる。

また、学習装置２における学習に用いる訓練データＴとして、画像Ｔ１及び骨格位置情報Ｔ２を用意し、存在情報Ｔ３については、学習装置２の処理部２１が、骨格位置情報と装備情報とに基づいて生成するようにしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、車両等の車室内における乗員の骨格位置のみならず、特定空間にいる人の骨格位置を推定する推定装置、推定方法、及び推定プログラムに好適である。

１ 推定装置
１１ 処理部
１１Ａ 画像入力部
１１Ｂ 推定部
１１Ｃ 尤度算出部
１１Ｄ 推定結果出力部
１２ 記憶部
２ 学習装置
２１ 処理部
２１Ａ 訓練データ入力部
２１Ｂ 学習部
２２ 記憶部
Ｍ 推定モデル
Ｔ 訓練データ

Claims (10)

1. 車室内における乗員の骨格位置を推定する推定装置であって、
   機械学習により構築されたモデルを記憶する記憶部と、
   前記車室内の少なくとも１つの装備を含む画像を入力し、前記モデルを用いて前記乗員の特定部位の骨格位置、及び、前記装備と前記特定部位との位置関係を推定する推定部と、
   前記推定された位置関係に基づいて、前記骨格位置を示す骨格位置情報の尤度を算出する尤度算出部と、
   少なくとも前記骨格位置情報を出力する出力部と、
   を備える推定装置。
2. 前記モデルは、ニューラルネットワークを利用したディープラーニングにより構築される、請求項１に記載の推定装置。
3. 前記出力部は、前記骨格位置情報とともに、前記尤度算出部により算出された尤度を示す尤度情報を出力する、請求項１又は２に記載の推定装置。
4. 前記出力部は、前記尤度が所定の値よりも高い骨格位置情報を出力する、請求項１又は２に記載の推定装置。
5. 前記推定部は、前記車室内の複数の装備の各々と前記特定部位との位置関係を示す複数の位置関係を推定し、
   前記尤度算出部は、前記推定された複数の位置関係に基づいて、前記骨格位置情報の尤度を算出する、請求項１乃至３のいずれか一項に記載の推定装置。
6. 前記尤度算出部は、前記複数の位置関係に矛盾がある場合に、前記複数の位置関係の各々と、前記装備の位置を示す装備位置情報及び前記骨格位置情報に基づいて判定される位置関係と、を比較することにより、前記骨格位置情報の尤度を算出する、請求項５に記載の推定装置。
7. 前記推定部は、前記車室内の少なくとも１つの装備と前記特定部位との位置関係を示す少なくとも１つの位置関係を推定し、
   前記尤度算出部は、前記位置関係と、前記装備の位置を示す装備情報及び前記骨格位置情報に基づいて判定される位置関係と、を比較することにより、前記骨格位置情報の尤度を算出する、請求項１乃至３のいずれか一項に記載の推定装置。
8. 前記出力部からの出力に基づいて、前記乗員の状態を検知する検知部を備える、請求項１から５のいずれか一項に記載の推定装置。
9. 車室内における乗員の骨格位置を推定する推定方法であって、
   前記車室内の少なくとも１つの装備を含む画像を取得する第１工程と、
   前記第１工程で取得した画像を入力し、記憶部に記憶されたモデルを用いて前記乗員の特定部位の骨格位置、及び、前記装備と前記特定部位との位置関係を推定する第２工程と、
   前記推定された位置関係に基づいて、前記骨格位置を示す骨格位置情報の尤度を算出する第３工程と、
   少なくとも前記骨格位置情報を出力する第４工程と、
   を含む推定方法。
10. 車室内における乗員の骨格位置を推定する推定装置のコンピューターに、
    前記車室内の少なくとも１つの装備を含む画像を取得する第１処理と、
    前記第１処理で取得した画像を入力し、記憶部に記憶されたモデルを用いて前記乗員の特定部位の骨格位置、及び、前記装備と前記特定部位との位置関係を推定する第２処理と、
    前記推定された位置関係に基づいて、前記骨格位置を示す骨格位置情報の尤度を算出する第３処理と、
    少なくとも前記骨格位置情報を出力する第４処理と、
    を実行させる推定プログラム。

Images