JP2021026710A - 姿勢判別システム、姿勢判別方法、学習済みモデル生成方法、学習済みモデル生成プログラム、学習済みモデル更新方法、および学習済みモデル更新プログラム - Google Patents

Abstract

【課題】乗員の姿勢を正確に判別可能な姿勢判別システム等を提供する。【解決手段】姿勢判別制御装置１００は、車両に搭乗した乗員の姿勢を判別する。姿勢判別制御装置１００は、乗員の人体における特定点に関して位置情報を取得する特定点情報取得部１１０を備える。姿勢判別制御装置１００は、乗員の基準姿勢における特定点に対して、乗員の判別対象姿勢における特定点が基準姿勢からの動きによりずれたずれ度合を算出するずれ度合算出部１３０を備える。姿勢判別制御装置１００は、学習済みモデルに、ずれ度合算出部にて算出されたずれ度合を入力することにより、判別対象姿勢の姿勢種類を判別する判別部１４０を備える。学習済みモデルは、複数の姿勢種類のうち判別対象姿勢の分類される姿勢種類を、ずれ度合の入力に対して出力するように学習されている。【選択図】図２

Description

この明細書における開示は、車両に搭乗した乗員の姿勢を判別する技術に関する。

従来、特許文献１に開示されているように、車両に搭乗した乗員の姿勢を判別する技術が知られている。特許文献１の技術は、撮影装置で運転者の顔を撮影して運転者の視線方向を特定することにより、乗員の姿勢として乗員が正面方向を見ているか否かを判定している。

特開２０１８−１８０６２３号公報

さて、近年、乗員の向きだけでなく、複数種類の姿勢を判別することが期待されている。しかし、乗員の姿勢には個人差がある。このため、或る乗員にとって所定の姿勢種類に分類される姿勢が、他の乗員にとって異なる姿勢種類に分類される姿勢と、実質的に区別できない場合が発生し得る。その結果、乗員の姿勢を正確に判別することが困難となるおそれがある。

開示される目的は、乗員の姿勢を正確に判別可能な姿勢判別システム、姿勢判別方法、学習済みモデル生成方法、学習済みモデル生成プログラム、学習済みモデル更新方法、および学習済みモデル更新プログラムを提供することである。

この明細書に開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。また、特許請求の範囲およびこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、技術的範囲を限定するものではない。

開示された姿勢判別システムのひとつは、車両（１）に搭乗した乗員の姿勢を判別する姿勢判別システムであって、乗員の人体における特定点に関して位置情報を取得する特定点情報取得部（１１０）と、乗員の基準姿勢における特定点に対して、乗員の判別対象姿勢における特定点が基準姿勢からの動きによりずれたずれ度合を算出するずれ度合算出部（１３０）と、複数の姿勢種類のうち判別対象姿勢の分類される姿勢種類をずれ度合の入力に対して出力するように学習された学習済みモデルに、ずれ度合算出部にて算出されたずれ度合を入力することにより、判別対象姿勢の姿勢種類を判別する判別部（１４０）と、を備える。

開示された姿勢判別方法のひとつは、プロセッサ（１１）により実行され、車両（１）に搭乗した乗員の姿勢を判別する姿勢判別方法であって、乗員の人体の特定点に関する位置情報を取得し（Ｓ１０５）、乗員の基準姿勢における特定点に対して、乗員の判別対象姿勢における特定点が基準姿勢からの動きによりずれたずれ度合を算出し（Ｓ１０６）、ずれ度合の入力に対して複数の姿勢種類のうち判別対象姿勢の分類される姿勢種類を出力するように学習された学習済みモデルに、算出したずれ度合を入力し、判別対象姿勢の分類される姿勢種類を出力させる（Ｓ１０７）、ことを含む。

開示された学習済みモデル生成方法のひとつは、プロセッサ（１１）によって実行され、車両（１）に搭乗した乗員の姿勢を判別する姿勢判別方法に用いられる学習済みモデルを生成する学習済みモデル生成方法であって、乗員の基準姿勢における特定点に対して、乗員の判別対象姿勢における特定点が基準姿勢からの動きによりずれたずれ度合と、複数の姿勢種類のうち判別対象姿勢の分類される姿勢種類と、を含む教師データを取得し（Ｓ１５０）、教師データに基づき、ずれ度合の入力に対して、判別対象姿勢の分類される姿勢種類を出力する学習済みモデルを生成する（Ｓ１５１）、ことを含む。

開示された学習済みモデル生成プログラムのひとつは、車両（１）に搭乗した乗員の姿勢を判別する姿勢判別方法に用いられる学習済みモデルを生成させるために記憶媒体に格納され、プロセッサ（１１）に実行させる命令を含む学習済みモデル生成プログラムであって、命令は、乗員の基準姿勢における特定点に対して、乗員の判別対象姿勢における特定点が基準姿勢からの動きによりずれたずれ度合と、複数の姿勢種類のうち判別対象姿勢の分類される姿勢種類と、を含む教師データを取得させ（Ｓ１５０）、教師データに基づき、ずれ度合の入力に対して、判別対象姿勢の分類される姿勢種類を出力する学習済みモデルを生成させる（Ｓ１５１）、ことを含む。

開示された学習済みモデル更新方法のひとつは、プロセッサ（２ａ）によって実行され、車両（１）に搭乗した乗員の姿勢を判別する姿勢判別方法に用いられる学習済みモデルを更新する学習済みモデル更新方法であって、乗員の基準姿勢における特定点に対して、乗員の判別対象姿勢における特定点が基準姿勢からの動きによりずれたずれ度合と、複数の姿勢種類のうち判別対象姿勢の分類される姿勢種類と、を含む教師データを取得し（Ｓ１６０）、教師データに基づき、ずれ度合の入力に対して、判別対象姿勢の分類される姿勢種類を出力する学習済みモデルを更新する（Ｓ１６１）、ことを含む。

開示された学習済みモデル更新プログラムのひとつは、車両（１）に搭乗した乗員の姿勢を判別する姿勢判別方法に用いられる学習済みモデルを更新させるために記憶媒体に格納され、プロセッサ（２ａ）に実行させる命令を含む学習済みモデル更新プログラムであって、命令は、乗員の基準姿勢における特定点に対して、乗員の判別対象姿勢における特定点が基準姿勢からの動きによりずれたずれ度合と、複数の姿勢種類のうち判別対象姿勢の分類される姿勢種類と、を含む教師データを取得させ（Ｓ１６０）、教師データに基づき、ずれ度合の入力に対して、判別対象姿勢の分類される姿勢種類を出力する学習済みモデルを更新させる（Ｓ１６１）、ことを含む。

これらの開示によれば、姿勢判別に用いられる学習済みモデルは、乗員の判別対象姿勢における特定点の、基準姿勢からの動きによるずれたずれ度合の入力に対して、判別対象姿勢の分類される姿勢種類を出力するように学習された状態となる。故に、姿勢判別において、乗員ごとの基準姿勢に対する判別対象姿勢の動きのずれ度合に応じて、分類される姿勢種類を判別できる。したがって、各姿勢種類に対応する姿勢の個人差が、姿勢判別に与える影響を抑制できる。以上により、乗員の姿勢を正確に判別可能な姿勢判別システム、姿勢判別方法、学習済みモデル生成方法、学習済みモデル生成プログラム、学習済みモデル更新方法、および学習済みモデル更新プログラムを提供することができる。

第１実施形態に係る姿勢判別システムを示す図である。 姿勢判別制御装置の概略的な構成の一例を示す図である。 センタの概略的な構成の一例を示す図である。 乗員の姿勢の一例を示す図である。 乗員の基準姿勢における特定点の算出例を示す図である。 乗員の判別対象姿勢における特定点の算出例を示す図である。 乗員の姿勢種類と対応する意図の一例を示す表である。 姿勢判別制御装置における姿勢判別処理の一例を示すフローチャートである。 アプリケーション実行処理の一例を示すフローチャートである。 アプリケーション実行処理の一例を示すフローチャートである。 アプリケーション実行処理の一例を示すフローチャートである。 アプリケーション実行処理の一例を示すフローチャートである。 学習済みモデル生成処理の一例を示すフローチャートである。 センタにおける学習済みモデル更新処理の一例を示すフローチャートである。 姿勢判別制御装置における学習済みモデル更新処理の一例を示すフローチャートである。

（第１実施形態）
第１実施形態の姿勢判別システム３について、図１〜図１５を参照しながら説明する。姿勢判別システム３は、図１〜図３に示す姿勢判別制御装置１００およびセンタ２によって実現されている。

＜車両１の構成＞
姿勢判別制御装置１００は、車両１において用いられるＨＭＩ（Human Machine Interface）システム１０の一部を構成している。ＨＭＩシステム１０は、車両１の乗員（例えばドライバ等）によるユーザ操作を受け付ける入力インターフェース機能と、ドライバへ向けて情報を提示する出力インターフェース機能とを備えている。

ＨＭＩシステム１０は、車両１に搭載された車載ネットワークの通信バス９９に通信可能に接続されている。ＨＭＩシステム１０は、車載ネットワークに設けられた複数のノードのうちの１つである。車載ネットワークの通信バス９９には、例えばロケータ４０、周辺監視センサ３０、Ｖ２Ｘ通信器５０、およびＤＣＭ６０等がそれぞれノードとして接続されている。通信バス９９に接続されたこれらのノードは、相互に通信可能である。

ロケータ４０は、複数の取得情報を組み合わせる複合測位により、車両１の高精度な位置情報等を生成する。ロケータ４０は、例えば複数車線のうちで、車両１が走行する車線を特定可能である。ロケータ４０は、ＧＮＳＳ（Global Navigation Satellite System）受信器４１、慣性センサ４２、高精度地図データベース（以下、「高精度地図ＤＢ」）４３、およびロケータＥＣＵ４４を含む構成である。

ＧＮＳＳ受信器４１は、複数の人工衛星（測位衛星）から送信された測位信号を受信する。ＧＮＳＳ受信器４１は、ＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、ＩＲＮＳＳ、ＱＺＳＳ、Ｂｅｉｄｏｕ等の衛星測位システムのうちで、少なくとも１つの衛星測位システムの各測位衛星から、測位信号を受信可能である。

慣性センサ４２は、例えばジャイロセンサおよび加速度センサを有している。高精度地図ＤＢ４３は、不揮発性メモリを主体に構成されており、通常のナビゲーションに用いられるよりも高精度な地図データ（以下、「高精度地図データ」）を記憶している。高精度地図データは、少なくとも高さ（ｚ）方向の情報について、詳細な情報を保持している。高精度地図データには、道路の三次元形状情報（道路構造情報）、レーン数情報、各レーンに許容された進行方向を示す情報等、高度運転支援および自動運転に利用可能な情報が含まれている。

ロケータＥＣＵ４４は、プロセッサ、メモリ、入出力インターフェース、およびこれらを接続するバス等を備えたマイクロコンピュータを主体として含む構成である。ロケータＥＣＵ４４は、ＧＮＳＳ受信器４１で受信する測位信号、慣性センサ４２の計測結果、および通信バス９９に出力された車速情報等を組み合わせ、車両１の自車位置および進行方向等を逐次測位する。ロケータＥＣＵ４４は、測位結果に基づく車両１の位置情報および方角情報を、通信バス９９を通じて、姿勢判別制御装置１００等に提供する。

なお、車速情報は、車両１の現在の走行速度を示す情報であり、車両１の各輪のハブ部分に設けられた車輪速センサの検出信号に基づいて生成される。車速情報を生成し、通信バス９９に出力するノード（ＥＣＵ）は、適宜変更されてよい。例えば、各輪の制動力配分を制御するブレーキ制御ＥＣＵ、または姿勢判別制御装置１００等の車載ＥＣＵが、各輪の車輪速センサと電気的に接続されており、車速情報の生成および通信バス９９への出力を継続的に実施する。

ロケータＥＣＵ４４は、姿勢判別制御装置１００等からの要求に応じて、必要とされた高精度地図データが高精度地図ＤＢ４３にあるか否かを判定する。要求された高精度地図データが高精度地図ＤＢ４３にある場合、ロケータＥＣＵ４４は、該当する高精度地図データを高精度地図ＤＢ４３から読み出し、要求元となるＥＣＵに提供する。

周辺監視センサ３０は、車両１の周辺環境を監視する自律センサである。周辺監視センサ３０は、自車周囲の検出範囲から、歩行者、サイクリスト、人間以外の動物、および他車両等の移動物体、さらに路上の落下物、ガードレール、縁石、道路標識、走行区画線等の路面表示、および道路脇の構造物等の静止物体を検出可能である。周辺監視センサ３０は、車両１の周囲の物体を検出した検出情報を、通信バス９９を通じて、姿勢判別制御装置１００等に提供する。

周辺監視センサ３０は、物体検出のための検出構成として、フロントカメラ３１、ミリ波レーダ３２およびソナー３３を有している。フロントカメラ３１は、車両１の前方範囲を撮影した撮像データ、および撮像データの解析結果の少なくとも一方を、検出情報として出力する。ミリ波レーダ３２は、例えば車両１の前後の各バンパーに互いに間隔を開けて複数配置されている。ミリ波レーダ３２は、ミリ波または準ミリ波を、車両１の前方範囲、前側方範囲、後方範囲および後側方範囲等へ向けて照射する。ミリ波レーダ３２は、移動物体および静止物体等で反射された反射波を受信する処理により、検出情報を生成する。ソナー３３は、車両１の前方範囲、前側方範囲、後方範囲および後側方範囲等へ向けて超音波を照射する。ソナー３３は、照射方向に存在する移動物体および静止物体等で反射された超音波を受信する処理により、検出情報を取得する。なお、ライダ等の他の検出構成が、周辺監視センサ３０に含まれていてもよい。

Ｖ２Ｘ（Vehicle to Everything）通信器５０は、車車間通信、路車間通信、および歩車間通信等を実現する車載通信機である。Ｖ２Ｘ通信器５０は、他車両に搭載された車載器、道路に設置された路側機、および歩行者の所持する携帯端末等が通信範囲に存在する場合、これらの通信構成と双方向通信可能である。Ｖ２Ｘ通信器５０は、通信を通じて取得した通信データを、通信バス９９等を介して姿勢判別制御装置１００に提供可能である。

ＤＣＭ（Data Communication Module）６０は、車両１に搭載される通信モジュールである。ＤＣＭ６０は、ＬＴＥ（Long Term Evolution）および５Ｇ等の通信規格に沿った無線通信により、車両１の周囲の基地局との間で電波を送受信する。ＤＣＭ６０の搭載により、車両１は、インターネットに接続可能なコネクテッドカーとなる。ＤＣＭ６０は、クラウド上に設けられたプローブサーバから、最新の高精度地図データを取得可能である。ＤＣＭ６０は、ロケータＥＣＵ４４と連携して、高精度地図ＤＢ４３に格納された高精度地図データを、最新の情報に更新する。

＜ＨＭＩシステム１０の構成＞
次に、ＨＭＩシステム１０に含まれる各構成の詳細を、図１および図２に基づき順に説明する。ＨＭＩシステム１０には、表示装置２０、スピーカ２１、駆動部２２、操作デバイス２４、および乗員カメラユニット２５が含まれている。これらの構成は、姿勢判別制御装置１００と電気的に接続されている。

表示装置２０は、乗員に視覚情報を提示する車載デバイスである。表示装置２０は、例えばヘッドアップディスプレイ、メータディスプレイおよびセンターインフォメーションディスプレイ等を含む。

スピーカ２１は、乗員に音声等の聴覚情報を提示する車載デバイスである。

駆動部２２は、サンバイザ２３を駆動する車載デバイスである。サンバイザ２３は、ルーフパネルのフロントウインドシールド近傍に設けられた板状の日除け部材である。サンバイザ２３は、ルーフパネルに回動可能に取り付けられている。サンバイザ２３は、手動または駆動部２２によって回動され、フロントウインドシールド上部の日射を遮蔽する。

操作デバイス２４は、ドライバ等によるユーザ操作を受け付ける入力部である。操作デバイス２４は、例えばセンターコンソールに設けられているスイッチおよびレバー等を含む。また、操作デバイス２４には、ステアリングホイールのスポーク部に設けられたステアスイッチ、ステアリングコラム部に設けられた操作レバー等が含まれていてもよい。操作デバイス２４には、例えば運転支援機能および自動運転機能等の走行制御機能、車室内温度調整等の空調機能、および他の車載機器の制御機能等といった、所定のサービスを実行させるユーザ操作が入力される。

乗員カメラユニット２５は、近赤外光源および近赤外カメラと、これらを制御する制御ユニットとを含む構成である。乗員カメラユニット２５は、運転席のヘッドレスト部に近赤外カメラを向けた姿勢にて、例えば車両１のルームミラー付近に設けられている。近赤外カメラは、乗員の人体の実質全体を撮像範囲とするように設けられており、これにより運転中の乗員の顔部および腕部を少なくとも撮像可能となっている。

乗員カメラユニット２５は、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、乗員の骨格データを撮像画像から抽出し、姿勢判別制御装置１００へ向けて逐次出力する。

＜姿勢判別制御装置１００の構成＞
姿勢判別制御装置１００は、ＨＭＩシステム１０において、表示装置２０を含む複数の車載デバイスを統合的に制御する電子制御装置である。姿勢判別制御装置１００は、プロセッサ１１、メモリ１３、入出力インターフェース１４、およびこれらを接続するバス等を備えたコンピュータを主体として含む構成である。プロセッサ１１は、演算処理のためのハードウェアである。プロセッサ１１は、ＣＰＵ（Central Processing Unit）等の演算コアを少なくとも１つ含む構成である。

メモリ１３は、コンピュータにより読み取り可能なプログラムおよびデータ等を非一時的に格納または記憶する、例えば半導体メモリ、磁気媒体および光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。プロセッサは、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）およびＲＩＳＣ（Reduced Instruction Set Computer）−ＣＰＵ等のうち、少なくとも一種類をコアとして含む。メモリ１３は、後述の姿勢判別プログラムおよび学習済みモデル更新プログラム等、プロセッサ１１によって実行される種々のプログラムを格納している。

プロセッサ１１は、メモリ１３に格納された姿勢判別プログラムに含まれる複数の命令を、実行する。これにより姿勢判別制御装置１００は、姿勢判別するための機能ブロックを、複数構築する。このように姿勢判別制御装置１００では、姿勢判別するためにメモリ１３に格納されたプログラムが複数の命令をプロセッサ１１に実行させることで、複数の機能ブロックが構築される。具体的に、姿勢判別制御装置１００には、特定点情報取得部１１０、基準情報生成部１２０、ずれ度合算出部１３０、判別部１４０、およびアプリケーション選択部１５０等の機能部が構築される。また、姿勢判別制御装置１００では、学習済みモデルを更新するためにメモリ１３に格納された学習済みモデル更新プログラムが複数の命令をプロセッサ１１に実行させることで、複数の機能ブロックが構築される。具体的に、姿勢判別制御装置１００には、データ提供部１６０および更新部１７０等の機能部が構築される。

特定点情報取得部１１０は、乗員の人体における特定点に関する位置情報を取得する。特定点に関する位置情報の取得のために、特定点情報取得部１１０は、まず乗員カメラユニット２５から提供された骨格データを取得する。例えば、骨格データには、図４に示すように、乗員の人体の特徴点および特徴点同士の接続関係のデータが含まれている。図４の表は、着座するシートが前位置の場合および後位置の場合のそれぞれにおいて、後述の基準姿勢および前屈み姿勢をとったときの骨格データの例を示している。このように、シートの位置やシートに対する着座位置および乗員の身体状態等の個人差により、姿勢種類ごとの姿勢の骨格データは、乗員によって比較的大きく異なるものになり得る。

特定点情報取得部１１０は、取得した骨格データから、予め定められた人体部位の位置を抽出することで、当該位置を特定点として取得する。具体的には、特定点情報取得部１１０は、図５および図６に示すように、乗員の顔部中央の特定点と、乗員の腕部の特定点とを骨格データから取得する。特定点情報取得部１１０は、乗員の目と目の間、すなわち両目の中間位置を、顔部中央の特定点（顔部特定点）として取得する。または、特定点情報取得部１１０は、耳と耳の間の位置、鼻の位置、顔領域の中心地等を、顔部特定点として取得してもよい（図５参照）。特定点情報取得部１１０は、顔部特定点を、例えば車両座標系における位置座標として取得する。

特定点情報取得部１１０は、乗員の腕部の所定の位置（手首、肘、肩等）を、腕部の特定点（腕部特定点）として取得する。特定点情報取得部１１０は、腕部特定点を、顔部特定点からの差分値として取得してもよく、車両座標系における位置座標として取得してもよい。なお、特定点情報取得部１１０は、足部等他の部位の特定点に関する位置情報を取得してもよい。また、後述の判別する姿勢種類によっては、特定点情報取得部１１０は、顔部の特定点または他の部位の特定点のうちいずれかのみを取得してもよい。特定点情報取得部１１０は、取得した特定点情報を、基準情報生成部１２０およびずれ度合算出部１３０に適宜提供する。

基準情報生成部１２０は、乗員の基準姿勢における特定点情報（基準情報）を生成する。基準情報生成部１２０は、乗員が前を向いて運転している通常運転状態での姿勢を基準姿勢とする。基準情報生成部１２０は、通常運転状態か否かを、ロケータＥＣＵ４４、周辺監視センサ３０、およびＶ２Ｘ通信器５０等から取得した情報に基づいて判定する。基準情報生成部１２０は、例えばロケータＥＣＵ４４からの地図情報に基づき、周囲に歩道がない道路を走行している場合に、通常運転状態であると判定する。または、基準情報生成部１２０は、周辺監視センサ３０およびＶ２Ｘ通信器５０の情報に基づき、歩行者および先行車が存在しない場合に、通常運転状態であると判定する。または、基準情報生成部１２０は、ロケータＥＣＵ４４からの慣性センサ４２の検出情報に基づき、直線道路を走行している場合に、通常運転状態であると判定してもよい。基準情報生成部１２０は、複数の情報を組み合わせて通常運転状態であるか否かを判定してもよい。なお、基準情報生成部１２０は、表示装置２０およびスピーカ２１等から、通常運転時の姿勢をとる旨の要請を乗員に提示し、提示中の乗員の骨格データから基準情報を生成する構成であってもよい。

基準情報生成部１２０は、通常運転状態であると判定されている間、特定点情報取得部１１０から図５に示すような特定点情報を取得する。特定点情報取得部１１０は、所定時間（例えば１０秒程度）分の特定点情報を蓄積し、蓄積した情報の平均値または中央値を算出することで、基準情報を生成する。基準情報生成部１２０は、生成した基準情報をメモリ１３に格納し、適宜ずれ度合算出部１３０に提供する。

ずれ度合算出部１３０は、乗員の基準姿勢における特定点に対して、乗員の判別対象姿勢における特定点が基準姿勢からの動きによりずれたずれ度合を算出する。ずれ度合算出部１３０は、基準姿勢の顔部特定点に対する判断対象姿勢の顔部特定点の位置変化割合を、顔部特定点におけるずれ度合として算出する。

具体的には、ずれ度合算出部１３０は、乗員の顔部の横幅を基準単位とし、各座標軸方向へのずれ量の割合を、ずれ度合とする。ずれ度合算出部１３０は、基準姿勢における腕部特定点に対する判断対象姿勢における腕部特定点の位置の変化割合を、腕部特定点におけるずれ度合として算出する（図６参照）。具体的には、ずれ度合算出部１３０は、まず基準姿勢における腕部特定点の、顔部特定点からの長さを基準単位とする。そして、ずれ度合算出部１３０は、判断対象姿勢における腕部特定点の、顔部特定点からの長さが、基準単位に対してどの程度変化したかの変化割合を、ずれ度合として算出する。変化割合は、例えば座標軸方向ごとに算出される。ずれ度合算出部１３０は、算出した各ずれ度合を、判別部１４０に逐次提供する。また、ずれ度合算出部１３０は、算出した各ずれ度合を、メモリ１３に蓄積する。

判別部１４０は、複数の姿勢種類のうち判別対象姿勢の分類される姿勢種類をずれ度合の入力に対して出力するように学習された学習済みモデルに、ずれ度合算出部１３０にて算出されたずれ度合を入力することにより、判別対象姿勢の姿勢種類を判別する。

学習済みモデルは、予め生成されてメモリ１３に格納されたモデルである。学習済みモデルは、ずれ度合と、当該ずれ度合が分類される姿勢種類とを教師データとして学習されている。学習済みモデルは、ずれ度合の入力に対して、分類される姿勢種類を出力する分類器である。学習済みモデルは、ニューラルネットワーク、ｋ−ｍｅａｎｓ、サポートベクターマシン、ベイジアンネットワーク等の分類アルゴリズムによって提供される。

学習済みモデルが分類する複数の姿勢種類の一例について、図７の表を参照して説明する。姿勢種類には、前屈み姿勢、かざし姿勢、操作姿勢、降車姿勢の４種類を少なくとも含んでいる。また、姿勢種類には、上述の４種類以外を含んでいてもよい。例えば、セカンドタスクを行うセカンドタスク姿勢が姿勢種類に含まれていてもよい。セカンドタスクは、車両１の運転操作に関するタスクである運転タスク以外の二次的なタスクであり、スマートフォン等の携帯デバイスの操作などのタスクを含む。

前屈み姿勢は、基準姿勢に対して前屈みになり、左右確認を行う姿勢である。基準姿勢に対して、顔部の位置が所定のレベル以上前方に移動した姿勢が、前屈み姿勢とされる。前屈み姿勢は、例えば、見通しの悪い交差点等、前方の視界が確保しづらい環境下で、前方の走行環境を確認する意図で取られる姿勢等とされる。

かざし姿勢は、手を顔前にかざす姿勢である。基準姿勢に対して、顔部と手との間隔が所定のレベル以下まで接近した姿勢が、かざし姿勢とされる。かざし姿勢は、例えば、西日等の直射日光が差して眩しい環境下で、前方の状況を確認する意図で取られる姿勢等とされる。

操作姿勢は、操作デバイス２４を探す姿勢である。基準姿勢に対して、乗員の腕部と操作デバイス２４の設置位置との間隔が、所定のレベル以下まで接近した姿勢が、操作姿勢とされる。操作姿勢は、例えば、運転中に操作デバイス２４を操作する意図で取られる姿勢等とされる。

降車姿勢は、手と頭をドアに接近させる姿勢である。基準姿勢に対して、乗員の顔部および腕部が、ドア位置に対して所定のレベル以下まで接近した姿勢が、降車姿勢とされる。降車姿勢は、例えば、停車中において直ちに降車する意図で取られる姿勢等とされる。

アプリケーション選択部１５０は、判別した姿勢種類に基づき、乗員の意図を推定する意図推定部として機能と、推定した意図に対応したアプリケーションを選択し、起動する機能とを備えている。具体的には、アプリケーション選択部１５０は、前方表示アプリ、日除けアプリ、対話アプリ、接近警告アプリの少なくとも４つのアプリケーションを、判別した姿勢種類に応じて選択的に実行する。また、上述した以外のアプリケーションを含んでいてもよい。以上により、アプリケーション選択部１５０は、予め決められた姿勢が行われたことをトリガとして、対応するアプリケーションを実行する。すなわち、アプリケーション選択部１５０は、乗員の人体によるジェスチャ操作に基づき、アプリケーション実行している、ということもできる。

前方表示アプリは、前屈み姿勢を判別した場合に起動されるアプリケーションである。前方表示アプリは、車両１の進行方向前方の走行環境に関する情報を、表示装置２０に表示させる。

日除けアプリは、かざし姿勢を判別した場合に起動されるアプリケーションである。前方表示アプリは、駆動部２２を駆動させ、サンバイザ２３を下す処理を実行させる。

対話アプリは、操作姿勢を判別した場合に起動されるアプリケーションである。対話アプリは、所謂バーチャルアシスタント機能を提供するアプリケーションであり、乗員との対話に基づいて、乗員の希望する処理を適宜実行する。対話アプリは、起動されると、乗員が起動しようとしているアプリケーションを尋ねる内容の音声を、スピーカ２１から出力させる。

接近警告アプリは、降車姿勢を判別した場合に実行されるアプリケーションである。接近警告アプリは、車両１に他車両等の移動体が接近している場合、警告音または接近を伝える音声等をスピーカ２１から出力させる。接近警告アプリは、表示装置２０に警告表示を実行させてもよい。

データ提供部１６０は、姿勢判別制御装置１００にて蓄積されたずれ度合に関するデータを、教師データの一部としてＤＣＭ６０を介してセンタ２に提供する。例えばデータ提供部１６０は、予め設定されたサンプル数のデータが蓄積された場合に、当該データを提供用データとして提供する。

更新部１７０は、センタ２から送信した更新情報を、ＤＣＭ６０を介して取得し、学習済みモデルを更新する。更新情報は、調整された学習済みパラメータである。例えば学習済みモデルがニューラルネットワークによって提供される場合、更新情報は、重み係数およびバイアスとされる。また、例えば学習済みモデルがベイジアンネットワークによって提供される場合、更新部１７０は、新たな教師データを取得し、当該教師データを用いて学習済みモデルに追加学習させることで、学習済みモデルを更新してもよい。

＜センタ２の構成＞
センタ２は、定置施設に設けられたコンピュータである。センタ２は、広域通信網を介して車両１と通信可能に構成されている。センタ２は、プロセッサ２ａ、メモリ２ｃ、入出力インターフェース２ｄ、およびこれらを接続するバス等を備えたコンピュータを主体として含む構成である。プロセッサ２ａは、演算処理のためのハードウェアである。プロセッサ２ａは、ＣＰＵ（Central Processing Unit）等の演算コアを少なくとも１つ含む構成である。メモリ２ｃは、不揮発性の記憶媒体を含む構成である。メモリ２ｃは、後述の学習済みモデル生成プログラムおよび学習済みモデル更新プログラム等、プロセッサ２ａによって実行される種々のプログラムを格納している。

センタ２は、メモリ２ｃに格納されたプログラムをプロセッサ１１によって実行することで、複数の機能部を有する。具体的に、センタ２には、教師データ取得部２１０、学習部２２０、および更新情報提供部２３０等の機能部が構築される。

教師データ取得部２１０は、学習済みモデルの生成に必要な教師データ、すなわちずれ度合と、当該ずれ度合に対応する姿勢種類とを取得する。教師データは、予め実験等により収集されたデータとされる。例えば、教師データは、車両または車両を模擬した設備に搭乗した複数の被験者の骨格データに基づき取得されたものである。または、教師データは、出荷後の姿勢判別制御装置１００におけるデータ提供部１６０から提供されたデータを含んでいてもよい。教師データ取得部２１０は、取得した教師データを学習部２２０に適宜提供する。

学習部２２０は、取得した教師データに基づいて、学習を行う。学習部２２０は、姿勢判別制御装置１００の出荷前に、予めメモリ１３に格納する学習済みモデルを生成する。学習部２２０は、姿勢判別制御装置１００の出荷後に、姿勢判別制御装置１００の収集したデータに基づいて再学習を行い、学習済みモデルを更新する。

更新情報提供部２３０は、再学習によって学習済みモデルが更新された場合、姿勢判別制御装置１００に格納された学習済みモデルを更新するためのパラメータを、更新情報として姿勢判別制御装置１００に提供する。なお、更新情報提供部２３０は、新たな教師データそのものを更新情報として提供してもよい。

＜姿勢判別方法＞
次に、機能ブロックの共同により、姿勢判別システム３が姿勢判別する姿勢判別方法等のフローを、図８〜図１５に従って以下に説明する。まず、姿勢判別制御装置１００が姿勢判別する姿勢判別方法のフローを、図８に従って以下に説明する。なお、後述するフローにおいて「Ｓ」とは、プログラムに含まれた複数命令によって実行される、フローの複数ステップを意味する。

姿勢判別制御装置１００は、まずＳ１０１にて、ロケータＥＣＵ４４、周辺監視センサ３０およびＶ２Ｘ通信器５０からの取得した情報に基づき、乗員が基準姿勢をとっているか否かを判定する。Ｓ１０１は、基準姿勢をとっていると判定されるまで繰り返される。基準姿勢を取っていると判定されるとＳ１０２へと進み、乗員カメラユニット２５から提供される骨格データに基づき、基準姿勢における特定点情報を取得する。その後Ｓ１０３へと進み、取得した特定点情報を、基準姿勢データとしてメモリ１３に格納する。Ｓ１０１〜Ｓ１０３までの処理により、車両１に搭乗した乗員の基準姿勢の設定が完了する。基準姿勢の設定以降、乗員の姿勢は判別対象姿勢として扱われる。

次に、Ｓ１０５では、乗員カメラユニット２５からの骨格データに基づいて判別対象姿勢の特定点情報を取得し、Ｓ１０６へと進む。Ｓ１０６では、判別対象姿勢での特定点情報と、基準姿勢での特定点情報とに基づき、基準姿勢からの動きに応じた判別対象姿勢のずれ度合を算出する。Ｓ１０７では、算出したずれ度合を、予め記憶された学習済みモデルに入力してＳ１０８へと進む。Ｓ１０８では、学習済みモデルからの出力結果を取得することで、判別対象姿勢の分類される姿勢種類を判別する。姿勢種類を判別すると、一連の処理を終了する。

次に、Ｓ１０８での姿勢判別結果に基づき姿勢判別制御装置１００がアプリケーションを実行する方法の一例を、図９〜図１２のフローチャートを参照しながら説明する。

図９のフローチャートは、前方表示アプリの実行処理を示している。Ｓ１１０では、姿勢種類が前屈み姿勢に判別されたか否かを判定する。前屈み姿勢に判別されたと判定されると、Ｓ１１１へと進む。Ｓ１１１では、乗員に前方の走行環境を確認する意図が有ると推定する。Ｓ１１２では、推定した意図に基づき、前方表示アプリを起動して前方の走行環境を表示装置２０に表示させる。

図１０のフローチャートは、日除けアプリの実行処理を示している。Ｓ１２０では、姿勢種類がかざし姿勢に判別されたか否かを判定する。かざし姿勢に判別されたと判定されると、Ｓ１２１へと進む。Ｓ１２１では、乗員に日除けの意図が有ると推定する。Ｓ１２２では、推定した意図に基づき、日除けアプリを起動して駆動部２２によりサンバイザ２３を下させる。または、サンバイザ２３を下すことを促す旨を、表示装置２０およびスピーカ２１等から報知させてもよい。

図１１のフローチャートは、対話アプリの実行処理を示している。Ｓ１３０では、姿勢種類が操作姿勢に判別されたか否かを判定する。操作姿勢に判別されたと判定されると、Ｓ１３１へと進む。Ｓ１３１では、乗員に操作デバイス２４の操作の意図が有ると推定する。Ｓ１３２では、推定した意図に基づき、対話アプリを起動して乗員に希望サービスを尋ねる音声をスピーカ２１に出力させる。すなわち、操作デバイス２４の操作により実行しようとしている機能について、乗員に問いかける処理を実行させる。

図１２のフローチャートは、接近警告アプリの実行処理を示している。Ｓ１４０では、姿勢種類が降車姿勢に判別されたか否かを判定する。降車姿勢に判別されたと判定されると、Ｓ１４１へと進む。Ｓ１４１では、乗員に降車の意図が有ると推定する。Ｓ１４３では、推定した意図に基づき接近警告アプリを起動し、周辺監視センサ３０による検出情報等に基づいて、車両１の周囲に接近する他車両の有無を判定する。接近する他車両が有ると判定されると、Ｓ１４４へと進み、警告音をスピーカ２１に出力させる。

なお、上述の姿勢判別方法およびアプリケーションの実行方法において、少なくとも一部の処理が、姿勢判別制御装置１００以外の他のコンピュータにて実行されてもよい。

＜学習済みモデル生成方法＞
次に、センタ２が学習済みモデルを生成する学習済みモデル生成方法のフローを、図１３に従って以下に説明する。センタ２は、まずＳ１５０にて、ずれ度合および対応する姿勢種類を、教師データとして取得する。次にＳ１５１へと進み、取得した教師データに基づく学習を行い、ずれ度合の入力に対して姿勢種類を出力する学習済みモデルを生成する。学習済みモデルの生成が完了すると、一連のフローチャートを終了する。

なお、上述の学習済みモデル生成方法において、少なくとも一部の処理が、センタ２以外の他のコンピュータにて実行されてもよい。

＜学習済みモデル更新方法＞
次に、姿勢判別システム３が学習済みモデルを更新する学習済みモデル更新方法のフローを、図１４および図１５に従って以下に説明する。図１４は、学習済みモデル更新方法のうちセンタ２の実行するフローを示している。Ｓ１６０では、まず教師データを取得する。次にＳ１６１では、教師データに基づいて学習を行い、学習済みモデルのパラメータを更新する。次にＳ１６２にて更新パラメータを姿勢判別制御装置１００に提供し、一連の処理を終了する。

図１５は、学習済みモデル更新方法のうち姿勢判別制御装置１００の実行するフローを示している。姿勢判別制御装置１００は、まずＳ１７０にて、センタ２に教師データとして提供する提供用データが有るか否かを判定する。例えば、Ｓ１７０では、ずれ度合に関するデータが所定のデータ量以上に蓄積された場合に、提供用データが有ると判定する。提供用データが有ると判定されるとＳ１７１へと進み、提供用データをセンタ２へと送信して、Ｓ１７２へと進む。一方でＳ１７０にて提供用データが無いと判定された場合には、Ｓ１７１をスキップしてＳ１７２へと進む。Ｓ１７２では、学習済みモデルの更新情報の有無を判定する。すなわち、センタ２から学習済みモデルの更新情報を取得したか否かを判定する。更新情報が有ると判定されるとＳ１７３へと進み、メモリ１３に格納されている学習済みモデルを、取得した更新情報を用いて更新した後、一連の処理を終了する。

なお、上述の学習済みモデル更新方法において各ステップを実行するコンピュータは、上述の通りでなくてもよい。すなわち、Ｓ１６０〜Ｓ１６２の処理は、センタ２ではなく姿勢判別制御装置１００または他のコンピュータにて実行されてもよい。また、Ｓ１７０〜Ｓ１７３の処理は、姿勢判別制御装置１００ではなくセンタ２または他のコンピュータにて実行されてもよい。

次に第１実施形態の姿勢判別システム３がもたらす作用効果について説明する。

第１実施形態において、乗員の姿勢の判別は、判別対象姿勢の分類される姿勢種類をずれ度合の入力に対して出力するように学習された学習済みモデルに、ずれ度合算出部１３０にて算出されたずれ度合を入力することにより、実行される。これによれば、姿勢判別において、乗員ごとの基準姿勢に対する判別対象姿勢の動きのずれ度合に応じて、分類される姿勢種類を判別できる。したがって、各姿勢種類に対応する姿勢の個人差が、姿勢判別に与える影響を抑制できる。以上により、乗員の姿勢を正確に判別することが可能となる。

第１実施形態において、ずれ度合は、乗員の顔部に設定された特定点のずれ度合を含む。顔部は、着座中であっても姿勢変化による動きが比較的大きい人体部位である。故に、特定点を顔部に設定することで、より正確な姿勢種類が可能となる。特に第１実施形態において、特定点は、顔部の中央に設定される。顔部の中央は、比較的特徴を抽出しやすいため、さらに姿勢判別を正確に行うことが可能となる。

第１実施形態において、ずれ度合は、乗員の腕部に設定された特定点のずれ度合を含む。腕部は、顔部と同様に、着座中であっても姿勢変化による動きが比較的大きい人体部位である。故に、特定点を腕部に設定することで、より正確な姿勢種類が可能となる。

第１実施形態の姿勢判別方法において、判別対象姿勢が前屈み姿勢に分類された場合には、前方の走行環境を確認する意図を乗員が持っていると推定される。これによれば、乗員の姿勢が前屈みであることに基づき、前方の走行環境を確認する意図が有ると推定できるので、当該意図に応じた処置を実行可能となる。

第１実施形態の姿勢判別方法において、判別対象姿勢がかざし姿勢に分類された場合には、日差しを遮る意図を乗員が持っていると推定される。これによれば、乗員の姿勢がかざし姿勢であることに基づき、日差しを遮る意図が有ると推定できるので、当該意図に応じた処置を実行可能となる。

第１実施形態において、姿勢判別制御装置１００から提供された教師データに基づいて学習済みモデルの更新が行われ、更新情報に基づき学習済みモデルが更新される。これによれば、実際の走行中に乗員がとった姿勢のデータに基づき、学習済みモデルが更新される。したがって、より多くの教師データを用いて学習済みモデルが更新されることとなり、より正確な姿勢判別が可能となる。

（他の実施形態）
この明細書における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および／または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および／または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および／または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。

姿勢判別制御装置１００およびセンタ２は、デジタル回路およびアナログ回路のうち少なくとも一方をプロセッサとして含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ（System on a Chip）、ＰＧＡ（Programmable Gate Array）、およびＣＰＬＤ（Complex Programmable Logic Device）等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、備えていてもよい。

上述の実施形態において、ずれ度合算出部１３０は、基準姿勢からの動きによる特定点の位置変化割合を、ずれ度合として算出するとした。これに代えて、ずれ度合算出部１３０は、位置変化割合以外の値をずれ度合として算出してもよい。例えば、ずれ度合算出部１３０は、特定点の位置座標の差分値をずれ度合として算出してもよい（図６参照）。

１ 車両、 ２ａ プロセッサ、 ３ 姿勢判別システム、 １１ プロセッサ、 １１０ 特定点情報取得部、 １３０ ずれ度合算出部、 １４０ 判別部、 １５０ アプリケーション選択部（意図推定部）、 １７０ 更新部、 ２１０ 教師データ取得部。

Claims (12)

1. 車両（１）に搭乗した乗員の姿勢を判別する姿勢判別システムであって、
   前記乗員の人体における特定点に関して位置情報を取得する特定点情報取得部（１１０）と、
   前記乗員の基準姿勢における前記特定点に対して、前記乗員の判別対象姿勢における前記特定点が前記基準姿勢からの動きによりずれたずれ度合を算出するずれ度合算出部（１３０）と、
   複数の姿勢種類のうち前記判別対象姿勢の分類される前記姿勢種類を前記ずれ度合の入力に対して出力するように学習された学習済みモデルに、前記ずれ度合算出部にて算出された前記ずれ度合を入力することにより、前記判別対象姿勢の前記姿勢種類を判別する判別部（１４０）と、
   を備える姿勢判別システム。
2. 前記ずれ度合は、前記乗員の顔部に設定された前記特定点の前記ずれ度合を含む請求項１に記載の姿勢判別システム。
3. 前記ずれ度合は、前記顔部の中央に設定された前記特定点の前記ずれ度合を含む請求項２に記載の姿勢判別システム。
4. 前記ずれ度合は、前記乗員の腕部に設定された前記特定点の前記ずれ度合を含む請求項１から請求項３のいずれか１項に記載の姿勢判別システム。
5. 前記判別部は、前記基準姿勢に対して前屈みとなる前屈み姿勢を、前記姿勢種類に含み、
   前記判別部にて前記判別対象姿勢が前記前屈み姿勢に分類された場合には、前方の走行環境を確認する意図を前記乗員が持っていると推定する意図推定部（１５０）を、さらに備える請求項１から請求項４のいずれか１項に記載の姿勢判別システム。
6. 前記判別部は、前記基準姿勢に対して前記乗員が顔部に手をかざすかざし姿勢を、前記姿勢種類に含み、
   前記判別部にて前記判別対象姿勢が前記かざし姿勢に分類された場合には、日差しを遮る意図を前記乗員が持っていると推定する意図推定部（１５０）を、さらに備える請求項１から請求項４のいずれか１項に記載の姿勢判別システム。
7. 前記ずれ度合と、前記判別対象姿勢の前記姿勢種類とを教師データとして取得する教師データ取得部（２１０）と、
   前記教師データに基づいた学習を実行して前記学習済みモデルの更新を行う更新部（１７０）と、
   をさらに備える請求項１から請求項６のいずれか１項に記載の姿勢判別システム。
8. プロセッサ（１１）により実行され、車両（１）に搭乗した乗員の姿勢を判別する姿勢判別方法であって、
   前記乗員の人体の特定点に関する位置情報を取得し（Ｓ１０５）、
   前記乗員の基準姿勢における前記特定点に対して、前記乗員の判別対象姿勢における前記特定点が前記基準姿勢からの動きによりずれたずれ度合を算出し（Ｓ１０６）、
   前記ずれ度合の入力に対して複数の姿勢種類のうち前記判別対象姿勢の分類される前記姿勢種類を出力するように学習された学習済みモデルに、算出した前記ずれ度合を入力し、前記判別対象姿勢の分類される前記姿勢種類を出力させる（Ｓ１０７）、
   ことを含む姿勢判別方法。
9. プロセッサ（１１）によって実行され、車両（１）に搭乗した乗員の姿勢を判別する姿勢判別方法に用いられる学習済みモデルを生成する学習済みモデル生成方法であって、
   前記乗員の基準姿勢における特定点に対して、前記乗員の判別対象姿勢における前記特定点が前記基準姿勢からの動きによりずれたずれ度合と、複数の姿勢種類のうち前記判別対象姿勢の分類される前記姿勢種類と、を含む教師データを取得し（Ｓ１５０）、
   前記教師データに基づき、前記ずれ度合の入力に対して、前記判別対象姿勢の分類される前記姿勢種類を出力する前記学習済みモデルを生成する（Ｓ１５１）、
   ことを含む学習済みモデル生成方法。
10. 車両（１）に搭乗した乗員の姿勢を判別する姿勢判別方法に用いられる学習済みモデルを生成させるために記憶媒体に格納され、プロセッサ（１１）に実行させる命令を含む学習済みモデル生成プログラムであって、
    前記命令は、
    前記乗員の基準姿勢における特定点に対して、前記乗員の判別対象姿勢における前記特定点が前記基準姿勢からの動きによりずれたずれ度合と、複数の姿勢種類のうち前記判別対象姿勢の分類される前記姿勢種類と、を含む教師データを取得させ（Ｓ１５０）、
    前記教師データに基づき、前記ずれ度合の入力に対して、前記判別対象姿勢の分類される前記姿勢種類を出力する前記学習済みモデルを生成させる（Ｓ１５１）、
    ことを含む学習済みモデル生成プログラム。
11. プロセッサ（２ａ）によって実行され、車両（１）に搭乗した乗員の姿勢を判別する姿勢判別方法に用いられる学習済みモデルを更新する学習済みモデル更新方法であって、
    前記乗員の基準姿勢における特定点に対して、前記乗員の判別対象姿勢における前記特定点が前記基準姿勢からの動きによりずれたずれ度合と、複数の姿勢種類のうち前記判別対象姿勢の分類される前記姿勢種類と、を含む教師データを取得し（Ｓ１６０）、
    前記教師データに基づき、前記ずれ度合の入力に対して、前記判別対象姿勢の分類される前記姿勢種類を出力する前記学習済みモデルを更新する（Ｓ１６１）、
    ことを含む学習済みモデル更新方法。
12. 車両に搭乗した乗員の姿勢を判別する姿勢判別方法に用いられる学習済みモデルを更新させるために記憶媒体に格納され、プロセッサ（２ａ）に実行させる命令を含む学習済みモデル更新プログラムであって、
    前記命令は、
    前記乗員の基準姿勢における特定点に対して、前記乗員の判別対象姿勢における前記特定点が前記基準姿勢からの動きによりずれたずれ度合と、複数の姿勢種類のうち前記判別対象姿勢の分類される前記姿勢種類と、を含む教師データを取得させ（Ｓ１６０）、
    前記教師データに基づき、前記ずれ度合の入力に対して、前記判別対象姿勢の分類される前記姿勢種類を出力する前記学習済みモデルを更新させる（Ｓ１６１）、
    ことを含む学習済みモデル更新プログラム。

Images