JP2023114859A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】適切にユーザが行っている活動に対する集中度を向上させる技術を提供する。【解決手段】情報処理装置は、人物が含まれる撮像画像を取得し、前記人物が行っている活動に対する集中度と前記人物が行っている前記活動の内容とを前記撮像画像に基づき推定し、推定された前記集中度および前記活動の内容に基づき推定された前記集中度を向上させるための方法を決定する。【選択図】図３

Description

本開示は、撮像画像に基づく処理に関する。

ユーザの集中度を向上させるための方法が提案されている。

特許文献１には、頬杖を付く、背伸びをする等をしているユーザの撮像画像に基づいて、そのユーザの集中度合いを推定する方法が記載されている。また、特許文献１には、推定された集中度合いが閾値より低い場合は、集中度合いが上昇するように空調動作を制御する方法が記載されている。

特開２０２０－００８２７８号公報

例えば、同じ集中度合いであっても、勉強をはじめたばかりの場合と所定時間継続して勉強している場合とでは、ユーザの集中度合いを上昇させるために適した方法は異なると考えられる。しかしながら、特許文献１には、ユーザの現在の活動の内容が考慮されておらず、また、ユーザの集中度合いを向上させる方法は空調動作を制御する方法しか記載されていない。このため、特許文献１の方法では、ユーザの集中度を上昇させる方法として、ユーザの現在の活動の内容に適した方法が決定されない虞がある。

本開示は、適切にユーザが行っている活動に対する集中度を向上させる技術を提供することを目的とする。

本開示の情報処理装置は、人物が含まれる撮像画像を取得する取得手段と、前記人物が行っている活動に対する集中度と、前記人物が行っている前記活動の内容と、を前記撮像画像に基づき推定する推定手段と、推定された前記集中度および前記活動の内容に基づき、推定された前記集中度を向上させるための方法を決定する決定手段と、を有することを特徴とする。

本開示によれば、適切にユーザが行っている活動に対する集中度を向上させる技術を提供することができる。

集中度向上システムの構成を示す模式図である。 情報処理装置のハードウェア構成を示す図である。 情報処理装置の機能構成を示す図である。 情報処理装置の処理を説明するためのフローチャートである。 人物特定学習データを説明するための模式図である。 姿勢内容推定用学習データおよび顔内容推定用学習データを説明するための模式図である。 集中度推定用データを説明するための模式図である。 活動推定用データを説明するための模式図である。 活動内容推定部による推定結果の一例を示す図である。 着席時間の推定結果の一例を示す図である。 体調状態と体調不良度との対応の一例を示す図である 実施項目決定用データを説明するための模式図である。 実施項目決定処理の詳細を説明するためのフローチャート。 集中度向上システムの構成を示す模式図である。 姿勢内容推定用学習データおよび顔内容推定用学習データを説明するための模式図である。 集中度推定用データを説明するための模式図である。 活動推定用データを説明するための模式図である。 活動内容推定部による推定結果の一例を示す図である。 実施項目決定用データを説明するための模式図である。

以下、添付図面を参照して本開示の技術の実施形態を詳しく説明する。以下の実施形態は本開示の技術を限定するものでなく、また以下の実施形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

＜実施形態１＞
本実施形態では、撮像画像に含まれるユーザの画像を用いて、ユーザが行っている活動への精神の集中度合い（集中度）、およびユーザが行っている活動の内容を推定する。そして推定された集中度および活動の内容に基づいて、ユーザの集中度が向上するための方法（実施項目）を決定する態様について、図を参照して説明する。

［システム構成］
図１は、集中度向上システムの構成を示す模式図である。集中度向上システムは、情報処理装置１００、撮像装置１１１、照明１１２、音楽再生装置１１３、およびユーザ端末１１４を有する。

室内１０１は、集中度向上システムによる監視対象のユーザ１０２がいる空間であり、撮像装置１１１は、ユーザのいる室内１０１全体を撮像視野に含めることが可能な場所に設置される。本実施形態のユーザは、勉強を行っている人物であるものとして説明する。ユーザは、例えば、椅子１０３に座って、机１０４の上に教科書や参考書などの学習用品１０５を使用して勉強をしている人物である。

情報処理装置１００は、撮像装置１１１の撮像の結果得られた画像を取得し、その画像に基づき、ユーザの活動の内容およびその活動への集中度を推定する。撮像装置１１１の撮像の結果得られた画像（撮像画像）は動画像でもよいし静止画像でもよい。さらに、情報処理装置１００は、ユーザの集中度を向上させるための方法である実施項目を決定する。

照明１１２、音楽再生装置１１３、およびユーザ端末１１４は、情報処理装置１００から出力された、実施項目の情報を受け取り、情報処理装置１００によって決定された実施項目を実行する装置である。照明１１２は、プロジェクタでもよい。集中度向上システムには、照明１１２、音楽再生装置１１３、ユーザ端末１１４の全てが含まれていなくてもよく、少なくとも１つが含まれていればよい。または、集中度向上システムには、空調装置など、実施項目を実行することが可能な別の装置が含まれていてよい。

［ハードウェア構成］
図２は、集中度向上システムの情報処理装置１００のハードウェア構成を示す図である。情報処理装置１００は、ＣＰＵ２００、ＲＯＭ２０１、ＲＡＭ２０２、Ｉ／Ｆ２０３、ＨＤＤ２０４を有し、それぞれの構成はバス２０５で接続されている。

ＣＰＵ２００はＲＯＭ２０１に記憶されているデータに沿って情報処理装置１００内の各部の動作を制御する。また、ＣＰＵ２００は、ＲＡＭ２０２にプログラムをロードして、当該プログラムを実行する。なお、ＣＰＵ２００とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、ＣＰＵ２００による処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行うようにしてもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。

ＲＯＭ２０１は読み出し専用メモリであり、ブートプログラム、ファームウェア、後述する処理を実現するための各種処理プログラム、または各種データを記憶する。ＲＡＭ２０２は、ＣＰＵ２００が処理を行うためにプログラムまたはデータを一時的に記憶するワークメモリであり、ＣＰＵ２００によって各種処理プログラムやデータがＲＡＭ２０２にロードされる。

Ｉ／Ｆ２０３はネットワーク機器、ＵＳＢデバイスのような外部装置と通信するためのインターフェースであり、ネットワークを通じたデータ通信、または外部装置とのデータの送受信を行う。ＨＤＤ２０４は各種データを保存する二次記憶領域である。ＨＤＤ２０４は、情報処理装置１００内部に含まれていなくてもよく、ネットワークを介して接続可能な外部の記憶サーバーに確保されてもよい。

他にも、不図示の表示部および操作部の少なくとも一方が含まれていてもよいし、表示部および操作部の少なくとも一方が外部の別の装置として存在していてもよい。表示部は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２００に入力する。ＣＰＵ２００は、表示部を制御する表示制御部、及び操作部を制御する操作制御部として動作する。

［機能構成］
図３は、集中度向上システムに含まれる情報処理装置１００の機能構成を示す図である。情報処理装置１００は、画像取得部３０１、人物特定部３０２、集中度推定部３０３、活動内容推定部３０４、実施項目決定部３０５、および出力部３０６の各機能部を有する。この各機能部は、情報処理装置１００のＣＰＵ２００が所定のプログラムを実行することにより実現されるが、これに限られるものではない。他にも例えば、演算を高速化するためのＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアが利用されてもよい。各機能部は、ソフトウェアと専用ＩＣなどのハードウェアとの協働で実現されてもよいし、一部またはすべての機能がハードウェアのみで実現されてもよい。

画像取得部３０１は、撮像装置１１１が撮像して得られた撮像画像を取得する。

人物特定部３０２は、撮像画像および人物特定学習データ３１１を用いて撮像画像に含まれる人物のユーザ名を特定する。撮像画像データ、および人物特定部３０２の処理の結果得られた人物特定データは、所定のデータベースに保存される。

集中度推定部３０３は、撮像画像データ、人物特定データ、および集中度推定用データ３１３を用いて、特定された人物が現在行っている活動に対する集中度を推定する。

活動内容推定部３０４は、撮像画像データ、人物特定データ、活動推定用データ３１４を用いて、撮像画像から特定された人物（ユーザ）が行っている活動の内容を推定する。

実施項目決定部３０５は、ユーザの集中度および活動の内容、および実施項目決定用データ３１５に基づき、推定された集中度を向上させるための実施項目を決定する。

出力部３０６は、実施項目決定部３０５が決定した実施項目を実行する装置に、実施項目を実行させるための情報を出力する。各機能部の詳細は、後述のフローチャートを用いて説明する。

［フローチャート］
図４は、集中度向上システムの処理について説明するためのフローチャートである。図４に示すフローチャートに示す一連の処理は、ＣＰＵ２００がＲＯＭ２０１に記憶されたプログラムをＲＡＭ２０２に展開し実行することによって実現される。また、図４におけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。

Ｓ４０１において画像取得部３０１は、撮像装置１１１から撮像画像を取得する。

Ｓ４０２において人物特定部３０２は、撮像画像に含まれる人物が、どのユーザであるかを人物特定学習データ３１１に基づき特定する。

図５は、人物特定学習データ３１１を説明するための模式図である。人物特定学習データ３１１は、入力データをユーザ毎の顔画像とし、ユーザ名を正解データとした教師あり学習をすることで機械学習によって構築された学習済みモデルである。人物特定部３０２は、この学習済みモデルに撮像画像を入力して、撮像画像に含まれる人物のユーザ名を特定する。

なお、人物特定部３０２による人物特定は、学習済みモデルを用いた方法に限られない。他にも、ユーザ毎の顔画像のテンプレート画像を予め保持しておく。そして、撮像画像から人物の顔の領域を切り出し、切り出された画像とテンプレート画像とをマッチング処理等により比較した結果に基づき、撮像画像内の人物のユーザ名を特定してもよい。

人物特定部３０２による人物特定の結果として人物特定データ３１２が得られる。人物特定データは、撮像画像に含まれている人物のユーザ名を特定した結果が含まれるデータであり、撮像画像内のユーザの位置およびユーザ名が含まれる。人物特定データ３１２は、後続のＳ４０３以降の処理において用いられる。

Ｓ４０３において集中度推定部３０３は、撮像画像に含まれるユーザの集中度を、撮像画像と集中度推定用データ３１３に基づき推定する。

集中度推定部３０３は、はじめに、撮像画像におけるユーザの姿勢内容を、姿勢内容推定用学習データを用いて推定する。また、撮像画像におけるユーザの顔内容を、顔内容推定用学習データを用いて推定する。そして、推定された姿勢内容および顔内容に基づき、ユーザの集中度を推定する。このように本実施形態では、姿勢内容および顔内容の推定し、推定された姿勢内容および顔内容に基づきユーザの集中度を推定する。

図６（ａ）は、集中度推定用データ３１３に含まれる姿勢内容推定用学習データ６０１を説明するための模式図である。姿勢内容推定用学習データ６０１は、入力データを各姿勢に対する姿勢画像とし、姿勢内容を正解データとした教師あり学習をすることで機械学習によって構築された学習済みモデルである。この学習済みモデルに、撮像画像を入力することで、撮像画像内のユーザの姿勢内容が推定される。姿勢内容は、図６（ａ）に示すように、例えば、横に傾いて座っている、まっすぐ座っている、縦に傾いて座っている、横向きに座っているなどのうちの少なくとも何れかが含まれている。

なお、集中度推定部３０３による姿勢内容の推定方法は、学習済みモデルを用いた方法に限られない。他にも、姿勢内容毎のテンプレート画像を予め保持しておいて、撮像画像から人物の領域を切り出して、切り出された画像とテンプレート画像とをマッチング処理等により比較した結果に基づき、撮像画像内のユーザの姿勢内容を推定してもよい。

図６（ｂ）は、集中度推定用データ３１３に含まれる顔内容推定用学習データ６０２を説明するための模式図である。顔内容推定用学習データ６０２は、入力データを各顔内容に対する顔画像とし、顔内容を正解データとした教師あり学習をすることで機械学習によって構築された学習済みモデルである。この学習済みモデルに、撮像画像を入力することで、ユーザの顔内容を推定する。顔内容は、例えば、目が半開きになっている、あくびしている、にらみつけている、通常状態等のうちの少なくとも何れかである。集中度推定部３０３は、これらの学習済みモデルに、撮像画像を入力することで、ユーザの姿勢内容および顔内容を推定する。

なお、集中度推定部３０３による顔内容の特定は、学習済みモデルを用いた方法に限られない。他にも、顔内容毎の顔画像のテンプレート画像を予め保持しておく。そして、撮像画像から人物の顔の領域を切り出して、切り出された画像とテンプレート画像とをマッチング処理等により比較した結果に基づき、撮像画像内のユーザの顔内容を推定してもよい。

次に、集中度推定部３０３は、姿勢内容および顔内容を入力とした集中度の推定を、集中度データ７０１を用いて推定する。

図７は、集中度推定用データ３１３に含まれる集中度データ７０１の一例を示す図である。集中度データ７０１には、各姿勢内容および各顔内容に対する集中度が保持されている。図７には図示していないが、集中度データ７０１には、一般的なユーザに対応する姿勢内容および顔内容の組み合わせの夫々に対応する集中度のデータ（標準パターンデータ）が保持されている。初めは、一般的なユーザに対応する姿勢内容および顔内容の組み合わせの夫々に対応する集中度が保持された標準パターンデータを用いて集中度の推定が行われる。

その後、本実施形態の集中度向上システムを利用することで、図７に示すように、情報処理装置１００が推定した、各ユーザの姿勢内容および顔内容の組み合わせに対応する集中度が集中度データ７０１に追加される。即ち、初めは、標準パターンを用いて集中度が推定されるが、自動または手動で行われるフィードバックを受けて、ユーザごとのデータが追加されて集中度データ７０１が更新される。例えば、ユーザＡは、姿勢内容が縦に傾いて座っているであり、顔内容がにらみつけている時に集中度が高いと過去に推定されたため、その情報が集中度データ７０１に追加されている。ユーザＢは、姿勢内容が横向きに座っているであり、顔内容がにらみつけている時に集中度が高いと、過去に推定されたため、その情報が集中度データ７０１に追加されている。

このため、集中度データ７０１に、Ｓ４０２で特定されたユーザの、推定された顔内容および姿勢内容に対応する集中度が保持されている場合は、その集中度が出力される。このように、ユーザ毎に異なる条件に沿った集中度の推定を行うことができるため、集中度の推定精度を高めることができる。

または、予め、ユーザごとの集中度を測定することで、ユーザごとの顔内容および姿勢内容の組み合わせに対応する集中度が保持された集中度データ７０１が生成されてもよい。

他にも、集中度を推定する方法として、入力データを顔画像および姿勢画像とし、集中度を正解データとした教師あり学習をすることで機械学習によって構築された学習済みモデルを用いて集中度を推定してもよい。または、撮像画像から直接、集中度が推定されてもよい。例えば、入力データとして撮像画像を入力し、集中度を正解データとした教師あり学習をすることで機械学習によって構築された学習済みモデルを用いて集中度が推定されてもよい。

なお、Ｓ４０３の処理の結果得られた集中度はユーザに出力されてもよい。

Ｓ４０４において活動内容推定部３０４は、撮像画像に含まれる人物（ユーザ）の活動内容を、撮像画像および活動推定用データ３１４に基づき推定する。

本実施形態の集中度推定システムは、勉強をしているユーザの集中度を改善するためのシステムであり、ユーザの活動内容として、少なくとも、同じ科目および同じ分類の勉強の継続時間、着席時間、および体調不良度の少なくも１つを推定する。なお、本フローチャートでは、同じ分類の勉強の継続時間、着席時間、および体調不良度の全てを推定するものとして説明をする。

図８は、活動推定用データ３１４を説明するための模式図である。はじめに、図８を用いて、同じ科目および同じ分類の勉強の継続時間の推定方法を説明する。

活動推定用データ３１４は、入力データを本の内容を表す画像（文章画像）とし、文章内容、科目および勉強分類を正解データとした教師あり学習をすることで機械学習によって構築された学習済みモデルである。活動内容推定部３０４は、撮像画像から本（学習用品）の領域を抽出してその結果得られた画像（文章画像）を、活動推定用データ３１４に入力することで勉強分類等を推定する。例えば、文章内容が英文長文、科目が英語、勉強分類が思考系に対応する文章画像、文章内容が漢字書き取り、科目が国語、勉強分類が暗記系に対応する文章画像を用いて学習を行うことで学習済みモデルが生成されている。

なお、図８では、勉強の分類のみを示しているが、ユーザが勉強に飽きて漫画を読み始めることも考えられる。このため、漫画のような文章画像を用いて、その文章画像が勉強とは関係ない分類の本であることが学習されている活動推定用データ３１４が用いられてもよい。活動内容推定部３０４は、その活動推定用データ３１４を用いることでユーザが勉強をしていないことを推定できる。

ユーザ名と推定された勉強分類等との対応付けは、例えば、ユーザの視線を決定しユーザの視線の近くにある本の文章画像から推定された勉強分類等とそのユーザとを対応付ければよい。または、ユーザが手に持っている、ユーザが手で押さえている、又はユーザがページをめくっている等、ユーザと接触している本の文章画像から推定された勉強分類等とそのユーザとが対応づけられてもよい。または、ユーザの顔から所定の距離（ユーザに応じて変わる距離）内、例えば、顔から３０ｃｍ～１００ｃｍ程度にある本の文章画像から推定された勉強分類等とそのユーザとを対応付けてもよい。

なお、ユーザが現在行っている勉強の科目および分類を取得する方法は、学習済みモデルを用いた方法による推定による方法に限られない。他にも、例えば、ユーザによって、そのユーザが現在行っている勉強の科目および分類が直接入力されてもよい。

そして、活動内容推定部３０４は、ユーザの活動の内容として、同じ科目および同じ勉強分類の勉強の継続時間を推定する。例えば、ユーザが勉強する際には、自分の近くに勉強に用いる教科書や参考書を近づけると考えられる。このため、ユーザと対応付けられる本の文章画像は変更されることから、ユーザが行っている勉強の科目および勉強分類の変化を推定できる。このため、科目または勉強分類が変化したときの時刻を開始時刻とし、ユーザに対応付けられた科目または勉強分類が変わるまで時間を測定することで、同じ科目および同じ分類の勉強の継続時間を推定する。なお、活動内容推定部３０４は、同じ科目の勉強の継続時間、および同じ分類の勉強の継続時間の少なくとも一方を推定するだけでもよい。この場合、以下の説明で、同じ科目および同じ分類の勉強の継続時間とあるのは、同じ科目の勉強の継続時間または同じ分類の勉強の継続時間の何れかであると読み替えてもよい。

図９は、活動内容推定部３０４による推定結果をまとめたテーブルである。図９の推定結果には、ユーザごとに、各ユーザが行っている勉強の科目および勉強分類に対応する勉強の継続時間が保持されている。例えば、推定結果として、ユーザＡが２０２１／３／６ １４：４０から数学の思考系の勉強を始め２０分継続して勉強したことが保持されている。

また、活動内容推定部３０４は、ユーザの活動の内容として、ユーザが継続して着席している時間を推定してもよい。着席時間の推定方法は、例えば、姿勢内容の推定方法と同様の方法で、撮像画像からユーザが着席状態であるかを推定する。ユーザが着席状態でない状態から着席状態に変化したときの時刻を開始時刻とし、ユーザが着席状態以外の状態となるまで時間を測定することで、ユーザが継続して着席している時間を推定できる。着席時間は、例えば、学習用品１０５がある場所に着席していた時間である。

図１０は、活動内容推定部３０４による着席時間の推定結果をまとめたテーブルである。図１０の推定結果には、ユーザごとに、各ユーザが継続して着席していた時間（着席時間）が保持されている。例えば、推定結果として、ユーザＡが２０２１／３／６ １４：４０から着席を始め、２０分継続して着席したことが保持されている。

また、活動内容推定部３０４は、ユーザの状態として、体調状態を推定してもよい。体調状態の推定方法は、入力データを顔の画像（体調画像）とし、体調状態を正解データとした教師あり学習をすることで機械学習によって構築された学習済みモデルを用いて推定する。例えば、体調状態は、咳をしている、熱がでている等である。なお、ユーザの体調状態を取得する方法は、学習済みモデルを用いた推定結果を取得する方法に限られない。他にも、体調状態は、ユーザによって直接入力されてもよい。

図１１は、体調状態と体調不良度との対応を示すテーブルである。図１１に示すように各体調状態には、体調不良度の加算値が対応付けられている。取得されたユーザの体調状態に対応する体調不良度の加算値を足し合わせることで、撮像画像に含まれるユーザの体調不良度を決定することができる。図１１の体調不良度は、体調不良度の値が大きいほど、体調が悪い状態であることを表すように設定された例を示しているが、体調不良度の設定は図１１の方法に限定されない。

Ｓ４０５において実施項目決定部３０５は、推定された集中度および活動の内容と、実施項目決定用データ３１５と、を用いてユーザの集中度を向上させるための実施項目を決定する。

図１２は、実施項目決定用データ３１５の一例を示す図である。実施項目決定用データ３１５には、各集中度および各活動の内容の組み合わせの状態のユーザに対して実施項目を実施した場合の効果がレコード（行）毎に保持されている。図１２の場合、活動の内容には、勉強継続時間、着席時間、体調不良度が含まれる。

実施項目決定用データ３１５における「実施後の効果」は、過去にユーザに対して夫々の実施項目を実行した際の、その実施項目の効果が保持されている。例えば、ユーザＡは、集中度が高く、同じ分類の勉強の継続時間が６０分で、着席時間が６０分、体調不良度が「０」の時に、照明が部屋の色をゆっくり変える実施項目の集中度に対する効果が大きかった結果が保持されている。また、例えば、ユーザＢは、集中度が低く、同じ分類の勉強の継続時間が１０分で、着席時間が５分、体調不良度が「０」の時に、ユーザが勉強の科目を変更すると、集中度に対する効果が大きかった結果が保持されている。

また、図１２には図示していないが、実施項目決定用データ３１５には、各集中度および各活動の内容の組み合わせの状態であった際に実施項目を実行した場合の、一般的な人物における実施項目の効果が保持されている。この一般的な人物に対応するデータを標準パターンデータとよぶ。初めは、この標準パターンデータを用いて、実施項目の決定処理が行われる。その後、本実施形態の集中度向上システムを利用することで、図１２に示すように、各ユーザの各集中度および各活動の内容において実施項目を実行した際の実施項目の効果が実施項目決定用データ３１５に追加される。

なお、効果の持続時間も図１２に含めてもよい。例えば、音楽を変更することで集中度が高くなった状態が１０分間続いた場合は、その集中度が高い状態が持続した時間（効果の持続時間）が実施項目決定用データ３１５に保持されてもよい。

「実施後の効果」に保持される値は、例えば、集中度が上がった場合は効果「大」、集中度が変わらなかった場合が効果「中」、集中度が下がった場合は効果「小」として決定されて保持される。または、効果の持続時間が計測された場合は、その効果の持続時間も加味して「実施後の効果」に保持される値が決定されてもよい。例えば、集中度の上下と効果の持続時間の重みづけを加算して実施後の効果が算出される。

「実施後の効果」に保持される値は、「大」「中」「小」として図示しているがこの値に限られない。効果の持続時間が長い実施項目の場合は、「実施後の効果」には、「大」よりも効果が大きいことを示す値が保持されてもよい。

図１３は、実施項目決定処理のフローチャートである。図１３を用いてＳ４０５の処理の詳細を説明する。

Ｓ１３０１において実施項目決定部３０５は、実施項目決定用データ３１５における特定されたユーザ名を含むレコード（行）のうち、推定された集中度および活動の内容と、類似する集中度および活動の内容が含まれるレコードが存在するかを判定する。

特定されたユーザ名とは、Ｓ４０２の結果特定されたユーザ名である。例えば、Ｓ４０２でユーザ名が「ユーザＡ」と特定されたとする。この場合、図１２の「ユーザ」の列に「ユーザＡ」が含まれるレコードから、Ｓ４０３の結果推定された集中度およびＳ４０４の結果推定された活動の内容に類似する情報が含まれるレコードが存在するかを判定する。

類似するかの判定方法は、例えば、Ｓ４０３およびＳ４０４で推定された集中度および活動の内容と、実施項目決定用データ３１５における特定されたユーザ名を含む各レコードの集中度および活動の内容と、の差異をデータ種別ごとに重みづけして加算する。こうして、実施項目決定用データ３１５における特定されたユーザ名を含む各レコードの非類似度を算出する。そして得られた非類似度が閾値内であったレコードを選択する。レコードが選択できた場合はＳ１３０１の判定ではＹＥＳと判定される。

特定されたユーザ名を含むレコードのうち、推定された集中度および活動の内容と類似する情報を含むレコードがあった場合（Ｓ１３０１がＹＥＳ）、Ｓ１３０２に進む。Ｓ１３０２において実施項目決定部３０５は、Ｓ１３０１の判定の結果選択されたレコードに含まれる実施項目のうち効果が一番高い実施項目を取得する。

特定されたユーザ名を含むレコードのうち、推定された集中度および活動の内容と類似する情報を含むレコードがなかった場合（Ｓ１３０１がＮＯ）、Ｓ１３０２はスキップする。特定されたユーザ名を含むレコードが実施項目決定用データ３１５に含まれていなかった場合も、Ｓ１３０２はスキップする。

Ｓ１３０３において実施項目決定部３０５は、実施項目決定用データ３１５における一般なユーザの情報を保持するレコード（標準パターンデータ）のうち、推定された集中度および活動の内容と類似する情報が含まれるレコードが存在するかを判定する。

類似するかの判定方法は、Ｓ１３０１と同様の方法でよい。例えば、Ｓ４０３およびＳ４０４で推定された集中度および活動の内容と、標準パターンデータに含まれる各レコードの集中度および活動の内容と、の差異をデータ種別ごとに重みづけして加算することで各レコードの非類似度を算出する。そして、得られた非類似度が閾値内であったレコードを選択する。レコードが選択できた場合はＳ１３０３の判定ではＹＥＳと判定される。

なお、後続のＳ１３０７では、Ｓ１３０７より前のステップで選択されたレコードに含まれる実施項目の中から、実際に実行される実施項目が決定される。このため、Ｓ１３０７よりも前のステップでは、実施項目決定用データ３１５の中から少なくも１つのレコードが選択されていることが望ましい。このため、Ｓ１３０３では、標準パターンデータのうちの少なくとも１つのレコードが選択できるようにしてもよい。例えば、Ｓ１３０３では、推定された集中度および活動の内容と、標準パターンデータに含まれる各レコードの集中度と活動の内容の差異に重みづけして加算して得られた非類似度が最小であったレコードは、必ず選択されるようにしてもよい。

標準パターンデータのレコードのうち、推定された集中度および活動の内容と類似する情報を含むレコードがあった場合（Ｓ１３０３がＹＥＳ）、Ｓ１３０４に進む。Ｓ１３０４において実施項目決定部３０５は、Ｓ１３０３の判定の結果選択されたレコードに含まれる実施項目のうち効果が一番高い実施項目を取得する。

標準パターンデータのレコードのうち、推定された集中度および活動の内容と類似する情報を含むレコードがなかった場合（Ｓ１３０３がＮＯ）、Ｓ１３０４はスキップする。

Ｓ１３０５において実施項目決定部３０５は、実施項目決定用データ３１５における特定されたユーザ名以外のユーザ名を含むレコードのうち、推定された集中度および活動の内容と、類似する情報が含まれるレコードが存在するかを判定する。

例えば、Ｓ４０２でユーザ名が「ユーザＡ」と特定されたとする。この場合、図１２の「ユーザ」の列の「ユーザＡ」以外のユーザ名（例えば「ユーザＢ」）が含まれるレコードから、Ｓ４０３の結果推定された集中度およびＳ４０４の結果推定された活動の内容に類似する情報が含まれるレコードが存在するかを判定する。

類似するかの判定方法は、Ｓ１３０１と同様の方法でよい。例えば、推定された集中度および活動の内容と、実施項目決定用データ３１５における、特定されたユーザ名以外のユーザ名が含まれる各レコードの集中度および活動の内容と、の差異をデータ種別ごとに重みづけして加算する。こうして、実施項目決定用データ３１５における各レコードの非類似度を算出する。そして得られた非類似度が閾値内であったレコードを選択する。レコードが選択できた場合は、Ｓ１３０５の判定ではＹＥＳと判定される。

特定されたユーザ名以外のユーザ名を含むレコードのうち、推定された集中度および活動の内容と類似する情報を含むレコードがあった場合（Ｓ１３０５がＹＥＳ）、Ｓ１３０６に進む。Ｓ１３０６において実施項目決定部３０５は、Ｓ１３０５の判定の結果選択されたレコードに含まれる実施項目のうち効果が一番高い実施項目を取得する。

特定されたユーザ名以外のユーザ名を含むレコードのうち、推定された集中度および活動の内容と類似する情報を含むレコードがなかった場合（Ｓ１３０５がＮＯ）、Ｓ１３０６はスキップする。

Ｓ１３０７において実施項目決定部３０５は、Ｓ１３０２、Ｓ１３０４、およびＳ１３０６で取得した実施項目を、実施後の効果に重みづけをして比較する。比較の結果、一番効果が高い実施項目を、ユーザの集中度を向上させる実施項目として決定する。重み付けは、例えば、
Ｓ１３０２で取得された実施項目の効果＞Ｓ１３０４で取得された実施項目の効果＞Ｓ１３０６で取得された実施項目の効果
とする。このように重みづけをすることで、効果が同じである場合は、Ｓ４０２で特定されたユーザに対して過去に行われた実施項目が決定され易くなる。

以上でＳ４０５の処理の説明を終える。このようにＳ４０５の処理の結果、各ユーザの集中度および活動の内容に適した方法（実施項目）と、その実施項目を実行する装置（通知先）を決定することができる。

なお、実施項目決定部３０５は、入力データを集中度および活動の内容とし、実施後の効果を正解データとした教師あり学習をすることで機械学習によって構築された学習済みモデルを用いて、実施項目を決定してもよい。

また、図１２の実施項目決定用データ３１５は一例であり、実施項目決定用データ３１５のレコードには、ユーザが行っている勉強の分類または科目が含まれていてもよい。例えば、暗記系の勉強を継続していたら、科目に係わらず異なる分類の勉強を行うこと提案する実施項目が含まれていてもよい。または、科目や勉強分類毎の勉強時間の提案する実施項目が含まれていてもよい。

Ｓ４０６において出力部３０６は、Ｓ４０５で決定された実施項目を、その実施項目を実行する装置（通知先）に出力する。実施項目の通知を取得した、照明１１２、音楽再生装置１１３、ユーザ端末１１４は、Ｓ４０５で決定された実施項目を実行する。

なお、本フローチャートの処理を、動画像に基づいて行う場合は、動画像を構成する１フレームを入力画像として、各ステップの処理が行われてもよい。また、所定のフレーム毎に、所定の間隔をあけて本フローチャートの処理が行われてもよい。図４のフローチャートでは、集中度および活動の内容の推定の後に実施項目の決定が行われるものとして説明したが、集中度および活動の内容の推定の頻度と、実施項目の決定の頻度は異なっていてもよい。

以上説明したように本実施形態によれば、ユーザの集中度および活動の内容を推定して、ユーザの集中度および活動情報に適した実施項目を決定することができる。

＜実施形態２＞
実施形態１では、集中度向上システムの監視対象は、勉強をしているユーザであるものとして説明した。本実施形態では、運動をしているユーザを監視対象とする集中度向上システムの説明を行う。本実施形態については、実施形態１からの差分を中心に説明する。特に明記しない部分については実施形態１と同じ構成および処理である。

図１４は、本実施形態の集中度向上システムの構成を示す模式図である。尚、同一の構成については、同じ符号を付して説明する。集中度向上システムは、情報処理装置１００、撮像装置１１１、照明１１２、表示装置１４０５、音楽再生装置１４０６を有する。

室内１４０１は、本実施形態の集中度向上システムによる監視対象のユーザ１４０２～１４０４がいる空間であり、例えばスポーツジムの室内である。撮像装置１１１は、ユーザのいる室内１４０１全体を撮像視野に含めることが可能な場所に設置される。本実施形態のユーザは、所定の運動を行っている人物であるものとして説明する。

照明１１２、音楽再生装置１４０６、および表示装置１４０５は、情報処理装置１００から実施項目を受け取り、情報処理装置１００が決定した実施項目を実行する装置である。表示装置１４０５は、例えばプロジェクタである。集中度向上システムには、照明１１２、音楽再生装置１４０６、および表示装置１４０５の全てが含まれていなくてもよく、少なくとも１つが含まれていればよい。または、集中度向上システムには、空調装置など、実施項目を実行することが可能な別の装置が含まれていてよい。

次に、図４を用いて、本実施形態の集中度向上システムにおける情報処理装置１００の処理について説明する。

Ｓ４０１およびＳ４０２の処理は、実施形態１と同じである。

Ｓ４０３において集中度推定部３０３は、撮像画像に含まれるユーザの集中度を、撮像画像と集中度推定用データ３１３に基づき推定する。本ステップも実施形態１と同様であるが、推定される姿勢内容が実施形態１とは異なる。

図１５（ａ）は、集中度推定用データ３１３に含まれる本実施形態の姿勢内容推定用学習データ６０１を説明するための模式図である。推定される姿勢内容は、図１５（ａ）に示すように、例えば、手足が伸びている、手が曲がっている、足が曲がっている、身体が傾いているなどのうちの少なくとも何れかが含まれている。図１５（ｂ）は、集中度推定用データ３１３に含まれる顔内容推定用学習データ６０２を説明するための模式図である。推定される顔内容は、実施形態１と同様に例えば、目が半開きになっている、あくびしている、にらみつけている、通常状態等のうちの少なくとも何れかである。

次に、集中度推定部３０３は、姿勢内容および顔内容を入力とした集中度の推定を、集中度データ７０１を用いて推定する。推定方法は、実施形態１と同じである。

図１６は、本実施形態の集中度データの一例を示す図である。本実施形態の集中度データ７０１は、図７に示す実施形態１の集中度データ７０１と同様の構成であるが、推定される姿勢内容が異なることから、本実施形態で推定される姿勢内容に応じて集中度が推定できるように構成されている。例えば、ユーザＡは、手足がしっかり伸びている姿勢内容であってにらみつけている顔内容の時に集中度が高いと過去に推定されたため、その情報が図１６の集中度データ７０１に追加されている。また、ユーザＣは、手が曲がっている姿勢内容であって通常の顔内容の時に集中度が高いと過去に推定されたため、その情報が図１６の集中度データ７０１に追加されている。このように、監視対象のユーザが運動をしている人物であっても、ユーザ毎に異なる条件に沿って集中度推定をすることができる。

Ｓ４０４において活動内容推定部３０４は、撮像画像に含まれるユーザの活動内容を、撮像画像と活動推定用データ３１４とに基づき推定する。推定方法は、実施形態１と同じである。

本実施形態の集中度推定システムは、運動をしているユーザの集中度を改善（向上）させるためのシステムであることから、ユーザの活動内容として同じ内容および同じ分類の運動の継続時間を推定する。または、活動内容推定部３０４は、同じ内容の運動の継続時間および同じ分類の運動の継続時間の少なくとも一方を推定してもよい。この場合、以下の説明で、同じ内容および同じ分類の運動の継続時間とあるのは、同じ内容の運動の継続時間または同じ分類の運動の継続時間と読み替えてもよい。Ｓ４０４では実施形態１と同様に体調不良度を推定してもよい。

図１７は、本実施形態の活動推定用データを説明するための模式図である。本実施形態の活動推定用データ３１４は、入力データを運動の内容を表す画像（運動画像）とし、運動内容および運動分類を正解データとした教師あり学習をすることで機械学習によって構築された学習済みモデルである。はじめに、活動内容推定部３０４は、撮像画像からユーザの領域を抽出してその結果得られた運動画像を、この学習済みモデルに入力することで、運動分類等を推定する。例えば、運動内容がシャドーボクシング、運動分類が有酸素運動に対応する運動画像、運動内容が腕立て伏せ、運動分類が無酸素運動に対応する文章画像を用いて学習を行うことで学習済みモデルが生成されている。

図１８は、活動内容推定部３０４による本実施形態の推定結果をまとめたテーブルである。図１８の推定結果には、ユーザごとに、各ユーザが行っている運動内容および運動分類に対応する運動の継続時間が保持されている。例えば、推定結果として、ユーザＡが２０２１／３／６ １４：４０から５分継続して無酸素運動である腕立て伏せしていたことが保持されている。体調状態の推定方法は、実施形態１と同じである。

Ｓ４０５において実施項目決定部３０５は、推定された集中度および活動の内容と、実施項目決定用データと、を用いてユーザの集中度を向上させるための実施項目を決定する。実施項目を決定方法は実施形態１と同じであるが、決定に用いられる実施項目決定用データの構成が実施形態１とは異なる。

図１９は、本実施形態の実施項目決定用データの一例を示す図である。本実施形態の実施項目決定用データ３１５には、活動の内容として、同じ内容および同じ分類の運動継続時間、および体調不良度が含まれる。「実施後の効果」は、過去にユーザに対して夫々の実施項目を実行した際のその実施項目の効果が保持されている。例えば、ユーザＡは、集中度が高く、同じ分類の運動の継続時間が６０分で、体調不良度が０の時に、照明が部屋の色をゆっくり変えると集中度を向上させる効果が大きかった結果が保持されている。また、例えば、ユーザＡは、集中度が低く、同じ分類の運動の継続時間が３０分で、体調不良度が１の時に、運動の種類を変更すると集中度を向上させる効果が大きかった結果が保持されている。なお、図１９にも図１２と同様に標準パターンデータが含まれるが省略して記載している。

Ｓ４０６において出力部３０６は、Ｓ４０５で決定された実施項目を、通知先に出力する。実施項目の通知を取得した、照明１１２、音楽再生装置１４０６、または表示装置１４０５は実施項目を実行する。

なお、本実施形態では、ユーザが複数いるため、ユーザに応じた実施項目が決定されて、ユーザに対応するそれぞれの実施項目が、それぞれの通知先に出力される。例えば、本実施形態の音楽再生装置１４０６は、図１４に示すように、ユーザ毎に装着されている。このため、実施項目として音楽を変更することが決定された場合は、対象のユーザが装着している音楽再生装置１４０６に実施項目が通知される。また、実施項目として明るさの変更が決定された場合は、対象ユーザの周りの明るさだけが変更されるように照明１１２は明るさを制御する。

以上説明したように本実施形態によれば、運動しているユーザの集中度および活動の内容を推定して、集中度および活動の内容に適した実施項目を決定することができる。また、撮像画像内に複数のユーザがいる場合でも、ユーザ毎に適した実施項目を決定して実行させることができる。

＜その他の実施形態＞
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１ 画像取得部
３０３ 集中度推定部
３０４ 活動内容推定部
３０５ 実施項目決定部
１００ 情報処理装置

Claims (16)

1. 人物が含まれる撮像画像を取得する取得手段と、
   前記人物が行っている活動に対する集中度と、前記人物が行っている前記活動の内容と、を前記撮像画像に基づき推定する推定手段と、
   推定された前記集中度および前記活動の内容に基づき、推定された前記集中度を向上させるための方法を決定する決定手段と、
   を有することを特徴とする情報処理装置。
2. 前記推定手段は、
   前記撮像画像から前記人物の姿勢内容および顔内容を推定し、推定された前記姿勢内容および前記顔内容に基づき前記集中度を推定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記顔内容は、目が半開きになっている、あくびをしている、にらみつけている、のうちの少なくとも何れかである
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記姿勢内容は、横に傾いて座っている、まっすぐ座っている、縦に傾いて座っている、横向きに座っている、のうちの少なくとも何れかである
   ことを特徴とする請求項２または３に記載の情報処理装置。
5. 前記姿勢内容は、手足が伸びている、手が曲がっている、足が曲がっている、身体が傾いている、のうちの少なくとも何れかである
   ことを特徴とする請求項２または３に記載の情報処理装置。
6. 前記推定手段は、
   前記活動の内容として、前記人物が行っている活動に係る継続時間を推定する
   ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記推定手段は、
   前記人物が行っている勉強の分類を推定し、前記継続時間として、前記人物が行っている同じ分類の勉強の継続時間を少なくとも推定する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記推定手段は、
   前記継続時間として、前記人物が着席している継続時間を少なくとも推定する
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記推定手段は、
   前記人物が行っている運動の分類を推定し、前記継続時間として、前記人物が行っている同じ運動の継続時間を少なくとも推定する
   ことを特徴とする請求項６に記載の情報処理装置。
10. 前記推定手段は、前記人物の体調状態をさらに推定し、
    前記決定手段は、推定された前記人物の体調状態にさらに基づき、前記方法を決定する
    ことを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
11. 決定された前記方法の情報を出力する出力手段をさらに有する
    ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
12. 前記決定手段は、前記方法として、前記人物がいる空間の照明の変更、前記人物が聴く音楽の変更、およびユーザへの所定の通知の少なくとも１つを決定し、
    前記出力手段は、決定された前記方法を実行する装置に、前記方法の情報を出力する
    ことを特徴とする請求項１１に記載の情報処理装置。
13. 前記撮像画像に含まれる前記人物を特定する特定手段をさらに有する
    ことを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。
14. 前記決定手段は、特定された前記人物に応じて前記方法を決定する
    ことを特徴とする請求項１３に記載の情報処理装置。
15. 人物が含まれる撮像画像を取得する取得ステップと、
    前記人物が行っている活動に対する集中度と、前記人物が行っている前記活動の内容と、を前記撮像画像に基づき推定する推定ステップと、
    推定された前記集中度および前記活動の内容に基づき、推定された前記集中度を向上させるための方法を決定する決定ステップと、
    を有することを特徴とする情報処理方法。
16. コンピュータを、請求項１から１４のいずれか１項に記載の情報処理装置の各手段とし機能させるためのプログラム。

Images