JP2021005215A - 興味推定システム - Google Patents

Abstract

【課題】コンテンツに対する利用者の興味を推定できる興味推定システムを提供する。【解決手段】本開示の一態様は、コンテンツの利用者の姿勢を検出する検出装置と、検出装置が検出した姿勢から利用者の視線の方向を取得し、視線の方向の維持時間によって、コンテンツに対する利用者の興味の高さを推定する処理装置と、を備える興味推定システムである。【選択図】図１

Description

本開示は、興味推定システムに関する。

コンテンツが提供される施設における着席状況を把握するために、シートに対する着席の有無を検知するシステムが知られている（特許文献１参照）。

特開２００３−６１７７９号公報

上述のシステムは、利用者による席の確保を支援する機能を有しているが、コンテンツの提供開始後に、着席した利用者のコンテンツに対する興味を推定する機能は備えていない。

本開示の一局面は、コンテンツに対する利用者の興味を推定できる興味推定システムを提供することを目的としている。

本開示の一態様は、コンテンツの利用者の姿勢を検出する検出装置（２）と、検出装置（２）が検出した姿勢から利用者の視線の方向を取得し、視線の方向の維持時間によって、コンテンツに対する利用者の興味の高さを推定する処理装置（４）と、を備える興味推定システム（１）である。

このような構成によれば、利用者の視線の動きに基づいて、利用者のコンテンツへの興味の高さ（つまり、注視度合い）を推定できる。この結果に基づいて、コンテンツの内容、提供方法等を変更すれば、利用者の興味の向上を図ることができる。また、利用者の視線を推定に用いるため、解析精度に左右される言語情報（つまり、利用者の発言内容）を用いずに興味の高さを推定できる。

本開示の一態様では、処理装置（４）は、視線の方向が変化する頻度によって、コンテンツに対する利用者の興味の高さを推定してもよい。このような構成によれば、利用者のコンテンツへの注視度合いを、視線の方向の維持時間のみを用いて判定する場合よりも高い精度で判定することができる。

本開示の一態様では、処理装置（４）は、コンテンツによる視線誘導の開始から、視線の方向が視線誘導の方向と一致するまでの時間によって、コンテンツに対する利用者の興味の高さを推定してもよい。このような構成によれば、視線誘導が含まれるコンテンツに対する興味の高さを容易かつ的確に判定することができる。

本開示の一態様では、処理装置（４）は、検出装置（２）が検出した姿勢から姿勢遷移量を取得し、視線誘導の開始後における姿勢遷移量によって、コンテンツに対する利用者の興味の高さを推定してもよい。このような構成によれば、視線誘導が含まれるコンテンツへの注視度合いを、視線の方向のみを用いて判定する場合よりも高い精度で判定することができる。

本開示の一態様では、検出装置（２）は、コンテンツが提供される空間に配置されたシート（２１）と、シート（２１）に配置された少なくとも１つの加速度センサ（２２Ａ，２２Ｂ，２２Ｃ）と、を有してもよい。処理装置（４）は、少なくとも１つの加速度センサ（２２Ａ，２２Ｂ，２２Ｃ）の出力に基づいて、シート（２１）に着座した利用者の姿勢遷移量を推定してもよい。このような構成によれば、利用者の姿勢の遷移をカメラ等の画像処理を使用した検知よりも的確に検知することができる。また、コンテンツが提供される空間の明るさ、騒音等の環境による検知精度への影響を低減することができる。

なお、上記各括弧内の符号は、後述する実施形態に記載の具体的構成等との対応関係を示す一例であり、本開示は上記括弧内の符号に示された具体的構成等に限定されるものではない。

図１は、実施形態における興味推定システムを示す模式的な構成図である。 図２は、図１のシートにおける利用者の姿勢と加速度センサの出力との対応について説明する模式図である。 図３Ａは、視線の方向の変化の一例を示すグラフであり、図３Ｂは、興味スコアの変化の一例を示すグラフである。 図４Ａは、図１の推定部が実行する推定処理を概略的に示すフロー図であり、図４Ｂは、興味スコア算出処理を概略的に示すフロー図である。 図５は、図１の興味推定システムが搭載された移動体の模式図である。

以下、本開示が適用された実施形態について、図面を用いて説明する。
［１．第１実施形態］
［１−１．構成］
図１に示す興味推定システム１は、例えば、スタジアム、映画館、劇場、コンサートホール、ライブハウス等の施設、又は、自動車、鉄道車両、船舶、航空機、宇宙船等の移動体に設置される。

興味推定システム１は、コンテンツの利用者の姿勢を検出する検出装置２と、検出された利用者の姿勢から興味を推定する処理装置４とを備える。

＜検出装置＞
検出装置２は、シート２１と、第１クッション用加速度センサ２２Ａ、第２クッション用加速度センサ２２Ｂ、及びバック用加速度センサ２２Ｃと、カメラ２３とを備える。

シート２１及びカメラ２３は、施設又は移動体において、コンテンツが提供される空間に配置される。「コンテンツ」には、スポーツ、ボードゲーム、ビデオゲーム等の観戦イベント、演劇、演奏等の鑑賞イベント、実写又は仮想の映像、音楽、風景（つまり観光）などが含まれる。

特に、興味推定システム１は、利用者の行動によって内容が変化する双方向性のあるコンテンツに効果的に適用できる。このような双方向性のコンテンツの例として、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間又は拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間と、仮想現実空間又は拡張現実空間に配置される仮想人物のキャラクタとを含むコンテンツが挙げられる。

（シート）
シート２１は、シートクッション２１Ａと、シートバック２１Ｂとを有する。シートクッション２１Ａは、利用者の臀部等を支持するための部位である。シートバック２１Ｂは、利用者の背部を支持するための部位である。

シートクッション２１Ａには、後述する第１クッション用加速度センサ２２Ａと、第２クッション用加速度センサ２２Ｂとが配置されている。シートバック２１Ｂには、後述するバック用加速度センサ２２Ｃが配置されている。

（加速度センサ）
第１クッション用加速度センサ２２Ａ、第２クッション用加速度センサ２２Ｂ、及びバック用加速度センサ２２Ｃは、それぞれ、３軸加速度センサであり、３次元の加速度データを出力可能に構成されている。

第１クッション用加速度センサ２２Ａ、第２クッション用加速度センサ２２Ｂ、及びバック用加速度センサ２２Ｃは、必要に応じて、３軸の角速度（つまり、ロール角速度、ピッチ角速度、及びヨー角速度）の検出機能を有してもよい。

ただし、後述する処理装置４において、角速度を入力データとして用いることなく興味の推定が実現される場合は、センサのコストと消費電力とを低減する観点から、各加速度センサは加速度のみの検出機能を有することが好ましい。

第１クッション用加速度センサ２２Ａ及び第２クッション用加速度センサ２２Ｂは、シートクッション２１Ａの幅方向に互いに離間して、つまり左右方向に並んでシートクッション２１Ａの内部に埋められている。

具体的には、第１クッション用加速度センサ２２Ａは、シートクッション２１Ａの幅方向中心よりも右側に配置されている。第２クッション用加速度センサ２２Ｂは、シートクッション２１Ａの幅方向中心よりも左側に配置されている。

第１クッション用加速度センサ２２Ａ及び第２クッション用加速度センサ２２Ｂは、それぞれ、利用者のヒップポイント（つまり大腿骨の最外部）と重なるように配置されている。また、第１クッション用加速度センサ２２Ａと第２クッション用加速度センサ２２Ｂとの左右方向の距離は、例えば１００ｍｍ以上１５０ｍｍ以下である。

バック用加速度センサ２２Ｃは、シートバック２１Ｂの内部に埋められている。バック用加速度センサ２２Ｃは、シートバック２１Ｂの幅方向中央に配置されている。バック用加速度センサ２２Ｃの高さは、例えばヒップポイントに１５０ｍｍ以上４００ｍｍ以下の高さを加えたものである。

（カメラ）
カメラ２３は、シート２１に着席した利用者の姿勢を撮影する３次元カメラである。カメラ２３は、利用者の体の向きを画像として取得し、処理装置４に出力する。なお、検出装置２は、複数のカメラ２３を有してもよい。

＜処理装置＞
処理装置４は、シート２１に着座している利用者に提供されている現在のコンテンツに対する、利用者の興味を推定する装置である。

処理装置４は、推定部４１と、記憶部４２と、制御部４３とを有する。処理装置４は、例えばマイクロプロセッサと、ＲＡＭ、ＲＯＭ等の記憶媒体と、入出力部とを備えるマイクロコンピュータにより構成される。処理装置４は、シート２１に装着又は内蔵されてもよいし、シート２１とは離間して配置されてもよい。

（推定部）
推定部４１は、検出装置２が検出した姿勢から、推定用情報を取得する。推定用情報には、利用者の視線の方向と、姿勢遷移量とが含まれる。

推定に用いられる視線の方向は、例えば、利用者の頭部の方向として取得される。利用者の頭部の方向は、カメラ２３が取得した画像、各加速度センサの出力、又はこれらの組み合わせから推定される。

例えば、頭部の方向は、利用者の上半身の鉛直方向に対する傾きと、利用者の両肩を結んだ線分の基準軸に対する傾きと、利用者の首と鼻とを結んだ線分の鉛直方向に対する傾きと、の組み合わせによって決定される。つまり、視線の方向は、これらの傾きの組み合わせを表すコードとして取得される。

上述の３つの傾きは、それぞれ、カメラ２３の画像解析によって検出できる。また、各加速度センサの出力から、機械学習により構築された学習モデルを用いて３つの傾きを推定することもできる。

上記学習モデルは、第１クッション用加速度センサ２２Ａ、第２クッション用加速度センサ２２Ｂ、及びバック用加速度センサ２２Ｃの出力に基づく入力データと、利用者の姿勢又は利用者の姿勢遷移に係る情報に基づく教師データ（つまりラベルデータ）とによる機械学習により構築される。学習モデルは、後述する記憶部４２に記憶されている。

学習モデルは、教師あり機械学習によって構築される分類器（つまり分類モデル）であり、例えば多層ニューラルネットワークで構成される。多層ニューラルネットワークの例としては、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）等が挙げられる。

なお、学習モデルは、多層ニューラルネットに限定されず、ニューラルネットワーク以外のモデルを用いてもよい。例えば、ＳＶＣ（サポートベクターマシンによるクラス分類）、ランダムフォレスト等のアルゴリズムを用いて学習モデルを構築してもよい。

記憶部４２が記憶する学習モデルの機械学習では、入力データとして、各加速度センサの出力（つまり、３次元の加速度、又は３次元の加速度に３次元の角速度を加えた加速度データ）を用いる。また、教師データとして、利用者の姿勢パターンを示す一定数の姿勢ラベル、又は利用者の姿勢の遷移パターンを示す一定数の遷移ラベルを用いる。

学習モデルを生成する学習ステップでは、多数のラベル付きデータを機械学習装置に分析させる。ラベル付きデータは、加速度データに、対応する姿勢ラベル又は遷移ラベルを付けたデータである。機械学習装置は、多数のラベル付きデータから加速度データを複数のラベルに分類するための特徴量を学習し、学習モデルを構築する。

学習モデルの構築は、機械学習装置（図示省略）を用いて行われる。機械学習装置によって構築された学習モデルは、記憶部４２に出力される。なお、機械学習装置は処理装置４に組み込まれていてもよい。

図２に示すように、例えば、前傾の姿勢Ｐ１から、直立の姿勢Ｐ２に利用者の姿勢が遷移する場合、推定部４１は、姿勢ラベルを教師データとした学習モデルに遷移時の各加速度センサの出力Ｏを入力し、「直立」という姿勢ラベルを入力データに付与する。これにより、「直立」という利用者の姿勢が推定される。

あるいは、推定部４１は、姿勢遷移ラベルを教師データとした学習モデルに上記センサ出力Ｏを入力し、「後方に体を起こす」という姿勢遷移ラベルを入力データに付与する。これにより、「後方に体を起こす」という利用者の姿勢遷移が推定される。

推定部４１が入力データに付与する姿勢ラベルは、推定する複数の姿勢パターンを予め定義したものである。本実施形態の姿勢ラベルは、例えば、視線の方向を示すコードとされる。

視線の方向と共に推定に用いられる姿勢遷移量は、各加速度センサの出力から算出される特徴量として取得される。この特徴量は、取得された出力に対する積分、平均等の演算に基づいて算出される。推定部４１が算出する特徴量の内容と、特徴量の算出に使用する入力データと、特徴量の算出方法との組み合わせの一例を表１に示す。

表１中の「シートバックの加速度」及び「シートバックの角速度」は、バック用加速度センサ２２Ｃの出力であり、「シートクッションの加速度」及び「シートクッションの角速度」は、第１クッション用加速度センサ２２Ａ及び第２クッション用加速度センサ２２Ｂの出力である。

推定部４１は、検出装置２の検出結果（つまり、カメラ２３が取得した画像及び各加速度センサの出力）に基づいて取得した利用者の視線の方向と、姿勢遷移量とに基づいて、コンテンツに対する利用者の興味の高さを推定する。

具体的には、推定部４１は、視線の維持時間に基づく第１推定、視線の変化頻度に基づく第２推定、共同注視に基づく第３推定、及びリアクションの大きさに基づく第４推定を行う。

第１推定では、推定部４１は、視線の方向の維持時間によって、コンテンツに対する利用者の興味の高さを推定する。具体的には、視線の方向の維持時間が予め定めた第１閾値以上の場合に、利用者の興味スコアが加点される。

なお、「視線の方向の維持」とは、推定部４１によって取得される「視線の方向を示すコード」が変化しないことを意味し、視線の方向コードが変化しない（つまり視線の変化後も同じ方向コードに含まれる）微小な視線の変動は「視線の方向の維持」に含まれる。第１閾値は、コンテンツの内容に合わせて設定され、コンテンツの進行に合わせて変化してもよい。第１閾値は、例えば１．５秒である。

第２推定では、推定部４１は、視線の方向が変化する頻度（つまり視線の逸脱率）によって、コンテンツに対する利用者の興味の高さを推定する。具体的には、一定時間における視線の方向の変化回数が予め定めた第２閾値以下の場合に、利用者の興味スコアが加点される。

なお、第１推定と同様、「視線の方向の変化」は、「視線の方向を示すコード」が変化することを意味する。第２閾値は、コンテンツの内容と第１閾値とに合わせて設定され、コンテンツの進行に合わせて変化してもよい。第２閾値は、例えば、２回／５秒である。

第３推定では、推定部４１は、コンテンツによる視線誘導の開始から、視線の方向が視線誘導の方向と一致する（つまり共同注視に遷移する）までの時間によって、コンテンツに対する利用者の興味の高さを推定する。

具体的には、コンテンツによって共同注視シーンが提供されている間に、コンテンツが視線誘導の方向と利用者の視線の方向とが一致した場合に、利用者の興味スコアが加点される。

図３Ａに、利用者の視線の方向の変化の一例を示す。図３Ａでは、利用者の視線の方向を「右」「真っ直ぐ」「左」に分類した場合における視線の方向の変化が示されている。破線は、推定部４１が取得した利用者の視線の方向、一点鎖線は、コンテンツが利用者の視線を誘導する方向（つまり利用者に見てもらいたい方向）を示す。実線は、利用者の視線の方向と、視線誘導の方向とが一致した部分である。

図３Ａの期間Ｔ１では、利用者の視線の方向が定まっていない。つまり、利用者は、頭を左右に回転させ、コンテンツ自体、又はコンテンツが誘導している方向を探している状態である。

なお、推定部４１は、このような視線の方向の往復を利用者がコンテンツに対して興味を持ち始めた状態と評価し、往復回数が一定以上の場合に利用者の興味スコアを加点してもよい。

期間Ｔ１に続く期間Ｔ２では、視線の方向が一定時間維持されているため、第１推定により興味スコアが加点される。また、コンテンツの誘導方向の変化に追従して、視線の方向も変化しているため、第３推定によって興味スコアが加点される。

期間Ｔ２に続く期間Ｔ３では、視線の方向が一定時間維持されると共に、視線の逸脱が１回のみであるため、第１推定と第２推定とによって、興味スコアが加点される。
期間Ｔ３に続く期間Ｔ４では、視線の方向が変化し、かつコンテンツの誘導方向にも追従していないので、第１推定及び第３推定による興味スコアの加点が生じない。

第４推定は、第３推定と合わせて実施される。第４推定では、コンテンツによる視線誘導の開始後における姿勢遷移量によって、コンテンツに対する利用者の興味の高さを推定する。

具体的には、推定部４１は、上記表１に示された少なくとも１つの特徴量を算出し、特徴量がそれぞれ閾値を超えるごとに利用者の興味スコアを加点する。また、推定部４１は、複数の特徴量すべてが閾値を超えた場合に興味スコアを加点してもよい。

さらに、推定部４１は、コンテンツによる視線誘導の開始から、少なくとも１つの特徴量が一定値に到達するまでの時間が予め定めた閾値以下の場合（つまり、遷移速度が一定値以上の場合）に、利用者の興味スコアを加点してもよい。

なお、表１に示された特徴量は一例である。そのため、推定部４１は、表１に示す特徴量を全て算出する必要はない。また、推定部４１は、表１に示されない特徴量（ただし、加速度センサの出力に基づいて算出されるものに限られる）を用いて、第４推定を行ってもよい。

推定部４１は、例えば、利用者の姿勢（つまり視線の方向コード）ごとに分けて利用者の興味スコアを算出してもよい。例えば、利用者が右方向を見ている時に、利用者のコンテンツに対する興味が高いと推定された場合は、「右方向」の興味スコアが加点される。同様に、利用者が左方向を見ている時に、利用者のコンテンツに対する興味が高いと推定された場合は、「左方向」の興味スコアが加点される。

興味スコアは、図３Ｂに示すように、時間の経過と共に変化する。つまり、第１推定から第４推定は一定時間ごとに実施され、推定部４１は、これらの推定による興味スコアの合計を一定時間ごとに出力する。

なお、第１推定から第４推定による興味スコアの加点の大きさは、異なってもよい。また、コンテンツの内容に合わせて、各推定における興味スコアの加点の大きさが変化してもよい。

推定部４１は、このようにして求めた興味スコアの大きさによって、興味スコア算出時に供給されていたコンテンツへの興味（つまり、関心度又は没入度）の大きさを推定する。つまり、興味スコアが大きければ、そのコンテンツへの興味が高いと推定し、興味スコアが低ければ、そのコンテンツへの興味が低いと推定する。

また、推定部４１は、姿勢ごとの興味スコア同士を比較することで、どの姿勢の興味スコアが高いか判定し、コンテンツ提供時に利用者が最も興味を示した方向を推定することができる。

推定部４１は、算出した各時間における興味スコアをコンテンツに対する興味の推定結果として、記憶部４２及び制御部４３に出力する。

（記憶部）
記憶部４２は、推定部４１による利用者のコンテンツに対する興味の推定結果（つまり興味スコア）をデータとして記録する。また、記憶部４２は、利用者の姿勢を推定する学習モデルを記憶する。

記憶部４２が記憶したデータは、記録媒体への書き込み、通信回路によるサーバへの送信、紙への印刷等の手段によって出力される。出力されたデータは、利用者により適したサービスを提供するための参照情報、不特定多数の利用者の興味の傾向を解析するためのビッグデータ等として使用することができる。

また、記憶部４２が記憶したデータは、制御部４３からも参照される。制御部４３は、記憶部４２のデータを直接参照することで、過去の興味推定結果に基づいて、後述するようにコンテンツの内容を制御する。

（制御部）
制御部４３は、推定部４１による利用者のコンテンツに対する興味の推定結果（つまり興味スコア）に基づいて、コンテンツの内容を制御する。

例えば、現在のコンテンツの興味スコアが低い場合は、制御部４３は、現在のコンテンツに替えて、異なるコンテンツの提供を開始する。また、制御部４３は、利用者に現在のコンテンツへの興味を持たせるための新たなイベントの追加又はストーリーの変化（例えば、キャラクタの性格の変更）を実施してもよい。さらに、制御部４３は、視覚以外の知覚で認識される刺激（例えば、音、におい、風、振動等）を利用者に提供してもよい。したがって、制御部４３は、このような刺激を出力するハードウェアを有してもよい。

また、現在のコンテンツの興味スコアが高い場合は、制御部４３は、利用者の興味を促進させ、コンテンツへの没入度が向上するように、イベントの追加、ストーリーの変化、刺激の提供等を行う。

また、制御部４３は、記憶部４２に記憶された過去の興味スコアを現在の興味スコアと組み合わせて利用者の嗜好を判断し、現在提供されているコンテンツの内容を制御してもよい。

＜推定部の処理＞
以下、図４Ａのフロー図を参照しつつ、推定部４１が実行する推定処理の一例について説明する。

本処理では、推定部４１は、最初に、検出装置２が検出した利用者の姿勢を受信し、興味推定に用いる推定用情報（つまり、視線の方向及び姿勢遷移量）を取得する（ステップＳ１０）。次に、推定部４１は、推定用情報に基づいて、図４Ｂの興味スコア算出処理を実行する（ステップＳ２０）。

興味スコア算出処理では、推定部４１は、第１推定による利用者の興味が高いか否か判定する（ステップＳ２１０）。興味が高い場合（Ｓ２１０：ＹＥＳ）、推定部４１は、興味スコアに一定の点数を加点する（ステップＳ２２０）。一方、興味が低い場合（Ｓ２１０：ＮＯ）、推定部４１は、興味スコアの加点を行わない。

第１推定後、推定部４１は、第２推定による利用者の興味が高いか否かの判定（ステップＳ２３０）、第３推定による利用者の興味が高いか否かの判定（ステップＳ２５０）、及び第４推定による利用者の興味が高いか否かの判定（ステップＳ２７０）を行う。

各推定において、興味が高い場合（Ｓ２３０，Ｓ２５０，Ｓ２７０：ＹＥＳ）、推定部４１は、興味スコアに一定の点数を加点する（ステップＳ２４０，Ｓ２６０，Ｓ２８０）。一方、興味が低い場合（Ｓ２３０，Ｓ２５０，Ｓ２７０：ＮＯ）、推定部４１は、興味スコアの加点を行わない。なお、第１推定から第４推定は、図４Ｂのように直列に行われてもよいし、並列に行われてもよい。

興味スコア算出後、推定部４１は、コンテンツが終了したか判定する（ステップＳ３０）。コンテンツが終了している場合（Ｓ３０：ＹＥＳ）、推定部４１は処理を終了する。一方、コンテンツが終了していない（つまりコンテンツが継続している）場合（Ｓ３０：ＮＯ）、推定部４１は、ステップＳ１０からの処理を繰り返す。

なお、推定部４１は、興味スコアの大きさに応じて、コンテンツの切り替え、イベントの追加、ストーリーの変化、刺激の提供等の制御を実施するように制御部４３に指示するステップを有してもよい。

＜移動体＞
以下では、図５に示す移動体１０に興味推定システム１が設置され、仮想現実空間と仮想人物であるキャラクタＶとを含むコンテンツが利用者Ｕに提供される例を説明する。

移動体１０は、興味推定システム１のシート２１が配置された内部空間１０Ａを有すると共に、電力等の動力を用いて地上を自走可能な装置である。ただし、内部空間１０Ａを有する移動体１０は地上を走行するものに限定されない。

移動体１０の内部空間１０Ａは、興味推定システム１を利用する利用者Ｕが滞在する客室を構成する。移動体１０の内部空間１０Ａは、１つの地点に固定されない移動可能な空間（つまりモビリティ空間）である。

移動体１０は、自動運転機能を有し、予め定められたルートに沿った自動走行が可能である。移動体１０は、内部空間１０Ａと移動体１０の外部とを仕切る少なくとも１つの窓を備えており、移動体１０の内部空間１０Ａに搭乗した利用者Ｕは、窓を介して移動体１０の外側の景観を視認できる。ただし、移動体１０は必ずしも自動運転機能を有しなくてもよい。

移動体１０の内部空間１０Ａには、シート２１、カメラ２３及び後述するキャラクタＶが着席するキャラクタ用シート１１以外に、図示されていない、机、照明、空調設備、ディスプレイ、運転制御機器（例えば、タッチパネル等の入力デバイス）等の設備が配置される。

興味推定システム１の処理装置４は、移動体１０の内部に配置される。また、コンテンツは、表示部１２に表示される。本実施形態では、表示部１２は、利用者Ｕが装着したウェアラブルデバイスによって構成されている。

表示部１２を構成するウェアラブルデバイスとしては、例えば、利用者Ｕの頭部に装着されるヘッドマウントディスプレイが使用できる。ヘッドマウントディスプレイは、利用者Ｕの眼を覆うディスプレイと、ジャイロセンサ、加速度センサ等のヘッドトラッキング用のセンサとを有する。

表示部１２としてヘッドマウントディスプレイを用いることで、利用者Ｕの位置及び姿勢を計測できるほか、拡張現実空間への利用者Ｕの没入度を高めることができる。ただし、表示部１２として用いられるウェアラブルデバイスは、ヘッドマウントディスプレイに限定されない。

また、表示部１２は、ウェアラブルデバイスに限定されない。例えば、内部空間１０Ａに配置された平面ディスプレイを表示部１２として用いてもよい。また、内部空間１０Ａを構成する窓にディスプレイ機能を持たせて表示部１２として使用してもよい。

処理装置４は、図示しない撮像部によって撮影した内部空間１０Ａの画像に基づいて、実空間に基づいた拡張現実空間を形成する。また、処理装置４は、予め記憶したキャラクタＶの情報と、キャラクタＶを動かすプログラムとに基づいて、拡張現実空間とこの拡張現実空間に配置されるキャラクタＶとを含む提供画像をリアルタイムに形成する。

処理装置４が形成した提供画像は、リアルタイムに表示部１２に送信される。例えば、移動体１０から見える景観の変化、内部空間１０Ａの照明の変化等は、即時提供画像に反映される。その結果、利用者Ｕは、表示部１２を介して、これらの変化を拡張現実空間においてリアルタイムで認識することができる。

表示部１２に表示されるコンテンツでは、キャラクタＶが利用者Ｕへの会話や身振り等で視線の誘導を行う。処理装置４は、キャラクタＶの視線の誘導方向と、利用者の視線の方向とを用いて、利用者ＵのキャラクタＶへの興味（つまり関心）を推定する。

例えば、利用者Ｕの関心が低い場合は、処理装置４は、キャラクタＶがガイドとして振る舞うコンテンツを提供する。一方、利用者Ｕの関心が高い場合は、処理装置４は、キャラクタＶが恋人のように振る舞うコンテンツを提供する。

また、処理装置４は、利用者Ｕの視線の方向が維持された場面（つまり、移動体１０が走行していた位置、利用者Ｕから視認可能であった景色等）から、利用者Ｕの興味の対象を推定する。

［１−２．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（１ａ）利用者の視線の動きに基づいて、利用者のコンテンツへの興味の高さ（つまり、注視度合い）を推定できる。この結果に基づいて、コンテンツの内容、提供方法等を変更すれば、利用者の興味の向上を図ることができる。また、利用者の視線を推定に用いるため、解析精度に左右される言語情報（つまり、利用者の発言内容）を用いずに興味の高さを推定できる。

（１ｂ）視線の方向が変化する頻度を用いた第２推定によって、利用者のコンテンツへの注視度合いを、視線の方向の維持時間による第１推定のみを用いて判定する場合よりも高い精度で判定することができる。

（１ｃ）視線の方向とコンテンツによる誘導方向との一致時間を用いた第３推定によって、視線誘導が含まれるコンテンツに対する興味の高さを容易かつ的確に判定することができる。

（１ｄ）姿勢遷移量を用いた第４推定によって、視線誘導が含まれるコンテンツへの注視度合いを、視線の方向による第３推定のみを用いて判定する場合よりも高い精度で判定することができる。

（１ｅ）シート２１に配置された加速度センサ２２Ａ，２２Ｂ，２２Ｃによって姿勢遷移量を推定することで、利用者の姿勢の遷移をカメラ等の画像処理を使用した検知よりも的確に検知することができる。また、コンテンツが提供される空間の明るさ、騒音等の環境による検知精度への影響を低減することができる。

［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

（２ａ）上記実施形態の興味推定システム１において、処理装置４は、必ずしも第２推定、第３推定及び第４推定を実施しなくてもよい。処理装置４は、第１推定のみ、第１推定及び第２推定のみ、又は第１推定及び第３推定のみを実施してもよい。

（２ｂ）上記実施形態の興味推定システム１において、検出装置２は、加速度センサ２２Ａ，２２Ｂ，２２Ｃ及びカメラ２３以外の検出機器を有してもよい。つまり、検出装置２は、利用者の姿勢を検出できれば、必ずしもシート２１、加速度センサ２２Ａ，２２Ｂ，２２Ｃ、及びカメラ２３を有しなくてもよい。

（２ｃ）上記実施形態の興味推定システム１において、処理装置４は、必ずしも利用者のコンテンツに対する興味の推定結果に基づいて、コンテンツの内容を制御させなくてもよい。また、処理装置４は、必ずしも利用者のコンテンツに対する興味の推定結果をデータとして記録しなくてもよい。

（２ｄ）上記実施形態の興味推定システム１において、加速度センサの数は、１つ又は２つでもよいし、４つ以上であってもよい。例えば、２つのクッション用加速度センサ２２Ａ，２２Ｂのみがシート２１に配置されてもよい。

（２ｅ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

１…興味推定システム、２…検出装置、４…処理装置、１０…移動体、
１０Ａ…内部空間、１１…キャラクタ用シート、１２…表示部、２１…シート、
２１Ａ…シートクッション、２１Ｂ…シートバック、
２２Ａ…第１クッション用加速度センサ、２２Ｂ…第２クッション用加速度センサ、
２２Ｃ…バック用加速度センサ、２３…カメラ、４１…推定部、４２…記憶部、
４３…制御部。

Claims (5)

1. コンテンツの利用者の姿勢を検出する検出装置と、
   前記検出装置が検出した前記姿勢から前記利用者の視線の方向を取得し、前記視線の方向の維持時間によって、前記コンテンツに対する前記利用者の興味の高さを推定する処理装置と、
   を備える、興味推定システム。
2. 請求項１に記載の興味推定システムであって、
   前記処理装置は、前記視線の方向が変化する頻度によって、前記コンテンツに対する前記利用者の興味の高さを推定する、興味推定システム。
3. 請求項１又は請求項２に記載の興味推定システムであって、
   前記処理装置は、前記コンテンツによる視線誘導の開始から、前記視線の方向が前記視線誘導の方向と一致するまでの時間によって、前記コンテンツに対する前記利用者の興味の高さを推定する、興味推定システム。
4. 請求項３に記載の興味推定システムであって、
   前記処理装置は、前記検出装置が検出した前記姿勢から姿勢遷移量を取得し、前記視線誘導の開始後における前記姿勢遷移量によって、前記コンテンツに対する前記利用者の興味の高さを推定する、興味推定システム。
5. 請求項４に記載の興味推定システムであって、
   前記検出装置は、
   前記コンテンツが提供される空間に配置されたシートと、
   前記シートに配置された少なくとも１つの加速度センサと、
   を有し、
   前記処理装置は、前記少なくとも１つの加速度センサの出力に基づいて、前記シートに着座した前記利用者の前記姿勢遷移量を推定する、興味推定システム。

Images