JP2020062354A - 頭部装着装置、脳活動記録システム - Google Patents

Abstract

【課題】視覚コンテンツを利用する利用者の視線方向測定と脳活動測定とを行う。【解決手段】利用者に装着され、脳活動測定装置及び映像出力装置を含む頭部装着装置であって、前記脳活動測定装置は、第１波長の近赤外線を前記利用者の頭部に照射する第１光源と、前記利用者の所定の脳活動状態を計測するために、前記利用者の頭部で反射される前記第１波長の近赤外線を受光する第１受光部とを有し、前記映像出力装置は、前記利用者に視聴させる映像を出力する表示部と、前記第１波長と異なる第２波長の近赤外線を前記利用者の眼に照射する第２光源と、前記利用者の視線方向を検出するために、前記利用者の眼で反射される前記第２波長の近赤外線を受光する第２受光部とを有する、頭部装着装置とする。【選択図】図１

Description

本発明は、頭部装着装置、脳活動記録システムに関する。

近年、ＶＲ（Virtual Reality）技術の市場拡大が見られる。ＶＲ技術は、現物がなく
とも機能として本質は同じであるような環境を、利用者の感覚（特に視覚）を刺激することにより、仮想的に作り出す技術である。ＶＲ技術は、ゲーム業界だけではなく、製品の設計や、試作品の制作、製品に対する顧客の印象評価などにも使用され始めている。ＶＲ技術を使用することで、従来のような、製品のモックアップを制作することに比べ、コストダウンを図ることができる。ＶＲ技術は、例えば、ヘッドマウントディスプレイ（Head
Mounted Display; HMD）により実現されている。

また、頭部に装着される脳活動測定装置に、近赤外線照射部と近赤外線検出部を設け、脳表面の血流量の変化を検出し、検出されたデータをデータ処理装置で処理することで、脳の活動状態を示す情報を取得する計測システムが提供されている。当該計測システムを利用して、利用者（被験者）が様々な行動を行う際の脳活動状態を計測することが行われている。

国際公開第２０１６／０８４８３４号

利用者が、例えば、ＨＭＤを利用してＶＲ技術の視覚コンテンツを視聴している場合に、利用者の視線方向や利用者の脳活動状態を検出することが求められている。しかし、ＶＲ技術のコンテンツを視聴しているときに、視線方向測定と脳活動測定とを行うことは難しい。視線方向測定及び脳活動測定では、ともに、近赤外線を使用するので、一方の測定のために照射された近赤外線が、他方の測定の検出手段で検出されることにより、誤検出の原因となるからである。

本発明は、視覚コンテンツを利用する利用者の視線方向測定と脳活動測定とを行うことができる技術を提供することを目的とする。

上記課題を解決するために、以下の手段を採用する。
即ち、第１の態様は、
利用者に装着され、脳活動測定装置及び映像出力装置を含む頭部装着装置であって、
前記脳活動測定装置は、
第１波長の近赤外線を前記利用者の頭部に照射する第１光源と、
前記利用者の所定の脳活動状態を計測するために、前記利用者の頭部で反射される前記第１波長の近赤外線を受光する第１受光部とを有し、
前記映像出力装置は、
前記利用者に視聴させる映像を出力する表示部と、
前記第１波長と異なる第２波長の近赤外線を前記利用者の眼に照射する第２光源と、
前記利用者の視線方向を検出するために、前記利用者の眼で反射される前記第２波長の近赤外線を受光する第２受光部とを有する、
頭部装着装置である。

開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。

プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的または個別に実行される処理を含む。プログラムを記述するステップの一部が省略されてもよい。

本発明によれば、視覚コンテンツを利用する利用者の視線方向測定と脳活動測定とを行うことができる。

図１は、実施形態に係る脳活動記録システムの情報処理に関する構成例を示す図である。 図２は、脳活動測定装置の構成例を示す図である。 図３は、映像出力装置の構成例を示す図である。 図４は、利用者端末の構成例を示す図である。 図５は、頭部装着装置１０を情報から見た外観を例示する斜視図である。 図６は、頭部装着装置１０を頭部に装着する側から見た平面図である。 図７は、頭部装着装置１０を側面から見た平面図である。 図８は、実施形態の脳活動記録システムの利用者端末の動作フローの例を示す図である。 図９は、頭部装着装置の構造の変形例１を示す図である。 図１０は、頭部装着装置の構造の変形例２を示す図である。

以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、発明の構成は、開示の実施形態の具体的構成に限定されない。発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

〔実施形態〕
（構成例）
図１は、本実施形態に係る脳活動記録システムの情報処理に関する構成例を示す図である。本実施形態のシステムは、利用者に脳活動測定装置１００と映像出力装置２００とを含む頭部装着装置１０を装着させ、利用者に視聴させる映像を出力し、利用者の視線（視線方向）を検出し、利用者の脳活動状態（例えば、心拍数、脳血流変化量など）を示す計測データ（検出値、計測値ともいう）を検出する。脳活動記録システムでは、利用者が映像出力装置２００から出力される映像を視聴している際の、利用者の脳活動状態を測定することができる。

図１のように、脳活動記録システム１は、利用者端末２０、頭部装着装置１０を有する。頭部装着装置１０と利用者端末２０とは、ネットワークＮ１を介して、通信可能に接続される。頭部装着装置１０は、脳活動測定装置１００、映像出力装置２００、本体部３０
０を含む。ネットワークＮ１は、例えば、Bluetooth（登録商標）、無線ＬＡＮ（Local Area Network）、ＬＴＥ（Long Term Evolution）等の規格にしたがうネットワークである。脳活動測定装置１００が使用するネットワークと、映像出力装置２００が使用するネットワークとが、異なっていてもよい。脳活動測定装置１００と映像出力装置２００とが、ネットワークＮ１を介して、通信可能に接続されてもよい。脳活動測定装置１００は、脳活動状態を計測する計測装置の一例である。頭部装着装置１０は、利用者の頭部に装着され、利用者の頭部に固定される構造を有する。頭部装着装置１０では、脳活動測定装置１００は頭部（額など）に接触されるように装着され、映像出力装置２００は眼を覆うように装着される。頭部装着装置１０の脳活動測定装置１００と映像出力装置２００とは、一体化しても分離してもよい。

図２は、脳活動測定装置の構成例を示す図である。脳活動測定装置１００は、情報処理の側面としては、制御部１０１と、無線通信部１０３と、光源１０４、受光部１０５とを有する。制御部１０１は、脳活動測定装置１００の計測と通信を制御する。制御部１０１は、例えば、ＣＰＵ(Central Processing Unit)、あるいはＤＳＰ（Digital Signal Processor）等のプロセッサとメモリとを有し、メモリ上に実行可能に展開されたコンピュー
タプログラム、ファームウェア等により処理を実行する。ただし、制御部１０１は、無線通信部１０３、光源１０４、受光部１０５を起動し、各構成要素との連携処理を実行する専用のハードウェア回路、ＦＰＧＡ（Field Programmable Gate Array）等であってもよ
い。また、制御部１０１は、ＣＰＵ、ＤＳＰ、専用のハードウェア回路等が混在したものであってもよい。

無線通信部１０３は、所定のインターフェースによって、制御部１０１および光源１０４、受光部１０５と接続される。ただし、無線通信部１０３は、制御部１０１を介して、受光部１０５からデータを取得する構成であってもよい。無線通信部１０３は、ネットワークＮ１を介して、利用者端末２０と通信する。無線通信部１０３は、転送手段の一例である。ただし、脳活動記録システム１において、無線通信部１０３の無線インターフェースの規格に限定はない。

ネットワークＮ１での通信時、通信ヘッダのヘッダ部分、あるいは、通信データ中の利用者データ部分（ペイロード部分）に、脳活動測定装置１００を識別する識別子を埋め込んで、利用者端末２０が利用者（被験者）を識別できるようにする。

また、脳活動記録システム１において、無線通信部１０３に代えて、あるいは、無線通信部１０３とともに有線で通信を行う通信部を設けてもよい。すなわち、脳活動測定装置１００と利用者端末２０とが有線通信のインターフェースで接続されてもよい。この場合の有線通信のインターフェースに限定はなく、脳活動記録システム１の用途に応じてＵＳＢ（Universal Serial Bus）、ＰＣＩ Ｅｘｐｒｅｓｓ（登録商標）等の各種インターフェースを使用できる。

光源１０４は、赤外線を頭部に照射する。受光部１０５は、光源１０４から頭部に照射され、脳の大脳皮質付近で一部吸収されて散乱された近赤外線を受光し、電気信号に変換する。脳の大脳皮質は、例えば、脳の活動状態に応じて、血流量が異なる。その結果、大脳皮質の各部において、血液中の酸素と結合したヘモグロビンの量と、酸素と結合していないヘモグロビンの量が変化する。ヘモグロビンの量の変化、酸素量の変化等に起因して、大脳皮質付近での近赤外線の吸収特性、あるいは、散乱特性が変化する。受光部１０５は、このような大脳皮質付近の血流の状態に応じた近赤外線吸収率の変化あるいは透過率の変化により光量が変化する近赤外線を電気信号に変換して出力する。受光部１０５は、検出部の一例である。受光部１０５で検出される情報により、脳血流変化量、脈拍数を算出することができる。脈拍数は、心拍数に相当する。

光源１０４は、例えば、近赤外線を照射する近赤外線光源を含む。近赤外線光源は、例えば、ＬＥＤ（Light Emitting Diodes）、赤外線ランプ等である。ここで使用される近
赤外線の波長は、例えば、８１０ｎｍである。

受光部１０５は、近赤外線を受光して電気信号に変換する。受光部１０５は、フォトダイオード、フォトトランジスタ等の光電素子と、増幅器と、ＡＤ（Analog Digital）コンバータとを含む。なお、光源１０４と受光部１０５とが対にして設けられなくてもよい。例えば、１つの光源１０４に対して、複数の受光部１０５が設けられてもよい。また、複数の光源１０４が設けられてもよい。受光部１０５は、光源１０４で使用する波長の近赤外線を通し、光源２０５で使用する波長の近赤外線を通さない（遮断する）フィルタを含んでもよい。当該フィルタにより、光源２０５からの近赤外線によるノイズを抑制することができる。

図３は、映像出力装置の構成例を示す図である。映像出力装置２００は、情報処理の側面としては、制御部２０１と、無線通信部２０３と、表示部２０４と、光源２０５と、受光部２０６とを有する。制御部２０１は、映像出力装置２００における映像の出力、視線方向の検出（推定）とを制御する。

映像出力装置２００は、利用者端末２０などから送信されて無線通信部２０３によって受信される映像信号に基づいて、表示部２０４に映像（視覚コンテンツ）を表示する。映像出力装置２００は、ゲーム機、ＰＣ（Personal Computer）、タブレット端末、スマー
トフォン、テレビ、ビデオプレイヤ等から出力される映像を表示可能な装置である。

制御部２０１は、例えば、ＣＰＵ(Central Processing Unit)、あるいはＤＳＰ（Digital Signal Processor）等のプロセッサとメモリとを有し、メモリ上に実行可能に展開さ
れたコンピュータプログラム、ファームウェア等により処理を実行する。メモリは、揮発性メモリと不揮発性メモリを含んでよい。ただし、制御部２０１は、無線通信部２０３、表示部２０４、光源２０５、受光部２０６を起動し、各構成要素との連携処理を実行する専用のハードウェア回路、ＦＰＧＡ（Field Programmable Gate Array）等であってもよ
い。また、制御部２０１は、ＣＰＵ、ＤＳＰ、専用のハードウェア回路等が混在したものであってもよい。

無線通信部２０３は、所定のインターフェースによって、制御部２０１、表示部２０４、光源２０５、受光部２０６と接続される。ただし、無線通信部２０３は、制御部２０１を介して、受光部２０６からデータを取得する構成であってもよい。無線通信部２０３は、ネットワークＮ１を介して、利用者端末２０と通信する。無線通信部２０３は、転送手段の一例である。ただし、脳活動記録システム１において、無線通信部２０３の無線インターフェースの規格に限定はない。

ネットワークＮ１での通信時、通信ヘッダのヘッダ部分、あるいは、通信データ中の利用者データ部分（ペイロード部分）に、映像出力装置２００を識別する識別子を埋め込んで、利用者端末２０が利用者（被験者）を識別できるようにする。

また、脳活動記録システム１において、無線通信部２０３に代えて、あるいは、無線通信部２０３とともに有線で通信を行う通信部を設けてもよい。すなわち、映像出力装置２００と利用者端末２０とが有線通信のインターフェースで接続されてもよい。この場合の有線通信のインターフェースに限定はなく、脳活動記録システム１の用途に応じてＵＳＢ（Universal Serial Bus）、ＰＣＩ Ｅｘｐｒｅｓｓ（登録商標）等の各種インターフェースを使用できる。

表示部２０４は、画像表示素子２０４ａ（図７参照）、レンズ２０４ｂ（図５等参照）を含む。画像表示素子２０４ａは、利用者に提示する画像（映像）を表示する。画像表示素子が表示する画像は、制御部２０１によって生成される。画像表示素子は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence Display）等によって実現される。

レンズ２０４ｂは、利用者が頭部装着装置１０を装着したときに、利用者の眼に対向する位置となるように配置される。レンズ２０４ｂは、画像表示素子２０４ａからの光を、集光し、利用者の眼に導く。レンズ２０４ｂは、複数のレンズを組み合わせたレンズ群であってもよい。レンズ２０４ｂの周囲には、複数の光源２０５が備えられている。図５の例では、レンズ２０４ｂの周囲に４つの光源２０５が備えられている。

光源２０５は、赤外線を眼球に照射する。受光部２０６は、光源２０５から眼球に照射され、眼球の虹彩付近で反射された近赤外線を受光し、電気信号に変換する。眼球の虹彩部分は、近赤外光を反射し（反射率が高い）、眼球の虹彩の内側は、近赤外光を吸収する（反射率が低い）。受光部２０６は、眼球の黒目の位置を、眼球の虹彩と虹彩の内側とによる近赤外光の反射率の差によりにより判別し、眼球の黒目の位置を検出する。受光部２０６は、検出部の一例である。制御部２０１や利用者端末２０は、受光部２０６で検出される情報（眼球の黒目の位置）により、視線方向を算出することができる。また、制御部２０１や利用者端末２０は、左右の眼球の視線方向に基づいて、利用者が見ているものまでの距離を算出することができる。視線方向の算出には、ここで説明した方法以外の他の方法が使用されてもよい。視線方向の算出には、周知のアイトラッキング技術が使用され得る。視線方向は、表示部２０４の表示領域のいずれかの位置を基準とした座標値（ｘ，ｙ）として表されてもよい。

光源２０５は、例えば、近赤外線を照射する近赤外線光源を含む。近赤外線光源は、例えば、ＬＥＤ（Light Emitting Diodes）、赤外線ランプ等である。ここで使用される近
赤外線の波長は、例えば、８５０ｎｍである。ここで使用される光源２０５の近赤外線の波長は、光源１０４の近赤外線の波長と異なる。異なる波長を使用することで、受光部１０５での誤検出を抑制することができる。光源２０５は、複数設けてもよいし、また眼球毎に設けられてもよい。

受光部２０６は、近赤外線を受光して電気信号に変換する。受光部２０６は、近赤外線を画像で取得する赤外線カメラを含む。赤外線カメラの固体撮像素子としては、ＣＣＤ（Charge-coupled device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を利用できる。受光部２０６は、眼球毎に設けられてもよい。受光部２０６は、利用者の眼に向けられる。

脳活動測定装置１００と映像出力装置２００とが一体化して１つの装置として、１つの制御部により、脳活動の測定、映像の出力、視線方向の検出等を制御し、１つの無線通信部により、利用者端末２０等との通信を行ってもよい。

図４は、利用者端末の構成例を示す図である。利用者端末２０は、脳活動測定装置１０００から、利用者の大脳皮質付近での近赤外線の吸収率または透過率の変化データを取得し、利用者の脳の活動状態に関連する様々な情報処理を含むサービスを提供する。また、利用者端末２０は、映像出力装置２００に映像を表示するため情報を含む映像信号を出力し、映像出力装置２００から利用者の視線方向の情報を含む視線信号を受信する。映像出力装置２００から映像を出力している際に、利用者の視線方向と、利用者の脳活動状態を取得することで、利用者が映像を視聴している際の視線方向と脳活動状態を把握すること
ができる。利用者端末２０は、情報処理装置（コンピュータ）の一例である。利用者端末２０は、ＰＣ（Personal Computer）、スマートフォン、携帯電話、タブレット型端末、
カーナビゲーション装置、ＰＤＡ（Personal Digital Assistant）、ゲーム機のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。

利用者端末２０は、ＣＰＵ２１と、メモリ２２と、無線通信部２３と、公衆回線通信部２４と、表示部２５と、操作部２６と、出力部２７と、撮像部２８と、測位部２９と、物理センサ部２Ａを有する。ＣＰＵ２１は、メモリ２２に実行可能に展開されたコンピュータプログラムにより、利用者端末２０としての処理を実行する。利用者端末２０としての処理とは、例えば、上記利用者の脳の活動状態に関連する様々な情報処理を含むサービスである。このようなコンピュータプログラムを実行するＣＰＵ２１は、制御部の一例である。

メモリ２２は、ＣＰＵ２１で実行されるコンピュータプログラム、あるいは、ＣＰＵ２１が処理するデータを記憶する。メモリ２２は、揮発性メモリと不揮発性メモリを含んでよい。メモリ２２は、記憶部の一例である。メモリ２２には、画像データを文字化するためのプログラム、測定結果等を表示するためのプログラム、データ等が格納される。

無線通信部２３は、脳活動測定装置１００の無線通信部１０３と同様である。無線通信部２３は、受信手段の一例である。また、利用者端末２０は、無線通信部１０３に代えて、あるいは、無線通信部１０３とともに有線で通信を行う通信部を有してもよい。利用者端末２０は、無線通信部２３を介して、脳活動測定装置１００のセンサ１１５、１２５で検出された情報を取得する。利用者端末２０は、脳活動測定装置１００から取得した情報に基づいて、利用者の心拍数、脳血流変化量等を算出する。

公衆回線通信部２４は、上位のネットワーク等を介して、サーバ等の他の情報処理装置等と通信する。上位のネットワークは、公衆回線網等である。公衆回線通信部２４は、通信部の一例である。

表示部２５は、例えば、液晶ディスプレイ、ＥＬ（Electro-Luminescence）パネル等であり、ＣＰＵ２１からの出力情報を表示する。操作部２６は、例えば、押しボタン、タッチパネル等であり、利用者の操作を受け付ける。出力部２７は、例えば、振動を出力するバイブレータ、音響あるいは音声を出力するスピーカ等である。撮像部２８は、例えば、固体撮像素子を含むカメラである。固体撮像素子としては、ＣＣＤ（Charge-coupled device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を利用できる。

測位部２９は、例えば、ＧＰＳ（Global Positioning System）受信機であり、ＧＰＳ
衛星からの電波を受信し、現在位置（緯度、経度等）、時刻等を算出する。ただし、測位部２９としては、ＧＰＳ受信機を有するものに限定される訳ではない。例えば、公衆回線通信部２４が携帯電話網である場合には、測位部２９は、携帯電話基地局からの距離を基に測位を実行してもよい。

物理センサ部２Ａは、例えば、加速度センサ、あるいは角加速度センサ等である。ただし、物理センサ部２Ａは、温度センサ、湿度センサ、気圧センサ、または水圧センサであってもよい。

（構造例）
図５から図７は、頭部装着装置１０の構造例を示す図である。図５は、頭部装着装置１
０を情報から見た外観を例示する斜視図である。図６は、頭部装着装置１０を頭部に装着する側から見た平面図である。図７は、頭部装着装置１０を側面から見た平面図である。各図に示すように、頭部装着装置１０を利用者の頭部に装着したときの正面側から頭部側の方向をＸ軸方向、上下方向をＺ軸方向、Ｘ軸方向及びＺ軸方向に直交する方向をＹ軸方向（頭部装着装置１０を装着した利用者の左側から右側への方向）とする。

頭部装着装置１０は、図５等のように、本体部３００、脳活動測定装置１００、映像出力装置２００を含む。本体部３００は、筐体３１０、遮光部３２０を含む。筐体は、ハウジングともいう。

図５などのように、筐体３１０は、前面３１１と、左側面３１２と、上面３１３と、右側面３１４と、下面３１５とを有する。前面３１１は、利用者が頭部装着装置１０を装着した場合の正面側の面である。図５における一番奥の面である。左側面３１２は、頭部装着装置１０を装着した利用者から見て前面３１１の左側の辺から利用者に向かって前面３１１に対してほぼ直角に立ち上がる面である。上面３１３は、前面３１１の上側の辺から利用者に向かって前面３１１に対してほぼ直角に立ち上がる面である。右側面３１４は、頭部装着装置１０を装着した利用者から見て前面３１１の右側の辺から利用者に向かって前面３１１に対してほぼ直角に立ち上がる面である。下面３１５は、前面３１１の下側の辺から利用者に向かって前面３１１に対してほぼ直角に立ち上がる面である。

左側面３１２の利用者側の辺３１２ａ、上面３１３の利用者側の辺３１３ａ、右側面３１４の利用者側の辺３１４ａ、下面３１５の利用者側の辺３１５ａは、筐体３１０の開口部を形成する。上面３１３の利用者側の辺３１３ａ、下面３１５の利用者側の辺３１５ａは、利用者の頭部の形状に合わせた曲線となっている。

筐体３１０の開口部の内側には、遮光部３２０が設けられる。遮光部３２０は、頭部装着装置１０が利用者の頭部に装着された際、利用者の頭部に密着し、頭部装着装置１０の筐体３１０内に光が入らないようにする。光が筐体３１０内に入ると、表示部２０４による映像を視認しにくくなるため、光が筐体３１０内に入らないことが望ましい。頭部装着装置１０は、利用者の眼の位置が遮光部３２０の内側になるように、利用者の頭部に装着される。遮光部３２０には、柔らかい素材（ウレタン等の樹脂、ゴム等）が使用される。遮光部３２０は、利用者の頭部に接触すると利用者の頭部の形状に合わせて変形し、筐体３１０の内部（遮光部３２０の内側）に光が入らないようにする。

筐体３１０内では、表示部２０４のレンズ２０４ｂが利用者の左右の眼の位置に合わせて、配置される。また、レンズ２０４ｂの周辺には、１以上の光源２０５が配置される。さらに、レンズ２０４ｂの周辺には、受光部２０６が配置される。受光部２０６は、利用者の眼球の方に向けられる。また、レンズ２０４ｂの上方には、脳活動測定装置１００が設置される。脳活動測定装置１００は、利用者の頭部の額の位置に対応する位置に、設置される。脳活動測定装置１００は、頭部装着装置１０を装着された利用者の頭部の額に、光源１０４及び受光部１０５が接触するように、設置される。頭部装着装置１０には、複数の脳活動測定装置１００が配置されてもよい。脳活動測定装置１００、映像出力装置２００の各構成要素は、筐体３１０内において、所定の治具等により所定の位置に固定される。

筐体３１０の左側面３１２、右側面３１４には、それぞれ、図示しないベルトの一端が取り付けられ、当該ベルトを利用者の頭部に巻きつけることにより、頭部装着装置１０を利用者の頭部に固定する。また、さらに、上面３１３にも図示しないベルトの一端を取り付け、利用者の頭頂部から後頭部に当該ベルトを伸ばし、利用者の後頭部で、先のベルトと取り付けるようにしてもよい。

〈動作例〉
本実施形態の脳活動記録システムの利用者端末の動作例について説明する。脳活動記録システム１は、利用者に装着された頭部装着装置１０の映像出力装置２００で映像を出力するとともに、頭部装着装置１０の脳活動測定装置１００で利用者の脳活動（脳血流量）を記録し、映像出力装置２００で利用者の視線方向を記録する。脳活動記録システム１は、脳活動状態と視線方向とを、測定された日時とともに記録する。脳活動記録システム１は、脳活動の測定結果と、視線方向の測定結果（算出結果）とを対応付けて出力する。

図８は、本実施形態の脳活動記録システムの利用者端末の動作フローの例を示す図である。本実施形態の脳活動記録システム１の頭部装着装置１０は、利用者（被験者）の頭部に装着されており、利用者に対する映像の出力、利用者の視線方向の検出、脳活動状態（脳血流変化量、脈拍数）の測定をできる状態である。脳活動測定装置１００、映像出力装置２００は、利用者端末２０に接続されている。利用者端末２０は、当該動作フローにおいて、利用者の脳活動状態、利用者の視線方向を取得できる状態にある。

Ｓ１０１では、利用者端末２０は、映像出力装置２００に、映像を表示するための映像信号を送信し、当該映像信号に基づく映像を出力することを指示する。映像出力装置２００の制御部２０１は、無線通信部２０３を介して、利用者端末２０から映像信号を受信すると、表示部２０４に映像信号に基づく映像を表示させる。表示部２０４は、画像表示素子２０４ａ、レンズ２０４ｂを使用して、利用者に向けて映像を表示する。頭部装着装置を装着する利用者は、表示される映像を視聴することができる。

Ｓ１０２では、利用者端末２０は、脳活動測定装置１００に、利用者の脳活動状態の測定を開始することを指示する。測定開始の指示をされた脳活動測定装置１００は、脳活動状態の測定を開始する。脳活動測定装置１００は、脳活動状態を測定した日時とともに、利用者の脳活動状態を記録する。脳活動測定装置１００は、利用者の脳活動状態の測定結果（計測値）を、順次、利用者端末２０に送信する。脳活動状態の測定結果には、脳活動状態を測定した日時の情報が含まれる。

Ｓ１０３では、利用者端末２０は、映像出力装置２００に、光源２０５、受光部２０６による視線方向の検出を開始することを指示する。検出開始を指示された映像出力装置２００は、光源２０５より利用者の眼に向けて近赤外線を照射し、受光部２０６による撮影を開始する。受光部２０６による撮影は、所定時間ごとの静止画の撮影であっても、動画の撮影であってもよい。映像出力装置２００は、撮影した日時とともに、撮影した画像（静止画又は動画）を記録する。映像出力装置２００は、撮影した画像（利用者画像）の画像データを、順次、利用者端末２０に送信する。画像データには、当該画像を撮影した日時の情報が含まれる。また、映像出力装置２００は、撮影した画像から利用者の視線方向を算出し、算出した視線方向のデータを撮影した日時とともに、記録してもよい。映像出力装置２００は、算出した視線方向のデータを、順次、利用者端末２０に送信する。視線方向のデータには、視線方向の算出に使用された画像を撮影した日時の情報が含まれる。撮影された画像の画像データ、または、視線方向のデータを、視線データともいう。

Ｓ１０４では、利用者端末２０は、脳活動測定装置１００から、脳活動状態（脳血流変化量、脈拍数）の測定結果を受信する。利用者端末２０は、受信した脳活動状態の測定結果を、メモリ２２に格納する。

Ｓ１０５では、利用者端末２０は、映像出力装置２００から、視線方向のデータ（視線データ）を受信する。利用者端末２０は、受信した視線データを、メモリ２２に格納する。視線データが画像データを含む場合、利用者端末２０は、画像データの画像から利用者
の視線方向を算出し、算出した視線方向のデータを、画像を撮影した日時ともに、メモリ２２に格納する。視線データが視線方向のデータを含む場合、視線方向のデータと、視線方向の算出に使用された画像を撮影した日時の情報とを、メモリ２２に格納する。

Ｓ１０６では、利用者端末２０は、測定された脳活動状態の計測値と、Ｓ１０５で取得された視線方向の情報とを、脳活動状態が測定された日時と、視線方向を算出する際に使用された画像が撮影された日時とで対応づけて、出力する。利用者端末２０は、例えば、測定された脳活動状態の計測値と、Ｓ１０５で取得された利用者の視線方向の情報とを、脳活動状態が測定された日時（物体を含む画像が撮影された日時）で対応づけて、メモリ２２に格納することにより出力する。また、利用者端末２０は、利用者の脳活動状態の計測値及び視線方向と対応づけて、表示部２５のディスプレイに表示することにより出力してもよい。利用者端末２０は、利用者の脳活動状態の計測値及び視線方向を日時と対応づけて、他の装置に送信することにより出力してもよい。利用者端末２０は、当該出力を所定時間ごとにまとめて行うようにしてもよい。また、利用者端末２０は、利用者の脳活動状態、視線方向とともに、利用者が視聴していた映像の情報とを対応付けて出力してもよい。

Ｓ１０７では、利用者端末２０は、利用者などによる操作部２６への操作によって、当該動作フローの処理の終了の操作がされたか否かを判定する。終了の操作がされた場合（Ｓ１０７；ＹＥＳ）、処理が終了する。終了の操作がされていない場合（Ｓ１０７；ＮＯ）、処理がＳ１０４に戻る。

これにより、利用者端末２０は、利用者の脳活動状態の計測値と利用者の視線方向とを対応づけて出力することができる。

利用者端末２０は、利用者の脳活動状態の計測値と、利用者の視線方向とを、映像出力装置２００が出力した映像とともに、メモリ２２に格納してもよい。また、利用者端末２０は、Ｓ１０６の出力の際に、映像出力装置２００が出力した映像も合わせて出力してもよい。脳活動状態の解析の際、利用者が視聴していた映像は、有用な情報となる。

（その他）
上記の例では、脳活動測定装置１００の光源１０４が照射する近赤外線の波長（８１０ｎｍ）と、映像出力装置２００の光源２０５が照射する近赤外線の波長（８５０ｎｍ）とを、異なる周波数にすることで、脳活動測定装置１００の受光部１０５での誤検出を抑制した。

ここでは、脳活動測定装置１００の光源１０４が照射する際に、映像出力装置２００の光源２０５による照射を停止するようにする。また、脳活動測定装置１００の受光部１０５は、光源１０４が照射するときにのみ、近赤外線を受光するものとする。これにより、受光部１０５で、映像出力装置２００の光源２０５からの近赤外線によるノイズを抑制することができ、より正確に利用者の脳血流量を測定することができる。また、このとき、光源１０４と光源２０５とで、同じ波長の近赤外線を照射してもよい。

また、光源１０４と光源２０５とで、同じ波長の近赤外線を照射する場合に、光源１０４の近赤外線の位相と、光源２０５の近赤外線の位相とを１８０度ずらしてもよい。このとき、受光部１０５で光源１０４の近赤外線と同位相の近赤外線を受光することで、光源２０５からの近赤外線によるノイズを抑制することができる。

図９は、頭部装着装置の構造の変形例１を示す図である。図９は、頭部装着装置１０を頭部に装着する側から見た平面図である。図９の例では、頭部装着装置１０を頭部に装着
する側から見たとき、本体部３００の遮光部３２０の内側に、映像出力装置２００のレンズ２０４ｂ、光源２０５、受光部２０６が配置され、遮光部３２０の外側に、脳活動測定装置１００が配置される。映像出力装置２００の光源２０５と、脳活動測定装置１００の受光部１０５との間に、遮光部３２０が存在することで、光源２０５からの近赤外線が受光部１０５で受光されることを抑制することができる。

図１０は、頭部装着装置の構造の変形例２を示す図である。図１０は、頭部装着装置１０を頭部に装着する側から見た平面図である。図１０の例では、頭部装着装置１０を頭部に装着する側から見たとき、本体部３００の遮光部３２０の内側に、映像出力装置２００のレンズ２０４ｂ、光源２０５、受光部２０６が配置され、遮光部３２０内に、脳活動測定装置１００が配置される。脳活動測定装置１００の受光部１０５の周囲に、遮光部３２０が存在することで、光源２０５からの近赤外線が受光部１０５で受光されることを抑制することができる。

（実施形態の作用、効果）
脳活動記録システム１は、利用者端末２０、利用者の頭部に装着される頭部装着装置１０を有する。頭部装着装置１０は、脳活動測定装置１００と映像出力装置２００とを含む。脳活動測定装置１００は、近赤外線を使用して利用者の脳血流量を測定する。映像出力装置２００は、近赤外線を使用して利用者の視線方向を検出する。脳活動測定装置１００の光源１０４で使用する近赤外線の波長と、映像出力装置２００の光源２０５で使用する近赤外線の波長とを、異なる波長にすることで、受光部１０５における光源２０５からの近赤外線によるノイズを抑制することができる。

また、光源１０４と光源２０５とで同じ波長を使用する場合でも、光源１０４が照射している時間に、光源２０５が照射することを停止することで、受光部１０５における光源２０５からの近赤外線によるノイズを抑制することができる。また、光源１０４が照射する近赤外線の位相と、光源２０５が照射する近赤外線の位相とを１８０度ずらし、受光部１０５で光源１０４の近赤外線と同位相の近赤外線を受光することで、受光部１０５における光源２０５からの近赤外線によるノイズを抑制することができる。

脳活動測定装置１００は、光源２０５からの近赤外線を受光することを抑制することで、より正確に利用者の脳血流量を測定することができる。

上記の構成は、可能な限りこれらを組み合わせて実施され得る。

〈コンピュータ読み取り可能な記録媒体〉
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体内には、ＣＰＵ、メモリ等のコンピュータを構成する要素を設け、そのＣＰＵにプログラムを実行させてもよい。

また、このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ＤＡＴ、８mmテープ、メモリカード等がある。

また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。

１ ：脳活動記録システム
１０ ：頭部装着装置
１００ ：脳活動測定装置
１０１ ：制御部
１０３ ：無線通信部
１０４ ：光源
１０５ ：受光部
２００ ：映像出力装置
２０１ ：制御部
２０３ ：無線通信部
２０４ ：表示部
２０５ ：光源
２０６ ：受光部
３００ ：本体部
３１０ ：筐体
３２０ ：遮光部
２０ ：利用者端末
２１ ：ＣＰＵ
２２ ：メモリ
２３ ：無線通信部
２４ ：公衆回線通信部
２５ ：表示部
２６ ：操作部
２７ ：出力部
２８ ：撮像部
２９ ：測位部
２Ａ ：物理センサ部

Claims (4)

1. 利用者に装着され、脳活動測定装置及び映像出力装置を含む頭部装着装置であって、
   前記脳活動測定装置は、
   第１波長の近赤外線を前記利用者の頭部に照射する第１光源と、
   前記利用者の所定の脳活動状態を計測するために、前記利用者の頭部で反射される前記第１波長の近赤外線を受光する第１受光部とを有し、
   前記映像出力装置は、
   前記利用者に視聴させる映像を出力する表示部と、
   前記第１波長と異なる第２波長の近赤外線を前記利用者の眼に照射する第２光源と、
   前記利用者の視線方向を検出するために、前記利用者の眼で反射される前記第２波長の近赤外線を受光する第２受光部とを有する、
   頭部装着装置。
2. 前記第１受光部は、前記第１波長の近赤外線を通し、前記第２波長の近赤外線を遮断するフィルタを含む、
   請求項１に記載の頭部装着装置。
3. 利用者に装着され、脳活動測定装置及び映像出力装置を含む頭部装着装置であって、
   前記脳活動測定装置は、
   第１波長の近赤外線を前記利用者の頭部に照射する第１光源と、
   前記利用者の所定の脳活動状態を計測するために、前記利用者の頭部で反射される前記第１波長の近赤外線を受光する第１受光部とを有し、
   前記映像出力装置は、
   前記利用者に視聴させる映像を出力する表示部と、
   前記第１波長の近赤外線を前記利用者の眼に照射する第２光源と、
   前記利用者の視線方向を検出するために、前記利用者の眼で反射される前記第１波長の近赤外線を受光する第２受光部とを有し、
   前記第２光源は、前記第１光源が前記第１波長の近赤外線を照射しているときに、前記第１波長の近赤外線の照射を停止する、
   頭部装着装置。
4. 請求項１から３のいずれか１項に記載された頭部装着装置と、
   前記表示部に表示されていた前記映像と、前記表示部に前記映像が表示されていた際に前記頭部装着装置の前記第１受光部で受光された近赤外線に基づいて計測された前記脳活動状態と、前記表示部に前記映像が表示されていた際に前記映像出力装置の前記第２受光部で受光された近赤外線に基づいて検出される前記視線方向とを対応付けて表示する利用者端末と、
   を有する脳活動記録システム。

Images