JP2019113881A - 頭部装着装置 - Google Patents

Abstract

【課題】コントローラに対する操作をさせることなくユーザーの動きを検出できる頭部装着装置を提供する。【解決手段】ユーザーの頭部に装着される筐体に取り付けられたカメラ等によって撮像された画像を受け入れて、画像から、ユーザーの身体の第１の部位に対応する第１の画像部分を検出する第１検出部４２、検出した第１の画像部分における、所定の特徴量を取得し、画像内の第１の画像部分を含み、所定の特徴量が連続的に変化する領域を特定する領域検出部４３、特定された領域内の画像部分から、第１の部位とは異なるユーザーの身体の第２の部位に対応する第２の画像部分を検出する第２検出部４４を備える。【選択図】図２

Description

本発明は、ユーザーが頭部に装着して使用する頭部装着装置に関する。

ヘッドマウントディスプレイやスマートグラスなどと呼ばれる、ユーザーが頭部に装着して使用するタイプの装置（頭部装着装置）が知られている。このような頭部装着装置は、ユーザーの目の前に画像を結像させることで、その画像をユーザーに提示する。

こうしたヘッドマウントディスプレイ等の頭部装着装置をゲームの映像表示に用いる場合等において、着用したユーザーの手などの動きを検出したい要望があるが、従来、ユーザーの動きは別途コントローラ等からの入力に基づいてしか検出できていなかった。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、コントローラに対する操作をさせることなくユーザーの動きを検出できる頭部装着装置を提供することにある。

本発明に係る頭部装着装置は、ユーザーの頭部に装着される筐体に取り付けられた撮像手段と、前記撮像手段により撮像された画像を受け入れて、当該画像から、ユーザーの身体の第１の部位に対応する第１の画像部分を検出し、当該検出した第１の画像部分における、所定の特徴量を取得する第１検出手段と、前記画像内の前記第１の画像部分を含み、前記所定の特徴量が連続的に変化する領域を特定する領域特定手段と、前記特定された領域内の画像部分から、前記第１の部位とは異なるユーザーの身体の第２の部位に対応する第２の画像部分を検出する第２検出手段と、を含むこととしたものである。

本発明の実施の形態に係る映像表示システムの全体概要図である。 本発明の実施の形態に係る頭部装着装置の機能的構成例を示すブロック図である。 本発明の実施の形態に係る頭部装着装置の領域検出部の動作例を表すフローチャート図である。 本発明の実施の形態に係る頭部装着装置の動作概要を示す説明図である。 本発明の実施の形態に係る頭部装着装置におけるユーザーの腕の交差状態を検出する動作例を表す説明図である。 本発明の実施の形態に係る頭部装着装置における首の方向を検出する動作例を表す説明図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。ここでは本発明の実施の形態に係る頭部装着装置は、ヘッドマウントディスプレイであるものとして説明する。もっとも、本実施の形態の頭部装着装置は、ヘッドマウントディスプレイである必要は必ずしもなく、ヘッドフォンや、ヘッドバンド等、ユーザーの頭部に装着されるものであればいかなるものであってもよい。

図１は、本発明の一実施形態に係る頭部装着装置１０を含む情報処理システム１の全体概要図である。本実施の形態の情報処理システム１は、頭部装着装置１０と、映像供給装置２０と、中継装置３０とを含んで構成されている。

本実施の形態の一例において、頭部装着装置１０は、ユーザーが頭部に装着して使用する映像表示装置であって、後に説明する中継装置３０から入力される映像信号に応じた映像を表示してユーザーに提示する。本実施形態では、頭部装着装置１０は両目での映像の閲覧に対応しており、ユーザーの右目及び左目それぞれの目の前に互いに独立に映像を表示するものとしてもよい。

この頭部装着装置１０は、映像表示ユニット３１、映像表示処理部３２を収納し、ユーザーの頭部に装着される筐体１１と、この筐体１１の前面（装着時にユーザーの視線方向に相当する方向にある面）に取り付けられた前面カメラ１２と、筐体１１の左右側面にそれぞれ取り付けられた検出カメラ１３Ｌ，１３Ｒと、制御部１４と、通信処理部１５とを含む。

映像表示ユニット３１は例えば左目用映像を表示する表示素子と、右目用映像を表示する表示素子とを含む。この表示素子は例えば液晶ディスプレイや、有機ＥＬ表示パネルでよい。ユーザーは、頭部装着装置１０を装着した状態で、左目用映像を左目で、右目用映像を右目で、それぞれ見ることになる。

この映像表示ユニット３１は、映像表示処理部３２から供給される信号に従って左目用の表示素子と、右目用の表示素子とにそれぞれ独立に映像を表示する。

映像表示処理部３２は、通信処理部１５を介して中継装置３０から入力される映像信号に基づいて、映像表示ユニット３１に対して映像の信号を出力する回路を有している。

前面カメラ１２は、頭部装着装置１０の筐体１１前面（装着時にユーザーの視線方向に相当する方向にある面）に配され、ユーザーの前方の画像を撮像し、撮像して得られた画像を制御部１４に出力する。

検出カメラ１３Ｌ，１３Ｒ（以下、区別の必要がない場合はそれぞれを検出カメラ１３と表記する）は、例えば筐体１１の左右側面にそれぞれ取り付けられる。これら検出カメラ１３Ｌ，１３Ｒはそれぞれ複数（例えば一対）の撮像素子を含み、これら複数の撮像素子は互いに距離を置いて配される。検出カメラ１３は、それぞれの撮像素子によりユーザーの側方かつ下方の視野範囲の画像を撮像し、撮像して得られた各画像データを制御部１４に出力する。本実施の形態のある例では、この検出カメラ１３が本発明の撮像手段を実現する。

制御部１４は、ＣＰＵ等のプログラム制御デバイスと、プログラムを保持する記憶デバイスとを含んで構成される。このプログラムは、コンピュータ可読かつ非一時的な媒体（ＤＶＤ−ＲＯＭ等）に格納されて提供され、この記憶デバイスに格納されたものであってもよい。この制御部１４は、当該プログラムを実行することで、次のように動作する。検出カメラ１３にて撮像された画像を受け入れて、当該画像から、ユーザーの身体の第１の部位に対応する第１の画像部分を検出する。またこの制御部１４は、当該検出した第１の画像部分における、所定の特徴量（後述する）を取得する。

また制御部１４は、検出カメラ１３にて撮像された画像データ内で、上記第１の画像部分を含み、所定の特徴量が連続的に変化する領域を特定する。ここで連続的変化とは、注目している位置の特徴量と、それに隣接する位置での特徴量との差が予め定めたしきい値を下回ることを意味し、つまり制御部１４は、注目している位置の特徴量と、それに隣接する位置での特徴量との差が予め定めたしきい値を下回るとき、注目している位置と隣接する位置とで特徴量が連続していると判断することとなる。

制御部１４は、さらに、上記特定した領域内の画像部分から、第１の部位とは異なるユーザーの身体の第２の部位に対応する第２の画像部分を検出する処理を行う。制御部１４は、当該検出した第２の画像部分の位置を特定するデータを生成して出力する。この制御部１４の詳しい動作は後に説明する。

通信処理部１５は、中継装置３０との間で種々のデータの通信を行うためのインタフェースである。具体的には頭部装着装置１０は、中継装置３０との間で無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によりデータの送受信を行う。この場合、通信処理部１５は通信用のアンテナ、及び通信モジュールを含み、制御部１４から入力される指示に従って、前方カメラ１２で撮像された画像のデータや、制御部１４が出力するデータ等を中継装置３０宛に送出する。またこの通信処理部１５は中継装置３０から映像信号のデータ等を受信すると、当該データを制御部１４に出力する等の処理を行っている。この例では、制御部１４が、映像表示処理部３２に対して中継装置３０から受信した映像信号を出力することで、映像がユーザーに提示されることとなる。

映像供給装置２０は、頭部装着装置１０がユーザーに提示する映像を供給する情報処理装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。本実施の形態の一例では、この映像供給装置２０は、中継装置３０を介して頭部装着装置１０からユーザーの身体の第２の部位の位置を特定するデータを受けて、当該データに基づく処理を行う。一例として第２の部位がユーザーの手の位置である場合、映像供給装置２０は、ユーザーの手が頭部装着装置１０に出力している映像のどの部分に対応する位置にあるかを判断し、映像中の物体に触れたかのような映像を生成して頭部装着装置１０に出力するなど、仮想現実を演出する処理等を実行する。

中継装置３０は、映像供給装置２０から供給される映像のデータを受け付けて、受け付けたデータに応じた映像信号を頭部装着装置１０に対して出力する。中継装置３０は、有線又は無線のいずれかにより頭部装着装置１０と接続される。本実施の形態の一例では、この中継装置３０は、映像供給装置２０が供給する映像データを、頭部装着装置１０で表示可能な映像信号に変換して出力するビデオプロセッサを備えており、当該変換後の映像信号を頭部装着装置１０に出力する。また本実施の形態の例に係る中継装置３０は、頭部装着装置１０から受信したデータを映像供給装置２０に出力する。

次に、本実施の形態の頭部装着装置１０の制御部１４による動作について説明する。本実施の形態の一例では、この制御部１４は、機能的には、図２に例示するように、特徴量演算部４１と、第１検出部４２と、領域検出部４３と、第２検出部４４と、位置データ生成部４５とを含んで構成される。

特徴量演算部４１は、画像データの入力を受けて、当該画像データの各部分（例えば画像データを構成する各画素）ごとに、所定の特徴量を演算する。本実施の形態の一例では、この特徴量は、上記画像データの部分ごとに、当該部分内に撮像されている対象物と、撮像手段である検出カメラ１３との距離に応じて変化する特徴量である。

この場合、特徴量演算部４１は、例えば検出カメラ１３が出力する各画像データについて、当該画像データと同じサイズのマップ画像データであって、元の画像データ内の各部分に対応する位置の画素の値を、元の画像データ内の当該部分に撮像された対象物までの距離に基づいて定めた、いわゆるデプス・マップ（深度マップ）を生成して出力するものとする。このような２つ以上の画像データから深度マップを作成する処理の具体的方法は既に知られているので、ここでの詳しい説明を省略する。

第１検出部４２は、検出カメラ１３Ｌ，１３Ｒにてそれぞれ撮像された画像データを受け入れ、各画像データのうちから、ユーザーの身体の第１の部位に対応する第１の画像部分を検出する。具体的に、第１の部位は、検出カメラ１３から最も近いユーザーの身体部分、例えば肩とする。

この例では第１検出部４２は、検出カメラ１３Ｌ，１３Ｒから得られた各画像データを特徴量演算部４１に出力して、検出カメラ１３Ｌ，１３Ｒのそれぞれが撮像した画像データについて、それぞれ対応するデプス・マップデータを得る。

そして第１検出部４２は、当該デプス・マップデータを用いて、検出カメラ１３Ｌ，１３Ｒのそれぞれが撮像した画像データ内で最も近接した位置にある所定形状の部分（肩であれば外接形状が実質的にＵ字状となる舌片状部分）をユーザーの身体の第１の部位として検出する。

また第１検出部４２は、検出カメラ１３Ｌ，１３Ｒから得られた各画像データのうち、当該検出した第１の部位に相当する画素部分を第１の画像部分として、当該第１の画像部分に含まれる画素を特定する情報のセットを出力する。

領域検出部４３は、特徴量演算部４１が出力したデプス・マップを参照して、第１検出部４２が出力した情報で特定される画素を含み、上記所定の特徴量が連続的に変化する領域を特定する。

具体的に領域検出部４３は、図３に例示する処理を実行する。すなわち領域検出部４３は、特徴量演算部４１が出力したデプス・マップ上で、第１検出部４２が出力した情報で特定される画素に対応する部分を注目部分として特定する（Ｓ１１）。領域検出部４３は、この注目部分に含まれる画素の特徴量（ここでは検出カメラ１３からの距離の情報）を参照し、注目部分に隣接する画素のうち、過去に注目部分として特定された部分に含まれた画素ではなく、かつ、当該画素に係る特徴量と注目部分に含まれるいずれかの画素の特徴量との差が予め定めたしきい値を下回る画素を検索する（Ｓ１２）。

領域検出部４３は、処理Ｓ１２における検索により見出された画素があるか否かを調べ（Ｓ１３）、見出された画素があれば（Ｓ１３：Yes）、当該見出された画素（複数ある場合は見出されたすべての画素）からなる部分を注目部分として（Ｓ１４）、処理Ｓ１１に戻って処理を続ける。つまり領域検出部４３は、注目部分に隣接し、特徴量が連続的に変化していると評価できる画素を新たな注目部分として選択する処理を繰り返す。これにより、当初注目部分として選択された画素部分（第１の領域に相当する部分）を含み、特徴量が連続的変化している領域を拡大しつつ特定していく。

また、処理Ｓ１３において、検索の結果、見出された画素がないと判断されると（Ｓ１３：No）、領域検出部４３は、それまでに注目部分として選択された画像部分の領域を、特徴量が連続的に変化する領域として特定し、当該特定した領域を表す情報を出力する（Ｓ１５）。ここで領域を表す情報は、領域内に含まれる画素を特定する情報（各画素の座標情報）のセットでよい。

第２検出部４４は、領域検出部４３が出力する情報で特定される領域内の画像部分から、第１の部位とは異なるユーザーの身体の第２の部位に対応する第２の画像部分を検出する。

例えばこの第２検出部４４は、領域検出部４３が出力する情報で特定された領域の長さ方向の端部を、第２の部位に相当する第２の画像部分として検出する。具体的に、第２検出部４４は、領域検出部４３が出力する情報で特定された領域に外接する矩形を検出し、検出した矩形の横軸方向長さと、縦軸方向長さを比較する。第２検出部４４は比較の結果、横軸と縦軸とのうち長い側の軸方向を長手方向として、その両端部（長手方向に直行する辺）のうち、第１検出部４２にて検出した第１の部位の重心から離れている側の辺上に接する、上記領域内の画素を注目画素として選択する。ここで第１の部位の重心は、第１の部位に相当する画像部分内の画素群の重心を意味し、具体的には画素群の座標が（ｘi，ｙi）（ｉ＝１，２…，Ｎ）であるときには、その平均Σ（ｘi，ｙi）／Ｎとして求めればよい。

あるいは、第２検出部４４は、領域検出部４３が出力する情報で特定される領域内の画像部分のうち、第１の領域に相当する画像部分の重心から最も遠い位置にある画素を注目画素として選択する。

そして第２検出部４４は、当該注目画素を中心とし、半径を所定の方法で定めた仮想的な円を設定する。ここで半径は、例えば予め定められた半径であってもよいし、デプス・マップの情報から、選択した注目画素の、検出カメラ１３からの距離に応じて定められた半径（例えば検出カメラ１３から遠いほど半径を小さくする）であってもよい。

第２検出部４４は、当該仮想的な円に含まれる画素であって、かつ、領域検出部４３が出力する情報で特定される領域内にある画素を、第２部位に対応する第２の画像部分として検出する。

位置データ生成部４５は、第２検出部４４が検出した第２の画像部分を特定するデータを生成して出力する。具体的にこの位置データ生成部４５は、第２検出部４４が検出した第２の画像部分に含まれる画素群を特定する情報（各画素の座標情報）のセットを出力する。

［動作例］
本実施の形態の一例に係る頭部装着装置１０は、上記の構成を備えており、次のように動作する。

頭部装着装置１０は、所定のタイミング（例えば映像供給装置２０側からの指示を受けたタイミング）で、検出カメラ１３により頭部装着装置１０を装着しているユーザーの側方から、下方向の映像を、複数の撮像素子により撮像する（いわゆるステレオ撮影）。

そして頭部装着装置１０は、得られた画像データの各画素ごとに、当該画素に撮像されている対象物と、検出カメラ１３との距離を表す情報を、特徴量として演算し、デプス・マップを生成する。ここでの例では具体的に、図４に例示する画像が撮像されたものとする。ユーザーの頭部の側方下方側には通常、ユーザーの肩が位置しているので、検出カメラ１３は通常、最も近い位置に肩を含む像を撮像することとなる。

そこで頭部装着装置１０は、検出カメラ１３にて撮像された画像データとデプス・マップとを用いて、ユーザーの身体の第１の部位としての肩が撮像されている部分を検出する。例えば検出カメラ１３が撮像した画像データ内で最も近接した位置にある、実質的にＵ字状となる舌片状部分をユーザーの身体の肩として検出する。

頭部装着装置１０は、次に、デプス・マップ上で検出したユーザーの肩の画像部分を初期の注目部分Ａ１として特定する（Ｓ２１）。頭部装着装置１０は、注目部分Ａ１に含まれる画素の特徴量（ここでは検出カメラ１３からの距離の情報）を参照し、注目部分Ａ１に隣接する画素のうち、当該画素に係る特徴量と注目部分Ａ１に含まれるいずれかの画素の特徴量との差が予め定めたしきい値を下回る画素を検索する。

ここでは当該検索の結果、注目部分Ａ１に隣接する上腕部の一部に相当する画像の部分が肩から距離が連続している部分として検出される。次いで、頭部装着装置１０は、この新たに検出した部分を新たな注目部分として、当該注目部分に隣接する画素のうち、過去に注目部分として特定された部分に含まれた画素（つまり、ここでは画像部分Ａ１に含まれる画素）ではなく、かつ、当該画素に係る特徴量と注目部分に含まれるいずれかの画素の特徴量との差が予め定めたしきい値を下回る画素を検索する。

以下、この処理を繰り返すことで、ユーザーの上腕部に相当する部分Ａ２が、過去に注目部分として選択された部分となり、上腕部の部分Ａ２が検出される（Ｓ２２）。

頭部装着装置１０は、以下同様に特徴量の連続する部分を注目部分として選択しつつ処理を行うことで、上腕部から距離が連続している部分として、ユーザーの下腕部に相当する画像の部分Ａ３を検出し（Ｓ２３）、さらにユーザーの下腕部から距離が連続する部分として、ユーザーの手に相当する画像の部分Ａ４を検出する（Ｓ２４）。

次に頭部装着装置１０は、この新たに検出した部分Ａ４を新たな注目部分として、当該注目部分Ａ４に隣接する画素のうち、過去に注目部分として特定された部分に含まれた画素（ここでは画像部分Ａ１，Ａ２，Ａ３に含まれる画素）ではなく、かつ、当該画素に係る特徴量と注目部分Ａ４に含まれるいずれかの画素の特徴量との差が予め定めたしきい値を下回る画素を検索するが、ユーザーが手に何も持っていない状態では、手から先は一般的には床面等、手との距離が連続的にならない（しきい値を超えた距離の差がある）部分となるので、頭部装着装置１０は、ここまでに注目部分として選択した画像部分Ａ１，Ａ２，Ａ３，Ａ４をまとめて、特徴量が連続的に変化する領域として特定する。そして頭部装着装置１０は、当該特定した領域を表す情報を出力する。ここで領域を表す情報は、画像部分Ａ１，Ａ２，Ａ３，Ａ４に含まれる各画素を特定する情報（各画素の座標情報）のセットとする。

また頭部装着装置１０は、当初検出した肩の画像部分Ａ１の重心Ｐを求め、この重心から最も遠い位置にある画素Ｑを注目画素として選択する。そして頭部装着装置１０は、当該注目画素Ｑを中心とし、予め定めた半径の仮想的な円Ｒを設定し、この仮想的な円Ｒに含まれ、かつ、画像部分Ａ１，Ａ２，Ａ３，Ａ４のいずれかの領域内にある画素を、第２部位に対応する第２の画像部分として検出する。この場合、肩の重心から最も遠い位置にある画素Ｑは通常、指先（あるいは指先が肩側に向いている場合は手首）が撮像されている画素となると想定されるので、当該画素から所定の半径内にある画素には手が撮像されていると考えられる。そこで頭部装着装置１０は、ここで検出した第２の画像部分が手の画像部分であるとして、この第２の画像部分を特定するデータを生成して出力する。ここでは第２の画像部分に含まれる画素群を特定する情報（各画素の座標情報）のセットを出力する。

本実施の形態の頭部装着装置１０では、筐体１１の左右に設けられた検出カメラ１３Ｌ，１３Ｒが撮像する各画像データに基づいて上記の処理を実行する。そして筐体１１の左右方向でそれぞれ撮像された画像データから検出した、手の画像部分の画素群を特定する情報のセットを出力する。また、頭部装着装置１０は、検出カメラ１３Ｌ，１３Ｒが撮像した画像データを出力してもよい。なお、検出カメラ１３にはステレオ撮影のために複数の撮像素子が含まれるが、このうちいずれか一つを選択して出力することとしてもよい。さらに頭部装着装置１０は、検出カメラ１３Ｌ，１３Ｒが撮像した画像データに基づいてそれぞれ生成されたデプス・マップの画像を出力してもよい。

本発明の一実施形態に係る頭部装着装置１０を含む情報処理システム１では、このようにして頭部装着装置１０が出力したデータが中継装置３０を介して映像供給装置２０に入力される。

映像供給装置２０は、頭部装着装置１０が出力した、頭部装着装置１０の筐体１１の左右方向でそれぞれ撮像された画像データから検出した、手の画像部分の画素群を特定する情報のセット等の入力を受けるとともに、頭部装着装置１０の位置や向きのデータを別途得て、これらのデータからユーザーの手の位置を三次元的な位置情報を求める。この三次元的な位置情報は、例えばユーザーの頭部を座標の中心として、ユーザーの身体の左右方向（冠状面と横断面とが交差してできる線分の方向）をＸ軸、上下方向（冠状面と矢状面とが交差してできる線分の方向）をＹ軸、奥行方向（矢状面と横断面とが交差してできる線分の方向）をＺ軸とした座標系での値として表すことができる。

この映像供給装置２０での処理は、頭部装着装置１０が備える検出カメラ１３Ｌ，１３Ｒの座標と、それらの視線方向の情報とを頭部装着装置１０の位置や向きのデータに基づいて得た上で、カメラ座標系からワールド座標系への変換を行う広く知られた処理を用いて行うことができる。

この頭部装着装置１０の位置や向きを測定するため、本実施の形態のある例では、頭部装着装置１０が、モーションセンサーを有し、頭部装着装置１０の位置や向き、動きに関する各種の情報を測定することとしてもよい。このような測定を行うためのモーションセンサーとしては、３軸の加速度センサー、３軸のジャイロスコープ、３軸の地磁気センサー、気圧センサー等を含むものを用いることができる。この測定結果を用いることで、頭部装着装置１０の動きや向きの変化が特定される。すなわち、加速度センサーの検出結果を用いることで、頭部装着装置１０の鉛直方向に対する傾きや平行移動を検出できる。また、ジャイロスコープや地磁気センサーを用いることで、頭部装着装置１０の回転運動を検出できる。さらに、気圧センサーを用いることで、頭部装着装置１０の鉛直方向に沿った動きを検出できる。

なお、映像供給装置２０が頭部装着装置１０の位置や向きを得る方法としては、ここに述べた方法以外にも種々の公知の方法を用いることができるが、ここでのこれ以上の詳しい説明は省略する。

［変形例］
ここまでの説明では、制御部１１の特徴量演算部４１が演算する特徴量が、検出カメラ１３から撮像された対象までの距離を表すものとしていたが、本実施の形態はこれに限られない。例えば、特徴量は、画像部分に撮像された対象物の法線方向を表す情報であってもよい。この場合、頭部装着装置１０の筐体１１に例えばモアレ法を用いるもの等、構造光を投影する装置（不図示）を設け、検出カメラ１３にて画像データを撮像する際に、ユーザーの身体に構造光を投影して撮像を行うようにしてもよい。構造光を投影する手段を備えれば、法線方向の情報は構造光投影法による三次元計測の方法で取得できる。また法線方向の情報は、これ以外の広く知られた三次元計測の方法で取得してもよい。

このように法線の情報を用いる場合も、検出カメラ１３からの距離を用いる方法と同様に、肩が検出できれば、肩から上腕、下腕、手までは法線方向が連続的に変化している（互いに隣接する画素において計測された法線方向の情報の差が所定のしきい値を下回る）こととなるため、法線方向が連続する領域を検出することで、検出カメラ１３が撮像した画像データにおいて手が撮像されている範囲を検出できる。

［カメラの配置］
また本実施の形態のここまでの例では、検出カメラ１３は、筐体１１の左右側方に配されることとしていたが、ユーザーの肩等、第１の部位に相当する箇所が撮像できれば、この配置は必ずしも筐体１１の左右側方でなくてもよい。例えば、検出カメラ１３Ｌは、筐体１１の下部の左端側に配されてもよい。また、検出カメラ１３Ｒは、筐体１１下部の右端側に配されてもよい。

［別の利用例］
本実施の形態の頭部装着装置１０は、また、検出カメラ１３にて撮像した画像データに基づいてユーザーの腕部を検出してもよい。具体的には、頭部装着装置１０は、領域検出部４３の動作において注目部分に隣接し、注目部分に含まれるいずれかの画素と特徴量の差が所定値を下回る画素（複数あってよい）を選択したとき、その時点で注目部分となっている画素群の重心と、新たに選択した画素群の重心とを結ぶ線分の方向を表す情報を演算する。

頭部装着装置１０は、当初は（第１の部位に相当する領域が注目部分となっている段階では）、演算した線分の方向を表す情報を記録するとともに、ラベル情報を発行する（ここではラベル情報を所定の初期値、例えば数値の「１」とする）。そして頭部装着装置１０は、新たに選択した画素群を特定する情報を、当該ラベル情報に関連付けて記憶する。

以下、上記線分の方向を表す情報を演算するごとに、前回記録した情報と、当該演算した情報とを比較し、その差（これらはベクトルであるので各線分の方向の交差角度を差として、内積を各ベクトルの大きさの積で除して求めればよい）が予め定めた角度しきい値を下回る場合には、今回演算した情報を記録するとともに、前回発行したラベル情報に関連付けられた情報に追加して、今回新たに選択した画素群を特定する情報を記憶していく。

また、上記差がが予め定めた角度しきい値を上回る場合は、今回演算した、線分の方向を表す情報を記録するとともに、新たなラベル情報を発行し（例えばその時点でのラベル情報である数値を「１」だけインクリメントして新たなラベル情報とする）、当該発行したラベル情報に関連付けて今回新たに選択した画素群を特定する情報を記憶する。

この処理を、画素が選択されなくなるまで繰り返すことで、頭部装着装置１０は、特徴量が連続的に変化する領域を特定するとともに、当該領域内で直線的に変化する部位ごとにラベリングを施すことができる。この例では、ユーザーが肘や手首を曲げている場合、上腕、下腕、手のそれぞれの部位に相当する画素に互いに異なるラベルが付されることとなる。

これにより、頭部装着装置１０は、上腕や下腕といったユーザーの腕部分を検出可能となる。

さらに頭部装着装置１０は、ここで検出した腕部がユーザーの視点から見て交差している（一方の腕の一部が他方の腕によって隠されている）か、交差していないかを判断してもよい。この場合、検出カメラ１３Ｌ，１３Ｒは、筐体１１の前方に配され、下向きの画像を撮影可能な位置に取り付けられる。

ユーザーが手を交差させている場合は、図５（ａ）に例示するようにラベリングが行われる。なお、図５（ａ），（ｂ）では説明のため、右側の検出カメラ１３Ｒが撮像した画像データに基づいて得られたラベリングの結果を「１Ｒ」，「２Ｒ」…のように、添字Ｒを付して示し、左側の検出カメラ１３Ｌが撮像した画像データに基づいて得られたラベリングの結果を「１Ｌ」，「２Ｌ」…のように、添字Ｌを付して示している。

図５（ａ）に示したように、ユーザーが手を交差させている場合は、頭部装着装置１０は、肩に相当する画像部分に付されたラベル１Ｌ，１Ｒからそれぞれ特徴量が連続する部分としてラベル２Ｌ，２Ｒ，３Ｒを付した部分を検出する。

頭部装着装置１０は、ここで互いに異なる添字が付されたラベルの領域が隣接しているか否かを調べる。つまり、頭部装着装置１０は、左側の検出カメラ１３Ｌが撮像した画像データに基づいて得られた、特徴量が連続的に変化する領域（ラベル１Ｌ，２Ｌが付された領域）と、右側の検出カメラ１３Ｒが撮像した画像データに基づいて得られた、特徴量が連続的に変化する領域（ラベル１Ｒ，２Ｒ，３Ｒが付された領域）とが隣接しているか否かを調べる。

ここで、これらの領域が隣接していれば、頭部装着装置１０は、ユーザーの腕が交差していると判断する（図５（ａ））。またこのとき、領域の大きさを比較することで、左右どちらの腕が上となっているかを判断してもよい。すなわち頭部装着装置１０は、比較的大きい領域が右側の検出カメラ１３Ｒが撮像した画像データに基づいて得られたならば、右腕が上と判断し、比較的大きい領域が左側の検出カメラ１３Ｌが撮像した画像データに基づいて得られたならば、左腕が上と判断する。

また、頭部装着装置１０は、左側の検出カメラ１３Ｌが撮像した画像データに基づいて得られた、特徴量が連続的に変化する領域と、右側の検出カメラ１３Ｒが撮像した画像データに基づいて得られた、特徴量が連続的に変化する領域とが隣接していない場合には、ユーザーの腕が交差していないと判断する（図５（ｂ））。

［肩の検出］
さらに本実施の形態の頭部装着装置１０は、筐体１１の左右にそれぞれ赤外線発光装置や、ＬＥＤフラッシュ等の発光手段を有し、ユーザーの身体の第１の部位（ユーザーの肩の位置等）を検出するにあたり、これらを点灯させて検出カメラ１３にて撮像を行ってもよい。

この例では、ユーザーの肩部のように、発光手段に近接しているユーザーの身体の部位が、過露光の状態で（いわゆる白飛びした状態で）撮像される。そこで、頭部装着装置１０は、検出カメラ１３にて撮像された画像データから過露光の領域を検出することで、ユーザーの身体の第１の部位に相当する画像部分を検出してもよい。

さらに本実施の形態の頭部装着装置１０は、ユーザーの身体の第１の部位については、毎回、最も近接した部分を検出したり、過露光の部分を検出したりするのではなく、一度検出がなされた後は、検出カメラ１３が撮像した画像データから、その動きを追跡することとしてもよい。

［首の向きの考慮］
また本実施の形態のここまでの説明では、頭部装着装置１０の位置や向きを測定するため、モーションセンサーを用いる例について説明したが、本実施の形態はこれに限られない。

例えば、図６に例示するように、正中線を軸とした首の回転角を、冠状面Ｃ（左右の肩を結ぶ線分を含む面）に対するユーザーの鼻の方向（まっすぐ前を見ているときの視線方向）の角度θとすると、検出カメラ１３によって撮像された画像データから肩の部分に相当する領域を検出して用いて、この角度θを得ることができる。

具体的に頭部装着装置１０は、検出カメラ１３が撮像した画像データから、ユーザーの身体の第１の部位として肩の画像部分を検出する。そして当該画像部分を楕円フィッティングし、この楕円の長軸方向を冠状面内の直線の方向として、画像データの横軸に対するこの長軸方向のなす角を、正中線を軸とした首の回転角θ（ただし０≦θ≦９０度）とする。

図６では、ユーザーの首が冠状面の法線方向を向いている場合（正面を向いている場合）に回転角が９０度と判断され（Ａ）、ユーザーの首が冠状面に対して角度θだけ傾いているときに、検出カメラ１３の画像データから回転角がθと判断される例（Ｂ）を示している。

なお、首の向きによっては、左右の検出カメラ１３Ｌ，１３Ｒのいずれか一方の視野にはユーザーの肩が含まれない場合があるが、冠状面はユーザーの左右方向に対称であるので、左右の検出カメラ１３Ｌ，１３Ｒのいずれか一方が得た画像データから上記首の回転角θが得られれば、他方の画像データから得られる首の回転角も同じとなる。

頭部装着装置１０は、このように首の回転角θの情報を得て、映像供給装置２０に送出することで、映像供給装置２０が頭部装着装置１０の位置や向きの情報（より具体的には検出カメラ１３の位置の情報）を演算できる。そして映像供給装置２０は、ユーザーの手や腕の位置等、頭部装着装置１０が、検出カメラ１３の画像データに基づいて検出したユーザーの身体の部位の位置の情報を演算できることとなる。

本実施の形態によると、検出カメラ１３によって撮像された画像データに基づいてユーザーの手の位置等を特定するので、コントローラに対する操作をさせることなくユーザーの動きを検出できる。

１０ 頭部装着装置、１１ 筐体、１２ 前面カメラ、１３ 検出カメラ、１４ 制御部、１５ 通信処理部、２０ 映像供給装置、３０ 中継装置、３１ 映像表示ユニット、３２ 映像表示処理部、４１ 特徴量演算部、４２ 第１検出部、４３ 領域検出部、４４ 第２検出部、４５ 位置データ生成部。

Claims (6)

1. ユーザーの頭部に装着される筐体に取り付けられた撮像手段と、
   前記撮像手段により撮像された画像を受け入れて、当該画像から、ユーザーの身体の第１の部位に対応する第１の画像部分を検出し、当該検出した第１の画像部分における、所定の特徴量を取得する第１検出手段と、
   前記画像内の前記第１の画像部分を含み、前記所定の特徴量が連続的に変化する領域を特定する領域特定手段と、
   前記特定された領域内の画像部分から、前記第１の部位とは異なるユーザーの身体の第２の部位に対応する第２の画像部分を検出する第２検出手段と、
   を含む頭部装着装置。
2. 請求項１に記載の頭部装着装置において、
   前記特徴量は、
   画像部分に撮像された対象と、前記撮像手段との距離に関する量である頭部装着装置。
3. 請求項１に記載の頭部装着装置において、
   前記特徴量は、
   画像部分に撮像された対象物の法線方向を表す情報である頭部装着装置。
4. 請求項１から３のいずれか一項に記載の頭部装着装置において、
   前記第２検出手段は、前記特定された領域の長さ方向の端部を、前記第２の部位に相当する第２の画像部分として検出する頭部装着装置。
5. ユーザーの頭部に装着される筐体に取り付けられた撮像手段を備える頭部装着装置と接続されるコンピュータを、
   前記撮像手段により撮像された画像を受け入れて、当該画像から、ユーザーの身体の第１の部位に対応する第１の画像部分を検出し、当該検出した第１の画像部分における、所定の特徴量を取得する第１検出手段と、
   前記画像内の前記第１の画像部分を含み、前記所定の特徴量が連続的に変化する領域を特定する領域特定手段と、
   前記特定された領域内の画像部分から、前記第１の部位とは異なるユーザーの身体の第２の部位に対応する第２の画像部分を検出する第２検出手段と、
   として機能させるプログラム。
6. ユーザーの頭部に装着される筐体に取り付けられた撮像手段を備える頭部装着装置と接続されるコンピュータを、
   前記撮像手段により撮像された画像を受け入れて、当該画像から、ユーザーの身体の第１の部位に対応する第１の画像部分を検出し、当該検出した第１の画像部分における、所定の特徴量を取得する第１検出手段と、
   前記画像内の前記第１の画像部分を含み、前記所定の特徴量が連続的に変化する領域を特定する領域特定手段と、
   前記特定された領域内の画像部分から、前記第１の部位とは異なるユーザーの身体の第２の部位に対応する第２の画像部分を検出する第２検出手段と、
   として機能させるためのプログラムを記憶した、コンピュータ読み取り可能な情報記憶媒体。
   

Images