JP2016131782A - 頭部装着型表示装置、検出装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム - Google Patents

頭部装着型表示装置、検出装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム Download PDF

Info

Publication number
JP2016131782A
JP2016131782A JP2015009373A JP2015009373A JP2016131782A JP 2016131782 A JP2016131782 A JP 2016131782A JP 2015009373 A JP2015009373 A JP 2015009373A JP 2015009373 A JP2015009373 A JP 2015009373A JP 2016131782 A JP2016131782 A JP 2016131782A
Authority
JP
Japan
Prior art keywords
image
head
display device
unit
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2015009373A
Other languages
English (en)
Inventor
馬塲 宏行
Hiroyuki Baba
宏行 馬塲
高野 正秀
Masahide Takano
正秀 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015009373A priority Critical patent/JP2016131782A/ja
Priority to CN201510205169.5A priority patent/CN105301771B/zh
Priority to US14/718,732 priority patent/US9720230B2/en
Publication of JP2016131782A publication Critical patent/JP2016131782A/ja
Priority to US15/631,654 priority patent/US10162408B2/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】練習しようとする行為に合った手本動画を、煩雑な操作を行うことなく再生可能とする。
【解決手段】体を動かす行為の上達を支援するための頭部装着型表示装置である。この頭部装着型表示装置は、外景を透過させるとともに、画像を形成する画像表示部と;使用者の身体および前記身体に付属する用具のうちの少なくとも一部分の動きを検出する身体動作検出部と;前記行為の参照となる体の動きを示す動画を手本動画とし、前記手本動画を前記行為の種類毎に記憶する手本動画記憶部に対してアクセスを行い、前記身体動作検出部による検出結果に応じた1または複数の前記手本動画を取得する手本動画取得部(S170)と;前記取得された手本動画を前記画像表示部に形成させる表示制御部と;を備える。
【選択図】図5

Description

本発明は、頭部装着型表示装置に関する。
従来、頭部に装着する表示装置である頭部装着型表示装置(ヘッドマウントディスプレイ(Head Mounted Display)、HMD)が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。
特許文献1、2には、スポーツやダンスなどの体を動かす行為の上達を支援するために頭部装着型表示装置を用いることが開示されている。特許文献1によれば、講師が装着した頭部装着型表示装置に設けた撮像手段によって、使用者である受講者の姿を撮影することができる。特許文献2によれば、手足に装着したモーションセンサーによって、使用者である受講者の動作を捉えることができる。このため、特許文献1、2に記載の頭部装着型表示装置によれば、予め用意した講師の動画と、受講者の動作を示す動画とを同時に表示することが可能となる。
特開2009−21914号公報 特開2010−240185号公報 特開2006−230630号公報 特開平6−130889号公報 特開2003−295754号公報
上達しようとする行為は、一つではなく、上達する過程やシーンごとに複数あるのが常である。例えば、ゴルフにおいては、ドライバー編、アプローチ編、ショット編などがある。このため、使用者は、ドライバーを練習したいと考えるときには、複数の講師動画の中からドライバー編の講師動画を選び出して再生する操作を行う必要があり、アプローチを練習したいと考えるときには、アプローチ編の講師動画を選び出して再生する操作を行う必要がある。頭部装着型表示装置を用いることのメリットは、操作者が、スポーツやダンスなどを練習している最中に講師動画を見ることができることであり、練習中での煩雑な操作は好ましいものではなかった。したがって、従来の技術には、練習しようとする行為に合った講師動画を、煩雑な操作を行うことなく再生したいという課題があった。そのほか、従来の頭部装着型表示装置においては、装置構成のコンパクト化や、低コスト化、省資源化、製造の容易化、使用者の利便性の向上、学習効果の向上等が望まれていた。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の一形態は、体を動かす行為の上達を支援するための頭部装着型表示装置である。この頭部装着型表示装置は、外景を透過させるとともに、画像を形成する画像表示部と;使用者の身体および前記身体に付属する用具のうちの少なくとも一部分の動きを検出する身体動作検出部と;前記行為の参照となる参照画像を前記行為の種類毎に記憶する参照画像記憶部に対してアクセスを行い、前記身体動作検出部による検出結果に応じた1または複数の前記参照画像を取得する参照画像取得部と;前記取得された参照画像を前記画像表示部に形成させる表示制御部と;を備える。この形態の頭部装着型表示装置によれば、身体動作検出部によって検出した、使用者の身体等および身体に付属する用具のうちの少なくとも一部分の動きに応じた1または複数の参照画像が、参照画像取得部によって参照画像記憶部から取得され、表示制御部によって画像表示部に表示される。このため、練習しようとする行為に合った参照画像(従来技術の「講師動画」に相当)を、煩雑な操作を行うことなく表示できる。
(2)上記形態の頭部装着型表示装置において、前記参照画像は、身体の動きを示す画像であってもよい。この形態の頭部装着型表示装置によれば、身体の動きを示す参照画像による支援が可能となる。
(3)上記形態の頭部装着型表示装置において、前記身体動作検出部は、前記画像表示部を支持するメガネ部分に取り付けられた身体撮影用カメラを含んでいてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の構成機器の点数が身体動作検出部を設けたことによって多くなることがない。したがって、装置構成のコンパクト化が図られる。
(4)上記形態の頭部装着型表示装置において、前記身体撮影用カメラは、撮影方向が下向きとなるように取り付けられてもよい。この形態の頭部装着型表示装置によれば、少なくとも脚の動きを検出することができる。
(5)上記形態の頭部装着型表示装置において、前記身体動作検出部は、前記身体の特定部位に設けられ、前記特定部位の動きを検出するモーションセンサーを含んでいてもよい。この形態の頭部装着型表示装置によれば、モーションセンサーによって身体の特定部位の動きが高精度に検出される。
(6)上記形態の頭部装着型表示装置において、前記参照画像としての画像は、動画であり;前記身体動作検出部の検出結果に基づいて、前記使用者のイラスト動画を作成する使用者動画作成部を備え;前記表示制御部は、前記参照画像に加えて、前記使用者のイラスト動画を形成させるようにしてもよい。この形態の頭部装着型表示装置によれば、使用者は、参照画像(動画)と使用者のイラスト動画との両方を画像表示部にて見ることができる。これにより、使用者は、自身のイラスト動画と参照画像とを比較することが可能となり、学習効果を高めることができる。
(7)上記形態の頭部装着型表示装置において、前記身体動作検出部は、前記画像表示部を支持するメガネ部分から離れた位置に配置され、前記使用者を撮影する外部カメラを含んでいてもよい。この形態の頭部装着型表示装置によれば、外部カメラによって、使用者を撮影することが可能となる。
(8)上記形態の頭部装着型表示装置において、前記表示制御部は、前記参照画像に加えて、前記外部カメラによって撮影された前記使用者の画像を形成させるようにしてもよい。この形態の頭部装着型表示装置によれば、使用者は、参照画像とともに自身を撮影した画像を見ることができる。これにより、使用者は自身の動きをリアリティーに認めることができ、使用者の利便性が向上する。
(9)上記形態の頭部装着型表示装置において、前記参照画像は、身体に付属する用具の動きを示す画像であってもよい。この形態の頭部装着型表示装置によれば、身体に付属する用具の動きを示す参照画像による支援が可能となる。
(10)上記形態の頭部装着型表示装置において、前記身体動作検出部は、前記用具と前記用具が係わり合う対象物との間の相対位置を検出することによって、前記用具の動きを検出するようにしてもよい。この形態の頭部装着型表示装置によれば、用語と対象物との間の相対位置に基づいて、使用者の身体に付属する用具の動きを推定することができる。
(11)本発明の他の形態は、体を動かす行為の上達を支援するための頭部装着型表示装置である。この頭部装着型表示装置は、外景を透過させるとともに、画像を形成する画像表示部と;前記画像表示部を支持するメガネ部分に取り付けられた身体撮影用カメラと;前記身体撮影用カメラによって撮影された画像に基づいて使用者のイラスト動画を作成する使用者動画作成部と;前記行為の参照となる体の動きを示す動画を参照動画として記憶する参照動画記憶部から、前記参照動画を取得する参照動画取得部と;前記使用者のイラスト動画と前記参照動画とを前記画像表示部に形成させる表示制御部と、を備える。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の構成機器の点数が身体撮影用カメラを設けたことによって多くなることがない。また、使用者は、自身のイラスト動画と参照動画とを比較することが可能となる。したがって、装置構成のコンパクト化と、学習効果を高めることとを両立することができる。
(12)本発明の他の形態は、体を動かす行為の上達を支援するための頭部装着型表示装置とともに用いる検出装置である。頭部装着型表示装置は、外景を透過させるとともに、画像を形成する画像表示部と、前記行為の参照となる参照画像を前記行為の種類毎に記憶する参照画像記憶部に対してアクセスを行い、所定の情報に応じた1または複数の前記参照画像を取得する参照画像取得部と、前記取得された参照画像を前記画像表示部に形成させる表示制御部と、を備える。検出装置は、使用者の身体および前記身体に付属する用具のうちの少なくとも一部分の動きを検出し、前記検出の結果を、前記所定の情報として前記頭部装着型表示装置に送信する。この形態の検出装置によれば、上記形態の頭部装着型表示装置と同様に、練習しようとする行為に合った参照画像を、煩雑な操作を行うことなく表示できる。
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、画像表示部と、身体動作検出部と、参照画像取得部と、表示制御部と、の4つの要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、身体動作検出部を有していてもよく、有していなくてもよい。また、装置は、参照画像取得部を有していてもよく、有していなくてもよい。また、装置は、表示制御部を有していてもよく、有していなくてもよい。画像表示部は、例えば、外景を透過させるとともに、画像を形成してもよい。身体動作検出部は、例えば、使用者の身体および前記身体に付属する用具のうちの少なくとも一部分の動きを検出してもよい。参照画像取得部は、例えば、前記行為の参照となる参照画像を前記行為の種類毎に記憶する参照画像記憶部に対してアクセスを行い、前記身体動作検出部による検出結果に応じた1または複数の前記参照画像を取得してもよい。表示制御部は、例えば、前記取得された参照画像を前記画像表示部に形成させてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置構成のコンパクト化や、低コスト化、省資源化、製造の容易化、使用者の利便性の向上、学習効果の向上等の種々の課題の少なくとも1つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
例えば、本発明の他の形態は、画像表示部と、身体撮影用カメラと、使用者動画作成部と、参照動画取得部と、表示制御部と、の5つの要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、身体撮影用カメラを有していてもよく、有していなくてもよい。また、装置は、使用者動画作成部を有していてもよく、有していなくてもよい。また、装置は、参照動画取得部を有していてもよく、有していなくてもよい。また、装置は、表示制御部を有していてもよく、有していなくてもよい。画像表示部は、例えば、外景を透過させるとともに、画像を形成してもよい。身体撮影用カメラは、例えば、前記画像表示部を支持するメガネ部分に取り付けられてもよい。使用者動画作成部は、例えば、前記身体撮影用カメラによって撮影された画像に基づいて使用者のイラスト動画を作成してもよい。参照動画取得部は、例えば、前記行為の参照となる体の動きを示す動画を参照動画として記憶する参照動画記憶部から、前記参照動画を取得してもよい。表示制御部は、例えば、前記使用者のイラスト動画と前記参照動画とを前記画像表示部に形成させてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置構成のコンパクト化や、低コスト化、省資源化、製造の容易化、使用者の利便性の向上、学習効果の向上等の種々の課題の少なくとも1つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置および表示装置の制御方法、頭部装着型表示システム、表示装置、頭部装着型表示システムおよび表示装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現できる。
頭部装着型表示装置の外観構成を示す説明図である。 画像表示部の正面図である。 頭部装着型表示装置の構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 スキー教習処理の流れを示すフローチャートである。 使用者によって視認される視野の一例を示す説明図である。 抽出する着目部位を示す説明図である。 イラスト動画の一例を示す説明図である。 手本動画格納データベースのデータ構成を示す説明図である。 ステップS190の実行後の視野の一例を示す説明図である。 ステップS210の実行後の視野の一例を示す説明図である。 第1実施形態第1変形例の再生画面の表示の一例を示す説明図である。 第2実施形態における6軸センサーの使用状態を示す説明図である。 第2実施形態における手本動画格納データベースのデータ構成を示す説明図である。 第3実施形態における手本動画格納データベースのデータ構成を示す説明図である。 第4実施形態における手本動画格納データベースのデータ構成を示す説明図である。 第4実施形態における視野の一例を示す説明図である。 腕時計型カメラを示す説明図である。 第5実施形態の頭部装着型表示装置の概略構成を示す説明図である。 変形例5における連続画像の一例を示す説明図である。
次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
A.第1実施形態:
A−1.頭部装着型表示装置の構成:
A−2.スキー教習処理:
A−3.効果:
A−4.変形例:
B.第2実施形態:
C.第3実施形態:
D.第4実施形態:
E.第5実施形態:
F.変形例:
A.第1実施形態:
A−1.頭部装着型表示装置の構成:
図1は、頭部装着型表示装置100の外観構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態の頭部装着型表示装置100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。また、本実施形態の頭部装着型表示装置100は、スキー場にてスキー教習を受けるための用具となる。なお、本明細書では、頭部装着型表示装置100によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
頭部装着型表示装置100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10と、を備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図3参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図3参照)と調光板とを含んでいる。導光板261,262は、光透過性の樹脂材料等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置されている。調光板は、導光板261,262を保護し、導光板261,262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
図2は、画像表示部20の正面図である。図1および図2に示すように、画像表示部20は、さらに、外景撮影用カメラ61と、右身体撮影用カメラ62と、左身体撮影用カメラ63と、9軸センサー66とを備えている(図2の正面図も参照)。右身体撮影用カメラ62および左身体撮影用カメラ63を総称して単に「身体撮影用カメラ」とも呼ぶ。
外景撮影用カメラ61は、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。そのため、外景撮影用カメラ61は、使用者が画像表示部20を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像する。外景撮影用カメラ61は、単眼カメラであるが、ステレオカメラであってもよい。
右身体撮影用カメラ62は、右光学像表示部26の他端である端部ERに下向き(撮影方向が下向き)に配置されている。左身体撮影用カメラ63は、左光学像表示部28の他端である端部ELに下向き(撮影方向が下向き)に配置されている。右身体撮影用カメラ62および左身体撮影用カメラ63は、使用者が画像表示部20を頭部に装着した状態において、使用者の身体の肩から下の部分の動きを撮像する。右身体撮影用カメラ62および左身体撮影用カメラ63は、単眼カメラであるが、ステレオカメラであってもよい。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)、を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者の頭部の動きから画像表示部20の向きが特定される。
図1に示すように、画像表示部20は、また、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、右コード42と、左コード44と、連結部材46と、を含んでいる。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。連結部材46は、本体コード48と、右コード42および左コード44と、の分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御部10と、のそれぞれには、互いに嵌合するコネクター(図示しない)が設けられている。本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用できる。なお、画像表示部20と連結部材46との間、および連結部材46と制御部10との間は、有線で接続されていたが、これに換えて、無線LANやBluetooth(登録商標)などの無線にて接続する構成としてもよい。また、画像表示部20と制御部10との間を直接、無線にて接続する構成としてもよい。
制御部10は、頭部装着型表示装置100を制御するための装置である。制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を含んでいる。決定キー11は、押下操作を検出して、制御部10で操作された内容を決定する信号を出力する。点灯部12は、頭部装着型表示装置100の動作状態を、その発光状態によって通知する。頭部装着型表示装置100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LED(Light Emitting Diode)が用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、頭部装着型表示装置100の電源投入状態を切り替える。
図3は、頭部装着型表示装置100の構成を機能的に示すブロック図である。図3に示すように、制御部10は、入力情報取得部110と、記憶部120と、電源130と、操作部135と、CPU140と、インターフェイス180と、送信部51(Tx51)および送信部52(Tx52)と、GPSモジュール134と、無線通信部132と、を有している。
操作部135は、使用者による操作を受け付けるユニットであり、図1に示すように、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18、から構成されている。
図3の入力情報取得部110は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、操作部135に配置されたトラックパッド14、方向キー16、電源スイッチ18、に対する操作入力がある。電源130は、頭部装着型表示装置100の各部に電力を供給する。電源130としては、例えば、リチウムポリマーバッテリー、リチウムイオンバッテリーなどの二次電池を用いることができる。さらに、二次電池に替えて、一次電池でも良いし、燃料電池でも良いし、無線給電を受けて動作するようにしてもよい。さらには、太陽電池とキャパシターから給電を受けるようにしてもよい。
記憶部120は、RAMやROM、フラッシュメモリー等によって構成され、種々のコンピュータープログラムや各種データを格納している。各種データの一つとしては、手本動画格納データベース(図示では、手本DB)120aがある。手本動画格納データベース120aの詳細については後述する。
GPSモジュール134は、GPS衛星からの信号を受信することにより、画像表示部20の現在位置を特定して、位置を示す情報を生成する。画像表示部20の現在位置が特定されることで、頭部装着型表示装置100の使用者の現在位置が特定される。無線通信部132は、無線LANやBluetooth(登録商標)といった所定の無線通信規格に則って他の機器との間で無線通信を行なう。
CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム150(OS150)、表示制御部190、音声処理部170、画像処理部160、撮影部165、および手本動画取得部166として機能する。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFなど、を個別に制御する。これにより、表示制御部190は、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51および52を介して送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示しない)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示しない)を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(RGBデータ)として、1フレームごとに記憶部120内のDRAMに格納する。なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データ、のそれぞれを、送信部51、52を介して送信する。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示しない)および左イヤホン34内のスピーカー(図示しない)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。
撮影部165は、右身体撮影用カメラ62および左身体撮影用カメラ63を駆動して、使用者の身体の両側の肩から下の部分(スキー板の前側も含む)の動きを撮影し、その部分の撮影動画(以下、「身体撮影動画」と呼ぶ)を取得する。手本動画取得部166は、撮影部165によって得られた身体撮影動画に基づいて、手本動画格納データベース120aから所望の手本動画を取得する。撮影部165および手本動画取得部166の詳細については後述する。なお、右身体撮影用カメラ62、左身体撮影用カメラ63、撮影部165、および9軸センサー66が、本発明の一形態における「身体動作検出部」の下位概念である。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器OAとしては、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等、がある。インターフェイス180としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
右表示駆動部22は、受信部53(Rx53)と、光源として機能する右バックライト制御部201(右BL制御部201)および右バックライト221(右BL221)と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251と、を含んでいる。右バックライト制御部201と右バックライト221とは、光源として機能する。右LCD制御部211と右LCD241とは、表示素子として機能する。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241と、を総称して「右画像光生成部」あるいは単に「画像光生成部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データと、に基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。なお、右投写光学系251と右導光板261とを総称して「右導光部」あるいは単に「右導光部」とも呼ぶ。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。左表示駆動部24は、受信部54(Rx54)と、光源として機能する左バックライト制御部202(左BL制御部202)および左バックライト222(左BL222)と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252と、を含んでいる。左バックライト制御部202と左バックライト222とは、光源として機能する。左LCD制御部212と左LCD242とは、表示素子として機能する。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242と、を総称して「左画像光生成部」あるいは単に「画像光生成部」とも呼ぶ。また、左投写光学系252は、左LCD242から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。なお、左投写光学系252と左導光板262とを総称して「左導光部」あるいは単に「導光部」とも呼ぶ。
図4は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表わす有効な画像光PLへと変調する。左側についても同様である。なお、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
A−2.スキー教習処理:
本実施形態におけるスキー教習処理は、スキーにおけるターン滑走を学習するためのものである。頭部装着型表示装置100の使用者である受講者は、まず、ターン滑走を行いながら自身を録画し、その後、その録画した自身画像から作成されるイラスト画像と手本画像とを再生表示して比較することで、正しいターン滑走のフォームを学習する。
図5は、CPU140によって実行されるスキー教習処理の流れを示すフローチャートである。このスキー教習処理は、制御部10において所定の操作を受け付けたときに実行開始される。処理が開始されると、CPU140は、まず、メニュー画面を画像表示部20に表示させる(ステップS100)。
図6は、使用者によって視認される視野VRの一例を示す説明図である。図示するように、使用者には、画像表示部20の光学像表示部26,28を透過した外景SCが視認されている。外景SCには、例えば、使用者が滑走しようとするゲレンデが含まれている。そして、ステップS100の結果、視野VRの一部分(例えば、左上部分)にメニュー画面MNが含まれる。本実施形態では、メニュー画面MNには、「録画」、「再生」、「再生(手本付き)」、「手本再生」という4つの選択肢M1〜M4が用意されている。使用者は、スキー教習処理の第1段階として、まず、「録画」の選択肢M1を選択する操作を行い、その後に、ターン滑走を行う。
図5のステップS100の実行後、CPUは、使用者によって操作される制御部10において、「録画」の選択肢M1を選択する操作を受け付けたか否かを判定する(ステップS110)。ここで、使用者により「録画」の選択肢M1の操作がなされて、受け付けたと判定されると、CPUは、右および左身体撮影用カメラ62、63にて撮影を行う(ステップS120)。この撮影の結果、使用者の身体の肩から下の部分の動きを撮影した身体撮影動画が、1フレーム毎に記憶部120(図3参照)内のDRAMに格納される。ステップS120の処理が撮影部165(図3)に対応している。
また、CPUは、9軸センサー66にて使用者の頭部の動きを検出する(ステップS130)。ここでいう頭部の動きとは、頭部の位置移動(位置、速度、加速度)、および向き(あおり角度)である。この頭部の動きは、ステップS120で格納したフレームの切り替わりのタイミングと同期して切り替わるもので、検出された頭部の動きは、記憶部120(図3参照)内のDRAMに格納される。なお、ステップS120とステップS130の処理は、図示の都合で逐次実行されるように記載したが、実際は、並列的に実行される。すなわち、身体撮影と頭部の動きの検出とが並列的に実行される。その後、CPUは、録画停止のタイミングとなったか否かを判定し(ステップS140)、録画停止のタイミングとなるまで、ステップS120およびS130の処理を繰り返す。「録画停止のタイミング」は、本実施形態では、9軸センサー66の地磁気から検出される使用者の現在位置が変化しなくなったとき、すなわち、使用者がターン滑走を停止したときとした。なお、使用者の現在位置が変化しなくなったときに換えて、「録画」の選択肢M1を選択する操作を受け付けてからの経過時間が所定時間に達したときを録画停止のタイミングとすることもできる。あるいは、「録画」の選択肢M1の操作が再度なされたとき等、他のときを録画停止のタイミングとしてもよい。
一方、ステップS140で、録画停止のタイミングとなったと判定されると、CPUはステップS150に処理を進める。ステップS150では、ステップS120によって記憶部120に格納された身体撮影動画を1フレームごとに順に読み出し、各フレームから着目部位を特定し、ステップS130によって検出した頭部の動きに基づいて各着目部位の動きを推定する処理を行う。
図7は、ステップS150によって抽出する着目部位を示す説明図である。本実施形態では、右スキー板の先端部分P1、左スキー板の先端部分P2、右スキー靴の先端部分P3、左スキー靴の先端部分P4、右膝部分P5、左膝部分P6、右手首部分P7、左手首部分P8、およびへそ部分P9を着目部位とした。なお、P0の位置は、9軸センサー66の位置、すなわち、頭部の位置であり、参考までに記載した。ステップS150では、身体撮影動画の各フレームから着目部位に該当する各部分P1〜P9の位置を特定し、ステップS130によって検出した頭部の動きに基づいて、各部分P1〜P9の位置の動きを推定する。
フレームにおいて各着目部位を認識する手法は、いわゆるパターン認識によって行う。なお、フレームに写っていない着目部位が存在する場合には、その着目部位は予測によって求める。身体撮影動画を得た身体撮影用カメラ62、63は、9軸センサー66が固定されていると同じ頭部装着型表示装置100に固定されていることから、9軸センサー66と同じ動きをする。一方、各フレームから各部分P1〜P9の2次元座標(X軸方向、Y軸方向)上の位置を求めることができ、また、身体撮影用カメラ62、63は左右の2台あることから、各部分P1〜P9のZ軸方向(下向き)の位置を求めることができる。したがって、ステップS130によって検出した頭部の動きから、各部分P1〜P9についてのX、Y、Z軸方向の位置の動きが推定可能となる。ここで言う動きとは、位置移動(位置、速度、加速度)、および向きである。こうして得られた頭部の動きは、記憶部120内のDRAMに格納される。
図5のステップS150の実行後、CPUは、ステップS130によって検出された頭部の動きと、ステップS150によって抽出した各着目部位の動きとに基づいて、使用者のターン滑走時のイラスト動画を作成する(ステップS160)。
図8は、イラスト動画の一例を示す説明図である。イラスト動画は、線画IVfを載せた静止画(フレーム)を複数集めたもので、図8には1枚のフレームFLが示されている。線画IVfは、スキーする人物を示すもので、3D立体画像である。人物のスキー板の先端部分、左スキー板の先端部分、右スキー靴の先端部分、左スキー靴の先端部分、右膝部分、左膝部分、右手首部分、左手首部分、およびへそ部分の各位置が、ステップS150によって記憶部120に格納された各部分P1〜P9の位置と一致するように、さらに、人物の頭部の位置が、ステップS130によって記憶部120に格納された頭部の位置P0と一致するようにして、線画IVfは作成される。この結果、ステップS120によって撮影した使用者自身の身体撮影動画をイラスト化したイラスト動画が得られることになる。この得られたイラスト動画は、1フレーム毎に記憶部120内のDRAMに格納される。なお、イラスト動画は、3D立体動画に換えて、2D平面動画としてもよい。
図5のステップS160の実行後、CPUは、ステップS130によって検出された頭部の動きと、ステップS150によって抽出した着目部位とに基づいて、手本動画格納データベース120aから一つのレコードを選択する(ステップS170)。
図9は、手本動画格納データベースのデータ構成を示す説明図である。手本動画格納データベース120aは、[種類]、[教示者動画データ]、[頭部位置/着目部位データ]といった3つのフィールドF1、F2、F3によってレコードを構成するデータベースであり、本実施形態では、第1ないし第3のレコードR1、R2、R3が蓄積されている。第1レコードR1は、習熟レベールが初等に相当するプルークボーゲンについてのものである。第2レコードR2は、習熟レベールが中等に相当するシュテムターンについてのものである。第3レコードR3は、習熟レベールが高等に相当するパラレルターンについてのものである。「プルークボーゲン」、「シュテムターン」、「パラレルターン」のそれぞれが、本発明の一形態における「体を動かす行為」の一種類に相当する。なお、「体を動かす行為」は、「身体的動作」と言うこともでき、また、「人間が随意筋を用いて行う動作」と言うこともできる。
講師である教示者は、プルークボーゲン、シュテムターン、およびパラレルターンのそれぞれを予め滑走しており、それを撮影用カメラで撮影したものが、[教示者動画データ]のフィールドF2に格納されている。また、教示者は、上記の各ターン滑走の際に、頭部と前述した身体の各部分P1〜P9に6軸センサーをそれぞれ装着しており、6軸センサーによってこれらの部分の動きを検出することができる。この検出された頭部の動きと各部分P1〜P9の動きが、[頭部位置/着目部位データ]のフィールドF3に格納される。なお、6軸センサーは、加速度(3軸)、角速度(3軸)を検出するモーションセンサーであり、9軸センサー66のように地磁気を検出する機能を備えていなくても、頭部および各部分P1〜P9の動きを検出することができる。なお、6軸センサーに換えて9軸センサーとすることもできる。手本動画格納データベース120aが、本発明の一形態における「参照画像記憶部」に相当する。
ステップS170では、ステップS130によって検出された頭部の動きと、ステップS150によって抽出した着目部位とを検索キーとして、3つのレコードR1〜R3の中から[頭部位置/着目部位データ]のフィールドF3の内容がこの検索キーと最も近いレコードを選択する。詳しくは、[頭部位置/着目部位データ]のフィールドF3の内容と検索キーとの比較を行うが、この比較は、着目部位毎に行い、各着目部位毎の偏差(ずれている距離)の総和が最も少ないものを「最も近い」関係にあるものとする。なお、着目部位によって重み付け係数が変わるようにして、重み付け係数に偏差を掛けて、その総和が最も少ないものを「最も近い」関係にあるものとしてもよい。検索キーである、ステップS130によって検出された頭部の動きとステップS150によって抽出した着目部位は、使用者が先に行なったターン滑走についてのものであり、ステップS170では、このターン滑走に最も近い種類の教示者のターン滑走のレコードが選択されることになる。例えば、使用者がプルークボーゲンのターン滑走を先に行った場合、プルークボーゲンについての教示者のターン滑走のレコードが選択されることになる。
図5のステップS170の実行後、CPUは、使用者によって操作される制御部10において、「再生」の選択肢M2(図6)を選択する操作を受け付けたか否かを判定する(ステップS180)。ここで、使用者により「再生」の選択肢M2の操作がなされて、受け付けたと判定されると、CPUは、ステップS160によって作成された使用者のイラスト動画を記憶部120から読み出して、画像表示部20に表示させる(ステップS190)。
図10は、ステップS190の実行後の使用者によって視認される視野VRの一例を示す説明図である。図示するように、使用者には、画像表示部20の光学像表示部26,28を透過した外景SCが視認されている。そして、ステップS190の結果、視野VRの一部分(例えば、左部分)に再生画面SR1が含まれる。この再生画面SR1に使用者のイラスト動画が表示される。すなわち、図8に例示した線画IVfによって構成されるイラスト動画IVが再生画面SR1に表示される。なお、本実施形態では、再生画面SR1に外景SCが透けて見える構成としたが、これに換えて、透けて見えない構成としてもよい。使用者は、スキー教習処理の第2段階として、自身のターン滑走や、手本となる教示者のターン滑走を見ることを行うが、ステップS190によれば、自身のターン滑走をイラスト動画の形で見ることができる。
一方、図5のステップS180で否定判定されたときには、CPUは、使用者によって操作される制御部10において、「再生(手本付き)」の選択肢M2(図6)を選択する操作を受け付けたか否かを判定する(ステップS200)。ここで、使用者により「再生(手本付き)」の選択肢M3の操作がなされて、受け付けたと判定されると、CPUは、ステップS170によって選択されたレコードの[教示者動画データ]フィールドF2に格納された教示者動画データを、手本動画格納データベース120aから読み出して、その教示者動画データとステップS160によって作成された使用者のイラスト動画とを画像表示部20に表示させる(ステップS210)。なお、ステップS150の処理、ステップS170の処理、およびステップS210の教示者動画データを読み出すまでの処理が、手本動画取得部166(図3)に相当する。
図11は、ステップS210の実行後の使用者によって視認される視野VRの一例を示す説明図である。図示するように、使用者には、画像表示部20の光学像表示部26,28を透過した外景SCが視認されている。そして、ステップS190の結果、視野VRの一部分(例えば、左部分)に再生画面SR2が含まれる。この再生画面SR2に、使用者のイラスト動画IVと、教示者動画データに基づく教示者動画MVとが並べて表示される。なお、本実施形態では、再生画面SR2に外景SCが透けて見える構成としたが、これに換えて、透けて見えない構成としてもよい。使用者は、スキー教習処理の第2段階として、自身のターン滑走と手本となる教示者のターン滑走とを併せて見ることできる。
図5のステップS200で否定判定されたときには、CPUは、使用者によって操作される制御部10において、「手本再生」の選択肢M2(図6)を選択する操作を受け付けたか否かを判定する(ステップS220)。ここで、使用者により「手本再生」の選択肢M4の操作がなされて、受け付けたと判定されると、CPUは、ステップS170によって選択されたレコードの[教示者動画データ]フィールドF2に格納された教示者動画データを、手本動画格納データベース120aから読み出して、その教示者動画データを手本動画として画像表示部20に表示させる(ステップS230)。ステップS230の結果、図10に示した視野VRにおいて、再生画面SR1には、使用者のイラスト動画IVに換えて図11に示した教示者動画MVが表示されることになる。
図5のステップS220で否定判定されたときには、CPUは、ステップS100に処理を戻して、ステップS100ないしS230の処理を繰り返し実行する。また、ステップS190、ステップS210、またはステップS230を終えた後も、CPUは、ステップS100に処理を戻して、ステップS100ないしS230の処理を繰り返し実行する。これにより、一旦作成したイラスト動画や取得した教示者動画を、次の録画がなされるまで何度でも再生することができる。
A−3.効果:
以上詳述したように、本実施形態の頭部装着型表示装置100によれば、右および左身体撮影用カメラ62、63によって撮影された、使用者が最初にターン滑走したときの肩から下の部分の動きと、9軸センサー66によって検出された、ターン滑走したときの頭部の動きとに基づいて、手本動画格納データベース120aから一つのレコードが選択され、そのレコードに記憶された教示者動画データが、画像表示部20に表示される。これにより、使用者は、「再生(手本付き)」あるいは「手本再生」の選択肢M3,M4を選択するといった簡単な操作を行うだけで、最初にターン滑走したときの種類と一致した種類の教示者動画MVを、画像表示部20で見ることができる。したがって、頭部装着型表示装置100は、練習しようとするターン滑走の種類に合った手本動画を、煩雑な操作を行うことなく表示できるという効果を奏する。
また、頭部装着型表示装置100によれば、「再生(手本付き)」の選択肢M3を選択する操作がなされた場合に、使用者の頭部と肩から下の部分の動きから作成した使用者のイラスト動画IVが、教示者動画MVに加えて画像表示部20に表示される。このために、使用者は、自身の滑りのイラスト動画IVと教示者動画MVとを比較して見ることができることから、学習効果を高めることができる。
A−4.変形例:
第1実施形態の変形例について、次に説明する。
・第1実施形態第1変形例:
第1実施形態では、「再生(手本付き)」の選択肢が選択されたときの再生画面SR2(図11)には、使用者のイラスト動画IVと教示者動画MVとが並んで表示される構成であったが、これに換えて、両者を重ねて表示する構成としてもよい。
図12は、第1実施形態第1変形例の再生画面SR3の表示の一例を示す説明図である。再生画面SR3には、使用者のイラスト動画IVと、教示者動画MVとが重ねて表示される。これにより、使用者は、自身の滑りのイラスト動画と教示者動画との比較が容易となり、学習効果をより高めることができる。なお、この変形例において、使用者のイラスト動画IVにおける所定部位(例えば、前述したP0〜P1に対応する位置)が、教示者動画MVにおける同じ位置に対して所定以上の大きさの差分となる場合には、その部位にマーカー等を表示し、使用者に注意を促す構成としてもよい。この構成によれば、学習効果をより一層、高めることができる。
・第1実施形態第2変形例:
第1実施形態では、画像表示部20に表示する教示者動画MVは、予め撮影用カメラで教示者を撮影したものである。これに対して、第2変形例では、教示者の動作を線画にて示すイラスト動画を教示者動画とする。例えば、図9の手本動画格納データベース120aを作成する際に、[頭部位置/着目部位データ]のフィールドF3に頭部の動きと各部分P1〜P9の動きを格納しているが、これらの動きのデータを用いて、第1実施形態において使用者のイラスト動画を作成するときと同じ手法で、教示者用のイラスト動画を作成する。この構成によれば、使用者は、教示者の動画を、自身のイラスト動画と同じイラスト化された線画にて見ることができる。
・第1実施形態第3変形例:
第1実施形態では、使用者についての各着目部位の動きを、身体撮影用カメラ62、63によって撮影した身体撮影動画と、9軸センサー66によって撮影した頭部の動きとに基づいて推定する構成としていた。これに換えて、第3変形例では、身体撮影用カメラ62、63を取り除いて、使用者の各着目部位としての部分P1〜P9に6軸センサーをそれぞれ装着して、各6軸センサーの検出結果から各着目部位の動きを求める構成とする。なお、各6軸センサーと制御部10との間は、無線LANやBluetooth(登録商標)などの無線通信によって接続されている。これらを除く構成については第1実施形態と同一である。こうした構成の第3変形例によれば、第1実施形態と同様の効果を奏することができる。
・第1実施形態第4変形例:
第1実施形態では、使用者についての各着目部位の動きを、身体撮影用カメラ62、63によって撮影した身体撮影動画と、9軸センサー66によって撮影した頭部の動きとに基づいて推定する構成としていた。これに換えて、第4変形例では、身体撮影用カメラ62、63だけで使用者についての各着目部位の動きを推定する構成としてもよい。
・第1実施形態第5変形例:
第1実施形態では、手本動画格納データベース120aに対する検索キーを頭部位置と着目部位との双方としたが、これに換えて、着目部位だけとしてもよい。この場合には、身体撮影用カメラ62、63によって撮影した、使用者の身体の肩から下の部分の動画だけから着目部位の動きを推定するようにし、その着目部位の動きに基づいて使用者のイラスト動画を作成するようにする。こうした構成の第4変形例によっても、第1実施形態と同様の効果を奏することができる。
・第1実施形態第6変形例:
第1実施形態では、身体撮影用カメラ62、63は光学像表示部26、28を支持するメガネ部分の両端に取り付けられているが、これに換えて、メガネ部分の他の位置、たとえばテンプルに取り付ける構成としてもよい。また、メガネ部分から離れた位置、例えばセットとなる帽子あるいはヘルメットに取り付ける構成としてもよい。また、身体撮影用カメラ62、63は、画像表示部を支持するメガネ部分に、撮影方向が下向きになるように取り付けられていたが、これに換えて、撮影方向が正面方向(画像表示部20の向き)等の他の方向になるように取り付けられた構成としてもよい。正面方向の場合には、身体撮影用カメラは超広角レンズを有するものとすることで、使用者の身体の肩から下の部分の動きを撮像することが可能となる。
B.第2実施形態:
次に、本発明の第2実施形態を説明する。第2実施形態は、本発明をゴルフ教習に利用したものである。第2実施形態の頭部装着型表示装置は、第1実施形態と同様に、制御部と画像表示部とを備える。第2実施形態の画像表示部は、第1実施形態の画像表示部20と比較して、右身体撮影用カメラ62および左身体撮影用カメラ63が取り除かれたことが相違し、その他の構成は同一である。その上で、第2実施形態の頭部装着型表示装置は、ゴルフクラブに取り付けられる6軸センサーを備える。
図13は、6軸センサーの使用状態を示す説明図である。図示するように、ゴルフクラブのシャフトSHに6軸センサー360が設けられている。6軸センサー360は、前述したように加速度(3軸)と角速度(3軸)を検出するモーションセンサーである。6軸センサー360と制御部との間は、無線通信によって接続されている。
制御部は、第1実施形態と同様に手本動画格納データベースを備える。本実施形態の手本動画格納データベースは、ゴルフ教習用のものであり、図14に示すデータ構成を有する。手本動画格納データベース220aは、[種類]、[教示者動画データ]、[スイングデータ]といった3つのフィールドF11、F12、F13によってレコードを構成するデータベースであり、本実施形態では、第1ないし第3のレコードR11、R12、R13が蓄積されている。第1レコードR11はアプローチショットについてのものであり、第2レコードR12はアイアンショットについてのものであり、第3レコードR13はドライバーショットについてのものである。「アプローチショット」、「アイアンショット」、「ドライバーショット」のそれぞれが、本発明の一形態における「体を動かす行為」の一種類に相当する。
講師である教示者は、アプローチショット、アイアンショット、ドライバーショットのそれぞれを予めスイングしており、それを撮影用カメラで撮影したものが、[教示者動画データ]のフィールドF12に格納されている。また、教示者は、上記の各スイングの際に、ゴルフクラブのシャフトに6軸センサーを取り付けており、6軸センサーによって取り付け部分の動きが検出されている。この検出された取り付け部分の動きが、[スイングデータ]のフィールドF13に格納されている。
第2実施形態においても、第1実施形態と同様に、使用者は、まず、学習したい種類の行為、すなわち、所定の種類のゴルフスイングを行う。この際、ゴルフスイングは、図13に示したように6軸センサー360をシャフトSHに取り付けて行う。6軸センサー360による検出データは、制御部に送られる。制御部は、その検出データを検索キーとして手本動画格納データベース220aの検索を行う。詳しくは、手本動画格納データベース220aに蓄積された3つのレコードR11〜R13の中から[スイングデータ]のフィールドF13の内容がこの検索キーと最も近いレコードを選択する。そして、その選択されたレコードに含まれる教示者動画データを、手本動画格納データベース220aから読み出して、画像表示部に表示させる。この表示の態様は、第1実施形態と同様に、教示者動画単体であってもよいし、使用者動画と並べてあるいは重ねるようにしてもよい。
以上のように構成された第2実施形態の頭部装着型表示装置によれば、簡単な操作を行うだけで、最初にゴルフスイングしたときの種類と一致した種類の教示者動画を、画像表示部で見ることができる。例えば、使用者がアイアンショットのゴルフスイングを先に行った場合、アイアンショットについての教示者の動画が画像表示部に表示されることになる。したがって、頭部装着型表示装置100は、練習しようとするゴルフスイングの種類に合った手本動画を、煩雑な操作を行うことなく表示できるという効果を奏する。
なお、第2実施形態の第1変形例として、制御部は、6軸センサー360の検出結果に基づき、ゴルフクラブおよび使用者の上半身の部位で構築される三次元二重振子モデルに従ってスイングにより生じる内力を特定する演算処理を行なう構成としてもよい。三次元二重振子モデルは、使用者の両肩を結ぶ線の中心と、使用者が握るゴルフクラブのグリップ部を結ぶ仮想線をモデルの一部とする。この演算処理の詳細については、特開2013−90862において開示されているので、詳しい説明は省略する。その上で、その特定された内力を図示化して、画像表示部に表示させる構成とする。また、教示者のゴルフスイングについても内力を特定するようにして、その特定された内力を図示化して、画像表示部に表示させる構成とする。この構成によれば、スイングにより生じる内力を図示化して表示することができることから、学習効果を高めることができる。
また、第2実施形態の第2変形例として、6軸センサ−を内蔵した腕時計あるいはリストバンドを用意し、ゴルフクラブに取り付けられた6軸センサ−に換えてこれらの6軸センサ−を用いる構成としてもよい。この構成によっても、第2実施形態と同一の効果を奏することができる。
C.第3実施形態:
第3実施形態は、第1実施形態の頭部装着型表示装置100をそのままゴルフ教習用として用いたものである。第3実施形態では、図9の手本動画格納データベース120aをゴルフ用に変更するだけで対応することができる。図15は、ゴルフ用の手本動画格納データベース320aのデータ構成を示す説明図である。このゴルフ用の手本動画格納データベース320aは、図14に示した手本動画格納データベース220aと比較して、[頭部位置/着目部位データ]のフィールドF23が相違し、[種類]、[教示者動画データ]のフィールドF11、F12は同一である。[頭部位置/着目部位データ]のフィールドF23には、ゴルフスイングした教示者についての第1実施形態と同様のデータ(但し、着目部位はゴルフスイングにふさわしい部位)が格納される。かかる構成によっても、練習しようとするゴルフスイングの種類に合った手本動画を、煩雑な操作を行うことなく表示できる。
D.第4実施形態:
第4実施形態は、第2、第3実施形態と同様に、本発明をゴルフ教習に利用したものである。第4実施形態の頭部装着型表示装置は、第1実施形態と同様に、制御部と画像表示部とを備える。第4実施形態の画像表示部は、第1実施形態の画像表示部20と比較して、右身体撮影用カメラ62および左身体撮影用カメラ63が取り除かれたことが相違し、その他の構成は同一である。第4実施形態の制御部は、第1実施形態と同様に手本動画格納データベースを備える。
図16は、第4実施形態における手本動画格納データベース420aのデータ構成を示す説明図である。図示するように、手本動画格納データベース420aは、[種類]、[教示者動画データ]、[ボール/ヘッド相対位置データ]といった3つのフィールドF11、F32、F33によってレコードを構成するデータベースである。[種類]のフィールドF11には、第3実施形態の手本動画格納データベース320aと同様に、「アプローチショット」、「アイアンショット」、「ドライバーショット」を判別するデータが格納される。
講師である教示者は、アプローチショット、アイアンショット、ドライバーショットのそれぞれを予めスイングしており、それを外景撮影用カメラ61で撮影した動画が、[教示者動画データ]のフィールドF32に格納されている。ゴルフボールをショットするときには、ゴルフスイングの着目部位としてのゴルフクラブのヘッドの軌道を、使用者の視線方向を撮影する外景撮影用カメラ61で撮影可能なため、本実施形態では、外景撮影用カメラ61で撮影した動画を[教示者動画データ]のフィールドF32に格納するようにした。これにより、参照画像として、教示者の身体に付属する用具であるゴルフクラブ(特にヘッド)の動きを示す画像が記憶されることになる。さらに、各動画の各フレームからヘッドとゴルフボールとの間の相対位置を検出し、その検出したフレーム毎の相対位置を[ボール/ヘッド相対位置データ]のフィールドF33に格納するようにした。
第4実施形態においても、第1ないし第3実施形態と同様に、使用者は、まず、学習したい種類の行為、すなわち、所定の種類のゴルフスイングを行う。この際、制御部は、外景撮影用カメラ61で撮影を行い、その撮影によって得られた動画の各フレームからヘッドとゴルフボールとの間の相対位置を検出する。制御部は、その検出した相対位置の変化を検索キーとして手本動画格納データベース420aの検索を行う。詳しくは、手本動画格納データベース420aに蓄積された3つのレコードR11〜R13の中から[ボール/ヘッド相対位置データ]のフィールドF33の内容がこの検索キーと最も近いレコードを選択する。そして、その選択されたレコードに含まれる教示者動画データを、手本動画格納データベース420aから読み出して、画像表示部20に表示させる。この表示の態様は、第1実施形態と同様に、教示者動画単体であってもよいし、使用者動画と並べてあるいは重ねるようにしてもよい。
図17は、使用者によって視認される視野VRの一例を示す説明図である。図示するように、使用者には、画像表示部20の光学像表示部26,28を透過した外景SCとして、自身のアドレスしたゴルフクラブのシャフトとヘッドが視認される。本実施形態では、この外景SCに、AR(拡張現実感)画像であるヘッド軌跡ラインHLが重畳され得る構成とした。詳しくは、視野VRの中からゴルフボールGBの位置を特定し、上記検索によって選択されたレコードに含まれる[ボール/ヘッド相対位置データ]のフィールドF33に格納される相対位置データと上記ゴルフボールGBの位置に基づいて、ヘッド軌跡ラインHLの表示位置を算出し、その表示値位置にヘッド軌跡ラインHLを表示する。この表示するタイミングとしては、例えば、学習したい種類のゴルフスイングをした後においては、常に表示するようにする。
以上のように構成された第4実施形態の頭部装着型表示装置によれば、簡単な操作を行うだけで、最初にゴルフスイングしたときのショットの種類と一致した種類の教示者動画、すなわち教示者によるアドレスからインパクトした後までの参照画像を、画像表示部で見ることができる。したがって、頭部装着型表示装置100は、練習しようとするゴルフスイングの種類に合った参照画像を、煩雑な操作を行うことなく表示できるという効果を奏する。また、第4実施形態の頭部装着型表示装置によれば、その教示者動画から得られたヘッド軌跡ラインHLを、自身のアドレスした視野VRの中にAR画像として表示することもできることから、煩雑な操作を行うことなく、教習効果をより高めることができる。
第4実施形態では、外景撮影用カメラ61によって「身体動作検出部」の少なくとも一部を構成した。これに対して、第4実施形態の変形例として、腕時計型カメラを用意して、腕時計型カメラによって「身体動作検出部」の少なくとも一部を構成するようにしてもよい。
図18は、腕時計型カメラWVを示す説明図である。腕時計型カメラWVは、装着された状態で使用者がアドレスしたときに、ヘッド周辺を撮影可能な画角を有するもので、静止画および動画を撮影できる。ビデオカメラWVと頭部装着型表示装置の制御部との間は、無線通信によって接続されている。この腕時計型カメラを用いた構成によっても、第4実施形態と同一の効果を奏することができる。
また、腕時計型カメラは、腕から外して芝生上に置いて使用者を撮影する構成としてもよい。さらに、腕時計型カメラに換えて、ペンダントや、指輪、スマートフォン等にカメラを内蔵する構成としてもよい。
E.第5実施形態:
図19は、第5実施形態の頭部装着型表示装置300の概略構成を示す説明図である。第5実施形態は、本発明をバレエ教習に利用したものである。第5実施形態の頭部装着型表示装置は、第1実施形態と同様に、制御部310と画像表示部320とを備える。画像表示部320は、第1実施形態の画像表示部20と比較して、右身体撮影用カメラ62および左身体撮影用カメラ63が取り除かれたことが相違し、その他の構成は同一である。その上で、第5実施形態の頭部装着型表示装置300は、外部カメラ390を備える。外部カメラ390は、画像表示部320から離れた、使用者の全身を撮影可能な位置に配置されたWebカメラで、制御部310に対して無線通信によって接続されている。なお、外部カメラ390は、Webカメラ以外の無線接続カメラに換えることができる。また、無線通信によって接続されるものではなく、有線によって接続されるカメラとすることもできる。
制御部は、第1実施形態と同様に手本動画格納データベースを備える。手本動画格納データベースは、第1実施形態と同様に、[種類]、[教示者動画データ]、[頭部位置/着目部位データ]といった3つのフィールドから構成される(図9参照)。第5実施形態の手本動画格納データベースは、バレエ用のもので、[種類]のフィールドには、ステップの種類や、曲目等が格納される。教示者動画データおよび頭部位置/着目部位データは、第1実施形態と同様に作成される。なお、着目部位については、バレエにふさわしい部位となっている。
第5実施形態においても、第1実施形態と同様に、使用者は、まず、学習したい種類の行為、すなわち、所定の種類のバレエの踊りを行う。この際、この踊りを外部カメラ390によって撮影する。制御部は、外部カメラ390から撮影動画を受信し、撮影動画の各フレームから頭部と着目部位の動きを推定する。フレームにおいて各着目部位を認識する手法は、いわゆるパターン認識によって行う。フレームに写っていない着目部位が存在する場合には、その着目部位は予測によって求める。
こうして得られた使用者の頭部位置/着目部位データを検索キーとして前述した手本動画格納データベースの検索を行う。詳しくは、手本動画格納データベースに蓄積されたレコードの中から[頭部位置/着目部位データ]のフィールドの内容がこの検索キーと最も近いレコードを選択する。そして、その選択されたレコードに含まれる教示者動画データを、手本動画格納データベースから読み出して、画像表示部320に表示させる。画像表示部320への表示の態様は、図19に示すように、外部カメラ390によって得られた撮影動画である使用者動画MV2と並べて教示者動画MV1を表示する。なお、並べて表示する構成に換えて、使用者動画MV2と教示者動画MV1とを重ねて表示するようにしてもよい。また、使用者動画MV2だけを表示するようにしてもよい。
以上のように構成された第5実施形態の頭部装着型表示装置300によれば、簡単な操作を行うだけで、最初にバレエを踊ったときの種類と一致した種類の教示者動画を、画像表示部で見ることができる。したがって、頭部装着型表示装置300は、練習しようとするバレエの踊りに合った手本動画を、煩雑な操作を行うことなく表示できるという効果を奏する。
F.変形例:
なお、この発明は上記第1ないし第5実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
・変形例1:
上記実施形態や変形例では、手本動画格納データベースに格納される手本動画として、教示者を撮影した動画を用意する構成としたが、これに換えて、使用者自身の上手くいったときの動画を用意する構成としてもよい。要は、行為の参照となる身体の動きを示す動画(参照画像)であれば、いずれの動画であってもよい。また、参照画像は、身体の動きを示す動画に限る必要はなく、第4実施形態に例示したように、身体に付属する用具の動きを示す動画であってもよい。さらには、参照画像は、動画に限る必要もなく、複数枚の静止画のセット、あるいは1枚の静止画であってもよく、手本動画格納データベースには、それらが行為の種類毎に記憶されている。参照画像は、例えば、デモンストレーション画像、実演画像、シナリオ画像、お手本画像等であってもよい。
・変形例2:
上記実施形態や変形例では、体を動かす行為として、スキーについての行為、ゴルフについての行為、バレエについての行為にとしたが、これらに限る必要はない。例えば、武道、剣道、柔道、スノーボード、体操、茶道、華道、演劇、漆工芸、左官工事、電気工事、和裁、洋裁、料理作成、文字学習(書き順、形)、語学学習等についての行為とすることができる。さらには、手本動画記憶部に格納する手本動画は、スキーについての動画とスノーボードについての動画との組合せ等、複数の種目についての組合せとすることもできる。
・変形例3:
上記実施形態や変形例では、手本動画格納データベースを頭部装着型表示装置の制御部に備える構成としたが、これに換えて、頭部装着型表示装置の外部に設ける構成としてもよい。手本動画格納データベースを備えるサーバーを外部に設け、サーバーと頭部装着型表示装置の制御部との間をネットワークによって接続する。制御部は、図5のステップS150で求めた頭部の動きと着目部位の動きをサーバー側に送り、サーバーでステップS170の検索を行うようにする。かかる構成によれば、手本動画格納データベースの更新、削除、変更等を容易に行うことができる。
・変形例4:
上記実施形態や変形例では、身体動作検出部は、身体撮影用カメラやモーションセンサー、あるいは外部カメラとしたが、これらに限る必要はない。例えば、モーションセンサーに換えて筋電計を装着する構成とすることができる。筋電計は、装着された部位に電流を流し、発生した電圧値を検出することによって、その部位を動かすための筋肉の伸縮を特定する。筋電計によって、筋肉や骨格の動きを検出することができ、目標とする動きとの比較が可能となる。身体動作検出部は、要は、使用者の身体や、身体に付属するスキー板やゴルフクラブ等の用具のうちの少なくとも一部分の動きを検出することができれば、どのようなセンサーとすることもできる。さらには、身体動作検出部は、活動量計、心拍、呼吸等の身体の状態を検出するセンサーも含む構成とすることができる。活動量計や、心拍を検出するセンサー等は、腕時計や指輪に内蔵する構成、肌に貼り付ける構成としてもよい。これら構成によって、「もっとゆっくり呼吸してください」、「上半身の力を抜いてください」等の旨を、画像や音声でアナウンスすることが可能となる。さらに、身体動作検出部は、デプスセンサーとしてもよい。デプスセンサーは、奥行き(距離)センサーの一種である。なお、身体動作検出部は、これまでも説明してきたように、身体動作検出部は単一のセンサーを備える構成であってもよいし、複数のセンサーを備える構成であってもよい。例えば、活動量計と変位センサー、筋電計、GPS等を組み合わせる構成とすることができる。
・変形例5:
上記実施形態や変形例では、手本動画格納データベースから取得された教示者動画データを、手本動画としてそのまま画像表示部に表示させる構成としていた(図5のステップS230)が、これに換えて、教示者動画データに基づいて連続画像を作成し、その連続画像を表示させるようにしてもよい。
図20は、連続画像の一例を示す説明図である。手本動画格納データベースから取得された教示者動画データからフレーム(コマ)毎にフレーム画像を抽出し、それらフレーム画像を順に小刻みにずらしながら重ねて表示することによって、連続画像の表示が可能となる。また、自身の滑りのイラスト動画と教示者動画とを比較して、両者の差が大きい部位には、報知の図形(例えば、円)CRを表示させる構成としてもよい。また、図形を表示させる構成に換えて、音声によって、例えば「左かかとの位置が大きくずれています」と報知するようにしてもよいし、例えば「左かかとの位置が大きくずれています」というテキスト文字を表示するようにしてもよい。
また、イラスト動画と教示者動画とを特徴点の差による類似度として習熟度の評価の指標として求め、その指標を得点(例えば70点、100点)として表示するようにしてもよい。動作のスピード、フォーム、運動の質等の項目に分け評価してもよい。
・変形例6:
上記実施形態や変形例では、手本動画格納データベースから検索キーによって取得する手本動画は一つとしたが、これに換えて、検索キーによってヒットする手本動画を複数として複数の手本動画を手本動画格納データベースから取得する構成としてもよい。
・変形例7:
上記実施形態では、制御部10に操作部135を形成したが、操作部135の態様については種々変形可能である。例えば、制御部10とは別体で操作部135であるユーザーインターフェースがある態様でもよい。この場合に、操作部135は、電源130等が形成された制御部10とは別体であるため、小型化でき、使用者の操作性が向上する。また、操作部135の動きを検出する9軸センサーを操作部135に形成して、検出した動きに基づいて各種操作が行なわれることで、使用者は、感覚的に頭部装着型表示装置100の操作ができる。
・その他の変形例:
例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、例えば、画像生成部は、LCDに代えて、LCOS(Liquid crystal on silicon, LCoS は登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。
また、例えば、ヘッドマウントディスプレイは、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ヘッドマウントディスプレイは、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。
上記実施形態における頭部装着型表示装置100の構成は、あくまで一例であり、種々変形可能である。例えば、制御部10に設けられた方向キー16やトラックパッド14の一方を省略したり、方向キー16やトラックパッド14に加えてまたは方向キー16やトラックパッド14に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部10は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
また、画像表示部として、眼鏡のように装着する画像表示部20に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部が採用されてもよい。また、イヤホン32,34は適宜省略可能である。
また、上記実施形態において、頭部装着型表示装置100は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部160や音声処理部170は、CPU140がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
また、上記実施形態では、図1および図2に示すように、制御部10と画像表示部20とが別々の構成として形成されているが、制御部10と画像表示部20との構成については、これに限られず、種々変形可能である。例えば、画像表示部20の内部に、制御部10に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源130が単独で形成されて、交換可能な構成であってもよいし、制御部10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図3に示すCPU140が制御部10と画像表示部20との両方に形成されていてもよいし、制御部10に形成されたCPU140と画像表示部20に形成されたCPUとが行なう機能が別々に分けられている構成としてもよい。また、制御部10と画像表示部20とが一体化して、使用者の衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御部
11…決定キー
12…点灯部
13…表示切替キー
14…トラックパッド
15…輝度切替キー
16…方向キー
17…メニューキー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51,52…送信部
53,54…受信部
61…外景撮影用カメラ
62…右身体撮影用カメラ
63…左身体撮影用カメラ
66…9軸センサー
100…頭部装着型表示装置
110…入力情報取得部
120…記憶部
120a…手本動画格納データベース
130…電源
132…無線通信部
134…GPSモジュール
135…操作部
140…CPU
150…オペレーティングシステム
160…画像処理部
165…撮影部
166…手本動画取得部
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
MN…メニュー画面
M1〜M4…選択肢
MV…教示者動画
IV…イラスト動画

Claims (16)

  1. 体を動かす行為の上達を支援するための頭部装着型表示装置であって、
    外景を透過させるとともに、画像を形成する画像表示部と、
    使用者の身体および前記身体に付属する用具のうちの少なくとも一部分の動きを検出する身体動作検出部と、
    前記行為の参照となる参照画像を前記行為の種類毎に記憶する参照画像記憶部に対してアクセスを行い、前記身体動作検出部による検出結果に応じた1または複数の前記参照画像を取得する参照画像取得部と、
    前記取得された参照画像を前記画像表示部に形成させる表示制御部と、
    を備える、頭部装着型表示装置。
  2. 請求項1に記載の頭部装着型表示装置であって、
    前記参照画像は、身体の動きを示す画像である、頭部装着型表示装置。
  3. 請求項2に記載の頭部装着型表示装置であって、
    前記身体動作検出部は、前記画像表示部を支持するメガネ部分に取り付けられた身体撮影用カメラを含む、頭部装着型表示装置。
  4. 請求項3に記載の頭部装着型表示装置であって、
    前記身体撮影用カメラは、撮影方向が下向きとなるように取り付けられた、頭部装着型表示装置。
  5. 請求項4に記載の頭部装着型表示装置であって、
    前記身体動作検出部は、前記身体の特定部位に設けられ、前記特定部位の動きを検出するモーションセンサーを含む、頭部装着型表示装置。
  6. 請求項2から請求項5までのいずれか一項に記載の頭部装着型表示装置であって、
    前記参照画像としての画像は、動画であり、
    前記身体動作検出部の検出結果に基づいて、前記使用者のイラスト動画を作成する使用者動画作成部を備え、
    前記表示制御部は、前記参照画像に加えて、前記使用者のイラスト動画を形成させる、頭部装着型表示装置。
  7. 請求項2に記載された頭部装着型表示装置であって、
    前記身体動作検出部は、前記画像表示部を支持するメガネ部分から離れた位置に配置され、前記使用者を撮影する外部カメラを含む、頭部装着型表示装置。
  8. 請求項7に記載の頭部装着型表示装置であって、
    前記表示制御部は、前記参照画像に加えて、前記外部カメラによって撮影された前記使用者の画像を形成させる、頭部装着型表示装置。
  9. 請求項1に記載の頭部装着型表示装置であって、
    前記参照画像は、身体に付属する用具の動きを示す画像である、頭部装着型表示装置。
  10. 請求項9に記載の頭部装着型表示装置であって、
    前記身体動作検出部は、前記用具と前記用具が係わり合う対象物との間の相対位置を検出する、頭部装着型表示装置。
  11. 体を動かす行為の上達を支援するための頭部装着型表示装置であって、
    外景を透過させるとともに、画像を形成する画像表示部と、
    前記画像表示部を支持するメガネ部分に取り付けられた身体撮影用カメラと、
    前記身体撮影用カメラによって撮影された画像に基づいて使用者のイラスト動画を作成する使用者動画作成部と、
    前記行為の参照となる体の動きを示す動画を参照動画として記憶する参照動画記憶部から、前記参照動画を取得する参照動画取得部と、
    前記使用者のイラスト動画と前記参照動画とを前記画像表示部に形成させる表示制御部と、
    を備える、頭部装着型表示装置。
  12. 体を動かす行為の上達を支援するための頭部装着型表示装置であって、外景を透過させるとともに、画像を形成する画像表示部と、前記行為の参照となる参照画像を前記行為の種類毎に記憶する参照画像記憶部に対してアクセスを行い、所定の情報に応じた1または複数の前記参照画像を取得する参照画像取得部と、前記取得された参照画像を前記画像表示部に形成させる表示制御部と、を備える頭部装着型表示装置、とともに用いる検出装置であって、
    使用者の身体および前記身体に付属する用具のうちの少なくとも一部分の動きを検出し、前記検出の結果を、前記所定の情報として前記頭部装着型表示装置に送信する、検出装置。
  13. 外景を透過させるとともに、画像を形成する画像表示部を有し、体を動かす行為の上達を支援するための頭部装着型表示装置の制御方法であって、
    使用者の身体および前記身体に付属する用具のうちの少なくとも一部分の動きを検出し、
    前記行為の参照となる参照画像を前記行為の種類毎に記憶する参照画像記憶部に対してアクセスを行い、前記検出した前記動きに応じた1または複数の前記参照画像を取得し、
    前記取得された参照画像を前記画像表示部に形成させる、頭部装着型表示装置の制御方法。
  14. 外景を透過させるとともに、画像を形成する画像表示部を有し、体を動かす行為の上達を支援するための頭部装着型表示装置の制御方法であって、
    前記画像表示部を支持するメガネ部分から撮影を行い、
    前記撮影によって得られた動画に基づいて使用者のイラスト動画を作成し、
    前記行為の参照となる体の動きを示す動画を参照動画として記憶する参照動画記憶部から、前記参照動画を取得し、
    前記使用者のイラスト動画と前記参照動画とを前記画像表示部に形成させる、頭部装着型表示装置の制御方法。
  15. 外景を透過させるとともに、画像を形成する画像表示部を有し、体を動かす行為の上達を支援するための頭部装着型表示装置を制御するためのコンピュータープログラムであって、
    使用者の身体および前記身体に付属する用具のうちの少なくとも一部分の動きを検出する機能と、
    前記行為の参照となる参照画像を前記行為の種類毎に記憶する参照画像記憶部に対してアクセスを行い、前記検出した前記動きに応じた1または複数の前記参照画像を取得する機能と、
    前記取得された参照画像を前記画像表示部に形成させる機能と、
    をコンピューターに実現させる、コンピュータープログラム。
  16. 外景を透過させるとともに、画像を形成する画像表示部を有し、体を動かす行為の上達を支援するための頭部装着型表示装置を制御するためのコンピュータープログラムであって、
    前記画像表示部を支持するメガネ部分から撮影を行う機能と、
    前記撮影によって得られた動画に基づいて使用者のイラスト動画を作成する機能と、
    前記行為の参照となる体の動きを示す動画を参照動画として記憶する参照動画記憶部から、前記参照動画を取得する機能と、
    前記使用者のイラスト動画と前記参照動画とを前記画像表示部に形成させる機能と、
    をコンピューターに実現させる、コンピュータープログラム。
JP2015009373A 2014-06-06 2015-01-21 頭部装着型表示装置、検出装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム Withdrawn JP2016131782A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015009373A JP2016131782A (ja) 2015-01-21 2015-01-21 頭部装着型表示装置、検出装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム
CN201510205169.5A CN105301771B (zh) 2014-06-06 2015-04-27 头部佩戴型显示装置、检测装置、控制方法以及计算机程序
US14/718,732 US9720230B2 (en) 2014-06-06 2015-05-21 Head mounted display, detection device, control method for head mounted display, and computer program
US15/631,654 US10162408B2 (en) 2014-06-06 2017-06-23 Head mounted display, detection device, control method for head mounted display, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015009373A JP2016131782A (ja) 2015-01-21 2015-01-21 頭部装着型表示装置、検出装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム

Publications (1)

Publication Number Publication Date
JP2016131782A true JP2016131782A (ja) 2016-07-25

Family

ID=56434985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015009373A Withdrawn JP2016131782A (ja) 2014-06-06 2015-01-21 頭部装着型表示装置、検出装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム

Country Status (1)

Country Link
JP (1) JP2016131782A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019166238A (ja) * 2018-03-26 2019-10-03 株式会社エヌ・ティ・ティ・データ 動作模倣支援システム及び動作模倣支援装置
JP2019534062A (ja) * 2016-08-31 2019-11-28 グリーンコム カンパニー リミテッドGreencomm Co.,Ltd. フィットネスモニタリングシステム
WO2019235338A1 (ja) * 2018-06-06 2019-12-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020022072A1 (ja) * 2018-07-24 2020-01-30 パナソニックIpマネジメント株式会社 運動支援システム、運動支援プログラム、および、運動支援方法
JP2020103830A (ja) * 2018-12-28 2020-07-09 国立大学法人 筑波大学 面防具、動作記録システムおよび動作記録方法
JP2020175240A (ja) * 2017-09-04 2020-10-29 日本電信電話株式会社 解析用データ収集装置、その方法、プログラム、及びデータ構造
JP2020534041A (ja) * 2017-09-14 2020-11-26 株式会社ソニー・インタラクティブエンタテインメント パーソナルトレーナーとしてのロボット
JP7248353B1 (ja) 2022-02-22 2023-03-29 Necプラットフォームズ株式会社 ヒッティング解析システム及びヒッティング解析方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236505A (ja) * 2000-02-22 2001-08-31 Atsushi Kuroda 座標推定方法、座標推定装置および座標推定システム
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2009021914A (ja) * 2007-07-13 2009-01-29 Sony Corp 撮像表示システム、撮像表示装置、撮像表示装置の制御方法
JP2010164814A (ja) * 2009-01-16 2010-07-29 Brother Ind Ltd ヘッドマウントディスプレイ
JP2013034492A (ja) * 2011-08-03 2013-02-21 Jvc Kenwood Corp 表示装置及び表示方法
US20130095924A1 (en) * 2011-09-30 2013-04-18 Kevin A. Geisner Enhancing a sport using an augmented reality display
JP2014054303A (ja) * 2012-09-11 2014-03-27 Casio Comput Co Ltd 運動支援装置、運動支援方法及び運動支援プログラム
JP2014117563A (ja) * 2012-12-19 2014-06-30 Toshiba Home Technology Corp 調理器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236505A (ja) * 2000-02-22 2001-08-31 Atsushi Kuroda 座標推定方法、座標推定装置および座標推定システム
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2009021914A (ja) * 2007-07-13 2009-01-29 Sony Corp 撮像表示システム、撮像表示装置、撮像表示装置の制御方法
JP2010164814A (ja) * 2009-01-16 2010-07-29 Brother Ind Ltd ヘッドマウントディスプレイ
JP2013034492A (ja) * 2011-08-03 2013-02-21 Jvc Kenwood Corp 表示装置及び表示方法
US20130095924A1 (en) * 2011-09-30 2013-04-18 Kevin A. Geisner Enhancing a sport using an augmented reality display
JP2014054303A (ja) * 2012-09-11 2014-03-27 Casio Comput Co Ltd 運動支援装置、運動支援方法及び運動支援プログラム
JP2014117563A (ja) * 2012-12-19 2014-06-30 Toshiba Home Technology Corp 調理器

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019534062A (ja) * 2016-08-31 2019-11-28 グリーンコム カンパニー リミテッドGreencomm Co.,Ltd. フィットネスモニタリングシステム
JP2020175240A (ja) * 2017-09-04 2020-10-29 日本電信電話株式会社 解析用データ収集装置、その方法、プログラム、及びデータ構造
JP2020534041A (ja) * 2017-09-14 2020-11-26 株式会社ソニー・インタラクティブエンタテインメント パーソナルトレーナーとしてのロボット
JP7095073B2 (ja) 2017-09-14 2022-07-04 株式会社ソニー・インタラクティブエンタテインメント パーソナルトレーナーとしてのロボット
JP2019166238A (ja) * 2018-03-26 2019-10-03 株式会社エヌ・ティ・ティ・データ 動作模倣支援システム及び動作模倣支援装置
WO2019235338A1 (ja) * 2018-06-06 2019-12-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020022072A1 (ja) * 2018-07-24 2020-01-30 パナソニックIpマネジメント株式会社 運動支援システム、運動支援プログラム、および、運動支援方法
JPWO2020022072A1 (ja) * 2018-07-24 2021-08-05 パナソニックIpマネジメント株式会社 運動支援システム、運動支援プログラム、および、運動支援方法
JP2020103830A (ja) * 2018-12-28 2020-07-09 国立大学法人 筑波大学 面防具、動作記録システムおよび動作記録方法
JP7109082B2 (ja) 2018-12-28 2022-07-29 国立大学法人 筑波大学 面防具、動作記録システムおよび動作記録方法
JP7248353B1 (ja) 2022-02-22 2023-03-29 Necプラットフォームズ株式会社 ヒッティング解析システム及びヒッティング解析方法
JP2023122150A (ja) * 2022-02-22 2023-09-01 Necプラットフォームズ株式会社 ヒッティング解析システム及びヒッティング解析方法

Similar Documents

Publication Publication Date Title
CN105301771B (zh) 头部佩戴型显示装置、检测装置、控制方法以及计算机程序
JP6384131B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2016131782A (ja) 頭部装着型表示装置、検出装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム
CN106873778B (zh) 一种应用的运行控制方法、装置和虚拟现实设备
CN104076512B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
US20170221379A1 (en) Information terminal, motion evaluating system, motion evaluating method, and recording medium
KR101988110B1 (ko) 생체신호연동 가상현실 교육 시스템 및 방법
CN105377117B (zh) 基于用户的光学处方的头戴式显示器
KR102391405B1 (ko) 개선된 광학적 및 지각적 디지털 안경류
KR100943392B1 (ko) 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법
US8914472B1 (en) Experience sharing for training
CN103513421A (zh) 影像处理装置、影像处理方法及影像处理系统
CN104483753A (zh) 自配准透射式头戴显示设备
JP2015087921A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6470859B1 (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR20190038296A (ko) 화상 표시 시스템, 화상 표시 방법 및 화상 표시 프로그램
US20230015732A1 (en) Head-mountable display systems and methods
US11173375B2 (en) Information processing apparatus and information processing method
JP6582403B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
KR100917100B1 (ko) 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법
JP2008079917A (ja) トレーニングシステム
JP6451222B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2019160295A (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20190412