JP2013250847A - Information input/output device, and information input/output program - Google Patents
Information input/output device, and information input/output program Download PDFInfo
- Publication number
- JP2013250847A JP2013250847A JP2012125895A JP2012125895A JP2013250847A JP 2013250847 A JP2013250847 A JP 2013250847A JP 2012125895 A JP2012125895 A JP 2012125895A JP 2012125895 A JP2012125895 A JP 2012125895A JP 2013250847 A JP2013250847 A JP 2013250847A
- Authority
- JP
- Japan
- Prior art keywords
- light
- unit
- image
- headband
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、情報入出力装置、及び情報入出力プログラムに関する。 The present invention relates to an information input / output device and an information input / output program.
３次元空間における位置を示す情報を電磁波パルスにより送信するポインティングデバイス、及び物体情報センシング装置（情報入出力装置）が、特許文献１に開示されている。
A pointing device that transmits information indicating a position in a three-dimensional space by an electromagnetic wave pulse and an object information sensing device (information input / output device) are disclosed in
しかしながら、情報入出力装置は、ポインティングデバイスから送信された電磁波パルスを信号処理する信号処理部を備えることになる。これにより、情報入出力装置は、大型になってしまうという問題がある。 However, the information input / output device includes a signal processing unit that performs signal processing on the electromagnetic wave pulse transmitted from the pointing device. As a result, there is a problem that the information input / output device becomes large.
本発明は、前記の点に鑑みてなされたものであり、小型の情報入出力装置、及び情報入出力プログラムを提供することを目的とする。 The present invention has been made in view of the above points, and an object thereof is to provide a small information input / output device and an information input / output program.
本発明は、上記の課題を解決するためになされたものであり、点灯又は消灯する点灯部と、前記点灯部から入射された光を、入射方向に折り返す反射体を有する指示部と、前記点灯部の近傍から前記指示部を撮像することにより、前記反射体により折り返された光を撮像する撮像部と、前記折り返された光が撮像された画像に基づいて、前記指示部の位置を検出する処理部と、を備えることを特徴とする情報入出力装置である。 The present invention has been made to solve the above-described problems, and includes a lighting unit that is turned on or off, a pointing unit that includes a reflector that folds light incident from the lighting unit in an incident direction, and the lighting By picking up an image of the pointing unit from the vicinity of the unit, the position of the pointing unit is detected based on an imaging unit that captures the light reflected by the reflector and an image obtained by capturing the folded light An information input / output device comprising: a processing unit.
また、本発明は、コンピュータに、入射された光を入射方向に折り返す反射体を有する指示部を撮像することにより、前記反射体により折り返された光を撮像する手順と、前記折り返された光が撮像された画像に基づいて、前記指示部の位置を検出する手順と、を実行させるための情報入出力プログラムである。 In addition, the present invention provides a computer that images a pointing unit having a reflector that folds incident light in an incident direction, thereby imaging the light folded by the reflector, and the folded light includes: An information input / output program for executing a procedure for detecting the position of the instruction unit based on a captured image.
本発明によれば、情報入出力装置は、小型である。 According to the present invention, the information input / output device is small.
［第１実施形態］
本発明の第１実施形態について図面を参照して詳細に説明する。以下の説明においては、ＸＹＺ直交座標系を必要に応じて設定し、設定したＸＹＺ直交座標系を参照しつつ、各部の位置関係について説明する。
[First Embodiment]
A first embodiment of the present invention will be described in detail with reference to the drawings. In the following description, an XYZ rectangular coordinate system is set as necessary, and the positional relationship of each part will be described with reference to the set XYZ rectangular coordinate system.
以下では、水平面内の所定方向をＸ軸方向と称し、水平面内においてＸ軸方向と直交する方向をＹ軸方向と称し、Ｘ軸方向及びＹ軸方向と直交する鉛直方向をＺ軸方向と称する。また、Ｘ軸、Ｙ軸、及びＺ軸まわりの回転（傾斜）方向をそれぞれ、θＸ、θＹ、及びθＺ方向と称する。 Hereinafter, a predetermined direction in the horizontal plane is referred to as an X-axis direction, a direction orthogonal to the X-axis direction in the horizontal plane is referred to as a Y-axis direction, and a vertical direction orthogonal to the X-axis direction and the Y-axis direction is referred to as a Z-axis direction. . In addition, the rotation (inclination) directions around the X axis, Y axis, and Z axis are referred to as θX, θY, and θZ directions, respectively.
図１は、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）（情報入出力装置）の斜視図である。図１では、ディスプレイ本体２０の長手方向をＹ軸方向と称し、ヘッドバンド４０がユーザーの頭部を挟持する方向をＸ軸方向と称する。
FIG. 1 is a perspective view of a head mounted display (HMD) (information input / output device). In FIG. 1, the longitudinal direction of the display
まず、ヘッドマウントディスプレイ１の各部の構成について説明する。
ヘッドマウントディスプレイ１は、単眼式のヘッドマウントディスプレイであり、ユーザーの頭部に装着される。ヘッドマウントディスプレイ１は、ディスプレイ本体２０と、ヘッドバンド４０（装着部）とを備える。
First, the configuration of each part of the head mounted
The head mounted
ヘッドバンド４０は、ディスプレイ本体２０を着脱可能に支持する。
ディスプレイ本体２０は、装置本体部２１と、表示部６０とを有する。装置本体部２１は、主要回路を内蔵するとともに、操作部及び各種インターフェースを有する。
The
The display
以下では、装置本体部２１においてヘッドバンド４０により支持される側の端部（＋Ｙ側の端部）を基端部と称し、この基端部に対して反対側の端部（−Ｙ側の端部）を先端部と称する。また、ヘッドバンド４０に装置本体部２１が支持されている状態において、装置本体部２１のヘッドバンド４０側（＋Ｘ側）を内側と称し、ヘッドバンド４０に対して反対側（−Ｘ側）を外側と称する。
Hereinafter, the end (+ Y side end) of the apparatus
表示部６０は、装置本体部２１の先端部に連結される。
装置本体部２１は、概略板状の筐体を有する。装置本体部２１の筐体の外面には、メインスイッチ２８と、タッチスイッチ３４と、集音マイク２４とが、装置本体部２１の長手方向に沿って配置されている。
The
The apparatus
メインスイッチ２８は、ディスプレイ本体２０の電源のオンオフ操作を行うスイッチである。また、タッチスイッチ３４は、ユーザーが手指等で触れることにより、ヘッドマウントディスプレイ１の各種操作を行うことができるタッチパネルである。また、集音マイク２４は、環境音を集め、収音する外部マイクである。
The
図２は、ヘッドマウントディスプレイの背面側の斜視図である。図２では、ディスプレイ本体２０の長手方向をＹ軸方向と称し、ヘッドバンド４０がユーザーの頭部を挟持する方向をＸ軸方向と称する。
FIG. 2 is a rear perspective view of the head mounted display. In FIG. 2, the longitudinal direction of the
耳元スピーカー２３は、音声を出力する。耳元スピーカー２３は、装置本体部２１の基端部の内側に設けられている。耳元スピーカー２３は、ディスプレイ本体２０がヘッドバンド４０に支持されている場合、ユーザーの耳の近傍に配置される。
オーディオコネクター２６は、音声入出力端子である。オーディオコネクター２６には、ステレオイヤホンが接続される。
The
The
通話マイク３７は、装置本体部２１の先端部の内側に設けられている。通話マイク３７は、ユーザーの音声を収音する。
ヘッドバンドヒンジ３２は、ヘッドバンド４０とのジョイント部である。ヘッドバンドヒンジ３２は、連結孔３１を有する。
The
The
心拍数センサー１３７は、発光部と、受光部とを有する。心拍数センサー１３７の発光部は、例えば、発光ダイオードである。また、心拍数センサー１３７の受光部は、ユーザーの皮膚の内部で反射された光を検知する。心拍数センサー１３７は、装置本体部２１内面の中央部に設けられ、ユーザーの顔の表面に接触することで、ユーザーの心拍数を測定する。より具体的には、心拍数センサー１３７は、ユーザーの顔の血流の変化による反射光量の変化を検出することで、そのユーザーの心拍数を測定する。
The
心拍数センサー１３７は、ディスプレイ本体２０がヘッドバンド４０に支持されている場合、ユーザーの眼の近傍に配置されることがある。この場合でも、心拍数センサー１３７は、その発光部から赤外域の光を射出させることにより、ユーザーにまぶしさを感じさせることなく、ユーザーの心拍数をカウントすることができる。
The
ＵＳＢコネクター２５は、装置本体部２１の基端部の側端面に設けられる。ＵＳＢコネクター２５は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）デバイスの接続端子である。
ビデオコネクター２７は、映像入出力端子である。ビデオコネクター２７は、装置本体部２１の基端部の側端面に設けられる。
The
The
操作スイッチ３０（操作部）は、例えば、トラックボール及びスティックなどのポインティングデバイスである。操作スイッチ３０は、装置本体部２１の基端部の側端面、すなわち、表示部６０の画面に正対する位置に設けられる。これにより、操作スイッチ３０を介した操作の左右方向と、表示部６０の画面の左右方向とが一致するので、ユーザーは、画面を見ながら、操作スイッチ３０を直感的に操作することができる。
The operation switch 30 (operation unit) is, for example, a pointing device such as a trackball and a stick. The
ヘッドバンド４０は、ディスプレイ本体２０を、ユーザーの頭部に装着させることができる。また、ユーザーは、ヘッドバンド４０により装着されていないディスプレイ本体２０を、手に持った状態でも使用することができる。つまり、ユーザーは、ディスプレイ本体２０をヘッドバンド４０から必要に応じて外すことで、ディスプレイ本体２０を、小型軽量な状態で可搬することができる。
The
ヘッドバンド４０は、ヘッドパット（装着部材）４６と、ヘッドパット（装着部材）４７と、第１ヘッドバンド４３と、第２ヘッドバンド４４と、回動機構５６と、回動機構５７と、連結ピン４１とを有する。ヘッドバンド４０は、ユーザーの頭部を挟持することができる。
The
第１ヘッドバンド４３は、全体として円弧状を成す弾性部材である。第１ヘッドバンド４３の頂部には、第１ヘッドバンド４３を折り曲げるためのジョイント部４３ａが設けられている。
また、第１ヘッドバンド４３の一端には、回動機構５６を構成する軸受部４３ｂが設けられている。また、第１ヘッドバンド４３の他端には、回動機構５７を構成する軸受部４３ｃが設けられている。
The
Further, a bearing
軸受部４３ｂよりも更にバンド先端側には、ヘッドパット４６が接続される軸受部４３ｄが設けられている。また、軸受部４３ｃよりも更にバンド先端側には、ヘッドパット４７が接続される軸受部４３ｅが設けられている。
A bearing
第２ヘッドバンド４４は、全体として円弧状を成す弾性部材である。第２ヘッドバンド４４の頂部には、第２ヘッドバンド４４を折り曲げるためのジョイント部４４ａが設けられている。また、第２ヘッドバンド４４の一端には、回動機構５６を構成する軸部材４４ｂが設けられている。また、第２ヘッドバンド４４の他端には、回動機構５７を構成する軸部材４４ｃが設けられている。
The
また、第２ヘッドバンド４４は、ステンレス等の金属からなるバネ部材４８の表面が、樹脂等の柔軟な材料により被覆された構成を有する。ユーザーの頭部を挟持するバネ力は、第２ヘッドバンド４４のバネ部材４８により発生する。また、第２ヘッドバンド４４は、第１ヘッドバンド４３と比較して、広い幅に形成されている。これにより、ジョイント部４４ａの形成部分は、他のバンド部分よりも更に広く形成された標章表示部４９を有している。標章表示部４９には、シール又は印刷による製品タグ等が付される。なお、第２ヘッドバンド４４の全体は、金属で形成されていてもよい。
The
ヘッドパット４６は、ヘッドバンド４０の一端に設けられている。ヘッドパット４６は、板状の支持板４６ａと、弾性部材４６ｂとを有する。弾性部材４６ｂは、支持板４６ａの一面側に設けられ、断面アーチ状で比較的硬度の高い部材である。
The
連結ピン４１は、概略六角柱状である。連結ピン４１は、第１ヘッドバンド４３の一端に設けられた軸受部４３ｄに、軸支されている。連結ピン４１は、支持板４６ａの弾性部材４６ｂに対して反対側の面に、垂直な姿勢で立設されている。これにより、連結ピン４１は、ヘッドパット４６を回転可能に支持する。
The connecting
ヘッドパット４７は、ヘッドバンド４０の他端に設けられている。ヘッドパット４７は、板状の支持板４７ａと、弾性部材４７ｂとを有する。弾性部材４７ｂは、支持板４７ａの一面側に設けられ、断面アーチ状で比較的硬度の高い部材である。
The
回動機構５６は、第２ヘッドバンド４４を第１ヘッドバンド４３から離す方向に付勢する付勢機構である。また、回動機構５７は、第２ヘッドバンド４４の回動可能な角度範囲を規制する規制機構である。この構成により、第２ヘッドバンド４４は、回動機構５６により第１ヘッドバンド４３から離れる方向に回動付勢され、且つ、回動機構５７により第１ヘッドバンド４３に対して所定角度以内の範囲に回動規制される。これにより、第２ヘッドバンド４４は、第１ヘッドバンド４３に対して任意の角度で保持される。したがって、回動機構５６及び回動機構５７は、ヘッドバンド４０における角度保持機構として機能する。
The
図３は、ヘッドマウントディスプレイの装着形態を示す図である。ディスプレイ本体２０は、ヘッドバンド４０により、ユーザーの頭部に装着される。連結孔３１（図２を参照）に連結ピン４１（図２を参照）が挿入される際、ディスプレイ本体２０の向きが反転されても、ヘッドバンド４０がディスプレイ本体２０を支持することができるので、ヘッドマウントディスプレイ１は、ユーザーの頭部の左右どちらにディスプレイ本体２０が装着されても使用可能である。
FIG. 3 is a diagram illustrating a mounting form of the head mounted display. The display
図３（Ａ）には、ユーザーが右眼（右目）で表示部６０を見ている状態が示されている。一方、図３（Ｂ）には、ユーザーが左眼（左目）で表示部６０を見ている状態が示されている。ユーザーが右眼で表示部６０を見ている状態と、ユーザーが左眼で表示部６０を見ている状態とでは、ヘッドバンド４０に支持される装置本体部２１の向きは、反転されている。
FIG. 3A shows a state where the user is viewing the
図４は、ディスプレイ本体２０の水平断面図である。図４では、表示部６０のヘッドバンド４０側を内側と称し、ヘッドバンド４０側に対して反対側を外側と称する。図４（Ａ）には、表示部６０が収容されていない状態が示されている。一方、図４（Ｂ）には、表示部６０が収容されている状態が示されている。
FIG. 4 is a horizontal sectional view of the
装置本体部２１には、筐体２１Ａの長手方向に沿って延びる板状の回路基板２９と、バッテリー３３とが内蔵されている。また、回路基板２９には、制御回路（不図示）と、電源回路等（不図示）とが実装されている。また、ディスプレイ本体２０の各部は、配線（不図示）を介して電気的に接続されている。
The
タッチスイッチ３４は、装置本体部２１の外面に露出するよう配置されている。また、タッチスイッチ３４の内側には、表示パネル３６と、バックライト３５とが配置されている。表示パネル３６は、６４０×４８０画素を有する表示部である。表示パネル３６に表示される画像は、タッチスイッチ３４を透過して表示される。表示パネル３６及びバックライト３５は、例えば、液晶パネル、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル、又は電気泳動パネルである。
The
ヘッドバンドヒンジ３２は、筐体２１Ａに設けられた凹曲面状の収容部３２ａと、収容部３２ａに嵌合された球状部３２ｂとから成るボールジョイントである。球状部３２ｂは、球面状の側面部と、この側面部を挟むように互いに平行に形成された二つの平面部を有する。連結孔３１は、この二つの平面部を垂直に貫くように形成されている。また、連結孔３１は、軸方向視で六角形状（図２を参照）に形成されている。連結孔３１には、ヘッドバンド４０の連結ピン４１が挿入される。これにより、ヘッドバンド４０は、ディスプレイ本体２０を支持することができる。
The
ヘッドバンドヒンジ３２は、連結孔３１を中心とするＸ軸回り（図１では、Ａ方向）に回動可能に、ヘッドバンド４０にディスプレイ本体２０を支持させることができる。ヘッドバンド４０に支持されているディスプレイ本体２０の回動可能範囲は、例えば、２７０［度］である。ユーザーが右眼（右目）で表示部６０を見ている状態（図３（Ａ）を参照）と、ユーザーが左眼（左目）で表示部６０を見ている状態（図３（Ｂ）を参照）との切り替えは、ユーザーによる回動操作により実現される。
The
また、ヘッドバンドヒンジ３２は、ボールジョイントであるため、連結孔３１を中心とするＺ軸回り（図１では、Ｂ方向）に揺動可能である。ヘッドバンドヒンジ３２は、ディスプレイ本体２０と、ユーザーの眼及び耳との相対位置を、揺動操作によりユーザーに調整させることができる。
Further, since the
心拍数センサー１３７は、装置本体部２１の内面から突出するように設けられる。これにより、心拍数センサー１３７は、ヘッドマウントディスプレイ１が装着された際に、ユーザーの顔の表面に当接可能である。バッテリー３３は、一次電池、及び二次電池のいずれでもよい。
The
表示部６０は、装置本体部２１の先端部に連結されている。表示部６０は、上面視（Ｚ軸視）において湾曲した形状を有するアーム部材であり、装置本体部２１との連結部から先端側へ向かうに従い、内側に湾曲する形状を有する。表示部６０の内面には、ファインダー開口部６７が設けられている。また、表示部６０の外面には、カメラ６４が設けられている。
The
表示部６０は、ディスプレイヒンジ６１を介して、装置本体部２１と連結されている。ディスプレイヒンジ６１は、表示部６０の筐体６０Ａに形成された凹曲面状の収容部６１ａと、装置本体部２１に形成され収容部６１ａに嵌合された球状部６１ｂとからなるボールジョイントである。
The
ディスプレイヒンジ６１の球状部６１ｂは、装置本体部２１の外面の先端部に形成された傾斜面２１ａに設けられている。ここで、ディスプレイヒンジ６１の球状部６１ｂは、筐体２１Ａの長手方向に対して斜めに延びる傾斜面２１ａの法線方向（Ｙ’軸方向）に突出するように、設けられている。これにより、表示部６０は、ディスプレイヒンジ６１の球状部６１ｂに対してＹ’軸回りに、自由に回転可能である。
The
ディスプレイヒンジ６１の球状部６１ｂには、球状部６１ｂを高さ方向（Ｙ’軸方向）に貫通する貫通孔６１ｃが形成されている。表示部６０の内部と装置本体部２１の内部とは、貫通孔６１ｃを介して連通されている。また、貫通孔６１ｃには、ケーブル（不図示）が挿通される。回路基板２９と表示部６０の各部とは、この挿通されたケーブルを介して、電気的に接続される。
The
この構成により、表示部６０の各部は、回路基板２９の近傍に配置される。これにより、表示部の位置をＹ方向（図２を参照）に調整可能とする機構を、表示部６０に設けずに済む。また、表示部６０では、映像信号のケーブルが長く引き回されることがない。したがって、表示部６０は、映像信号にノイズが混入する可能性、及び、不要輻射が発せられる可能性を、極めて低く抑えることができる。
With this configuration, each part of the
表示部６０は、バックライト６２と、表示パネル６３と、カメラ６４と、プリズム６５と、反射ミラー６６と、前方ライト６８と、前方スピーカー７０と、結像レンズ７１と、撮像素子７２とを備える。
The
プリズム６５は、上面視（Ｚ軸視）で略三角形状の第１プリズム６５ａと、上面視（Ｚ軸視）で略三角形状の第２プリズム６５ｂとが、互いの面で貼り合わされた構成を有する。表示パネル６３は、第１プリズム６５ａにおいて貼り合わされていない二面のうち、一方の面に対向する位置に設けられる。表示パネル６３は、８００×４８０画素を有する表示部である。表示パネル６３は、例えば、液晶パネルである。また、表示パネル６３の背面には、表示パネル６３を透過照明するためのバックライト６２が配置される。また、第１プリズム６５ａにおいて貼り合わされていない他方の面に対向する位置には、反射ミラー６６が配置される。ここで、反射ミラー６６は、ファインダー開口部６７のほぼ正面の位置に配置される。
The
第２プリズム６５ｂにおいて貼り合わされていない二面のうち、一方の面は、ファインダー開口部６７のファインダー接眼面となる。また、第２プリズム６５ｂにおいて貼り合わされていない他方の面に対向する位置には、結像レンズ７１及び撮像素子７２が対向配置される。
Of the two surfaces that are not bonded to each other in the
表示部６０において、表示パネル６３に表示された画像は、その光学像が、第１プリズム６５ａ、反射ミラー６６、及び第２プリズム６５ｂを介して、ファインダー開口部６７から射出されることで、ユーザーに観察される。
In the
撮像素子７２は、ファインダー開口部６７を介して表示パネル６３を見ているユーザーの目元を、第２プリズム６５ｂ及び結像レンズ７１を介して撮像する。撮像された目元の画像は、ユーザーの視線方向、目の瞬き、及び表情を解析する際に用いられる。すなわち、撮像素子７２は、ユーザーの目元を撮像する撮像部として機能する。ここで、バックライト６２は、撮像素子７２がユーザーの目元を撮像する際に、そのユーザーの目元を照明するための照明装置としても利用される。
The
カメラ６４（撮像部）は、例えば、５００万画素〜１０００万画素の撮像素子を有し、オートフォーカス動作が可能である。また、カメラ６４の撮像方向は、ユーザーの視線方向と一致するように設定される。これにより、カメラ６４は、ヘッドマウントディスプレイ１を装着したユーザーの視線方向の映像を、撮像することができる。
The camera 64 (imaging unit) has, for example, an image sensor with 5 to 10 million pixels and can perform an autofocus operation. The imaging direction of the
ここで、カメラ６４の撮像方向と、ユーザーの視線方向との一致調整は、機械的に行ってもよいが、画像処理により行われてもよい。例えば、ユーザーの目元を広角撮像した画像から、ユーザーの視線方向の情報が画像処理により取得されることで、ユーザーの視線方向の映像は、カメラ６４が撮像した映像から抜き出されてもよい。これにより、表示パネル６３は、その抜き出された映像を表示することができる。つまり、ユーザーの視線方向の映像は、カメラ６４に調整機構を設けることなく、撮像及び表示されることが可能となる。
Here, the matching adjustment between the imaging direction of the
前方ライト６８は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ライトである。前方ライト６８は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光（点灯）させることが可能である。例えば、前方ライト６８は、発光色及び発光タイミングにより、外部に対して情報を表示する装置として用いられる。また、例えば、前方ライト６８は、カメラ６４が撮像する際に、照明装置として用いられてもよい。
The
図５は、ヘッドバンドの斜視図である。図５（Ａ）は、開いた状態のヘッドバンド４０の斜視図である。ここで、円弧高さｒ１は、同軸に配置された回動機構５６及び回動機構５７の回転軸Ｌの中央位置Ｃから、第１ヘッドバンド４３までの距離の最大値である。また、円弧高さｒ２は、回転軸Ｌの中央位置Ｃから、第２ヘッドバンド４４までの距離の最大値である。第１ヘッドバンド４３の円弧高さｒ１は、第２ヘッドバンド４４の円弧高さｒ２よりも低い。これにより、第１ヘッドバンド４３と第２ヘッドバンド４４とが交差するように移動されても、第１ヘッドバンド４３と第２ヘッドバンド４４とは、互いに干渉することなく、その位置の前後関係が入れ替わる。
FIG. 5 is a perspective view of the headband. FIG. 5A is a perspective view of the
なお、ヘッドバンド４０は、第１ヘッドバンド４３の円弧高さｒ１を、第２ヘッドバンド４４の円弧高さｒ２よりも長くすることにより、第２ヘッドバンド４４を第１ヘッドバンド４３の内側で揺動させる構成とされてもよい。
Note that the
また、第１ヘッドバンド４３及び第２ヘッドバンド４４は、折り畳み（開閉）可能な構成を有する。図５（Ｂ）は、わずかに開いた状態（折り畳み途中状態）のヘッドバンド４０の斜視図である。また、図５（Ｃ）は、閉じた状態（折り畳み状態）のヘッドバンド４０の斜視図である。
The
ジョイント部４３ａは、第１ヘッドバンド４３の中央から、ヘッドパット４７寄りの位置に設けられている。また、ジョイント部４４ａは、第２ヘッドバンド４４の中央から、ヘッドパット４７寄りの位置に設けられている。また、第１ヘッドバンド４３又は第２ヘッドバンド４４のうち、ヘッドパット４７に接続される側のバンドが内側になるように、ジョイント部４３ａ及びジョイント部４４ａのヒンジが連結されている。
The
この構成により、閉じた状態（折り畳み状態）において、ヘッドパット４６の内側（弾性部材４６ｂ側）に、ヘッドパット４７が配置される。これにより、ヘッドパット４６に突設された連結ピン４１が邪魔にならないようコンパクトに、ヘッドバンド４０は折り畳まれることができる。
With this configuration, the
ヘッドバンド４０を折り畳むには、まず、ユーザーは、開いた状態（図５（Ａ）を参照）から、第２ヘッドバンド４４を第１ヘッドバンド４３に近づけるように移動させる。次に、ユーザーは、第１ヘッドバンド４３に設けられたジョイント部４３ａ、及び第２ヘッドバンド４４に設けられたジョイント部４４ａを、それぞれ折り曲げることで、ヘッドパット４７をヘッドパット４６側へ移動させ、わずかに開いた状態（図５（Ｂ）を参照）にする。さらに、ユーザーは、ジョイント部４３ａ及びジョイント部４４ａを折り曲げることで、ヘッドパット４６及びヘッドパット４７が重なる位置（閉じた状態（図５（Ｃ）を参照）まで、ヘッドバンド４０を折り畳むことが可能である。
To fold the
一方、閉じた状態（折り畳み状態）から、開いた状態にヘッドバンド４０を戻すには、ユーザーは、閉じた状態（折り畳み状態）から、わずかに開いた状態に、ヘッドバンド４０の状態を移行させるだけでよい。第２ヘッドバンド４４は、第１ヘッドバンド４３から離れる方向に、回動機構５６により付勢されている。このため、ヘッドバンド４０は、わずかに開いた状態（図５（Ｂ）を参照）に戻されるだけで、ジョイント部４３ａ及びジョイント部４４ａが開く方向に付勢力が作用し、開いた状態に復元される。さらに、ヘッドバンド４０は、回動機構５６の付勢力によって、第２ヘッドバンド４４が揺動され、開いた状態（図５（Ａ）を参照）から、ユーザーの頭部への装着が可能な状態（図２を参照）（以下、「展開状態」という）に展開される。
On the other hand, in order to return the
ここで、第２ヘッドバンド４４に付勢力を作用させる回動機構５６は、第１ヘッドバンド４３に対して、前後両方向に付勢力を作用させるトグル構造を有している。回動機構５６の付勢方向を切り替えるには、第１ヘッドバンド４３と第２ヘッドバンド４４との位置の前後関係は、入れ替えられる必要がある。一方、ユーザーは、開いた状態（図５（Ａ）を参照）から閉じた状態（図５（Ｃ）を参照）に、ヘッドバンド４０を移行させる際、第１ヘッドバンド４３と第２ヘッドバンド４４との位置の前後関係を、入れ替える必要がない。つまり、ユーザーは、第１ヘッドバンド４３と第２ヘッドバンド４４を近づけて、ジョイント部４３ａ及びジョイント部４４ａを折り曲げるだけで、わずかに開いた状態（図５（Ｂ）を参照）に、ヘッドバンド４０を移行させることができる。
Here, the
そのため、ヘッドバンド４０が展開状態から折り畳まれ、再び展開状態に戻された場合、回動機構５６の付勢方向が切り替わることは、ほとんど無い。したがって、ヘッドバンド４０が展開状態から折り畳まれ、再び展開状態に戻された場合、第１ヘッドバンド４３と第２ヘッドバンド４４との位置の前後関係が入れ替わってしまうことは、ほとんど無い。例えば、ユーザーが、右眼で表示部６０を見ている状態（図３（Ａ）を参照）から、ヘッドバンド４０を頭部から外し（図１を参照）、展開状態から折り畳んで、再び展開状態に戻せば、ヘッドバンド４０は、ユーザーが右眼で表示部６０を見ることができる状態（図１を参照）に戻る。
Therefore, when the
図６は、ポインティングデバイスとしてのリモコンの斜視図である。ユーザーは、ポインティングデバイスとしてのリモコン１４０を手に持って移動させることで、３次元空間における位置（ポインティングされた位置）を、リモコン１４０の位置により示すことができる。
FIG. 6 is a perspective view of a remote controller as a pointing device. The user can indicate the position (pointed position) in the three-dimensional space by the position of the
リモコン１４０は、筐体１４０Ａと、タッチパッド１４１と、ＵＳＢコネクター１４２と、インジケーター１４３と、取付クリップ１４４と、操作スイッチ１４７と、インジケータースイッチ１５０ａ〜１５０ｂと、コーナーキューブ１５１ａ〜１５１ｂとを備える。また、リモコン１４０は、リモコン１４０を総合的に制御するリモコン処理部（不図示）を備える。
The
ＵＳＢケーブル１４８の一方の端子がＵＳＢコネクター１４２に接続され、且つ、ＵＳＢケーブル１４８の他方の端子が、装置本体部２１のＵＳＢコネクター２５（図２を参照）に接続されることで、リモコン１４０は、装置本体部２１と電気的に接続される。ＵＳＢケーブル１４８は、ＵＳＢ規格に準拠しているケーブルである。ＵＳＢケーブル１４８の途中には、複数のクリップ１４９が設けられている。複数のクリップ１４９は、例えば、ＵＳＢケーブル１４８を第２ヘッドバンド４４（図２を参照）に沿わせた状態で固定するために用いられる。
One terminal of the
リモコン１４０には、ディスプレイ本体２０などの他の電子機器と無線通信を行うための通信回路が内蔵されている。この通信方式としては、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、赤外線通信、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、「Ｔｒａｎｓｆｅｒ Ｊｅｔ」などが用いられる。これにより、リモコン１４０は、ＵＳＢケーブル１４８が接続されていなくても、ディスプレイ本体２０と通信することができる。
The
リモコン１４０には、加速度センサー（Ｇセンサー）、角速度センサー、及び、方位センサーが内蔵されていてもよい。これらのセンサーに検出された情報は、通信回路を介して、ディスプレイ本体２０に通信可能である。
The
タッチパッド１４１は、筐体１４０Ａの一方の主面としての筐体面１５２ａに設けられている。タッチパッド１４１は、ユーザーがタッチすることにより、ユーザーがディスプレイ本体２０を操作するための操作部である。また、筐体１４０Ａの内部における、タッチパッド１４１の背面側には、装置本体部２１のタッチスイッチ３４（図４を参照）と同様に、表示パネル及びバックライトが設けられてもよい。
The
ＵＳＢコネクター１４２は、装置本体部２１と電気的に接続されるほか、パーソナルコンピュータ（ＰＣ）と電気的に接続される。また、ＵＳＢコネクター１４２は、リモコン１４０が充電式のバッテリーを内蔵している場合、そのバッテリーに充電するための充電端子となる。また、ＵＳＢコネクター１４２は、リモコン１４０が充電式のバッテリーを内蔵している場合、そのバッテリーから装置本体部２１に給電するための給電端子となる。リモコン１４０から装置本体部２１に給電可能にすることで、装置本体部２１は、バッテリー容量が小さくてもよいので、小型軽量化される。
The
操作スイッチ１４７は、リモコン１４０及びディスプレイ本体２０を手動操作するためのスイッチである。なお、操作スイッチ１４７は、必須構成ではない。
取付クリップ１４４は、タッチパッド１４１に対して筐体１４０Ａを挟んだ反対側の面に設けられている。取付クリップ１４４は、一端を筐体１４０Ａに固定された側面視Ｓ形のバネ板部材である。取付クリップ１４４は、ユーザーの衣服又はベルト等に、リモコン１４０を装着させる。
The
The
インジケータースイッチ１５０ａは、インジケーター１４３の所定動作（例えば、青色のパターン発光）を行わせるためのスイッチである。インジケータースイッチ１５０ａは、筐体１４０Ａの筐体面１５２ｂに設けられる。
The
インジケータースイッチ１５０ｂは、インジケーター１４３の所定動作（例えば、赤色のパターン発光）を行わせるためのスイッチである。インジケータースイッチ１５０ｂは、筐体面１５２ｂとは反対側の筐体面に設けられる。
The
インジケーター１４３は、コーナーキューブ１５１の近傍に配置されている。図６では、インジケーター１４３は、タッチパッド１４１の一辺に沿う位置に配置されている。インジケーター１４３は、ＬＥＤ等の発光素子を備える。インジケーター１４３は、例えば、赤色、青色及び緑色の発光素子を備える。
The
インジケーター１４３は、リモコン処理部（不図示）により制御されたタイミングパターンで、パターン発光する。インジケーター１４３は、インジケータースイッチ１５０ａが操作されることにより（パーソナルコンピュータでいうマウス操作の左クリックに相当）、パターン発光（例えば、青色の点滅）がオンオフされる。また、インジケーター１４３は、インジケータースイッチ１５０ｂが操作されることにより（パーソナルコンピュータでいうマウス操作の右クリックに相当）、パターン発光（例えば、赤色の点滅）がオンオフされる。
The
これらのパターン発光は、リモコン１４０の状態を示す。ここで、リモコン１４０の状態とは、例えば、左クリック操作された状態、又は、右クリック操作された状態である。これらのパターン発光が装置本体部２１のカメラ６４により撮像され、撮像されたパターン発光が装置本体部２１に解析されることにより、リモコン１４０の状態を示す情報は、装置本体部２１に伝達される。パターン発光を利用した情報伝達により、リモコン１４０は、無線通信を用いた場合と比較して、消費電力を抑えることができる。右クリック又は左クリックは、瞬間的な動作であるため、リモコン１４０の消費電力への影響がほとんどない。また、インジケーター１４３がパターン発光するので、単に発光する場合と比較して、インジケーター１４３の位置は検出され易い。
These pattern emissions indicate the state of the
コーナーキューブ１５１ａは、互いに直交する３枚の鏡面を有するプリズムである。コーナーキューブ１５１ａは、これらの鏡面による光の全反射により、入射光を１８０［度］折返すことができる。コーナーキューブ１５１ａは、筐体面１５２ａの法線に対して４５［度］以内から入射した光を、１８０［度］折返すことができる。
The
また、コーナーキューブ１５１ｂは、互いに直交する３枚の鏡面を有するプリズムである。コーナーキューブ１５１ｂは、これらの鏡面による光の全反射により、入射光を１８０［度］折返すことができる。コーナーキューブ１５１ｂは、筐体面１５２ｂの法線に対して４５［度］以内から入射した光を、１８０［度］折返すことができる。
The
図７は、コーナーキューブによる反射を説明するための図である。コーナーキューブ１５１ａ及びコーナーキューブ１５１ｂは、同構成を有するので、図７では、コーナーキューブ１５１ａについてのみ説明する。
FIG. 7 is a diagram for explaining reflection by a corner cube. Since the
カメラ６４及び前方ライト６８は、互いに近接して配置されている（図４を参照）。図７（Ａ）は、カメラ６４及び前方ライト６８に対して傾いていないコーナーキューブ１５１ａによる反射を説明するための図である。前方ライト６８は、処理部１２３による制御に応じて点灯する。前方ライト６８からコーナーキューブ１５１ａに入射された光は、コーナーキューブ１５１ａにより１８０［度］折返される。また、カメラ６４は、コーナーキューブ１５１ａにより１８０［度］折返された光を撮像する。
The
一方、図７（Ｂ）は、カメラ６４及び前方ライト６８に対して傾いているコーナーキューブ１５１ａによる反射を説明するための図である。前方ライト６８は、処理部１２３による制御に応じて点灯する。前方ライト６８からコーナーキューブ１５１ａに入射された光は、カメラ６４及び前方ライト６８に対して傾いているコーナーキューブ１５１ａにより１８０［度］折返される。カメラ６４は、コーナーキューブ１５１ａにより１８０［度］折返された光を撮像する。
On the other hand, FIG. 7B is a diagram for explaining the reflection by the
図８は、ステレオイヤホンを示す斜視図である。ステレオイヤホン１００は、コネクター１０１と、ケーブル１０２と、第１スピーカー１０３と、第２スピーカー１０４と、集音マイク１０５と、複数のクリップ１０６とを有する。
FIG. 8 is a perspective view showing a stereo earphone.
コネクター１０１は、ケーブル１０２の一方の端部に設けられている。コネクター１０１は、例えば、４極φ３．５ｍｍのミニプラグである。ここで、４極の内訳は、集音マイク１０５、第１スピーカー１０３、第２スピーカー１０４、及び、グランド（ＧＮＤ）である。ケーブル１０２は、コネクター１０１の近傍において二分岐されている。ケーブル１０２の一方の端部には、第１スピーカー１０３が設けられている。また、ケーブル１０２の他方の端部には、第２スピーカー１０４が設けられている。また、複数のクリップ１０６は、ケーブル１０２上に、所定の間隔で配置されている。
The
ステレオイヤホン１００は、ディスプレイ本体２０のオーディオコネクター２６（図２を参照）に、コネクター１０１が接続された状態で使用される。オーディオコネクター２６にコネクター１０１が接続された場合、第１スピーカー１０３、第２スピーカー１０４、及び集音マイク１０５は、有効化される。
The
また、オーディオコネクター２６にコネクター１０１が接続された場合、ディスプレイ本体２０の耳元スピーカー２３（図２を参照）、及び、表示部６０の通話マイク３７（図４を参照）は、無効化される。ここで、表示部６０の前方スピーカー７０（図４を参照）は、必要に応じて無効化される。
When the
第１スピーカー１０３は、ディスプレイ本体２０が配置された側のユーザーの耳に装着される。一方、第２スピーカー１０４は、第１スピーカー１０３とは反対側の耳に装着される。ここで、ケーブル１０２は、クリップ１０６により、第２ヘッドバンド４４に固定されてもよい。
The
また、集音マイク１０５と、ディスプレイ本体２０の集音マイク２４（図１を参照）とにより、ステレオ録音が可能である。ユーザーが右眼で表示部６０を見ている場合（図３（Ａ）を参照）、集音マイク２４がユーザーの右側から収音し、左耳に装着されている集音マイク１０５がユーザーの左側から収音することにより、ステレオ録音は可能である。この場合、第１スピーカー１０３は、右チャンネルの音声を出力する。また、第２スピーカー１０４は、左チャンネルの音声を出力する。
Further, stereo recording can be performed by the
一方、ユーザーが左眼で表示部６０を見ている場合（図３（Ｂ）を参照）、集音マイク２４がユーザーの左側から収音し、右耳に装着されている集音マイク１０５がユーザーの右側から収音することにより、ステレオ録音は可能である。この場合、第１スピーカー１０３は、左チャンネルの音声を出力する。また、第２スピーカー１０４は、右チャンネルの音声を出力する。
On the other hand, when the user is viewing the
また、集音マイク２４及び集音マイク１０５は、いずれもユーザーの耳の近傍に配置されるため、バイノーラル録音のような臨場感のある録音が可能である。なお、集音マイク２４の特性と集音マイク１０５の特性とが近い場合、右チャンネルの音声と、左チャンネルの音声との差異は小さくなる。
Further, since both the
図９は、ヘッドマウントディスプレイの機能ブロック図である。ヘッドマウントディスプレイ１（ディスプレイ本体２０）は、バックライト３５と、バックライト６２と、バッテリー３３と、ＢＬドライバ１２６と、電源回路１２０と、表示パネル３６と、表示パネル６３と、ＬＣＤドライバ１２５と、耳元スピーカー２３と、スピーカーアンプ１６２と、前方スピーカー７０と、ビデオコネクター２７と、デコーダー１２１と、カメラ６４と、撮像素子７２と、集音マイク２４と、通話マイク３７と、オーディオコネクター２６と、レーザー発振器７３と、角速度センサー１３４と、ＧＰＳセンサー１３５と、温湿度センサー１３６と、心拍数センサー１３７と、メモリー１２７と、メインスイッチ２８と、タッチスイッチ３４と、エンコーダー１２９と、３Ｇ／ＬＴＥ通信回路１３８と、前方ライト６８と、地磁気センサー１３３と、加速度センサー１３２と、ＷｉＦｉ通信回路１３１と、ＢＴ通信回路１３０と、フラッシュメモリー１２２と、操作スイッチ３０と、処理部１２３と、を備える。
FIG. 9 is a functional block diagram of the head mounted display. The head mounted display 1 (display main body 20) includes a
バッテリー３３は、電源回路１２０を介して、ヘッドマウントディスプレイ１の各部に電力を供給する。
電源回路１２０は、バッテリー３３から供給された電力の制御（例えば、電圧の変換、供給オンオフ）を、処理部１２３から供給される制御信号に基づいて実行する。
The
The
メモリー１２７は、処理部１２３が実行する制御プログラムを、予め記憶する。
メインスイッチ２８は、装置全体の電源のオンオフを行うためのスイッチであり、ユーザーが操作することにより、その操作に基づく制御信号を処理部１２３に供給する。
操作スイッチ３０は、画面内でのポインティング操作を行うためのスイッチであり、ユーザーが操作することにより、その操作に基づく制御信号を処理部１２３に供給する。
タッチスイッチ３４は、タッチ操作により各種の操作入力を行うスイッチであり、操作入力に基づく制御信号を処理部１２３に供給する。
The
The
The
The
なお、ディスプレイ本体２０は、ユーザーの右側又は左側のいずれに装着された場合でも（図３を参照）、メインスイッチ２８、操作スイッチ３０、及びタッチスイッチ３４を介した操作入力により操作可能である。
Note that the display
加速度センサー１３２（Ｇセンサー）は、加速度の方向（例えば、重力方向）を検出し、検出した加速度の方向の情報（以下、「加速度情報」という）を処理部１２３に供給する。供給された加速度情報は、ヘッドマウントディスプレイ１の姿勢（傾き）を検出するために用いられる。
The acceleration sensor 132 (G sensor) detects the direction of acceleration (for example, the direction of gravity), and supplies information on the detected direction of acceleration (hereinafter referred to as “acceleration information”) to the
地磁気センサー１３３は、地磁気に基づいて方位情報を検出し、検出した方位情報を処理部１２３に供給する。検出した方位情報は、ヘッドマウントディスプレイ１が向いている方位の検出に用いられる。
The
角速度センサー１３４（ジャイロセンサー）は、角速度を検出し、検出した角速度を処理部１２３に供給する。検出した角速度は、ヘッドマウントディスプレイ１の回転検出に用いられる。
ＧＰＳセンサー１３５は、ＧＰＳを利用した測位により、ヘッドマウントディスプレイ１の緯度、経度及び高度を測定し、測定した緯度、経度及び高度を、処理部１２３に供給する。
The angular velocity sensor 134 (gyro sensor) detects the angular velocity and supplies the detected angular velocity to the
The
温湿度センサー１３６は、環境の温度、及び湿度を検出する。温湿度センサー１３６は、検出した環境の温度、及び湿度を処理部１２３に供給する。
レーザー発振器７３は、表示パネル６３に表示された画像内の所定の位置に対応するターゲット（対象物）に、レーザー光（スポット光）を照射する。
The temperature /
The
心拍数センサー１３７は、ユーザーの頬に当接して心拍数を検出し、検出したユーザーの心拍数を処理部１２３に供給する。これにより、心拍数センサー１３７は、ヘッドマウントディスプレイ１がユーザーに装着されているか否か、つまり、ユーザーの頭部の近傍にディスプレイ本体２０が配置されているか否かを検出することができる。
The
カメラ６４（撮像部）は、オートフォーカス動作、及び撮像処理を実行する。カメラ６４は、光学系と、撮像素子とを備える。カメラ６４の光学系は、レンズ群を備える。また、光学系のレンズ群は、カメラ６４の撮像素子の受光面に、被写体像（光学像）を結像させる。なお、カメラ６４の光学系のレンズは、オートフォーカス動作の際、処理部１２３から供給される制御信号に基づいて駆動される。
The camera 64 (imaging unit) executes an autofocus operation and an imaging process. The
カメラ６４の撮像素子は、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）などの撮像素子である。カメラ６４の撮像素子は、受光面に結像された被写体像（光学像）を、撮像処理により電気信号に変換し、さらに画像データに変換してエンコーダー１２９に出力する。
The imaging device of the
カメラ６４は、比較的深い被写界深度を有し、至近から無限遠方までの範囲を、いわゆるパンフォーカスにより撮像することができる。これにより、カメラ６４は、無限遠方に在る被写体の被写体像に合焦させている場合でも、至近に在るユーザーの手の画像に合焦させて、そのユーザーの手を検出することができる。
The
撮像素子７２は、その受光面に結像された被写体像（光学像）を、撮像処理により電気信号に変換し、さらに画像データに変換してエンコーダー１２９に出力する。
The
エンコーダー１２９には、カメラ６４、撮像素子７２、集音マイク２４、通話マイク３７、及び、ビデオコネクター２７が接続されている。エンコーダー１２９は、集音マイク２４及び通話マイク３７から入力された各音声信号を、所定の音声方式の音声データにエンコードする。すなわち、エンコーダー１２９は、集音マイク２４及び通話マイク３７からそれぞれ入力された音声信号をエンコード（符号化）し、エンコードした音声信号を処理部１２３に供給する。
Connected to the
エンコーダー１２９は、カメラ６４、撮像素子７２、及びビデオコネクター２７から入力された各映像信号を、所定の映像方式の映像データにエンコードする。すなわち、エンコーダー１２９は、カメラ６４、撮像素子７２、及びビデオコネクター２７からそれぞれ入力された映像（画像）信号をエンコードし、エンコードした映像（画像）信号を処理部１２３に供給する。
The
処理部１２３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。処理部１２３は、ヘッドマウントディスプレイ１の各種回路（機能ブロック）に接続されるとともに、ヘッドマウントディスプレイ１を総合的に制御する。また、処理部１２３は、操作スイッチ３０が受け付けた操作入力に基づいて動作することができる。
The
処理部１２３は、集音マイク２４及び通話マイク３７等からエンコーダー１２９を介して供給された音声データを、フラッシュメモリー１２２に記憶させる。また、処理部１２３は、集音マイク２４及び通話マイク３７等からエンコーダー１２９を介して供給された音声データを、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路１３８の少なくとも一つを介して、他の機器（不図示）に送信する。また、処理部１２３は、フラッシュメモリー１２２に記憶された音声データを、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路１３８の少なくとも一つを介して、他の機器（不図示）に送信してもよい。
The
また、処理部１２３は、カメラ６４、撮像素子７２、及びビデオコネクター２７の少なくとも一つから、エンコーダー１２９を介して供給された映像（画像）データを、フラッシュメモリー１２２に記憶させる。また、処理部１２３は、カメラ６４、撮像素子７２、及びビデオコネクター２７の少なくとも一つから、エンコーダー１２９を介して供給された映像（画像）データを、デコーダー１２１及びＬＣＤドライバ１２５を介して、表示パネル３６及び表示パネル６３に表示させる。また、処理部１２３は、フラッシュメモリー１２２に記憶された映像（画像）データを、デコーダー１２１及びＬＣＤドライバ１２５を介して、表示パネル３６及び表示パネル６３に表示させる。
In addition, the
また、処理部１２３は、デコーダー１２１から出力された映像信号を、ＬＣＤドライバ１２５を介して、表示パネル３６及び表示パネル６３の少なくとも一方に供給させる。これにより、映像データが再生される。すなわち、入力された映像信号に基づく映像は、表示パネル３６及び表示パネル６３の少なくとも一方に表示される。また、処理部１２３は、デコーダー１２１から出力された映像信号を、ビデオコネクター２７を介して外部機器（不図示）に出力させる。
In addition, the
また、処理部１２３は、カメラ６４、撮像素子７２、及びビデオコネクター２７の少なくとも一つから、エンコーダー１２９を介して供給された映像（画像）データを、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路１３８の少なくとも一つを介して、他の機器（不図示）に送信する。
In addition, the
また、処理部１２３は、表示パネル３６用のバックライト３５を、必要に応じて点灯させることにより、表示パネル３６に映像（画像）を表示させる。例えば、処理部１２３は、ディスプレイ本体２０がヘッドバンド４０に支持されていない場合、表示パネル３６に映像（画像）を表示させる。ここで、処理部１２３は、ＢＬドライバ１２６に制御信号を供給することにより、ＢＬドライバ１２６にバックライト３５を点灯させる。
The
また、処理部１２３は、表示パネル６３用のバックライト６２を、必要に応じて点灯させることにより、表示パネル６３に映像（画像）を表示させる。例えば、処理部１２３は、ディスプレイ本体２０がヘッドバンド４０に支持されている場合、表示パネル６３に映像（画像）を表示させる。ここで、処理部１２３は、ＢＬドライバ１２６に制御信号を供給することにより、ＢＬドライバ１２６にバックライト６２を点灯させる。
The
また、処理部１２３は、カメラ６４により撮像された画像から、コーナーキューブ１５１ａ及びコーナーキューブ１５１ｂによる輝点（ポインティングされた位置）を検出し、検出した輝点の座標（Ｘ，Ｙ）を算出する。また、処理部１２３は、表示パネル６３における座標（Ｘ，Ｙ）に、例えば、カーソル画像を表示させる。処理部１２３の動作については、例えば、図１０を用いて後述する。
Further, the
バイブレーター１６４は、いわゆるマナーモードに設定された状態で着信があった場合に、処理部１２３から供給された制御信号に基づいて振動する。これにより、マナーモードに設定された状態でも、着信がユーザーに通知される。
デコーダー１２１には、ＬＣＤドライバ１２５、スピーカーアンプ１６２、ビデオコネクター２７及びオーディオコネクター２６が接続されている。デコーダー１２１は、音声データを音声信号にデコード（復号化）し、デコードした音声信号を、スピーカーアンプ１６２又はオーディオコネクター２６に供給する。また、デコーダー１２１は、映像（画像）データを映像（画像）信号にデコードし、デコードした映像信号を、ＬＣＤドライバ１２５又はビデオコネクター２７に供給する。
An
ＬＣＤドライバ１２５は、例えば、液晶パネル用の駆動信号を生成する回路であり、表示パネル３６及び表示パネル６３に接続されている。ＬＣＤドライバ１２５は、処理部１２３からデコーダー１２１を介して供給された映像（画像）信号に基づいて、液晶パネル用の駆動信号を生成し、生成した液晶パネル用の駆動信号を、表示パネル３６又は表示パネル６３に供給する。
The
表示パネル６３（表示部）は、例えば、液晶表示パネルであり、ＬＣＤドライバ１２５から供給される駆動信号に基づいて、映像（画像）を表示する。表示パネル６３は、例えば、カメラ６４によって撮像された画像、及びメニュー画面を表示する。
The display panel 63 (display unit) is, for example, a liquid crystal display panel, and displays a video (image) based on a drive signal supplied from the
ＢＬドライバ１２６は、例えば、バックライト用の駆動信号を生成する回路であり、バックライト３５及びバックライト６２に接続されている。ＢＬドライバ１２６は、処理部１２３から供給された制御信号に基づいて、バックライト用の駆動信号を生成し、生成したバックライト用の駆動信号を、バックライト３５及びバックライト６２に供給する。
The BL driver 126 is a circuit that generates a drive signal for backlight, for example, and is connected to the
スピーカーアンプ１６２は、デコーダー１２１を介して供給された音声信号を増幅し、増幅した音声信号を、耳元スピーカー２３及び前方スピーカー７０に供給する。ここで、スピーカーアンプ１６２は、デコーダー１２１を介して供給された左右の音声信号を合成し、合成した結果としてのモノラル音声信号を、耳元スピーカー２３及び前方スピーカー７０に供給する。
The
耳元スピーカー２３は、左右の音声信号が合成されたモノラル音声を出力する。
前方スピーカー７０は、左右の音声信号が合成されたモノラル音声を出力する。
The
The
ＢＴ通信回路１３０は、他の機器とのＢｌｕｅｔｏｏｔｈ（登録商標）通信を行うための通信回路である。
ＷｉＦｉ通信回路１３１は、他の機器との無線ＬＡＮ通信（ＩＥＥＥ ８０２．１１）を行うための通信回路である。
３Ｇ／ＬＴＥ通信回路１３８は、他の機器との移動通信を行うための通信回路である。
ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路１３８は、他の機器との間で、音声データ及び映像（画像）データなどの情報の送受信を実行する。
The
The
The 3G /
The
次に、ヘッドマウントディスプレイの動作手順を説明する。
図１０は、ヘッドマウントディスプレイの動作手順を示すフローチャートである。
以下、第１実施形態では、ユーザーがインジケータースイッチ１５０ａを操作した場合、インジケーター１４３は、青色でパターン発光するものとする。また、ユーザーがインジケータースイッチ１５０ｂを操作した場合、インジケーター１４３は、赤色でパターン発光するものとする。
Next, the operation procedure of the head mounted display will be described.
FIG. 10 is a flowchart showing an operation procedure of the head mounted display.
Hereinafter, in the first embodiment, it is assumed that when the user operates the
（ステップＳ１）処理部１２３は、前方ライト６８を点灯させる。
（ステップＳ２）前方ライト６８からコーナーキューブ１５１ａに入射された光は、コーナーキューブ１５１ａにより１８０［度］折返される。カメラ６４は、コーナーキューブ１５１ａにより１８０［度］折返された光を撮像する。コーナーキューブ１５１ｂについても同様である。処理部１２３は、カメラ６４により撮像されたリモコン１４０の画像Ｐ１を取り込む。
(Step S1) The
(Step S2) The light incident on the
（ステップＳ３）処理部１２３は、前方ライト６８を消灯させる。
（ステップＳ４）処理部１２３は、カメラ６４により撮像されたリモコン１４０の画像Ｐ２を取り込む。なお、ステップＳ２からステップＳ４までの時間は、充分に短い時間（例えば、１／３０［秒］）であるものとする。この場合、画像Ｐ１及び画像Ｐ２の画像としての差分は、コーナーキューブ１５１ａ及びコーナーキューブ１５１ｂが点灯しているか否かという差分が支配的であり、その他の差分は無視することができる。
(Step S3) The
(Step S <b> 4) The
（ステップＳ５）処理部１２３は、画像Ｐ１から画像Ｐ２を減算することにより、画像Ｐ１及び画像Ｐ２の差分画像を生成する。コーナーキューブ１５１ａ及びコーナーキューブ１５１ｂがカメラ６４により撮像されている場合、この差分画像には、コーナーキューブ１５１ａ及びコーナーキューブ１５１ｂによる輝点のみが検出されることになる。
(Step S5) The
（ステップＳ６）処理部１２３は、撮像されたリモコン１４０の画像に、コーナーキューブ１５１ａ及びコーナーキューブ１５１ｂが撮像されているか否か、すなわち、差分画像に輝点があるか否かを判定する。ここで、処理部１２３は、例えば、画像Ｐ１に検出された輝度と、画像Ｐ２に検出された輝度との輝度差（例えば、最大差）が、予め定められた輝度差（例えば、２５６段階のうち５０）以上ある場合に、その輝度差を有する画素の集合を輝点と判定する。差分画像に輝点がある場合（ステップＳ６：Ｙｅｓ）、処理部１２３は、ステップＳ７に処理を進める。一方、差分画像に輝点がない場合（ステップＳ６：Ｎｏ）、処理部１２３は、ステップＳ１に処理を戻す。
(Step S6) The
このように、処理部１２３は、前方ライト６８を短時間に点滅させることで、輝度差のある被写体を認識することができる。また、処理部１２３は、特定の画像パターンに基づいて画像を認識（画像マッチング）する場合と比較して、短時間で容易に、輝度差のある被写体を認識することができる。したがって、処理部１２３は必ずしも高性能である必要がない（小型及び省電力でよい）というメリットがある。
In this way, the
（ステップＳ７）処理部１２３は、差分画像における輝点の座標（Ｘ，Ｙ）を検出する。
（ステップＳ８）処理部１２３は、表示パネル６３における座標（Ｘ，Ｙ）に、カーソル画像を表示させる。
(Step S7) The
(Step S <b> 8) The
図１１は、表示パネルに表示された画像の例を示す図である。表示パネル６３に表示されたメニュー画面３３０ｃには、アイコン画像３１１から３１９と、カーソル画像３２０とが含まれている。ユーザーは、リモコン１４０（図６を参照）を手に持って移動させることで、カーソル画像３２０を移動させることができる。また、ユーザーは、インジケータースイッチ１５０ａ又はインジケータースイッチ１５０ｂを操作することにより、アイコン画像を選択し、その選択したアイコン画像に対応する各種機能を呼び出すことができる。
FIG. 11 is a diagram illustrating an example of an image displayed on the display panel. The
なお、ユーザーは、操作スイッチ３０（図２を参照）を操作してカーソル画像３２０を移動させ、アイコン画像を選択することにより、その選択したアイコン画像に対応する各種機能を呼び出してもよい。 Note that the user may call various functions corresponding to the selected icon image by operating the operation switch 30 (see FIG. 2) to move the cursor image 320 and selecting the icon image.
図１０に戻り、ヘッドマウントディスプレイの動作手順の説明を続ける。
（ステップＳ９）処理部１２３は、差分画像における座標（Ｘ，Ｙ）の近傍に、青色でパターン発光（点滅）しているインジケーター１４３（図６を参照）が撮像されているか否かを判定する。青色でパターン発光しているインジケーター１４３が撮像されている場合（ステップＳ９：Ｙｅｓ）、処理部１２３は、ステップＳ１０に処理を進める。一方、青色でパターン発光しているインジケーター１４３が撮像されていない場合（ステップＳ９：Ｎｏ）、処理部１２３は、ステップＳ１１に処理を進める。
Returning to FIG. 10, the description of the operation procedure of the head mounted display will be continued.
(Step S <b> 9) The
（ステップＳ１０）処理部１２３は、ユーザーがインジケータースイッチ１５０ａを操作した、すなわち、ユーザーがマウス操作の左クリックに相当する操作をしたと判定し、左クリックに予め対応づけられた処理を実行する。
(Step S10) The
（ステップＳ１１）処理部１２３は、差分画像における座標（Ｘ，Ｙ）の近傍に、赤色でパターン発光（点滅）しているインジケーター１４３（図６を参照）が撮像されているか否かを判定する。
(Step S <b> 11) The
赤色でパターン発光しているインジケーター１４３が撮像されている場合（ステップＳ１１：Ｙｅｓ）、処理部１２３は、ステップＳ１２に処理を進める。一方、赤色でパターン発光しているインジケーター１４３が撮像されていない場合（ステップＳ１１：Ｎｏ）、処理部１２３は、ステップＳ１３に処理を進める。
When the
（ステップＳ１２）処理部１２３は、ユーザーがインジケータースイッチ１５０ｂを操作した、すなわち、ユーザーがマウス操作の右クリックに相当する操作をしたと判定し、右クリックに予め対応づけられた処理を実行する。
(Step S12) The
（ステップＳ１３）処理部１２３は、ユーザーがメインスイッチ２８（図１を参照）を操作したか否か、すなわち、電源オフが指示されたか否かを判定する。電源オフが指示された場合（ステップＳ１３：Ｙｅｓ）、処理部１２３は、全てのシーケンスを終了する。一方、電源オフが指示されていない場合（ステップＳ１３：Ｎｏ）、処理部１２３は、ステップＳ１に処理を戻す。
(Step S13) The
以上のように、情報入出力装置（ヘッドマウントディスプレイ１）は、点灯又は消灯する前方ライト６８と、前方ライト６８から入射された光を、入射方向に折り返すコーナーキューブ１５１ａ〜１５１ｂを有するリモコン１４０と、前方ライト６８の近傍（予め定められた距離内）からリモコン１４０を撮像することにより、コーナーキューブ１５１ａ〜１５１ｂにより折り返された光を撮像するカメラ６４と（図７を参照）、前記折り返された光が撮像された画像に基づいて、リモコン１４０の位置を検出する処理部１２３と、を備える。
この構成により、リモコン１４０は、前方ライト６８から入射された光を、入射方向に折り返すコーナーキューブ１５１ａ〜１５１ｂを有する。これにより、情報入出力装置は、小型になる。
As described above, the information input / output device (head mounted display 1) includes the front light 68 that is turned on or off, and the
With this configuration, the
また、情報入出力装置は、リモコン１４０を発光させることなく、ディスプレイ本体２０の前方ライト６８を発光させることにより、ポインティングデバイスとしてのリモコン１４０の位置を検出するので、リモコン１４０を小型、省電力、及びワイヤレスにすることができる。また、情報入出力装置は、ポインティングデバイスとしてのリモコン１４０の位置を、高い精度で検出することができる。
Further, the information input / output device detects the position of the
また、カメラ６４は、前方ライト６８が点灯した状態と、前方ライト６８が消灯した状態とで、リモコン１４０を撮像し、処理部１２３は、前方ライト６８が点灯した状態で撮像された画像と、前方ライト６８が消灯した状態で撮像された画像と、の差分画像を生成し、前記差分画像に撮像されたコーナーキューブ１５１ａ〜１５１ｂによる輝点に基づいて、リモコン１４０の位置を検出する。
この構成により、処理部１２３は、前方ライト６８が点灯した状態で撮像された画像と、前方ライト６８が消灯した状態で撮像された画像と、の差分画像を生成する。これにより、情報入出力装置は、前記差分画像に撮像されたコーナーキューブ１５１ａ〜１５１ｂによる輝点に基づいて、ポインティングデバイスとしてのリモコン１４０の位置を、高い精度で検出することができる。
The
With this configuration, the
また、リモコン１４０は、異なる色（例えば、赤、緑、青）で発光するインジケーター１４３を有し、カメラ６４は、インジケーター１４３を撮像し、処理部１２３は、カメラ６４により撮像されたインジケーター１４３の色を検出し、検出した色に対応付けられた処理（例えば、左クリックに対応付けられた処理）を実行する。
この構成により、情報入出力装置は、右クリック及び左クリックなど発生頻度が低い操作についてのみ、インジケーター１４３を発光させればよい。これにより、情報入出力装置は、ポインティングデバイスとしてのリモコン１４０の消費電力を抑えることができる。
また、前方ライト６８は、点灯した際、可視光及び赤外光の少なくとも一方を射出する。
The
With this configuration, the information input / output device only needs to cause the
The
また、情報入出力装置は、画像を表示する表示パネル６３を備え、処理部１２３は、リモコン１４０の位置に応じて、表示パネル６３に画像（例えば、カーソル画像３２０）を表示させる（図１１を参照）。
この構成により、情報入出力装置は、ポインティングデバイスとしてのリモコン１４０により反射された光に基づいて、リモコン１４０の位置を把握する。これにより、情報入出力装置は、カーソル画像３２０の座標を所定周期で更新する場合でも、リモコン１４０の消費電力を抑えることができる。
Further, the information input / output device includes a
With this configuration, the information input / output device grasps the position of the
また、情報入出力プログラムは、コンピュータに、入射された光を入射方向に折り返すコーナーキューブ１５１ａ〜１５１ｂを有するリモコン１４０を撮像することにより、コーナーキューブ１５１ａ〜１５１ｂにより折り返された光を撮像する手順と、前記折り返された光が撮像された画像に基づいて、リモコン１４０の位置を検出する手順と、を実行させる。
The information input / output program captures the light reflected by the
なお、リモコン１４０の先端部には、タッチスイッチ（不図示）が備えられてもよい。このタッチスイッチが机などに接触した際、インジケーター１４３は、青色でパターン発光してもよい。また、リモコン１４０には、加速度センサー（不図示）が備えられてもよい。この加速度センサーが所定以上の加速度変化を検出した際、インジケーター１４３は、青色でパターン発光してもよい。
Note that a touch switch (not shown) may be provided at the tip of the
また、リモコン１４０は、電源及び回路と、コーナーキューブ１５１ａ及び１５１ｂに液晶シャッターとを備えてもよい。この液晶シャッターのオンオフによる、コーナーキューブ１５１ａ及び１５１ｂのパターン発光（採光又は遮光）は、インジケーター１４３のパターン発光の代わりになる。
The
また、リモコン１４０の無線通信回路（不図示）は、インジケータースイッチ１５０ａが操作された際、インジケータースイッチ１５０ａが操作されたことを示す信号を、ＷｉＦｉ通信回路１３１（図９を参照）又はＢＴ通信回路１３０に無線送信してもよい。インジケータースイッチ１５０ｂについても同様である。
In addition, when the
また、前方ライト６８（図４を参照）から射出される光は、可視光でなくても、例えば、赤外光（赤外線）でもよい。また、ユーザーの手に持って使用されるリモコン１４０から、前方ライト６８までの距離が、最大でも１［ｍ］程度であるため、前方ライト６８から射出される光は、強い光である必要はない。
Further, the light emitted from the front light 68 (see FIG. 4) may not be visible light, but may be infrared light (infrared light), for example. Further, since the distance from the
［第２実施形態］
第２実施形態では、リモコンに電源及び回路が不要である点が、第１実施形態と相違する。以下では、第１実施形態との相違点についてのみ説明する。
[Second Embodiment]
The second embodiment is different from the first embodiment in that a power source and a circuit are not required for the remote controller. Only the differences from the first embodiment will be described below.
図１２は、ポインティングデバイスとしてのリモコンの斜視図である。リモコン１６０は、円筒状フード１６１と、ノブ１６４と、コーナーキューブ１６３と、ラッチ機構（不図示）と、バネ（不図示）とを備える。コーナーキューブ１６３は、円筒状フード１６１の内部に、スライド可能に備えられる。また、コーナーキューブ１６３は、ほぼ全方向の入射光をその入射方向に折り返すことができるように、立方体の６面の各々に配置されている。
FIG. 12 is a perspective view of a remote controller as a pointing device. The
図１２（Ａ）には、コーナーキューブ１６３が円筒状フード１６１から露出している形態が示されている。ノブ１６４がユーザーにより軸方向に押し込まれた場合、コーナーキューブ１６３は、軸の先端方向にスライドして、円筒状フード１６１から露出する。一方、図１２（Ｂ）には、コーナーキューブ１６３が円筒状フード１６１に収納されている形態が示されている。ノブ１６４がユーザーにより軸方向に再度押し込まれた場合、コーナーキューブ１６３は、円筒状フード１６１の内部のラッチ機構（不図示）及びバネ機構（不図示）により、軸の基端方向にスライドして、円筒状フード１６１に収納される。
FIG. 12A shows a form in which the
次に、ヘッドマウントディスプレイの動作手順を説明する。
図１３は、ヘッドマウントディスプレイの動作手順を示すフローチャートである。以下、リモコン１６０は、初期状態では、コーナーキューブ１６３が円筒状フード１６１から露出している形態（図１２（Ａ）を参照）で使用されているものとして説明を続ける。
Next, the operation procedure of the head mounted display will be described.
FIG. 13 is a flowchart showing an operation procedure of the head mounted display. Hereinafter, description will be continued assuming that the
ステップＳａ１〜Ｓａ７は、図１０に示したフローチャートのステップＳ１〜Ｓ７と同様である。図１３では、ステップＳａ６において、差分画像の座標（Ｘ，Ｙ）に輝点が検出されたものとして説明を続ける。
（ステップＳａ８）処理部１２３は、表示パネル６３における座標（Ｘ，Ｙ）に、カーソル画像を表示させる（図１１を参照）。
（ステップＳａ９）処理部１２３は、ステップＳａ１〜Ｓａ７と同様に処理を実行する。
Steps Sa1 to Sa7 are the same as steps S1 to S7 in the flowchart shown in FIG. In FIG. 13, the description will be continued assuming that a bright spot is detected at the coordinates (X, Y) of the difference image in step Sa6.
(Step Sa8) The
(Step Sa9) The
（ステップＳａ１０）処理部１２３は、撮像されたリモコン１６０の画像に、コーナーキューブ１６３が撮像されているか否か、すなわち、差分画像に輝点があるか否かを判定する。差分画像に輝点がある場合（ステップＳａ１０：Ｙｅｓ）、処理部１２３は、ステップＳａ８に処理を戻す。一方、差分画像に輝点がない場合（ステップＳａ１０：Ｙｅｓ）、処理部１２３は、ステップａ１１に処理を進める。ここで、差分画像に輝点がない場合とは、例えば、ユーザーによりノブ１６４が軸方向に再度押し込まれたことでラッチ機構（不図示）が外れ、バネ機構（不図示）によりコーナーキューブ１６３が円筒状フード１６１に収納された場合である（図１２（Ｂ）を参照）。
(Step Sa10) The
（ステップＳａ１１）処理部１２３は、ステップＳａ１〜Ｓａ７と同様に処理を実行する。
（ステップＳａ１２）処理部１２３は、差分画像の座標（Ｘ，Ｙ）の近傍に輝点があるか否か、すなわち、差分画像の座標（Ｘ，Ｙ）の近傍にコーナーキューブ１６３が撮像されているか否かを判定する。差分画像に輝点がある場合（ステップＳａ１２：Ｙｅｓ）、処理部１２３は、ステップＳａ１に処理を戻す。ここで、差分画像に輝点がある場合とは、例えば、ノブ１６４がユーザーにより軸方向に再度押し込まれたことにより、コーナーキューブ１６３が円筒状フード１６１から露出した場合である（図１２（Ａ）を参照）。一方、差分画像に輝点がない場合（ステップＳａ１２：Ｙｅｓ）、処理部１２３は、ステップａ１３に処理を進める。
(Step Sa11) The
(Step Sa12) The
（ステップＳａ１３）処理部１２３は、ステップＳａ９〜ステップＳａ１２における輝点の消失及び再検出を以って、ユーザーによるノブ１６４の軸方向への操作、すなわち、ユーザーがマウス操作の左クリックに相当する操作をしたと判定し、左クリックに予め対応づけられた処理を実行する。
（ステップＳａ１４）処理部１２３は、ユーザーがメインスイッチ２８（図１を参照）を操作したか否か、すなわち、電源オフが指示されたか否かを判定する。電源オフが指示された場合（ステップＳａ１４：Ｙｅｓ）、処理部１２３は、全てのシーケンスを終了する。一方、電源オフが指示されていない場合（ステップＳａ１４：Ｎｏ）、処理部１２３は、ステップＳａ１に処理を戻す。
(Step Sa13) The
(Step Sa14) The
以上のように、情報入出力装置（ヘッドマウントディスプレイ１）は、点灯又は消灯する前方ライト６８と、前方ライト６８から入射された光を、入射方向に折り返すコーナーキューブ１６３を有するリモコン１６０と、前方ライト６８の近傍からリモコン１４０を撮像することにより、コーナーキューブ１６３により反射された光を撮像するカメラ６４と、前記反射された光が撮像された画像に基づいて、リモコン１６０の位置を検出する処理部１２３と、を備える。
また、処理部１２３は、円筒状フード１６１とコーナーキューブ１６３との相対的な変位によるコーナーキューブ１６３の反射状態の切り替わりを検出することで、リモコン１６０への操作（例えば、左クリックに相当する操作）を検出してもよい。
この構成により、リモコン１６０は、前方ライト６８から入射された光を、入射方向に折り返すコーナーキューブ１６３を有する。ここで、リモコン１６０に電源や回路は不要である。これにより、情報入出力装置は、小型になる。また、情報入出力装置は、カーソル画像の表示制御、及び、左クリックに相当する操作を、簡単な構成で実行することができる。
As described above, the information input / output device (head-mounted display 1) includes the front light 68 that is turned on or off, the
Further, the
With this configuration, the
なお、リモコン１６０には、電源及び回路と、コーナーキューブ１６３を覆うように設けられた液晶シャッターとが備えられてもよい。この液晶シャッターのオンオフによる、コーナーキューブ１６３のパターン発光（採光又は遮光）は、コーナーキューブ１６３を露出又は収納させる代わりとなる。
Note that the
［第３実施形態］
第３実施形態では、光量の少ない暗い環境でヘッドマウントディスプレイ１が使用される点が、第１実施形態及び第２実施形態と相違する。以下では、第１実施形態及び第２実施形態との相違点についてのみ説明する。
[Third Embodiment]
The third embodiment differs from the first and second embodiments in that the head mounted
光量の少ない暗い環境では、カメラ６４により撮像された画像Ｐ２（例えば、図１０のステップＳ４）が、低輝度になってしまう場合がある。この場合、前方ライト６８が点灯された状態でカメラ６４により撮像された画像Ｐ１（例えば、図１０のステップＳ２）と、低輝度になってしまった画像Ｐ２とは、差分画像における多くの画素で所定以上の輝度差（例えば、２５６段階のうち１５０以上）になるので、コーナーキューブ１５１ａ及びコーナーキューブ１５１ｂによる輝点は、差分画像に検出され難い。
In a dark environment with a small amount of light, the image P2 (for example, step S4 in FIG. 10) captured by the
以下では、リモコン１４０（図６を参照）又はリモコン１６０（図１２を参照）のうち、一例として、リモコン１４０を用いて説明を続ける。リモコン１４０は、ＢＴ通信回路（不図示）を更に備える。このＢＴ通信回路は、パターン発光（点滅）させるための信号を、ＢＴ通信回路１３０（図９を参照）から受信する。リモコン処理部（不図示）は、パターン発光させるための信号に基づくタイミングパターンに応じて、インジケーター１４３を緑色でパターン発光させる。
Hereinafter, description will be continued using the
図１４は、ヘッドマウントディスプレイの動作手順を示すフローチャートである。
（ステップＳｂ１）処理部１２３は、カメラ６４（図４を参照）により撮像された画像の輝度に基づいて、ヘッドマウントディスプレイ１（図１を参照）の周囲環境の明るさ（光量）を測定する。処理部１２３は、撮像された画像の輝度が所定の輝度以上であるか否か、すなわち、ヘッドマウントディスプレイ１の周囲環境が明るいか否かを判定する。画像の輝度が所定の輝度以上である場合（ステップＳｂ１：Ｙｅｓ）、処理部１２３は、ステップＳｂ２に処理を進める。一方、画像の輝度が所定の輝度未満である場合（ステップＳｂ１：Ｎｏ）、処理部１２３は、ステップＳｂ１５に処理を進める。
FIG. 14 is a flowchart showing an operation procedure of the head mounted display.
(Step Sb1) The
ステップＳｂ２〜Ｓｂ１４は、図１０に示したフローチャートのステップＳ１〜Ｓ１３と同様である。
（ステップＳｂ１５）処理部１２３は、パターン発光させるための信号を、ＢＴ通信回路１３０を介して、リモコン１４０に送信する。リモコン１４０のＢＴ通信回路（不図示）は、パターン発光させるための信号を、ディスプレイ本体２０のＢＴ通信回路１３０から受信する。リモコン処理部（不図示）は、パターン発光させるための信号に基づくタイミングパターン（例えば、３０［Ｈｚ］の点滅）に応じて、インジケーター１４３を緑色でパターン発光させる。パターン発光することにより、インジケーター１４３は、単に発光する場合と比較して、その位置が検出され易くなる。
Steps Sb2 to Sb14 are the same as steps S1 to S13 in the flowchart shown in FIG.
(Step Sb15) The
（ステップＳｂ１６）処理部１２３は、カメラ６４により撮像されたリモコン１４０の画像Ｐ１を取り込む。
（ステップＳｂ１７）カメラ６４は、画像Ｐ１が撮像されてから所定時間（例えば、１／６０［秒］）が経過した後に、リモコン１４０を撮像する。処理部１２３は、この撮像されたリモコン１４０の画像Ｐ２を取り込む。
（ステップＳｂ１８）処理部１２３は、画像Ｐ１から画像Ｐ２を減算することにより、画像Ｐ１及び画像Ｐ２の差分画像を生成する。
(Step Sb16) The
(Step Sb17) The
(Step Sb18) The
（ステップＳｂ１９）処理部１２３は、撮像されたリモコン１４０の画像に、インジケーター１４３による緑色のパターン発光が撮像されているか否か、すなわち、差分画像に輝点があるか否かを判定する。ここで、処理部１２３は、例えば、画像Ｐ１及び画像Ｐ２の輝度差（例えば、最大差）が、予め定められた輝度差（例えば、２５６段階のうち１５０）以上ある場合に、その輝度差を有する画素を輝点と判定する。差分画像に輝点がある場合（ステップＳｂ１９：Ｙｅｓ）、処理部１２３は、ステップＳｂ２０に処理を進める。一方、差分画像に輝点がない場合（ステップＳｂ１９：Ｎｏ）、処理部１２３は、ステップＳｂ１に処理を戻す。
(Step Sb19) The
（ステップＳｂ２０）処理部１２３は、差分画像における輝点の座標（Ｘ，Ｙ）を検出する。処理部１２３は、ステップＳｂ９に処理を進める。
(Step Sb20) The
なお、リモコン１４０には、周囲環境の明るさ（光量）を測定する輝度センサーが備えられてもよい。処理部１２３は、この輝度センサーにより検出された輝度が低輝度である場合、インジケーター１４３をパターン発光（点滅）させてもよい。
The
以上のように、インジケーター１４３は、周囲環境の光量が所定閾値以下である場合、点灯し、カメラ６４は、インジケーター１４３から入射された光を撮像し、処理部１２３は、インジケーター１４３から入射された光が撮像された画像に基づいて、リモコン１４０の位置を検出する。
この構成により、インジケーター１４３は、周囲環境の光量が所定閾値以下である場合、点灯する。これにより、情報入出力装置は、周囲環境が暗い場合でも、リモコン１６０の位置を検出することができる。一方、情報入出力装置は、周囲環境が明るい場合、インジケーター１４３を消灯することで、消費電力を抑えることができる。
As described above, the
With this configuration, the
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
また、上記に説明した情報入出力装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。 Further, an execution process is performed by recording a program for realizing the information input / output device described above on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium. May be performed. Here, the “computer system” may include an OS and hardware such as peripheral devices.
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリー等の書き込み可能な不揮発性メモリー、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリー（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) that holds a program for a certain period of time is also included.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above.
Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
１…ヘッドマウントディスプレイ、２０…ディスプレイ本体、２１…装置本体部、２１Ａ…筐体（装置本体部）、２３…耳元スピーカー、２４…集音マイク、２５…ＵＳＢコネクター、２６…オーディオコネクター、２７…ビデオコネクター、２８…メインスイッチ、２９…回路基板、３０…操作スイッチ、３１…連結孔、３２…ヘッドバンドヒンジ、３３…バッテリー、３４…タッチスイッチ、３５…バックライト（本体）、３６…表示パネル（本体）、３７…通話マイク、４０…ヘッドバンド（装着部）、４１…ピン、４３…第１ヘッドバンド、４３ａ…ジョイント部、４３ｂ…軸受部、４３ｃ…軸受部、４３ｄ…軸受部、４３ｅ…軸受部、４４…第２ヘッドバンド、４６…ヘッドパット、４６ａ…支持板、４６ｂ…弾性部材、４７…ヘッドパット、４８…バネ部材、４９…標章表示部、５６…回動機構、５７…回動機構、６０…表示部、６１…ディスプレイヒンジ、６２…バックライト（表示部）、６３…表示パネル（表示部）、６４…カメラ、６５…プリズム、６６…反射ミラー、６７…ファインダー開口部、６８…前方ライト（点灯部）、７０…前方スピーカー、７１…結像レンズ、７２…撮像素子（撮像部）、７３…レーザー発振器、１００…ステレオイヤホン、１０１…オーディオコネクター、１０２…ケーブル、１０３…第１スピーカー、１０４…第２スピーカー、１０５…集音マイク、１０６…クリップ、１２０…電源回路、１２１…デコーダー、１２２…フラッシュメモリー、１２３…処理部、１２５…ＬＣＤドライバ、１２６…ＢＬドライバ、１２７…メモリー、１２８…メインスイッチ、１２９…エンコーダー、１３０…ＢＴ通信回路、１３１…ＷｉＦｉ通信回路、１３２…加速度センサー、１３３…地磁気センサー、１３４…角速度センサー、１３５…ＧＰＳセンサー、１３６…温湿度センサー、１３７…心拍数センサー、１３８…３Ｇ／ＬＴＥ通信回路、１４０…リモコン（指示部）、１４１…タッチパッド、１４７…操作スイッチ、１４２…ＵＳＢコネクター、１４３…インジケーター、１４４…取付クリップ、１４７…操作スイッチ、１４８…ＵＳＢケーブル、１４９…クリップ、１５０ａ〜１５０ｂ…インジケータースイッチ、１５１ａ〜１５１ｂ…コーナーキューブ（反射体）、１５２ａ〜１５２ｂ…筐体面、１６０…リモコン（指示部）、１６２…スピーカーアンプ
DESCRIPTION OF
Claims (7)
前記点灯部から入射された光を、入射方向に折り返す反射体を有する指示部と、
前記点灯部の近傍から前記指示部を撮像することにより、前記反射体により折り返された光を撮像する撮像部と、
前記折り返された光が撮像された画像に基づいて、前記指示部の位置を検出する処理部と、
を備えることを特徴とする情報入出力装置。 A lighting part to be turned on or off;
An indicator having a reflector for turning back the light incident from the lighting unit in the incident direction;
An imaging unit that images the light reflected by the reflector by imaging the instruction unit from the vicinity of the lighting unit;
A processing unit that detects a position of the instruction unit based on an image obtained by imaging the folded light; and
An information input / output device comprising:
前記処理部は、前記点灯部が点灯した状態で撮像された画像と、前記点灯部が消灯した状態で撮像された画像と、の差分画像を生成し、前記差分画像に撮像された前記反射体による輝点に基づいて、前記指示部の位置を検出することを特徴とする請求項１に記載の情報入出力装置。 The imaging unit images the instruction unit in a state where the lighting unit is lit and a state where the lighting unit is turned off,
The processing unit generates a differential image between an image captured with the lighting unit turned on and an image captured with the lighting unit turned off, and the reflector imaged in the differential image The information input / output device according to claim 1, wherein the position of the instruction unit is detected based on a bright spot by the information.
前記撮像部は、前記発光部を撮像し、
前記処理部は、前記撮像部により撮像された前記発光部の色を検出し、検出した色に対応付けられた処理を実行することを特徴とする請求項１又は請求項２に記載の情報入出力装置。 The indicating unit includes a light emitting unit that emits light of different colors,
The imaging unit images the light emitting unit,
The information input according to claim 1, wherein the processing unit detects a color of the light emitting unit imaged by the imaging unit, and executes a process associated with the detected color. Output device.
前記撮像部は、前記発光部から入射された光を撮像し、
前記処理部は、前記発光部から入射された光が撮像された画像に基づいて、前記指示部の位置を検出することを特徴とする請求項１から請求項３のいずれか一項に記載の情報入出力装置。 The light emitting unit is lit when the light amount of the surrounding environment is equal to or less than a predetermined threshold,
The imaging unit images light incident from the light emitting unit,
The said process part detects the position of the said instruction | indication part based on the image by which the light incident from the said light emission part was imaged, The Claim 1 characterized by the above-mentioned. Information input / output device.
を備え、
前記処理部は、前記指示部の位置に応じて、前記表示部に画像を表示させることを特徴とする請求項１から請求項５のいずれか一項に記載の情報入出力装置。 It has a display that displays images,
The information input / output apparatus according to claim 1, wherein the processing unit displays an image on the display unit according to a position of the instruction unit.
入射された光を入射方向に折り返す反射体を有する指示部を撮像することにより、前記反射体により折り返された光を撮像する手順と、
前記折り返された光が撮像された画像に基づいて、前記指示部の位置を検出する手順と、
を実行させるための情報入出力プログラム。 On the computer,
A procedure for imaging the light reflected by the reflector by imaging the indicator having a reflector that folds the incident light in the incident direction;
A procedure for detecting a position of the pointing unit based on an image obtained by imaging the folded light;
Information input / output program to execute
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012125895A JP2013250847A (en) | 2012-06-01 | 2012-06-01 | Information input/output device, and information input/output program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012125895A JP2013250847A (en) | 2012-06-01 | 2012-06-01 | Information input/output device, and information input/output program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013250847A true JP2013250847A (en) | 2013-12-12 |
Family
ID=49849444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012125895A Pending JP2013250847A (en) | 2012-06-01 | 2012-06-01 | Information input/output device, and information input/output program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013250847A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017174693A (en) * | 2016-03-24 | 2017-09-28 | キヤノン株式会社 | Electronic apparatus |
-
2012
- 2012-06-01 JP JP2012125895A patent/JP2013250847A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017174693A (en) * | 2016-03-24 | 2017-09-28 | キヤノン株式会社 | Electronic apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6011072B2 (en) | Control device and program | |
| JP2013190941A (en) | Information input output device, and head-mounted display device | |
| JP6139679B2 (en) | Information processing terminal and game device | |
| JP6719418B2 (en) | Electronics | |
| JP6123180B2 (en) | Display device | |
| JP6318462B2 (en) | Display device | |
| JP6397698B2 (en) | Information processing terminal, information processing program, information processing terminal system, and information processing method | |
| JP2014021707A (en) | Information input/output device and information input/output method | |
| CN111475077A (en) | Display control method and electronic equipment | |
| JP6136090B2 (en) | Electronic device and display device | |
| JP2019128693A (en) | Head-mounted display, and method for controlling head-mounted display | |
| JP2014212473A (en) | Communication device and head-mounted display device | |
| JP2013239767A (en) | Head-mounted type information input/output device | |
| JP2013175947A (en) | Head-mounted device | |
| JP2014044654A (en) | Information input and output device | |
| JP2014021272A (en) | Information input/output device and information input/output method | |
| JP2014035668A (en) | Head-mounted information input/output device and head-mounted information input/output method | |
| JP2013255012A (en) | Head holding member and head-mounted information output device | |
| JP2018200415A (en) | Head-mounted display device, program, and method for controlling head-mounted display device | |
| JP2013175909A (en) | Head-mounted device | |
| JP2013250846A (en) | Information input output device, and information input output program | |
| JP2013174730A (en) | Information display device | |
| JP2014022937A (en) | Head-mounted information input/output device and head-mounted information input/output method | |
| JP2014022942A (en) | Head-mounted device | |
| JP2013175945A (en) | Head-mounted device |