JP2013250847A - Information input/output device, and information input/output program - Google Patents
Information input/output device, and information input/output program Download PDFInfo
- Publication number
- JP2013250847A JP2013250847A JP2012125895A JP2012125895A JP2013250847A JP 2013250847 A JP2013250847 A JP 2013250847A JP 2012125895 A JP2012125895 A JP 2012125895A JP 2012125895 A JP2012125895 A JP 2012125895A JP 2013250847 A JP2013250847 A JP 2013250847A
- Authority
- JP
- Japan
- Prior art keywords
- light
- unit
- image
- headband
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、情報入出力装置、及び情報入出力プログラムに関する。 The present invention relates to an information input / output device and an information input / output program.
3次元空間における位置を示す情報を電磁波パルスにより送信するポインティングデバイス、及び物体情報センシング装置(情報入出力装置)が、特許文献1に開示されている。
A pointing device that transmits information indicating a position in a three-dimensional space by an electromagnetic wave pulse and an object information sensing device (information input / output device) are disclosed in
しかしながら、情報入出力装置は、ポインティングデバイスから送信された電磁波パルスを信号処理する信号処理部を備えることになる。これにより、情報入出力装置は、大型になってしまうという問題がある。 However, the information input / output device includes a signal processing unit that performs signal processing on the electromagnetic wave pulse transmitted from the pointing device. As a result, there is a problem that the information input / output device becomes large.
本発明は、前記の点に鑑みてなされたものであり、小型の情報入出力装置、及び情報入出力プログラムを提供することを目的とする。 The present invention has been made in view of the above points, and an object thereof is to provide a small information input / output device and an information input / output program.
本発明は、上記の課題を解決するためになされたものであり、点灯又は消灯する点灯部と、前記点灯部から入射された光を、入射方向に折り返す反射体を有する指示部と、前記点灯部の近傍から前記指示部を撮像することにより、前記反射体により折り返された光を撮像する撮像部と、前記折り返された光が撮像された画像に基づいて、前記指示部の位置を検出する処理部と、を備えることを特徴とする情報入出力装置である。 The present invention has been made to solve the above-described problems, and includes a lighting unit that is turned on or off, a pointing unit that includes a reflector that folds light incident from the lighting unit in an incident direction, and the lighting By picking up an image of the pointing unit from the vicinity of the unit, the position of the pointing unit is detected based on an imaging unit that captures the light reflected by the reflector and an image obtained by capturing the folded light An information input / output device comprising: a processing unit.
また、本発明は、コンピュータに、入射された光を入射方向に折り返す反射体を有する指示部を撮像することにより、前記反射体により折り返された光を撮像する手順と、前記折り返された光が撮像された画像に基づいて、前記指示部の位置を検出する手順と、を実行させるための情報入出力プログラムである。 In addition, the present invention provides a computer that images a pointing unit having a reflector that folds incident light in an incident direction, thereby imaging the light folded by the reflector, and the folded light includes: An information input / output program for executing a procedure for detecting the position of the instruction unit based on a captured image.
本発明によれば、情報入出力装置は、小型である。 According to the present invention, the information input / output device is small.
[第1実施形態]
本発明の第1実施形態について図面を参照して詳細に説明する。以下の説明においては、XYZ直交座標系を必要に応じて設定し、設定したXYZ直交座標系を参照しつつ、各部の位置関係について説明する。
[First Embodiment]
A first embodiment of the present invention will be described in detail with reference to the drawings. In the following description, an XYZ rectangular coordinate system is set as necessary, and the positional relationship of each part will be described with reference to the set XYZ rectangular coordinate system.
以下では、水平面内の所定方向をX軸方向と称し、水平面内においてX軸方向と直交する方向をY軸方向と称し、X軸方向及びY軸方向と直交する鉛直方向をZ軸方向と称する。また、X軸、Y軸、及びZ軸まわりの回転(傾斜)方向をそれぞれ、θX、θY、及びθZ方向と称する。 Hereinafter, a predetermined direction in the horizontal plane is referred to as an X-axis direction, a direction orthogonal to the X-axis direction in the horizontal plane is referred to as a Y-axis direction, and a vertical direction orthogonal to the X-axis direction and the Y-axis direction is referred to as a Z-axis direction. . In addition, the rotation (inclination) directions around the X axis, Y axis, and Z axis are referred to as θX, θY, and θZ directions, respectively.
図1は、ヘッドマウントディスプレイ(Head Mounted Display:HMD)(情報入出力装置)の斜視図である。図1では、ディスプレイ本体20の長手方向をY軸方向と称し、ヘッドバンド40がユーザーの頭部を挟持する方向をX軸方向と称する。
FIG. 1 is a perspective view of a head mounted display (HMD) (information input / output device). In FIG. 1, the longitudinal direction of the display
まず、ヘッドマウントディスプレイ1の各部の構成について説明する。
ヘッドマウントディスプレイ1は、単眼式のヘッドマウントディスプレイであり、ユーザーの頭部に装着される。ヘッドマウントディスプレイ1は、ディスプレイ本体20と、ヘッドバンド40(装着部)とを備える。
First, the configuration of each part of the head mounted
The head mounted
ヘッドバンド40は、ディスプレイ本体20を着脱可能に支持する。
ディスプレイ本体20は、装置本体部21と、表示部60とを有する。装置本体部21は、主要回路を内蔵するとともに、操作部及び各種インターフェースを有する。
The
The display
以下では、装置本体部21においてヘッドバンド40により支持される側の端部(+Y側の端部)を基端部と称し、この基端部に対して反対側の端部(−Y側の端部)を先端部と称する。また、ヘッドバンド40に装置本体部21が支持されている状態において、装置本体部21のヘッドバンド40側(+X側)を内側と称し、ヘッドバンド40に対して反対側(−X側)を外側と称する。
Hereinafter, the end (+ Y side end) of the apparatus
表示部60は、装置本体部21の先端部に連結される。
装置本体部21は、概略板状の筐体を有する。装置本体部21の筐体の外面には、メインスイッチ28と、タッチスイッチ34と、集音マイク24とが、装置本体部21の長手方向に沿って配置されている。
The
The apparatus
メインスイッチ28は、ディスプレイ本体20の電源のオンオフ操作を行うスイッチである。また、タッチスイッチ34は、ユーザーが手指等で触れることにより、ヘッドマウントディスプレイ1の各種操作を行うことができるタッチパネルである。また、集音マイク24は、環境音を集め、収音する外部マイクである。
The
図2は、ヘッドマウントディスプレイの背面側の斜視図である。図2では、ディスプレイ本体20の長手方向をY軸方向と称し、ヘッドバンド40がユーザーの頭部を挟持する方向をX軸方向と称する。
FIG. 2 is a rear perspective view of the head mounted display. In FIG. 2, the longitudinal direction of the
耳元スピーカー23は、音声を出力する。耳元スピーカー23は、装置本体部21の基端部の内側に設けられている。耳元スピーカー23は、ディスプレイ本体20がヘッドバンド40に支持されている場合、ユーザーの耳の近傍に配置される。
オーディオコネクター26は、音声入出力端子である。オーディオコネクター26には、ステレオイヤホンが接続される。
The
The
通話マイク37は、装置本体部21の先端部の内側に設けられている。通話マイク37は、ユーザーの音声を収音する。
ヘッドバンドヒンジ32は、ヘッドバンド40とのジョイント部である。ヘッドバンドヒンジ32は、連結孔31を有する。
The
The
心拍数センサー137は、発光部と、受光部とを有する。心拍数センサー137の発光部は、例えば、発光ダイオードである。また、心拍数センサー137の受光部は、ユーザーの皮膚の内部で反射された光を検知する。心拍数センサー137は、装置本体部21内面の中央部に設けられ、ユーザーの顔の表面に接触することで、ユーザーの心拍数を測定する。より具体的には、心拍数センサー137は、ユーザーの顔の血流の変化による反射光量の変化を検出することで、そのユーザーの心拍数を測定する。
The
心拍数センサー137は、ディスプレイ本体20がヘッドバンド40に支持されている場合、ユーザーの眼の近傍に配置されることがある。この場合でも、心拍数センサー137は、その発光部から赤外域の光を射出させることにより、ユーザーにまぶしさを感じさせることなく、ユーザーの心拍数をカウントすることができる。
The
USBコネクター25は、装置本体部21の基端部の側端面に設けられる。USBコネクター25は、USB(Universal Serial Bus)デバイスの接続端子である。
ビデオコネクター27は、映像入出力端子である。ビデオコネクター27は、装置本体部21の基端部の側端面に設けられる。
The
The
操作スイッチ30(操作部)は、例えば、トラックボール及びスティックなどのポインティングデバイスである。操作スイッチ30は、装置本体部21の基端部の側端面、すなわち、表示部60の画面に正対する位置に設けられる。これにより、操作スイッチ30を介した操作の左右方向と、表示部60の画面の左右方向とが一致するので、ユーザーは、画面を見ながら、操作スイッチ30を直感的に操作することができる。
The operation switch 30 (operation unit) is, for example, a pointing device such as a trackball and a stick. The
ヘッドバンド40は、ディスプレイ本体20を、ユーザーの頭部に装着させることができる。また、ユーザーは、ヘッドバンド40により装着されていないディスプレイ本体20を、手に持った状態でも使用することができる。つまり、ユーザーは、ディスプレイ本体20をヘッドバンド40から必要に応じて外すことで、ディスプレイ本体20を、小型軽量な状態で可搬することができる。
The
ヘッドバンド40は、ヘッドパット(装着部材)46と、ヘッドパット(装着部材)47と、第1ヘッドバンド43と、第2ヘッドバンド44と、回動機構56と、回動機構57と、連結ピン41とを有する。ヘッドバンド40は、ユーザーの頭部を挟持することができる。
The
第1ヘッドバンド43は、全体として円弧状を成す弾性部材である。第1ヘッドバンド43の頂部には、第1ヘッドバンド43を折り曲げるためのジョイント部43aが設けられている。
また、第1ヘッドバンド43の一端には、回動機構56を構成する軸受部43bが設けられている。また、第1ヘッドバンド43の他端には、回動機構57を構成する軸受部43cが設けられている。
The
Further, a bearing
軸受部43bよりも更にバンド先端側には、ヘッドパット46が接続される軸受部43dが設けられている。また、軸受部43cよりも更にバンド先端側には、ヘッドパット47が接続される軸受部43eが設けられている。
A bearing
第2ヘッドバンド44は、全体として円弧状を成す弾性部材である。第2ヘッドバンド44の頂部には、第2ヘッドバンド44を折り曲げるためのジョイント部44aが設けられている。また、第2ヘッドバンド44の一端には、回動機構56を構成する軸部材44bが設けられている。また、第2ヘッドバンド44の他端には、回動機構57を構成する軸部材44cが設けられている。
The
また、第2ヘッドバンド44は、ステンレス等の金属からなるバネ部材48の表面が、樹脂等の柔軟な材料により被覆された構成を有する。ユーザーの頭部を挟持するバネ力は、第2ヘッドバンド44のバネ部材48により発生する。また、第2ヘッドバンド44は、第1ヘッドバンド43と比較して、広い幅に形成されている。これにより、ジョイント部44aの形成部分は、他のバンド部分よりも更に広く形成された標章表示部49を有している。標章表示部49には、シール又は印刷による製品タグ等が付される。なお、第2ヘッドバンド44の全体は、金属で形成されていてもよい。
The
ヘッドパット46は、ヘッドバンド40の一端に設けられている。ヘッドパット46は、板状の支持板46aと、弾性部材46bとを有する。弾性部材46bは、支持板46aの一面側に設けられ、断面アーチ状で比較的硬度の高い部材である。
The
連結ピン41は、概略六角柱状である。連結ピン41は、第1ヘッドバンド43の一端に設けられた軸受部43dに、軸支されている。連結ピン41は、支持板46aの弾性部材46bに対して反対側の面に、垂直な姿勢で立設されている。これにより、連結ピン41は、ヘッドパット46を回転可能に支持する。
The connecting
ヘッドパット47は、ヘッドバンド40の他端に設けられている。ヘッドパット47は、板状の支持板47aと、弾性部材47bとを有する。弾性部材47bは、支持板47aの一面側に設けられ、断面アーチ状で比較的硬度の高い部材である。
The
回動機構56は、第2ヘッドバンド44を第1ヘッドバンド43から離す方向に付勢する付勢機構である。また、回動機構57は、第2ヘッドバンド44の回動可能な角度範囲を規制する規制機構である。この構成により、第2ヘッドバンド44は、回動機構56により第1ヘッドバンド43から離れる方向に回動付勢され、且つ、回動機構57により第1ヘッドバンド43に対して所定角度以内の範囲に回動規制される。これにより、第2ヘッドバンド44は、第1ヘッドバンド43に対して任意の角度で保持される。したがって、回動機構56及び回動機構57は、ヘッドバンド40における角度保持機構として機能する。
The
図3は、ヘッドマウントディスプレイの装着形態を示す図である。ディスプレイ本体20は、ヘッドバンド40により、ユーザーの頭部に装着される。連結孔31(図2を参照)に連結ピン41(図2を参照)が挿入される際、ディスプレイ本体20の向きが反転されても、ヘッドバンド40がディスプレイ本体20を支持することができるので、ヘッドマウントディスプレイ1は、ユーザーの頭部の左右どちらにディスプレイ本体20が装着されても使用可能である。
FIG. 3 is a diagram illustrating a mounting form of the head mounted display. The display
図3(A)には、ユーザーが右眼(右目)で表示部60を見ている状態が示されている。一方、図3(B)には、ユーザーが左眼(左目)で表示部60を見ている状態が示されている。ユーザーが右眼で表示部60を見ている状態と、ユーザーが左眼で表示部60を見ている状態とでは、ヘッドバンド40に支持される装置本体部21の向きは、反転されている。
FIG. 3A shows a state where the user is viewing the
図4は、ディスプレイ本体20の水平断面図である。図4では、表示部60のヘッドバンド40側を内側と称し、ヘッドバンド40側に対して反対側を外側と称する。図4(A)には、表示部60が収容されていない状態が示されている。一方、図4(B)には、表示部60が収容されている状態が示されている。
FIG. 4 is a horizontal sectional view of the
装置本体部21には、筐体21Aの長手方向に沿って延びる板状の回路基板29と、バッテリー33とが内蔵されている。また、回路基板29には、制御回路(不図示)と、電源回路等(不図示)とが実装されている。また、ディスプレイ本体20の各部は、配線(不図示)を介して電気的に接続されている。
The
タッチスイッチ34は、装置本体部21の外面に露出するよう配置されている。また、タッチスイッチ34の内側には、表示パネル36と、バックライト35とが配置されている。表示パネル36は、640×480画素を有する表示部である。表示パネル36に表示される画像は、タッチスイッチ34を透過して表示される。表示パネル36及びバックライト35は、例えば、液晶パネル、有機EL(Electro Luminescence)パネル、又は電気泳動パネルである。
The
ヘッドバンドヒンジ32は、筐体21Aに設けられた凹曲面状の収容部32aと、収容部32aに嵌合された球状部32bとから成るボールジョイントである。球状部32bは、球面状の側面部と、この側面部を挟むように互いに平行に形成された二つの平面部を有する。連結孔31は、この二つの平面部を垂直に貫くように形成されている。また、連結孔31は、軸方向視で六角形状(図2を参照)に形成されている。連結孔31には、ヘッドバンド40の連結ピン41が挿入される。これにより、ヘッドバンド40は、ディスプレイ本体20を支持することができる。
The
ヘッドバンドヒンジ32は、連結孔31を中心とするX軸回り(図1では、A方向)に回動可能に、ヘッドバンド40にディスプレイ本体20を支持させることができる。ヘッドバンド40に支持されているディスプレイ本体20の回動可能範囲は、例えば、270[度]である。ユーザーが右眼(右目)で表示部60を見ている状態(図3(A)を参照)と、ユーザーが左眼(左目)で表示部60を見ている状態(図3(B)を参照)との切り替えは、ユーザーによる回動操作により実現される。
The
また、ヘッドバンドヒンジ32は、ボールジョイントであるため、連結孔31を中心とするZ軸回り(図1では、B方向)に揺動可能である。ヘッドバンドヒンジ32は、ディスプレイ本体20と、ユーザーの眼及び耳との相対位置を、揺動操作によりユーザーに調整させることができる。
Further, since the
心拍数センサー137は、装置本体部21の内面から突出するように設けられる。これにより、心拍数センサー137は、ヘッドマウントディスプレイ1が装着された際に、ユーザーの顔の表面に当接可能である。バッテリー33は、一次電池、及び二次電池のいずれでもよい。
The
表示部60は、装置本体部21の先端部に連結されている。表示部60は、上面視(Z軸視)において湾曲した形状を有するアーム部材であり、装置本体部21との連結部から先端側へ向かうに従い、内側に湾曲する形状を有する。表示部60の内面には、ファインダー開口部67が設けられている。また、表示部60の外面には、カメラ64が設けられている。
The
表示部60は、ディスプレイヒンジ61を介して、装置本体部21と連結されている。ディスプレイヒンジ61は、表示部60の筐体60Aに形成された凹曲面状の収容部61aと、装置本体部21に形成され収容部61aに嵌合された球状部61bとからなるボールジョイントである。
The
ディスプレイヒンジ61の球状部61bは、装置本体部21の外面の先端部に形成された傾斜面21aに設けられている。ここで、ディスプレイヒンジ61の球状部61bは、筐体21Aの長手方向に対して斜めに延びる傾斜面21aの法線方向(Y’軸方向)に突出するように、設けられている。これにより、表示部60は、ディスプレイヒンジ61の球状部61bに対してY’軸回りに、自由に回転可能である。
The
ディスプレイヒンジ61の球状部61bには、球状部61bを高さ方向(Y’軸方向)に貫通する貫通孔61cが形成されている。表示部60の内部と装置本体部21の内部とは、貫通孔61cを介して連通されている。また、貫通孔61cには、ケーブル(不図示)が挿通される。回路基板29と表示部60の各部とは、この挿通されたケーブルを介して、電気的に接続される。
The
この構成により、表示部60の各部は、回路基板29の近傍に配置される。これにより、表示部の位置をY方向(図2を参照)に調整可能とする機構を、表示部60に設けずに済む。また、表示部60では、映像信号のケーブルが長く引き回されることがない。したがって、表示部60は、映像信号にノイズが混入する可能性、及び、不要輻射が発せられる可能性を、極めて低く抑えることができる。
With this configuration, each part of the
表示部60は、バックライト62と、表示パネル63と、カメラ64と、プリズム65と、反射ミラー66と、前方ライト68と、前方スピーカー70と、結像レンズ71と、撮像素子72とを備える。
The
プリズム65は、上面視(Z軸視)で略三角形状の第1プリズム65aと、上面視(Z軸視)で略三角形状の第2プリズム65bとが、互いの面で貼り合わされた構成を有する。表示パネル63は、第1プリズム65aにおいて貼り合わされていない二面のうち、一方の面に対向する位置に設けられる。表示パネル63は、800×480画素を有する表示部である。表示パネル63は、例えば、液晶パネルである。また、表示パネル63の背面には、表示パネル63を透過照明するためのバックライト62が配置される。また、第1プリズム65aにおいて貼り合わされていない他方の面に対向する位置には、反射ミラー66が配置される。ここで、反射ミラー66は、ファインダー開口部67のほぼ正面の位置に配置される。
The
第2プリズム65bにおいて貼り合わされていない二面のうち、一方の面は、ファインダー開口部67のファインダー接眼面となる。また、第2プリズム65bにおいて貼り合わされていない他方の面に対向する位置には、結像レンズ71及び撮像素子72が対向配置される。
Of the two surfaces that are not bonded to each other in the
表示部60において、表示パネル63に表示された画像は、その光学像が、第1プリズム65a、反射ミラー66、及び第2プリズム65bを介して、ファインダー開口部67から射出されることで、ユーザーに観察される。
In the
撮像素子72は、ファインダー開口部67を介して表示パネル63を見ているユーザーの目元を、第2プリズム65b及び結像レンズ71を介して撮像する。撮像された目元の画像は、ユーザーの視線方向、目の瞬き、及び表情を解析する際に用いられる。すなわち、撮像素子72は、ユーザーの目元を撮像する撮像部として機能する。ここで、バックライト62は、撮像素子72がユーザーの目元を撮像する際に、そのユーザーの目元を照明するための照明装置としても利用される。
The
カメラ64(撮像部)は、例えば、500万画素〜1000万画素の撮像素子を有し、オートフォーカス動作が可能である。また、カメラ64の撮像方向は、ユーザーの視線方向と一致するように設定される。これにより、カメラ64は、ヘッドマウントディスプレイ1を装着したユーザーの視線方向の映像を、撮像することができる。
The camera 64 (imaging unit) has, for example, an image sensor with 5 to 10 million pixels and can perform an autofocus operation. The imaging direction of the
ここで、カメラ64の撮像方向と、ユーザーの視線方向との一致調整は、機械的に行ってもよいが、画像処理により行われてもよい。例えば、ユーザーの目元を広角撮像した画像から、ユーザーの視線方向の情報が画像処理により取得されることで、ユーザーの視線方向の映像は、カメラ64が撮像した映像から抜き出されてもよい。これにより、表示パネル63は、その抜き出された映像を表示することができる。つまり、ユーザーの視線方向の映像は、カメラ64に調整機構を設けることなく、撮像及び表示されることが可能となる。
Here, the matching adjustment between the imaging direction of the
前方ライト68は、例えば、LED(Light Emitting Diode)ライトである。前方ライト68は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光(点灯)させることが可能である。例えば、前方ライト68は、発光色及び発光タイミングにより、外部に対して情報を表示する装置として用いられる。また、例えば、前方ライト68は、カメラ64が撮像する際に、照明装置として用いられてもよい。
The
図5は、ヘッドバンドの斜視図である。図5(A)は、開いた状態のヘッドバンド40の斜視図である。ここで、円弧高さr1は、同軸に配置された回動機構56及び回動機構57の回転軸Lの中央位置Cから、第1ヘッドバンド43までの距離の最大値である。また、円弧高さr2は、回転軸Lの中央位置Cから、第2ヘッドバンド44までの距離の最大値である。第1ヘッドバンド43の円弧高さr1は、第2ヘッドバンド44の円弧高さr2よりも低い。これにより、第1ヘッドバンド43と第2ヘッドバンド44とが交差するように移動されても、第1ヘッドバンド43と第2ヘッドバンド44とは、互いに干渉することなく、その位置の前後関係が入れ替わる。
FIG. 5 is a perspective view of the headband. FIG. 5A is a perspective view of the
なお、ヘッドバンド40は、第1ヘッドバンド43の円弧高さr1を、第2ヘッドバンド44の円弧高さr2よりも長くすることにより、第2ヘッドバンド44を第1ヘッドバンド43の内側で揺動させる構成とされてもよい。
Note that the
また、第1ヘッドバンド43及び第2ヘッドバンド44は、折り畳み(開閉)可能な構成を有する。図5(B)は、わずかに開いた状態(折り畳み途中状態)のヘッドバンド40の斜視図である。また、図5(C)は、閉じた状態(折り畳み状態)のヘッドバンド40の斜視図である。
The
ジョイント部43aは、第1ヘッドバンド43の中央から、ヘッドパット47寄りの位置に設けられている。また、ジョイント部44aは、第2ヘッドバンド44の中央から、ヘッドパット47寄りの位置に設けられている。また、第1ヘッドバンド43又は第2ヘッドバンド44のうち、ヘッドパット47に接続される側のバンドが内側になるように、ジョイント部43a及びジョイント部44aのヒンジが連結されている。
The
この構成により、閉じた状態(折り畳み状態)において、ヘッドパット46の内側(弾性部材46b側)に、ヘッドパット47が配置される。これにより、ヘッドパット46に突設された連結ピン41が邪魔にならないようコンパクトに、ヘッドバンド40は折り畳まれることができる。
With this configuration, the
ヘッドバンド40を折り畳むには、まず、ユーザーは、開いた状態(図5(A)を参照)から、第2ヘッドバンド44を第1ヘッドバンド43に近づけるように移動させる。次に、ユーザーは、第1ヘッドバンド43に設けられたジョイント部43a、及び第2ヘッドバンド44に設けられたジョイント部44aを、それぞれ折り曲げることで、ヘッドパット47をヘッドパット46側へ移動させ、わずかに開いた状態(図5(B)を参照)にする。さらに、ユーザーは、ジョイント部43a及びジョイント部44aを折り曲げることで、ヘッドパット46及びヘッドパット47が重なる位置(閉じた状態(図5(C)を参照)まで、ヘッドバンド40を折り畳むことが可能である。
To fold the
一方、閉じた状態(折り畳み状態)から、開いた状態にヘッドバンド40を戻すには、ユーザーは、閉じた状態(折り畳み状態)から、わずかに開いた状態に、ヘッドバンド40の状態を移行させるだけでよい。第2ヘッドバンド44は、第1ヘッドバンド43から離れる方向に、回動機構56により付勢されている。このため、ヘッドバンド40は、わずかに開いた状態(図5(B)を参照)に戻されるだけで、ジョイント部43a及びジョイント部44aが開く方向に付勢力が作用し、開いた状態に復元される。さらに、ヘッドバンド40は、回動機構56の付勢力によって、第2ヘッドバンド44が揺動され、開いた状態(図5(A)を参照)から、ユーザーの頭部への装着が可能な状態(図2を参照)(以下、「展開状態」という)に展開される。
On the other hand, in order to return the
ここで、第2ヘッドバンド44に付勢力を作用させる回動機構56は、第1ヘッドバンド43に対して、前後両方向に付勢力を作用させるトグル構造を有している。回動機構56の付勢方向を切り替えるには、第1ヘッドバンド43と第2ヘッドバンド44との位置の前後関係は、入れ替えられる必要がある。一方、ユーザーは、開いた状態(図5(A)を参照)から閉じた状態(図5(C)を参照)に、ヘッドバンド40を移行させる際、第1ヘッドバンド43と第2ヘッドバンド44との位置の前後関係を、入れ替える必要がない。つまり、ユーザーは、第1ヘッドバンド43と第2ヘッドバンド44を近づけて、ジョイント部43a及びジョイント部44aを折り曲げるだけで、わずかに開いた状態(図5(B)を参照)に、ヘッドバンド40を移行させることができる。
Here, the
そのため、ヘッドバンド40が展開状態から折り畳まれ、再び展開状態に戻された場合、回動機構56の付勢方向が切り替わることは、ほとんど無い。したがって、ヘッドバンド40が展開状態から折り畳まれ、再び展開状態に戻された場合、第1ヘッドバンド43と第2ヘッドバンド44との位置の前後関係が入れ替わってしまうことは、ほとんど無い。例えば、ユーザーが、右眼で表示部60を見ている状態(図3(A)を参照)から、ヘッドバンド40を頭部から外し(図1を参照)、展開状態から折り畳んで、再び展開状態に戻せば、ヘッドバンド40は、ユーザーが右眼で表示部60を見ることができる状態(図1を参照)に戻る。
Therefore, when the
図6は、ポインティングデバイスとしてのリモコンの斜視図である。ユーザーは、ポインティングデバイスとしてのリモコン140を手に持って移動させることで、3次元空間における位置(ポインティングされた位置)を、リモコン140の位置により示すことができる。
FIG. 6 is a perspective view of a remote controller as a pointing device. The user can indicate the position (pointed position) in the three-dimensional space by the position of the
リモコン140は、筐体140Aと、タッチパッド141と、USBコネクター142と、インジケーター143と、取付クリップ144と、操作スイッチ147と、インジケータースイッチ150a〜150bと、コーナーキューブ151a〜151bとを備える。また、リモコン140は、リモコン140を総合的に制御するリモコン処理部(不図示)を備える。
The
USBケーブル148の一方の端子がUSBコネクター142に接続され、且つ、USBケーブル148の他方の端子が、装置本体部21のUSBコネクター25(図2を参照)に接続されることで、リモコン140は、装置本体部21と電気的に接続される。USBケーブル148は、USB規格に準拠しているケーブルである。USBケーブル148の途中には、複数のクリップ149が設けられている。複数のクリップ149は、例えば、USBケーブル148を第2ヘッドバンド44(図2を参照)に沿わせた状態で固定するために用いられる。
One terminal of the
リモコン140には、ディスプレイ本体20などの他の電子機器と無線通信を行うための通信回路が内蔵されている。この通信方式としては、例えば、Bluetooth(登録商標)、無線LAN、赤外線通信、UWB(Ultra Wide Band)、「Transfer Jet」などが用いられる。これにより、リモコン140は、USBケーブル148が接続されていなくても、ディスプレイ本体20と通信することができる。
The
リモコン140には、加速度センサー(Gセンサー)、角速度センサー、及び、方位センサーが内蔵されていてもよい。これらのセンサーに検出された情報は、通信回路を介して、ディスプレイ本体20に通信可能である。
The
タッチパッド141は、筐体140Aの一方の主面としての筐体面152aに設けられている。タッチパッド141は、ユーザーがタッチすることにより、ユーザーがディスプレイ本体20を操作するための操作部である。また、筐体140Aの内部における、タッチパッド141の背面側には、装置本体部21のタッチスイッチ34(図4を参照)と同様に、表示パネル及びバックライトが設けられてもよい。
The
USBコネクター142は、装置本体部21と電気的に接続されるほか、パーソナルコンピュータ(PC)と電気的に接続される。また、USBコネクター142は、リモコン140が充電式のバッテリーを内蔵している場合、そのバッテリーに充電するための充電端子となる。また、USBコネクター142は、リモコン140が充電式のバッテリーを内蔵している場合、そのバッテリーから装置本体部21に給電するための給電端子となる。リモコン140から装置本体部21に給電可能にすることで、装置本体部21は、バッテリー容量が小さくてもよいので、小型軽量化される。
The
操作スイッチ147は、リモコン140及びディスプレイ本体20を手動操作するためのスイッチである。なお、操作スイッチ147は、必須構成ではない。
取付クリップ144は、タッチパッド141に対して筐体140Aを挟んだ反対側の面に設けられている。取付クリップ144は、一端を筐体140Aに固定された側面視S形のバネ板部材である。取付クリップ144は、ユーザーの衣服又はベルト等に、リモコン140を装着させる。
The
The
インジケータースイッチ150aは、インジケーター143の所定動作(例えば、青色のパターン発光)を行わせるためのスイッチである。インジケータースイッチ150aは、筐体140Aの筐体面152bに設けられる。
The
インジケータースイッチ150bは、インジケーター143の所定動作(例えば、赤色のパターン発光)を行わせるためのスイッチである。インジケータースイッチ150bは、筐体面152bとは反対側の筐体面に設けられる。
The
インジケーター143は、コーナーキューブ151の近傍に配置されている。図6では、インジケーター143は、タッチパッド141の一辺に沿う位置に配置されている。インジケーター143は、LED等の発光素子を備える。インジケーター143は、例えば、赤色、青色及び緑色の発光素子を備える。
The
インジケーター143は、リモコン処理部(不図示)により制御されたタイミングパターンで、パターン発光する。インジケーター143は、インジケータースイッチ150aが操作されることにより(パーソナルコンピュータでいうマウス操作の左クリックに相当)、パターン発光(例えば、青色の点滅)がオンオフされる。また、インジケーター143は、インジケータースイッチ150bが操作されることにより(パーソナルコンピュータでいうマウス操作の右クリックに相当)、パターン発光(例えば、赤色の点滅)がオンオフされる。
The
これらのパターン発光は、リモコン140の状態を示す。ここで、リモコン140の状態とは、例えば、左クリック操作された状態、又は、右クリック操作された状態である。これらのパターン発光が装置本体部21のカメラ64により撮像され、撮像されたパターン発光が装置本体部21に解析されることにより、リモコン140の状態を示す情報は、装置本体部21に伝達される。パターン発光を利用した情報伝達により、リモコン140は、無線通信を用いた場合と比較して、消費電力を抑えることができる。右クリック又は左クリックは、瞬間的な動作であるため、リモコン140の消費電力への影響がほとんどない。また、インジケーター143がパターン発光するので、単に発光する場合と比較して、インジケーター143の位置は検出され易い。
These pattern emissions indicate the state of the
コーナーキューブ151aは、互いに直交する3枚の鏡面を有するプリズムである。コーナーキューブ151aは、これらの鏡面による光の全反射により、入射光を180[度]折返すことができる。コーナーキューブ151aは、筐体面152aの法線に対して45[度]以内から入射した光を、180[度]折返すことができる。
The
また、コーナーキューブ151bは、互いに直交する3枚の鏡面を有するプリズムである。コーナーキューブ151bは、これらの鏡面による光の全反射により、入射光を180[度]折返すことができる。コーナーキューブ151bは、筐体面152bの法線に対して45[度]以内から入射した光を、180[度]折返すことができる。
The
図7は、コーナーキューブによる反射を説明するための図である。コーナーキューブ151a及びコーナーキューブ151bは、同構成を有するので、図7では、コーナーキューブ151aについてのみ説明する。
FIG. 7 is a diagram for explaining reflection by a corner cube. Since the
カメラ64及び前方ライト68は、互いに近接して配置されている(図4を参照)。図7(A)は、カメラ64及び前方ライト68に対して傾いていないコーナーキューブ151aによる反射を説明するための図である。前方ライト68は、処理部123による制御に応じて点灯する。前方ライト68からコーナーキューブ151aに入射された光は、コーナーキューブ151aにより180[度]折返される。また、カメラ64は、コーナーキューブ151aにより180[度]折返された光を撮像する。
The
一方、図7(B)は、カメラ64及び前方ライト68に対して傾いているコーナーキューブ151aによる反射を説明するための図である。前方ライト68は、処理部123による制御に応じて点灯する。前方ライト68からコーナーキューブ151aに入射された光は、カメラ64及び前方ライト68に対して傾いているコーナーキューブ151aにより180[度]折返される。カメラ64は、コーナーキューブ151aにより180[度]折返された光を撮像する。
On the other hand, FIG. 7B is a diagram for explaining the reflection by the
図8は、ステレオイヤホンを示す斜視図である。ステレオイヤホン100は、コネクター101と、ケーブル102と、第1スピーカー103と、第2スピーカー104と、集音マイク105と、複数のクリップ106とを有する。
FIG. 8 is a perspective view showing a stereo earphone.
コネクター101は、ケーブル102の一方の端部に設けられている。コネクター101は、例えば、4極φ3.5mmのミニプラグである。ここで、4極の内訳は、集音マイク105、第1スピーカー103、第2スピーカー104、及び、グランド(GND)である。ケーブル102は、コネクター101の近傍において二分岐されている。ケーブル102の一方の端部には、第1スピーカー103が設けられている。また、ケーブル102の他方の端部には、第2スピーカー104が設けられている。また、複数のクリップ106は、ケーブル102上に、所定の間隔で配置されている。
The
ステレオイヤホン100は、ディスプレイ本体20のオーディオコネクター26(図2を参照)に、コネクター101が接続された状態で使用される。オーディオコネクター26にコネクター101が接続された場合、第1スピーカー103、第2スピーカー104、及び集音マイク105は、有効化される。
The
また、オーディオコネクター26にコネクター101が接続された場合、ディスプレイ本体20の耳元スピーカー23(図2を参照)、及び、表示部60の通話マイク37(図4を参照)は、無効化される。ここで、表示部60の前方スピーカー70(図4を参照)は、必要に応じて無効化される。
When the
第1スピーカー103は、ディスプレイ本体20が配置された側のユーザーの耳に装着される。一方、第2スピーカー104は、第1スピーカー103とは反対側の耳に装着される。ここで、ケーブル102は、クリップ106により、第2ヘッドバンド44に固定されてもよい。
The
また、集音マイク105と、ディスプレイ本体20の集音マイク24(図1を参照)とにより、ステレオ録音が可能である。ユーザーが右眼で表示部60を見ている場合(図3(A)を参照)、集音マイク24がユーザーの右側から収音し、左耳に装着されている集音マイク105がユーザーの左側から収音することにより、ステレオ録音は可能である。この場合、第1スピーカー103は、右チャンネルの音声を出力する。また、第2スピーカー104は、左チャンネルの音声を出力する。
Further, stereo recording can be performed by the
一方、ユーザーが左眼で表示部60を見ている場合(図3(B)を参照)、集音マイク24がユーザーの左側から収音し、右耳に装着されている集音マイク105がユーザーの右側から収音することにより、ステレオ録音は可能である。この場合、第1スピーカー103は、左チャンネルの音声を出力する。また、第2スピーカー104は、右チャンネルの音声を出力する。
On the other hand, when the user is viewing the
また、集音マイク24及び集音マイク105は、いずれもユーザーの耳の近傍に配置されるため、バイノーラル録音のような臨場感のある録音が可能である。なお、集音マイク24の特性と集音マイク105の特性とが近い場合、右チャンネルの音声と、左チャンネルの音声との差異は小さくなる。
Further, since both the
図9は、ヘッドマウントディスプレイの機能ブロック図である。ヘッドマウントディスプレイ1(ディスプレイ本体20)は、バックライト35と、バックライト62と、バッテリー33と、BLドライバ126と、電源回路120と、表示パネル36と、表示パネル63と、LCDドライバ125と、耳元スピーカー23と、スピーカーアンプ162と、前方スピーカー70と、ビデオコネクター27と、デコーダー121と、カメラ64と、撮像素子72と、集音マイク24と、通話マイク37と、オーディオコネクター26と、レーザー発振器73と、角速度センサー134と、GPSセンサー135と、温湿度センサー136と、心拍数センサー137と、メモリー127と、メインスイッチ28と、タッチスイッチ34と、エンコーダー129と、3G/LTE通信回路138と、前方ライト68と、地磁気センサー133と、加速度センサー132と、WiFi通信回路131と、BT通信回路130と、フラッシュメモリー122と、操作スイッチ30と、処理部123と、を備える。
FIG. 9 is a functional block diagram of the head mounted display. The head mounted display 1 (display main body 20) includes a
バッテリー33は、電源回路120を介して、ヘッドマウントディスプレイ1の各部に電力を供給する。
電源回路120は、バッテリー33から供給された電力の制御(例えば、電圧の変換、供給オンオフ)を、処理部123から供給される制御信号に基づいて実行する。
The
The
メモリー127は、処理部123が実行する制御プログラムを、予め記憶する。
メインスイッチ28は、装置全体の電源のオンオフを行うためのスイッチであり、ユーザーが操作することにより、その操作に基づく制御信号を処理部123に供給する。
操作スイッチ30は、画面内でのポインティング操作を行うためのスイッチであり、ユーザーが操作することにより、その操作に基づく制御信号を処理部123に供給する。
タッチスイッチ34は、タッチ操作により各種の操作入力を行うスイッチであり、操作入力に基づく制御信号を処理部123に供給する。
The
The
The
The
なお、ディスプレイ本体20は、ユーザーの右側又は左側のいずれに装着された場合でも(図3を参照)、メインスイッチ28、操作スイッチ30、及びタッチスイッチ34を介した操作入力により操作可能である。
Note that the display
加速度センサー132(Gセンサー)は、加速度の方向(例えば、重力方向)を検出し、検出した加速度の方向の情報(以下、「加速度情報」という)を処理部123に供給する。供給された加速度情報は、ヘッドマウントディスプレイ1の姿勢(傾き)を検出するために用いられる。
The acceleration sensor 132 (G sensor) detects the direction of acceleration (for example, the direction of gravity), and supplies information on the detected direction of acceleration (hereinafter referred to as “acceleration information”) to the
地磁気センサー133は、地磁気に基づいて方位情報を検出し、検出した方位情報を処理部123に供給する。検出した方位情報は、ヘッドマウントディスプレイ1が向いている方位の検出に用いられる。
The
角速度センサー134(ジャイロセンサー)は、角速度を検出し、検出した角速度を処理部123に供給する。検出した角速度は、ヘッドマウントディスプレイ1の回転検出に用いられる。
GPSセンサー135は、GPSを利用した測位により、ヘッドマウントディスプレイ1の緯度、経度及び高度を測定し、測定した緯度、経度及び高度を、処理部123に供給する。
The angular velocity sensor 134 (gyro sensor) detects the angular velocity and supplies the detected angular velocity to the
The
温湿度センサー136は、環境の温度、及び湿度を検出する。温湿度センサー136は、検出した環境の温度、及び湿度を処理部123に供給する。
レーザー発振器73は、表示パネル63に表示された画像内の所定の位置に対応するターゲット(対象物)に、レーザー光(スポット光)を照射する。
The temperature /
The
心拍数センサー137は、ユーザーの頬に当接して心拍数を検出し、検出したユーザーの心拍数を処理部123に供給する。これにより、心拍数センサー137は、ヘッドマウントディスプレイ1がユーザーに装着されているか否か、つまり、ユーザーの頭部の近傍にディスプレイ本体20が配置されているか否かを検出することができる。
The
カメラ64(撮像部)は、オートフォーカス動作、及び撮像処理を実行する。カメラ64は、光学系と、撮像素子とを備える。カメラ64の光学系は、レンズ群を備える。また、光学系のレンズ群は、カメラ64の撮像素子の受光面に、被写体像(光学像)を結像させる。なお、カメラ64の光学系のレンズは、オートフォーカス動作の際、処理部123から供給される制御信号に基づいて駆動される。
The camera 64 (imaging unit) executes an autofocus operation and an imaging process. The
カメラ64の撮像素子は、CCDイメージセンサ(Charge Coupled Device Image Sensor)などの撮像素子である。カメラ64の撮像素子は、受光面に結像された被写体像(光学像)を、撮像処理により電気信号に変換し、さらに画像データに変換してエンコーダー129に出力する。
The imaging device of the
カメラ64は、比較的深い被写界深度を有し、至近から無限遠方までの範囲を、いわゆるパンフォーカスにより撮像することができる。これにより、カメラ64は、無限遠方に在る被写体の被写体像に合焦させている場合でも、至近に在るユーザーの手の画像に合焦させて、そのユーザーの手を検出することができる。
The
撮像素子72は、その受光面に結像された被写体像(光学像)を、撮像処理により電気信号に変換し、さらに画像データに変換してエンコーダー129に出力する。
The
エンコーダー129には、カメラ64、撮像素子72、集音マイク24、通話マイク37、及び、ビデオコネクター27が接続されている。エンコーダー129は、集音マイク24及び通話マイク37から入力された各音声信号を、所定の音声方式の音声データにエンコードする。すなわち、エンコーダー129は、集音マイク24及び通話マイク37からそれぞれ入力された音声信号をエンコード(符号化)し、エンコードした音声信号を処理部123に供給する。
Connected to the
エンコーダー129は、カメラ64、撮像素子72、及びビデオコネクター27から入力された各映像信号を、所定の映像方式の映像データにエンコードする。すなわち、エンコーダー129は、カメラ64、撮像素子72、及びビデオコネクター27からそれぞれ入力された映像(画像)信号をエンコードし、エンコードした映像(画像)信号を処理部123に供給する。
The
処理部123は、例えば、CPU(Central Processing Unit)である。処理部123は、ヘッドマウントディスプレイ1の各種回路(機能ブロック)に接続されるとともに、ヘッドマウントディスプレイ1を総合的に制御する。また、処理部123は、操作スイッチ30が受け付けた操作入力に基づいて動作することができる。
The
処理部123は、集音マイク24及び通話マイク37等からエンコーダー129を介して供給された音声データを、フラッシュメモリー122に記憶させる。また、処理部123は、集音マイク24及び通話マイク37等からエンコーダー129を介して供給された音声データを、BT通信回路130、WiFi通信回路131、及び3G/LTE通信回路138の少なくとも一つを介して、他の機器(不図示)に送信する。また、処理部123は、フラッシュメモリー122に記憶された音声データを、BT通信回路130、WiFi通信回路131、及び3G/LTE通信回路138の少なくとも一つを介して、他の機器(不図示)に送信してもよい。
The
また、処理部123は、カメラ64、撮像素子72、及びビデオコネクター27の少なくとも一つから、エンコーダー129を介して供給された映像(画像)データを、フラッシュメモリー122に記憶させる。また、処理部123は、カメラ64、撮像素子72、及びビデオコネクター27の少なくとも一つから、エンコーダー129を介して供給された映像(画像)データを、デコーダー121及びLCDドライバ125を介して、表示パネル36及び表示パネル63に表示させる。また、処理部123は、フラッシュメモリー122に記憶された映像(画像)データを、デコーダー121及びLCDドライバ125を介して、表示パネル36及び表示パネル63に表示させる。
In addition, the
また、処理部123は、デコーダー121から出力された映像信号を、LCDドライバ125を介して、表示パネル36及び表示パネル63の少なくとも一方に供給させる。これにより、映像データが再生される。すなわち、入力された映像信号に基づく映像は、表示パネル36及び表示パネル63の少なくとも一方に表示される。また、処理部123は、デコーダー121から出力された映像信号を、ビデオコネクター27を介して外部機器(不図示)に出力させる。
In addition, the
また、処理部123は、カメラ64、撮像素子72、及びビデオコネクター27の少なくとも一つから、エンコーダー129を介して供給された映像(画像)データを、BT通信回路130、WiFi通信回路131、及び3G/LTE通信回路138の少なくとも一つを介して、他の機器(不図示)に送信する。
In addition, the
また、処理部123は、表示パネル36用のバックライト35を、必要に応じて点灯させることにより、表示パネル36に映像(画像)を表示させる。例えば、処理部123は、ディスプレイ本体20がヘッドバンド40に支持されていない場合、表示パネル36に映像(画像)を表示させる。ここで、処理部123は、BLドライバ126に制御信号を供給することにより、BLドライバ126にバックライト35を点灯させる。
The
また、処理部123は、表示パネル63用のバックライト62を、必要に応じて点灯させることにより、表示パネル63に映像(画像)を表示させる。例えば、処理部123は、ディスプレイ本体20がヘッドバンド40に支持されている場合、表示パネル63に映像(画像)を表示させる。ここで、処理部123は、BLドライバ126に制御信号を供給することにより、BLドライバ126にバックライト62を点灯させる。
The
また、処理部123は、カメラ64により撮像された画像から、コーナーキューブ151a及びコーナーキューブ151bによる輝点(ポインティングされた位置)を検出し、検出した輝点の座標(X,Y)を算出する。また、処理部123は、表示パネル63における座標(X,Y)に、例えば、カーソル画像を表示させる。処理部123の動作については、例えば、図10を用いて後述する。
Further, the
バイブレーター164は、いわゆるマナーモードに設定された状態で着信があった場合に、処理部123から供給された制御信号に基づいて振動する。これにより、マナーモードに設定された状態でも、着信がユーザーに通知される。
デコーダー121には、LCDドライバ125、スピーカーアンプ162、ビデオコネクター27及びオーディオコネクター26が接続されている。デコーダー121は、音声データを音声信号にデコード(復号化)し、デコードした音声信号を、スピーカーアンプ162又はオーディオコネクター26に供給する。また、デコーダー121は、映像(画像)データを映像(画像)信号にデコードし、デコードした映像信号を、LCDドライバ125又はビデオコネクター27に供給する。
An
LCDドライバ125は、例えば、液晶パネル用の駆動信号を生成する回路であり、表示パネル36及び表示パネル63に接続されている。LCDドライバ125は、処理部123からデコーダー121を介して供給された映像(画像)信号に基づいて、液晶パネル用の駆動信号を生成し、生成した液晶パネル用の駆動信号を、表示パネル36又は表示パネル63に供給する。
The
表示パネル63(表示部)は、例えば、液晶表示パネルであり、LCDドライバ125から供給される駆動信号に基づいて、映像(画像)を表示する。表示パネル63は、例えば、カメラ64によって撮像された画像、及びメニュー画面を表示する。
The display panel 63 (display unit) is, for example, a liquid crystal display panel, and displays a video (image) based on a drive signal supplied from the
BLドライバ126は、例えば、バックライト用の駆動信号を生成する回路であり、バックライト35及びバックライト62に接続されている。BLドライバ126は、処理部123から供給された制御信号に基づいて、バックライト用の駆動信号を生成し、生成したバックライト用の駆動信号を、バックライト35及びバックライト62に供給する。
The BL driver 126 is a circuit that generates a drive signal for backlight, for example, and is connected to the
スピーカーアンプ162は、デコーダー121を介して供給された音声信号を増幅し、増幅した音声信号を、耳元スピーカー23及び前方スピーカー70に供給する。ここで、スピーカーアンプ162は、デコーダー121を介して供給された左右の音声信号を合成し、合成した結果としてのモノラル音声信号を、耳元スピーカー23及び前方スピーカー70に供給する。
The
耳元スピーカー23は、左右の音声信号が合成されたモノラル音声を出力する。
前方スピーカー70は、左右の音声信号が合成されたモノラル音声を出力する。
The
The
BT通信回路130は、他の機器とのBluetooth(登録商標)通信を行うための通信回路である。
WiFi通信回路131は、他の機器との無線LAN通信(IEEE 802.11)を行うための通信回路である。
3G/LTE通信回路138は、他の機器との移動通信を行うための通信回路である。
BT通信回路130、WiFi通信回路131、及び3G/LTE通信回路138は、他の機器との間で、音声データ及び映像(画像)データなどの情報の送受信を実行する。
The
The
The 3G /
The
次に、ヘッドマウントディスプレイの動作手順を説明する。
図10は、ヘッドマウントディスプレイの動作手順を示すフローチャートである。
以下、第1実施形態では、ユーザーがインジケータースイッチ150aを操作した場合、インジケーター143は、青色でパターン発光するものとする。また、ユーザーがインジケータースイッチ150bを操作した場合、インジケーター143は、赤色でパターン発光するものとする。
Next, the operation procedure of the head mounted display will be described.
FIG. 10 is a flowchart showing an operation procedure of the head mounted display.
Hereinafter, in the first embodiment, it is assumed that when the user operates the
(ステップS1)処理部123は、前方ライト68を点灯させる。
(ステップS2)前方ライト68からコーナーキューブ151aに入射された光は、コーナーキューブ151aにより180[度]折返される。カメラ64は、コーナーキューブ151aにより180[度]折返された光を撮像する。コーナーキューブ151bについても同様である。処理部123は、カメラ64により撮像されたリモコン140の画像P1を取り込む。
(Step S1) The
(Step S2) The light incident on the
(ステップS3)処理部123は、前方ライト68を消灯させる。
(ステップS4)処理部123は、カメラ64により撮像されたリモコン140の画像P2を取り込む。なお、ステップS2からステップS4までの時間は、充分に短い時間(例えば、1/30[秒])であるものとする。この場合、画像P1及び画像P2の画像としての差分は、コーナーキューブ151a及びコーナーキューブ151bが点灯しているか否かという差分が支配的であり、その他の差分は無視することができる。
(Step S3) The
(Step S <b> 4) The
(ステップS5)処理部123は、画像P1から画像P2を減算することにより、画像P1及び画像P2の差分画像を生成する。コーナーキューブ151a及びコーナーキューブ151bがカメラ64により撮像されている場合、この差分画像には、コーナーキューブ151a及びコーナーキューブ151bによる輝点のみが検出されることになる。
(Step S5) The
(ステップS6)処理部123は、撮像されたリモコン140の画像に、コーナーキューブ151a及びコーナーキューブ151bが撮像されているか否か、すなわち、差分画像に輝点があるか否かを判定する。ここで、処理部123は、例えば、画像P1に検出された輝度と、画像P2に検出された輝度との輝度差(例えば、最大差)が、予め定められた輝度差(例えば、256段階のうち50)以上ある場合に、その輝度差を有する画素の集合を輝点と判定する。差分画像に輝点がある場合(ステップS6:Yes)、処理部123は、ステップS7に処理を進める。一方、差分画像に輝点がない場合(ステップS6:No)、処理部123は、ステップS1に処理を戻す。
(Step S6) The
このように、処理部123は、前方ライト68を短時間に点滅させることで、輝度差のある被写体を認識することができる。また、処理部123は、特定の画像パターンに基づいて画像を認識(画像マッチング)する場合と比較して、短時間で容易に、輝度差のある被写体を認識することができる。したがって、処理部123は必ずしも高性能である必要がない(小型及び省電力でよい)というメリットがある。
In this way, the
(ステップS7)処理部123は、差分画像における輝点の座標(X,Y)を検出する。
(ステップS8)処理部123は、表示パネル63における座標(X,Y)に、カーソル画像を表示させる。
(Step S7) The
(Step S <b> 8) The
図11は、表示パネルに表示された画像の例を示す図である。表示パネル63に表示されたメニュー画面330cには、アイコン画像311から319と、カーソル画像320とが含まれている。ユーザーは、リモコン140(図6を参照)を手に持って移動させることで、カーソル画像320を移動させることができる。また、ユーザーは、インジケータースイッチ150a又はインジケータースイッチ150bを操作することにより、アイコン画像を選択し、その選択したアイコン画像に対応する各種機能を呼び出すことができる。
FIG. 11 is a diagram illustrating an example of an image displayed on the display panel. The
なお、ユーザーは、操作スイッチ30(図2を参照)を操作してカーソル画像320を移動させ、アイコン画像を選択することにより、その選択したアイコン画像に対応する各種機能を呼び出してもよい。 Note that the user may call various functions corresponding to the selected icon image by operating the operation switch 30 (see FIG. 2) to move the cursor image 320 and selecting the icon image.
図10に戻り、ヘッドマウントディスプレイの動作手順の説明を続ける。
(ステップS9)処理部123は、差分画像における座標(X,Y)の近傍に、青色でパターン発光(点滅)しているインジケーター143(図6を参照)が撮像されているか否かを判定する。青色でパターン発光しているインジケーター143が撮像されている場合(ステップS9:Yes)、処理部123は、ステップS10に処理を進める。一方、青色でパターン発光しているインジケーター143が撮像されていない場合(ステップS9:No)、処理部123は、ステップS11に処理を進める。
Returning to FIG. 10, the description of the operation procedure of the head mounted display will be continued.
(Step S <b> 9) The
(ステップS10)処理部123は、ユーザーがインジケータースイッチ150aを操作した、すなわち、ユーザーがマウス操作の左クリックに相当する操作をしたと判定し、左クリックに予め対応づけられた処理を実行する。
(Step S10) The
(ステップS11)処理部123は、差分画像における座標(X,Y)の近傍に、赤色でパターン発光(点滅)しているインジケーター143(図6を参照)が撮像されているか否かを判定する。
(Step S <b> 11) The
赤色でパターン発光しているインジケーター143が撮像されている場合(ステップS11:Yes)、処理部123は、ステップS12に処理を進める。一方、赤色でパターン発光しているインジケーター143が撮像されていない場合(ステップS11:No)、処理部123は、ステップS13に処理を進める。
When the
(ステップS12)処理部123は、ユーザーがインジケータースイッチ150bを操作した、すなわち、ユーザーがマウス操作の右クリックに相当する操作をしたと判定し、右クリックに予め対応づけられた処理を実行する。
(Step S12) The
(ステップS13)処理部123は、ユーザーがメインスイッチ28(図1を参照)を操作したか否か、すなわち、電源オフが指示されたか否かを判定する。電源オフが指示された場合(ステップS13:Yes)、処理部123は、全てのシーケンスを終了する。一方、電源オフが指示されていない場合(ステップS13:No)、処理部123は、ステップS1に処理を戻す。
(Step S13) The
以上のように、情報入出力装置(ヘッドマウントディスプレイ1)は、点灯又は消灯する前方ライト68と、前方ライト68から入射された光を、入射方向に折り返すコーナーキューブ151a〜151bを有するリモコン140と、前方ライト68の近傍(予め定められた距離内)からリモコン140を撮像することにより、コーナーキューブ151a〜151bにより折り返された光を撮像するカメラ64と(図7を参照)、前記折り返された光が撮像された画像に基づいて、リモコン140の位置を検出する処理部123と、を備える。
この構成により、リモコン140は、前方ライト68から入射された光を、入射方向に折り返すコーナーキューブ151a〜151bを有する。これにより、情報入出力装置は、小型になる。
As described above, the information input / output device (head mounted display 1) includes the front light 68 that is turned on or off, and the
With this configuration, the
また、情報入出力装置は、リモコン140を発光させることなく、ディスプレイ本体20の前方ライト68を発光させることにより、ポインティングデバイスとしてのリモコン140の位置を検出するので、リモコン140を小型、省電力、及びワイヤレスにすることができる。また、情報入出力装置は、ポインティングデバイスとしてのリモコン140の位置を、高い精度で検出することができる。
Further, the information input / output device detects the position of the
また、カメラ64は、前方ライト68が点灯した状態と、前方ライト68が消灯した状態とで、リモコン140を撮像し、処理部123は、前方ライト68が点灯した状態で撮像された画像と、前方ライト68が消灯した状態で撮像された画像と、の差分画像を生成し、前記差分画像に撮像されたコーナーキューブ151a〜151bによる輝点に基づいて、リモコン140の位置を検出する。
この構成により、処理部123は、前方ライト68が点灯した状態で撮像された画像と、前方ライト68が消灯した状態で撮像された画像と、の差分画像を生成する。これにより、情報入出力装置は、前記差分画像に撮像されたコーナーキューブ151a〜151bによる輝点に基づいて、ポインティングデバイスとしてのリモコン140の位置を、高い精度で検出することができる。
The
With this configuration, the
また、リモコン140は、異なる色(例えば、赤、緑、青)で発光するインジケーター143を有し、カメラ64は、インジケーター143を撮像し、処理部123は、カメラ64により撮像されたインジケーター143の色を検出し、検出した色に対応付けられた処理(例えば、左クリックに対応付けられた処理)を実行する。
この構成により、情報入出力装置は、右クリック及び左クリックなど発生頻度が低い操作についてのみ、インジケーター143を発光させればよい。これにより、情報入出力装置は、ポインティングデバイスとしてのリモコン140の消費電力を抑えることができる。
また、前方ライト68は、点灯した際、可視光及び赤外光の少なくとも一方を射出する。
The
With this configuration, the information input / output device only needs to cause the
The
また、情報入出力装置は、画像を表示する表示パネル63を備え、処理部123は、リモコン140の位置に応じて、表示パネル63に画像(例えば、カーソル画像320)を表示させる(図11を参照)。
この構成により、情報入出力装置は、ポインティングデバイスとしてのリモコン140により反射された光に基づいて、リモコン140の位置を把握する。これにより、情報入出力装置は、カーソル画像320の座標を所定周期で更新する場合でも、リモコン140の消費電力を抑えることができる。
Further, the information input / output device includes a
With this configuration, the information input / output device grasps the position of the
また、情報入出力プログラムは、コンピュータに、入射された光を入射方向に折り返すコーナーキューブ151a〜151bを有するリモコン140を撮像することにより、コーナーキューブ151a〜151bにより折り返された光を撮像する手順と、前記折り返された光が撮像された画像に基づいて、リモコン140の位置を検出する手順と、を実行させる。
The information input / output program captures the light reflected by the
なお、リモコン140の先端部には、タッチスイッチ(不図示)が備えられてもよい。このタッチスイッチが机などに接触した際、インジケーター143は、青色でパターン発光してもよい。また、リモコン140には、加速度センサー(不図示)が備えられてもよい。この加速度センサーが所定以上の加速度変化を検出した際、インジケーター143は、青色でパターン発光してもよい。
Note that a touch switch (not shown) may be provided at the tip of the
また、リモコン140は、電源及び回路と、コーナーキューブ151a及び151bに液晶シャッターとを備えてもよい。この液晶シャッターのオンオフによる、コーナーキューブ151a及び151bのパターン発光(採光又は遮光)は、インジケーター143のパターン発光の代わりになる。
The
また、リモコン140の無線通信回路(不図示)は、インジケータースイッチ150aが操作された際、インジケータースイッチ150aが操作されたことを示す信号を、WiFi通信回路131(図9を参照)又はBT通信回路130に無線送信してもよい。インジケータースイッチ150bについても同様である。
In addition, when the
また、前方ライト68(図4を参照)から射出される光は、可視光でなくても、例えば、赤外光(赤外線)でもよい。また、ユーザーの手に持って使用されるリモコン140から、前方ライト68までの距離が、最大でも1[m]程度であるため、前方ライト68から射出される光は、強い光である必要はない。
Further, the light emitted from the front light 68 (see FIG. 4) may not be visible light, but may be infrared light (infrared light), for example. Further, since the distance from the
[第2実施形態]
第2実施形態では、リモコンに電源及び回路が不要である点が、第1実施形態と相違する。以下では、第1実施形態との相違点についてのみ説明する。
[Second Embodiment]
The second embodiment is different from the first embodiment in that a power source and a circuit are not required for the remote controller. Only the differences from the first embodiment will be described below.
図12は、ポインティングデバイスとしてのリモコンの斜視図である。リモコン160は、円筒状フード161と、ノブ164と、コーナーキューブ163と、ラッチ機構(不図示)と、バネ(不図示)とを備える。コーナーキューブ163は、円筒状フード161の内部に、スライド可能に備えられる。また、コーナーキューブ163は、ほぼ全方向の入射光をその入射方向に折り返すことができるように、立方体の6面の各々に配置されている。
FIG. 12 is a perspective view of a remote controller as a pointing device. The
図12(A)には、コーナーキューブ163が円筒状フード161から露出している形態が示されている。ノブ164がユーザーにより軸方向に押し込まれた場合、コーナーキューブ163は、軸の先端方向にスライドして、円筒状フード161から露出する。一方、図12(B)には、コーナーキューブ163が円筒状フード161に収納されている形態が示されている。ノブ164がユーザーにより軸方向に再度押し込まれた場合、コーナーキューブ163は、円筒状フード161の内部のラッチ機構(不図示)及びバネ機構(不図示)により、軸の基端方向にスライドして、円筒状フード161に収納される。
FIG. 12A shows a form in which the
次に、ヘッドマウントディスプレイの動作手順を説明する。
図13は、ヘッドマウントディスプレイの動作手順を示すフローチャートである。以下、リモコン160は、初期状態では、コーナーキューブ163が円筒状フード161から露出している形態(図12(A)を参照)で使用されているものとして説明を続ける。
Next, the operation procedure of the head mounted display will be described.
FIG. 13 is a flowchart showing an operation procedure of the head mounted display. Hereinafter, description will be continued assuming that the
ステップSa1〜Sa7は、図10に示したフローチャートのステップS1〜S7と同様である。図13では、ステップSa6において、差分画像の座標(X,Y)に輝点が検出されたものとして説明を続ける。
(ステップSa8)処理部123は、表示パネル63における座標(X,Y)に、カーソル画像を表示させる(図11を参照)。
(ステップSa9)処理部123は、ステップSa1〜Sa7と同様に処理を実行する。
Steps Sa1 to Sa7 are the same as steps S1 to S7 in the flowchart shown in FIG. In FIG. 13, the description will be continued assuming that a bright spot is detected at the coordinates (X, Y) of the difference image in step Sa6.
(Step Sa8) The
(Step Sa9) The
(ステップSa10)処理部123は、撮像されたリモコン160の画像に、コーナーキューブ163が撮像されているか否か、すなわち、差分画像に輝点があるか否かを判定する。差分画像に輝点がある場合(ステップSa10:Yes)、処理部123は、ステップSa8に処理を戻す。一方、差分画像に輝点がない場合(ステップSa10:Yes)、処理部123は、ステップa11に処理を進める。ここで、差分画像に輝点がない場合とは、例えば、ユーザーによりノブ164が軸方向に再度押し込まれたことでラッチ機構(不図示)が外れ、バネ機構(不図示)によりコーナーキューブ163が円筒状フード161に収納された場合である(図12(B)を参照)。
(Step Sa10) The
(ステップSa11)処理部123は、ステップSa1〜Sa7と同様に処理を実行する。
(ステップSa12)処理部123は、差分画像の座標(X,Y)の近傍に輝点があるか否か、すなわち、差分画像の座標(X,Y)の近傍にコーナーキューブ163が撮像されているか否かを判定する。差分画像に輝点がある場合(ステップSa12:Yes)、処理部123は、ステップSa1に処理を戻す。ここで、差分画像に輝点がある場合とは、例えば、ノブ164がユーザーにより軸方向に再度押し込まれたことにより、コーナーキューブ163が円筒状フード161から露出した場合である(図12(A)を参照)。一方、差分画像に輝点がない場合(ステップSa12:Yes)、処理部123は、ステップa13に処理を進める。
(Step Sa11) The
(Step Sa12) The
(ステップSa13)処理部123は、ステップSa9〜ステップSa12における輝点の消失及び再検出を以って、ユーザーによるノブ164の軸方向への操作、すなわち、ユーザーがマウス操作の左クリックに相当する操作をしたと判定し、左クリックに予め対応づけられた処理を実行する。
(ステップSa14)処理部123は、ユーザーがメインスイッチ28(図1を参照)を操作したか否か、すなわち、電源オフが指示されたか否かを判定する。電源オフが指示された場合(ステップSa14:Yes)、処理部123は、全てのシーケンスを終了する。一方、電源オフが指示されていない場合(ステップSa14:No)、処理部123は、ステップSa1に処理を戻す。
(Step Sa13) The
(Step Sa14) The
以上のように、情報入出力装置(ヘッドマウントディスプレイ1)は、点灯又は消灯する前方ライト68と、前方ライト68から入射された光を、入射方向に折り返すコーナーキューブ163を有するリモコン160と、前方ライト68の近傍からリモコン140を撮像することにより、コーナーキューブ163により反射された光を撮像するカメラ64と、前記反射された光が撮像された画像に基づいて、リモコン160の位置を検出する処理部123と、を備える。
また、処理部123は、円筒状フード161とコーナーキューブ163との相対的な変位によるコーナーキューブ163の反射状態の切り替わりを検出することで、リモコン160への操作(例えば、左クリックに相当する操作)を検出してもよい。
この構成により、リモコン160は、前方ライト68から入射された光を、入射方向に折り返すコーナーキューブ163を有する。ここで、リモコン160に電源や回路は不要である。これにより、情報入出力装置は、小型になる。また、情報入出力装置は、カーソル画像の表示制御、及び、左クリックに相当する操作を、簡単な構成で実行することができる。
As described above, the information input / output device (head-mounted display 1) includes the front light 68 that is turned on or off, the
Further, the
With this configuration, the
なお、リモコン160には、電源及び回路と、コーナーキューブ163を覆うように設けられた液晶シャッターとが備えられてもよい。この液晶シャッターのオンオフによる、コーナーキューブ163のパターン発光(採光又は遮光)は、コーナーキューブ163を露出又は収納させる代わりとなる。
Note that the
[第3実施形態]
第3実施形態では、光量の少ない暗い環境でヘッドマウントディスプレイ1が使用される点が、第1実施形態及び第2実施形態と相違する。以下では、第1実施形態及び第2実施形態との相違点についてのみ説明する。
[Third Embodiment]
The third embodiment differs from the first and second embodiments in that the head mounted
光量の少ない暗い環境では、カメラ64により撮像された画像P2(例えば、図10のステップS4)が、低輝度になってしまう場合がある。この場合、前方ライト68が点灯された状態でカメラ64により撮像された画像P1(例えば、図10のステップS2)と、低輝度になってしまった画像P2とは、差分画像における多くの画素で所定以上の輝度差(例えば、256段階のうち150以上)になるので、コーナーキューブ151a及びコーナーキューブ151bによる輝点は、差分画像に検出され難い。
In a dark environment with a small amount of light, the image P2 (for example, step S4 in FIG. 10) captured by the
以下では、リモコン140(図6を参照)又はリモコン160(図12を参照)のうち、一例として、リモコン140を用いて説明を続ける。リモコン140は、BT通信回路(不図示)を更に備える。このBT通信回路は、パターン発光(点滅)させるための信号を、BT通信回路130(図9を参照)から受信する。リモコン処理部(不図示)は、パターン発光させるための信号に基づくタイミングパターンに応じて、インジケーター143を緑色でパターン発光させる。
Hereinafter, description will be continued using the
図14は、ヘッドマウントディスプレイの動作手順を示すフローチャートである。
(ステップSb1)処理部123は、カメラ64(図4を参照)により撮像された画像の輝度に基づいて、ヘッドマウントディスプレイ1(図1を参照)の周囲環境の明るさ(光量)を測定する。処理部123は、撮像された画像の輝度が所定の輝度以上であるか否か、すなわち、ヘッドマウントディスプレイ1の周囲環境が明るいか否かを判定する。画像の輝度が所定の輝度以上である場合(ステップSb1:Yes)、処理部123は、ステップSb2に処理を進める。一方、画像の輝度が所定の輝度未満である場合(ステップSb1:No)、処理部123は、ステップSb15に処理を進める。
FIG. 14 is a flowchart showing an operation procedure of the head mounted display.
(Step Sb1) The
ステップSb2〜Sb14は、図10に示したフローチャートのステップS1〜S13と同様である。
(ステップSb15)処理部123は、パターン発光させるための信号を、BT通信回路130を介して、リモコン140に送信する。リモコン140のBT通信回路(不図示)は、パターン発光させるための信号を、ディスプレイ本体20のBT通信回路130から受信する。リモコン処理部(不図示)は、パターン発光させるための信号に基づくタイミングパターン(例えば、30[Hz]の点滅)に応じて、インジケーター143を緑色でパターン発光させる。パターン発光することにより、インジケーター143は、単に発光する場合と比較して、その位置が検出され易くなる。
Steps Sb2 to Sb14 are the same as steps S1 to S13 in the flowchart shown in FIG.
(Step Sb15) The
(ステップSb16)処理部123は、カメラ64により撮像されたリモコン140の画像P1を取り込む。
(ステップSb17)カメラ64は、画像P1が撮像されてから所定時間(例えば、1/60[秒])が経過した後に、リモコン140を撮像する。処理部123は、この撮像されたリモコン140の画像P2を取り込む。
(ステップSb18)処理部123は、画像P1から画像P2を減算することにより、画像P1及び画像P2の差分画像を生成する。
(Step Sb16) The
(Step Sb17) The
(Step Sb18) The
(ステップSb19)処理部123は、撮像されたリモコン140の画像に、インジケーター143による緑色のパターン発光が撮像されているか否か、すなわち、差分画像に輝点があるか否かを判定する。ここで、処理部123は、例えば、画像P1及び画像P2の輝度差(例えば、最大差)が、予め定められた輝度差(例えば、256段階のうち150)以上ある場合に、その輝度差を有する画素を輝点と判定する。差分画像に輝点がある場合(ステップSb19:Yes)、処理部123は、ステップSb20に処理を進める。一方、差分画像に輝点がない場合(ステップSb19:No)、処理部123は、ステップSb1に処理を戻す。
(Step Sb19) The
(ステップSb20)処理部123は、差分画像における輝点の座標(X,Y)を検出する。処理部123は、ステップSb9に処理を進める。
(Step Sb20) The
なお、リモコン140には、周囲環境の明るさ(光量)を測定する輝度センサーが備えられてもよい。処理部123は、この輝度センサーにより検出された輝度が低輝度である場合、インジケーター143をパターン発光(点滅)させてもよい。
The
以上のように、インジケーター143は、周囲環境の光量が所定閾値以下である場合、点灯し、カメラ64は、インジケーター143から入射された光を撮像し、処理部123は、インジケーター143から入射された光が撮像された画像に基づいて、リモコン140の位置を検出する。
この構成により、インジケーター143は、周囲環境の光量が所定閾値以下である場合、点灯する。これにより、情報入出力装置は、周囲環境が暗い場合でも、リモコン160の位置を検出することができる。一方、情報入出力装置は、周囲環境が明るい場合、インジケーター143を消灯することで、消費電力を抑えることができる。
As described above, the
With this configuration, the
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
また、上記に説明した情報入出力装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。 Further, an execution process is performed by recording a program for realizing the information input / output device described above on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium. May be performed. Here, the “computer system” may include an OS and hardware such as peripheral devices.
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリー等の書き込み可能な不揮発性メモリー、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリー(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) that holds a program for a certain period of time is also included.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above.
Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
1…ヘッドマウントディスプレイ、20…ディスプレイ本体、21…装置本体部、21A…筐体(装置本体部)、23…耳元スピーカー、24…集音マイク、25…USBコネクター、26…オーディオコネクター、27…ビデオコネクター、28…メインスイッチ、29…回路基板、30…操作スイッチ、31…連結孔、32…ヘッドバンドヒンジ、33…バッテリー、34…タッチスイッチ、35…バックライト(本体)、36…表示パネル(本体)、37…通話マイク、40…ヘッドバンド(装着部)、41…ピン、43…第1ヘッドバンド、43a…ジョイント部、43b…軸受部、43c…軸受部、43d…軸受部、43e…軸受部、44…第2ヘッドバンド、46…ヘッドパット、46a…支持板、46b…弾性部材、47…ヘッドパット、48…バネ部材、49…標章表示部、56…回動機構、57…回動機構、60…表示部、61…ディスプレイヒンジ、62…バックライト(表示部)、63…表示パネル(表示部)、64…カメラ、65…プリズム、66…反射ミラー、67…ファインダー開口部、68…前方ライト(点灯部)、70…前方スピーカー、71…結像レンズ、72…撮像素子(撮像部)、73…レーザー発振器、100…ステレオイヤホン、101…オーディオコネクター、102…ケーブル、103…第1スピーカー、104…第2スピーカー、105…集音マイク、106…クリップ、120…電源回路、121…デコーダー、122…フラッシュメモリー、123…処理部、125…LCDドライバ、126…BLドライバ、127…メモリー、128…メインスイッチ、129…エンコーダー、130…BT通信回路、131…WiFi通信回路、132…加速度センサー、133…地磁気センサー、134…角速度センサー、135…GPSセンサー、136…温湿度センサー、137…心拍数センサー、138…3G/LTE通信回路、140…リモコン(指示部)、141…タッチパッド、147…操作スイッチ、142…USBコネクター、143…インジケーター、144…取付クリップ、147…操作スイッチ、148…USBケーブル、149…クリップ、150a〜150b…インジケータースイッチ、151a〜151b…コーナーキューブ(反射体)、152a〜152b…筐体面、160…リモコン(指示部)、162…スピーカーアンプ
DESCRIPTION OF
Claims (7)
前記点灯部から入射された光を、入射方向に折り返す反射体を有する指示部と、
前記点灯部の近傍から前記指示部を撮像することにより、前記反射体により折り返された光を撮像する撮像部と、
前記折り返された光が撮像された画像に基づいて、前記指示部の位置を検出する処理部と、
を備えることを特徴とする情報入出力装置。 A lighting part to be turned on or off;
An indicator having a reflector for turning back the light incident from the lighting unit in the incident direction;
An imaging unit that images the light reflected by the reflector by imaging the instruction unit from the vicinity of the lighting unit;
A processing unit that detects a position of the instruction unit based on an image obtained by imaging the folded light; and
An information input / output device comprising:
前記処理部は、前記点灯部が点灯した状態で撮像された画像と、前記点灯部が消灯した状態で撮像された画像と、の差分画像を生成し、前記差分画像に撮像された前記反射体による輝点に基づいて、前記指示部の位置を検出することを特徴とする請求項1に記載の情報入出力装置。 The imaging unit images the instruction unit in a state where the lighting unit is lit and a state where the lighting unit is turned off,
The processing unit generates a differential image between an image captured with the lighting unit turned on and an image captured with the lighting unit turned off, and the reflector imaged in the differential image The information input / output device according to claim 1, wherein the position of the instruction unit is detected based on a bright spot by the information.
前記撮像部は、前記発光部を撮像し、
前記処理部は、前記撮像部により撮像された前記発光部の色を検出し、検出した色に対応付けられた処理を実行することを特徴とする請求項1又は請求項2に記載の情報入出力装置。 The indicating unit includes a light emitting unit that emits light of different colors,
The imaging unit images the light emitting unit,
The information input according to claim 1, wherein the processing unit detects a color of the light emitting unit imaged by the imaging unit, and executes a process associated with the detected color. Output device.
前記撮像部は、前記発光部から入射された光を撮像し、
前記処理部は、前記発光部から入射された光が撮像された画像に基づいて、前記指示部の位置を検出することを特徴とする請求項1から請求項3のいずれか一項に記載の情報入出力装置。 The light emitting unit is lit when the light amount of the surrounding environment is equal to or less than a predetermined threshold,
The imaging unit images light incident from the light emitting unit,
The said process part detects the position of the said instruction | indication part based on the image by which the light incident from the said light emission part was imaged, The Claim 1 characterized by the above-mentioned. Information input / output device.
を備え、
前記処理部は、前記指示部の位置に応じて、前記表示部に画像を表示させることを特徴とする請求項1から請求項5のいずれか一項に記載の情報入出力装置。 It has a display that displays images,
The information input / output apparatus according to claim 1, wherein the processing unit displays an image on the display unit according to a position of the instruction unit.
入射された光を入射方向に折り返す反射体を有する指示部を撮像することにより、前記反射体により折り返された光を撮像する手順と、
前記折り返された光が撮像された画像に基づいて、前記指示部の位置を検出する手順と、
を実行させるための情報入出力プログラム。 On the computer,
A procedure for imaging the light reflected by the reflector by imaging the indicator having a reflector that folds the incident light in the incident direction;
A procedure for detecting a position of the pointing unit based on an image obtained by imaging the folded light;
Information input / output program to execute
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012125895A JP2013250847A (en) | 2012-06-01 | 2012-06-01 | Information input/output device, and information input/output program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012125895A JP2013250847A (en) | 2012-06-01 | 2012-06-01 | Information input/output device, and information input/output program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013250847A true JP2013250847A (en) | 2013-12-12 |
Family
ID=49849444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012125895A Pending JP2013250847A (en) | 2012-06-01 | 2012-06-01 | Information input/output device, and information input/output program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013250847A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017174693A (en) * | 2016-03-24 | 2017-09-28 | キヤノン株式会社 | Electronic apparatus |
-
2012
- 2012-06-01 JP JP2012125895A patent/JP2013250847A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017174693A (en) * | 2016-03-24 | 2017-09-28 | キヤノン株式会社 | Electronic apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6011072B2 (en) | Control device and program | |
JP2013190941A (en) | Information input output device, and head-mounted display device | |
JP6139679B2 (en) | Information processing terminal and game device | |
JP6719418B2 (en) | Electronics | |
JP6123180B2 (en) | Display device | |
JP6318462B2 (en) | Display device | |
JP6397698B2 (en) | Information processing terminal, information processing program, information processing terminal system, and information processing method | |
JP2014021707A (en) | Information input/output device and information input/output method | |
CN111475077A (en) | Display control method and electronic equipment | |
JP6136090B2 (en) | Electronic device and display device | |
JP2019128693A (en) | Head-mounted display, and method for controlling head-mounted display | |
JP2014212473A (en) | Communication device and head-mounted display device | |
JP2013239767A (en) | Head-mounted type information input/output device | |
JP2013175947A (en) | Head-mounted device | |
JP2014044654A (en) | Information input and output device | |
JP2014021272A (en) | Information input/output device and information input/output method | |
JP2014035668A (en) | Head-mounted information input/output device and head-mounted information input/output method | |
JP2013255012A (en) | Head holding member and head-mounted information output device | |
JP2018200415A (en) | Head-mounted display device, program, and method for controlling head-mounted display device | |
JP2013175909A (en) | Head-mounted device | |
JP2013250846A (en) | Information input output device, and information input output program | |
JP2013174730A (en) | Information display device | |
JP2014022937A (en) | Head-mounted information input/output device and head-mounted information input/output method | |
JP2014022942A (en) | Head-mounted device | |
JP2013175945A (en) | Head-mounted device |