JP2013175909A - 頭部装着装置 - Google Patents

頭部装着装置 Download PDF

Info

Publication number
JP2013175909A
JP2013175909A JP2012038792A JP2012038792A JP2013175909A JP 2013175909 A JP2013175909 A JP 2013175909A JP 2012038792 A JP2012038792 A JP 2012038792A JP 2012038792 A JP2012038792 A JP 2012038792A JP 2013175909 A JP2013175909 A JP 2013175909A
Authority
JP
Japan
Prior art keywords
unit
user
irradiation
head
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012038792A
Other languages
English (en)
Inventor
Satoshi Ejima
聡 江島
Shigeru Kato
茂 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2012038792A priority Critical patent/JP2013175909A/ja
Publication of JP2013175909A publication Critical patent/JP2013175909A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮像部により撮像した画像を表示部に表示させ、この撮像した画像を様々な用途に利用することが可能な頭部装着装置において、撮像した画像内の使用者が着目する対象物に対して、所定の処理を行おうとした場合に、対象物の位置の指定を可能とする。
【解決手段】頭部装着装置は、装着した使用者の視線方向の画像を撮像する第1撮像部と、少なくとも第1撮像部によって撮像された画像を表示する表示部と、使用者の視線方向にスポット光を照射する照射部とを備える。
【選択図】図8

Description

本発明は、頭部装着装置に関する。
使用者の頭部に装着し、表示部に表示される画像を観察させるヘッドマウントディスプレイ装置などの頭部装着装置が知られている。このような頭部装着装置には、撮像部を備え、撮像部により撮像した画像を表示部に表示するものがある(例えば、特許文献1を参照)。
特開2010−136263号公報
ところで、上述の頭部装着装置は、撮像部により撮像した画像を表示部に表示させるものであり、この撮像した画像を様々な用途に利用することが可能である。しかしながら、上述の頭部装着装置は、撮像した画像を利用する際に利便性が悪い場合があった。例えば、上述の頭部装着装置は、撮像した画像内の使用者が着目する対象物に対して、所定の処理を行おうとした場合に、対象物の位置の指定ができずに不便な場合があった。
本発明は、上記問題を解決すべくなされたもので、その目的は、利便性を向上させることができる頭部装着装置を提供することにある。
上記問題を解決するために、本発明の一実施形態は、装着した使用者の視線方向の画像を撮像する第1撮像部と、少なくとも前記第1撮像部によって撮像された前記画像を表示する表示部と、前記使用者の視線方向にスポット光を照射する照射部とを備えることを特徴とする頭部装着装置である。
本発明によれば、利便性を向上させることができる。
本実施形態によるヘッドマウントディスプレイの斜視図である。 本実施形態におけるヘッドマウントディスプレイを背面側から見た斜視図である。 本実施形態におけるヘッドマウントディスプレイの装着形態を示す図である。 本実施形態におけるディスプレイ本体の水平断面図である。 本実施形態におけるレーザー発振器の構成を示す図である。 本実施形態におけるリモコンを示す斜視図である。 本実施形態におけるステレオイヤホンを示す斜視図である。 本実施形態におけるヘッドマウントディスプレイの機能ブロック図である。 本実施形態におけるヘッドマウントディスプレイのAF動作を示すフローチャートである。 本実施形態におけるターゲットマークの表示例を示す第1の図である。 本実施形態におけるヘッドマウントディスプレイのバーコードの読み取り動作を示すフローチャートである。 本実施形態におけるターゲットマークの表示例を示す第2の図である。 本実施形態におけるヘッドマウントディスプレイのポイント指示の動作を示すフローチャートである。
以下、本発明の一実施形態による頭部装着装置について、図面を参照して説明する。
以下の説明においては、必要に応じてXYZ直交座標系を設定し、このXYZ直交座標系を参照しつつ各部の位置関係について説明する。水平面内の所定方向をX軸方向、水平面内においてX軸方向と直交する方向をY軸方向、X軸方向及びY軸方向のそれぞれと直交する方向(すなわち鉛直方向)をZ軸方向とする。また、X軸、Y軸、及びZ軸まわりの回転(傾斜)方向をそれぞれ、θX、θY、及びθZ方向とする。
図1は、本実施形態のヘッドマウントディスプレイの斜視図である。図2は、ヘッドマウントディスプレイを背面側から見た斜視図である。図3は、本実施形態のヘッドマウントディスプレイの装着形態を示す図である。
ヘッドマウントディスプレイ1(頭部装着装置)は、ディスプレイ本体20と、ユーザー(使用者)の頭部に装着されディスプレイ本体20を支持するヘッドバンド40と、を備えた単眼式のヘッドマウントディスプレイである。本実施形態のヘッドマウントディスプレイ1は、図3に示すように、両眼どちらでも使用可能である。図3(A)には、ユーザーが右眼で表示部60を見ている状態、図3(B)には左眼で見ている状態が示されている。また、図2に示すように、ディスプレイ本体20とヘッドバンド40とは、連結ピン41を介して着脱可能に構成されている。ヘッドバンド40は、ユーザー(使用者)が装着した際に、ユーザーのほぼ頭頂部に位置する第1ヘッドバンド43と、ユーザーの後頭部に位置する第2ヘッドバンド44によって構成されている。
なお、図1及び図2では、ディスプレイ本体20の長手方向をY軸方向、ヘッドバンド40がユーザーの頭部を挟持する方向をX軸方向としている。
以下、ヘッドマウントディスプレイ1の各部の構成について詳細に説明する。
ディスプレイ本体20は、主要回路を内蔵するとともに操作部や各種インターフェースを備えた装置本体部21と、装置本体部21の先端に連結された表示部60とを有する。
装置本体部21は、概略板状の筐体21A(図4)を有する。本実施形態では、装置本体部21においてヘッドバンド40との接続部が設けられている側の端部(+Y側の端部)を基端部とし、この基端部と反対側の端部(−Y側の端部)を先端部とする。また、装置本体部21をヘッドバンド40に装着した状態で、装置本体部21のヘッドバンド40側(+X側)を内側、ヘッドバンド40と反対側(−X側)を外側とする。
装置本体部21の外面には、図1に示すように、メインスイッチ28と、タッチスイッチ34と、集音マイク24とが、筐体21Aの長手方向に沿って配置されている。
メインスイッチ28は、ディスプレイ本体20の電源のオンオフ操作を行うスイッチである。タッチスイッチ34は、表面に手指等で触れることによりヘッドマウントディスプレイ1の各種操作を行うことができるタッチパネルである。集音マイク24は、環境音を収集する外部マイクである。
装置本体部21内面の基端部側に、図2に示すように、耳元スピーカー23と、オーディオコネクター26と、連結孔31を有するヘッドバンドヒンジ32とが設けられている。装置本体部21内面の中央部に心拍数センサー137が設けられている。装置本体部21の内側面の先端部には通話マイク37が設けられている。
耳元スピーカー23は、ユーザーの耳の近傍に配置される。耳元スピーカー23からユーザーに音声情報が伝えられる。オーディオコネクター26は、例えば図7に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ32は、ヘッドバンド40とのジョイント部である。通話マイク37にはユーザーの音声が入力される。
心拍数センサー137は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー137は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー137は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー137はユーザーの目の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。
装置本体部21の基端部側の側端面には、USBコネクター25と、操作スイッチ30と、ビデオコネクター27とが設けられている。
USBコネクター25はUSB(Universal Serial Bus)デバイスの接続端子である。本実施形態では、例えば、図6に示すリモコン(リモートコントローラー)140が接続される。
操作スイッチ30は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ30は表示部60に表示される画面に正対するように設けられている。これにより、操作スイッチ30における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ30を操作することが可能である。
ビデオコネクター27は映像入出力端子である。
ヘッドバンド40は、図2に示すように、ユーザーの頭部を挟持する一対のヘッドパット(装着部材)46、47と、第1ヘッドバンド43と、第2ヘッドバンド44と、回動機構56、57とを備えている。
第1ヘッドバンド43は、全体として円弧状を成す弾性部材である。第1ヘッドバンド43の頂部に、第1ヘッドバンド43を折り曲げるためのジョイント部43aが設けられている。第1ヘッドバンド43の両端には、回動機構56、57を構成する軸受部43b、43cがそれぞれ設けられている。軸受部43b、43cよりもさらにバンド先端側に、ヘッドパット46、47が接続される軸受部43d、43eが設けられている。
第2ヘッドバンド44は、全体として円弧状を成す弾性部材である。第2ヘッドバンド44の頂部には、第2ヘッドバンド44を折り曲げるためのジョイント部44aが設けられている。第2ヘッドバンド44の両端には、それぞれ回動機構56、57を構成する軸部材44b、44cが設けられている。
また本実施形態において、第2ヘッドバンド44は、ステンレス等の金属からなるバネ部材48の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第2ヘッドバンド44のバネ部材48においてユーザーの頭部を挟持するバネ力を発生させる。また第2ヘッドバンド44は第1ヘッドバンド43と比較して広い幅に形成されている。ジョイント部44aの形成部分は他のバンド部分よりもさらに広く形成された標章表示部49とされている。標章表示部49には、シールや印刷により製品タグ等が付される。なお、第2ヘッドバンド44の全体を金属で形成してもよい。
ヘッドパット46は、板状の支持板46aと、支持板46aの一面側に設けられた断面アーチ状の弾性部材46bとを有する。支持板46aの弾性部材46bと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン41が立設されている。連結ピン41は、第1ヘッドバンド43の一方の先端に設けられた軸受部43dに軸支されている。これにより、ヘッドパット46は連結ピン41回りに回転可能である。
ヘッドパット47は、板状の支持板47aと、支持板47aの一方の面に設けられた断面アーチ状の弾性部材47bとを有する。支持板47aの弾性部材47bと反対側の面には、軸部材47cが設けられている。軸部材47cは、第1ヘッドバンド43の先端に設けられた軸受部43eに軸支されている。これにより、ヘッドパット47は、軸部材47c回りに回転可能である。
図4は、ディスプレイ本体20の水平断面図である。
図4に示すように、装置本体部21には、筐体21Aの長手方向に沿って延びる板状の回路基板29と、バッテリー33とが内蔵されている。回路基板29には、不図示の制御回路、電源回路等が実装されており、不図示の配線を介してディスプレイ本体20の各部と電気的に接続されている。
装置本体部21の外面に露出するタッチスイッチ34の内側には、液晶パネルからなる表示パネル36と、バックライト35とが配置されている。本実施形態では、表示パネル36の表示画像がタッチスイッチ34を透過して表示される。表示パネル36及びバックライト35を、有機ELパネルや電気泳動パネルとしてもよい。
ヘッドバンドヒンジ32は、筐体21Aに設けられた凹曲面状の収容部32aと、収容部32aに嵌合された球状部32bとからなるボールジョイントである。球状部32bは、球面状の側面部と、この側面部を挟むように互いに平行に形成された2つの平面部を有する。2つの平面部を垂直に貫くように連結孔31が形成されている。連結孔31は軸方向視で六角形状に形成されている。連結孔31にヘッドバンド40の連結ピン41が挿入されることによりディスプレイ本体20とヘッドバンド40とが連結される。
ヘッドバンドヒンジ32を備えていることで、ディスプレイ本体20は、図1に示したA方向(ヘッドバンドヒンジ32を中心とするX軸回り)に回動させることができる。本実施形態において、ディスプレイ本体20の回転可能範囲は270°程度とされる。このX軸回りの回転動作により、図3(A)に示す右眼で画像を観察する形態と、図3(B)に示す左眼で画像を観察する形態との切替機能が実現される。
また、ヘッドバンドヒンジ32は、ボールジョイントであるため、ディスプレイ本体20は図1に示すB方向(ヘッドバンドヒンジ32を中心とするZ軸回り)に揺動させることもできる。この揺動操作により、ディスプレイ本体20のユーザーの目や耳に対する位置を調整することができる。
ヘッドバンドヒンジ32近傍の心拍数センサー137は、装置本体部21の内面から突出するように設けられ、ヘッドマウントディスプレイ1の装着時にユーザーの顔の表面に当接可能とされている。バッテリー33は、充電式電池、使い捨て電池のいずれであってもよい。
表示部60は、図1及び図2に示すように、装置本体部21の先端部に連結されている。本実施形態において、表示部60のヘッドバンド40側を内側、ヘッドバンド40と反対側を外側とする。表示部60は、上面視(Z軸視)において湾曲した形状を有するアーム部材であり、装置本体部21との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部60の内面に、ファインダー開口部67が設けられている。表示部60の外面には、カメラ64及びレーザー発振器73が設けられている。
図4に示すように、表示部60は、ディスプレイヒンジ61を介して装置本体部21と連結されている。ディスプレイヒンジ61は、表示部60の筐体60Aに形成された凹曲面状の収容部61aと、装置本体部21に形成され収容部61aに嵌合された球状部61bとからなるボールジョイントである。
装置本体部21の球状部61bは、装置本体部21の外面先端部に形成された筐体21Aの長手方向に対して斜めに延びる傾斜面に、この傾斜面の法線方向(図4のY’軸方向)に突出するようにして設けられている。
表示部60は、ディスプレイヒンジ61の球状部61bに対してY’軸回りに自由に回転させることができる。これにより、図4(A)に示す視聴可能状態から表示部60を回転させることで、図4(B)に示す収容状態に移行することができる。本実施形態では、ディスプレイヒンジ61が装置本体部21の上記傾斜面に設けられており、表示部60が内側に湾曲した形状を有している。これにより、図4(B)に示す収容状態において、表示部60は装置本体部21の外面に沿うように配置される。
ディスプレイヒンジ61の球状部61bには、球状部61bを高さ方向(Y’軸方向)に貫通する貫通孔61cが形成されている。貫通孔61cを介して、表示部60の内部と装置本体部21の内部とが連通されている。貫通孔61cには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板29と表示部60の各部とが電気的に接続される。
表示部60の内部には、バックライト62と、表示パネル63と、カメラ64と、プリズム65と、反射ミラー66と、前方ライト68と、前方スピーカー70と、結像レンズ71と、撮像素子72と、レーザー発振器73とが設けられている。
プリズム65は、上面視(Z軸視)で略三角形状の第1プリズム65aと第2プリズム65bとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第1プリズム65aの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル63が設けられている。表示パネル63の背面に表示パネル63を透過照明するバックライト62が配置されている。第1プリズム65aの他方の面に対向する位置に反射ミラー66が配置されている。反射ミラー66は、ファインダー開口部67のほぼ正面に位置する。
第2プリズム65bの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部67に配置されたファインダー接眼面である。第2プリズム65bの他方の面に対向する位置には結像レンズ71を介して撮像素子72が対向配置されている。
表示部60において、表示パネル63に表示された画像は、第1プリズム65a、反射ミラー66、第2プリズム65bを介してファインダー開口部67から射出され、ユーザーに観察される。また、ファインダー開口部67を見ているユーザーの目元は、第2プリズム65b及び結像レンズ71を介して撮像素子72上に結像される。撮像素子72を介して取得された目元の画像は、ユーザーの視線の方向や瞬き、表情の解析に用いられる。すなわち、撮像素子72(第2撮像部)は、ユーザーの目元を撮像する撮像部として機能する。バックライト62は、撮像素子72による目元撮像の照明装置としても利用される。
カメラ64(第1撮像部)は、例えば500万画素〜1000万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。
本実施形態の場合、カメラ64の撮像方向は、ユーザーの視線方向と一致するように設定される。すなわち、カメラ64は、ヘッドマウントディスプレイ1を装着したユーザーの視線方向の画像(映像)を撮像する。なお、撮像方向と視線方向との調整は、機械的に行ってもよく、画像処理により行ってもよい。例えば、カメラ64を広角の映像を取得可能に構成し、ユーザーの目元画像から取得した視線方向の情報に基づいて、電気的に捕らえた映像の一部を、視線方向の映像として抜き出して表示パネル63に表示させる。これにより、カメラ64に調整機構を設けることなくユーザー正面の映像(画像)の撮像、表示が可能となる。
前方ライト68は、例えば、LED(Light Emitting Diode)ライトである。前方ライト68は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト68は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ64で撮像する際の照明装置として用いてもよい。
レーザー発振器73(照射部)は、例えば、カメラ64の近傍であり、カメラ64と反射ミラー66との間に設けることができる。レーザー発振器73は、例えば、赤色レーザー光(スポット光)を前方に照射する。レーザー発振器73は、レーザー光L1(図1参照)を前方に照射することで、レーザー光によるポインティング(指標の表示)が可能である。レーザー発振器73(照射部)は、例えば、表示パネル63に表示された画像(カメラ64によって撮像された画像)内の所定の位置に対応する対象物にスポット光を照射する。
次に、レーザー発振器73の構成について、図5を参照して説明する。
図5は、本実施形態におけるレーザー発振器73の構成を示す図である。
この図において、レーザー発振器73は、レーザー発光部74、可動ミラー75、フィルター76、及びレーザー受光部77を備えている。
レーザー発光部74は、例えば、LEDレーザー素子であり、レーザー光を発光し、発光したレーザー光を可動ミラー75に照射する。レーザー発光部74は、例えば、スポット状の光(スポット光)であるレーザー光を出射し、可動ミラー75を介してレーザー発振器73の外部にレーザー光L1を照射する。
可動ミラー75は、レーザー発光部74から照射されたレーザー光L1を左右に振り分けて、レーザー発振器73の外部に照射する。可動ミラー75は、後述するバーコードの読み取りの際にレーザー光L1を左右に振り分ける。
フィルター76は、例えば、光学フィルターであり、ターゲット(対象物)に照射されたレーザー光L1が反射したレーザー反射光L2を含んだ光から、レーザー光L1以外の波長の光を低減し、レーザー光L1(レーザー反射光L2)の波長の光を透過する。
レーザー受光部77は、フィルター76を介して入射したレーザー反射光L2を受光して、光量に応じた電気信号に変換する。
なお、ヘッドマウントディスプレイ1は、レーザー受光部77によりレーザー反射光L2をスキャンするか否かはユーザーが適宜選択可能になっている。
図6は、本実施形態のヘッドマウントディスプレイ1に付属のリモコンを示す斜視図である。
リモコン140は、筐体140Aと、タッチパッド141と、操作スイッチ147と、USBコネクター142と、インジケーター143a、143b、143cと、取付クリップ144と、インジケータースイッチ150と、を備えている。
リモコン140は、USBケーブル148の一方の端子をUSBコネクター142に接続し、他方の端子を装置本体部21のUSBコネクター25に接続することで、装置本体部21と電気的に接続される。USBケーブル148としては市販のUSBケーブルを用いることができる。本実施形態の場合、USBケーブル148の途中に複数のクリップ149が設けられている。複数のクリップ149は、例えばUSBケーブル148を第2ヘッドバンド44に沿わせた状態で固定するために用いることができる。
リモコン140には、ディスプレイ本体20や他の電子機器と無線通信を行うための通信回路が内蔵されている。通信回路の通信方式としては、例えば、Bluetooth(登録商標)、無線LAN、赤外線通信、UWB(Ultra Wide Band)、Transfer Jetなどを用いることができる。かかる通信回路により、USBケーブル148を接続していなくてもディスプレイ本体20との通信が可能である。
リモコン140には、Gセンサーや加速度センサー、方位センサーが内蔵されていてもよい。これらのセンサーで検出した情報についても、上記した通信回路を介してディスプレイ本体20へ通信可能である。
タッチパッド141は、筐体140Aの一方の主面に設けられている。タッチパッド141は、ユーザーがタッチすることによりディスプレイ本体20を操作するための操作部である。タッチパッド141の背面側の筐体140A内部には、装置本体部21のタッチスイッチ34と同様に表示パネルやバックライトが設けられていてもよい。
操作スイッチ147は、リモコン140やディスプレイ本体20を手動操作するためのスイッチである。操作スイッチ147は、必要に応じて設けられていればよい。筐体140Aの側面に設けられたインジケータースイッチ150は、インジケーター143a〜143cを利用した所定動作を行わせるためのスイッチである。
USBコネクター142は、装置本体部21との接続のほか、リモコン140が充電式のバッテリーを内蔵している場合にはリモコン140の充電端子や、PCとの接続にも用いられる。
また、USBコネクター142は、リモコン140がバッテリーを内蔵している場合には、装置本体部21への給電端子として用いることもできる。リモコン140のバッテリーを補助電源として使用可能にすることで、ヘッドマウントディスプレイ1は、装置本体部21のバッテリー容量を小さくでき、装置本体部21を小型軽量化することができる。
インジケーター143a、143b、143cは、タッチパッド141の周囲に配置されている。本実施形態では、タッチパッド141の一辺に沿う位置にインジケーター143aが配置され、インジケーター143aに対してタッチパッド141を挟んだ反対側にインジケーター143bとインジケーター143cとが配置されている。
インジケーター143a〜143cはLED等の発光素子を備えている。本実施形態では、インジケーター143aは緑色の発光素子、インジケーター143bはオレンジ色の発光素子、インジケーター143cは青色の発光素子をそれぞれ備えている。これらの発光素子は制御されたタイミングでパターン発光可能に構成されている。インジケーター143a〜143cの上記パターン発光は、筐体140A側面のインジケータースイッチ150を操作することでオンオフすることができる。
取付クリップ144は、筐体140Aのタッチパッド141と反対側の面に設けられている。本実施形態の場合、取付クリップ144は、一端を筐体140Aに固定された側面視S形のバネ板部材である。取付クリップ144により、リモコン140をユーザーの衣服やベルト等に装着することができる。
また、ヘッドマウントディスプレイ1は、取付クリップ144によりヘッドパット47の近傍を挟むことで、ヘッドバンド40にリモコン140を取り付けてもよい。ヘッドバンド40のヘッドパット46にディスプレイ本体20を取り付ける一方、ヘッドパット47側にリモコン140を取り付けることで、ヘッドマウントディスプレイ1における重量バランスの不均衡を低減することができる。
図7は、本実施形態のヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
ステレオイヤホン100は、コネクター101と、ケーブル102と、第1スピーカー103と、第2スピーカー104と、集音マイク105と、複数のクリップ106とを有している。
コネクター101は、ケーブル102の一方の端部に設けられている。コネクター101は、例えば、一般的な4極φ3.5mmのミニプラグである。4極の内訳は、集音マイク105、第1スピーカー103、第2スピーカー104、グランド(GND)である。ケーブル102は、コネクター101の近傍において二分岐され、分岐されたケーブルの先端に第1スピーカー103が設けられている。ケーブル102の他方の端部には、第2スピーカー104と集音マイク105とが設けられている。複数のクリップ106は、ケーブル102上に所定の間隔で配置されている。
ステレオイヤホン100の第1スピーカー103は、ディスプレイ本体20が配置された側のユーザーの耳に装着され、第2スピーカー104は第1スピーカー103と反対側の耳に装着される。このとき、ケーブル102は、クリップ106によって第2ヘッドバンド44に固定することができる。
また、ステレオイヤホン100の集音マイク105と、ディスプレイ本体20において筐体21Aの外側面に設けられた集音マイク24とにより、ステレオ録音が可能である。例えば、図3(A)に示すようにディスプレイ本体20が右眼側に配置されているとすれば、ディスプレイ本体20の集音マイク24はユーザーの右側の音を収集し、左耳に装着された集音マイク105はユーザーの左側の音を収集する。なお、ステレオイヤホン100の第1スピーカー103から右チャンネルの音声が出力され、第2スピーカー104からは左チャンネルの音声が出力される。
一方、図3(B)に示すように左眼側にディスプレイ本体20が配置されている場合には、ディスプレイ本体20の集音マイク24がユーザーの左側の音を収集し、右耳に装着された集音マイク105がユーザーの右側の音を収集する。ステレオイヤホン100の第1スピーカー103から左チャンネルの音声が出力され、第2スピーカー104からは右チャンネルの音声が出力される。
図8は、ヘッドマウントディスプレイ1の機能ブロック図である。
ヘッドマウントディスプレイ1は、処理部123を中心として種々の電気回路を備えている。ヘッドマウントディスプレイ1は、例えば、バックライト62、表示パネル63、カメラ64、前方ライト68、撮像素子72、レーザー発振器73、デコーダー121、フラッシュメモリー122、処理部123、LCDドライバ125、BLドライバ126、メモリー127、エンコーダー129、心拍数センサー137、及び電源回路120を備えている。
処理部123は、例えば、CPU(Central Processing Unit)であり、ヘッドマウントディスプレイ1の各種回路と接続されるとともに、ヘッドマウントディスプレイ1を総合的に制御する。処理部123の詳細については、後述する。
本実施形態の場合、エンコーダー129、デコーダー121、電源回路120、BLドライバ126、操作スイッチ30、フラッシュメモリー122、BT通信回路130、WiFi通信回路131、加速度センサー132、地磁気センサー133、前方ライト68、3G/LTE通信回路138、レーザー発振器73、角速度センサー134、GPSセンサー135、温湿度センサー136、心拍数センサー137、メモリー127、メインスイッチ28、及びタッチスイッチ34は、処理部123に接続されている。
エンコーダー129は、音声信号及び映像信号を所定方式の音声データ及び映像データにエンコード(符号化)する。エンコーダー129には、カメラ64、撮像素子72、集音マイク24、通話マイク37、オーディオコネクター26、ビデオコネクター27が接続されている。
エンコーダー129は、集音マイク24、通話マイク37、及び、オーディオコネクター26から供給される音声信号をエンコード(符号化)し、エンコードした音声信号を処理部123に供給する。また、エンコーダー129は、カメラ64、ユーザーの目元を撮像する撮像素子72、及びビデオコネクター27から入力される映像(画像)信号をエンコード(符号化)し、エンコードした映像(画像)信号を処理部123に供給する。
デコーダー121は、音声データ及び映像データを音声信号及び映像信号にデコード(復号化)する。デコーダー121には、LCDドライバ125、スピーカーアンプ162、オーディオコネクター26、及びビデオコネクター27が接続されている。すなわち、デコーダー121は、音声データを音声信号にデコード(復号化)し、デコードした音声信号をスピーカーアンプ162又はオーディオコネクター26に供給する。また、デコーダー121は、映像(画像)データを映像(画像)信号にデコード(復号化)し、デコードした音声信号をLCDドライバ125又はビデオコネクター27に供給する。
LCDドライバ125は、例えば、液晶パネル用の駆動信号を生成する回路であり、表示パネル36及び表示パネル63に接続されている。すなわち、LCDドライバ125は、処理部123からデコーダー121を介して供給された映像(画像)信号に基づいて液晶パネル用の駆動信号を生成し、生成した液晶パネル用の駆動信号を表示パネル36又は表示パネル63に供給する。
表示パネル63(表示部)は、例えば、液晶表示パネルであり、LCDドライバ125から供給される駆動信号に基づいて、映像(画像)を表示する。なお、表示パネル63は、少なくともカメラ64によって撮像された画像を表示する。また、表示パネル63は、後述する所定の位置にレーザー光(スポット光)を照射する位置を示すターゲットマークを表示する。
BLドライバ126は、例えば、バックライト用の駆動信号を生成する回路であり、バックライト35及びバックライト62に接続されている。すなわち、BLドライバ126は、処理部123から供給された制御信号に基づいて、バックライト用の駆動信号を生成し、生成したバックライト用の駆動信号をバックライト35及びバックライト62に供給する。
バッテリー33は、電源回路120を介してヘッドマウントディスプレイ1の各部に電力を供給する。
電源回路120は、処理部123から供給される制御信号に基づいて、バッテリー33から供給された電力の制御(例えば、電圧の変換、供給オンオフ)を行う。
スピーカーアンプ162は、例えば、音声信号を増幅してスピーカーに出力する回路であり、耳元スピーカー23及び前方スピーカー70に接続されている。スピーカーアンプ162は、処理部123からデコーダー121を介して供給された音声信号を増幅し、増幅した音声信号を耳元スピーカー23又は前方スピーカー70に供給する。
本実施形態の場合、耳元スピーカー23及び前方スピーカー70は、モノラル音声の使用を想定しており、耳元スピーカー23及び前方スピーカー70は、左右の音声信号が合成された音を出力する。
メモリー127は、処理部123によって実行される制御プログラムを記憶している。
メインスイッチ28は、全体の電源のオンオフを行うスイッチであり、ユーザーが操作することにより、操作に基づく制御信号を処理部123に供給する。
操作スイッチ30は、画面内でのポインティング操作を行うためのスイッチであり、ユーザーが操作することにより、操作に基づく制御信号を処理部123に供給する。
タッチスイッチ34は、タッチ操作により各種操作を行うスイッチであり、ユーザーが操作することにより、操作に基づく制御信号を処理部123に供給する。
BT通信回路130は、他の機器とのBluetooth(登録商標)通信を行うための通信回路である。
WiFi通信回路131は、他の機器との無線LAN通信(IEEE 802.11)を行うための通信回路である。
3G/LTE通信回路138は、他の機器との移動通信を行うための通信回路である。
BT通信回路130、WiFi通信回路131、及び3G/LTE通信回路138は、他の機器との間で、音声データや映像(画像)データなどの情報の送信/受信を行う。
加速度センサー132(Gセンサー)は、加速度情報(例えば、加速度及び重力)を検出し、ヘッドマウントディスプレイ1の傾き検出に用いられる。加速度センサー132は、検出した加速度情報を処理部123に供給する。
地磁気センサー133は、地磁気に基づいて方位情報を検出し、ヘッドマウントディスプレイ1の方角検出に用いられる。地磁気センサー133は、検出した方位情報を処理部123に供給する。
角速度センサー134(ジャイロセンサー)は、角速度を検出し、ヘッドマウントディスプレイ1の回転検出に用いられる。角速度センサー134は、検出した角速度を処理部123に供給する。
GPSセンサー135は、GPS(Global Positioning System)を利用した測位検出に用いられ、ヘッドマウントディスプレイ1の緯度経度を測定する。GPSセンサー135は、測定したヘッドマウントディスプレイ1の緯度経度を処理部123に供給する。
温湿度センサー136は、環境の温度、及び湿度を検出する。温湿度センサー136は、検出した環境の温度、及び湿度を処理部123に供給する。
心拍数センサー137(第3検出部)は、ユーザーの頬に接触し、ユーザーの心拍数を検出する。すなわち、心拍数センサー137は、ヘッドマウントディスプレイ1がユーザーに装着されているか否かを検出する。心拍数センサー137は、検出したユーザーの心拍数を処理部123に供給する。
レーザー発振器73は、上述したように表示パネル63に表示された画像内の所定の位置に対応するターゲット(対象物)にレーザー光(スポット光)を照射する。また、レーザー発振器73は、レーザー発光部74及びレーザー受光部77を備えている。
レーザー発光部74は、処理部123から供給される制御信号に基づいて、レーザー光L1を出射する。
また、レーザー受光部77は、フィルター76を介して受光したレーザー反射光L2の光量に応じた電気信号を処理部123に供給する。
処理部123(制御部)は、上述したようにヘッドマウントディスプレイ1を総合的に制御する。処理部123(制御部)は、例えば、集音マイク24、通話マイク37、又はオーディオコネクター26からエンコーダー129を介して供給された音声データをフラッシュメモリー122に記憶させる。処理部123(制御部)は、例えば、集音マイク24、通話マイク37、又はオーディオコネクター26からエンコーダー129を介して供給された音声データをBT通信回路130、WiFi通信回路131、又は3G/LTE通信回路138を介して他の機器に送信する。
また、処理部123(制御部)は、例えば、カメラ64、撮像素子72、又はビデオコネクター27からエンコーダー129を介して供給された画映像(画像)データをフラッシュメモリー122に記憶させる。処理部123(制御部)は、例えば、カメラ64、撮像素子72、又はビデオコネクター27からエンコーダー129を介して供給された画映像(画像)データを、LCDドライバ125を介して表示パネル63に表示させる。処理部123(制御部)は、例えば、カメラ64、撮像素子72、又はビデオコネクター27からエンコーダー129を介して供給された画映像(画像)データをBT通信回路130、WiFi通信回路131、又は3G/LTE通信回路138を介して他の機器に送信する。
また、映像データを再生する場合、処理部123は、フラッシュメモリー122に記録された映像(画像)データ、あるいはエンコーダー129から入力される映像(画像)データを、デコーダー121及びLCDドライバ125を介して表示パネル36、63に供給する。これにより、映像信号が入力された表示パネル36又は表示パネル63に映像データに基づく映像が表示される。また、処理部123は、デコーダー121からビデオコネクター27に出力される映像信号を、ビデオコネクター27を介して外部機器に出力させる。
また、映像の表示に際して、処理部123は、必要に応じて表示パネル36用のバックライト35、及び表示パネル63用のバックライト62を点灯させる。すなわち、処理部123は、BLドライバ126に制御信号を供給し、BLドライバ126はバックライト(35,62)を個々に点灯させる。
また、処理部123は、例えば、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
また、処理部123(制御部)は、カメラ64によって撮像された映像(画像)に基づいて、レーザー発振器73によるレーザー光L1(スポット光)の照射を制御する。また、処理部123は、レーザー光L1の反射光(レーザー反射光L2)を、レーザー発振器73のレーザー受光部77を介して受光(スキャン)して、受光(スキャン)した後述するバーコードの読み取り処理を実行する。
本実施形態において、処理部123(制御部)は、照射制御部201、人物検出部202、形状検出部203、目元検出部204、及び表示制御部205を備えている。
人物検出部202(第1検出部)は、カメラ64によって撮像された映像(画像)に基づいて、画像内の人物を検出する。人物検出部202は、カメラ64からエンコーダー129を介して取得した画像データに基づいて、例えば、パターンマッチングや特徴量抽出の画像処理技術を用いて、人物を検出する。
形状検出部203(第2検出部)は、カメラ64によって撮像された映像(画像)に基づいて、予め定められた所定の形状(例えば、手の形状)を検出する。
目元検出部204(第3検出部)は、ユーザーの目元を撮像する撮像素子72が撮像した画像に基づいて、ヘッドマウントディスプレイ1がユーザーに装着されているか否かを検出する。
表示制御部205は、表示パネル63及び表示パネル36に映像(画像)及び各種表示を表示させる制御を行う。表示制御部205は、カメラ64によって撮像された映像(画像)内の所定の位置に、レーザー光(スポット光)を照射する位置を示すターゲットマークを表示パネル63に表示させる制御を行う。
照射制御部201は、レーザー発振器73によるレーザー光L1(スポット光)の照射を制御する。照射制御部201は、例えば、人物検出部202による検出結果に基づいて、レーザー発振器73によるレーザー光L1(スポット光)の照射を制御する。
具体的に、照射制御部201は、人物検出部202が人物を検出した場合に、レーザー発振器73によるレーザー光L1(スポット光)の照射を禁止する。これは、誤って人体の目にレーザー光L1(スポット光)が照射されることを照射制御部201が防止する。
また、照射制御部201は、形状検出部203が手の形状を検出した場合に、レーザー光L1(スポット光)の照射を許可する。すなわち、照射制御部201は、手の形状を画面内に検出することにより、レーザー光L1(スポット光)の照射を許可されたと判定する。例えば、照射制御部201は、形状検出部203によって検出された手の形状の大きさが、所定の大きさ(例えば、80cmの距離における手の大きさ)以上である場合に、レーザー光L1(スポット光)の照射を許可してもよい。
また、手の形状には、ユーザーがレーザー光L1(スポット光)の照射を指示する所定の指示形状(例えば、指を指し示した手の形状など)が含まれる。この場合、照射制御部201は、形状検出部203が所定の指示形状(例えば、指を指し示した手の形状など)を検出した場合に、レーザー発振器73にレーザー光L1(スポット光)を照射させてもよい。すなわち、照射制御部201は、指を指し示した手の形状を確認した場合に、レーザー発振器73にレーザー光L1(スポット光)を照射させる。
また、照射制御部201は、心拍数センサー137によって、ヘッドマウントディスプレイ1がユーザーに装着されていないことが検出された場合に、レーザー発振器73にレーザー光L1(スポット光)の照射を禁止させる。なお、ヘッドマウントディスプレイ1がユーザーに装着されていないことを目元検出部204によって検出してもよい。この場合、照射制御部201は、目元検出部204によってヘッドマウントディスプレイ1がユーザーに装着されていないことが検出された場合に、レーザー発振器73にレーザー光L1(スポット光)の照射を禁止させる。
次に、本実施形態におけるヘッドマウントディスプレイ1のレーザー照射に関する動作について説明する。
まず、本実施形態におけるヘッドマウントディスプレイ1が、レーザー照射をカメラ64のオートフォーカスのための補助光として用いる場合の一例について説明する。
図9は、本実施形態におけるヘッドマウントディスプレイ1のAF動作を示すフローチャートである。
図9において、ヘッドマウントディスプレイ1がカメラ64による撮像が行われようとしている場合を示している。
まず、ヘッドマウントディスプレイ1は、カメラ64を起動させる(ステップS101)。処理部123は、カメラ64からエンコーダー129を介して、映像データ(スルー画像データ)を取得し、表示パネル63にスルー画像データを表示させる。
次に、処理部123は、カメラ64から出力されたスルー画像において、焦点(ピント)が合うか否かを判定する(ステップS102)。処理部123は、カメラ64から出力されたスルー画像において、被写体のコントラストが低い、もしくは被写体が暗くカメラ64のオートフォーカス機能が十分に働かずに、精密に焦点(ピント)が合わないと判定した場合(ステップS102:No)に、処理をステップS103に進める。また、処理部123は、焦点(ピント)が合うと判定した場合(ステップS102:Yes)に、処理をステップS108に進め、通常の撮像処理を行う。
なお、ピント合わせを精密に行うために、ヘッドマウントディスプレイ1が被写体を照明しようとした場合(レーザー光L1で被写体を照射する場合)に、人の顔にレーザー光L1を照射しないかを確認する必要がある。これは人の目にレーザーなどの強い光が照射されると、照射された人はその際にレーザーによって視界を奪われ、最悪は視力が低下する可能性があるためである。そこでまず、処理部123は、レーザー発振器73が設けられている表示部60がユーザーの顔の前にあり、ユーザーがレーザーの照射範囲を把握できるか否かをまず確認する必要がある。
そこで、ステップS103において、処理部123は、ユーザーの前に表示部60があるか否かを判定する。すなわち、処理部123の照射制御部201は、ヘッドマウントディスプレイ1がユーザーに正しく装着されているか否かを判定する。照射制御部201は、例えば、撮像素子72によって撮像された画像に基づいて目元検出部204によって、ヘッドマウントディスプレイ1がユーザーに装着されているか否かを判定する。照射制御部201は、ユーザーに装着されていると判定した場合(ステップS103:Yes)に、処理をステップS104に進める。また、照射制御部201は、ユーザーに装着されていないと判定した場合(ステップS103:No)に、処理をステップS105に進める。
なお、図10は、本実施形態におけるターゲットマークM1の表示例を示す図である。
図10に示すように、表示制御部205は、表示パネル63の表示画像内の所定の位置に、レーザー光(スポット光)を照射する位置を示すターゲットマークM1を表示させる。このターゲットマークM1をユーザーが確認することにより、ターゲットマークM1に照射されるレーザー光が人に当たらないことが確認できる。ステップS103において、レーザー光L1のエネルギーが低く、それほど危険でないと判断される場合には、ヘッドマウントディスプレイ1がユーザーの頭部に装着されていないと判定される場合でも、処理をステップS104に進めてもよい。すなわち、ステップS103を省略してもよい。
次に、ステップS104において、照射制御部201は、レーザー光L1の照射される箇所(対象物)の近傍に人の顔があるか否かを判定する。すなわち、照射制御部201は、人物検出部202にカメラ64が撮像した画像に基づいて、画像内の人物を検出させる。照射制御部201は、人物検出部202が人物を検出した場合(ステップS104:Yes)に、処理をステップS105に進める。また、照射制御部201は、人物検出部202が人物を検出していない場合(ステップS104:No)に、処理をステップS106に進める。ステップS103においてユーザーが前方を確認した場合であっても見落としなどの可能性がある。このステップS104による処理は、ステップS103における見落としなどよって、人にレーザー光が照射されることを防ぐためである。
なお、この段階ではカメラ64において正確なピント合わせができないことから、人物検出部202は、カメラ64のレンズを前後させて幅広くピント範囲を探り、人の顔が検出できないことを確認する。
次に、ステップS105において、照射制御部201は、レーザー発振器73によるレーザー光L1の照射を禁止する。また、表示制御部205は、レーザー光L1の照射を禁止する旨の表示を表示パネル63及び表示パネル36に表示させる。これにより、ヘッドマウントディスプレイ1は、ユーザーの顔のまえに表示部60が無いと判定された場合、又は、カメラ64によってレーザーの照射範囲に人がいると判定された場合に、レーザー発振器73によるレーザー光L1の照射を禁止する。
次に、ステップS106において、照射制御部201は、レーザー発振器73にユーザーの正面(画像内の所定の位置に対応する対象物(被写体))にレーザー光L1を照射させる。
次に、処理部123は、レーザー光L1が照射された被写体像に対して、カメラ64の焦点(ピント)を合わせる制御を行う(ステップS107)。
そして、処理部123は、カメラ64による撮像処理を実行する(ステップS108)。この撮像処理は、ピントが合った場合だけでなく、焦点(ピント)が十分に合わない場合も含めて実行される。
次に、本実施形態におけるヘッドマウントディスプレイ1が、レーザー照射をバーコードの読み取りに用いる場合の一例について説明する。
図11は、本実施形態におけるヘッドマウントディスプレイ1のバーコードの読み取り動作を示すフローチャートである。
図11において、ヘッドマウントディスプレイ1は、バーコードの読み取りモードに設定された場合にバーコードの読み取り動作の処理を開始する。
まず、処理部123は、ユーザーの前に表示部60があるか否かを判定する(ステップS111)。すなわち、処理部123の照射制御部201は、ヘッドマウントディスプレイ1がユーザーに正しく装着されているか否かを判定する。照射制御部201は、例えば、撮像素子72によって撮像された画像に基づいて目元検出部204によって、ヘッドマウントディスプレイ1がユーザーに装着されているか否かを判定する。照射制御部201は、ユーザーに装着されていると判定した場合(ステップS111:Yes)に、処理をステップS112に進める。また、照射制御部201は、ユーザーに装着されていないと判定した場合(ステップS111:No)に、処理をステップS114に進める。
なお、バーコードの読み取りの際には、レーザー光L1は、可動ミラー75(スキャン機構)によって横に幅広く振られるので、照射範囲は、図12の照射範囲M2に示されるように横長のターゲットマークとして表示パネル63に表示される。このことでユーザーはレーザー光L1の照射範囲M2を正確に知ることが可能である。
ステップS112において、照射制御部201は、レーザー光L1の照射範囲M2の近傍に人の顔があるか否かを判定する。すなわち、照射制御部201は、人物検出部202にカメラ64が撮像した画像に基づいて、画像内の人物を検出させる。照射制御部201は、人物検出部202が人物を検出した場合(ステップS112:Yes)に、処理をステップS113に進める。また、照射制御部201は、人物検出部202が人物を検出していない場合(ステップS112:No)に、処理をステップS115に進める。
なお、例えば、バーコードが添付された製品のラベルに人の顔が描かれていることがある。この場合、人物検出部202の顔認識によってたとえ顔であることが検出されても、それが人間でない可能性がある。印刷物による顔と、実際の人間の顔を見分けることは極めて困難であることから、この場合には、照射制御部201は、処理をステップS113に進める。
ステップS113において、照射制御部201は、ユーザー(使用者)の手を検出したか否かを判定する。すなわち、照射制御部201は、形状検出部203にカメラ64が撮像した画像に基づいて、画像内の手の形状を検出させる。照射制御部201は、形状検出部203によって検出された手の形状によって、ユーザーの手を検出したか否かを判定する。なお、ヘッドマウントディスプレイ1を頭部に装着した場合、ユーザーの手との距離は、ほぼ80cm以内にある。そのため、照射制御部201は、撮像された手の大きさが80cmにある場合の大きさ以上であるか否かを判定し、図12に示すように、例えば、人差し指を立てていると判定された場合に、ユーザーの手を検出したと判定してもよい。すなわち、照射制御部201は、形状検出部203が所定の指示形状(例えば、指を指し示した手の形状H2など)を検出した場合に、ユーザーの手を検出したと判定してもよい。これは、指さし確認に相当するもので、指をさすことで人間の注意を喚起して人には直接レーザーが照射されないこと、そしてレーザーを照射してよいことの確認を確実にしている。
照射制御部201は、ユーザーの手を検出した場合(ステップS113:Yes)に、処理をステップS115に進める。また、照射制御部201は、ユーザーの手を検出していない場合(ステップS113:No)に、処理をステップS114に進める。
ステップS114において、照射制御部201は、レーザー発振器73によるレーザー光L1の照射を禁止し、処理をステップS117に進める。
また、表示制御部205は、レーザー光L1の照射を禁止する旨の表示を表示パネル63及び表示パネル36に表示させる。
次に、ステップS115において、照射制御部201は、レーザー発振器73に照射範囲M2に対応するターゲットにレーザー光L1を照射させる。この場合、レーザー発振器73は、レーザー光L1を可動ミラー75(スキャン機構)によって横に幅広く振って、バーコードに照射する。
次に、処理部123は、レーザー発振器73のレーザー受光部77によってレーザー反射光L2を受光(スキャン)し、バーコードの情報を読み取る(ステップS116)。
次に、処理部123は、さらにバーコードの読み取りがあるか否かを判定する(ステップS117)。処理部123は、さらにバーコードの読み取りがある場合(ステップS117:Yes)には、処理をステップS111に戻し、バーコードの読み取りがない場合(ステップS117:No)には、処理を終了させる。
なお、図12は、本実施形態におけるターゲットマークM2の表示例を示す図である。
図12において、画像G2は、表示パネル63に表示された画像を示し、バーコードBC1を表示している表示例である。また、この場合、ユーザーが、指を指し示した手の形状H2でバーコードBC1を指し示すことにより、照射制御部201は、レーザー発振器73に照射範囲M2に対応する位置にレーザー光L1を照射させる。
このように、本実施形態におけるヘッドマウントディスプレイ1は、カメラ64によって他人の顔が検出された場合であっても、誤検出である可能性もあるので、さらにユーザーの指を検出して、指さし確認を行うことで、確実にレーザー照射を行うことができる。
次に、ユーザーの操作によってレーザー光L1が照射される場合について説明する。
この場合は、例えば、ユーザーがカメラ64によって撮像した映像(画像)を、通信によって多の端末のユーザーに配信して、映像(画像)をもとにコミュニケーションを行おうとした場合である。この場合に、ヘッドマウントディスプレイ1は、ユーザーが映像(画像)上で示したい被写体(対象物)の位置(ポイント)をレーザーで指示したい場合にレーザー光L1を照射する。
図13は、本実施形態におけるヘッドマウントディスプレイ1のポイント指示の動作を示すフローチャートである。
図13において、ヘッドマウントディスプレイ1は、ポイント指示のモードに設定された場合にポイント指示の動作処理を開始する。
まず、処理部123は、ユーザーの前に表示部60があるか否かを判定する(ステップS121)。すなわち、処理部123の照射制御部201は、ヘッドマウントディスプレイ1がユーザーに正しく装着されているか否かを判定する。照射制御部201は、例えば、撮像素子72によって撮像された画像に基づいて目元検出部204によって、ヘッドマウントディスプレイ1がユーザーに装着されているか否かを判定する。照射制御部201は、ユーザーに装着されていると判定した場合(ステップS121:Yes)に、処理をステップS123に進める。また、照射制御部201は、ユーザーに装着されていないと判定した場合(ステップS121:No)に、処理をステップS122に進める。
なお、表示制御部205は、図10に示すように、表示パネル63の表示画像内の所定の位置に、レーザー光(スポット光)を照射する位置を示すターゲットマークM1を表示させる。また、処理部123は、カメラ64によって撮像された映像(画像)データ、及び集音マイク24又は通話マイク37によって取得した音声データを、BT通信回路130、WiFi通信回路131、又は3G/LTE通信回路138を介して他の機器に送信する。
ステップS122において、照射制御部201は、レーザー発振器73によるレーザー光L1の照射を禁止し、処理をステップS127に進める。
また、表示制御部205は、レーザー光L1の照射を禁止する旨の表示を表示パネル63及び表示パネル36に表示させる。
次に、ステップS123において、照射制御部201は、レーザー光L1のターゲットマークM1の近傍に人の顔があるか否かを判定する。すなわち、照射制御部201は、人物検出部202にカメラ64が撮像した画像に基づいて、画像内の人物を検出させる。照射制御部201は、人物検出部202が人物を検出した場合(ステップS123:Yes)に、処理をステップS124に進める。また、照射制御部201は、人物検出部202が人物を検出していない場合(ステップS123:No)に、処理をステップS125に進める。
次に、ステップS124において、表示制御部205は、人の顔が検出された旨の警告表示を表示パネル63及び表示パネル36に表示させる。
次に、ステップS125において、照射制御部201は、ユーザー(使用者)の手を検出したか否かを判定する。すなわち、照射制御部201は、形状検出部203にカメラ64が撮像した画像に基づいて、画像内の手の形状を検出させる。照射制御部201は、形状検出部203によって検出された手の形状によって、ユーザーの手を検出したか否かを判定する。なお、ヘッドマウントディスプレイ1を頭部に装着した場合、ユーザーの手との距離は、ほぼ80cm以内にある。そのため、照射制御部201は、撮像された手の大きさが80cmにある場合の大きさ以上であるか否かを判定し、図10に示すように、例えば、人差し指を立てている形状(H1)が検出された場合に、ユーザーの手を検出したと判定してもよい。すなわち、照射制御部201は、形状検出部203が所定の指示形状(例えば、指を指し示した手の形状H1など)を検出した場合に、ユーザーの手を検出したと判定してもよい。これは、指さし確認に相当するもので、指をさすことで人間の注意を喚起して人には直接レーザーが照射されないこと、そしてレーザーを照射してよいことの確認を確実にしている。
照射制御部201は、ユーザーの手を検出した場合(ステップS125:Yes)に、処理をステップS126に進める。また、照射制御部201は、ユーザーの手を検出していない場合(ステップS125:No)に、処理をステップS127に進める。
なお、カメラ64は、図10に示すように広い撮像範囲(G1)をもっている。そのため、ステップS125におけるユーザーの手(H1)による指示は、広い撮像範囲(G1)の中の下の方でなされ、指の映っていない枠の範囲(R1)のみが他の機器に通信される。このため、ヘッドマウントディスプレイ1が他の機器に映像を送信する場合に、ユーザーの手が邪魔になることはない。
次に、ステップS126において、照射制御部201は、レーザー発振器73にターゲットマークM1に対応するターゲット(対象物)にレーザー光L1を照射させる。この場合、レーザー光L1が照射されたポイントが赤く光り、カメラ64によって撮像される。処理部123は、レーザー光L1が照射されたポイントを含む画像データを、BT通信回路130、WiFi通信回路131、又は3G/LTE通信回路138を介して他の機器に送信する。これにより、ユーザーが指し示したい被写体(対象物)の場所が多の機器を観察する人間にも容易に認識することが可能である。
次に、処理部123は、レーザー照射が継続されるか否かを判定する(ステップS127)。処理部123は、レーザー照射が継続される場合(ステップS127:Yes)には、処理をステップS121に戻し、レーザー照射が継続されない場合(ステップS127:No)には、処理を終了させる。
以上、説明したように、本実施形態におけるヘッドマウントディスプレイ1は、カメラ64が、装着したユーザーの視線方向の画像を撮像し、表示パネル63が、少なくともカメラ64によって撮像された画像を表示する。レーザー発振器73(レーザー発光部74)は、表示パネル63に表示された画像内の所定の位置に対応する対象物にレーザー光L1(スポット光)を照射する。すなわち、レーザー発振器73(レーザー発光部74)は、装着したユーザーの視線方向にレーザー光L1(スポット光)を照射する。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、例えば、撮像した画像内のユーザーが着目する対象物に対して、所定の処理を行おうとした場合に、レーザー光L1(スポット光)を照射して、対象物の位置の判定を行うことが可能になる。そのため、ヘッドマウントディスプレイ1は、利便性を向上させることができる。
また、本実施形態におけるヘッドマウントディスプレイ1は、カメラ64によって撮像された画像に基づいて、レーザー発振器73(レーザー発光部74)によるレーザー光L1(スポット光)の照射を制御する処理部123を備えている。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、カメラ64によって撮像された画像に基づいて、レーザー光L1(スポット光)の照射を適切に制御することができる。例えば、本実施形態におけるヘッドマウントディスプレイ1は、人の顔に、レーザー光L1が照射される可能性を低減することができ、適切にレーザーを照射することが可能となる。
また、本実施形態において、処理部123は、カメラ64によって撮像された画像に基づいて、画像内の人物を検出する人物検出部202を備えている。処理部123(照射制御部201)は、人物検出部202による検出結果に基づいて、レーザー発振器73(レーザー発光部74)によるレーザー光L1(スポット光)の照射を制御する。
これにより、例えば、人物検出部202が画像内の人物を検出した場合に、レーザー光L1の照射を禁止することができるので、本実施形態におけるヘッドマウントディスプレイ1は、適切に人物に対する強い光の照射を禁止することができる。
また、本実施形態において、処理部123(照射制御部201)は、人物検出部202が人物を検出した場合に、レーザー発振器73(レーザー発光部74)によるレーザー光L1(スポット光)の照射を禁止する。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、人の顔に、レーザー光L1が照射される可能性を低減することができる。よって、本実施形態におけるヘッドマウントディスプレイ1は、適切に人物に対する強い光の照射を禁止することができる。
また、本実施形態において、処理部123は、カメラ64によって撮像された画像に基づいて、予め定められた所定の形状(例えば、手の形状)を検出する形状検出部203を備えている。処理部123(照射制御部201)は、形状検出部203による検出結果に基づいて、レーザー発振器73(レーザー発光部74)によるレーザー光L1(スポット光)の照射を制御する。すなわち、処理部123(照射制御部201)は、人物検出部202が人物を検出した場合、且つ、形状検出部203が所定の形状を検出した場合に、前記スポット光の照射を許可する
処理部123(照射制御部201)は、形状検出部203が所定の形状(例えば、手の形状)を検出した場合に、レーザー光L1(スポット光)の照射を許可する。
これにより、人物検出部202が人物を誤検出した場合や人の顔にレーザー光L1が照射される可能性が低いとユーザーが判断した場合に、本実施形態におけるヘッドマウントディスプレイ1は、レーザー光L1(スポット光)を適切に照射することができる。
また、本実施形態において、処理部123(照射制御部201)は、形状検出部203によって検出された所定の形状(例えば、手の形状)の大きさが、所定の大きさ以上(例えば、80cmの距離における手の大きさ以上)である場合に、レーザー光L1(スポット光)の照射を許可する。すなわち、処理部123(照射制御部201)は、ヘッドマウントディスプレイ1を装着しているユーザーの手であるか否かを手の形状の大きさによって判定する。
これにより、処理部123(照射制御部201)は、例えば、ユーザーの手によるレーザー光L1の照射の指示を正確に判定することができる。そのため、本実施形態におけるヘッドマウントディスプレイ1は、人物に対するレーザー光L1(スポット光)の照射を禁止しつつ、レーザー光L1(スポット光)を適切に照射することができる。
また、本実施形態において、上述の所定の形状には、ユーザーがレーザー光L1(スポット光)の照射を指示する所定の指示形状(例えば、人差し指を立てている形状(H1))が含まれる。処理部123(照射制御部201)は、形状検出部203が所定の指示形状(H1)を検出した場合に、レーザー発振器73(レーザー発光部74)によるレーザー光L1(スポット光)を照射させる。
これにより、ユーザーによるレーザー光L1の照射の指示が明確になり、簡易な手段により、ユーザーによるレーザー光L1の照射の指示を検出することができる。そのため、人物検出部202が人物を誤検出した場合や人の顔にレーザー光L1が照射される可能性が低いとユーザーが判断した場合に、本実施形態におけるヘッドマウントディスプレイ1は、レーザー光L1(スポット光)を適切に照射することができる。
また、ヘッドマウントディスプレイ1は、人の顔が検出された場合には警告するので、人の顔にレーザー光L1を照射することを回避可能である。さらに、ヘッドマウントディスプレイ1は、印刷物などの顔を誤検出した場合にも、指さし確認を行うことでレーザー光L1が照射されるので、確実にレーザー光L1を照射することが可能となる。
また、本実施形態において、上述の所定の形状には、手の形状が含まれ、上述の所定の指示形状が、手の形状による指示形状(例えば、指を指し示す形状)である。
これにより、ユーザーによるレーザー光L1の照射の指示が明確になり、簡易な手段により、ユーザーによるレーザー光L1の照射の指示を検出することができる。
また、本実施形態におけるヘッドマウントディスプレイ1は、ヘッドマウントディスプレイ1がユーザーに装着されているか否かを検出する目元検出部204を備えている。処理部123(照射制御部201)は、目元検出部204によってユーザーに装着されていないことが検出された場合に、レーザー発振器73(レーザー発光部74)によるレーザー光L1(スポット光)の照射を禁止する。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、ユーザーに装着されていない場合に、誤ってレーザー光L1が照射されることを低減することができる。そして、本実施形態におけるヘッドマウントディスプレイ1は、表示部60がユーザーの眼前にセットされていない場合、又は頭部に装着されていない場合に、レーザー光L1を照射しないようにしたので、安全なシステムを提供することができる。
また、本実施形態におけるヘッドマウントディスプレイ1は、ユーザーの目元を撮像する撮像素子72を備えている。目元検出部204は、撮像素子72が撮像した画像に基づいて、ヘッドマウントディスプレイ1がユーザーに装着されているか否かを検出する。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、ユーザーに装着されているか否かを正確に検出することができる。そのため、本実施形態におけるヘッドマウントディスプレイ1は、ユーザーに装着されていない場合に、誤ってレーザー光L1が照射されることを低減することができる。
また、本実施形態において、表示パネル63は、表示パネル63に表示された画像内の所定の位置にレーザー光L1(スポット光)を照射する位置を示すマーク(たとえ、ターゲットマークM1、M2)を表示する。すなわち、表示制御部205は、表示パネル63に所定の位置にレーザー光L1(スポット光)を照射する位置を示すマークを表示させる。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、レーザー光L1(スポット光)を照射する位置をユーザーが事前に確認することができる。そのため、本実施形態におけるヘッドマウントディスプレイ1は、誤って人の顔にレーザー光L1が照射されることを低減することができる。
また、本実施形態におけるヘッドマウントディスプレイ1は、レーザー光L1(スポット光)の反射光を受光するレーザー受光部77を備えている。
これにより、本実施形態におけるヘッドマウントディスプレイ1は、バーコードなどのコードを読み取ることができる。
なお、本実施形態において、ヘッドマウントディスプレイ1は、ユーザーの頭部に装着される表示装置である。ヘッドマウントディスプレイ1は、カメラ64と、表示パネル63と、レーザー発振器73(レーザー発光部74)とを備えている。カメラ64は、装着したユーザーの視線方向の画像を撮像し、表示パネル63は、少なくともカメラ64によって撮像された画像を表示する。レーザー発振器73(レーザー発光部74)は、表示パネル63に表示された画像内の所定の位置に対応する対象物にレーザー光L1(スポット光)を照射する。すなわち、レーザー発振器73(レーザー発光部74)は、装着したユーザーの視線方向にレーザー光L1(スポット光)を照射する。
これにより、ヘッドマウントディスプレイ1は、レーザー光L1(スポット光)を照射して、対象物の位置の判定を行うことができるので、利便性を向上させることができる。
なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の実施形態において、レーザー発振器73(照射部)が発するスポット光は、レーザー光に限定されるものではなく、LEDなどから発光された光束が広がらないようにレンズなどの光学部材によって絞ったものでもよい。
また、上記の実施形態において、ユーザーの手の指示により、照射制御部201がレーザー光L1を照射させるが、照射制御部201は、ユーザーが未熟であると判定される場合には、顔を認識された場合にはレーザー光L1が照射されないようにしてもよい。
また、所定の指示形状が、指による手の指示形状である形態を説明したが、所定の指示形状は、指示棒などの形状でもよい。
また、カメラ64がユーザーの装着状態に合わせてユーザーの上下方向に撮像範囲を調整可能とするように、ユーザーの左右の耳を結んだ直線と平行な直線周りに撮像中心を回動可能にした場合には、レーザー光L1の照射方向もこれに機構的もしくは電気的に同期して可変としてもよい。
また、上記の実施形態において、ヘッドマウントディスプレイ1がユーザーに装着されているか否かを、撮像素子72が撮像した画像に基づいて、目元検出部204によって検出する形態を説明したが、これに限定されるものではない。例えば、心拍数センサー137を第3検出部として、心拍数が検出できるか否かに基づいて、ヘッドマウントディスプレイ1がユーザーに装着されているか否かを検出する形態でもよい。
また、上記の実施形態において、一例としてヘッドマウントディスプレイ1がバーコードを読み取る形態について説明したが、マトリックス型二次元コードなどの他のコードを読み取る形態でもよい。
また、上記の実施形態において、ディスプレイ本体20は、ヘッドバンド40により頭部に保持する形態を説明したが、これに限定されるものではない。例えば、ヘッドバンド40に限らず、ヘルメット等に装着することで頭部に保持してもよいし、ユーザーがいわゆる携帯電話のようにディスプレイ本体20を手で頭部に保持してもよい。
上述のヘッドマウントディスプレイ1は内部に、コンピュータシステムを有している。そして、上述したレーザー照射の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリー等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
1…ヘッドマウントディスプレイ、63…表示パネル、64…カメラ、72…撮像素子、77…レーザー発振器、123…処理部、201…照射制御部、202…人物検出部、203…形状検出部、204…目元検出部

Claims (13)

  1. 装着した使用者の視線方向の画像を撮像する第1撮像部と、
    少なくとも前記第1撮像部によって撮像された前記画像を表示する表示部と、
    前記使用者の視線方向にスポット光を照射する照射部と
    を備えることを特徴とする頭部装着装置。
  2. 前記第1撮像部によって撮像された前記画像に基づいて、前記照射部による前記スポット光の照射を制御する制御部
    を備えることを特徴とする請求項1に記載の頭部装着装置。
  3. 前記制御部は、
    前記第1撮像部によって撮像された前記画像に基づいて、前記画像内の人物を検出する第1検出部を備え、
    前記制御部は、
    前記第1検出部による検出結果に基づいて、前記照射部による前記スポット光の照射を制御する
    ことを特徴とする請求項2に記載の頭部装着装置。
  4. 前記制御部は、
    前記第1検出部が人物を検出した場合に、前記照射部による前記スポット光の照射を禁止する
    ことを特徴とする請求項3に記載の頭部装着装置。
  5. 前記制御部は、
    前記第1撮像部によって撮像された前記画像に基づいて、予め定められた所定の形状を検出する第2検出部を備え、
    前記制御部は、
    前記第2検出部による検出結果に基づいて、前記照射部による前記スポット光の照射を制御する
    ことを特徴とする請求項3又は請求項4に記載の頭部装着装置。
  6. 前記制御部は、
    前記第1検出部が人物を検出した場合、且つ、前記第2検出部が前記所定の形状を検出した場合に、前記スポット光の照射を許可する
    ことを特徴とする請求項5に記載の頭部装着装置。
  7. 前記制御部は、
    前記第2検出部によって検出された前記所定の形状の大きさが、所定の大きさ以上である場合に、前記スポット光の照射を許可する
    ことを特徴とする請求項6に記載の頭部装着装置。
  8. 前記所定の形状には、前記使用者が前記スポット光の照射を指示する所定の指示形状が含まれ、
    前記制御部は、
    前記第2検出部が前記所定の指示形状を検出した場合に、前記照射部に前記スポット光を照射させる
    ことを特徴とする請求項5から請求項7のいずれか一項に記載の頭部装着装置。
  9. 前記所定の形状には、手の形状が含まれ、
    前記所定の指示形状が、前記手の形状による指示形状である
    ことを特徴とする請求項8に記載の頭部装着装置。
  10. 前記頭部装着装置が使用者に装着されているか否かを検出する第3検出部を備え、
    前記制御部は、
    前記第3検出部によって前記使用者に装着されていないことが検出された場合に、前記照射部による前記スポット光の照射を禁止する
    ことを特徴とする請求項2から請求項9のいずれか一項に記載の頭部装着装置。
  11. 前記使用者の目元を撮像する第2撮像部を備え、
    前記第3検出部は、
    前記第2撮像部が撮像した画像に基づいて、前記頭部装着装置が使用者に装着されているか否かを検出する
    ことを特徴とする請求項10に記載の頭部装着装置。
  12. 前記表示部は、
    前記表示部に表示された前記画像内の所定の位置に前記スポット光を照射する位置を示すマークを表示する
    ことを特徴とする請求項1から請求項11のいずれか一項に記載の頭部装着装置。
  13. 前記スポット光の反射光を受光する受光部を備える
    ことを特徴とする請求項1から請求項12のいずれか一項に記載の頭部装着装置。
JP2012038792A 2012-02-24 2012-02-24 頭部装着装置 Pending JP2013175909A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012038792A JP2013175909A (ja) 2012-02-24 2012-02-24 頭部装着装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012038792A JP2013175909A (ja) 2012-02-24 2012-02-24 頭部装着装置

Publications (1)

Publication Number Publication Date
JP2013175909A true JP2013175909A (ja) 2013-09-05

Family

ID=49268449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012038792A Pending JP2013175909A (ja) 2012-02-24 2012-02-24 頭部装着装置

Country Status (1)

Country Link
JP (1) JP2013175909A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101544957B1 (ko) 2013-11-28 2015-08-19 한국과학기술연구원 레이저 인도 방식을 이용한 증강현실용 헤드 마운트 디스플레이 장치 및 헤드 마운트 디스플레이 방법
JP2016187130A (ja) * 2015-03-27 2016-10-27 Necソリューションイノベータ株式会社 ウェアラブル端末
JP2017102768A (ja) * 2015-12-03 2017-06-08 セイコーエプソン株式会社 情報処理装置、表示装置、情報処理方法、及び、プログラム
EP3865984A1 (en) * 2020-02-13 2021-08-18 Honeywell International Inc. Methods and systems for searchlight control for aerial vehicles
US11625037B2 (en) 2020-02-13 2023-04-11 Honeywell International Inc. Methods and systems for searchlight control for aerial vehicles

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101544957B1 (ko) 2013-11-28 2015-08-19 한국과학기술연구원 레이저 인도 방식을 이용한 증강현실용 헤드 마운트 디스플레이 장치 및 헤드 마운트 디스플레이 방법
JP2016187130A (ja) * 2015-03-27 2016-10-27 Necソリューションイノベータ株式会社 ウェアラブル端末
JP2017102768A (ja) * 2015-12-03 2017-06-08 セイコーエプソン株式会社 情報処理装置、表示装置、情報処理方法、及び、プログラム
EP3865984A1 (en) * 2020-02-13 2021-08-18 Honeywell International Inc. Methods and systems for searchlight control for aerial vehicles
US11625037B2 (en) 2020-02-13 2023-04-11 Honeywell International Inc. Methods and systems for searchlight control for aerial vehicles

Similar Documents

Publication Publication Date Title
JP6318462B2 (ja) 表示装置
JP2013190941A (ja) 情報入出力装置、及び頭部装着表示装置
JP6719418B2 (ja) 電子機器
JP6123180B2 (ja) 表示装置
JP6011072B2 (ja) 制御装置、及びプログラム
JP6136090B2 (ja) 電子機器、及び表示装置
JP2013175909A (ja) 頭部装着装置
JP2016206374A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2019128693A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP2014212473A (ja) 通信装置、及び頭部装着表示装置
JP2014123883A (ja) 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法
JP2013175947A (ja) 頭部装着装置
JP6996115B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP6015223B2 (ja) 電子機器、及び表示装置
JP2013239767A (ja) 頭部装着型情報入出力装置
JP2014044654A (ja) 情報入出力装置
JP2014021272A (ja) 情報入出力装置、及び情報入出力方法
JP2018207151A (ja) 表示装置、受信装置、プログラム、及び受信装置の制御方法。
JP2013255012A (ja) 頭部保持部材、及び頭部装着型情報出力装置
JP2014022937A (ja) 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法
JP2013174730A (ja) 情報表示装置
JP2014022942A (ja) 頭部装着装置
JP2017146726A (ja) 移動支援装置、及び、移動支援方法
JP2013174729A (ja) 情報表示装置、及び情報表示方法
JP6717393B2 (ja) 電子機器