JP2017182228A - 入力装置、入力方法、コンピュータープログラム - Google Patents

入力装置、入力方法、コンピュータープログラム Download PDF

Info

Publication number
JP2017182228A
JP2017182228A JP2016064894A JP2016064894A JP2017182228A JP 2017182228 A JP2017182228 A JP 2017182228A JP 2016064894 A JP2016064894 A JP 2016064894A JP 2016064894 A JP2016064894 A JP 2016064894A JP 2017182228 A JP2017182228 A JP 2017182228A
Authority
JP
Japan
Prior art keywords
input
button
input device
buttons
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016064894A
Other languages
English (en)
Other versions
JP6776578B2 (ja
Inventor
総志 木村
Fusayuki Kimura
総志 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2016064894A priority Critical patent/JP6776578B2/ja
Priority to US15/466,250 priority patent/US20170285765A1/en
Publication of JP2017182228A publication Critical patent/JP2017182228A/ja
Application granted granted Critical
Publication of JP6776578B2 publication Critical patent/JP6776578B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】指等の軌跡を取得可能なセンサーデバイスを使用せずにフリック入力を行うことのできる入力装置を提供する。【解決手段】入力装置であって、個々に入力のオンオフが可能な2つ以上のボタンと、入力装置を制御する制御部と、を備え、制御部は、各ボタンの検出結果が予め定められたパターンを含む場合はフリック入力に相当する出力を実行し、予め定められたパターンを含まない場合は各ボタンの検出結果をそのまま出力する。【選択図】図9

Description

本発明は、入力装置に関する。
スマートフォン等の機器における入力方法の1つとして、フリック入力が知られている(例えば、特許文献1参照)。フリック入力とは、タッチパッド上で指を素早く動かしたり弾いたりして行う操作全般のことを意味する。このフリック入力は、例えば、ソフトウェアキーボードを利用した文字入力を素早く実現できる手段として知られている。
特開2013−33395号公報
フリック入力を行うためには、入力装置において、例えばタッチパッドやタッチパネルといった、指等の軌跡を取得可能なセンサーデバイスを備えることが必要とされる。一方、例えば十字キーと幾つかのボタンを備えるリモコンやコントローラーといった、指等の軌跡を取得可能なセンサーデバイスを備えない入力装置も数多く存在する。従来、このような入力装置ではフリック入力を実現することはできないという課題があった。
このため、指等の軌跡を取得可能なセンサーデバイスを使用せずにフリック入力を行うことのできる入力装置が望まれていた。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の一形態によれば、入力装置が提供される。この入力装置は;個々に入力のオンオフが可能な2つ以上のボタンと;前記入力装置を制御する制御部と、を備え;前記制御部は、前記各ボタンの検出結果が予め定められたパターンを含む場合はフリック入力に相当する出力を実行し、前記予め定められたパターンを含まない場合は前記各ボタンの検出結果をそのまま出力する。
この形態の入力装置によれば、個々に入力のオンオフが可能な2つ以上のボタンにおいて、各ボタンの検出結果が予め定められたパターンを含む場合はフリック入力に相当する出力がなされる。このため、使用者は、指等の軌跡を取得可能なセンサーデバイスを使用せずにフリック入力を行うことができる。
(2)上記形態の入力装置において;前記2つ以上のボタンは、決定ボタンと、上下左右のそれぞれに対応した方向ボタンと、を含み;前記予め定められたパターンは;前記決定ボタンのオンオフを検出した後、前記方向ボタンのうちのいずれか1つのオンを検出したこと、としてもよい。
この形態の入力装置によれば、決定ボタンが押下(またはタッチ)され、その後、方向ボタンのうちのいずれか1つが押下(またはタッチ)された際、換言すれば、押下/タッチを挟んだ指の移動に伴って、フリック入力に相当する出力がなされる。この結果、使用者は、実際のフリック動作に模した指の移動動作によってフリック入力を行うことができる。
(3)上記形態の入力装置において;前記予め定められたパターンは;前記決定ボタンのオンオフを検出した後、予め定められた第1の時間内に、前記方向ボタンのうちのいずれか1つのオンを検出したこと、としてもよい。
この形態の入力装置によれば、決定ボタンの押下(またはタッチ)と方向ボタンの押下(またはタッチ)との間が第1の時間内である場合に限り、フリック入力に相当する出力がなされる。この第1の時間を適切に設定することで、使用者は、通常の決定−方向入力と、フリック入力とを使い分けることができる。
(4)上記形態の入力装置において;前記予め定められたパターンは;前記決定ボタンのオンを検出した後、予め定められた第2の時間経過後に前記決定ボタンのオフを検出し、その後、前記方向ボタンのうちのいずれか1つのオンを検出したこと、としてもよい。
この形態の入力装置によれば、決定ボタンの押下(またはタッチ)開始から決定ボタンの押下(またはタッチ)終了までの間が第2の時間より長い場合に限り、フリック入力に相当する出力がなされる。この第2の時間を適切に設定することで、使用者は、ボタン長押しを契機として意識的に、通常の決定−方向入力と、フリック入力とを使い分けることができる。
(5)上記形態の入力装置において;前記2つ以上のボタンは、決定ボタンと、上下左右のそれぞれに対応した方向ボタンと、を含み;前記予め定められたパターンは;前記決定ボタンのオンオフを2回検出した後、前記方向ボタンのうちのいずれか1つのオンを検出したこと、としてもよい。
この形態の入力装置によれば、決定ボタンの押下(またはタッチ)が2回された後に方向ボタンの押下(またはタッチ)がされた場合に限り、フリック入力に相当する出力がなされる。このため使用者は、通常の決定−方向入力と、フリック入力とを使い分けることができる。
(6)上記形態の入力装置において;前記2つ以上のボタンは、各前記方向ボタンが、前記決定ボタンを中心として上下左右方向にそれぞれ配置された十字キーとしてもよい。
この形態の入力装置によれば、決定ボタンと方向ボタンとを、使用者が直感的に把握および操作しやすい十字キーとして構成することができる。
(7)上記形態の入力装置において;各前記2つ以上のボタンは、機械接点式のボタン、または、静電容量式のボタンとしてもよい。
この形態の入力装置によれば、機械接点式のボタン、または、静電容量式のボタンのいずれを用いても入力装置を構成することができる。
(8)上記形態の入力装置において、さらに;使用者の頭部に装着されることで前記使用者に虚像を視認させる画像表示部に接続するためのインターフェイスを備え;前記制御部は、さらに;画像光を生成し、生成した前記画像光を前記画像表示部へ出力する機能と;種々のアプリケーションの実行を可能とするオペレーティングシステムと、を含み;前記制御部は、前記フリック入力に相当する出力または前記検出結果を、前記アプリケーションと前記オペレーティングシステムとのうちの少なくとも一方へ出力してもよい。
この形態の入力装置では、入力装置を、画像表示装置を操作および制御するコントローラーとして構成することができる。
(9)上記形態の入力装置において;前記制御部は、さらに、種々のアプリケーションの実行を可能とするオペレーティングシステムを含み;前記制御部は、前記フリック入力に相当する出力または前記検出結果を、前記アプリケーションと前記オペレーティングシステムとのうちの少なくとも一方へ出力してもよい。
この形態の入力装置では、入力装置を、種々のアプリケーションを実行可能なコンピューターとして構成することができる。
(10)上記形態の入力装置において、さらに;外部装置に接続するためのインターフェイスを備え;前記制御部は、前記フリック入力に相当する出力または前記検出結果を、前記インターフェイスを介して前記外部装置へ出力してもよい。
この形態の入力装置では、入力装置を、外部装置に対する入力を行うデバイスとして構成することができる。
上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
なお、本発明は、種々の態様で実現することが可能であり、例えば、入力装置、入力装置と画像表示部とを組み合わせた頭部装着型表示装置、入力装置と頭部装着型表示装置とを組み合わせたシステム、入力装置と情報処理装置とを組み合わせたシステム、入力方法、これらの装置、システム、方法の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを配布するためのサーバー装置、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。
本発明の一実施形態におけるHMDの外観構成を示す図である。 画像表示部が備える光学系の構成を示す要部平面図である。 使用者から見た画像表示部の要部構成を示す図である。 カメラの画角を説明するための図である。 HMDの構成を機能的に示すブロック図である。 HMDの制御機能部の構成を機能的に示すブロック図である。 十字キーについて説明する図である。 十字キーを用いたフリック入力の方法について説明する図である。 入出力制御部がフリック入力に相当する出力を行う操作パターンの例を示す図である。 パターンの操作について説明する図である。 パターンの操作について説明する図である。 パターンの操作について説明する図である。 パターンの操作および操作について説明する図である。 十字キーの他の構成について説明する図である。 十字キーの他の構成について説明する図である。 十字キーの他の構成について説明する図である。 変形例の画像表示部が備える光学系の構成を示す要部平面図である。
A.実施形態:
A−1.HMDの構成:
図1は、本発明の一実施形態におけるHMD(頭部装着型表示装置、Head Mounted Display)100の外観構成を示す図である。HMD100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置10(制御部)と、を備える表示装置である。制御装置10は、使用者の操作を取得するための各種の入力デバイスを備え、使用者がHMD100を操作するためのコントローラーとして機能する。また、本実施形態の制御装置10は、指等の軌跡を取得可能なセンサーデバイスを使用せずにフリック入力を行うことができる「入力装置」としても機能する。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する本体に、右表示ユニット22と、左表示ユニット24と、右導光板26と、左導光板28とを備える。
右保持部21および左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部23は、前部フレーム27の端部ELから、画像表示部20の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。
右導光板26および左導光板28は、前部フレーム27に設けられている。右導光板26は、画像表示部20の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有する。この連結位置は、画像表示部20の装着状態における使用者の眉間の位置に対応する。前部フレーム27には、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部21と左保持部23とによって、画像表示部20を使用者の頭部に保持できる。また、右保持部21および左保持部23に対して、画像表示部20の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部20を使用者の頭部に強固に保持できる。
右表示ユニット22は、右導光板26による画像の表示を行う。右表示ユニット22は、右保持部21に設けられ、画像表示部20の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示を行う。左表示ユニット24は、左保持部23に設けられ、画像表示部20の装着状態における使用者の左側頭部の近傍に位置する。なお、右表示ユニット22および左表示ユニット24を総称して「表示駆動部」とも呼ぶ。
本実施形態の右導光板26および左導光板28は、光透過性の樹脂等によって形成される光学部(例えばプリズム)であり、右表示ユニット22および左表示ユニット24が出力する画像光を使用者の眼に導く。なお、右導光板26および左導光板28の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム27の表面(使用者の眼と対向する面とは反対側の面)を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板26および左導光板28に入射し、右導光板26および左導光板28を透過する外光の光量を調整できる。
画像表示部20は、右表示ユニット22および左表示ユニット24がそれぞれ生成する画像光を、右導光板26および左導光板28に導き、この画像光によって虚像を使用者に視認させる(これを「画像を表示する」とも呼ぶ)。使用者の前方から右導光板26および左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光と、外光とが入射する。このため、使用者における虚像の視認性は、外光の強さに影響を受ける。
このため、例えば前部フレーム27に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整することができる。典型的な例では、HMD100を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板26および左導光板28を保護し、右導光板26および左導光板28の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム27、あるいは、右導光板26および左導光板28のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。
カメラ61は、画像表示部20の前部フレーム27に配置されている。カメラ61は、前部フレーム27の前面において、右導光板26および左導光板28を透過する外光を遮らない位置に設けられる。図1の例では、カメラ61は、前部フレーム27の端部ER側に配置されている。カメラ61は、前部フレーム27の端部EL側に配置されていてもよく、右導光板26と左導光板28との連結部に配置されていてもよい。
カメラ61は、CCDやCMOS等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ61は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ61は、HMD100の表側方向、換言すれば、画像表示部20の装着状態において使用者が視認する視界方向の、少なくとも一部の外景(実空間)を撮像する。換言すれば、カメラ61は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ61の画角の広さは適宜設定できる。本実施形態では、カメラ61の画角の広さは、使用者が右導光板26および左導光板28を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ61は、制御部150(図5)の制御に従って撮像を実行し、得られた撮像データーを制御部150へ出力する。
HMD100は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム27の右導光板26と左導光板28との連結部分に配置することができる。測距センサーの測定方向は、MD100の表側方向(カメラ61の撮像方向と重複する方向)とすることができる。測距センサーは、例えば、LEDやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーはカメラ61と同様に、制御部150により制御され、検出結果を制御部150へ出力する。
図2は、画像表示部20が備える光学系の構成を示す要部平面図である。説明の便宜上、図2には使用者の右眼REおよび左眼LEを図示する。図2に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成されている。
右眼REに虚像を視認させる構成として、右表示ユニット22は、OLED(Organic Light Emitting Diode)ユニット221と、右光学系251とを備える。OLEDユニット221は、画像光を発する。右光学系251は、レンズ群等を備え、OLEDユニット221が発する画像光Lを右導光板26へと導く。
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光し、R(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素とした複数の画素が、マトリクス状に配置されている。
OLED駆動回路225は、制御部150(図5)の制御に従って、OLEDパネル223が備える発光素子の選択および通電を実行し、発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー217が実装される。なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加えて、W(白)の光を放射する発光素子を備えるWRGB構成のOLEDパネル223が採用されてもよい。
右光学系251は、OLEDパネル223から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射後、右導光板26から右眼REへと射出され、この画像光Lが右眼REの網膜で像を結ぶことで、使用者に虚像を視認させる。
左眼LEに虚像を視認させる構成として、左表示ユニット24は、OLEDユニット241と、左光学系252とを備える。OLEDユニット241は画像光を発する。左光学系252は、レンズ群等を備え、OLEDユニット241が発する画像光Lを左導光板28へと導く。OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245を有する。各部の詳細は、OLEDユニット221、OLEDパネル223、OLED駆動回路225と同じである。OLEDパネル243の裏面に固定される基板には、温度センサー239が実装される。また、左光学系252の詳細は右光学系251と同じである。
以上説明した構成によれば、HMD100は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。使用者の左眼LEには、ハーフミラー281で反射した画像光Lと、左導光板28を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板26および左導光板28を透かして外景(実世界)が見えると共に、この外景に重なるようにして画像光Lによる虚像が視認される。
なお、ハーフミラー261およびハーフミラー281は、右表示ユニット22および左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す「画像取り出し部」として機能する。また、右光学系251および右導光板26を総称して「右導光部」とも呼び、左光学系252および左導光板28を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
図1において、制御装置10と画像表示部20とは、接続ケーブル40によって接続される。接続ケーブル40は、制御装置10の下部に設けられるコネクターに着脱可能に接続され、左保持部23の先端から、画像表示部20内部の各種回路に接続する。接続ケーブル40には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル40にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル40の途中には、コネクター46が設けられている。
コネクター46は、ステレオミニプラグを接続するジャックであり、コネクター46と制御装置10とは、例えばアナログ音声信号を伝送するラインで接続される。図1に示す本実施形態の例では、コネクター46には、ステレオヘッドホンを構成する右イヤホン32および左イヤホン34と、マイク63を有するヘッドセット30とが接続されている。
マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置されている。マイク63は、音声を集音し、音声信号を音声インターフェイス182(図5)に出力する。マイク63は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。
制御装置10は、使用者に対する入出力インターフェイスとして、ボタン11と、LEDインジケーター12と、十字キー13と、トラックパッド14と、上下キー15と、切替スイッチ16と、電源スイッチ18とを備える。
ボタン11は、制御装置10が実行するOS(オペレーティングシステム)143(図6)の操作等を行うためのメニューキー、ホームキー、戻るキー等を含む。本実施形態のボタン11は、これらのキーやスイッチのうちの押圧操作により変位するタイプのボタンである。LEDインジケーター12は、HMD100の動作状態に対応して点灯あるいは消灯する。十字キー13は、上下左右および中央部分にそれぞれ対応するキーへのタッチまたは押圧操作を検出して、検出内容に応じた信号を出力する。トラックパッド14は、接触操作を検出する操作面を有し、操作面への接触操作を検出して、検出内容に応じた信号を出力する。接触操作の検出方法には、静電式、圧力検出式、光学式等の種々の方法を採用できる。
上下キー15は、右イヤホン32および左イヤホン34から出力する音量を増減させるための指示操作や、画像表示部20における輝度を増減させるための指示操作を検出する。切替スイッチ16は、上下キー15の指示対象(音量、輝度)の切り替え操作を検出する。電源スイッチ18は、HMD100の電源のオンオフ(ON、OFF)の切り替え操作を検出する。電源スイッチ18としては、例えばスライドスイッチを採用できる。
図3は、使用者から見た画像表示部20の要部構成を示す図である。図3では、接続ケーブル40、右イヤホン32、左イヤホン34の図示を省略している。図3の状態では、右導光板26および左導光板28の裏側が視認できると共に、右眼REに画像光を照射するためのハーフミラー261、および、左眼LEに画像光を照射するためのハーフミラー281が略四角形の領域として視認できる。使用者は、これらハーフミラー261、281を含む左右の導光板26、28の全体を透過して外景を視認すると共に、ハーフミラー261、281の位置に矩形の表示画像を視認する。
図4は、カメラ61の画角を説明するための図である。図4では、カメラ61と、使用者の右眼REおよび左眼LEとを平面視で模式的に示すと共に、カメラ61の画角(撮像範囲)をCで示す。なお、カメラ61の画角Cは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。
上述のようにカメラ61は、画像表示部20において右側の端部に配置され、使用者の視線の方向(すなわち使用者の前方)を撮像する。このためカメラ61の光軸は、右眼REおよび左眼LEの視線方向を含む方向とされる。使用者がHMD100を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で対象物OBを注視すると、使用者の視線は、図中の符号RD、LDに示すように、対象物OBに向けられる。この場合、使用者から対象物OBまでの距離は、30cm〜10m程度であることが多く、1m〜4mであることがより多い。そこで、HMD100について、通常使用時における使用者から対象物OBまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められHMD100にプリセットされていてもよいし、使用者が設定してもよい。カメラ61の光軸および画角は、このような通常使用時における対象物OBまでの距離が、設定された上限および下限の目安に相当する場合において対象物OBが画角に含まれるように設定されることが好ましい。
なお、一般的に、人間の視野角は水平方向におよそ200度、垂直方向におよそ125度とされる。そのうち情報受容能力に優れる有効視野は水平方向に30度、垂直方向に20度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に60〜90度、垂直方向に45〜70度程度とされている。この場合、注視点が対象物OB(図4)であるとき、視線RD、LDを中心として水平方向に30度、垂直方向に20度程度が有効視野である。また、水平方向に60〜90度、垂直方向に45〜70度程度が安定注視野である。使用者が画像表示部20を透過して右導光板26および左導光板28を透過して視認する実際の視野を、実視野(FOV:Field Of View)と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。
本実施形態のカメラ61の画角Cは、使用者の視野より広い範囲を撮像可能に設定される。カメラ61の画角Cは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ61の画角Cは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ61には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ61には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。
図5は、HMD100の構成を機能的に示すブロック図である。制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140と、記憶部と、入出力部と、センサー類と、インターフェイスと、電源部130とを備える。メインプロセッサー140には、これらの記憶部、入出力部、センサー類、インターフェイス、電源部130がそれぞれ接続されている。メインプロセッサー140は、制御装置10が内蔵しているコントローラー基板120に実装されている。
記憶部には、メモリー118と、不揮発性記憶部121とが含まれている。メモリー118は、メインプロセッサー140によって実行されるコンピュータープログラム、および、処理されるデーターを一時的に記憶するワークエリアを構成する。不揮発性記憶部121は、フラッシュメモリーやeMMC(embedded Multi Media Card)で構成される。不揮発性記憶部121は、メインプロセッサー140が実行するコンピュータープログラムや、メインプロセッサー140によって処理される各種のデーターを記憶する。本実施形態において、これらの記憶部はコントローラー基板120に実装されている。
入出力部には、トラックパッド14と、操作部110とが含まれている。操作部110には、上述したボタン11と、LEDインジケーター12と、十字キー13と、トラックパッド14と、上下キー15と、切替スイッチ16と、電源スイッチ18とが含まれる。メインプロセッサー140は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。
センサー類には、6軸センサー111と、磁気センサー113と、GPS(Global Positioning System)115とが含まれている。6軸センサー111は、3軸加速度センサーと3軸ジャイロ(角速度)センサーとを備えるモーションセンサー(慣性センサー)である。6軸センサー111は、これらセンサーがモジュール化されたIMU(Inertial Measurement Unit)を採用してもよい。磁気センサー113は、例えば、3軸の地磁気センサーである。GPS115は、図示しないGPSアンテナを備え、GPS衛星から送信される無線信号を受信して、制御装置10の現在位置の座標を検出する。これらセンサー類(6軸センサー111、磁気センサー113、GPS115)は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー140へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー140からの指示に応じてもよい。
インターフェイスには、通信部117と、音声コーデック180と、外部コネクター184と、外部メモリーインターフェイス186と、USB(Universal Serial Bus)コネクター188と、センサーハブ192と、FPGA194と、インターフェイス196とが含まれている。これらは、外部とのインターフェイスとして機能する。通信部117は、HMD100と外部機器との間における無線通信を実行する。通信部117は、図示しないアンテナ、RF回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。通信部117は、例えば、Bluetooth(登録商標)、Wi−Fi(登録商標)を含む無線LAN等の規格に準拠した無線通信を行う。
音声コーデック180は、音声インターフェイス182に接続され、音声インターフェイス182を介して入出力される音声信号のエンコード/デコードを行う。音声インターフェイス182は、音声信号を入出力するインターフェイスである。音声コーデック180は、アナログ音声信号からデジタル音声データーへの変換を行うA/Dコンバーター、および、その逆の変換を行うD/Aコンバーターを備えてもよい。本実施形態のHMD100は、音声を右イヤホン32および左イヤホン34から出力し、マイク63により集音する。音声コーデック180は、メインプロセッサー140が出力するデジタル音声データーをアナログ音声信号に変換し、音声インターフェイス182を介して出力する。また、音声コーデック180は、音声インターフェイス182に入力されるアナログ音声信号をデジタル音声データーに変換してメインプロセッサー140に出力する。
外部コネクター184は、メインプロセッサー140に対して、メインプロセッサー140と通信する外部装置(例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等)を接続するためのコネクターである。外部コネクター184に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー140が実行するコンピュータープログラムのデバッグや、HMD100の動作ログの収集に使用できる。外部コネクター184は種々の態様を採用できる。外部コネクター184としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスや、無線LANインターフェイス、Bluetoothインターフェイス等の無線接続に対応したインターフェイスを採用できる。
外部メモリーインターフェイス186は、可搬型のメモリーデバイスを接続可能なインターフェイスである。外部メモリーインターフェイス186は、例えば、カード型記録媒体を装着してデーターの読み書きを行うメモリーカードスロットと、インターフェイス回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。USBコネクター188は、USB規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェイスである。USBコネクター188は、例えば、USB規格に準拠したコネクターと、インターフェイス回路とを含む。USBコネクター188のサイズ、形状、USB規格のバージョン等は適宜選択できる。
また、HMD100は、バイブレーター19を備える。バイブレーター19は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー140の制御に従って振動を発声する。HMD100は、例えば、操作部110に対する操作を検出した場合や、HMD100の電源がオンオフされた場合等に所定の振動パターンでバイブレーター19により振動を発生させる。
センサーハブ192およびFPGA194は、インターフェイス(I/F)196を介して画像表示部20に接続されている。センサーハブ192は、画像表示部20が備える各種センサーの検出値を取得して、メインプロセッサー140に出力する。FPGA194は、メインプロセッサー140と画像表示部20の各部との間で送受信されるデーターの処理およびインターフェイス196を介した伝送を実行する。インターフェイス196は、画像表示部20の右表示ユニット22と、左表示ユニット24とに対してそれぞれ接続されている。本実施形態の例では、左保持部23に接続ケーブル40が接続され、この接続ケーブル40に繋がる配線が画像表示部20内部に敷設され、右表示ユニット22と左表示ユニット24とのそれぞれが、制御装置10のインターフェイス196に接続される。
電源部130には、バッテリー132と、電源制御回路134とが含まれている。電源部130は、制御装置10が動作するための電力を供給する。バッテリー132は、充電可能な電池である。電源制御回路134は、バッテリー132の残容量の検出と、OS143への充電の制御を行う。電源制御回路134は、メインプロセッサー140に接続され、バッテリー132の残容量の検出値や、バッテリー132の電圧の検出値をメインプロセッサー140へと出力する。なお、電源部130が供給する電力に基づいて、制御装置10から画像表示部20へと電力を供給してもよい。電源部130から制御装置10の各部および画像表示部20への電力の供給状態を、メインプロセッサー140により制御可能な構成としてもよい。
右表示ユニット22は、表示ユニット基板210と、OLEDユニット221と、カメラ61と、照度センサー65と、LEDインジケーター67と、温度センサー217とを備える。表示ユニット基板210には、インターフェイス196に接続されるインターフェイス(I/F)211と、受信部(Rx)213と、EEPROM(Electrically Erasable Programmable Read-Only Memory)215とが実装されている。受信部213は、インターフェイス211を介して制御装置10から入力されるデーターを受信する。受信部213は、OLEDユニット221で表示する画像の画像データーを受信した場合に、受信した画像データーをOLED駆動回路225(図2)へと出力する。
EEPROM215は、各種のデーターをメインプロセッサー140が読み取り可能な態様で記憶する。EEPROM215は、例えば、画像表示部20のOLEDユニット221、241の発光特性や表示特性に関するデーター、右表示ユニット22または左表示ユニット24のセンサー特性に関するデーター等を記憶する。具体的には、例えば、OLEDユニット221、241のガンマ補正に係るパラメーター、後述する温度センサー217、239の検出値を補償するデーター等を記憶する。これらのデーターは、HMD100の工場出荷時の検査によって生成され、EEPROM215に書き込まれる。出荷後は、メインプロセッサー140がEEPROM215のデーターを読み込んで各種の処理に利用する。
カメラ61は、インターフェイス211を介して入力される信号に従って撮像を実行し、撮像画像データーあるいは撮像結果を表す信号を制御装置10へと出力する。照度センサー65は、図1に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するように配置される。照度センサー65は、受光量(受光強度)に対応した検出値を出力する。LEDインジケーター67は、図1に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
温度センサー217は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー217は、OLEDパネル223(図3)の裏面側に実装される。温度センサー217は、例えばOLED駆動回路225と同一の基板に実装されてもよい。この構成により、温度センサー217は主としてOLEDパネル223の温度を検出する。なお、温度センサー217は、OLEDパネル223あるいはOLED駆動回路225に内蔵されてもよい。例えば、OLEDパネル223がSi−OLEDとしてOLED駆動回路225と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー217を実装してもよい。
左表示ユニット24は、表示ユニット基板230と、OLEDユニット241と、温度センサー239とを備える。表示ユニット基板230には、インターフェイス196に接続されるインターフェイス(I/F)231と、受信部(Rx)233と、6軸センサー235と、磁気センサー237とが実装されている。受信部233は、インターフェイス231を介して制御装置10から入力されるデーターを受信する。受信部233は、OLEDユニット241で表示する画像の画像データーを受信した場合に、受信した画像データーをOLED駆動回路245(図2)へと出力する。
6軸センサー235は、3軸加速度センサーおよび3軸ジャイロ(角速度)センサーを備えるモーションセンサー(慣性センサー)である。6軸センサー235は、上記のセンサーがモジュール化されたIMUを採用してもよい。磁気センサー237は、例えば、3軸の地磁気センサーである。温度センサー239は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー239は、OLEDパネル243(図3)の裏面側に実装される。温度センサー239は、例えばOLED駆動回路245と同一の基板に実装されてもよい。この構成により、温度センサー239は主としてOLEDパネル243の温度を検出する。温度センサー239は、OLEDパネル243あるいはOLED駆動回路245に内蔵されてもよい。詳細は温度センサー217と同様である。
右表示ユニット22のカメラ61、照度センサー65、温度センサー217と、左表示ユニット24の6軸センサー235、磁気センサー237、温度センサー239は、制御装置10のセンサーハブ192に接続される。センサーハブ192は、メインプロセッサー140の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ192は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データーの送信、検出値の取得等を実行する。センサーハブ192は、予め設定されたタイミングで、右表示ユニット22および左表示ユニット24が備える各センサーの検出値をメインプロセッサー140へ出力する。センサーハブ192は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ192は、各センサーの検出値の信号形式やデーター形式の変換機能(例えば、統一形式への変換機能)を備えてもよい。センサーハブ192は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始および停止させることで、LEDインジケーター67を点灯または消灯させる。
図6は、HMD100の制御機能部の構成を機能的に示すブロック図である。HMD100の制御機能部は、記憶部122と、制御部150とを備える。記憶部122は、不揮発性記憶部121(図5)により構成される論理的な記憶部である。図6では記憶部122のみを使用する例を示すが、不揮発性記憶部121に組み合わせてEEPROM215やメモリー118が使用されてもよい。また、制御部150は、メインプロセッサー140がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。
記憶部122には、制御部150における処理に供する種々のデーターが記憶されている。具体的には、本実施形態の記憶部122には、設定データー123と、コンテンツデーター124とが記憶されている。設定データー123は、HMD100の動作に係る各種の設定値を含む。例えば、設定データー123には、制御部150がHMD100を制御する際のパラメーター、行列式、演算式、LUT(Look Up Table)等が含まれている。
コンテンツデーター124には、制御部150の制御によって画像表示部20が表示する画像や映像を含むコンテンツのデーター(画像データー、映像データー、音声データー等)が含まれている。なお、コンテンツデーター124には、双方向型のコンテンツのデーターが含まれてもよい。双方向型のコンテンツとは、制御装置10によって使用者の操作を取得して、取得した操作内容に応じた処理を制御部150が実行し、処理内容に応じたコンテンツを画像表示部20に表示するタイプのコンテンツを意味する。この場合、コンテンツのデーターには、使用者の操作を取得するためのメニュー画面の画像データー、メニュー画面に含まれる項目に対応する処理を定めるデーター等を含みうる。
制御部150は、記憶部122が記憶しているデーターを利用して各種処理を実行することにより、OS143、画像処理部145、表示制御部147、撮像制御部149、入出力制御部151としての機能を実行する。本実施形態では、OS143以外の各機能部は、OS143上で実行されるアプリケーションプログラムとして構成されている。
画像処理部145は、画像表示部20により表示する画像/映像の画像データーに基づいて、右表示ユニット22および左表示ユニット24に送信する信号を生成する。画像処理部145が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部145は、メインプロセッサー140がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー140とは別のハードウェア(例えば、DSP(Digital Signal Processor))で構成してもよい。
なお、画像処理部145は、必要に応じて、解像度変換処理、画像調整処理、2D/3D変換処理等を実行してもよい。解像度変換処理は、画像データーの解像度を右表示ユニット22および左表示ユニット24に適した解像度へと変換する処理である。画像調整処理は、画像データーの輝度や彩度を調整する処理である。2D/3D変換処理は、三次元画像データーから二次元画像データーを生成し、あるいは、二次元画像データーから三次元画像データーを生成する処理である。画像処理部145は、これらの処理を実行した場合、処理後の画像データーに基づき画像を表示するための信号を生成し、接続ケーブル40を介して画像表示部20へと送信する。
表示制御部147は、右表示ユニット22および左表示ユニット24を制御する制御信号を生成し、この制御信号により、右表示ユニット22および左表示ユニット24のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部147は、OLED駆動回路225、245を制御して、OLEDパネル223、243による画像の表示を実行させる。表示制御部147は、画像処理部145が出力する信号に基づいて、OLED駆動回路225、245がOLEDパネル223、243に描画するタイミングの制御、OLEDパネル223、243の輝度の制御等を行う。
撮像制御部149は、カメラ61を制御して撮像を実行させ、撮像画像データーを生成し、記憶部122に一時的に記憶させる。また、カメラ61が撮像画像データーを生成する回路を含むカメラユニットとして構成される場合、撮像制御部149は、撮像画像データーをカメラ61から取得して、記憶部122に一時的に記憶させる。
入出力制御部151は、十字キー13における各ボタンのオンオフの検出結果を取得する。入出力制御部151は、検出結果が予め定められたパターン(詳細は後述)を含む場合は、フリック入力に相当する出力を実行し、予め定められたパターンを含まない場合は、オンオフの検出結果をそのまま出力する。ここで、フリック入力またはオンオフの検出結果の出力先は、任意に定めることができるが、本実施形態の場合はOS143である。入出力制御部151は、フリック入力またはオンオフの検出結果を、OS143に代えて、またはOS143と共に、OS143上で動作する他のアプリケーションに出力してもよい。OS143上で動作する他のアプリケーションとは、表示制御部147、撮像制御部149、または、OS143にインストールされているその他のアプリケーションである。
入出力制御部151は、フリック入力またはオンオフの検出結果を、インターフェイス196を介して接続されている画像表示部20に出力してもよく、外部コネクター184を介して接続されている外部装置に出力してもよい。この場合、フリック入力またはオンオフの検出結果は、画像表示部20に搭載されている制御部や、外部装置の制御部によって使用される。
A−2.十字キーの構成:
図7は、十字キー13について説明する図である。本実施形態のHMD100では、この十字キー13を用いてフリック入力を行うことができる。本実施形態の十字キー13は、1つの決定ボタン139と、上下左右のそれぞれに対応した4つの方向ボタン135〜138と、により構成されている。決定ボタン139は円形形状であり、各方向ボタン135〜138は矩形形状である。これらのボタンは、制御装置10の筐体表面において、4つの方向ボタン135〜138が、決定ボタン139を中心として上下左右方向にそれぞれ配置された、いわゆる十字キーの態様である。以降、4つの方向ボタン135〜138を総称して説明するときは単に「方向ボタン」と呼び、個別に説明するときは左ボタン135、右ボタン136、上ボタン137、下ボタン138と呼ぶ。図7では便宜的に、決定、上、下、左、右の文字を記しているが、実際の十字キー13にはこれらの表示は無くてもよく、記号等に置き換えられてもよい。
本実施形態の決定ボタン139は、使用者が決定ボタン139を押下することによって内部に設けられているスイッチがオンされ、使用者が決定ボタン139の押下をやめることによって内部に設けられているスイッチがオフする、いわゆる機械接点式のボタンである。一方、4つの方向ボタン135〜138は、使用者が方向ボタンにタッチする(触れる)ことによって内部に設けられているスイッチがオンされ、使用者が方向ボタンを離すことによって内部に設けられているスイッチがオフする、いわゆる静電容量式のボタンである。なお、決定ボタン139と各方向ボタンとの方式の具体例はあくまで一例であり、種々の態様を採用できる。例えば、決定ボタン139と各方向ボタンとの全てを機械接点式にしてもよく、全てを静電容量式にしてもよい。
このように、本実施形態の入力装置(制御装置10)によれば、決定ボタン139と方向ボタン135〜138とを、使用者が直感的に把握および操作しやすい十字キー13として構成することができる。また、機械接点式のボタン、または、静電容量式のボタンのいずれを用いても入力装置を構成することができる。
A−3.入出力制御(汎用的な例):
入出力制御部151によるフリック入力の汎用的な例について説明する。
図8は、十字キー13を用いたフリック入力の方法について説明する図である。図8では、右フリックを例にして説明する。
(1)まず使用者は、手hdの指を用いて決定ボタン139を押下した後、決定ボタン139の押下をやめる。本実施形態では、使用者が決定ボタン139を押下して離す一連の操作を「操作1」とも呼ぶ。操作1によって入出力制御部151は、決定ボタン139のオンオフを取得する。
(2)次に使用者は、手hdを右ボタン136の位置へ移動する(図8:矢印)。本実施形態では、使用者が次の方向ボタンに手を移動する操作を「操作2」とも呼ぶ。
(3)最後に使用者は、手hdの指を用いて右ボタン136にタッチする。本実施形態では、使用者が方向ボタンにタッチする操作を「操作3」とも呼ぶ。操作3によって入出力制御部151は、右ボタン136のオンを取得する。
なお、この一連の操作1〜3は「予め定められたパターン」として機能する。
入出力制御部151は、操作1によって決定ボタン139のオンオフを取得し、操作3によって右ボタン136(方向ボタン)のオンを取得する。このように、決定ボタン139のオンオフを検出した後、方向ボタンのうちのいずれか1つのオンを検出した場合、入出力制御部151は、OS143に対してフリック入力に相当する出力を実行する。ここで、フリック入力に相当する出力とは、受け取り側(本実施形態の場合はOS143)において「フリック入力がされた」と解釈可能な限りにおいて、種々の態様を採用できる。例えば、入出力制御部151は、次の出力a1、a2のいずれかを行うことができる。
(a1)フリックイベントを発生させる。
(a2)受け取り側においてフリック入力を検出可能な一連のイベント(例えば下記)を発生させる。
・仮想的なタッチパネルを設定する。
・仮想的なタッチパネル上において、タッチされたイベント、例えば、getAction(ACTION_DOWN)を発生させる。
・仮想的なタッチパネル上において、タッチされた状態で移動しているイベント、例えば、getAction(ACTION_MOVE)を発生させる。
・仮想的なタッチパネル上において、タッチが離れた、例えば、getAction(ACTION_UP)を発生させる。
なお、入出力制御部151は、タッチイベントに関する種々の状態(X座標、Y座標、タッチされている指の本数、タッチの圧力、タッチされていた時間等)について、必要であれば、予め定められているダミー値を設定できる。
なお、使用者は、手hdの指に代えて、タッチペン等の道具を用いてボタンを押下してもよい。また、上述の例では、機械接点式のボタンである決定ボタン139について「押下」、静電容量式のボタンである4つの方向ボタン135〜138について「タッチ」と記載した。しかし、使用者の操作内容(押下/タッチ)は、各ボタン135〜139の構成内容(機械接点式/静電容量式)に応じて適宜、相互に変更可能である。なお、各ボタン135〜139のオンオフの検出結果が予め定められたパターン(操作1〜3)を含む限りにおいて、入出力制御部151は、フリック入力に相当する出力を実行してよい。このため例えば、スイッチのチャタリング等の結果として、各ボタン135〜139のオンオフの検出結果が予め定められたパターン(操作1〜3)と完全に一致しない場合であっても、入出力制御部151は、フリック入力に相当する出力を実行できる。
以上のように、上記実施形態の入力装置(制御装置10)によれば、個々に入力のオンオフが可能な2つ以上のボタン(各ボタン135〜139)において、各ボタンの検出結果が予め定められたパターン(操作1〜3)を含む場合はフリック入力に相当する出力a1、a2がなされる。具体的には、決定ボタン139が押下(またはタッチ)され、その後、4つの方向ボタン135〜138のうちのいずれか1つが押下(またはタッチ)された際、換言すれば、押下/タッチを挟んだ指の移動に伴って、フリック入力に相当する出力a1、a2がなされる。この結果、使用者は、実際のフリック動作に模した指の移動動作によって、指等の軌跡を取得可能なセンサーデバイスを使用せず、十字キー13を使用することによってフリック入力を行うことができる。また、本例では、出力a1、a2はイベントの形式でOS143等に出力されるため、受け取り側のアプリケーションによって様々な用途で利用することができる。
A−4.入出力制御(文字入力の例):
入出力制御部151によるフリック入力を利用した文字入力の例について説明する。図9は、入出力制御部151がフリック入力に相当する出力を行う操作パターンの例を示す図である。図9の各パターン1〜4はそれぞれ「予め定められたパターン」として機能する。なお、図9の各パターンは、上述した入出力制御(汎用的な例)においても利用可能できる。図9の各パターンを入出力制御(汎用的な例)において利用する場合、図9の「画面表示」は不要である。
<パターン1>
図10は、パターン1の操作1について説明する図である。図11は、パターン1の操作2について説明する図である。図12は、パターン1の操作3について説明する図である。まず、入出力制御部151は、画像表示部20にソフトウェアキーボードpdを表示させる(図10:左側)。ソフトウェアキーボードpdには、「あ」から「わ」までの日本語の五十音のあ段の候補がタイル状に配置されており、初期状態では「あ」が太い矩形で囲まれた選択状態にある。使用者は、十字キー13の方向ボタンにタッチすることで、ソフトウェアキーボードpdの五十音のあ段の候補から、所望の候補に太字の矩形を移動させて選択状態とする。図10の例では「な」が選択状態とされている。
使用者は、手hdの指を用いて決定ボタン139を押下した後、決定ボタン139の押下をやめる(図10:操作1)。操作1によって入出力制御部151は、決定ボタン139のオンオフを取得する。このとき入出力制御部151は、図9に示すパターン1の「操作1条件」が満たされたと判定する。このため、入出力制御部151は、画像表示部20に表示させているソフトウェアキーボードpd上において、選択されている候補「な」の強調と、選択されている候補「な」に対する子音の候補「に〜の」の表示とを行う(図11:左側)。なお、図11以降の図では、図示の便宜上、選択外の五十音のあ段の表示を省略している。
使用者は、手hdを、選択したい子音を表す方向ボタンの位置へと移動させる(図11:操作2)。このとき入出力制御部151は、ソフトウェアキーボードpd上における子音の候補の表示を継続する。
使用者は、手hdの指を用いて方向ボタン(図の例では右ボタン136)にタッチする(図12:操作3)。操作3によって入出力制御部151は、右ボタン136のオンを取得する。このとき入出力制御部151は、図9に示すパターン1の「操作3条件」が満たされたと判定する。このため、入出力制御部151は、画像表示部20に表示させているソフトウェアキーボードpd上において、選択された子音「ね」の強調を行う(図12:左側)。さらに入出力制御部151は、OS143に対してフリック入力に相当する出力として、選択された子音「ね」を出力する。これにより、例えば、文字入力パッド等に対する「ね」の表示が行われる。このように、本例では、フリック入力に相当する出力として、上述した出力a1、a2に代えて、最終的に選択された文字が出力される。
<パターン2>
図13は、パターン2の操作2および操作3について説明する図である。まず、入出力制御部151は、画像表示部20にソフトウェアキーボードpdを表示させる。詳細は図10と同様である。使用者は、十字キー13の方向ボタンにタッチすることで、ソフトウェアキーボードpdの五十音のあ段の候補から、所望の候補に太字の矩形を移動させて選択状態とする。
使用者は、手hdの指を用いて決定ボタン139を押下した後、決定ボタン139の押下をやめる(図10:操作1)。操作1によって入出力制御部151は、決定ボタン139のオンオフを取得する。このとき入出力制御部151は、図9に示すパターン2の「操作1条件」が満たされたと判定する。このため、入出力制御部151は、画像表示部20に表示させているソフトウェアキーボードpd上において、選択されている候補「な」の強調を行う。なお、本例では子音の候補の表示は行わない。
使用者は、手hdを、選択したい子音を表す方向ボタンの位置へと移動させる(図13:操作2)。
使用者は、手hdの指を用いて方向ボタン(図の例では右ボタン136)にタッチする(図13:操作3)。操作3によって入出力制御部151は、右ボタン136のオンを取得する。次に入出力制御部151は、操作1の決定ボタン139のオフ取得から、操作3の方向ボタンのオン取得までの時間t1(sec)が、所定の時間n(sec)以内であるか否か判定する。なお、所定の時間nは「第1の時間」として機能し、予め定められて記憶部122に記憶されている。所定の時間nは任意に定めることができるが、一般的なフリック操作における指の移動時間を想定した、ある程度短い時間に設定されることが好ましい。時間t1が所定の時間n以内である場合、入出力制御部151は、図9に示すパターン2の「操作2条件」が満たされたと判定する。
また、操作3によって入出力制御部151は右ボタン136のオンを取得しているため、入出力制御部151は、図9に示すパターン2の「操作3条件」も満たされたと判定する。従って、入出力制御部151は、画像表示部20に表示させているソフトウェアキーボードpd上において、選択された子音「ね」の表示と強調とを行う(図13:左側)。さらに入出力制御部151は、OS143に対してフリック入力に相当する出力として、選択された子音「ね」を出力する。
パターン2を用いた入出力制御によれば、決定ボタン139の押下(またはタッチ)と方向ボタン135〜138の押下(またはタッチ)との間(t1)が第1の時間(n)内である場合に限り、フリック入力に相当する出力がなされる。この第1の時間を適切に設定することで、使用者は、十字キー13を用いた通常の決定−方向入力と、フリック入力とを使い分けることができる。
<パターン3>
パターン3は、入出力制御部151における「操作1条件」の判定基準が異なる点を除いて、パターン1と同じである。パターン3において入出力制御部151は、使用者が決定ボタン139の押下を2回繰り返した場合、換言すれば、決定ボタン139のオンオフを2回続けて取得した場合に「操作1条件」が満たされたと判定する。
パターン3を用いた入出力制御によれば、決定ボタン139の押下(またはタッチ)が2回された後に方向ボタン135〜138の押下(またはタッチ)がされた場合に限り、フリック入力に相当する出力がなされる。このため使用者は、十字キー13を用いた通常の決定−方向入力と、フリック入力とを使い分けることができる。
<パターン4>
パターン4は、入出力制御部151における「操作1条件」の判定基準が異なる点を除いて、パターン1と同じである。パターン4において入出力制御部151は、使用者が決定ボタン139を長押しした場合、換言すれば、決定ボタン139のオン取得からオフ取得までの時間t2(sec)が、所定の時間m(sec)よりも長い場合に「操作1条件」が満たされたと判定する。所定の時間mは「第2の時間」として機能し、予め定められて記憶部122に記憶されている。所定の時間mは任意に定めることができるが、一般的なボタン長押しを想定した時間に設定されることが好ましい。
パターン4を用いた入出力制御によれば、決定ボタン139の押下(またはタッチ)開始から決定ボタン139の押下(またはタッチ)終了までの間(t2)が第2の時間(m)より長い場合に限り、フリック入力に相当する出力がなされる。この第2の時間を適切に設定することで、使用者は、決定ボタン139の長押しを契機として意識的に、十字キー13を用いた通常の決定−方向入力と、フリック入力とを使い分けることができる。
以上のように、上記実施形態の入力装置(制御装置10)によれば、個々に入力のオンオフが可能な2つ以上のボタン(各ボタン135〜139)において、各ボタンの検出結果が予め定められたパターン1〜4(操作1〜3)を含む場合はフリック入力に相当する出力(フリック文字入力により選択された文字の出力)がなされる。この結果、使用者は、実際のフリック動作に模した指の移動動作によって、指等の軌跡を取得可能なセンサーデバイスを使用せず、十字キー13を使用することによってフリック入力を行うことができる。
図14は、十字キー13の他の構成について説明する図である。図14に示す十字キー13aは、決定ボタン139を備えない点を除き、上述した十字キー13と同じである。このような十字キー13aを用いて上述の入力制御を行う場合、決定ボタン139の代わりに他の方向ボタンを利用すればよい。例えば、使用者は、左ボタン135をタッチし、離し、右ボタン136をタッチする。これにより、入出力制御部151は、左ボタン135のオンオフと右ボタン136のオンとを取得することができるため、右フリック入力に相当する出力を行う。同様に、使用者は、上ボタン137をタッチし、離し、下ボタン138をタッチする。これにより、入出力制御部151は、下フリック入力に相当する出力を行う。このように、決定ボタン139が無い場合であっても、2つ以上の方向ボタンがある限りにおいて入出力制御部151は、上記実施形態と同様の動作を実施することができる。
図15は、十字キー13の他の構成について説明する図である。図15に示す十字キー13bは、各方向ボタン135〜139の表面が円形のカバーで覆われている点を除き、上述した十字キー13と同じである。このような構成の十字キー13bを利用しても、上記実施形態と同様の効果を得ることができる。
図16は、十字キー13の他の構成について説明する図である。図16に示すキー13cは、決定ボタン139が矩形形状に構成されている点と、決定ボタン139および各方向ボタン135〜138が一列に配置されている点とを除き、上述した十字キー13と同じである。このような構成のキー13cを利用しても、上記実施形態と同様の効果を得ることができる。
B.変形例:
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
・変形例1:
上記実施形態では、HMDの構成について例示した。しかし、HMDの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、右導光板26および左導光板28が外光を透過する、いわゆる透過型のHMD100について説明した。しかし、本発明は、例えば、外景を視認できない状態で画像を表示する、いわゆる非透過型のHMD100に適用することもできる。また、これらのHMD100では、上記実施形態で説明した実空間に重畳して画像を表示するAR(Augmented Reality)表示のほか、撮像した実空間の画像と仮想画像とを組み合わせて表示するMR(Mixed Reality)表示、あるいは、仮想空間を表示するVR(Virtual Reality)表示を行うこともできる。また本発明は、AR、MR、VR表示のいずれも行わない装置にも適用できる。
上記実施形態では、制御装置10および画像表示部20の機能部について説明したが、これらは任意に変更することができる。例えば、次のような態様を採用してもよい。制御装置10に記憶部122および制御部150を搭載し、画像表示部20には表示機能のみを搭載する態様。制御装置10と画像表示部20との両方に、記憶部122および制御部150を搭載する態様。制御装置10と画像表示部20とを一体化した態様。この場合、例えば、画像表示部20に制御装置10の構成要素が全て含まれ、眼鏡型のウェアラブルコンピューターとして構成される。制御装置10の代わりにスマートフォンや携帯型ゲーム機器を使用する態様。制御装置10と画像表示部20とを無線通信により接続し、接続ケーブル40を配した態様。この場合、例えば、制御装置10や画像表示部20に対する給電についても無線で実施してよい。
・変形例2:
上記実施形態では、制御装置の構成について例示した。しかし、制御装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
上記実施形態では、制御装置10が備える入力手段の一例について説明した。しかし、制御装置10は、例示した一部の入力手段を省略して構成されてもよく、上述しない他の入力手段を備えていてもよい。例えば、制御装置10は、操作スティック、キーボード、マウス等を備えていてもよい。例えば、制御装置10は、使用者の身体の動き等に対応付けられたコマンドを解釈する入力手段を備えていてもよい。使用者の身体の動き等とは、例えば、視線を検出する視線検出、手の動きを検出するジェスチャー検出、足の動きを検出するフットスイッチ等により取得できる。なお、視線検出は、例えば、画像表示部20の内側を撮像するカメラにより実現できる。ジェスチャー検出は、例えば、カメラ61により経時的に撮影された画像を画像解析することにより実現できる。
上記実施形態では、制御部150は、メインプロセッサー140が記憶部122内のコンピュータープログラムを実行することにより動作するとした。しかし、制御部150は種々の構成を採用することができる。例えば、コンピュータープログラムは、記憶部122に代えて、または記憶部122と共に、不揮発性記憶部121、EEPROM215、メモリー118、他の外部記憶装置(各種インターフェイスに挿入されているUSBメモリー等の記憶装置、ネットワークを介して接続されているサーバー等の外部装置を含む)に格納されていてもよい。また、制御部150の各機能は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit)を用いて実現されてもよい。
・変形例3:
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。
図17は、変形例の画像表示部が備える光学系の構成を示す要部平面図である。変形例の画像表示部では、使用者の右眼REに対応したOLEDユニット221aと、左眼LEに対応したOLEDユニット241aと、が設けられている。右眼REに対応したOLEDユニット221aは、白色で発色するOLEDパネル223aと、OLEDパネル223aを駆動して発光させるOLED駆動回路225とを備えている。OLEDパネル223aと右光学系251との間には、変調素子227(変調装置)が配置されている。変調素子227は、例えば、透過型液晶パネルで構成され、OLEDパネル223aが発する光を変調して画像光Lを生成する。変調素子227を透過して変調された画像光Lは、右導光板26によって右眼REに導かれる。
左眼LEに対応したOLEDユニット241aは、白色で発光するOLEDパネル243aと、OLEDパネル243aを駆動して発光させるOLED駆動回路245とを備えている。OLEDパネル243aと左光学系252との間には、変調素子247(変調装置)が配置されている。変調素子247は、例えば、透過型液晶パネルで構成され、OLEDパネル243aが発する光を変調して画像光Lを生成する。変調素子247を透過して変調された画像光Lは、左導光板28によって左眼LEに導かれる。変調素子227、247は、図示しない液晶ドライバー回路に接続される。この液晶ドライバー回路(変調装置駆動部)は、例えば変調素子227、247の近傍に配置される基板に実装される。
変形例の画像表示部によれば、右表示ユニット22および左表示ユニット24は、それぞれ、光源部としてのOLEDパネル223a、243aと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子227、247と、を備える映像素子として構成される。なお、OLEDパネル223a、243aが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザー網膜投影型のHMD100としてもよい。
上記実施形態では、眼鏡型の画像表示部20について説明したが、画像表示部20の態様は任意に変更することができる。例えば、画像表示部20を帽子のように装着する態様としてもよく、ヘルメット等の身体防護具に内蔵された態様としてもよい。また、画像表示部20を、自動車や飛行機等の車両、またはその他の交通手段に搭載されるHUD(Head Up Display)として構成してもよい。
上記実施形態では、画像光を使用者の眼に導く光学系として、右導光板26および左導光板28の一部に、ハーフミラー261、281により虚像が形成される構成を例示した。しかし、この構成は任意に変更することができる。たとえば、右導光板26および左導光板28の全面(または大部分)を占める領域に虚像が形成されてもよい。この場合、画像の表示位置を変化させる動作によって画像を縮小してもよい。また、本発明の光学素子は、ハーフミラー261、281を有する右導光板26および左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品(例えば、回折格子、プリズム、ホログラフィー等)を用いる限り任意の態様を採用できる。
・変形例4:
上記実施形態では、入出力制御について例示した。しかし、入出力制御における処理内容は、本発明の要旨を逸脱しない範囲において任意に定めることが可能である。
上記実施形態では、選択されている候補の強調のために矩形の太枠で囲む形態を例示した。しかし、選択されている候補の強調は種々の態様で実施できる。例えば、選択されている候補(文字そのもの)について、選択されていない他の候補と比較して、表示を大きくする、表示の明るさを変化させる、表示位置を移動させる、表示形態を変化させる、等の手段を採用し得る。表示の明るさを変化させる場合、周囲の明るさに応じて、選択されている候補を明るくするか、暗くするかを変更してもよい。表示位置を移動させる場合、選択されている候補が十字表示の中央に移動し、選択されていない候補が十字表示の上下左右に移動するように、位置を変更してもよい。表示形態を変化させる場合、選択されている候補を黒抜き表示や白抜き表示にしてもよく、選択されている候補の書体を変化させてもよい。さらに、選択されている候補(文字そのもの)について、上述した強調表示と共に、または上述した強調表示に代えて、音声による報知を実施してもよい。そうすれば、使用者の視覚だけでなく、聴覚を用いて選択されている候補を強調することができる。
・変形例5:
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御装置、11…ボタン、12…LEDインジケーター、13、13a、13b…十字キー、13c…キー、14…トラックパッド、15…上下キー、16…切替スイッチ、18…電源スイッチ、19…バイブレーター、20…画像表示部、21…右保持部、22…右表示ユニット、23…左保持部、24…左表示ユニット、26…右導光板、27…前部フレーム、28…左導光板、30…ヘッドセット、32…右イヤホン、34…左イヤホン、40…接続ケーブル、46…コネクター、61…カメラ、63…マイク、65…照度センサー、67…LEDインジケーター、110…操作部、111…6軸センサー、113…磁気センサー、117…通信部、118…メモリー、120…コントローラー基板、121…不揮発性記憶部、122…記憶部、123…設定データー、124…コンテンツデーター、130…電源部、132…バッテリー、134…電源制御回路、135…左ボタン、136…右ボタン、137…上ボタン、138…下ボタン、139…決定ボタン、140…メインプロセッサー、145…画像処理部、147…表示制御部、149…撮像制御部、150…制御部、151…入出力制御部、180…音声コーデック、182…音声インターフェイス、184…外部コネクター、186…外部メモリーインターフェイス、188…USBコネクター、192…センサーハブ、196…インターフェイス、210…表示ユニット基板、211…インターフェイス、213…受信部、215…EEPROM、217…温度センサー、221、221a…OLEDユニット、223、223a…OLEDパネル、225…OLED駆動回路、227…変調素子、230…表示ユニット基板、231…インターフェイス、233…受信部、235…6軸センサー、237…磁気センサー、239…温度センサー、241、241a…OLEDユニット、243、243a…OLEDパネル、245…OLED駆動回路、247…変調素子、251…右光学系、252…左光学系、261…ハーフミラー、281…ハーフミラー

Claims (12)

  1. 入力装置であって、
    個々に入力のオンオフが可能な2つ以上のボタンと、
    前記入力装置を制御する制御部と、
    を備え、
    前記制御部は、前記各ボタンの検出結果が予め定められたパターンを含む場合はフリック入力に相当する出力を実行し、前記予め定められたパターンを含まない場合は前記各ボタンの検出結果をそのまま出力する、入力装置。
  2. 請求項1に記載の入力装置であって、
    前記2つ以上のボタンは、決定ボタンと、上下左右のそれぞれに対応した方向ボタンと、を含み、
    前記予め定められたパターンは、
    前記決定ボタンのオンオフを検出した後、前記方向ボタンのうちのいずれか1つのオンを検出したことである、入力装置。
  3. 請求項2に記載の入力装置であって、
    前記予め定められたパターンは、
    前記決定ボタンのオンオフを検出した後、予め定められた第1の時間内に、前記方向ボタンのうちのいずれか1つのオンを検出したことである、入力装置。
  4. 請求項2に記載の入力装置であって、
    前記予め定められたパターンは、
    前記決定ボタンのオンを検出した後、予め定められた第2の時間の経過後に前記決定ボタンのオフを検出し、その後、前記方向ボタンのうちのいずれか1つのオンを検出したことである、入力装置。
  5. 請求項1に記載の入力装置であって、
    前記2つ以上のボタンは、決定ボタンと、上下左右のそれぞれに対応した方向ボタンと、を含み、
    前記予め定められたパターンは、
    前記決定ボタンのオンオフを2回検出した後、前記方向ボタンのうちのいずれか1つのオンを検出したことである、入力装置。
  6. 請求項2から請求項5のいずれか一項に記載の入力装置であって、
    前記2つ以上のボタンは、各前記方向ボタンが、前記決定ボタンを中心として上下左右方向にそれぞれ配置された十字キーである、入力装置。
  7. 請求項1から請求項6のいずれか一項に記載の入力装置であって、
    各前記2つ以上のボタンは、機械接点式のボタン、または、静電容量式のボタンである、入力装置。
  8. 請求項1から請求項7のいずれか一項に記載の入力装置であって、さらに、
    使用者の頭部に装着されることで前記使用者に虚像を視認させる画像表示部に接続するためのインターフェイスを備え、
    前記制御部は、さらに、
    画像光を生成し、生成した前記画像光を前記画像表示部へ出力する機能と、
    種々のアプリケーションの実行を可能とするオペレーティングシステムと、を含み、
    前記制御部は、前記フリック入力に相当する出力または前記検出結果を、前記アプリケーションと前記オペレーティングシステムとのうちの少なくとも一方へ出力する、入力装置。
  9. 請求項1から請求項7のいずれか一項に記載の入力装置であって、
    前記制御部は、さらに、種々のアプリケーションの実行を可能とするオペレーティングシステムを含み、
    前記制御部は、前記フリック入力に相当する出力または前記検出結果を、前記アプリケーションと前記オペレーティングシステムとのうちの少なくとも一方へ出力する、入力装置。
  10. 請求項1から請求項7のいずれか一項に記載の入力装置であって、さらに、
    外部装置に接続するためのインターフェイスを備え、
    前記制御部は、前記フリック入力に相当する出力または前記検出結果を、前記インターフェイスを介して前記外部装置へ出力する、入力装置。
  11. 個々に入力のオンオフが可能な2つ以上のボタンを用いた入力方法であって、
    コンピューターが、前記各ボタンの検出結果が予め定められたパターンを含む場合はフリック入力に相当する出力を実行し、前記予め定められたパターンを含まない場合は前記各ボタンの検出結果をそのまま出力する工程を備える、入力方法。
  12. コンピュータープログラムであって、
    個々に入力のオンオフが可能な2つ以上のボタンにおける、前記各ボタンの検出結果が予め定められたパターンを含む場合はフリック入力に相当する出力を実行し、前記予め定められたパターンを含まない場合は前記各ボタンの検出結果をそのまま出力する機能を備える、コンピュータープログラム。
JP2016064894A 2016-03-29 2016-03-29 入力装置、入力方法、コンピュータープログラム Active JP6776578B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016064894A JP6776578B2 (ja) 2016-03-29 2016-03-29 入力装置、入力方法、コンピュータープログラム
US15/466,250 US20170285765A1 (en) 2016-03-29 2017-03-22 Input apparatus, input method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016064894A JP6776578B2 (ja) 2016-03-29 2016-03-29 入力装置、入力方法、コンピュータープログラム

Publications (2)

Publication Number Publication Date
JP2017182228A true JP2017182228A (ja) 2017-10-05
JP6776578B2 JP6776578B2 (ja) 2020-10-28

Family

ID=60007399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016064894A Active JP6776578B2 (ja) 2016-03-29 2016-03-29 入力装置、入力方法、コンピュータープログラム

Country Status (1)

Country Link
JP (1) JP6776578B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019133342A (ja) * 2018-01-30 2019-08-08 Dynabook株式会社 ウェアラブル機器及びその操作方法
JP2019133387A (ja) * 2018-01-31 2019-08-08 Dynabook株式会社 電子機器、ウェアラブル機器および文字入力制御方法
DE112018000461T5 (de) 2017-01-20 2019-09-26 Nifco Inc. Vorrichtung zum Sprühen eines Fluids auf eine Fahrzeugkamera
JP2020149269A (ja) * 2019-03-13 2020-09-17 オムロン株式会社 文字入力装置、文字入力方法、及び、文字入力プログラム
WO2021049629A1 (ja) * 2019-09-12 2021-03-18 Nodesk株式会社 データ入力システム、及び表示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018000461T5 (de) 2017-01-20 2019-09-26 Nifco Inc. Vorrichtung zum Sprühen eines Fluids auf eine Fahrzeugkamera
JP2019133342A (ja) * 2018-01-30 2019-08-08 Dynabook株式会社 ウェアラブル機器及びその操作方法
JP6995650B2 (ja) 2018-01-30 2022-01-14 Dynabook株式会社 ウェアラブル機器及びその操作方法
JP2019133387A (ja) * 2018-01-31 2019-08-08 Dynabook株式会社 電子機器、ウェアラブル機器および文字入力制御方法
JP2020149269A (ja) * 2019-03-13 2020-09-17 オムロン株式会社 文字入力装置、文字入力方法、及び、文字入力プログラム
WO2021049629A1 (ja) * 2019-09-12 2021-03-18 Nodesk株式会社 データ入力システム、及び表示装置

Also Published As

Publication number Publication date
JP6776578B2 (ja) 2020-10-28

Similar Documents

Publication Publication Date Title
US10643390B2 (en) Head mounted display, method for controlling head mounted display, and computer program
CN108508603B (zh) 头部佩戴型显示装置及其控制方法、以及记录介质
US10635182B2 (en) Head mounted display device and control method for head mounted display device
JP2018101019A (ja) 表示装置及び表示装置の制御方法
US20170289533A1 (en) Head mounted display, control method thereof, and computer program
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US10567730B2 (en) Display device and control method therefor
JP2018082363A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US10296105B2 (en) Head-mounted display device, computer program, and control method for head-mounted display device
JP6776578B2 (ja) 入力装置、入力方法、コンピュータープログラム
JP2018124721A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP2018124651A (ja) 表示システム
US10884498B2 (en) Display device and method for controlling display device
JP2019128693A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP2018084886A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6996115B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018206080A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP6740613B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2018022426A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
US20170285765A1 (en) Input apparatus, input method, and computer program
JP6932917B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2017182460A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム
JP2019053644A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200122

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200812

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200921

R150 Certificate of patent or registration of utility model

Ref document number: 6776578

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150