JP2012123436A

JP2012123436A - 電子機器

Info

Publication number: JP2012123436A
Application number: JP2010271004A
Authority: JP
Inventors: Hidenori Kuribayashi; 英範栗林
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-12-06
Filing date: 2010-12-06
Publication date: 2012-06-28

Abstract

【課題】操作物体の位置を正確に検出でき良好に操作を行うことができる電子機器を提供する。
【解決手段】可視光を射出する可視光源２と、赤外光を射出する赤外光源１０と、前記可視光源から射出された前記可視光の光路と前記赤外光源から射出された前記赤外光の光路とを略同軸に合成する合成部６と、前記合成部により合成された前記可視光及び前記赤外光を偏向させ走査させる走査部８と、前記走査部により走査された前記可視光を操作者の眼に入射させ、前記走査部により走査された前記赤外光を前記操作物体に投射させる光学部材１６と、前記操作物体で反射された前記赤外光から光学情報を抽出する検出部２６と、前記光学情報に基づいて前記操作物体の３次元の位置を計測する計測部とを備える。
【選択図】図１

Description

本発明は、電子機器に関するものである。

従来、操作者の動作を認識するセンサを備えたヘッドマウントディスプレイが存在する（例えば、特許文献１参照）。このヘッドマウントディスプレイによれば、操作者の体の傾きや心拍数等に基づいて操作を行うことができる。

特開２０１０−１１７５４２号公報

しかしながら、上述のヘッドマウントディスプレイにおいては、操作者の動作を正確に検出することが困難なため十分な操作性を確保することができないという問題がある。

本発明の目的は、操作物体の位置を正確に検出でき良好に操作を行うことができる電子機器を提供することである。

本発明の電子機器は、可視光を射出する可視光源と、赤外光を射出する赤外光源と、前記可視光源から射出された前記可視光の光路と前記赤外光源から射出された前記赤外光の光路とを略同軸に合成する合成部と、前記合成部により合成された前記可視光及び前記赤外光を偏向させ走査させる走査部と、前記走査部により走査された前記可視光を操作者の眼に入射させ、前記走査部により走査された前記赤外光を前記操作物体に投射させる光学部材と、前記操作物体で反射された前記赤外光から光学情報を抽出する検出部と、前記光学情報に基づいて前記操作物体の３次元の位置を計測する計測部とを備えることを特徴とする。

本発明の電子機器によれば、操作物体の位置を正確に検出でき良好に操作を行うことができる。

第１の実施の形態に係るＨＭＤの光学系の原理図である。第１の実施の形態に係るＨＭＤのシステム構成を示すブロック図である。第１の実施の形態に係るＨＭＤにおける赤外レーザ光の像の検出状態を示す図である。第１の実施の形態に係るＨＭＤにおける赤外レーザ光の像の検出状態を示す図である。第１の実施の形態に係るＨＭＤにおける赤外レーザ光の像の検出状態を示す図である。第２の実施の形態に係るＨＭＤにおける赤外レーザ光の像の検出状態を示す図である。第２の実施の形態に係るＨＭＤにおける赤外レーザ光の像の検出状態を示す図である。第２の実施の形態に係るＨＭＤにおける赤外レーザ光の像の検出状態を示す図である。第３の実施の形態に係るＨＭＤの光学系の原理図である。

以下、図面を参照して、本発明の第１の実施の形態に係る電子機器についてレーザ走査型シースルー網膜投影式ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）を例に説明する。図１は、第１の実施の形態に係るＨＭＤの光学系の原理図である。まず、可視レーザ光源２から射出された可視レーザ光は、レンズ４により集光され、可視レーザ光を反射し赤外レーザ光を透過するダイクロイックミラー６で反射されてＭＥＭＳミラー８に入射する。

一方、赤外レーザ光源１０から射出された赤外レーザ光は、レンズ１１により集光され、全反射ミラー１２で反射されてハーフミラー１４を透過し、ダイクロイックミラー６を透過してＭＥＭＳミラー８に入射する。なお、ハーフミラー１４を透過した赤外レーザ光の光路は、ダイクロイックミラー６において可視レーザ光の光路と略同軸に合成されてＭＥＭＳミラー８に入射する。ＭＥＭＳミラー８は、合成された可視レーザ光及び赤外レーザ光が入射する面を２軸方向に振動させてレーザ光の偏向方向を制御し、合成された可視レーザ光及び赤外レーザ光を２次元的（縦方向及び横方向）に走査する。

ＭＥＭＳミラー８で反射された可視レーザ光及び赤外レーザ光は、可視レーザ光の一部を透過し、赤外レーザ光を反射するダイクロイックミラー１６に入射する。可視レーザ光及び赤外レーザ光のうちダイクロイックミラー１６を透過した可視レーザ光は、凹面鏡２０で反射されて平行光となり、再びダイクロイックミラー１６で反射されて操作者の眼２２に入射する。一方、可視レーザ光及び赤外レーザ光のうち赤外レーザ光は、ダイクロイックミラー１６で反射されて前方に投射される。

ここで、ダイクロイックミラー１６で反射され操作者の眼２２に入射する可視レーザ光及びダイクロイックミラー１６で反射され操作者の手１８に投射される赤外レーザ光の光軸は同一である。このため、ＭＥＭＳミラー８により走査が行われた場合において、操作者が視認する可視レーザ光による映像の位置は、赤外レーザ光の集光される位置と常に一致する。

前方に操作者の手１８が存在する場合、投射された赤外レーザ光は、手１８で反射されてダイクロイックミラー１６、ＭＥＭＳミラー８及びダイクロイックミラー６を経由して元の光路を戻り、ハーフミラー１４で反射されてレンズ２４で集光され検出部２６に入射する。そして検出部２６において赤外レーザ光が検出される。

図２は、実施の形態に係るＨＭＤ２８のシステム構成を示すブロック図である。図２に示すように、ＨＭＤ２８は装置全体を統括的に制御するＣＰＵ３０を備え、ＣＰＵ３０には、操作者の眼に映像を入射することによって映像を操作者に提供する表示部３２、ＨＭＤ２８を操作する操作者の手１８を認識する操作検出部３４、表示部３２により操作者に提供する映像情報を一時的に記憶するメモリ３６及びプログラムや映像情報等を記憶するＦｌａｓｈメモリ３８が接続されている。

ここで、表示部３２は、可視レーザ光源２の制御を行う可視レーザ光制御部４０を備えている。また、操作検出部３４は、赤外レーザ光源１０の制御を行う赤外レーザ光制御部４２、操作者の手１８で反射された赤外レーザ光を検出する検出部２６、ＭＥＭＳミラー８の偏向方向を制御するＭＥＭＳ制御部４４を備えている。

次に、図面を参照して、第１の実施の形態に係るＨＭＤによる操作者の手の位置の計測について説明する。図３は、第１の実施の形態に係るＨＭＤ２８における赤外レーザ光の像の検出状態を示す図である。まず、操作者の手１８が所定の位置に置かれた状態において、赤外レーザ光源１０から射出された赤外レーザ光が最小錯乱円を形成するようにレンズ１１で集光状態を調整する。また、検出部２６と赤外レーザ光源１０が光学的に共役の位置になるようにレンズ２４を配置する。

ここで、操作者の手１８の位置を前後方向に移動させると、赤外レーザ光の非点収差により操作者の手１８に集光される赤外レーザ光の像にはボケが生じ、検出部２６の結像面４６における赤外レーザ光の結像状態はデフォーカス状態となる。

例えば、図４に示すように、手１８の位置を操作者の位置する方向に近づけた場合、検出部２６の結像面４６には、垂直方向を長軸とする楕円形状の像が形成される。また、図５に示すように、手１８の位置を操作者の位置する方向と反対側に遠ざけた場合、検出部２６の結像面４６には、水平方向を長軸とする楕円形状の像が形成される。

次に、ＣＰＵ３０は、検出部２６により検出した赤外レーザ光の結像状態に基づいて手１８の奥行方向の位置を計測する。即ち、楕円の長軸の方向と楕円形状の大きさに基づいて手１８の位置までの距離を計測する。

なお、検出部２６による赤外レーザ光の検出タイミングは、ＭＥＭＳミラー８の動きと同期しているため、各々の走査タイミングにおけるＭＥＭＳミラー８の偏向方向に基づいて赤外レーザ光が反射された操作者の手１８の２次元の方向を特定することができる。このため、ＣＰＵ３０は、手１８の奥行方向と２次元の方向に基づいて操作者の手１８の３次元の方向を計測することができる。これにより、操作者は、ＨＭＤ２８を３次元的にジェスチャーコントロールすることができる。

第１の実施の形態に係るＨＭＤによれば、赤外レーザ光の結像状態に基づいて操作物体の３次元の位置が計測でき、かつ、操作者が視認する可視レーザ光による映像の位置と赤外レーザ光の結像位置とが常に一致するため、操作物体の位置を正確に検出し良好に操作を行うことができる。

次に、第２の実施の形態に係るＨＭＤについて説明する。なお、第２の実施の形態に係るＨＭＤは、図１に示す光学系において回折格子を付加したものである。従って、第１の実施の形態と同様の構成についての詳細な説明は省略し、異なる部分のみについて説明する。また、第１の実施の形態と同一の構成には同一の符号を付して説明する。

次に、図面を参照して、第２の実施の形態に係るＨＭＤによる操作者の手の位置の計測について説明する。図６は、第２の実施の形態に係るＨＭＤにおける赤外レーザ光の像の検出状態を示す図である。赤外レーザ光源１０とレンズ１１との間には回折格子４８が配置され、回折格子４８により赤外レーザ光の発光点が３点となるように分光される。

まず、操作者の手１８が所定の位置に置かれた状態において、光赤外レーザ光が最小錯乱円を形成するようにレンズ１１で集光状態を調整する。ここで、赤外レーザ光は回折格子４８によって回折され、０次、１次、２次・・・の回折光が形成される。図６では、０次光と±１次光の、３つの最小錯乱円を示している。また、検出部２６の結像面４６に赤外レーザ光源１０が結像するようにレンズ２４の集光状態を調整する。

例えば、図７に示すように、手１８の位置を操作者の位置する方向に近づけた場合、検出部２６の結像面４６には、垂直方向を長軸とする３つの楕円形状の像が形成される。また、図８に示すように、手１８の位置を操作者の位置する方向と反対側に遠ざけた場合、楕円形状の長軸が水平方向に変わるため、検出部２６の結像面４６には、隣接する３つの楕円形状が重なり合った状態の１つの大きな楕円形状の像が形成される。

このように、検出部２６の結像面４６における赤外レーザ光の結像状態は、回折格子４８を用いない場合の結像状態よりも強調される。従って、ＣＰＵ３０は、検出部２６により検出した赤外レーザ光の結像状態に基づいて容易に手１８の奥行方向の位置を計測することができる。

第２の実施の形態に係るＨＭＤによれば、赤外レーザ光の結像状態に基づいて操作物体の３次元の位置が容易に計測でき、かつ、操作者が視認する可視レーザ光による映像の位置と赤外レーザ光の結像位置とが常に一致するため、操作物体の位置を正確に検出し良好に操作を行うことができる。

なお、第２の実施の形態では、回折格子４８により複数の次数の回折光を形成したが、赤外レーザ光源１０を並列配置し、複数の点光源をレンズ１１に入射させるようにしても同様の効果が得られる。

次に、第３の実施の形態に係るＨＭＤについて説明する。なお、第３の実施の形態に係るＨＭＤは、図１に示す光学系においてダイクロイックミラー６を全反射ミラー５０に替え、全反射ミラー１２を削除してＭＥＭＳミラー８に入射するまでの可視レーザ光の光路と赤外レーザ光の光路とを分離し、ＭＥＭＳミラー８で反射された赤外レーザ光を集光する凹面鏡５２及び可視レーザ光の光路と赤外レーザ光の光路とを略同軸に合成するダイクロイックミラー５１を付加したものである。従って、第１の実施の形態と同様の構成についての詳細な説明は省略し、異なる部分のみについて説明する。また、第１の実施の形態と同一の構成には同一の符号を付して説明する。

まず、可視レーザ光源２から射出されレンズ４により集光された可視レーザ光は、全反射ミラー５０及びＭＥＭＳミラー８で反射されて可視レーザ光の一部を透過し、赤外レーザ光を反射するダイクロイックミラー５１に入射する。

一方、赤外レーザ光源１０から射出された赤外レーザ光は、レンズ１１により集光され、ハーフミラー１４を透過してＭＥＭＳミラー８で一旦結像する。そして、ＭＥＭＳミラー８で反射され凹面鏡５２に入射する。ここで、ＭＥＭＳミラー８で反射される際に赤外レーザ光の広がり角が大きくなる。次に、凹面鏡５２で反射されダイクロイックミラー５１に入射する。ここで、可視レーザ光の光路と赤外レーザ光の光路とは、ダイクロイックミラー５１において略同軸に合成される。次に、合成された可視レーザ光及び赤外レーザ光は、ダイクロイックミラー１６に入射する。

可視レーザ光及び赤外レーザ光のうち可視レーザ光は、ダイクロイックミラー１６及び凹面鏡を経由して操作者の眼２２に入射する。一方、可視レーザ光及び赤外レーザ光のうち赤外レーザ光は、ダイクロイックミラー１６で反射されて前方に投射され、操作者の手１８に最小錯乱円を形成する。そして、操作者の手１８で反射された赤外レーザ光は、元の光路を戻り検出部２６で検出される。

これにより、赤外レーザ光源１０から射出された赤外レーザ光を集光するレンズ１１の焦点距離を短くすることができ、かつ、ＭＥＭＳミラー８で反射される赤外レーザ光の広がり角を大きくすることができる。従って、前方に投射される赤外レーザ光の被写界深度を浅くすることができる。また、赤外レーザ光の被写界深度を浅くすることにより、非点収差によるボケが生じ易くなり、赤外レーザ光により最小錯乱円が形成される範囲が狭い範囲に限定される。このため、操作者の手１８の位置の計測精度を向上させることができる。

第３の実施の形態に係るＨＭＤによれば、赤外レーザ光の結像状態に基づいて操作物体の３次元の位置が計測でき、かつ、操作者が視認する可視レーザ光による映像の位置と赤外レーザ光の結像位置とが常に一致するため、操作物体の位置を正確に検出し良好に操作を行うことができる。

なお、上述の実施の形態においては、赤外レーザ光、可視レーザ光を用いる場合を例に説明しているが、光源の種類はこれに限らず、発光ダイオード等であってもよい。レーザ光源以外の光源を用いる場合には、検出器の結像面４６に結像する像に非点収差を持たせるために、検出器の手前に配置されたレンズに非点収差を有するレンズを使用する。

また、上述の実施の形態においては、赤外レーザ光の結像状態に基づいて手１８の奥行き方向の位置を計測する場合を例に説明しているが、赤外レーザ光の到達時間に基づいて手１８の奥行き方向の位置を計測するようにしてもよい。例えば、赤外レーザ光源１０を点滅させ、赤外レーザ光が赤外レーザ光源１０から射出されて操作者の手１８で反射し、検出部２６に入射するまでの時間に基づいて手１８の奥行き方向の位置を計測するようにしてもよい。

また、上述の実施の形態においては、操作者の手１８の位置を計測する場合を例に説明しているが、位置を計測する対象は、前方（図１参照）で移動させることによりＨＭＤの操作を行うことができれば、例えばペン等のような物体でもよい。

また、上述の実施の形態においては、赤外レーザ光の非点収差により形成される赤外レーザ光の像として、手１８を操作者の位置する方向に近づけると垂直方向を長軸とする楕円形状の像が形成され、遠ざけると水平方向を長軸とする楕円形状の像が形成される場合を例に説明しているが、手１８を近づけた場合と遠ざけた場合の楕円形状の長軸の方向は逆であってもよい。

２…可視レーザ光源、４…レンズ、６…ダイクロイックミラー、８…ＭＥＭＳミラー、１０…赤外レーザ光源、１１…レンズ、１２…全反射ミラー、１４…ハーフミラー、１６…ダイクロイックミラー、１８…手、２０…凹面鏡、２２…眼、２４…レンズ、２６…検出部、２８…ＨＭＤ

Claims

可視光を射出する可視光源と、
赤外光を射出する赤外光源と、
前記可視光源から射出された前記可視光の光路と前記赤外光源から射出された前記赤外光の光路とを略同軸に合成する合成部と、
前記合成部により合成された前記可視光及び前記赤外光を偏向させ走査させる走査部と、
前記走査部により走査された前記可視光を操作者の眼に入射させ、前記走査部により走査された前記赤外光を前記操作物体に投射させる光学部材と、
前記操作物体で反射された前記赤外光から光学情報を抽出する検出部と、
前記光学情報に基づいて前記操作物体の３次元の位置を計測する計測部と
を備えることを特徴とする電子機器。
前記光学情報は、前記赤外光の結像状態に関する情報であり、
前記計測部は、前記結像状態における像の大きさに基づいて前記操作物体の位置を計測することを特徴とする請求項１に記載の電子機器。
前記光学情報は、前記赤外光の結像状態に関する情報であり、
前記計測部は、前記結像状態における像の形状に基づいて前記操作物体の位置を計測することを特徴とする請求項１または２に記載の電子機器。
前記赤外光は複数の赤外光束からなり、
前記光学情報は、前記複数の赤外光束の結像状態に関する情報であることを特徴とする請求項２または３に記載の電子機器。
前記光学情報は、前記赤外光が前記赤外光源から射出されて前記操作物体で反射し、前記検出部に入射するまでの時間に関する情報であることを特徴とする請求項１に記載の電子機器。