JP2006262980A - 情報端末装置及び仮想ペット表示方法 - Google Patents

Abstract

【課題】 仮想ペットを虚像として体の一部に重畳させて表示することにより、仮想ペットとの乖離感を解消し、より親近感を与えることのできる情報端末装置及び仮想ペット表示方法を提供することを目的とする。
【解決手段】 画像表示部５０に表示された情報は、半透過光学素子により、半透過光学素子を透過した実視野中の情報に、光学的に虚像として重畳されて使用者に提供される。このとき、画像表示制御部８７は、処理部８６により検出される皮膚上に、仮想ペットが虚像として現れるように、仮想ペットの画像を画像表示部５０に表示させるので、使用者に対して、体の一部に仮想ペットがのっているような印象を与えることが可能となる。
【選択図】 図７

Description

この発明は、実視野中に所定の情報を虚像として表示させる情報端末装置及び仮想ペット表示方法に関するものである。

従来、動物などのキャラクタを画像表示装置に表示させ、キー入力装置などから指示を与えることにより、この表示されたキャラクタをユーザの指示により飼育し、成長させることのできる携帯情報端末などが知られている。
例えば、特開平１１−６５４１７号公報（特許文献１）には、操作者の性格や感情に応じて仮想ペットの表示状態を変化させ、現実のペットの特性を再現した表示状態で仮想ペットを表示させる技術が開示されている。
特開平１１−６５４１７号公報（第１図）

しかしながら、上記特許文献１に開示されている従来の技術においては、仮想ペットは表示画面上に表示されるため、仮想ペットとの乖離感があり、より親密に仮想ペットと触れ合える技術が求められていた。

この発明は上述した事情に鑑みてなされたものであって、仮想ペットを虚像として体の一部に重畳させて表示することにより、仮想ペットとの乖離感を解消し、より親近感を与えることのできる情報端末装置及び仮想ペット表示方法を提供することを目的とする。

上記目的を達成するために、本発明は、以下の手段を提供する。
本発明は、画像表示手段と、前記画像表示手段に情報を表示させる画像表示制御手段と、使用者の視線方向の実視野からの光を透過するとともに、前記画像表示手段に表示された情報を光学的に虚像として、前記実視野中に重畳的に表示する半透過光学素子と、前記実視野中における皮膚を検出する皮膚検出手段とを備え、前記画像表示制御手段は、前記実視野内における前記皮膚の上に、仮想ペットが虚像として現れるように、前記仮想ペットの画像を前記画像表示手段に表示させる情報端末装置を提供する。

上記構成によれば、画像表示手段に表示された情報は、半透過光学素子により、半透過光学素子を透過した実視野中の情報に、光学的に虚像として重畳されて使用者に提供される。このとき、画像表示制御手段は、皮膚検出手段により検出される皮膚上に、仮想ペットが虚像として現れるように、仮想ペットの画像を画像表示手段に表示させるので、使用者に対して、体の一部に仮想ペットがのっているような印象を与えることが可能となる。
ここで、上記仮想ペットとは、例えば、動物に限られず、動物以外の様々なキャラクタなどを含む概念である。

上記記載の情報端末装置において、前記画像表示制御手段は、前記仮想ペットが、前記使用者の皮膚の動きに関連する動きをするように、前記仮想ペットの画像を前記画像表示手段に表示させると良い。

上記構成によれば、使用者の皮膚の動きに関連する動きをするように、仮想ペットの画像が画像表示手段に表示されるので、実視野中にある皮膚の上に虚像として重畳されている仮想ペットが、皮膚の動き（例えば、手の動き）に合わせて動くこととなる。これにより、使用者に対してあたかも皮膚の動きに、仮想ペットが反応しているような印象を与えることが可能となる。

上記記載の情報端末装置において、前記皮膚検出手段は、実視野中の画像を取得する画像取得手段と、取得された前記画像から予め登録されている色彩の部分を抽出する抽出手段と、抽出された部分を皮膚として検出する検出手段とを具備すると良い。

上記構成によれば、実視野中の画像が画像取得手段により取得され、この画像において予め登録されている色彩（例えば、肌色）を帯びている部分が抽出手段により抽出され、この部分が皮膚として検出されることとなる。このように、色彩を検出し、この色彩に応じて皮膚を検出するので、容易に皮膚を検出することが可能となる。

上記記載の情報端末装置において、前記皮膚検出手段は、前記実視野内の画像を取得する画像取得手段と、取得された前記画像から人体の形体的特徴部分を抽出する特徴部分抽出手段と、前記特徴部分抽出手段により抽出された形体的特徴部分が予め登録されている形体と一致した場合に、その一致部分を皮膚として検出する検出手段とを具備すると良い。

上記構成によれば、実視野中の画像が画像取得手段により取得され、この画像においてエッジ検出などの画像処理が行われることにより、特徴部分抽出手段によって人体の形体的特徴部分が抽出される。続いて、抽出された形体的特徴部分が予め登録されている形体と一致するか否かのマッチングが行われ、この結果両者が一致した場合には、その一致部分が皮膚として検出されることとなる。
上記形体的特徴部分としては、例えば、人の手の輪郭、骨格、爪の位置等が一例として挙げられる。

本発明は、使用者の皮膚上に、仮想ペットを虚像として表示させる仮想ペット表示方法を提供する。

上記仮想ペット表示方法によれば、使用者の皮膚の上に、仮想ペットが虚像として重畳されて表示されるので、使用者に対して、体の一部に仮想ペットがのっているような印象を与えることが可能となる。

上記記載の仮想ペット表示方法において、使用者の皮膚の動きに応じた動きを前記仮想ペットにさせると良い。

上記仮想ペット表示方法によれば、実視野中にある皮膚の上に虚像として重畳されている仮想ペットが、皮膚の動き（例えば、手の動き）に合わせて動くので、使用者に対してあたかも皮膚の動きに、仮想ペットが反応しているような印象を与えることが可能となる。

本発明の情報端末装置及び仮想ペット表示方法によれば、仮想ペットを虚像として体の一部に重畳させて表示するので、仮想ペットとの乖離感を解消し、より親近感を与えることができるという効果を奏する。

以下に、本発明にかかる情報端末装置の一実施形態について、図面を参照して説明する。
図１及び図２は、本実施形態に係る情報端末装置の構成例を示す外観斜視図である。
図１、図２に示すように、本実施形態に係る情報端末装置１０は、後述する各種制御機構及び制御基板等を内蔵した筐体２０の外部に、表示装置３０、撮像装置（画像取得手段）４０、及び操作部７０を備えている。
上記表示装置３０は、画像表示部（画像表示手段）５０及びコンバイナー６０を備えている。これら画像表示部５０及びコンバイナー６０は、格納状態で、筐体２０を貫通する開口部２１の空間部に収納され（図２参照）、それぞれが矩形状とした短辺側の一辺を筐体２０に軸支されて揺動による開閉動作が可能とされる。

画像表示部５０は、例えば、液晶表示パネル（ＬＣＤ）や有機ＥＬ表示パネル等のいわゆる薄型ディスプレイ（以下「表示面」という。）５１を備え、後述する画像表示制御部（画像表示制御手段）８７（図４参照）から出力された情報を表示面５１に表示する。画像表示部５０は、例えば、筐体２０に軸支されている支持部材５２に固定され、表示面５１は、後述するコンバイナー６０と格納状態で対向する面に、換言すれば、筐体２０の内側に向けられている。

コンバイナー６０は、画像表示部５０からの光、すなわち画像表示部５０の表示面５１に表示された情報の光を反射するとともに、使用者の視線方向の実視野からの光を透過する半透過型光学素子である。換言すれば、コンバイナー６０は、少なくとも１面に自由曲面（３次元非球面）を備え、実視野となる外界像を透過するとともに、画像表示部５０の表示面５１に表示された情報（例えば、画像や文字）を光学的に虚像として実視野中の実像に重畳的に表示する半透過型光学素子である。
本実施形態において、コンバイナー６０は、例えば、アクリルやポリカーボネート等の透明な材質からなる略長方形板状の部材であり、その片面側に金属膜等の反射層が形成されている。この反射層の表面が、画像表示部５０から入射した光を表面で反射させる反射面６１となる。
なお、上記コンバイナー６０としては、上述の半透過型光学素子のほか、例えば、ハーフミラー、ホログラム素子などを採用することも可能であり、目的に応じてこれらの１つを適宜選択して採用することが可能である。

上述したような情報端末装置１０は、収納時においては、図２に示すように、画像表示部５０とコンバイナー６０とが開口部２１に収納される。
一方、情報端末装置１０の使用時においては、図１に示すように、コンバイナー６０の反射面６１と画像表示部５０の表示面５１とが略対向し、かつ、筐体２０とともに略Ｚ字状を形成するように開かれる。そして、図３に示すように、筐体２０の後端部側となる側面２２が使用者の側頭部に押し当てられるように保持される。この状態において、画像表示部５０の表示面５１に表示された情報の光は、開口部２１を通じて斜め前方へ向けて出射され、反射面６１によって筐体２０の後端部側へ向けて反射される。これにより、使用者には、コンバイナー６０の前方に、すなわち、使用者から見てコンバイナー６０よりも遠方に、画像表示部５０に表示された情報が虚像として視認される。

撮像装置４０は、コンバイナー６０を介した実視野中の情報を取得する。このため、撮像装置４０は、図３に示すように、使用時において、使用者の視線方向に広がるコンバイナー６０を介した実視野の風景を撮像可能な位置に設けられている。撮像装置４０は、使用時において、使用者の視線方向の風景を撮像し、取得した画像を後述する処理部８６（図４参照）へ出力する。撮像装置４０としては、例えば、感光フィルム等の感光体を用いたアナログ式撮像装置を用いてもよく、またＣＣＤ素子等の撮像素子を用いたデジタル式撮像装置を用いてもよい。本実施形態では、撮像装置４０として、デジタル式撮像装置が用いられている。
操作部７０は、複数のテンキーやボタンなどを備えるマンインターフェイスとして機能するものであり、使用者による操作内容に応じた信号を後述する処理部８６（図４参照）に出力する。

次に、上述した筐体２０に内蔵される電気的構成について、図４を参照して説明する。
図４は、本実施形態に係る情報端末装置の電気的構成の概略を示したブロック図である。この図において、図１乃至図３と同様の構成要素には、同一の符号を付している。
図４に示すように、筐体２０には、記憶部８５、処理部（皮膚検出手段）８６及び画像表示制御部８７などが内蔵されている。これら各部は、いずれも処理部８６と電気的に接続されている。

記憶部８５には、仮想ペットに関する複数の画像情報が格納されている。例えば、仮想ペットが取りうる複数のポーズや所定の動きを表した複数パターンの動画などが格納されている。
処理部８６は、輪郭抽出部（輪郭抽出手段）８６１及び検出部（検出手段）８６２を備えて構成されている。これら輪郭抽出部８６１及び検出部８６２は、例えば、コンバイナー６０を介した実視野内にある皮膚を検出するべく機能する。ここで、例えば、処理部８６は、図示しないＣＰＵ（中央演算装置）、ＨＤ（Hard Disc）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等を備えて構成されている。上述の各部の機能を実現するための一連の処理手順は、例えば、コンバイナー６０を介した実視野内の皮膚を検出する皮膚検出処理に関する処理手順は、プログラムの形式でＲＯＭ等に記録されており、このプログラムをＣＰＵがＲＡＭ等に読み出して、情報の加工・演算処理を実行することにより、コンバイナー６０を介した実視野内の皮膚が検出される。

具体的には、上記輪郭抽出部（特徴部分抽出手段）８６１は、撮像装置４０により取得された画像に、エッジ検出などの画像処理を施し、これにより輪郭を抽出する。
検出部８６２は、輪郭抽出部８６１により抽出された輪郭と、予め登録されている輪郭（例えば、人間の手の輪郭）とが一定の範囲で一致するか否かを判定し、この結果、両者が一致した場合には、輪郭抽出部８６１により抽出された輪郭で閉じられる一定の範囲を人物の皮膚（例えば、手のひら）として検出する。

画像表示制御部８７は、上記処理部の検出部８６２により皮膚（例えば、使用者の手のひら）が検出された場合には、記憶部８５に格納されている仮想ペットの画像を読み出し、この仮想ペットの画像が、上記使用者の皮膚の上（例えば、手のひらの上）に虚像として現れるように、画像表示部５０に仮想ペットの画像を表示させる。

次に、上記構成を備える本実施形態に係る情報端末装置１０の作用について説明する。
まず、図５に示すように、使用状態にされた情報端末装置１０が使用者の側頭部に保持された状態において、コンバイナー６０を介した実視野内に使用者の手がかざされると、撮像装置４０により、使用者の視野方向にある使用者の手のひらが画像として取り込まれる（図６のステップＳＡ１）。撮像装置４０により取得された実視野内の画像は、処理部８６（図４参照）の輪郭抽出部８６１に出力され、ここで、画像処理などが施されることにより、輪郭が抽出される（図６のステップＳＡ２）。この結果、使用者の手のひらの輪郭が検出されることとなる。

このようにして抽出された輪郭の情報は、検出部８６２に出力され、ここで、予め登録されている輪郭と一致するか否かが判定される（図６のステップＳＡ３）。この結果、輪郭抽出部８６１により検出された輪郭は、予め登録されている輪郭と一致すると判定され（図６のステップＳＡ３において「ＹＥＳ」）、この輪郭で囲まれる範囲が手のひらとして検出される（図６のステップＳＡ４）。そして、この検出結果が画像表示制御部８７に出力される。

画像表示制御部８７は、手のひらの検出結果を受け取ると、記憶部８５に格納されている仮想ペットの画像を取得する。そして、この画像が検出部８６２により検出された手のひらの上に虚像として重畳されて表示されるように、画像表示部５０にその画像を表示させる（図６のステップＳＡ５）。具体的には、画像表示制御部８７は、手のひらまでの距離を検出し、この距離に応じて、手のひらの上に仮想ペットが現れるように、記憶部８５から取得した画像を加工する。なお、手のひらまでの距離は、例えば、上述した撮像装置４０により取得された画像における焦点距離を求めることにより可能となる。焦点距離は、例えば、オートフォーカス機能などにより取得することが可能である。

このようにして画像表示部５０に表示された仮想ペットの画像１００は、例えば、図７に示されるように、コンバイナーを介した実視野中１１０に存在する手のひら（皮膚）の上に虚像として重畳されて、使用者に視認されることとなる。これにより、あたかも手のひらの上に仮想ペットがいるような印象を使用者に与えることができる。

なお、上述したステップＳＡ３の処理において、図４に示した輪郭抽出部８６１により抽出された輪郭が予め登録されている輪郭と一致しなかった場合には（図６のステップＳＡ３において「ＮＯ」）、コンバイナー６０を介した実視野内に手のひら（皮膚）が存在しないと判定され、上述の処理を終了する。

以上説明してきたように、本実施形態に係る情報端末装置によれば、使用者に対して、手のひらの上に仮想ペットがいるような印象を与えることが可能となるので、仮想ペットとの乖離感を解消し、より親近感を与えることができるという効果を奏する。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

第１に、上述した実施形態では、例えば、手のひらの上に仮想ペットを虚像として表示する場合について述べてきたが、手のひらは一例であり、手のひら以外の場所に仮想ペットを表示させるようにしても良い。つまり、使用者の皮膚の上に仮想ペットが虚像として現れる形態であれば良い。具体的な場所としては、腕、足などが一例として挙げられる。

第２に、上述した実施形態においては、手のひらの上に仮想ペットを虚像として表示させるために、コンバイナー６０を介した実視野の画像において輪郭を検出し、検出した輪郭に基づいて手のひらを検出するようにしていたが、皮膚の検出手法についてはこの手法に限定されない。例えば、以下に述べるように、色彩に基づいて皮膚を検出するようにしても良い。
例えば、撮像装置４０により検出された画像において色彩を検出し（抽出手段）、検出した色彩が予め登録されている色彩（例えば、肌色など）と一致する領域を皮膚として検出する（検出手段）。このように色彩に基づいて、皮膚を検出することにより、簡便な処理により皮膚の検出を行うことが可能となる。

第３に、上述した実施形態において、画像表示制御部８７が仮想ペットの画像を画像表示部５０に表示させる際、仮想ペットの動画を画像表示部５０に表示させるようにしても良い。このように、動きのある仮想ペットを提供することにより、使用者に愛着を感じさせることが可能となり、より親近感を抱かせることができる。

第４に、上述した実施形態において、手のひらの上に表示させる仮想ペットを手の動きなどに連動させて動かすようにしても良い。このように、手の動きに連動する動きを仮想ペットにさせることにより、使用者に仮想ペットとの一体感を抱かせることが可能となる。なお、手の動きを検出するためには、手の指の動きなどを撮像装置４０により撮像し、画像処理により、手のひらの指の動きを検出するようにすれば良い。例えば、特開２００３−３４６１６２号公報に開示されている技術を用いて手の形状を検出し、この検出した結果に基づいてどのような動きを検出するようにしても良い。

本発明の一実施形態に係る情報端末装置の構成例を示す外観斜視図である。 本発明の一実施形態に係る情報端末装置の構成例を示す外観斜視図である。 図１に示した画像表示部、コンバイナーの作用を説明するための図である。 本発明の一実施形態に係る情報端末装置の電気的構成例を示すブロック図である。 本発明の一実施形態に係る情報端末装置の使用状態を示した図である。 本発明の一実施形態に係る情報端末装置の作用を示すフローチャートである。 使用者によりコンバイナーを介して視認される情報の一例を示す図である。

符号の説明

１０ 情報端末装置
２０ 筐体
３０ 表示装置
４０ 撮像装置
５０ 画像表示部
６０ コンバイナー
７０ 操作部
８５ 記憶部
８６ 処理部
８７ 画像表示制御部
８６１ 輪郭抽出部
８６２ 検出部

Claims (6)

1. 画像表示手段と、
   前記画像表示手段に情報を表示させる画像表示制御手段と、
   使用者の視線方向の実視野からの光を透過するとともに、前記画像表示手段に表示された情報を光学的に虚像として、前記実視野中に重畳的に表示する半透過光学素子と、
   前記実視野中における皮膚を検出する皮膚検出手段と
   を備え、
   前記画像表示制御手段は、前記実視野内における前記皮膚の上に、仮想ペットが虚像として現れるように、前記仮想ペットの画像を前記画像表示手段に表示させる情報端末装置。
2. 前記画像表示制御手段は、
   前記仮想ペットが、前記皮膚の動きに関連する動きをするように、前記仮想ペットの画像を前記画像表示手段に表示させる請求項１に記載の情報端末装置。
3. 前記皮膚検出手段は、
   実視野中の画像を取得する画像取得手段と、
   取得された前記画像から予め登録されている色彩の部分を抽出する抽出手段と、
   抽出された部分を皮膚として検出する検出手段と
   を具備する請求項１又は請求項２に記載の情報端末装置。
4. 前記皮膚検出手段は、
   前記実視野内の画像を取得する画像取得手段と、
   取得された前記画像から人体の形体的特徴部分を抽出する特徴部分抽出手段と、
   前記特徴部分抽出手段により抽出された形体的特徴部分が予め登録されている形体と一致した場合に、その一致部分を皮膚として検出する検出手段と
   を具備する請求項１又は請求項２に記載の情報端末装置。
5. 使用者の皮膚上に、仮想ペットを虚像として表示させる仮想ペット表示方法。
6. 使用者の皮膚の動きに応じた動きを前記仮想ペットにさせる請求項５に記載の仮想ペット表示方法。

Images