JP2016086321A - 自己撮影機能付スマートグラス - Google Patents

Abstract

【課題】装着したままの状態で、ユーザー自身の肩から上を真正面から撮影することができ、テレビ電話等においてユーザーと相手ユーザーが向き合って視線を合わせることができる自己撮影機能付スマートグラスを提供する。【解決手段】テレビ電話等に用いられるスマートグラス（シースルー型ヘッドマウントディスプレイ）であって、魚眼レンズ又は広角レンズを備えるカメラと、前記カメラを前記スマートグラスに接続固定するアーム等の固定手段と、を備え、前記スマートグラスを装着したユーザーの肩から上を真正面から撮影可能な位置に前記カメラを固定できるようにしたことを特徴とする自己撮影機能付スマートグラス。【選択図】図１

Description

本発明は、カメラを備えるスマートグラス（シースルー型ヘッドマウントディスプレイ）であって、前記スマートグラスを装着したままの状態で、ユーザー自身の肩から上を真正面から撮影することによって、テレビ電話等において、前記ユーザーと相手ユーザーが向き合って視線を合わせることができる自己撮影機能付スマートグラスに関する。

コミュニケーションにおける向き合って視線を合わせることの重要性について簡単に説明する。
まず、互いに向き合って相手の目を見て話をすることは、人としての基本的なマナーであると言われている。次に、「目は口ほどにものを言う」という諺があるように、心理学的観点から、人が感情を最も顕著に表すのは目であり、目を見ればその人の本心が分かるとまで言われている。又、生理学的観点から、視線は使っている脳の方向に動くと言われている。つまり、心理学的・生理学的観点から、人は目で相手に気持ちを伝えることができ、相手の目を見てその本心を読み取ることができる場合があると考えられる。
例えば、会話の途中で相手の目を見て反応を確認することによって、自分の意図が相手に伝わったか否かを確認することができる。又、視線を合わせることは好意の意思表示であり、相手に関心があることを伝えることによって、より親密なコミュニケーションが可能になる。
従って、向き合って視線を合わせることは、コミュニケーションにおいて極めて重要である。

近年、コミュニケーションの手段として、テレビ電話が広く普及し、遠隔地に居る家族や友人等とのコミュニケーションや各種会議等で広く活用されている。テレビ会議に関しては、例えば、特許文献１に、被写体の顔面の身振りや表情をよりよく見分けることを可能にするための技術が記載されている。

従来のテレビ電話システムでは、少なくともユーザー自身の顔、相手ユーザーの顔、そして、ユーザーを撮影するためのカメラが、ユーザーの視界に存在するように構成される場合が多い。この場合、ユーザーの視線がカメラに向かっているときに限り、相手ユーザーはユーザーと視線を合わせることができる。しかし、カメラはディスプレイの外側に配置されているため、ユーザーは相手ユーザーと視線を合わせていないばかりか、カメラと会話しているような奇妙な状況になってしまう。

一方、各種ウェアラブルデバイスが開発され注目を集める中にあって、カメラを備えるスマートグラスはその代表的な存在といえる。スマートグラスは、その名称を含め様々なものが提案され、例えば、特許文献２や特許文献３等があるが、カメラはいずれもユーザーの前方を撮影するものであった。スマートグラス（シースルー型ヘッドマウントディスプレイ）ではないが、ユーザー自身を撮影するものとしては、特許文献４に記載のヘッドマウントカメラがあった。尚、このヘッドマウントカメラのＣＣＤカメラやハーフミラーは暗箱内に形成されていることから明らかなようにシースルー型ではなかったし、頭部に固定する方法はヘアバンド方式又はヘルメット方式とされていることから明らかなようにメガネ型でもなくメガネ（グラス）に相当する部分もなかった。

本発明では、スマートグラスに固定するカメラを用いて、ユーザーの肩から上を真正面から撮影する。従来、近距離から広範囲を撮影する技術として、魚眼カメラを用いた様々な手法が提案されてきた。例えば、本発明のようにユーザーの肩から上を真正面から撮影できるものではないが、特許文献５に、魚眼カメラをフレームに設け、当該フレームを装着したユーザーの顔を所定方向から撮影する表情出力装置が記載されている。尚、本発明では、魚眼レンズを備えるカメラを魚眼カメラ、広角レンズを備えるカメラを広角カメラと呼ぶこととする。

魚眼カメラを用いて撮影された像の歪みを補正する技術は、本発明の本質的部分ではないし、特定の手法に限定する必要もないので詳述は避けるが、例えば、公知の技術として、前記特許文献５には、中心射影方式以外のレンズで得られた画像を仮想平面へ写像して平面化された画像を得る方法が記載され、特許文献６には、魚眼カメラで捕らえた歪んだ画像を一連の遠近画法で補正した出力画像に変換する方法が記載されている。又、特許文献７に、魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置が記載されている。同様に、特許文献８に、魚眼レンズを用いて撮影された球形歪を含む被写体画像を入力画像とし、前記球形歪を除去するように画像変換する画像データ変換装置が記載されている。更に、魚眼レンズや広角レンズを備えるカメラで撮影した画像の歪みを補正するための各種ソフトウェアや、これをハードウェアに実装した製品が既に販売されている。

又、本発明は、スマートグラスを装着したユーザーの画像からスマートグラスの領域を除去して補間する技術にも関する。既に、メガネをかけた人物を撮影した画像からメガネの領域を除去して補間する手法について研究がなされ、例えば、特許文献９には、人物の撮影画像から眼鏡の有無を識別し、眼鏡パターンを除去した顔画像を生成する画像処理装置が記載されている。

特許第４５６９１９６号公報 米国特許Ｄ７１０９２８Ｓ号明細書 特許第５４８２７１１号公報 特許第４０８９０７１号公報 国際公開第２０１３／０７７０７６号 特許第３０５１１７３号公報 特許第４６２９１３１号公報 特許第５０２９６４５号公報 特開２００９−２９４９５５号公報

しかしながら、従来技術には、以下のような問題点がある。

従来のテレビ電話システムでは、ユーザーが相手ユーザーと向き合って視線を合わせながら対話することができなかった。なぜなら、ユーザーと相手ユーザーが向き合って視線を合わせるためには、ユーザーを撮影するカメラの光軸とユーザーの視線とを合わせる必要があるのに対して、従来のテレビ電話システムは、カメラがディスプレイの外側にあるため、カメラの光軸と相手ユーザーの目を見るユーザーの視線とが合うことはなく、ユーザーと相手ユーザーが向き合って視線を合わせることは不可能だからである。
この点、特許文献１においても様々な工夫がなされてはいるが、カメラはスクリーンに隣接して位置を固定され、スクリーンの外側に位置するため、ユーザーが相手ユーザーと向き合って視線を合わせることはできなかった。

又、特許文献２や特許文献３に記載されているようなスマートグラスを装着したままの状態では、カメラとユーザーとの距離が近いことや、前記カメラは通常は前方に指向していること等から、前記カメラを用いて前記ユーザー自身を撮影することは困難であった。従って、ユーザー自身を撮影することが必要なテレビ電話等に、従来のスマートグラスをそのまま用いることは困難であった。

仮に、スマートグラスに備えるカメラをユーザー自身に指向できたとしても、撮影距離が近すぎると、ユーザーの肩から上どころか顔全体を撮影することも困難である。テレビ電話等では、顔だけを大写しにするのは、相手に圧迫感や違和感を与えるだけでなく、ユーザー自身も恥ずかしい場合がある。一方、顔が小さすぎて表情がよく分からないようでは、コミュニケーション手段として望ましくない。そこで、テレビ電話等では、肩から上を撮影する場合が多い。このため、カメラをユーザーから離れた位置に備えることも考えられるが、今度は装置が大きくなり、ウェアラブルの利点である操作性や機動性を損なう結果となる。

例えば、スマートグラス（シースルー型ヘッドマウントディスプレイ）ではないが、前記特許文献４に記載のヘッドマウントカメラは、撮像手段を頭部に固定する固定手段を備えることによって、カメラとユーザーとの距離を離していた。しかし、魚眼カメラ等を用いるものではなく、ユーザーの顔のほぼ全体を撮影するために、固定手段をユーザーの前方に相当伸ばす必要があった。しかも、撮像手段だけでなく表示手段も同じ固定手段で頭部に固定され、大きな筺体が前方に伸びているため、ウェアラブルの利点である操作性や機動性を損なう可能性があった。又、像情報をユーザーに視認させる表示手段は、前記撮像手段により撮像されないように配設されることからも明らかなように、前記撮像手段はユーザーの顔全体を真正面から撮像できるものではなく、テレビ電話等において、ユーザーと相手ユーザーが真正面から自然に向き合って視線を合わせることは困難であった。
尚、前記特許文献４では、カメラがユーザーの顔面に向かうため、カメラを意識することによる心理的負担が大きいという問題が指摘されているが、本発明のようにスマートグラスを用いたテレビ電話等の場合、ユーザーは相手ユーザーの映像に集中しているので、その背後にあるカメラを意識することは少ない。よって、本発明のようにカメラが真正面からユーザーの顔面に向くようにしても、この問題は生じない。

そこで、前記特許文献６ないし前記特許文献８に記載されているような近距離から広範囲を撮影できる手法の応用が考えられる。
この点、前記特許文献５に、フレームに設けた魚眼カメラから顔を撮影するという方法が記載されているが、カメラとユーザーとの距離が近すぎて所定部位しか撮影できなかった。このため、顔全体の画像を生成するために複雑な処理を必要としていた。例えば、前記特許文献５におけるカメラは、ユーザーの眼、眉及び口を撮影できる画角のものであり、顔の所定部位にチェッカーボードを貼り付け、チェッカーボードを貼り付けたままのユーザーを正面からデジタルカメラで予め撮影し、チェッカーボードの格子点の対応関係からホモグラフィ行列を求めておく必要があった。そして、このホモグラフィ行列を用いて目・眉・口等の各部の画像から正面画像を生成した上で、予め記憶された顔の３次元モデルにこれらの正面画像を合成する必要があった。尚、目尻や目頭、眼の虹彩の上下左右の端を特徴点として用いる処理も記載されている。以上の複雑な処理を必要としていた理由は、カメラとユーザーとの距離が近すぎて一度に顔全体を撮影できないからである。確かに、前記特許文献５には、ヘッドフォンとマイクが一体となったヘッドセットにカメラが設けられていてもよいという記載もあるが、このカメラはマイクと同じアームの先端に備えられていることからも明らかなように、口元付近からユーザーを撮影することになり、上記と同様の理由から複雑な処理が必要であった。しかも、前記特許文献５に記載の発明をテレビ電話等に用いる場合に、相手ユーザーが見ることになるのは、予め記憶したユーザーの顔画像中の右眼、左眼及び口の部分を、平面展開した各部分で置き換えた合成画像であるため、合成した境界部分が目立つ場合がある等、相手ユーザーは、ありのままのユーザーの顔を見ることができなかった。又、前記特許文献５におけるカメラの光軸はユーザーの視線と合っていないため、相手ユーザーがユーザーと向き合って視線を合わせることは困難であった。

そこで、スマートグラスと無線ＬＡＮ接続可能なカメラを、スマートグラスに固定することなく机上等に設置する方法が考えられる。しかし、この方法では、カメラをユーザー自身に指向するように設置する必要がある。又、公園のベンチ等のように、カメラを設置する場所が存在しない場合には使用できない。

又、撮像からスマートグラスの領域を除去して補間することによって、スマートグラスを装着していないユーザーの画像を生成しようとする場合に、カメラとスマートグラスの相対的な位置関係や撮影条件が一定でないために、スマートグラスの領域の抽出は困難である。例えば、前記特許文献９には、眼鏡除去の処理手順は「前処理部」、「眼鏡モデル生成部」、「眼鏡検出部」、「領域抽出部」、「補間部」の５つに分けることができるとされ、眼鏡領域の抽出までに複雑な処理を必要としていた。
更に、除去した後の欠損領域の補間に線形補間や平滑化を用いる場合には、テクスチャを表現できなかったり境界が不連続になったりするという問題点があった。

そこで、本発明は、かかる従来技術の問題点を解決して、スマートグラスを装着したままの状態でユーザー自身の肩から上を真正面から撮影することができるカメラを備え、テレビ電話等においてユーザーと相手ユーザーが向き合って視線を合わせることができる自己撮影機能付スマートグラス等を提供することを課題とするものである。又、本発明は、複雑な処理を要せずして、ユーザーの視線の方向をズームして撮影したり、スマートグラスを装着していない状態のユーザーの肩から上や前方の画像を生成したり、ユーザーのステレオ画像を撮影することができる自己撮影機能付スマートグラス等を提供することも課題とするものである。

上記課題を解決するために、請求項１記載の自己撮影機能付スマートグラスは、スマートグラス（シースルー型ヘッドマウントディスプレイ）であって、魚眼レンズ又は広角レンズを備えるカメラと、前記カメラを前記スマートグラスに接続固定するアーム等の固定手段と、を備え、前記スマートグラスを装着したユーザーの肩から上を真正面から撮影可能な位置に前記カメラを固定することによってテレビ電話等ができるようにしたことを特徴とする。これにより、ユーザーと相手ユーザーとが向き合って視線を合わせることができるようになる。

次に、請求項２記載の自己撮影機能付スマートグラスは、請求項１記載の自己撮影機能付スマートグラスにおいて、前記固定手段が伸縮可能なアームからなることを特徴とする。これにより、テレビ電話等をしていない間は、前記アームを縮めておくことができるようになる。

次に、請求項３記載の自己撮影機能付スマートグラスは、請求項１記載の自己撮影機能付スマートグラスにおいて、前記固定手段がアームからなり、前記アームを前記スマートグラスに取付け及び取外し可能にしたことを特徴とする。これにより、テレビ電話等をしていない間は、取り外した前記アームを眼鏡ケース等に収納しておけるようになる。

次に、請求項４記載の自己撮影機能付スマートグラスは、請求項１記載の自己撮影機能付スマートグラスにおいて、前記固定手段が、前記スマートグラスとの接合部に旋回軸を備え、前記カメラが前記旋回軸を中心に旋回できるようにしたことを特徴とする。これにより、テレビ電話等をしていない間は、前記固定手段をスマートグラスのテンプル（つる）に重ねて収納しておくことができるようになる。

次に、請求項５記載の自己撮影機能付スマートグラスは、請求項１記載の自己撮影機能付スマートグラスにおいて、前記カメラの光軸と、前記スマートグラスで表示する相手ユーザーの目を見るユーザーの視線とを合わせることができるように、前記カメラを前記スマートグラスに固定し、又は、前記相手ユーザーの映像を表示する位置を固定し、前記ユーザーが前記相手ユーザーと向き合って視線を合わせながら、テレビ電話等ができるようにしたことを特徴とする。これにより、ユーザーと相手ユーザーとが向き合って視線を合わせることができるようになる。

次に、請求項６記載の自己撮影機能付スマートグラスは、請求項１記載の自己撮影機能付スマートグラスにおいて、ユーザーの前方を撮影するための前方撮影用カメラと、前記魚眼レンズ又は広角レンズを備えるカメラで撮影した画像に基づきユーザーの視線を検出する視線検出手段と、を備え、前記前方撮影用カメラで前記視線の方向をズームして撮影できるようにしたことを特徴とする。これにより、ユーザーが注視している対象を正確に撮影できるようになる。又、テレビ電話等において、相手ユーザーは、ユーザーの映像だけでなくユーザーが見ている対象の映像を同時に見ることができるので、例えば、同じ美しい光景を見ながら感動を共有することができるようなる。

次に、請求項７記載の自己撮影機能付スマートグラスは、請求項１記載の自己撮影機能付スマートグラスにおいて、前記カメラで撮影した画像、又は、前記画像の歪みを補正した後の画像から、前記スマートグラスの領域を自動的に除去するスマートグラス領域除去手段と、前記スマートグラスの領域を除去した後の欠損領域を自動的に補間する領域補間手段と、を備え、スマートグラスを装着していない状態の前記ユーザーの顔の画像を生成できるようにしたことを特徴とする。これにより、例えば、普段メガネをかけていないユーザーが、スマートグラスを装着していない自分の顔を相手ユーザーに見せることができるようになる。

次に、請求項８記載の自己撮影機能付スマートグラスは、請求項１記載の自己撮影機能付スマートグラスにおいて、ユーザーの前方を撮影するための前方撮影用カメラと、前記前方撮影用カメラで撮影した画像から、自己撮影用カメラ及び固定手段が写り込んでいる領域を自動的に除去する領域除去手段と、前記領域を除去した後の欠損領域を自動的に補間する領域補間手段と、を備え、スマートグラスを装着していない状態の前記ユーザーの前方画像を生成できるようにしたことを特徴とする。これにより、自己撮影用カメラ及び固定手段による遮蔽部分のない前方の光景を撮影できるようになる。

次に、請求項９記載の自己撮影機能付スマートグラスは、請求項１記載の自己撮影機能付スマートグラスにおいて、魚眼レンズ又は広角レンズを備えるステレオ画像撮影用カメラと、前記ステレオ画像撮影用カメラを前記スマートグラスに接続固定するアーム等の固定手段と、を備え、前記ステレオ画像撮影用カメラを請求項１記載のカメラと離れた位置に固定することによって、前記ユーザーのステレオ画像を撮影することができるようにしたことを特徴とする。これにより、撮影したステレオ画像を用いて、相手ユーザーはユーザーの３Ｄ映像を見ることができるようになり、より臨場感のあるテレビ電話等が可能になる。

次に、請求項１０記載の固定手段は、請求項１記載の自己撮影機能付スマートグラスに用いる、前記スマートグラスに取付け及び取外し可能にしたことを特徴とする。これにより、これにより、テレビ電話等をしていない間は、取り外した前記固定手段を眼鏡ケース等に収納しておけるようになる。

スマートグラスを装着したままの状態で、ユーザー自身の肩から上を真正面から撮影することができるようになる。又、スマートグラスを用いたテレビ電話やテレビ会議等が可能になり、ユーザーが相手ユーザーと向き合って視線を合わせながら、対話できるようになる。更に、ユーザーの視線の方向をズームして撮影したり、スマートグラスを装着していない状態のユーザーの顔や前方の画像を生成したりできるようなる。自己撮影用のカメラを２台備える場合には、ユーザーの顔のステレオ画像を撮影することもできるようになる。

図１は、本発明の実施形態に係る自己撮影機能付スマートグラス（固定手段が伸縮可能なアームである場合）の斜視図である。 図２は、本発明の実施形態に係る自己撮影機能付スマートグラス（固定手段が伸縮可能なアームである場合）の平面図である。 図３は、標準レンズで撮影した画像の説明図、及び、魚眼レンズ（Ｃｉｒｃｕｌａｒ Ｆｉｓｈｅｙｅ Ｌｅｎｓ １８０°）で撮影した画像の説明図である。 図４は、歪み補正前画像及び歪み補正後画像の説明図である。 図５は、本発明の実施形態に係る自己撮影機能付スマートグラス（丸型コネクタ接続の場合）の斜視図である。 図６は、本発明の実施形態に係る自己撮影機能付スマートグラス（平型コネクタ接続の場合）の斜視図である。 図７は、本発明の実施形態に係る自己撮影機能付スマートグラス（ＵＳＢコネクタ接続の場合）の斜視図である。 図８は、本発明の実施形態に係る自己撮影機能付スマートグラス（コネクタ接続の場合）の平面図である。 図９は、本発明の実施形態に係る自己撮影機能付スマートグラス（無線ＬＡＮ接続の場合）の斜視図である。 図１０は、本発明の実施形態に係る自己撮影機能付スマートグラス（固定手段が旋回軸を備えるアームである場合）の斜視図である。 図１１は、本発明の実施形態に係る自己撮影機能付スマートグラス（固定手段が旋回軸を備えるアームである場合）の平面図である。 図１２は、カメラの光軸と相手ユーザーの目を見るユーザーの視線に関する説明図である。 図１３は、ユーザー前方の光景の説明図である。 図１４は、視線方向ズームの説明図である。 図１５は、自己撮影画像中のスマートグラス領域除去及び補間の説明図である。 図１６は、前方撮影画像中の自己撮影用カメラ領域除去及び補間の説明図である。 図１７は、本発明の実施形態に係る自己撮影機能付スマートグラス（ステレオ画像撮影用）の平面図である。

以下に、本発明の最良の実施の形態に係る自己撮影機能付スマートグラスの実施例について図面を参照しながら説明する。尚、可能な限り、同一部分には同一符号を付し、重複する説明を省略する。又、課題を解決するための手段における記載と重複する内容はできるだけ省略する。

図１及び図２に示すように、本発明の実施形態に係る自己撮影機能付スマートグラスは、スマートグラス１であって、魚眼レンズ２を備える魚眼カメラ３と、魚眼カメラ３をスマートグラス１に接続固定する伸縮可能なアーム４等の固定手段と、を備え、スマートグラス１を装着したユーザーの肩から上を真正面から撮影可能な位置に魚眼カメラ３を固定する。尚、図中の一点鎖線は魚眼カメラ３の光軸である。伸縮可能なアーム４は、アーム伸縮スイッチボタン５を押す度に、ボタン一つで伸縮できるようにすることが望ましい。又、伸縮可能なアーム４は、相手ユーザーを呼び出すとき、あるいは、相手ユーザーからの呼び出しに応答するときに自動的に伸び、テレビ電話を終了したときに自動的に縮むようにすることもでき、この場合には、アーム伸縮スイッチボタン５は不要となる。又、伸縮可能なアーム４はスマートグラス１のメガネフレームに収納できるようにすることが望ましい。尚、前方撮影用カメラ６は、ユーザーの前方のシーンを撮影できるカメラである。

スマートグラス１の映像投影部については、液晶ディスプレイを用いるもの、プロジェクターを用いるもの、プリズムを用いるもの、コンタクトレンズを用いるもの等、様々な方式・形態が考えられるし、本発明の本質的部分ではないので、図１及び図２、図５ないし図１１において点線で例示してある。尚、本発明は、テレビ電話等においてユーザーと相手ユーザーが向き合って視線を合わせることを念頭に置いているので、スマートグラス１は両眼ディスプレイを有するのが原則である。しかし、例外的に本発明を単眼ディスプレイのスマートグラスに適用する場合には、魚眼カメラ３は単眼ディスプレイを装着した右目又は左目の真正面からユーザーの肩から上を撮影できる位置に固定して、ユーザーは相手ユーザーと片眼で視線を合わせることができるようにしてもよい。

魚眼カメラ３は、ユーザーの顔に近い位置、具体的には、スマートグラス１のテンプル（つる）の長さ程度離れた位置から、ユーザーの肩から上を撮影可能であるカメラを全て含むものとする。すなわち、テレビ電話等で通常要求される範囲を撮影できるものであれば良い。

魚眼カメラ３等の自己撮影用カメラをスマートグラスに接続固定するアーム等の固定手段は、図５ないし図９に示すアーム７のように伸縮しないものにして、スマートグラス１に取付け及び取外し可能にしてもよい。又、その材質、スマートグラス１との接点等に制限は無い。但し、できるだけユーザーの視界を遮らないように、強度を保ちつつ、できるだけ細くしたり透明にしたりすることが望ましい。又、ウェアラブルデバイスに共通の要求として、軽量であることが望ましい。

魚眼カメラ３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の画像センサーを備え、その出力信号は、アーム等の固定手段内部を通るケーブルによってスマートグラス１の画像信号入力部に伝送される。

又、魚眼カメラ３の出力信号を無線ＬＡＮでスマートグラス１に伝送することもできる。この場合は、魚眼カメラ３をスマートグラス１に外付けにして、アプリケーションソフトをダウンロードして使用するようにできるので、スマートグラスの様々な機種に対応可能にすることができる。

スマートグラス１を装着したユーザーの肩から上を真正面から撮影可能な位置に魚眼カメラ３を固定することによって、テレビ電話等において、ユーザーと相手ユーザーが互いの顔を見ながら向き合って視線を合わせて対話できるようになる。

この際、前方撮影用カメラ６を用いてユーザーが見ているシーンを同時に撮影することも当然にできるので、相手ユーザーは、ユーザーがどのようなシーンを見てどのような表情をしているのかを同時に見ることもできるようになる。

魚眼カメラ３等で撮影した画像の歪みを補正するためには、従来からある魚眼画像の射影変換技術を用いることができる。背景技術において記載したように変換式等は公知であるし、本発明の本質的部分ではないので、ここでは改めて説明しないこととする。図３の左側に標準レンズで撮影した画像の説明図を、右側に魚眼レンズ（Ｃｉｒｃｕｌａｒ Ｆｉｓｈｅｙｅ Ｌｅｎｓ １８０°）で撮影した画像の説明図を示す。図１及び図２に示した魚眼カメラ３と同じ位置から、標準レンズ（画角５０°）を備えるカメラでスマートグラス１を装着したユーザーを撮影すると、図３の左側に示したような画像になり、顔の一部の画像しか得られない。これに対して、魚眼レンズ（画角１８０°）で同様に撮影すると、図３の右側に示したような画像になり、歪みの補正をすることによって、ユーザーの肩から上を真正面から撮影した画像が得られる。図４の左側に歪み補正前の画像を、右側に歪み補正・切出し・拡大処理をした後の画像を示す。

尚、ユーザー間の画像データや音声データの送受信については、ＷｅｂカメラとＰＣ等を用いる従来のテレビ電話等と同様の技術を適用することができる。

図５ないし図９に示すように、本発明の実施形態に係る自己撮影機能付スマートグラスは、アーム７をスマートグラス１に取付け及び取外し可能にすることもできる。この場合、魚眼カメラ３とスマートグラス１との信号伝達は、有線ケーブル又は無線ＬＡＮを用いて行う。

まず、有線ケーブルを用いる場合、取付け及び取外し可能なアーム７は、魚眼カメラ３等とスマートグラス１を結ぶケーブルを内蔵し、各種コネクタによって、スマートグラス１に接続できるようにする。又、スマートグラス１のコネクタ差込口には蓋を設け、アーム７を取外している時にはコネクタ差込口を閉塞できるようにする。更に、アーム７が抜け落ちることを防止する目的ために、コネクタ取外しボタン８を押したときにだけ取外すことができるようにもできる。例えば、図５に示す丸型コネクタ９を、丸型の蓋１０を設ける丸型コネクタ差込口１１に差し込むことによってスマートグラス１に接続できるようにする。又、図６に示す平型コネクタ１２を、平型の蓋１３を設ける平型コネクタ差込口１４に差し込むことによってスマートグラス１に接続できるようにする。又、図７に示すＵＳＢコネクタ１５を、四角形の蓋１６を設けるＵＳＢコネクタ差込口１７に差し込むことによってスマートグラス１に接続できるようにする。

次に、無線ＬＡＮを用いる場合、図９に示すアーム７はスマートグラス１のフレームとの連接部１８を備え、締付けネジ１９で固定できるようにする。無線ＬＡＮを用いる場合、アプリケーションソフトウェアをダウンロードすることによって魚眼カメラ３からの出力信号を受信できるようになるので、スマートグラス１の様々な機種に対応できる。この際、高速処理のためには歪み補正処理をソフトウェアではなくハードウェアに実装することが望ましく、スマートグラス１に実装できなければ魚眼カメラ３に実装するようにしてもよい。
連接部１８や締付けネジ１９は、スマートグラス１の対応機種毎に調整できるようにする。尚、図９における連接部１８等のデザインは一例に過ぎない。
これによって、テレビ電話等をするとき以外は、魚眼カメラ３及びアーム７を取外すことが可能になり、操作性及び機動性が向上する。

図１０及び図１１に示すように、本発明の実施形態に係る自己撮影機能付スマートグラスは、旋回式アーム２０が、スマートグラス１との接合部にアーム旋回軸（その１）２１を備え、魚眼カメラ３がアーム旋回軸（その１）２１を中心に旋回できるようにすることもできる。

旋回式アーム２０は、スマートグラス１のテンプル前端付近にアーム旋回軸（その１）２１で接合される。旋回式アーム２０は、テレビ電話等をするとき以外は、スマートグラス１のテンプルに重ねるか、又は、はめ込むようにする。このとき、魚眼カメラ３が耳の後ろに位置するようになるので、ユーザーの頭部に不快感を与えないように設計する必要がある。

テレビ電話等をするときには、旋回式アーム２０を、まず、アーム旋回軸（その１）２１を中心に前方へ１８０°旋回させ、次に、アーム旋回軸（その２）２２を中心にユーザーから見て左へ９０°旋回させる。これによって、魚眼カメラ３をユーザーの真正面に固定できるようにする。

図１２に示すように、本発明の実施形態に係る自己撮影機能付スマートグラスは、魚眼カメラ３の光軸と、相手ユーザーの目を見ているユーザーの視線とを合わせることができるように、魚眼カメラ３の位置を固定し、又は、相手ユーザーの映像を表示する位置を固定する。これによって、ユーザーが相手ユーザーと向き合って視線を合わせながら、テレビ電話等ができるようになる。

図１２に示す矢印は、カメラの光軸及び相手ユーザーの目を見ているユーザーの視線２３である。このとき、ユーザーが視認する相手ユーザーの映像２４の中で、ユーザーの注視点である相手ユーザーの目は、ユーザーの眼球２５の中心窩で結像している。そして、魚眼カメラ３で撮影したユーザーの映像の中で、相手ユーザーの注視点であるユーザーの目は、相手ユーザーの眼球の中心窩で結像している。これによって、ユーザーと相手ユーザーは、向き合って視線を合わせることができる。

次に、本発明の実施形態に係る自己撮影機能付スマートグラスは、図１３に示すようなユーザーの前方の光景を撮影するための前方撮影用カメラ６と、魚眼カメラ３で撮影した画像に基づきユーザーの視線を検出する視線検出手段と、を備え、前方撮影用カメラ６で前記視線の方向をズームして撮影することができる。図１３には、ユーザー前方の光景の一例として三つの丘があり、左側の丘の上には家２６が建ち、そして、右側の丘の上に人２７が立っている。

スマートグラス１に備えられる前方撮影用カメラ６でユーザーが注視している方向を撮影しようとする場合に、前方撮影用カメラ６が向いている方向が、ユーザーの注視している方向と一致するとは限らない。前方撮影用カメラ６は概ねユーザーの顔と同じ方向を向いているが、前方に広がるシーンの特定の部分を注視するときに、ユーザーは顔を向けずに眼球だけを動かす場合も多いからである。そこで、魚眼カメラ３で撮影した画像に基づきユーザーの視線を検出する視線検出手段によってユーザーの視線を検出し、前方撮影用カメラ６で前記視線の方向をズームして撮影できるようにする。

例えば、図１４の左下に示すように、ユーザーの視線が左に向いて家２６を注視している場合、図１４の左上に示すように、家２６をズームして撮影できるようにする。又、図１４の右下に示すように、ユーザーの視線が右に向いて人２７を注視している場合、図１４の右上に示すように、人２７をズームして撮影することができるようにする。

本発明では、自己撮影用の魚眼カメラ３とスマートグラス１との相対的な位置関係は一定であるためユーザーの視線を容易に検出することができ、更に、スマートグラス１と前方撮影用カメラ６との相対的な位置関係も一定であるため前方撮影用カメラ６で前記視線の方向をズームして撮影することができる。

次に、本発明の実施形態に係る自己撮影機能付スマートグラスは、魚眼カメラ３で撮影した画像、又は、前記画像の歪みを補正した後の画像から、スマートグラス１の領域を自動的に除去するスマートグラス領域除去手段と、スマートグラス１の領域を除去した後の欠損領域を自動的に補間する領域補間手段と、を備え、スマートグラス１を装着していない状態の前記ユーザーの顔の画像を生成することができる。

これによって、テレビ電話等において、特に普段メガネをしないユーザーがスマートグラスを装着していない自分の顔を相手ユーザーに見せたいときに、自己撮影画像からスマートグラスを装着していない自分の顔を生成して、相手に見せることができるようになる。

本発明では、魚眼カメラ３とスマートグラス１との相対的な位置関係は一定である。従って、スマートグラス１及び固定手段が写り込んでいる領域を容易に特定して除去することが可能である。次に、スマートグラス１を装着したときの、スマートグラス１とユーザーの顔との位置関係も概ね一定である。そこで、スマートグラス１の領域を除去した後の欠損領域については、例えば次の手順に従って補間することができる。
まず、スマートグラス１を装着しているときと外しているときのユーザーを前方撮影用カメラ６等で撮影する。そして、スマートグラス１を外しているときに撮影したユーザーの画像において、スマートグラス１によって遮蔽されることとなる領域を小領域に分割し、各小領域の色又はテクスチャ又はエッジ若しくは輪郭の連続性が最も類似している他の領域を予め特定しておく。
次に、テレビ電話等をするときに、スマートグラス１の領域を除去した後の欠損領域を、予め特定した領域に対応する位置にある領域の画素値やテクスチャをもって補間する。

例えば、図１５の左に示すようなスマートグラスを装着したユーザーの画像から、スマートグラスの領域を除去して、除去した後の欠損領域を補間することによって、図１５の右に示すような画像を得ることができる。

次に、本発明の実施形態に係る自己撮影機能付スマートグラスは、ユーザーの前方を撮影するための前方撮影用カメラ６と、前記前方撮影用カメラ６で撮影した画像から、自己撮影用の魚眼カメラ３及びアーム７が写り込んでいる領域を自動的に除去する領域除去手段と、前記領域を除去した後の欠損領域を自動的に補間する領域補間手段と、を備え、スマートグラス１を装着していない状態の前記ユーザーの前方画像を生成することができる。

この場合も、自己撮影用の魚眼カメラ３とスマートグラス１との相対的な位置関係は一定であるので、魚眼カメラ３及びアーム７の領域を容易に除去することができる。又、領域を除去した後の欠損領域の補間については、従来からある線形補間や平滑化を用いることができるが、テクスチャを表現できないことや境界の不連続が生じることがあるので、前フレーム画像の中から欠損領域に対応する領域をもって補間することが望ましい。

例えば、図１６の左に示すようなユーザーの前方を撮影した画像から、魚眼カメラ３及びアーム７が写り込んだ領域を除去して、除去した後の欠損領域を補間することによって、図１５の右に示すような画像を得ることができる。

次に、本発明の実施形態に係る自己撮影機能付スマートグラスは、ステレオ画像撮影用魚眼カメラと、前記ステレオ画像撮影用カメラをスマートグラス１に接続固定するアーム等の固定手段と、を備え、前記ステレオ画像撮影用カメラを魚眼カメラ３と離れた位置に固定することによって、前記ユーザーのステレオ画像を撮影することができる。この場合、魚眼カメラ３はスマートグラス１を装着したユーザーを真正面から撮影可能な位置に固定されているので、新たに備えるステレオ画像撮影用魚眼カメラは、例えば、既にアームを備えているテンプルとは反対側のテンプルに固定する。これによって、左右二つの魚眼カメラで同時にユーザーを撮影することができるようになる。この際、一般的には、ステレオベース（左右のカメラの間隔）は人の目幅と同等の６〜７ｃｍ程度にする場合が多いが、本発明では、被写体であるユーザーまでの距離が近いので小さく設定することが望ましい。又、カメラの向きは平行撮影できるように固定することが望ましい。例えば、図１７に示すように、スマートグラス１に、右画像撮影用魚眼カメラ２８を右画像撮影用アーム２９で固定することによって、ユーザーのステレオ画像を撮影することができるようになる。

将来広く普及することが予測されるスマートグラスを用いて、テレビ電話やテレビ会議等による緊密なコミュニケーションが可能となるので、産業上の利用可能性は極めて大きい。

１ スマートグラス
２ 魚眼レンズ
３ 魚眼カメラ
４ 伸縮可能なアーム
５ アーム伸縮スイッチボタン
６ 前方撮影用カメラ
７ アーム
８ コネクタ取外しボタン
９ 丸型コネクタ
１０ 丸型の蓋
１１ 丸型コネクタ差込口
１２ 平型コネクタ
１３ 平型の蓋
１４ 平型コネクタ差込口
１５ ＵＳＢコネクタ
１６ 四角形の蓋
１７ ＵＳＢコネクタ差込口
１８ 連接部
１９ 締付けネジ
２０ 旋回式アーム
２１ アーム旋回軸（その１）
２２ アーム旋回軸（その２）
２３ カメラの光軸及び相手ユーザーの目を見ているユーザーの視線
２４ ユーザーが視認する相手ユーザーの映像
２５ ユーザーの眼球
２６ 家
２７ 人
２８ 右画像撮影用魚眼カメラ
２９ 右画像撮影用アーム

Claims (10)

1. スマートグラス（シースルー型ヘッドマウントディスプレイ）であって、魚眼レンズ又は広角レンズを備えるカメラと、前記カメラを前記スマートグラスに接続固定するアーム等の固定手段と、を備え、前記スマートグラスを装着したユーザーの肩から上を真正面から撮影可能な位置に前記カメラを固定することによってテレビ電話等ができるようにしたことを特徴とする自己撮影機能付スマートグラス。
2. 前記固定手段が伸縮可能なアームからなることを特徴とする請求項１記載の自己撮影機能付スマートグラス。
3. 前記固定手段がアームからなり、前記アームを前記スマートグラスに取付け及び取外し可能にしたことを特徴とする請求項１記載の自己撮影機能付スマートグラス。
4. 前記固定手段が、前記スマートグラスとの接合部に旋回軸を備え、前記カメラが前記旋回軸を中心に旋回できるようにしたことを特徴とする請求項１記載の自己撮影機能付スマートグラス。
5. 前記カメラの光軸と、前記スマートグラスで表示する相手ユーザーの目を見るユーザーの視線とを合わせることができるように、前記カメラを前記スマートグラスに固定し、又は、前記相手ユーザーの映像を表示する位置を固定し、前記ユーザーが前記相手ユーザーと向き合って視線を合わせながら、テレビ電話等ができるようにしたことを特徴とする請求項１記載の自己撮影機能付スマートグラス。
6. ユーザーの前方を撮影するための前方撮影用カメラと、前記魚眼レンズ又は広角レンズを備えるカメラで撮影した画像に基づきユーザーの視線を検出する視線検出手段と、を備え、前記前方撮影用カメラで前記視線の方向をズームして撮影できるようにしたことを特徴とする請求項１記載の自己撮影機能付スマートグラス。
7. 前記カメラで撮影した画像、又は、前記画像の歪みを補正した後の画像から、前記スマートグラスの領域を自動的に除去するスマートグラス領域除去手段と、前記スマートグラスの領域を除去した後の欠損領域を自動的に補間する領域補間手段と、を備え、スマートグラスを装着していない状態の前記ユーザーの顔の画像を生成できるようにしたことを特徴とする請求項１記載の自己撮影機能付スマートグラス。
8. ユーザーの前方を撮影するための前方撮影用カメラと、前記前方撮影用カメラで撮影した画像から、自己撮影用カメラ及び固定手段が写り込んでいる領域を自動的に除去する領域除去手段と、前記領域を除去した後の欠損領域を自動的に補間する領域補間手段と、を備え、スマートグラスを装着していない状態の前記ユーザーの前方画像を生成できるようにしたことを特徴とする請求項１記載の自己撮影機能付スマートグラス。
9. 魚眼レンズ又は広角レンズを備えるステレオ画像撮影用カメラと、前記ステレオ画像撮影用カメラを前記スマートグラスに接続固定するアーム等の固定手段と、を備え、前記ステレオ画像撮影用カメラを請求項１記載のカメラと離れた位置に固定することによって、前記ユーザーのステレオ画像を撮影することができるようにしたことを特徴とする請求項１記載の自己撮影機能付スマートグラス。
10. 請求項１記載の自己撮影機能付スマートグラスに用いる、前記スマートグラスに取付け及び取外し可能な前記固定手段。