JP2014021707A - 情報入出力装置、及び情報入出力方法 - Google Patents
情報入出力装置、及び情報入出力方法 Download PDFInfo
- Publication number
- JP2014021707A JP2014021707A JP2012159681A JP2012159681A JP2014021707A JP 2014021707 A JP2014021707 A JP 2014021707A JP 2012159681 A JP2012159681 A JP 2012159681A JP 2012159681 A JP2012159681 A JP 2012159681A JP 2014021707 A JP2014021707 A JP 2014021707A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- eye
- avatar
- facial expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】自装置の大型化を抑えつつ、ユーザーの表情を検出することを可能にする情報入出力装置、及び情報入出力方法を提供することを目的とする。
【解決手段】ユーザーの片眼を少なくとも含む領域を撮像する撮像部と、撮像部が撮像して得られた撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて、ユーザーの表情を判別する表情処理部と、を備える。
【選択図】図21
【解決手段】ユーザーの片眼を少なくとも含む領域を撮像する撮像部と、撮像部が撮像して得られた撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて、ユーザーの表情を判別する表情処理部と、を備える。
【選択図】図21
Description
本発明は、情報入出力装置、及び情報入出力方法に関する。
携帯電話機において、以下のようにユーザーの顔の表情が反映されたキャラクタ画像を送信するものが提案されている。携帯電話機は、被写体である顔の画像から当該顔の特徴点の位置を検出し、これら特徴点の位置を含む被写体に関する画像情報を生成する。そして、携帯電話機は、上記画像情報に基づいて被写体の顔の表情に応じたキャラクタ画像を生成し、このキャラクタ画像を他の携帯電話機に送信する(例えば、特許文献1参照)。これにより、携帯電話機は、撮影したユーザーの顔の表情が反映されたキャラクタ画像を他のユーザーの携帯電話機で表示させることが可能となる。
また、ヘッドマウントディスプレイ(HMD:Head Mount Display)として以下のように画像の表示制御を行うものが提案されている。ヘッドマウントディスプレイは、ユーザーの頭部が位置すると想定される空間の検出機能を有するセンサーの信号に基づいて、ユーザーと画像出力部との相対位置関係の変化量を検出する。そして、ヘッドマウントディスプレイは、この変化量が相殺されるように画像出力部において表示される画像の位置を変位させる(例えば、特許文献2参照)。
しかしながら、上記特許文献1では、眼(目)および眉毛を特定する特徴点と、口および鼻を特定する特徴点を検出するために、ユーザーの顔全体を撮像する必要がある。このため、特許文献1では、撮像範囲内に顔全体が収まるようにユーザーが顔と装置の撮像部との距離を離す必要がある。このため、特許文献1では、頭部に装着する装置の場合、装置の装着時におけるユーザーの顔と撮像部との間の距離を一定以上に離す必要があり、装置が大型化してしまうという課題があった。
本発明は、上記の事情に鑑み成されたものであって、自装置の大型化を抑えつつ、ユーザーの表情を検出することを可能にする情報入出力装置、及び情報入出力方法を提供することを目的とする。
上記目的を達成するため、本発明の一態様としての情報入出力装置は、ユーザーの片眼を少なくとも含む領域を撮像する撮像部と、前記撮像部が撮像して得られた撮像画像に含まれる前記ユーザーの片眼を含む領域の画像に基づいて、前記ユーザーの表情を判別する表情処理部と、を備えることを特徴としている。
上記目的を達成するため、本発明の一態様としての情報入出力方法は、情報入出力装置の情報入出力方法であって、撮像部が、ユーザーの片眼を少なくとも含む領域の画像を撮像する手順と、表情処理部が、前記撮像部が撮像して得られた撮像画像に含まれる前記ユーザーの片眼を含む領域の画像に基づいて、前記ユーザーの表情を判別する手順と、を含むことを特徴としている。
本発明によれば、自装置の大型化を抑えつつ、装着時におけるユーザーの表情を検出できる。
本実施形態に係るヘッドマウントディスプレイ(情報入出力装置)は、ユーザーの眼を照明するための複数の照明部を、表示部の近傍に備える。ヘッドマウントディスプレイは、これら複数の照明部の点灯状態を、ユーザーと表示部との位置関係に応じて制御する。すなわち、ヘッドマウントディスプレイは、ユーザーと表示部との位置関係に応じて、点灯させる照明部を選択する。これにより、ヘッドマウントディスプレイは、表示部がユーザーの眼に対して下側、上側又は外側のいずれに配置された場合でも、ユーザーの観察している視線や注視点を、検出することができる。
以下、情報出力装置をヘッドマウントディスプレイに適用した例について説明するが、本発明はこれに限られない。
以下、情報出力装置をヘッドマウントディスプレイに適用した例について説明するが、本発明はこれに限られない。
以下、本発明の実施形態について図面を参照しながら説明する。
以下の説明においては、必要に応じてXYZ直交座標系を設定し、このXYZ直交座標系を参照しつつ、ヘッドマウントディスプレイの各部の位置関係について説明する。水平面内の所定方向をX軸方向、水平面内においてX軸方向と直交する方向をY軸方向、X軸方向及びY軸方向のそれぞれと直交する方向(すなわち鉛直方向)をZ軸方向とする。また、X軸、Y軸、及びZ軸まわりの回転(傾斜)方向をそれぞれ、θX、θY、及びθZ方向とする。
以下の説明においては、必要に応じてXYZ直交座標系を設定し、このXYZ直交座標系を参照しつつ、ヘッドマウントディスプレイの各部の位置関係について説明する。水平面内の所定方向をX軸方向、水平面内においてX軸方向と直交する方向をY軸方向、X軸方向及びY軸方向のそれぞれと直交する方向(すなわち鉛直方向)をZ軸方向とする。また、X軸、Y軸、及びZ軸まわりの回転(傾斜)方向をそれぞれ、θX、θY、及びθZ方向とする。
[第1実施形態]
図1は、本実施形態に係るヘッドマウントディスプレイ(頭部装着装置または情報入出力装置、以下、HMDともいう)1の斜視図である。図2は、本実施形態に係るヘッドマウントディスプレイ1を背面側から見た斜視図である。図3は、本実施形態に係るディスプレイ本体20の水平断面図である。図4は、本実施形態に係るヘッドバンドの動作説明図である。図5は、本実施形態に係るヘッドマウントディスプレイの装着形態を示す図である。
図1は、本実施形態に係るヘッドマウントディスプレイ(頭部装着装置または情報入出力装置、以下、HMDともいう)1の斜視図である。図2は、本実施形態に係るヘッドマウントディスプレイ1を背面側から見た斜視図である。図3は、本実施形態に係るディスプレイ本体20の水平断面図である。図4は、本実施形態に係るヘッドバンドの動作説明図である。図5は、本実施形態に係るヘッドマウントディスプレイの装着形態を示す図である。
HMD1は、ディスプレイ本体20と、ユーザーの頭部に装着されディスプレイ本体20を支持するヘッドバンド40と、を備えた単眼式のヘッドマウントディスプレイである。本実施形態のHMD1は、図5に示すように、両眼どちらでも使用可能である。図5(A)には、ユーザーが右眼(右目)で表示部60を見ている状態、図5(B)には左眼(左目)で見ている状態が示されている。
また、図2に示すように、ディスプレイ本体20とヘッドバンド40とは、連結ピン41を介して着脱可能に構成されている。なお、図1及び図2では、ディスプレイ本体20の長手方向をY軸方向、ヘッドバンド40がユーザーの頭部を挟持する方向をX軸方向としている。
また、図2に示すように、ディスプレイ本体20とヘッドバンド40とは、連結ピン41を介して着脱可能に構成されている。なお、図1及び図2では、ディスプレイ本体20の長手方向をY軸方向、ヘッドバンド40がユーザーの頭部を挟持する方向をX軸方向としている。
以下、HMD1の各部の構成について詳細に説明する。
ディスプレイ本体20は、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部21と、装置本体部21の先端に連結された表示部60とを有する。
ディスプレイ本体20は、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部21と、装置本体部21の先端に連結された表示部60とを有する。
装置本体部21は、概略板状の筐体21A(図3参照)を有する。本実施形態では、装置本体部21においてヘッドバンド40との接続部が設けられている側の端部(+Y側の端部)を基端部とし、この基端部と反対側の端部(−Y側の端部)を先端部とする。また、装置本体部21をヘッドバンド40に装着した状態で、装置本体部21のヘッドバンド40側(+X側)を内側、ヘッドバンド40と反対側(−X側)を外側とする。
装置本体部21の外面には、図1に示すように、メインスイッチ28と、タッチスイッチ34と、集音マイク24とが、筐体21Aの長手方向に沿って配置されている。
メインスイッチ28はディスプレイ本体20の電源のオンオフ操作を行うスイッチである。タッチスイッチ34は、表面に手指等で触れることによりHMD1の各種操作を行うことができるタッチパネルである。集音マイク24は、環境音を収集する外部マイクである。
メインスイッチ28はディスプレイ本体20の電源のオンオフ操作を行うスイッチである。タッチスイッチ34は、表面に手指等で触れることによりHMD1の各種操作を行うことができるタッチパネルである。集音マイク24は、環境音を収集する外部マイクである。
装置本体部21内面の基端部側に、図2に示すように、耳元スピーカー23と、オーディオコネクター26と、連結孔31を有するヘッドバンドヒンジ32とが設けられている。装置本体部21内面の中央部に心拍数センサー137が設けられている。装置本体部21の内側面の先端部には通話マイク37が設けられている。
耳元スピーカー23は、ユーザーの耳の近傍に配置される。耳元スピーカー23からユーザーに音声情報が伝えられる。オーディオコネクター26は、例えば、図6に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ32はヘッドバンド40とのジョイント部である。通話マイク37にはユーザーの音声が入力される。
心拍数センサー137は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー137は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー137は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー137はユーザーの眼の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。
装置本体部21の基端部側の側端面には、USBコネクター25と、操作スイッチ30と、ビデオコネクター27とが設けられている。
USBコネクター25はUSB(Universal Serial Bus)デバイスの接続端子である。本実施形態では、例えば不図示のリモコン(リモートコントローラー)が接続される。
操作スイッチ30は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ30は表示部60に表示される画面に正対するように設けられている。これにより、操作スイッチ30における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ30を操作することが可能である。
ビデオコネクター27は映像入出力端子である。
USBコネクター25はUSB(Universal Serial Bus)デバイスの接続端子である。本実施形態では、例えば不図示のリモコン(リモートコントローラー)が接続される。
操作スイッチ30は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ30は表示部60に表示される画面に正対するように設けられている。これにより、操作スイッチ30における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ30を操作することが可能である。
ビデオコネクター27は映像入出力端子である。
図3に示すように、装置本体部21には、筐体21Aの長手方向に沿って延びる板状の回路基板29と、バッテリー33とが内蔵されている。回路基板29には、図示略の制御回路、電源回路等が実装されており、図示略の配線を介してディスプレイ本体20の各部と電気的に接続されている。
装置本体部21の外面に露出するタッチスイッチ34の内側には、液晶パネルからなる表示パネル36と、バックライト35とが配置されている。本実施形態では、表示パネル36の表示画像がタッチスイッチ34を透過して表示される。表示パネル36及びバックライト35を、有機ELパネルや電気泳動パネルとしてもよい。
ヘッドバンドヒンジ32は、筐体21Aに設けられた凹曲面状の収容部32aと、収容部32aに嵌合された球状部32bとからなるボールジョイントである。球状部32bは、球面状の側面部と、この側面部を挟むように互いに平行に形成された2つの平面部を有する。2つの平面部を垂直に貫くように連結孔31が形成されている。連結孔31は軸方向視で六角形状に形成されている。連結孔31にヘッドバンド40の連結ピン41が挿入されることによりディスプレイ本体20とヘッドバンド40とが連結される。
ヘッドバンドヒンジ32を備えていることで、ディスプレイ本体20は、図1に示したA方向(ヘッドバンドヒンジ32を中心とするX軸回り)に回動させることができる。本実施形態において、ディスプレイ本体20の回転可能範囲は270°程度とされる。このX軸回りの回転動作により、図5(A)に示す右眼で画像を観察する形態と、図5(B)に示す左眼で画像を観察する形態との切替機能が実現される。
またヘッドバンドヒンジ32はボールジョイントであるため、ディスプレイ本体20は図1に示すB方向(ヘッドバンドヒンジ32を中心とするZ軸回り)に揺動させることもできる。この揺動操作により、ディスプレイ本体20のユーザーの眼や耳に対する位置を調整することができる。
ヘッドバンドヒンジ32近傍の心拍数センサー137は、装置本体部21の内面から突出するように設けられ、HMD1の装着時にユーザーの顔の表面に当接可能とされている。バッテリー33は一次電池、二次電池のいずれであってもよい。
表示部60は、図1及び図2に示すように、装置本体部21の先端部に連結されている。本実施形態において、表示部60のヘッドバンド40側を内側、ヘッドバンド40と反対側を外側とする。表示部60は、上面視(Z軸視)において湾曲した形状を有するアーム部材であり、装置本体部21との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部60の内面に、ファインダー開口部67が設けられている。表示部60の外面には、カメラ64が設けられている。また、図2に示すように、ファインダー開口部67の形状は、長方形である。
図3に示すように、表示部60は、ディスプレイヒンジ61を介して装置本体部21と連結されている。ディスプレイヒンジ61は、表示部60の筐体60Aに形成された凹曲面状の収容部61aと、装置本体部21に形成され収容部61aに嵌合された球状部61bとからなるボールジョイントである。
装置本体部21の球状部61bは、装置本体部21の外面先端部に形成された筐体21Aの長手方向に対して斜めに延びる傾斜面21aに、傾斜面21aの法線方向(図3のY’軸方向)に突出するようにして設けられている。
表示部60は、ディスプレイヒンジ61の球状部61bに対してY’軸回りに自由に回転させることができる。本実施形態では、ディスプレイヒンジ61が装置本体部21の傾斜面21aに設けられており、表示部60が内側に湾曲した形状を有している。
また、ディスプレイヒンジ61がボールジョイントであることから、表示部60は、Y’軸回りの回転面に対して直交する方向の揺動も可能である。この揺動動作により、ユーザーによるファインダー開口部67の位置調整が容易になる。表示部60と装置本体部21との間隔を大きくすれば、表示部60の揺動幅を大きくすることができる。
ディスプレイヒンジ61の球状部61bには、球状部61bを高さ方向(Y’軸方向)に貫通する貫通孔61cが形成されている。貫通孔61cを介して、表示部60の内部と装置本体部21の内部とが連通されている。貫通孔61cには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板29と表示部60の各部とが電気的に接続される。
表示部60の内部には、バックライト62と、表示パネル63と、カメラ64と、プリズム65と、反射ミラー66と、前方ライト68と、前方スピーカー70と、結像レンズ71と、撮像素子72(撮像部)とが設けられている。なお、表示部60の光学系の構成については、後述する。
カメラ64は、例えば500万画素〜1000万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。カメラ64は、その撮像素子の受光面に結像した画像(光学像)を撮像する。カメラ64は、例えば、ユーザーにとっての正面方向を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。
前方ライト68は、例えばLEDライトである。前方ライト68は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト68は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ64で撮影する際の照明装置として用いてもよい。
撮像素子72は、その受光面に結像した画像(光学像)を撮像する。撮像素子72は、例えば、ユーザーの顔を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。
撮像素子72は、その受光面に結像した画像(光学像)を撮像する。撮像素子72は、例えば、ユーザーの顔を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。
また、図3では図示を省略したが、本実施形態に係る表示部60にはレーザー発信器が設けられている。レーザー発信器は、例えば前方ライト68の近傍に設けることができる。レーザー発信器から射出される例えば赤色レーザー光を前方に照射することで、レーザー光によるポインティング(指標の表示)が可能である。
次に、ヘッドバンド40について、図2及び図4を参照しつつ説明する。
ヘッドバンド40は、図2に示すように、ユーザーの頭部を挟持する一対のヘッドパット(装着部材)46、47と、第1ヘッドバンド43と、第2ヘッドバンド44と、回動機構56、57とを備えている。
ヘッドバンド40は、図2に示すように、ユーザーの頭部を挟持する一対のヘッドパット(装着部材)46、47と、第1ヘッドバンド43と、第2ヘッドバンド44と、回動機構56、57とを備えている。
第1ヘッドバンド43は、全体として円弧状を成す弾性部材である。第1ヘッドバンド43の頂部に、第1ヘッドバンド43を折り曲げるためのジョイント部43aが設けられている。第1ヘッドバンド43の両端には、回動機構56、57を構成する軸受部43b、43cがそれぞれ設けられている。軸受部43b、43cよりもさらにバンド先端側に、ヘッドパット46、47が接続される軸受部43d、43eが設けられている。
第2ヘッドバンド44は、全体として円弧状を成す弾性部材である。第2ヘッドバンド44の頂部には、第2ヘッドバンド44を折り曲げるためのジョイント部44aが設けられている。第2ヘッドバンド44の両端には、それぞれ回動機構56、57を構成する軸部材44b、44cが設けられている。
また本実施形態において、第2ヘッドバンド44は、ステンレス等の金属からなるバネ部材48の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第2ヘッドバンド44のバネ部材48においてユーザーの頭部を挟持するバネ力を発生させる。また第2ヘッドバンド44は第1ヘッドバンド43と比較して広い幅に形成されている。ジョイント部44aの形成部分は他のバンド部分よりもさらに広く形成された標章表示部49とされている。標章表示部49には、シールや印刷により製品タグ等が付される。なお、第2ヘッドバンド44の全体を金属で形成してもよい。
ヘッドパット46は、板状の支持板46aと、支持板46aの一面側に設けられた断面アーチ状の弾性部材46bとを有する。支持板46aの弾性部材46bと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン41が立設されている。連結ピン41は、第1ヘッドバンド43の一方の先端に設けられた軸受部43dに軸支されている。これにより、ヘッドパット46は連結ピン41回りに回転可能である。
ヘッドパット47は、板状の支持板47aと、支持板47aの一方の面に設けられた断面アーチ状の弾性部材47bとを有する。支持板47aの弾性部材47bと反対側の面には、軸部材47cが設けられている。軸部材47cは、第1ヘッドバンド43の先端に設けられた軸受部43eに軸支されている。これにより、ヘッドパット47は、軸部材47c回りに回転可能である。
この構成により、第2ヘッドバンド44は、回動機構56によって第1ヘッドバンド43から離れる方向に回動付勢される一方、回動機構57によって第1ヘッドバンド43に対して所定角度以内の範囲に回動規制される。これにより、第2ヘッドバンド44は第1ヘッドバンド43に対して所定の角度となるように保持される。したがって、回動機構56、57は、ヘッドバンド40における角度保持機構として機能する。
次に、以上の構成を備えたHMD1におけるヘッドバンドの動作等について、図4、図5を参照しつつ説明する。以下、ユーザーにとっての右側を「ユーザーの右側」と称する。また、ユーザーにとっての左側を「ユーザーの左側」と称する。また、ユーザーにとっての上側を「ユーザーの上側」と称する。また、ユーザーにとっての下側を「ユーザーの下側」と称する。また、ユーザーにとっての時計回り方向を「時計回り方向」と称する。また、ユーザーにとっての反時計回り方向を「反時計回り方向」と称する。
図5に示したように、本実施形態のHMD1は、図5(A)に示す右眼観察形態と、図5(B)に示す左眼観察形態を切り替えて使用することができる。ここで、右眼観察形態とは、ユーザーが右眼で表示部60を観察する形態である。また、左眼観察形態とは、ユーザーが左眼で表示部60を観察する形態である。
例えば、右眼観察形態から左眼観察形態へ切り替えるには、まず、ヘッドバンド40に連結されたディスプレイ本体20を、ヘッドバンドヒンジ32(図2を参照)の回転軸回り(図5では、A方向)に180°程度回転させる。さらに、ヘッドバンド40において、回動機構56及び57(図4を参照)の軸回りに第2ヘッドバンド44を揺動させることで、第2ヘッドバンド44の位置と第1ヘッドバンド43の位置との前後関係を入れ替える。この操作により、図5(B)に示すように、ユーザーの左眼側にディスプレイ本体20が配置され、且つ、第2ヘッドバンド44がユーザーの後頭部側に配置された左眼観察形態に、HMD1は切り替えられる。
本実施形態では、図4に示すように、第1ヘッドバンド43の円弧高さr1を、第2ヘッドバンド44の円弧高さr2よりも小さくしている。これにより、第2ヘッドバンド44を第1ヘッドバンド43と交差させるように移動させても、互いに干渉することなく円滑に前後を入れ替えることができる。
図4に示す円弧高さr1は、同軸に配置された回動機構56、57の回転軸Lの中央位置Cから第1ヘッドバンド43までの距離の最大値である。また円弧高さr2は、回転軸Lの中央位置Cから第2ヘッドバンド44までの距離の最大値である。
図4に示す円弧高さr1は、同軸に配置された回動機構56、57の回転軸Lの中央位置Cから第1ヘッドバンド43までの距離の最大値である。また円弧高さr2は、回転軸Lの中央位置Cから第2ヘッドバンド44までの距離の最大値である。
なお、第1ヘッドバンド43の円弧高さr1を第2ヘッドバンド44の円弧高さr2よりも大きくし、第2ヘッドバンド44を第1ヘッドバンド43の内側で揺動させる構成としてもよい。
図6は、本実施形態に係るヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
ステレオイヤホン100は、コネクター101と、ケーブル102と、第1スピーカー103と、第2スピーカー104と、集音マイク105と、複数のクリップ106とを有する。
ステレオイヤホン100は、コネクター101と、ケーブル102と、第1スピーカー103と、第2スピーカー104と、集音マイク105と、複数のクリップ106とを有する。
コネクター101はケーブル102の一方の端部に設けられている。コネクター101は、一般的な4極φ3.5mmのミニプラグである。4極の内訳は、集音マイク105、第1スピーカー103、第2スピーカー104、グランド(GND)である。ケーブル102は、コネクター101の近傍において二分岐され、分岐されたケーブルの先端に第1スピーカー103が設けられている。ケーブル102の他方の端部には、第2スピーカー104と集音マイク105とが設けられている。複数のクリップ106は、ケーブル102上に所定の間隔で配置されている。
ステレオイヤホン100は、コネクター101をディスプレイ本体20のオーディオコネクター26に接続して使用される。ステレオイヤホン100が接続されると、ディスプレイ本体20の耳元スピーカー23と、表示部60の通話マイク37は無効化される。また表示部60の前方スピーカー70も必要に応じて無効化される。そして、ステレオイヤホン100の第1スピーカー103、第2スピーカー104、及び集音マイク105が有効化される。
ステレオイヤホン100の第1スピーカー103は、ディスプレイ本体20が配置された側のユーザーの耳に装着され、第2スピーカー104は第1スピーカー103と反対側の耳に装着される。このとき、ケーブル102は、クリップ106によって第2ヘッドバンド44に固定することができる。
また、ステレオイヤホン100の集音マイク105と、ディスプレイ本体20において筐体21Aの外側面に設けられた集音マイク24とにより、ステレオ録音が可能である。例えば、図5(A)に示すようにディスプレイ本体20が右眼側に配置されているとすれば、ディスプレイ本体20の集音マイク24はユーザーの右側の音を収集し、左耳に装着された集音マイク105はユーザーの左側の音を収集する。
また、右眼観察形態では、ステレオイヤホン100の第1スピーカー103から右チャンネルの音声が出力され、第2スピーカー104からは左チャンネルの音声が出力される。
また、右眼観察形態では、ステレオイヤホン100の第1スピーカー103から右チャンネルの音声が出力され、第2スピーカー104からは左チャンネルの音声が出力される。
一方、図5(B)に示すようにユーザーの左眼側にディスプレイ本体20が配置されている場合には、ディスプレイ本体20の集音マイク24がユーザーの左側の音を収集し、右耳に装着された集音マイク105がユーザーの右側の音を収集する。左眼観察形態では、ステレオイヤホン100の第1スピーカー103から左チャンネルの音声が出力され、第2スピーカー104からは右チャンネルの音声が出力される。
次に、表示部60の構成及び光学系を説明する。
図7は、本実施形態に係る表示部60の構成及び光学系を説明するための表示部60の断面図である。図7に示すように、本実施形態の表示部60は、バックライト62、表示パネル63、第1プリズム65a、第2プリズム65b、反射ミラー66、ファインダー開口部67、結像レンズ71、撮像素子72、1/4波長板75を含んで構成されている。図8において、符号H、I、J、K、L、M、Nは、各々、光線を表す。
図7は、本実施形態に係る表示部60の構成及び光学系を説明するための表示部60の断面図である。図7に示すように、本実施形態の表示部60は、バックライト62、表示パネル63、第1プリズム65a、第2プリズム65b、反射ミラー66、ファインダー開口部67、結像レンズ71、撮像素子72、1/4波長板75を含んで構成されている。図8において、符号H、I、J、K、L、M、Nは、各々、光線を表す。
まず、表示部60の構成を説明する。
プリズム65は、上面視(Z軸視)で略三角形状の第1プリズム65aと第2プリズム65bとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第1プリズム65aの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル63が設けられている。表示パネル63の背面に表示パネル63を透過照明するバックライト62が配置されている。第1プリズム65aの他方の面に対向する位置に反射ミラー66が配置されている。反射ミラー66は、ファインダー開口部67のほぼ正面に位置する。
プリズム65は、上面視(Z軸視)で略三角形状の第1プリズム65aと第2プリズム65bとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第1プリズム65aの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル63が設けられている。表示パネル63の背面に表示パネル63を透過照明するバックライト62が配置されている。第1プリズム65aの他方の面に対向する位置に反射ミラー66が配置されている。反射ミラー66は、ファインダー開口部67のほぼ正面に位置する。
第2プリズム65bの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部67に配置されたファインダー接眼面である。第2プリズム65bの他方の面に対向する位置には結像レンズ71を介して撮像素子72が対向配置されている。
次に、表示部60の光学系を説明する。
表示部60において、表示パネル63に表示された画像は、第1プリズム65a、反射ミラー66、第2プリズム65bを介してファインダー開口部67から射出され、ユーザーに観察される。また、ファインダー開口部67を見ている画像は、第2プリズム65b及び結像レンズ71を介して撮像素子72上に結像される。
なお、撮像素子72を介して取得された撮像画像は、ユーザーの視線の方向や瞬き、表情の解析、表示部60の姿勢の解析に用いる。撮像画像には、眼の周辺画像が含まれている。なお、バックライト62は、撮像素子72による眼の周辺画像を撮像する際の補助照明としても利用されてもよい。
表示部60において、表示パネル63に表示された画像は、第1プリズム65a、反射ミラー66、第2プリズム65bを介してファインダー開口部67から射出され、ユーザーに観察される。また、ファインダー開口部67を見ている画像は、第2プリズム65b及び結像レンズ71を介して撮像素子72上に結像される。
なお、撮像素子72を介して取得された撮像画像は、ユーザーの視線の方向や瞬き、表情の解析、表示部60の姿勢の解析に用いる。撮像画像には、眼の周辺画像が含まれている。なお、バックライト62は、撮像素子72による眼の周辺画像を撮像する際の補助照明としても利用されてもよい。
バックライト62が照射した光は、表示パネル63を透過して、第1プリズム65aに入射される。このとき、表示パネル63の液晶の特性上、バックライト62が照射した光が偏光され、偏光された光線HのS偏光が第1プリズム65aに入射される。
光線Hは、第1プリズム65aの裏面65dに設けられた空気層の影響により全反射し、光線Iとして第1プリズム65aと第2プリズム65bの接合面65cに入射する。ここで2つのプリズムの接合面65cには、S偏光が反射し、P偏光が透過する偏光反射膜が蒸着されている。ここで、光線Hは、S偏光であるため、接合面65cで反射して光線Jとなる。光線Jは、裏面65dに入射角0度で入射されるため、裏面65dを透過して1/4波長板75に入射される。
光線Jは、空気層を通った後に1/4波長板75を透過することで、進行方向に対して右回りの円偏光となる。そして反射ミラー66で反射した光線Kは、反射によって左回りの円偏光となる。そして、光線Kは、1/4波長板75を再び透過し、P偏光となる。
光線Kは、P偏光に変換されたため、接合面65cを透過できるので、ファインダー開口部67を通過できる。このような構成により、ユーザーは、表示パネル63上に表示された画像データを、ファインダー開口部67越に観察できる。
光線Kは、P偏光に変換されたため、接合面65cを透過できるので、ファインダー開口部67を通過できる。このような構成により、ユーザーは、表示パネル63上に表示された画像データを、ファインダー開口部67越に観察できる。
一方、ファインダー開口部67から入射した光線Lは、接合面65cで反射してS偏光の光線Mに変換される。光線Mは、第2プリズム65bにおける前面65eの空気層で全反射して光線Nになる。光線Nは、結像レンズ71により集光され、集光した光線Nが撮像素子72に入射する。このような構成により、ユーザーの眼の前面に、ファインダー開口部67が配置された場合、撮像素子72には、ユーザーの眼の周辺画像(光学像)が結像する。
次に、右眼観察形態で、ファインダー開口部67を介してユーザーが観察する画像と、撮像素子72により撮像される画像とについて説明する。
なお、図9、図12及び図14では、光学的に等価になるように、反射ミラー66(図7を参照)は、凸レンズに置き換えられている。また、図9、図12、及び図14において、一点鎖線CTは、結像レンズ71の光軸を表している。
また、以下の説明では、撮像画像に、ユーザーの片眼を含む領域の画像が含まれている場合を説明する。以下、ユーザーの右眼の周りが撮像された画像を、「右眼の周辺画像」といい、ユーザーの左眼の周りが撮像された画像を、「左眼の周辺画像」という。また、右眼の周辺画像には、右眼の画像、右眉毛の画像、顔の一部(頭、髪の毛等)の画像が含まれてもよい。また、左眼の周辺画像には、左眼の画像、左眉毛の画像、顔の一部(頭、髪の毛等)が含まれてもよい。以下、右眼の周辺画像、及び左眼の周辺画像を、「眼の周辺画像」と総称する。
なお、図9、図12及び図14では、光学的に等価になるように、反射ミラー66(図7を参照)は、凸レンズに置き換えられている。また、図9、図12、及び図14において、一点鎖線CTは、結像レンズ71の光軸を表している。
また、以下の説明では、撮像画像に、ユーザーの片眼を含む領域の画像が含まれている場合を説明する。以下、ユーザーの右眼の周りが撮像された画像を、「右眼の周辺画像」といい、ユーザーの左眼の周りが撮像された画像を、「左眼の周辺画像」という。また、右眼の周辺画像には、右眼の画像、右眉毛の画像、顔の一部(頭、髪の毛等)の画像が含まれてもよい。また、左眼の周辺画像には、左眼の画像、左眉毛の画像、顔の一部(頭、髪の毛等)が含まれてもよい。以下、右眼の周辺画像、及び左眼の周辺画像を、「眼の周辺画像」と総称する。
以下、表示部60が、ユーザーの眼から所定距離内に配置されている状態を、「第1観察状態」という。
図8は、第1〜第3観察状態のそれぞれにおける表示領域の違いを説明する図である。第1観察状態では、表示部60がユーザーの眼から所定距離内に配置されているので、表示パネル63の全表示領域は、ユーザーから観察可能である。したがって、表示パネル63は、この全表示領域に画像を表示させることができる。すなわち、表示パネル63の全表示領域が、表示領域Sとなる。
図8は、第1〜第3観察状態のそれぞれにおける表示領域の違いを説明する図である。第1観察状態では、表示部60がユーザーの眼から所定距離内に配置されているので、表示パネル63の全表示領域は、ユーザーから観察可能である。したがって、表示パネル63は、この全表示領域に画像を表示させることができる。すなわち、表示パネル63の全表示領域が、表示領域Sとなる。
以下、表示領域Sの横の長さを、Swと表記する。また。表示領域Sの縦の長さを、Shと表記する。また、以下では、一例として、Swは800画素、Shは600画素として説明を続ける。また、表示領域Tの縦の長さを、Thと表記する。また、表示領域Tの横の長さを、Twと表記する。また、表示領域Uの縦の長さを、Uhと表記する。また、表示領域Uの横の長さを、Uwと表記する。
図9は、第1観察状態における観察範囲と撮像範囲を説明する図である。観察範囲67aにユーザーの眼がある場合、ファインダー開口部67を介して、ユーザーは、表示パネル63の全表示領域に相当する表示領域Sを観察することができる。また、観察範囲67aは、反射ミラー66(図9では、凸レンズ)の光軸上では、ファインダー開口部67から距離Pまでの範囲にある。一方、撮像素子72が撮影することができる撮影範囲67cは、観察範囲67aを含んでいる。つまり、撮像素子72は、観察範囲67aにユーザーの眼がない場合でも、撮影範囲67cにユーザーの眼があれば、ユーザーの眼を眉毛なども含めて撮像することができる。
図10は、第1観察状態における撮像画像の一例を説明する図である。図10の略中心には、撮像素子72によりユーザーの眼が撮像されている。右眼観察形態の場合、図10における+Z側が鉛直上方向、−Z側が鉛直下方向、+X側がユーザーの左側、−X側がユーザーの右側となる。なお、左眼観察形態の場合、表示部60が180度反転されているので、右眼観察形態と比較して、眼の周辺画像は左右上下が反転することになる。
図10において、符号601Rは、右眼の画像を示す符号であり、符号602Rは、右眉毛の画像を示す符号である。また、符号L41は、X軸方向におけるユーザーの眼の幅を示す符号である。例えば、第1観察状態において、撮像素子72の解像度が、横方向(X軸方向)に640画素である場合、画像における眼の幅L41は、350画素程度である。
図10では、ユーザーの眼と眉毛の距離が幅L41以下なので、撮像画像には、適切な範囲が撮像されているといえる。このように、ユーザーの眼を下側から撮影することは、有効である。
このように、第1観察状態では、ユーザーが正面を見る際、ファインダー開口部67が邪魔にならない。また、後述するように、第1観察状態では、撮像素子72による撮像画像に撮像された眉毛、目元及び眼球の動きに基づいて、HMD1は、ユーザーの視線方向を検出することができる。
このように、第1観察状態では、ユーザーが正面を見る際、ファインダー開口部67が邪魔にならない。また、後述するように、第1観察状態では、撮像素子72による撮像画像に撮像された眉毛、目元及び眼球の動きに基づいて、HMD1は、ユーザーの視線方向を検出することができる。
以下、ユーザーの眼が、第1観測状態と比較して表示部60から離れている状態を、「第2観察状態」という。
次に、第2観察状態について、図8、図11、及び図12を用いて説明する。
次に、第2観察状態について、図8、図11、及び図12を用いて説明する。
図11は、第2観察状態における撮像画像の一例を説明する図である。符号601R1は、右眼の画像を示す符号であり、符号602R1は、右眉毛の画像を示す符号である。また、符号L71は、X軸方向におけるユーザーの眼の幅を示す符号である。
第2観察状態では、ユーザーの眼が表示部60から離れているので、第1観察状態よりも、ユーザーの眼の画像が小さく撮像される。撮像画像におけるユーザーの眼の幅L71が、第1観察状態におけるユーザーの眼の幅L41以下(例えば、300画素以下)である場合、HMD1は、ユーザーが表示部60から眼を離していると判定する。
第2観察状態では、ユーザーの眼が表示部60から離れているので、第1観察状態よりも、ユーザーの眼の画像が小さく撮像される。撮像画像におけるユーザーの眼の幅L71が、第1観察状態におけるユーザーの眼の幅L41以下(例えば、300画素以下)である場合、HMD1は、ユーザーが表示部60から眼を離していると判定する。
図12は、第2観察状態における観察範囲と撮像範囲を説明する図である。図12では、ユーザーの眼eyeは、反射ミラー66(図12では、凸レンズ)の光軸上で、ファインダー開口部67から距離P以上距離P2以内の位置に在り、第1観察状態における観察範囲67b(光軸上で、ファインダー開口部67から距離P以内)には無い。このため、ユーザーは、表示領域S(図8を参照)の一部しか観察することができない。
そこで、第2観察状態では、HMD1は、縮小率ηで縮小した画像を、表示領域T(図8を参照)に表示させる。第2観察状態において、表示領域Tに表示される画像の縮小率η(第1観察状態との比率)は、次式(1)により示される。
η = L71/L41 ・・・(1)
例えば、ユーザーの眼の幅L41(図10を参照)が350画素であるのに対して、L71(図11を参照)が220画素である場合、HMD1は、約0.63倍(=(L71/L41)=(Th/Sh)=(Tw/Sw))に縦横をそれぞれ縮小した画像を、表示パネル63の表示領域Tに表示させる。表示領域Tに表示された画像(光学像)の全体は、ファインダー開口部67の縁に遮られることなく、ユーザーの眼に届く。
以下、表示部60とユーザーの眼との相対位置が、第2観測状態と比較して左右いずれかの方向にずれている状態を、「第3観察状態」という。
次に、第3観察状態について、図8、図13、及び図14を用いて説明する。
図13は、第3観察状態における撮像画像の一例を説明する図である。第3観察状態では、第2観察状態と比較して、ユーザーの眼の画像が、一例として、画像の中心付近から右下方向にベクトルV1だけずれて撮像されているとする。
次に、第3観察状態について、図8、図13、及び図14を用いて説明する。
図13は、第3観察状態における撮像画像の一例を説明する図である。第3観察状態では、第2観察状態と比較して、ユーザーの眼の画像が、一例として、画像の中心付近から右下方向にベクトルV1だけずれて撮像されているとする。
符号601R2は、右眼の画像を示す符号であり、符号602R2は、右眉毛の画像を示す符号である。また、一点鎖線で示した605Aは、ユーザーの眼の位置がずれていない場合に撮像される眼球の外形画像を表す。また、符号605Bは、ユーザーの眼が光軸中心にある場合の眼球の画像を表す。
図14は、第3観察状態における観察範囲と撮像範囲を説明する図である。図14では、ユーザーの眼eyeは、観察範囲67e内、すなわち、ファインダー開口部67から距離P以上離れ、且つ、光軸CTから内側にV1のX成分量(=V1x)だけずれている位置に在る。観察範囲67eに在るユーザーの眼は、第1観察状態における観察範囲67b(光軸上で、ファインダー開口部67から距離P以内)には無いので、表示領域S(図8を参照)の一部しか観察することができない。
そこで、第3観察状態では、HMD1は、ユーザーから表示画像の全体が観察できるように、所定の縮小率(=(Uh/Sh)=(Uw/Sw))で画像を縮小する。また、HMD1は、この縮小した画像を、表示領域U(図8を参照)に表示させる。ここで、HMD1は、表示領域S(図8を参照)における表示領域Uの位置を、ユーザーの眼の位置ずれ量及び方向に応じて定める。第3観察状態では、表示領域Uは、表示領域Sの右上に定められている。
ここで、結像レンズ71及び撮像素子72から成る撮像系の記録画素数は、例えば、横640画素、縦480画素であるとする。また、結像レンズ71及び撮像素子72から成る撮像系の画角は、横60度、縦45度であるとする。この場合、1画素当たりの画角は、約0.094度となる。
したがって、ユーザーの眼の位置の水平方向のずれ量(ベクトルV1のX成分量)が、例えば、30画素であれば、ユーザーの眼の位置は、4.7度(=30画素×0.094度)ほどずれていることになる。表示領域S(図8を参照)の水平方向(Sw:800画素)の視野角が、例えば、35度であれば、HMD1は、表示パネル63の中心から、108画素分(=Sw×4.7度÷35度)だけ、水平方向右に表示領域Uの位置を定める。HMD1は、垂直方向についても同様に、所定画素数だけずらした位置に表示領域Uを定める。
図13及び図14では、HMD1は、表示領域Uの水平方向Uwが500画素、縦方向Uhが375画素となるまで画像を縮小し、表示領域Sの中心から水平方向右に108画素、且つ、ベクトルV1のz成分量(=V1z)に対応する前記所定画素数だけ垂直方向上にずらした位置に、表示領域Uを定める。表示領域Uには、表示領域Uと同じ縮小率で縮小された画像が表示される。これにより、ユーザーの眼eyeが光軸上からずれた場合でも、HMD1は、画像の全体が見えるよう、その画像を表示することができる。
HMD1は、撮像画像から、例えば、眼の輪郭の画像を抽出し、抽出した眼の輪郭の画像の位置に基づいて、眼の位置ずれ量及び方向(ベクトルV1)を検出する。ここで、眼の位置ずれ量及び方向の検出は、撮像画像から眼球の画像を抽出し、抽出した眼球の輪郭画像のずれ量に基づいて、その眼の位置ずれ量及び方向を検出してもよい。
上述したように、ユーザーの眼が表示部60から離れている、又は、光軸からずれている場合でも、HMD1では、ユーザーと表示部60との位置関係に応じて、ユーザーが画像の全領域を観察可能となるように、表示部60に画像を表示することができる。
次に、表示部60の配置と、ユーザーの眼の撮像について説明する。
図15は、眼の正面に表示部60を配置して、眼を含む周辺の画像を撮像する例を説明する図である。図16は、本実施形態に係る眼の下側に表示部60を配置して、眼を下から撮像する例を説明する図である。
図15は、眼の正面に表示部60を配置して、眼を含む周辺の画像を撮像する例を説明する図である。図16は、本実施形態に係る眼の下側に表示部60を配置して、眼を下から撮像する例を説明する図である。
図15及び図16において、符号L11は、ユーザーの下瞼から眉毛までの距離を表している。また、図15及び図16において、距離L11は、40[mm]である。また、図15及び図16において、ユーザーの顔を横から見た場合における、上下方向をZ軸方向と、前後方向をY軸方向と称する。
図15に示すように、眼の正面に表示部60を配置した場合、ユーザーの下瞼から眉毛までを撮像するためには、幅L11以上(例えば、幅L31)を撮像できるまで、表示部60の結像レンズ71を、ユーザーの顔から遠ざける必要がある。ここで、幅L31は、例えば、70[mm]である。幅L31の範囲が撮像される場合、ユーザーの眼から結像レンズ71の中心まで、距離L21だけ離される必要がある。ここで、距離L21は、例えば85[mm]である。
なお、距離L21は、図7に示した光学系において、第1プリズム65a、第2プリズム65b等の光路長も含んでいる。仮に、第1プリズム65a、第2プリズム65b等の光路長の合計が20[mm]であるとすると、ユーザーの顔からY軸方向に65(=85−20)[mm]だけ、表示部60を遠ざける必要がある。
従って、眼の正面に表示部60を配置した場合、ユーザーの下瞼から眉毛までを撮像するためには、表示部60は、ユーザーの顔から遠ざけられた位置に配置される必要がある。
一方、図16に示すように、眼の下側に表示部60が配置された場合、ユーザーの下瞼から眉毛までの距離L11の範囲を撮像するためには、幅L61の撮像範囲を撮像する必要がある。ここで、下から煽るように撮像しているため、幅L61は、図15に示した幅L31より短い。例えば、幅L61は、20[mm]である。この撮像範囲20[mm]を確保するために必要な撮影距離(距離L51)は、例えば、45[mm]である。
図15と同様に、第1プリズム65a、第2プリズム65b等の光路長の合計が20[mm]である場合、表示部60は、ユーザーの顔から25[mm]だけ遠ざけられる。また、Y軸方向に対して表示部60が角度β傾けてられている場合、顔から結像レンズ71までのY軸方向の距離は、45[mm]にcosβが乗算された値となる。
HMD1は、眼の下に配置された表示部60が、眼の周辺画像を撮像できるので(図16を参照)、表示部60が眼の正面に配置された場合と比較して(図15を参照)、顔から表示部60までの距離が短い。これにより、HMD1は、大型化してしまうことがない。また、HMD1は、表示部60がユーザーの正面に配置されないため、表示部60がユーザーの正面視野を遮ることもない。さらに、HMD1は、表示部60がユーザーの顔の近傍に配置されることも可能なので、例えば、狭い作業空間などにおいて、表示部60が邪魔になることもない。
次に、右眼観察形態と左眼観察形態との切り替えに伴う、撮像素子72の設置角度の調整について説明する。
図17は、本実施形態に係る撮像素子72の画角と選択範囲を説明する図である。図17(A)は、右眼観察形態における撮像素子72の画角と選択範囲を説明する図である。図17(B)は、左眼観察形態における撮像素子72の画角と選択範囲を説明する図である。なお、図17(A)及び図17(B)では、第1ヘッドバンド43、第2ヘッドバンド44、装置本体部21等は、図示が省略されている。
図17は、本実施形態に係る撮像素子72の画角と選択範囲を説明する図である。図17(A)は、右眼観察形態における撮像素子72の画角と選択範囲を説明する図である。図17(B)は、左眼観察形態における撮像素子72の画角と選択範囲を説明する図である。なお、図17(A)及び図17(B)では、第1ヘッドバンド43、第2ヘッドバンド44、装置本体部21等は、図示が省略されている。
図18は、本実施形態に係る撮像領域と選択領域を説明する図である。図18(A)は、ヘッドバンドヒンジ32(図2を参照)が揺動された場合における、撮像素子72(図3を参照)による撮像領域を説明する図である。また、図18(B)は、撮像領域から選択された選択領域を説明する図である。ここで、符号Pは、撮像素子72が撮像可能な範囲を示す符号である。また、撮像素子72は、例えば、4対3のアスペクト比を有する。
右眼観察形態の場合(図5(A)を参照)では、撮像素子72は、撮像領域のアスペクトが縦長になるように、表示部60内に設けられている。この場合、撮像素子72は、図17(A)及び図18(B)に示すように、符号Pで示した領域(以下、「撮像領域P」という)のうち、符号Qで示された領域(以下、「選択領域Q」という)に撮像される範囲のみの画像データを取り込む。これにより、撮像素子72は、右眼観察形態において、眉毛まで含めて右眼の画像データを適切に取り込むことができる。
一方、左眼観察形態の場合(図5(B)を参照)では、撮像素子72は、撮像領域のアスペクトが縦長になるように、表示部60内に設けられている。この場合、撮像素子72は、図17(B)及び図18(B)に示すように、撮像領域Pのうち、符号Rで示された領域(以下、「選択領域R」という)に撮像される範囲のみの画像データを取り込む。これにより、撮像素子72は、左眼観察形態において、眉毛まで含めて左眼の画像データを適切に取り込むことができる。
また、HMD1は、右眼観察形態又は左眼観察形態のいずれであるかを、加速度センサー132が検出した検出値(後述)の代わりに、撮像素子72による撮像画像に基づいて適切に判定することができる。なお、右眼観察形態又は左眼観察形態のいずれであるかを判別する方法は、後述する。
図19は、本実施形態に係る選択範囲の選択を機械的に行う機構を説明する図である。撮像素子72の本体72aには、回転軸72bが固定されている。この回転軸72bに対しては、ダイヤル72cが設けられている。ユーザーは、ダイヤル72cを回動可能範囲で回動(図19では、D方向)にさせることで、回転軸72bを軸として、撮像素子72をチルトさせることができる。
結像レンズ71が上を向く方向にチルトされた場合、選択領域Q(図18(B)を参照)は、撮像領域Pにおける上側の領域に定められる。これにより、撮像素子72は、ユーザーの眼及び眉毛を、撮像領域Qで撮像することができる。一方、結像レンズ71の下を向く方向にチルトされた場合、選択領域R(図18(B)を参照)は、撮像領域Pの下側の領域に定められる。これにより、撮像素子72は、ユーザーの眼及び眉毛を、撮像領域Rで撮像することができる。
なお、HMD1は、ダイヤル72cにより、撮像領域Q又は選択領域Rの位置を微調節することも可能である。また、撮像素子72による撮像画像が表示部60に表示された場合、ユーザーは、表示部60に表示されている撮像画像を観察しながら、表示部60と眼の位置関係に応じて、撮像素子72の撮像領域を選択することができる。この結果、HMD1は、範囲が適切になるよう撮像された撮像画像を用いて、HMD1の位置合わせ(後述)、及び注視点検出のためのキャリブレーションの精度を高めることができる。
次に、HMD1の機能ブロックについて説明する。
図20は、本実施形態に係るヘッドマウントディスプレイ1の機能ブロック図である。
HMD1には、処理部123を中心として種々の電気回路が備えられている。処理部123は、CPU(中央演算装置:Central Processing Unit)であり、HMD1の各種回路と接続されるとともに、HMD1を総合的に制御する。
図20は、本実施形態に係るヘッドマウントディスプレイ1の機能ブロック図である。
HMD1には、処理部123を中心として種々の電気回路が備えられている。処理部123は、CPU(中央演算装置:Central Processing Unit)であり、HMD1の各種回路と接続されるとともに、HMD1を総合的に制御する。
バッテリー33は、電力を電源回路120に供給する。
電源回路120は、バッテリー33から供給された電力を、処理部123の制御によりHMD1の各部に供給する。
電源回路120は、バッテリー33から供給された電力を、処理部123の制御によりHMD1の各部に供給する。
本実施形態の場合、処理部123には、エンコーダー129及びデコーダー121、電源回路120、操作スイッチ30、フラッシュメモリー122、BLドライバ126、BT通信回路(送信部、受信部)130、WiFi通信回路(送信部、受信部)131、加速度センサー132、地磁気センサー133、前方ライト68、3G/LTE通信回路(送信部、受信部)138、レーザー発信器73、角速度センサー134、GPSセンサー135、温湿度センサー136、心拍数センサー137、メモリー127、メインスイッチ28、タッチスイッチ34が接続されている。
なお、送信部は、HMD1からの情報を他の端末に送信する回路である。送信部は、BT通信回路130、WiFi通信回路131、3G/LTE通信回路138のうち少なくとも1つの回路である。受信部は、他の端末からの情報を受信する回路である。受信部は、BT通信回路130、WiFi通信回路131、3G/LTE通信回路138のうち少なくとも1つの回路である。
なお、送信部は、HMD1からの情報を他の端末に送信する回路である。送信部は、BT通信回路130、WiFi通信回路131、3G/LTE通信回路138のうち少なくとも1つの回路である。受信部は、他の端末からの情報を受信する回路である。受信部は、BT通信回路130、WiFi通信回路131、3G/LTE通信回路138のうち少なくとも1つの回路である。
エンコーダー129は音声信号及び画像信号を所定方式の音声データ及び画像データにエンコード(符号化)する。エンコーダー129には、カメラ64、撮像素子72、集音マイク24、通話マイク37、オーディオコネクター26、ビデオコネクター27が接続されている。
エンコーダー129には、集音マイク24及び通話マイク37から入力される音声信号、カメラ64から入力される画像信号、オーディオコネクター26から入力される音声信号、ビデオコネクター27から入力される画像信号、及び、眼の周辺画像を撮影する撮像素子72の画像信号が入力される。エンコーダー129に入力された音声信号及び画像信号は音声データ及び画像データにエンコードされた後、処理部123に入力される。入力された音声データ及び画像像データは、処理部123による再生動作に用いられたり、フラッシュメモリー122に記録される。
デコーダー121は、音声データ及び画像データを音声信号及び画像信号にデコード(復号化)する。デコーダー121には、LCDドライバ125、スピーカーアンプ162、オーディオコネクター26、及びビデオコネクター27が接続されている。LCDドライバ125は液晶パネル用の駆動制御装置であり、表示パネル36及び表示パネル63に接続されている。スピーカーアンプ162は音声信号を増幅してスピーカーに出力する装置であり、耳元スピーカー23及び前方スピーカー70に接続されている。
画像データを再生する場合、フラッシュメモリー122に記録された画像データ、あるいはエンコーダー129から入力される画像データは、処理部123を介してデコーダー121に入力される。デコーダー121に入力された画像データは、画像信号にデコードされた後、LCDドライバ125を介して表示パネル36、63に供給される。そして、画像信号が入力された表示パネル36又は表示パネル63に画像データに基づく画像が表示される。また、デコーダー121からビデオコネクター27に出力される画像信号は、ビデオコネクター27を介して外部機器に出力される。
また画像の表示に際して、処理部123は、必要に応じて表示パネル36用のバックライト35、及び表示パネル63用のバックライト62を点灯させる。BLドライバ126は、バックライト用の駆動制御装置であり、バックライト35及びバックライト62に接続されている。処理部123は、BLドライバ126に駆動信号を送信し、BLドライバ126はバックライト35、62を個々に点灯させる。
音声データを再生する場合、フラッシュメモリー122に記録された音声データ、あるいはエンコーダー129から入力される音声データは、処理部123を介してデコーダー121に入力される。デコーダー121に入力された音声データは、音声信号にデコードされた後、スピーカーアンプ162を介して耳元スピーカー23及び前方スピーカー70のいずれか一方、又は両方に出力される。そして、音声信号を入力された耳元スピーカー23又は前方スピーカー70から音声が出力される。また、デコーダー121からオーディオコネクター26に出力される音声信号は、オーディオコネクター26を介してステレオイヤホン100に出力される。
本実施形態の場合、耳元スピーカー23及び前方スピーカー70は、モノラル音声の使用を想定しており、耳元スピーカー23及び前方スピーカー70からは左右の音声信号が合成された音が発せられる。
一方、ステレオイヤホン100に音声信号が出力される場合、第1スピーカー103及び第2スピーカー104のそれぞれ左チャンネル又は右チャンネルの音が出力される。ここで、本実施形態のHMD1は左右両用であるため、装着位置に応じてステレオイヤホン100への音声信号のチャンネルが切り替わる。すなわち、ディスプレイ本体20が右眼に装着されている場合には、第1スピーカー103に右チャンネル、第2スピーカー104に左チャンネルの音が出力される。ディスプレイ本体20が左眼に装着されている場合には第1スピーカー103に左チャンネル、第2スピーカー104に右チャンネルの音が出力される。
メモリー127には、処理部123によって実行される制御プログラムが記憶されている。
全体の電源のオンオフを行うメインスイッチ28や、画面内でのポインティング操作を行うための操作スイッチ30、あるいはタッチ操作により各種操作を行うタッチスイッチ34がユーザーにされると、これらのスイッチから操作に基づく制御信号が処理部123へ出力される。処理部123は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
全体の電源のオンオフを行うメインスイッチ28や、画面内でのポインティング操作を行うための操作スイッチ30、あるいはタッチ操作により各種操作を行うタッチスイッチ34がユーザーにされると、これらのスイッチから操作に基づく制御信号が処理部123へ出力される。処理部123は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
BT通信回路130は、他の機器とのBluetooth(登録商標)通信を行うための通信回路である。WiFi通信回路131は、他の機器との無線LAN通信(IEEE 802.11)を行うための通信回路である。3G/LTE通信回路138は、他の機器との移動通信を行うための通信回路である。
加速度センサー132は、HMD1の傾き検出に用いられる。加速度センサー132は、例えば3軸センサーであり、重力加速度を検出する。加速度センサー132は、例えば、装置本体部21内に取り付けられている。
以下、加速度センサー132の座標は、地表に直立したユーザーがHMD1を頭に装着している場合における、ユーザーにとっての上下方向をZ軸方向、左右方向をX軸方向、前後方向をY軸方向とする。また、加速度センサー132は、右眼観察形態の場合にZ軸方向の検出値が負値となり、左眼観察形態の場合にZ軸方向の検出値が正値となるように、取り付けられている。
地磁気センサー133は、HMD1の方角検出に用いられる。角速度センサー(ジャイロセンサー)134は、HMD1の回転検出に用いられる。GPSセンサー135はGPS(Global Positioning System)を利用した測位検出に用いられる。温湿度センサー136は、環境の温度、湿度の検出に用いられる。心拍数センサー137は、ユーザーの頬に接触し、ユーザーの心拍数を検出する。
図21は、本実施形態に係る処理部123の機能ブロック図である。処理部123は、入力検出部301、制御部302、記憶部303、アバター処理部(表情処理部)304、音声調整部305、画像切替部306、画像表示部307、及び送受信部308を備えている。図21では、WiFi通信回路131及び3G/LTE通信回路138(図20を参照)を、「通信インタフェース(131、138)」と総称する。
入力検出部301は、タッチスイッチ34上で行われた操作の種類を判別し、判別した結果に基づく制御信号を、制御部302、アバター処理部304、画像切替部306、及び送受信部308に出力する。タッチスイッチ34上で行われた操作の種類とは、発信の指示、及び受信の指示等である。入力検出部301は、タッチスイッチ34上の所定の領域がタッチされた場合、タッチされた領域に基づいて、これらの操作の種類を判別する。
制御部302は、加速度センサー132が検出した検出値、及び撮像素子72による撮像画像の少なくとも一方に基づいて、右眼観察形態又は右眼観察形態を判別する。ここで、制御部302は、撮像素子72による撮像画像については、例えば、眉毛と眼との相対位置、瞬きでの瞼の挙動、眉毛の輪郭、眼の輪郭、眼の左右の目尻の下がり方等に基づいて、撮像画像に映っているユーザーの眼が、左右どちらの眼の画像であるか(右眼観察形態又は右眼観察形態)を判別する。制御部302は、観察形態を示す情報を、アバター処理部304に出力する。ここで、観察形態を示す情報は、例えば、右眼観察形態又は右眼観察形態を示す情報である。なお、観察形態を示す情報は、又は表示部60に表示された画像を観察しているユーザーの眼が右眼と左眼とのうちいずれかであるかを示す情報であってもよい。
制御部302は、判別した結果に基づいて、オーディオコネクター26に接続されているステレオイヤホン100に出力する音声を制御する。また、制御部302は、判別した結果に基づいて、表示部60から投影する画像を制御する。
制御部302は、判別した結果に基づいて、オーディオコネクター26に接続されているステレオイヤホン100に出力する音声を制御する。また、制御部302は、判別した結果に基づいて、表示部60から投影する画像を制御する。
制御部302は、表示部60の配置が適切であるか否かを、撮像画像に基づいて判別する。制御部302は、ユーザーの顔に対する表示部60の相対位置が適切でない場合、表示部60を適切な方向にずらすようにアナウンスする音声を、音声調整部305を介して耳元スピーカー23から出力させる。なお、このような位置合わせの処理については、後述する。
記憶部303には、制御部302が生成した、視線に基づいて操作するためのパラメータが記憶されている。記憶部303には、アバター画像データ及びアバターの表情の画像データが端末識別情報と関連づけられて記憶されている。ここで端末識別情報とは、端末を識別する識別情報である。記憶部303には、HMD1のユーザーに対応するアバター画像データ及びアバターの表情の画像データが関連づけられて記憶されている。
アバター処理部304は、入力検出部301が出力した制御信号に基づき、HMD1のユーザーに対して予め設定されているアバター画像データを、記憶部303から読み出す。アバター処理部304は、読み出したアバター画像データを、送受信部308に出力する。
アバター処理部304は、通信相手である他の端末へ送信するために、撮像素子72による撮像画像、及び通話マイク37が集音したユーザーの音声の少なくとも1つに基づいて、アバター画像の表情を示す情報を生成する。アバター処理部304は、生成したアバターの表情を示す情報を含むHMD1のアバター画像データを、送受信部308に出力する。なお、アバターの表情の制御については後述する。
アバター処理部304は、制御信号に基づき、送受信部308が出力する受信信号からアバター画像を示す情報を抽出する。アバター処理部304は、抽出したアバター画像を示す情報に対応するアバター画像データを記憶部303から読み出し、読み出したアバター画像データを画像切替部306に出力する。アバター画像を示す情報は、例えば識別情報である。また、アバター処理部304は、受信信号からアバター画像の表情を示す情報を抽出する。アバター処理部304は、抽出したアバター画像の表情を示す情報に基づいて、記憶部303に記憶されているアバター画像データを読み出し、読み出したアバター画像データを画像切替部306に出力する。
アバター処理部304は、受信信号からアバター画像の表情を示す情報を抽出できない場合、受信信号から画像データを抽出する。アバター処理部304は、抽出した画像データから通信相手の片眼を含む領域の画像を抽出し、抽出した通信相手の片眼を含む領域の画像が右眼の画像であるか左眼の画像であるかを判別する。アバター処理部304は、抽出した通信相手の片眼を含む領域の画像に基づいて、後述するように通信相手の表情を判別し、判別した結果に基づいて通信相手に対応するアバターの表情を制御する。
なお、アバターとは、HMD1のユーザー、及びHMD1と送受信を行っているユーザーの顔等をイラスト化したものであり、すなわちユーザーの分身である。また、アバター画像は、例えば、顔の外観(輪郭)、髪の毛、眼、眉毛、鼻、口、耳等のパーツにより構成されているようにしてもよい。
アバター処理部304は、通信相手である他の端末へ送信するために、撮像素子72による撮像画像、及び通話マイク37が集音したユーザーの音声の少なくとも1つに基づいて、アバター画像の表情を示す情報を生成する。アバター処理部304は、生成したアバターの表情を示す情報を含むHMD1のアバター画像データを、送受信部308に出力する。なお、アバターの表情の制御については後述する。
アバター処理部304は、制御信号に基づき、送受信部308が出力する受信信号からアバター画像を示す情報を抽出する。アバター処理部304は、抽出したアバター画像を示す情報に対応するアバター画像データを記憶部303から読み出し、読み出したアバター画像データを画像切替部306に出力する。アバター画像を示す情報は、例えば識別情報である。また、アバター処理部304は、受信信号からアバター画像の表情を示す情報を抽出する。アバター処理部304は、抽出したアバター画像の表情を示す情報に基づいて、記憶部303に記憶されているアバター画像データを読み出し、読み出したアバター画像データを画像切替部306に出力する。
アバター処理部304は、受信信号からアバター画像の表情を示す情報を抽出できない場合、受信信号から画像データを抽出する。アバター処理部304は、抽出した画像データから通信相手の片眼を含む領域の画像を抽出し、抽出した通信相手の片眼を含む領域の画像が右眼の画像であるか左眼の画像であるかを判別する。アバター処理部304は、抽出した通信相手の片眼を含む領域の画像に基づいて、後述するように通信相手の表情を判別し、判別した結果に基づいて通信相手に対応するアバターの表情を制御する。
なお、アバターとは、HMD1のユーザー、及びHMD1と送受信を行っているユーザーの顔等をイラスト化したものであり、すなわちユーザーの分身である。また、アバター画像は、例えば、顔の外観(輪郭)、髪の毛、眼、眉毛、鼻、口、耳等のパーツにより構成されているようにしてもよい。
アバター処理部304は、送受信部308が受信した情報から通話に参加している各端末の位置情報を抽出する。アバター処理部304は、抽出した位置情報に基づいて、通話に参加しているユーザーのアバター画像を表示パネル63上に表示する画像内の所定の位置に配置する。または、アバター処理部304は、通話に参加しているユーザーについて、通話の参加順に、表示パネル63上の画像に、右から順番に配置する。アバター処理部304は、このように配置した各アバター画像の位置情報、他の端末のアバター画像データを、画像切替部306に出力する。アバター処理部304は、抽出した各アバター画像の位置情報を音声調整部305に出力する。
音声調整部305には、エンコーダー129が出力する音声データ(HMD1のユーザーの音声データ)、送受信部308が出力する受信信号が入力される。音声調整部305は、送受信部308が出力する受信信号から、他の端末のユーザーの音声データ(以下、他端末の音声データともいう)を抽出する。音声調整部305は、制御部302が出力する装着状態を示す情報、及びアバター処理部304が出力する各アバターの位置情報の少なくとも1つの情報に基づいて、エンコーダー129が出力する音声データ(HMD1のユーザーの音声データ)、又は、他の端末のユーザーの音声データに基づく音声を、ステレオイヤホン100の左右どちらのスピーカーに出力するのかを選択し、左右のスピーカーの各音量等を調整する。
画像切替部306は、入力検出部301が出力した制御信号に基づき、フラッシュメモリー122から読み出した画像データ、またはエンコーダー129が出力した画像データを取得する。画像切替部306は、取得した画像データに、アバター処理部304が出力したアバター画像データを合成する。画像切替部306は、合成した画像データを制御部302が出力した装着状態を示す情報に基づいて切り替え、切り替えた表示の画像データを画像表示部307に出力する。
画像切替部306は、送受信部308が出力した受信信号から、画像切替信号を抽出する。画像切替部306は、画像切替信号が抽出できた場合、抽出した画像切替信号に基づき、フラッシュメモリー122から読み出した画像データ、またはエンコーダー129が出力した画像データを、画像表示部307に出力する。また、画像切替部306は、入力検出部301が出力した制御信号に基づき、エンコーダー129から出力された画像データ、またはフラッシュメモリー122から読み出した画像データの解像度を変換し、変換した画像データを画像表示部307に出力する。
画像切替部306は、パスワード設定画面、及びメニュー画面等を、制御部302の指示に応じて表示パネル63に表示させる。
画像切替部306は、撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて認識された観察形態に応じて表示部60に表示するための画像を回転させる角度((以下、表示角度という)例えば、0度、90度、180度、270度)を切り替える。これにより、画像切替部306は、ユーザーの姿勢がいかようにあっても、表示部60とユーザーの眼との関係に応じて、表示部60に表示する画像の表示方向を適切に切り替えて表示することができる。なお、観察形態は、撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて認識される。具体的には、右眼観察形態のときの画像の表示角度を0度とした場合及び左眼観察形態のときの画像の表示角度を180度とした場合、制御部302は、右眼観察形態のときの画像の表示角度を0度に切り替え、左眼観察形態のときの画像の表示角度を180度に切り替える。
画像切替部306は、パスワード設定画面、及びメニュー画面等を、制御部302の指示に応じて表示パネル63に表示させる。
画像切替部306は、撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて認識された観察形態に応じて表示部60に表示するための画像を回転させる角度((以下、表示角度という)例えば、0度、90度、180度、270度)を切り替える。これにより、画像切替部306は、ユーザーの姿勢がいかようにあっても、表示部60とユーザーの眼との関係に応じて、表示部60に表示する画像の表示方向を適切に切り替えて表示することができる。なお、観察形態は、撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて認識される。具体的には、右眼観察形態のときの画像の表示角度を0度とした場合及び左眼観察形態のときの画像の表示角度を180度とした場合、制御部302は、右眼観察形態のときの画像の表示角度を0度に切り替え、左眼観察形態のときの画像の表示角度を180度に切り替える。
画像表示部307には、画像切替部306が出力した画像データが入力される。画像表示部307は、入力されたこれらの画像データに基づき、表示パネル63に表示する画像データを生成する。画像表示部307は、生成した画像データを、送受信部308、ビデオコネクター27、及びLCDドライバ125に出力する。
送受信部308は、入力検出部301が出力した制御信号に基づき、アバター処理部304が出力したアバター画像データ、及び画像表示部307が出力した画像データを、通信インタフェース(131、138)を介して送信する。送受信部308は、通信インタフェース(131、138)を介して受信した受信信号を、画像切替部306に出力する。
以上のように、本実施形態の情報入出力装置(HMD1)は、ユーザーの片眼を少なくとも含む領域を撮像する撮像部(撮像素子72)と、撮像部が撮像して得られた撮像画像に含まれる前記ユーザーの片眼を含む領域の画像に基づいて、前記ユーザーの表情を判別する表情処理部(アバター処理部304)と、を備える。
この構成により、本実施形態のHMD1は、撮像画像に含まれるユーザーの片眼を含む領域の画像を用いてユーザーの表情を判別する。この結果、ユーザーの表情を判別するために、ユーザーの顔全体または両眼を含む領域の撮像を行わなくてよい。これにより、本実施形態のHMD1は、撮像素子72と顔との間の距離を短くできるので、自装置の大型化を抑えつつ、装着時におけるユーザーの表情を検出できるHMD1を実現できる。
この構成により、本実施形態のHMD1は、撮像画像に含まれるユーザーの片眼を含む領域の画像を用いてユーザーの表情を判別する。この結果、ユーザーの表情を判別するために、ユーザーの顔全体または両眼を含む領域の撮像を行わなくてよい。これにより、本実施形態のHMD1は、撮像素子72と顔との間の距離を短くできるので、自装置の大型化を抑えつつ、装着時におけるユーザーの表情を検出できるHMD1を実現できる。
図22は、本実施形態に係るHMD1を含む通信システムのシステム構成図である。図22に示すように、通信システムは、HMD1、HMD500、PC210、PC220、及びサーバー200から構成される。HMD1、HMD500、PC210、PC220、及びサーバー200は、ネットワーク230に接続されている。ネットワーク230は、無線LAN(Local Area Network)、3G回線、LTE回線等を介して接続されているインターネットなどのネットワークである。
図22において、HMD1は、図20で説明した構成であるが、処理手順を説明する上で必要な機能部のみを示している。なお、HMD1の表示パネル63を、以後、LCD63という。
HMD500は、図22に示すように、主にフラッシュメモリー522、処理部523、通信インタフェース(531、538)、地磁気センサー533、タッチスイッチ534、表示パネル(表示部)563(以後、LCD563という)、カメラ564を備えている。HMD500の各機能部は、HMD1の各機能部と同等である。
HMD500は、図22に示すように、主にフラッシュメモリー522、処理部523、通信インタフェース(531、538)、地磁気センサー533、タッチスイッチ534、表示パネル(表示部)563(以後、LCD563という)、カメラ564を備えている。HMD500の各機能部は、HMD1の各機能部と同等である。
次に、サーバー200の構成について説明する。図22に示すように、サーバー200は、処理部201、記憶部202、及び通信インタフェース203を備えている。
サーバー200の処理部201は、各端末(HMD1、HMD500、PC210、及びPC220)から通信インタフェース203を介して受信した画像データ(動画、静止画、線画等)、音声データ、各端末の位置情報、及び各端末からの要求等の通信記録を、記憶部202に記録する。処理部201は、各端末の要求に応じて、記憶部202に記録してある画像データを読み出し、読み出した画像データを、各端末に送信する。なお、位置情報とは、HMD1、HMD500、PC210、及びPC220が使用されている位置に関する情報であり、例えば端末が使用されている場所の緯度、経度、高度等の情報である。
記憶部202には、各端末から受信した画像データ(動画、静止画)、音声データ、各端末の位置情報、及び各端末からの要求等の通信記録が記録されている。
通信インタフェース203は、例えば、WiFi通信回路、3G通信回路、LTE通信回路、有線LAN回路等を備えている。
通信インタフェース203は、例えば、WiFi通信回路、3G通信回路、LTE通信回路、有線LAN回路等を備えている。
次に、PC210及びPC220の構成について説明する。PC210及びPC220は、例えば、パーソナルコンピュータである。
PC210は、処理部211、記憶部212、通信インタフェース213、入力部214、表示部215、及びカメラ216を備えている。
PC220は、処理部221、記憶部222、通信インタフェース223、入力部224、表示部225、及びカメラ226を備えている。PC220の各機能部は、PC210の各機能部と同等である。
PC210は、処理部211、記憶部212、通信インタフェース213、入力部214、表示部215、及びカメラ216を備えている。
PC220は、処理部221、記憶部222、通信インタフェース223、入力部224、表示部225、及びカメラ226を備えている。PC220の各機能部は、PC210の各機能部と同等である。
PC210の処理部211は、CPU(中央演算装置)及びGPU(Graphics Processing Unit)等である。処理部211は、通信インタフェース213、入力部214、表示部215、及びカメラ216を制御する。処理部211は、記憶部212に記憶されている画像データ、通信インタフェース213を介して取得した画像データ、カメラ216で撮像された画像データを、後述するように通信インタフェース213介して取得した画像切替信号に基づいて切り替える。処理部211は、切り替えた画像データを通信インタフェース213及びネットワーク230に出力する。処理部211は、記憶部212に記憶されているPC210に対応付けて記憶されているアバター画像データと、通信インタフェース223を介して取得した他の装置のアバター画像データ、および画像切替信号に基づいて切り替えた画像データを合成する。処理部211は、合成した画像データを表示部215に出力する。処理部211は、入力部214の操作に基づき、表示部215上に、カーソル画像、または線画画像を表示するように制御する。処理部211は、通信インタフェース213を介して取得した受信情報に基づき、表示部215上に、カーソル画像、または線画画像を表示するように制御する。
なお、以下、各装置に対応したアバターを、例えば、PC210のアバターという。
なお、以下、各装置に対応したアバターを、例えば、PC210のアバターという。
記憶部212は、例えば、メモリー、HDD(ハードディスク)である。記憶部212には、PC210のOS(オペレーション・システム)、HMD1、HMD500及びPC220と通話を行うためのアプリケーション、PC210のユーザーに対して予め設定されているアバター画像データ等が記憶されている。
通信インタフェース213は、例えば、無線LAN、または有線LAN、3G回線、LTE回線等の通信を行うインタフェースである。通信インタフェース213は、ネットワーク230を介して受信した情報を処理部211に出力する。通信インタフェース213は、処理部211が出力した情報を、ネットワーク230を介して、HMD1、HMD500、PC220、及びサーバー200に送信する。
入力部214は、例えば、キーボード、マウス、タブレットと操作ペン等である。入力部214は、入力された情報を、処理部211に出力する。なお、表示部215がタッチパネル機能を有する場合、表示部215は入力部214の機能を兼ねるようにしてもよい。
表示部215は、処理部211が出力した画像データに基づく画像を表示する。
一例として、表示部215には、HMD1が撮像した画像、HMD1のアバター、HMD500のアバター、PC220のアバター、PC210の入力部214の操作に応じた線画画像が合成されて表示される。
一例として、表示部215には、HMD1が撮像した画像、HMD1のアバター、HMD500のアバター、PC220のアバター、PC210の入力部214の操作に応じた線画画像が合成されて表示される。
カメラ216は、例えば500万画素〜1000万画素の撮像素子を有するCMOS(相補型金属酸化膜半導体)またはCCD(Charge Coupled Device)である。
次に、HMD1の動作について説明する。図23は、本実施形態に係るHMD1の電源オン状態後に行う動作のフローチャートである。
(ステップS1)処理部123は、HMD1のシステムの起動の完了を待って、システムの起動が完了したらステップS2に進む。なお、起動とは、メインスイッチ28が操作されてHMD1がコールドスタートする場合、ならびにHMD1が所定時間使われなかった場合などにスリープ状態に至り、その後、タッチスイッチ34などを操作された場合、ウォームスタートした場合などである。
(ステップS1)処理部123は、HMD1のシステムの起動の完了を待って、システムの起動が完了したらステップS2に進む。なお、起動とは、メインスイッチ28が操作されてHMD1がコールドスタートする場合、ならびにHMD1が所定時間使われなかった場合などにスリープ状態に至り、その後、タッチスイッチ34などを操作された場合、ウォームスタートした場合などである。
(ステップS2)処理部123は、ユーザーが左右、どちらの眼でHMD1の表示部60を観察しているか検出する処理(以下、左右の眼の検出処理という)を行う。なお、この「左右の眼の検出処理」の詳細な処理は、後述する。処理部123は、検出した結果に基づいて、表示部60に表示する画像の向きを切り替える。
(ステップS3)処理部123は、HMD1の表示部60が正しい装着位置に装着されるようにガイドを行う処理(以下、装着ガイドの処理という)を行う。なお、「装着ガイドの処理」の詳細な処理は、後述する。
(ステップS4)処理部123は、表示部60に表示されるアバター画像の表示処理(以下、アバターの表示処理という)、及びアバター画像の表情の生成処理(以下、アバターの表情処理という)を行う。なお、「アバターの表示処理、アバターの表情処理」の詳細な処理は後述する。
次に、「左右の眼の検出処理」手順について説明する。
図24は、本実施形態に係る左右の眼の検出処理手順のフローチャートである。
図24は、本実施形態に係る左右の眼の検出処理手順のフローチャートである。
(ステップS101)処理部123の制御部302は、加速度センサー132が検出した検出値において、Z軸方向の検出値が、X軸方向、Y軸方向より強いか否かを判別する。Z軸方向の検出値が、X軸方向、Y軸方向より強いと判別された場合(ステップS101;Yes)、ステップS102に進む。Z軸方向の検出値が、X軸方向、Y軸方向より強くないと判別された場合(ステップS101;No)、ステップS103に進む。
(ステップS102)Z軸方向の検出値が、X軸方向、Y軸方向より強いと判別された場合、表示部60は、図5(A)または図5(B)に示したような装着形態である。このため、制御部302は、加速度センサー132の検出値に基づいて、右眼観察形態であるか左眼観察形態であるのかを判別する。次に、制御部302は、判別した結果を示す情報を、アバター処理部304、及び画像切替部306に出力する。
(ステップS103)Z軸方向の検出値が、X軸方向、Y軸方向より強くないと判別された場合、ユーザーが寝ているか仰向けの状態であるため、制御部302は、撮像素子72を駆動する。
図25は、右眼観察形態の場合の撮像範囲Pの撮像画像の一例を説明する図である。図26は、左眼観察形態の場合の撮像範囲Pの撮像画像の一例を説明する図である。
制御部302は、観察形態を判別するために、図18で説明した撮像領域Pを使って、眼の周辺画像を撮像素子72により撮像する。例えば、撮像画像は、図5(A)に示した右眼観察形態で使用されるときの撮像画像(以下、第1右眼画像という)を基準としている。このため、図25に示すように、第1右眼画像610Rは、正立画像である。図25に示すように、第1右眼画像610Rでは、右眼の画像601R3に対して、右眉毛の画像602R3が+Z方向にある。
一方、図26に示すように、左眼観察形態で使用されるときの眼の周辺画像(以下、第1左眼画像という)610Lは、倒立画像である。図26に示すように、第1左眼画像610Lでは、左眼の画像601Lに対して、右眉毛の画像602Lが−Z方向にある。
図25は、右眼観察形態の場合の撮像範囲Pの撮像画像の一例を説明する図である。図26は、左眼観察形態の場合の撮像範囲Pの撮像画像の一例を説明する図である。
制御部302は、観察形態を判別するために、図18で説明した撮像領域Pを使って、眼の周辺画像を撮像素子72により撮像する。例えば、撮像画像は、図5(A)に示した右眼観察形態で使用されるときの撮像画像(以下、第1右眼画像という)を基準としている。このため、図25に示すように、第1右眼画像610Rは、正立画像である。図25に示すように、第1右眼画像610Rでは、右眼の画像601R3に対して、右眉毛の画像602R3が+Z方向にある。
一方、図26に示すように、左眼観察形態で使用されるときの眼の周辺画像(以下、第1左眼画像という)610Lは、倒立画像である。図26に示すように、第1左眼画像610Lでは、左眼の画像601Lに対して、右眉毛の画像602Lが−Z方向にある。
(ステップS104)図24に戻って、制御部302は、撮像画像に含まれるユーザーの片眼を含む領域の画像から眉毛の画像が抽出可能であるか否かを判別する。眉毛の画像が抽出可能であると判別された場合(ステップS104;Yes)、ステップS105に進む。例えば、表示部60が眼に近い場合、または化粧等によって眉毛の判別が難しい場合など、眉毛の画像を抽出ができないと判別された場合(ステップS104;No)、ステップS106に進む。なお、制御部302は、例えばパターンマッチングの技術を用いて、眉毛の画像を抽出する。なお、制御部302は、撮像画像からユーザーの片眼を含む領域の画像を抽出し、抽出したユーザーの片眼を含む領域の画像から眉毛の画像を抽出するようにしてもよい。
例えば、ユーザーが右眼観察形態で使用している場合、選択領域Q(図18(A)を参照)に撮像された画像は、図10に示すような画像になる。一方、ユーザーが左眼観察形態で使用している場合、選択領域R(図18(B)を参照)に撮像された画像は、図27に示すような画像になる。図27は、左眼観察形態における撮像画像の一例を説明する図である。なお、図27では、選択領域Rの画像を180度回転させて示してある。このため、図27の−Z側がユーザーの上側、+Z側がユーザーの下側、−X側がユーザーの左側、+X側がユーザーの右側となる。また、図27において、符号601L1は、左眼の画像であり、符号602L1は、左眉毛の画像である。
例えば、ユーザーが右眼観察形態で使用している場合、選択領域Q(図18(A)を参照)に撮像された画像は、図10に示すような画像になる。一方、ユーザーが左眼観察形態で使用している場合、選択領域R(図18(B)を参照)に撮像された画像は、図27に示すような画像になる。図27は、左眼観察形態における撮像画像の一例を説明する図である。なお、図27では、選択領域Rの画像を180度回転させて示してある。このため、図27の−Z側がユーザーの上側、+Z側がユーザーの下側、−X側がユーザーの左側、+X側がユーザーの右側となる。また、図27において、符号601L1は、左眼の画像であり、符号602L1は、左眉毛の画像である。
(ステップS105)眉毛の画像が撮像画像から抽出可能である場合、制御部302は、眉毛の画像と眼の画像との位置や、眉毛の形状から、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて、撮像画像が、ユーザーの右眼の画像であるか左眼の画像であるかを判別する。次に、制御部302は、判別した結果を示す情報を、アバター処理部304、及び画像切替部306に出力する。
例えば、図25に示したように、眼球の画像に対して眉毛の画像が、+Z方向にあると判別した場合、制御部302は、ユーザーが右眼で表示部60を観察している右眼観察形態であると判別する。一方、図26に示したように、眼球の画像に対して眉毛の画像が、−Z方向にあると判別した場合、制御部302は、ユーザーが左眼で表示部60を観察している左眼観察形態であると判別する。
このように、制御部302は、例えば、撮像画像に含まれるユーザーの片眼を含む領域の画像から眉毛の画像と眼球(眼)の画像を抽出し、抽出した眉毛の画像と眼球(眼)の画像との位置関係に基づいて、右眼観察形態と左眼観察形態とのうちいずれかであるかを判別する。そして、制御部302は、判別した結果に基づいて、表示部60に表示されている画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。例えば、制御部302は、右眼観察形態であると判別した場合、ユーザーは、表示部60に表示されている画像を右眼で観察していると認識する。なお、眉毛の画像と眼球(眼)の画像との位置関係とは、上述したように、眼球の画像に対して眉毛の画像が+Z方向にある位置関係、又は眼球の画像に対して眉毛の画像が−Z方向にある位置関係である。
例えば、図25に示したように、眼球の画像に対して眉毛の画像が、+Z方向にあると判別した場合、制御部302は、ユーザーが右眼で表示部60を観察している右眼観察形態であると判別する。一方、図26に示したように、眼球の画像に対して眉毛の画像が、−Z方向にあると判別した場合、制御部302は、ユーザーが左眼で表示部60を観察している左眼観察形態であると判別する。
このように、制御部302は、例えば、撮像画像に含まれるユーザーの片眼を含む領域の画像から眉毛の画像と眼球(眼)の画像を抽出し、抽出した眉毛の画像と眼球(眼)の画像との位置関係に基づいて、右眼観察形態と左眼観察形態とのうちいずれかであるかを判別する。そして、制御部302は、判別した結果に基づいて、表示部60に表示されている画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。例えば、制御部302は、右眼観察形態であると判別した場合、ユーザーは、表示部60に表示されている画像を右眼で観察していると認識する。なお、眉毛の画像と眼球(眼)の画像との位置関係とは、上述したように、眼球の画像に対して眉毛の画像が+Z方向にある位置関係、又は眼球の画像に対して眉毛の画像が−Z方向にある位置関係である。
(ステップS106)眉毛の画像が撮像画像から抽出可能ではない場合、制御部302は、瞬きでの瞼の挙動から、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて、ユーザーの右眼であるか左眼であるかを判別する。次に、制御部302は、判別した結果を示す情報を、アバター処理部304、及び画像切替部306に出力する。
例えば、瞬きは上瞼が動くことから、瞼が図10において+Z方向から−Z方向へ移動し、すぐに−Z方向から+Z方向へ戻った場合、制御部302は、ユーザーが右眼で表示部60を観察している右眼観察形態であると判別する。また、瞼の移動開始方向ならびに戻り方向がこの逆となった場合、制御部302は、ユーザーが左眼で表示部60を観察している左眼観察形態であると判別する。この場合、制御部302は、例えば複数のユーザーの片眼を含む領域の画像から各々、上瞼の画像を抽出し、抽出した各々の上瞼の画像に基づいて、表示部60に表示されている画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。
以上のように、本実施形態によれば、ユーザーが横方向に寝ている様な場合にも、加速度センサー132が検出した重力の方向にたよらずに、眉毛や瞼の動きを検出することでユーザーが観察している眼の方向を判別できる。
例えば、瞬きは上瞼が動くことから、瞼が図10において+Z方向から−Z方向へ移動し、すぐに−Z方向から+Z方向へ戻った場合、制御部302は、ユーザーが右眼で表示部60を観察している右眼観察形態であると判別する。また、瞼の移動開始方向ならびに戻り方向がこの逆となった場合、制御部302は、ユーザーが左眼で表示部60を観察している左眼観察形態であると判別する。この場合、制御部302は、例えば複数のユーザーの片眼を含む領域の画像から各々、上瞼の画像を抽出し、抽出した各々の上瞼の画像に基づいて、表示部60に表示されている画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。
以上のように、本実施形態によれば、ユーザーが横方向に寝ている様な場合にも、加速度センサー132が検出した重力の方向にたよらずに、眉毛や瞼の動きを検出することでユーザーが観察している眼の方向を判別できる。
(ステップS107)ステップS106までの判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合、制御部302は、撮像素子72が撮像した撮像領域Pから選択領域Qを選択し、ステップS108へ進む。一方、ユーザーが左眼観察形態で使用していると判別された場合、制御部302は、撮像領域Pから選択領域Rを選択し、ステップS108へ進む。
(ステップS108)ステップS106までの判別結果に基づいて、右眼観察形態であると判別された場合、画像切替部306は、表示部60の表示方向を右眼用に設定する。また、ステレオイヤホン100が接続されている場合、音声調整部305は、第1スピーカー103を右耳用に、第2スピーカー104を左耳用になるようステレオ音声出力の左右を設定する。
一方、左眼観察形態であると判別された場合、画像切替部306は、表示部60の表示方向を左眼用に設定する。なお、左眼用の表示方向とは、右眼用の表示顔面を180度回転させて上下反転させる方向である。また、ステレオイヤホン100が接続されている場合、音声調整部305は、第1スピーカー103を左耳用に、第2スピーカー104を右耳用になるようステレオ音声出力の左右を設定する。
このように、本実施形態に係るHMD1によれば、ユーザーの片眼を含む領域の画像に基づいて認識された観察形態に応じて表示角度を切り替えることで、ユーザーの姿勢がいかようにあっても、表示部60とユーザーの眼との関係に応じて、表示部60に表示する画像の表示方向を適切に制御できる。
一方、左眼観察形態であると判別された場合、画像切替部306は、表示部60の表示方向を左眼用に設定する。なお、左眼用の表示方向とは、右眼用の表示顔面を180度回転させて上下反転させる方向である。また、ステレオイヤホン100が接続されている場合、音声調整部305は、第1スピーカー103を左耳用に、第2スピーカー104を右耳用になるようステレオ音声出力の左右を設定する。
このように、本実施形態に係るHMD1によれば、ユーザーの片眼を含む領域の画像に基づいて認識された観察形態に応じて表示角度を切り替えることで、ユーザーの姿勢がいかようにあっても、表示部60とユーザーの眼との関係に応じて、表示部60に表示する画像の表示方向を適切に制御できる。
なお、ステップS101〜S106において、右眼観察形態であるか否かを、加速度センサー132の検出値、撮像画像から抽出したユーザーの片眼を含む領域の画像に基づいて判別する例を説明したが、右眼観察形態であるか否かの判定方法は、これに限られない。
例えば、HMD1は、ディスプレイ本体20に取り付けられている不図示のスイッチ等により検出するようにしてもよい。むろんユーザーが、手動で右眼観察形態または左眼観察形態に設定してもよい。
例えば、HMD1は、ディスプレイ本体20に取り付けられている不図示のスイッチ等により検出するようにしてもよい。むろんユーザーが、手動で右眼観察形態または左眼観察形態に設定してもよい。
なお、図26では、ユーザーの片眼を含む領域の画像から抽出された眉毛の画像と眼の画像との位置関係、または瞬きに応じた瞼の挙動に基づいて表示部60に表示された画像を観察している眼を認識する例を説明したがこれに限られない。制御部302は、眉毛の画像と眼の画像との位置関係を示す情報と、瞬きでの瞼の挙動との両方の情報に基づいて、表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識するようにしてもよい。また、制御部302は、ユーザーの片眼を含む領域の画像に基づいて眼の形状から表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識してもよい。この場合、制御部302は、例えば抽出した眼の画像において、目尻又は目頭が左右どちら側に位置しているかを、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて判別する。そして、制御部302は、判別した結果に基づいて表示部60に表示された画像を観察している眼を認識する。また、制御部302は、ユーザーの片眼を含む領域の画像から二重瞼の画像が抽出できた場合、抽出した二重瞼の画像と、瞳の画像との位置関係に基づいて、表示部60に表示された画像を観察している眼を認識するようにしてもよい。
次に、「装着ガイドの処理」手順について説明を行う。
図28は、本実施形態に係るHMD1の装着ガイドの処理手順のフローチャートである。なお、以下の説明では、表示パネル63を、LCD63と称する。この処理は、ユーザーがHMD1を使用、LCD63の表示が行われているときに、適宜この処理を行って、ユーザーにLCD63のずれを補正するように注意を促しても良い。あるいは、タッチスイッチ34等の操作により、位置合わせを行うようユーザーが指示したときに行うようにしてもよい。
図28は、本実施形態に係るHMD1の装着ガイドの処理手順のフローチャートである。なお、以下の説明では、表示パネル63を、LCD63と称する。この処理は、ユーザーがHMD1を使用、LCD63の表示が行われているときに、適宜この処理を行って、ユーザーにLCD63のずれを補正するように注意を促しても良い。あるいは、タッチスイッチ34等の操作により、位置合わせを行うようユーザーが指示したときに行うようにしてもよい。
本実施形態では、図17(A)及び図17(B)で説明したように、ユーザーの眼の斜め下に撮像素子72を備えている表示部60が配置される。このため、撮像素子72は、図16に示したように、ユーザーの眼の周りの画像を斜め下から撮像する。しかしながら、表示部60と眼との間隔が適切でない場合、及び表示部60の画面中心と眼の中心とがずれている場合、ユーザーはLCD63に表示されている画像を適切に観測できない。このため、本実施形態では、制御部302が、撮像素子72が撮像した画像に基づいて、ユーザーの眼の位置に対して表示部60の位置がずれていることを検出して、ユーザーにアナウンスする。なお、制御部302は、表示部60の位置に対してユーザーの眼の位置がずれているか否かの判別を、撮像画像から選択した選択領域(画像領域)Q又はRの画像を用いて行ってもよく、または撮像画像に含まれるユーザーの片眼を含む領域の画像を用いて行ってもよい。以下の説明では、制御部302が、撮像画像から選択した選択領域Q又はRの画像を用いて、表示部60の位置に対してユーザーの眼の位置がずれているか否かの判別を行う例を説明する。このため、以下の説明において、撮像画像とは、ステップS107(図24参照)において選択された選択領域Q又はRの画像である。
(ステップS201)制御部302は、例えば、パターンマッチングの技術を用いて、眼の画像を抽出する。制御部302は、「左右の眼の検出処理」の判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合(ステップS201;Yes)、ステップS202へ進み、ユーザーが左眼観察形態で使用していると判別された場合(ステップS201;No)、ステップS214へ進む。
(ステップS202)制御部302は、撮像画像(例えば、図10を参照)に基づいて、ユーザーの眼の位置が+X方向にずれているか否かの判別を行う。ユーザーの眼の位置が+X方向にずれていると判別された場合(ステップS202;Yes)、ステップS203に進む。ユーザーの眼の位置が+X方向にずれていないと判別した場合(ステップS202;No)、ステップS204に進む。
(ステップS203)ユーザーの眼の位置が+X方向にずれていると判別された場合、ユーザーの眼に対して表示部60が、ユーザーの右側にずれていることになる。このため、このような場合、処理部123は、ユーザーへ表示部60をユーザーの左側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
(ステップS204)制御部302は、撮像画像に基づいて、ユーザーの眼の位置が−X方向にずれているか否かを判別する。ユーザーの眼の位置が−X方向にずれていると判別された場合(ステップS204;Yes)、ステップS205に進む。ユーザーの眼の位置が−X方向にずれていないと判別された場合(ステップS204;No)、ステップS206に進む。
(ステップS205)ユーザーの眼の位置が−X方向にずれていると判別された場合、処理部123は、ユーザーへ表示部60をユーザーの右側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
(ステップS206)制御部302は、撮像画像に基づいて、ユーザーの眼の位置が+Z方向にずれているか否かを判別する。ユーザーの眼が+Z方向にずれていると判別された場合(ステップS206;Yes)、ステップS207に進む。ユーザーの眼の位置が+Z方向にずれていないと判別された場合(ステップS206;No)、ステップS208に進む。
(ステップS207)ユーザーの眼の位置が+Z方向にずれていると判別された場合、処理部123は、ユーザーへ表示部60をユーザーの上側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
(ステップS208)制御部302は、撮像画像に基づいて、ユーザーの眼の位置が−Z方向にずれている否かを判別する。ユーザーの眼の位置が−Z方向にずれていると判別された場合(ステップS208;Yes)、ステップS209に進む。ユーザーの眼の位置が+Z方向にずれていないと判別された場合(ステップS208;No)、ステップS210に進む。
(ステップS209)ユーザーの眼の位置が−Z方向にずれていると判別された場合、処理部123は、ユーザーへ表示部60をユーザーの下側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
(ステップS210)制御部302は、撮像画像に基づいて、ユーザーの眼の画像が所定の大きさより大きいか否かを判別する。ユーザーの眼の画像が所定の大きさより大きいと判別された場合(ステップS210;Yes)、ステップS211に進む。ユーザーの眼の画像が所定の大きさより大きくないと判別された場合(ステップS210;No)、ステップS212に進む。例えば、制御部302は、眼の画像を抽出し、抽出した画像に基づいて、眼の幅を抽出する。制御部302は、抽出した眼の幅が所定の大きさより大きいか否かを判別する。
(ステップS211)ユーザーの眼の画像が所定の大きさより大きいと判別された場合、ユーザーの眼が表示部60に近すぎると推定されるので、処理部123は、表示部60を眼から離すように耳元スピーカー23からアナウンスを行う。
(ステップS212)制御部302は、撮像画像に基づいて、ユーザーの眼の画像が所定の大きさより小さいか否かを判別する。ユーザーの眼の画像が所定の大きさより小さいと判別された場合(ステップS212;Yes)、ステップS213に進む。ユーザーの眼の画像が所定の大きさより小さくないと判別された場合(ステップS212;No)、装着状態の判定処理を終了する。
(ステップS213)ユーザーの眼の画像が所定の大きさより小さいと判別された場合、ユーザーの眼が表示部60から遠すぎると推定されるので、処理部123は、表示部60を眼に近づけるように耳元スピーカー23からアナウンスを行う。
(ステップS214)ユーザーが左眼観察形態で使用していると判別された場合、制御部302は、撮像画像(例えば、図27を参照)に基づいて、ユーザーの眼の位置が+X方向にずれているか否かの判別を行う。ユーザーの眼の位置が+X方向にずれていると判別された場合(ステップS214;Yes)、ステップS215に進む。ユーザーの眼の位置が+X方向にずれていないと判別された場合(ステップS214;No)、ステップS216に進む。
(ステップS215)ユーザーの眼の位置が+X方向にずれていると判別された場合、ユーザーの眼に対して表示部60が、ユーザーの左側にずれていることになる。このため、このような場合、処理部123は、ユーザーへ表示部60をユーザーの右側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
(ステップS216)制御部302は、撮像画像に基づいて、ユーザーの眼の位置が−X方向にずれているか否かを判別する。ユーザーの眼の位置が−X方向にずれていると判別された場合(ステップS216;Yes)、ステップS217に進む。ユーザーの眼の位置が−X方向にずれていないと判別された場合(ステップS216;No)、ステップS218に進む。
(ステップS217)ユーザーの眼の位置が−X方向にずれていると判別された場合、処理部123は、ユーザーへ表示部60をユーザーの左側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
(ステップS218)制御部302は、撮像画像に基づいて、ユーザーの眼の位置が+Z方向にずれているか否かを判別する。ユーザーの眼の位置が+Z方向にずれていると判別された場合(ステップS218;Yes)、ステップS219に進む。ユーザーの眼の位置が+Z方向にずれていないと判別された場合(ステップS218;No)、ステップS220に進む。
(ステップS219)ユーザーの眼の位置が+Z方向にずれていると判別された場合、処理部123は、ユーザーへ表示部60をユーザーの下側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
(ステップS220)制御部302は、撮像画像に基づいて、ユーザーの眼の位置が−Z方向にずれている否かを判別する。ユーザーの眼の位置が−Z方向にずれていると判別された場合(ステップS220;Yes)、ステップS221に進む。ユーザーの眼の位置が+Z方向にずれていないと判別された場合(ステップS220;No)、ステップS210に進む。
(ステップS221)ユーザーの眼の位置が−Z方向にずれていると判別された場合、処理部123は、ユーザーへ表示部60をユーザーの上側にずらすように、例えば耳元スピーカー23からアナウンスを行う。
ステップS221処理後、処理部123は、ステップS211からS213を行い、HMD1の装着ガイドの処理を終了する。
なお、オーディオコネクター26にステレオイヤホン100が接続されている場合、処理部123は、接続されているステレオイヤホン100からアナウンスを行う。
ステップS221処理後、処理部123は、ステップS211からS213を行い、HMD1の装着ガイドの処理を終了する。
なお、オーディオコネクター26にステレオイヤホン100が接続されている場合、処理部123は、接続されているステレオイヤホン100からアナウンスを行う。
次に、アバターの表示処理について説明する。
図29は、本実施形態に係るアバターの表示処理の一例を示すフローチャートである。なお、以下の説明において、撮像画像とは、ステップS107(図24参照)において選択された選択領域Q又はRの画像である。また、以下の処理は、HMD1のユーザーが、通信相手と通信する場合を説明する。通信相手は、例えば図22で説明したHMD500のユーザー、PC210のユーザー、PC220のユーザーである。
図29は、本実施形態に係るアバターの表示処理の一例を示すフローチャートである。なお、以下の説明において、撮像画像とは、ステップS107(図24参照)において選択された選択領域Q又はRの画像である。また、以下の処理は、HMD1のユーザーが、通信相手と通信する場合を説明する。通信相手は、例えば図22で説明したHMD500のユーザー、PC210のユーザー、PC220のユーザーである。
(ステップS301)HMD1のユーザーは、タッチスイッチ34を操作して、相手端末の呼び出しを行う。
(ステップS302)HMD1のアバター処理部304は、図30に示すように、呼び出している通信相手に対するアバター画像、及び呼び出し中の画像を、画像切替部306に出力してLCD63に表示する。以下の説明において、アバター処理部304が、アバター画像データ、及びアバター画像の表情を示す情報を、画像切替部306に出力し、画像表示部307がこれらの画像情報に基づいて、アバター画像をLCD63に表示することを、「アバター処理部304が、アバター画像をLCD63に表示する」という。
図30は、本実施形態に係る通信相手を呼び出し中に表示される画像の一例を説明する図である。図30において、画像400には、画像401〜403、及び画像451〜453が含まれている。画像401〜403は、通信相手の各アバター画像である。画像451〜453は、呼び出し中を示す画像であり、図30に示した例では、「ベル」の形で表している。図30に示した例は、HMD1のユーザーは、アバター画像401〜403に対応する端末を利用している3人の通信相手を呼び出している例である。なお、呼び出し中においては、各通信相手の位置情報を取得できていないため、アバター処理部304は、各通信相手のアバターの表示位置を、予め定められている順番に、配置して表示するようにしてもよい。また、図30に示した例では、アバター画像(401〜403)、及び呼び出し中の画像(451〜453)は、画像400の上部に表示されている例を示したが、これに限られない。例えば、LCD63に表示されている他の画像(例えば、カメラ64により撮像された画像)に応じて、画像400の下に並べて表示、右位置に縦に並べて表示、左位置に縦に並べて表示するようにしてもよい。また、アバター画像、及び呼び出し中の画像は、カラーであっても白黒であってもよい。
また、図30に示した例では、呼び出し中の画像(451〜453)を、アバター画像(401〜403)の右に表示する例を示したが、呼び出し中の画像(451〜453)は、左、上、下等に表示するようにしてもよい。さらに、呼び出し中の画像(451〜453)は、静止画であってもアニメーションであってもよい。
また、図30に示した例では、発信元のアバター画像を表示しない例を示したが、発信元のアバターも表示してもよい。
図30は、本実施形態に係る通信相手を呼び出し中に表示される画像の一例を説明する図である。図30において、画像400には、画像401〜403、及び画像451〜453が含まれている。画像401〜403は、通信相手の各アバター画像である。画像451〜453は、呼び出し中を示す画像であり、図30に示した例では、「ベル」の形で表している。図30に示した例は、HMD1のユーザーは、アバター画像401〜403に対応する端末を利用している3人の通信相手を呼び出している例である。なお、呼び出し中においては、各通信相手の位置情報を取得できていないため、アバター処理部304は、各通信相手のアバターの表示位置を、予め定められている順番に、配置して表示するようにしてもよい。また、図30に示した例では、アバター画像(401〜403)、及び呼び出し中の画像(451〜453)は、画像400の上部に表示されている例を示したが、これに限られない。例えば、LCD63に表示されている他の画像(例えば、カメラ64により撮像された画像)に応じて、画像400の下に並べて表示、右位置に縦に並べて表示、左位置に縦に並べて表示するようにしてもよい。また、アバター画像、及び呼び出し中の画像は、カラーであっても白黒であってもよい。
また、図30に示した例では、呼び出し中の画像(451〜453)を、アバター画像(401〜403)の右に表示する例を示したが、呼び出し中の画像(451〜453)は、左、上、下等に表示するようにしてもよい。さらに、呼び出し中の画像(451〜453)は、静止画であってもアニメーションであってもよい。
また、図30に示した例では、発信元のアバター画像を表示しない例を示したが、発信元のアバターも表示してもよい。
(ステップS303)図29に戻って、制御部302は、通信相手がHMD1からの呼び出しに応じて、新規に通話に参加したことを検出する。通信相手が新規に通話に参加したことが検出できた場合(ステップS303;Yes)、ステップS304に進む。通話に参加したことが検出できない場合(ステップS303;No)、ステップS305に進む。
(ステップS304)通信相手が新規に通話に参加したことが検出できた場合、制御部302は、参加を検出できた相手端末を示す情報をアバター処理部304に出力する。図31に示すように、アバター処理部304は、相手端末を示す情報に基づいて、通話に参加した相手端末に対応する呼び出し中の画像を消去する。
図31は、本実施形態に係る通信相手が通話に参加したときの表示の一例の図である。図31において、画像400aには、アバター画像401〜403、及び呼び出し中の画像452及び453が含まれている。図31に示した例では、アバター画像401に対応する通信相手が通話に参加し、アバター画像402及び403に対応する通信相手が通話に参加していない場合を表している。図31に示すように、アバター画像401に対応する通信相手が通話に参加したため、画像400aから、アバター画像401に対応する呼び出し中の画像451が消去されている。
図31は、本実施形態に係る通信相手が通話に参加したときの表示の一例の図である。図31において、画像400aには、アバター画像401〜403、及び呼び出し中の画像452及び453が含まれている。図31に示した例では、アバター画像401に対応する通信相手が通話に参加し、アバター画像402及び403に対応する通信相手が通話に参加していない場合を表している。図31に示すように、アバター画像401に対応する通信相手が通話に参加したため、画像400aから、アバター画像401に対応する呼び出し中の画像451が消去されている。
(ステップS305)図29に戻って、通信相手が新規に通話に参加したことが検出できない場合、またはステップS304終了後、制御部302は、呼び出した通信相手のうち、少なくとも1人が通話に参加したか否かを判別する。1人も通話に参加していない場合(ステップS305;No)、ステップS303に戻る。少なくとも1人が通話に参加している場合(ステップS305;Yes)、ステップS306に進む。
(ステップS306)アバター処理部304は、他の端末から受信した情報から位置情報を抽出する。
(ステップS307)アバター処理部304は、抽出した位置情報に基づいて、呼び出しを行っている通信相手のアバター画像の配置位置を、1次元で修正する。なお、1次元で修正とは、例えば、図32に示した例では、初期状態(図30参照)において、右から左に並べられて表示されているアバター画像401〜403の配置の順番を、位置情報に基づいて入れ替えることである。
図32は、本実施形態に係るアバターを再配置した後の表示の一例の図である。図32において、画像400bには、アバター画像401〜403、及び付加情報アイコンの画像461が含まれている。図32に示した例では、呼び出したアバター画像401〜403が、全て通話に参加したため、図30で表示されていた呼び出し中の画像(451〜453)が全て消去されている。また、図32に示した例では、アバター画像402及び403に対応する通信相手の位置情報が取得でき、アバター画像401に対応する通信相手の位置情報が取得できていない場合を示している。この場合、アバター画像402に対応する位置情報における経度の方が、アバター画像403の位置情報における経度よりHMD1に対して相対的に東であったため、アバター画像402を一番右に配置し、アバター画像403を真ん中に配置している。また、アバター画像401の位置情報が取得できなかったため、アバター画像401に対して付加情報として画像461を付加して表示する。図32に示した例では、位置情報が不明のため、付加情報アイコン461として「?」を表示している。
なお、位置情報の不明なアバター画像が複数あった場合には、所定の順序、例えば左側から順に表示される。また、図32に示した例のように、位置情報を取得できているアバター画像を、右から順に配置し、位置情報を取得できていないアバター画像をその次に配置するようにしてもよい。
また、図32に示した例では、HMD1のユーザーが使用しているLCD63には、自分のアバター画像は表示されていない。従って、表示されるアバター画像の位置は、HMD1のユーザーの位置と通信相手との相対位置によって変化するので、全てのユーザーが使用する端末のLCD、または表示部に表示される表示が、端末ごとにすべて異なったものとなっている。
なお、位置情報の不明なアバター画像が複数あった場合には、所定の順序、例えば左側から順に表示される。また、図32に示した例のように、位置情報を取得できているアバター画像を、右から順に配置し、位置情報を取得できていないアバター画像をその次に配置するようにしてもよい。
また、図32に示した例では、HMD1のユーザーが使用しているLCD63には、自分のアバター画像は表示されていない。従って、表示されるアバター画像の位置は、HMD1のユーザーの位置と通信相手との相対位置によって変化するので、全てのユーザーが使用する端末のLCD、または表示部に表示される表示が、端末ごとにすべて異なったものとなっている。
(ステップS308)図29に戻って、ステップS307において、通信相手の位置情報が取得できない場合、アバター処理部304は、通話に参加した順番に、アバター画像をLCD63に表示する。この場合、例えば、通話に参加した順番に、右から表示するようにしてもよい。
(ステップS309)音声調整部305は、ステップS307で修正された各通信相手の位置情報に基づいて、ステレオイヤホン100に出力する音声信号の左右のバランスを調整する。
表示部60がユーザーの右眼側に配置され、第1スピーカー103が右耳に、第2スピーカー104が左耳に対応するようになっている場合、音声調整部305は、例えば図32においてアバター画像402に対応する音声を、HMD1のユーザーの右側に配置された第1スピーカー103からは80%の音量で出力するようにしてもよい。そして、音声調整部305は、左側の第2スピーカー104からは20%の音量で出力するようにしてもよい。また、音声調整部305は、中央に表示されているアバター画像403に対応する端末からの音声を、左右の第1、第2スピーカー(103、104)ともに50%の音量で出力するようにしてもよい。また、音声調整部305は、左端のアバター画像401に対応する端末からの音声を、第1スピーカー103からは20%の音量で出力し、左側の第2スピーカー104から80%の音量で出力するようにしてもよい。
このことで、本実施形態に係るHMD1によれば、視覚的なアバター画像の位置情報と、聴覚的なアバター画像に対応する端末からの音声の左右のバランスが一致していることにより、複数からの端末からの音声を視覚・聴覚的に適切に聞き分けることが可能となる。そして、本実施形態に係るHMD1によれば、例えば音質が似ている複数の音声も視覚・聴覚情報によってアバターの位置と音声のバランスがことなることにより、正しく異なる音声として認識することが可能となる。
また、本実施形態に係るHMD1は、アバターの表示を上下に行う場合、他の端末の緯度に従ってアバター画像の上下位置を決定するようにしてもよい。この場合、本実施形態に係るHMD1は、上に配置されたアバター画像に対応する端末からの音声は上から聞こえるように音声処理し、下のアバター画像に対応する端末からの音声は下から聞こえるように公知の音響処理技術によって音声処理するようにしてもよい。
このことで、本実施形態に係るHMD1によれば、視覚的なアバター画像の位置情報と、聴覚的なアバター画像に対応する端末からの音声の左右のバランスが一致していることにより、複数からの端末からの音声を視覚・聴覚的に適切に聞き分けることが可能となる。そして、本実施形態に係るHMD1によれば、例えば音質が似ている複数の音声も視覚・聴覚情報によってアバターの位置と音声のバランスがことなることにより、正しく異なる音声として認識することが可能となる。
また、本実施形態に係るHMD1は、アバターの表示を上下に行う場合、他の端末の緯度に従ってアバター画像の上下位置を決定するようにしてもよい。この場合、本実施形態に係るHMD1は、上に配置されたアバター画像に対応する端末からの音声は上から聞こえるように音声処理し、下のアバター画像に対応する端末からの音声は下から聞こえるように公知の音響処理技術によって音声処理するようにしてもよい。
(ステップS310)図29に戻って、音声調整部305は、通話に参加している通信相手からの各音声信号のレベルを検出する。検出した音声レベルが、予め定められている閾値より大きい場合、すなわち音声情報が周囲の雑音ではなく端末使用者の発話による音声であると判別される場合、音声調整部305は、アバター画像の口元を動かすアニメーションを表示することを示す情報をアバター処理部304に出力する。アバター処理部304は、音声調整部305から出力された情報に基づいて、アバター画像の表情を変化させる。このことで、そのアバター画像に対応する端末からの音声であることがより判りやすくなる。
(ステップS311)通信相手の端末が、前述したHMD500のようにカメラ564を有し、ユーザーの片眼を含む領域の画像(撮像画像)を、HMD1に送信できる場合、アバター処理部304は、受信した画像に基づいて通信相手に対応するアバター画像の表情を、アニメーションを用いて変化させる。
例えば、アバター処理部304は、通信相手の目元の画像が笑っている画像であれば、通信相手に対応するアバター画像の表情も笑い、また通信相手の目元の画像が困っている画像であれば、通信相手に対応するアバター画像も困惑の表情を示すように表示するように制御する。また、通信相手の端末がHMD500の場合、HMD1のアバター処理部304は、HMD500から受信した情報に含まれる表情情報に基づいて、HMD500に対応するアバター画像の眼(眼球)の動きに連動させるようにしてもよい。なお、ステップS310、及びS311で行うアバター画像の表情の処理、及び表情情報については、後述する。
例えば、アバター処理部304は、通信相手の目元の画像が笑っている画像であれば、通信相手に対応するアバター画像の表情も笑い、また通信相手の目元の画像が困っている画像であれば、通信相手に対応するアバター画像も困惑の表情を示すように表示するように制御する。また、通信相手の端末がHMD500の場合、HMD1のアバター処理部304は、HMD500から受信した情報に含まれる表情情報に基づいて、HMD500に対応するアバター画像の眼(眼球)の動きに連動させるようにしてもよい。なお、ステップS310、及びS311で行うアバター画像の表情の処理、及び表情情報については、後述する。
図33は、本実施形態に係るアバター画像の口元及び目線をアニメーションで表示する例の図である。図33において、画像400cには、アバター画像401、402、403a、及び付加情報アイコンの画像461が含まれている。図33に示した例では、図32に示したアバター画像403と異なっている。図33に示した例では、アバター画像403aに対応する通信相手から受信した音声信号が、予め定められているレベルより大きいと判別されたため、アバター画像403aの口元をアニメーションで表示している。また、図33に示した例では、撮像画像に基づいて、アバター画像403aに対応するユーザーの目線が動いていると判別されたため、アバター画像403aの目線をアニメーションで表示している。
図33に示したように、発話している相手のアバター画像の口元等をアニメーションで表示することで、そのアバター画像に対応する端末からの音声であることがより判りやすくなる。また、目線もアニメーションで表示した場合、アバター画像の表情の変化を示すことができるため、HMD1のユーザーにとって情報の取得が容易になる。例えば、これらの表情を示す情報に基づいて、HMD1のユーザーは、通信相手が、自分の話を理解しているのか、何に興味を示しているのか等を推定することができる。
図33に示したように、発話している相手のアバター画像の口元等をアニメーションで表示することで、そのアバター画像に対応する端末からの音声であることがより判りやすくなる。また、目線もアニメーションで表示した場合、アバター画像の表情の変化を示すことができるため、HMD1のユーザーにとって情報の取得が容易になる。例えば、これらの表情を示す情報に基づいて、HMD1のユーザーは、通信相手が、自分の話を理解しているのか、何に興味を示しているのか等を推定することができる。
(ステップS312)図29に戻って、制御部302は、音声および撮像画像に基づく表情情報、または撮像画像を、他の端末に送付する。すなわち、アバター処理部304は、HMD1における通話マイク37が集音したユーザーの音声信号のレベルが、予め定められている閾値より大きいか否かを判別する。次に、アバター処理部304は、判別した結果に基づいてアバター画像の表情を変化させるアバター画像データを生成し、生成したアバター画像データを送受信部308に出力する。他の端末は、HMD1から受信したアバター画像データに基づいて、HMD1に対応するアバター画像の表情を変化させる。
(ステップS313)制御部302は、通話に参加している通信相手が通話を終了したか否かを判別する。通信相手が通話を終了していないと判別した場合(ステップS313;No)、ステップS303に戻り、ステップS303〜S313を繰り返す。通信相手が通話を終了したと判別した場合(ステップS313;Yes)、ステップS314に進む。
(ステップS314)通信相手が通話を終了したと判別した場合、アバター処理部304は、通話を終了した通信相手に対応するアバター画像、及び付加情報を示す画像を、LCD63の表示から消去する。次に、処理部123は、通話に残っている通信相手に対応するアバター画像の配置を修正する。
図34は、本実施形態に係る通信相手が1人、図33の状態から抜けた場合の表示の例を説明する図である。図34において、画像400dには、アバター画像402及び403が含まれている。図34に示した例では、図33に対して、アバター画像401が消去され、さらに、通話に参加している通信相手に対応するアバター画像402及び403の配置が修正された後の画像である。なお、図34においても、アバター画像402と403との配置は、HMD1の位置に対して、相対的に東に位置している通信相手に対応するアバター画像から順に、右から配置している。
さらに、図34のように、アバター画像401に対応する通信相手が一度、通話から抜けた後、このセッションが継続している期間に、再度、通話に参加した場合について説明する。この場合、アバター処理部304は、通話に参加した通信相手に対応するアバター画像401を、再度、追加して、3つのアバター画像を再配置して表示する。
すなわち、アバター処理部304は、通話への参加状態(通話参加か、通話から抜けたか)に基づいて、アバター画像の追加、または削除を行う。
図34は、本実施形態に係る通信相手が1人、図33の状態から抜けた場合の表示の例を説明する図である。図34において、画像400dには、アバター画像402及び403が含まれている。図34に示した例では、図33に対して、アバター画像401が消去され、さらに、通話に参加している通信相手に対応するアバター画像402及び403の配置が修正された後の画像である。なお、図34においても、アバター画像402と403との配置は、HMD1の位置に対して、相対的に東に位置している通信相手に対応するアバター画像から順に、右から配置している。
さらに、図34のように、アバター画像401に対応する通信相手が一度、通話から抜けた後、このセッションが継続している期間に、再度、通話に参加した場合について説明する。この場合、アバター処理部304は、通話に参加した通信相手に対応するアバター画像401を、再度、追加して、3つのアバター画像を再配置して表示する。
すなわち、アバター処理部304は、通話への参加状態(通話参加か、通話から抜けたか)に基づいて、アバター画像の追加、または削除を行う。
(ステップS315)図29に戻って、制御部302は、通信相手が通話に残っているか否かを判別する。通信相手が通話に残っている場合(ステップS315;Yes)、ステップS303に戻り、ステップS303〜S315を繰り返す。通信相手が通話に残っていない場合(ステップS315:No)、ステップS316に進む。
(ステップS316)通信相手が通話に残っていない場合、全ての通信相手が通話を終了したため、制御部302は、LCD63に通話が終了したメッセージを文字表示、アイコン表示等で表示する。または、制御部302は、通話終了を、音声で再生するようにしてもよい。
以上のように、本実施形態によれば、通信相手の端末の位置情報(緯度、経度)に基づいた位置にアバター画像が表示され、さらにアバターの位置に応じて左右の音声のバランスも切り替わり、アバター画像の位置に応じた音声が聞こえてくるので、良好なコミュニケーションを取ることができる。
次に、アバターの表情処理について説明する。
ステップS310及びS311において、アバター処理部304は、通信相手のアバターの表情処理を、通信相手から受信した画像データ、音声データ、及び表情情報に基づいて行う。例えば、通信相手の端末がHMD500(図22)であり、HMD500の処理部523がHMD1の処理部123と同様の構成の場合、処理部523は、HMD500のユーザーに対応する表情情報を生成して、生成した表情情報をHMD1に送信するようにしてもよい。
通信相手の端末から表情情報を受信できなかった場合、アバター処理部304は、通信相手の端末から受信した画像データから通信相手の片眼を含む領域の画像を検出し、検出した画像に基づいて「左右の眼の検出処理」と同様の処理を行う。ただし、この場合、左右の眼の画像データは、通信相手が使用している端末によっては図25及び図26に示したように、上下が反転していない場合もある。この場合、アバター処理部304は、片眼を含む領域の画像が通信相手の左眼を含む領域の画像であると判別した場合、この片眼を含む領域の画像を図26のように上下反転させ、上限反転させた画像を用いて「左右の眼の検出処理」及び通信相手の表情の判定を行うようにしてもよい。または、アバター処理部304は、例えば図24のステップS106で説明したように、瞬きでの瞼の挙動から通信相手から受信した画像データが、通信相手の右眼であるか左眼であるかを判別する。
なお、通信相手から受信した画像データに、右眼と左眼の両方の領域が含まれている場合、アバター処理部304は、どちらか1つの眼が含まれる領域の画像を抽出し、抽出した画像に基づいて「左右の眼の検出処理」と同様の処理を行うようにしてもよい。
ステップS310及びS311において、アバター処理部304は、通信相手のアバターの表情処理を、通信相手から受信した画像データ、音声データ、及び表情情報に基づいて行う。例えば、通信相手の端末がHMD500(図22)であり、HMD500の処理部523がHMD1の処理部123と同様の構成の場合、処理部523は、HMD500のユーザーに対応する表情情報を生成して、生成した表情情報をHMD1に送信するようにしてもよい。
通信相手の端末から表情情報を受信できなかった場合、アバター処理部304は、通信相手の端末から受信した画像データから通信相手の片眼を含む領域の画像を検出し、検出した画像に基づいて「左右の眼の検出処理」と同様の処理を行う。ただし、この場合、左右の眼の画像データは、通信相手が使用している端末によっては図25及び図26に示したように、上下が反転していない場合もある。この場合、アバター処理部304は、片眼を含む領域の画像が通信相手の左眼を含む領域の画像であると判別した場合、この片眼を含む領域の画像を図26のように上下反転させ、上限反転させた画像を用いて「左右の眼の検出処理」及び通信相手の表情の判定を行うようにしてもよい。または、アバター処理部304は、例えば図24のステップS106で説明したように、瞬きでの瞼の挙動から通信相手から受信した画像データが、通信相手の右眼であるか左眼であるかを判別する。
なお、通信相手から受信した画像データに、右眼と左眼の両方の領域が含まれている場合、アバター処理部304は、どちらか1つの眼が含まれる領域の画像を抽出し、抽出した画像に基づいて「左右の眼の検出処理」と同様の処理を行うようにしてもよい。
ステップS312において、アバター処理部304は、HMD1のユーザーに対する表情の判別を、撮像画像及びユーザーの音声に基づいて行う。そして、アバター処理部304は、判別した結果に基づいて表情情報を生成して、生成した表情情報を通信相手の端末に送信する。
ここでまず、図29のステップS310〜S312において、アバター処理部304が行う、HMD1を使用しているユーザーの表情の判別、又は通信相手の表情の判別方法について説明する。
アバター処理部304は、笑いの表情の判別を、例えば以下のように行う。一般的に、ユーザーの顔は、笑顔であるとき、その目尻が下がっている。そこで、アバター処理部304は、撮像画像(又は受信した画像データ)に含まれるユーザーの目尻が下がっている状態のときには笑いの表情であると判別する。
以下、上記の処理について具体例を用いて説明する。表示部60に表示された画像を観察している眼が右眼である場合、図10の右眼601Rの目尻は、右眼601Rにおける−X方向側の端部に位置している。また、この場合の下方向は、−Z方向となる。このため、アバター処理部304は、例えばパターンマッチングの技術、画像の特徴量による画像比較等を用いて、撮像画像における眼の−X方向側の端部が−Z方向に移動したパターンと一致した場合に笑いの表情であると判別する。
また、表示部60に表示された画像を観察している眼が左眼である場合、図27の左眼601L2の目尻は、左眼601L2における−X方向側の端部に位置している。但し、この場合の下方向は、+Z方向となる。このため、アバター処理部304は、撮像画像における眼の−X方向側の端部が+Z方向に移動したパターンと一致した場合に笑いの表情であると判別する。
アバター処理部304は、笑いの表情の判別を、例えば以下のように行う。一般的に、ユーザーの顔は、笑顔であるとき、その目尻が下がっている。そこで、アバター処理部304は、撮像画像(又は受信した画像データ)に含まれるユーザーの目尻が下がっている状態のときには笑いの表情であると判別する。
以下、上記の処理について具体例を用いて説明する。表示部60に表示された画像を観察している眼が右眼である場合、図10の右眼601Rの目尻は、右眼601Rにおける−X方向側の端部に位置している。また、この場合の下方向は、−Z方向となる。このため、アバター処理部304は、例えばパターンマッチングの技術、画像の特徴量による画像比較等を用いて、撮像画像における眼の−X方向側の端部が−Z方向に移動したパターンと一致した場合に笑いの表情であると判別する。
また、表示部60に表示された画像を観察している眼が左眼である場合、図27の左眼601L2の目尻は、左眼601L2における−X方向側の端部に位置している。但し、この場合の下方向は、+Z方向となる。このため、アバター処理部304は、撮像画像における眼の−X方向側の端部が+Z方向に移動したパターンと一致した場合に笑いの表情であると判別する。
また、アバター処理部304は、笑いの表情の判別に、例えばHMD1のユーザーの音声データも利用する。アバター処理部304には、通話マイク37にて集音されたHMD1のユーザーの音声データが入力される。
アバター処理部304は、入力されたHMD1のユーザーの音声データについて解析して笑い声であるか否かについて周知の技術を用いて判別する。具体的には、アバター処理部304は、例えば、声のトーンや音量等に基づき、例えば、音声データが通常より高い音程で、かつ比較的早い周期で所定時間以上繰り返される波形か否かに基づいて、笑い声であるか否かを判別する。そして、アバター処理部304は、音声データが笑い声であると判別した場合に笑いの表情であると判別する。
アバター処理部304は、入力されたHMD1のユーザーの音声データについて解析して笑い声であるか否かについて周知の技術を用いて判別する。具体的には、アバター処理部304は、例えば、声のトーンや音量等に基づき、例えば、音声データが通常より高い音程で、かつ比較的早い周期で所定時間以上繰り返される波形か否かに基づいて、笑い声であるか否かを判別する。そして、アバター処理部304は、音声データが笑い声であると判別した場合に笑いの表情であると判別する。
また、アバター処理部304は、怒りの表情の判別を、例えば以下のように行う。一般的に、ユーザーの顔は、怒った顔の表情であるとき、ユーザーの目尻が上がっている。そこで、アバター処理部304は、撮像画像(又は受信した画像データ)における眼の目尻が上がっている状態のとき、怒りの表情であると判別する。
具体的に例えば、アバター処理部304は、表示部60に表示された画像を観察している眼が右眼である場合、図10の撮像画像における右眼601Rの−X方向側の端部が+Z方向に移動したパターンと一致した場合に怒りの表情であると判別する。
一方、アバター処理部304は、表示部60に表示された画像を観察している眼が左眼である場合、図27の撮像画像における左眼601L2について−X方向側の端部が−Z方向に移動したパターンと一致した場合に怒りの表情であると判別する。
具体的に例えば、アバター処理部304は、表示部60に表示された画像を観察している眼が右眼である場合、図10の撮像画像における右眼601Rの−X方向側の端部が+Z方向に移動したパターンと一致した場合に怒りの表情であると判別する。
一方、アバター処理部304は、表示部60に表示された画像を観察している眼が左眼である場合、図27の撮像画像における左眼601L2について−X方向側の端部が−Z方向に移動したパターンと一致した場合に怒りの表情であると判別する。
また、一般的に、ユーザーの顔は、困惑の表情のときに、その目頭と目尻がともに下がっている。そこで、アバター処理部304は、例えば、撮像画像(又は受信した画像データ)におけるユーザーの目頭と目尻がともに下がっている状態のときには困惑の表情であると判別する。
具体的に例えば、アバター処理部304は、表示部60に表示された画像を観察している眼が右眼である場合、図10の撮像画像における右眼601Rの+X方向側と−X方向側の両端部が−Z方向に移動したパターンと一致した場合に怒りの表情であると判別する。
一方、アバター処理部304は、表示部60に表示された画像を観察している眼が左眼である場合、図27の撮像画像における左眼601L2の+X方向側と−X方向側の両端部が+Z方向に移動したパターンと一致した場合に困惑の表情であると判別する。
具体的に例えば、アバター処理部304は、表示部60に表示された画像を観察している眼が右眼である場合、図10の撮像画像における右眼601Rの+X方向側と−X方向側の両端部が−Z方向に移動したパターンと一致した場合に怒りの表情であると判別する。
一方、アバター処理部304は、表示部60に表示された画像を観察している眼が左眼である場合、図27の撮像画像における左眼601L2の+X方向側と−X方向側の両端部が+Z方向に移動したパターンと一致した場合に困惑の表情であると判別する。
また、アバター処理部304は、撮像画像(又は受信した画像データ)における瞳の動きに基づいて、表情として視線の方向がいずれであるのかを判別する。
つまり、アバター処理部304は、表示部60に表示された画像を観察している眼が右眼である場合、例えば図10の撮像画像における右眼601Rの瞳が予め定められた基準位置(例えば、XZ座標の原点)から+X方向に沿って移動したのであれば視線が左向きであると判別する。一方、アバター処理部304は、表示部60に表示された画像を観察している眼が右眼である場合、図10の撮像画像における右眼601Rの瞳が上記基準位置から−X方向に沿って移動したのであれば視線が右向きであると判別する。
また、アバター処理部304は、表示部60に表示された画像を観察している眼が左眼である場合、図27の撮像画像における左眼601L2の瞳が上記基準位置から−X方向に沿って移動したのであれば視線が左向きであると判別する。一方、アバター処理部304は、表示部60に表示された画像を観察している眼が左眼である場合、例えば図27の撮像画像における左眼601L2の瞳が上記基準位置から+X方向に沿って移動したのであれば視線が右向きであると判別する。
つまり、アバター処理部304は、表示部60に表示された画像を観察している眼が右眼である場合、例えば図10の撮像画像における右眼601Rの瞳が予め定められた基準位置(例えば、XZ座標の原点)から+X方向に沿って移動したのであれば視線が左向きであると判別する。一方、アバター処理部304は、表示部60に表示された画像を観察している眼が右眼である場合、図10の撮像画像における右眼601Rの瞳が上記基準位置から−X方向に沿って移動したのであれば視線が右向きであると判別する。
また、アバター処理部304は、表示部60に表示された画像を観察している眼が左眼である場合、図27の撮像画像における左眼601L2の瞳が上記基準位置から−X方向に沿って移動したのであれば視線が左向きであると判別する。一方、アバター処理部304は、表示部60に表示された画像を観察している眼が左眼である場合、例えば図27の撮像画像における左眼601L2の瞳が上記基準位置から+X方向に沿って移動したのであれば視線が右向きであると判別する。
また、アバター処理部304は、表示部60に表示された画像を観察している眼が右眼である場合、図10の撮像画像における右眼601Rの瞳が上記基準位置から+Z方向に沿って移動したのであればHMD1のユーザーの視線が上向きであると判別する。一方、アバター処理部304は、表示部60に表示された画像を観察している眼が右眼である場合、例えば図10の撮像画像における右眼601Rの瞳が上記基準位置から−Z方向に沿って移動したのであればHMD1のユーザーの視線が下向きであると判別する。
また、アバター処理部304は、表示部60に表示された画像を観察している眼が左眼である場合、例えば図27の撮像画像における左眼601L2の瞳が上記基準位置から−Z方向に沿って移動したのであればHMD1のユーザーの視線が上向きであると判別する。一方、アバター処理部304は、表示部60に表示された画像を観察している眼が左眼である場合、例えば図27の撮像画像における左眼601L2の瞳が上記基準位置から+Z方向に沿って移動したのであればHMD1のユーザーの視線が下向きであると判別する。
上記の説明のように、アバター処理部304は、表示部60に表示された画像を観察している眼が右眼である場合と左眼である場合とで、前記顔の一部の画像における眼に対する二次元座標の正負を反転させるように設定し、表情判別を行う。
また、アバター処理部304は、表示部60に表示された画像を観察している眼が左眼である場合、例えば図27の撮像画像における左眼601L2の瞳が上記基準位置から−Z方向に沿って移動したのであればHMD1のユーザーの視線が上向きであると判別する。一方、アバター処理部304は、表示部60に表示された画像を観察している眼が左眼である場合、例えば図27の撮像画像における左眼601L2の瞳が上記基準位置から+Z方向に沿って移動したのであればHMD1のユーザーの視線が下向きであると判別する。
上記の説明のように、アバター処理部304は、表示部60に表示された画像を観察している眼が右眼である場合と左眼である場合とで、前記顔の一部の画像における眼に対する二次元座標の正負を反転させるように設定し、表情判別を行う。
また、本実施形態においては、眼に関する化粧の状態についても表情に含めることとしている。そして、アバター処理部304は、表情の1つとして、眼の周囲にアイシャドーが塗られているかどうかを判別する。このため、例えばアバター処理部304は、撮像画像(又は受信した画像データ)における眼と周囲にアイシャドーが塗られた眼のパターンとパターンマッチング処理を行い、このパターンマッチング処理の結果に基づいてアイシャドーが塗られているか否かについて判別する。
ここで、表情情報について説明する。図35は、記憶部303に記憶されている表情判別に対応した表情情報330の一例を示す図である。
図35に示す表情情報330は、表情要素ごとに設定内容を対応付けた構造を有する。表情要素は、表情を形成する要素であり、ここでは、上記のようにアバター処理部304が表情として判別した「アイシャドー」、「笑い」、「怒り」、「困惑」、「視線左方向」、「視線右方向」、「視線上方向」、「視線下方向」となる。
設定内容は、対応の表情要素が「有効」か「無効」を示す。設定内容が「有効」であれば、対応の表情要素が表情に含まれていることを示し、「無効」であれば、対応の表情要素が表情に含まれていないことを示す。
図35の例では、「アイシャドー」、「笑い」、「視線左方向」の表情要素のそれぞれが「有効」に設定され、他の表情要素が「無効」に設定されている。これは、アバター処理部304により判別された表情として、眼にアイシャドーが塗られており、笑っており、かつ、視線が左を向いていることを示している。
このような表情情報が、HMD1のアバター、通信相手のアバター毎に記憶部303に記憶されている。
図35に示す表情情報330は、表情要素ごとに設定内容を対応付けた構造を有する。表情要素は、表情を形成する要素であり、ここでは、上記のようにアバター処理部304が表情として判別した「アイシャドー」、「笑い」、「怒り」、「困惑」、「視線左方向」、「視線右方向」、「視線上方向」、「視線下方向」となる。
設定内容は、対応の表情要素が「有効」か「無効」を示す。設定内容が「有効」であれば、対応の表情要素が表情に含まれていることを示し、「無効」であれば、対応の表情要素が表情に含まれていないことを示す。
図35の例では、「アイシャドー」、「笑い」、「視線左方向」の表情要素のそれぞれが「有効」に設定され、他の表情要素が「無効」に設定されている。これは、アバター処理部304により判別された表情として、眼にアイシャドーが塗られており、笑っており、かつ、視線が左を向いていることを示している。
このような表情情報が、HMD1のアバター、通信相手のアバター毎に記憶部303に記憶されている。
また、上記表情情報330は、送受信部308により他の端末(HMD500、PC210、PC220、及びサーバー200など)に対して送信される。この表情情報を受信した端末は、処理部(123、523、211、221)の処理によって、LCD(63、563)や、表示部(215、225)などに表示されるHMD1のユーザーのアバター画像の表情にこの表情情報を反映する。
例えば図35の表情情報330を他の端末が受信した場合、この他の端末において表示されるHMD1のユーザーのアバター画像は、アバターの眼の縁にアイシャドーが塗られ、アバターが笑っているともに視線が左を向いている画像である。
また、HMD1も、通信相手から受信した表情情報330の制御によって、他の端末のユーザーのアバター画像の表情を制御することができる。さらに、以下に説明するように、HMD1の処理部123は、通信相手から受信した画像データに基づいて、通信相手の表情情報を設定し、設定した表情情報に基づいて、通信相手に対応するアバターの表情を制御することができる。
なお、HMD1が他の端末に送信する表情情報は、1つであっても複数であってもよい。表情情報を受信した端末は、受信した表情情報が複数の場合、複数の表情情報をアバター画像の表情に反映する。
例えば図35の表情情報330を他の端末が受信した場合、この他の端末において表示されるHMD1のユーザーのアバター画像は、アバターの眼の縁にアイシャドーが塗られ、アバターが笑っているともに視線が左を向いている画像である。
また、HMD1も、通信相手から受信した表情情報330の制御によって、他の端末のユーザーのアバター画像の表情を制御することができる。さらに、以下に説明するように、HMD1の処理部123は、通信相手から受信した画像データに基づいて、通信相手の表情情報を設定し、設定した表情情報に基づいて、通信相手に対応するアバターの表情を制御することができる。
なお、HMD1が他の端末に送信する表情情報は、1つであっても複数であってもよい。表情情報を受信した端末は、受信した表情情報が複数の場合、複数の表情情報をアバター画像の表情に反映する。
次に、図29のステップS310及びS311で行うHMD1における通信相手に対応するアバターの表情処理について説明する。図36、および図37は、本実施形態に係るアバターの表情の生成手順のフローチャートである。なお、以下の例では、HMD1は、通信相手の端末から「笑い」「怒り」などの表情情報を受信できず、通信相手の顔の画像データならびに音声データを受信した場合について説明する。
(ステップS401)アバター処理部304は、通信相手の端末から受信した画像データから片眼を含む領域の画像データを抽出する。次に、アバター処理部304は、抽出した片眼を含む領域の画像データ(以下、通信相手からの画像という)に基づいて、「左右の眼の検出処理」を行う。アバター処理部304は、画像データから通信相手の右眼を含む領域の画像が抽出できた場合(ステップS401;Yes)、ステップS402へ進み、画像データから通信相手の左眼を含む領域の画像が抽出できた場合(ステップS401;No)、ステップS420に進む。以下、アバター処理部304は、抽出した片眼を含む画像に基づいて、通信相手の表情の判別を行う。
(ステップS402)アバター処理部304は、通信相手からの画像が右眼の目元にアイシャドーを付けている画像であるか否かを、例えばパターンマッチングの技術、画像の特徴量による画像比較の技術を用いて判別する。なお、各種の表情(笑い、怒り、困惑、視線の移動)の判別も、例えばパターンマッチングの技術、画像の特徴量による画像比較の技術を用いて行う。
通信相手からの画像が右眼の目元にアイシャドーを付けている画像であると判別された場合(ステップS402;Yes)、ステップS403に進む。通信相手からの画像が右眼の目元にアイシャドーを付けていない画像であると判別された場合(ステップS402;No)、ステップS404に進む。
通信相手からの画像が右眼の目元にアイシャドーを付けている画像であると判別された場合(ステップS402;Yes)、ステップS403に進む。通信相手からの画像が右眼の目元にアイシャドーを付けていない画像であると判別された場合(ステップS402;No)、ステップS404に進む。
(ステップS403)通信相手からの画像が右眼の目元にアイシャドーを付けている画像であると判別された場合、アバター処理部304は、表情情報の「アイシャドー」を有効に設定する。
例えば、HMD1とHMD500が通話を行っている場合、HMD1のアバター処理部304は、通信相手(HMD500)からの画像がアイシャドーを付けている画像であると判別する。
例えば、HMD1とHMD500が通話を行っている場合、HMD1のアバター処理部304は、通信相手(HMD500)からの画像がアイシャドーを付けている画像であると判別する。
(ステップS404)アバター処理部304は、通信相手からの画像が右眼の笑った表情の画像であるか否かを判別する。通信相手からの画像が右眼の笑った画像であると判別された場合(ステップS404;Yes)、ステップS405に進む。通信相手からの画像が右眼の笑った画像ではないと判別された場合(ステップS404;No)、ステップS408に進む。
(ステップS405)通信相手からの画像が右眼の笑った画像であると判別された場合、アバター処理部304は、表情情報330の「笑い」を有効に設定する。
(ステップS406)アバター処理部304は、受信信号に含まれる通信相手の音声信号に基づいて、音声データが通常より高い音程で、かつ比較的早い周期で所定時間以上繰り返される波形か否かでもって、通信相手の声が笑っているか否かを判別する。通信相手の声が笑っていると判別された場合(ステップS406;Yes)、ステップS407に進む。通信相手の声が笑っていないと判別された場合(ステップS406;No)、ステップS408に進む。例えば、アバター処理部304は、声のトーンや音量等により、笑い声であるか否かを判別する。
(ステップS407)通信相手の声が笑っていると判別された場合、アバター処理部304は、通信相手に対応するアバター画像を所定時間揺らすように制御する。
例えば、HMD500のユーザーが笑っている場合、HMD1のアバター処理部304は、表示パネル63上に表示されているHMD500に対応するアバター画像を、約3秒間、揺らすように制御する。
なお、通信相手の声が笑っているか否かの判別は、HMD1の処理部123が行う例を説明したが、通信相手のHMDの処理部が、受信した音声に基づいて判別するようにしてもよい。この場合、例えば、HMD500の処理部523が、HMD500が備えるマイクで集音した音声データに基づいて、HMD500のユーザーが笑っているか否かを判別し、判別した結果をHMD1に送信するようにしてもよい。
この場合、HMD1に写るHMD500のユーザーのアバター画像のみを揺らしてもよく、またはHMD1に表示される画面全体を揺らしてもよい。このことで会話の相手が笑っていることによる臨場感を伝えることが可能となっている。
例えば、HMD500のユーザーが笑っている場合、HMD1のアバター処理部304は、表示パネル63上に表示されているHMD500に対応するアバター画像を、約3秒間、揺らすように制御する。
なお、通信相手の声が笑っているか否かの判別は、HMD1の処理部123が行う例を説明したが、通信相手のHMDの処理部が、受信した音声に基づいて判別するようにしてもよい。この場合、例えば、HMD500の処理部523が、HMD500が備えるマイクで集音した音声データに基づいて、HMD500のユーザーが笑っているか否かを判別し、判別した結果をHMD1に送信するようにしてもよい。
この場合、HMD1に写るHMD500のユーザーのアバター画像のみを揺らしてもよく、またはHMD1に表示される画面全体を揺らしてもよい。このことで会話の相手が笑っていることによる臨場感を伝えることが可能となっている。
(ステップS408)アバター処理部304は、通信相手からの画像が右眼の怒った画像であるか否かを判別する。通信相手からの画像が右眼の怒った画像であると判別された場合(ステップS408;Yes)、ステップS409に進む。通信相手からの画像が右眼の怒った画像ではないと判別された場合(ステップS408;No)、ステップS410に進む。
(ステップS409)通信相手からの画像が、右眼の怒った画像であると判別された場合、アバター処理部304は、表情情報330の「怒り」を有効に設定する。
(ステップS410)アバター処理部304は、通信相手からの画像が右眼の困った画像であるか否かを判別する。通信相手からの画像が右眼の困った画像であると判別された場合(ステップS410;Yes)、ステップS411に進む。通信相手からの画像が右眼の困った画像ではないと判別された場合(ステップS410;No)、ステップS412に進む。
(ステップS411)通信相手からの画像が右眼の困った画像であると判別された場合、アバター処理部304は、表情情報330の「困惑」を有効に設定する。
(ステップS412)アバター処理部304は、通信相手からの画像に基づいて、ユーザーの視線が+X方向に移動したか否かを判別する。ユーザーの視線が+X方向に移動したと判別された場合(ステップS412;Yes)、ステップS413に進む。ユーザーの視線が+X方向に移動していないと判別された場合(ステップS412;No)、ステップS414に進む。アバター処理部304は、例えば、図10において、ユーザーの眼球の画像が、+X方向に移動したか否かを、パターンマッチング技術、画像の特徴量による画像比較の技術を用いて判別する。
(ステップS413)ユーザーの視線が+X方向に移動したと判別された場合、アバター処理部304は、表情情報330の「視線右方向」を有効に設定する。
(ステップS414)アバター処理部304は、通信相手からの画像に基づいて、ユーザーの視線が−X方向に移動したか否かを判別する。ユーザーの視線が−X方向に移動したと判別された場合(ステップS414;Yes)、ステップS415に進む。ユーザーの視線が−X方向に移動していないと判別された場合(ステップS414;No)、ステップS416に進む。
(ステップS415)ユーザーの視線が−X方向に移動したと判別された場合、アバター処理部304は、表情情報330の「視線左方向」を有効に設定する。
(ステップS416)アバター処理部304は、通信相手からの画像に基づいて、ユーザーの視線が+Z方向に移動したか否かを判別する。ユーザーの視線が+Z方向に移動したと判別された場合(ステップS416;Yes)、ステップS417に進む。ユーザーの視線が+Z方向に移動していないと判別された場合(ステップS416;No)、ステップS418に進む。
(ステップS417)ユーザーの視線が+Z方向に移動したと判別された場合、アバター処理部304は、表情情報330の「視線上方向」を有効に設定する。
(ステップS418)アバター処理部304は、通信相手からの画像に基づいて、ユーザーの視線が−Z方向に移動したか否かを判別する。ユーザーの視線が−Z方向に移動したと判別された場合(ステップS418;Yes)、ステップS419に進む。ユーザーの視線が+Z方向に移動していないと判別された場合(ステップS418;No)、アバターの表情生成を終了する。
(ステップS419)ユーザーの視線が−Z方向に移動したと判別された場合、アバター処理部304は、表情情報330の「視線下方向」を有効に設定する。
(ステップS420)図37に移って、表示部60に表示された画像を観察している眼が右眼ではないと判別された場合、アバター処理部304は、通信相手からの画像が左眼の目元にアイシャドーを付けている画像であるか否かを判別する。通信相手からの画像が左眼の目元にアイシャドーを付けている画像と判別された場合(ステップS420;Yes)、ステップS421に進む。ユーザーが左眼の目元にアイシャドーを付けていないと判別された場合(ステップS420;No)、ステップS422に進む。
以下、アバター処理部304は、右眼の画像に対する処理であるステップS404からS419に対応する、左眼の画像に対する処理であるステップS422からS437を行う。
アバター処理部304は、以上のように設定された表情情報330に基づいて、通信相手に対応するアバターの表情を制御する。
アバター処理部304は、以上のように設定された表情情報330に基づいて、通信相手に対応するアバターの表情を制御する。
次に、図29のステップS312で行うHMD1におけるHMD1のユーザーに対応するアバターの表情処理について、図36及び図37を用いて説明する。
(ステップS401)アバター処理部304は、「左右の眼の検出処理」に基づいて、右眼観察形態である、すなわち表示部60に表示された画像を観察している眼が右眼であると判別された場合(ステップS401;Yes)、制御部302は、ステップS402へ進む。なお、ステップS402〜S419において、アバター処理部304は、選択領域Qの画像を用いてユーザーの表情を判別する。
一方、「左右の眼の検出処理」に基づいて、左眼観察形態である、すなわち表示部60に表示された画像を観察している眼が左眼であると判別された場合(ステップS401;No)、制御部302は、ステップS420(図37)へ進む。なお、ステップS420〜S437において、アバター処理部304は、選択領域Rの画像を用いてユーザーの表情を判別する。
一方、「左右の眼の検出処理」に基づいて、左眼観察形態である、すなわち表示部60に表示された画像を観察している眼が左眼であると判別された場合(ステップS401;No)、制御部302は、ステップS420(図37)へ進む。なお、ステップS420〜S437において、アバター処理部304は、選択領域Rの画像を用いてユーザーの表情を判別する。
(ステップS402)アバター処理部304は、撮像画像が右眼の目元にアイシャドーを付けている画像であるか否かを、例えばパターンマッチングの技術、画像の特徴量による画像比較の技術を用いて判別する。なお、各種の表情(笑い、怒り、困惑、視線の移動)の判別も、例えばパターンマッチングの技術、画像の特徴量による画像比較の技術を用いて行う。
撮像画像が右眼の目元にアイシャドーを付けている画像であると判別された場合(ステップS402;Yes)、ステップS403に進む。撮像画像が右眼の目元にアイシャドーを付けていない画像であると判別された場合(ステップS402;No)、ステップS404に進む。
撮像画像が右眼の目元にアイシャドーを付けている画像であると判別された場合(ステップS402;Yes)、ステップS403に進む。撮像画像が右眼の目元にアイシャドーを付けていない画像であると判別された場合(ステップS402;No)、ステップS404に進む。
(ステップS403)撮像画像が右眼の目元にアイシャドーを付けている画像であると判別された場合、アバター処理部304は、表情情報の「アイシャドー」を有効に設定した表情情報を、送受信部308を介して、通信している他の端末に送信する。
例えば、HMD1とHMD500が通話を行っている場合、撮像画像がアイシャドーを付けている画像であるとHMD1のアバター処理部304が判別する。次に、HMD1のアバター処理部304は、設定した表情情報を、HMD500に送信する。これにより、HMD500のLCD563に、HMD1のユーザーに対応するアバター画像の両方の目元にアイシャドーが付いて表示される。
このように、本実施形態では、撮像画像に含まれるユーザーの片眼を含む領域を撮像した画像に基づいて、両眼の表情情報を生成している。このため、両眼を撮像して表情情報を生成する装置より、HMD1を小型化できる効果がある。
例えば、HMD1とHMD500が通話を行っている場合、撮像画像がアイシャドーを付けている画像であるとHMD1のアバター処理部304が判別する。次に、HMD1のアバター処理部304は、設定した表情情報を、HMD500に送信する。これにより、HMD500のLCD563に、HMD1のユーザーに対応するアバター画像の両方の目元にアイシャドーが付いて表示される。
このように、本実施形態では、撮像画像に含まれるユーザーの片眼を含む領域を撮像した画像に基づいて、両眼の表情情報を生成している。このため、両眼を撮像して表情情報を生成する装置より、HMD1を小型化できる効果がある。
以下、アバター処理部304は、ステップS404〜S437の処理において、撮像画像を用いてHMD1のユーザーの表情を判別する。そして、設定した表情情報を、送受信部308を介して、通信している他の端末に送信する。
なお、ステップS407において、ユーザーの声が笑っていると判別された場合、アバター処理部304は、通信相手のLCDに表示されている画面を所定時間揺らす指示を送信する。例えば、HMD1のユーザーが笑っている場合、HMD1のアバター処理部304は、HMD500に、LCD563に表示されている画面を、約3秒間、揺らす指示を送信する。
なお、ステップS407において、ユーザーの声が笑っていると判別された場合、アバター処理部304は、通信相手のLCDに表示されている画面を所定時間揺らす指示を送信する。例えば、HMD1のユーザーが笑っている場合、HMD1のアバター処理部304は、HMD500に、LCD563に表示されている画面を、約3秒間、揺らす指示を送信する。
なお、片眼の撮像画像又は通信相手からの画像では、右眼の画像か左眼の画像かが分からないと、目尻が下がっている画像であっても、それが困った顔なのか怒った顔なのかの判断が難しい場合もある。このため、本実施形態では、HMD1のユーザーの眼の左右の場合、制御部302は、加速度センサー132の検出値又は撮像画像に基づいて、表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれかであるかを判別する。そして、アバター処理部304は、制御部302が判別した結果を示す情報、集音マイク24が集音した音声データに基づいて、ユーザーの表情を判別して表情情報を作成して通信相手に送信を行う。
なお、このような表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれかであるかの判別は、加速度センサー132の検出値や撮像画像以外に、操作スイッチ30、またはタッチスイッチ34によりユーザーが設定した情報に応じて、判別するようにしてもよい。
また、通信相手のユーザー眼の左右については、通信相手より送信される画像に基づいて、眼の左右を判断しても良い。さらに眼の左右に関する情報が別途送られてきた場合には、その情報を用いても良い。さらに通信相手の端末が右眼専用、もしくは左眼専用に限定されている場合には、その通信相手の端末の固有情報に基づいて右眼であるか左眼であるかを判断しても良い。
なお、このような表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれかであるかの判別は、加速度センサー132の検出値や撮像画像以外に、操作スイッチ30、またはタッチスイッチ34によりユーザーが設定した情報に応じて、判別するようにしてもよい。
また、通信相手のユーザー眼の左右については、通信相手より送信される画像に基づいて、眼の左右を判断しても良い。さらに眼の左右に関する情報が別途送られてきた場合には、その情報を用いても良い。さらに通信相手の端末が右眼専用、もしくは左眼専用に限定されている場合には、その通信相手の端末の固有情報に基づいて右眼であるか左眼であるかを判断しても良い。
以上のように、本実施形態の情報入出力装置(HMD1)は、ユーザーの眼を含む領域の撮像画像を撮像する撮像部(撮像素子72)と、撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて、ユーザーの表情を判別する表情処理部(アバター処理部)と、を備える。
この構成により、本実施形態のHMD1は、撮像画像に含まれるユーザーの片眼を含む領域の画像を用いて、ユーザーの表情を判別する。
この結果、本実施形態のHMD1は、ユーザーの顔全体または両眼を含む領域の撮像を行わなくてよいため、撮像素子72を顔から遠くに離す必要が無く、HMD1を小型化可能となった。
この構成により、本実施形態のHMD1は、撮像画像に含まれるユーザーの片眼を含む領域の画像を用いて、ユーザーの表情を判別する。
この結果、本実施形態のHMD1は、ユーザーの顔全体または両眼を含む領域の撮像を行わなくてよいため、撮像素子72を顔から遠くに離す必要が無く、HMD1を小型化可能となった。
また、本実施形態のHMD1では、判別した表情に基づいて、他の端末の表示部に表示されるアバターの表情情報を生成するようにしたので、通信相手は、各端末の表示部に表示されるアバターの表情を見ることで、通話に参加している相手の表情を知ることができる。さらに、本実施形態のHMD1では、通信相手の端末から受信した表情情報、音声データ、画像データに基づいて、通信相手に対応するアバターの表情を制御するようにした。このため、本実施形態のHMD1のユーザーは、通信相手に対応するアバターの表情を見ることで、通話に参加している相手の表情を知ることができる。
この結果、他の端末は、受信した表情情報に基づいてアバターの表情を変えて表示するようにしたので、通信相手の表情をアバターから知ることができ、コミュニケーションが豊かになる効果がある。
この結果、他の端末は、受信した表情情報に基づいてアバターの表情を変えて表示するようにしたので、通信相手の表情をアバターから知ることができ、コミュニケーションが豊かになる効果がある。
また、本実施形態のHMD1では、まず「左右の眼の検出処理」を行う。これにより、本実施形態のHMD1は、撮像画像に含まれるユーザーの片眼を含む領域の画像を用いて、表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。一例として、本実施形態のHMD1は、ユーザーの片眼を含む領域の画像から抽出した眉毛の画像と眼球(眼)の画像との位置関係に基づいて、ユーザーが表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。また、本実施形態のHMD1は、複数の撮像画像から瞼の画像を抽出し、抽出した瞼の複数の画像に基づいて、表示部60に表示されている画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。なお、表示部60に表示された画像とは、表示部60の表示パネル63が表示する画像である。
この結果、ユーザーの頭部に装着されたHMDの姿勢に係わらず、ユーザーが表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識できるHMD1を実現できる。また、本実施形態のHMD1は、表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを判別するため、ユーザーの顔全体または両眼を含む領域の撮像を行わなくてよい。このため、本実施形態のHMD1は、自装置の大型化を抑えることができる。
さらに、本実施形態のHMD1は、このように表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識した結果に応じて、表示部60に表示する画像の表示角度を変更する。そして、本実施形態のHMD1は、この表示角度に応じて、表示部60に画像を表示する。この結果、本実施形態のHMD1によれば、ユーザーは、ユーザーの頭部に装着されたHMD1の姿勢に係わらず、適切な表示角度で表示部60に表示されている画像を観察できる。
この結果、ユーザーの頭部に装着されたHMDの姿勢に係わらず、ユーザーが表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識できるHMD1を実現できる。また、本実施形態のHMD1は、表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを判別するため、ユーザーの顔全体または両眼を含む領域の撮像を行わなくてよい。このため、本実施形態のHMD1は、自装置の大型化を抑えることができる。
さらに、本実施形態のHMD1は、このように表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識した結果に応じて、表示部60に表示する画像の表示角度を変更する。そして、本実施形態のHMD1は、この表示角度に応じて、表示部60に画像を表示する。この結果、本実施形態のHMD1によれば、ユーザーは、ユーザーの頭部に装着されたHMD1の姿勢に係わらず、適切な表示角度で表示部60に表示されている画像を観察できる。
また、本実施形態のHMD1は、まず「左右の眼の検出処理」を行い、その後「左右の眼の検出処理」の判別結果に基づいて「装着ガイドの処理」を行う。
このように、本実施形態のHMD1は、「左右の眼の検出処理」により表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識しているため、表示部60を観察するユーザーの眼に対する表示部60の位置が、右方向と左方向とのうちいずれかにずれているのかを正しく判別できる。または、本実施形態のHMD1は、表示部60を観察するユーザーの眼に対する表示部60の位置が、上方向と下方向とのうちいずれかにずれているのかを正しく判別できる。この結果、本実施形態のHMD1は、表示部60を観察する前記ユーザーの眼に対する表示部60の位置のずれが解消される方向に表示部60の位置を変更(修正)するようにユーザーに適切に告知(アナウンス)できる。ユーザーはこの告知に基づいて、ユーザーの眼に対する表示部60の位置を適切に調整できる。この結果、本実施形態によれば、ユーザーは、表示部60に表示されている画像を適切に観察することができる。
このように、本実施形態のHMD1は、「左右の眼の検出処理」により表示部60に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識しているため、表示部60を観察するユーザーの眼に対する表示部60の位置が、右方向と左方向とのうちいずれかにずれているのかを正しく判別できる。または、本実施形態のHMD1は、表示部60を観察するユーザーの眼に対する表示部60の位置が、上方向と下方向とのうちいずれかにずれているのかを正しく判別できる。この結果、本実施形態のHMD1は、表示部60を観察する前記ユーザーの眼に対する表示部60の位置のずれが解消される方向に表示部60の位置を変更(修正)するようにユーザーに適切に告知(アナウンス)できる。ユーザーはこの告知に基づいて、ユーザーの眼に対する表示部60の位置を適切に調整できる。この結果、本実施形態によれば、ユーザーは、表示部60に表示されている画像を適切に観察することができる。
さらに、本実施形態のHMD1は、「左右の眼の検出処理」の判別結果に基づいて、選択された撮像範囲QまたはR(図18参照)の画像を選択する。すなわち、本実施形態のHMD1は、画像を観察している眼が右眼と左眼とのうちいずれであるかを認識した結果に基づいて、撮像画像から「装着ガイドの処理」に用いるユーザーの眼の領域を含む画像を選択する。そして、本実施形態のHMD1は、選択された撮像範囲の画像を用いて「装着ガイドの処理」を行う。この結果、本実施形態のHMD1は、適切に選択された領域の画像に基づいてユーザーに適切に告知することができる。この告知内容は、表示部60を観察する前記ユーザーの眼に対する表示部60の位置のずれが解消される方向に表示部60の位置を変更することを示す情報である。
また、本実施形態のHMD1は、ユーザーの片眼の領域を含む画像に基づいて「装着ガイドの処理」を行うため、ユーザーの顔全体またはユーザーの両眼の領域を含む画像を撮像しなくてもよい。この結果、本実施形態によれば、自装置の大型化を抑えることができる。
また、本実施形態のHMD1は、ユーザーの片眼の領域を含む画像に基づいて「装着ガイドの処理」を行うため、ユーザーの顔全体またはユーザーの両眼の領域を含む画像を撮像しなくてもよい。この結果、本実施形態によれば、自装置の大型化を抑えることができる。
さらに、本実施形態のHMD1によれば、図23に示したように「装着ガイドの処理」を行った後に、アバターの表情処理を行うようにした。従って、本実施形態のHMD1によれば、適切な位置に表示部60が配置されることで、撮像素子72は、ユーザーの眼を含む領域を撮像することができる。本実施形態のHMD1では、この撮像画像に基づいて、アバターの表情情報を生成するようにしたので、各端末は、この表情情報に基づいてアバターの表情を制御することができる。また、HMD1は、他の端末から受信した表情情報に基づいてアバターの表情を制御することができる。
この結果、ユーザーは、通信相手の表情がアバターにより判別できるので、通信相手と臨場感のある通信を行うことができる。
この結果、ユーザーは、通信相手の表情がアバターにより判別できるので、通信相手と臨場感のある通信を行うことができる。
なお、ステップS401〜S437では、処理毎に表情情報330を、送受信部308を介して、通信している他の端末に送信する例を説明したが、アバター処理部304は、例えばステップS419、及びS437で、表情情報を一括して他の端末へ送信するようにしてもよい。
なお、上記実施形態においては、アバターの表情として、アイシャドー、笑い、怒り、困惑、視線の移動の例を説明したが、アバターの表情は他であってもよい。アバター処理部304は、例えば、瞬き、驚きなどを、撮像画像に基づきパターンマッチング技術、画像の特徴量による画像比較の技術を用いて判別し、判別した結果にも続いてアバターの表情処理を行うようにしてもよい。また、アバターの表情は、アイシャドー、笑い、怒り、困惑、視線の移動、瞬き、驚きのうち、少なくとも1つであってもよい。なお、パターンマッチング技術、画像の特徴量による画像比較で比較に用いる画像は、記憶部303に予め記憶されているようにしてもよい。
なお、上記実施形態においては、他の端末において表示されるHMD1のユーザーのアバター画像の表情を変化させるにあたり、HMD1から他の端末に対して表情情報を送信する例を説明した。これに対して、例えばHMD1において判別した表情が反映されたHMD1のユーザーのアバター画像データをアバター処理部304が生成し、生成したアバター画像データをHMD1から他の端末装置に送信して他の端末により表示させてもよい。例えば、ステップS405において、送受信部308が受信したHMD500のユーザーの声が笑い声であると判別した場合、アバター処理部304は、HMD500に対応するアバター画像を所定時間揺らすデータを生成する。そしてHMD1の送受信部308は、生成されたデータをHMD500に送信する。これにより、他の端末は、受信したデータに基づいて、LCD63に表示されているHMD500に対応するアバター画像を所定時間、揺らすことができる。この処理により、本実施形態では、会話の相手が笑っていることによる臨場感を伝えることが可能となっている。
[第2実施形態]
次に、表示部がシースルー光学系の場合について説明する。
第1実施形態との差異は、表示部60の構成のみである。
図38は、本実施形態に係る本実施形態に係る光学系を説明するための表示部60aの断面図である。図7と同じ機能の部材には同じ番号を設けてあるので説明は省略する。
次に、表示部がシースルー光学系の場合について説明する。
第1実施形態との差異は、表示部60の構成のみである。
図38は、本実施形態に係る本実施形態に係る光学系を説明するための表示部60aの断面図である。図7と同じ機能の部材には同じ番号を設けてあるので説明は省略する。
図38に示すように、本実施形態の表示部60aは、バックライト62、表示パネル63、第1プリズム65a、第2プリズム65b、反射ミラー66、ファインダー開口部67、結像レンズ71、撮像素子72、1/4波長板75、偏光板90、凹レンズ91、1/4波長板92、液晶93、偏光板94、開口部95を含んで構成されている。図38において、符号H、I、J、K、O、Tは、各々、光線を表し、符号Sは、ユーザーの眼から出た光束を表す。
図38に示すように、ユーザーの前面の景色は、光線Oとなって開口部95に入射する。次に、光線Oは、開口部95を抜けて、偏光板94を透過する。次に、光線Oは、S偏光のみが透過する。
次に、光線Oは、液晶93に入射する。なお、光線Oは、液晶93の働きにより偏光方向が変わる。すなわち、液晶93に通電した場合(オン状態)、光線Oは、液晶93に入射したS偏光がP偏光となって、1/4波長板92に入射する。次に、光線Oは、1/4波長板92の働きにより左回りの偏光となる。
次に、光線Oは、液晶93に入射する。なお、光線Oは、液晶93の働きにより偏光方向が変わる。すなわち、液晶93に通電した場合(オン状態)、光線Oは、液晶93に入射したS偏光がP偏光となって、1/4波長板92に入射する。次に、光線Oは、1/4波長板92の働きにより左回りの偏光となる。
本実施形態において反射ミラー66は、半透過タイプとなっており、例えば、50%の光線を透過し、50%の光を反射する。反射ミラー66が、50%の光線を透過するとして以下を説明する。この結果、光線Oの50%が、1/4波長板75に入射する。
なお、凹レンズ91は、反射ミラー66を構成する凸レンズとペアとなって、パワーゼロの平行平板となるようにするための部材である。
なお、凹レンズ91は、反射ミラー66を構成する凸レンズとペアとなって、パワーゼロの平行平板となるようにするための部材である。
次に、光線Oは、1/4波長板75の作用で、P偏光となり、第1プリズム65aに入射する。次に、光線Oは、接合面65cをそのまま透過して、第2プリズム65bを透過して偏光板90に入射する。偏光板90は、P偏光を透過するように構成されている。
以上の構成により、ユーザーによって外界の画像(開口部95を通して見る画像)が、表示パネル63から投影される画像とともに観察可能となっている。
以上の構成により、ユーザーによって外界の画像(開口部95を通して見る画像)が、表示パネル63から投影される画像とともに観察可能となっている。
次に、外界の画像を消し、表示パネル63から投影される画像のみを観察する場合について説明する。
図38において、液晶93を無通電の状態(オフ状態)にすると、光線Oは、液晶93により光線Oの偏光方向が変化されない。このため、光線Oは、偏光板94でS偏光となる。次に、光線Oは、そのままが1/4波長板92に入射する。次に、光線Oは、1/4波長板の働きにより右回りの偏光となる。
図38において、液晶93を無通電の状態(オフ状態)にすると、光線Oは、液晶93により光線Oの偏光方向が変化されない。このため、光線Oは、偏光板94でS偏光となる。次に、光線Oは、そのままが1/4波長板92に入射する。次に、光線Oは、1/4波長板の働きにより右回りの偏光となる。
次に、反射ミラー66を透過した光線Oの50%が、1/4波長板75に入射する。次に、光線Oは、1/4波長板75の作用で、S偏光となる。次に、S偏光になった光線Oは、第1プリズム65aに入射する。接合面65cに設けられた偏光反射膜は、S偏光を反射する。この結果、ユーザーの眼に外界の光線が、入射しない。
このように、液晶93のオン状態とオフ状態の切り替えによって、外界の画像をファインダー内に透過して使用者によって観察可能か否かを制御することが可能である。なお、液晶93のオン状態とオフ状態の切り替えは、例えば処理部123が行う。
図38において、偏光板90の働きは、反射ミラー66によってユーザーが自分の眼を拡大して観察しないように配置している。ユーザーが自分の眼を拡大して観察しない理由について、説明する。
ユーザーの眼から出た光束Sは、偏光板90でP偏光のみが透過し、第2プリズム65b、接合面65c、第1プリズム65aを透過して、1/4波長板75に入射する。ここで、光線Sは、1/4波長板75の作用により左回りの円偏光となり、反射ミラー66で光線Tとして反射される。次に、光線Tは、反射によって右回りの円偏光となり、1/4波長板75を透過する際にS偏光となる。
次に、光線Tは、第1プリズム65aを透過して接合面65cに入射する。ここで、接合面65cはS偏光を反射して透過しない。従って、ユーザーの眼には、自分自身の眼からでた光束が入射することはなく、表示画面中に自分の眼が見えることは無い。
ユーザーの眼から出た光束Sは、偏光板90でP偏光のみが透過し、第2プリズム65b、接合面65c、第1プリズム65aを透過して、1/4波長板75に入射する。ここで、光線Sは、1/4波長板75の作用により左回りの円偏光となり、反射ミラー66で光線Tとして反射される。次に、光線Tは、反射によって右回りの円偏光となり、1/4波長板75を透過する際にS偏光となる。
次に、光線Tは、第1プリズム65aを透過して接合面65cに入射する。ここで、接合面65cはS偏光を反射して透過しない。従って、ユーザーの眼には、自分自身の眼からでた光束が入射することはなく、表示画面中に自分の眼が見えることは無い。
また、眼の周辺画像を撮影するための結像レンズ71ならびに撮像素子72は、ファインダー開口部67に隣接して設けられている。このため、結像レンズ71ならびに撮像素子72系の光線は、第2プリズム65bを透過せずに、直接ユーザーの眼の近傍を撮影可能となっている。
図39は、本実施形態に係る観察範囲と撮像範囲を説明する図である。図39において、符号67aは、表示パネル63から投影された画像の観察範囲を表している。符号67bは、撮像素子72の撮像範囲を表している。
また、図39は、図9等と同様に、反射ミラー66を凸レンズに置き換えて、等価的に表した図である。
また、図39は、図9等と同様に、反射ミラー66を凸レンズに置き換えて、等価的に表した図である。
図39において、結像レンズ71の焦点距離は、反射ミラー66の焦点距離より短く作られている。このため、図38を紙面とは垂直に断面を切り取った場合、図39で示すように、ユーザーの眼を含むその周囲の様子が撮影可能となっている。
なお、図39において、結像レンズ71ならびに撮像素子72は、反射ミラー66の光学中心とはオフセットしている。しかしながら、ユーザーは、表示部60aを眼の正面ではなく、口元の方向へ下げることでファインダー開口部67から眼を十分に離すことが可能となっており、図39に示すようにユーザーの眼は観察距離L81の位置にある。このため、ユーザーが表示パネル63を観察している場合、本実施形態によれば、撮像素子72は、問題なくユーザーの眼ならびにその周囲を撮影可能となっている。
なお、図39において、結像レンズ71ならびに撮像素子72は、反射ミラー66の光学中心とはオフセットしている。しかしながら、ユーザーは、表示部60aを眼の正面ではなく、口元の方向へ下げることでファインダー開口部67から眼を十分に離すことが可能となっており、図39に示すようにユーザーの眼は観察距離L81の位置にある。このため、ユーザーが表示パネル63を観察している場合、本実施形態によれば、撮像素子72は、問題なくユーザーの眼ならびにその周囲を撮影可能となっている。
第2実施形態のHMD1は、第1実施形態のHMD1の場合と同様に、「左右の眼の検出処理」後、「装着ガイドの処理」を行う。第2実施形態のHMD1は、第1実施形態のHMD1の場合と同様に、「装着ガイドの処理」後、ユーザーの片眼を含む領域の画像に基づいて「アバターの表示処理、アバターの表情処理」を行う。この結果、第2実施形態のHMD1は、第1実施形態と同様に、適切に撮像された撮像画像に基づいて、アバターの表情情報を生成するようにしたので、各端末は、この表情情報に基づいてアバターの表情を制御することができる。
また、第2実施形態のHMD1は、ユーザーの片眼を含む領域の画像に基づいて「アバターの表示処理、アバターの表情処理」を行うので、ユーザーの顔全体または両眼を含む領域を撮像せずにアバターの表情処理を行える。この結果、HMD1が大型化せずに、表示部60aに表示されるアバターの表情処理を行うことができるシースルー光学系の表示部60aを備えるヘッドマウントディスプレイを提供することができる。
なお、第1及び第2実施形態では、ヘッドマウントディスプレイの例として、右眼観察形態と左眼観察形態を切り替えて使用できるヘッドマウントディスプレイの例を説明したが、これに限られない。例えば、右眼観察形態専用、または左眼観察形態専用のヘッドマウントディスプレイであってもよい。この場合、本実施形態で説明した処理の内、右眼観察形態、または左眼観察形態に関する処理のみを行うようにしてもよい。
また、第1、及び第2実施形態では、ヘッドマウントディスプレイの例として単眼タイプについて説明したが、ヘッドマウントディスプレイは、両眼タイプでもよい。
また、第1、及び第2実施形態では、ヘッドマウントディスプレイの例として単眼タイプについて説明したが、ヘッドマウントディスプレイは、両眼タイプでもよい。
なお、第1及び第2実施形態では、図5のように、眼の下の位置に表示部60(または表示部60a)を配置する例を説明したが、これに限られない。例えば、表示部60(または表示部60a)を眼の上(額と眼との間)に配置するようにしてもよい。あるいは、図5(A)の右眼観察形態から、表示部60(または表示部60a)を時計回り方向に90度回転させた装着形態で使用してもよく、右眼観察形態から、表示部60(または表示部60a)を反時計回り方向に90度回転させたて表示部60(または表示部60a)を待避させた装着形態で使用してもよい。同様に、図5(B)に示した左眼観察形態から、表示部60(または表示部60a)を縦に配置させた装着形態で使用してもよい。
なお、第1及び第2実施形態において、表示部60(または表示部60a)の画像を観察している眼を認識する際に、制御部302は、バックライト62を点灯させるようにしてもよい。これにより、さらに撮像画像に含まれるユーザーの眼の領域を含む画像が鮮明になり、「左右の眼の検出処理」における演算処理が簡単になる。または、制御部302は、バックライト62を消灯させた撮像画像と、バックライト62を点灯させた撮像画像の両方を用いて「左右の眼の検出処理」を行うようにしてもよい。この場合、制御部302は、撮像画像において、ユーザーの眼を含む領域がより鮮明な方を用いて、「左右の眼の検出処理」を行うようにしてもよい。
なお、第1及び第2実施形態では、撮像画像の例として、図10、図11、図13、図25、図26、及び図27に示したように、ユーザーの片眼を含む領域が撮像された例を説明したがこれに限られない。撮像画像には、ユーザーの両眼を含む領域が撮像されていてもよく、またはユーザーの両眼のうち、片眼を含む領域のみならず、ユーザーの他の片眼を含む領域が撮像されていてもよい。
この場合、制御部302は、撮像画像において占める面積が多い方の眼の画像領域を抽出して、抽出した画像領域をユーザーの片眼を含む領域とする。そして、制御部302は、この抽出したユーザーの片眼を含む領域に基づいて「左右の眼の検出処理」を行うようにしてもよい。あるいは、制御部302は、撮像画像において眼球の画像が撮像画像の中心により近い方の眼の画像領域を抽出して、抽出した画像領域に基づいて「左右の眼の検出処理」を行うようにしてもよい。
また、制御部302は、眉毛の画像を抽出し、抽出した眉毛の画像の近傍にある眼の画像を抽出して、「左右の眼の検出処理」を行う。このように眉毛の画像の近傍にある眼の画像を抽出することで、本発明に係るHMD1では、ユーザーの片眼を含む領域の画像に、ユーザーの両眼のうち他の片眼の画像又はその眼に対応する眉毛の画像が含まれていても、ユーザーの片眼の画像およびその眼に対応する眉毛の画像を適切に抽出できる。この結果、本発明に係るHMD1では、ユーザーの片眼を含む領域に基づいて、表示部60に表示された画像を観察している眼が右眼と左眼とのいずれかであるかを適切に認識できる。
この場合、制御部302は、撮像画像において占める面積が多い方の眼の画像領域を抽出して、抽出した画像領域をユーザーの片眼を含む領域とする。そして、制御部302は、この抽出したユーザーの片眼を含む領域に基づいて「左右の眼の検出処理」を行うようにしてもよい。あるいは、制御部302は、撮像画像において眼球の画像が撮像画像の中心により近い方の眼の画像領域を抽出して、抽出した画像領域に基づいて「左右の眼の検出処理」を行うようにしてもよい。
また、制御部302は、眉毛の画像を抽出し、抽出した眉毛の画像の近傍にある眼の画像を抽出して、「左右の眼の検出処理」を行う。このように眉毛の画像の近傍にある眼の画像を抽出することで、本発明に係るHMD1では、ユーザーの片眼を含む領域の画像に、ユーザーの両眼のうち他の片眼の画像又はその眼に対応する眉毛の画像が含まれていても、ユーザーの片眼の画像およびその眼に対応する眉毛の画像を適切に抽出できる。この結果、本発明に係るHMD1では、ユーザーの片眼を含む領域に基づいて、表示部60に表示された画像を観察している眼が右眼と左眼とのいずれかであるかを適切に認識できる。
また、撮像素子72は、所定の時間間隔で、撮像画像を撮像してもよい。この場合、処理部123は、メインスイッチ28をオフ状態にせずに、ユーザーがヘッドマウントディスプレイを頭部から外しているのか否かを、撮像素子72が撮像した画像に基づいて判別するようにしてもよい。メインスイッチ28をオフ状態にせずに、所定の時間以上、ユーザーがヘッドマウントディスプレイを頭部から外していると判別した場合、処理部123は、カメラ64及び撮像素子72による撮像を、停止させてもよい。さらに、処理部123は、省電力状態になるように、各通信回路等を制御するようにしてもよい。なお、これらの制御を行うか否かは、例えば、タッチスイッチ34を操作することにより、ユーザーが設定してもよい。
または、処理部123は、ヘッドマウントディスプレイが頭部から外されているか否かを、例えば、心拍数センサー137の検出値に基づいて判別するようにしてもよい。
または、処理部123は、ヘッドマウントディスプレイが頭部から外されているか否かを、例えば、心拍数センサー137の検出値に基づいて判別するようにしてもよい。
なお、第1、及び第2実施形態では、HMD1は、図20に示した機能を備える例を説明したが、全ての機能を備えていなくてもよい。用途に応じて、例えば、温湿度センサー136、心拍数センサー137等を備えなくてもよい。逆に、HMD1は、必要に応じて、図20に示した以外の他の機能部を備えるようにしてもよい。
なお、第1、及び第2実施形態では、ディスプレイ本体20をヘッドバンド40に装着して使用する例を説明したが、これに限られない。ユーザーは、ディスプレイ本体20をヘッドバンド40に装着せずに、用途に応じて単体で使用してもよい。
なお、本発明の技術範囲は上記の実施形態に限定されるものではない。上記の実施形態で説明した要件のうち少なくとも1つの要件は、省略される場合がある。上記の実施形態で説明した各要件は、適宜、組み合わせることができる。
なお、上述のHMD1は、内部にコンピュータシステム(例えば、処理部123)を有している。そして、各機能部の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、CPU及び各種メモリーやOS、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
1…ヘッドマウントディスプレイ、20…ディスプレイ本体、26…オーディオコネクター、34…タッチスイッチ、60…表示部、63…表示パネル(表示部)、64…カメラ、72…撮像素子(撮像部)、100…イヤホン、103…第1スピーカー、104…第2スピーカー、121…デコーダー、123…処理部、131…WiFi通信回路、132…加速度センサー、133…地磁気センサー、137…心拍数センサー、138…3G/LTE通信回路、301…入力検出部、302…制御部、303…記憶部、304…アバター処理部、305…音声調整部、306…画像切替部、307…画像表示部、308…送受信部、401、402、403、403a…アバター画像
Claims (11)
- ユーザーの片眼を少なくとも含む領域を撮像する撮像部と、
前記撮像部が撮像して得られた撮像画像に含まれる前記ユーザーの片眼を含む領域の画像に基づいて、前記ユーザーの表情を判別する表情処理部と、
を備えることを特徴とする情報入出力装置。 - 画像を表示する表示部
を備え、
前記表情処理部は、
ユーザーの分身であるアバター画像を生成し、生成した前記アバター画像を前記表示部に表示し、前記ユーザーの表情を判別した結果に基づいて前記アバター画像の表情を変更する
ことを特徴とする請求項1に記載の情報入出力装置。 - 前記表情処理部は、
前記撮像画像に含まれる前記ユーザーの片眼を含む領域の画像に基づいて前記ユーザーの表情を判別し、前記ユーザーの表情を判別した結果に基づいて前記アバター画像の表情を変更する
ことを特徴とする請求項2に記載の情報入出力装置。 - 前記表情処理部は、
前記ユーザーの眼の状態としての眼球の動きのパターンに基づいて、視線の方向を判別し、前記視線の方向を判別した結果に基づいて前記アバター画像の表情を変更する
ことを特徴とする請求項2または請求項3に記載の情報入出力装置。 - 前記表情処理部は、
前記ユーザーの眼の状態に基づいて表情を判別するとともに、前記ユーザーの音声を取得し、取得した前記ユーザーの音声が笑い声であると判別し、判別した結果に基づいて前記アバター画像の表情を変更する
ことを特徴とする請求項2から請求項4のいずれか1項に記載の情報入出力装置。 - 前記ユーザーが画像を表示する表示部の画像を観察するのに、右眼または左眼のいずれかで観察しているのかを検出する制御部
を備え、
前記表情処理部は、
前記制御部が検出した結果に基づいて、前記ユーザーの表情を判別する
ことを特徴とする請求項1から請求項5のいずれか1項に記載の情報入出力装置。 - 前記表情処理部は、
前記ユーザーの音声を取得し、取得した前記ユーザーの音声が笑い声であると判別した場合、判別した結果に基づいて画像を表示する表示部に表示されている画像を予め定められている時間、揺らして表示する
ことを特徴とする請求項1から請求項6のいずれか1項に記載の情報入出力装置。 - 前記表情処理部は、
前記表示部に表示されている画面においてアバター画像のみが揺れるように表示させる
ことを特徴とする請求項7に記載の情報入出力装置。 - 前記表情処理部により判別された表情を示す表情情報を送信する送信部と、
他の情報入出力装置から送信された表情情報またはアバター画像を受信する受信部と、
を備え、
前記表情処理部は、
他の情報入出力装置において表示される前記ユーザーのアバター画像の表情を制御するための情報として前記表情情報を前記他の情報入出力装置に対して前記送信部に送信するように制御し、
前記他の情報入出力装置から送信された表情情報及びアバター画像に基づいて、前記他の情報入出力装置のユーザーの分身であるアバター画像の表情を変更する
ことを特徴とする請求項2から請求項8のいずれか1項に記載の情報入出力装置。 - 自情報入出力装置の使用形態をユーザーの操作により選択する操作部
を備え
前記制御部は、
前記撮像画像における前記ユーザーの片眼を含む領域の画像、加速度センサーが検出した検出値、ユーザーが選択した使用形態のいずれかに基づいて、自情報入出力装置の使用形態を判別し、判別した結果に基づいて、画像を表示する表示部の表示状態を切り替える
ことを特徴とする請求項6に記載の情報入出力装置。 - 情報入出力装置の情報入出力方法であって、
撮像部が、ユーザーの片眼を少なくとも含む領域の画像を撮像する手順と、
表情処理部が、前記撮像部が撮像して得られた撮像画像に含まれる前記ユーザーの片眼を含む領域の画像に基づいて、前記ユーザーの表情を判別する手順と、
を含むことを特徴とする情報入出力方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012159681A JP2014021707A (ja) | 2012-07-18 | 2012-07-18 | 情報入出力装置、及び情報入出力方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012159681A JP2014021707A (ja) | 2012-07-18 | 2012-07-18 | 情報入出力装置、及び情報入出力方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014021707A true JP2014021707A (ja) | 2014-02-03 |
Family
ID=50196518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012159681A Pending JP2014021707A (ja) | 2012-07-18 | 2012-07-18 | 情報入出力装置、及び情報入出力方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014021707A (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016126500A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | ウェアラブル端末装置およびプログラム |
JP2016224554A (ja) * | 2015-05-27 | 2016-12-28 | 株式会社ソニー・インタラクティブエンタテインメント | 眼前装着型表示装置 |
WO2017006872A1 (ja) * | 2015-07-03 | 2017-01-12 | 学校法人慶應義塾 | 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム |
WO2017085963A1 (ja) * | 2015-11-20 | 2017-05-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、及び映像表示装置 |
WO2017122299A1 (ja) * | 2016-01-13 | 2017-07-20 | フォーブ インコーポレーテッド | 表情認識システム、表情認識方法及び表情認識プログラム |
JP6205047B1 (ja) * | 2016-12-28 | 2017-09-27 | 株式会社コロプラ | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム |
CN108037826A (zh) * | 2016-12-08 | 2018-05-15 | Colopl株式会社 | 信息处理方法及用于使计算机实施该信息处理方法的程序 |
JP2019047911A (ja) * | 2017-09-08 | 2019-03-28 | ラピスセミコンダクタ株式会社 | ゴーグル型表示装置、視線検出方法及び視線検出システム |
JP2019106211A (ja) * | 2014-12-17 | 2019-06-27 | 富士ゼロックス株式会社 | 計算処理実行方法、計算処理システム及びプログラム |
KR20190095671A (ko) * | 2018-02-07 | 2019-08-16 | 장준석 | 사용자의 상태를 보여주는 가상현실 헤드 마운트 디스플레이 및 이를 이용한 사용자 상태 표시 방법 및 콘텐츠 관리 방법 |
JP2020144901A (ja) * | 2015-06-30 | 2020-09-10 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2021517689A (ja) * | 2018-03-16 | 2021-07-26 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 眼追跡カメラからの顔の表情 |
JP7339420B1 (ja) | 2022-12-20 | 2023-09-05 | カバー株式会社 | プログラム、方法、情報処理装置 |
-
2012
- 2012-07-18 JP JP2012159681A patent/JP2014021707A/ja active Pending
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019106211A (ja) * | 2014-12-17 | 2019-06-27 | 富士ゼロックス株式会社 | 計算処理実行方法、計算処理システム及びプログラム |
JP2016126500A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | ウェアラブル端末装置およびプログラム |
JP2016224554A (ja) * | 2015-05-27 | 2016-12-28 | 株式会社ソニー・インタラクティブエンタテインメント | 眼前装着型表示装置 |
US10275021B2 (en) | 2015-05-27 | 2019-04-30 | Sony Interactive Entertainment Inc. | Display apparatus of front-of-the-eye mounted type |
JP6992839B2 (ja) | 2015-06-30 | 2022-01-13 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2020144901A (ja) * | 2015-06-30 | 2020-09-10 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JPWO2017006872A1 (ja) * | 2015-07-03 | 2018-04-19 | 学校法人慶應義塾 | 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム |
WO2017006872A1 (ja) * | 2015-07-03 | 2017-01-12 | 学校法人慶應義塾 | 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム |
WO2017085963A1 (ja) * | 2015-11-20 | 2017-05-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、及び映像表示装置 |
WO2017122299A1 (ja) * | 2016-01-13 | 2017-07-20 | フォーブ インコーポレーテッド | 表情認識システム、表情認識方法及び表情認識プログラム |
CN108604291A (zh) * | 2016-01-13 | 2018-09-28 | Fove股份有限公司 | 表情辨识系统、表情辨识方法及表情辨识程序 |
JPWO2017122299A1 (ja) * | 2016-01-13 | 2018-11-15 | フォーブ インコーポレーテッド | 表情認識システム、表情認識方法及び表情認識プログラム |
US20190012528A1 (en) * | 2016-01-13 | 2019-01-10 | Fove, Inc. | Facial expression recognition system, facial expression recognition method, and facial expression recognition program |
CN108037826B (zh) * | 2016-12-08 | 2021-01-15 | Colopl株式会社 | 信息处理方法及用于使计算机实施该信息处理方法的程序 |
US10438418B2 (en) | 2016-12-08 | 2019-10-08 | Colopl, Inc. | Information processing method for displaying a virtual screen and system for executing the information processing method |
CN108037826A (zh) * | 2016-12-08 | 2018-05-15 | Colopl株式会社 | 信息处理方法及用于使计算机实施该信息处理方法的程序 |
JP6205047B1 (ja) * | 2016-12-28 | 2017-09-27 | 株式会社コロプラ | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム |
JP2018106644A (ja) * | 2016-12-28 | 2018-07-05 | 株式会社コロプラ | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム |
JP2019047911A (ja) * | 2017-09-08 | 2019-03-28 | ラピスセミコンダクタ株式会社 | ゴーグル型表示装置、視線検出方法及び視線検出システム |
US11134238B2 (en) | 2017-09-08 | 2021-09-28 | Lapis Semiconductor Co., Ltd. | Goggle type display device, eye gaze detection method, and eye gaze detection system |
KR20190095671A (ko) * | 2018-02-07 | 2019-08-16 | 장준석 | 사용자의 상태를 보여주는 가상현실 헤드 마운트 디스플레이 및 이를 이용한 사용자 상태 표시 방법 및 콘텐츠 관리 방법 |
KR102113634B1 (ko) | 2018-02-07 | 2020-05-21 | 장준석 | 사용자의 상태를 보여주는 가상현실 헤드 마운트 디스플레이 및 이를 이용한 사용자 상태 표시 방법 및 콘텐츠 관리 방법 |
JP2021517689A (ja) * | 2018-03-16 | 2021-07-26 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 眼追跡カメラからの顔の表情 |
JP7344894B2 (ja) | 2018-03-16 | 2023-09-14 | マジック リープ, インコーポレイテッド | 眼追跡カメラからの顔の表情 |
JP7339420B1 (ja) | 2022-12-20 | 2023-09-05 | カバー株式会社 | プログラム、方法、情報処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014021707A (ja) | 情報入出力装置、及び情報入出力方法 | |
JP6144681B2 (ja) | 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ | |
US9384737B2 (en) | Method and device for adjusting sound levels of sources based on sound source priority | |
JP6318462B2 (ja) | 表示装置 | |
US9274599B1 (en) | Input detection | |
CN108535868B (zh) | 头部佩戴型显示装置及其控制方法 | |
JP6011072B2 (ja) | 制御装置、及びプログラム | |
JP6123180B2 (ja) | 表示装置 | |
JP2013190941A (ja) | 情報入出力装置、及び頭部装着表示装置 | |
JP2013175929A (ja) | 情報出力装置、及び情報出力方法 | |
US20170289533A1 (en) | Head mounted display, control method thereof, and computer program | |
JP6136090B2 (ja) | 電子機器、及び表示装置 | |
JP2014123883A (ja) | 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法 | |
JP2020112982A (ja) | 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム | |
JP2014212473A (ja) | 通信装置、及び頭部装着表示装置 | |
JP2014044654A (ja) | 情報入出力装置 | |
JP2014021272A (ja) | 情報入出力装置、及び情報入出力方法 | |
CN116420105A (zh) | 用于增强现实护目镜中的计算机视觉模式的低功耗相机管线 | |
JP6074894B2 (ja) | 情報表示装置 | |
JP6015223B2 (ja) | 電子機器、及び表示装置 | |
JP2014022937A (ja) | 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法 | |
JP2014022942A (ja) | 頭部装着装置 | |
JP2013174730A (ja) | 情報表示装置 | |
JP2013174729A (ja) | 情報表示装置、及び情報表示方法 | |
JP2013250846A (ja) | 情報入出力装置、及び情報入出力プログラム |