JP2013251813A - 電子機器、表示制御システム、およびプログラム - Google Patents

電子機器、表示制御システム、およびプログラム Download PDF

Info

Publication number
JP2013251813A
JP2013251813A JP2012126277A JP2012126277A JP2013251813A JP 2013251813 A JP2013251813 A JP 2013251813A JP 2012126277 A JP2012126277 A JP 2012126277A JP 2012126277 A JP2012126277 A JP 2012126277A JP 2013251813 A JP2013251813 A JP 2013251813A
Authority
JP
Japan
Prior art keywords
image
hmd
captured
user
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012126277A
Other languages
English (en)
Inventor
Satoshi Ejima
聡 江島
Shigeru Kato
茂 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2012126277A priority Critical patent/JP2013251813A/ja
Publication of JP2013251813A publication Critical patent/JP2013251813A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】装着者の顔を撮像する撮像手段を備えた機器として小型で使いやすいものを提供すること
【解決手段】撮像部(カメラ64)と、前記撮像部によって撮像された撮像画像に鏡像が含まれている場合、前記撮像画像の左右を反転させる処理部(処理部123)と、前記処理部によって前記撮像画像の左右が反転された左右反転画像を、ネットワークを介して接続される他の電子機器に送信する送信部(通信インタフェース150)と、を備えることを特徴とする電子機器。
【選択図】図6

Description

本発明は、電子機器、表示制御システム、およびプログラムに関する。
装着者の顔面方向に向けられた撮像手段と、装着者に像情報を視認させる表示手段とを備えるヘッドマウントカメラがある(例えば、特許文献1参照)。
特開2000−261706号公報
しかしながら、特許文献1に記載したもので、撮像手段が装着者の顔の全体を撮像しようとすると場合、撮像範囲の中に装着者の顔が入るように顔から離れた位置に撮像手段を配置しなければならず、装置が大型化する問題があった。
本発明は、上記問題を解決すべくなされたもので、その目的は、装着者の顔を撮像することができる電子機器、表示制御システム、およびプログラムを提供することにある。
[1]上記の課題を解決するため、本発明の一態様である電子機器は、撮像部と、前記撮像部によって撮像された撮像画像に鏡像が含まれている場合、前記撮像画像の左右を反転させる処理部と、前記処理部によって前記撮像画像の左右が反転された左右反転画像を送信する送信部と、を備える。
[2]上記の課題を解決するため、本発明の一態様である電子機器は、撮像部と、時間の経過に伴い発光状態が変化する指標物を前記撮像部が撮像した撮像画像に基づき、識別情報を検出する検出部と、前記検出部によって検出された前記識別情報が自電子機器に割り当てられた識別情報と一致する場合、前記撮像部によって撮像された前記撮像画像に自電子機器を装着している人物の鏡像が含まれていると判定し、前記撮像画像内における自電子機器を装着している人物の画像領域に応じて合成画像を重畳して表示させる表示部とを備える。
[3]上記の課題を解決するため、本発明の一態様である表示制御システムは、第1電子機器と第2電子機器とを備える表示制御システムであって、前記第1電子機器は、撮像部と、前記撮像部が撮像した撮像画像に鏡像が含まれている場合、前記撮像画像の左右を反転させる処理部と、前記処理部によって前記撮像画像の左右が反転された左右反転画像を前記第2電子機器に送信する送信部と、を備え、前記第2電子機器は、前記左右反転画像を前記第1電子機器から受信する受信部と、前記受信部が受信した前記左右反転画像を表示する表示部と、を備える。
[4]上記の課題を解決するため、本発明の一態様であるプログラムは、コンピュータを、撮像部によって撮像された撮像画像に鏡像が含まれている場合、前記撮像画像の左右を反転させる処理手段、前記処理手段よって前記撮像画像の左右が反転された左右反転画像を送信する送信手段、として機能させるためのプログラムである。
本発明によれば、装着者の顔を撮像することができる。
本実施形態に係るヘッドマウントディスプレイの斜視図である。 本実施形態に係るヘッドマウントディスプレイを背面側から見た斜視図である。 本実施形態に係るヘッドマウントディスプレイの装着形態を示す図である。 本実施形態に係るディスプレイ本体の水平断面図である。 本実施形態に係るヘッドマウントディスプレイの機能ブロック図である。 本実施形態に係る表示制御システムの機能ブロック図である。 本実施形態に係るヘッドマウントディスプレイの処理部の機能ブロック図である。 本実施形態に係る表示制御方法によりヘッドマウントディスプレイに表示される表示画面の一例について説明するための図である。 本実施形態に係る歪曲補正の一例について説明するための図である。 本実施形態に係る歪曲補正の一例について説明するための図である。 第1実施形態に係る表示制御方法を示すフローチャートである。 図11に示す処理フローに含まれる処理の一部を示すフローチャートである。 本実施形態に係る表示制御方法により表示される留守録モードの表示の一例を示す図である。 第2実施形態に係る表示制御方法を説明するための図である。 第2実施形態に係る表示制御方法を示すフローチャートである。 第2実施形態に係る表示制御方法の他の例を説明するための図である。 第3実施形態に係る表示制御方法を説明するための図である。 第3実施形態に係る表示制御方法を示すフローチャートである。 上述の実施形態に係る発光パターンの一例について説明する。 上述の実施形態に係る発光パターンの他の例について説明する。
以下、電子機器をヘッドマウントディスプレイに適用した例について説明するが、本発明はこれに限られない。
以下、本発明の実施形態について図面を参照しながら説明する。
以下の説明においては、必要に応じてXYZ直交座標系を設定し、このXYZ直交座標系を参照しつつ各部の位置関係について説明する。水平面内の所定方向をX軸方向、水平面内においてX軸方向と直交する方向をY軸方向、X軸方向およびY軸方向のそれぞれと直交する方向(すなわち鉛直方向)をZ軸方向とする。また、X軸、Y軸、およびZ軸まわりの回転(傾斜)方向をそれぞれ、θX、θY、およびθZ方向とする。
図1は、本実施形態のヘッドマウントディスプレイ1(頭部装着装置1、以下、HMD1という)の斜視図である。図2は、本実施形態のHMD1を背面側から見た斜視図である。図3は、本実施形態のHMD1の装着形態を示す図である。
HMD1は、ディスプレイ本体20と、ユーザーの頭部に装着されディスプレイ本体20を支持するヘッドバンド40と、を備えた単眼式のヘッドマウントディスプレイである。本実施形態のHMD1は、図3に示すように、両眼どちらでも使用可能である。図3(A)には、ユーザーが右眼(右目)で表示部60を見ている状態、図3(B)には左眼(左目)で見ている状態が示されている。また図2に示すように、ディスプレイ本体20とヘッドバンド40とは、連結ピン41を介して着脱可能に構成されている。
なお、図1および図2では、ディスプレイ本体20の長手方向をY軸方向、ヘッドバンド40がユーザーの頭部を挟持する方向をX軸方向としている。
以下、HMD1の各部の構成について詳細に説明する。
ディスプレイ本体20は、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部21と、装置本体部21の先端に連結された表示部60とを有する。
装置本体部21は、図4に示す概略板状の筐体21Aを有する。本実施形態では、装置本体部21においてヘッドバンド40との接続部が設けられている側の端部(+Y側の端部)を基端部とし、この基端部と反対側の端部(−Y側の端部)を先端部とする。また、装置本体部21をヘッドバンド40に装着した状態で、装置本体部21のヘッドバンド40側(+X側)を内側、ヘッドバンド40と反対側(−X側)を外側とする。
装置本体部21の外面には、図1に示すように、メインスイッチ28と、タッチスイッチ34と、集音マイク24とが、筐体21Aの長手方向に沿って配置されている。
メインスイッチ28はディスプレイ本体20の電源のオンオフ操作を行うスイッチである。タッチスイッチ34は、表面に手指等で触れることによりHMD1の各種操作を行うことができるタッチパネルである。集音マイク24は、環境音を収集する外部マイクである。
装置本体部21内面の基端部側に、図2に示すように、耳元スピーカー23と、オーディオコネクター26と、連結孔31を有するヘッドバンドヒンジ32とが設けられている。装置本体部21内面の中央部に心拍数センサー137が設けられている。装置本体部21の内側面の先端部には通話マイク37が設けられている。
耳元スピーカー23は、ユーザーの耳の近傍に配置される。耳元スピーカー23からユーザーに音声情報が伝えられる。オーディオコネクター26は、例えば図6に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ32はヘッドバンド40とのジョイント部である。通話マイク37にはユーザーの音声が入力される。
心拍数センサー137は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー137は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー137は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー137はユーザーの目の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。
装置本体部21の基端部側の側端面には、USBコネクター25と、操作スイッチ30と、ビデオコネクター27とが設けられている。
USBコネクター25はUSB(Universal Serial Bus)デバイスの接続端子である。
操作スイッチ30は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ30は表示部60に表示される画面に正対するように設けられている。これにより、操作スイッチ30における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ30を操作することが可能である。
ビデオコネクター27は映像入出力端子である。
図4は、本実施形態のディスプレイ本体20の水平断面図である。
図4に示すように、装置本体部21には、筐体21Aの長手方向に沿って延びる板状の回路基板29と、バッテリー33とが内蔵されている。回路基板29には、図示略の制御回路、電源回路等が実装されており、図示略の配線を介してディスプレイ本体20の各部と電気的に接続されている。
装置本体部21の外面に露出するタッチスイッチ34の内側には、液晶パネルからなる表示パネル36と、バックライト35とが配置されている。本実施形態では、表示パネル36の表示画像がタッチスイッチ34を透過して表示される。表示パネル36およびバックライト35を、有機ELパネルや電気泳動パネルとしてもよい。
ヘッドバンドヒンジ32は、筐体21Aに設けられた凹曲面状の収容部32aと、収容部32aに嵌合された球状部32bとからなるボールジョイントである。球状部32bは、球面状の側面部と、この側面部を挟むように互いに平行に形成された2つの平面部を有する。2つの平面部を垂直に貫くように連結孔31が形成されている。連結孔31は軸方向視で六角形状に形成されている。連結孔31にヘッドバンド40の連結ピン41が挿入されることによりディスプレイ本体20とヘッドバンド40とが連結される。
ヘッドバンドヒンジ32を備えていることで、ディスプレイ本体20は、図1に示したA方向(ヘッドバンドヒンジ32を中心とするX軸回り)に回動させることができる。本実施形態において、ディスプレイ本体20の回転可能範囲は270°程度とされる。このX軸回りの回転動作により、図3(A)に示す右眼で画像を観察する形態と、図3(B)に示す左眼で画像を観察する形態との切替機能が実現される。
またヘッドバンドヒンジ32はボールジョイントであるため、ディスプレイ本体20は図1に示すB方向(ヘッドバンドヒンジ32を中心とするZ軸回り)に揺動させることもできる。この揺動操作により、ディスプレイ本体20のユーザーの目や耳に対する位置を調整することができる。
ヘッドバンドヒンジ32近傍の心拍数センサー137は、装置本体部21の内面から突出するように設けられ、HMD1の装着時にユーザーの顔の表面に当接可能とされている。バッテリー33は一次電池、二次電池のいずれであってもよい。
表示部60は、図1および図2に示すように、装置本体部21の先端部に連結されている。本実施形態において、表示部60のヘッドバンド40側を内側、ヘッドバンド40と反対側を外側とする。表示部60は、上面視(Z軸視)において湾曲した形状を有するアーム部材であり、装置本体部21との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部60の内面に、ファインダー開口部67が設けられている。表示部60の外面には、カメラ64が設けられている。
図4に示すように、表示部60は、ディスプレイヒンジ61を介して装置本体部21と連結されている。ディスプレイヒンジ61は、表示部60の筐体60Aに形成された凹曲面状の収容部61aと、装置本体部21に形成され収容部61aに嵌合された球状部61bとからなるボールジョイントである。
装置本体部21の球状部61bは、装置本体部21の外面先端部に形成された筐体21Aの長手方向に対して斜めに延びる傾斜面に、この傾斜面の法線方向(図4のY’軸方向)に突出するようにして設けられている。
表示部60は、ディスプレイヒンジ61の球状部61bに対してY’軸回りに自由に回転させることができる。本実施形態では、ディスプレイヒンジ61が装置本体部21の上記傾斜面に設けられており、表示部60が内側に湾曲した形状を有している。
また、ディスプレイヒンジ61がボールジョイントであることから、表示部60は、Y’軸回りの回転面に対して直交する方向(概ねX’軸に沿う方向)の揺動も可能である。この揺動動作により、ユーザーによるファインダー開口部67の位置調整が容易になる。表示部60と装置本体部21との間隔を大きくすれば、表示部60の揺動幅を大きくすることができる。
すなわち、本実施形態によれば、保持部であるディスプレイヒンジ61は、表示部60を、少なくとも1つ以上の軸周りに揺動が可能である。
ディスプレイヒンジ61の球状部61bには、球状部61bを高さ方向(Y’軸方向)に貫通する貫通孔61cが形成されている。貫通孔61cを介して、表示部60の内部と装置本体部21の内部とが連通されている。貫通孔61cには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板29と表示部60の各部とが電気的に接続される。
表示部60は、ディスプレイヒンジ61の球状部61bに対してY’軸回りに自由に回転させることができる。これにより、図4に示す視聴可能状態から表示部60を回転させることで、収容状態(図示せず)に移行することができる。本実施形態では、ディスプレイヒンジ61が装置本体部21の上記傾斜面に設けられており、表示部60が内側に湾曲した形状を有している。これにより、収容状態(図示せず)において、表示部60は装置本体部21の外面に沿うように配置される。
表示部60の内部には、バックライト62と、表示パネル63と、カメラ64と、プリズム65と、反射ミラー66と、IDインジケータ68と、前方スピーカー70と、結像レンズ71と、撮像素子72とが設けられている。
プリズム65は、上面視(Z軸視)で略三角形状の第1プリズム65aと第2プリズム65bとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第1プリズム65aの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル63が設けられている。表示パネル63の背面に表示パネル63を透過照明するバックライト62が配置されている。第1プリズム65aの他方の面に対向する位置に反射ミラー66が配置されている。反射ミラー66は、ファインダー開口部67のほぼ正面に位置する。
第2プリズム65bの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部67に配置されたファインダー接眼面である。第2プリズム65bの他方の面に対向する位置には結像レンズ71を介して撮像素子72が対向配置されている。
表示部60において、表示パネル63に表示された画像は、第1プリズム65a、反射ミラー66、第2プリズム65bを介してファインダー開口部67から射出され、ユーザーに観察される。また、ファインダー開口部67を見ているユーザーの目元は、第2プリズム65bおよび結像レンズ71を介して撮像素子72上に結像される。撮像素子72を介して取得された目元の画像は、ユーザーの視線の方向や瞬き、表情の解析に用いられる。バックライト62は、撮像素子72による目元を撮像する際の照明装置としても利用される。
カメラ64は、例えば500万画素〜1000万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。
本実施形態の場合、カメラ64の撮像方向は、ユーザーの視線方向と一致するように設定される。撮像方向と視線方向との調整は、機械的に行ってもよく、画像処理により行ってもよい。例えば、カメラ64を広角の映像を取得可能に構成し、ユーザーの目元画像から取得した視線方向の情報に基づいて、電気的に捕らえた映像の一部を、視線方向の映像として抜き出して表示パネル63に表示させる。これにより、カメラ64に調整機構を設けることなくユーザー正面の映像の撮像、表示が可能となる。
IDインジケータ68は、例えばLEDである。このIDインジケータ68は、例えば、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させる。また、IDインジケータ68は、各ユーザーに割り当てられた色の可視光を、各ユーザーに割り当てられた発光パターンで点滅させる。このIDインジケータ68は、発光パターンに従ったタイミングと時間間隔(期間)でONとOFFを繰り返すことにより、割り当てられたID情報に応じた発光パターンで点滅する。
ここで、実空間においてはIDインジケータ68が指標物であり、カメラ64によって撮像された撮像画像内においてはIDインジケータ68の発光する光が指標物である。
なお、指標物は、IDインジケータ68に限られず、以下のようなものであってもよい。例えば、発光し続けている発光部からの光を、発光パターンに応じたタイミングと時間間隔で遮蔽することにより、割り当てられたID情報に応じた点滅する光を発信するものであってもよい。また、指標物は光に限られず、例えば、予め決められた図形や文字等のターゲット画像を時間の経過に伴い変化させることにより、割り当てられたID情報に応じた状態変化をするものであってもよい。なお、IDインジケータ68による発光パターンについては、後に図を参照して、詳細に説明する。
次に、ヘッドバンド40について、図2を参照しつつ説明する。
ヘッドバンド40は、図2に示すように、ユーザーの頭部を挟持する一対のヘッドパット(装着部材)46、47と、第1ヘッドバンド43と、第2ヘッドバンド44と、回動機構56、57とを備えている。
第1ヘッドバンド43は、全体として円弧状を成す弾性部材である。第1ヘッドバンド43の頂部に、第1ヘッドバンド43を折り曲げるためのジョイント部43aが設けられている。
第2ヘッドバンド44は、全体として円弧状を成す弾性部材である。第2ヘッドバンド44の頂部には、第2ヘッドバンド44を折り曲げるためのジョイント部44aが設けられている。第2ヘッドバンド44の両端には、それぞれ回動機構56、57を構成する軸部材44b、44cが設けられている。
また本実施形態において、第2ヘッドバンド44は、ステンレス等の金属からなるバネ部材48の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第2ヘッドバンド44のバネ部材48においてユーザーの頭部を挟持するバネ力を発生させる。また第2ヘッドバンド44は第1ヘッドバンド43と比較して広い幅に形成されている。ジョイント部44aの形成部分は他のバンド部分よりもさらに広く形成された標章表示部49とされている。標章表示部49には、シールや印刷により製品タグ等が付される。なお、第2ヘッドバンド44の全体を金属で形成してもよい。
ヘッドパット46は、板状の支持板46aと、支持板46aの一面側に設けられた断面アーチ状の弾性部材46bとを有する。これにより、ヘッドパット46は連結ピン41回りに回転可能である。
ヘッドパット47は、板状の支持板47aと、支持板47aの一方の面に設けられた断面アーチ状の弾性部材47bとを有する。支持板47aの弾性部材47bと反対側の面には、軸部材47cが設けられている。軸部材47cは、第1ヘッドバンド43の先端に設けられた軸受部43eに軸支されている。これにより、ヘッドパット47は、軸部材47c回りに回転可能である。
回動機構56,57において、第1ヘッドバンド43に対して第2ヘッドバンド44が矢印C方向に回動可能となっている。そして、第2ヘッドバンド44は、回動機構56によって第1ヘッドバンド43から離れる方向に回動付勢される一方、回動機構57によって第1ヘッドバンド43に対して所定角度以内の範囲に回動規制される。これにより、第2ヘッドバンド44は第1ヘッドバンド43に対して所定の角度となるように保持される。したがって、回動機構56、57は、ヘッドバンド40における角度保持機構として機能する。
図5は、本実施形態のHMD1の機能ブロック図である。
HMD1には、処理部123を中心として種々の電気回路が備えられている。処理部123は、CPU(Central Processing Unit)であり、HMD1の各種回路と接続されるとともに、HMD1を総合的に制御する。
バッテリー33は、電力を電源回路120に供給する。
電源回路120は、バッテリー33から供給された電力を、処理部123の制御によりHMD1の各部に供給する。
本実施形態の場合、処理部123には、エンコーダー129およびデコーダー121、電源回路120、BLドライバ126、操作スイッチ30、フラッシュメモリー122、BT通信回路130、WiFi(登録商標、以下省略)通信回路131、加速度センサー132、地磁気センサー133、IDインジケータ68、3G/LTE通信回路138、レーザー発信器73、角速度センサー134、GPSセンサー135、温湿度センサー136、心拍数センサー137、メモリー127、メインスイッチ28、タッチスイッチ34が接続されている。
エンコーダー129は音声信号および映像信号を所定方式の音声データおよび映像データにエンコード(符号化)する。エンコーダー129には、カメラ64、撮像素子72、集音マイク24、通話マイク37、オーディオコネクター26、ビデオコネクター27が接続されている。
エンコーダー129には、集音マイク24および通話マイク37から入力される音声信号、カメラ64から入力される映像信号、オーディオコネクター26から入力される音声信号、ビデオコネクター27から入力される映像信号、および、ユーザーの目元を撮像する撮像素子72の映像信号が入力される。エンコーダー129に入力された音声信号および映像信号は音声データおよび映像データにエンコードされた後、処理部123に入力される。入力された音声データおよび映像データは、処理部123による再生動作に用いられたり、フラッシュメモリー122に記録される。
デコーダー121は、音声データおよび映像データを音声信号および映像信号にデコード(復号化)する。デコーダー121には、LCDドライバ125、スピーカーアンプ162、オーディオコネクター26、およびビデオコネクター27が接続されている。LCDドライバ125は液晶パネル用の駆動制御装置であり、表示パネル36および表示パネル63に接続されている。スピーカーアンプ162は音声信号を増幅してスピーカーに出力する装置であり、耳元スピーカー23および前方スピーカー70に接続されている。
映像データを再生する場合、フラッシュメモリー122に記録された映像データ、あるいはエンコーダー129から入力される映像データは、処理部123を介してデコーダー121に入力される。デコーダー121に入力された映像データは、映像信号にデコードされた後、LCDドライバ125を介して表示パネル36、63に供給される。そして、映像信号が入力された表示パネル36又は表示パネル63に映像データに基づく映像が表示される。また、デコーダー121からビデオコネクター27に出力される映像信号は、ビデオコネクター27を介して外部機器に出力される。
また映像の表示に際して、処理部123は、必要に応じて表示パネル36用のバックライト35、および表示パネル63用のバックライト62を点灯させる。BLドライバ126は、バックライト用の駆動制御装置であり、バックライト35およびバックライト62に接続されている。処理部123は、BLドライバ126に駆動信号を送信し、BLドライバ126はバックライト35、62を個々に点灯させる。
音声データを再生する場合、フラッシュメモリー122に記録された音声データ、あるいはエンコーダー129から入力される音声データは、処理部123を介してデコーダー121に入力される。デコーダー121に入力された音声データは、音声信号にデコードされた後、スピーカーアンプ162を介して耳元スピーカー23および前方スピーカー70のいずれか一方、又は両方に出力される。そして、音声信号を入力された耳元スピーカー23又は前方スピーカー70から音声が出力される。
本実施形態の場合、耳元スピーカー23および前方スピーカー70は、モノラル音声の使用を想定しており、耳元スピーカー23および前方スピーカー70からは左右の音声信号が合成された音が発せられる。
メモリー127には、処理部123によって実行される制御プログラムや登録されたパーソナル情報等が記憶されている。
全体の電源のオンオフを行うメインスイッチ28や、画面内でのポインティング操作を行うための操作スイッチ30、あるいはタッチ操作により各種操作を行うタッチスイッチ34がユーザーに操作されると、これらのスイッチから操作に基づく制御信号が処理部123へ出力される。処理部123は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
BT通信回路130は、他の機器とのBluetooth(登録商標、以下省略)通信を行うための通信回路である。WiFi通信回路131は、他の機器との無線LAN通信(IEEE 802.11)を行うための通信回路である。3G/LTE通信回路138は、他の機器との移動通信を行うための通信回路である。
加速度センサー132はHMD1の傾き検出に用いられる。地磁気センサー133はHMD1の方角検出に用いられる。角速度センサー(ジャイロセンサー)134はHMD1の回転検出に用いられる。GPSセンサー135はGPS(Global Positioning System)を利用した測位検出に用いられる。温湿度センサー136は環境の温度、湿度の検出に用いられる。心拍数センサー137はユーザーの頬に接触し、ユーザーの心拍数を検出する。
次に、図6を参照して、本実施形態に係るHMD1を含む表示制御システムの一例について説明する。図6は、本実施形態に係るHMD1を含む表示制御システムのシステム構成図である。
図6に示すように、本実施形態に係る表示制御システムは、HMD1、HMD500、およびサーバー200を含む。HMD1、HMD500、およびサーバー200は、ネットワーク230に接続されている。ネットワーク230は、無線LAN(Local Area Network)、3G回線、LTE回線等を介して接続されているインターネットなどのネットワークである。
図6において、HMD1は、図5で説明した構成を備えるが、処理手順を説明する上で必要な機能部のみを示している。なお、HMD1の表示パネル63を、以後、LCD63という。また、BT通信回路130、WiFi通信回路131、3G/LTE通信回路138を含めた構成を、以後、通信インタフェース150という。
HMD500は、図6に示すように、主にフラッシュメモリー522、処理部523、通信インタフェース550、メモリー527、タッチスイッチ534、表示部60の内部に設けられる表示パネル(表示部、出力部ともいう)563(以後、LCD563という)、カメラ564、およびIDインジケータ568を備えている。HMD500の各機能部は、HMD1の各機能部と同等の機能を備える構成であるため、同一の名称を付して詳細な説明は省略する。
次に、サーバー200の構成について説明する。
図6に示すように、サーバー200は、処理部201、記憶部202、および通信インタフェース203を備えている。
サーバー200の処理部201は、各端末(HMD1、HMD500)から通信インタフェース203を介して受信した画像データ(動画、静止画、線画等)、音声データ、各端末の環境情報、および各端末からの要求(リクエスト信号)等の通信記録を、記憶部202に記録する。処理部201は、各端末の要求に応じて、記憶部202に記録してある画像データを読み出し、読み出した画像データを、各端末に送信する。
記憶部202には、各端末から受信した画像データ(動画、静止画)、音声データ、各端末の環境情報、および各端末からの要求等の通信記録が記録されている。
通信インタフェース203は、例えば、WiFi通信回路、3G通信回路、LTE通信回路、有線LAN回路等を備えている。
次に、図7を参照して、HMD1の処理部123の構成について詳細に説明する。図7は、本実施形態に係るHMD1の処理部123の構成の一例を示す機能ブロック図である。
図7に示す通り、HMD1の処理部123は、登録部1231と、発信制御部1232と、画像処理部1233と、通信通話制御部1234と、表示制御部1235と、音処理部1236とを含む。
登録部1231は、メモリー127にパーソナル情報や発光パターン情報を登録する。パーソナル情報とは、ユーザーの氏名、職業、趣味、およびメールアドレス等を含む個人特有の情報である。発光パターン情報とは、発光パターンを示す情報である。この発光パターンとは、各ユーザーを識別するための識別情報(以下、ID情報という)を示すIDインジケータ68の発光パターンである。IDインジケータ68の点滅間隔や点滅タイミングに応じた発光パターンは、ID情報ごとに決められる。
発信制御部1232は、メモリー127を参照して、登録されている発光パターンに従って、IDインジケータ68を発光させる。この発光パターンは、例えば、ID情報を含む情報である。また、発光パターンは、肉眼で観察しても容易に他の発光パターンと識別がつくように、1〜2Hzでの比較的低周波数での点滅であって、その周波数の中での点灯時には、例えば20Hz程度の比較的早めの周波数での点滅によってID信号を発信するようになっている。さらに肉眼での識別を助けるために、ID情報毎に決められた赤、青、緑といった発光色で点滅する。なお、発光パターンの詳細については、後に図面を参照して具体的に説明する。
画像処理部1233は、撮像された画像データに基づき、HMD1に搭載されるIDインジケータ68の発光点を示す画素として、予め決められた輝度あるいは明度以上の画素が撮像画像内に含まれているか否かを判定する。画像処理部1233は、予め決められた輝度あるいは明度以上の画素を検出した場合、時間の経過に伴い複数撮像される撮像画像に基づき、このIDインジケータ68の発光点の発光状態の変化を検出する。この画像処理部1233は、例えば、この検出された発光点の点滅状況から発光パターンを検出し、この発光パターンが示すID情報を検出する。発光パターンが示すID情報を取得した場合、画像処理部1233は、このID情報が有効な情報であるか否かを判定する。有効な情報であると判定した場合、画像処理部1233は、取得したID情報を通信通話制御部1234に出力する。
また、画像処理部1233は、カメラ64が撮像した撮像画像の画像データに基づき、IDインジケータ68による発光点の撮像画像内における位置を検出する。
さらに、画像処理部1233は、カメラ64が撮像した撮像画像の画像データに基づき、撮像画像内におけるIDインジケータ68の発光点の位置からHMD1を装着した人物であると想定される撮像画像内に含まれる人物の画像領域を検出する。この画像処理部1233は、例えば、パターン認識の技術を利用して、撮像画像内に含まれる人物の画像領域(例えば、顔、胴体、手足・・・等)を検出する。
また、画像処理部1233は、カメラ64が撮像した撮像画像内に、HMD1を装着した第1ユーザーAの鏡像が含まれている場合、この撮像画像に対して、歪曲補正処理を行う。なお、画像処理部1233による歪曲補正処理の詳細について、後述する。
さらに、画像処理部1233は、カメラ64が撮像した撮像画像内に、HMD1を装着した第1ユーザーAの鏡像が含まれている場合、この撮像画像の左右を反転させて、左右反転画像に変換する。なお、ここで撮像画像の左右とは、予め決められている撮像画像の左右方向(つまり、撮像素子において予め決められている左右方向)であってもよく、角速度センサー134によって検出されるHMD1の水平方向であってもよい。
通信通話制御部1234は、画像処理部1233からID情報を入力した場合、メモリー127を参照して、HMD1に割り当てられたID情報(自己のID情報)と、画像処理部1233から入力したID情報とが一致するか否かを判定する。この自己のID情報と画像処理部1233から入力したID情報とが一致する場合、通信通話制御部1234は、カメラ64によって撮像された撮像画像には、HMD1を装着した第1ユーザーAの鏡像が含まれていると判定する。
また、通信通話制御部1234は、自己のIDと画像処理部1233から入力したID情報とが一致した場合、このID情報に関連付けられた関連情報をメモリー127から読み出し、通信インタフェース150を介して、読み出した関連情報を他のHMDに送信する。
また、通信通話制御部1234は、タッチスイッチ34を介して、第1ユーザーAから他のHMD500の呼び出しを指示する操作を受け付けた場合、通信インタフェース150を介して、呼び出し相手であるHMD500に、呼び出し信号を送信する。この通信通話制御部1234は、呼び出し相手であるHMD500から着信応答信号を受信した場合、呼び出し相手であるHMD500と通話状態を確立する。通信通話制御部1234による通話状態を確立した場合、音処理部1236が、例えば、通話マイク37によって集音された音データを、通信インタフェース150を介してHMD500に送信する。また、音処理部1236は、HMD500から受信した音データを耳元スピーカー23から出力させる。
表示制御部1235は、表示パネル63が表示する表示内容を制御する。この表示制御部1235は、カメラ64によって撮像された撮像画像を表示パネル63に表示させる。
また、表示制御部1235は、通信インタフェース150を介して、他のHMD500から撮像画像を受信した場合、この撮像画像を表示パネル63に表示させるとともに、この他のHMD500からの撮像画像の画像サイズよりも小さいサイズで、カメラ64によって撮像された撮像画像を表示パネル63に表示させる。
さらに、表示制御部1235は、他のHMD500からパーソナル情報を受信した場合、このパーソナル情報を表示パネル63に表示させる。
また、表示制御部1235は、サーバー200からバーチャルカタログに掲載されている商品の合成画像を受信した場合、この商品の合成画像を、カメラ64によって撮像された撮像画像内の第1ユーザーAを示す画像領域に重畳して表示し、商品の画像を合成した合成画像を生成し、表示パネル63に表示させる。
音処理部1236は、集音マイク24あるいは通話マイク37によって集音された音データを通信インタフェース150を介して他のHMD500に送信させる。また、他のHMD500から音データを受信した場合、音処理部1236は、耳元スピーカー23から出力する。
次に、図8を参照して、本実施形態に係る表示制御方法により、HMD1とHMD500に表示される表示画面の一例について説明する。図8は、本実施形態において通信状態にあるHMD1とHMD500に表示される表示画面の一例を示す図である。
図8に示す通り、第1ユーザーAは、HMD1を装着している。また、第2ユーザーBは、HMD500を装着している。また、第1ユーザーAは、HMD1を右目側に装着した状態で、凸面鏡M1を右手に持ち、凸面鏡M1に映る自分を見ている。第2ユーザーBは、HMD500を左目側に装着した状態で、凸面鏡M2を左手に持ち、凸面鏡M2に映る自分を見ている。
ここで、凸面鏡は、例えば、図示の通り手鏡であってもよく、腕時計のような構成に装着されるものであってもよい。また、ペンダンドのような形状に構成されるものであってもよく、さらに、HMD1の収納ケース(図示せず)等の一面が凸面鏡に構成されているものであってもよい。
この状態でHMD1のカメラ64が起動されると、凸面鏡M1に映る第1ユーザーAの鏡像がカメラ64によって撮像される。また、HMD1のIDインジケータ68が、第1ユーザーAに割り当てられたID情報に応じた発光色と発光パターンで点滅している。ここで、第1ユーザーAの鏡像がカメラ64によって撮像された場合、撮像画像内にはIDインジケータ68の発光点が含まれている。よって、HMD1の処理部123の画像処理部1233は、撮像画像に基づき、第1ユーザーAに割り当てられたID情報を検出することができる。
このように、撮像画像から自己のID情報が検出された場合、HMD1の処理部123の画像処理部1233は、撮像画像にHMD1を装着した第1ユーザーAの鏡像が含まれていると判定する。そして、HMD1の処理部123の画像処理部1233は、事前に設定されている凸面鏡M1の曲率に基づき、この第1ユーザーAの鏡像が含まれる撮像画像に対して歪曲補正をかける。このとき、第1ユーザーAはHMD1を右目側に装着しているため、処理部123の画像処理部1233は、カメラ64が撮像した撮像画像に対して、撮像画像内において顔の中心が左側に寄っている場合に生じる歪曲収差を補正する歪曲補正処理を行う。また、処理部123の画像処理部1233は、歪曲補正をかけた画像の左右を反転する画像処理を行う。HMD1は、この左右が反転された左右反転画像を、HMD500に送信する。なお、この歪曲補正処理としては、公知の一般的な技術が利用可能である。
同様にして、HMD500のカメラ564が起動されると、凸面鏡M2に映る第2ユーザーBの鏡像がカメラ564によって撮像される。また、HMD500のIDインジケータ568が、第2ユーザーBに割り当てられたID情報に応じた発光色と発光パターンで点滅している。ここで、第2ユーザーBの鏡像がカメラ564によって撮像された場合、撮像画像内にIDインジケータ568の発光点が含まれている。よって、HMD500の処理部523の画像処理部1233は、撮像画像に基づき、第2ユーザーBに割り当てられたID情報を検出することができる。
このように、撮像画像から自己のID情報が検出された場合、HMD500の処理部523の画像処理部1233は、撮像画像にHMD500を装着した第2ユーザーBの鏡像が含まれていると判定する。そして、HMD1の処理部523の画像処理部1233は、事前に設定されている凸面鏡M2の曲率に基づき、この第2ユーザーBの鏡像が含まれる撮像画像に対して歪曲補正をかける。このとき、第2ユーザーBはHMD500を左目側に装着しているため、処理部523の画像処理部1233は、カメラ564が撮像した撮像画像に対して、撮像画像内において顔の中心が右側に寄っている場合に生じる歪曲収差を補正する歪曲補正処理を行う。また、処理部523の画像処理部1233は、歪曲補正をかけた画像の左右を反転する画像処理を行う。HMD500は、この左右が反転された左右反転画像を、HMD100に送信する。なお、この歪曲補正処理としては、公知の一般的な技術が利用可能である。
また、HMD1は、カメラ64が撮像した撮像画像に基づき第1ユーザーAに割り当てられたID情報を検出した場合、第1ユーザーAに関するパーソナル情報をメモリー127から読み出し、HMD500に送信する。
同様にして、HMD500も、カメラ564が撮像した撮像画像に基づき第2ユーザーBに割り当てられたID情報を検出した場合、第2ユーザーBに関するパーソナル情報をメモリー527から読み出し、HMD1に送信する。
これにより、HMD1は、LCD63に、HMD500から受信した第2ユーザーBの左右反転画像を表示するとともに、第2ユーザーBのパーソナル情報「名前 Bさん 前回 ○○○○年××月△日」を表示させる。なお、HMD1は、カメラ64によって撮像された撮像画像に対して歪曲補正した画像を、LCD63に、小さくして表示させる。
従って、第1ユーザーAが見るLCD63には、通話相手である第2ユーザーBを撮像した画像と、第2ユーザーBに関するパーソナル情報と、HMD500に送信された第1ユーザーA自身の撮像画像が表示される。このとき、LCD63に表示される第2ユーザーBの画像は、鏡像が左右反転された画像であって、つまり、第2ユーザーBと対面した際に見える向きで表示される画像である。
同様にして、HMD500は、LCD563に、HMD1から受信した第1ユーザーAの左右反転画像を表示するとともに、第1ユーザーAのパーソナル情報「名前 Aさん 前回 ○○○○年××月△日 メモ 打ち合わせ日程を連絡する。」を表示させる。なお、HMD500は、カメラ564によって撮像された撮像画像に対して歪曲補正した画像を、LCD563に、小さくして表示させる。
従って、第2ユーザーBが見るLCD63には、通話相手である第1ユーザーAを撮像した画像と、第1ユーザーAに関するパーソナル情報と、HMD1に送信された第2ユーザーB自身の撮像画像が表示される。このとき、LCD563に表示される第1ユーザーAの画像は、鏡像が左右反転された画像であって、つまり、第1ユーザーAと対面した際に見える向きで表示される画像である。
次に、図9,10を参照して、画像処理部1233による歪曲補正の一例について説明する。図9は、HMD1を右目側に装着する第1ユーザーAの鏡像を含む画像に対する補正処理の一例について説明するための図である。図10は、HMD1を左目側に装着する第1ユーザーAの鏡像を含む画像に対する補正処理の一例について説明するための図である。
はじめに、図9を参照して、第1ユーザーAが右目側にHMD1を装着している場合について説明する。
図9(A)において、凸面鏡410は、説明のために球形として表現され、HMD1を装着する第1ユーザーAの正面側に配置されている。また、カメラ64と凸面鏡410を結ぶ法線を法線O1とする。カメラ64の撮影範囲を矢印ANで示す。
図9(A)に示す位置関係において、カメラ64によって撮像された撮像画像の一例を、図9(B)に示す。図9(A)に示す通り、凸面鏡410は、第1ユーザーAから見て撮影範囲ANの左寄りに位置している。これは、法線O1がカメラ64と凸面鏡410を結ぶ最短距離であることから、凸面鏡410の鏡面に映る鏡像の中央にカメラ64が映り、鏡像420において、右目側にHMD1を装着した第1ユーザーAの顔が第1ユーザーAからみて左側に寄っていることに起因する。この状態で、カメラ64が第1ユーザーAの鏡像を撮像すると、図9(B)に示す通り、撮像画像内における第1ユーザーAの鏡像420では、第1ユーザーAの顔が左寄りに写ることになる。
次に、図10を参照して、第1ユーザーAが左目側にHMD1を装着している場合について説明する。
図10(A)において、カメラ64と凸面鏡410を結ぶ法線を法線O2とする。
図10(A)に示す場合に、カメラ64によって撮像された撮像画像の一例を、図10(B)に示す。図10(A)に示す通り、凸面鏡410は、第1ユーザーAから見て撮影範囲ANの右寄りに位置している。これは、法線O2がカメラ64と凸面鏡410を結ぶ最短距離であることから、凸面鏡410の鏡面に映る鏡像の中央にカメラ64が映り、鏡像430において、左目側にHMD1を装着した第1ユーザーAの顔が第1ユーザーAからみて右側に寄っていることに起因する。この状態で、カメラ64が第1ユーザーAの鏡像を撮像すると、図10(B)に示す通り、撮像画像内における第1ユーザーAの鏡像420では、第1ユーザーAの顔が右寄りに写ることになる。
このように、カメラ64によって撮像された撮像画像における第1ユーザーAの顔の歪曲歪みが、第1ユーザーAに装着されたHMD1の位置、つまり、HMD1を観察する目が右目であるかあるいは左目であるかに応じて異なる。このために、歪曲収差を補正するためには、第1ユーザーAがどちらの目でHMD1を観察しているか、すなわちカメラ64の近傍に第1ユーザーAのどちら側の目があるかを検出することが重要である。
なお、カメラ64が撮像した撮像画像から公知の顔認識技術により凸面鏡に映る鏡像を検出して、撮像画像内における第1ユーザーAの目とカメラ64との位置関係、もしくは、撮像画像内における第1ユーザーAの目とIDインジケータ68の発光点との位置関係を検出し、この検出結果に応じて、補正方法を選択するものであってもよい。しかし、本実施形態のように、HMD1を装着する方向に応じて顔の補正方法が事前に決められている方が、短時間で歪曲補正処理を行うことが可能となる。
また、HMD1では表示部63を観察するファインダー開口部67のほぼ裏面にカメラ64ならびにIDインジケータ68が配置されている。このため、IDインジケータ68の発光をカメラ64で検出することで、カメラ64の位置ならびにユーザーの目の位置が特定しやすくなっている。
なお、ユーザーが表示部63を観察する目の左右を判定するため、処理部123は、HMD1が、図3(A)に示すような使用状態であるか、あるいは、図3(B)に示すような使用状態であるかを判定する。この判定の方法として、撮像素子72でユーザーの目元の画像を撮影して右目か左目かを検出する方法、また事前に使用者が設定した右目/左目の選択項目を参照する方法、加速度センサー132で重力の方向を検出して、図3(A)または図3(B)のどちらかの状態かを判定する方法がある。
また、本実施形態において、カメラ64が撮像する鏡像を、凸面鏡に映す例について説明するが、鏡として凸面鏡を用いる理由は次にあげられる。
平面鏡を用いた場合には、カメラ64の方に正しく鏡を向けないと自己の画像を撮影することができないおそれがある。また、平面鏡の場合には、ユーザーの顔の大きさの半分以上の大きさがないと、顔全体の映像をカメラ64に写し込むことが出来ない。
しかしながら、凸面鏡であれば、凸面鏡の角度が多少ずれても、凸面鏡の鏡面とカメラを結ぶ法線O1、O2が存在する確率が高く、凸面鏡からの反射像をカメラ64で撮影できる確率が高くなる。さらに凸面鏡であれば、ユーザーの顔の大きさの半分以下であっても、顔全体の映像をカメラ64に写し込むことが可能である。よって、凸面鏡の場合、カメラ64の方向に正確に角度を合わせなくても、また鏡面の面積が小さくても、ユーザーの顔全体を映し込むことが可能となる。
次に、図11を参照して、本実施形態に係る表示制御方法の一例について説明する。図11は、本実施形態に係る表示制御方法の一例について説明するためのフローチャートである。ここでは、第1ユーザーAの所持するHMD1における処理フローの一例について、以下説明する。他のHMD500も同様の処理フローを実行可能であるが、詳細な説明は省略する。
事前に、HMD1の第1ユーザーAによって、自己のパーソナル情報をサーバー200に登録するか否かの判断がなされる。この登録有無の判断は、ユーザー個人によってなされる。
例えば、タッチセンサ34を介して、第1ユーザーAからパーソナル情報の登録処理を要求する操作が入力されると、処理部123は、タッチセンサ34を介して入力されるパーソナル情報をサーバー200に送信する。サーバー200は、受信したパーソナル情報を記憶部202に登録する。また、処理部123は、入力されたパーソナル情報をメモリー127に書き込む。なお、本発明はこれに限られず、第1ユーザーAが所定のパーソナルコンピュータやスマートフォンあるいはその他の情報処理装置を介してパーソナル情報を入力し、これら情報処理装置がサーバー200にパーソナル情報を登録させるものであってもよい。
パーソナル情報の登録処理を要求する操作が入力された場合、HMD1は、第1ユーザーAのパーソナル情報をサーバー200に登録させる。パーソナル情報とは、ユーザーの氏名、職業、趣味、およびメールアドレス等を含む個人特有の情報である。また、サーバー200への登録は、例えば、HMD1の処理部123の登録部1231が、実行する。登録部1231は、メモリー127に登録されているパーソナル情報や、タッチスイッチ34を介して入力されるパーソナル情報を、通信インタフェース150を介してサーバー200に送信する。
パーソナル情報の登録が完了すると、サーバー200の処理部201は、例えば、登録を行った順に従って、第1ユーザーAを他のユーザーと識別するためのID情報を発行し、このID情報を示す発光パターン情報を、HMD1に送信する。なお、この発光パターン情報は、記憶部202に事前に記憶されているものであってもよく、その都度、ID情報が発行されるものであってもよい。
そして、HMD1の通信インタフェース150は、発光パターン情報をサーバー200から受信する。HMD1の処理部123の登録部1231は、受信した発光パターン情報をメモリー127に登録する。
(ステップST101)
HMD1がHMD500を呼び出す。具体的に説明すると、HMD1の処理部123の通信通話制御部1234が、タッチスイッチ34を介して、第1ユーザーAからHMD500の呼び出しを指示する操作を受け付ける。そして、HMD1の処理部123の通信通話制御部1234が、通信インタフェース150を介して、HMD500に、呼び出し信号を送信する。HMD500は、呼び出し信号を受信すると、第2ユーザーBに対して、HMD1の第1ユーザーAから呼び出しを受け付けたことを通知する。
(ステップST102)
ここで、HMD500のタッチスイッチ534を介して、第2ユーザーBが着信応答を指示する操作を入力した場合、処理部523は、通信インタフェース550を介して、着信応答信号をHMD1に送信する。HMD1の処理部123の通信通話制御部1234は、HMD500から着信応答信号を受信した場合、HMD500と通話状態を確立する。
一方、HMD500から着信応答信号を受信しない場合、HMD1の処理部123の通信通話制御部1234は、図12を参照して後述するステップST118の処理へ移行する。
(ステップST103)
そして、HMD1の処理部123は、カメラ64を起動させる。カメラ64は、撮像した撮像画像の画像データを画像処理部1233に出力する。
本実施形態において、第1ユーザーAは、図8に示すように、凸面鏡M1に映った自分の顔の鏡像を直接に見る。これにより、カメラ64は、図8に示すような、凸面鏡M1に映った第1ユーザーAの顔の鏡像を撮像し、第1ユーザーAの顔の鏡像を含む撮像画像の画像データを画像処理部1233に出力する。
(ステップST104)
次いで、HMD1の処理部123の発信制御部1232は、メモリー127を参照して、登録されているID情報に応じた発光色および発光パターンでIDインジケータ68を点滅させる。
(ステップST105)
そして、画像処理部1233は、カメラ64によって撮像された撮像画像の画像データに基づき、HMD1のIDインジケータ68の発光をHMD1のカメラ64が捕らえられたかを判断する。具体的に説明すると、画像処理部1233は、撮像された画像データに基づき、HMDに搭載されるIDインジケータの発光点を示す画素として、予め決められた輝度あるいは明度以上の画素が撮像画像内に含まれているか否かを判定する。画像処理部1233は、予め決められた輝度あるいは明度以上の画素を検出した場合、時間の経過に伴い複数撮像される撮像画像に基づき、このIDインジケータの発光点の発光状態の変化を検出する。この画像処理部1233は、例えば、この発光点の点滅状況から発光パターンを検出し、この発光パターンが示すID情報を検出する。そして、発光パターンが示すID情報を取得した場合、画像処理部1233は、このID情報が有効な情報であるか否かを判定する。有効な情報であると判定した場合、画像処理部1233は、メモリー127を参照して、取得したID情報が、HMD1に割り当てられたID情報(自己のID情報)であるか否かを判定する。
このようにして、画像処理部1233がカメラ64の撮像画像に基づき、HMD1のIDインジケータ68の発光パターンから有効な自己のID情報を取得した場合、処理部123は、ステップST106へ移行する。また、自己のID情報を取得できない場合、あるいは、取得したID情報が有効な情報でない場合、処理部123は、ステップST117の処理へ移行する。
このように、HMD1は、ID情報に応じた発光パターンでIDインジケータ68を点滅させることにより、鏡に映ったIDインジケータ68の発光パターンをカメラ64で撮影して、自己が鏡に映っていることを認識することが可能になっている。
(ステップST106)
そして、画像処理部1233は、カメラ64が撮像した撮像画像の画像データに基づき、自己のID情報に応じた発光パターンで発光する発光点を検出し、この発光点の撮像画像内における位置を検出する。
次いで、画像処理部1233は、カメラ64が撮像した撮像画像の画像データに基づき、例えば、パターン認識の技術を利用して、撮像画像内に含まれる人の顔を検出する。そして、撮像画像内において、自己のID情報の発光点と近い人の顔を、第1ユーザーAの顔の画像領域として検出する。なお、複数の人の顔が検出された場合、画像処理部1233は、自己のID情報を取得したIDインジケータ68の発光点の位置と撮像画像内において最も近い人の顔を、第1ユーザーAの顔の画像領域として検出する。
(ステップST107)
そして、画像処理部1233は、第1ユーザーAが装着しているHMD1の位置が、第1ユーザーAの右目側であるか、あるいは、左目側であるかを判定する。
例えば、画像処理部1233は、撮像素子72が撮像した第1ユーザーAの目元の撮像画像の画像データに基づき、撮像した第1ユーザーAの目元の画像が右目であるか、あるいは、左目であるかを判定する。具体的に説明すると、画像処理部1233は、撮像画像の画像データと、予め用意されている右目画像のテンプレートと左目画像のテンプレートとを比較して、一致あるいは類似している度合いに応じて、撮像画像内に右目が含まれているのか、あるいは、左目が含まれているのかを判定するパターンマッチングを行う。
なお、HMD1を装着した状態で第1ユーザーAの目元を撮像素子72が撮像すると、HMD1が装着されている側の目元だけを撮像し、他方の目元は撮像されない。よって、画像処理部1233は、撮像素子72によって撮像された目元が右目である場合、第1ユーザーAが装着しているHMD1の位置が右目側であることを判定する。
また、これ以外にもHMD1の位置が、第1ユーザーAの右目側であるか、あるいは、左目側であるかを判定する方法として、事前に使用者が設定した右目/左目の選択項目を参照する方法や、加速度センサー132で重力の方向を検出して、図3(A)または図3(B)のどちらかの状態かを判定しても良い。
(ステップST108)
第1ユーザーAが装着しているHMD1の位置が右目側であると判定した場合、画像処理部1233は、カメラ64が撮像した撮像画像に対して、事前に設定された凸面鏡M1の曲率に基づき、撮像画像内において顔の中心が左側に寄っている場合に生じる歪曲収差を補正する歪曲補正処理を行う。なお、歪曲補正処理においては、ユーザーと凸面鏡との距離に応じて補正値が異なる。このユーザーと凸面鏡との距離に応じた補正値や、ユーザーの目や鼻や口の位置や大きさ、各パーツとの位置関係を示す情報は、メモリー127に保存されている。画像処理部1233は、このメモリー127を参照して、撮像画像内の第1ユーザーAの顔の形と一致あるいは類似するユーザーの目や鼻や口の位置や大きさおよびこれらの位置関係を取得し、この取得したユーザーの目や鼻や口の位置や大きさおよびこれらの位置関係と対応付けられている補正値を取得する。画像処理部1233は、取得した補正値に基づき、撮像画像を補正する。
(ステップST109)
一方、撮像素子72によって撮像された目元が左目である場合、画像処理部1233は、第1ユーザーAが装着しているHMD1の位置が左目側であることを判定する。第1ユーザーAが装着しているHMD1の位置が左目側であることが判定された場合、画像処理部1233は、カメラ64が撮像した撮像画像に対して、撮像画像内において顔の中心が左側に寄っている場合に生じる歪曲収差を補正する歪曲収差補正を行う。
(ステップST110)
次いで、画像処理部1233は、歪曲収差補正を施した撮像画像の左右を反転させ、この撮像画像の左右反転画像を通信通話制御部1234に出力する。通信通話制御部1234は、通信インタフェース150を介して、左右反転画像をHMD500に送信する。
これにより、HMD500のLCD563には、第1ユーザーAの鏡像を含む撮像画像に対して歪曲補正され、かつ、左右が反転した画像が、HMD1を装着した第1ユーザーAの撮像画像として表示される。
(ステップST111)
また、画像処理部1233は、ステップST105において、自己のID情報が検出された場合、自己のID情報が検出されたことを示す情報を通信通話制御部1234に出力する。この通信通話制御部1234は、自己のID情報が検出されたことを示す情報を入力した場合、メモリー127からパーソナル情報を読み出し、通信インタフェース150を介して、呼び出したパーソナル情報をHMD500に送信する。
なお、本発明はこれに限られず、メモリー127にパーソナル情報が保存されていない場合、通信通話制御部1234は、サーバー200に対して、自己のID情報に対応付けられたパーソナル情報をHMD500に送信することを要求するリクエスト信号を送信するものであってもよい。
これにより、第1ユーザーAのパーソナル情報がHMD500に送信される。そして、HMD500のLCD563には、第1ユーザーAの鏡像を含む撮像画像に対して歪曲補正され、かつ、左右が反転した画像が表示されるとともに、第1ユーザーAのパーソナル情報が表示される。
(ステップST112)
HMD1の表示制御部1235は、カメラ64によって撮像された撮像画像を、LCD63の表示画面に小さく表示する。なお、LCD63に表示される小さな第1ユーザーAの画像は、歪曲収差は除去されているが、左右反転はされず鏡像のままとなっている。これは自己の映像に対面するときは、鏡像の方が見やすくなるためである。
(ステップST113)
また、HMD500も、HMD1と同様に、ステップST103〜ST111の処理を実行している。具体的に説明すると、HMD1の処理部523が、カメラ564を起動する。このとき、図8を参照して説明した通り、第2ユーザーBは、凸面鏡M2に映ったIDインジケータ568の発光点と第2ユーザーBの顔が、カメラ564によって撮像される。また、処理部523は、メモリー127を参照して、登録されているID情報に応じた発光色および発光パターンでIDインジケータ568を点滅させる。
そして、HMD500の処理部523は、カメラ564によって撮像された撮像画像の画像データから、第2ユーザーBに割り当てられた自己のID情報を検出した場合、撮像画像に対して、事前に設定された凸面鏡M2の曲率に基づき、撮像画像における顔の中心が右側に寄っている場合に生じる歪曲収差を補正する歪曲補正処理、あるいは、撮像画像における顔の中心が左側に寄っている場合に生じる歪曲収差を補正する歪曲補正処理を行う。
次いで、HMD500の処理部523は、歪曲補正処理を施した画像の左右を反転させる画像処理を撮像画像に対して施し、通信インタフェース550を介して、この左右反転画像をHMD1に送信する。また、HMD500の処理部523は、第2ユーザーBに割り当てられたID情報に対応するパーソナル情報を、通信インタフェース550を介して、HMD1に送信する。
これにより、HMD1は、通信インタフェース150を介して、HMD500から、HMD500のカメラ564によって撮像された第2ユーザーBの顔の左右反転画像と、第2ユーザーBのパーソナル情報を受信する。
(ステップST114)
そして、HMD1の表示制御部1235は、HMD500から受信した左右反転画像を、LCD63の表示画面の全体に大きく表示する。
(ステップST115)
次いで、HMD1の処理部123は、交信を終了するか否かを判定する。
第1ユーザーAもしくは第2ユーザーBが交信を切る操作をした場合には、処理部123は、この操作を示す情報を受けて、ステップST116の処理へ移行する。なお、交信が続く場合、処理部123は、ステップST105の処理へ戻る。
(ステップST116)
そして、HMD1の処理部123の発信制御部1232は、IDインジケータ68の発光を停止させる。通信通話制御部1234は、交信のシーケンスを終了する。
(ステップST117)
一方、ステップST105において、自己のID情報を取得できない場合、あるいは、取得したID情報が有効な情報でない場合、処理部123は、カメラ64によって撮像された撮像画像の画像データを、通信インタフェース150を介して、HMD500に送信する。つまり、自己のID情報を検出しない場合、HMD1は、カメラ64によって撮像された撮像画像に対して、左右反転の画像処理は実行しない。なお、HMD1は、このカメラ64によって撮像された撮像画像に対して、一般的な歪み補正処理を実行してもよい。
次に、図12を参照して、図11のステップST102において、HMD500が通話に参加しない場合の処理の一例について説明する。図12は、呼び出し相手から着信応答が得られない場合の処理の一例を示すフローチャートである。
(ステップST118)
ステップST102において、HMD500から着信応答信号を受信しない場合、HMD1の処理部123の通信通話制御部1234は、通話を終了する操作が第1ユーザーAによってなされたか否かを判定する。タッチスイッチ34を介して、通話を終了する操作が入力された場合、処理部123は、シーケンスを終了する。
(ステップST119)
一方、タッチスイッチ34を介して、通話を終了する操作が入力されない場合、処理部123は、HMD500において留守録モードが設定されているか否かを判定する。なお、留守録モードとは、HMD500が呼び出しに対して応答できない場合、呼び出し相手からのメッセージ等をサーバー200に登録しておく設定である。
(ステップST120)
留守録モードが設定されている場合、処理部123は、ステップST120の処理へ移行する。また留守録モードが設定されていない場合、処理部123は、ステップST102の処理へ戻り、再度、HMD500が着信に応答するまで待つ。
(ステップST121)
留守録モードが設定されている場合、処理部123の表示制御部1235は、留守録モードにおいて予め決められている表示画像を、LCD63に表示させる。
本実施形態において、表示制御部1235は、図13に示すような表示画像をLCD63に表示させる。
図13に示す通り、留守録モードにおいて表示される表示画像には、HMD500の第2ユーザーBが設定した表示内容が表示される。例えば、表示画像には、伝言を残すユーザーの氏名や、伝言の内容を5W1H形式で問う文章が表示される。図示の通り、例えば、「1.どちら様ですか? 2.いつですか? 3.どこでですか? 4.どのようにしてですか? 5.だれですか? 6.なぜですか?」などの文章がLCD63に表示される。これにより、留守録モードにおいても、第1ユーザーAはあわてることなく、確実に情報を相手に伝えることが可能となっている。なおこの内容を、留守録を希望するHMD500の第2ユーザーBが任意に入れ替えたり、異なった表示形態を設定してもよい。またHMD1より音声でこの内容が発声されても良い。また発話はHMD1が設定されている言語モードに合わせて他言語に変換されても良い。このことで、目の不自由な人、他言語のユーザーが迷うことなく使用することが可能となっている。
このように従来の携帯電話では装置本体を頭部耳元に持っていくとディスプレイの表示を見ることが出来なかった。しかしながらHMD1では耳元にHMD1が保持されていても表示部60のLCD63によって文字情報の認識が可能である。このため、通常の送受信の他、通信相手が留守録モードになっている場合でも、先方より文字情報を受信してそれを確認しながら、音声情報を先方に送信することが可能となっている。
(ステップST122)
そして、HMD1の処理部123の音処理部1236は、集音マイク24あるいは通話マイク37もしくはその両方によって集音された音データを入力し、フラッシュメモリー122に一時的に保存する。例えば、LCD63に表示されている表示内容に従って、HMD1の第1ユーザーAが、音声でメッセージを伝えるとする。この場合、第1ユーザーAの音声を通話マイク37が集音し、この通話マイク37によって集音された音データを、第2ユーザーBへのメッセージとして音処理部1236がフラッシュメモリー122に一時的に保存する。
また、HMD1の処理部123は、カメラ64を起動させる。カメラ64は、撮像した撮像画像の画像データを画像処理部1233に出力する。例えば、第1ユーザーAが、凸面鏡M1に映った自分の顔を撮像するとする。この場合、カメラ64は、第1ユーザーAの鏡像を含む撮像画像の画像データを画像処理部1233に出力する。そして、画像処理部1233は、入力する画像データを、第2ユーザーBへのメッセージに添える画像として、フラッシュメモリー122に一時的に保存する。
(ステップST123)
通信通話制御部1234は、第2ユーザーBへのメッセージおよびメッセージに添える画像として、フラッシュメモリー122に一時的に保存されている画像データと音データとをまとめて動画ファイルを生成し、通信インタフェース150を介して、サーバー200に送信する。そして、サーバー200は、受信した動画ファイルを記憶部202に記録する。
なお、第2ユーザーBへ送る画像は、前述のステップST107〜ステップST109と同等の処置が行われ、左右の反転ならびに歪曲修正がなされている。
(ステップST124)
そして、サーバー200の処理部201は、記録した動画ファイルの保存場所を示すURLを発行し、この発行したURLを示す情報を、通信インタフェース203を介して、HMD500へ送信する。HMD500は、サーバー200からULRを示す情報を受信すると、第2ユーザーBに対して、第1ユーザーAからのメッセージがサーバー200に保存されていることを通知する。
例えば、第2ユーザーBが、HMD500のタッチスイッチ534を介して、サーバー200から送信されたURLへのアクセスを指示したとする。HMD500の処理部523は、インターネット経由などで指定されたURLにアクセスし、記憶されている動画ファイルの送信を要求する。サーバー200は、通信インタフェース203を介して、要求された動画ファイルをHMD500に送信する。HMD500は、受信した動作ファイルに基づき、第1ユーザーAからのメッセージを耳元スピーカー23から出力するとともに、第1ユーザーAの画像をLCD563に表示させる。これにより、第2ユーザーBは、音声と画像によって、第1ユーザーAからの留守録内容を確認することができる。
以上のように、本実施形態に係るHMD1は、カメラ64によって撮像された撮像画像内に鏡像が含まれている場合、撮像画像の左右を反転させ、左右反転した撮像画像を、他のHMD500に送信するようにした。HMD1は、鏡に映った第1ユーザーAの顔を撮像し、この鏡像を含む撮像画像を左右反転して他のHMD500に送信することにより、第1ユーザーAの顔を正面から見た状態の第1ユーザーAの顔の画像を他のHMD500に提供することができる。よって、HMD1を大型化することなく、HMD1の装着者である第1ユーザーAの顔の全体を撮像して、他のHMD500に提供することができる。なお、本実施形態において、HMD1を装着している第1ユーザーAの顔の全体が映る撮像画像は、他のHMD500に表示される例について説明したが、本発明はこれに限られない。
また、HMD1の処理部123は、カメラ64によって撮像された撮像画像から、IDインジケータ68の点滅が示すID情報を検出し、検出されたID情報がHMD1あるいは第1ユーザーAに対して割り当てられたID情報(自己のID情報)であった場合、カメラ64によって撮像された撮像画像内にHMD1を装着した第1ユーザーAの鏡像があると判定する。これにより、HMD1は、カメラ64によって撮像された画像内に、HMD1を装着した第1ユーザーAの鏡像が含まれていることを検出することができる。よって、例えば、カメラ64によって撮像された撮像画像から人物の画像を検出し、検出された人物のうち、HMD1を装着する第1ユーザーAがどれであるのかを検出する等の処理が不要となり、処理負荷を軽減することができる。
なお、HMD1のカメラ64が撮像する鏡像は、凸面鏡に映される鏡像であることが好ましい。凸面鏡であれば、凸面鏡の角度が多少ずれても、面鏡の鏡面の法線とカメラを結ぶ法線O1、O2が存在する確率が高く、凸面鏡からの反射像の全てをカメラ64で撮影できる確率が高くなる。さらに、凸面鏡の面積が小さくても、ユーザーの顔全体を映し込むことが可能となる。
また、HMD1の画像処理部1233は、HMD1が装着されている側が、第1ユーザーAの右目側であるか、あるいは、左目側であるかに応じて、それぞれに対応する歪曲補正処理を実行する。ここでは、右目側にHMD1が装着されている場合の補正値と、左目側にHMD1が装着されている場合の補正値を事前に用意しておく。つまり、これら補正値を書き込んだテーブルを記憶部に記憶しておく。そして、画像処理部1233は、HMD1の装着位置に応じて、予め決められている補正値に基づき歪曲補正処理を実行すればよい。これにより、より自然な歪曲補正処理を短時間で実行することができる。
さらに、HMD1は、カメラ64によって撮像された撮像画像から、IDインジケータ68の点滅が示すID情報を検出し、検出されたID情報がHMD1あるいは第1ユーザーAに対して割り当てられたID情報(自己のID情報)であった場合、このID情報に関連付けられた関連情報を、カメラ64によって撮像された撮像画像とともに、他のHMD500に提供するようにした。これにより、他のHMD500は、リアルタイムに撮像される撮像画像の情報だけでは取得できない関連情報も取得することができる。
[第2実施形態]
次に、図14、15を参照して、本実施形態に係る表示制御方法により、HMD1とHMD500に表示される表示画面の一例について説明する。図14は、本実施形態において通信状態にあるHMD1とHMD500に表示される表示画面の一例を示す図である。なお、本実施形態では、第1実施形態において説明したHMD1とHMD500とサーバー200とを適用可能であるため、これらの構成についての詳細な説明は省略する。
第1ユーザーAは、左目側にHMD1を装着している。また、第1ユーザーAは、腕時計型の凸面鏡M3を左手に装着した状態で、凸面鏡M3に映る自分、あるいは、第1ユーザーAの前方を見ている。第1ユーザーAの前方には富士山を望む景色が広がっている。
この状態でHMD1のカメラ64が起動されると、凸面鏡M3に映る第1ユーザーAの鏡像と富士山を望む第1ユーザーAの前方の景色がカメラ64によって撮像される。この撮像画像の一例を図14に示す。このように、カメラ64によって撮像される撮像画像には、第1ユーザーAの前方の景色と、第1ユーザーAの手と、凸面鏡M3とが映されている。なお、図14に示す画像の左上に表示されている第1ユーザーAの顔は、他のHMD500のLCD563に表示される画像であって、カメラ64によって撮像された撮像画像には含まれていない。
また、HMD1のIDインジケータ68が、第1ユーザーAに割り当てられたID情報に応じた発光色と発光パターンで点滅している。ここで、第1ユーザーAの鏡像がカメラ64によって撮像された場合、撮像画像内にはIDインジケータ68の発光点が含まれている。よって、HMD1の処理部123の画像処理部1233は、撮像画像に基づき、第1ユーザーAに割り当てられたID情報を検出することができる。
このように、撮像画像から自己のID情報が検出された場合、HMD1の処理部123の画像処理部1233は、撮像画像にHMD1を装着した第1ユーザーAの鏡像が含まれていると判定する。そして、HMD1の処理部123の画像処理部1233は、この第1ユーザーAの鏡像が含まれる撮像画像に対して歪曲補正をかける。このとき、第1ユーザーAはHMD1を左目側に装着しているため、処理部123の画像処理部1233は、カメラ64が撮像した撮像画像に対して、撮像画像内において顔の中心が左側に寄っている場合に生じる歪曲収差を補正する歪曲補正処理を行う。また、処理部123の画像処理部1233は、歪曲補正をかけた画像の左右を反転する画像処理を行う。HMD1は、この左右が反転された左右反転画像と、カメラ64が撮像した撮像画像とを、HMD500に送信する。
そして、HMD500の処理部523は、HMD1から受信したカメラ64によって撮像された撮像画像をLCD563に表示するとともに、図14に示す通り、表示画面の左上に、左右反転された画像を表示させる。これにより、LCD563には、第1ユーザーAが見ている風景を表示させるとともに、第1ユーザーAの顔の鏡像を左右反転させた画像を表示させることができる。
次に、図15を参照して、本実施形態に係る表示制御方法の一例について説明する。図15は、本実施形態に係る表示制御方法の処理フローを示すフローチャートである。
なお、ここでは、図11、12に説明した第1実施形態と異なる部分について詳細に説明し、同様の処理についての詳細な説明は省略する。
ステップST201〜206は、ステップST101〜106と同様の処理であるため、詳細な説明は省略する。
(ステップST207)
画像処理部1233は、カメラ64が撮像した撮像画像の画像データに基づき、例えば、パターン認識の技術を利用して、撮像画像内に含まれる人の顔を検出する。そして、撮像画像内において、自己のID情報の発光点と近い人の顔を、第1ユーザーAの顔の画像領域として検出する。なお、複数の人の顔が検出された場合、画像処理部1233は、自己のID情報を取得したIDインジケータ68の発光点の位置と撮像画像内において最も近い人の顔を、第1ユーザーAの顔の画像領域として検出する。
そして、画像処理部1233は、検出した第1ユーザーAの顔の画像領域を切り出し、切出し顔画像データを生成する。
次いで、ステップST208〜211は、ステップST107〜110と同様の処理であるため、詳細な説明は省略する。
(ステップST212)
そして、通信通話制御部1234は、カメラ64によって撮像された撮像画像の左上に、凸面鏡M3に映された第1ユーザーAの顔の鏡像を左右反転した画像を小さく重畳して表示する画像データを、通信インタフェース150を介してHMD500に送信する。ここで、左右反転した画像内の第1ユーザーAの顔の鏡像は、ステップST207において切出されており、この顔の画像の背景は、例えば、白で表示されている。
(ステップST213)
なお、HMD500もHMD1と同様にして、カメラ564によって撮像された撮像画像の左上に、凸面鏡に映された第2ユーザーBの顔の鏡像を左右反転した画像を小さく重畳して表示する画像データを、通信インタフェース550を介してHMD1に送信する。HMD1は、HMD500から送信される画像データを受信する。
(ステップST214)
HMD500は、HMD1から受信した画像データに基づき、例えば、図14に示したような画像をLCD563に表示させる。同様にして、HMD1は、HMD500から受信した画像データに基づき、第2ユーザーBが見ている景色と第2ユーザーBの顔の画像(顔だけ切り出された画像)をLCD563に表示させる。
ステップST215〜217は、ステップST115〜117と同様の処理であるため、詳細な説明は省略する。
以上のように、本実施形態に係るHMD1は、HMD1を装着した第1ユーザーAが見ている景色をカメラ64が撮像した撮像画像とともに、凸面鏡に映された第1ユーザーAの顔の鏡像を左右反転した画像をHMD500に送信する。
このように、HMD1のカメラ64によって撮像された撮像画像に、第1ユーザーAの顔の鏡像を左右反転した画像を組み合わせてHMD500に出力することにより、HMD1を装着した第1ユーザーAの見ている景色を、HMD500を装着した第2ユーザーBが見ることができるとともに、第1ユーザーAの表情も確認することができる。また、このとき、第1ユーザーAの顔の全体を、第1ユーザーAと向かい合ったときに見えるように確認することができる。さらに、HMD1は、カメラ64によって撮像された撮像画像の中から第1ユーザーAの顔だけを切り出して、HMD500に送信することにより、第2ユーザーBに対して見やすい画像を提供することができる。
また、HMD1が画像を送信する際に、第1ユーザーAが自分の腕を持ち上げることで第1ユーザーAが装着した凸面鏡M1がカメラ64によって観察され、画面の内部にIDインジケータ68の発光を認めた場合のみ、画像処理によって第1ユーザーAの鏡像を含む撮像画像が反転され、HMD500に送信することができる。
さらに、常に顔認識を行って第1ユーザーAの顔を見つけるような高度な処理を行うことなく、IDインジケータの発光の有無を検出することでシーケンスを切り替えることが可能なので、比較的低い能力のCPUでも処理が可能となり、安い製造コストで製品を製造することが可能となっている。
次に、図16を参照して、第2実施形態に適用可能な画像処理の一例について説明する。図16は、カメラ64によって撮像される撮像画像において決められている画像領域の区分の一例を示す図である。
図16に示す通り、カメラ64によって撮像された撮像画像は、撮像画像内において、区分線Lによって区分けされる撮像画像領域R1と、検出画像領域R2とを含む。
この撮像画像領域R1は、上述の通り、カメラ64によって撮像された撮像画像のうち、他のHMD500に送信される画像領域である。画像処理部1233は、カメラ64によって撮像された撮像画像のうち、この撮像画像領域R1に対応する画像を切り出して、他のHMD500に送信する画像とする。なお、撮像画像領域R1の左上には、第1ユーザーAの顔の鏡像を左右反転した画像が表示される顔画像領域R3が設けられている。
検出画像領域R2は、カメラ64によって撮像された撮像画像のうち、撮像画像領域R1よりも下側に位置する画像領域であって、凸面鏡に映る第1ユーザーAの顔の鏡像を検出するための画像領域である。この検出画像領域R2の画像は、第1ユーザーAの顔の鏡像を検出するための画像であって、他のHMD500には送信されない。
このように、カメラ64によって撮像された撮像画像のうち、他のHMD500に送信される画像を取得する撮像画像領域R1と、第1ユーザーAの顔の鏡像を検出するための検出画像領域R2とを分けることによって、HMD500に送信される画像に、第1ユーザーAの腕や凸面鏡に映っている第1ユーザーAの鏡像を送信しないようにした。これにより、HMD1は、第2ユーザーBが装着するHMD500に対して、第1ユーザーAが送りたい画像だけ、つまり、第1ユーザーAが見ている景色と、第1ユーザーAの顔の鏡像を左右反転した画像とを送信することができる。よって、第1ユーザーAの顔の鏡像を左右反転した画像と、第1ユーザーAの顔の鏡像とが両方ともHMD500に表示されることや、第1ユーザーAの腕が映る画像がHMD500に表示されることを回避することができるため、第2ユーザーBに対して見やすい画像を提供することができる。
[第3実施形態]
次に、図17を参照して、本実施形態に係る表示制御方法により、HMD1によって撮像された撮像画像に合成画像を重畳して表示される表示画面の一例について説明する。図17は、本実施形態においてHMD1によって撮像された撮像画像に合成画像を重畳して表示される表示画面の一例を示す図である。なお、本実施形態では、第1実施形態において説明したHMD1とHMD500とサーバー200とを適用可能であるため、これらの構成についての詳細な説明は省略する。
人物を撮像し、撮像した画像内における人物に衣服などの合成画像を重畳して表示させ、所謂バーチャルカタログとして販促活動を行うことが行われている。例えば、特開2010−70889号公報などに記載されている。しかしながら、等身大の自分自身を観察するためには、等身大のディスプレイが必要となり、このサービスを実現する場合、周辺機器を用意するためのコストが極めて高くなるおそれがある。
これに対して、本実施形態に係るHMD1は、ユーザーが自分を映すことができる鏡の前に立って撮像した撮像画像に対し、商品等の合成画像を重畳して表示することができる。これにより、周辺機器として特別の装置を用意する必要がなく、コストを抑えることができる。
図17(A)に示す通り、第1ユーザーAは、左目側にHMD1を装着している。また、第1ユーザーAは、第1ユーザーAの全身が映る姿見の前に立って、姿見に映る自分の姿を見ている。
この状態でHMD1のカメラ64が起動されると、姿見に映る第1ユーザーAの鏡像がカメラ64によって撮像される。
また、HMD1のIDインジケータ68が、第1ユーザーAに割り当てられたID情報に応じた発光色と発光パターンで点滅している。ここで、第1ユーザーAの鏡像がカメラ64によって撮像された場合、撮像画像内にはIDインジケータ68の発光点が含まれている。よって、HMD1の処理部123の画像処理部1233は、撮像画像に基づき、第1ユーザーAに割り当てられたID情報を検出することができる。
このように、撮像画像から自己のID情報が検出された場合、HMD1の処理部123の画像処理部1233は、撮像画像にHMD1を装着した第1ユーザーAの鏡像が含まれていると判定する。
HMD1を装着した第1ユーザーAの鏡像が、カメラ64によって撮像された撮像画像に含まれていると判定された場合、HMD1は、この撮像画像内における第1ユーザーAの鏡像に合成画像を重畳して表示させる。
本実施形態において、サーバー200には、所謂バーチャルカタログとして商品を管理するサイトが設けられており、商品画像が多数保管されている。本実施形態において、サーバー200には、洋服や帽子、靴等のファッションに関する商品の画像が用意されている。HMD1は、サーバー200からバーチャルカタログに掲載されている商品の合成画像を取得し、撮像画像内における第1ユーザーAの鏡像に、商品を装着させるようにして合成画像を重畳して表示させる。
これにより、図17(B)に示す通り、カメラ64によって撮像された撮像画像内の第1ユーザーAの鏡像が、バーチャルカタログに掲載されている商品を装着しているような画像が、HMD1のLCD63に表示される。
また、HMD1は、サーバー200からバーチャルカタログに掲載されている商品の合成画像を取得する際、この商品に関連する情報、例えば、商品の仕様、価格、在庫状況などを示す情報を取得するものであってもよい。HMD1は、この商品に関連する情報を取得した場合、カメラ64によって撮像された撮像画像の上に、重畳して、吹き出しに記載して表示する。なお、この吹き出しは、該当する商品を指し示すように表示される。
次に、図18を参照して、本実施形態に係る表示制御方法の一例について説明する。図18は、本実施形態に係る表示制御方法の処理フローを示すフローチャートである。
(ステップST301)
HMD1の処理部123は、通信インタフェース150を介して、サーバー200にアクセスする。例えば、HMD1の処理部123の通信通話制御部1234が、タッチスイッチ34を介して、第1ユーザーAからサーバー200へのアクセスを指示する操作を受け付ける。そして、HMD1の処理部123の通信通話制御部1234が、通信インタフェース150を介して、サーバー200にアクセスする。
この時点でサーバー200には、HMD1より第1ユーザーAのパーソナルデータに含まれる第1ユーザーAの氏名・年齢・性別・嗜好データ等が送られる。
このサーバー200では、所謂バーチャルカタログとして商品を管理するサイトが設けられており、商品画像が多数保管されている。
そして、この段階で第1ユーザーAの過去の購入履歴や年齢・性別・嗜好に基づいて、第1ユーザーAの購入意欲が高いと判断される商品が選択される。
また、本実施形態において、サーバー200には、洋服や帽子、靴等のファッションに関する商品の画像が用意されている。また、この商品の画像は、画像内の人の体の形に合わせて表示態様を変更可能な画像であって、体において予め決められているポイント(例えば、肩、胸、腰、足・・・等)において位置決めされることによって、画像内の人の体が試着しているように見える合成画像を生成するための画像である。
(ステップST302)
そして、HMD1の処理部123は、カメラ64を起動させる。カメラ64は、撮像した撮像画像の画像データを画像処理部1233に出力する。
本実施形態において、第1ユーザーAは、図17(A)に示すように、HMD1を頭に装着した状態で鏡(姿見)の前に立っている。よって、カメラ64は、鏡に映った第1ユーザーAの鏡像を含む撮像画像の画像データを画像処理部1233に出力する。
(ステップST303)
次いで、HMD1の処理部123の発信制御部1232は、メモリー127を参照して、登録されているID情報に応じた発光色および発光パターンでIDインジケータ68を点滅させる。
(ステップST304)
そして、表示制御部1235は、画像処理部1233から出力される撮像画像をLCD63に表示させる。ここで、カメラ47によって撮像される撮像画像内には、第1ユーザーAの鏡像が含まれているとともに、IDインジケータ68の発光点が含まれている。
(ステップST305)
次いで、画像処理部1233は、カメラ64によって撮像された撮像画像の画像データに基づき、HMD1のIDインジケータ68の発光をHMD1のカメラ64が捕らえられたかを判断する。具体的に説明すると、画像処理部1233は、撮像された画像データに基づき、HMDに搭載されるIDインジケータの発光点を示す画素として、予め決められた輝度あるいは明度以上の画素が撮像画像内に含まれているか否かを判定する。画像処理部1233は、予め決められた輝度あるいは明度以上の画素を検出した場合、時間の経過に伴い複数撮像される撮像画像に基づき、このIDインジケータの発光点の発光状態の変化を検出する。この画像処理部1233は、例えば、この発光点の点滅状況から発光パターンを検出し、この発光パターンが示すID情報を検出する。そして、発光パターンが示すID情報を取得した場合、画像処理部1233は、このID情報が有効な情報であるか否かを判定する。有効な情報であると判定した場合、画像処理部1233は、メモリー127を参照して、取得したID情報が、HMD1に割り当てられたID情報(自己のID情報)であるか否かを判定する。
このようにして、画像処理部1233がカメラ64の撮像画像に基づき、HMD1のIDインジケータ68の発光パターンから有効な自己のID情報を取得した場合、処理部123は、ステップST306へ移行する。また、自己のID情報を取得できない場合、あるいは、取得したID情報が有効な情報でない場合、処理部123は、ステップST311の処理へ移行する。
(ステップST306)
HMD1のIDインジケータ68の発光パターンから有効な自己のID情報を取得した場合、画像処理部1233は、カメラ64によって撮像された撮像画像に対して歪曲収差を補正する補正処理を行う。そして、画像処理部1233は、補正した撮像画像の画像データに基づき、例えば、パターン認識の技術を利用して、撮像画像内に含まれる人の顔や手足および胴体等の体のパーツを検出する。また、画像処理部1233は、撮像画像内において、自己のID情報の発光点と近い人の顔を、第1ユーザーAの顔の画像領域として検出する。
なお、複数の人の顔が検出された場合、画像処理部1233は、自己のID情報を取得したIDインジケータ68の発光点の位置と撮像画像内において最も近い人の顔を、第1ユーザーAの顔の画像領域として検出する。
(ステップST307)
そして、HMD1は、サーバー200のサイトにアクセスして、提供されているカタログデータを受信する。このカタログデータとは、バーチャルカタログとしてサイトによって提供される商品を選択するための画像である。HMD1は、受信したカタログデータに基づき、バーチャルカタログに掲載されている商品をLCD63に表示させる。
なお、表示される商品は、ステップST301で説明したように、第1ユーザーAの購入意欲が高そうな商品が表示される。
ここで、第1ユーザーAにより、バーチャル上において試着を希望する商品が選択される。例えば、タッチスイッチ34を介して、商品P1の試着を希望する操作が入力されたとする。
(ステップST308)
HMD1の処理部123は、タッチスイッチ34が検出した操作内容に基づき、通信インタフェース150を介して、サーバー200に対して、商品P1の合成画像のデータや商品Pに関連する情報(例えば、商品の仕様、価格、在庫状況などを示す情報)の送信を要求するリクエスト信号を送信する。
そして、サーバー200の処理部201は、HMD1から受信したリクエスト信号に基づき、記憶部202に記憶されている商品Pの合成画像のデータおよび商品Pに関連する情報を読み出し、通信インタフェース203を介してHMD1に送信する。
HMD1は、サーバー200から商品Pの合成画像のデータおよび商品Pに関連する情報を受信し、フラッシュメモリー122に一時的に保存する。
(ステップST309)
次いで、HMD1の処理部123の表示制御部1235は、フラッシュメモリー122から商品Pの合成画像のデータを読み出し、カメラ64が撮像した撮像画像内の第1ユーザーAの画像領域に商品Pの画像を合成させる。つまり、HMD1の処理部123は、カメラ64が撮像した第1ユーザーAの鏡像に、サーバー200から受信した商品Pの画像を重畳して合成する。なお、商品Pの画像としては、商品の正面や横などのさまざまな角度から見たときの画像が含まれている。
(ステップST310)
そして、表示制御部1235は、フラッシュメモリー122から商品Pに関連する情報を読み出し、合成処理した撮像画像に、商品Pに関連する情報を重畳して、LCD63に表示させる。
(ステップST311)
次いで、HMD1の処理部123は、イベントが終了したか否かを判定し、処理フローを継続する場合にはステップST305の処理へ戻る。またイベントを終了する場合、処理部123は、ステップST312の処理へ移行する。
(ステップST312)
そして、HMD1の処理部123の発信制御部1232は、IDインジケータ68の発光を停止させる。
(ステップST313)
また、HMD1の処理部123は、カメラ64の動作を終了させる。
以上により、シーケンスが終了する。
上述の通り、本実施形態に係るHMD1およびHMD500を用いて表示制御方法によれば、HMD1において、カメラ64が撮像した撮像画像から自己のIDインジケータ68の発光パターンに基づき自己のID情報を検出した場合、撮像画像内においてIDインジケータ68の発光点に基づきHMD1の第1ユーザーAの画像領域を検出する。そして、HMD1は、検出した第1ユーザーAの画像領域に、バーチャルカタログに掲載されている商品Pの画像を合成する。
これにより、合成対象である人を撮像画像から検出する際に、IDインジケータ68の発光点の位置から人物の位置をある程度推定することができるため、より簡単な人物の検出方法によって、合成対象である人物の画像領域を検出することができる。よって、高度な人物検出を行う必要がないため、そのためのコストを削減し、処理を簡略化することができる。
また、複数の人が鏡の前にいても、カメラ64が撮像した撮像画像の中から、HMD1を装着する第1ユーザーAを検出することができる。よって、画像処理部1233は、カメラ64が撮像した撮像画像について、複雑な顔認識処理などを実行することにより、第1ユーザーA以外の他人を排除するような処理を実行する必要がなくなり、処理が高速で簡単になる。
なお、本実施形態では、撮像画像と商品の合成画像との合成処理をHMD1の画像処理部1233が実行する例を用いて説明した。しかし、本発明はこれに限られず、サーバー200によって実行されるものであってもよい。またこの場合には、サーバー200による高度な処理が可能なので、商品イメージをポリゴンデータなどで保有しておき、人物が自由に動いても商品イメージを人物にフィットさせて重畳表示するようにしてもよい。
また、上述において、HMD1およびHMD500は、撮像画像に対して、歪曲補正を施した後に、左右反転する画像処理を実行するものであってもよい。
次に、図19、20を参照して、上述の実施形態における発光パターンの一例について説明する。
図19、20は、発光パターンの点滅(つまり、発光状態の変化)の周波数を矩形波で示す図である。なお、図19、20において示すグラフは、横軸に時間を、縦軸に点灯と消灯をとるものである。
図19(A)は、例えば、第1ユーザーAに割り当てられたID情報に応じた発光パターンPA1の周波数の矩形波を示す図である。図19(B)は、例えば、第2ユーザーBに割り当てられたID情報に応じた発光パターンPB1の周波数の矩形波を示す図である。
図19(A)(B)に示す通り、発光パターンPA1は、発光パターンPB1に比べて、点灯期間から点灯期間までの間隔が短い。よって、発光パターンPA1ではIDインジケータの点滅が比較的早くなり、発光パターンPB1ではIDインジケータの点滅が比較的遅くなる。
このように、IDインジケータが、点灯期間から点灯期間までの間隔が異なる発光パターンPA1、PB1に応じて、異なる速さの点滅の可視光で発光することにより、このIDインジケータの発光状態を見たユーザーは、それぞれの発光パターンを識別することができる。
図20(A)は、発光パターンPA2の周波数の矩形波を示す図である。この発光パターンPA2は、第1ユーザーAに割り当てられたID情報およびIPアドレス情報に応じたIDインジケータの発光状態を示すパターンである。
また、図20(B)は、例えば、発光パターンPB2の周波数の矩形波を示す図である。この発光パターンPB2は、第2ユーザーBに割り当てられたID情報およびIPアドレス情報に応じたIDインジケータの発光状態を示すパターンである。
図20(A)に示す通り、発光パターンPA2では、第1の発光F1、第2の発光F2、第3の発光F3・・・が、互いの同じ間隔(点灯期間から点灯期間までの間隔)で、繰り返し出現するパターンである。この第1の発光F1、第2の発光F2、第3の発光F3・・・は、IDインジケータが点灯する期間である。この第1の発光F1、第2の発光F2、第3の発光F3・・・の繰り返しからなる点滅は、例えば、1Hzでの比較的低周波数での点滅である。
また、第1の発光F1、第3の発光F3では、IDインジケータが、目視では点滅が分かりにくい例えば30Hz程度の比較的早めの周波数の点滅である。第1の発光F1の点滅には、第1ユーザーAのID情報が含まれている。第3の発光F3の点滅には、第1ユーザーAのIPアドレス情報が含まれている。なお、第2の発光F2は点灯であり、点滅はしない。
図20(B)に示す通り、発光パターンPB2では、第1の発光F11、第2の発光F12、第3の発光F13・・・が、互いに同じ間隔(点灯期間から点灯期間までの期間)で、繰り返し出現するパターンである。この第1の発光F11、第2の発光F12、第3の発光F13・・・は、IDインジケータが点灯する期間である。この第1の発光F11、第2の発光F12、第3の発光F13・・・の繰り返しからなる点滅は、例えば、1Hzであって、図20(A)よりはやや遅く、肉眼で点滅が確認できる程度の比較的低周波数での点滅である。
また、第1の発光F11では、IDインジケータが、目視では点滅が分かりにくい例えば30Hz程度の比較的速めの周波数の点滅である。第1の発光F11の点滅には、第2ユーザーBのID情報が含まれている。また第3の発光F13の点滅には、第2ユーザーBのIP情報が含まれている。なお、第2の発光F12は点灯であり、点滅はしない。
このように、比較的低い周波数で点滅し、この点灯時において、さらに比較的早い周波数で点滅するようにすることによって、ID情報やIPアドレス情報を含めることができる。また、第2の発光F2、第2の発光F12のように、点滅しない期間を設けることにより、ユーザーによるIDインジケータの点滅の視認性を向上させることができる。
また、上述したHMD1、500、サーバー200の一部の機能をコンピュータで実現するようにしてもよい。この場合、その機能を実現するための識別情報算出プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたキーフレーム抽出プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺装置のハードウェアを含むものである。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵される磁気ハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバー装置やクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持するものを含んでもよい。
また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
1…ヘッドマウントディスプレイ、20…ディスプレイ本体、23…耳元スピーカー(出力部)、26…オーディオコネクター、34…タッチスイッチ、60…表示部、63…表示パネル(出力部)、64…カメラ(撮像部)、72…撮像素子、68…IDインジケータ、70…前方スピーカー、121…デコーダー、122…フラッシュメモリー、123…処理部、125…LCDドライバ、127…メモリー、130…BT通信回路、131…WiFi通信回路、132…加速度センサー、133…地磁気センサー、137 心拍数センサー、138…3G/LTE通信回路、150…通信インタフェース(送信部、受信部)、800…発信装置、1231…登録部、1232…発信制御部、1233…画像処理部(検出部)、1234…情報制御部、1235…表示制御部、1236…音処理部

Claims (9)

  1. 撮像部と、
    前記撮像部によって撮像された撮像画像に鏡像が含まれている場合、前記撮像画像の左右を反転させる処理部と、
    前記処理部によって前記撮像画像の左右が反転された左右反転画像を送信する送信部と、
    を備えることを特徴とする電子機器。
  2. 時間の経過に伴い発光状態が変化する指標物を前記撮像部が撮像した撮像画像に基づき、識別情報を検出する検出部をさらに備え、
    前記処理部は、
    前記検出部によって検出された前記識別情報が自電子機器に割り当てられた識別情報と一致する場合、前記撮像部によって撮像された前記撮像画像内の指標物が鏡像であると判定することを特徴とする請求項1に記載の電子機器。
  3. 前記処理部は、
    前記撮像部によって撮像された撮像画像から人の顔に対応する画像領域を検出し、検出した顔に対応する画像領域に対して歪曲補正処理を行うことを特徴とする請求項1あるいは2に記載の電子機器。
  4. 前記処理部は、
    前記撮像部によって撮像された撮像画像から人の顔を示す画像領域を検出した場合、検出した人の顔の画像領域に対する前記撮像部の位置に応じた歪曲補正処理を前記撮像画像に対して行うことを特徴とする請求項1から3のうちいずれか一項に記載の電子機器。
  5. 前記送信部は、
    前記撮像部によって撮像された撮像画像と、前記処理部によって前記撮像画像の左右が反転された左右反転画像とを送信することを特徴とする請求項1から4のうちいずれか一項に記載の電子機器。
  6. 前記送信部は、
    前記検出部によって前記識別情報が検出された場合、前記識別情報に関連する関連情報を送信することを特徴とする請求項2に記載の電子機器。
  7. 撮像部と、
    時間の経過に伴い発光状態が変化する指標物を前記撮像部が撮像した撮像画像に基づき、識別情報を検出する検出部と、
    前記検出部によって検出された前記識別情報が自電子機器に割り当てられた識別情報と一致する場合、前記撮像部によって撮像された前記撮像画像に自電子機器を装着している人物の鏡像が含まれていると判定し、前記撮像画像内における自電子機器を装着している人物の画像領域に応じて合成画像を重畳して表示させる表示部と
    を備えることを特徴とする電子機器。
  8. 第1電子機器と第2電子機器とを備える表示制御システムにおいて、
    前記第1電子機器は、
    撮像部と、
    前記撮像部が撮像した撮像画像に鏡像が含まれている場合、前記撮像画像の左右を反転させる処理部と、
    前記処理部によって前記撮像画像の左右が反転された左右反転画像を前記第2電子機器に送信する送信部と、を備え、
    前記第2電子機器は、
    前記左右反転画像を前記第1電子機器から受信する受信部と、
    前記受信部が受信した前記左右反転画像を表示する表示部と、を備えることを特徴とする表示制御システム。
  9. コンピュータを、
    撮像部によって撮像された撮像画像に鏡像が含まれている場合、前記撮像画像の左右を反転させる処理手段、
    前記処理手段よって前記撮像画像の左右が反転された左右反転画像を送信する送信手段、
    として機能させるためのプログラム。
JP2012126277A 2012-06-01 2012-06-01 電子機器、表示制御システム、およびプログラム Pending JP2013251813A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012126277A JP2013251813A (ja) 2012-06-01 2012-06-01 電子機器、表示制御システム、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012126277A JP2013251813A (ja) 2012-06-01 2012-06-01 電子機器、表示制御システム、およびプログラム

Publications (1)

Publication Number Publication Date
JP2013251813A true JP2013251813A (ja) 2013-12-12

Family

ID=49850066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012126277A Pending JP2013251813A (ja) 2012-06-01 2012-06-01 電子機器、表示制御システム、およびプログラム

Country Status (1)

Country Link
JP (1) JP2013251813A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016178704A (ja) * 2016-06-30 2016-10-06 富士フイルム株式会社 レンズ情報登録システム,ならびにレンズ情報登録システムに用いられるレンズ情報サーバおよびその動作制御方法
JP2018195101A (ja) * 2017-05-18 2018-12-06 ヤマハ株式会社 情報提供方法および情報提供装置
JP2019079477A (ja) * 2017-10-23 2019-05-23 靖典 奥野 恋愛対象マッチングシステム、恋愛対象マッチング方法及び恋愛対象マッチングプログラム
JP2020112812A (ja) * 2020-03-18 2020-07-27 堺ディスプレイプロダクト株式会社 補正画像生成システム、画像制御プログラム、および記録媒体
JP2022008583A (ja) * 2016-01-19 2022-01-13 マジック リープ, インコーポレイテッド 反射を利用する拡張現実システムおよび方法
US11509815B2 (en) 2018-01-11 2022-11-22 Samsung Electronics Co., Ltd. Electronic device and method for processing image having human object and providing indicator indicating a ratio for the human object

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022008583A (ja) * 2016-01-19 2022-01-13 マジック リープ, インコーポレイテッド 反射を利用する拡張現実システムおよび方法
JP7253017B2 (ja) 2016-01-19 2023-04-05 マジック リープ, インコーポレイテッド 反射を利用する拡張現実システムおよび方法
JP2016178704A (ja) * 2016-06-30 2016-10-06 富士フイルム株式会社 レンズ情報登録システム,ならびにレンズ情報登録システムに用いられるレンズ情報サーバおよびその動作制御方法
JP2018195101A (ja) * 2017-05-18 2018-12-06 ヤマハ株式会社 情報提供方法および情報提供装置
JP2019079477A (ja) * 2017-10-23 2019-05-23 靖典 奥野 恋愛対象マッチングシステム、恋愛対象マッチング方法及び恋愛対象マッチングプログラム
JP7083972B2 (ja) 2017-10-23 2022-06-14 靖典 奥野 恋愛対象マッチングシステム、恋愛対象マッチング方法及び恋愛対象マッチングプログラム
US11509815B2 (en) 2018-01-11 2022-11-22 Samsung Electronics Co., Ltd. Electronic device and method for processing image having human object and providing indicator indicating a ratio for the human object
JP2020112812A (ja) * 2020-03-18 2020-07-27 堺ディスプレイプロダクト株式会社 補正画像生成システム、画像制御プログラム、および記録媒体

Similar Documents

Publication Publication Date Title
US11630311B1 (en) Enhanced optical and perceptual digital eyewear
US10966239B1 (en) Enhanced optical and perceptual digital eyewear
JP2013251813A (ja) 電子機器、表示制御システム、およびプログラム
JP6693060B2 (ja) 表示システム、表示装置、表示装置の制御方法、及び、プログラム
US11294203B2 (en) Enhanced optical and perceptual digital eyewear
US8733927B1 (en) Enhanced optical and perceptual digital eyewear
US8573866B2 (en) Head-mounted face image capturing devices and systems
CN105142498B (zh) 增强光学和感知数字护目镜
US9245389B2 (en) Information processing apparatus and recording medium
US9160906B2 (en) Head-mounted face image capturing devices and systems
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
JP2014021707A (ja) 情報入出力装置、及び情報入出力方法
JP2013190941A (ja) 情報入出力装置、及び頭部装着表示装置
JP2014011624A (ja) 情報入出力装置、及び頭部装着表示装置
JP2014212473A (ja) 通信装置、及び頭部装着表示装置
JP2014044654A (ja) 情報入出力装置
JP2013255012A (ja) 頭部保持部材、及び頭部装着型情報出力装置
JP2014021272A (ja) 情報入出力装置、及び情報入出力方法
JP2014035668A (ja) 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法
JP4995935B2 (ja) 画像生成装置、画像加工方法、および、プログラム
JP2013174730A (ja) 情報表示装置
JP2014022937A (ja) 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法
JP2014022942A (ja) 頭部装着装置
JP2013236213A (ja) 電子機器、情報通信システム、およびプログラム
JP2019110535A (ja) コミュニケーション装置及び遠隔コミュニケーションシステム