JP2013167941A - 表示制御装置、表示制御方法、及びプログラム - Google Patents

表示制御装置、表示制御方法、及びプログラム Download PDF

Info

Publication number
JP2013167941A
JP2013167941A JP2012029397A JP2012029397A JP2013167941A JP 2013167941 A JP2013167941 A JP 2013167941A JP 2012029397 A JP2012029397 A JP 2012029397A JP 2012029397 A JP2012029397 A JP 2012029397A JP 2013167941 A JP2013167941 A JP 2013167941A
Authority
JP
Japan
Prior art keywords
actor
display
unit
user
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012029397A
Other languages
English (en)
Other versions
JP2013167941A5 (ja
JP5927966B2 (ja
Inventor
Hajime Hamada
元 濱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012029397A priority Critical patent/JP5927966B2/ja
Priority to US13/717,940 priority patent/US9235933B2/en
Priority to CN201310046858.7A priority patent/CN103246543B/zh
Publication of JP2013167941A publication Critical patent/JP2013167941A/ja
Publication of JP2013167941A5 publication Critical patent/JP2013167941A5/ja
Priority to US14/886,758 priority patent/US9569898B2/en
Application granted granted Critical
Publication of JP5927966B2 publication Critical patent/JP5927966B2/ja
Priority to US15/394,019 priority patent/US10169923B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】一の行動者の行動中に、他の行動者の実際の過去の行動情報を用いたリアルティのある表示を提案する。
【解決手段】一の行動者の行動位置において、過去に他の行動者が行動した行動情報を取得する行動情報取得部と、取得した前記行動情報に基づいて、前記一の行動者の行動中の前記他の行動者の位置を仮想的に示すための仮想オブジェクトを生成するオブジェクト生成部と、前記一の行動者の行動中に、生成された前記仮想オブジェクトを、周囲を映す表示部に重畳して表示させる表示制御部と、を備える、表示制御装置。
【選択図】図4

Description

本開示は、表示制御装置、表示制御方法、及びプログラムに関する。
近年、運動選手(行動者)が、通信網等を介して外部から各種の情報を受信可能な装置を装着して、運動することが成されている。
下記の特許文献1には、全地球測位衛星データを利用して、運動選手や、運動競技中に運動選手によって使用される装備に、運動選手の移動距離等に関する情報を提供する技術が開示されている。
特表2002−507734号公報
ところで、一の行動者がある行動位置において行動する際に、他の行動者の同一位置における過去の行動を知りたいケースが存在する。これは、同一位置における他の行動者の過去の行動を知ることができる場合には、例えば、一の行動者は、他の行動者の過去の行動を参考にして、状況に適した適切な行動を行うことができるからである。
しかし、上記の特許文献1には、他の運動選手の運動情報を一の運動選手に知らせることについては、何ら着目されていない。
そこで、本開示は、一の行動者の行動中に、他の行動者の過去の行動情報を用いたリアルティのある表示を提案する。
本開示によれば、一の行動者の行動位置において、過去に他の行動者が行動した行動情報を取得する行動情報取得部と、取得した前記行動情報に基づいて、前記一の行動者の行動中の前記他の行動者の位置を仮想的に示すための仮想オブジェクトを生成するオブジェクト生成部と、前記一の行動者の行動中に、生成された前記仮想オブジェクトを、周囲を映す表示部に重畳して表示させる表示制御部と、を備える、表示制御装置が提供される。
かかる構成によれば、オブジェクト生成部は、取得した前記行動情報に基づいて、前記一の行動者の行動中の前記他の行動者の位置を仮想的に示すための仮想オブジェクトを生成する。そして、表示制御部は、前記一の行動者の行動中に、生成された前記仮想オブジェクトを、周囲を映す表示部に重畳して表示させる。これにより、一の行動者が特定場所で行動している際に、他の行動者が過去に同一場所にて行動した行動情報に対応した仮想オブジェクトが表示部に表示される。すなわち、一の行動者の行動中に、他の行動者の過去の行動情報を用いたリアルティのある表示が行われる。この結果、一の行動者は、行動中に表示される仮想オブジェクトを見ながら、行動を継続できるので、他の行動者と競争したり、他の行動者の行動をガイド代わりに用いて行動を行うことが可能となる。
また、本開示によれば、一の行動者の行動位置において、過去に他の行動者が行動した行動情報を取得することと、取得した前記行動情報に基づいて、前記一の行動者の行動中の前記他の行動者の位置を仮想的に示すための仮想オブジェクトを生成することと、前記一の行動者の行動中に、生成された前記仮想オブジェクトを、周囲を映す表示部に重畳して表示させることと、を含む、表示制御方法が提供される。
また、本開示によれば、コンピュータに、一の行動者の行動位置において、過去に他の行動者が行動した行動情報を取得することと、取得した前記行動情報に基づいて、前記一の行動者の行動中の前記他の行動者の位置を仮想的に示すための仮想オブジェクトを生成することと、前記一の行動者の行動中に、生成された前記仮想オブジェクトを、周囲を映す表示部に重畳して表示させることと、を実行させるためのプログラムが提供される。
以上説明したように本開示によれば、一の行動者の行動中に、他の行動者の過去の行動情報を用いたリアルティのある表示が可能となる。
本開示の一実施形態に係る表示システムの概略構成例を説明するための図である。 一実施形態に係る表示装置の外観構成例を示す図である。 一実施形態に係る表示装置のハードウェア構成例を示すブロック図である。 一実施形態に係る表示装置の機能構成例を示すブロック図である。 サーバからダウンロードされる行動情報のデータ構造を示す図である。 撮像画像から道路の範囲を特定する方法の一例を説明するための図である。 競争者が前方を走っている場合に、表示部に表示される仮想オブジェクトの一例を示す図である。 競争者が前方を走っている場合に、表示部に表示される仮想オブジェクトの一例を示す図である。 競争者が前方を走っている場合に、表示部に表示される仮想オブジェクトの一例を示す図である。 競争者と並走している場合に、表示部に表示される仮想オブジェクトの一例を示す図である。 競争者が後方を走っている場合に、表示部に表示される仮想オブジェクトの一例を示す図である。 競争者が後方を走っている場合に、表示部に表示される仮想オブジェクトの一例を示す図である。 競争者が視界から外れた場合に、表示部に表示される地図の一例を示す図である。 ユーザと競争者の位置を示す地図表示の一例を示す模式図である。 一実施形態に係る表示装置による処理の流れの一例を示すフローチャートである。 仮想オブジェクト表示処理の流れの一例を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.表示システムの構成
2.表示装置の構成
2−1.表示装置のハードウェア構成例
2−2.表示装置の機能構成例
3.表示部における仮想画像の表示例
4.表示装置による処理の流れ
5.仮想オブジェクトを表示するケース
6.まとめ
<1.表示システムの構成>
図1及び図2を参照しながら、本開示の一実施形態に係る表示システム1の構成例について、説明する。図1は、本開示の一実施形態に係る表示システム1の概略構成例を説明するための図である。図2は、一実施形態に係る表示装置100の外観構成例を示す図である。
表示システム1は、一のユーザが走っている際に、一のユーザが装着した表示装置100に、他のユーザの過去の運動履歴に基づいた仮想オブジェクト(この仮想オブジェクトは、他のユーザが走っている状態を示す)を表示させるものである。これにより、一のユーザ(例えば、図1に示すユーザUa)は、表示装置100に表示された仮想オブジェクトを見ることで、過去に走った他のユーザ(図1に示すユーザUb、Uc)とあたかも競争するように走ることができる。
表示システム1は、図1に示すように、ユーザに装着された表示装置100と、サーバ300と、表示装置100とサーバ300を通信可能に接続するネットワーク400と、を有する。
表示装置100は、図2に示すように、ユーザ(ここでは、ユーザUaを例に挙げて説明する)が顔に装着されるメガネ型の表示装置である。具体的には、表示装置100は、ランニング中に装着されるサングラスである。表示装置100は、サングラスのレンズ部分に、透過型ディスプレイである表示部118を有する。このため、ユーザUaは、表示装置100を装着しても、表示部118から周囲の風景を観ることができる。表示装置100は、GPS衛星500と通信し、表示装置100の位置情報(例えば、現在の位置情報)を取得する。
また、表示装置100は、現在の位置で他のユーザ(ユーザUb、Uc)が過去に運動した運動履歴を、サーバ300から取得する。表示装置100は、取得した他のユーザの過去の運動履歴に基づいて、風景に重畳して仮想オブジェクトを表示する。なお、仮想オブジェクトの表示の詳細については、後述する。
サーバ300は、ユーザUa、Ub、Ucの過去の運動履歴を管理している。運動履歴は、表示装置100から順次受信され、サーバ300に接続されたデータベース310に格納される。データベース310には、各ユーザの運動履歴の他に、地図情報等も格納されている。なお、地図情報には、例えば、ユーザが走った道路に関する道路情報も含まれている。
サーバ300は、ネットワークを介して、各ユーザUa、Ub、Ucが装着した表示装置100と通信可能である。サーバ300は、各ユーザUa、Ub、Ucが装着した表示装置100から、各ユーザの運動履歴を受信し、データベース310に格納する。また、サーバ300は、一のユーザUa(ユーザUaが装着した表示装置100)の要求に応じて、他のユーザUb、Ucの過去の運動履歴を、一のユーザUaが装着した表示装置100に送信する。
<2.表示装置の構成>
(2−1.表示装置のハードウェア構成例)
図3を参照しながら、一実施形態に係る表示装置100のハードウェア構成例について説明する。図3は、一実施形態に係る表示装置100のハードウェア構成例を示すブロック図である。
図3に示すように、表示装置100は、CPU112と、メモリ114と、電源116と、表示部118と、音声入出力部120と、入力部122と、を有する。表示装置100は、更に、無線通信部124と、電子コンパス126と、GPS処理部128と、ジャイロセンサ130と、気圧センサ132と、加速度センサ134と、撮像部136と、を有する。
CPU112は、演算処理装置及び制御装置として機能し、各種プログラムに従って表示装置100内の動作全般を制御する。このCPU112は、マイクロプロセッサであってもよい。また、CPU112は、各種プログラムに従って様々な機能を実現することができる。
メモリ114は、CPU112が使用するプログラムや演算パラメータ等を記憶することができる。また、メモリ114は、データ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。
電源116は、表示装置100を構成する各構成要素(CPU112、表示部118等)に電力を供給する。
表示部118は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(OLED:Organic Light Emitting Diode)ディスプレイである。表示部118は、ユーザに対して画面を表示することにより情報を提供することができる。本実施形態に係る表示部118は、周囲を映す透過型ディスプレイであり、後述する仮想オブジェクトを重畳表示可能である。
音声入出力部120は、例えば、音声信号に基づいて音声を出力するスピーカと、音声を集音うるマイクと、を含む。スピーカは、例えば、ユーザの行動情報(運動情報)や、入力部122による操作情報を音声として出力しても良い。
入力部122は、ユーザが情報を入力するためのものである。入力部122は、例えば、ユーザが操作可能なタッチセンサ、ボタン、スイッチ、レバー等で構成される。ユーザは、入力部122を操作することで、選択、決定等の設定情報を選択する。入力部122は、選択された設定情報等をCPU112に供給する。
無線通信部124は、サーバ300(図1)とネットワーク400を介して無線通信を行う。無線通信部124は、サーバ300から他のユーザの運動履歴を受信する。また、無線通信部124は、表示装置100を装着したユーザの運動情報をサーバ300に送信する。
電子コンパス126は、表示装置100を装着したユーザの視線の方位を検出する磁気センサである。電子コンパス126は、地磁気を検出して方位を割り出す。電子コンパス126は、検出したデータをCPU112に供給する。
GPS処理部128は、GPS衛星500(図1)から受信された信号に基づいて、表示装置100(ユーザ)の位置情報を取得する。例えば、GPS処理部128は、位置情報として、緯度、経度、高度に関する情報を取得する。GPS処理部128は、取得した位置情報をCPU112に供給する。
ジャイロセンサ130は、表示装置100を装着したユーザの視線の角度を検出する角速度センサである。ジャイロセンサ130は、例えば、X軸、Y軸、及びZ軸周りの回転角の変化する速度(角速度)を電圧値として検出する3軸ジャイロセンサであってよい。
ジャイロセンサ130は、検出した角速度データをCPU112に供給する。
気圧センサ132は、ユーザの現在位置の高度を検出するセンサである。気圧センサ132は、高度を所定のサンプリング周波数で検出し、検出したデータをCPU112に供給する。
加速度センサ134は、表示装置100を装着したユーザの動作を検知するセンサである。例えば、加速度センサ134は、ユーザが移動中(運動中)か止まっているかを検知する。加速度センサ134は、X軸方向に沿った加速度、Y軸方向に沿った加速度、及びZ軸方向に沿った加速度をそれぞれ検出する3軸加速度センサであってよい。加速度センサ134は、検出した加速度データをCPU112に供給する。
撮像部136は、CMOS等の撮像素子を有し、ユーザの視界を撮像する。撮像部136は、CPU112の制御に従い、レンズを介して静止画像又は動画像を撮像する。撮像部136は、撮像した撮像画像をCPU112に供給する。
(2−2.表示装置の機能構成例)
図4を参照しながら、本開示の一実施形態に係る表示装置100の機能構成例について説明する。図4は、一実施形態に係る表示装置100の機能構成例を示すブロック図である。以下では、表示装置100は、図1に示すユーザUaに装着されるものとして説明する。
図4に示すように、表示装置100は、位置情報取得部202と、行動判定部204と、行動情報取得部206と、撮像画像取得部208と、視野情報取得部210と、を有する。更に、表示装置100は、画像処理部212と、位置判定部214と、オブジェクト生成部の一例である画像生成部216と、表示制御部218と、行動情報送信部220と、を有する。これらの機能構成は、表示制御装置としてのCPU112(図3)によって実現される。
(位置情報取得部202)
位置情報取得部202は、表示装置100の位置情報(換言すれば、表示装置100を装着したユーザUaの位置情報)を取得する。位置情報取得部202は、GPS処理部128により表示装置100(ユーザUa)の位置情報を取得する。取得される位置情報は、例えば表示装置100の緯度、経度、高度に関する情報である。位置情報取得部202は、所定間隔毎に位置情報を取得する。
(行動判定部204)
行動判定部204は、表示装置100を装着したユーザUaの行動を判定する。例えば、行動判定部204は、ユーザUaが運動中か否かを判定する。具体的には、行動判定部204は、加速度センサ134の検知結果に基づいて、ユーザUaが運動中か否かを判定する。
また、行動判定部204は、加速度センサ134の検知結果に基づいて、ユーザUaが走る動作を開始したか否かも判定しても良い。なお、行動判定部204は、位置情報取得部202が取得した位置情報に基づいて、ユーザの行動を判定しても良い。
(行動情報取得部206)
行動情報取得部206は、サーバ300(図1)から、表示装置100を装着したユーザUa(一の行動者)の行動位置において、過去に他のユーザUb又はユーザUc(他の行動者)が行動した行動情報を取得する。
行動情報取得部206は、行動情報として、例えば、ユーザUb又はユーザUcの運動履歴を取得する。ここで、取得された運動履歴は、ユーザUaが走っている位置において、ユーザUb又はユーザUcが走った履歴である。なお、運動履歴の取得対象は、ユーザUaが、運動を開始する際に表示部118に表示されるメニュー画面で選択されることで、決定されても良い。また、運動履歴の取得対象は、運動前に、例えば自宅等で予め設定されていても良い。
また、行動情報取得部206は、行動情報と共に、他のユーザUb又はユーザUcが行動した位置の高度に関する情報を含む地図情報もサーバ300から取得する。このように高度に関する情報を含む地図情報を取得することで、より他のユーザの位置を高精度に検知できる。
ここで、図5を参照しながら、サーバ300からダウンロードされる行動情報について説明する。図5は、サーバ300からダウンロードされる行動情報のデータ構造を示す図である。行動情報には、図5に示すように、運動時間、運動を行った位置情報(緯度、経度、高度)、運動の種別等の情報が含まれる。
(撮像画像取得部208)
撮像画像取得部208は、撮像部136により撮像された撮像画像を取得する。例えば、撮像画像取得部208は、撮像部136によりユーザの視界が撮像された撮像画像(視界画像)を取得する。撮像画像取得部208は、取得した撮像画像を画像処理部210に出力する。
(視野情報取得部210)
視野情報取得部210は、表示装置100を装着したユーザUaの視野情報を取得する。視野情報取得部210は、視野情報として、例えばユーザUaの視線の向き(方位)や、ユーザUaの視線の角度に関する情報を取得する。ユーザUaの視線の向き(方位)は、視線検知部の一例である電子コンパス126により検知される。ユーザUaの視線の角度は、ジャイロセンサ130により検知される。
(画像処理部212)
画像処理部212は、撮像画像取得部208により取得された撮像画像に対して各種の画像処理を行う。画像処理部212は、撮像部136によって、道路を走っているユーザUaの視界が撮像された撮像画像から、走った道路の範囲を特定する判定特定部の機能を有する。
ここで、図6を参照しながら、取得した撮像画像から道路の範囲を特定する方法について説明する。図6は、撮像画像から道路の範囲を特定する方法の一例を説明するための図である。
まず、画像処理部212は、図6(a)に示すように、撮像部136により撮像された撮像画像に対してエッジ処理を行い、道路の候補エリアを検出する。図6(a)では、候補エリアとして、道路と木が検出されている。次に、画像処理部212は、図6(b)に示すように、表示装置100を装着したユーザUaの視線の方位と角度と、ユーザUaの位置情報から、ダウンロードした道路情報をマッピングする。次に、画像処理部212は、図6(c)に示すように、道路の候補エリア(道路と木)の中から、マッピングした道路情報を用いて、道路の範囲を特定する。これにより、図6(d)に示すように、撮像画像から道路の範囲が決定される。
(位置判定部214)
位置判定部214は、行動中のユーザUaの視界内の位置に、過去に他のユーザUb(又はUc)が位置するかを判定する。具体的には、位置判定部214は、画像処理部212で特定された道路の範囲と、他のユーザUbの位置とに基づいて、他のユーザが過去にユーザの視界内に位置するか否かを判定する。
例えば、位置判定部214は、画像処理部212で特定された道路の範囲内に他のユーザUbが位置する場合に、一のユーザUaの視界内の位置に他のユーザUbが位置すると判定する。一方で、位置判定部214は、特定された道路の範囲内に他のユーザUbが位置しない場合に、一のユーザUaの視界内の位置に他のユーザUbが位置しないと判定する。
(画像生成部216)
画像生成部216は、表示部118に透過表示させる仮想画像を生成する。画像生成部216は、仮想画像として、行動情報取得部206が取得した行動情報に基づいて、ユーザUaの行動中の他のユーザUb(又はユーザUc)の位置を仮想的に示すための仮想オブジェクトを生成する。具体的には、画像生成部216は、ユーザUaがある位置を走っているときに、過去に同一位置を実際に走った他のユーザUb(又はユーザUc)の位置を仮想的に示す仮想オブジェクトを生成する。なお、同一位置を走った他のユーザが複数存在する場合には、ユーザUaが選択した他のユーザに対応する仮想オブジェクトが生成される。
画像生成部216は、一のユーザUaと他のユーザUb(又はユーザUc)との位置関係に応じた仮想オブジェクトを生成する。例えば、画像生成部216は、他のユーザUbがユーザUaの前方を走っている場合には、他のユーザUbの後姿を示す仮想オブジェクトを生成する。一方で、画像生成部216は、他のユーザUbがユーザUaの後方を走っている場合には、他のユーザUbの前の姿を示す仮想オブジェクトを生成する。
また、画像生成部216は、一のユーザUaと他のユーザUb(又はユーザUc)との位置を示す地図を生成する。画像生成部216は、地図中に道路を含めると共に、道路上に一のユーザUaと他のユーザUbの位置を示す。また、地図は、表示部118の表示画面の隅の一部の領域を占めるように、生成される。
(表示制御部218)
表示制御部218は、画像生成部216により生成された仮想オブジェクトを、周囲を映す表示部118に重畳して表示させる。
具体的には、表示制御部218は、表示装置100を装着したユーザUaの行動中に、画像生成部216により生成された仮想オブジェクトを、表示部118に重畳して表示させる。すなわち、表示制御部218は、ユーザUaが特定場所で行動している際に、他のユーザUbが過去に同一場所にて行動した行動履歴に対応した仮想オブジェクトが表示部118に表示させる。これにより、ユーザUaの行動中に、ユーザUbの実際の過去の行動情報を用いたリアルティのある表示が行われることになる。
表示制御部218は、生成された仮想オブジェクトを表示部118に透過表示させる。例えば、表示制御部218は、仮想オブジェクトを灰色で表示させたり、輪郭線のみで表示させる。これにより、表示される仮想オブジェクトによってユーザUaの視界が塞がることを防止できる。
表示制御部218は、他のユーザUbが一のユーザUaの視界内に位置するか否かに応じて、仮想オブジェクトの表示を切り替える。すなわち、表示制御部218は、位置判定部214によってユーザUaの視界内の位置に他のユーザUbが位置すると判定された場合には、仮想オブジェクトを表示部118に表示させる。一方で、表示制御部218は、位置判定部214によってユーザUaの視界内の位置に他のユーザUbが位置しないと判定された場合には、仮想オブジェクトを表示部118に表示させない。これにより、よりリアリティのある表示を実現できる。
表示制御部218は、他のユーザUbと一のユーザUaとの位置関係と、ユーザUaの視線の向きとに応じて、表示部118における仮想オブジェクトの表示を切り替える。例えば、表示制御部218は、他のユーザUbがユーザUaよりも進行方向の前方を行動している際には、ユーザUaの視線が進行方向の前方を向いていると検知された場合に、他のユーザUbに対応する仮想オブジェクトを表示部118に表示させる。一方で、表示制御部218は、他のユーザUbがユーザUaよりも進行方向の後方を行動している際には、ユーザUaの視線が進行方向の後方を向いている(すなわち、振り返っている)と検知された場合に、他のユーザUbに対応する仮想オブジェクトを表示部118に表示させる。このように、ユーザUaの視線の向きに応じて、表示部118における仮想オブジェクトの表示を切り替えることにより、視線に応じたユーザUbの位置を適切に表示させることができる。
また、表示制御部218は、表示装置100を装着したユーザUaが行動を開始したと判定された場合に、仮想オブジェクトを表示部118に表示させても良い。これにより、ユーザUaが行動をしていない際に、仮想オブジェクトが表示部118に表示されることを防止できる。
また、表示制御部218は、ユーザUaから見て他のユーザUbとの間に遮蔽物が存在する場合には、仮想オブジェクトを表示部118に表示させなくても良い。そして、表示制御部218は、ユーザUaが遮蔽部を通過したら、仮想オブジェクトを表示部118に表示させる。これにより、本来なら遮蔽物によって他のユーザUbが見えない状況で、他のユーザUbに対応する仮想オブジェクトが表示されることを防止できる。
また、表示制御部218は、他のユーザUbとユーザUaとの距離に応じて、表示させる仮想オブジェクトの大きさを変えても良い。例えば、表示制御部218は、他のユーザUbがユーザUaの近くに位置するほど、仮想オブジェクトを大きく表示させる。
表示制御部218は、ユーザUaの視界内の位置に他のユーザUbが位置しないと判定された場合に、ユーザUaと他のユーザUbの位置を示す地図を、表示部118に重畳して表示させても良い。このように、ユーザUaと他のユーザUbの位置を示す地図を表示させることで、ユーザUaは、他のユーザUbから遠く離れていても、相対位置を容易に把握できる。
具体的には、表示制御部218は、ユーザUaの視界内の位置に他のユーザUbが位置せず、かつ他のユーザUbがユーザUaから所定距離以上離れていると判定された場合に、ユーザUaと他のユーザUbの位置を示す地図を、表示部118に表示させる。この際、表示される地図によって視界が塞がることを防止するために、表示制御部218は、地図を透過表示させる。
表示制御部218は、他のユーザUbとユーザUaとの距離に応じて、地図の縮尺(倍率)を変更して表示させても良い。すなわち、表示制御部218は、他のユーザUbとユーザUaとの間の距離が大きい場合には、地図の縮尺を大きくし、他のユーザUbとユーザUaとの間の距離が小さい場合には、地図の縮尺を小さくする。これにより、表示部118の限られた表示領域内に、他のユーザUbとユーザUaの位置を表示させることができる。
(行動情報送信部220)
行動情報送信部220は、表示装置100を装着したユーザUaの行動情報(例えば、運動情報)をサーバ300に送信する(アップロードする)。ユーザUaの行動情報は、例えばメモリ114に順次記憶されており、行動情報送信部220は、運動が完了すると一連の行動情報をサーバ300に送信する。具体的には、行動情報送信部220は、図5に示す運動情報をサーバ300に送信する。これにより、他のユーザUbが装着した表示装置100においても、ユーザUaの行動情報に基づいて仮想オブジェクトを表示することが可能となる。
<3.表示部における仮想オブジェクトの表示例>
表示装置100の表示部118における仮想オブジェクトの表示例について説明する。ここでは、ユーザUa(図1)が特定コースをランニング中に、過去に同一コースを走った競争者(ユーザUb、Uc)の運動履歴に対応した仮想オブジェクトが表示されるものとする。
そして、以下では、競争者がユーザUaの前方を走っている場合の表示例、競争者とユーザUaが並走している場合の表示例、競争者がユーザUaの後方を走っている表示例、競争者がユーザUaの視界から外れた場合の表示例の順に説明する。
(競争者が前方を走っている場合の表示例)
図7〜図10を参照しながら、競争者がユーザUaよりも前方を走っている場合の仮想オブジェクトの表示例について説明する。ここで説明する仮想オブジェクトの表示例は、ユーザUaが正面を向いて走っている際に表示されるものである。
図7は、競争者がユーザUaの前方を走っている場合に、表示部118に表示される仮想オブジェクトの一例を示す図である。図7の表示画面Sc1には、ユーザUaよりも前方に位置する競争者が道に沿って正面前方側へ向かって走っている様子が、仮想オブジェクトOb1として示されている。そして、競争者の後ろ姿がユーザUaの視界を塞がないように、仮想オブジェクトOb1が透けて示されている。
図8は、競争者がユーザUaの前方を走っている場合に、表示部118に表示される仮想オブジェクトの一例を示す図である。図8の表示画面Sc2には、ユーザUaよりも前方に位置する競争者が道に沿って斜め前方側へ向かって走っている様子が、仮想オブジェクトOb2として示されている。そして、競争者の右斜め後ろの姿がユーザUaの視界を塞がないように、仮想オブジェクトOb2が透けて示されている。
図9は、競争者がユーザUaの前方を走っている場合に、表示部118に表示される仮想オブジェクトの一例を示す図である。図9の表示画面Sc3には、ユーザUaよりも右斜め前方に位置する競争者が道に沿って正面前方側へ向かって走っている様子が、仮想オブジェクトOb3として示されている。そして、競争者の左斜め後ろの姿がユーザUaの視界を塞がないように、仮想オブジェクトOb3が透けて示されている。
(競争者と並走している場合の表示例)
図10を参照しながら、競争者がユーザUaの横を並走している場合の仮想オブジェクトの表示例について説明する。ここで説明する仮想オブジェクトの表示例は、走っているユーザUaが横を向いた際に表示されるものである。
図10は、競争者がユーザUaと並走している場合に、表示部118に表示される仮想オブジェクトの一例を示す図である。図10の表示画面Sc4には、ユーザUaの真横に位置する競争者が前方へ向かって走っている様子が、仮想オブジェクトOb4として示されている。そして、左側面から見た競争者の姿がユーザUaの視界を塞がないように、仮想オブジェクトOb4が透けて示されている。
(競争者が後方を走っている場合の表示例)
図11及び図12を参照しながら、競争者がユーザUaよりも後方を走っている場合の仮想オブジェクトの表示例について説明する。ここで説明する仮想オブジェクトの表示例は、走っているユーザUaが背後を振り向いた際に表示されるものである。
図11は、競争者がユーザUaの後方を走っている場合に、表示部118に表示される仮想オブジェクトの一例を示す図である。図11の表示画面Sc5には、ユーザUaの後方に位置する競争者が道に沿って斜め前方へ向かって走っている様子が、仮想オブジェクトOb5として示されている。そして、競争者の斜め前の姿がユーザUaの視界を塞がないように、仮想オブジェクトOb5が透けて示されている。
図12は、競争者がユーザUaの後方を走っている場合に、表示部118に表示される仮想オブジェクトの一例を示す図である。図12の表示画面Sc6には、ユーザUaの真後ろに位置する競争者が前方へ向かって走っている様子が、仮想オブジェクトOb6として示されている。そして、ユーザに迫っている競争者の正面の姿がユーザUaの視界を塞がないように、仮想オブジェクトOb6が透けて示されている。
上述した表示例では、ユーザの視線が動く度に、風景中に重畳された仮想オブジェクトの表示が切り替わる。これにより、ユーザは、競争者との相対位置をよりリアルに知覚することができる。
(競争者が視界から外れた場合の表示例)
上述した図7〜図12の表示例では、競争者がユーザの視界内に位置している。一方で、競争者がユーザの視界内に位置しない場合には、風景中に競争者が表示されない。かかる場合には、ユーザは、競争者との位置関係を把握できない。
そこで、一実施形態に係る表示部118には、競争者がユーザの視界から外れた場合には、仮想オブジェクトに代えて、競争者とユーザの位置を示す地図が表示される。これにより、ユーザは、競争者とユーザの位置を示す地図を見ることで、競争者との位置関係を容易に把握できる。以下では、図13及び図14を参照しながら、競争者がユーザの視野から外れた場合の地図の表示例について説明する。
図13は、競争者が視界から外れた場合に、表示部118に表示される地図の一例を示す図である。図13の表示画面Sc7に示すように、風景を映す透過ディスプレイの一部の領域に、道路St上におけるユーザUaと競争者Ubの位置を示す地図が示されている。表示される地図は、ユーザUaの視界を塞がないように透けて示されている。また、ユーザUaと競争者Ubの位置は、ユーザが識別できるように、例えば色やマーク等を異ならせて表示される。
ところで、表示される地図は、図14に示すように、ユーザと競争者の位置を共に表示できるように、ユーザ及び競争者の位置に応じて地図の倍率(縮尺)を変更しながら表示可能である。図14は、ユーザと競争者の位置を示す地図表示の一例を示す模式図である。図14には、倍率が異なる3つの地図の表示例が示されている。このように、ユーザ及び競争者の位置に応じて地図の倍率(縮尺)を変更しながら表示することで、ユーザは、競争者との位置関係を直ぐに把握できる。
なお、上述した図7〜図12の表示例では、一人の競争者のみが表示されているが、これに限定されず、複数の競争者が表示されることとしても良い。また、競争者の表示態様は、図7〜図12の表示例(競争者を灰色の領域で表示)に限定されず、ユーザが競争者を知覚可能な表示態様(例えば、競争者の輪郭線のみを表示)であれば良い。
<4.表示装置による処理の流れ>
図15を参照しながら、一実施形態に係る実施形態に係る表示装置100による処理の流れの一例について説明する。図15は、一実施形態に係る表示装置100による処理の流れの一例を示すフローチャートである。
表示装置100の位置情報取得部202は、表示装置100の位置情報(表示装置100を装着したユーザの位置情報)を取得する(ステップS102)。すなわち、位置情報取得部202は、GPS処理部128により、表示装置100(ユーザ)の緯度、経度、高度に関する情報を取得する。
次に、表示装置100は、無線通信部124により、ソーシャルネットワークと接続する(ステップS104)。次に、表示装置100は、ユーザUaによって入力された競争モードを受け付ける(ステップS106)。この際、ユーザUaは、操作部122により、競争者を選択することができる。
次に、行動情報取得部206は、他のユーザ(競争者)の運動情報をサーバ300からダウンロードする(ステップS108)。そして、行動判定部204は、加速度センサ134の検知結果に基づいて、表示装置100を装着したユーザUaが運動を開始したか否かを判定する(ステップS110)。
ステップS110でユーザが運動を開始したと判定された場合には(Yes)、表示装置100は、ユーザUaの運動情報をメモリ114に記録する(ステップS112)。次に、表示装置100は、競争者が運動中であるか否かを判定する(ステップS114)。
ステップS114で競争者が運動中であると判定された場合には(Yes)、表示制御部218は、表示部118に仮想オブジェクトを表示する仮想オブジェクト表示処理を行う(ステップS116)。なお、ステップS114で競争者が運動中で無いと判定された場合には(No)、表示制御部218は、ステップS116の仮想オブジェクト表示処理を行わない。ステップS116の仮想オブジェクト表示処理の詳細については、後述する。
次に、行動判定部204は、ユーザが運動を終了したか否かを判定する(ステップS118)。ステップS118でユーザの運動が継続中であると判定された場合には(No)、表示装置100は、上述したステップS112の処理を行う。ステップS118でユーザの運動が終了したと判定された場合には(Yes)、表示装置100は、ユーザの運動データをサーバにアップロードする(ステップS120)。
(仮想オブジェクト表示処理)
図16を参照しながら、図15のステップS116の仮想オブジェクト表示処理の流れの一例について説明する。図16は、仮想オブジェクト表示処理の流れの一例を示すフローチャートである。
また、表示装置100の位置判定部214は、ユーザ及び競争者の緯度、経度、高度に基づいて、競争者の相対座標を取得する(ステップS202)。次に、画像処理部212は、ユーザUaが走っている道路の範囲を、撮像部136で撮像された撮像画像から判別する(ステップS204)。
次に、画像処理部212は、判別結果から、道路の範囲を特定できた場合には(ステップS206:Yes)、画像処理部212は、ダウンロードした地図情報中に道路情報が含まれているか否かを判定する(ステップS208)。
ステップS208で道路情報が含まれていると判定された場合には(Yes)、画像処理部212は、特定した道路の範囲と道路情報とのマッチングを行い、道路の範囲を確定する(ステップS210)。
次に、位置判定部214は、競争者の位置と、道路の範囲とを比較する(ステップS212)。そして、位置判定部214は、競争者がユーザの視界に入っているか否かを判定する(ステップS214)。すなわち、位置判定部214は、道路の範囲内に競争者が位置するか否かを判定する。
ステップS214で競争者がユーザの視界に入っていると判定された場合には(Yes)、画像生成部216は、競争者の座標と、競争者の進行方向とに基づいて、仮想オブジェクトを生成する(ステップS216)。そして、表示制御部218は、生成した仮想オブジェクトを、表示部118に表示させる(ステップS218)。
ステップS214で競争者がユーザの視界から外れていると判定された場合には(No)、表示制御部218は、仮想オブジェクトの表示部118に表示させない。なお、競争者がユーザから所定距離以上離れている場合には、表示制御部218は、競争者とユーザの位置を示す地図を、表示部118に表示させる。
<5.仮想オブジェクトを表示するケース>
上記では、表示装置100を装着したユーザUaが特定の位置をランニングしている際に、過去に特定の位置をランニングした他のユーザ(競争者)の運動履歴に基づいて、表示部118に競争者に対応した仮想オブジェクトを表示するケースについて説明した。しかし、表示部118に仮想オブジェクトを表示するケースは、上記に限定されない。
例えば、ユーザUaが、ランニング以外の行動(運動)を行なっているときに、他のユーザ(競争者)の運動履歴に基づいて、表示部118に仮想オブジェクトを表示しても良い。ここで、ランニング以外の行動としては、例えば、自転車、水泳、自動車、バイク、船、飛行機、パラグライダー等が挙げられる。
また、特定の施設等において、ガイド機能として、仮想オブジェクトを表示させても良い。例えば、美術館、動物園、公園、娯楽施設等において、エリアを細かく分け、特定のエリアにユーザが位置する場合に、自動で映像等の仮想オブジェクトを表示させても良い。なお、仮想オブジェクトは、ガイド役の他人が過去に移動したものを移動情報に基づいて表示される。同様に、登山時に分かり難い道などで、仮想オブジェクトを表示させて、ガイドとして利用しても良い。
また、過去のイベントで行われた運動情報に基づいて、仮想オブジェクトを表示させても良い。具体的には、一の場所において、過去に同一の場所で行われたイベントの参加者の運動情報等に基づいて仮想オブジェクトとして表示することで、過去のイベントの雰囲気を再現することができる。
<6.まとめ>
上述したように、本開示の一実施形態に係る表示装置100は、取得した行動情報に基づいて、一の行動者(ユーザ)の行動中の他の行動者(競争者)の位置を仮想的に示すための仮想オブジェクトを生成する。そして、表示装置100は、一の行動者の行動中に、生成された仮想オブジェクトを、周囲を映す表示部118に重畳して表示させる。
これにより、ユーザが特定場所で運動している際に、競争者が過去に同一場所にて運動した運動履歴に対応した仮想オブジェクトが表示部118に表示される。すなわち、ユーザの行動中に、競争者の実際の過去の行動情報を用いたリアルティのある表示が行われる。この結果、ユーザは、行動中に表示される仮想オブジェクトを見ながら、行動を継続できるので、他の行動者と競争したり、他の行動者の行動をガイド代わりに用いて行動を行うことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、上記では、仮想オブジェクトを表示する表示装置として、ユーザの顔に装着される眼鏡型の表示装置100(図2)を例に挙げて説明したが、これに限定されない。例えば、ユーザが自動車を運転する際に、フロントガラスに仮想オブジェクトを透過表示させることとしても良い。また、ユーザがバイクを運動する際に、ヘルメットのバイザに仮想オブジェクトを透過表示させることとしても良い。
また、上記では、表示装置100が、仮想オブジェクトを生成すると共に、表示部118に仮想オブジェクトを表示させる表示制御装置であることとしたが、これに限定されない。例えば、サーバ300が、仮想オブジェクトを生成すると共に、表示装置に仮想オブジェクトを表示させる表示制御装置であることとしても良い。かかる場合にも、ユーザが特定場所で運動している際に、競争者が過去に同一場所にて運動した運動履歴に対応した仮想オブジェクトが表示部118に表示される。このようにサーバ300が表示制御装置である場合には、表示装置100の構成を簡略化できる。
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
本明細書において説明した情報処理装置による処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にRAM(Random Access Memory)に読み込まれ、CPUなどのプロセッサにより実行される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
一の行動者の行動位置において、過去に他の行動者が行動した行動情報を取得する行動情報取得部と、
取得した前記行動情報に基づいて、前記一の行動者の行動中の前記他の行動者の位置を仮想的に示すための仮想オブジェクトを生成するオブジェクト生成部と、
前記一の行動者の行動中に、生成された前記仮想オブジェクトを、周囲を映す表示部に重畳して表示させる表示制御部と、
を備える、表示制御装置。
(2)
前記表示制御部は、生成された前記仮想オブジェクトを前記表示部に透過して表示させる、
前記(1)に記載の表示制御装置。
(3)
行動中の前記一の行動者の視界内の位置に、前記他の行動者が位置するかを判定する位置判定部を更に備え、
前記表示制御部は、前記視界内の位置に前記他の行動者が位置すると判定された場合に、前記仮想オブジェクトを前記表示部に表示させる、
前記(1)又は(2)に記載の表示制御装置。
(4)
前記表示制御部は、前記視界内の位置に前記他の行動者が位置しないと判定された場合に、前記一の行動者と前記他の行動者の位置を示す地図を、前記表示部に重畳して表示させる、
前記(3)に記載の表示制御装置。
(5)
前記表示制御部は、前記視界内の位置に前記他の行動者が位置せず、かつ前記他の行動者が前記一の行動者から所定距離以上離れていると判定された場合に、前記地図を前記表示部に重畳して表示させる、
前記(4)に記載の表示制御装置。
(6)
前記一の行動者及び前記他の行動者の行動は、道路を走る動作であり、
前記一の行動者の視界を撮像する撮像部により撮像された撮像画像から、前記道路の範囲を特定する範囲特定部を更に備え、
前記位置判定部は、特定された前記道路の範囲内に前記他の行動者が位置する場合に、前記視界内の位置に前記他の行動者が位置すると判定する、
前記(3)〜(5)のいずれか1項に記載の表示制御装置。
(7)
前記一の行動者の視線に向きを検知する視線検知部を更に備え、
前記表示制御部は、検知された前記視線の向きに応じて、前記表示部における前記仮想オブジェクトの表示を切り替える、
前記(1)〜(6)のいずれか1項に記載の表示制御装置。
(8)
前記表示制御部は、前記他の行動者が前記一の行動者よりも進行方向の前方を行動している際には、前記一の行動者の視線が前記前方を向いていると検知された場合に前記仮想オブジェクトを前記表示部に表示させる、
前記(7)に記載の表示制御装置。
(9)
前記表示制御部は、前記他の行動者が前記一の行動者よりも進行方向の後方を行動している際には、前記一の行動者の視線が前記後方を向いていると検知された場合に前記仮想オブジェクトを前記表示部に表示させる、
前記(7)に記載の表示制御装置。
(10)
前記一の行動者及び前記他の行動者の行動は、走る動作であり、
前記一の行動者の行動を判定する行動判定部を更に備え、
前記表示制御部は、前記一の行動者が前記走る動作を開始したと判定された場合に、前記仮想オブジェクトを前記表示部に表示させる、
前記(1)〜(9)のいずれか1項に記載の表示制御装置。
(11)
前記表示制御部は、前記一の行動者から見て前記他の行動者との間に遮蔽物が存在する場合には、前記仮想オブジェクトを前記表示部に表示させない、
前記(1)〜(10)のいずれか1項に記載の表示制御装置。
(12)
前記行動情報取得部は、前記行動情報と共に、前記他の行動者が行動した位置の高度に関する情報を含む地図情報も取得する、
前記(1)〜(11)のいずれか1項に記載の表示制御装置。
(13)
前記表示部は、前記一の行動者に装着された眼鏡型の表示部である、
前記(1)〜(12)のいずれか1項に記載の表示制御装置。
(14)
一の行動者の行動位置において、過去に他の行動者が行動した行動情報を取得することと、
取得した前記行動情報に基づいて、前記一の行動者の行動中の前記他の行動者の位置を仮想的に示すための仮想オブジェクトを生成することと、
前記一の行動者の行動中に、生成された前記仮想オブジェクトを、周囲を映す表示部に重畳して表示させることと、
を含む、表示制御方法。
(15)
コンピュータに、
一の行動者の行動位置において、過去に他の行動者が行動した行動情報を取得することと、
取得した前記行動情報に基づいて、前記一の行動者の行動中の前記他の行動者の位置を仮想的に示すための仮想オブジェクトを生成することと、
前記一の行動者の行動中に、生成された前記仮想オブジェクトを、周囲を映す表示部に重畳して表示させることと、
を実行させるためのプログラム。
1 表示システム
100 表示装置
112 CPU
114 メモリ
116 電源
118 表示部
120 音声入出力部
122 入力部
124 無線通信部
126 電子コンパス
128 GPS処理部
130 ジャイロセンサ
132 気圧センサ
134 加速度センサ
136 撮像部
202 位置情報取得部
204 行動判定部
206 行動情報取得部
208 撮像画像取得部
210 視野情報取得部
212 画像処理部
214 位置判定部
216 画像生成部
218 表示制御部
220 行動情報送信部
300 サーバ
310 データベース

Claims (15)

  1. 一の行動者の行動位置において、過去に他の行動者が行動した行動情報を取得する行動情報取得部と、
    取得した前記行動情報に基づいて、前記一の行動者の行動中の前記他の行動者の位置を仮想的に示すための仮想オブジェクトを生成するオブジェクト生成部と、
    前記一の行動者の行動中に、生成された前記仮想オブジェクトを、周囲を映す表示部に重畳して表示させる表示制御部と、
    を備える、表示制御装置。
  2. 前記表示制御部は、生成された前記仮想オブジェクトを前記表示部に透過して表示させる、
    請求項1に記載の表示制御装置。
  3. 行動中の前記一の行動者の視界内の位置に、前記他の行動者が位置するかを判定する位置判定部を更に備え、
    前記表示制御部は、前記視界内の位置に前記他の行動者が位置すると判定された場合に、前記仮想オブジェクトを前記表示部に表示させる、
    請求項1に記載の表示制御装置。
  4. 前記表示制御部は、前記視界内の位置に前記他の行動者が位置しないと判定された場合に、前記一の行動者と前記他の行動者の位置を示す地図を、前記表示部に重畳して表示させる、
    請求項3に記載の表示制御装置。
  5. 前記表示制御部は、前記視界内の位置に前記他の行動者が位置せず、かつ前記他の行動者が前記一の行動者から所定距離以上離れていると判定された場合に、前記地図を前記表示部に重畳して表示させる、
    請求項4に記載の表示制御装置。
  6. 前記一の行動者及び前記他の行動者の行動は、道路を走る動作であり、
    前記一の行動者の視界を撮像する撮像部により撮像された撮像画像から、前記道路の範囲を特定する範囲特定部を更に備え、
    前記位置判定部は、特定された前記道路の範囲内に前記他の行動者が位置する場合に、前記視界内の位置に前記他の行動者が位置すると判定する、
    請求項3に記載の表示制御装置。
  7. 前記一の行動者の視線に向きを検知する視線検知部を更に備え、
    前記表示制御部は、検知された前記視線の向きに応じて、前記表示部における前記仮想オブジェクトの表示を切り替える、
    請求項1に記載の表示制御装置。
  8. 前記表示制御部は、前記他の行動者が前記一の行動者よりも進行方向の前方を行動している際には、前記一の行動者の視線が前記前方を向いていると検知された場合に前記仮想オブジェクトを前記表示部に表示させる、
    請求項7に記載の表示制御装置。
  9. 前記表示制御部は、前記他の行動者が前記一の行動者よりも進行方向の後方を行動している際には、前記一の行動者の視線が前記後方を向いていると検知された場合に前記仮想オブジェクトを前記表示部に表示させる、
    請求項7に記載の表示制御装置。
  10. 前記一の行動者及び前記他の行動者の行動は、走る動作であり、
    前記一の行動者の行動を判定する行動判定部を更に備え、
    前記表示制御部は、前記一の行動者が前記走る動作を開始したと判定された場合に、前記仮想オブジェクトを前記表示部に表示させる、
    請求項1に記載の表示制御装置。
  11. 前記表示制御部は、前記一の行動者から見て前記他の行動者との間に遮蔽物が存在する場合には、前記仮想オブジェクトを前記表示部に表示させない、
    請求項1に記載の表示制御装置。
  12. 前記行動情報取得部は、前記行動情報と共に、前記他の行動者が行動した位置の高度に関する情報を含む地図情報も取得する、
    請求項1に記載の表示制御装置。
  13. 前記表示部は、前記一の行動者に装着された眼鏡型の表示部である、
    請求項1に記載の表示制御装置。
  14. 一の行動者の行動位置において、過去に他の行動者が行動した行動情報を取得することと、
    取得した前記行動情報に基づいて、前記一の行動者の行動中の前記他の行動者の位置を仮想的に示すための仮想オブジェクトを生成することと、
    前記一の行動者の行動中に、生成された前記仮想オブジェクトを、周囲を映す表示部に重畳して表示させることと、
    を含む、表示制御方法。
  15. コンピュータに、
    一の行動者の行動位置において、過去に他の行動者が行動した行動情報を取得することと、
    取得した前記行動情報に基づいて、前記一の行動者の行動中の前記他の行動者の位置を仮想的に示すための仮想オブジェクトを生成することと、
    前記一の行動者の行動中に、生成された前記仮想オブジェクトを、周囲を映す表示部に重畳して表示させることと、
    を実行させるためのプログラム。
JP2012029397A 2012-02-14 2012-02-14 表示制御装置、表示制御方法、及びプログラム Expired - Fee Related JP5927966B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012029397A JP5927966B2 (ja) 2012-02-14 2012-02-14 表示制御装置、表示制御方法、及びプログラム
US13/717,940 US9235933B2 (en) 2012-02-14 2012-12-18 Wearable display system that displays previous runners as virtual objects on a current runner's path
CN201310046858.7A CN103246543B (zh) 2012-02-14 2013-02-06 显示控制设备,显示控制方法和程序
US14/886,758 US9569898B2 (en) 2012-02-14 2015-10-19 Wearable display system that displays a guide for a user performing a workout
US15/394,019 US10169923B2 (en) 2012-02-14 2016-12-29 Wearable display system that displays a workout guide

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012029397A JP5927966B2 (ja) 2012-02-14 2012-02-14 表示制御装置、表示制御方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2013167941A true JP2013167941A (ja) 2013-08-29
JP2013167941A5 JP2013167941A5 (ja) 2015-03-05
JP5927966B2 JP5927966B2 (ja) 2016-06-01

Family

ID=48926074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012029397A Expired - Fee Related JP5927966B2 (ja) 2012-02-14 2012-02-14 表示制御装置、表示制御方法、及びプログラム

Country Status (3)

Country Link
US (3) US9235933B2 (ja)
JP (1) JP5927966B2 (ja)
CN (1) CN103246543B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017145552A1 (ja) * 2016-02-26 2017-08-31 株式会社セガゲームス プログラム及びアイウエア
WO2017212999A1 (ja) * 2016-06-06 2017-12-14 シャープ株式会社 映像生成装置及び映像生成方法、及び映像生成プログラム
WO2018092486A1 (ja) 2016-11-16 2018-05-24 ソニー株式会社 情報処理装置、方法及びプログラム
WO2019130374A1 (ja) * 2017-12-25 2019-07-04 ガンホー・オンライン・エンターテイメント株式会社 端末装置、システム、プログラム及び方法
WO2021230101A1 (ja) 2020-05-13 2021-11-18 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10074080B2 (en) * 2013-11-06 2018-09-11 Capital One Services, Llc Wearable transaction devices
EP3926589A1 (en) * 2014-06-03 2021-12-22 Apple Inc. Method and system for presenting a digital information related to a real object
JP6535456B2 (ja) * 2014-11-10 2019-06-26 株式会社日立エルジーデータストレージ 映像投射装置及びヘッドマウントディスプレイ
US20160346612A1 (en) * 2015-05-29 2016-12-01 Nike, Inc. Enhancing Exercise Through Augmented Reality
DE102015212253B4 (de) * 2015-06-30 2018-11-08 Icaros Gmbh Ausrichtungssensorsystem und Ausrichtungssensorikverfahren
US20170193705A1 (en) * 2015-12-31 2017-07-06 Daqri, Llc Path visualization for motion planning
JP6501035B2 (ja) * 2016-03-23 2019-04-17 日本電気株式会社 眼鏡型ウェアラブル情報端末、その制御方法および制御プログラム
CN106056663B (zh) * 2016-05-19 2019-05-24 京东方科技集团股份有限公司 增强现实场景中的渲染方法、处理模块和增强现实眼镜
JPWO2018216355A1 (ja) * 2017-05-24 2020-05-21 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20200035003A (ko) * 2017-07-27 2020-04-01 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램
WO2019128748A1 (zh) * 2017-12-31 2019-07-04 深圳市虚拟现实科技有限公司 一种虚拟现实显示装置及其方法
CN108970114A (zh) * 2018-08-21 2018-12-11 苏州蜗牛数字科技股份有限公司 一种通过自定义映射按键实现视野调整的方法
US11023095B2 (en) 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
CN112241199B (zh) 2019-07-19 2023-03-24 华为技术有限公司 虚拟现实场景中的交互方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002507734A (ja) * 1998-03-26 2002-03-12 スポートバッグ ドットコム、インコーポレイテッド Gps利用運動競技者用能力モニタ
JP2003134510A (ja) * 2001-08-16 2003-05-09 Space Tag Inc 画像情報配信システム
JP2011067277A (ja) * 2009-09-24 2011-04-07 Brother Industries Ltd ヘッドマウントディスプレイ
JP2011212347A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体、端末及びネットワークシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69736622T2 (de) * 1996-07-03 2007-09-13 Hitachi, Ltd. System zur Bewegungserkennung
JP2002183150A (ja) * 2000-12-13 2002-06-28 Nec Corp 位置関連情報提示システム及び位置関連情報提示方法並びにその制御プログラムを記録した記録媒体
JP4225029B2 (ja) * 2002-10-18 2009-02-18 日産自動車株式会社 地図画像表示装置及び地図画像表示プログラム
US8083589B1 (en) * 2005-04-15 2011-12-27 Reference, LLC Capture and utilization of real-world data for use in gaming systems such as video games
JP4908779B2 (ja) * 2005-05-31 2012-04-04 クラリオン株式会社 ナビゲーション装置、画像表示方法および画像表示プログラム
RU2463663C2 (ru) * 2007-05-31 2012-10-10 Панасоник Корпорэйшн Устройство захвата изображения, сервер обеспечения дополнительной информации и система фильтрации дополнительной информации
US8397168B2 (en) * 2008-04-05 2013-03-12 Social Communications Company Interfacing with a spatial virtual communication environment
JP5100494B2 (ja) * 2008-05-08 2012-12-19 株式会社エヌ・ティ・ティ・ドコモ 仮想空間提供装置、プログラム及び仮想空間提供システム
JP2011095797A (ja) * 2009-10-27 2011-05-12 Sony Corp 画像処理装置、画像処理方法及びプログラム
TWI415655B (zh) * 2009-12-31 2013-11-21 Golfzon Co Ltd 虛擬高爾夫球模擬成像迷你地圖之裝置與方法
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
JP5560845B2 (ja) * 2010-03-30 2014-07-30 ソニー株式会社 情報処理装置、画像出力方法及びプログラム
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002507734A (ja) * 1998-03-26 2002-03-12 スポートバッグ ドットコム、インコーポレイテッド Gps利用運動競技者用能力モニタ
JP2003134510A (ja) * 2001-08-16 2003-05-09 Space Tag Inc 画像情報配信システム
JP2011067277A (ja) * 2009-09-24 2011-04-07 Brother Industries Ltd ヘッドマウントディスプレイ
JP2011212347A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体、端末及びネットワークシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
土井美和子 外, "位置情報の活用と流通 −ロボットサービスによる活用の変革− 第1版", vol. 第1版, JPN6015046086, 20 November 2010 (2010-11-20), pages 102 - 108, ISSN: 0003196393 *
後藤田中, 外5名: ""仮想的に訓練集団を構成することによるジョギング支援サイト"", 電子情報通信学会論文誌, vol. 第J93−D巻, 第7号, JPN6016002687, 1 July 2010 (2010-07-01), JP, pages 1144 - 1153, ISSN: 0003242179 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017145552A1 (ja) * 2016-02-26 2017-08-31 株式会社セガゲームス プログラム及びアイウエア
JP2017151917A (ja) * 2016-02-26 2017-08-31 株式会社セガゲームス プログラム及びアイウエア
WO2017212999A1 (ja) * 2016-06-06 2017-12-14 シャープ株式会社 映像生成装置及び映像生成方法、及び映像生成プログラム
WO2018092486A1 (ja) 2016-11-16 2018-05-24 ソニー株式会社 情報処理装置、方法及びプログラム
US10986458B2 (en) 2016-11-16 2021-04-20 Sony Corporation Information processing apparatus and information processing method
WO2019130374A1 (ja) * 2017-12-25 2019-07-04 ガンホー・オンライン・エンターテイメント株式会社 端末装置、システム、プログラム及び方法
JPWO2019130374A1 (ja) * 2017-12-25 2019-12-26 ガンホー・オンライン・エンターテイメント株式会社 端末装置、システム、プログラム及び方法
US10792567B2 (en) 2017-12-25 2020-10-06 GungHo Online Entertainment, Inc. Terminal device, system, program, and method
WO2021230101A1 (ja) 2020-05-13 2021-11-18 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
US20170109939A1 (en) 2017-04-20
CN103246543A (zh) 2013-08-14
CN103246543B (zh) 2018-02-06
US20130208004A1 (en) 2013-08-15
US9235933B2 (en) 2016-01-12
US10169923B2 (en) 2019-01-01
US9569898B2 (en) 2017-02-14
JP5927966B2 (ja) 2016-06-01
US20160042570A1 (en) 2016-02-11

Similar Documents

Publication Publication Date Title
JP5927966B2 (ja) 表示制御装置、表示制御方法、及びプログラム
CN107782314B (zh) 一种基于扫码的增强现实技术室内定位导航方法
US11127210B2 (en) Touch and social cues as inputs into a computer
US10809530B2 (en) Information processing apparatus and information processing method
US9978174B2 (en) Remote sensor access and queuing
EP3338136B1 (en) Augmented reality in vehicle platforms
KR102355135B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
WO2019037489A1 (zh) 地图显示方法、装置、存储介质及终端
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
JP6785385B2 (ja) 周辺デバイスの視覚的追跡
JP2006059136A (ja) ビューア装置及びそのプログラム
JP2019535090A (ja) 仮想現実アトラクション制御方法及びシステム
JP2009192448A (ja) 情報表示装置及び情報提供システム
JP7427747B2 (ja) 映像表示装置及び映像表示方法
JP2016122277A (ja) コンテンツ提供サーバ、コンテンツ表示端末、コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ表示プログラム
CN112788443B (zh) 基于光通信装置的交互方法和系统
JP2018106579A (ja) 情報提供方法、プログラム、および、情報提供装置
CN102713948A (zh) 便携式终端、活动历史描写方法及活动历史描写系统
CN113010009B (zh) 对象共享方法及装置
US20230252691A1 (en) Passthrough window object locator in an artificial reality system
JP2019012536A (ja) 情報提供方法、プログラム、および、情報提供装置
CN112215965B (zh) 基于ar的场景导览方法、设备以及计算机可读存储介质
CN117075771A (zh) 基于虚拟现实空间的画面显示方法、装置、设备及介质
CN117537820A (zh) 一种导航方法、电子设备和可读存储介质
CN115144874A (zh) 一种定位方法及相关装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160411

R151 Written notification of patent or utility model registration

Ref document number: 5927966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees