JP2021114343A - 表示システム、及び表示システムの表示制御方法 - Google Patents

表示システム、及び表示システムの表示制御方法 Download PDF

Info

Publication number
JP2021114343A
JP2021114343A JP2021081833A JP2021081833A JP2021114343A JP 2021114343 A JP2021114343 A JP 2021114343A JP 2021081833 A JP2021081833 A JP 2021081833A JP 2021081833 A JP2021081833 A JP 2021081833A JP 2021114343 A JP2021114343 A JP 2021114343A
Authority
JP
Japan
Prior art keywords
information
display device
unit
terminal display
information object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021081833A
Other languages
English (en)
Other versions
JP7064040B2 (ja
Inventor
貴之 藤原
Takayuki Fujiwara
貴之 藤原
芳広 町田
Yoshihiro Machida
芳広 町田
欣穂 瀬尾
Yoshiho Seo
欣穂 瀬尾
竜哉 石飛
Tatsuya Ishitobi
竜哉 石飛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi LG Data Storage Inc
Original Assignee
Hitachi LG Data Storage Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi LG Data Storage Inc filed Critical Hitachi LG Data Storage Inc
Priority to JP2021081833A priority Critical patent/JP7064040B2/ja
Publication of JP2021114343A publication Critical patent/JP2021114343A/ja
Application granted granted Critical
Publication of JP7064040B2 publication Critical patent/JP7064040B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/301—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/403—Connection between platform and handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】 ヘッドマウントディスプレイの表示内容をハンズフリーで制御可能とする。【解決手段】 ユーザが頭部に装着する端末表示装置が、ユーザの視界に重畳して情報オブジェクトを表示するための表示部と、端末表示装置の動作を検出するための動作検出部と、端末表示装置の動作のパターンと表示部が表示している情報オブジェクトに対する操作内容を対応づけて記憶している動作パターン記憶部と、各情報オブジェクトについての表示形態に関する情報を記憶している情報種別管理記憶部と、動作検出部が検出した動作と、動作パターン記憶部に記憶されている動作パターンと操作内容との関連付けに基づいて端末表示装置に対する操作内容を判定し、表示部の所定の位置に配置されている情報オブジェクトを特定し、判定された操作内容で特定される操作を特定された情報オブジェクトに対して実行するための表示制御部とを備えている。【選択図】 図２

Description

本発明は、表示システム、及び表示システムの表示制御方法に関する。
近年、眼鏡のように頭部に装着する端末表示装置としてヘッドマウントディスプレイ（Head Mount Display, ＨＭＤ）が開発されており、産業向けや民生向けに種々の活用方法が検討されている。
ＨＭＤは、現実世界にコンピュータグラフィックス（CG）で構築された仮想空間の情報を重ね合わせた視覚情報を提供することができる拡張現実（Augmented Reality, AR）や
、現実世界とは全く異なるCGで生成された視覚体験を装着者に体感させることができる仮想現実（Virtual Reality, VR）の機能を実現するためのデバイスとして利用することが
できる。
例えば産業分野では、物流現場、製造現場での各種作業、機器の保守などにおいて、ARを利用することにより直観的に作業指示を出すことを可能とし、それによって作業効率を上げる試みが行われている。しかし、ＨＭＤを装着したときにCG情報が見える範囲、すなわち視野角が狭いため、情報の視認性に課題がある。また、産業分野で利用する場合には、作業効率を上げる目的のためにＨＭＤを装着したときには手に何も持たない状態、すなわちハンズフリーでＨＭＤによるCG情報を制御可能であることが求められる。しかし、現状マウス、キーボード等の手入力デバイスに代わってＨＭＤをハンズフリーで操作できる仕組みはまだ実用的ではない。
擬似的に視野角を広げる試みとして、端末表示装置に設けた加速度センサ、ジャイロセンサ、磁気センサなどを活用することで、端末表示装置の向きに応じて表示させる情報を変化させる仕組みが提案されている。例えば特許文献１はマルチディスプレイヒューマンマシンインタフェースに関する。特許文献1では、可動窓は仮想空間への一人称の観点か
らの覗き窓を提示することができる。この覗き窓からのビューは、多次元空間内での静止窓に対する可動窓の空間特性の向きに基づいて変化する。ディスプレイは、仮想空間の画像を提示することができ、追加の可動型ディスプレイは同一の仮想空間の追加の画像を提示することができるものである。
特開２０１２−１６１６０４号
しかし、特許文献１では、ＨＭＤを装着して周辺を見る動作をすることで、仮想空間の一部を視認することは可能だが、ＨＭＤを用いて仮想空間を表示したとき、表示された情報をハンズフリーで制御するための操作方法については何も開示されていない。
上記の、及び他の課題を解決するための本発明の一態様は、ユーザが頭部に装着する端末表示装置を備える表示システムであって、前記端末表示装置が、前記ユーザの視界に重畳して情報オブジェクトを表示するための表示部と、前記端末表示装置の動作を検出するための動作検出部と、前記端末表示装置の動作のパターンと前記表示部が表示している前
記情報オブジェクトに対する操作内容とを対応づけて記憶している動作パターン記憶部と、各前記情報オブジェクトについての表示形態に関する情報を記憶している情報種別管理記憶部と、前記動作検出部が検出した前記端末表示装置の動作と、前記動作パターン記憶部に記憶されている前記動作パターンと前記操作内容との関連付けに基づいて前記情報オブジェクトに対する操作内容を判定するための動作判定部と、前記表示部の所定の位置に配置されている前記情報オブジェクトを特定するための情報種別判定部と、判定された前記操作内容で特定される操作を前記特定された情報オブジェクトに対して実行するための表示処理部と、前記端末表示装置の前方にある被写体の映像情報を経時的に取得する映像検出部とを備え、前記動作検出部が、前記端末表示装置が存在する任意の場所において、前記映像情報に含まれる前記被写体について複数の特徴点を検出し、複数の当該特徴点によって構成される図形の面積及び当該図形の重心位置の時間軸上の任意の二点間における変化によって前記端末表示装置の動作を検出し、前記動作判定部が、前記動作検出部が検出した前記端末表示装置の動作と、前記動作パターン記憶部に記憶されている前記動作パターンと前記操作内容との関連付けに基づいて前記情報オブジェクトに対する操作内容を判定し、前記情報種別判定部が、前記表示部の所定の位置に配置されている前記情報オブジェクトを特定し、判定された前記操作内容で特定される操作を前記特定された情報オブジェクトに対して実行する表示システムである。
本発明の一態様によれば、ユーザが頭部に装着した端末表示装置の動作に応じて、当該端末表示装置によって提供される仮想空間内の表示情報を制御することが可能となる。
図１は、本発明の一実施形態による端末表示装置１０の使用状態を例示する模式図である。 図２は、端末表示装置１０の構成の一例を示す図である。 図３は、端末表示装置１０におけるデータ処理の一例を示すフローチャートである。 図４は、表示部１１５に表示される情報の一例である。 図５は、表示部１１５に表示される内容の一例である。 図６は、動作判定データベース１１７１の構成例を示す図である。 図７は、操作対応データベース１１７３の構成例を示す図である。 図８は、情報種別管理データベース１１７２の構成例を示す図である。 図９は、本発明の他の実施形態による端末表示装置１０の構成例を示す図である。 図１０は、他の実施形態による端末表示装置１０におけるデータ処理の一例を示すフローチャートである。 図１１は、あるフレームの特徴点座標を示す模式図である。 図１２は、あるフレームから抽出された特徴点座標を示す模式図である。 図１３は、図１１において端末表示装置１０が物体γに近づいたときの映像データの一例を示す図である。 図１４は、図１３において撮像された映像データの一例を示す図である。 図１５は、本発明のさらに他の実施形態による端末表示装置１０の使用状態を例示する模式図である。 図１６は、端末表示装置１０の構成例を示す図である。 図１７は、管理サーバ１５の構成例を示す図である。 図１８は、端末表示装置１０、及び管理サーバ１５におけるデータ処理例を示すシーケンス図である。
以下、本発明について、その実施形態に即して図面を用いて説明する。なお、図面において、同一符号は、同一または相当部分を示す。また、本発明は、図示の構成例に限定されるものではない。
［実施形態１］
本発明の一実施形態に係る頭部装着型端末表示装置について、図１〜図７を参照して説明する。図１は、頭部装着型端末表示装置１０の使用状態を例示する模式図である。なお、簡単のため、以下、本明細書において、人が頭部に装着することにより装着した人に対する画像あるいは映像表示機能を提供する装置である頭部装着型端末表示装置をＨＭＤと称することとする。ＨＭＤには通常の視力矯正のための眼鏡の形態を有するもの、眼の周りを覆うように装着するゴーグル様の形状を有するもの、あるいはヘルメットのように頭部全体を覆うもの等、種々の形状の装置が含まれる。
本実施形態の表示システムとしてのＨＭＤ１０では、各種センサを活用して表示された情報を操作することが可能である。図１に示すように、本実施形態のＨＭＤ１０は、ユーザ１１が頭部に装着するゴーグルに類する形態を有する端末装置である。ＨＭＤ１０は、手でなんらかのデバイスを操作したり、ジェスチャーによってセンサ信号を生成したりすることなく、完全なハンズフリーを実現しながら表示情報を制御することができる。ハンズフリーで表示情報を制御することができるので、ＨＭＤ１０を装着する作業者は表示情報を制御するためのデバイスを別に手で保持して操作する必要がない。このため、ＨＭＤ１０を使用することで、物流、製造、保守作業などを行う各種産業において作業効率、作業品質の向上を期待することができ、高い需要が見込まれる。
ＨＭＤ１０は、ユーザ１１の頭部に装着され、ユーザ１１が作業を行うために必要な情報を表示し、ユーザ１１の操作に応じて情報を制御する機能を備えた端末装置である。本実施形態ではＨＭＤ１０に全ての機能が備えられている場合を説明するが、ＨＭＤ１０の一部が分離可能である構成、例えばＨＭＤ１０の一部の機能がスマートフォン等の携帯通信端末装置に設けられ、ＨＭＤ１０の主要な処理を実行する場合であっても、得られる効果は以下に説明する本実施形態と同様である。
なお、図１に示すように、以下の説明では、便宜的に、ＨＭＤ１０の幅方向（ユーザ１１の左右方向）をｘ軸方向、鉛直方向をｙ軸方向、ｘｙ軸いずれとも直交するユーザ１１の前後方向をｚ軸方向と定めることとする。
図２は、ＨＭＤ１０の構成の一例を示す図である。ＨＭＤ１０は、プロセッサ１１１、通信部１１２、方位検出部１１３、加速度検出部１１４、表示部１１５、メモリ１１６、ストレージ１１７、入力部１１８、電源供給部１１９、及びバス１２０を備える。なお、ＨＭＤ１０は、動作判定部１１６１、方位処理部１１６２、加速度処理部１１６３、情報種別判定部１１６４、表示処理部１１６５、及び制御処理部１１６６をメモリ１１６に格納している。制御処理部１１６６がストレージ１１７から上記処理部に対応するプログラムモジュールを読み出してメモリ１１６に展開し、制御処理部１１６６が上記プログラムモジュールを実行することで本実施形態の処理を実現する。なお、これらのプログラムモジュールはＨＭＤ１０に係る装置が出荷されるまでに予めストレージ１１７に格納されていても良いし、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）などの光学メディアや半導体メモリ等の記憶媒体に格納され
て図示しない媒体接続部を介してＨＭＤ１０に係る装置にインストールされても良い。
プロセッサ１１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、及びＤＳＰ（Digital Signal Processor）等の総称であり、所定のプログラムを実行する機能を有する。
通信部１１２は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、ＩＣタグ機能、ＴｒａｎｓｆｅｒＪＥＴ（登録商標）、ＬＴＥ（Long Term Evolution）、ＨＳ
ＰＡ（High Speed Packet Access）、ＥＶ−ＤＯ（Evolution Data Only）、及びＷｉＭ
ＡＸ等の無線通信機能、または、Ｅｔｈｅｒｎｅｔ（登録商標）等の有線通信機能を備え、各種の情報を送受信する。無線通信機能は、所要のアンテナ、及び変復調回路等を含む。有線通信機能は、所要のコネクタ、及び変復調回路等を含む。データの送受信には、ネットワークを介して行うネットワーク通信と、ネットワークを介さずに各機器間で直接通信を行う直接通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスＵＳＢ、Ｆｅｌｉｃａ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｚ−ＷＡＶＥ（登録商標）、可視光通信、赤外線通信、ＮＦＣ（Near Field Communication）（登録商標）を適宜切り替えて使用できる。通信部１１２は、複数の通信方式に対応するように構成されても良い。
方位検出部１１３は、ジャイロセンサ等を用いて、ＨＭＤ１０のｘ、ｙ、ｚ軸回りの回転角度を検出する機能を有する。なお、方位検出部１１３はＨＭＤ１０に内蔵されていてもよいし、別体としてＨＭＤ１０と有線通信または無線通信で接続されていてもよい。
加速度検出部１１４は、加速度センサ等を用いて、ＨＭＤ１０のｘ、ｙ、ｚ軸方向の加速度を検出する機能を有する。なお、加速度検出部１１４はＨＭＤ１０に内蔵されていてもよいし、別体としてＨＭＤ１０と有線通信または無線通信で接続されていてもよい。
表示部１１５は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、電子ペーパー等の表示パネルや光源、ドライバ回路等から構成され、制御処理部１１６６の制御下にて任意の情報（例えば、文字、静止画、及び動画等）を表示する。なお、表示部１１５は、それぞれ異なる情報を表示可能な複数の表示機能から構成されていてもよい。
メモリ１１６は、ＤＲＡＭ（Dynamic Random Access Memory）などから構成され、制御処理部１１６６の指示により制御される。メモリ１１６に、ストレージ１１７に格納しているアプリケーションプログラムの機能部が展開される。
ストレージ１１７は、ＨＭＤ１０に内蔵される記録媒体や、取り外し可能な外部記録媒体や光ディスクなどから構成され、各種の情報を記憶する機能を有する。例えば、ストレージ１１７は制御処理部１１６６の指示により制御され、アプリケーションプログラムを保存することができる。また、ストレージ１１７は、アプリケーションプログラムで作成した各種情報を保存する。例えば、ストレージ１１７は、ユーザ１１の動作からＨＭＤ１０の動作のパターンを判定する動作判定データベース１１７１、情報別の表示方法が管理された情報種別管理データベース１１７２（情報種別管理記憶部）、前記動作パターンと表示操作とを対応づける操作対応データベース１１７３を保存する。動作判定データベース１１７１と操作対応データベース１１７３とは、ＨＭＤ１０の動作のパターンと表示部１１５が表示している情報オブジェクトに対する操作内容を対応づけている、動作パターン記憶部を構成している。
入力部１１８は、キーボード、マウス、カーソルキー、及びテンキー等の一または複数を備え、ユーザ１１の操作を受け付け、当該操作に基づいた入力信号をプロセッサ１１１に入力する機能を有する。なお、ＨＭＤ１０にマイクやカメラを備え、音声認識、画像認識、またはジェスチャー認識等によって入力信号を生成し、プロセッサ１１１に入力するようにしても良い。なお、入力部１１８は、タッチパネルのように、表示部１１５と入力部１１８とが一体となった構成であっても良い。また、入力部１１８は同様の機能を持つ処理部として、ＨＭＤ１０と離れた場所に設置され、機器間の直接通信を介して当該操作
に基づいた入力信号をプロセッサ１１１に入力する構成としても良い。なお念のため述べると、本実施形態ではＨＭＤ１０の表示制御を、入力部１１８を操作することなくハンズフリーで行えるように構成されている。
電源供給部１１９は、バッテリ、ＡＣアダプタ、及び充電回路等から構成され、ＨＭＤ１０の各部への電源供給や、バッテリへの充電を行う機能を有する。また、電源供給部１１９は、ＨＭＤ１０のバッテリの残量確認を行う。バス１２０は、ＨＭＤ１０の各部が相互に信号を伝送するための伝送路である。
なお、本明細書において、プロセッサ１１１がメモリ１１６に格納されたプログラムモジュールに基づいて実行する処理を、当該プログラムモジュールに対応する処理部が実行する処理として説明する場合がある。例えば、制御処理部１１６６が実行する処理は、実際には、メモリ１１６に格納された制御処理部１１６６に対応するプログラムモジュールに従って、プロセッサ１１１が実行する。他の処理部についても同様である。
次に、以上の構成を有する本実施形態のＨＭＤ１０によって実行されるデータ処理について説明する。この説明の過程で、データ処理に使用されるデータベースの構成についてもあわせて説明する。図３は、ＨＭＤ１０における、取得したセンサデータからユーザの操作を判定し、判定した操作に基づいて表示情報を変化させるまでの処理の一例である。本実施形態のＨＭＤ１０では、装着したユーザ１１が頭部を動かす動作によってＨＭＤ１０に表示されている画像や映像の表示状態を制御することができる。
本実施形態のＨＭＤ１０では、ＨＭＤ１０を装着したユーザが頭を動かすと、方位検出部１１３と加速度検出部１１４の検出する値が変化する。図４に、ＨＭＤ１０の表示部１１５に表示される情報オブジェクトの一例を示している。図４に示すように、ＨＭＤ１０の表示領域４００には、日時情報、メニュー画面への復帰ボタン、及び画像情報２０が含まれている。画像情報２０はある画像データを代表するオブジェクトであり、以下このオブジェクトをアイコンと称する。図４の画像情報であるアイコン２０は、この画像情報が写真イメージデータであることを示している。図５は図４のアイコン２０を選択しているとき、ＨＭＤ１０の動作を通じてアイコン２０を写真画像２１に変更したときの、表示部１１５に表示される内容の例である。ＨＭＤ１０で写真イメージデータのような高解像度のイメージデータを表示するには、多量の電力が必要とされる。そこで、本実施形態のＨＭＤ１０では、ユーザ１１からの指示がない限り図４のような対応するアイコン２０を表示しておくことで省電力を実現している。以下、本実施形態では、方位検出部１１３と加速度検出部１１４の値変化を元にして、ＨＭＤ１０の表示部１１５に表示される情報を変化させる例を説明する。
ＨＭＤ１０は、電源投入等をトリガとして図３のデータ処理を開始すると（Ｓ１００）、動作判定部１１６１は、入力部１１８から動作検出開始のトリガが検出されるのを待機する（Ｓ１０１、Ｎｏ）。動作判定部１１６１がトリガを検出したと判定した場合（Ｓ１０１、Ｙｅｓ）、方位処理部１１６２と加速度処理部１１６３が検出処理を実行する（Ｓ１０２）。
動作判定部１１６１は、方位処理部１１６２を通じて、方位検出部１１３がｘ軸回りの回転角度変化が基準値を超えているかを判定する（Ｓ１０３）。この基準値は、例えば５０度のように任意の値とすることができる。
回転角度変化が基準値を超えていると判定された場合（Ｓ１０３、Ｙｅｓ）、動作判定部１１６１は、加速度処理部１１６３を通じて加速度検出部１１４が検出するｘ軸方向の加速度が基準値を超えているか判定する（Ｓ１０４）。Ｓ１０３の回転角度変化と同様に
、加速度の基準値は、５．０ｍ／ｓ２等と任意に定めることができる。基準値を超えていると判定した場合（Ｓ１０４、Ｙｅｓ)、動作判定部１１６１はＨＭＤ１０を装着したユ
ーザが何らかの操作を行ったと判断してＳ１０５の処理に移る。
なお、一般的にジャイロセンサ、加速度センサ、方位センサを始めとする各種センサには出力にゆらぎがあり、静止していてもランダムな値であるノイズを出力し続ける事象が認められる。そこでノイズの出力の影響を取り除くため、センサの値が所定回数連続して基準値を超えたことをもって判定する手段、所定回数分の平均値で基準値との差を判定する手段、移動平均フィルタを用いる手段、ソフトウェアによる有限インパルス応答フィルタを用いる手段などが考えられ、これらのいずれかをセンサ出力に適用することができる。ノイズ出力の影響を除去するためにハードウェア的なフィルタを用いても良い。また前記の複数の手段から選択して組み合わせて用いても良い。本明細書では、各種センサによる条件判定はノイズ除去後の値を用いる前提で説明している。
ここで、動作判定データベース１１７１について説明する。図６に、動作判定データベース１１７１の構成例を示している。動作判定データベース１１７１は、ユーザ１１が行う可能性のある動作について、上体を傾ける動作である前傾、後傾、頭を左右に振る動作である左向、右向、頭を左右に傾ける動作である左傾、右傾、前後に移動する動作である前進、後進、及び停止と分類して登録されている。また、各種動作の変位が「大きい」、「小さい」の種別を登録し、各変位種別についてさらに動作速度が「速い」、「遅い」の種別が登録されている。
本実施形態の動作判定データベース１１７１では、各動作の分類項目について、その変位の大小に対してさらに動作速度の遅速が対応づけられており、停止を含めて３３種類の情報を表現することができるように構成している。例えば、動作判定データベース１１７１の符号Ｃは、前傾動作をある基準値より小さい範囲で速く実行したことを表している。方位検出部１１３と加速度検出部１１４とで検出される値の変化がこの条件に合致した場合、符号Ｃに対応する動作が実行されたと判定される。
ＨＭＤ１０のデータ処理に戻ると、動作判定部１１６１は、動作判定データベース１１７１を参照し、ユーザ１１の行った動作による方位検出部１１３と加速度処理部１１４のデータ変化に最も近い動作パターンと合う項目を抽出し、その項目に対応する操作とみなす。例えば、画像情報２０（アイコン）を写真画像２１に拡大する、「情報を拡大する」という操作が、動作判定データベース１１７１の符号Ｃ、すなわち前傾姿勢を検出後、符号Ｇｇ、すなわち停止姿勢を合わせて検出した場合に対応すると判定する（Ｓ１０５）。この判定には、例えば動作判定データベース１１７１とともに、操作対応テーブル１１７３を設けることで実現することができる。操作対応テーブル１１７３の構成例を図７に示している。操作対応テーブル１１７３は、前記した動作パターン例えば符号Ｃ、Ｇｇと、それが表す操作内容である「情報を拡大する」とを対応づけて格納している。
図３に戻ると、「情報を拡大する」という操作を検出後、情報種別判定部１１６４は、表示部１１５に表示されている表示内容で、現在画面の中心に配置されている情報を識別する（Ｓ１０６）。表示内容の例は前記の図４、図５で述べた通りである。具体的には、情報種別判定部１１６４は、現在画面の中心に配置されている情報に対応するファイル名等のデータ属性を抽出する。
図８に、情報種別管理データベース１１７２の一例を示している。情報種別管理データベース１１７２は、情報オブジェクト番号９０、情報オブジェクト名９１、種別タグ９２、実データ名９３、表示アイコンファイル名９４、遠方時の表示形態９５、及び接近時の表示形態９６の各項目を管理する。例えば、図４のアイコン２０は、図５の作業結果を示
す写真画像２１に対応している。情報種別判定部１１６４は、Ｓ１０６で識別した情報を情報種別管理データベース１１７２と照合する。本例では、Ｓ１０６でアイコン２０にファイル名「Picture.jpg」が関連付けられているとしている。ここでＳ１０５にて符号Ｃ
、Ｇｇが特定された場合、情報種別判定部１１６４が情報種別管理データベース１１７２と照合して、「Picture.jpg」アイコンから写真イメージデータに変更して表示し処理を
終了する（Ｓ１０７、Ｓ１０８）。アイコン２０から画像に表示が変更されたときの、表示部１１５に表示される内容は図５の通りである。図５の作業結果写真画像２１は、図８の情報オブジェクト番号９０の１１番に対応しており、実データ名９３の「20170220_機
器Aパネル点検終了写真.jpg」を表示している。
以上説明したように、本実施形態のＨＭＤ１０によれば、ＨＭＤ１０を装着しているユーザ１１の頭部の動作を検出することにより、手で他の機器を操作することなく表示内容の制御を行うことができる。
なお、以上では、身体あるいは頭部を前に傾ける「前傾」の動作を検出した場合の表示情報の変化を説明した。他の例として、「ユーザ１１が見ている画面の左に表示されているオブジェクトを選択する」という操作を考える。この場合、図６に示した動作判定データベース１１７１の符号Ｋ、すなわち首を左に大きく素早く回す動作を行った後、符号Ｇｇ、すなわち停止姿勢を合わせて検出した場合に、図７に例示するように上記選択操作と対応づけておく。動作判定部１１６１は、方位処理部１１６２を通じて、方位検出部１１３がｚ軸回りの回転角度変化が基準値を超えているかを確認する（Ｓ１０３）。以後、Ｓ１０４、Ｓ１０５は前記と同様であり、「前傾」と「左向」とを区別することができる。このように、人が実際に行う動作を動作判定データベース１１７１に示すように分類し、分類した判定基準を組み合わせることで、精度の高い動作認識を可能としている。
なお、本実施例の処理で説明に使用した数値は一例であり、本発明はこれらの数値を使用した処理系に限定されることはない。また、本実施形態では、動作判定データベース１１７１に登録された動作として「拡大」と「左選択」とを例にとって説明したが、この他、例えば図６の符号Ｗと符号Ｇｇで「右選択」、上体を後ろに反る動作である後傾動作を２回実施する動作、すなわち、符号Ｅ、符号Ｇｇ、符号Ｅを２回連続して検出した場合に「直前操作の取り消し操作（アンドゥ）」と対応づけるなど、図７に例示するように、他の動作を操作に割り当てることが可能であるのは言うまでもない。
［実施形態２］
次に、本発明の第２の実施形態について、図９〜図１３を参照して説明する。
第１の実施形態では、ＨＭＤ１０の方位検出部１１３と加速度検出部１１４とによってユーザ１１の動作を検出し、検出した動作に基づいて表示情報を制御する構成について説明した。本実施形態ではＨＭＤ１０に撮像素子を設けており、撮像情報の変化によってユーザの動作を検出して表示されている情報オブジェクトを制御する構成を説明する。
図９は、本実施形態におけるＨＭＤ１０の構成例を示す図である。第１の実施形態におけるＨＭＤ１０と同等の構成部分については説明を省略する。本実施形態のＨＭＤ１０は、第１実施形態のＨＭＤ１０の構成に加えて、映像検出部１２１を備えている。映像検出部１２１はＣＣＤ（Charge Coupled Device）素子やＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子等の撮像素子を備えており、被写体からの入射光を電子的なデータに変換する機能を有する。映像検出部１２１はＨＭＤ１０に内蔵してもよいし、スマートフォンや携帯電話等の携帯端末、あるいはカメラ機能を持った機器を用いて実現し、ＨＭＤ１０と有線通信または無線通信によって接続してもよい。
図１０に、本実施形態のＨＭＤ１０によって実行される、映像検出部１２１からの情報
に基づいてユーザ１１の動作を検出して表示情報を制御するまでのデータ処理の一例を示している。図１０の処理フロー例において、Ｓ２００〜Ｓ２０２での処理は、実施形態１におけるＳ１００〜Ｓ１０２での処理とそれぞれ同等であるから説明を省略する。
Ｓ２０２でユーザ１１の動作の検出を開始すると、映像処理部１１６８は映像検出部１２１の機能を有効化し、ＨＭＤ１０の前方の風景を映像データとして取得する。その際、映像処理部１１６８は、１つの時間フレーム毎に映像データに含まれる特徴点を４つ以上識別する（Ｓ２０３）。なお、特徴点は３つであってもよい。また特徴点の抽出は、例えばＯｐｅｎＣＶから提供される画像解析用ライブラリ等を用いて実現することができる。
図１１は、映像検出部１２１が撮像した映像データの一例を示している。図１１の例では、ＨＭＤ１０の前方にある被写体として、物体α、β、γ、δ、εが撮像されている。このとき、これらの物体における特徴点３１、３２、３３、３４が特徴点として抽出された場合、映像処理部１１６８は特徴点３１、３２、３３、３４の座標、及び特徴点３１、３２、３３、３４の座標上の重心３５の座標を記憶する。
次に、視差抽出部１１６７は、映像処理部１１６８によって識別された特徴点の画面上の座標を、映像の時間フレーム毎に確認する。ＨＭＤ１０が移動すると映像処理部１２１が取得する映像もそれにつれて移動するため、識別した特徴点の座標も変化する。ここで、座標とは、例えば映像処理部１１６８が時間フレーム毎に取得した画像の解像度を基準として定義することができる。図１２は、ある映像フレームで取得された特徴点座標の例を示している。ここでは、映像の解像度を横１０２４pixel、縦７６８pixelとしているが、他の解像度に設定されていてもよい。
図１０に戻ると、Ｓ２０４では、所定の期間内に、映像に含まれる特徴点に関する情報、例えば特徴点の座標、特徴点で構成される図形の面積等の情報が変化しているか判定する。図１３は、ＨＭＤ１０が図１１で示す状態よりも物体γに近づいたときに、映像検出部１２１が撮像した映像データの一例である。この場合、図１３の特徴点３１、３２、３３、３４で構成される略台形の面積は、図１１における対応する部分の面積よりも大きくなる。そこで本実施形態では、例えば、取得された５つの時間フレームの中で、最初の時間フレームで識別した特徴点座標で構成される面積を基準とし、残り４つの時間フレームの中での対応部分の面積が３つ以上最初の面積を上回っている場合、所定の基準値を超えたと判定する（Ｓ２０４、Ｙｅｓ）。特徴点に関する情報の変化が所定の基準値以下であると判定した場合（Ｓ２０４、Ｎｏ）、視差抽出部１１６７は反復して該当する変化がないか判定を実行する。
物体γに近づく以外の動作検出の例として、例えばユーザ１１が右方向に頭を向ける動作を行う場合を説明する。図１４は、ユーザ１１が頭部を右に回したときに、映像検出部１２１が撮像した映像データの一例である。図１３では、頭部が右を向いたことにより、ＨＭＤ１０も右に動いている。このとき、図１４では図１１と比較して特徴点３１、３２、３３、３４の重心３５の座標が変化している。例えば、取得した５つの時間フレームの中で、最初に識別した物体の重心３５の座標を基準とし、残り４つの時間フレームのうち、３つの時間フレームでの重心座標が左方向に１００pixel以上ずれていることが検出さ
れた場合、視差抽出部１１６７は特徴点の重心の座標の変化が基準値を超えたと判定する（Ｓ２０４、Ｙｅｓ）。以上の例のように、本実施形態ではセンサの出力値に代えてユーザ１１が見ている方向、距離の変化を取得した映像における特徴点の情報変化として捉えている。動作判定部１１６１は、この特徴点の情報変化が所定の基準値を超えたと判定された場合、ＨＭＤ１０を装着したユーザ１１が操作を目的とした動作を行ったと判断する。このため、本実施形態では、動作判定データベース１１７１内の各項目は、特徴点に関する情報変化の方向、大きさと変化率とに基づいて規定すればよい。
図１０の処理フロー例に戻ると、以後、Ｓ２０５〜Ｓ２０８の処理は、実施形態１の図３におけるＳ１０５〜Ｓ１０８の処理とそれぞれ同等であるため、説明を省略する。
なお、本実施形態では、ＨＭＤ１０を装着したユーザ１１が物体に近づく、右を向くという動作を表示制御に関する操作として割り当てる例を説明したが、ユーザ１１が左を向く、後ろに反るなど、その他の動作も同様に識別して操作として割り当てることが可能である。
以上のように、本実施形態によれば、ＨＭＤ１０の動作の変化を映像データに基づいて検出し、映像の解析結果により表示情報を制御することが可能になる。
［実施形態３］
次に、本発明の第３の実施形態について、図１５〜図１８を参照して説明する。実施形態１、２では、ＨＭＤ１０の処理によってユーザ１１の動作を表示情報制御のための操作に割り当てる方式を説明した。本実施形態では、ユーザ１１の動作を検出して操作に割り当てる処理を、ネットワーク上で実施する構成を説明する。
図１５は、本実施形態におけるシステム構成の一例である。本実施形態に係る表示システム１は、ＨＭＤ１０、通信ネットワーク１４、及び管理サーバ１５を備えて構成される。
通信ネットワーク１４は、例えばインターネット、ローカルエリアネットワーク（LAN
）、ＵＳＢ（Universal Serial Bus）、リモートＵＳＢ、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、ＩＣタグ機能、ＴｒａｎｓｆｅｒＪＥＴ（登録商標）、ＬＴＥ、ＨＳＰＡ（High Speed Packet Access）、またはＥＶ−ＤＯ（Evolution Data Only）などで構成することができる。ＨＭＤ１０と管理サーバ１５は、通信ネットワーク１
４を介して相互に接続可能とされている。
管理サーバ１５は、例えばサーバコンピュータであり、通信ネットワーク１４を介してＨＭＤ１０の検出データを取得し、解析して、ＨＭＤ１０に判定結果を返す機能を有する。なお、本実施形態ではＨＭＤ１０と管理サーバ１５とが１対１の関係で設置されている場合で説明するが、管理サーバ１５が複数のＨＭＤ１０と接続され、それぞれのＨＭＤ１０についての処理を行う場合においても、本実施形態の構成を適用することができる。管理サーバ１５は１台のサーバコンピュータとしてもよいし、管理サーバ１５自体を通信ネットワーク１４上のクラウド環境で構成してもよい。
図１６は本実施形態のＨＭＤ１０の構成の一例を示す図である。図２及び図９に示した実施形態１、２の構成部分と同等の構成部分については、同一符号を付して説明を省略する。図１６のＨＭＤ１０は、表示処理部１１６５、制御処理部１１６６、及び通信処理部１１６７以外のプログラムモジュールがメモリ１１６から除外されている。またストレージ１１７にもデータベースは格納されていない。通信処理部１１６７は、通信ネットワーク１４を介して管理サーバ１５とデータ送受信処理を実行するために通信部１１２を制御する機能を備えている。
図１７は管理サーバ１５の構成の一例を示す図である。管理サーバ１５は、プロセッサ１５１、通信部１５２、表示部１５３、入力部１５４、電源供給部１５５、メモリ１５６、ストレージ１５７、及びバス１５８を備え、これらはそれぞれ実施形態１、２のＨＭＤ１０におけるプロセッサ１１１、通信部１１２、表示部１１５、入力部１１８、電源供給部１１９、メモリ１１６、ストレージ１１７、及びバス１２０と対応しているので説明を省略する。
管理サーバ１５のメモリ１５６には、動作判定部１５６１、方位処理部１５６２、加速度処理部１５６３、情報種別判定部１５６４、表示処理部１５６５、制御処理部１５６６、視差抽出部１５６７、映像処理部１５６８、及び通信処理部１５６９のプログラムモジュールが格納されている。通信処理部１５６９以外のプログラムモジュールは、実施形態１、２におけるＨＭＤ１０の対応構成部分と同等であるから説明を省略する。通信処理部１５６９は、通信ネットワーク１４を介してＨＭＤ１０とデータ送受信処理を実行するために通信部１５２を制御する機能を備えている。
なお、図１６、図１７に示すように、本実施形態ではＨＭＤ１０が方位検出部１１３、加速度検出部１１４、映像検出部１２１を備え、それに対応して管理サーバ１５が方位処理部１５６２、加速度処理部１５６３、視差抽出部１５６７、及び映像処理部１５６８を備えている構成としている。この構成は、ＨＭＤ１０の動作をセンサで検出する方式、あるいは映像解析による方式のいずれかの方式のみを採用するように変更することができる。
図１８は、ＨＭＤ１０が、取得したデータを管理サーバ１５に送信し、管理サーバ１５が受信したデータを解析してユーザ１１の動作を判定してＨＭＤ１０にその判定結果を送信し、ＨＭＤ１０が受信した判定結果に基づいて表示情報を変化させるまでの処理の一例を示している。
ＨＭＤ１０、管理サーバ１５は、いずれも電源投入等のイベントをトリガとして処理を開始する（Ｓ３００、Ｓ３０４）。ユーザが装着しているＨＭＤ１０では、実施形態１の図３におけるＳ１０１、Ｓ１０２の処理ステップと同様に、ユーザ１１の動作を表すセンサデータを取得する（Ｓ３０１、Ｓ３０２）。
次に、ＨＭＤ１０の通信処理部１１６６は、取得したデータを管理サーバ１５に送信する（Ｓ３０３）。ここで取得したデータは、例えば図２に例示したようなＨＭＤ１０の方位検出部１１３と加速度検出部１１４が取得した数値データであり、あるいは映像検出部１１８が取得した映像データである。管理サーバ１５に対して複数のＨＭＤ１０が通信可能とされている場合には、Ｓ３０３で送信するデータに送信元ＨＭＤを一意に識別可能とするＩＤデータを付与すればよい。
管理サーバ１５の通信処理部１５６９は、ＨＭＤ１０からデータを受信する（Ｓ３０５）。以後、管理サーバ１５では、実施形態１の図３に示すＳ１０３〜Ｓ１０６の処理ステップと同様に、データの解析と操作内容の判定、選択情報の種別確認処理が実行される（Ｓ３０６〜Ｓ３０９）。なお、ＨＭＤ１０から実施形態２で説明した映像データを受信する場合には、本実施形態のＳ３０６〜Ｓ３０７の処理ステップは、図１０のＳ２０３〜Ｓ２０５の処理ステップで代替される。管理サーバ１５で特定された操作内容と選択情報種別の情報は、ＨＭＤ１０へ送信される（Ｓ３１０）。
ＨＭＤ１０は管理サーバ１５から受信した操作内容と選択情報種別とを含む指示を受信し（Ｓ３１２）、その指示に従って表示処理部１１６５が選択情報の表示を変更して処理を終了する（Ｓ３１３、Ｓ３１４）。
以上のように、本実施形態によれば、ＨＭＤ１０の動作の変化を管理サーバ１５が解析することで、ＨＭＤ１０の表示情報を制御することが可能になる。また、ＨＭＤ１０の動作の変化を解析するためのデータ処理をＨＭＤ１０で実行しないこととなるので、ＨＭＤ１０の構成を単純化し、より安価に製造することが可能となり、またＨＭＤ１０における電力消費量低減を実現することもできる。
なお、本発明の技術的範囲は上記の実施形態に限定されることはなく、他の変形例、応用例等も、特許請求の範囲に記載した事項の範囲内に含まれるものである。
１ 表示システム １０ ＨＭＤ
２０ アイコン ２１ 写真画像
１４ 通信ネットワーク １５ 管理サーバ
１１１ プロセッサ １１２ 通信部
１１３ 方位検出部 １１４ 加速度検出部
１１５ 表示部 １１６ メモリ
１１７ ストレージ １１８ 入力部
１１９ 電源供給部 １２０ バス
１２１ 映像検出部 ４００ 表示領域
１１６１、１５６１ 動作判定部
１１６２、１５６２ 方位処理部
１１６３、１５６３ 加速度処理部
１１６４、１５６４ 情報種別判定部
１１６５、１５６５ 表示処理部
１１６６、１５６６ 制御処理部
１１６７、１５６７ 視差抽出部
１１６８、１５６８ 映像処理部
１１６９、１５６９ 通信処理部
１１７１、１５７１ 動作判定データベース
１１７２、１５７２ 情報種別管理データベース
１１７３、１５７３ 操作対応データベース

Claims (3)

  1. ユーザが頭部に装着する端末表示装置を備える表示システムであって、
    前記端末表示装置が、
    前記ユーザの視界に重畳して情報オブジェクトを表示するための表示部と、
    前記端末表示装置の動作を検出するための動作検出部と、
    前記端末表示装置の動作のパターンと前記表示部が表示している前記情報オブジェクトに対する操作内容とを対応づけて記憶している動作パターン記憶部と、
    各前記情報オブジェクトについての表示形態に関する情報を記憶している情報種別管理記憶部と、
    前記動作検出部が検出した前記端末表示装置の動作と、前記動作パターン記憶部に記憶されている前記動作パターンと前記操作内容との関連付けに基づいて前記情報オブジェクトに対する操作内容を判定するための動作判定部と、
    前記表示部の所定の位置に配置されている前記情報オブジェクトを特定するための情報種別判定部と、
    判定された前記操作内容で特定される操作を前記特定された情報オブジェクトに対して実行するための表示処理部と、
    前記端末表示装置の前方にある被写体の映像情報を経時的に取得する映像検出部とを備え、
    前記動作検出部が、前記端末表示装置が存在する任意の場所において、前記映像情報に含まれる前記被写体について複数の特徴点を検出し、複数の当該特徴点によって構成される図形の面積及び当該図形の重心位置の時間軸上の任意の二点間における変化によって前記端末表示装置の動作を検出し、
    前記動作判定部が、前記動作検出部が検出した前記端末表示装置の動作と、前記動作パターン記憶部に記憶されている前記動作パターンと前記操作内容との関連付けに基づいて前記情報オブジェクトに対する操作内容を判定し、
    前記情報種別判定部が、前記表示部の所定の位置に配置されている前記情報オブジェクトを特定し、
    判定された前記操作内容で特定される操作を前記特定された情報オブジェクトに対して実行する、
    表示システム。
  2. ユーザが頭部に装着する端末表示装置と、前記端末表示装置と通信可能に接続されている管理計算機とを備える表示システムであって、
    前記端末表示装置が、
    前記ユーザの視界に重畳して情報オブジェクトを表示するための表示部と、
    前記端末表示装置の前方にある被写体の映像情報を経時的に取得する映像検出部と、
    前記端末表示装置の動作を検出するための動作検出部と、を備え、
    前記管理計算機が、
    前記端末表示装置の動作のパターンと前記表示部が表示している前記情報オブジェクトに対する操作内容とを対応づけて記憶している動作パターン記憶部と、
    各前記情報オブジェクトについての表示形態に関する情報を記憶している情報種別管理記憶部と、
    前記動作検出部が検出した前記端末表示装置の動作と、前記動作パターン記憶部に記憶されている前記動作パターンと前記操作内容との関連付けに基づいて前記情報オブジェクトに対する操作内容を判定するための動作判定部と、
    前記表示部の所定の位置に配置されている前記情報オブジェクトを特定するための情報種別判定部と、
    前記操作内容と前記情報オブジェクトとに関する情報を含む操作指示情報を前記端末表示装置に送信する通信処理部と、
    前記操作指示情報に基づく操作を前記表示部に表示されている前記特定された情報オブジェクトに対して実行するための表示処理部と、を備え、
    前記動作検出部が、前記端末表示装置が存在する任意の場所において、前記映像情報に含まれる前記被写体について複数の特徴点を検出し、複数の当該特徴点によって構成される図形の面積及び当該図形の重心位置の時間軸上の任意の二点間における変化によって前記端末表示装置の動作を検出し、
    前記動作判定部が、前記動作検出部が検出した前記端末表示装置の動作と、前記動作パターン記憶部に記憶されている前記動作パターンと前記操作内容との関連付けに基づいて前記情報オブジェクトに対する操作内容を判定し、
    前記情報種別判定部が、前記表示部の所定の位置に配置されている前記情報オブジェクトを特定し、
    判定された前記操作内容で特定される操作を前記特定された情報オブジェクトに対して実行する、
    表示システム。
  3. ユーザが頭部に装着する端末表示装置の表示制御方法であって、
    前記端末表示装置が、
    前記ユーザの視界に重畳して情報オブジェクトを表示し、
    前記端末表示装置の動作のパターンと、表示している前記情報オブジェクトに対する操作内容とを対応づけて記憶し、
    各前記情報オブジェクトについての表示形態に関する情報を記憶し、
    前記端末表示装置の前方にある被写体の映像情報を経時的に取得し、
    前記端末表示装置が存在する任意の場所において、前記映像情報に含まれる前記被写体について複数の特徴点を検出し、複数の当該特徴点によって構成される図形の面積及び当該図形の重心位置の時間軸上の任意の二点間における変化によって前記端末表示装置の動作を検出し、
    検出した前記端末表示装置の動作と、記憶されている前記動作パターンと前記操作内容との関連付けに基づいて前記情報オブジェクトに対する操作内容を判定し、
    前記ユーザの視界の所定の位置に配置されている前記情報オブジェクトを特定し、
    判定された前記操作内容で特定される操作を前記特定された情報オブジェクトに対して実行する、
    端末表示装置の表示制御方法。
JP2021081833A 2017-07-11 2021-05-13 表示システム、及び表示システムの表示制御方法 Active JP7064040B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021081833A JP7064040B2 (ja) 2017-07-11 2021-05-13 表示システム、及び表示システムの表示制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017135288A JP2019016316A (ja) 2017-07-11 2017-07-11 表示システム、及び表示システムの表示制御方法
JP2021081833A JP7064040B2 (ja) 2017-07-11 2021-05-13 表示システム、及び表示システムの表示制御方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017135288A Division JP2019016316A (ja) 2017-07-11 2017-07-11 表示システム、及び表示システムの表示制御方法

Publications (2)

Publication Number Publication Date
JP2021114343A true JP2021114343A (ja) 2021-08-05
JP7064040B2 JP7064040B2 (ja) 2022-05-09

Family

ID=64998885

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017135288A Pending JP2019016316A (ja) 2017-07-11 2017-07-11 表示システム、及び表示システムの表示制御方法
JP2021081833A Active JP7064040B2 (ja) 2017-07-11 2021-05-13 表示システム、及び表示システムの表示制御方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017135288A Pending JP2019016316A (ja) 2017-07-11 2017-07-11 表示システム、及び表示システムの表示制御方法

Country Status (3)

Country Link
US (1) US11016559B2 (ja)
JP (2) JP2019016316A (ja)
CN (1) CN109246456A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
US20200089940A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Human behavior understanding system and method
USD921691S1 (en) * 2018-12-11 2021-06-08 Lg Electronics Inc. Display screen with graphical user interface
JP7286357B2 (ja) * 2019-03-15 2023-06-05 Ｄｙｎａｂｏｏｋ株式会社 電子装置および表示制御方法
US11308520B2 (en) * 2019-06-11 2022-04-19 Toyota Boshoku Kabushiki Kaisha Vehicle advertisement display system
EP3792817A1 (en) * 2019-09-10 2021-03-17 XRSpace CO., LTD. Method and system for human behavior identification

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09305743A (ja) * 1996-05-20 1997-11-28 Toshiba Corp 人物顔動作検出方式
JP2001325069A (ja) * 2000-03-07 2001-11-22 Nikon Gijutsu Kobo:Kk 位置検出装置およびその方法
JP2007134785A (ja) * 2005-11-08 2007-05-31 Konica Minolta Photo Imaging Inc 頭部装着型の映像表示装置
JP2008084287A (ja) * 2006-08-28 2008-04-10 Sony Corp 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム
JP2009031368A (ja) * 2007-07-24 2009-02-12 Nec Corp 画面表示制御方法、画面表示制御方式、電子機器及びプログラム
US20120235902A1 (en) * 2009-10-13 2012-09-20 Recon Instruments Inc. Control systems and methods for head-mounted information systems
JP2013254251A (ja) * 2012-06-05 2013-12-19 Nec System Technologies Ltd ヘッドマウントディスプレイ装置、制御方法、及びプログラム
JP2014044476A (ja) * 2012-08-24 2014-03-13 Fujitsu Ltd 画像処理装置、画像処理方法
JP2015028654A (ja) * 2014-09-24 2015-02-12 ソニー株式会社 頭部装着型表示装置、表示方法
JP2015165437A (ja) * 2015-06-24 2015-09-17 セイコーエプソン株式会社 透過型頭部装着型表示装置
US20160187969A1 (en) * 2014-12-29 2016-06-30 Sony Computer Entertainment America Llc Methods and Systems for User Interaction within Virtual Reality Scene using Head Mounted Display
JP2017010120A (ja) * 2015-06-17 2017-01-12 キヤノン株式会社 情報処理装置、映像処理装置、およびそれらの制御方法、ならびに映像処理システム
KR20170016753A (ko) * 2015-08-04 2017-02-14 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어방법
JP2017045296A (ja) * 2015-08-27 2017-03-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8913009B2 (en) 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
KR20120100702A (ko) 2010-02-03 2012-09-12 닌텐도가부시키가이샤 표시 장치, 게임 시스템 및 게임 처리 방법
EP2485119A3 (en) 2011-02-02 2012-12-12 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
WO2015139005A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and systems tracking head mounted display (hmd) and calibrations for hmd headband adjustments
JP6534292B2 (ja) * 2015-04-24 2019-06-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
JP2017021461A (ja) * 2015-07-08 2017-01-26 株式会社ソニー・インタラクティブエンタテインメント 操作入力装置および操作入力方法
CN106200899A (zh) * 2016-06-24 2016-12-07 北京奇思信息技术有限公司 根据用户头部动作控制虚拟现实交互的方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09305743A (ja) * 1996-05-20 1997-11-28 Toshiba Corp 人物顔動作検出方式
JP2001325069A (ja) * 2000-03-07 2001-11-22 Nikon Gijutsu Kobo:Kk 位置検出装置およびその方法
JP2007134785A (ja) * 2005-11-08 2007-05-31 Konica Minolta Photo Imaging Inc 頭部装着型の映像表示装置
JP2008084287A (ja) * 2006-08-28 2008-04-10 Sony Corp 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム
JP2009031368A (ja) * 2007-07-24 2009-02-12 Nec Corp 画面表示制御方法、画面表示制御方式、電子機器及びプログラム
US20120235902A1 (en) * 2009-10-13 2012-09-20 Recon Instruments Inc. Control systems and methods for head-mounted information systems
JP2013254251A (ja) * 2012-06-05 2013-12-19 Nec System Technologies Ltd ヘッドマウントディスプレイ装置、制御方法、及びプログラム
JP2014044476A (ja) * 2012-08-24 2014-03-13 Fujitsu Ltd 画像処理装置、画像処理方法
JP2015028654A (ja) * 2014-09-24 2015-02-12 ソニー株式会社 頭部装着型表示装置、表示方法
US20160187969A1 (en) * 2014-12-29 2016-06-30 Sony Computer Entertainment America Llc Methods and Systems for User Interaction within Virtual Reality Scene using Head Mounted Display
JP2018508805A (ja) * 2014-12-29 2018-03-29 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイを用いた仮想または拡張現実シーン内のユーザ対話の方法及びシステム
JP2017010120A (ja) * 2015-06-17 2017-01-12 キヤノン株式会社 情報処理装置、映像処理装置、およびそれらの制御方法、ならびに映像処理システム
JP2015165437A (ja) * 2015-06-24 2015-09-17 セイコーエプソン株式会社 透過型頭部装着型表示装置
KR20170016753A (ko) * 2015-08-04 2017-02-14 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어방법
JP2017045296A (ja) * 2015-08-27 2017-03-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するプログラム

Also Published As

Publication number Publication date
CN109246456A (zh) 2019-01-18
US20190018477A1 (en) 2019-01-17
JP2019016316A (ja) 2019-01-31
JP7064040B2 (ja) 2022-05-09
US11016559B2 (en) 2021-05-25

Similar Documents

Publication Publication Date Title
JP7064040B2 (ja) 表示システム、及び表示システムの表示制御方法
US11886633B2 (en) Virtual object display interface between a wearable device and a mobile device
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
US20150062164A1 (en) Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
JP5869177B1 (ja) 仮想現実空間映像表示方法、及び、プログラム
US10416835B2 (en) Three-dimensional user interface for head-mountable display
US9500867B2 (en) Head-tracking based selection technique for head mounted displays (HMD)
US20150170418A1 (en) Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
JP2011128220A (ja) 情報提示装置、情報提示方法及びプログラム
JP5869712B1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
US20210407205A1 (en) Augmented reality eyewear with speech bubbles and translation
WO2017059137A1 (en) Visual indicator for transparent display alignment
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US20180314326A1 (en) Virtual space position designation method, system for executing the method and non-transitory computer readable medium
JP2021527275A (ja) 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置
JP2016082411A (ja) ヘッドマウントディスプレイ、画像表示方法及びプログラム
JPWO2017122270A1 (ja) 画像表示装置
US20210406542A1 (en) Augmented reality eyewear with mood sharing
JP2017059196A (ja) 仮想現実空間映像表示方法、及び、プログラム
US11900058B2 (en) Ring motion capture and message composition system
US11826635B2 (en) Context-sensitive remote eyewear controller
WO2022199597A1 (zh) Vr/ar设备截取图像的方法、装置及系统
KR20220026114A (ko) 전자 장치 및 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법
US11733789B1 (en) Selectively activating a handheld device to control a user interface displayed by a wearable device
US20210407203A1 (en) Augmented reality experiences using speech and text captions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220421

R150 Certificate of patent or registration of utility model

Ref document number: 7064040

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150