JP2022150657A - 制御装置、表示システム、および、プログラム - Google Patents

制御装置、表示システム、および、プログラム Download PDF

Info

Publication number
JP2022150657A
JP2022150657A JP2021053350A JP2021053350A JP2022150657A JP 2022150657 A JP2022150657 A JP 2022150657A JP 2021053350 A JP2021053350 A JP 2021053350A JP 2021053350 A JP2021053350 A JP 2021053350A JP 2022150657 A JP2022150657 A JP 2022150657A
Authority
JP
Japan
Prior art keywords
display unit
display
displayed
terminal device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021053350A
Other languages
English (en)
Inventor
桃子 藤原
Momoko Fujiwara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Priority to JP2021053350A priority Critical patent/JP2022150657A/ja
Priority to US17/380,036 priority patent/US20220308749A1/en
Priority to CN202111020147.3A priority patent/CN115134458A/zh
Publication of JP2022150657A publication Critical patent/JP2022150657A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Abstract

Figure 2022150657000001
【課題】ユーザが表示部を通して見た操作端末のこの表示部に対する位置の変化があった場合に、表示部に表示されている全ての画像について表示の変更を行う場合に比べ、表示内容の把握をより行いやすいものにする。
【解決手段】CPUは、表示部101の背後に端末装置300が位置する場合に、この端末装置300の表示装置100に対する位置の変化に応じて、表示部101に表示されている一部の画像についての表示の変更を行う。また、CPUは、端末装置300の位置の変化があったとしても、表示部101に表示されている他の一部の画像については、端末装置300の位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする。
【選択図】図5

Description

本発明は、制御装置、表示システム、および、プログラムに関する。
特許文献1には、アプリケーション管理及び通信システムが、ポータブルディスプレイ装置のユーザーインタフェースを介して、ウェアラブルディスプレイ装置に在るアプリケーションの管理及び起動を行なう処理が開示されている。
特許文献2には、リアル画面を表示する情報端末と、リアル画面とは異なる拡張現実の表示画面である仮想画面を表示する拡張現実表示装置を備えるマルチディスプレイシステムが開示されている。
特開2016-507970号公報 特開2014-174507号公報
ユーザが参照する表示部に、同じくユーザが参照する端末装置が表示されている場合において、この端末装置の移動に応じて表示部の表示内容を変えると、例えば、端末装置の位置に応じ、表示部に表示されている画像の表示位置の変更を行える。
ところで、操作端末の移動があった場合に、表示部に表示されている全ての画像について表示の変更を行い、表示部のレイアウトを大きく変えてしまうと、表示部の表示内容の把握を行いにくくなる。
本発明の目的は、ユーザが表示部を通して見た操作端末のこの表示部に対する位置の変化があった場合に、表示部に表示されている全ての画像について表示の変更を行う場合に比べ、表示内容の把握をより行いやすいものにすることにある。
請求項1に記載の発明は、プロセッサを備え、表示部を備える表示装置を制御する制御装置であって、ユーザが当該表示部を視認した際に当該表示部の背後を当該ユーザが当該表示部を通じて視認可能な当該表示装置を制御する制御装置であり、前記プロセッサは、前記表示部の背後に位置し当該表示部を通じてユーザが視認する端末装置の前記表示装置に対する位置の変化に応じて、当該表示部に表示されている一部の画像についての表示の変更を行い、前記表示部に表示されている他の一部の画像については、前記端末装置の前記位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする、制御装置である。
請求項2に記載の発明は、前記他の一部の画像は、前記表示部の予め定められた箇所に表示され、前記プロセッサは、前記表示部の前記予め定められた箇所に表示されている前記他の一部の画像については、前記端末装置の前記位置の変化に関わらず、当該表示部の当該予め定められた箇所に表示された状態が維持されるようにする、請求項1に記載の制御装置である。
請求項3に記載の発明は、前記プロセッサは、前記端末装置の前記位置の変化に応じ、前記表示部に表示されている画像のうち、当該表示部を通じて見えている当該端末装置と第1の位置関係を有する画像について、表示の変更を行い、前記表示部に表示されている画像のうち、当該表示部を通じて見えている前記端末装置と第2の位置関係を有する画像については、当該端末装置の前記位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする、請求項1に記載の制御装置である。
請求項4に記載の発明は、前記プロセッサは、前記表示部に表示されている画像のうち、当該表示部を通じて見えている前記端末装置の横に表示されている画像について、表示の変更を行い、前記表示部に表示されている画像のうち、当該表示部を通じて見えている前記端末装置よりも上方又は下方に位置する画像については、前記予め定められた箇所に表示された状態が維持されるようにする、請求項3に記載の制御装置である。
請求項5に記載の発明は、前記プロセッサは、前記第1の位置関係を有する画像については、前記端末装置の前記位置の変化に応じ、表示位置を変更する請求項3に記載の制御装置である。
請求項6に記載の発明は、前記プロセッサは、前記第1の位置関係を有する画像については、前記端末装置の前記位置の変化に応じ、当該端末装置が移動する方向へ移動させる請求項3に記載の制御装置である。
請求項7に記載の発明は、前記プロセッサは、前記端末装置に表示されている選択項目についての情報を前記表示部に表示する請求項1に記載の制御装置である。
請求項8に記載の発明は、前記プロセッサは、前記選択項目へのユーザの指の接近があった場合に、当該選択項目についての前記情報を前記表示部に表示する請求項7に記載の制御装置である。
請求項9に記載の発明は、前記プロセッサは、ユーザが前記端末装置を操作することにより前記表示部に順に表示された画像のうちの、表示された順位が上位の画像である上位画像、および、当該上位画像よりも順位が下位の画像である下位画像のうちの、当該上位画像については、前記端末装置の前記位置の変化に応じて、表示の変更を行い、前記下位画像については、前記端末装置の前記位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする請求項1に記載の制御装置である。
請求項10に記載の発明は、前記プロセッサは、前記上位画像については、前記端末装置の前記位置の変化に応じ、当該上位画像の表示位置を変更する請求項9に記載の制御装置である。
請求項11に記載の発明は、前記プロセッサは、位置が変化する前記端末装置とは重ならない位置を、前記上位画像の前記表示位置の変更先とする請求項10に記載の制御装置である。
請求項12に記載の発明は、前記プロセッサは、前記表示部に表示されている前記上位画像については、当該表示部を通じて見えている前記端末装置に付随するように移動させる請求項9に記載の制御装置である。
請求項13に記載の発明は、前記プロセッサは、前記下位画像については、前記端末装置の前記位置の変化に関わらず、前記表示部の上端部または下端部の何れかに当該下位画像が寄せられて表示された状態が維持されるようにする請求項9に記載の制御装置である。
請求項14に記載の発明は、前記プロセッサは、前記下位画像については、前記表示部を通して見える、当該表示部の背後の特定箇所に表示されるようにする請求項9に記載の制御装置である。
請求項15に記載の発明は、前記プロセッサは、前記他の一部の画像については、前記表示部を通して見える、当該表示部の背後の特定箇所に表示されるようにする請求項1に記載の制御装置である。
請求項16に記載の発明は、プロセッサを備え、表示部を備える表示装置を制御する制御装置であって、ユーザが当該表示部を視認した際に当該表示部の背後を当該ユーザが当該表示部を通じて視認可能な当該表示装置を制御する制御装置であり、前記プロセッサは、前記表示部の背後に位置し当該表示部を通じてユーザが視認する端末装置の前記表示装置に対する位置の変化に応じて、当該表示部に表示されている仮想画面についての表示の変更を行い、前記表示部に表示されている他の仮想画面については、前記端末装置の前記位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする、制御装置である。
請求項17に記載の発明は、表示部を備える表示装置と、当該表示装置を制御する制御装置とを備え、前記表示装置は、ユーザが前記表示部を視認した際に当該表示部の背後を当該ユーザが当該表示部を通じて視認可能な表示装置であり、前記制御装置が、請求項1乃至16の何れかに記載の制御装置を含んで構成された、表示システムである。
請求項18に記載の発明は、表示装置に設けられた表示部の背後に位置し当該表示部を通じてユーザが視認する端末装置の当該表示装置に対する位置の変化に応じて、当該表示部に表示されている一部の画像についての表示の変更を行う機能と、前記表示部に表示されている他の一部の画像については、前記端末装置の前記位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする機能と、をコンピュータに実現させるためのプログラムである。
請求項19に記載の発明は、表示装置に設けられた表示部の背後に位置し当該表示部を通じてユーザが視認する端末装置の当該表示装置に対する位置の変化に応じて、当該表示部に表示されている仮想画面についての表示の変更を行う機能と、前記表示部に表示されている他の仮想画像については、前記端末装置の前記位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする機能と、をコンピュータに実現させるためのプログラムである。
請求項1の発明によれば、ユーザが表示部を通して見た操作端末のこの表示部に対する位置の変化があった場合に、表示部に表示されている全ての画像について表示の変更を行う場合に比べ、表示内容の把握をより行いやすいものにすることができる。
請求項2の発明によれば、表示部の予め定められた箇所に表示されている他の一部の画像については、端末装置の位置の変化に関わらず、表示部の予め定められた箇所に表示された状態が維持されるようにすることができる。
請求項3の発明によれば、表示部に表示されている画像のうちの一部の画像については表示の変更を行うことでき、他の一部の画像については、予め定められた箇所に表示された状態が維持されるようにすることができる。
請求項4の発明によれば、表示部に表示されている画像のうち、表示部を通じて見えている端末装置よりも上方又は下方に位置する画像について、予め定められた箇所に表示された状態が維持されるようにすることができる。
請求項5の発明によれば、端末装置の位置の変化に応じ、画像の表示位置を変更することができる。
請求項6の発明によれば、端末装置の位置の変化に応じ、端末装置が移動する方向へ画像を移動させることができる。
請求項7の発明によれば、端末装置に表示されている選択項目についての情報を表示部を介してユーザに通知可能となる。
請求項8の発明によれば、端末装置に表示されている選択項目であってユーザの指の接近があった選択項目についての情報をユーザに通知可能となる。
請求項9の発明によれば、表示部に順に表示された画像のうちの、表示された順位が下位の画像である下位画像について、予め定められた箇所に表示された状態が維持されるようにすることができる。
請求項10の発明によれば、表示部に順に表示された画像のうちの、表示された順位が上位の画像である上位画像については、端末装置の位置の変化に応じ、表示位置を変更することできる。
請求項11の発明によれば、位置が変化する端末装置とは重ならない位置に、上位画像が表示されるようにすることができる。
請求項12の発明によれば、表示部を通じて見えている端末装置に付随するように上位画像を移動させることができる。
請求項13の発明によれば、表示部の上端部または下端部の何れかに下位画像が寄せられて表示された状態が維持されるようにすることができる。
請求項14の発明によれば、表示部を通して見える、表示部の背後の特定箇所に、下位画像が表示されるようにすることができる。
請求項15の発明によれば、表示部に表示される一部の画像については、表示部の背後の特定箇所に表示されるようにすることができる。
請求項16の発明によれば、ユーザが表示部を通して見た操作端末のこの表示部に対する位置の変化があった場合に、表示部に表示されている全ての画像について表示の変更を行う場合に比べ、表示内容の把握をより行いやすいものにすることができる。
請求項17の発明によれば、ユーザが表示部を通して見た操作端末のこの表示部に対する位置の変化があった場合に、表示部に表示されている全ての画像について表示の変更を行う場合に比べ、表示内容の把握をより行いやすいものにすることができる。
請求項18の発明によれば、ユーザが表示部を通して見た操作端末のこの表示部に対する位置の変化があった場合に、表示部に表示されている全ての画像について表示の変更を行う場合に比べ、表示内容の把握をより行いやすいものにすることができる。
請求項19の発明によれば、ユーザが表示部を通して見た操作端末のこの表示部に対する位置の変化があった場合に、表示部に表示されている全ての画像について表示の変更を行う場合に比べ、表示内容の把握をより行いやすいものにすることができる。
表示システムの一例を示した図である。 制御装置のハードウエアの構成例を示した図である。 端末装置のハードウエア構成の一例を示す図である。 表示部の表示例を示した図である。 表示部における他の表示例を示した図である。 表示部における他の表示例を示した図である。 表示部における他の表示例を示した図である。 表示部における他の表示例を示した図である。 表示部における他の表示例を示した図である。 表示部における他の表示例を示した図である。 表示部における他の表示例を示した図である。
以下、添付図面を参照して、本発明の実施の形態について説明する。
図1は、本実施形態の表示システム1の一例を示した図である。
本実施形態の表示システム1には、表示装置100と、この表示装置100を制御する制御装置700とが設けられている。
表示装置100は、ユーザが視認する現実空間内に映像を表示するいわゆるAR(Augmented Reality)表示装置である。
表示装置100には、ユーザが視認する表示部101が設けられている。この表示部101は、矩形状に形成される。表示部101は、映像を表示できるものであれば特に限定されるものではなく、例えば、液晶ディスプレイや有機ELディスプレイなどにより構成される。
また、表示装置100には、表示部101を支持する筐体102が設けられている。また、表示装置100には、音を出力するスピーカ(不図示)や、ユーザからの指示を受け付ける操作ボタン103が設けられている。
また、表示装置100は、いわゆるヘッドマウント型や眼鏡型の表示装置である場合があり、この場合は、ユーザの頭部に装着される被装着部が設けられる。
また、表示装置100は、図1に示すような、タブレッド型の表示装置100である場合もあり、この場合は、板状の筐体102の一方の面側に表示部101が設けられる。
以下、本明細書では、ヘッドマウント型や眼鏡型の表示装置100を「装着型表示装置100」と称し、タブレッド型の表示装置100のようにユーザの手によって支持される表示装置100を「支持型表示装置100」と称する。
さらに、本実施形態の表示装置100では、表示部101の背後の映像を取得するカメラ104が設けられている。
ここで、「表示部101の背後」とは、面状に形成された表示部101が有する画像表示面101Aの裏側を指す。言い換えると、「表示部101の背後」とは、表示部101を正面から視認するユーザの視線の先に位置する箇所であって、表示部101が有する画像表示面101Aの裏側に位置する箇所を言う。
表示装置100に設けられたカメラ104は、表示部101を視認している状態にあるユーザの視線が向かう方向における上流側から、表示部101の背後を撮影して、この背後の映像を取得する。
本実施形態では、表示装置100とは別に制御装置700が設けられる場合を一例に説明する。
但し、これに限らず、表示装置100の一部として制御装置700を設けるようにしてもよい。言い換えると、表示装置100に設けられた筐体102内に制御装置700が設けられた構成としてもよい。
表示装置100は、上記の通り、いわゆるAR表示装置となっており、本実施形態では、ユーザが表示部101を視認した際に、このユーザは、この表示部101の背後にある物や状況を、表示部101を通じて視認する。
表示部101の背後をユーザが表示部101を通じて視認できるようにするには、例えば、表示部101の背後の映像を取得する上記のカメラ104が取得した映像を表示部101に表示するようにする。
また、その他に、例えば、表示部101を、光が透過するように構成してもよい。この場合、表示部101が透け、ユーザは、透けるこの表示部101を通じて、表示部101の背後を視認する。
このように、表示装置100には、光が透過する表示部101を備えた表示装置100、光が透過せずカメラ104により得られた映像が表示される表示部101を備えた表示装置100の2種類の表示装置100が存在する。
本明細書では、以下、必要に応じ、光が透過する表示部101を備えた表示装置100を「透過型表示装置100」と称し、光が透過せずカメラ104により得られた映像が表示される表示部101を備えた表示装置100を「非透過型表示装置100」と称する。
言い換えると、本明細書では、以下、透ける表示部101を通じて表示部101の背後をユーザが視認する表示装置100を、「透過型表示装置100」と称し、カメラ104が取得した映像が表示部101に表示される表示装置100を「非透過型表示装置100」と称する。
本実施形態では、表示部101に、後述するコンテンツ等、カメラ104により得られた映像以外の画像が表示される。これにより、表示部101の背後に位置しユーザが視認する現実空間RWに対して、表示部101に表示される画像が重ねられる。
〔制御装置700についての説明〕
図2は、制御装置700のハードウエアの構成例を示した図である。
制御装置700は、制御ユニット101と、情報を記憶する情報記憶装置102と、LAN(=Local Area Network)ケーブル等を介した通信を実現するネットワークインターフェース103とを有している。
制御ユニット101は、プロセッサの一例としてのCPU(=Central Processing Unit)111と、基本ソフトウェアやBIOS(=Basic Input Output System)等が記憶されたROM(=Read Only Memory)112と、ワークエリアとして用いられるRAM(=Random Access Memory)113とを有する。
CPU111は、マルチコアでもよい。また、ROM112は、書き換え可能な不揮発性の半導体メモリでもよい。制御ユニット101は、いわゆるコンピュータである。
情報記憶装置102は、例えば、ハードディスクドライブにより構成される。もっとも、情報記憶装置102は、半導体メモリや磁気テープでもよい。
制御ユニット101と、情報記憶装置102と、ネットワークインターフェース103とは、バス104や不図示の信号線を通じて接続されている。
ここで、CPU111によって実行されるプログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で、制御装置700へ提供しうる。
また、CPU111によって実行されるプログラムは、インターネットなどの通信手段を用いて、制御装置700へ提供してもよい。
なお、本実施形態において、プロセッサとは、広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU:Central Processing Unit、等)や、専用のプロセッサ(例えばGPU: Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。
また、プロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、本実施形態において記載した順序のみに限定されるものではなく、変更してもよい。
〔表示処理の説明〕
本実施形態では、プロセッサの一例としてのCPU111が、表示装置100に設けられた表示部101の制御を行い、表示部101における表示の変更を行う。
具体的には、CPU111は、表示部101の背後に端末装置300(後述)が位置する場合に、この端末装置300の表示装置100に対する位置の変化に応じて、表示部101に表示されている一部の画像についての表示の変更を行う。
より具体的には、CPU111は、表示部101の背後に位置し表示部101を通じてユーザが視認する端末装置300の表示装置100に対する位置の変化に応じ、表示部101に表示されている一部の画像について、表示の変更を行う。
「表示部101を通じてユーザが視認する」とは、表示部101を透過して見える物をユーザが直接視認する態様や、表示装置100に設けられた上記のカメラ104により取得された映像をユーザが表示部101を見ることで視認する態様を含む。
言い換えると、「表示部101を通じてユーザが視認する」とは、表示部101の背後にある物を透過型表示装置100に設けられた表示部101を通して見る態様や、非透過型表示装置100に設けられた表示部101に映ったこの物の映像をユーザが視認する態様を含む。
一方、CPU111は、表示部101の背後に端末装置300が位置しこの端末装置300の位置の変化があったとしても、表示部101に表示されている他の一部の画像については、端末装置300の位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする。
本実施形態では、表示部101に表示されている画像の全てについて、位置を変更することは行わずに、一部の画像については、予め定められた箇所に表示された状態が維持されるようにする。
〔端末装置300の説明〕
「端末装置300」とは、ユーザによる携行が可能な装置を言う。
端末装置300としては、スマートフォンやタブレットが一例に挙げられる。また、その他に、端末装置300としては、ゲーム機、スマートウォッチ、モバイル型のノートPCなども挙げられる。
図3は、端末装置300のハードウエア構成の一例を示す図である。図3に示す構成は、端末装置300がスマートフォンの場合を想定する。
端末装置300は、装置全体の動作を制御する制御ユニット201と、各種のデータを記憶するメモリカード202と、無線通信の規格に準拠する各種の通信インターフェース203と、タッチセンサ等の入力デバイス204とを有する。
また、端末装置300は、液晶ディスプレイや有機EL(=Electro Luminescence)ディスプレイ等により構成される表示部である端末表示部205と、GPS(=Global Positioning System)センサ206とを有する。
制御ユニット201は、CPU211と、ファームウェアやBIOS等が記憶されたROM212と、ワークエリアとして用いられるRAM213とを有する。
CPU211はマルチコアでもよい。また、ROM212は、書き換え可能な不揮発性の半導体メモリでもよい。
通信インターフェース203は、例えば移動通信システムとの接続に使用されるインターフェース、無線LANとの接続に使用されるインターフェースである。
GPSセンサ206は、GPS衛星からの電波を受信して端末装置300の位置を測定するセンサである。GPSセンサ206から出力される緯度、経度、高度の情報は、端末装置300の現在位置を与える。なお、GPSセンサ206は、屋内用の測位システムに対応してもよい。
本実施形態では、ユーザがこの端末装置300を移動させると、上記のように、CPU111が、表示部101に表示されている一部の画像について表示の変更を行う。
また、CPU111は、表示部101に表示されている、他の一部の画像については、ユーザが端末装置300を移動させても、予め定められた箇所に表示された状態が維持されるようにする。
〔表示部101における表示の具体例〕
図4は、表示部101の表示例を示した図である。
この表示例では、表示部101に、第1仮想画面510および第3仮想画面530が表示されている。なお、第2仮想画面520については後述する。
また、この表示例では、表示部101の背後に、ユーザが左手(不図示)で持っている端末装置300が位置し、ユーザは、表示部101を通じて、この端末装置300の視認を行う。
ここで、「仮想画面」とは、制御装置700による制御によって表示部101に表示された画像であって、表示部101の背後に存在する現実空間RWとともにユーザが視認可能な画像を言う。
本実施形態では、第1仮想画面510は、表示部101を通じて見えている端末装置300よりも上方に位置している。CPU111は、端末装置300の位置の変化があったとしても、この第1仮想画面510については、予め定められた箇所に表示された状態が維持されるようにする。
具体的には、第1仮想画面510については、予め定められた箇所である、表示部101の上側に表示されており、CPU111は、この第1仮想画面510については、端末装置300の位置の変化に関わらず、表示部101の上側に表示された状態が維持されるようにする。
より具体的には、CPU111は、端末装置300が移動しても、表示部101の上側に第1仮想画面510が表示されるようにするための制御信号を出力する。
なお、ここでは、表示部101の上側に第1仮想画面510が位置し、第1仮想画面510がこの上側に表示された状態が維持される場合を一例に説明する。
ところで、これに限らず、第1仮想画面510は、表示部101の下側に表示されるようにし、表示部101の下側に第1仮想画面510が表示された状態が維持されるようにしてもよい。
また、これに限らず、例えば、表示部101の右側や左側などに第1仮想画面510が表示されるようにし、この右側や左側に第1仮想画面510が表示される状態が維持されるようにしてもよい。
表示の変更の対象となる第3仮想画面530について説明する。
CPU111は、第3仮想画面530については、端末装置300の位置の変化に応じ、表示位置を変更する。具体的には、CPU111は、第3仮想画面530については、端末装置300の位置の変化に応じ、この端末装置300が移動する方向へ移動させる。
具体的には、例えば、図4に示す状態から、図5(表示部101における他の表示例を示した図)に示すように、端末装置300が左方向へ移動した場合、CPU111は、端末装置300に付随して第3仮想画面530が移動するように、第3仮想画面530を移動させる。
具体的には、CPU111は、この処理を行う場合、端末装置300の位置を認識し、認識した端末装置300の位置の横に第3仮想画面530が表示されるように、第3仮想画面530の表示位置を決定する。
そして、CPU111は、決定したこの位置に第3仮想画面530が表示されるようにする制御信号を出力する。これにより、本実施形態では、端末装置300に付随して第3仮想画面530が移動する。
CPU111による、端末装置300の位置の認識は、例えば、表示装置100に設けられたカメラ104より取得された映像を解析することにより行う。
なお、端末装置300の認識は、端末装置300そのものを認識するようにしてもよいし、例えば、端末装置300に設けられた端末表示部205に、端末装置300を示すための識別用の画像を表示し、この画像を認識することで、端末装置300を認識してもよい。
本実施形態では、第3仮想画面530についての表示の変更の例として、第3仮想画面530が移動する場合を説明する。但し、表示の変更としては、移動以外に、例えば、第3仮想画面530の拡大や縮小が挙げられる。
例えば、図4に示す状態から、表示部101から離れる方向であってユーザの視線の先の方向(以下、「視線方向」と称する)へ端末装置300が移動した場合、第3仮想画面530の縮小を行ってもよい。
また、例えば、図4に示す状態から、表示部101に接近する方向であって視線方向とは反対方向へ端末装置300が移動した場合には、第3仮想画面530の拡大を行うようにしてもよい。
また、その他に、左右方向や上下方向へ移動する端末装置300に付随して第3仮想画面530が移動するようにし、且つ、視線方向又は視線方向とは反対方向への端末装置300の移動に応じて、第3仮想画面530の拡大や縮小を行ってもよい。
また、例えば、図4に示す状態から、第3仮想画面530が表示部101の右端部101Cに移動した場合には、第3仮想画面530の表示領域が無くなってしまう。
この場合は、図6(表示部101における他の表示例を示した図)に示すように、端末装置300に対する第3仮想画面530の表示位置を変更してもよい。
図6に示す例では、端末装置300の左側が、第3仮想画面530の新たな表示位置となり、この新たな表示位置に、第3仮想画面530が表示されている。
また、その他に、例えば、図4に示す状態から、端末装置300が図中上方に移動し、これに伴い、第1仮想画面510と第3仮想画面530とが重なることも想定される。
また、端末装置300が図中上方に移動する以外に、例えば、図4に示す状態から、装着型表示装置100を装着したユーザが頭を動かしたり、ユーザが支持型表示装置100を下方へ移動したりすることでも、第1仮想画面510と第3仮想画面530とが重なる。
この場合は、例えば、第3仮想画面530のうちの、第1仮想画面510と重なる部分を消去し、第1仮想画面510が優先して表示されるようにする。
なお、この場合、第1仮想画面510の背後に端末装置300が位置する状態となるが、表示装置100が透過型表示装置100である場合には、第1仮想画面510の濃度により、端末装置300が見えたり、端末装置300が見えなかったりする。
また、表示装置100が非透過型表示装置100であり、カメラ104が取得した端末装置300の映像を表示部101に表示する構成の場合は、画像処理を行って、端末装置300を表す画像のうちの、第1仮想画面510と重なる部分を消去するようにしてもよい。
第1仮想画面510、第3仮想画面530についてさらに説明する。
本実施形態の第1仮想画面510、第3仮想画面530は、ユーザが端末装置300を操作することにより表示部101に順に表示された画像である。
本実施形態では、ユーザが端末装置300を操作して、端末装置300に表示されているサムネイル画像等の選択項目310(後述)を順に選択すると、第1仮想画面510、第3仮想画面530が表示部101に順に表示される。
本実施形態では、第1仮想画面510、第3仮想画面530は、コンテンツの各々を表す画像となっており、ユーザが端末装置300を操作して、サムネイル画像等の選択項目310を選択すると、この選択項目310に対応したコンテンツが表示部101に表示される。
ユーザは、現実空間RWに存在する端末装置300を操作して選択項目310の選択を行う。言い換えると、ユーザは、現実空間RWに存在する端末装置300に実際に触れて選択項目310の選択を行う。
そして、本実施形態では、これに応じ、ユーザが選択した選択項目310に対応した画像(コンテンツ)が、仮想画面として表示部101に表示される。
より具体的には、本実施形態では、ユーザが選択した選択項目310についての情報が、通信回線を通じ、端末装置300から制御装置700へ送信される。
そして、この場合、制御装置700のCPU111が、例えば、ユーザが選択した選択項目310に対応したコンテンツを外部サーバからダウンロードする処理を行い、さらに、ダウンロードしたこのコンテンツを表示部101に表示する。
これにより、ユーザが選択した選択項目310に対応したコンテンツが、表示装置100の表示部101に表示される。
第3仮想画面530(図4参照)は、表示部101に表示された順位が上位の画像である上位画像であり、第1仮想画面510は、上位画像であるこの第3仮想画面530よりも順位が下位の画像である下位画像である。
言い換えると、第3仮想画面530は、ユーザにより先に選択された選択項目310である先選択項目に対応した画面であり、第1仮想画面510は、この先選択項目よりも後に選択された選択項目310に対応した画像である。
本実施形態では、ユーザが、端末装置300を操作し、最初に、第3仮想画面530に対応した選択項目310を選択した場合を想定する。
この場合、表示部101における表示は、まず、図7(表示部101における他の表示例を示した図)に示す状態となり、表示部101の上側に、第3仮想画面530が表示された状態となる。
この際、端末装置300の位置によっては、図7の符号7Aで示すように、端末装置300と、第3仮想画面530とが重なるようになる。
この場合、ユーザは、端末装置300の端末表示部205を見やすくするために、図中矢印7Bで示すように、端末装置300を下方に移動したり、あるいは、装着型表示装置100が装着された頭部を動かしたり、支持型表示装置100を動かしたりする。
これにより、図8(表示部101における他の表示例を示した図)の符号8Aで示す箇所に、端末装置300が位置するようになる。この場合、ユーザは、端末装置300の端末表示部205を見やすくなる。
次いで、この例では、ユーザは、端末装置300に対する操作をさらに行い、第1仮想画面510に対応した選択項目310(図8の符号8Cで示す選択項目310)を選択する。
これにより、図4に示すように、表示部101の上側に、第1仮想画面510が新たに表示され、また、それまで表示されていた第3仮想画面530については、端末装置300の横に表示される。
本実施形態では、ユーザが選択した最新の選択項目310に対応した仮想画面については、予め定められた箇所である表示部101の上側に表示される。
また、本実施形態では、この最新の選択項目310よりも前にユーザが選択した選択項目310に対応した仮想画面については、端末装置300の横に表示される。
本実施形態の表示システム1では、ユーザの操作性と、画像の視認のし易さとの両立を図れる。
本実施形態の表示装置100のように、ユーザの顔の前に配置可能な表示部101にて表示を行うと、ユーザは、大きな画面で画像の視認を行えるようになり、画像を視認しやすくなる。
その一方で、ユーザが、端末装置300を用いず、表示装置100に対する操作を行って選択項目の選択等を行う構成であると、ユーザの操作性が低くなる。
表示装置100に対する操作を行って選択項目310の選択等を行う場合は、例えば、ユーザからの選択を受け付けるタッチパネルを、仮想画面として表示装置100に表示する。さらに、この場合、ユーザが空中で行う選択項目310の選択の操作を、ユーザの指先の位置などを認識することで把握する。
この場合、ユーザが、実在する画面に触れて選択項目310の選択を行う場合に比べ、操作性が低下する。また、この場合、選択項目310の選択の精度が低下しやすい。
一方、ユーザが、端末装置300に対する操作を行って選択項目310の選択を行う場合は、ユーザは、実画面に対する操作を行うことになるため、ユーザは選択項目310の選択を行いやすい。
その一方で、ユーザが端末装置300を視認してコンテンツ等を見る場合は、ユーザが視認する画像が小さいものとなり、ユーザは、コンテンツ等を視認しにくくなる。
即ち、表示装置100のみ、あるいは、端末装置300のみをユーザが用いる場合は、視認性の低下および操作性の低下の何れか一方を招く。
これに対し、本実施形態のように、選択項目310についての選択を、端末装置300で受け付けるようにし、選択項目310の選択に伴うコンテンツの表示を、表示装置100の表示部101にて行うようにすると、ユーザの操作性と、画像の視認のし易さとの両立を図れる。
本実施形態では、端末装置300の横に、第3仮想画面530を表示する際、表示装置100が非透過型表示装置100である場合には、第3仮想画面530のうちの端末装置300に重なるようになる部分を表示しないようにして、端末装置300を視認しやすくする。
また、表示装置100が透過型表示装置100である場合も、同様に、第3仮想画面530のうちの端末装置300に重なるようになる部分を表示しないようにする。
また、本実施形態では、上記の通り、この第3仮想画面530については、端末装置300の位置の変化に応じて、表示の変更が行われる。
具体的には、本実施形態では、CPU111は、上位画像であるこの第3仮想画面530については、上記の通り、端末装置300の位置の変化に応じ、この第3仮想画面530の表示位置を変更する。
具体的には、CPU111は、位置が変化する端末装置300とは重ならない位置を、第3仮想画面530の表示位置の変更先とする。
端末装置300と重なる位置を、第3仮想画面530の表示位置の変更先とすると、端末装置300を視認しにくくなるため、位置が変化する端末装置300とは重ならない位置を、第3仮想画面530の表示位置の変更先とする。
本明細書において、「端末装置300とは重ならない位置」とは、表示部101を通して視認される端末装置300の外周縁380(図5参照)の内側に第3仮想画面530の全ての部分が収まるようになる位置とは異なる位置を指す。
図5のように、端末装置300の外周縁380の外側に、第3仮想画面530の少なくとも一部が位置する場合は、第3仮想画面530の表示位置の変更先が、「端末装置300とは重ならない位置」になっていると言える。
本実施形態では、CPU111は、表示部101に表示されている第3仮想画面530については、表示部101を通じて見えている端末装置300に付随するように移動させる。
この移動にあたっては、端末装置300と第3仮想画面530とが重なる状態とはならないように、第3仮想画面530を移動させる。
言い換えると、端末装置300の外周縁380の内側に、第3仮想画面530の全ての部分が収まる状態とはならないように、第3仮想画面530を移動させる。
言い換えると、本実施形態では、端末装置300と第3仮想画面530との当初の位置関係が保たれた状態で第3仮想画面530を移動させる。
一方、CPU111は、下位画像である、図5に示す第1仮想画面510については、上記の通り、端末装置300の位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする。即ち、CPU111は、第1仮想画面510については、表示部101に上側に表示された状態が維持されるようにする。
言い換えると、本実施形態では、第1仮想画面510については、表示部101の上端部101Eに寄せられた状態で表示されており、CPU111は、第1仮想画面510については、端末装置300の位置の変化に関わらず、表示部101の上端部101Eに寄せられて表示された状態が維持されるようにする。
なお、表示部101の下端部101F、右端部101C、左端部101Gなどの他の端部に第1仮想画面510が寄せられて表示されるようにしてもよく、この場合も、端末装置300の位置の変化に関わらず、表示部101のこの端部に第1仮想画面510が寄せられて表示された状態が維持されるようにする。
本実施形態のように、第1仮想画面510が端部に寄せられた状態で表示されると、表示部101の中央部に第1仮想画面510が表示される場合に比べ、ユーザが端末装置300を見えやすくなり、ユーザは端末装置300の操作を行いやすくなる。
本実施形態では、表示部101に表示されている画像のうちの、表示部101を通じて見えている端末装置300と第1の位置関係を有する画像について表示の変更を行う、と捉えることもできる。
具体的には、本実施形態では、第3仮想画面530(図4参照)を、端末装置300と第1の位置関係を有する画像として捉えることができ、本実施形態では、端末装置300と第1の位置関係を有するこの第3仮想画面530について、表示位置を変更する処理を行う。
言い換えると、本実施形態では、表示部101に表示されている画像のうち、端末装置300の横に表示されている第3仮想画面530を、端末装置300と第1の位置関係を有する画像として捉えることができる。
そして、本実施形態では、端末装置300の横に表示されているこの第3仮想画面530については、表示位置を変更する処理を行う。
また、本実施形態では、表示部101に表示されている画像のうちの、表示部101を通じて見えている端末装置300と第2の位置関係を有する画像については、予め定められた箇所に表示された状態が維持されるようにする、と捉えることができる。
具体的には、本実施形態では、端末装置300よりも上方や下方に位置する第1仮想画面510を、端末装置300と第2の位置関係を有する画像として捉えることができる。
本実施形態では、第2の位置関係を有するこの第1仮想画面510については、上記の通り、表示部101の上側など、予め定められた箇所に表示された状態が維持されるようにする。
次に、第1仮想画面510および第3仮想画面530が表示部101に表示されている状態で、ユーザが選択項目310の選択をさらに行った場合の処理について説明する。
具体的には、例えば、図4に示す状態にて、ユーザが、端末装置300の操作をさらに行い、新たな選択項目310の選択を行った場合の処理を説明する。
本実施形態では、ユーザが新たな選択項目310の選択を行うと、図9(表示部101における他の表示例を示した図)に示すように、この新たな選択項目310に対応した仮想画面560が、表示部101の上側に表示される。
また、この場合、それまで表示部101の上側に表示されていた第1仮想画面510については、図9の符号9Aで示すように、端末装置300の横に表示される。言い換えると、第1仮想画面510については、端末装置300の横に且つ第3仮想画面530の横に表示される。
この場合に、端末装置300が移動すると、第3仮想画面530に加えて第1仮想画面510も、端末装置300に付随して移動する。
また、本実施形態では、ユーザが、端末装置300の横に表示されている仮想画面の選択を行えるようになっている。具体的には、この例では、端末装置300の横に、第1仮想画面510、第3仮想画面530が表示されており、ユーザは、この第1仮想画面510、第3仮想画面530の中から、1つの仮想画面の選択を行える。
そして、ユーザが、1つの仮想画面の選択を行うと、選択された仮想画面が、表示部101の上側に表示される。また、この場合、それまで表示部101の上側に表示されていた仮想画面については、端末装置300の横に表示される。
端末装置300の横に表示されている複数の仮想画面の中からの1つの仮想画面の選択は、例えば、選択する1つの仮想画面をユーザが指で指すことにより行う。
ユーザが、仮想画面を指で指すと、この指の映像がカメラ104によって取得される。CPU111は、カメラ104により得られたこの映像を解析して、この指の先に位置する仮想画面を把握し、把握したこの仮想画面を、ユーザが選択した仮想画面とする。
そして、CPU111は、ユーザが選択したこの仮想画面を、表示部101の上側に表示する。
表示部101における表示処理についてさらに説明する。
本実施形態では、例えば、図9に示す表示状態から、ユーザの指PFが表示部101の外周縁101Xよりも外側に移動すると、表示部101における表示対象が、表示部101の上側に表示されている仮想画面560に確定する。
言い換えると、本実施形態では、端末装置300への操作をユーザが止めたと考えられる状態となると、表示部101の表示対象が、その時点で表示部101の上側に表示されている仮想画面(コンテンツ)に確定する。
この場合、CPU111は、表示部101の表示内容の切り替えを行い、図10(表示部101における他の表示例を示した図)に示すように、仮想画面560を拡大した状態で表示する。
なお、ここでは、端末装置300への操作をユーザが止めたと考えられる状態となった場合に、表示対象が確定する場合を一例に説明した。
但し、これに限らず、例えば、端末装置300に表示された確定ボタン(不図示)をユーザが押した場合などに、表示部101の表示対象を確定するようにしてもよい。
また、その他に、例えば、ユーザの指が仮想画面を指し示す状態が予め定められた時間を超えて継続したら、この仮想画像を、表示部101の表示対象として確定してもよい。
また、その他に、CPU111は、第1仮想画面510については、ユーザが特定の方向を見た際にこの第1仮想画面510が表示部101に表示されるようになる状態が維持されるようにしてもよい。
ここで、図4に示す第1仮想画面510は、ユーザが最新に選択した仮想画面に該当し、この第1仮想画面510については、ユーザが特定の方向を見た際にこの第1仮想画面510が表示部101に表示されるようになる状態が維持されるようにしてもよい。
言い換えると、上記では、表示部101の上側に第1仮想画面510が表示される状態が維持される場合を説明したが、第1仮想画面510については、ユーザが特定の方向を見た際に表示部101にこの第1仮想画面510が表示されるようになる状態が維持されるようにしてもよい。
言い換えると、ユーザが選択し表示部101の上側に表示された最新のコンテンツを表す仮想画面については、ユーザが特定の方向を見た際にこの仮想画面が表示されるようになる状態が維持されるようにしてもよい。
図4に示した例では、ユーザが向く方向に関わらず、表示部101の上側に、第1仮想画面510が表示される場合を説明した。この場合、例えば、装着型表示装置100を装着したユーザが、何れの方向を向いたとしても、表示部101の上側に、第1仮想画面510が表示された状態が維持される。
これに対し、上記のように、ユーザが特定の方向を見た際に表示部101に第1仮想画面510が表示される状態が維持されるようにすると、装着型表示装置100を装着したユーザが、この特定の方向以外の方向を向いた際には、第1仮想画面510が表示部101に表示されないようになる。
その一方で、装着型表示装置100を装着したユーザが特定の方向を見た際には、第1仮想画面510が表示されるようになる。
このように、ユーザが特定の方向を見た際に、第1仮想画面510が表示されるようにすると、実質的に、表示部101に表示される背景の特定の箇所に対して、第1仮想画面510が固定された状態となる。言い換えると、ユーザが特定の方向を見た際に、第1仮想画面510が表示されるようにすると、表示部101を通して見える、表示部101の背後の特定箇所に第1仮想画面510が表示されるようになる。
なお、第1仮想画面510が表示される特定箇所としては、表示部101の背後の予め定められた条件を満たす箇所を挙げることができ、この予め定められた条件を満たす箇所に、第1仮想画面510が表示されるようにしてもよい。
例えば、表示部101の背後に存在する現実空間RWのうちの平らな壁が設けられている箇所に、第1仮想画面510が表示されるようにしてもよい。
より具体的には、この処理を行う場合は、カメラ104により得られた映像を解析して、上記の予め定められた条件を満たす箇所を特定する。そして、この予め定められた条件を満たす箇所が表示部101に映った際に、この特定の箇所に、第1仮想画面510が表示されるようにする。
なお、第3仮想画面530については、上記の通り、端末装置300に付随して移動する。
このため、装着型表示装置100を装着したユーザが、上記の特定の方向以外を向いている場合であっても、表示部101の背後に端末装置300が位置する場合は、ユーザは、表示部101を通じ、第3仮想画面530の視認を行える。
また、例えば、装着型表示装置100を装着したユーザが、特定の方向を向いているときに、表示部101の背後に端末装置300が位置しない場合には、表示部101には、第3仮想画面530が表示されないようになる。
〔表示部101における他の表示例〕
図11は、表示部101における他の表示例を示した図である。
図11を参照し、第2仮想画面520について説明する。
本実施形態のCPU111は、端末装置300に表示されている選択項目310についての情報を表示部101に表示する処理をさらに行う。
具体的には、CPU111は、図11に示すように、選択項目310へのユーザの指PFの接近があった場合に、ユーザの指PFの接近があったこの選択項目310についての情報を表示部101に表示する。
言い換えると、CPU111は、図11に示すように、選択項目310へのユーザの指PFの接近があった場合に、この選択項目310についての情報を表示するための画面である第2仮想画面520を、表示部101に表示する。
本実施形態では、カメラ104により取得された映像を解析することで、選択項目310へのユーザの指PFの接近があったか否かを把握するようにし、また、選択項目310への指PFの接近があった場合には、ユーザの指PFが接近した選択項目310を把握する。
本実施形態では、CPU111は、図11に示すように、端末装置300の一部と、第2仮想画面520の一部とが重なるように、第2仮想画面520を表示する。
より具体的には、本実施形態では、例えば、透過型表示装置100にて、第2仮想画面520を表示する場合は、現実空間に存する端末装置300(表示部101の背後に位置する端末装置300)と、第2仮想画面520とが部分的に重なるように、第2仮想画面520を表示する。
また、例えば、非透過型表示装置100にて、第2仮想画面520を表示する場合は、表示部101に表示されている端末装置300と、第2仮想画面520とが部分的に重なるように、第2仮想画面520を表示する。
また、本実施形態では、選択項目310に第2仮想画面520が重ならないように、第2仮想画面520を表示する。
この例では、第2仮想画面520に、コンテンツのタイトル、および、コンテンツの作成者についての情報が表示されている。
なお、第2仮想画面520に含める情報は、これに限らず、第2仮想画面520には、他の種類の情報を含めてもよい。
具体的には、例えば、コンテンツの視聴に要する時間や、他のユーザによるコンテンツの評価の結果などの情報を、第2仮想画面520に含めるようにしてもよい。
なお、ここでは、選択項目310へのユーザの指PFの接近があった場合に、この選択項目310についての情報を表示するための第2仮想画面520が表示される場合を説明した。
但し、これに限らず、例えば、ユーザの視線の先を把握するようにし、この視線の先にある選択項目310についての情報が第2仮想画面520として表示されるようにしてもよい。
また、例えば、ユーザが、端末表示部205上の選択項目310に触れた場合に、ユーザが触れたこの選択項目310についての情報が第2仮想画面520として表示されるようにしてもよい。
1…表示システム、100…表示装置、101…表示部、111…CPU、300…端末装置、310…選択項目、510…第1仮想画面、520…第2仮想画面、530…第3仮想画面、700…制御装置

Claims (19)

  1. プロセッサを備え、表示部を備える表示装置を制御する制御装置であって、ユーザが当該表示部を視認した際に当該表示部の背後を当該ユーザが当該表示部を通じて視認可能な当該表示装置を制御する制御装置であり、
    前記プロセッサは、
    前記表示部の背後に位置し当該表示部を通じてユーザが視認する端末装置の前記表示装置に対する位置の変化に応じて、当該表示部に表示されている一部の画像についての表示の変更を行い、
    前記表示部に表示されている他の一部の画像については、前記端末装置の前記位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする、
    制御装置。
  2. 前記他の一部の画像は、前記表示部の予め定められた箇所に表示され、
    前記プロセッサは、
    前記表示部の前記予め定められた箇所に表示されている前記他の一部の画像については、前記端末装置の前記位置の変化に関わらず、当該表示部の当該予め定められた箇所に表示された状態が維持されるようにする、
    請求項1に記載の制御装置。
  3. 前記プロセッサは、
    前記端末装置の前記位置の変化に応じ、前記表示部に表示されている画像のうち、当該表示部を通じて見えている当該端末装置と第1の位置関係を有する画像について、表示の変更を行い、
    前記表示部に表示されている画像のうち、当該表示部を通じて見えている前記端末装置と第2の位置関係を有する画像については、当該端末装置の前記位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする、
    請求項1に記載の制御装置。
  4. 前記プロセッサは、
    前記表示部に表示されている画像のうち、当該表示部を通じて見えている前記端末装置の横に表示されている画像について、表示の変更を行い、
    前記表示部に表示されている画像のうち、当該表示部を通じて見えている前記端末装置よりも上方又は下方に位置する画像については、前記予め定められた箇所に表示された状態が維持されるようにする、
    請求項3に記載の制御装置。
  5. 前記プロセッサは、
    前記第1の位置関係を有する画像については、前記端末装置の前記位置の変化に応じ、表示位置を変更する請求項3に記載の制御装置。
  6. 前記プロセッサは、
    前記第1の位置関係を有する画像については、前記端末装置の前記位置の変化に応じ、当該端末装置が移動する方向へ移動させる請求項3に記載の制御装置。
  7. 前記プロセッサは、
    前記端末装置に表示されている選択項目についての情報を前記表示部に表示する請求項1に記載の制御装置。
  8. 前記プロセッサは、
    前記選択項目へのユーザの指の接近があった場合に、当該選択項目についての前記情報を前記表示部に表示する請求項7に記載の制御装置。
  9. 前記プロセッサは、
    ユーザが前記端末装置を操作することにより前記表示部に順に表示された画像のうちの、表示された順位が上位の画像である上位画像、および、当該上位画像よりも順位が下位の画像である下位画像のうちの、当該上位画像については、前記端末装置の前記位置の変化に応じて、表示の変更を行い、
    前記下位画像については、前記端末装置の前記位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする請求項1に記載の制御装置。
  10. 前記プロセッサは、
    前記上位画像については、前記端末装置の前記位置の変化に応じ、当該上位画像の表示位置を変更する請求項9に記載の制御装置。
  11. 前記プロセッサは、
    位置が変化する前記端末装置とは重ならない位置を、前記上位画像の前記表示位置の変更先とする請求項10に記載の制御装置。
  12. 前記プロセッサは、
    前記表示部に表示されている前記上位画像については、当該表示部を通じて見えている前記端末装置に付随するように移動させる請求項9に記載の制御装置。
  13. 前記プロセッサは、
    前記下位画像については、前記端末装置の前記位置の変化に関わらず、前記表示部の上端部または下端部の何れかに当該下位画像が寄せられて表示された状態が維持されるようにする請求項9に記載の制御装置。
  14. 前記プロセッサは、
    前記下位画像については、前記表示部を通して見える、当該表示部の背後の特定箇所に表示されるようにする請求項9に記載の制御装置。
  15. 前記プロセッサは、
    前記他の一部の画像については、前記表示部を通して見える、当該表示部の背後の特定箇所に表示されるようにする請求項1に記載の制御装置。
  16. プロセッサを備え、表示部を備える表示装置を制御する制御装置であって、ユーザが当該表示部を視認した際に当該表示部の背後を当該ユーザが当該表示部を通じて視認可能な当該表示装置を制御する制御装置であり、
    前記プロセッサは、
    前記表示部の背後に位置し当該表示部を通じてユーザが視認する端末装置の前記表示装置に対する位置の変化に応じて、当該表示部に表示されている仮想画面についての表示の変更を行い、
    前記表示部に表示されている他の仮想画面については、前記端末装置の前記位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする、
    制御装置。
  17. 表示部を備える表示装置と、当該表示装置を制御する制御装置とを備え、
    前記表示装置は、ユーザが前記表示部を視認した際に当該表示部の背後を当該ユーザが当該表示部を通じて視認可能な表示装置であり、
    前記制御装置が、請求項1乃至16の何れかに記載の制御装置を含んで構成された、
    表示システム。
  18. 表示装置に設けられた表示部の背後に位置し当該表示部を通じてユーザが視認する端末装置の当該表示装置に対する位置の変化に応じて、当該表示部に表示されている一部の画像についての表示の変更を行う機能と、
    前記表示部に表示されている他の一部の画像については、前記端末装置の前記位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする機能と、
    をコンピュータに実現させるためのプログラム。
  19. 表示装置に設けられた表示部の背後に位置し当該表示部を通じてユーザが視認する端末装置の当該表示装置に対する位置の変化に応じて、当該表示部に表示されている仮想画面についての表示の変更を行う機能と、
    前記表示部に表示されている他の仮想画像については、前記端末装置の前記位置の変化に関わらず、予め定められた箇所に表示された状態が維持されるようにする機能と、
    をコンピュータに実現させるためのプログラム。
JP2021053350A 2021-03-26 2021-03-26 制御装置、表示システム、および、プログラム Pending JP2022150657A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021053350A JP2022150657A (ja) 2021-03-26 2021-03-26 制御装置、表示システム、および、プログラム
US17/380,036 US20220308749A1 (en) 2021-03-26 2021-07-20 Control apparatus, display system, method, and non-transitory computer readable medium storing program
CN202111020147.3A CN115134458A (zh) 2021-03-26 2021-09-01 控制装置、显示系统、记录介质及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021053350A JP2022150657A (ja) 2021-03-26 2021-03-26 制御装置、表示システム、および、プログラム

Publications (1)

Publication Number Publication Date
JP2022150657A true JP2022150657A (ja) 2022-10-07

Family

ID=83363352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021053350A Pending JP2022150657A (ja) 2021-03-26 2021-03-26 制御装置、表示システム、および、プログラム

Country Status (3)

Country Link
US (1) US20220308749A1 (ja)
JP (1) JP2022150657A (ja)
CN (1) CN115134458A (ja)

Also Published As

Publication number Publication date
CN115134458A (zh) 2022-09-30
US20220308749A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
KR102473259B1 (ko) 시선 타겟 애플리케이션 런처
KR102161510B1 (ko) 포터블 디바이스 및 그 제어 방법
EP3333675A1 (en) Wearable device user interface control
KR20170126295A (ko) 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
EP3299933B1 (en) Method for displaying a navigator associated with content and electronic device for implementing the same
KR20160128739A (ko) 디스플레이 장치 및 그의 유저 인터페이스 제공 방법
CN103729054A (zh) 多显示设备及其控制方法
JP2014186361A (ja) 情報処理装置、操作制御方法及びプログラム
KR20190133080A (ko) 증강 현실 시스템용 터치프리 인터페이스
US10885715B2 (en) Interactive carry
US10521101B2 (en) Scroll mode for touch/pointing control
US10331340B2 (en) Device and method for receiving character input through the same
US20130155108A1 (en) Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture
KR20140034100A (ko) 휴대단말과 외부 표시장치 연결 운용 방법 및 이를 지원하는 장치
JP2019530064A (ja) 仮想現実におけるロケーショングローブ
EP4213001A1 (en) Display device and method of controlling the same
EP2998838A1 (en) Display apparatus and method for controlling the same
KR20170053410A (ko) 복수의 화면을 표시하는 전자장치 및 그 제어 방법
US9665232B2 (en) Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device
KR20150025105A (ko) 전자 장치에서 입력 기능 운영 방법 및 장치
CN112534390A (zh) 用于提供虚拟输入工具的电子装置及其方法
WO2021208965A1 (zh) 文本输入方法、移动设备、头戴式显示设备以及存储介质
JP2022150657A (ja) 制御装置、表示システム、および、プログラム
KR102463080B1 (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240226