JP2021192157A - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP2021192157A
JP2021192157A JP2020098493A JP2020098493A JP2021192157A JP 2021192157 A JP2021192157 A JP 2021192157A JP 2020098493 A JP2020098493 A JP 2020098493A JP 2020098493 A JP2020098493 A JP 2020098493A JP 2021192157 A JP2021192157 A JP 2021192157A
Authority
JP
Japan
Prior art keywords
user
information
range
information processing
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020098493A
Other languages
English (en)
Inventor
賢吾 得地
Kengo Tokuchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Priority to JP2020098493A priority Critical patent/JP2021192157A/ja
Priority to US17/109,756 priority patent/US20210382617A1/en
Publication of JP2021192157A publication Critical patent/JP2021192157A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G04HOROLOGY
    • G04CELECTROMECHANICAL CLOCKS OR WATCHES
    • G04C3/00Electromechanical clocks or watches independent of other time-pieces and in which the movement is maintained by electric means
    • G04C3/001Electromechanical switches for setting or display
    • G04C3/002Position, e.g. inclination dependent switches
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G21/00Input or output devices integrated in time-pieces
    • G04G21/02Detectors of external physical values, e.g. temperature
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G9/00Visual time or date indication means
    • G04G9/0017Visual time or date indication means in which the light emitting display elements may be activated at will or are controlled in accordance with the ambient light
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G9/00Visual time or date indication means
    • G04G9/0064Visual time or date indication means in which functions not related to time can be displayed
    • G04G9/007Visual time or date indication means in which functions not related to time can be displayed combined with a calculator or computing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662Details related to the integrated keyboard
    • G06F1/1673Arrangements for projecting a virtual keyboard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G17/00Structural details; Housings
    • G04G17/02Component assemblies
    • G04G17/04Mounting of electronic components
    • G04G17/045Mounting of the display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas

Abstract

【課題】ユーザが装着して使用するデバイスにより表示される情報の配置が表示面を観察するときの使用するユーザに対する見え方とは無関係に定められる場合に比して、予め定めた情報の観察を容易にする。【解決手段】情報処理装置は、プロセッサを有し、プロセッサは、ユーザに装着された状態の表示面のうちユーザから観察が可能な範囲を検知し、範囲の中央を含む領域に予め定めた情報を表示させる。【選択図】図3

Description

本発明は、情報処理装置及びプログラムに関する。
現在、身体に装着が可能なデバイスが実用化されている。この種のデバイスには、手首等に取り付けて使用するデバイスがある。この種のデバイスの中には、装着した状態におけるデバイスと手首との位置の関係が、デバイスの構造から制約を受ける場合もあれば、制約を受けない場合もある。後者の場合には、自由な装着が可能である。
特開2015−179299号公報
例えば手首に装着した状態で、装着部位を半周程度する表示面を有するデバイスがある。表示部に情報を表示する場合、表示面の長手方向の中央付近に注目度が高い情報が表示されることが多い。多くの場合、表示面の長手方向の中央付近の領域は、デバイスを装着した場合に、ユーザによる観察が容易な位置になるようにデバイスの構造が設計されている。
しかし、装着する部位と表示面の長手方向との位置の関係が固定しない場合、表示面の長手方向の中央付近がユーザの観察が容易な位置になるとは限らない。このような場合、ユーザは観察のために姿勢を変更し、観察が容易な角度に表示面を調整する必要がある。また、環状の表示面の場合、そもそも表面の長手方向の中央が定まらない。
本発明は、ユーザが装着して使用するデバイスにより表示される情報の配置が表示面を観察するときの使用するユーザに対する見え方とは無関係に定められる場合に比して、予め定めた情報の観察を容易にすることを目的とする。
請求項1に記載の発明は、プロセッサを有し、前記プロセッサは、ユーザに装着された状態の表示面のうちユーザから観察が可能な範囲を検知し、当該範囲の中央を含む領域に予め定めた情報を表示させる、情報処理装置である。
請求項2に記載の発明は、前記プロセッサは、前記表示面が設けられている位置と、撮像デバイスが設けられている位置と、当該撮像デバイスで撮像された画像から特定されるユーザの顔の向きとの関係により、前記範囲を検知する、請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記プロセッサは、ユーザの顔の向きとしてユーザの視線の方向を検知する、請求項2に記載の情報処理装置である。
請求項4に記載の発明は、前記プロセッサは、ユーザに装着された状態で前記表示面の裏面側がユーザの身体に接触している部位を特定し、当該部位を基準に前記範囲を検知する、請求項1に記載の情報処理装置である。
請求項5に記載の発明は、前記プロセッサは、前記部位に対応する位置を前記範囲の中央に決定する、請求項4に記載の情報処理装置である。
請求項6に記載の発明は、前記プロセッサは、前記部位と、撮像デバイスが設けられている位置と、当該撮像デバイスで撮像された画像から特定されるユーザの顔の向きとの関係により前記範囲を検知する、請求項4に記載の情報処理装置である。
請求項7に記載の発明は、ユーザに装着された状態の前記表示面は、装着される部位に応じた曲面を有する、請求項1に記載の情報処理装置である。
請求項8に記載の発明は、前記表示面は、変形可能な表示デバイスに設けられる、請求項7に記載の情報処理装置である。
請求項9に記載の発明は、前記表示面は、筒状の部材の表面に取り付けられている、請求項7に記載の情報処理装置である。
請求項10に記載の発明は、前記予め定めた情報は時刻に関する情報である、請求項1に記載の情報処理装置である。
請求項11に記載の発明は、前記予め定めた情報は通信に関する情報である、請求項1に記載の情報処理装置である。
請求項12に記載の発明は、前記予め定めた情報が表示される位置は、ユーザの操作により移動が可能である、請求項1に記載の情報処理装置である。
請求項13に記載の発明は、前記予め定めた情報が表示される領域の外側に配置される情報の表示の位置は、ユーザの操作により移動が可能である、請求項1に記載の情報処理装置である。
請求項14に記載の発明は、前記プロセッサは、前記予め定めた情報の表示上のサイズを、ユーザから観察が可能な前記範囲の広さに応じて変更する、請求項1に記載の情報処理装置である。
請求項15に記載の発明は、前記プロセッサは、前記予め定めた情報の表示する数を、ユーザから観察が可能な前記範囲の広さに応じて変更する、請求項1に記載の情報処理装置である。
請求項16に記載の発明は、コンピュータに、ユーザに装着された状態の表示面のうちユーザから観察が可能な範囲を検知し、当該範囲の中央を含む領域に予め定めた情報を表示させる機能を実現させるプログラムである。
請求項1記載の発明によれば、ユーザが装着して使用するデバイスにより表示される情報の配置が表示面を観察するときの使用するユーザに対する見え方とは無関係に定められる場合に比して、予め定めた情報の観察を容易にできる。
請求項2記載の発明によれば、ユーザから見易い位置に予め定めた情報を配置できる。
請求項3記載の発明によれば、予め定めた情報が配置される位置の配置の精度を高めることができる。
請求項4記載の発明によれば、ユーザから見易い位置に予め定めた情報を配置できる。
請求項5記載の発明によれば、上から覗き込む場合に見易い位置に予め定めた情報を配置できる。
請求項6記載の発明によれば、腕を目線の高さに上げて横から見る場合にも対応できる。
請求項7記載の発明によれば、部位に応じて視線方向の角度が異なる場合にも予め定めた情報の観察を容易にできる。
請求項8記載の発明によれば、表示面の形状が変形する場合でも予め定めた情報の観察を容易にできる。
請求項9記載の発明によれば、体に対して表示面の位置が定まらない場合にも予め定めた情報の観察を容易にできる。
請求項10記載の発明によれば、時刻の観察を容易にできる。
請求項11記載の発明によれば、通信に関する情報の観察を容易にできる。
請求項12記載の発明によれば、予め定めた情報を観察が容易な位置に調整できる。
請求項13記載の発明によれば、予め定めた情報の表示位置はそのままに他の情報の表示位置を調整できる。
請求項14記載の発明によれば、ユーザから観察が可能な範囲の広さに応じて予め定めた情報の見え方を調整できる。
請求項15記載の発明によれば、ユーザから観察が可能な範囲の広さに応じて予め定めた情報の見え方を調整できる。
請求項16記載の発明によれば、ユーザが装着して使用するデバイスにより表示される情報の配置が表示面を観察するときの使用するユーザに対する見え方とは無関係に定められる場合に比して、予め定めた情報の観察を容易にできる。
実施の形態1で使用するウェアラブル型の端末の例を説明する図である。(A)は端末の斜視図であり、(B)は端末の側面図であり、(C)は装着例である。 ウェアラブル型の端末の信号系の構成の例を説明する図である。 実施の形態1の端末で実行される処理動作の一例を説明する図である。 ユーザが左手に装着した端末を観察する場合の姿勢と時刻の配置の関係を説明する図である。(A)は端末を装着したユーザを正面から見た図であり、(B)は端末を装着したユーザを側方から見た図であり、(C)はカメラで撮像される顔の画像と時刻に関する情報の配置を説明する図である。 観察が可能な領域の中央付近に表示される情報である時刻と他の情報の位置関係を説明する図である。 ユーザが左手に装着した端末を観察する場合の姿勢と時刻の配置の他の関係を説明する図である。(A)は端末を装着したユーザを正面から見た図であり、(B)は端末を装着したユーザを側方から見た図であり、(C)はカメラで撮像される顔の画像と時刻に関する情報の配置を説明する図である。 観察が可能な領域の中央付近に表示される情報である時刻と他の情報の位置関係を説明する図である。 優先度が低い情報の配置の変更するための操作の例を説明する図である。(A)は操作を受け付ける前の配置を示し、(B)〜(E)は操作を受け付けた後の配置を示す。 優先度が高い情報の配置を変更するための操作の例を説明する図である。(A)は操作を受け付ける前の配置を示し、(B)は操作を受け付けた後の配置を示す。 優先度が高い情報の配置を変更するための操作の他の例を説明する図である。(A)は操作を受け付ける前の配置を示し、(B)は操作を受け付けた後の配置を示す。 優先度の高い情報の表示の形態の変更を受け付ける操作の例を説明する図である(A)は操作を受け付ける前の表示の形態を示し、(B)は操作を受け付けた後の表示の形態を示す。 実施の形態2で使用するウェアラブル型の端末の例を説明する図である。(A)は端末の斜視図であり、(B)は端末の側面図であり、(C)は装着例である。 ウェアラブル型の端末の信号系の構成の例を説明する図である。 実施の形態2の端末で実行される処理動作の一例を説明する図である。 本体に印字されているマークが上側に位置している場合における観察が可能な範囲の設定例を説明する図である。(A)は装着例を示し、(B)は手首と接触している位置と観察が可能な範囲の関係を示す。 本体に印字されているマークが下側に位置している場合における観察が可能な範囲の設定例を説明する図である。(A)は装着例を示し、(B)は手首と接触している位置と観察が可能な範囲の関係を示す。 実施の形態3で使用するウェアラブル型の端末の例を説明する図である。(A)は端末の斜視図であり、(B)は端末の側面図であり、(C)は装着例である。 ウェアラブル型の端末の信号系の構成の例を説明する図である。 実施の形態3の端末で実行される処理動作の一例を説明する図である。 実施の形態4で使用するウェアラブル型の端末の例を説明する図である。(A)は端末の基本的な形状を示し、(B)は端末を変形した後の形状を示す。 実施の形態5で使用するウェアラブル型の端末の例を説明する図である。(A)は端末を伸ばした状態の斜視図であり、(B)は端末を変形した状態の斜視図である。 赤外線センサから出力される赤外光の出力例を示す図である。 ウェアラブル型の端末の信号系の構成の例を説明する図である。 実施の形態5の端末で実行される処理動作の一例を説明する図である。 実施の形態5の端末の使用例を説明する図である。(A)はプロジェクタによる表示面の投影前の状態を示し、(B)はプロジェクタが手の平側に表示面を投影する例を示し、(C)はプロジェクタが手の甲側に表示面を投影する例を示す。
以下、図面を参照して、本発明の実施の形態を説明する。
<実施の形態1>
<装置構成>
図1は、実施の形態1で使用するウェアラブル型の端末1の例を説明する図である。(A)は端末1の斜視図であり、(B)は端末1の側面図であり、(C)は装着例である。
本実施の形態で使用する端末1は、手首に装着して使用される。本体10は、概略円筒である。なお、本体10の一部に切断部を設け、着脱の際には、切断部を押し広げることが可能でもよい。
本体10の外周面には、表示部11とカメラ12が設けられている。表示部11は、例えば有機EL(=Electro Luminescence)ディスプレイであり、本体10の外周面に沿って湾曲した形状、すなわち曲面形状を有している。本体10が変形する場合、表示部11も本体10と一体的に変形する。
図1の場合、表示部11は1つであり、本体10の外周面を約半周している。換言すると、表示部11は、半円筒の形状を有している。図1では、表示部11は1つであるが複数でもよい。表示部11が複数の場合、個々の表示部11の大きさは同じでもよいし、異なっていてもよい。
また、複数の表示部11が連結されて、1枚の表示面を構成してもよい。勿論、複数の表示部11は、互いに離れて配置されてもよい。なお、複数の表示部11は、本体10の円周方向に分離されてもよいし、高さ方向であるx軸の方向に分離されてもよい。
図1に示す構成例の場合、表示部11のx軸方向の長さは、本体10のx軸方向の長さよりも短い。換言すると、半円筒の高さ方向の長さは、円筒の高さ方向の長さよりも短い。このため、図1に示す表示部11の左右には表示に用いられない半環状の領域が設けられている。図1におけるカメラ12は、この半環状の領域に設けられる。
実施の形態1の場合、カメラ12の数は1つであり、表示部11の周方向の長さの真ん中付近に設けられている。
このため、表示部11の中央付近を正面から観察するときのユーザの顔は、カメラ12で撮像された画像の中央付近に位置する。
もっとも、カメラ12を配置する位置は、表示部11の外側であればよい。ただし、本実施の形態におけるカメラ12は、表示部11を観察するユーザの位置を特定する用途で使用されるため、表示部11の周辺に設ける必要がある。
本実施の形態における端末1は、情報処理装置の一例である。
図2は、ウェアラブル型の端末1の信号系の構成の例を説明する図である。端末1は、装置の全体を制御するCPU(=Central Processing Unit)101と、プログラムやデータを記憶する半導体メモリ102と、外部との通信に用いる通信モジュール103と、装着したユーザの動きや姿勢を検知する6軸センサ104と、情報を表示する表示パネル105と、表示された画像に対するユーザの操作を検知する静電容量式フィルムセンサ106と、カメラ12と、マイク107と、スピーカ108とを有している。
本実施の形態におけるCPU101は、プログラムの実行を通じ、表示部11に表示される情報の配置を決定する。CPU101は、プロセッサの一例である。また、CPU101と半導体メモリ102は、コンピュータを構成する。
半導体メモリ102は、作業領域として使用される記憶デバイスと、データの記憶に使用される書き換えが可能な不揮発性の記憶デバイスとを有している。前者の記憶デバイスはいわゆるRAM(=Radom Access Memory)であり、後者の記憶デバイスはいわゆるフラッシュメモリである。ファームウェアは、フラッシュメモリに記憶される。
通信モジュール103は、例えばブルートゥース(登録商標)モジュールや無線LAN(=Local Area Network)モジュールである。
6軸センサ104は、端末1の姿勢と角速度を計測するセンサであり、3軸の加速度センサと3軸のジャイロセンサで構成される。なお、3軸の方位センサを含む9軸センサでもよい。
表示パネル105と静電容量式フィルムセンサ106は、前述した表示部11を構成する。静電容量式フィルムセンサ106は、表示パネル105の表面に積層され、タッチパネルを構成する。静電容量式フィルムセンサ106は、表示パネル105に表示される情報のユーザによる観察を可能にする性質を有している。
また、静電容量式フィルムセンサ106は、ユーザによるタップ位置等を静電容量の変化から検知する。表示パネル105は、いわゆる出力装置であり、静電容量式フィルムセンサ106は、いわゆる入力装置である。
カメラ12は、例えばCMOS(=Complementary Metal Oxide Semiconductor)センサである。カメラ12は、撮像デバイスの一例である。
マイク107は、ユーザの音声や周囲の音を電気信号に変換するデバイスである。
スピーカ108は、電気信号を音に変換して出力するデバイスである。
<処理動作>
図3は、実施の形態1の端末1(図1参照)で実行される処理動作の一例を説明する図である。なお、図3では、表示部11(図1参照)に表示する情報の配置を決定する処理動作について説明する。図中に示す記号のSはステップを意味する。
本実施の形態の場合、CPU101(図2参照)は、カメラ12(図1参照)で撮像された画像からユーザの顔の向きとカメラ12との位置の関係を検知する(ステップ1)。
例えばCPU101は、カメラ12で撮像された画像内で検知されたユーザの顔の位置や顔の大きさにより、カメラ12の位置に対するユーザの相対的な位置の関係を特定する。
カメラ12との距離が近いユーザの画像内の顔の大きさは、カメラ12との距離が遠いユーザの画像内の顔の大きさよりも大きくなる。
また、ユーザが表示部11を正面から観察する場合、カメラ12で撮像された画像内におけるユーザの顔は画像の中央付近に位置する。一方、ユーザが表示部11を斜め方向から観察する場合、カメラ12で撮像された画像内におけるユーザの顔は画像の周辺部に位置する。
このように、CPU101は、画像内に現れる人の顔の大きさや画像内の位置に基づいて、ユーザの顔の向きとユーザとカメラ12との位置の関係を検知する。
この他、ユーザの顔の向きは、画像から検知される顔のパーツの位置や大きさの関係から検知することも可能である。
例えば目、鼻、口、耳等の顔を構成するパーツが対称的に位置する場合、ユーザは表示部11を正面から観察している。すなわち、ユーザの顔の向きは、表示部11と正対する方向である。
この他、額が大きく顎が小さい場合、ユーザの顔の向きは、表示部11を見上げる方向と推定される。また、顔の左側が大きく、顔の右側が小さいか見えない場合、ユーザの顔の向きは、表示部11を右側から観察する方向と推定される。
また、ユーザの目の中の瞳の位置によっても、ユーザが表示部11を観察する方向の推定が可能である。ここでの観察の方向は、ユーザの視線の方向である。例えば瞳が上に位置する場合には表示部11を見上げていることが分かり、瞳が下に位置する場合には表示部11を見下ろしていることが分かる。瞳が左に位置する場合には表示部11を右側から観察していることが分かり、瞳が右に位置する場合には表示部11を左側から観察していることが分かる。
ユーザの顔の向きとカメラ12の位置の関係が検知されると、ユーザの顔の向きと表示部11との位置の関係も特定される。
なお、位置の関係を検知する際に、画像内には、ユーザの顔の全部が含まれる必要はない。また、ユーザの顔を予め登録しておけば、位置の関係の検出に関する精度が高くなる。
端末1(図1参照)を装着しているユーザ以外の顔は検知の対象から除外してもよい。例えばカメラ12で撮像された画像から検知される顔の大きさが予め定めた面積又は画素数を満たさない場合、表示部11を観察している人の顔ではないとみなして、位置の関係の検知から除外してもよい。もっとも、測距センサが搭載されている場合には、人の顔と認識された物体までの距離の情報を測距センサから取得し、物理的な距離が閾値を超える場合には、表示部11を観察しているユーザから除外してもよい。
ユーザの顔の向きとカメラ12との位置の関係が検知されると、CPU101は、表示部11のうち、ユーザによる観察が可能な表示部の範囲を特定する(ステップ2)。
本実施の形態の場合、表示部11の表面は湾曲している。このため、ユーザの顔の向きと表示部11との位置の関係によっては、表示部11の全部の観察が可能とは限らない。例えば湾曲した表示面を有する表示部11のうちユーザから見て死角に位置する部分の観察は行えない。そこで、CPU101は、検知されたユーザの顔の向きとカメラ12の位置の関係から、ユーザによる観察が可能な範囲を特定する。具体的には、表示部11の曲率も含めて、観察が可能な範囲を特定する。
ユーザによる観察が可能な範囲が特定されると、CPU101は、特定された範囲の中央付近に、時刻の情報を配置する(ステップ3)。ここでの時刻の情報は、ユーザが予め指定した情報の一例である。
本実施の形態の場合、ユーザが予め定めた情報は、表示部11のうちユーザの観察が容易な位置、すなわちユーザから観察が可能な範囲の中央付近に配置される。図1では、時刻の情報を例示しているが、観察が可能な範囲の中央付近に配置される情報は、ユーザが自由に指定することが可能である。例えば電話、メール、天気予報、交通情報、カレンダー等を指定することも可能である。
ユーザから観察が可能な範囲の中央付近に配置される情報は、優先的に観察することをユーザが望んだ情報である。
本実施の形態では、ユーザから観察が可能な範囲の中央付近に配置される情報を、優先度が高い情報とも呼ぶ。なお、優先度が高い情報以外の情報を、優先度が低い情報と呼ぶ。優先度は、事前にユーザが指定する。なお、ユーザによる優先度の指定は、観察が可能な領域の中央付近に配置したい情報だけとし、優先度が指定されていない情報は、優先度が低い情報とみなしてもよい。
本実施の形態の場合、優先度が高い情報は1つであるが、優先度が高い情報は複数でもよい。優先度が高い情報が複数の場合も、観察が可能な範囲の中央付近に、対象とする複数の情報を優先的に配置する。
なお、予め定めた複数の情報の中で優先する順位が指定されている場合には、優先度が高い情報ほど、観察が可能な範囲の中央寄りに配置してもよい。
優先度が設定されていない場合、観察が可能な範囲の中央付近に該当する情報の表示に必要な領域を確保し、その領域内で均等に情報を配置してもよい。
情報の配置は、時間の経過に伴って予め定めた規則に従って変更してもよい。例えば配置を入れ替えてもよいし、予め定めた方向に循環的に配置を移動させてもよい。
なお、ユーザから観察が可能な範囲の中央付近に配置される情報のサイズは、ユーザによる観察が可能な表示部の範囲の広さに応じて変更してもよい。例えば観察が可能な範囲に比例して、中央付近に配置される情報の表示を拡大又は縮小してもよい。ここでの表示の拡大又は縮小は、例えばアイコンのサイズやフォントのサイズの変更により実現される。
本実施の形態の場合、観察が可能な範囲の広さは、表示面の円周方向の長さ又は角度により特定する。もっとも、単純に情報の表示を縮小したのでは、情報の観察が難しくなる場合がある。このような場合には、予め定めたサイズ以下には表示が縮小されないようにしてもよい。同様に、情報の表示が予め定めたサイズ以上には拡大されないようにしてもよい。
一方で、情報の表示に用いるサイズは、ユーザから観察が可能な範囲によらず不変としてもよい。この際、情報の表示に必要なサイズに対して観察が可能な範囲が小さい場合には、スクロール操作によって情報の確認を可能としてもよい。
また、表示する情報の数を観察が可能な範囲に応じて増やしたり減らしたりしてもよい。
時刻の情報の配置が確定すると、CPU101は、特定された範囲の残りの領域に予め定めた規則に基づいて他の情報を配置する(ステップ4)。
ステップ4で配置される他の情報は、観察が可能な範囲の中央付近に配置する情報とは別に、ユーザが個別に設定してもよいし、端末1が予め定めた規則に従って定めてもよい。ユーザが設定する場合には、ユーザの設定が規則に基づく設定に優先される。
CPU101は、例えば他の情報を残りの領域に対して均等に割り付けるように各情報の配置を決定する。配置は、残りの領域の面積と、他の情報の内容に応じて決定されてもよい。
この後、CPU101は、決定した配置に応じて情報を表示する(ステップ5)。
<配置例>
以下では、図4〜図7を使用して、端末1を観察するユーザと端末1の表示部11との位置の関係に応じた情報の配置の違いについて説明する。
図4は、ユーザが左手に装着した端末1を観察する場合の姿勢と時刻の配置の関係を説明する図である。(A)は端末1を装着したユーザを正面から見た図であり、(B)は端末1を装着したユーザを側方から見た図であり、(C)はカメラ12で撮像される顔の画像と時刻に関する情報の配置を説明する図である。
図4におけるユーザは、端末1を装着した左手を胸の高さに持ち上げ、上方から端末1の表示部11を見下ろしている。このため、カメラ12で撮像された画像の中央付近には、ユーザの顔が写っている。
このカメラ12とユーザの顔の向きとの関係により、CPU101(図2参照)は、ユーザは、表示部11のほぼ全体の観察が可能であると特定する。図4の例では、表示部11の両端付近までを、観察が可能な範囲と特定している。このため、観察が可能な領域の中央付近は、カメラ12が位置する領域と重なっている。図4の例では、カメラ12に並んで時刻が表示されている。
図5は、観察が可能な領域の中央付近に表示される情報である時刻と他の情報の位置関係を説明する図である。図5の場合、他の情報は、「情報1」、「情報2」、「情報3」、「情報4」の4つである。図5の場合、時刻の表示の上方と下方のそれぞれに2つずつ他の情報が配置されている。
図6は、ユーザが左手に装着した端末1を観察する場合の姿勢と時刻の配置の他の関係を説明する図である。(A)は端末1を装着したユーザを正面から見た図であり、(B)は端末1を装着したユーザを側方から見た図であり、(C)はカメラ12で撮像される顔の画像と時刻に関する情報の配置を説明する図である。
図6におけるユーザは、端末1を装着した左手を顔の高さに持ち上げ、端末1の表示部11を側方から観察している。
このため、カメラ12で撮像された画像の下端付近に、ユーザの顔が写っている。図6の場合のユーザの顔とカメラ12の距離は、図4の場合のユーザの顔とカメラ12の距離よりも近い。図6の例では、カメラ12で撮像されたユーザの顔を、図4の場合よりも大きく表現している。
このカメラ12とユーザの顔の向きとの関係により、CPU101(図2参照)は、ユーザによる観察が可能な範囲は、表示部11のほぼ半分であると特定する。図6の例では、表示部11の手前側の約半分又は下端側の約半分を、観察が可能な範囲と特定している。
このため、観察が可能な領域の中央付近は、カメラ12と表示部11の下端との中間付近に位置している。図6の例では、カメラ12の位置よりも下方寄りに時刻が表示されている。
図7は、観察が可能な領域の中央付近に表示される情報である時刻と他の情報の位置関係を説明する図である。図7の場合も、他の情報は、「情報1」、「情報2」、「情報3」、「情報4」の4つである。図7の場合、時刻の表示の上方に3つの他の情報が配置され、時刻の表示の下方に1つ他の情報が配置されている。
<情報の配置等の変更>
以下では、表示部11に表示される情報の配置等を変更する操作と、操作に伴う配置等の変更の例を説明する。
<変更例1>
図8は、優先度が低い情報の配置の変更するための操作の例を説明する図である。(A)は操作を受け付ける前の配置を示し、(B)〜(E)は操作を受け付けた後の配置を示す。
図8の場合、ユーザは、優先度が高い情報である時刻以外の領域を長押ししながら下方にドラッグしている。
本実施の形態の場合、CPU101は、長押しされた領域が、観察が可能な領域として「特定された範囲の中央付近の領域」か「それ以外の領域」かを判定する。図8の例は、それ以外の領域が長押しされている。換言すると、優先度が低い情報が配置されている領域が長押しされている。
本実施の形態の場合、CPU101は、表示部11に表示されている優先度が低い情報の全てを対象として、配置の変更を受け付ける。
(A)における情報の配置は、上から順番に、「情報1−情報2−時刻−情報3−情報4」である。(A)の場合、ユーザは、「情報3」の領域を長押ししながら下方向にドラッグしている。その結果として、表示部11における情報の配置は、(B)に示す配置に変化する。具体的には、「情報4−情報1−時刻−情報2−情報3」の配置に変化する。
以下、ユーザによる長押しとドラッグのたび、優先度が低い4つの情報の配置が巡回的に移動する。なお、優先度が高い情報である時刻が表示される位置は固定のままである。
なお、図8の例では、優先度が低い情報の全てが移動の対象となっているが、長押しされている領域に表示されている情報だけを、ユーザがドラッグした方向の情報と入れ替えるように移動させてもよい。
<変更例2>
図9は、優先度が高い情報の配置を変更するための操作の例を説明する図である。(A)は操作を受け付ける前の配置を示し、(B)は操作を受け付けた後の配置を示す。
ユーザによる観察が可能な範囲のうちの中央付近は、ユーザによる観察が他の領域に比べて容易なはずであるが、ユーザが他の位置への配置を望む可能性もある。
図9の場合、ユーザは、優先度が高い情報である時刻の領域を長押ししながら下方にドラッグしている。
本実施の形態では、優先度が高い情報である時刻の領域が長押しされているので、CPU101は、優先度が高い情報の配置の変更を受け付ける。
(A)における情報の配置は、上から順番に、「情報1−情報2−時刻−情報3−情報4」である。(A)の場合、ユーザは、「時刻」の領域を長押ししながら下方向にドラッグしている。その結果として、表示部11における情報の配置は、(B)に示す配置に変化する。具体的には、「情報1−情報2−情報3−時刻−情報4」の配置に変化する。
図9の場合、長押しされている「時刻」の配置が、ユーザがドラッグした方向の「情報3」と入れ替えるように移動される。
図10は、優先度が高い情報の配置を変更するための操作の他の例を説明する図である。(A)は操作を受け付ける前の配置を示し、(B)は操作を受け付けた後の配置を示す。
図10の場合、ユーザは、優先度が高い情報である時刻の領域を長押ししながら上方にドラッグしている。
図10の場合も、(A)における情報の配置は、上から順番に、「情報1−情報2−時刻−情報3−情報4」である。ユーザが「時刻」の領域を長押ししながら上方向にドラッグした結果、表示部11における情報の配置は、(B)に示す配置に変化する。具体的には、「情報1−時刻−情報2−情報3−情報4」の配置に変化する。
図10の場合も、長押しされている「時刻」の配置が、ユーザがドラッグした方向の「情報2」と入れ替えるように移動される。
<変更例3>
図11は、優先度の高い情報の表示の形態の変更を受け付ける操作の例を説明する図である。(A)は操作を受け付ける前の表示の形態を示し、(B)は操作を受け付けた後の表示の形態を示す。
図11の場合、ユーザは、優先度が高い情報である時刻の領域を2回タップしている。CPU101は、2回タップを表示の形態の変更と認識する。図11の場合は、2回タップがあると、時刻の情報の表示に用いるフォントサイズの変更と配置の変更として認識する。
(B)に示す例では、表示部11の中央付近に表示されている時刻のフォントサイズを小さくし、同じ領域内の左上隅に表示させている。また、時刻が表示されていた領域には、予め指定しておいたアプリの画像が表示されている。アプリの画像には、例えばインターネットからストリーミングされる画像、ウェブページの画像、着信した電話の画像がある。
なお、もう一度、アプリの画像を2回タップすると、元の時刻の表示に戻る。
なお、電話やメールが着信した場合には、ユーザの操作が無くても、電話やメールの着信を示す画像が表示部11の中央付近に表示され、優先度が高い情報である時刻は、(B)に示すように、画像サイズを縮小して同じ領域内の一部に表示してもよい。
<実施の形態2>
前述の実施の形態の場合、ユーザに装着された状態の表示部11のうちユーザから観察が可能な範囲の検知に、カメラ12(図1参照)で撮像された画像を用いたが、本実施の形態では、円筒状の本体10(図1参照)の内壁面のうち、ユーザの身体の一部が接触している部位を基準にユーザによる観察が可能な領域を特定する。
<装置構成>
図12は、実施の形態2で使用するウェアラブル型の端末1Aの例を説明する図である。(A)は端末1Aの斜視図であり、(B)は端末1Aの側面図であり、(C)は装着例である。図12には、図1との対応部分に対応する符号を付して示している。
本実施の形態で使用する端末1Aは、手首に装着して使用される。本体10は、概略円筒である。
ただし、本実施の形態における本体10の内径は、装着する部位である手首の径に対して大きい。具体的には、本体10の開口に手を通して装着することが可能である。このため、本体10を変形しなくても、手首への装着が可能である。また、装着した状態の本体10と手首との位置は固定されていない。換言すると、本体10は、手首の円周方向に沿って自由に回転することが可能である。
本実施の形態における端末1Aの表示部11は、概略環状である。換言すると、表示部11は、円筒状の本体10のほぼ全周にわたって設けられている。このため、ユーザによる観察が可能な範囲は、円筒形状のうちユーザに面している範囲に限られる。しかし、本実施の形態における端末1Aの場合、ユーザに面している範囲が定まらない。
本実施の形態の場合、本体10の内周面、すなわち表示部11が設けられている外周面とは反対側の面には、接触センサ13が等間隔に配置されている。図12の場合、12個の接触センサ13が等間隔に配置されている。本実施の形態では、この接触センサ13が身体との接触を検知した部位の反対側の位置が鉛直上方を向いていると仮定する。
図13は、ウェアラブル型の端末1Aの信号系の構成の例を説明する図である。図13には、図2との対応部分に対応する符号を付して示している。
端末1Aは、装置の全体を制御するCPU101と、プログラムやデータを記憶する半導体メモリ102と、外部との通信に用いる通信モジュール103と、装着したユーザの動きや姿勢を検知する6軸センサ104と、情報を表示する表示パネル105と、表示パネル105に対するユーザの操作を検知する静電容量式フィルムセンサ106と、接触センサ13と、マイク107と、スピーカ108とを有している。
端末1Aの場合、カメラ12(図1参照)に代えて接触センサ13が用いられる点で、実施の形態1の端末1と相違する。接触センサ13には、例えば皮膚との接触を物理的なスイッチのオンオフにより検知するセンサ、皮膚との接触による電気的な抵抗の変化を検知するセンサ、明るさの変化により検知するセンサ、圧力を検知する感圧センサ、皮膚の温度を検知する温度センサ、皮膚との接触による湿度の変化を検知する湿度センサを使用する。
<処理動作>
図14は、実施の形態2の端末1Aで実行される処理動作の一例を説明する図である。なお、図14では、表示部11(図12参照)に表示する情報の配置を決定する処理動作について説明する。なお、図14には、図3との対応部分に対応する符号を付して示している。図中に示す記号のSはステップを意味する。
本実施の形態の場合、CPU101(図12参照)は、接触を検知している接触センサ13があるか否かを判定している(ステップ11)。
端末1Aが装着されていない場合、CPU101は、ステップ11で否定結果を出力し続ける。ステップ11で否定結果が得られている間、CPU101は、ステップ11の判定を繰り返す。
ユーザが端末1Aを手首に装着し、いずれかの接触センサ13がユーザの身体の一部と接触すると、ステップ11で肯定結果が得られる。
ステップ11で肯定結果が得られると、CPU101は、ユーザの身体と接触している接触センサ13の位置を検知する(ステップ12)。接触が検知された接触センサ13の数は1つとは限らず、複数の場合もある。
次に、CPU101は、ユーザとの接触が検知された接触センサ13の位置を基準に、ユーザによる観察が可能な範囲を特定する(ステップ13)。本実施の形態の場合、接触が検知された接触センサ13が設けられている位置の反対側の表示面を上から見下ろすように、ユーザが表示部11を観察するものと仮定して、ユーザによる観察が可能な範囲を特定する。
なお、接触が検知された接触センサ13が複数の場合、本体10の円周方向における複数の位置の真ん中を計算し、計算された位置を基準に観察が可能な範囲を特定する。観察が可能な範囲の外延は、表示部11の曲率に応じて計算される。
次に、CPU101は、特定された範囲の中央付近に、時刻の情報を配置する(ステップ3)。その後、CPU101は、特定された範囲の残りの領域に予め定めた規則に基づいて他の情報を配置し(ステップ4)、決定した配置に応じて情報を表示する(ステップ5)。
以下、図15及び図16を用いて、本実施の形態における観察が可能な範囲の特定の例を説明する。
図15は、本体10に印字されているマークが上側に位置している場合における観察が可能な範囲の設定例を説明する図である。(A)は装着例を示し、(B)は手首と接触している位置と観察が可能な範囲の関係を示す。
図16は、本体10に印字されているマークが下側に位置している場合における観察が可能な範囲の設定例を説明する図である。(A)は装着例を示し、(B)は手首と接触している位置と観察が可能な範囲の関係を示す。
本実施の形態で使用する端末1Aの場合には、本体10の全周を表示面とするため、手首と接触している位置が鉛直上方にあるものとして、観察が可能な範囲が設定される。
図15の場合と図16の場合とで、印字されているマークの位置が異なっている。
本実施の形態の場合には、マークが印字されている部位が手首に対してどの位置にあっても、ユーザによる観察が可能な範囲の中央付近に時刻が表示されている。このため、ユーザは、端末1Aの装着の位置を気にすることなく、いつでも、優先度が高い情報に指定した時刻の確認が可能になる。
<実施の形態3>
実施の形態2の場合には、接触センサ13(図12参照)が接触を検知した位置を基準にユーザによる観察が可能な範囲を特定しているが、カメラ12(図1参照)で撮像された画像の情報との組み合わせによりユーザによる観察が可能な範囲を特定してもよい。
図17は、実施の形態3で使用するウェアラブル型の端末1Bの例を説明する図である。(A)は端末1Bの斜視図であり、(B)は端末1Bの側面図であり、(C)は装着例である。図17には、図1と図12との対応部分に対応する符号を付して示している。
図18は、ウェアラブル型の端末1Bの信号系の構成の例を説明する図である。端末1Bは、装置の全体を制御するCPU101と、プログラムやデータを記憶する半導体メモリ102と、外部との通信に用いる通信モジュール103と、装着したユーザの動きや姿勢を検知する6軸センサ104と、情報を表示する表示パネル105と、表示パネル105に対するユーザの操作を検知する静電容量式フィルムセンサ106と、カメラ12と、接触センサ13と、マイク107と、スピーカ108とを有している。
図19は、実施の形態3の端末1Bで実行される処理動作の一例を説明する図である。なお、図19には、図3及び図14との対応部分に対応する符号を付して示している。図中に示す記号のSはステップを意味する。
本実施の形態の場合、まず、CPU101は、接触を検知している接触センサ13があるか否かを判定し(ステップ11)、接触が検知された場合、ユーザの身体と接触している接触センサ13の位置を検知する(ステップ12)。
この後、CPU101は、カメラ12に人の顔が写っているか否かを判定する(ステップ21)。
本実施の形態の場合、本体10は手首に対して向きが自由に変更可能であるのに、カメラ12は1つしか設けられていないためである。
カメラ12に人の顔が写っている場合、CPU101は、ステップ21で肯定結果を得る。この場合、CPU101は、実施の形態1と同様、カメラ12で撮像された画像からユーザの顔の向きとカメラ12との位置の関係を検知する(ステップ1)。この後、CPU101は、ユーザによる観察が可能な表示部11の範囲を特定する(ステップ2)。
一方、カメラ12に人の顔が写っていない場合、CPU101は、ステップ21で否定結果を得る。この場合、CPU101は、ユーザとの接触が検知された接触センサ13の位置を基準に、ユーザによる観察が可能な範囲を特定する(ステップ13)。この後の処理は、実施の形態1や実施の形態2と同じになる。
本実施の形態の場合、カメラ12に人の顔が写っていなくても、ユーザによる観察が可能な可能性が高い範囲の中央付近に時刻を表示することが可能になる。ただし、接触を検知している接触センサ13の位置を基準とする方法は、接触が検知された位置をユーザが見下ろしながら観察する場合を仮定している。このため、ユーザが端末1Bを実際に観察する位置が仮定と異なる場合、表示される時刻の観察が必ずしも容易とは限らなくなる。そこで、本実施の形態では、本体10に設けられているカメラ12で撮像された画像にユーザが写り込んでいる場合、カメラ12の画像を使用して観察が容易な位置に確実に時刻を表示する。
<実施の形態4>
前述の実施の形態で説明した端末1(図1参照)、端末1A(図12参照)、端末1B(図17参照)は、いずれも本体10の形状が大きく変化しない場合を想定していたが、本実施の形態では、本体10の形状の変形の自由度が大きい場合について説明する。
図20は、実施の形態4で使用するウェアラブル型の端末1Cの例を説明する図である。(A)は端末1Cの基本的な形状を示し、(B)は端末1Cを変形した後の形状を示す。図20には、図1との対応部分に対応する符号を付して示している。
本実施の形態における本体10は、例えば平板形状で使用することも可能であるし、側面から見た形状をアルファベットのCに変形させた状態で使用することも可能であるし、アルファベットのJに変形させて使用することも可能である。
図20では、表示部11が凸側になるように変形しているが、表示部11が凹側になるように変形が可能でもよい。
なお、表示部11は、本体10と一体に変形が可能な柔軟性を有している。ここでの表示部11は、変形が可能な表示デバイスの一例である。
本実施の形態の場合、ユーザによる観察が可能な範囲の特定には、カメラ12の他、接触センサ13も使用する。
<実施の形態5>
前述の実施の形態では、情報を表示する表示部11を有する端末1(図1参照)、端末1A(図12参照)、端末1B(図17参照)、端末1C(図20参照)について説明したが、本実施の形態では、表示部11に代えてプロジェクタを使用する場合について説明する。
図21は、実施の形態5で使用するウェアラブル型の端末1Dの例を説明する図である。(A)は端末1Dを伸ばした状態の斜視図であり、(B)は端末1Dを変形した状態の斜視図である。
本実施の形態で使用する端末1Dも、手首に装着して使用される。
本実施の形態における端末1Dは、手首に巻き付けが可能な長さを有する棒状の本体20を有している。本実施の形態の場合、本体20は、直方体である。
本体20のうち手首に巻きつけたときに表面となる面にカメラ21が2つ設けられ、腕側に取り付けられる側面にはプロジェクタ22が2つ設けられている。
カメラ21とプロジェクタ22は一組である。本実施の形態の場合、端部からの距離が同じ位置に一組のカメラ21とプロジェクタ22が設けられている。2つのカメラ21は、装着者であるユーザの顔の位置を検知する目的で設けられている。また、2つのプロジェクタ22は、情報をユーザの腕に投影する目的で設けられている。
2つのカメラ21は、手首に巻き付けたときに手の平側の腕に画像を投影するプロジェクタ22と、手の甲側の腕に画像を投影するプロジェクタ22とにそれぞれ対応している。
プロジェクタ22より下の位置には、ユーザの腕に投影された画像に対するユーザの操作を検知するための複数個の赤外線センサ23が一列に配列されている。赤外線センサ23が配列される範囲は、ユーザの腕に投影される画像の幅に応じて定められている。
図22は、赤外線センサ23から出力される赤外光の出力例を示す図である。図22の場合、右端から3つ目の赤外光を指先が横切っている。指先で反射された赤外光は赤外線センサ23に反射され、ユーザの操作として検知される。例えば対応位置に操作用のボタン等が投影されている場合、該当する位置のボタンに対する操作が検知される。
図23は、ウェアラブル型の端末1Dの信号系の構成の例を説明する図である。図23には、図2との対応部分に対応する符号を付して示している。
端末1Dは、装置の全体を制御するCPU101と、プログラムやデータを記憶する半導体メモリ102と、外部との通信に用いる通信モジュール103と、装着したユーザの動きや姿勢を検知する6軸センサ104と、情報を投影するプロジェクタ22と、ユーザの操作を検知する赤外線センサ23と、カメラ21と、マイク107と、スピーカ108とを有している。
本実施の形態におけるCPU101は、プログラムの実行を通じ、プロジェクタ22により投影される情報の配置を決定する。CPU101は、プロセッサの一例である。
図24は、実施の形態5の端末1Dで実行される処理動作の一例を説明する図である。なお、図24には、図3との対応部分に対応する符号を付して示している。図中に示す記号のSはステップを意味する。
本実施の形態の場合、CPU101(図23参照)は、カメラ21で撮像された画像からユーザの顔が写っているカメラ21の位置を検知する(ステップ31)。本実施の形態の場合、CPU101は、手首に巻きつけた場合の甲側に位置するカメラ21か手の平側に位置するカメラ21のいずれかにユーザの顔が写っているかを検知する。
カメラ21の位置が特定されると、CPU101は、ユーザによる観察が可能な位置に表示面を投影可能なプロジェクタ22を特定する(ステップ32)。カメラ21とプロジェクタ22は組であるので、カメラ21の位置が決まると、プロジェクタ22の位置も決まる。
次に、CPU101は、特定されたプロジェクタ22が投影する表示面の中央付近に、時刻の情報を配置する(ステップ33)。
時刻の情報の配置が確定すると、CPU101は、特定された範囲の残りの領域に予め定めた規則に基づいて他の情報を配置する(ステップ34)。
この後、CPU101は、決定した配置に応じて情報を表示する(ステップ5)。
図25は、実施の形態5の端末1Dの使用例を説明する図である。(A)はプロジェクタ22による表示面の投影前の状態を示し、(B)はプロジェクタ22が手の平側に表示面を投影する例を示し、(C)はプロジェクタ22が手の甲側に表示面を投影する例を示す。
本実施の形態の場合、ユーザの顔が写っているカメラ21と対をなすプロジェクタ22から表示面を投影し、投影された表示面の中央付近に時刻を配置している。
なお、(B)は電話の着信があったために、時刻の表示が表示領域の左上隅に縮小表示された状態を表している。
<他の実施の形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、ユーザによる観察が可能な範囲を有するカメラ12(図1参照)や接触センサ13を用いて検知しているが、本体10が変形した位置を検知する変形検知センサを用いてユーザによる観察が可能な範囲を特定してもよい。変形検知センサには、例えば伸縮性を有するひずみセンサ、圧力センサを用いる。例えば歪が大きい部分を湾曲した部位と検知し、湾曲した部位を観察が可能な範囲の基準の位置として使用してもよい。
また、前述の実施の形態では、端末1(図1参照)等を手首に装着するデバイスの例を説明したが、腕に装着するデバイス、首に装着するデバイス、足首、ふくらはぎ、太ももその他の脚の各部に装着するデバイス、腹や胸に装着するデバイスにも応用が可能である。
また、前述の実施の形態では、人体に装着された状態における表示面が装着先の部位を概略半周する面積を有する場合について述べたが、表示面が曲面を有するために、観察する位置によって見え易さが異なる表示部11であればよい。
なお、前述した各実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ(例えばCPU(=Central Processing Unit)等)の他、専用的なプロセッサ(例えばGPU(=Graphical Processing Unit)、ASIC(=Application Specific Integrated Circuit)、FPGA(=Field Programmable Gate Array)、プログラム論理デバイス等)を含む。
また、前述した各実施の形態におけるプロセッサの動作は、1つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
1、1A、1B、1C、1D…端末、10、20…本体、11…表示部、12、21…カメラ、13…接触センサ、22…プロジェクタ、23…赤外線センサ

Claims (16)

  1. プロセッサを有し、
    前記プロセッサは、
    ユーザに装着された状態の表示面のうちユーザから観察が可能な範囲を検知し、当該範囲の中央を含む領域に予め定めた情報を表示させる、
    情報処理装置。
  2. 前記プロセッサは、前記表示面が設けられている位置と、撮像デバイスが設けられている位置と、当該撮像デバイスで撮像された画像から特定されるユーザの顔の向きとの関係により、前記範囲を検知する、請求項1に記載の情報処理装置。
  3. 前記プロセッサは、ユーザの顔の向きとしてユーザの視線の方向を検知する、請求項2に記載の情報処理装置。
  4. 前記プロセッサは、ユーザに装着された状態で前記表示面の裏面側がユーザの身体に接触している部位を特定し、当該部位を基準に前記範囲を検知する、請求項1に記載の情報処理装置。
  5. 前記プロセッサは、前記部位に対応する位置を前記範囲の中央に決定する、請求項4に記載の情報処理装置。
  6. 前記プロセッサは、前記部位と、撮像デバイスが設けられている位置と、当該撮像デバイスで撮像された画像から特定されるユーザの顔の向きとの関係により前記範囲を検知する、請求項4に記載の情報処理装置。
  7. ユーザに装着された状態の前記表示面は、装着される部位に応じた曲面を有する、請求項1に記載の情報処理装置。
  8. 前記表示面は、変形可能な表示デバイスに設けられる、請求項7に記載の情報処理装置。
  9. 前記表示面は、筒状の部材の表面に取り付けられている、請求項7に記載の情報処理装置。
  10. 前記予め定めた情報は時刻に関する情報である、請求項1に記載の情報処理装置。
  11. 前記予め定めた情報は通信に関する情報である、請求項1に記載の情報処理装置。
  12. 前記予め定めた情報が表示される位置は、ユーザの操作により移動が可能である、請求項1に記載の情報処理装置。
  13. 前記予め定めた情報が表示される領域の外側に配置される情報の表示の位置は、ユーザの操作により移動が可能である、請求項1に記載の情報処理装置。
  14. 前記プロセッサは、
    前記予め定めた情報の表示上のサイズを、ユーザから観察が可能な前記範囲の広さに応じて変更する、請求項1に記載の情報処理装置。
  15. 前記プロセッサは、
    前記予め定めた情報の表示する数を、ユーザから観察が可能な前記範囲の広さに応じて変更する、請求項1に記載の情報処理装置。
  16. コンピュータに、
    ユーザに装着された状態の表示面のうちユーザから観察が可能な範囲を検知し、当該範囲の中央を含む領域に予め定めた情報を表示させる機能
    を実現させるプログラム。
JP2020098493A 2020-06-05 2020-06-05 情報処理装置及びプログラム Pending JP2021192157A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020098493A JP2021192157A (ja) 2020-06-05 2020-06-05 情報処理装置及びプログラム
US17/109,756 US20210382617A1 (en) 2020-06-05 2020-12-02 Information processing apparatus and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020098493A JP2021192157A (ja) 2020-06-05 2020-06-05 情報処理装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2021192157A true JP2021192157A (ja) 2021-12-16

Family

ID=78818368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020098493A Pending JP2021192157A (ja) 2020-06-05 2020-06-05 情報処理装置及びプログラム

Country Status (2)

Country Link
US (1) US20210382617A1 (ja)
JP (1) JP2021192157A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023136238A (ja) * 2022-03-16 2023-09-29 株式会社リコー 情報表示システム、情報表示方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8988349B2 (en) * 2012-02-28 2015-03-24 Google Technology Holdings LLC Methods and apparatuses for operating a display in an electronic device
WO2015006196A1 (en) * 2013-07-11 2015-01-15 Mophie, Inc. Method and system for communicatively coupling a wearable computer with one or more non-wearable computers
US9715363B2 (en) * 2014-03-27 2017-07-25 Lenovo (Singapore) Pte. Ltd. Wearable device with public display and private display areas
WO2016080557A1 (ko) * 2014-11-17 2016-05-26 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
TWI606366B (zh) * 2015-01-05 2017-11-21 金寶電子工業股份有限公司 穿戴式裝置、其顯示方法及其控制方法
KR102354505B1 (ko) * 2015-03-03 2022-01-21 삼성디스플레이 주식회사 착용형 표시 장치
CN108027589B (zh) * 2015-07-31 2020-09-01 宋永僖 在带上安装有柔性半导体封装的可穿戴智能设备
EP3384338A1 (en) * 2015-12-04 2018-10-10 KOC Universitesi Physical object reconstruction through a projection display system
US11314399B2 (en) * 2017-10-21 2022-04-26 Eyecam, Inc. Adaptive graphic user interfacing system
US10678335B2 (en) * 2018-01-08 2020-06-09 Facebook Technologies, Llc Methods, devices, and systems for creating haptic stimulations and tracking motion of a user
US11417296B2 (en) * 2018-03-13 2022-08-16 Sony Corporation Information processing device, information processing method, and recording medium
JP7155808B2 (ja) * 2018-09-25 2022-10-19 富士フイルムビジネスイノベーション株式会社 ウェアラブル装置、及び制御プログラム
US20210373601A1 (en) * 2020-05-27 2021-12-02 Telefonaktiebolaget Lm Ericsson (Publ) Curved Touchscreen Adaptive UI

Also Published As

Publication number Publication date
US20210382617A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
US10983593B2 (en) Wearable glasses and method of displaying image via the wearable glasses
US11340560B2 (en) Information processing apparatus, control method, and program
ES2959643T3 (es) Método de fotografía y terminal móvil
KR102138503B1 (ko) 스마트 워치
CN106663410B (zh) 头戴式显示器上的信息显示
JP6693626B1 (ja) ディスプレイ付マスク
US20150195926A1 (en) Method and an electronic device for automatically changing shape based on an event
US20150054730A1 (en) Wristband type information processing apparatus and storage medium
JP2012231309A (ja) 携帯型無線端末
JP2021192157A (ja) 情報処理装置及びプログラム
JP6353050B2 (ja) 着用装置への通知の表示の生成
JP2016177568A (ja) 表示装置及び情報表示方法、情報表示プログラム
EP3010252A1 (en) A necklace apparatus
US20230359422A1 (en) Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques
JPWO2019003387A1 (ja) 携帯端末
TWI461815B (zh) 電子裝置
US10503278B2 (en) Information processing apparatus and information processing method that controls position of displayed object corresponding to a pointing object based on positional relationship between a user and a display region
US20200348749A1 (en) Information processing apparatus, information processing method, and program
JP2002268815A (ja) ヘッドマウントディスプレー装置
CN113282207B (zh) 菜单展示方法、装置、设备、存储介质及产品
US20210072827A1 (en) Line-of-sight input device, method of line-of-sight input, and line-of-sight input system
JP2014127830A (ja) 情報処理装置およびプログラム
JP2019125850A (ja) 電子機器、その制御方法、およびプログラム、並びに記憶媒体
JP2015075688A (ja) 映像表示装置
ITMO20120269A1 (it) Presby lens screen