JP2023127872A - Display unit and display method - Google Patents

Display unit and display method Download PDF

Info

Publication number
JP2023127872A
JP2023127872A JP2022031817A JP2022031817A JP2023127872A JP 2023127872 A JP2023127872 A JP 2023127872A JP 2022031817 A JP2022031817 A JP 2022031817A JP 2022031817 A JP2022031817 A JP 2022031817A JP 2023127872 A JP2023127872 A JP 2023127872A
Authority
JP
Japan
Prior art keywords
display
user
angle
line
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022031817A
Other languages
Japanese (ja)
Inventor
久 小磯
Hisashi Koiso
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2022031817A priority Critical patent/JP2023127872A/en
Priority to PCT/JP2023/006109 priority patent/WO2023167048A1/en
Publication of JP2023127872A publication Critical patent/JP2023127872A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To reduce a user's sense of discomfort when rotating a display object on a display.SOLUTION: A display unit comprises: a display; a face angle detection unit that detects a face angle being an angle between the display and the face of a user; a line of sight and eyelid opening and closing detection unit that detects at least one of the user's line of sight and eyelid opening and closing motion; and a display control unit that adjusts a display angle of a display object by rotating the display object centered on a reference position of the display according to a result of detection of the face angle, determines whether the user is in a predetermined non-visual recognition state based on at least one of the user's line of sight and eyelid opening and closing motion, and when determining that the user is in the non-visual recognition state, does not rotate the display object.SELECTED DRAWING: Figure 9

Description

本発明は、表示装置及び表示方法に関する。 The present invention relates to a display device and a display method.

表示部と使用者の顔との間の角度に応じて表示対象を回転させる表示装置が知られている（例えば、特許文献１参照）。 2. Description of the Related Art A display device is known that rotates a display target depending on the angle between a display unit and a user's face (for example, see Patent Document 1).

特開２０１５－１６７０１０号公報Japanese Patent Application Publication No. 2015-167010

特許文献１に記載の表示装置では、例えば使用者が目を閉じている場合、使用者が表示部から視線を外している場合等、使用者が表示部を見ていないときに表示対象が回転する場合がある。この場合、使用者に対して違和感を与える可能性がある。 In the display device described in Patent Document 1, the display target rotates when the user is not looking at the display unit, such as when the user closes his or her eyes or when the user takes his/her line of sight away from the display unit. There are cases where In this case, the user may feel uncomfortable.

本発明は、上記に鑑みてなされたものであり、表示部の表示対象を回転させる場合に、使用者に与える違和感を低減することが可能な表示装置及び表示方法を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a display device and a display method that can reduce the sense of discomfort given to a user when rotating a display target on a display unit. .

本発明に係る表示装置は、表示部と、前記表示部と使用者の顔との間の角度である顔角度を検出する顔角度検出部と、前記使用者の視線及び瞼開閉動作の少なくとも一方を検出する視線瞼開閉検出部と、前記顔角度の検出結果に応じて前記表示部の基準位置を中心として表示対象を回転させることで前記表示対象の表示角度を調整し、前記使用者の視線及び瞼開閉動作の少なくとも一方に基づいて前記使用者が所定の非視認状態であるか否かを判定し、前記非視認状態であると判定した場合には前記表示対象を回転させないようにする表示制御部とを備える。 The display device according to the present invention includes a display section, a face angle detection section that detects a face angle that is an angle between the display section and the user's face, and at least one of the user's line of sight and eyelid opening/closing motion. a visual eyelid opening/closing detection unit that detects the user's line of sight, and adjusts the display angle of the display target by rotating the display target around the reference position of the display unit according to the detection result of the face angle; and a display that determines whether or not the user is in a predetermined non-visible state based on at least one of the eyelid opening/closing operations, and if it is determined that the user is in the non-visible state, the display target is not rotated. and a control section.

本発明に係る表示方法は、表示部と使用者の顔との間の角度である顔角度を検出することと、前記使用者の視線及び瞼開閉動作の少なくとも一方を検出することと、前記顔角度の検出結果に応じて前記表示部の基準位置を中心として表示対象を回転させることで前記表示対象の表示角度を調整し、前記使用者の視線及び瞼開閉動作の少なくとも一方に基づいて前記使用者が所定の非視認状態であるか否かを判定し、前記非視認状態であると判定した場合には前記表示対象を回転させないようにすることとを含む。 A display method according to the present invention includes detecting a face angle that is an angle between a display unit and a user's face, detecting at least one of the user's line of sight and eyelid opening/closing motion, and The display angle of the display object is adjusted by rotating the display object around the reference position of the display unit according to the angle detection result, and the display angle of the display object is adjusted based on at least one of the user's line of sight and eyelid opening/closing movement. determining whether or not the person is in a predetermined non-visible state, and not rotating the display target if it is determined that the person is in the non-visible state.

本発明によれば、表示部の表示対象を回転させる場合に、使用者に与える違和感を低減することができる。 According to the present invention, it is possible to reduce the sense of discomfort given to the user when rotating the display target on the display unit.

図１は、第１実施形態に係る表示装置の一例を示す模式図である。FIG. 1 is a schematic diagram showing an example of a display device according to the first embodiment. 図２は、第１実施形態に係る表示装置の一例を示す機能ブロック図である。FIG. 2 is a functional block diagram showing an example of the display device according to the first embodiment. 図３は、第１実施形態に係る表示方法の一例を示す図である。FIG. 3 is a diagram illustrating an example of the display method according to the first embodiment. 図４は、第１実施形態に係る表示方法の一例を示す図である。FIG. 4 is a diagram illustrating an example of the display method according to the first embodiment. 図５は、第１実施形態に係る表示方法の一例を示す図である。FIG. 5 is a diagram illustrating an example of the display method according to the first embodiment. 図６は、第１実施形態に係る表示方法の一例を示す図である。FIG. 6 is a diagram illustrating an example of the display method according to the first embodiment. 図７は、第１実施形態に係る表示方法の一例を示す図である。FIG. 7 is a diagram illustrating an example of the display method according to the first embodiment. 図８は、第１実施形態に係る表示装置の動作の流れを示すフローチャートである。FIG. 8 is a flowchart showing the operation flow of the display device according to the first embodiment. 図９は、第２実施形態に係る表示装置の一例を示す機能ブロック図である。FIG. 9 is a functional block diagram showing an example of a display device according to the second embodiment. 図１０は、第２実施形態に係る表示方法の一例を示す図である。FIG. 10 is a diagram illustrating an example of a display method according to the second embodiment. 図１１は、第２実施形態に係る表示方法の一例を示す図である。FIG. 11 is a diagram illustrating an example of a display method according to the second embodiment. 図１２は、第２実施形態に係る表示方法の一例を示す図である。FIG. 12 is a diagram illustrating an example of a display method according to the second embodiment. 図１３は、使用者の視線及び瞼開閉動作の検出対象と、当該検出対象を検出した場合の表示の制御内容との関係の一例を示す図である。FIG. 13 is a diagram illustrating an example of the relationship between detection targets of the user's line of sight and eyelid opening/closing movements, and display control details when the detection targets are detected. 図１４は、第２実施形態に係る表示装置の動作の流れを示すフローチャートである。FIG. 14 is a flowchart showing the flow of operations of the display device according to the second embodiment.

以下、本発明に係る表示装置及び表示方法の実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。 Embodiments of a display device and a display method according to the present invention will be described below based on the drawings. Note that the present invention is not limited to this embodiment. Furthermore, the constituent elements in the embodiments described below include those that can be easily replaced by those skilled in the art, or those that are substantially the same.

［第１実施形態］
図１は、第１実施形態に係る表示装置１００の一例を示す模式図である。図２は、第１実施形態に係る表示装置１００の一例を示す機能ブロック図である。図１に示すように、表示装置１００は、筐体１０と、表示部２０と、撮影部３０と、制御部４０とを有する。表示装置１００は、例えばスマートフォン、タブレット等の携帯型情報端末であってもよい。 [First embodiment]
FIG. 1 is a schematic diagram showing an example of a display device 100 according to the first embodiment. FIG. 2 is a functional block diagram showing an example of the display device 100 according to the first embodiment. As shown in FIG. 1, the display device 100 includes a housing 10, a display section 20, a photographing section 30, and a control section 40. The display device 100 may be, for example, a portable information terminal such as a smartphone or a tablet.

筐体１０は、表示部２０、撮影部３０及び制御部４０を保持する。筐体１０には、例えば使用者の歩行を検出可能な不図示の加速度センサ等が設けられてもよい。 The housing 10 holds a display section 20, a photographing section 30, and a control section 40. The housing 10 may be provided with an acceleration sensor (not shown) that can detect the user's walking, for example.

表示部２０は、静止画、動画等の画像情報、文字等のテキスト情報を表示可能である。表示部２０は、例えば液晶パネル等のディスプレイが用いられる。表示部２０は、後述する顔角度を検出する際に用いられる所定の基準方向が設定される。例えば表示部２０が矩形状である場合、基準方向は直交する２辺の一方とすることができる。 The display unit 20 can display image information such as still images and moving images, and text information such as characters. For the display unit 20, a display such as a liquid crystal panel is used, for example. The display unit 20 is set with a predetermined reference direction used when detecting a face angle, which will be described later. For example, when the display section 20 is rectangular, the reference direction can be one of two orthogonal sides.

撮影部３０は、使用者の顔及び目を撮影可能である。撮影部３０は、例えば筐体１０に取り付けられるカメラ等が挙げられる。撮影部３０は、使用者の顔及び目を撮影することで、撮影データを生成する。撮影部３０は、生成した撮影データを制御部４０に送信する。撮影部３０は、複数設けられてもよい。 The photographing unit 30 is capable of photographing the user's face and eyes. The photographing unit 30 may be, for example, a camera attached to the housing 10. The photographing unit 30 generates photographic data by photographing the user's face and eyes. The imaging unit 30 transmits the generated imaging data to the control unit 40. A plurality of imaging units 30 may be provided.

制御部４０は、表示装置１００の動作を統括的に制御する。制御部４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶装置を有する。制御部４０は、顔角度検出部４１と、視線検出部４２と、表示制御部４３と、記憶部４４とを有する。 The control unit 40 comprehensively controls the operation of the display device 100. The control unit 40 includes a processing device such as a CPU (Central Processing Unit), and a storage device such as a RAM (Random Access Memory) or a ROM (Read Only Memory). The control section 40 includes a face angle detection section 41 , a line of sight detection section 42 , a display control section 43 , and a storage section 44 .

顔角度検出部４１は、撮影部３０で生成された撮影データに基づいて、表示部２０と使用者の顔との間の角度である顔角度を検出する。顔角度検出部４１は、例えば使用者の額から顎までの範囲で幅方向の中心線を検出し、中心線方向と表示部２０の基準方向との角度を顔角度として検出する。顔角度は、表示部２０の基準方向と使用者の顔の中心線方向との相対的な角度を示す値である。顔角度は、表示部２０に垂直な中心軸の軸回り方向（ローリング方向）の回転位置の差分を示す値である。表示部２０の基準方向及び使用者の顔の中心線方向の少なくとも一方が変化することにより、顔角度が変化する。なお、顔角度検出部４１は、使用者の左右の目の中心を結ぶ線を中心線方向してもよい。 The face angle detection section 41 detects a face angle, which is the angle between the display section 20 and the user's face, based on the photographic data generated by the photographing section 30 . The face angle detection unit 41 detects a center line in the width direction in the range from the user's forehead to the chin, for example, and detects the angle between the center line direction and the reference direction of the display unit 20 as the face angle. The face angle is a value indicating the relative angle between the reference direction of the display unit 20 and the direction of the center line of the user's face. The face angle is a value indicating a difference in rotational position in a direction around the central axis (rolling direction) that is perpendicular to the display unit 20 . The face angle changes by changing at least one of the reference direction of the display unit 20 and the direction of the center line of the user's face. Note that the face angle detection unit 41 may direct a line connecting the centers of the user's left and right eyes in the direction of the center line.

視線検出部４２は、撮影部３０で生成された撮影データに基づいて、使用者の視線を検出する。視線検出部４２は、例えば使用者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する構成であってもよいし、使用者の目頭の位置と虹彩の位置とに基づいて視線を検出する構成であってもよい。 The line of sight detection unit 42 detects the user's line of sight based on the photographic data generated by the photographing unit 30. The line of sight detection unit 42 may be configured to detect the line of sight based on, for example, the position of the user's pupil and the position of the corneal reflection image, or detect the line of sight based on the position of the inner corner of the user's eye and the position of the iris. It may be configured to detect.

表示制御部４３は、表示部２０における表示動作を制御する。表示制御部４３は、顔角度の検出結果に応じて表示部２０の基準位置を中心として表示対象を回転させることで表示対象の表示角度を調整する。表示制御部４３は、例えば顔角度が閾値以上となった場合に、表示対象を回転させるようにすることができる。表示制御部４３は、使用者の視線が表示部２０上に検出される場合には視線に対応する位置を基準位置とする。 The display control unit 43 controls display operations on the display unit 20. The display control unit 43 adjusts the display angle of the display target by rotating the display target around the reference position of the display unit 20 according to the detection result of the face angle. The display control unit 43 can rotate the display target, for example, when the face angle becomes equal to or greater than a threshold value. When the user's line of sight is detected on the display unit 20, the display control unit 43 sets a position corresponding to the line of sight as a reference position.

表示制御部４３は、表示対象がテキスト情報を含むか否かを判定し、テキスト情報を含むと判定した場合には使用者の視線がテキスト情報の表示部分に存在するか否かを判定する。表示制御部４３は、使用者の視線がテキスト情報の表示部分に存在すると判定した場合には、視線が存在するテキスト情報の行方向の中心を基準位置とする。 The display control unit 43 determines whether or not the display target includes text information, and if it is determined that the display target includes text information, determines whether the user's line of sight is present in the display portion of the text information. When the display control unit 43 determines that the user's line of sight is present in the display portion of the text information, the display control unit 43 sets the center of the line direction of the text information where the user's line of sight is present as the reference position.

表示制御部４３は、回転直前に表示部２０に表示されているテキスト情報がすべて表示されるように表示対象のサイズを調整して回転させることができる。また、表示制御部４３は、回転直前にテキスト情報の一部が表示部２０に拡大されて表示されている場合、テキスト情報の行方向の全体が表示されるように表示対象のサイズを調整して回転させることができる。 The display control unit 43 can adjust the size of the display target and rotate it so that all the text information displayed on the display unit 20 immediately before rotation is displayed. In addition, if a part of the text information is enlarged and displayed on the display unit 20 immediately before rotation, the display control unit 43 adjusts the size of the display target so that the entire text information in the row direction is displayed. It can be rotated.

記憶部４４は、各種情報を記憶する。記憶部４４は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部４４として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。 The storage unit 44 stores various information. The storage unit 44 includes storage such as a hard disk drive, solid state drive, etc., for example. Note that as the storage unit 44, an external storage medium such as a removable disk may be used.

記憶部４４は、表示部２０と使用者の顔との間の角度である顔角度を検出する処理と、使用者の視線を検出する処理と、顔角度の検出結果に応じて表示部２０の基準位置を中心として表示対象を回転させることで表示対象の表示角度を調整し、使用者の視線が表示部２０上に検出される場合には視線に対応する位置を基準位置とする処理とをコンピュータに実行させる表示プログラムを記憶する。 The storage unit 44 performs a process of detecting a face angle, which is the angle between the display unit 20 and the user's face, a process of detecting the user's line of sight, and a process of detecting the face angle of the display unit 20 according to the detection result of the face angle. The display angle of the display object is adjusted by rotating the display object around the reference position, and when the user's line of sight is detected on the display unit 20, the position corresponding to the line of sight is set as the reference position. Stores a display program to be executed by a computer.

次に、上記の表示装置１００における表示方法の一例を説明する。図３から図７は、第１実施形態に係る表示方法の一例を示す図である。図３に示すように、表示制御部４３は、表示部２０に表示対象２１を表示する。使用者は、表示部２０に表示される表示対象２１を見ることができる。表示対象２１には、例えば画像情報Ｐ、テキスト情報Ｔ等が含まれる。 Next, an example of a display method in the above display device 100 will be explained. 3 to 7 are diagrams showing an example of the display method according to the first embodiment. As shown in FIG. 3, the display control unit 43 displays the display target 21 on the display unit 20. The user can see the display object 21 displayed on the display unit 20. The display target 21 includes, for example, image information P, text information T, and the like.

撮影部３０は、表示部２０を見る使用者の顔及び目を撮影する。撮影部３０は、使用者の顔及び目を撮影した撮影データを生成し、制御部４０に送信する。制御部４０において、顔角度検出部４１は、撮影データに基づいて使用者の顔角度を検出する。また、視線検出部４２は、撮影データに基づいて使用者の視線を検出する。 The photographing section 30 photographs the face and eyes of the user viewing the display section 20 . The photographing section 30 generates photographic data of the user's face and eyes, and transmits it to the control section 40 . In the control unit 40, a face angle detection unit 41 detects the user's face angle based on photographic data. Furthermore, the line of sight detection unit 42 detects the user's line of sight based on the photographic data.

使用者が例えば表示装置１００の表示部２０を見ながら座った姿勢から横になる、といった場合に、使用者と表示部２０との間の顔角度が変化する場合がある。顔角度検出部４１により検出される使用者の顔角度が閾値を超えた場合、表示制御部４３は、表示対象の表示角度を調整する。図４に示すように、表示制御部４３は、例えば表示対象２１のうち画像情報Ｐの中央部を基準位置とし、当該基準位置を中心として表示対象を９０°回転させ、画像情報Ｐを拡大して表示ことができる。なお、表示対象の表示角度を調整する際、表示制御部４３は、回転角度を９０°とする構成に限定されず、３０°、６０°、１２０°等、回転角度を９０°とは異なる角度としてもよい。 For example, when a user moves from a sitting position to a lying down position while looking at the display unit 20 of the display device 100, the face angle between the user and the display unit 20 may change. When the user's face angle detected by the face angle detection unit 41 exceeds the threshold, the display control unit 43 adjusts the display angle of the display target. As shown in FIG. 4, the display control unit 43 uses, for example, the center of the image information P in the display object 21 as a reference position, rotates the display object 90 degrees around the reference position, and enlarges the image information P. can be displayed. Note that when adjusting the display angle of the display target, the display control unit 43 is not limited to a configuration in which the rotation angle is 90 degrees, but may adjust the rotation angle to an angle different from 90 degrees, such as 30 degrees, 60 degrees, 120 degrees, etc. You can also use it as

表示対象２１がテキスト情報Ｔを含む場合、表示制御部４３は、以下の処理を行ってもよい。すなわち、表示制御部４３は、表示対象がテキスト情報Ｔを含むか否かを判定し、テキスト情報Ｔを含むと判定した場合には使用者の視線ＥＰがテキスト情報の表示部分に存在するか否かを判定する。そして、表示制御部４３は、使用者の視線ＥＰがテキスト情報の表示部分に存在すると判定した場合には、図５に示すように、視線ＥＰが存在するテキスト情報の行方向の中心を基準位置ＢＰとして、表示対象２１を回転させることができる。表示制御部４３は、テキスト情報が複数行表示される場合、基準位置ＢＰを視線ＥＰが存在する行に対して次の行の側にずれた位置に設定してもよい。この場合、表示対象２１を回転させることで、使用者がこれから読もうとするテキスト情報をより多く表示することができる。また、表示制御部４３は、基準位置ＢＰを視線ＥＰに一致するように設定してもよい。なお、表示制御部４３は、表示対象２１がテキスト情報Ｔを含むか否かに関わらず、表示対象２１を回転させる際、表示部２０上において使用者の視線が存在する位置を基準位置としてもよい。 When the display target 21 includes text information T, the display control unit 43 may perform the following processing. That is, the display control unit 43 determines whether or not the display target includes text information T, and when determining that the display target includes text information T, determines whether or not the user's line of sight EP exists in the display portion of the text information. Determine whether When the display control unit 43 determines that the user's line of sight EP is present in the display portion of the text information, the display control unit 43 moves the center of the text information in the row direction where the line of sight EP exists to a reference position, as shown in FIG. As BP, the display target 21 can be rotated. When multiple lines of text information are displayed, the display control unit 43 may set the reference position BP to a position shifted toward the next line with respect to the line where the line of sight EP is present. In this case, by rotating the display object 21, more text information that the user is about to read can be displayed. Further, the display control unit 43 may set the reference position BP to match the line of sight EP. Note that, regardless of whether or not the display target 21 includes text information T, the display control unit 43 uses the position where the user's line of sight is located on the display unit 20 as a reference position when rotating the display target 21. good.

また、表示制御部４３は、表示対象２１を回転させる際、図６に示すように、回転直前に表示部２０に表示されているテキスト情報Ｔがすべて表示されるように、表示対象２１のサイズを調整してもよい。この場合、回転時に設定された基準位置ＢＰが表示部２０の中心に配置されなくてもよい。 Furthermore, when rotating the display target 21, the display control unit 43 adjusts the size of the display target 21 so that all the text information T displayed on the display unit 20 immediately before the rotation is displayed, as shown in FIG. may be adjusted. In this case, the reference position BP set at the time of rotation does not need to be placed at the center of the display section 20.

また、表示制御部４３は、図７に示すように、表示対象２１を回転させる際、回転直前にテキスト情報Ｔの一部が表示部２０に拡大されて表示されているか否かを判定する。表示制御部４３は、テキスト情報Ｔの一部が表示部２０に拡大されて表示されていると判定した場合、テキスト情報Ｔの行方向の全体が表示されるように表示対象２１のサイズを調整してもよい。 Further, as shown in FIG. 7, when rotating the display target 21, the display control unit 43 determines whether or not a part of the text information T is displayed in an enlarged manner on the display unit 20 immediately before the rotation. When the display control unit 43 determines that a part of the text information T is enlarged and displayed on the display unit 20, the display control unit 43 adjusts the size of the display target 21 so that the entire text information T in the row direction is displayed. You may.

図８は、第１実施形態に係る表示装置１００の動作の流れを示すフローチャートである。図８に示すように、表示部２０に表示対象が表示された状態において、顔角度検出部４１は、表示部２０と使用者の顔との間の顔角度を検出する（ステップＳ１０１）。また、視線検出部４２は、使用者の視線を検出する（ステップＳ１０２）。 FIG. 8 is a flowchart showing the operation flow of the display device 100 according to the first embodiment. As shown in FIG. 8, in a state where the display target is displayed on the display section 20, the face angle detection section 41 detects the face angle between the display section 20 and the user's face (step S101). The line of sight detection unit 42 also detects the user's line of sight (step S102).

表示制御部４３は、顔角度が閾値を超えるか否かを判定し（ステップＳ１０３）、閾値を超えないと判定した場合（ステップＳ１０３のＮｏ）、表示対象の表示角度を維持する（ステップＳ１０４）。 The display control unit 43 determines whether the face angle exceeds the threshold (step S103), and when determining that the face angle does not exceed the threshold (No in step S103), maintains the display angle of the display target (step S104). .

一方、閾値を超えると判定した場合（ステップＳ１０３のＹｅｓ）、表示制御部４３は、表示対象が行方向に表示されるテキスト情報を含むか否かを判定する（ステップＳ１０５）。行方向に表示されるテキスト情報を含むと判定した場合（ステップＳ１０５のＹｅｓ）、表示制御部４３は、使用者の視線がテキスト情報の表示部分に存在するか否かを判定する（ステップＳ１０６）。使用者の視線がテキスト情報の表示部分に存在すると判定した場合（ステップＳ１０６のＹｅｓ）、表示制御部４３は、視線が存在するテキスト情報の行方向の中心を基準位置とする（ステップＳ１０７）。ステップＳ１０５において、行方向に表示されるテキスト情報を含まないと判定した場合（ステップＳ１０５のＮｏ）、又はステップＳ１０６において使用者の視線がテキスト情報の表示部分に存在しないと判定した場合（ステップＳ１０６のＮｏ）、表示制御部４３は、所定の位置を基準位置とする（ステップＳ１０９）。基準位置を設定した後、表示制御部４３は、基準位置を中心として表示対象を回転させる（ステップＳ１０８）。 On the other hand, if it is determined that the threshold value is exceeded (Yes in step S103), the display control unit 43 determines whether the display target includes text information displayed in the row direction (step S105). If it is determined that the text information displayed in the row direction is included (Yes in step S105), the display control unit 43 determines whether the user's line of sight is present in the text information display portion (step S106). . If it is determined that the user's line of sight is present in the display portion of the text information (Yes in step S106), the display control unit 43 sets the center of the text information in the line direction where the line of sight is present as a reference position (step S107). If it is determined in step S105 that the text information displayed in the row direction is not included (No in step S105), or if it is determined in step S106 that the user's line of sight does not exist in the display area of the text information (step S106 No), the display control unit 43 sets the predetermined position as the reference position (step S109). After setting the reference position, the display control unit 43 rotates the display target around the reference position (step S108).

以上のように、本実施形態に係る表示装置１００は、表示部２０と、表示部２０と使用者の顔との間の角度である顔角度を検出する顔角度検出部４１と、使用者の視線を検出する視線検出部４２と、顔角度の検出結果に応じて表示部２０の基準位置を中心として表示対象を回転させることで表示対象の表示角度を調整し、使用者の視線が表示部２０上に検出される場合には視線に対応する位置を基準位置とする表示制御部４３とを備える。 As described above, the display device 100 according to the present embodiment includes the display unit 20, the face angle detection unit 41 that detects the face angle that is the angle between the display unit 20 and the user's face, and the face angle detection unit 41 that detects the face angle that is the angle between the display unit 20 and the user's face. A line-of-sight detection unit 42 detects line-of-sight, and the display angle of the display target is adjusted by rotating the display target around the reference position of the display unit 20 according to the detection result of the face angle, so that the user's line of sight is aligned with the display unit. 20, a display control unit 43 is provided, which sets a position corresponding to the line of sight as a reference position.

また、本実施形態に係る表示方法は、表示部２０と使用者の顔との間の角度である顔角度を検出することと、使用者の視線を検出することと、顔角度の検出結果に応じて表示部２０の基準位置を中心として表示対象を回転させることで表示対象の表示角度を調整し、使用者の視線が表示部２０上に検出される場合には視線に対応する位置を基準位置とすることとを含む。 Further, the display method according to the present embodiment includes detecting a face angle, which is the angle between the display unit 20 and the user's face, detecting the user's line of sight, and using the detection result of the face angle. Accordingly, the display angle of the display target is adjusted by rotating the display target around the reference position of the display unit 20, and when the user's line of sight is detected on the display unit 20, the position corresponding to the line of sight is used as the reference. including positioning.

この構成によれば、表示部２０の表示対象を回転させる場合に、使用者の視線が表示部２０上に検出される場合には、視線に対応する位置を基準位置として表示対象を回転させる。これにより、使用者が回転直前に見ていた部分を適切な位置に表示することができる。 According to this configuration, when rotating the display target on the display unit 20, if the user's line of sight is detected on the display unit 20, the display target is rotated using the position corresponding to the line of sight as a reference position. Thereby, the part that the user was looking at immediately before the rotation can be displayed at an appropriate position.

本実施形態に係る表示装置１００において、表示制御部４３は、表示対象が行方向に表示されるテキスト情報を含むか否かを判定し、行方向に表示されるテキスト情報を含むと判定した場合には使用者の視線がテキスト情報の表示部分に存在するか否かを判定し、使用者の視線がテキスト情報の表示部分に存在すると判定した場合には視線が存在するテキスト情報の行方向の中心を基準位置とする。この構成によれば、テキスト情報のうち使用者が回転直前に見ていた部分を適切な位置に表示することができる。 In the display device 100 according to the present embodiment, the display control unit 43 determines whether or not the display target includes text information displayed in the row direction, and when it is determined that the display target includes text information displayed in the row direction determines whether or not the user's line of sight is in the text information display area, and if it is determined that the user's line of sight is in the text information display area, the line direction of the text information where the user's line of sight is present is determined. The center is the reference position. According to this configuration, the part of the text information that the user was viewing immediately before the rotation can be displayed at an appropriate position.

本実施形態に係る表示装置１００において、表示制御部４３は、回転直前に表示部２０に表示されているテキスト情報がすべて表示されるように表示対象のサイズを調整して回転させる。この構成によれば、テキスト情報を見ていた使用者に対して回転の前後での違和感を低減することができる。 In the display device 100 according to the present embodiment, the display control unit 43 adjusts the size of the display target and rotates it so that all the text information displayed on the display unit 20 immediately before rotation is displayed. According to this configuration, it is possible to reduce the discomfort felt by the user who is viewing the text information before and after the rotation.

本実施形態に係る表示装置１００において、表示制御部４３は、回転直前にテキスト情報の一部が表示部２０に拡大されて表示されている場合、テキスト情報の行方向の全体が表示されるように表示対象のサイズを調整して回転させる。この構成によれば、使用者に対して回転直前に見ていた部分を含むテキスト情報の行方向の全体を把握させることができる。 In the display device 100 according to the present embodiment, the display control unit 43 controls the display control unit 43 so that when a part of the text information is enlarged and displayed on the display unit 20 immediately before rotation, the entire text information in the row direction is displayed. Adjust the size and rotate the displayed object. According to this configuration, it is possible for the user to grasp the entire text information in the line direction, including the part that was being viewed immediately before the rotation.

［第２実施形態］
図９は、第２実施形態に係る表示装置２００の一例を示す機能ブロック図である。図９に示すように、表示装置２００は、筐体１０と、表示部２０と、撮影部３０と、制御部５０とを有する。筐体１０は、表示部２０及び撮影部３０の構成については、第１実施形態に係る表示装置１００と同様である。 [Second embodiment]
FIG. 9 is a functional block diagram showing an example of a display device 200 according to the second embodiment. As shown in FIG. 9, the display device 200 includes a housing 10, a display section 20, a photographing section 30, and a control section 50. The configuration of the display section 20 and the imaging section 30 in the housing 10 is the same as that of the display device 100 according to the first embodiment.

本実施形態では、制御部５０の構成が、第１実施形態における表示装置１００の制御部４０とは異なっている。以下、相違点を中心に説明する。制御部５０は、顔角度検出部５１と、視線瞼開閉検出部５２と、表示制御部５３と、記憶部５４とを有する。顔角度検出部５１については、第１実施形態の顔角度検出部４１と同様である。 In this embodiment, the configuration of the control section 50 is different from the control section 40 of the display device 100 in the first embodiment. The differences will be mainly explained below. The control unit 50 includes a face angle detection unit 51 , a visual eyelid opening/closing detection unit 52 , a display control unit 53 , and a storage unit 54 . The face angle detection section 51 is the same as the face angle detection section 41 of the first embodiment.

視線瞼開閉検出部５２は、撮影部３０で生成された撮影データに基づいて、使用者の視線及び瞼開閉動作の少なくとも一方を検出する。視線瞼開閉検出部５２は、例えば使用者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する構成であってもよいし、使用者の目頭の位置と虹彩の位置とに基づいて視線を検出する構成であってもよい。また、視線瞼開閉検出部５２は、画像処理に基づいて使用者の瞼の動作を検出することができる。 The eyelid opening/closing detection section 52 detects at least one of the user's line of sight and eyelid opening/closing motion based on the photographic data generated by the photographing section 30 . The visual eyelid opening/closing detection unit 52 may be configured to detect the visual line based on, for example, the position of the user's pupil and the position of the corneal reflection image, or may detect the visual line based on the position of the inner corner of the user's eye and the position of the iris. It may also be configured to detect the line of sight. Furthermore, the visual eyelid opening/closing detection unit 52 can detect the movement of the user's eyelids based on image processing.

表示制御部５３は、表示部２０における表示動作を制御する。表示制御部５３は、第１実施形態と同様に、顔角度の検出結果に応じて表示部２０の基準位置を中心として表示対象を回転させることで表示対象の表示角度を調整する。表示制御部５３は、使用者の視線及び瞼開閉動作の少なくとも一方に基づいて使用者が所定の非視認状態であるか否かを判定し、非視認状態であると判定した場合には表示対象を回転させないようにする。本実施形態において、非視認状態は、使用者が瞼を閉じている状態及び使用者の視線が表示部２０上に存在しない状態の少なくとも一方を含む。表示制御部５３は、例えば視線瞼開閉検出部５２により使用者が瞼を閉じていると検出される場合に、使用者が非視認状態であると判定することができる。また、表示制御部５３は、例えば視線瞼開閉検出部５２により使用者の視線が表示部２０から外れた方向に検出される場合に、使用者が非視認状態であると判定することができる。表示制御部５３は、非視認状態が解消されたことが検出された場合には、非視認状態が解消された時点における顔角度に基づいて表示対象の表示角度を調整する。 The display control unit 53 controls display operations on the display unit 20. Similar to the first embodiment, the display control unit 53 adjusts the display angle of the display target by rotating the display target around the reference position of the display unit 20 according to the detection result of the face angle. The display control unit 53 determines whether the user is in a predetermined non-visible state based on at least one of the user's line of sight and eyelid opening/closing movements, and when it is determined that the user is in a non-visible state, displays the display target. Avoid rotating. In the present embodiment, the non-visible state includes at least one of a state in which the user's eyelids are closed and a state in which the user's line of sight is not on the display unit 20. The display control unit 53 can determine that the user is in a non-visual state, for example, when the visual eyelid opening/closing detection unit 52 detects that the user has closed his/her eyelids. Further, the display control unit 53 can determine that the user is in a non-visible state, for example, when the eyelid opening/closing detection unit 52 detects that the user's line of sight is in a direction away from the display unit 20. When it is detected that the non-visible state is eliminated, the display control unit 53 adjusts the display angle of the display target based on the face angle at the time the non-visible state was eliminated.

表示制御部５３は、使用者が瞼を閉じている期間に応じて、表示対象の表示角度の初期値の設定及び設定変更の少なくとも一方を行うことができる。表示角度の初期値は、表示装置２００の動作を開始又は再開した時点において最初に示される表示対象の表示角度である。 The display control unit 53 can perform at least one of setting and changing the initial value of the display angle of the display object, depending on the period during which the user closes the eyelids. The initial value of the display angle is the display angle of the display target initially shown when the operation of the display device 200 is started or restarted.

表示制御部５３は、使用者の視線及び瞼開閉動作の少なくとも一方に基づいて、表示部２０の表示態様を変更することができる。使用者の視線としては、例えば表示部２０上における視線の位置、変位等が挙げられる。使用者の瞼開閉動作としては、例えば使用者が瞼を閉じる期間、瞬きの回数等が挙げられる。また、加速度等を検出することで使用者の歩行等を検出可能なセンサ等の他の構成要素が表示装置２００に別途設けられる場合、表示制御部５３は、当該センサ等の他の構成要素と、使用者の視線及び瞼開閉動作の少なくとも一方とを組み合わせて表示態様を変更することができる。 The display control unit 53 can change the display mode of the display unit 20 based on at least one of the user's line of sight and eyelid opening/closing movements. Examples of the user's line of sight include the position and displacement of the line of sight on the display unit 20. Examples of the user's eyelid opening/closing actions include the period during which the user closes the eyelids, the number of blinks, and the like. Further, when the display device 200 is separately provided with other components such as a sensor that can detect the user's walking etc. by detecting acceleration etc., the display control unit 53 is configured to connect the other components such as the sensor to the display device 200. , the display mode can be changed by combining at least one of the user's line of sight and eyelid opening/closing movements.

記憶部５４は、各種情報を記憶する。記憶部５４は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部５４として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。 The storage unit 54 stores various information. The storage unit 54 includes storage such as a hard disk drive, solid state drive, etc., for example. Note that as the storage unit 54, an external storage medium such as a removable disk may be used.

記憶部５４は、表示部２０と使用者の顔との間の角度である顔角度を検出する処理と、使用者の視線及び瞼開閉動作の少なくとも一方を検出する処理と、顔角度の検出結果に応じて表示部２０の基準位置を中心として表示対象を回転させることで表示対象の表示角度を調整し、使用者の視線及び瞼開閉動作の少なくとも一方に基づいて使用者が所定の非視認状態であるか否かを判定し、非視認状態であると判定した場合には表示対象を回転させないようにする処理とをコンピュータに実行させる表示プログラムを記憶する。 The storage unit 54 stores a process of detecting a face angle, which is the angle between the display unit 20 and the user's face, a process of detecting at least one of the user's line of sight and eyelid opening/closing movements, and the detection result of the face angle. The display angle of the display object is adjusted by rotating the display object around the reference position of the display unit 20 in accordance with the user's line of sight and the user's eyelid opening and closing movements. A display program is stored that causes a computer to execute a process of determining whether or not the display object is in a non-visible state and preventing the display object from rotating when it is determined that the display object is in a non-visible state.

次に、上記の表示装置２００における表示方法の一例を説明する。図１０から図１２は、第２実施形態に係る表示方法の一例を示す図である。表示制御部５３は、表示部２０に表示対象２１を表示する。使用者は、表示部２０に表示される表示対象２１を見ることができる。 Next, an example of a display method in the above display device 200 will be explained. 10 to 12 are diagrams illustrating an example of a display method according to the second embodiment. The display control unit 53 displays the display target 21 on the display unit 20. The user can see the display object 21 displayed on the display unit 20.

撮影部３０は、表示部２０を見る使用者の顔及び目を撮影する。撮影部３０は、使用者の顔及び目を撮影した撮影データを生成し、制御部５０に送信する。制御部５０において、顔角度検出部５１は、撮影データに基づいて使用者の顔角度を検出する。また、視線瞼開閉検出部５２は、撮影データに基づいて使用者の視線もしくは、瞼開閉動作を検出する。 The photographing section 30 photographs the face and eyes of the user viewing the display section 20 . The photographing section 30 generates photographic data of the user's face and eyes, and transmits it to the control section 50 . In the control unit 50, a face angle detection unit 51 detects the user's face angle based on photographic data. Furthermore, the eyelid opening/closing detection unit 52 detects the user's line of sight or eyelid opening/closing motion based on the photographic data.

顔角度検出部５１により検出される使用者の顔角度が閾値を超えた場合、表示制御部５３は、表示対象の表示角度を調整する。顔角度が変化する際、表示制御部５３は、使用者が非視認状態であるか否かを判定する。表示制御部５３は、使用者が瞼を開いていると検出される場合、及び使用者の視線が表示部２０上に存在すると検出される場合には、使用者が非視認状態ではないと判定する。この場合、表示制御部５３は、図１０に示すように、表示部２０に表示される表示対象２１を回転させることで表示角度を調整する。 When the user's face angle detected by the face angle detection unit 51 exceeds the threshold, the display control unit 53 adjusts the display angle of the display target. When the face angle changes, the display control unit 53 determines whether the user is in a non-visible state. The display control unit 53 determines that the user is not in a non-visible state when it is detected that the user's eyelids are open and when it is detected that the user's line of sight is on the display unit 20. do. In this case, the display control unit 53 adjusts the display angle by rotating the display object 21 displayed on the display unit 20, as shown in FIG.

一方、表示制御部５３は、使用者が瞼を閉じていると検出される場合、又は使用者の視線が表示部２０上に存在しないと検出される場合には、使用者が非視認状態であると判定する。この場合、表示制御部５３は、図１１に示すように、表示部２０に表示される表示対象２１を回転させないようにする。その後、使用者が瞼を開いたことが検出される場合、及び使用者の視線が表示部２０上に存在すると検出される場合、表示制御部５３は、使用者の非視認状態が解消されたと判定する。この場合、表示制御部５３は、図１２に示すように、非視認状態が解消されたと判定した時点における顔角度に基づいて、表示部２０に表示される表示対象２１の表示角度を調整する。 On the other hand, when it is detected that the user's eyelids are closed or when it is detected that the user's line of sight is not on the display unit 20, the display control unit 53 controls the display control unit 53 when the user is in a non-visible state. It is determined that there is. In this case, the display control section 53 prevents the display object 21 displayed on the display section 20 from rotating, as shown in FIG. 11. Thereafter, if it is detected that the user has opened his or her eyelids, and if it is detected that the user's line of sight is on the display unit 20, the display control unit 53 determines that the user's non-visibility state has been resolved. judge. In this case, as shown in FIG. 12, the display control unit 53 adjusts the display angle of the display target 21 displayed on the display unit 20 based on the face angle at the time when it is determined that the non-visible state is resolved.

図１３は、使用者の視線及び瞼開閉動作の検出対象と、当該検出対象を検出した場合の表示の制御内容との関係の一例を示す図である。図１３に示すように、表示制御部５３は、使用者が瞼を閉じている期間に応じて、表示対象の表示角度の初期値の設定及び設定変更の少なくとも一方を行うことができる。使用者が第１期間（例えば、１秒間）瞼を閉じてから瞼を開く動作が検出された場合、表示制御部５３は、使用者が瞼を開いた時点での表示対象の表示角度を表示部２０における表示角度の初期値として設定することができる。また、使用者が表示角度の初期値を設定した後、第２期間（例えば、２秒間）瞼を閉じてから瞼を開く動作が検出された場合、表示制御部５３は、表示角度の初期値の設定を解除することができる。 FIG. 13 is a diagram illustrating an example of the relationship between detection targets of the user's line of sight and eyelid opening/closing movements, and display control details when the detection targets are detected. As shown in FIG. 13, the display control unit 53 can perform at least one of setting and changing the initial value of the display angle of the display target, depending on the period during which the user closes the eyelids. If it is detected that the user closes the eyelids for a first period (for example, 1 second) and then opens the eyelids, the display control unit 53 displays the display angle of the display target at the time the user opened the eyelids. This can be set as the initial value of the display angle in the section 20. Further, after the user sets the initial value of the display angle, if the action of closing the eyelids for a second period (for example, 2 seconds) and then opening the eyelids is detected, the display control unit 53 sets the initial value of the display angle. settings can be canceled.

また、図１３に示すように、表示制御部５３は、使用者の視線及び瞼開閉動作の少なくとも一方に基づいて、表示部２０の表示態様を変更することができる。例えば、使用者の視線が表示部２０の上部に検出され、瞬き動作が第１回数（例えば、２回）検出された場合、表示制御部５３は、表示対象を表示部２０の半画面分だけ上にスクロールさせることができる。また、使用者の視線が表示部２０の下部に検出され、瞬き動作が第１回数（例えば、２回）検出された場合、表示制御部５３は、表示対象を表示部２０の半画面分だけ下にスクロールさせることができる。 Further, as shown in FIG. 13, the display control unit 53 can change the display mode of the display unit 20 based on at least one of the user's line of sight and eyelid opening/closing movements. For example, when the user's line of sight is detected at the top of the display unit 20 and the blinking action is detected the first time (for example, twice), the display control unit 53 controls the display target by half the screen of the display unit 20. You can scroll up. Further, when the user's line of sight is detected at the lower part of the display unit 20 and the blinking action is detected the first number of times (for example, twice), the display control unit 53 controls the display target by half the screen of the display unit 20. You can scroll down.

また、図１３に示すように、使用者の視線が表示部２０の上部又は下部に検出される場合において、瞬き動作が上記の第１回数よりも多い第２回数（例えば、３回）検出された場合、表示制御部５３は、それぞれ表示対象を表示部２０の一画面分だけ上又は下にスクロールさせることができる。このように、表示制御部５３は、表示部２０における視線の位置に基づいて表示対象をスクロールさせる方向を設定し、瞬きの回数に基づいてスクロール量を設定することができる。 Further, as shown in FIG. 13, when the user's line of sight is detected at the top or bottom of the display unit 20, the blinking action is detected a second number of times (for example, three times) which is greater than the first number of times. In this case, the display control unit 53 can scroll the display target up or down by one screen of the display unit 20, respectively. In this way, the display control unit 53 can set the direction in which the display target is scrolled based on the position of the line of sight on the display unit 20, and can set the scroll amount based on the number of blinks.

また、図１３に示すように、使用者の視線が表示部２０の上部又は下部に検出される場合において、瞬き動作が上記の所定回数（例えば、２回）検出された場合、表示制御部５３は、表示対象を上方又は下方にスムーススクロールさせてもよい。スムーススクロールの途中で所定期間（例えば、１秒間）使用者が瞼を閉じたことが検出される場合、表示制御部５３は、スクロールを停止させてもよい。 Further, as shown in FIG. 13, when the user's line of sight is detected at the top or bottom of the display unit 20 and the blinking action is detected the predetermined number of times (for example, twice), the display control unit 53 The display object may be smoothly scrolled upward or downward. If it is detected that the user has closed his/her eyelids for a predetermined period (for example, one second) during smooth scrolling, the display control unit 53 may stop the scrolling.

また、図１３に示すように、表示制御部５３は、表示対象にテキスト情報が含まれるか否かを判定し、テキスト情報が含まれると判定した場合、使用者がテキスト情報を１行ずつ読む動作に合わせて表示対象をスクロールさせてもよい。例えば、表示制御部５３は、使用者の視線がある行から次の行に移動する場合、行方向に直交する列方向についての使用者の視線の移動に応じて表示対象をスクロールさせてもよい。 Further, as shown in FIG. 13, the display control unit 53 determines whether or not the display target includes text information, and if it is determined that the display target includes text information, the user reads the text information line by line. The display target may be scrolled in accordance with the movement. For example, when the user's line of sight moves from one row to the next, the display control unit 53 may scroll the display target according to the movement of the user's line of sight in the column direction orthogonal to the row direction. .

また、図１３に示すように、表示制御部５３は、使用者の瞬きの回数及び瞬きの時間的長さを検出し、単位時間当たりの瞬き回数が所定の閾値を超えたり、１回当たりの瞬きの時間的長さが所定の閾値よりも長くなったりした場合には、使用者の目が疲労していると判定することができる。表示制御部５３は、使用者の目が疲労していると判定した場合、例えば表示部２０の明るさを調整することができる。表示制御部５３は、例えば、所定の閾値を超えたり、所定の閾値よりも長くなったりした場合、表示部２０の明るさを暗くし、所定の閾値以内に戻った場合、表示部２０の明るさを元の明るさに戻すことにより、明るさを調整することができる。 Further, as shown in FIG. 13, the display control unit 53 detects the number of blinks of the user and the temporal length of the blinks, and detects whether the number of blinks per unit time exceeds a predetermined threshold or the number of blinks per unit time exceeds a predetermined threshold. If the temporal length of the blink becomes longer than a predetermined threshold, it can be determined that the user's eyes are fatigued. When the display control unit 53 determines that the user's eyes are fatigued, the display control unit 53 can adjust the brightness of the display unit 20, for example. For example, the display control unit 53 dims the brightness of the display unit 20 when the brightness exceeds a predetermined threshold or becomes longer than the predetermined threshold, and decreases the brightness of the display unit 20 when the brightness returns to within the predetermined threshold. You can adjust the brightness by returning the brightness to its original brightness.

また、図１３に示すように、筐体１０の振動、加速度等を検出することで使用者の歩行等を検出可能なセンサが別途設けられる場合、表示制御部５３は、使用者の歩行が検出されるときに使用者の視線が表示部２０上に存在するか否かを判定することができる。表示制御部５３は、使用者の歩行が検出されるときに使用者の視線が表示部２０上に存在すると判定した場合、歩行中に表示部２０を見ることに対する注意情報を表示したり、表示部２０の表示をオフにしたりすることができる。 Further, as shown in FIG. 13, if a sensor capable of detecting the user's walking by detecting vibration, acceleration, etc. of the housing 10 is separately provided, the display control unit 53 detects the user's walking. It can be determined whether or not the user's line of sight is on the display unit 20 when the display unit 20 is viewed. If the display control unit 53 determines that the user's line of sight is on the display unit 20 when the user's walking is detected, the display control unit 53 displays warning information about looking at the display unit 20 while walking, or The display of section 20 can be turned off.

図１４は、上記の表示装置１００の動作の流れを示すフローチャートである。図１４に示すように、表示部２０に表示対象が表示された状態において、顔角度検出部５１は、表示部２０と使用者の顔との間の顔角度を検出する（ステップＳ２０１）。また、視線瞼開閉検出部５２は、使用者の視線及び瞼開閉動作の少なくとも一方を検出する（ステップＳ２０２）。 FIG. 14 is a flowchart showing the operation flow of the display device 100 described above. As shown in FIG. 14, in a state where a display target is displayed on the display section 20, the face angle detection section 51 detects the face angle between the display section 20 and the user's face (step S201). Furthermore, the eyelid opening/closing detection unit 52 detects at least one of the user's line of sight and eyelid opening/closing motion (step S202).

表示制御部５３は、顔角度が閾値を超えるか否かを判定し（ステップＳ２０３）、閾値を超えないと判定した場合（ステップＳ２０３のＮｏ）、表示対象の表示角度を維持する（ステップＳ２０４）。 The display control unit 53 determines whether the face angle exceeds the threshold (step S203), and when determining that it does not exceed the threshold (No in step S203), maintains the display angle of the display target (step S204). .

一方、閾値を超えると判定した場合（ステップＳ２０３のＹｅｓ）、表示制御部５３は、使用者が所定の非視認状態であるか否かを判定する（ステップＳ２０５）。使用者が非視認状態ではないと判定した場合（ステップＳ２０５のＮｏ）、基準位置を中心として表示対象を回転させることで表示対象の表示角度を調整する（ステップＳ２０６）。 On the other hand, if it is determined that the threshold value is exceeded (Yes in step S203), the display control unit 53 determines whether the user is in a predetermined non-visible state (step S205). If it is determined that the user is not in a non-visible state (No in step S205), the display angle of the display object is adjusted by rotating the display object around the reference position (step S206).

使用者が非視認状態であると判定した場合（ステップＳ２０５のＹｅｓ）、表示制御部５３は、表示対象を回転させないようにする（ステップＳ２０７）。その後、使用者の非視認状態が解消されたか否かを判定し（ステップＳ２０８）、非視認状態が解消されていないと判定した場合（ステップＳ２０８のＮｏ）、ステップＳ２０８の動作を繰り返し行うことで表示対象を回転させない状態を維持する。また、表示制御部５３は、非視認状態が解消されたと判定した場合（ステップＳ２０８のＹｅｓ）、判定時点における顔角度に基づいて表示対象の表示角度を調整する。つまり、表示制御部５３は、判定時点において顔角度が閾値を超えるか否かを判定し（ステップＳ２０９）、閾値を超えないと判定した場合（ステップＳ２０９のＮｏ）、表示対象の表示角度を維持する（ステップＳ２０４）。一方、閾値を超えると判定した場合（ステップＳ２０９のＹｅｓ）、基準位置を中心として表示対象を回転させることで表示対象の表示角度を調整する（ステップＳ２０６）。 If it is determined that the user is in a non-visible state (Yes in step S205), the display control unit 53 prevents the display target from rotating (step S207). Thereafter, it is determined whether the user's non-visible state has been resolved (step S208), and if it is determined that the non-visible state has not been resolved (No in step S208), the operation of step S208 is repeatedly performed. Keep the display target unrotated. Further, when determining that the non-visible state has been resolved (Yes in step S208), the display control unit 53 adjusts the display angle of the display target based on the face angle at the time of determination. That is, the display control unit 53 determines whether or not the face angle exceeds the threshold at the time of determination (step S209), and if it is determined that the face angle does not exceed the threshold (No in step S209), maintains the display angle of the display target. (Step S204). On the other hand, if it is determined that the threshold value is exceeded (Yes in step S209), the display angle of the display object is adjusted by rotating the display object around the reference position (step S206).

以上のように、本実施形態に係る表示装置２００は、表示部２０と、表示部２０と使用者の顔との間の角度である顔角度を検出する顔角度検出部５１と、使用者の視線及び瞼開閉動作の少なくとも一方を検出する視線瞼開閉検出部５２と、顔角度の検出結果に応じて表示部２０の基準位置を中心として表示対象を回転させることで表示対象の表示角度を調整し、使用者の視線及び瞼開閉動作の少なくとも一方に基づいて使用者が所定の非視認状態であるか否かを判定し、非視認状態であると判定した場合には表示対象を回転させないようにする表示制御部５３とを備える。 As described above, the display device 200 according to the present embodiment includes the display unit 20, the face angle detection unit 51 that detects the face angle that is the angle between the display unit 20 and the user's face, and the face angle detection unit 51 that detects the face angle that is the angle between the display unit 20 and the user's face. The display angle of the display target is adjusted by rotating the display target around the reference position of the display unit 20 according to the detection result of the eyelid opening/closing detection unit 52 which detects at least one of the line of sight and the eyelid opening/closing motion, and the face angle. The system determines whether the user is in a predetermined non-visible state based on at least one of the user's line of sight and eyelid opening/closing movements, and if it is determined that the user is in a non-visible state, the display target is not rotated. A display control unit 53 is provided.

本実施形態に係る表示方法は、表示部２０と使用者の顔との間の角度である顔角度を検出することと、使用者の視線及び瞼開閉動作の少なくとも一方を検出することと、顔角度の検出結果に応じて表示部２０の基準位置を中心として表示対象を回転させることで表示対象の表示角度を調整し、使用者の視線及び瞼開閉動作の少なくとも一方に基づいて使用者が所定の非視認状態であるか否かを判定し、非視認状態であると判定した場合には表示対象を回転させないようにすることとを含む。 The display method according to the present embodiment includes detecting a face angle that is the angle between the display unit 20 and the user's face, detecting at least one of the user's line of sight and eyelid opening/closing movements, and The display angle of the display target is adjusted by rotating the display target around the reference position of the display unit 20 according to the angle detection result, and the user adjusts the display angle to a predetermined value based on at least one of the user's line of sight and eyelid opening/closing movements. This includes determining whether or not the display target is in a non-visible state, and not rotating the display target if it is determined that the display target is in a non-visible state.

この構成によれば、使用者が非視認状態であると判定した場合には表示対象が回転しないことになる。これにより、表示部２０の表示対象を回転させる場合に、使用者に与える違和感を低減することができる。 According to this configuration, when it is determined that the user is in a non-visible state, the display target does not rotate. Thereby, when rotating the display target on the display unit 20, it is possible to reduce the discomfort given to the user.

本実施形態に係る表示装置２００において、表示制御部５３は、非視認状態が解消されたことが検出された場合には、非視認状態が解消された時点における顔角度に基づいて表示対象の表示角度を調整する。この構成によれば、非視認状態が解消された場合、その時点における顔角度で表示対象の表示角度が調整されるため、使用者が表示部２０を見るタイミングで表示対象の表示角度を適切に設定することができる。 In the display device 200 according to the present embodiment, when it is detected that the non-visible state has been eliminated, the display control unit 53 displays the display target based on the face angle at the time when the non-visible state is eliminated. Adjust the angle. According to this configuration, when the non-visible state is resolved, the display angle of the display target is adjusted based on the face angle at that time, so the display angle of the display target is adjusted appropriately when the user looks at the display unit 20. Can be set.

本実施形態に係る表示装置２００において、視線瞼開閉検出部５２は、使用者の瞼開閉動作を検出し、表示制御部５３は、使用者が瞼を閉じている期間に応じて、表示対象の表示角度の初期値の設定及び設定変更の少なくとも一方を行う。この構成によれば、簡単な動作で表示対象の表示角度の初期値の設定、設定変更を行うことができる。 In the display device 200 according to the present embodiment, the visual eyelid opening/closing detection unit 52 detects the user's eyelid opening/closing movements, and the display control unit 53 detects the display target according to the period during which the user closes the eyelids. At least one of setting and changing the initial value of the display angle is performed. According to this configuration, it is possible to set and change the initial value of the display angle of the display object with a simple operation.

本実施形態に係る表示装置２００において、視線瞼開閉検出部５２は、使用者の視線及び瞼開閉動作の両方を検出し、表示制御部５３は、使用者の視線及び瞼開閉動作の少なくとも一方に基づいて、表示部２０の表示態様を変更する。この構成によれば、簡単な動作で表示部２０の表示態様を適切に変更することができる。 In the display device 200 according to the present embodiment, the eyelid opening/closing detection unit 52 detects both the user's line of sight and the eyelid opening/closing movement, and the display control unit 53 detects at least one of the user's line of sight and the eyelid opening/closing movement. Based on this, the display mode of the display unit 20 is changed. According to this configuration, the display mode of the display section 20 can be appropriately changed with a simple operation.

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態では、撮影部３０が筐体１０に設けられた構成を例に挙げて説明したが、これに限定されない。撮影部３０は、筐体１０、つまり表示装置１００、２００とは別個に設けられてもよい。 The technical scope of the present invention is not limited to the above embodiments, and changes can be made as appropriate without departing from the spirit of the present invention. For example, in the embodiment described above, the configuration in which the imaging unit 30 is provided in the housing 10 has been described as an example, but the present invention is not limited to this. The imaging unit 30 may be provided separately from the housing 10, that is, the display devices 100 and 200.

Ｐ…画像情報、Ｔ…テキスト情報、ＢＰ…基準位置、ＥＰ…視線、１０…筐体、２０…表示部、２１…表示対象、３０…撮影部、４０，５０…制御部、４１，５１…顔角度検出部、４２…視線検出部、４３，５３…表示制御部、４４，５４…記憶部、５２…視線瞼開閉検出部、１００，２００…表示装置 P... Image information, T... Text information, BP... Reference position, EP... Line of sight, 10... Housing, 20... Display section, 21... Display target, 30... Photographing section, 40, 50... Control section, 41, 51... Face angle detection section, 42... Line of sight detection section, 43, 53... Display control section, 44, 54... Storage section, 52... Eyelid opening/closing detection section, 100, 200... Display device

Claims (5)

表示部と、
前記表示部と使用者の顔との間の角度である顔角度を検出する顔角度検出部と、
前記使用者の視線及び瞼開閉動作の少なくとも一方を検出する視線瞼開閉検出部と、
前記顔角度の検出結果に応じて前記表示部の基準位置を中心として表示対象を回転させることで前記表示対象の表示角度を調整し、前記使用者の視線及び瞼開閉動作の少なくとも一方に基づいて前記使用者が所定の非視認状態であるか否かを判定し、前記非視認状態であると判定した場合には前記表示対象を回転させないようにする表示制御部と
を備える表示装置。 A display section;
a face angle detection unit that detects a face angle that is an angle between the display unit and the user's face;
a line of sight eyelid opening/closing detection unit that detects at least one of the user's line of sight and eyelid opening/closing motion;
The display angle of the display object is adjusted by rotating the display object around a reference position of the display unit according to the detection result of the face angle, and the display angle of the display object is adjusted based on at least one of the user's line of sight and eyelid opening/closing movement. A display device comprising: a display control unit that determines whether or not the user is in a predetermined non-visual recognition state, and prevents the display target from rotating when it is determined that the user is in the non-visual recognition state. 前記表示制御部は、前記非視認状態が解消されたことが検出された場合には、前記非視認状態が解消された時点における前記顔角度に基づいて前記表示対象の前記表示角度を調整する
請求項１に記載の表示装置。 When it is detected that the non-visible state is eliminated, the display control unit adjusts the display angle of the display target based on the face angle at the time when the non-visible state is eliminated. The display device according to item 1. 前記視線瞼開閉検出部は、前記使用者の瞼開閉動作を検出し、
前記表示制御部は、前記使用者が瞼を閉じている期間に応じて、前記表示対象の前記表示角度の初期値の設定及び設定変更の少なくとも一方を行う
請求項１又は請求項２に記載の表示装置。 The eyelid opening/closing detection unit detects an eyelid opening/closing motion of the user,
The display control unit sets at least one of an initial value and a setting change of the display angle of the display target according to a period during which the user closes his or her eyelids. Display device. 前記視線瞼開閉検出部は、前記使用者の視線及び瞼開閉動作の両方を検出し、
前記表示制御部は、前記使用者の視線及び前記瞼開閉動作の少なくとも一方に基づいて、前記表示部の表示態様を変更する
請求項１から請求項３のいずれか一項に記載の表示装置。 The eyelid opening/closing detection unit detects both the user's line of sight and eyelid opening/closing motion,
The display device according to any one of claims 1 to 3, wherein the display control unit changes the display mode of the display unit based on at least one of the user's line of sight and the eyelid opening/closing operation. 表示部と使用者の顔との間の角度である顔角度を検出することと、
前記使用者の視線及び瞼開閉動作の少なくとも一方を検出することと、
前記顔角度の検出結果に応じて前記表示部の基準位置を中心として表示対象を回転させることで前記表示対象の表示角度を調整し、前記使用者の視線及び瞼開閉動作の少なくとも一方に基づいて前記使用者が所定の非視認状態であるか否かを判定し、前記非視認状態であると判定した場合には前記表示対象を回転させないようにすることと
を含む表示方法。 detecting a face angle that is an angle between the display unit and the user's face;
detecting at least one of the user's line of sight and eyelid opening/closing movements;
The display angle of the display object is adjusted by rotating the display object around a reference position of the display unit according to the detection result of the face angle, and the display angle of the display object is adjusted based on at least one of the user's line of sight and eyelid opening/closing movement. A display method comprising: determining whether or not the user is in a predetermined non-visible state, and not rotating the display target if it is determined that the user is in the non-visible state.
JP2022031817A 2022-03-02 2022-03-02 Display unit and display method Pending JP2023127872A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022031817A JP2023127872A (en) 2022-03-02 2022-03-02 Display unit and display method
PCT/JP2023/006109 WO2023167048A1 (en) 2022-03-02 2023-02-21 Display device, display method, and display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022031817A JP2023127872A (en) 2022-03-02 2022-03-02 Display unit and display method

Publications (1)

Publication Number Publication Date
JP2023127872A true JP2023127872A (en) 2023-09-14

Family

ID=87972340

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022031817A Pending JP2023127872A (en) 2022-03-02 2022-03-02 Display unit and display method

Country Status (1)

Country Link
JP (1) JP2023127872A (en)

Similar Documents

Publication Publication Date Title
US9626741B2 (en) Systems and methods for configuring the display magnification of an electronic device based on distance and user presbyopia
US20190004600A1 (en) Method and electronic device for image display
JP6008309B2 (en) Electronic mirror device
US9262984B2 (en) Device and method for controlling rotation of displayed image
US20110001762A1 (en) Method for adjusting displayed frame, electronic device, and computer readable medium thereof
CN110352033B (en) Determining eye opening with an eye tracking device
US20020180799A1 (en) Eye gaze control of dynamic information presentation
JP2006023953A (en) Information display system
US20140354531A1 (en) Graphical user interface
TW201306573A (en) Display device with image capture and analysis module
TWI601030B (en) Public viewing security for public computer users
CN111886564A (en) Information processing apparatus, information processing method, and program
CN111045577A (en) Horizontal and vertical screen switching method, wearable device and device with storage function
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
CN111857910A (en) Information display method and device and electronic equipment
JP2023127872A (en) Display unit and display method
WO2023167048A1 (en) Display device, display method, and display program
JP2023127871A (en) Display unit and display method
US11051005B2 (en) Virtual reality device and operation method of virtual reality device
JPH0981785A (en) Image projection device and equipment controller
KR102444924B1 (en) Virtual Reality Device and Control Method thereof
CN115004129A (en) Eye-based activation and tool selection system and method
JP2021124520A (en) Image display device, program for image display, and image display method
US11874961B2 (en) Managing display of an icon in an eye tracking augmented reality device
US20230068868A1 (en) Display device, control method thereof, and recording medium