WO2015099215A1 - Head-mounted display apparatus and method for operating same - Google Patents

Head-mounted display apparatus and method for operating same Download PDF

Info

Publication number
WO2015099215A1
WO2015099215A1 PCT/KR2013/012138 KR2013012138W WO2015099215A1 WO 2015099215 A1 WO2015099215 A1 WO 2015099215A1 KR 2013012138 W KR2013012138 W KR 2013012138W WO 2015099215 A1 WO2015099215 A1 WO 2015099215A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image
resolution
head
movement
Prior art date
Application number
PCT/KR2013/012138
Other languages
French (fr)
Korean (ko)
Inventor
김형준
손종현
조택일
최은지
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2013/012138 priority Critical patent/WO2015099215A1/en
Publication of WO2015099215A1 publication Critical patent/WO2015099215A1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0147Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • the present invention relates to a head mounted display device and a method of operating the same, and more particularly, to a head mounted display device and a method of operating the same that can improve user convenience.
  • the head mounted display device is a device that can be worn on the user's head to view an image.
  • the means for receiving the user input is limited.
  • An object of the present invention is to provide a head-mounted display device and its operation method which can improve user convenience.
  • a method of operating a head mounted display device including receiving an image having a first resolution and displaying a second resolution display mode smaller than the first resolution. Displaying a partial region of the image, detecting a movement of the user's head, and displaying another partial region of the image having the first resolution according to the detected movement of the user's head.
  • the head-mounted display device for achieving the above object, the display for displaying a predetermined image, the lens unit for enlarging the image displayed on the display, the sensor for detecting the movement of the user's head And a control unit to receive an image having a first resolution, and to display a partial region of the image having the first resolution according to a second resolution display mode smaller than the first resolution, and according to the detected head movement of the user. And a processor for controlling to display another partial region of the resolution image.
  • the head mounted display apparatus may display another region of the image having the first resolution according to a user's head movement while displaying a partial region of the image having the first resolution. Some areas can be displayed. As a result, it is possible to quickly reproduce and display the corresponding image without downscaling the high resolution image. Accordingly, user convenience may be increased.
  • the display image may be moved in response to the up, down, left, or right movement of the user's head, or the display image may be zoomed in or out in response to the front or back movement of the user's head. Can watch the desired video area.
  • the menu display position can be changed, the user's ease of use can be increased.
  • FIG. 1 is a front view of a head mounted display device according to an embodiment of the present invention.
  • FIG. 2 is a rear view of the head mounted display of FIG. 1.
  • FIG. 3 is a cross-sectional view of the head mounted display of FIG. 1.
  • FIG. 4 is a simplified internal block diagram of the head mounted display device of FIG. 1.
  • FIG. 5 is a flowchart illustrating a method of operating a head mounted display device according to an embodiment of the present invention.
  • 6 to 16 are diagrams for explaining the operating method of FIG. 5.
  • module and “unit” for components used in the following description are merely given in consideration of ease of preparation of the present specification, and do not impart any particular meaning or role by themselves. Therefore, the “module” and “unit” may be used interchangeably.
  • the head mounted display device described in the present specification is a head mounted display device which can be worn on a user's head and can display a predetermined image.
  • a display for displaying an image and a lens unit for enlarging the displayed image may be provided so that a user may recognize the image displayed on the display as an enlarged image.
  • FIG. 1 is a front view of a head mounted display device according to an embodiment of the present invention
  • FIG. 2 is a rear view of the head mounted display device of FIG. 1
  • FIG. 3 is a cross-sectional view of the head mounted display device of FIG. 1.
  • the user 700 may wear the head mounted display device 100 on the head. As shown in FIG. 1, it is preferable to wear the eye covering and to block external light in order to improve immersion of the display image.
  • the user 700 wearing the head mounted display apparatus 100 can lie down or sit down and watch a reproduced image.
  • the head mounted display apparatus 100 includes lens units 195L and 195R, and provides an image enlarged through the lens units 195L and 195R to a user's eye.
  • FIG. 3 shows an upper sectional view of the head mounted display device 100.
  • the lens units 195L and 195R of the head mounted display apparatus 100 are positioned at a predetermined interval from both eyes 710L and 710R of the user 700, and the images displayed on the displays 300L and 300R are respectively lenses. It is enlarged through the portions 195L and 195R, and is incident on both eyes 710L and 710R of the user. Accordingly, the user 700 may recognize the enlarged images 300L and 300R as shown in the drawing. At this time, the enlarged images 300L and 300R are virtual images.
  • FIG. 4 is a simplified internal block diagram of the head mounted display device of FIG. 1.
  • the head mounted display apparatus 100 includes a sensor unit 130, a communication module 135, a memory 140, an audio output unit 160, a processor 170, a display 180, and a power supply unit. 190, the driving unit 193 and the lens unit 195 may be provided.
  • the sensor unit 130 may detect motion information of the head mounted display apparatus 100, in particular, motion information of a user's head and generate a sensing signal.
  • the sensor unit 130 may include at least one of a motion sensor (not shown), a proximity sensor (not shown), a pressure sensor (not shown), and the like.
  • a motion sensor detects the position or movement of the head mounted display apparatus 100 using an acceleration sensor, a gyro sensor, or the like.
  • the acceleration sensor may include an acceleration sensor in the X-axis, Y-axis, and Z-axis directions.
  • the gyro sensor is a sensor for measuring the angular velocity, it can detect the direction returned to the reference direction.
  • the proximity sensor may detect the presence or absence of an object approaching the head mounted display apparatus 100 or an object present in the vicinity of the head mounted display apparatus 100 without mechanical contact.
  • the pressure sensor may detect whether pressure is applied to the head mounted display apparatus 100, the magnitude of the pressure, and the like. For example, pressure by the user's hand can be detected.
  • the communication module 135 may provide an interface for communicating with an external device.
  • the communication module 135 may include at least one of a mobile communication module (not shown), a wireless Internet module (not shown), a short range communication module (not shown), a GPS module (not shown), and the like.
  • WiFi communication may be performed through a wireless Internet module (not shown)
  • NFC Near Field Communication
  • the communication module 135 may exchange data with a mobile terminal (not shown) or an external server (not shown). In detail, the communication module 135 may receive various data such as video content from the mobile terminal. Meanwhile, status information of the head mounted display apparatus 100 may be transmitted to the mobile terminal.
  • the communication module 135 may receive sight information of the user 700 from a mobile terminal (not shown) or an external server (not shown).
  • the memory 140 may store a program for processing or controlling the processor 170 in the head mounted display apparatus 100, or may perform a function for temporarily storing input or output data.
  • the memory 140 may temporarily store content data received from an external device for a certain period of time.
  • the audio output unit 160 may output an audio signal.
  • an audio signal of content reproduced on the display 180 may be output.
  • the audio output unit 160 may include a speaker, or may include an audio output terminal for outputting audio to the outside.
  • the processor 170 controls the overall operation of each unit in the head mounted display apparatus 100.
  • the processor 170 reproduces the video content stored in the memory 140 or received through the communication module 1345 based on the user input, and displays the corresponding video signal and the audio signal, respectively, 180. ) And the audio output unit 160.
  • the processor 170 may control to perform a corresponding operation based on motion information of the head mounted display apparatus 100, in particular, motion information of a user's head, which is detected by the sensor unit 130. have.
  • the processor 170 receives an image having a first resolution and controls to display a partial region of an image having a first resolution according to a second resolution display mode smaller than the first resolution. In response to the detected movement of the head of the user 700, the controller may display another partial region of the image having the first resolution.
  • the processor 170 may control to display another partial region of the image having the first resolution in response to the up, down, left, or right movement of the head of the user 700.
  • the processor 170 may control to zoom in or zoom out a partial area of the first resolution to be displayed in response to the front or rear movement of the head of the user 700.
  • the processor 170 may control to display a menu in an area corresponding to the gaze of the user 700.
  • the processor 170 may change at least one of a frequency, a magnitude, or a phase of the output audio signal according to the detected movement of the head of the user 700.
  • the processor 170 may adjust the focusing of the image to be displayed based on the sight information of the user 700 received through the communication module 135.
  • the processor 170 may vary an operation corresponding to the movement of the user 700 according to the type of content of the image displayed on the display 180.
  • the processor 170 may control the processor 170 to vary the distance between the eyes of the user 700 and the lens unit 195.
  • the display 180 may display text or an image.
  • the display 180 may display a predetermined image.
  • the display 180 may display a menu in an area corresponding to the gaze of the user 700.
  • the power supply unit 190 may supply power required for the operation of each component under the control of the processor 170.
  • the driver 193 may vary the distance between the user 700 's eyes and the lens unit 195 under the control of the processor 170.
  • the driving unit 193 may include a lens unit moving member (not shown), such as a stepping motor. By the operation of the motor, the distance between the user 700 eyes and the lens unit 195 may be varied.
  • FIG. 5 is a flowchart illustrating a method of operating a head mounted display device according to an embodiment of the present invention
  • FIGS. 6 to 16 are views referred to for explaining the method of FIG. 5.
  • the head mounted display apparatus 100 receives an image having a first resolution (S510).
  • the communication module 135 of the head mounted display apparatus 100 receives an image having a first resolution from an external device. Then, the received image having the first resolution is transmitted to the processor 170.
  • the image having the first resolution may be a UD (Ultra Definition) image, a panorama image, a wide cinema image having a resolution of 21: 9, and the like.
  • UD Ultra Definition
  • the processor 170 receiving the image is displayed by scaling. Down scaling should be performed at (180) resolution. In such a case, a playback time delay factor may occur due to downscaling.
  • the processor 170 outputs a partial region so that a partial region of the image having the first resolution is displayed on the display 180 without additional scaling.
  • the processor 170 does not downscale the UD image to an HD image when the image of the UD resolution of 3840X2160 is received.
  • a partial image area may be output for the UD image corresponding to or less than the HD image area.
  • the head mounted display apparatus 100 displays a partial region of the image having the first resolution according to the second resolution display mode smaller than the first resolution (S520).
  • the display 180 of the head mounted display apparatus 100 may display only a portion of an image of the first resolution output from the processor 170 in accordance with a displayable resolution.
  • the display 180 may display only a partial region of the UD image. Accordingly, the user can watch only a portion of the input image.
  • FIG. 6 illustrates that the user 700 wears the head mounted display apparatus 100 to display an image 620 corresponding to a partial region of the image 610 having the first resolution.
  • the horizontal size of the image 620 corresponding to the partial region is S1.
  • FIG. 6 illustrates that an object 625 indicating a partial display mode or a second resolution display mode is displayed on the display 180 together with an image 620 corresponding to a partial region of an image having a first resolution. .
  • the user can recognize that the video being watched is part of the entire video area.
  • the head mounted display apparatus 100 detects the movement of the head of the user 700 (S530).
  • the sensor unit 130 may detect a movement of the head of the user 700.
  • the acceleration sensor may detect acceleration in the X, Y, and Z directions
  • the gyro sensor may detect the angular velocity.
  • the processor 170 may move the head of the user 700 up, down, left, or right, move forward, backward, or rotate based on the sensing signal detected by the sensor unit 130. Can be determined.
  • the head mounted display apparatus 100 displays another partial region of the image having the first resolution according to the detected movement of the head of the user 700 (S540).
  • the processor 170 performs a corresponding operation according to the detected head movement of the user.
  • the processor 170 displays the other partial region of the image having the first resolution. Can be output to
  • the processor 170 may control to display another partial region of the image having the first resolution in response to the up, down, left, or right movement of the head of the user 700.
  • FIG. 6 illustrates that when the movement of the head 705 of the user 700 moves up, down, left, or right, the image area displayed on the display 180 corresponds to up, down, left, Or to move right. As a result, the user can easily identify the area region that is not viewed unacceptable among the images having the first resolution.
  • FIG. 7 as shown in FIG. 6, an image 9706 of a partial region of the image 610 having the first resolution is displayed, but the vertical size of the partial region is the same as the vertical size of the first resolution image, but the horizontal size ( S2) illustrates smaller.
  • the processor 170 may control the displayed image area to move left or right in response to an up or down movement of the head of the user 700.
  • the image area displayed on the display 180 may move left or right as in the case of moving left or right. Do.
  • an object 675 indicating a partial display mode or a second resolution display mode is displayed on the display 180 together with the image 670 corresponding to a partial region of the image having the first resolution. .
  • the user can recognize that the video being watched is part of the entire video area.
  • the processor 170 may control to zoom in or zoom out a partial area of the first resolution to be displayed in response to the front or rear movement of the head of the user 700.
  • the processor may include a processor. 170 may control to display an indicator for inducing a user to watch. As a result, viewing of the user interest area or the important area can be performed.
  • FIG. 8 illustrates that when the movement of the head 705 of the user 700 moves backward, the image displayed on the display 180 is zoomed out and displayed.
  • the image 620 corresponding to a partial region of the image 610 of the first resolution is displayed, and as the back movement moves, the image 622 corresponding to the entire region of the image of the first resolution may be displayed. .
  • the horizontal size of the image 620 corresponding to the partial region is S1 and the horizontal size of the image 622 corresponding to the entire region is S3, but the size of S3 is larger.
  • the same size is also possible. That is, the image 622 corresponding to the entire area may be downscaled and displayed.
  • the user may view the image 622 of the entire area of the first resolution image, thereby increasing user convenience.
  • FIG. 9 illustrates that when the movement of the head 705 of the user 700 moves forward, the zoomed-in image of the image displayed on the display 180 is displayed.
  • the image 622 corresponding to the entire area of the image 610 of the first resolution is displayed, and as the movement moves forward, the image 620 corresponding to a portion of the image 610 of the first resolution is displayed. Can be.
  • the processor 170 may change at least one of a frequency, a magnitude, or a phase of the output audio signal according to the detected movement of the head of the user 700.
  • FIG. 10 illustrates that when the movement of the head 705 of the user 700 moves forward, the image displayed on the display 180 is zoomed in and displayed, and accordingly, the size of the output audio signal is increased. .
  • the audio output unit 170 of the head mounted display apparatus 100 may include a second sound having a larger amplitude than the first sound 1. sound 2) can be output.
  • sound 2 can be output.
  • the image displayed on the display 180 is zoomed out, and accordingly, the size of the output audio signal is reduced or the frequency is reduced. It is possible to reduce the size, increase the phase difference, or a combination thereof.
  • the processor 170 outputs audio from the audio output unit 170. At least one of the frequency, magnitude, and phase of the signal may vary.
  • a directional audio signal For example, it is possible to change the sign between channels in the frequency band of the audio signal, adjust the complex value between the channels, adjust the phase between the channels, or adjust the gain for each frequency.
  • the processor 170 corresponds to a change in the object of the displayed image. It can be controlled to output an audio signal for the object.
  • the processor 170 may determine the user's 700. In response to the movement of the head 705, audio signal reproduction for each object may be performed.
  • FIG. 11 illustrates that when the movement of the head 705 of the user 700 moves left, the displayed image 620 is moved to the left to display an image 1120 including a specific object.
  • an object 1125 indicating a partial display mode or a second resolution display mode may be displayed together.
  • the user can recognize that the video being watched is part of the entire video area.
  • the image 620 displayed before the left movement is an image including a partial region of the vehicle
  • the image 1120 displayed after the left movement is an image including the guitar player.
  • the object 170 When audio coding for the image content is performed for each vehicle or other player, the object 170 performs a third sound related to the vehicle in response to the image 620 displayed before the left movement. ) May be output, and in response to the image 1120 displayed after the left movement, a fourth sound related to the guitar player may be output.
  • the processor 170 displays when the movement of the head 705 of the user 700 is up, down, left, or right movement as shown in FIG. 7 or 8. At least one of a frequency, a magnitude, and a phase of the output audio signal may be changed according to the movement of the image.
  • FIG. 12 illustrates an example of using a plurality of head mounted display devices.
  • the second head mounted display device 100b worn by the mounted display device 100a and the second user 700b may exchange data with each other or via each other.
  • each head mounted display apparatus 100a or 100b may display an image having a second resolution lower than the first resolution.
  • the game image that the user is executing may be displayed.
  • the first head mounted display apparatus 100a may include the first user video 1220.
  • the second head mounted display apparatus 100b may display the second user image 1230.
  • objects 1225 and 1235 representing a partial display mode or a second resolution display mode may be displayed, respectively.
  • FIG. 12 when there are some images displayed for each user, when there is an up, down, left, or right movement as shown in FIG. 6 or 7, it is also possible to display an image for another user. . That is, when the first user 700a moves the head 705 to the right, the first head mounted display apparatus 100a replaces the first user image 1220 with the second user image 1230. I can display it.
  • zoom in and zoom out are also possible. That is, as shown in FIG. 8, when there is a backward movement, the first head mounted display apparatus 100a may display the first user image 1220 and zoom out to display the entire image 1210. .
  • the head mounted display apparatus 100 is a display apparatus that can be worn on the head 705 of the user 700, it is preferable to perform image display according to the user's eyesight.
  • All of these methods are preferably performed based on the user's vision information.
  • an embodiment of the present invention provides a method of receiving a user's vision information from an external device and performing signal processing on an image to be displayed based on the vision information.
  • FIG. 13 illustrates receiving user vision information from the external device 1300 and adjusting focusing of content according to the received vision information.
  • the user 700 may not recognize it well.
  • the head mounted display apparatus 100 may perform a request for transmitting vision information to the external device 1300 to reproduce image content, and transmits the vision information 1305 of the corresponding user from the external device 1300 to a communication module ( 135).
  • the external device 1300 may be a mobile terminal (not shown) or a server (not shown) that stores visual acuity information of the user, for example, diopter information.
  • the processor 170 may perform image signal processing on an image to be reproduced in response to the received vision information 1305.
  • the processor 170 may determine a region to be focused in the image in response to the user's eyesight information, and enhance the sharpness, etc., to emphasize the focusing on the determined focusing region.
  • the processor 170 may calculate a depth in the image and determine the focusing area according to the calculated depth. For example, as the user has poor vision, the distant image may not be seen well, and thus, an image area having a small depth may be selected and focusing may be performed.
  • the processor 170 may control to display a menu in an area corresponding to the gaze of the user 700.
  • a camera may be further disposed between the left eye lens unit 195L and the right eye lens unit 195R to photograph the user's eyes. have.
  • the processor 170 may receive a photographing of the user's eyes from the camera and grasp the movement of the user's eyes.
  • the processor 170 may determine a menu display area according to the movement of the user's eyes, and may control to display a menu in the corresponding area.
  • FIG. 14A illustrates a menu 1425 in the right region 1420 of the display image 1410 when both the left eye 710L and the pupils 701L and 701R of the right eye 710R move to the right. Illustrates that is displayed. Accordingly, user convenience may be increased.
  • the processor 170 may select a corresponding item based on a user's head movement while the menu is displayed.
  • the processor 170 may determine to select the focused item in the menu.
  • the processor 170 may determine that the focusing in the menu is moved up or down. As a result, the user can easily select a desired item in the menu.
  • the processor 170 may change an operation corresponding to the movement of the user according to the type of content that is reproduced and displayed.
  • FIG. 15A illustrates that the movie content 1510 and the object 1515 indicating the content type are displayed together.
  • the processor 170 'yes' as shown in FIG. 15 (c)
  • the user 700 displays the head 705. If you move horizontally, 'no', moving to the left as shown in FIG. 15 (d), moving to the previous point and playing, moving to the right as shown in FIG. 15 (e), moving to the next point and playing It can be controlled to perform.
  • FIG. 16A illustrates that the broadcast image 1610 and the object 1615 indicating the type of content are displayed together.
  • 15 and 16 may be distinguished from the partial region movement display according to the resolution.
  • FIG. 15 and FIG. 16 are HD contents, different operations may be performed according to the type of content, unlike movement of some regions of the UD image, such as FIG.
  • the head mounted display device and the method of operating the same according to the embodiment of the present invention are not limited to the configuration and method of the embodiments described above, but the embodiments may be modified in various ways. All or some of these may optionally be combined.
  • the operation method of the head mounted display device of the present invention can be implemented as a processor readable code on a processor readable recording medium provided in the head mounted display device.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. .
  • the processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
  • the present invention is a head mounted display device and a method of operating the same, which can be worn on a user's head to watch an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

The present invention relates to a head-mounted display apparatus and a method for operating same. A method for operating a head-mounted display apparatus according to an embodiment of the present invention comprises the steps of: receiving an image having a first resolution; displaying a partial region of the first image having the first resolution in accordance with a second resolution display mode, the second resolution being lower than the first resolution; sensing a head movement of a user; displaying a different region of the image having the first resolution in accordance with the sensed movement of the user. Accordingly, the convenience of use for the users can be improved.

Description

헤드 마운트 디스플레이 장치 및 그 동작방법Head mounted display device and its operation method
본 발명은 헤드 마운트 디스플레이 장치 및 그 동작방법에 관한 것이며, 더욱 상세하게는 사용자 이용 편의성이 향상시킬 수 있는 헤드 마운트 디스플레이 장치 및 그 동작방법에 관한 것이다.The present invention relates to a head mounted display device and a method of operating the same, and more particularly, to a head mounted display device and a method of operating the same that can improve user convenience.
헤드 마운트 디스플레이 장치는 사용자의 머리에 착용하여 영상을 볼 수 있는 장치이다. 한편, 헤드 마운트 디스플레이 장치는, 사용자의 머리에 착용하므로, 사용자 입력을 수신하기 위한 수단이 제한적이다. The head mounted display device is a device that can be worn on the user's head to view an image. On the other hand, since the head mounted display device is worn on the head of the user, the means for receiving the user input is limited.
이에 따라, 헤드 마운트 디스플레이 장치에서 사용자 입력을 위한 다양한 연구가 진행되고 있다. Accordingly, various studies for user input in the head mounted display device have been conducted.
본 발명의 목적은, 사용자 이용 편의성이 향상시킬 수 있는 헤드 마운트 디스플레이 장치 및 그 동작방법을 제공함에 있다.An object of the present invention is to provide a head-mounted display device and its operation method which can improve user convenience.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 동작방법은, 제1 해상도의 영상을 수신하는 단계와, 제1 해상도 보다 작은 제2 해상도 표시 모드에 따라, 제1 해상도의 영상 중 일부 영역을 표시하는 단계와, 사용자의 머리의 움직임을 감지하는 단계와, 감지되는 사용자의 머리 움직임에 따라, 제1 해상도의 영상 중 다른 일부 영역을 표시하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of operating a head mounted display device, the method including receiving an image having a first resolution and displaying a second resolution display mode smaller than the first resolution. Displaying a partial region of the image, detecting a movement of the user's head, and displaying another partial region of the image having the first resolution according to the detected movement of the user's head.
한편, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치는, 소정 영상을 표시하는 디스플레이와, 디스플레이에 표시되는 영상을 확대하는 렌즈부와, 사용자의 머리의 움직임을 감지하는 센서부와, 제1 해상도의 영상을 수신하며, 제1 해상도 보다 작은 제2 해상도 표시 모드에 따라, 제1 해상도의 영상 중 일부 영역을 표시하도록 제어하며, 감지되는 사용자의 머리 움직임에 따라, 제1 해상도의 영상 중 다른 일부 영역을 표시하도록 제어하는 프로세서를 포함한다. On the other hand, the head-mounted display device according to an embodiment of the present invention for achieving the above object, the display for displaying a predetermined image, the lens unit for enlarging the image displayed on the display, the sensor for detecting the movement of the user's head And a control unit to receive an image having a first resolution, and to display a partial region of the image having the first resolution according to a second resolution display mode smaller than the first resolution, and according to the detected head movement of the user. And a processor for controlling to display another partial region of the resolution image.
본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치는, 제2 해상도 표시 모드에 따라, 제1 해상도의 영상 중 일부 영역을 표시한 상태에서, 사용자의 머리 움직임에 따라, 제1 해상도의 영상 중 다른 일부 영역을 표시할 수 있다. 이에 의해, 고해상도 영상에 대한 다운 스케일링 없이, 신속하게, 해당 영상을 재생하여 표시할 수 있게 된다. 이에 따라, 사용자의 이용 편의성이 증대될 수 있다.According to an embodiment of the present invention, the head mounted display apparatus according to the second resolution display mode may display another region of the image having the first resolution according to a user's head movement while displaying a partial region of the image having the first resolution. Some areas can be displayed. As a result, it is possible to quickly reproduce and display the corresponding image without downscaling the high resolution image. Accordingly, user convenience may be increased.
특히, 사용자의 머리의 상,하,좌, 또는 우 움직임에 대응하여, 표시 영상 영역을 이동하거나, 사용자의 머리의 앞 또는 뒤 움직임에 대응하여, 표시 영상을 줌인 또는 줌아웃할 수 있게 되어, 사용자가 원하는 영상 영역을 시청할 수 있게 된다.In particular, the display image may be moved in response to the up, down, left, or right movement of the user's head, or the display image may be zoomed in or out in response to the front or back movement of the user's head. Can watch the desired video area.
한편, 사용자의 시선에 대응하여, 메뉴 표시 위치를 가변할 수 있어, 사용자의 이용 편의성이 증대될 수 있다.On the other hand, in response to the user's eyes, the menu display position can be changed, the user's ease of use can be increased.
도 1은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치의 정면도이다.1 is a front view of a head mounted display device according to an embodiment of the present invention.
도 2는 도 1의 헤드 마운트 디스플레이 장치의 배면도이다.FIG. 2 is a rear view of the head mounted display of FIG. 1.
도 3은 도 1의 헤드 마운트 디스플레이 장치의 단면도이다.3 is a cross-sectional view of the head mounted display of FIG. 1.
도 4는 도 1의 헤드 마운트 디스플레이 장치의 간략한 내부 블록도이다.4 is a simplified internal block diagram of the head mounted display device of FIG. 1.
도 5는 본 발명의 일실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 보여주는 순서도이다.5 is a flowchart illustrating a method of operating a head mounted display device according to an embodiment of the present invention.
도 6 내지 도 16은 도 5의 동작 방법을 설명하기 위해 참조되는 도면이다.6 to 16 are diagrams for explaining the operating method of FIG. 5.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. Hereinafter, with reference to the drawings will be described the present invention in more detail.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.The suffixes "module" and "unit" for components used in the following description are merely given in consideration of ease of preparation of the present specification, and do not impart any particular meaning or role by themselves. Therefore, the "module" and "unit" may be used interchangeably.
본 명세서에서 기술되는 헤드 마운트 디스플레이 장치는, 사용자의 머리에 착용가능한 헤드 마운트 디스플레 장치로서, 소정 영상을 표시할 수 있다. 특히, 영상을 표시하는 디스플레이와, 표시되는 영상을 확대하는 렌즈부를 구비하여, 사용자가, 디스플레이에 표시되는 영상을 확대된 영상으로 인식하도록 할 수 있다.The head mounted display device described in the present specification is a head mounted display device which can be worn on a user's head and can display a predetermined image. In particular, a display for displaying an image and a lens unit for enlarging the displayed image may be provided so that a user may recognize the image displayed on the display as an enlarged image.
이하에서는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치에 대해 기술한다. Hereinafter, a head mounted display device according to an embodiment of the present invention will be described.
도 1은 본 발명의 일 실시예에 따른 헤드 마운트 디스플레이 장치의 정면도이고, 도 2는 도 1의 헤드 마운트 디스플레이 장치의 배면도이고, 도 3은 도 1의 헤드 마운트 디스플레이 장치의 단면도이다. 1 is a front view of a head mounted display device according to an embodiment of the present invention, FIG. 2 is a rear view of the head mounted display device of FIG. 1, and FIG. 3 is a cross-sectional view of the head mounted display device of FIG. 1.
도면을 참조하면, 사용자(700)는, 헤드 마운트 디스플레이 장치(100)를 머리에 착용할 수 있다. 도 1과 같이, 눈을 덮는 형태로, 착용 가능하며, 표시 영상의 몰입감 향상을 위해, 외부광 등은 차단되도록 하는 것이 바람직하다.Referring to the drawing, the user 700 may wear the head mounted display device 100 on the head. As shown in FIG. 1, it is preferable to wear the eye covering and to block external light in order to improve immersion of the display image.
이러한 헤드 마운트 디스플레이 장치(100)를 착용한 사용자(700)는, 눕거나 앉아서, 재생되는 영상을 시청할 수 있게 된다. The user 700 wearing the head mounted display apparatus 100 can lie down or sit down and watch a reproduced image.
한편, 도 2와 같이, 헤드 마운트 디스플레이 장치(100)는 렌즈부(195L,195R)를 구비하며, 사용자의 눈에, 렌즈부(195L,195R)를 통해 확대되는 영상을 제공한다.Meanwhile, as shown in FIG. 2, the head mounted display apparatus 100 includes lens units 195L and 195R, and provides an image enlarged through the lens units 195L and 195R to a user's eye.
도 3은, 헤드 마운트 디스플레이 장치(100)의 상측 단면도를 나타낸다. 사용자(700)의 양안(710L,710R)에 일정 간격 이격되어, 헤드 마운트 디스플레이 장치(100)의 렌즈부(195L,195R)가 위치하며, 디스플레이(300L,300R)에서 각각 표시되는 영상은, 렌즈부(195L,195R)를 거쳐 확대되어, 사용자 양안(710L,710R)에 입사된다. 이에 따라, 사용자(700)는, 도면과 같이, 확대된 영상(300L,300R)을 인식할 수 있게 된다. 이때의 확대된 영상(300L,300R)은 허상 영상(virtual image)이다.3 shows an upper sectional view of the head mounted display device 100. The lens units 195L and 195R of the head mounted display apparatus 100 are positioned at a predetermined interval from both eyes 710L and 710R of the user 700, and the images displayed on the displays 300L and 300R are respectively lenses. It is enlarged through the portions 195L and 195R, and is incident on both eyes 710L and 710R of the user. Accordingly, the user 700 may recognize the enlarged images 300L and 300R as shown in the drawing. At this time, the enlarged images 300L and 300R are virtual images.
도 4는 도 1의 헤드 마운트 디스플레이 장치의 간략한 내부 블록도이다.4 is a simplified internal block diagram of the head mounted display device of FIG. 1.
도면을 참조하면, 헤드 마운트 디스플레이 장치(100)는, 센서부(130), 통신 모듈(135), 메모리(140), 오디오 출력부(160), 프로세서(170), 디스플레이(180), 전원 공급부(190), 구동부(193) 및 렌즈부(195)를 구비할 수 있다. Referring to the drawings, the head mounted display apparatus 100 includes a sensor unit 130, a communication module 135, a memory 140, an audio output unit 160, a processor 170, a display 180, and a power supply unit. 190, the driving unit 193 and the lens unit 195 may be provided.
센서부(130)는, 헤드 마운트 디스플레이 장치(100)의 움직임 정보, 특히, 사용자의 머리의 움직임 정보를 감지하고, 센싱 신호를 발생시킬 수 있다.The sensor unit 130 may detect motion information of the head mounted display apparatus 100, in particular, motion information of a user's head and generate a sensing signal.
예를 들어, 센서부(130)는, 모션 센서(미도시), 근접센서(미도시), 압력센서(미도시) 등 중 적어도 하나를 구비할 수 있다. For example, the sensor unit 130 may include at least one of a motion sensor (not shown), a proximity sensor (not shown), a pressure sensor (not shown), and the like.
모션 센서(미도시)는 가속도 센서, 자이로 센서 등을 이용하여 헤드 마운트 디스플레이 장치(100)의 위치나 움직임 등을 감지한다. A motion sensor (not shown) detects the position or movement of the head mounted display apparatus 100 using an acceleration sensor, a gyro sensor, or the like.
가속도 센서는, X축, Y축, Z축 방향에 대한 가속도 센서를 구비할 수 있다. 한편, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다. The acceleration sensor may include an acceleration sensor in the X-axis, Y-axis, and Z-axis directions. On the other hand, the gyro sensor is a sensor for measuring the angular velocity, it can detect the direction returned to the reference direction.
근접센서(미도시)는 헤드 마운트 디스플레이 장치(100)로 접근하는 물체나, 헤드 마운트 디스플레이 장치(100)의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있다.The proximity sensor (not shown) may detect the presence or absence of an object approaching the head mounted display apparatus 100 or an object present in the vicinity of the head mounted display apparatus 100 without mechanical contact.
압력센서(미도시)는 헤드 마운트 디스플레이 장치(100)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 예를 들어, 사용자 손에 의한 압력을 감지할 수 있다.The pressure sensor (not shown) may detect whether pressure is applied to the head mounted display apparatus 100, the magnitude of the pressure, and the like. For example, pressure by the user's hand can be detected.
통신 모듈(135)은, 외부 장치와의 통신을 위한 인터페이스를 제공할 수 있다. 이를 위해, 통신 모듈(135)은, 이동통신 모듈(미도시), 무선 인터넷 모듈(미도시), 근거리 통신 모듈(미도시), 및 GPS 모듈(미도시) 등 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선 인터넷 모듈(미도시)을 통해, WiFi 통신을 수행할 수 있으며, 근거리 통신 모듈(미도시)를 통해, NFC(Near Field Communication) 통신을 수행할 수 있다.The communication module 135 may provide an interface for communicating with an external device. To this end, the communication module 135 may include at least one of a mobile communication module (not shown), a wireless Internet module (not shown), a short range communication module (not shown), a GPS module (not shown), and the like. . For example, WiFi communication may be performed through a wireless Internet module (not shown), and Near Field Communication (NFC) communication may be performed through a short range communication module (not shown).
한편, 통신 모듈(135)은, 이동 단말기(미도시) 또는 외부 서버(미도시)와, 데이터를 교환할 수 있다. 구체적으로, 통신 모듈(135)은, 이동 단말기로부터, 영상 컨텐츠 등 각종 데이터를 수신할 수 있다. 한편, 이동 단말기로, 헤드 마운트 디스플레이 장치(100)의 상태 정보 등을 전송할 수도 있다.The communication module 135 may exchange data with a mobile terminal (not shown) or an external server (not shown). In detail, the communication module 135 may receive various data such as video content from the mobile terminal. Meanwhile, status information of the head mounted display apparatus 100 may be transmitted to the mobile terminal.
한편, 통신 모듈(135)은, 이동 단말기(미도시) 또는 외부 서버(미도시)로부터, 사용자(700)의 시력 정보를 수신할 수 있다.The communication module 135 may receive sight information of the user 700 from a mobile terminal (not shown) or an external server (not shown).
메모리(140)는, 헤드 마운트 디스플레이 장치(100) 내의 프로세서(170)의 처리 또는 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. The memory 140 may store a program for processing or controlling the processor 170 in the head mounted display apparatus 100, or may perform a function for temporarily storing input or output data.
한편, 메모리(140)는, 외부 장치에서 수신되는 컨텐츠 데이터를 일시적으로 또는 일정 기간 동안 저장할 수 있다. Meanwhile, the memory 140 may temporarily store content data received from an external device for a certain period of time.
오디오 출력부(160)는, 오디오 신호를 출력할 수 있다. 예를 들어, 디스플레이(180)에서 재생되는 컨텐츠의 오디오 신호를 출력할 수 있다. 한편, 오디오 출력부(160)는, 스피커를 구비할 수 있으며, 또는, 외부로 오디오 출력을 위한 오디오 출력 단자를 구비할 수도 있다.The audio output unit 160 may output an audio signal. For example, an audio signal of content reproduced on the display 180 may be output. The audio output unit 160 may include a speaker, or may include an audio output terminal for outputting audio to the outside.
프로세서(170)는, 헤드 마운트 디스플레이 장치(100) 내의 각 유닛의 전반적인 동작을 제어한다. The processor 170 controls the overall operation of each unit in the head mounted display apparatus 100.
예를 들어, 프로세서(170)는, 사용자 입력에 기초하여, 메모리(140)에 저장된 또는 통신 모듈(1345)을 통해 수신되는 영상 컨텐츠를 재생하여, 해당 비디오 신호와 오디오 신호를, 각각 디스플레이(180)와 오디오 출력부(160)에 출력할 수 있다.For example, the processor 170 reproduces the video content stored in the memory 140 or received through the communication module 1345 based on the user input, and displays the corresponding video signal and the audio signal, respectively, 180. ) And the audio output unit 160.
다른 예로, 프로세서(170)는, 센서부(130)에서 감지되는, 헤드 마운트 디스플레이 장치(100)의 움직임 정보, 특히, 사용자의 머리의 움직임 정보에 기초하여, 대응하는 동작을 수행하도록 제어할 수 있다.As another example, the processor 170 may control to perform a corresponding operation based on motion information of the head mounted display apparatus 100, in particular, motion information of a user's head, which is detected by the sensor unit 130. have.
본 발명의 실시예와 관련하여, 프로세서(170)는, 제1 해상도의 영상을 수신하며, 제1 해상도 보다 작은 제2 해상도 표시 모드에 따라, 제1 해상도의 영상 중 일부 영역을 표시하도록 제어하며, 감지되는 사용자(700) 머리 움직임에 따라, 제1 해상도의 영상 중 다른 일부 영역을 표시하도록 제어할 수 있다.In relation to an embodiment of the present invention, the processor 170 receives an image having a first resolution and controls to display a partial region of an image having a first resolution according to a second resolution display mode smaller than the first resolution. In response to the detected movement of the head of the user 700, the controller may display another partial region of the image having the first resolution.
예를 들어, 프로세서(170)는, 사용자(700) 머리의 상,하,좌, 또는 우 움직임에 대응하여, 제1 해상도의 영상의 다른 일부 영역을 표시하도록 제어할 수 있다.For example, the processor 170 may control to display another partial region of the image having the first resolution in response to the up, down, left, or right movement of the head of the user 700.
다른 예로, 프로세서(170)는, 사용자(700) 머리의 앞 또는 뒤 움직임에 대응하여, 표시되는 제1 해상도의 일부 영역을 줌인 하거나 줌아웃하여 표시하도록 제어할 수 있다.As another example, the processor 170 may control to zoom in or zoom out a partial area of the first resolution to be displayed in response to the front or rear movement of the head of the user 700.
한편, 프로세서(170)는, 메뉴 표시 모드에서, 사용자(700)의 시선에 대응하는 영역에, 메뉴를 표시하도록 제어할 수 있다.In the menu display mode, the processor 170 may control to display a menu in an area corresponding to the gaze of the user 700.
한편, 프로세서(170)는, 감지되는 사용자(700) 머리 움직임에 따라, 출력되는 오디오 신호의 주파수, 크기 또는 위상 중 적어도 하나를 가변할 수 있다.The processor 170 may change at least one of a frequency, a magnitude, or a phase of the output audio signal according to the detected movement of the head of the user 700.
한편, 프로세서(170)는, 통신 모듈(135)을 통해 수신되는 사용자(700)의 시력 정보에 기초하여, 표시할 영상의 포커싱을 조절할 수 있다.The processor 170 may adjust the focusing of the image to be displayed based on the sight information of the user 700 received through the communication module 135.
한편, 프로세서(170)는, 디스플레이(180)에 표시되는 영상의 컨텐츠 종류에 따라, 사용자(700)의 움직임에 대응하는 동작을 가변할 수 있다.Meanwhile, the processor 170 may vary an operation corresponding to the movement of the user 700 according to the type of content of the image displayed on the display 180.
한편, 프로세서(170)는, 프로세서(170)는, 사용자(700) 눈과 렌즈부(195) 사이의 거리를 가변하도록 제어할 수 있다. Meanwhile, the processor 170 may control the processor 170 to vary the distance between the eyes of the user 700 and the lens unit 195.
디스플레이(180)는, 텍스트 또는 이미지 등을 표시할 수 있다. 특히, 디스플레이(180)는, 소정 영상을 표시할 수 있다. The display 180 may display text or an image. In particular, the display 180 may display a predetermined image.
한편, 디스플레이(180)는, 메뉴 표시 모드에서, 사용자(700)의 시선에 대응하는 영역에, 메뉴를 표시할 수 있다.In the menu display mode, the display 180 may display a menu in an area corresponding to the gaze of the user 700.
전원 공급부(190)는, 프로세서(170)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.The power supply unit 190 may supply power required for the operation of each component under the control of the processor 170.
한편, 구동부(193)는, 프로세서(170)의 제어에 의해, 사용자(700) 눈과 렌즈부(195) 사이의 거리를 가변할 수 있다. 이를 위해, 구동부(193)는, 스텝핑 모터 등과 같은, 렌즈부 이동 부재(미도시)를 구비할 수 있다. 이러한 모터의 동작에 의해, 사용자(700) 눈과 렌즈부(195) 사이의 거리가 가변될 수 있다.The driver 193 may vary the distance between the user 700 's eyes and the lens unit 195 under the control of the processor 170. To this end, the driving unit 193 may include a lens unit moving member (not shown), such as a stepping motor. By the operation of the motor, the distance between the user 700 eyes and the lens unit 195 may be varied.
도 5는 본 발명의 일실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 보여주는 순서도이고, 도 6 내지 도 16은 도 5의 동작 방법을 설명하기 위해 참조되는 도면이다.FIG. 5 is a flowchart illustrating a method of operating a head mounted display device according to an embodiment of the present invention, and FIGS. 6 to 16 are views referred to for explaining the method of FIG. 5.
먼저, 헤드 마운트 디스플레이 장치(100)는, 제1 해상도의 영상을 수신한다(S510).First, the head mounted display apparatus 100 receives an image having a first resolution (S510).
헤드 마운트 디스플레이 장치(100)의 통신 모듈(135)은 외부 장치로부터 제1 해상도의 영상을 수신한다. 그리고, 수신되는 제1 해상도의 영상을 프로세서(170)로 전송한다.The communication module 135 of the head mounted display apparatus 100 receives an image having a first resolution from an external device. Then, the received image having the first resolution is transmitted to the processor 170.
예를 들어, 제1 해상도의 영상은, UD(Ultra Definition) 영상, 파노라마(panorama) 영상, 21:9의 해상도를 가지는 와이드 시네마(wide cinema) 영상 등일 수 있다.For example, the image having the first resolution may be a UD (Ultra Definition) image, a panorama image, a wide cinema image having a resolution of 21: 9, and the like.
한편, 헤드 마운트 디스플레이 장치(100) 내의 디스플레이(180)가, UD 영상, 파노라마 영상, 21:9의 해상도 영상을 지원하지 않는 경우, 이러한 영상을 수신하는 프로세서(170)는 스케일링 작업을 통해, 디스플레이(180) 해상도로 다운 스케일링(down scaling)을 수행하여야 한다. 이러한 경우, 다운 스케일링으로 인한 재생 시간 지연 요소가 발생할 수 있다. On the other hand, when the display 180 in the head mounted display device 100 does not support UD image, panoramic image, and 21: 9 resolution image, the processor 170 receiving the image is displayed by scaling. Down scaling should be performed at (180) resolution. In such a case, a playback time delay factor may occur due to downscaling.
본 발명에서는 이러한 점을 해결하기 위해, 프로세서(170)에서, 별도의 스케일링 없이, 제1 해상도의 영상 중 일부 영역을 디스플레이(180)에 표시하도록, 일부 영역을 출력하는 것으로 한다.In the present invention, in order to solve this problem, the processor 170 outputs a partial region so that a partial region of the image having the first resolution is displayed on the display 180 without additional scaling.
예를 들어, 디스플레이(180)가 1920X1080의 HD 영상의 표시가 가능하다면, 프로세서(170)는, 3840X2160의 UD 해상도의 영상을 수신하는 경우, UD 영상을 HD 영상으로 다운 스케일링하지 않고, UD 영상 중 HD 영상 영역에 대응하거나 그 이하인, UD 영상을 일부 영상 영역을 출력할 수 있다. For example, if the display 180 is capable of displaying a 1920x1080 HD image, the processor 170 does not downscale the UD image to an HD image when the image of the UD resolution of 3840X2160 is received. A partial image area may be output for the UD image corresponding to or less than the HD image area.
다음, 헤드 마운트 디스플레이 장치(100)는, 제1 해상도 보다 작은 제2 해상도 표시 모드에 따라, 제1 해상도의 영상 중 일부 영역을 표시한다(S520). Next, the head mounted display apparatus 100 displays a partial region of the image having the first resolution according to the second resolution display mode smaller than the first resolution (S520).
헤드 마운트 디스플레이 장치(100)의 디스플레이(180)는, 표시 가능한 해상도에 맞게, 프로세서(170)에서, 출력되는 제1 해상도의 영상 중 일부 영역만을 표시할 수 있다.The display 180 of the head mounted display apparatus 100 may display only a portion of an image of the first resolution output from the processor 170 in accordance with a displayable resolution.
상술한 바와 같이, 프로세서(170)에서 UD 영상의 일부 영역이 출력되는 경우, 디스플레이(180)는, UD 영상의 일부 영역만을 표시할 수 있다. 이에 따라, 사용자는, 입력되는 영상 중 일부 영역만을 시청할 수 있게 된다.As described above, when a partial region of the UD image is output from the processor 170, the display 180 may display only a partial region of the UD image. Accordingly, the user can watch only a portion of the input image.
도 6은 사용자(700)가 헤드 마운트 디스플레이 장치(100)를 착용하여, 제1 해상도의 영상(610) 중 일부 영역에 해당하는 영상(620)을 표시하는 것을 예시한다. 이때, 일부 영역에 해당하는 영상(620)의 가로 크기는 S1인 것을 알 수 있다.FIG. 6 illustrates that the user 700 wears the head mounted display apparatus 100 to display an image 620 corresponding to a partial region of the image 610 having the first resolution. In this case, it can be seen that the horizontal size of the image 620 corresponding to the partial region is S1.
한편, 도 6에서는, 디스플레이(180)에 제1 해상도의 영상 중 일부 영역에 해당하는 영상(620)과 함께, 일부 표시 모드 또는 제2 해상도 표시 모드를 나타내는 오브젝트(625)가 표시되는 것을 예시한다. 이에 의해, 사용자는, 시청하고 있는 영상이, 전체 영상 영역 중 일부 영상 영역인 것을 인식할 수 있게 된다.6 illustrates that an object 625 indicating a partial display mode or a second resolution display mode is displayed on the display 180 together with an image 620 corresponding to a partial region of an image having a first resolution. . As a result, the user can recognize that the video being watched is part of the entire video area.
다음, 헤드 마운트 디스플레이 장치(100)는, 사용자(700) 머리의 움직임을 감지한다(S530).Next, the head mounted display apparatus 100 detects the movement of the head of the user 700 (S530).
센서부(130)는, 사용자(700)의 머리의 움직임을 감지할 수 있다. 구체적으로, 가속도 센서를 통해, X축, Y축, Z축 방향에 대한 가속도를 감지하고, 자이로 센서를 통해, 각속도를 감지할 수 있다.The sensor unit 130 may detect a movement of the head of the user 700. In detail, the acceleration sensor may detect acceleration in the X, Y, and Z directions, and the gyro sensor may detect the angular velocity.
프로세서(170)는, 센서부(130)에서 감지되는 센싱 신호에 기초하여, 사용자(700)의 머리의 움직임이, 상,하,좌, 또는 우로 이동인지, 앞, 뒤로 움직인지, 회전 움직임인 지 여부를 판단할 수 있다.The processor 170 may move the head of the user 700 up, down, left, or right, move forward, backward, or rotate based on the sensing signal detected by the sensor unit 130. Can be determined.
다음, 헤드 마운트 디스플레이 장치(100)는, 감지되는 사용자(700) 머리 움직임에 따라, 제1 해상도의 영상 중 다른 일부 영역을 표시한다(S540).Next, the head mounted display apparatus 100 displays another partial region of the image having the first resolution according to the detected movement of the head of the user 700 (S540).
프로세서(170)는, 감지되는 사용자의 머리 움직임에 따라, 대응하는 동작을 수행한다. The processor 170 performs a corresponding operation according to the detected head movement of the user.
특히, 프로세서(170)는, 제1 해상도의 영상 중 일부 영역을 디스플레이(180)에 출력하고 있는 상태에서, 사용자의 머리 움직임이 감지되면, 제1 해상도의 영상 중 다른 일부 영역을 디스플레이(180)에 출력할 수 있다.In particular, when the user's head movement is detected while the processor 170 is outputting a partial region of the image having the first resolution to the display 180, the processor 170 displays the other partial region of the image having the first resolution. Can be output to
구체적으로, 프로세서(170)는, 사용자(700) 머리의 상,하,좌, 또는 우 움직임에 대응하여, 제1 해상도의 영상의 다른 일부 영역을 표시하도록 제어할 수 있다.In detail, the processor 170 may control to display another partial region of the image having the first resolution in response to the up, down, left, or right movement of the head of the user 700.
도 6은, 사용자(700)의 머리(705)의 움직임이, 상,하,좌, 또는 우로 이동인 경우, 디스플레이(180)에 표시되고 있는 영상 영역이 그에 대응하여, 상,하,좌, 또는 우로 이동하는 것을 예시한다. 이에 의해, 사용자는, 제1 해상도의 영상 중 미쳐 시청하고 있지 못한 영역 영역을 간단하게 확인할 수 있게 된다.FIG. 6 illustrates that when the movement of the head 705 of the user 700 moves up, down, left, or right, the image area displayed on the display 180 corresponds to up, down, left, Or to move right. As a result, the user can easily identify the area region that is not viewed insane among the images having the first resolution.
도 7은 도 6과 같이, 제1 해상도의 영상(610) 중 일부 영역의 영상(9670)이 표시되나, 그 일부 영역의 수직 크기는, 제1 해상도 영상의 수직 크기와 동일하나, 수평 크기(S2)가 더 작은 것을 예시한다.In FIG. 7, as shown in FIG. 6, an image 9706 of a partial region of the image 610 having the first resolution is displayed, but the vertical size of the partial region is the same as the vertical size of the first resolution image, but the horizontal size ( S2) illustrates smaller.
이러한 상태에서, 사용자(700)의 머리(705)의 움직임이, 좌 또는 우로 이동인 경우, 디스플레이(180)에 표시되고 있는 영상 영역이 그에 대응하여, 좌 또는 우로 이동하는 것을 예시한다. In this state, when the movement of the head 705 of the user 700 is moved to the left or right, the image area displayed on the display 180 is moved to the left or right correspondingly.
한편, 프로세서(170)는, 사용자(700) 머리의 상 또는 하 움직임에 대응하여, 표시되는 영상 영역이 좌 또는 우로 이동하도록 제어할 수 있다.The processor 170 may control the displayed image area to move left or right in response to an up or down movement of the head of the user 700.
구체적으로, 사용자(700)의 머리(705)의 움직임이, 상 또는 하로 이동인 경우, 좌 또는 우로 이동인 경우와 마찬가지로, 디스플레이(180)에 표시되고 있는 영상 영역이 좌 또는 우로 이동하는 것도 가능하다.In detail, when the movement of the head 705 of the user 700 moves up or down, the image area displayed on the display 180 may move left or right as in the case of moving left or right. Do.
한편, 도 7에서는, 디스플레이(180)에 제1 해상도의 영상 중 일부 영역에 해당하는 영상(670)과 함께, 일부 표시 모드 또는 제2 해상도 표시 모드를 나타내는 오브젝트(675)가 표시되는 것을 예시한다. 이에 의해, 사용자는, 시청하고 있는 영상이, 전체 영상 영역 중 일부 영상 영역인 것을 인식할 수 있게 된다.In FIG. 7, an object 675 indicating a partial display mode or a second resolution display mode is displayed on the display 180 together with the image 670 corresponding to a partial region of the image having the first resolution. . As a result, the user can recognize that the video being watched is part of the entire video area.
한편, 프로세서(170)는, 사용자(700) 머리의 앞 또는 뒤 움직임에 대응하여, 표시되는 제1 해상도의 일부 영역을 줌인 하거나 줌아웃하여 표시하도록 제어할 수 있다.The processor 170 may control to zoom in or zoom out a partial area of the first resolution to be displayed in response to the front or rear movement of the head of the user 700.
한편, 도 6 및 도 7에서는 도시하지 않았지만, 사용자(700)가 현재 시청하고 있는 영상 영역 외의 영역에, 사용자가 관심 있어 하는 다른 영상 영역, 또는 전체 영상 영역 중 중요한 영상 영역이 존재하는 경우, 프로세서(170)는, 사용자의 시청 유도를 위한, 인디케이터를 표시하도록 제어할 수도 있다. 이에 의해, 사용자 관심 영역 또는 중요 영역에 대한 시청이 가능하게 된다. Although not shown in FIG. 6 and FIG. 7, if there is another video area that the user is interested in or an important video area of the entire video area in an area other than the video area currently being viewed by the user 700, the processor may include a processor. 170 may control to display an indicator for inducing a user to watch. As a result, viewing of the user interest area or the important area can be performed.
도 8은, 사용자(700)의 머리(705)의 움직임이, 뒤로 이동인 경우, 디스플레이(180)에 표시되고 있는 영상을 줌아웃하여 표시하는 것을 예시한다. FIG. 8 illustrates that when the movement of the head 705 of the user 700 moves backward, the image displayed on the display 180 is zoomed out and displayed.
즉, 제1 해상도의 영상(610) 중 일부 영역에 해당하는 영상(620)이 표시되다가, 뒤로 이동 움직임에 따라, 제1 해상도의 영상의 전 영역에 해당하는 영상(622)이 표시될 수 있다.That is, the image 620 corresponding to a partial region of the image 610 of the first resolution is displayed, and as the back movement moves, the image 622 corresponding to the entire region of the image of the first resolution may be displayed. .
도면에서는 일부 영역에 해당하는 영상(620)의 가로 크기를 S1으로 하고, 전 영역에 해당하는 영상(622)의 가로 크기를 S3로 하여, S3의 크기가 더 큰 것으로 도시하나, 이와 달리, 그 크기는 동일한 것도 가능하다. 즉, 전 영역에 해당하는 영상(622)이 다운 스케일링되어, 표시되는 것이 가능하다.In the drawing, the horizontal size of the image 620 corresponding to the partial region is S1 and the horizontal size of the image 622 corresponding to the entire region is S3, but the size of S3 is larger. The same size is also possible. That is, the image 622 corresponding to the entire area may be downscaled and displayed.
이와 같이, 사용자가 제1 해상도 영상의 전 영역의 영상(622)을 시청할 수 있게 되어, 사용자의 이용 편의성이 증대된다.As such, the user may view the image 622 of the entire area of the first resolution image, thereby increasing user convenience.
한편, 도면과 달리, 사용자(700)의 머리(705)의 움직임이, 뒤로 이동인 경우, 디스플레이(180)에 표시되고 있는 영상을 줌인하는 것도 가능하다. On the other hand, unlike the figure, when the movement of the head 705 of the user 700 is moved backward, it is also possible to zoom in on the image displayed on the display 180.
다음, 도 9는, 사용자(700)의 머리(705)의 움직임이, 앞으로 이동인 경우, 디스플레이(180)에 표시되고 있는 영상을 줌인하여 표시하는 것을 예시한다. Next, FIG. 9 illustrates that when the movement of the head 705 of the user 700 moves forward, the zoomed-in image of the image displayed on the display 180 is displayed.
즉, 제1 해상도의 영상(610)의 전 영역에 해당하는 영상(622)이 표시되다가, 앞으로 이동 움직임에 따라, 제1 해상도의 영상(610) 중 일부 영역에 해당하는 영상(620)이 표시될 수 있다.That is, the image 622 corresponding to the entire area of the image 610 of the first resolution is displayed, and as the movement moves forward, the image 620 corresponding to a portion of the image 610 of the first resolution is displayed. Can be.
한편, 도면과 달리, 사용자(700)의 머리(705)의 움직임이, 앞으로로 이동인 경우, 디스플레이(180)에 표시되고 있는 영상을 줌아웃하는 것도 가능하다. On the other hand, unlike the drawing, when the movement of the head 705 of the user 700 is moved forward, it is also possible to zoom out the image displayed on the display 180.
한편, 프로세서(170)는, 감지되는 사용자(700) 머리 움직임에 따라, 출력되는 오디오 신호의 주파수, 크기 또는 위상 중 적어도 하나를 가변할 수 있다.The processor 170 may change at least one of a frequency, a magnitude, or a phase of the output audio signal according to the detected movement of the head of the user 700.
도 10은, 사용자(700)의 머리(705)의 움직임이, 앞으로 이동인 경우, 디스플레이(180)에 표시되고 있는 영상을 줌인하여 표시되고, 그에 따라 출력되는 오디오 신호의 크기가 커지는 것을 예시한다.FIG. 10 illustrates that when the movement of the head 705 of the user 700 moves forward, the image displayed on the display 180 is zoomed in and displayed, and accordingly, the size of the output audio signal is increased. .
도면과 같이, 영상 줌인시, 사용자 몰입감을 증대시키기 위해, 헤드 마운트 디스플레이 장치(100)의 오디오 출력부(170)는, 제1 사운드(sound 1) 보다 크기(amplitude)가 더 큰 제2 사운드(sound 2)를 출력할 수 있다. 그 외, 주파수를 증가시키거나, 도플러 효과와 같이, 위상 차이를 점차적으로 감소시키거나, 이들의 조합도 가능하다.As shown in the figure, in order to increase user immersion when the image is zoomed in, the audio output unit 170 of the head mounted display apparatus 100 may include a second sound having a larger amplitude than the first sound 1. sound 2) can be output. In addition, it is possible to increase the frequency, gradually reduce the phase difference, or a combination thereof, such as the Doppler effect.
한편, 사용자(700)의 머리(705)의 움직임이, 도 9와 같은 뒤로 이동인 경우, 디스플레이(180)에 표시되고 있는 영상을 줌아웃하고, 그에 따라 출력되는 오디오 신호의 크기를 작게하거나, 주파수를 작게하거나, 위상 차이를 크게하거나, 또는 이들의 조합도 가능하다.On the other hand, when the movement of the head 705 of the user 700 is moving backward as shown in FIG. 9, the image displayed on the display 180 is zoomed out, and accordingly, the size of the output audio signal is reduced or the frequency is reduced. It is possible to reduce the size, increase the phase difference, or a combination thereof.
한편, 사용자(700)의 머리(705)의 움직임이, 도 7 또는 도 8과 같은 상,하,좌, 또는 우 움직임인 경우, 프로세서(170)는, 오디오 출력부(170)에서 출력되는 오디오 신호의, 주파수, 크기, 위상 중 적어도 하나늘 가변할 수 있다.On the other hand, when the movement of the head 705 of the user 700 is up, down, left, or right movement as shown in FIG. 7 or 8, the processor 170 outputs audio from the audio output unit 170. At least one of the frequency, magnitude, and phase of the signal may vary.
특히, 방향성 있는 오디오 신호를 출력할 수 있다. 예를 들어, 오디오 신호의 주파수 대역에서의 채널 간의 부호를 바꾸거나, 채널간의 Complex value를 조절하거나, 채널 간의 위상을 조절하거나, 각 주파수별 게인을 조절할 수 있다.In particular, it is possible to output a directional audio signal. For example, it is possible to change the sign between channels in the frequency band of the audio signal, adjust the complex value between the channels, adjust the phase between the channels, or adjust the gain for each frequency.
한편, 프로세서(170)는, 사용자(700)의 머리(705)의 움직임이, 도 7 또는 도 8과 같은 상,하,좌, 또는 우 움직임인 경우, 표시되는 영상의 오브젝트 변동에 따라, 해당 오브젝트에 대한 오디오 신호를 출력하도록 제어할 수 있다. Meanwhile, when the movement of the head 705 of the user 700 is an up, down, left, or right movement as shown in FIG. 7 or 8, the processor 170 corresponds to a change in the object of the displayed image. It can be controlled to output an audio signal for the object.
재생되는 영상 컨텐츠의 오디오 부호화시, 오브젝트별 코딩이 수행되고, 오브젝트별 코딩이 수행된, 오디오 데이터가, 헤드 마운트 디스플레이 장치(100)에 수신되는 경우, 프로세서(170)는, 사용자(700)의 머리(705)의 움직임에 대응하여, 오브젝트별 오디오 신호 재생을 수행할 수 있다.When audio encoding of the reproduced image content is performed, object-based coding is performed, and when audio data, in which object-by-object coding is performed, is received by the head mounted display apparatus 100, the processor 170 may determine the user's 700. In response to the movement of the head 705, audio signal reproduction for each object may be performed.
도 11은 사용자(700)의 머리(705)의 움직임이 좌 이동인 경우, 표시되는 영상(620)을 좌로 이동시켜, 특정 오브젝트를 포함하는 영상(1120)을 표시하는 것을 예시한다. FIG. 11 illustrates that when the movement of the head 705 of the user 700 moves left, the displayed image 620 is moved to the left to display an image 1120 including a specific object.
이때, 일부 표시 모드 또는 제2 해상도 표시 모드를 나타내는 오브젝트(1125)가 함께 표시될 수 있다. 이에 의해, 사용자는, 시청하고 있는 영상이, 전체 영상 영역 중 일부 영상 영역인 것을 인식할 수 있게 된다.In this case, an object 1125 indicating a partial display mode or a second resolution display mode may be displayed together. As a result, the user can recognize that the video being watched is part of the entire video area.
도면을 참조하면, 좌 이동 전 표시되는 영상(620)은, 자동차의 일부 영역을 포함하는 영상이고, 좌 이동 후 표시되는 영상(1120)은, 기타 연주자를 포함하는 영상임을 알 수 있다. Referring to the drawings, the image 620 displayed before the left movement is an image including a partial region of the vehicle, and the image 1120 displayed after the left movement is an image including the guitar player.
영상 컨텐츠에 대한 오디오 코딩이, 자동차, 기타 연주자 별로, 오브젝트 코딩이 수행된 경우, 프로세서(170)는, 좌 이동 전 표시되는 영상(620)에 대응하여, 자동차와 관련 있는 제3 사운드(sound 3)를 출력할 수 있으며, 좌 이동 후 표시되는 영상(1120)에 대응하여, 기타 연주자와 관련 있는 제4 사운드(sound 4)를 출력할 수 있다.When audio coding for the image content is performed for each vehicle or other player, the object 170 performs a third sound related to the vehicle in response to the image 620 displayed before the left movement. ) May be output, and in response to the image 1120 displayed after the left movement, a fourth sound related to the guitar player may be output.
한편, 오브젝트 코딩이 수행되지 않은 경우라도, 프로세서(170)는, 사용자(700)의 머리(705)의 움직임이, 도 7 또는 도 8과 같은 상,하,좌, 또는 우 움직임인 경우, 표시되는 영상의 이동에 맞추어, 출력되는 오디오 신호의, 주파수, 크기, 위상 중 적어도 하나를 가변할 수 있다.On the other hand, even if object coding is not performed, the processor 170 displays when the movement of the head 705 of the user 700 is up, down, left, or right movement as shown in FIG. 7 or 8. At least one of a frequency, a magnitude, and a phase of the output audio signal may be changed according to the movement of the image.
도 12는 복수의 헤드 마운트 디스플레이 장치의 사용 예를 예시한다.12 illustrates an example of using a plurality of head mounted display devices.
제1 사용자(700a)와 제2 사용자(700b) 사이에서, 동일 컨텐츠를 재생하여 실행하는 경우, 예를 들어, 2인용 게임 컨텐츠를 실행하는 경우, 제1 사용자(700a)가 착용한 제1 헤드 마운트 디스플레이 장치(100a)와 제2사용자(700b) 착용한 제2 헤드 마운트 디스플레이 장치(100b)는,서로 또는 경유하에 데이터를 교환할 수 있다.The first head worn by the first user 700a when the same content is reproduced and executed between the first user 700a and the second user 700b, for example, when the two-player game content is executed. The second head mounted display device 100b worn by the mounted display device 100a and the second user 700b may exchange data with each other or via each other.
그리고, 동일 컨텐츠의 영상 해상도가 제1 해상도인 경우, 각 헤드 마운트 디스플레이 장치(100a,100b)는 제1 해상도 보다 낮은 제2 해상도의 영상을 표시할 수 있다. 특히, 해당 사용자가 실행하고 있는 게임 영상을 표시할 수 있다.When the image resolution of the same content is the first resolution, each head mounted display apparatus 100a or 100b may display an image having a second resolution lower than the first resolution. In particular, the game image that the user is executing may be displayed.
도면과 같이, 2인용 게임 컨텐츠의 전체 영상(1210)이, 제1 사용자용 영상과 제2 사용자용 영상을 포함하는 경우, 제1 헤드 마운트 디스플레이 장치(100a)는, 제1 사용자용 영상(1220)을 표시하고, 제2 헤드 마운트 디스플레이 장치(100b)는, 제2 사용자용 영상(1230)을 표시할 수 이따.As shown in the drawing, when the entire video 1210 of the game for two players includes the first user video and the second user video, the first head mounted display apparatus 100a may include the first user video 1220. ), And the second head mounted display apparatus 100b may display the second user image 1230.
이때, 제1 사용자용 영상(1220), 제2 사용자용 영상(1230)과 함께, 각각 일부 표시 모드 또는 제2 해상도 표시 모드를 나타내는 오브젝트(1225,1235)가, 각각 표시될 수 있다. 이에 의해, 2인용 영상 중 어느 사용자를 위한 영상인 지를 확인할 수 있게 된다.In this case, together with the first user image 1220 and the second user image 1230, objects 1225 and 1235 representing a partial display mode or a second resolution display mode may be displayed, respectively. As a result, it is possible to confirm which user the image is for the two-person image.
한편, 도 12에서, 각 사용자를 위한, 일부 영상이 표시된 상태에서, 도 6 또는 도 7과 같은, 상,하,좌, 또는 우 움직임이 있는 경우, 다른 사용자를 위한 영상이 표시되는 것도 가능하다. 즉, 제1 사용자(700a)가 머리(705)를 우로 이동하는 경우, 제1 헤드 마운트 디스플레이 장치(100a)는, 제1 사용자용 영상(1220)을 제2 사용자용 영상(1230)으로 교체하여 표시할 수 있다.Meanwhile, in FIG. 12, when there are some images displayed for each user, when there is an up, down, left, or right movement as shown in FIG. 6 or 7, it is also possible to display an image for another user. . That is, when the first user 700a moves the head 705 to the right, the first head mounted display apparatus 100a replaces the first user image 1220 with the second user image 1230. I can display it.
한편, 줌인, 줌아웃도 가능하다. 즉, 도 8과 같이, 뒤로 이동 움직임이 있는 경우, 제1 헤드 마운트 디스플레이 장치(100a)는, 제1 사용자용 영상(1220)을 표시하다가, 줌아웃하여, 전체 영상(1210)을 표시할 수도 있다.On the other hand, zoom in and zoom out are also possible. That is, as shown in FIG. 8, when there is a backward movement, the first head mounted display apparatus 100a may display the first user image 1220 and zoom out to display the entire image 1210. .
한편, 헤드 마운트 디스플레이 장치(100)는, 사용자(700)의 머리(705)에 착용 가능한 디스플레이 장치이므로, 사용자 시력에 따른, 영상 표시를 수행하는 것이 바람직하다.Meanwhile, since the head mounted display apparatus 100 is a display apparatus that can be worn on the head 705 of the user 700, it is preferable to perform image display according to the user's eyesight.
사용자 시력에 대응하는 영상 표시의 일 방법으로는, 도 4의 설명에서 언급한 바와 같이, 렌즈부(195)의 위치를 이동시켜, 사용자 눈과, 렌즈부(195)의 위치를 가변하는 방법이 있다. As a method of displaying an image corresponding to the user's eyesight, as mentioned in the description of FIG. 4, a method of changing the position of the user's eyes and the lens unit 195 by moving the position of the lens unit 195 is described. have.
다른 방법으로는, 렌즈부(195)의 위치 이동 없이, 표시할 영상에 대한 신호 처리를 수행하는 방법이 있다.As another method, there is a method of performing signal processing on an image to be displayed without shifting the position of the lens unit 195.
이러한 방법들은 모두, 사용자의 시력 정보를 기반으로 수행되는 것이 바람직하다. All of these methods are preferably performed based on the user's vision information.
이에, 본 발명의 실시예에서는, 사용자의 시력 정보를, 외부 장치로부터 수신하고, 시력 정보에 기초하여, 표시할 영상에 대한 신호 처리를 수행하는 방안을 제시한다.Accordingly, an embodiment of the present invention provides a method of receiving a user's vision information from an external device and performing signal processing on an image to be displayed based on the vision information.
도 13은, 사용자 시력 정보를 외부 장치(1300)로부터 수신하고, 수신되는 시력 정보에 따라, 컨텐츠의 포커싱을 조정하는 것을 예시한다.13 illustrates receiving user vision information from the external device 1300 and adjusting focusing of content according to the received vision information.
도 13(a)과 같이, 표시되는 영상(1310) 중 일부 영역(1315)에 대한 초점이 맞지 않는 경우, 사용자(700)는 이를 잘 인식할 수 없게 된다.As shown in FIG. 13A, when the focus of a part of the area 1315 of the displayed image 1310 is not focused, the user 700 may not recognize it well.
헤드 마운트 디스플레이 장치(100)는, 영상 컨텐츠 재생을 위해, 외부 장치(1300)로 시력 정보 전송 요청을 수행할 수 있으며, 외부 장치(1300)로부터 대응하는 사용자의 시력 정보(1305)를 통신 모듈(135)을 통해 수신할 수 있다.The head mounted display apparatus 100 may perform a request for transmitting vision information to the external device 1300 to reproduce image content, and transmits the vision information 1305 of the corresponding user from the external device 1300 to a communication module ( 135).
이때의 외부 장치(1300)는, 사용자의 시력 정보, 예를 들어, 디옵터 정보를 저장하고 있는 이동 단말기(미도시) 또는 서버(미도시) 등일 수 있다.In this case, the external device 1300 may be a mobile terminal (not shown) or a server (not shown) that stores visual acuity information of the user, for example, diopter information.
프로세서(170)는, 수신되는 시력 정보(1305)에 대응하여, 재생할 영상에 대한 영상 신호 처리를 수행할 수 있다.The processor 170 may perform image signal processing on an image to be reproduced in response to the received vision information 1305.
예를 들어, 프로세서(170)는, 사용자 시력 정보에 대응하여, 영상 내에 포커싱할 영역을 결정하고, 결정된 포커싱 영역에 대한, 샤프니스 등을 강화하여, 포커싱을 강조할 수 있다.For example, the processor 170 may determine a region to be focused in the image in response to the user's eyesight information, and enhance the sharpness, etc., to emphasize the focusing on the determined focusing region.
포커싱 영역 결정시, 프로세서(170)는, 영상 내의 깊이를 산출하고, 산출되는 깊이에 따라, 포커싱 영역을 결정할 수 있다. 예를 들어, 사용자가 시력이 안 좋을수록, 먼 영상이 잘 안 보이므로, 깊이가 작은, 영상 영역을 선택하여, 포커싱을 수행할 수 있다. When determining the focusing area, the processor 170 may calculate a depth in the image and determine the focusing area according to the calculated depth. For example, as the user has poor vision, the distant image may not be seen well, and thus, an image area having a small depth may be selected and focusing may be performed.
한편, 프로세서(170)는, 메뉴 표시 모드에서, 사용자(700)의 시선에 대응하는 영역에, 메뉴를 표시하도록 제어할 수 있다.In the menu display mode, the processor 170 may control to display a menu in an area corresponding to the gaze of the user 700.
도 2의 헤드 마운트 디스플레이 장치(100)의 배면도에서는 도시하지 않았지만, 좌안 렌즈부(195L)와 우안 렌즈부(195R) 사이에, 사용자 시선을 촬영하기 위한 카메라(미도시)가 더 배치될 수 있다.Although not shown in the rear view of the head mounted display apparatus 100 of FIG. 2, a camera (not shown) may be further disposed between the left eye lens unit 195L and the right eye lens unit 195R to photograph the user's eyes. have.
프로세서(170)는, 카메라로부터 사용자 시선을 촬영을 수신하고, 사용자의 눈동자의 움직임을 파악할 수 있다.The processor 170 may receive a photographing of the user's eyes from the camera and grasp the movement of the user's eyes.
그리고, 프로세서(170)는, 도 14와 같이, 사용자 시선의 움직임에 따라, 메뉴 표시 영역을 결정하고, 해당 영역에 메뉴를 표시하도록 제어할 수 있다.In addition, as shown in FIG. 14, the processor 170 may determine a menu display area according to the movement of the user's eyes, and may control to display a menu in the corresponding area.
도 14(a)는, 사용자의 좌안(710L)과 우안(710R)의 각 눈동자(701L,701R)가 모두 우측으로 이동하는 경우, 표시 영상(1410)의 우측 영역(1420)에 메뉴(1425)가 표시되는 것을 예시한다. 이에 따라, 사용자 이용 편의성이 증대될 수 있다.FIG. 14A illustrates a menu 1425 in the right region 1420 of the display image 1410 when both the left eye 710L and the pupils 701L and 701R of the right eye 710R move to the right. Illustrates that is displayed. Accordingly, user convenience may be increased.
그리고, 프로세서(170)는, 메뉴가 표시된 상태에서, 사용자의 머리 움직임에 기초하여, 해당 항목을 선택할 수 있다.The processor 170 may select a corresponding item based on a user's head movement while the menu is displayed.
프로세서(170)는, 도 14(b)와 같이, 사용자(700)가 머리(705)를 끄덕이면, 메뉴 내의 포커싱된 항목을 선택하는 것으로 판단할 수 있다. If the user 700 nods the head 705 as shown in FIG. 14B, the processor 170 may determine to select the focused item in the menu.
한편, 프로세서(170)는, 도 14(c)와 같이, 사용자(700)가 머리(705)를 상 또는 하로 움직이면, 메뉴 내의 포커싱을 상 또는 하로 이동시키는 것으로 판단할 수 있다. 이에 의해, 사용자가 간편하게, 메뉴 내의 원하는 항목을 선택할 수 있게 된다. Meanwhile, as shown in FIG. 14C, when the user 700 moves the head 705 up or down, the processor 170 may determine that the focusing in the menu is moved up or down. As a result, the user can easily select a desired item in the menu.
한편, 프로세서(170)는, 재생되어 표시되는 컨텐츠 종류에 따라, 사용자의 움직임에 대응하는 동작을 가변할 수 있다.The processor 170 may change an operation corresponding to the movement of the user according to the type of content that is reproduced and displayed.
도 15(a)는 영화 컨텐츠(1510)와 컨텐츠 종류를 나타내는 오브젝트(1515)가 함꼐 표시되는 것을 예시한다.FIG. 15A illustrates that the movie content 1510 and the object 1515 indicating the content type are displayed together.
이때, 프로세서(170)는, 도 15(b)와 같이, 사용자(700)가 머리(705)를 끄덕이면, 'yes', 도 15(c)와 같이, 사용자(700)가 머리(705)를 가로 저으면, 'no', 도 15(d)와 같이, 좌로 이동하면, '이전 시점으로 이동 재생', 도 15(e)와 같이 우로 이동하면, '이후 시점으로 이동 재생' 등의 동작을 수행하도록 제어할 수 있다. At this time, when the user 700 nods the head 705 as shown in FIG. 15 (b), the processor 170 'yes', as shown in FIG. 15 (c), the user 700 displays the head 705. If you move horizontally, 'no', moving to the left as shown in FIG. 15 (d), moving to the previous point and playing, moving to the right as shown in FIG. 15 (e), moving to the next point and playing It can be controlled to perform.
도 16(a)는 방송 영상(1610)와 컨텐츠 종류를 나타내는 오브젝트(1615)가 함꼐 표시되는 것을 예시한다.FIG. 16A illustrates that the broadcast image 1610 and the object 1615 indicating the type of content are displayed together.
이때, 프로세서(170)는, 도 16(b)와 같이, 사용자(700)가 머리(705)를 하로 이동하면, '볼륨 다운', 도 16(c)와 같이, 사용자(700)가 머리(705)를 상으로 이동하면, '볼륨 업', 도 16(d)와 같이, 좌로 이동하면, '이전 채널 이동', 도 16(e)와 같이 우로 이동하면, '이후 채널 이동' 등의 동작을 수행하도록 제어할 수 있다. In this case, when the user 700 moves the head 705 downward as shown in FIG. 16 (b), the processor 170 'volume down', as shown in FIG. 16 (c), the user 700 moves the head ( If the 705 is moved upward, 'volume up', as shown in FIG. It can be controlled to perform.
한편, 도 15와 도 16에 대한 도면 및 설명은, 해상도에 따른, 일부 영역 이동 표시와는 구분될 수 있다.15 and 16 may be distinguished from the partial region movement display according to the resolution.
즉, 도 15와 도 16의 컨텐츠가 HD 컨텐트인 경우, 도 5 또는 도 6과 같은, UD 영상의 일부 영역 이동 표시와 달리, 컨텐츠 종류에 따른, 다른 동작이 수행될 수 있다.That is, when the contents of FIG. 15 and FIG. 16 are HD contents, different operations may be performed according to the type of content, unlike movement of some regions of the UD image, such as FIG.
본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치 및 그 동작방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The head mounted display device and the method of operating the same according to the embodiment of the present invention are not limited to the configuration and method of the embodiments described above, but the embodiments may be modified in various ways. All or some of these may optionally be combined.
한편, 본 발명의 헤드 마운트 디스플레이 장치의 동작방법은 헤드 마운트 디스플레이 장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.On the other hand, the operation method of the head mounted display device of the present invention can be implemented as a processor readable code on a processor readable recording medium provided in the head mounted display device. The processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. . The processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.
본 발명은 사용자의 머리에 착용하여 영상을 시청할 수 있는 헤드 마운트 디스플레이 장치 및 그 동작방법으로서, 더욱 상세하게는 사용자 이용 편의성이 향상시킬 수 있는 헤드 마운트 디스플레이 장치에 적용 가능하다. The present invention is a head mounted display device and a method of operating the same, which can be worn on a user's head to watch an image.

Claims (17)

  1. 사용자의 머리에 착용 가능한 헤드 마운트 디스플레이 장치의 동작방법에 있어서,In the operation method of the head mounted display device that can be worn on the user's head,
    제1 해상도의 영상을 수신하는 단계;Receiving an image having a first resolution;
    상기 제1 해상도 보다 작은 제2 해상도 표시 모드에 따라, 상기 제1 해상도의 영상 중 일부 영역을 표시하는 단계;Displaying a partial area of the image having the first resolution according to a second resolution display mode smaller than the first resolution;
    상기 사용자의 머리의 움직임을 감지하는 단계;Detecting movement of the head of the user;
    상기 감지되는 사용자의 머리 움직임에 따라, 상기 제1 해상도의 영상 중 다른 일부 영역을 표시하는 단계;를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.And displaying another partial region of the image having the first resolution according to the detected movement of the head of the user.
  2. 제1항에 있어서,The method of claim 1,
    상기 다른 일부 영역 표시 단계는,The other partial region display step,
    상기 사용자의 머리의 상,하,좌, 또는 우 움직임에 대응하여, 상기 제1 해상도의 영상의 상기 다른 일부 영역을 표시하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.And displaying the other partial area of the image having the first resolution in response to an up, down, left, or right movement of the head of the user.
  3. 제1항에 있어서,The method of claim 1,
    상기 다른 일부 영역 표시 단계는,The other partial region display step,
    상기 사용자의 머리의 앞 또는 뒤 움직임에 대응하여, 상기 표시되는 제1 해상도의 일부 영역을 줌인 하거나 줌아웃하여 표시하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.And in response to the front or rear movement of the user's head, zooming in or zooming out a portion of the displayed first resolution.
  4. 제1항에 있어서,The method of claim 1,
    메뉴 표시 모드에서, 상기 사용자의 시선에 대응하는 영역에, 메뉴를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.And displaying a menu in a region corresponding to the gaze of the user in a menu display mode.
  5. 제1항에 있어서,The method of claim 1,
    상기 감지되는 사용자의 머리 움직임에 따라, 출력되는 오디오 신호의 주파수, 크기 또는 위상 중 적어도 하나를 가변하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.And at least one of a frequency, a magnitude, and a phase of an output audio signal according to the detected movement of the head of the user.
  6. 제1항에 있어서,The method of claim 1,
    외부로부터 사용자의 시력 정보를 수신하는 단계;Receiving vision information of the user from the outside;
    상기 수신되는 시력 정보에 기초하여, 표시할 영상의 포커싱을 조절하는 단계;를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.And adjusting the focusing of the image to be displayed based on the received visual acuity information.
  7. 제1항에 있어서,The method of claim 1,
    상기 제1 해상도 영상의 컨텐츠 종류에 따라, 상기 사용자의 움직임에 대응하는 동작을 가변하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.And an operation corresponding to the movement of the user according to the content type of the first resolution image.
  8. 제1항에 있어서,The method of claim 1,
    상기 일부 영역 표시시, 상기 다른 일부 영역을 시청을 위한 인디케이터를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치의 동작방법.And displaying an indicator for viewing the other partial region when the partial region is displayed.
  9. 사용자의 머리에 착용 가능한 헤드 마운트 디스플레이 장치에 있어서,A head mounted display device that can be worn on a user's head,
    소정 영상을 표시하는 디스플레이;A display for displaying a predetermined image;
    상기 디스플레이에 표시되는 영상을 확대하는 렌즈부;A lens unit for enlarging an image displayed on the display;
    상기 사용자의 머리의 움직임을 감지하는 센서부;Sensor unit for detecting the movement of the user's head;
    제1 해상도의 영상을 수신하며, 상기 제1 해상도 보다 작은 제2 해상도 표시 모드에 따라, 상기 제1 해상도의 영상 중 일부 영역을 표시하도록 제어하며, 상기 감지되는 사용자의 머리 움직임에 따라, 상기 제1 해상도의 영상 중 다른 일부 영역을 표시하도록 제어하는 프로세서;를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.Receiving an image having a first resolution, controlling to display a partial region of the image having the first resolution according to a second resolution display mode smaller than the first resolution, and according to the detected head movement of the user, And a processor configured to control to display another partial region of the image having one resolution.
  10. 제9항에 있어서,The method of claim 9,
    상기 프로세서는, The processor,
    상기 사용자의 머리의 상,하,좌, 또는 우 움직임에 대응하여, 상기 제1 해상도의 영상의 상기 다른 일부 영역을 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.And controlling to display the other partial region of the image having the first resolution in response to an up, down, left, or right movement of the user's head.
  11. 제9항에 있어서,The method of claim 9,
    상기 프로세서는, The processor,
    상기 사용자의 머리의 앞 또는 뒤 움직임에 대응하여, 상기 표시되는 제1 해상도의 일부 영역을 줌인 하거나 줌아웃하여 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.And controlling to display a zoom-in or zoom-out portion of the displayed first resolution in response to the front or rear movement of the user's head.
  12. 제9항에 있어서,The method of claim 9,
    상기 프로세서는, The processor,
    메뉴 표시 모드에서, 상기 사용자의 시선에 대응하는 영역에, 메뉴를 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.And in a menu display mode, to display a menu in an area corresponding to the gaze of the user.
  13. 제9항에 있어서,The method of claim 9,
    상기 프로세서는, The processor,
    상기 감지되는 사용자의 머리 움직임에 따라, 출력되는 오디오 신호의 주파수, 크기 또는 위상 중 적어도 하나를 가변하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.And at least one of a frequency, a magnitude, and a phase of an output audio signal according to the detected head movement of the user.
  14. 제9항에 있어서,The method of claim 9,
    외부로부터 사용자의 시력 정보를 수신하는 통신 모듈;을 더 포함하고,And a communication module configured to receive vision information of the user from the outside.
    상기 프로세서는, The processor,
    상기 수신되는 시력 정보에 기초하여, 표시할 영상의 포커싱을 조절하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.And adjust focusing of an image to be displayed based on the received visual acuity information.
  15. 제9항에 있어서,The method of claim 9,
    상기 프로세서는, The processor,
    상기 제1 해상도 영상의 컨텐츠 종류에 따라, 상기 사용자의 움직임에 대응하는 동작을 가변하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.And an operation corresponding to the movement of the user according to the content type of the first resolution image.
  16. 제9항에 있어서,The method of claim 9,
    상기 사용자 눈과 상기 렌즈부 사이의 거리를 가변하는 구동부;를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.And a driving unit varying a distance between the user's eye and the lens unit.
  17. 제9항에 있어서,The method of claim 9,
    상기 프로세서는, The processor,
    상기 일부 영역 표시시, 상기 다른 일부 영역을 시청을 위한 인디케이터를 표시하도록 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이 장치.And displaying the indicator for viewing the other partial region when the partial region is displayed.
PCT/KR2013/012138 2013-12-24 2013-12-24 Head-mounted display apparatus and method for operating same WO2015099215A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2013/012138 WO2015099215A1 (en) 2013-12-24 2013-12-24 Head-mounted display apparatus and method for operating same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2013/012138 WO2015099215A1 (en) 2013-12-24 2013-12-24 Head-mounted display apparatus and method for operating same

Publications (1)

Publication Number Publication Date
WO2015099215A1 true WO2015099215A1 (en) 2015-07-02

Family

ID=53479047

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/012138 WO2015099215A1 (en) 2013-12-24 2013-12-24 Head-mounted display apparatus and method for operating same

Country Status (1)

Country Link
WO (1) WO2015099215A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
CN107193364A (en) * 2016-03-14 2017-09-22 宏达国际电子股份有限公司 Media can be read in virtual reality system, control method and non-transient computer
US11347052B2 (en) * 2017-10-23 2022-05-31 Sony Corporation Display control apparatus, head mounted display, and display control method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH099301A (en) * 1995-06-24 1997-01-10 Victor Co Of Japan Ltd Head mount display device
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20110234584A1 (en) * 2010-03-25 2011-09-29 Fujifilm Corporation Head-mounted display device
US20120274750A1 (en) * 2011-04-26 2012-11-01 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US20130093789A1 (en) * 2011-06-23 2013-04-18 James Chia-Ming Liu Total field of view classification for head-mounted display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH099301A (en) * 1995-06-24 1997-01-10 Victor Co Of Japan Ltd Head mount display device
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20110234584A1 (en) * 2010-03-25 2011-09-29 Fujifilm Corporation Head-mounted display device
US20120274750A1 (en) * 2011-04-26 2012-11-01 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US20130093789A1 (en) * 2011-06-23 2013-04-18 James Chia-Ming Liu Total field of view classification for head-mounted display

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
US9804394B2 (en) 2015-09-10 2017-10-31 Connectivity Labs Inc. Sedentary virtual reality method and systems
US10345588B2 (en) 2015-09-10 2019-07-09 Connectivity Labs Inc. Sedentary virtual reality method and systems
US11125996B2 (en) 2015-09-10 2021-09-21 Connectivity Labs Inc. Sedentary virtual reality method and systems
US11803055B2 (en) 2015-09-10 2023-10-31 Connectivity Labs Inc. Sedentary virtual reality method and systems
CN107193364A (en) * 2016-03-14 2017-09-22 宏达国际电子股份有限公司 Media can be read in virtual reality system, control method and non-transient computer
CN107193364B (en) * 2016-03-14 2020-06-05 宏达国际电子股份有限公司 Virtual reality system, control method and non-transitory computer readable medium
US10976809B2 (en) 2016-03-14 2021-04-13 Htc Corporation Interaction method for virtual reality
US11347052B2 (en) * 2017-10-23 2022-05-31 Sony Corporation Display control apparatus, head mounted display, and display control method
US11971543B2 (en) 2017-10-23 2024-04-30 Sony Group Corporation Display control apparatus, head mounted display, and display control method

Similar Documents

Publication Publication Date Title
US10534428B2 (en) Image processing device and image processing method, display device and display method, and image display system
WO2016171363A1 (en) Server, user terminal device, and control method therefor
US9696548B2 (en) Stereoscopic video observation device and transmittance control method
KR102155001B1 (en) Head mount display apparatus and method for operating the same
WO2018182321A1 (en) Method and apparatus for rendering timed text and graphics in virtual reality video
CN106663336B (en) Image generation device and image generation method
KR20170013737A (en) Head mount display apparatus and method for operating the same
JP2005172851A (en) Image display apparatus
WO2017196131A1 (en) Method and apparatus for providing content navigation
WO2018088730A1 (en) Display apparatus and control method thereof
US20200264433A1 (en) Augmented reality display device and interaction method using the augmented reality display device
US20120033046A1 (en) Image processing apparatus, image processing method, and program
WO2017217713A1 (en) Method and apparatus for providing augmented reality services
WO2019112114A1 (en) Glasses-type terminal and operation method thereof
US10771707B2 (en) Information processing device and information processing method
JP7435596B2 (en) A head-mounted display system, a stereo depth camera operable to capture stereo images, and a method of providing a stereo depth camera operable to capture stereo images
WO2018030567A1 (en) Hmd and control method therefor
WO2019035581A1 (en) Server, display device and control method therefor
KR20150006128A (en) Head mount display apparatus and method for operating the same
WO2015099215A1 (en) Head-mounted display apparatus and method for operating same
WO2016003165A1 (en) Method and apparatus for processing broadcast data by using external device
WO2019103427A1 (en) Method, device, and recording medium for processing image
WO2010050691A2 (en) Methods and apparatuses for processing and displaying image
WO2019045174A1 (en) Method for providing location corrected image to hmd, method for displaying location corrected image on hmd, and hmd for displaying location corrected image using same
CN114742977A (en) Video perspective method based on AR technology

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13900133

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13900133

Country of ref document: EP

Kind code of ref document: A1