KR20240044943A

KR20240044943A - Transparent display device

Info

Publication number: KR20240044943A
Application number: KR1020220124572A
Authority: KR
Inventors: 박진영; 이승일; 김종호; 배진완; 안종윤; 이윤경; 조민영; 이철배
Original assignee: 엘지전자 주식회사
Priority date: 2022-09-29
Filing date: 2022-09-29
Publication date: 2024-04-05

Abstract

본 개시는 투명 디스플레이에 인접한 오브젝트를 인식하고, 인식된 오브젝트에 맞는 AR 정보를 제공하는 것에 목적이 있다. 본 개시의 실시 예에 따른 투명 디스플레이 장치는 투명 디스플레이 및 상기 투명 디스플레이의 후면에 위치한 오브젝트를 인식하고, 인식된 오브젝트의 정보를 획득하고, 획득된 오브젝트의 정보에 기초하여 상기 투명 디스플레이 상에 증강 현실(Augmented reality, AR) 정보를 표시하는 컨트롤러를 포함할 수 있다.The purpose of the present disclosure is to recognize objects adjacent to a transparent display and provide AR information appropriate for the recognized objects. A transparent display device according to an embodiment of the present disclosure recognizes a transparent display and an object located on the back of the transparent display, acquires information on the recognized object, and displays augmented reality on the transparent display based on the information on the obtained object. (Augmented reality, AR) may include a controller that displays information.

Description

Transparent display device {TRANSPARENT DISPLAY DEVICE}

본 개시는 투명 디스플레이 장치에 관한 것이다.This disclosure relates to a transparent display device.

정보 디스플레이는 기술의 발전에 따라 새로운 양상으로 발전하고 있다. 그 중에서 투명 디스플레이 장치는 정보를 배경과 같이 보여줄 수 있는 독특한 장점 이 있다.Information displays are developing into new aspects as technology advances. Among them, transparent display devices have the unique advantage of being able to display information against the background.

투명 디스플레이 장치는 빛을 투과하는 성질을 이용하여 투명한 화면으로 정보를 표시한다. Transparent display devices display information on a transparent screen using the property of transmitting light.

투명 디스플레이 장치가 대중화되면 증강현실 등의 콘텐츠와 결합하여 사용자에게 새로운 인터페이스를 제공해 줄 것으로 기대된다.When transparent display devices become popular, it is expected that they will provide users with a new interface by combining them with content such as augmented reality.

다만, 종래에는 투명 디스플레이 장치가 평소에는 유리처럼 배경을 보여주고, 필요한 경우, 정보를 표시하는 역할에 그쳐 사용성에 한계가 있었다.However, in the past, transparent display devices had limitations in usability as they only showed a glass-like background and displayed information when necessary.

본 개시는 투명 디스플레이의 후면에 위치한 오브젝트를 인식하고, 인식된 오브젝트에 맞는 AR 정보를 제공하는 것에 목적이 있다.The purpose of the present disclosure is to recognize an object located on the back of a transparent display and provide AR information appropriate for the recognized object.

본 개시는 투명 디스플레이의 전면에 위치한 사용자를 인식하여, 사용자 맞춤형 AR 정보를 제공하는 것에 그 목적이 있다.The purpose of the present disclosure is to recognize a user located in front of a transparent display and provide user-customized AR information.

본 개시의 실시 예에 따른 투명 디스플레이 장치는 투명 디스플레이 및 상기 투명 디스플레이의 후면에 위치한 오브젝트를 인식하고, 인식된 오브젝트의 정보를 획득하고, 획득된 오브젝트의 정보에 기초하여 상기 투명 디스플레이 상에 증강 현실(Augmented reality, AR) 정보를 표시하는 컨트롤러를 포함할 수 있다.A transparent display device according to an embodiment of the present disclosure recognizes a transparent display and an object located on the back of the transparent display, acquires information on the recognized object, and displays augmented reality on the transparent display based on the information on the obtained object. (Augmented reality, AR) may include a controller that displays information.

상기 컨트롤러는 상기 투명 디스플레이의 전면에 위치한 사용자를 인식하고, 인식된 사용자의 정보를 획득하고, 획득된 사용자의 정보 및 인식된 오브젝트의 정보에 기초하여 상기 AR 정보를 표시할 수 있다.The controller may recognize a user located in front of the transparent display, obtain information about the recognized user, and display the AR information based on the obtained user information and recognized object information.

본 개시의 실시 예에 따르면, 투명 디스플레이의 후면에 배치된 오브젝트의 종류, 위치에 맞는 증강 현실 정보가 표시되어 투명 디스플레이가 배치된 공간의 조화로움이 증대되고, 사용자 경험이 크게 향상될 수 있다.According to an embodiment of the present disclosure, augmented reality information appropriate for the type and location of the object placed on the back of the transparent display is displayed, thereby increasing the harmony of the space where the transparent display is placed and greatly improving user experience.

본 개시의 실시 예에 따르면, 투명 디스플레이 장치에 내장된 카메라를 통해 사용자 및 사물을 인식하여 맞춤형 AR 정보를 제공할 수 있다.According to an embodiment of the present disclosure, customized AR information can be provided by recognizing users and objects through a camera built into a transparent display device.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 5는 본 개시의 일 실시 예에 따른 투명 디스플레이 장치의 구성을 설명하기 위한 도면이다.
도 6a 내지 도 6d는 다양한 형태의 투명 타입의 디스플레이 장치를 설명하는 도면이다.
도 7은 본 개시의 투명 타입의 디스플레이 장치의 측면 구조를 설명하는 도면이다.
도 8은 본 개시의 일 실시 예에 따른 투명 타입의 디스플레이 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 9는 본 개시의 또 다른 실시 예에 따른 투명 디스플레이 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 10a 및 도 10b는 본 개시의 실시 예에 따라 투명 디스플레이 장치의 후면에 위치한 오브젝트에 맞추어 AR 정보를 표시하는 예를 설명하는 도면이다.
도 11은 본 개시의 일 실시 예에 따라 투명 디스플레이의 후면에 위치한 복수의 오브젝트들의 위치를 고려하여 AR 정보를 표시하는 예를 설명하는 도면이다.
도 12는 본 개시의 실시 예에 따라 투명 디스플레이의 후면에 위치한 오브젝트의 밝기 및 오브젝트의 위치에 따라 AR 정보를 표시하는 예를 설명하는 도면이다.
도 13은 본 개시의 실시 예에 따른 투명 디스플레이의 후면에 배치된 오브젝트의 밝기에 기초하여 AR 정보를 표시하는 예를 설명하는 도면이다.
도 14는 투명 디스플레이의 후면에 배치된 오브젝트의 위치가 변경됨에 따라 변경된 위치에 맞게 AR 정보를 표시하는 예를 설명하는 도면이다.
도 15는 본 개시의 또 다른 실시 예에 따른 투명 디스플레이 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 16a 및 도 16b는 사용자의 식별 정보에 따라 사물에 대해 서로 다른 AR 정보를 표시하는 예를 설명하는 도면이다.
도 17a 및 도 17b는 투명 디스플레이의 전면에 위치한 사용자의 시선의 방향을 인식하고, 인식된 방향에 맞는 위치에 맞는 정보를 제공하는 예를 설명하는 도면들이다.Figure 1 shows a block diagram of the configuration of a display device according to an embodiment of the present invention.
Figure 2 is a block diagram of a remote control device according to an embodiment of the present invention.
Figure 3 shows an example of the actual configuration of a remote control device according to an embodiment of the present invention.
Figure 4 shows an example of utilizing a remote control device according to an embodiment of the present invention.
Figure 5 is a diagram for explaining the configuration of a transparent display device according to an embodiment of the present disclosure.
FIGS. 6A to 6D are diagrams illustrating various types of transparent display devices.
Figure 7 is a diagram explaining the side structure of the transparent type display device of the present disclosure.
FIG. 8 is a flowchart illustrating a method of operating a transparent type display device according to an embodiment of the present disclosure.
Figure 9 is a flowchart for explaining a method of operating a transparent display device according to another embodiment of the present disclosure.
FIGS. 10A and 10B are diagrams illustrating an example of displaying AR information in accordance with an object located on the back of a transparent display device according to an embodiment of the present disclosure.
FIG. 11 is a diagram illustrating an example of displaying AR information considering the positions of a plurality of objects located on the back of a transparent display according to an embodiment of the present disclosure.
FIG. 12 is a diagram illustrating an example of displaying AR information according to the brightness and location of an object located on the back of a transparent display according to an embodiment of the present disclosure.
FIG. 13 is a diagram illustrating an example of displaying AR information based on the brightness of an object placed on the back of a transparent display according to an embodiment of the present disclosure.
FIG. 14 is a diagram illustrating an example of displaying AR information according to the changed position as the position of an object placed on the back of a transparent display changes.
Figure 15 is a flowchart for explaining a method of operating a transparent display device according to another embodiment of the present disclosure.
FIGS. 16A and 16B are diagrams illustrating an example of displaying different AR information about an object according to the user's identification information.
FIGS. 17A and 17B are diagrams illustrating an example of recognizing the direction of a user's gaze located in front of a transparent display and providing information appropriate to the location according to the recognized direction.

이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. Hereinafter, embodiments related to the present invention will be described in more detail with reference to the drawings. The suffixes “module” and “part” for components used in the following description are given or used interchangeably only for the ease of preparing the specification, and do not have distinct meanings or roles in themselves.

본 발명의 실시예에 따른 디스플레이 장치는, 예를 들어 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 디스플레이 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.The display device according to an embodiment of the present invention is, for example, an intelligent display device that adds a computer support function to the broadcast reception function, and is faithful to the broadcast reception function while adding an Internet function, etc., such as a handwriting input device and a touch screen. Alternatively, it can be equipped with a more convenient interface such as a spatial remote control. In addition, by supporting wired or wireless Internet functions, it is possible to connect to the Internet and a computer and perform functions such as email, web browsing, banking, or gaming. A standardized general-purpose OS can be used for these various functions.

따라서, 본 발명에서 기술되는 디스플레이 장치는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 디스플레이 장치는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV, LED TV, OLED TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.Accordingly, in the display device described in the present invention, for example, various applications can be freely added or deleted on a general-purpose OS kernel, so various user-friendly functions can be performed. More specifically, the display device may be, for example, a network TV, HBBTV, smart TV, LED TV, OLED TV, etc., and in some cases, may also be applied to a smartphone.

도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.Figure 1 shows a block diagram of the configuration of a display device according to an embodiment of the present invention.

도 1을 참조하면, 디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스(135), 메모리(140), 사용자입력 인터페이스(150), 컨트롤러(170), 무선 통신 인터페이스(173), 디스플레이(180), 스피커(185), 전원 공급 회로(190)를 포함할 수 있다. Referring to FIG. 1, the display device 100 includes a broadcast receiver 130, an external device interface 135, a memory 140, a user input interface 150, a controller 170, a wireless communication interface 173, and a display. It may include (180), a speaker (185), and a power supply circuit (190).

방송 수신부(130)는 튜너(131), 복조기(132) 및 네트워크 인터페이스(133)를 포함할 수 있다. The broadcast receiver 130 may include a tuner 131, a demodulator 132, and a network interface 133.

튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.The tuner 131 can select a specific broadcast channel according to a channel selection command. The tuner 131 may receive a broadcast signal for a specific selected broadcast channel.

복조기(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.The demodulator 132 can separate the received broadcast signal into a video signal, an audio signal, and a data signal related to the broadcast program, and can restore the separated video signal, audio signal, and data signal to a form that can be output.

외부장치 인터페이스(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 컨트롤러(170) 또는 메모리(140)로 전달할 수 있다.The external device interface 135 may receive an application or application list within an adjacent external device and transfer it to the controller 170 or memory 140.

외부장치 인터페이스(135)는 디스플레이 장치(100)와 외부 장치 간의 연결 경로를 제공할 수 있다. 외부장치 인터페이스(135)는 디스플레이 장치(100)에 무선 또는 유선으로 연결된 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, 컨트롤러(170)로 전달할 수 있다. 외부장치 인터페이스(135)는 복수의 외부 입력 단자들을 포함할 수 있다. 복수의 외부 입력 단자들은 RGB 단자, 하나 이상의 HDMI(High Definition Multimedia Interface) 단자, 컴포넌트(Component) 단자를 포함할 수 있다. The external device interface 135 may provide a connection path between the display device 100 and an external device. The external device interface 135 may receive one or more of video and audio output from an external device connected wirelessly or wired to the display device 100 and transmit it to the controller 170. The external device interface 135 may include a plurality of external input terminals. The plurality of external input terminals may include an RGB terminal, one or more High Definition Multimedia Interface (HDMI) terminals, and a component terminal.

외부장치 인터페이스(135)를 통해 입력된 외부장치의 영상 신호는 디스플레이(180)를 통해 출력될 수 있다. 외부장치 인터페이스(135)를 통해 입력된 외부장치의 음성 신호는 스피커(185)를 통해 출력될 수 있다. An image signal from an external device input through the external device interface 135 may be output through the display 180. A voice signal from an external device input through the external device interface 135 may be output through the speaker 185.

외부장치 인터페이스(135)에 연결 가능한 외부 장치는 셋톱박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있으나, 이는 예시에 불과하다.An external device that can be connected to the external device interface 135 may be any one of a set-top box, Blu-ray player, DVD player, game console, sound bar, smartphone, PC, USB memory, or home theater, but this is only an example.

네트워크 인터페이스(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다. The network interface 133 may provide an interface for connecting the display device 100 to a wired/wireless network including an Internet network. The network interface 133 may transmit or receive data with other users or other electronic devices through a connected network or another network linked to the connected network.

또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.Additionally, some of the content data stored in the display device 100 may be transmitted to a selected user or selected electronic device among other users or other electronic devices pre-registered in the display device 100.

네트워크 인터페이스(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.The network interface 133 can access a certain web page through a connected network or another network linked to the connected network. In other words, you can access a certain web page through a network and transmit or receive data with the corresponding server.

그리고, 네트워크 인터페이스(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.And, the network interface 133 can receive content or data provided by a content provider or network operator. That is, the network interface 133 can receive content and information related thereto, such as movies, advertisements, games, VODs, and broadcast signals, provided from a content provider or network provider through a network.

또한, 네트워크 인터페이스(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.Additionally, the network interface 133 can receive firmware update information and update files provided by a network operator, and can transmit data to the Internet, a content provider, or a network operator.

네트워크 인터페이스(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다. The network interface 133 can select and receive a desired application from among applications open to the public through a network.

메모리(140)는 컨트롤러(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.The memory 140 stores programs for processing and controlling each signal in the controller 170, and can store signal-processed video, voice, or data signals.

또한, 메모리(140)는 외부장치 인터페이스(135) 또는 네트워크 인터페이스(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.In addition, the memory 140 may perform a function for temporary storage of video, voice, or data signals input from the external device interface 135 or the network interface 133, and may store information about a predetermined image through a channel memory function. You can also store information.

메모리(140)는 외부장치 인터페이스(135) 또는 네트워크 인터페이스(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.The memory 140 may store an application or application list input from the external device interface 135 or the network interface 133.

디스플레이 장치(100)는 메모리(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.The display device 100 can play content files (video files, still image files, music files, document files, application files, etc.) stored in the memory 140 and provide them to the user.

사용자입력 인터페이스(150)는 사용자가 입력한 신호를 컨트롤러(170)로 전달하거나, 컨트롤러(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 컨트롤러(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.The user input interface 150 may transmit a signal input by the user to the controller 170 or transmit a signal from the controller 170 to the user. For example, the user input interface 150 can be used remotely according to various communication methods such as Bluetooth, Ultra Wideband (WB), ZigBee, Radio Frequency (RF) communication, or infrared (IR) communication. Control signals such as power on/off, channel selection, and screen settings can be received and processed from the control device 200, or control signals from the controller 170 can be processed to be transmitted to the remote control device 200.

또한, 사용자입력 인터페이스(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 컨트롤러(170)에 전달할 수 있다.Additionally, the user input interface 150 can transmit control signals input from local keys (not shown) such as power key, channel key, volume key, and setting value to the controller 170.

컨트롤러(170)에서 영상 처리된 영상 신호는 디스플레이(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 컨트롤러(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스(135)를 통하여 외부 출력장치로 입력될 수 있다.The video signal processed by the controller 170 may be input to the display 180 and displayed as an image corresponding to the video signal. Additionally, the image signal processed by the controller 170 may be input to an external output device through the external device interface 135.

컨트롤러(170)에서 처리된 음성 신호는 스피커(185)로 오디오 출력될 수 있다. 또한, 컨트롤러(170)에서 처리된 음성 신호는 외부장치 인터페이스(135)를 통하여 외부 출력장치로 입력될 수 있다. The voice signal processed by the controller 170 may be output as audio to the speaker 185. Additionally, the voice signal processed by the controller 170 may be input to an external output device through the external device interface 135.

그 외, 컨트롤러(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다. In addition, the controller 170 may control overall operations within the display device 100.

또한, 컨트롤러(170)는 사용자입력 인터페이스(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.In addition, the controller 170 can control the display device 100 by a user command or internal program input through the user input interface 150, and connects to the network to display the application or application list desired by the user on the display device ( 100) You can make it available for download.

컨트롤러(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이(180) 또는 스피커(185)를 통하여 출력될 수 있도록 한다.The controller 170 allows channel information selected by the user to be output through the display 180 or speaker 185 along with the processed video or audio signal.

또한, 컨트롤러(170)는 사용자입력 인터페이스(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이(180) 또는 스피커(185)를 통해 출력될 수 있도록 한다.In addition, the controller 170 controls video signals from an external device, for example, a camera or camcorder, input through the external device interface 135, according to an external device video playback command received through the user input interface 150. Alternatively, the voice signal can be output through the display 180 or speaker 185.

한편, 컨트롤러(170)는 영상을 표시하도록 디스플레이(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 메모리(140)에 저장된 영상이 디스플레이(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.Meanwhile, the controller 170 can control the display 180 to display an image, for example, a broadcast image input through the tuner 131, an external input image input through the external device interface 135, Alternatively, an image input through the network interface unit or an image stored in the memory 140 may be controlled to be displayed on the display 180. In this case, the image displayed on the display 180 may be a still image or a moving image, and may be a 2D image or a 3D image.

또한, 컨트롤러(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로 부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.In addition, the controller 170 can control the playback of content stored in the display device 100, received broadcast content, or external input content, which includes broadcast video, external input video, and audio files. , can be in various forms such as still images, connected web screens, and document files.

무선 통신 인터페이스(173)는 유선 또는 무선 통신을 통해 외부 기기와 통신을 수행할 수 있다. 무선 통신 인터페이스(173)는 외부 기기와 근거리 통신(Short range communication)을 수행할 수 있다. 이를 위해, 무선 통신 인터페이스(173)는 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 무선 통신 인터페이스(173)는 근거리 무선 통신망(Wireless Area Networks)을 통해 디스플레이 장치(100)와 무선 통신 시스템 사이, 디스플레이 장치(100)와 다른 디스플레이 장치(100) 사이, 또는 디스플레이 장치(100)와 디스플레이 장치(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.The wireless communication interface 173 can communicate with external devices through wired or wireless communication. The wireless communication interface 173 can perform short range communication with an external device. For this purpose, the wireless communication interface 173 includes Bluetooth™, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), and Wi-Fi. Short-distance communication can be supported using at least one of Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technologies. This wireless communication interface 173 is between the display device 100 and a wireless communication system, between the display device 100 and another display device 100, or between the display device 100 through wireless area networks. It can support wireless communication between the network and the display device 100 (or external server). Local area wireless networks may be wireless personal area networks.

여기에서, 다른 디스플레이 장치(100)는 본 발명에 따른 디스플레이 장치(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display)), 스마트 폰과 같은 이동 단말기가 될 수 있다. 무선 통신 인터페이스(173)는 디스플레이 장치(100) 주변에, 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. Here, the other display device 100 is a wearable device capable of exchanging data with (or interoperating with) the display device 100 according to the present invention, for example, a smartwatch, smart glasses. It can be a mobile terminal such as (smart glass), HMD (head mounted display), or smart phone. The wireless communication interface 173 may detect (or recognize) a wearable device capable of communication around the display device 100 .

나아가, 컨트롤러(170)는 감지된 웨어러블 디바이스가 본 발명에 따른 디스플레이 장치(100)와 통신하도록 인증된 디바이스인 경우, 디스플레이 장치(100)에서 처리되는 데이터의 적어도 일부를, 무선 통신 인터페이스(173)를 통해 웨어러블 디바이스로 송신할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 디스플레이 장치(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다. Furthermore, if the detected wearable device is a device authenticated to communicate with the display device 100 according to the present invention, the controller 170 sends at least a portion of the data processed by the display device 100 to the wireless communication interface 173. It can be transmitted to a wearable device through . Accordingly, a user of a wearable device can use data processed by the display device 100 through the wearable device.

디스플레이(180)는 컨트롤러(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성할 수 있다.The display 180 converts the video signal, data signal, and OSD signal processed by the controller 170 or the video signal and data signal received from the external device interface 135 into R, G, and B signals, respectively, and provides a driving signal. can be created.

한편, 도 1에 도시된 디스플레이 장치(100)는 본 발명의 일실시예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.Meanwhile, the display device 100 shown in FIG. 1 is only one embodiment of the present invention. Some of the illustrated components may be integrated, added, or omitted depending on the specifications of the display device 100 that is actually implemented.

즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.That is, as needed, two or more components may be combined into one component, or one component may be subdivided into two or more components. In addition, the functions performed by each block are for explaining embodiments of the present invention, and the specific operations or devices do not limit the scope of the present invention.

본 발명의 또 다른 실시예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조기(132)를 구비하지 않고 네트워크 인터페이스(133) 또는 외부장치 인터페이스(135)를 통해서 영상을 수신하여 재생할 수도 있다.According to another embodiment of the present invention, unlike shown in FIG. 1, the display device 100 does not have a tuner 131 and a demodulator 132 but has a network interface 133 or an external device interface 135. You can also receive and play video through the device.

예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.For example, the display device 100 is divided into an image processing device such as a set-top box for receiving broadcast signals or contents according to various network services, and a content playback device for playing content input from the image processing device. It can be implemented.

이 경우, 이하에서 설명할 본 발명의 실시예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.In this case, the method of operating a display device according to an embodiment of the present invention, which will be described below, includes not only the display device 100 as described with reference to FIG. 1, but also an image processing device such as the separated set-top box or the display 180. ) and a content playback device having an audio output unit 185.

다음으로, 도 2 내지 도 3을 참조하여, 본 발명의 일 실시 예에 따른 원격제어장치에 대해 설명한다.Next, with reference to FIGS. 2 and 3, a remote control device according to an embodiment of the present invention will be described.

도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 3은 본발명의 일 실시 예에 따른 원격제어장치(200)의 실제 구성 예를 보여준다.Figure 2 is a block diagram of a remote control device according to an embodiment of the present invention, and Figure 3 shows an example of the actual configuration of the remote control device 200 according to an embodiment of the present invention.

먼저, 도 2를 참조하면, 원격제어장치(200)는 지문인식기(210), 무선통신회로(220), 사용자 입력 인터페이스(230), 센서(240), 출력 인터페이스(250), 전원공급회로(260), 메모리(270), 컨트롤러(280), 마이크로폰(290)를 포함할 수 있다. First, referring to FIG. 2, the remote control device 200 includes a fingerprint reader 210, a wireless communication circuit 220, a user input interface 230, a sensor 240, an output interface 250, and a power supply circuit ( 260), memory 270, controller 280, and microphone 290.

도 2을 참조하면, 무선통신회로(220)는 전술하여 설명한 본 발명의 실시 예들에 따른 디스플레이 장치 중 임의의 어느 하나와 신호를 송수신한다.Referring to FIG. 2, the wireless communication circuit 220 transmits and receives signals to and from any one of the display devices according to the embodiments of the present invention described above.

원격제어장치(200)는 RF 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 회로(221)을 구비하며, IR 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 회로(223)을 구비할 수 있다. 또한, 원격제어장치(200)는 블루투스 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 블루투스 회로(225)를 구비할 수 있다. 또한, 원격제어장치(200)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수할 수 있는 NFC 회로(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 WLAN 회로(229)을 구비할 수 있다.The remote control device 200 has an RF circuit 221 capable of transmitting and receiving signals to and from the display device 100 in accordance with RF communication standards, and is capable of transmitting and receiving signals to and from the display device 100 in accordance with IR communication standards. An IR circuit 223 may be provided. Additionally, the remote control device 200 may be provided with a Bluetooth circuit 225 capable of transmitting and receiving signals to and from the display device 100 according to the Bluetooth communication standard. In addition, the remote control device 200 is provided with an NFC circuit 227 capable of transmitting and receiving signals with the display device 100 according to the NFC (Near Field Communication) communication standard, and displays the display device 100 according to the WLAN (Wireless LAN) communication standard. A WLAN circuit 229 capable of transmitting and receiving signals to and from the device 100 may be provided.

또한, 원격제어장치(200)는 디스플레이 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 무선통신회로(220)를 통해 전송한다. In addition, the remote control device 200 transmits a signal containing information about the movement of the remote control device 200 to the display device 100 through the wireless communication circuit 220.

한편, 원격제어장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 회로(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 회로(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다. Meanwhile, the remote control device 200 can receive signals transmitted by the display device 100 through the RF circuit 221 and, if necessary, turn on/off the display device 100 through the IR circuit 223. Commands for turning off, changing channels, changing volume, etc. can be sent.

사용자 입력 인터페이스(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력 인터페이스(230)를 조작하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력 인터페이스(230)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.The user input interface 230 may be comprised of a keypad, button, touch pad, or touch screen. The user can input commands related to the display device 100 into the remote control device 200 by manipulating the user input interface 230. If the user input interface 230 has a hard key button, the user can input a command related to the display device 100 to the remote control device 200 through a push operation of the hard key button. This will be explained with reference to FIG. 3 .

도 3을 참조하면, 원격제어장치(200)는 복수의 버튼을 포함할 수 있다. 복수의 버튼은 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239)을 포함할 수 있다.Referring to FIG. 3, the remote control device 200 may include a plurality of buttons. The plurality of buttons include a fingerprint recognition button (212), power button (231), home button (232), live button (233), external input button (234), volume control button (235), voice recognition button (236), It may include a channel change button 237, a confirmation button 238, and a back button 239.

지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시예로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다. The fingerprint recognition button 212 may be a button for recognizing the user's fingerprint. In one embodiment, the fingerprint recognition button 212 is capable of a push operation and may receive a push operation and a fingerprint recognition operation.

전원 버튼(231)은 디스플레이 장치(100)의 전원을 온/오프 하기 위한 버튼일 수 있다. The power button 231 may be a button for turning on/off the power of the display device 100.

홈 버튼(232)은 디스플레이 장치(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다. The home button 232 may be a button for moving to the home screen of the display device 100.

라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다. The live button 233 may be a button for displaying a real-time broadcast program.

외부 입력 버튼(234)은 디스플레이 장치(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다. The external input button 234 may be a button for receiving an external input connected to the display device 100.

음량 조절 버튼(235)은 디스플레이 장치(100)가 출력하는 음량의 크기를 조절하기 위한 버튼일 수 있다. The volume control button 235 may be a button for adjusting the volume of the sound output by the display device 100.

음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다. The voice recognition button 236 may be a button for receiving the user's voice and recognizing the received voice.

채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다. The channel change button 237 may be a button for receiving a broadcast signal of a specific broadcast channel.

확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.The confirmation button 238 may be a button for selecting a specific function, and the back button 239 may be a button for returning to the previous screen.

다시 도 2를 설명한다. Figure 2 will be described again.

사용자 입력 인터페이스(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력 인터페이스(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.If the user input interface 230 has a touch screen, the user can input commands related to the display device 100 through the remote control device 200 by touching a soft key on the touch screen. Additionally, the user input interface 230 may be provided with various types of input means that the user can operate, such as scroll keys and jog keys, and this embodiment does not limit the scope of the present invention.

센서(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다. The sensor 240 may include a gyro sensor 241 or an acceleration sensor 243, and the gyro sensor 241 may sense information about the movement of the remote control device 200.

예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이(180)와의 거리를 센싱할 수 있다.For example, the gyro sensor 241 can sense information about the operation of the remote control device 200 based on the x, y, and z axes, and the acceleration sensor 243 measures the moving speed of the remote control device 200. Information about such things can be sensed. Meanwhile, the remote control device 200 may further include a distance measurement sensor and can sense the distance from the display 180 of the display device 100.

출력 인터페이스(250)는 사용자 입력 인터페이스(230)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. The output interface 250 may output a video or audio signal corresponding to a manipulation of the user input interface 230 or a signal transmitted from the display device 100.

사용자는 출력 인터페이스(250)를 사용자 입력 인터페이스(230)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다. The user can recognize whether the output interface 250 is manipulating the user input interface 230 or controlling the display device 100.

예를 들어, 출력 인터페이스(250)는 사용자 입력 인터페이스(230)가 조작되거나 무선 통신부(225)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED(251), 진동을 발생하는 진동기(253), 음향을 출력하는 스피커(255), 또는 영상을 출력하는 디스플레이(257)을 구비할 수 있다. For example, the output interface 250 includes an LED 251 that turns on when the user input interface 230 is manipulated or a signal is transmitted and received with the display device 100 through the wireless communication unit 225, and a vibrator 253 that generates vibration. ), a speaker 255 that outputs sound, or a display 257 that outputs an image.

또한, 전원공급회로(260)는 원격제어장치(200)으로 전원을 공급하며, 원격제어장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다. In addition, the power supply circuit 260 supplies power to the remote control device 200, and stops power supply when the remote control device 200 does not move for a predetermined period of time, thereby reducing power waste.

전원공급회로(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.The power supply circuit 260 can resume power supply when a predetermined key provided in the remote control device 200 is operated.

메모리(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. The memory 270 may store various types of programs, application data, etc. necessary for controlling or operating the remote control device 200.

원격제어장치(200)가 디스플레이 장치(100)와 RF 회로(221)을 통하여 무선으로 신호를 송수신할 경우, 원격제어장치(200)과 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.When the remote control device 200 transmits and receives signals wirelessly through the display device 100 and the RF circuit 221, the remote control device 200 and the display device 100 transmit and receive signals through a predetermined frequency band. .

원격제어장치(200)의 컨트롤러(280)는 원격제어장치(200)과 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 메모리(270)에 저장하고 참조할 수 있다.The controller 280 of the remote control device 200 stores and references information about the display device 100 paired with the remote control device 200 and the frequency band capable of wirelessly transmitting and receiving signals in the memory 270. You can.

컨트롤러(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 컨트롤러(280)는 사용자 입력 인터페이스(230)의 소정 키 조작에 대응하는 신호 또는 센서(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(225)를 통하여 디스플레이 장치(100)로 전송할 수 있다.The controller 280 controls all matters related to the control of the remote control device 200. The controller 280 sends a signal corresponding to a predetermined key operation of the user input interface 230 or a signal corresponding to the movement of the remote control device 200 sensed by the sensor 240 through the wireless communication unit 225. 100).

또한, 원격제어장치(200)의 마이크로폰(290)은 음성을 획득할 수 있다.Additionally, the microphone 290 of the remote control device 200 can acquire voice.

마이크로폰(290)는 복수 개로 구비될 수 있다.There may be a plurality of microphones 290.

다음으로 도 4를 설명한다.Next, Figure 4 will be described.

도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.Figure 4 shows an example of utilizing a remote control device according to an embodiment of the present invention.

도 4의 (a)는 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이(180)에 표시되는 것을 예시한다.(a) of FIG. 4 illustrates that a pointer 205 corresponding to the remote control device 200 is displayed on the display 180.

사용자는 원격 제어 장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 디스플레이 장치(100)의 디스플레이(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응한다. 이러한 원격 제어 장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다. The user can move or rotate the remote control device 200 up and down, left and right. The pointer 205 displayed on the display 180 of the display device 100 corresponds to the movement of the remote control device 200. This remote control device 200 can be called a spatial remote control because the corresponding pointer 205 is moved and displayed according to movement in 3D space, as shown in the drawing.

도 4의 (b)는 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다. (b) of FIG. 4 illustrates that when the user moves the remote control device 200 to the left, the pointer 205 displayed on the display 180 of the display device 100 also moves to the left correspondingly.

원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송된다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 디스플레이 장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.Information about the movement of the remote control device 200 detected through the sensor of the remote control device 200 is transmitted to the display device 100. The display device 100 may calculate the coordinates of the pointer 205 from information about the movement of the remote control device 200. The display device 100 may display the pointer 205 to correspond to the calculated coordinates.

도 4의 (c)는, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격 제어 장치(200)를 디스플레이(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.(c) of FIG. 4 illustrates a case where a user moves the remote control device 200 away from the display 180 while pressing a specific button in the remote control device 200. As a result, the selected area in the display 180 corresponding to the pointer 205 can be zoomed in and displayed enlarged.

이와 반대로, 사용자가 원격 제어 장치(200)를 디스플레이(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.Conversely, when the user moves the remote control device 200 closer to the display 180, the selected area in the display 180 corresponding to the pointer 205 may be zoomed out and displayed in a reduced size.

한편, 원격 제어 장치(200)가 디스플레이(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격 제어 장치(200)가 디스플레이(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.Meanwhile, when the remote control device 200 moves away from the display 180, the selected area may be zoomed out, and when the remote control device 200 approaches the display 180, the selected area may be zoomed in.

또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격 제어 장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다. Additionally, when a specific button in the remote control device 200 is pressed, recognition of up-down, left-right movement may be excluded. That is, when the remote control device 200 moves away from or approaches the display 180, up, down, left, and right movements may not be recognized, and only forward and backward movements may be recognized. When a specific button in the remote control device 200 is not pressed, only the pointer 205 moves as the remote control device 200 moves up, down, left, and right.

한편, 포인터(205)의 이동속도나 이동방향은 원격 제어 장치(200)의 이동속도나 이동방향에 대응할 수 있다.Meanwhile, the moving speed or direction of the pointer 205 may correspond to the moving speed or direction of the remote control device 200.

한편, 본 명세서에서의 포인터는, 원격 제어 장치(200)의 동작에 대응하여, 디스플레이(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.Meanwhile, a pointer in this specification refers to an object displayed on the display 180 in response to the operation of the remote control device 200. Accordingly, the pointer 205 can be an object of various shapes other than the arrow shape shown in the drawing. For example, concepts may include dots, cursors, prompts, thick outlines, etc. In addition, the pointer 205 can be displayed in correspondence to one of the horizontal and vertical axes on the display 180, as well as to multiple points, such as a line or surface. .

도 5는 본 개시의 일 실시 예에 따른 투명 디스플레이 장치의 구성을 설명하기 위한 도면이다.Figure 5 is a diagram for explaining the configuration of a transparent display device according to an embodiment of the present disclosure.

도 5를 참조하면, 투명 디스플레이 장치(100)는 투명 디스플레이(500) 및 본체(570)를 포함할 수 있다.Referring to FIG. 5 , the transparent display device 100 may include a transparent display 500 and a main body 570.

본체(570)는 도 1에서 설명된 방송 수신부(130), 외부장치 인터페이스(135), 메모리(140), 사용자입력 인터페이스(150), 컨트롤러(170), 무선 통신 인터페이스(173), 스피커(185) 및 전원 공급 회로(190)를 포함할 수 있다.The main body 570 includes the broadcast receiver 130, external device interface 135, memory 140, user input interface 150, controller 170, wireless communication interface 173, and speaker 185 described in FIG. 1. ) and a power supply circuit 190.

투명 디스플레이(500)는 도 1에서 설명된 디스플레이(180)가 수행하는 기능들을 모두 수행할 수 있다.The transparent display 500 can perform all of the functions performed by the display 180 described in FIG. 1.

투명 디스플레이(500)는 투명 디스플레이 패널(510), 강화 유리 커버(530) 및 투명 백 커버(550)를 포함할 수 있다.The transparent display 500 may include a transparent display panel 510, a tempered glass cover 530, and a transparent back cover 550.

투명 디스플레이 패널(510)은 투사형 디스플레이 타입 또는 투과형 디스플레이 타입 중 어느 하나의 타입일 수 있다.The transparent display panel 510 may be either a projection display type or a transmissive display type.

투사형 디스플레이 타입은 영상을 표현할 투명한 스크린에 빛을 투사하여 나타내는 기술을 이용하는 타입일 수 있다.A projection display type may be a type that uses technology to project light onto a transparent screen to display an image.

투과형 디스플레이 타입은 빛을 발하는 OLED와 같은 소재 자체의 투과를 변화시키는 기술을 이용하는 타입일 수 있다.The transmissive display type may be one that uses technology to change the transmission of the material itself, such as OLED, which emits light.

투명 디스플레이 패널(510)은 각 픽셀이 유기 발광 다이오드(OLED)를 포함하는 OLED 패널을 포함할 수 있다. 즉, 투명 디스플레이 패널(510)은 투과형 디스플레이 타입을 가질 수 있다.The transparent display panel 510 may include an OLED panel in which each pixel includes an organic light emitting diode (OLED). That is, the transparent display panel 510 may have a transmissive display type.

강화 유리 커버(530)는 투명 디스플레이 패널(510)의 전면에 부착되어 투명 디스플레이 패널(510)을 보호할 수 있다.The tempered glass cover 530 may be attached to the front of the transparent display panel 510 to protect the transparent display panel 510.

강화 유리 커버(530)는 투명 디스플레이 패널(510)을 외부의 충격으로부터 보호하기 위한 투명 재질의 유리로 구성될 수 있다.The tempered glass cover 530 may be made of transparent glass to protect the transparent display panel 510 from external impacts.

투명 백 커버(550)는 투명 디스플레이 패널(510)의 후면에 부착된 커버일 수 있다.The transparent back cover 550 may be a cover attached to the rear of the transparent display panel 510.

투명 백 커버(550)의 일정 영역에는 본체(570)가 장착될 수 있다. 일정 영역의 형상은 원형일 수 있으나, 이는 예시에 불과하고, 사각형 등의 형상을 가질 수 있다.The main body 570 may be mounted on a certain area of the transparent back cover 550. The shape of a certain area may be circular, but this is only an example and may have a shape such as a square.

본체(570)는 투명 디스플레이(500)가 벽면에 고정되기 위한 브라켓과 연결될 수 있다.The main body 570 may be connected to a bracket for fixing the transparent display 500 to the wall.

본체(570)에 구비된 컨트롤러(170)는 투명 디스플레이 패널(510)에 전기 신호를 인가하여 투명 디스플레이 패널(510)의 투과율을 제어할 수 있다.The controller 170 provided in the main body 570 can control the transmittance of the transparent display panel 510 by applying an electric signal to the transparent display panel 510.

도 6a 내지 도 6d는 다양한 형태의 투명 타입의 디스플레이 장치를 설명하는 도면이다.FIGS. 6A to 6D are diagrams illustrating various types of transparent display devices.

도 6a는 본체(570)가 투명 디스플레이(500)의 중앙 영역에 위치한 실시 예이다.Figure 6a shows an embodiment in which the main body 570 is located in the central area of the transparent display 500.

투명 디스플레이(500)는 본체(570)의 위치에 대응되는 제1 영역(610) 상에 정보를 표시할 수 있다.The transparent display 500 may display information on the first area 610 corresponding to the position of the main body 570.

제1 영역(610) 상에는 시간 정보, 날씨 정보, 스케쥴 정보 중 어느 하나 이상의 정보가 표시될 수 있다. 제1 영역(610) 상에는 AOD(Always On Display) 기능이 적용되어 정보가 표시될 수 있다.One or more information among time information, weather information, and schedule information may be displayed on the first area 610. Information may be displayed on the first area 610 by applying the Always On Display (AOD) function.

도 6b는 본체(570)가 투명 디스플레이(500)의 하단 영역에 위치한 실시 예이다.Figure 6b shows an embodiment in which the main body 570 is located in the lower area of the transparent display 500.

본체(570)의 일부는 투명 디스플레이(500)의 하단에 노출될 수 있다.A portion of the main body 570 may be exposed at the bottom of the transparent display 500.

투명 디스플레이(500)는 본체(570)의 위치에 대응되는 제2 영역(630) 상에 음악 재생 정보를 표시할 수 있다. 본체(570)에는 스피커가 구비될 수 있고, 스피커는 음악을 재생할 수 있다.The transparent display 500 may display music playback information on the second area 630 corresponding to the position of the main body 570. The main body 570 may be equipped with a speaker, and the speaker may play music.

사용자는 제2 영역(630)을 통해 재생 중인 음악에 대한 정보를 시청할 수 있다. 또한, 사용자는 원격 제어 장치(200)를 통해 제2 영역(630) 상에 표시된 음악 재생 정보를 통해 음악의 재생을 제어할 수 있다.The user can view information about music being played through the second area 630. Additionally, the user can control music playback through music playback information displayed on the second area 630 through the remote control device 200.

도 6c는 본체(570)가 스탠드(651)와 연결된 구조를 설명하는 실시 예이다.Figure 6c is an embodiment explaining the structure in which the main body 570 is connected to the stand 651.

도 6c에서 본체(570)는 벽면에 고정되지 않고, 스탠드(651)와 연결되어 고정될 수 있다. 스탠드(651)는 바닥의 지지 역할을 하는 베이스(653)와 연결될 수 있다.In FIG. 6C, the main body 570 is not fixed to the wall, but may be connected to and fixed to the stand 651. The stand 651 may be connected to a base 653 that serves as a support for the floor.

도 6d는 거실장의 위에 배치된 투명 디스플레이(500)을 보여준다. 투명 디스플레이(500)는 지지대(670)를 통해 거실장의 상면에 위치할 수 있다.Figure 6d shows the transparent display 500 placed on the living room cabinet. The transparent display 500 can be located on the upper surface of the living room through the support 670.

도 7은 본 개시의 투명 타입의 디스플레이 장치의 측면 구조를 설명하는 도면이다.Figure 7 is a diagram explaining the side structure of the transparent type display device of the present disclosure.

도 7에서 디스플레이 장치(100)는 도 6d에 설명된 바와 같이 거실장의 상면에 배치되어 있음을 가정한다.In FIG. 7, it is assumed that the display device 100 is disposed on the upper surface of the living room as described in FIG. 6D.

투명 디스플레이(500)에는 카메라(미도시)가 배치되어 전면 또는 후면에 위치한 오브젝트를 인식할 수 있다. 이를 위해 카메라는 전면의 오브젝트를 감지하는 전면 카메라 및 후면의 오브젝트를 감지하는 후면 카메라를 구비할 수 있다.A camera (not shown) is disposed on the transparent display 500 to recognize objects located on the front or back. To this end, the camera may be equipped with a front camera that detects objects in the front and a rear camera that detects objects in the back.

오브젝트는 사용자 또는 물체 중 어느 하나일 수 있다.The object may be either a user or an object.

도 8은 본 개시의 일 실시 예에 따른 투명 타입의 디스플레이 장치의 동작 방법을 설명하기 위한 흐름도이다.FIG. 8 is a flowchart illustrating a method of operating a transparent type display device according to an embodiment of the present disclosure.

투명 타입의 디스플레이 장치(100)는 투명 디스플레이 장치로 명명될 수 있다.The transparent type display device 100 may be called a transparent display device.

투명 디스플레이 장치(100)의 컨트롤러(170)는 투명 디스플레이 장치(100)에 인접한 오브젝트를 인식한다(S801).The controller 170 of the transparent display device 100 recognizes an object adjacent to the transparent display device 100 (S801).

일 실시 예에서 컨트롤러(170)는 투명 디스플레이(500)에 장착된 전면 카메라 또는 후면 카메라를 통해 오브젝트의 영상을 획득할 수 있다.In one embodiment, the controller 170 may acquire an image of an object through a front camera or rear camera mounted on the transparent display 500.

컨트롤러(170)는 획득된 오브젝트의 영상에 기초하여 오브젝트를 인식할 수 있다. 오브젝트는 투명 디스플레이 장치(100)의 사용자 또는 투명 디스플레이 장치(100)에 인접한 물체 중 어느 하나일 수 있다.The controller 170 may recognize the object based on the acquired image of the object. The object may be either a user of the transparent display device 100 or an object adjacent to the transparent display device 100.

컨트롤러(170)는 인식된 오브젝트의 정보를 획득한다(S803).The controller 170 obtains information about the recognized object (S803).

일 실시 예에서 오브젝트가 물체인 경우, 오브젝트의 정보는 물체의 종류, 물체의 명칭, 물체의 위치, 물체의 크기(또는 면적) 중 어느 하나일 수 있다.In one embodiment, when the object is an object, the object information may be any one of the type of object, the name of the object, the location of the object, and the size (or area) of the object.

또 다른 실시 예에서 오브젝트가 사용자인 경우, 오브젝트의 정보는 사용자의 성별, 사용자의 연령대, 사용자의 식별자(사용자의 ID 등)을 포함할 수 있다.In another embodiment, when the object is a user, the information on the object may include the user's gender, the user's age group, and the user's identifier (user ID, etc.).

컨트롤러(170)는 오브젝트의 영상으로부터 오브젝트의 식별 정보를 추론하는 영상 인식 모델을 이용하여 오브젝트의 식별 정보를 획득할 수 있다. 영상 인식 모델은 영상 데이터로부터 오브젝트의 식별 정보를 추론하는 인공 신경망 기반의 학습 모델일 수 있다.The controller 170 may obtain identification information of an object using an image recognition model that infers identification information of an object from an image of the object. The image recognition model may be an artificial neural network-based learning model that infers identification information of an object from image data.

컨트롤러(170)는 획득된 오브젝트의 정보에 기초하여 투명 디스플레이(500)의 영역에 증강 현실(Augmented Reality, AR) 정보를 표시한다(S805).The controller 170 displays augmented reality (AR) information in the area of the transparent display 500 based on the acquired object information (S805).

일 실시 예에서 컨트롤러(170)는 오브젝트의 정보에 기초하여 오브젝트의 위치에 매칭되는 투명 디스플레이(500)의 오브젝트 영역을 결정하고, 결정된 오브젝트 영역 상에 추천 정보를 표시할 수 있다.In one embodiment, the controller 170 may determine an object area of the transparent display 500 that matches the location of the object based on object information and display recommended information on the determined object area.

일 실시 예에서 추천 정보는 투명 디스플레이 장치(100)의 초기 화면 또는 홈 화면에 표시된 컨텐트 제공자에 대한 정보, 추천 컨텐트에 대한 정보 중 어느 하나를 포함할 수 있다.In one embodiment, the recommended information may include any one of information about the content provider or information about the recommended content displayed on the initial screen or home screen of the transparent display device 100.

도 9는 본 개시의 또 다른 실시 예에 따른 투명 디스플레이 장치의 동작 방법을 설명하기 위한 흐름도이다.Figure 9 is a flowchart for explaining a method of operating a transparent display device according to another embodiment of the present disclosure.

특히, 도 9는 투명 디스플레이(500)의 후면에 배치된 오브젝트를 인식하고, 인식된 오브젝트의 위치에 대응하는 투명 디스플레이의 영역에 정보를 표시하는 과정을 설명하는 도면이다.In particular, FIG. 9 is a diagram illustrating a process of recognizing an object placed on the rear of the transparent display 500 and displaying information in an area of the transparent display corresponding to the location of the recognized object.

투명 디스플레이 장치(100)의 컨트롤러(170)는 투명 디스플레이(500)의 후면에 위치한 오브젝트를 인식한다(S901).The controller 170 of the transparent display device 100 recognizes an object located on the rear of the transparent display 500 (S901).

일 실시 예에서 컨트롤러(170)는 투명 디스플레이 패널(500)의 상단 또는 하단에 위치한 후면 카메라(미도시)를 통해 촬영된 영상에 기반하여 투명 디스플레이(500)의 후면에 위치한 오브젝트를 인식할 수 있다.In one embodiment, the controller 170 may recognize an object located on the back of the transparent display 500 based on an image captured through a rear camera (not shown) located on the top or bottom of the transparent display panel 500. .

컨트롤러(170)는 딥 러닝 또는 머신 러닝 알고리즘을 통해 지도 학습된 영상 인식 모델을 이용하여 촬영된 영상으로부터 오브젝트를 인식할 수 있다.The controller 170 may recognize an object from a captured image using an image recognition model learned supervised through a deep learning or machine learning algorithm.

오브젝트를 인식하는 것은 오브젝트의 식별 정보(명칭 또는 종류)를 획득하는 것일 수 있다.Recognizing an object may mean obtaining identification information (name or type) of the object.

컨트롤러(170)는 오브젝트에 부착된 마커를 이용하여 오브젝트를 인식할 수 있다. 오브젝트에 부착된 마커는 오브젝트의 식별 정보를 담고 일 수 있다. 마커는 QR 코드, 바코드와 같이 오브젝트를 식별하는 코드를 포함할 수 있다.The controller 170 can recognize an object using a marker attached to the object. A marker attached to an object may contain identification information of the object. A marker may include a code that identifies an object, such as a QR code or barcode.

오브젝트의 식별 정보는 오브젝트의 명칭 또는 종류 중 어느 하나를 포함할 수 있다.Identification information of an object may include either the name or type of the object.

컨트롤러(170)는 인식된 오브젝트의 정보를 획득한다(S903).The controller 170 obtains information about the recognized object (S903).

오브젝트의 정보는 오브젝트의 위치, 컬러, 밝기, 모양 및 크기 중 하나 이상을 포함할 수 있다.Information about an object may include one or more of the object's location, color, brightness, shape, and size.

오브젝트의 위치는 투명 디스플레이(500)의 전체 영역 중 오브젝트가 차지하는 영역에 대한 정보를 포함할 수 있다. 오브젝트의 위치는 좌표로 표현될 수도 있다.The location of the object may include information about the area occupied by the object among the entire area of the transparent display 500. The location of an object may also be expressed as coordinates.

오브젝트의 모양은 원형, 사각형과 같은 형태를 포함할 수 있다.The shape of the object may include shapes such as circles and squares.

컨트롤러(170)는 획득된 오브젝트의 정보에 기초하여 디스플레이(500)의 영역 상에 AR 정보를 표시한다(S905).The controller 170 displays AR information on the area of the display 500 based on the acquired object information (S905).

일 실시 예에서 컨트롤러(170)는 인식된 오브젝트의 위치에 매칭되는 투명 디스플레이(500)의 영역 상에 AR 정보를 표시할 수 있다.In one embodiment, the controller 170 may display AR information on an area of the transparent display 500 that matches the location of the recognized object.

또 다른 실시 예에서 컨트롤러(170)는 인식된 오브젝트에 매칭되는 영역 이외의 나머지 영역 상에 AR 정보를 표시할 수 있다.In another embodiment, the controller 170 may display AR information on areas other than those matching the recognized object.

도 10a 및 도 10b는 본 개시의 실시 예에 따라 투명 디스플레이 장치의 후면에 위치한 오브젝트에 맞추어 AR 정보를 표시하는 예를 설명하는 도면이다.FIGS. 10A and 10B are diagrams illustrating an example of displaying AR information in accordance with an object located on the back of a transparent display device according to an embodiment of the present disclosure.

도 10a 및 도 10b에서 오브젝트는 블랙 컬러를 갖는 액자이고, 투명 디스플레이(500)의 후면에 놓여 있음을 가정한다. 액자(1010)는 사진(1011)을 포함하고 있다.In FIGS. 10A and 10B, it is assumed that the object is a black picture frame and is placed on the back of the transparent display 500. The frame 1010 includes a photo 1011.

먼저, 도 10a를 설명한다.First, FIG. 10A will be described.

컨트롤러(170)는 투명 디스플레이(500)의 후면에 세워진 액자(1010)를 인식할 수 있다.The controller 170 can recognize the picture frame 1010 placed on the back of the transparent display 500.

컨트롤러(170)는 액자(1010)가 차지하는 영역, 특히, 사진(1011)이 차지하는 사진 영역(1013)을 인식할 수 있다.The controller 170 can recognize the area occupied by the picture frame 1010, particularly the photo area 1013 occupied by the photo 1011.

컨트롤러(170)는 후면 카메라(미도시)를 통해 촬영된 영상에 기반하여 액자(1010)의 사진 영역(1013)을 식별할 수 있다. 컨트롤러(170)는 영상으로부터 액자(1010)의 블랙 컬러를 갖는 프레임을 인식하고, 프레임 이외의 영역을 사진 영역(1013)으로 획득할 수 있다.The controller 170 may identify the photo area 1013 of the picture frame 1010 based on an image captured through a rear camera (not shown). The controller 170 may recognize a frame with the black color of the picture frame 1010 from the image and obtain an area other than the frame as the photo area 1013.

컨트롤러(170)는 사진 영역(1013)이 투명 디스플레이(500) 상에 노출되는 영역인 AR 표시 영역(1020)을 획득할 수 있다.The controller 170 may obtain the AR display area 1020, which is an area where the photo area 1013 is exposed on the transparent display 500.

컨트롤러(170)는 AR 표시 영역(1020) 상에 AR 정보(1021)를 표시할 수 있다.The controller 170 may display AR information 1021 on the AR display area 1020.

AR 정보(1021)는 홈 화면의 추천 컨텐트일 수 있다.AR information 1021 may be recommended content on the home screen.

컨트롤러(170)는 홈 화면에 포함된 복수의 컨텐츠를 시간의 흐름에 따라 AR 표시 영역(1020) 상에 표시할 수 있다.The controller 170 may display a plurality of contents included in the home screen on the AR display area 1020 over time.

사용자는 블랙 컬러를 갖는 액자(1010)를 통해 추천 컨텐트를 시청할 수 있다.A user can watch recommended content through a black frame 1010.

다음으로 도 10b를 설명한다.Next, Figure 10b will be described.

도 10b에서는 스트리밍 동영상 재생을 위한 어플리케이션이 위젯으로 설정된 경우임을 가정한다.In Figure 10b, it is assumed that the application for playing streaming video is set as a widget.

컨트롤러(170)는 스트리밍 동영상 재생을 위한 어플리케이션이 위젯 설정이 되어 있고, 액자(1010)의 AR 표시 영역(1020)이 인식된 경우, 해당 어플리케이션의 추천 컨텐트(1031)를 AR 표시 영역(1020) 상에 표시할 수 있다.When the application for playing streaming video is set as a widget and the AR display area 1020 of the frame 1010 is recognized, the controller 170 displays recommended content 1031 of the application on the AR display area 1020. It can be displayed in .

추천 컨텐트(1031)는 동영상의 썸네일 이미지일 수 있다.Recommended content 1031 may be a thumbnail image of a video.

컨트롤러(170)는 추천 컨텐트(1031)를 선택하는 명령을 수신함에 따라 추천 컨텐트(1031)의 영상(1050)을 투명 디스플레이(500)의 전체 영역 상에 재생할 수 있다.Upon receiving a command to select the recommended content 1031, the controller 170 may reproduce the image 1050 of the recommended content 1031 on the entire area of the transparent display 500.

컨트롤러(170)는 원격 제어 장치(200)로부터 추천 컨텐트(1031)를 선택하는 명령을 수신할 수 있다.The controller 170 may receive a command to select recommended content 1031 from the remote control device 200.

이와 같이, 본 개시의 실시 예에 따르면, 투명 디스플레이(500)의 후면에 배치된 오브젝트의 종류, 위치에 맞는 증강 현실 정보가 표시되어 투명 디스플레이(500)가 배치된 공간의 조화로움이 증대되고, 사용자 경험이 크게 향상될 수 있다.As such, according to an embodiment of the present disclosure, augmented reality information appropriate for the type and location of the object placed on the rear of the transparent display 500 is displayed, thereby increasing the harmony of the space where the transparent display 500 is placed, User experience can be greatly improved.

도 11은 본 개시의 일 실시 예에 따라 투명 디스플레이의 후면에 위치한 복수의 오브젝트들의 위치를 고려하여 AR 정보를 표시하는 예를 설명하는 도면이다.FIG. 11 is a diagram illustrating an example of displaying AR information considering the positions of a plurality of objects located on the back of a transparent display according to an embodiment of the present disclosure.

도 11을 참조하면, 투명 디스플레이(500)의 후면에는 복수의 오브젝트들(1101 내지 1109)이 위치하고 있다.Referring to FIG. 11, a plurality of objects 1101 to 1109 are located on the rear of the transparent display 500.

컨트롤러(170)는 복수의 오브젝트들(1101 내지 1109) 각각의 위치를 고려하여 각 위치에 매칭되는 투명 디스플레이(500)의 매칭 영역들을 결정할 수 있다.The controller 170 may consider the positions of each of the plurality of objects 1101 to 1109 and determine matching areas of the transparent display 500 that match each position.

컨트롤러(170)는 매칭 영역들을 제외한 나머지 영역들(1110, 1130)을 AR 정보를 노출하기 위한 AR 정보 노출 영역들(또는 AR 표시 영역들)로 결정할 수 있다.The controller 170 may determine the remaining areas 1110 and 1130 excluding the matching areas as AR information exposure areas (or AR display areas) for exposing AR information.

즉, 컨트롤러(170)는 AR 정보 노출 영역들(1110, 1130) 상에 AR 정보를 표시할 수 있다.That is, the controller 170 may display AR information on the AR information exposure areas 1110 and 1130.

이와 같이 본 개시의 실시 예에 따른 투명 디스플레이 장치(100)는 투명 디스플레이의 후면에 위치한 오브젝트들을 고려하여 AR 정보를 제공함에 따라 오브젝트들과 조화를 맞추면서 정보를 표시할 수 있다.In this way, the transparent display device 100 according to an embodiment of the present disclosure provides AR information in consideration of objects located on the back of the transparent display, and thus can display information in harmony with the objects.

도 12는 본 개시의 실시 예에 따라 투명 디스플레이의 후면에 위치한 오브젝트의 밝기 및 오브젝트의 위치에 따라 AR 정보를 표시하는 예를 설명하는 도면이다.FIG. 12 is a diagram illustrating an example of displaying AR information according to the brightness and location of an object located on the back of a transparent display according to an embodiment of the present disclosure.

도 12를 참조하면, 컨트롤러(170)는 투명 디스플레이(500)의 후면에 위치한 밝은 배경의 벽(1021), 제1 오브젝트(1107) 및 제2 오브젝트(1109)를 인식할 수 있다.Referring to FIG. 12 , the controller 170 can recognize the bright background wall 1021, the first object 1107, and the second object 1109 located on the rear of the transparent display 500.

제1 오브젝트(1107)는 지구 사진을 포함할 수 있고, 제2 오브젝트(1109)는 어두운 배경을 가진 사진을 포함할 수 있다.The first object 1107 may include a photo of the Earth, and the second object 1109 may include a photo with a dark background.

컨트롤러(170)는 벽(1021)의 컬러가 기 설정된 밝기보다 밝음을 인식하고, 벽이 위치한 영역에 대응하는 제1 AR 표시 영역(1210)에는 어두운 컬러의 제1 AR 정보를 표시할 수 있다.The controller 170 may recognize that the color of the wall 1021 is brighter than the preset brightness, and display the first AR information in a dark color in the first AR display area 1210 corresponding to the area where the wall is located.

컨트롤러(170)는 제2 사진(1109)의 밝기가 기 설정된 밝기보다 작음을 인식하고, 제2 사진(1109)에서 어두운 밝기의 영역(1203)에 대응하는 제2 AR 표시 영역(1230)에는 밝은 컬러의 제2 AR 정보를 표시할 수 있다.The controller 170 recognizes that the brightness of the second photo 1109 is less than the preset brightness, and displays a bright light in the second AR display area 1230 corresponding to the dark brightness area 1203 in the second photo 1109. The second AR information in color can be displayed.

한편, 제1 AR 정보 및 제2 AR 정보는 제1 사진(1107)을 통해 인식된 지구에 대한 정보를 포함할 수 있다.Meanwhile, the first AR information and the second AR information may include information about the Earth recognized through the first photo 1107.

이와 같이, 본 개시의 실시 예에 따르면, 투명 디스플레이(500)의 후면에 보여지는 오브젝트의 위치, 밝기에 따라 AR 정보의 밝기가 조절될 수 있다.As such, according to an embodiment of the present disclosure, the brightness of AR information can be adjusted according to the location and brightness of the object shown on the rear of the transparent display 500.

이에 따라 사용자는 AR 정보를 시청하는 가시성이 크게 향상될 수 있다.Accordingly, the visibility of users viewing AR information can be greatly improved.

도 13은 본 개시의 실시 예에 따른 투명 디스플레이의 후면에 배치된 오브젝트의 밝기에 기초하여 AR 정보를 표시하는 예를 설명하는 도면이다.FIG. 13 is a diagram illustrating an example of displaying AR information based on the brightness of an object placed on the back of a transparent display according to an embodiment of the present disclosure.

도 13을 참조하면, 투명 디스플레이(500)의 후면에는 벽(1201), 제1 오브젝트(1107) 및 제2 오브젝트(1109)가 위치하고 있다.Referring to FIG. 13, a wall 1201, a first object 1107, and a second object 1109 are located on the rear of the transparent display 500.

제2 오브젝트(1109)는 다른 배경 보다 밝기가 어두운 사진(1203)을 포함하고 있다.The second object 1109 includes a photo 1203 whose brightness is darker than that of the other backgrounds.

특히, 제2 오브젝트(1109)의 사진(1203)의 밝기는 벽(1201) 및 제1 오브젝트(1107)의 밝기보다 작을 수 있다.In particular, the brightness of the photo 1203 of the second object 1109 may be smaller than the brightness of the wall 1201 and the first object 1107.

컨트롤러(170)는 상대적으로 밝기가 어두운 사진이 차지하는 영역(1203)을 식별하고, 식별된 영역 상에 시간 정보(1300)를 표시할 수 있다.The controller 170 may identify an area 1203 occupied by a relatively dark photo and display time information 1300 on the identified area.

컨트롤러(170)는 AOD 기능을 통해 상기 영역(1203) 상에 시간 정보(1300)를 표시할 수 있다.The controller 170 can display time information 1300 on the area 1203 through the AOD function.

이와 같이, 본 개시의 실시 예에 따르면, 투명 디스플레이(500)의 후면에 배치된 배경을 분석하여 어두운 부분에 AR 정보를 표시하여 사용자의 가시성을 높일 수 있다.As such, according to an embodiment of the present disclosure, the background disposed on the rear of the transparent display 500 is analyzed and AR information is displayed in the dark portion to increase user visibility.

도 14는 투명 디스플레이의 후면에 배치된 오브젝트의 위치가 변경됨에 따라 변경된 위치에 맞게 AR 정보를 표시하는 예를 설명하는 도면이다.FIG. 14 is a diagram illustrating an example of displaying AR information according to the changed position as the position of an object placed on the back of a transparent display changes.

도 14에서 투명 디스플레이(500)의 후면에는 액자(1400)가 위치하고 있다.In Figure 14, a picture frame 1400 is located on the back of the transparent display 500.

컨트롤러(170)는 액자(1400) 및 액자(1400)에 포함된 사진이 표시되는 AR 표시 영역(1410)을 추출하고, 추출된 영역(1410) 상에 AR 정보(1420)를 표시할 수 있다.The controller 170 may extract the frame 1400 and the AR display area 1410 where the photo included in the frame 1400 is displayed, and display AR information 1420 on the extracted area 1410.

AR 정보(1420)는 투명 디스플레이 장치(100)의 홈 화면에 표시된 복수의 앱 아이콘들을 포함할 수 있다.AR information 1420 may include a plurality of app icons displayed on the home screen of the transparent display device 100.

컨트롤러(170)는 액자(1400)의 위치가 제1 위치에서 제2 위치로 이동된 경우, 이동된 액자(1400)의 위치를 식별하고, 식별된 위치에 있는 액자(1400)의 AR 표시 영역(1410)을 인식할 수 있다.When the position of the picture frame 1400 is moved from the first position to the second position, the controller 170 identifies the position of the moved picture frame 1400, and the AR display area of the picture frame 1400 at the identified position ( 1410) can be recognized.

컨트롤러(170)는 변경된 위치의 AR 표시 영역(1410) 상에 AR 정보(1420)를 표시할 수 있다.The controller 170 may display AR information 1420 on the AR display area 1410 at the changed location.

도 15는 본 개시의 또 다른 실시 예에 따른 투명 디스플레이 장치의 동작 방법을 설명하기 위한 흐름도이다.Figure 15 is a flowchart for explaining a method of operating a transparent display device according to another embodiment of the present disclosure.

도 15를 참조하면, 컨트롤러(170)는 투명 디스플레이(500)의 전면에 위치한 사용자 및 후면에 위치한 사물을 인식한다(S1501). Referring to FIG. 15, the controller 170 recognizes the user located in the front and the object located in the back of the transparent display 500 (S1501).

컨트롤러(170)는 투명 디스플레이(500)에 배치된 전면 카메라를 통해 투명 디스플레이(500)의 전방을 촬영할 수 있다.The controller 170 can capture the front of the transparent display 500 through a front camera disposed on the transparent display 500.

컨트롤러(170)는 촬영된 전방 영상에 기반하여 사용자가 감지되는지를 판단할 수 있다. 컨트롤러(170)는 메모리(140)에 저장된 영상 인식 모델을 이용하여 촬영된 영상에 포함된 오브젝트가 사람인지를 판단할 수 있다. The controller 170 may determine whether a user is detected based on the captured front image. The controller 170 may use the image recognition model stored in the memory 140 to determine whether an object included in the captured image is a person.

영상 인식 모델은 영상 데이터로부터 오브젝트의 식별 정보를 출력하는 인공 신경망 기반의 모델일 수 있다.The image recognition model may be an artificial neural network-based model that outputs object identification information from image data.

영상에 기반하여 사용자를 인식하는 기술은 다양한 공지 기술들이 사용될 수 있다.Various known technologies can be used to recognize users based on images.

컨트롤러(170)는 영상 인식 모델의 출력이 사람을 식별하는 정보를 포함하는 경우, 사용자가 인식된 것으로 판단할 수 있다.If the output of the image recognition model includes information identifying a person, the controller 170 may determine that the user has been recognized.

컨트롤러(170)는 투명 디스플레이(500)에 배치된 후면 카메라를 통해 투명 디스플레이(500)의 후방을 촬영할 수 있다.The controller 170 can photograph the rear of the transparent display 500 through a rear camera disposed on the transparent display 500.

컨트롤러(170)는 촬영된 후방 영상에 기반하여 사물이 감지되는지를 판단할 수 있다. 컨트롤러(170)는 메모리(140)에 저장된 영상 인식 모델을 이용하여 촬영된 영상에 포함된 사물의 식별 정보(사물의 명칭 또는 사물의 종류)를 획득할 수 있다.The controller 170 may determine whether an object is detected based on the captured rear image. The controller 170 may obtain identification information (name of the object or type of the object) of the object included in the captured image using the image recognition model stored in the memory 140.

컨트롤러(170)는 영상 인식 모델의 출력이 사물을 식별하는 정보를 포함하는 경우, 사물이 인식된 것으로 판단할 수 있다.If the output of the image recognition model includes information identifying the object, the controller 170 may determine that the object has been recognized.

컨트롤러(170)는 인식된 사용자의 정보를 획득한다(S1503).The controller 170 obtains information about the recognized user (S1503).

사용자의 정보는 사용자의 성별, 연령대, ID 정보 중 하나 이상을 포함할 수 있다.The user's information may include one or more of the user's gender, age group, and ID information.

일 실시 예에서 컨트롤러(170)는 사용자의 얼굴을 인식하고, 인식된 얼굴에 상응하는 사용자의 ID 정보를 메모리(140)로부터 획득할 수 있다.In one embodiment, the controller 170 may recognize the user's face and obtain the user's ID information corresponding to the recognized face from the memory 140.

컨트롤러(170)는 획득된 사용자의 정보에 따라 인식된 사물의 위치에 대응되는 투명 디스플레이(500)의 영역 상에 맞춤형 AR 정보를 표시한다(S1505).The controller 170 displays customized AR information on the area of the transparent display 500 corresponding to the location of the object recognized according to the acquired user information (S1505).

일 실시 예에서 컨트롤러(170)는 사용자의 식별 정보에 따라 동일한 사물에 대해 서로 다른 AR 정보를 표시할 수 있다.In one embodiment, the controller 170 may display different AR information for the same object according to the user's identification information.

또 다른 실시 예에서 컨트롤러(170)는 사용자의 식별 정보에 따라 다른 사물에 대해 서로 다른 맞춤형 AR 정보를 표시할 수 있다.In another embodiment, the controller 170 may display different customized AR information for different objects according to the user's identification information.

이에 대해서는 도 16a 및 도 16b를 참조하여 설명한다.This will be explained with reference to FIGS. 16A and 16B.

도 16a 및 도 16b는 사용자의 식별 정보에 따라 사물에 대해 서로 다른 AR 정보를 표시하는 예를 설명하는 도면이다.FIGS. 16A and 16B are diagrams illustrating an example of displaying different AR information about an object according to the user's identification information.

먼저, 도 16a를 설명한다.First, FIG. 16A will be described.

도 16a를 참조하면, 컨트롤러(170)는 투명 디스플레이(500)의 전면에서 제1 사용자를 인식하고, 후면에서 꽃병(1601)을 인식할 수 있다. Referring to FIG. 16A, the controller 170 can recognize the first user from the front of the transparent display 500 and the vase 1601 from the back.

컨트롤러(170)는 인식된 제1 사용자가 엄마인 경우, 꽃병(1601)의 위치에 대응되는 투명 디스플레이(500)의 영역 상에 제1 AR 정보(1610)를 표시할 수 있다. 제1 AR 정보(1610)는 꽃병(1610)에 물을 갈아준 시점에 대한 정보를 포함할 수 있다.If the recognized first user is a mother, the controller 170 may display the first AR information 1610 on the area of the transparent display 500 corresponding to the location of the vase 1601. The first AR information 1610 may include information about when the water in the vase 1610 was changed.

컨트롤러(170)는 투명 디스플레이(500)의 전면에서 제2 사용자를 인식하고, 후면에서 꽃병(1601)을 인식할 수 있다. The controller 170 can recognize the second user from the front of the transparent display 500 and the vase 1601 from the back.

컨트롤러(170)는 인식된 제2 사용자가 어린 딸인 경우, 꽃병(1601)의 위치에 대응되는 투명 디스플레이(500)의 영역 상에 제2 AR 정보(1620)를 표시할 수 있다. 제2 AR 정보(1620)는 꽃병(1610)에 꽃의 성장에 필요한 항목에 대한 정보를 포함할 수 있다.If the recognized second user is a young daughter, the controller 170 may display the second AR information 1620 on the area of the transparent display 500 corresponding to the location of the vase 1601. The second AR information 1620 may include information about items necessary for the growth of flowers in the vase 1610.

다음으로 도 16b를 설명한다.Next, Figure 16b will be described.

도 16b를 참조하면, 컨트롤러(170)는 투명 디스플레이(500)의 전면에서 제1 사용자, 제2 사용자 및 제3 사용자를 인식하고, 후면에서 꽃병(1601), 웨딩 액자(1603) 및 장난감 배(1605)을 인식할 수 있다.Referring to FIG. 16b, the controller 170 recognizes the first user, second user, and third user at the front of the transparent display 500, and recognizes the vase 1601, wedding picture frame 1603, and toy ship ( 1605) can be recognized.

컨트롤러(170)는 인식된 제1 사용자가 엄마인 경우, 꽃병(1601)의 위치에 대응되는 투명 디스플레이(500)의 영역 상에 꽃병(1610)에 물을 갈아준 시점에 대한 정보를 포함하는 제1 AR 정보(1610)를 표시할 수 있다.When the recognized first user is a mother, the controller 170 displays a display device that includes information about the time when water was changed in the vase 1610 on the area of the transparent display 500 corresponding to the position of the vase 1601. 1 AR information 1610 can be displayed.

컨트롤러(170)는 인식된 제2 사용자가 아빠인 경우, 웨딩 액자(1603)의 위치에 대응되는 투명 디스플레이(500)의 영역 상에 웨딩에 대한 정보를 포함하는 제3 AR 정보(1630)를 표시할 수 있다.If the recognized second user is a father, the controller 170 displays third AR information 1630 including information about the wedding on the area of the transparent display 500 corresponding to the location of the wedding picture frame 1603. can do.

컨트롤러(170)는 인식된 제3 사용자가 어린 아들인 경우, 장난감 배(1605)의 위치에 대응되는 투명 디스플레이(500)의 영역 상에 장난감 배에 대한 정보를 포함하는 제4 AR 정보(1640)를 표시할 수 있다.If the recognized third user is a young son, the controller 170 generates fourth AR information 1640 including information about the toy boat on the area of the transparent display 500 corresponding to the location of the toy boat 1605. can be displayed.

이와 같이, 본 개시의 실시 예에 따르면 투명 디스플레이 장치(100)에 내장된 카메라를 통해 사용자 및 사물을 인식하여 맞춤형 AR 정보를 제공할 수 있다.As such, according to an embodiment of the present disclosure, customized AR information can be provided by recognizing users and objects through a camera built into the transparent display device 100.

도 17a 및 도 17b는 투명 디스플레이의 전면에 위치한 사용자의 시선의 방향을 인식하고, 인식된 방향에 맞는 위치에 맞는 정보를 제공하는 예를 설명하는 도면들이다.FIGS. 17A and 17B are diagrams illustrating an example of recognizing the direction of a user's gaze located in front of a transparent display and providing information appropriate to the location according to the recognized direction.

도 17a를 참조하면, 컨트롤러(170)는 투명 디스플레이(500)의 전면에 위치한 사용자(1701)를 전면 카메라(미도시)를 통해 감지할 수 있다.Referring to FIG. 17A, the controller 170 can detect the user 1701 located in front of the transparent display 500 through a front camera (not shown).

컨트롤러(170)는 사용자(1701)에 대응하는 사용자 영상으로부터 사용자의 시선 방향을 추출할 수 있다.The controller 170 may extract the user's gaze direction from the user image corresponding to the user 1701.

컨트롤러(170)는 공지된 시선 트래킹 방식을 이용하여 사용자의 시선 방향을 트래킹할 수 있다.The controller 170 may track the user's gaze direction using a known gaze tracking method.

컨트롤러(170)는 사용자의 시선 방향에 상응하는 위치를 획득할 수 있다. 사용자의 시선에 상응하는 위치는 투명 디스플레이(500)의 화면 상에 사용자의 시선이 향하는 지점일 수 있다.The controller 170 may obtain a position corresponding to the user's gaze direction. The position corresponding to the user's gaze may be a point on the screen of the transparent display 500 where the user's gaze is directed.

컨트롤러(170)는 투명 디스플레이(500)의 화면 상에 사용자의 시선이 향하는 지점을 중심으로 일정 거리 내에 있는 영역을 정보 우선 노출 영역(1710)으로 결정할 수 있다.The controller 170 may determine an area within a certain distance from the point where the user's gaze is directed on the screen of the transparent display 500 as the information priority exposure area 1710.

정보 우선 노출 영역(1710)은 AR 정보를 표시하기 위한 영역일 수 있다.The information priority exposure area 1710 may be an area for displaying AR information.

정보 우선 노출 영역(1710)은 사용자의 시선 방향에 따라 변경될 수 있다.The information priority exposure area 1710 may change depending on the user's gaze direction.

다음으로, 도 17b를 설명한다.Next, FIG. 17B will be described.

도 17b는 사용자의 시선 방향에 맞는 위치부터 영상의 화질을 업 스케일링하는 과정을 설명하는 도면이다.Figure 17b is a diagram explaining the process of upscaling the image quality from a position that matches the user's gaze direction.

컨트롤러(170)는 사용자의 시선 방향을 트래킹하여 사용자의 시선이 일정 지점에 일정 시간 동안 머무는 경우, 해당 지점을 중심으로 일정 거리 내에 있는 업 스케일링 영역(1720)에 표시되는 영상의 화질을 업 스케일링 할 수 있다.The controller 170 tracks the direction of the user's gaze and, when the user's gaze stays at a certain point for a certain time, upscales the image quality of the image displayed in the upscaling area 1720 within a certain distance around the point. You can.

업 스케일링은 해당 영역(1720)에 표시되는 영상의 밝기, 선명도를 증가시키는 과정일 수 있다.Upscaling may be a process of increasing the brightness and clarity of the image displayed in the corresponding area 1720.

컨트롤러(170)는 업 스케일링 영역(1720)보다 더 큰 영역으로 영상의 화질 업 스케일링을 수행할 수 있다.The controller 170 may perform image quality upscaling to an area larger than the upscaling area 1720.

본 개시의 또 다른 실시 예에 따르면, 컨트롤러(170)는 사용자의 집중도에 따라 스피커(175)의 출력을 조정할 수 있다.According to another embodiment of the present disclosure, the controller 170 may adjust the output of the speaker 175 according to the user's concentration level.

컨트롤러(170)는 사용자의 시선이 특정 지점에 일정 시간 동안 머물지 않는 경우, 스피커(175)의 음성 출력을 감소시킬 수 있다. The controller 170 may reduce the audio output of the speaker 175 when the user's gaze does not remain at a specific point for a certain period of time.

컨트롤러(170)는 사용자의 시선이 특정 지점에 일정 시간 동안 머무는 경우, 스피커(175)의 음성 출력을 증가시킬 수 있다.The controller 170 may increase the audio output of the speaker 175 when the user's gaze remains at a specific point for a certain period of time.

컨트롤러(170)는 일정 시간 동안 사용자의 시선이 투명 디스플레이(500)의 전면을 향하지 않는 경우, 투명 디스플레이 장치(100)의 AOD 기능을 활성화시키거나, 전원을 오프시킬 수 있다.If the user's gaze is not directed to the front of the transparent display 500 for a certain period of time, the controller 170 may activate the AOD function of the transparent display device 100 or turn off the power.

이와 같이, 본 개시의 실시 예에 따르면, 사용자의 시선을 인식하여 인식된 시선의 방향 또는 집중도에 맞는 기능이 제공될 수 있다.As such, according to an embodiment of the present disclosure, the user's gaze can be recognized and a function tailored to the direction or concentration of the recognized gaze may be provided.

본 개시의 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.According to an embodiment of the present disclosure, the above-described method can be implemented as processor-readable code on a program-recorded medium. Examples of media that the processor can read include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices.

상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The display device described above is not limited to the configuration and method of the above-described embodiments, and the embodiments may be configured by selectively combining all or part of each embodiment so that various modifications can be made. It may be possible.

Claims

In the transparent display device,
transparent display; and
Comprising a controller that recognizes an object located behind the transparent display, obtains information on the recognized object, and displays augmented reality (AR) information on the transparent display based on the information on the obtained object.
Transparent display device.

According to paragraph 1,
The information of the object is
Containing one or more of identification information of the object, location of the object, and brightness of the object
Transparent display device.

According to paragraph 2,
The controller is
Determining an AR display area of the transparent display corresponding to the area occupied by the object based on the position of the object, and displaying the AR information on the determined AR display area
Transparent display device.

According to paragraph 3,
The AR information includes recommended content,
The controller is
Displaying an image of the recommended content on the entire area of the transparent display according to a command for selecting the recommended content.
Transparent display device.

According to paragraph 1,
The controller is
Recognizing a plurality of objects located on the back of the transparent display, determining matching areas of the transparent display corresponding to the positions of each of the recognized plurality of objects, and displaying the AR information on the remaining areas excluding the matching areas. doing
Transparent display device.

According to paragraph 2,
The controller is
If the brightness of the recognized object is less than the preset brightness, displaying the AR information in a bright color on an area of the transparent display corresponding to the location of the object,
When the brightness of the recognized object is greater than the preset brightness, displaying the AR information in a dark color on the area of the transparent display corresponding to the location of the object.
Transparent display device.

According to paragraph 2,
The controller is
When detecting that the position of the object has changed, determining an area of the transparent display corresponding to the changed object and displaying the AR information on the determined area
Transparent display device.

According to paragraph 1,
Further comprising a front camera that takes images of the object,
The controller is
Recognizing the object using the captured image
Transparent display device.

According to paragraph 1,
The controller is
Recognizing a user located in front of the transparent display, obtaining information about the recognized user, and displaying the AR information based on the obtained user information and recognized object information
Transparent display device.

According to clause 9,
The controller is
When the first user is recognized, display first AR information related to the object based on the identification information of the recognized first user,
When a second user is recognized, displaying second AR information related to the object based on the identification information of the recognized second user.
Transparent display device.

According to clause 9,
The controller is
When the first user and the first object are recognized, display first AR information related to the first object based on the identification information of the recognized first user,
When a second user and a second object are recognized, displaying second AR information related to the second object based on the identification information of the recognized second user.
Transparent display device.

According to clause 9,
Further comprising a front camera that takes images of the user
Transparent display device.

According to paragraph 1,
The AR information above is
Contains information displayed according to the Always On Display (AOD) function.
Transparent display device.

According to paragraph 1,
The controller is
Recognizing the object through a marker attached to the object
Transparent display device.

In a method of operating a transparent display device,
Recognizing an object located behind a transparent display;
Obtaining information about the recognized object; and
Comprising the step of displaying augmented reality (AR) information on the transparent display based on the acquired object information.
How a transparent display device works.