KR20120075778A - Display device and method for marking location of object - Google Patents

Display device and method for marking location of object Download PDF

Info

Publication number
KR20120075778A
KR20120075778A KR1020100137618A KR20100137618A KR20120075778A KR 20120075778 A KR20120075778 A KR 20120075778A KR 1020100137618 A KR1020100137618 A KR 1020100137618A KR 20100137618 A KR20100137618 A KR 20100137618A KR 20120075778 A KR20120075778 A KR 20120075778A
Authority
KR
South Korea
Prior art keywords
signal
unit
transmitting
transmitting unit
transmitter
Prior art date
Application number
KR1020100137618A
Other languages
Korean (ko)
Other versions
KR101706952B1 (en
Inventor
윤준영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020100137618A priority Critical patent/KR101706952B1/en
Publication of KR20120075778A publication Critical patent/KR20120075778A/en
Application granted granted Critical
Publication of KR101706952B1 publication Critical patent/KR101706952B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Position Input By Displaying (AREA)

Abstract

PURPOSE: A display device and a location display method of an object are provided to integrally control 2D or 3D content. CONSTITUTION: Transmitting units(100) comprise at least two signal transmitting units. A receiving unit(220) receives a signal transmitted from the transmitting units during at least two frames. An operating unit determines a location change between the transmitting units in different frames. A display unit(210) displays locations of at least two transmitting units according to the determination result. The transmitting units emit light of an infrared light emitting diode.

Description

표시장치 및 객체의 위치 표시방법{DISPLAY DEVICE AND METHOD FOR MARKING LOCATION OF OBJECT}DISPLAY DEVICE AND METHOD FOR MARKING LOCATION OF OBJECT}

실시예는 표시장치 및 아이콘의 위치 표시방법에 관한 것으로, 리모콘의 움직임에 따라 표시장치 내에서 아이콘의 위치를 파악하여 표시하는 장치와 방법에 관한 것이다.Embodiments relate to a display apparatus and a method of displaying the position of an icon. The present invention relates to an apparatus and a method for identifying and displaying a position of an icon in a display according to a movement of a remote controller.

스마트 TV(Television)와 3D TV가 보급되면서, 표시장치에 공급되는 2D 및 3D 콘텐츠양이 대폭 증가하고 있다. 그리고, 인터넷과 TV의 융합이 이루어지면서 종래의 단방향적인 TV에서 시청자의 참여를 이끄는 인터랙티브(interactive) TV로 흘러가고 있다.With the spread of smart TVs and 3D TVs, the amount of 2D and 3D content supplied to display devices has increased dramatically. In addition, the convergence of the Internet and TV is flowing from the conventional unidirectional TV to the interactive TV which leads the viewer's participation.

즉, TV에 표시되는 콘텐츠 내지 아이콘을 시청자가 직접 조작할 수 필요가 있다. 일반적으로 시청자가 2D 콘텐츠를 제어하기 위하여 리모컨의 상,하,좌,우 버튼을 통하여 조작할 수 있다. 그리고, 시청자가 3D 콘텐츠를 제어하기 위하여서는 3D 제어에 특화된 장치를 사용하여야 하며, 3축 가속도 센서와 자이로스코프와 같은 센서들을 이용하여, 입력 장치의 포즈(Pose)를 추정하여 제어한다.That is, it is necessary for the viewer to directly manipulate contents or icons displayed on the TV. In general, the viewer can manipulate the up, down, left and right buttons on the remote control to control the 2D content. In order to control 3D content, the viewer must use a device specialized for 3D control, and estimate and control a pose of the input device using sensors such as a 3-axis acceleration sensor and a gyroscope.

따라서, 종래의 표시장치에서 2D 또는 3D 콘텐츠를 사용자가 제어하기 위하여, 3축 가속도 센서와 자이로스코프 등의 고가의 센서를 복잡한 과정으로 설계하여 사용하여야 한다.Therefore, in order to control 2D or 3D content in a conventional display device, expensive sensors such as a 3-axis acceleration sensor and a gyroscope must be designed and used in a complicated process.

실시예는 사용자가 저가의 비용과 간단한 과정으로, 표시장치에서 2D 또는 3D 콘텐츠를 통합적으로 제어하는 인터페이스를 제공하고자 한다.The embodiment is intended to provide an interface for a user to control 2D or 3D content in a display device at low cost and simple process.

실시예는 적어도 2개의 신호 송신부가 구비된 송신 유닛; 상기 신호 송신부로부터 송신된 신호를 적어도 2프레임 동안 수신하는 수신 유닛; 상기 서로 다른 프레임에서 상기 신호 송신부 간의 위치 변화를 판단하는 연산부; 및 상기 판단 결과에 따라, 상기 적어도 2개의 신호 송신부의 위치를 표시하는 표시부를 포함하는 표시장치를 제공한다.An embodiment includes a transmission unit having at least two signal transmission units; A receiving unit which receives a signal transmitted from the signal transmitting unit for at least two frames; A calculator which determines a position change between the signal transmitters in the different frames; And a display unit for displaying the positions of the at least two signal transmitters according to the determination result.

여기서, 상기 적어도 신호 송신부는 적외선 발광 다이오드를 방출할 수 있다.Here, the at least signal transmitter may emit an infrared light emitting diode.

그리고, 상기 송신 유닛은 리모콘이고, 상기 리모콘은 상기 표시부의 온/오프를 제어하는 화면 조정부가 배치될 수 있다.The transmitting unit may be a remote controller, and the remote controller may be provided with a screen adjusting unit for controlling on / off of the display unit.

그리고, 상기 연산부는 상기 신호 송신부 간의 거리를 판단하는 거리 연산부와 상기 신호 송신부 간의 기울기를 판단하는 기울기 연산부 중 적어도 하나를 포함할 수 있다.The calculator may include at least one of a distance calculator that determines a distance between the signal transmitter and a slope calculator that determines a slope between the signal transmitter.

그리고, 상기 송신 유닛에는 적어도 4개의 신호 송신부가 배치되고, 상기 연산부는 상기 4개의 신호 송신부의 좌표로부터 상기 송신 유닛의 위치를 판단할 수 있다.In addition, at least four signal transmitters may be disposed in the transmission unit, and the operation unit may determine the position of the transmission unit from the coordinates of the four signal transmitters.

그리고, 상기 연산부는 포즈 에스티메이션(Pose Estimation)으로 상기 송신 유닛의 3차원 상에서의 위치를 판단할 수 있다.The operation unit may determine a position on the 3D of the transmitting unit by pose estimation.

그리고, 상기 송신 유닛은 상기 4개의 신호 송신부를 선택하여 온(on)시키는 모드 선택부를 더 포함할 수 있다.The transmission unit may further include a mode selector configured to select and turn on the four signal transmitters.

다른 실시예는 송신 유닛의 서로 이격된 2개의 신호 송신부에서 각각 신호를 송신하는 단계; 수신 유닛에서 상기 각각의 신호를 수신하는 단계; 상기 수신된 신호로부터 상기 신호 송신부의 위치 변화를 판단하는 단계; 및 상기 판단된 신호 송신부의 위치 변화를 반영하여 객체의 위치를 표시하는 단계를 포함하는 객체의 위치 표시방법을 제공한다.Another embodiment includes transmitting signals in two signal transmitters spaced apart from each other in the transmission unit; Receiving said respective signal at a receiving unit; Determining a change in position of the signal transmitter from the received signal; And displaying the location of the object by reflecting the location change of the determined signal transmitter.

여기서, 상기 적어도 2개의 신호 송신부에서는 신호를 적어도 2프레임 동안 송신할 수 있다.The at least two signal transmitters may transmit a signal for at least two frames.

그리고, 상기 2 프레임에서의 상기 2개의 신호 송신부 간의 거리 변화와 기울기 변화 중 적어도 하나로부터 상기 송신부의 위치 변화를 판단할 수 있다.The position change of the transmitter may be determined from at least one of a distance change and a slope change between the two signal transmitters in the two frames.

그리고, 상기 송신 유닛이 종전 프레임보다 현재 프레임에서 상기 수신 유닛에 근접하면, 상기 객체의 크기를 더 크게 표시할 수 있다.If the transmitting unit is closer to the receiving unit in the current frame than the previous frame, the size of the object may be displayed larger.

그리고, 상기 송신 유닛이 회전하면, 상기 2개의 신호 송신부 간의 기울기 변화로부터 상기 신호 송신부의 위치를 판단할 수 있다.When the transmitting unit rotates, the position of the signal transmitting unit can be determined from a change in inclination between the two signal transmitting units.

그리고, 상기 송신 유닛은 적어도 4개의 신호 송신부에서 각각 신호를 송신하고, 상기 각각의 신호 송신부의 2차원 좌표로부터 상기 각각의 신호 송신부의 3차원 상에서의 위치를 판단할 수 있다.The transmitting unit may transmit signals from at least four signal transmitters, respectively, and determine a position on the three-dimensional surface of each signal transmitter from the two-dimensional coordinates of each signal transmitter.

그리고, 상기 각각의 신호 송신부의 3차원 상에서의 위치 판단은 포즈 에스티메이션 방법으로 수행될 수 있다.In addition, the three-dimensional position determination of each signal transmitter may be performed by a pose estimation method.

또한, 상기 적어도 4개의 신호 송신부에서는 신호를 적어도 2프레임 동안 송신할 수 있다.In addition, the at least four signal transmitters may transmit a signal for at least two frames.

실시예에 따른 표시 장치 및 객체의 위치 표시방법은, 리모콘 전면의 1개, 2개 또는 4개의 적외선 소자의 발광을 감지하고 포즈 에스티메이션 등의 방법으로 운동을 추정하여, 화면에 표시되는 객체의 노말 모드와 2D 모드 또는 3D 모드에서의 위치를 변화시킬 수 있으므로, 종래의 3축 가속도 센서와 자이로스코프 등의 고가의 센서를 복잡한 과정으로 설계하지 않아도 된다.According to an exemplary embodiment, a display apparatus and an object position display method may include detecting an emission of one, two, or four infrared elements in front of a remote controller, estimating a motion by a pose estimation method, and the like. Since the position in the normal mode and the 2D mode or the 3D mode can be changed, it is not necessary to design a conventional three-axis acceleration sensor and expensive sensors such as a gyroscope in a complicated process.

도 1은 표시장치 내의 송신 유닛의 일실시예를 나타낸 도면이고,
도 2는 노말 모드에서 송신 유닛의 작용을 나타낸 도면이고,
도 3a 및 도 3b는 2D 모드에서 송신 유닛의 작용을 나타낸 도면이고,
도 4는 3D 모드에서 송신 유닛의 작용을 나타낸 도면이고,
도 5는 도 1의 송신 유닛의 구조를 나타낸 블럭도이고,
도 6a는 수신 유닛과 표시부의 구조를 나타낸 블럭도이고,
도 6b는 도 6a의 2D 연산부를 상세히 나타낸 블럭도이고,
도 6c는 도 6a의 3D 연산부를 상세히 나타낸 1블럭도이다.1 is a view showing an embodiment of a transmission unit in a display device;
2 is a view showing the operation of the transmission unit in the normal mode,
3a and 3b are views showing the operation of the transmission unit in the 2D mode,
4 is a view showing the operation of the transmission unit in the 3D mode,
5 is a block diagram showing the structure of the transmission unit of FIG.
6A is a block diagram showing the structure of a receiving unit and a display unit;
FIG. 6B is a detailed block diagram illustrating the 2D calculator of FIG. 6A;
6C is a block diagram illustrating in detail the 3D calculator of FIG. 6A.

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

실시예에서는 사람의 눈은 자연적으로 화면의 중심 부분에 집중 하게 되고 상대적으로 외곽으로 갈수록 화면의 인지도가 떨어진다는 점과, 동영상을 시청할때 움직임이 있는 물체나 사람에 집중하게 되고 반면에 움직임이 없는 배경이나 풍경에 대한 변화는 크게 인지하지 못한다는 점을 이용하여 가변형을 적용하여 소비전력을 절감시키고자 한다.In an embodiment, the human eye naturally concentrates on the center portion of the screen, and the perception of the screen decreases as it moves relatively to the outside, and focuses on a moving object or a person when watching a video, whereas there is no movement. Taking advantage of the fact that changes in the background or landscape are not noticeable, we want to reduce the power consumption by applying the variable type.

도 1은 표시장치 내의 송신 유닛의 일실시예를 나타낸 도면이고, 도 5는 도 1의 송신 유닛의 구조를 나타낸 블럭도이다.1 is a diagram illustrating an embodiment of a transmission unit in a display device, and FIG. 5 is a block diagram illustrating a structure of the transmission unit of FIG. 1.

도시된 바와 같이, 송신 유닛(100)은 리모콘(Remote Control)일 수 있으며, 송신 유닛(100)에서 송신된 신호로 하기의 표시부의 컨텐츠나 아이콘의 동작 등을 제어할 수 있다.As shown, the transmission unit 100 may be a remote control, and may control the operation of the contents or icons of the display unit as a signal transmitted from the transmission unit 100.

여기서, 콘텐츠란 인터넷 등 무선/유선 전기 통신망에서 사용하기 위하여 문자?부호?음성?음향?이미지?영상 등을 디지털 방식으로 제작해 처리/유통되는 각종 정보 또는 그 내용물을 통칭한다.Here, content refers to various types of information or its contents which are produced / processed digitally by text, code, voice, sound, image, video, etc. for use in a wireless / wired telecommunication network such as the Internet.

그리고, 아이콘이란 표시장치의 표시부에 조그마한 그림 또는 기호를 만들어 표시한 것으로 쉽고 직관적으로 기능을 표시하며, 그래픽 사용자 인터페이스가 발달함에 따라 언어의 대안으로서 사용되고 있다.In addition, an icon is a small picture or symbol formed on a display unit of a display device and displayed. The icon is used to display a function easily and intuitively, and as a graphic user interface develops, an icon is used as an alternative to a language.

송신 유닛(100)의 전면(110)에는 도시된 바와 같이 4개의 신호 송신부(111, 112, 113, 114)가 구비되어 있는데, 1차원 노말(normal)에서는 하나의 신호 송신부만 사용할 수 있고, 2D(dimension) 모드에서는 두 개의 신호 송신부만 사용할 수 있고, 3D 모드에서는 네 개의 신호 송신부를 사용할 수 있다.As shown in the front 110 of the transmission unit 100 is provided with four signal transmitters 111, 112, 113, 114, only one signal transmitter can be used in one-dimensional normal, 2D Only two signal transmitters can be used in the dimension mode and four signal transmitters can be used in the 3D mode.

여기서, 상기 4개의 신호 송신부(111, 112, 113, 114)는 적외선을 방출하는 발광 다이오드(Light emitting diode)일 수 있는데, 적외선 발광 다이오드는 송신 유닛 내의 다른 장치와 신호 간섭을 일으키지 않을 수 있다.Here, the four signal transmitters 111, 112, 113, and 114 may be light emitting diodes that emit infrared light, and the infrared light emitting diodes may not cause signal interference with other devices in the transmission unit.

도 5에서는 상기 4개의 신호 송신부가 제1 LED 내지 제4 LED(111~114)로 표시되어 있다. 그리고, 모드 선택부(130)는 상기 송신 유닛(100) 전면(110)의 신호 송신부에서 사용할 모드를 결정한다. 즉, 노말 모드를 선택하면 하나의 신호 송신부만 온(on)되어 자외선을 방출할 수 있고, 2D 모드에서는 두 개의 신호 송신부만 켤 수 있고, 3D 모드에서는 네 개의 신호 송신부를 모두 켤 수 있다.In FIG. 5, the four signal transmitters are indicated by the first to fourth LEDs 111 to 114. The mode selector 130 determines a mode to be used by the signal transmitter of the front surface 110 of the transmission unit 100. That is, when the normal mode is selected, only one signal transmitter can be turned on to emit ultraviolet rays, only two signal transmitters can be turned on in 2D mode, and all four signal transmitters can be turned on in 3D mode.

그리고, 통상의 리모콘에서 TV 등을 사용할 때 화면의 온/오프나 볼륨이나 채널을 조절하는 기능은 화면 조정부(150)에 별도로 구비되어 있다.In addition, when using a TV or the like in a conventional remote control, a function of adjusting the on / off or volume or channel of the screen is provided separately in the screen adjusting unit 150.

도 6a는 수신 유닛과 표시부의 구조를 나타낸 블럭도이고, 도 6b는 도 6a의 2D 연산부를 상세히 나타낸 블럭도이고, 도 6c는 도 6a의 3D 연산부를 상세히 나타낸 1블럭도이다.6A is a block diagram illustrating a structure of a receiving unit and a display unit, FIG. 6B is a block diagram illustrating the 2D calculator of FIG. 6A in detail, and FIG. 6C is a block diagram illustrating the 3D calculator of FIG. 6A in detail.

도시된 바와 같이, 실시예에 따른 표시장치(200)는 화상이나 콘텐츠 및 아이콘 등이 표시되는 표시부(210)와, 상기 신호 송신부에서 송신된 자외선 등을 수신하는 LED 인식부(220)와, 상기 LED 인식부(220)의 신호를 수신하여 이로부터 콘텐츠나 아이콘의 위치 등을 제어하는 2D 연산부(250) 및 3D 연산부(260)를 포함하여 이루어진다.As shown in the drawing, the display device 200 according to the embodiment includes a display unit 210 displaying an image, content, an icon, etc., an LED recognition unit 220 receiving an ultraviolet light transmitted from the signal transmitter, and the It includes a 2D calculator 250 and a 3D calculator 260 for receiving a signal from the LED recognition unit 220 to control the location of the content or icon therefrom.

그리고, 상기 2D 연산부(250)는 거리 연산부(252)과 기울기 연산부(254)를 포함하고, 상기 3D 연산부(260)은 선택부(262)와 보정부(264) 및 추정부(266)를 포함하여 이루어진다.The 2D calculator 250 includes a distance calculator 252 and a gradient calculator 254, and the 3D calculator 260 includes a selector 262, a compensator 264, and an estimator 266. It is done by

이하에서는 아래의 도면을 참조하여, 상술한 표시장치의 작용을 설명한다.Hereinafter, the operation of the above-described display device will be described with reference to the drawings below.

도 2는 노말 모드에서 송신 유닛의 작용을 나타낸 도면이다.2 is a view showing the operation of the transmission unit in the normal mode.

노말 모드에서 사용자는 모드 선택부(130)를 통하여 신호 송신부(111~114) 중 하나만 사용하게 지정할 수 있다. 도시된 바와 같이, 송신 유닛(100)이 상(U), 하(D), 좌(L), 우(R)로 이동하면, 신호 송신부(미도시)도 상,하,좌,우로 이동하며 신호를 송신하게 된다.In the normal mode, the user may designate that only one of the signal transmitters 111 to 114 is used through the mode selector 130. As shown, when the transmission unit 100 moves to the upper (U), lower (D), left (L), right (R), the signal transmitter (not shown) also moves up, down, left, right Will send a signal.

도 2에서 표시부(210)는 사각형에 가까운 트랙(track)의 형상으로 도시되어 있으나 다양한 형상의 디스플레이부가 가능하며, LED 인식부(220)의 형상이나 위치도 도시된 표시부(210) 상부에 원형으로 구비되는 외에 다양한 형상이 가능하다.In FIG. 2, the display unit 210 is illustrated in a track shape close to a quadrangle, but various display units are possible, and the shape or position of the LED recognition unit 220 is also circularly formed on the display unit 210. In addition to being provided, various shapes are possible.

그리고, 표시장치(200) 내의 LED 인식부(220)에서도 상기 신호 송신부로부터 수신하는 적외선 신호도 상,하,좌,우로 이동할 수 있다. 즉, 움직이는 신호 송신부로부터 적어도 2개의 프레임에 걸쳐서 신호를 수신하면, 각각의 프레임에서 상기 LED 인식부(220)에서는 상기 신호 송신부의 위치 변화를 인식할 수 있다.In addition, the LED recognition unit 220 in the display device 200 may also move the infrared signal received from the signal transmitter up, down, left, and right. That is, when a signal is received from the moving signal transmitter over at least two frames, the LED recognition unit 220 may recognize the position change of the signal transmitter in each frame.

그리고, 상기 표시부(210)에서는 상기 신호 송신부로부터 인식한 위치를 디스플레이(display)할 수 있다. 그리고, 상기 위치의 디스플레이를 표시부(210)에서의 콘텐츠나 아이콘에 반영하면, 상기 송신 유닛(100)의 움직임으로 표시부(210)의 콘텐츠나 아이콘을 움직일 수 있다.In addition, the display unit 210 may display a position recognized by the signal transmitter. When the display of the position is reflected in the content or the icon on the display unit 210, the content or the icon of the display unit 210 may be moved by the movement of the transmitting unit 100.

이때, 상기 신호 송신부(111~114) 내의 4개의 적외선 LED 중 하나의 신호만이 송신될 수 있음은 상술한 바와 같다. 본 방법에서는 하나의 신호 송신부의 작용만으로 노말 모드에서 표시부(210) 내의 콘텐츠나 아이콘을 평면 상에서 이동시킬 수 있다.In this case, as described above, only one signal of four infrared LEDs in the signal transmitters 111 to 114 may be transmitted. In the present method, the content or the icon in the display unit 210 can be moved on a plane in the normal mode by only one signal transmitter.

도 3a 및 도 3b는 2D 모드에서 송신 유닛의 작용을 나타낸 도면이다.3A and 3B illustrate the operation of the transmission unit in the 2D mode.

2D 모드에서 사용자는 모드 선택부(130)를 통하여 신호 송신부(111~114) 중 2개를 사용하게 지정할 수 있다. 즉, 2개의 신호 송신부(111, 112)가 발광하며, 수신 유닛(220)으로 적외선 등을 송신한다.In the 2D mode, the user may designate to use two of the signal transmitters 111 to 114 through the mode selector 130. In other words, the two signal transmitters 111 and 112 emit light and transmit infrared rays or the like to the reception unit 220.

그리고, 상기 표시장치(200) 내의 LED 인식부(220)에서도 상기 신호 송신부로부터 2개의 적외선 신호를 수신한다. In addition, the LED recognition unit 220 in the display device 200 also receives two infrared signals from the signal transmitter.

도 3a에서 송신 유닛(100)이 화살표 방향으로 이동함에 따라, 송신 유닛(100) 전면의 신호 송신부(111, 112)의 위치도 각각 A, B에서 A', B'으로 변화한다.As the transmitting unit 100 moves in the arrow direction in FIG. 3A, the positions of the signal transmitting units 111 and 112 on the front of the transmitting unit 100 also change from A and B to A 'and B', respectively.

즉, 첫 번째 시각(프레임)에서 신호 송신부(111, 112)가 A, B의 위치에서 적외선 신호를 송신하고, 두 번째 시각에서 신호 송신부(111, 112)는 A' B'의 위치에서 신호를 송신한다.That is, at the first time (frame), the signal transmitters 111 and 112 transmit the infrared signal at positions A and B, and at the second time, the signal transmitters 111 and 112 transmit the signal at the position A 'B'. Send.

여기서, 송신 유닛(100)에서 인식되는 A, B 간의 거리보다 A', B'간의 거리가 더 멀게 되는데, 신호 송신부(111, 112) 간의 거리가 동일하더라도 송신 유닛(100)이 표시장치(200)에 더 접근하게 되기 때문이다. 이때, 표시장치(200)의 표시부(210)에서는 콘텐츠 내지 아이콘의 크기를 더 크게 표시하여 접근을 표시할 수 있으며, 또는 더 작게 표시하여 송신 유닛(100)의 근접에 따른 콘텐츠 또는 아이콘의 크기 왜곡을 방지할 수도 있다.Here, the distance between A 'and B' is greater than the distance between A and B recognized by the transmitting unit 100. Even if the distance between the signal transmitting units 111 and 112 is the same, the transmitting unit 100 may display the display device 200. Because you're getting closer to In this case, the display unit 210 of the display device 200 may display an access by displaying a larger size of the content or an icon, or display a smaller size and distort the size of the content or icon due to the proximity of the transmitting unit 100. It can also prevent.

도 3b에서는 송신 유닛(100)과 표시장치(200)의 다양한 작용을 나타내고 있다. (a)에서는 송신 유닛(100)이 표시장치(200) 방향으로 접근하고 있으며, (b)에서는 송신 유닛(100)이 표시장치(200)로부터 멀어지고 있으며, (c)에서는 송신 유닛(100)이 회전하고 있다.3B illustrates various operations of the transmission unit 100 and the display device 200. In (a), the transmitting unit 100 approaches the display apparatus 200. In (b), the transmitting unit 100 moves away from the display apparatus 200. In (c), the transmitting unit 100 This is spinning.

(a)와 (b)에서의 송신 유닛(100)과 표시장치(200)의 작용은 상술한 바와 같으며, (c)에서는 신호 송신부(111~114) 간의 기울기 차이를 인식하여 표시장치(200) 내의 표시부(210)에서 콘텐츠 내지 아이콘(230)의 형상을 변경할 수 있다.The operations of the transmission unit 100 and the display device 200 in (a) and (b) are as described above, and in (c) the display device 200 recognizes the difference in inclination between the signal transmitters 111 to 114. The display 210 may change the shape of the content or the icon 230.

즉, 2개의 신호 송신부(111, 112)에서 적외선이 방출되어 전송될 때, 2개의 신호 송신부(111, 112)를 연결하면 임의의 직선이 형성되록, 첫 번째 시각과 두 번째 시각에서 송신 유닛(100)이 회전하면 상기 임의의 직선이 이루는 기울기는 변경된다.That is, when infrared rays are emitted and transmitted from the two signal transmitters 111 and 112, when the two signal transmitters 111 and 112 are connected, an arbitrary straight line is formed so that the transmission unit (at the first time and the second time) As the 100 is rotated, the inclination of the arbitrary straight line is changed.

즉, 송신 유닛(100)의 회전에 따라 상기 2개의 신호 송신부(111, 112)를 연결하는 직선의 기울기가 변하며, 상기 직선의 기울기 변화를 인식하여 상기 표시장치(200) 내의 표시부(210)에서 아이콘 내지 콘텐츠(230)을 회전시킬 수 있다.That is, the inclination of the straight line connecting the two signal transmitters 111 and 112 changes according to the rotation of the transmission unit 100, and the display unit 210 in the display device 200 recognizes the change in the inclination of the straight line. The icon to the content 230 may be rotated.

상술한 신호 송신부(111, 112) 간의 거리 또는 기울기의 인식은 2D 연산부(250) 내의 거리 연산부(252)와 기울기 연산부(254)에서 각각 수행할 수 있다.Recognition of the distance or the slope between the signal transmitters 111 and 112 may be performed by the distance calculator 252 and the gradient calculator 254 in the 2D calculator 250, respectively.

도 4는 3D 모드에서 송신 유닛의 작용을 나타낸 도면이다.4 is a view showing the operation of the transmission unit in the 3D mode.

사용자는 3D 모드에서 모드 선택부(130)을 사용하여 4개의 신호 송신부(111~114) 모두를 사용하게 할 수 있다. 이때, 4개의 신호 송신부(111~114)에서 각각 적외선 등을 송신한다.The user may enable all four signal transmitters 111 to 114 using the mode selector 130 in the 3D mode. At this time, the four signal transmitters 111 to 114 respectively transmit infrared rays and the like.

그리고, 상기 표시장치(200) 내의 LED 인식부(220)에서도 상기 신호 송신부로부터 4개의 적외선 신호를 수신한다. In addition, the LED recognition unit 220 in the display device 200 also receives four infrared signals from the signal transmitter.

이때, 상기 LED 인식부(200)에서는 4개의 신호 송신부(111~114)에서 전송하는 신호를 각각 x와 y방향의 좌표로 인식할 수 있으며, 3D 연산부(260)는 상술한 4개의 지점의 x좌표와 y좌표를 바탕으로 표시부(210) 내의 콘텐츠 또는 아이콘(230)의 위치를 이동시킬 수 있다.In this case, the LED recognition unit 200 may recognize the signals transmitted from the four signal transmitters 111 to 114 as coordinates in the x and y directions, respectively, and the 3D calculator 260 may determine the x of the four points. The position of the content or the icon 230 in the display unit 210 may be moved based on the coordinates and the y coordinate.

즉, 4개의 신호 송신부(111~114) 각각의 x좌표와 y좌표로부터 3차원 상의 사각형을 인식할 수 있고, 상기 3차원 상의 사각형의 이동으로부터 송신 유닛의 포즈(pose)를 연산하여 콘텐츠나 아이콘 등 표시부(210) 상의 3차원 객체의 이동을 제어할 수 있다.That is, the three-dimensional quadrangle can be recognized from the x-coordinate and the y-coordinate of each of the four signal transmitters 111 to 114, and the pose of the transmitting unit is calculated from the movement of the three-dimensional quadrangle, so that the content or icon can be recognized. The movement of the 3D object on the back display unit 210 may be controlled.

여기서, 송신 유닛의 포즈는 포즈 에스티메이션(estimation) 알고리즘을 통하여 구할 수 있다. 포즈 에스티메이션은 증강현실에서 사용되는 방법으로, 사각형 코드의 포즈를 분석하여 3차원 객체를 증강시킬 수 있다.Here, the pose of the transmitting unit may be obtained through a pose estimation algorithm. Pose estimation is a method used in augmented reality and augments 3D objects by analyzing a pose of a rectangular code.

그리고, 상술한 포즈 에스티메이션을 통하여, 송신 유닛의 (d)x축 방향의 이동(pitching)과 (e)y축 방향의 이동(rolling)과 (f)z축 방향의 이동(yawing)을 제어할 수 있다.Then, the pose estimation described above controls (d) the x-axis pitching, (e) the y-axis rolling, and (f) the z-axis direction of the transmission unit. can do.

상술한 포즈 에스티메이션의 일실시예를 이하에서 설명한다.An embodiment of the above-described pose estimation will be described below.

먼저, 선택부(262)에서 동일 평면 상의 4점을 선택하는데, LED 인식부(220)에서 4개의 적외선 신호를 인식하여 동일 평면 상의 4점으로 인식한다.First, the selector 262 selects four points on the same plane, and the LED recognition unit 220 recognizes four infrared signals and recognizes the four points on the same plane.

그리고, 보정부(264)는 내부 파라미터(parameter)를 이용하여 투영의 왜곡 등을 보정하여 상술한 4점의 위치를 바로 잡을 수도 있다. 또한, 상기 보정기(264)는 상술한 4개의 적외선 신호 중 일부를 인식하지 못하였을 때, 다른 3개의 적외선 신호를 바탕으로 포즈를 보정할 수도 있다.In addition, the correction unit 264 may correct the position of the above four points by correcting the distortion of the projection using an internal parameter. In addition, when the corrector 264 does not recognize some of the four infrared signals described above, the corrector 264 may correct the pose based on the other three infrared signals.

그리고, 추정부(266)는 동일평면상의 4점의 포즈로부터 표시부(210)의 객체인 아이콘이나 콘텐츠(230)의 움직임을 추정 내지 계산할 수 있다.The estimator 266 may estimate or calculate the movement of the icon or the content 230, which is an object of the display unit 210, from four poses on the same plane.

Figure pat00001
Figure pat00001

수학식 1에서, Xm, Ym, Zm은 각각의 신호 송신부의 좌표(Marker Coordinate)를 나타내고, Xc, Yc, Zc는 LED 인식부의 좌표(Camera Coordinate)를 나타낸다. 그리고, V3×3은 회전 요소(Rotation Component)를 나타내고, W3×3은 이동 요소(Translation component)를 나타낸다.In Equation 1, Xm, Ym, and Zm represent the coordinates of each signal transmitter (Marker Coordinate), and Xc, Yc, and Zc represent the coordinates of the LED recognition unit (Camera Coordinate). And, V 3 × 3 represents a rotation component, and W 3 × 3 represents a translation component.

상기의 수학식 1을 통하여, LED 인식부의 좌표와 회전요소 및 이동 요소를 알고 있다면, 신호 송신부의 Xm, Ym으로부터 Zm을 구할 수 있다. 그리고, 서로 다른 시각에 송신 유닛(100)으로부터 송신된 적외선 신호를 수신하여 구하여진 결과를 바탕으로 표시부(210) 내의 객체의 움직임을 표현할 수 있다.Through Equation 1 above, if the coordinates of the LED recognition unit, the rotating element, and the moving element are known, Zm can be obtained from Xm and Ym of the signal transmitter. Then, the movement of the object in the display unit 210 may be expressed based on the result obtained by receiving the infrared signal transmitted from the transmission unit 100 at different times.

이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood that various modifications and applications are possible. For example, each component specifically shown in the embodiment can be modified. And differences relating to such modifications and applications will have to be construed as being included in the scope of the invention defined in the appended claims.

100 : 송신 유닛 110 : 전면
111~114 : 신호 송신부 130 : 모드 선택부
150 : 화면 조정부 200 : 표시장치
210 : 표시부 220 : LED 인식부
250 : 2D 연산부 252 : 거리 연산부
254 : 기울기 연산부 260 : 3D 연산부
262 : 선택부 264 : 보정부
266 : 추정부100: transmission unit 110: front
111 ~ 114: Signal transmitter 130: Mode selector
150: screen adjustment unit 200: display device
210: display unit 220: LED recognition unit
250: 2D calculator 252: distance calculator
254: slope calculator 260: 3D calculator
262: selection unit 264: correction unit
266: estimator

Claims (15)

적어도 2개의 신호 송신부가 구비된 송신 유닛;
상기 신호 송신부로부터 송신된 신호를 적어도 2프레임 동안 수신하는 수신 유닛;
상기 서로 다른 프레임에서 상기 신호 송신부 간의 위치 변화를 판단하는 연산부; 및
상기 판단 결과에 따라, 상기 적어도 2개의 신호 송신부의 위치를 표시하는 표시부를 포함하는 표시장치.A transmission unit having at least two signal transmission units;
A receiving unit which receives a signal transmitted from the signal transmitting unit for at least two frames;
A calculator which determines a position change between the signal transmitters in the different frames; And
And a display unit for displaying the positions of the at least two signal transmitters according to the determination result. 제 1 항에 있어서,
상기 적어도 신호 송신부는 적외선 발광 다이오드를 방출하는 표시장치.The method of claim 1,
And at least the signal transmitter emits an infrared light emitting diode. 제 1 항에 있어서,
상기 송신 유닛은 리모콘이고, 상기 리모콘은 상기 표시부의 온/오프를 제어하는 화면 조정부가 배치된 표시장치.The method of claim 1,
And the transmitting unit is a remote control, and the remote control is provided with a screen adjusting unit which controls on / off of the display unit. 제 1 항에 있어서,
상기 연산부는 상기 신호 송신부 간의 거리를 판단하는 거리 연산부와 상기 신호 송신부 간의 기울기를 판단하는 기울기 연산부 중 적어도 하나를 포함하는 표시장치.The method of claim 1,
And the calculator includes at least one of a distance calculator configured to determine a distance between the signal transmitter and a tilt calculator configured to determine a slope between the signal transmitter. 제 1 항에 있어서,
상기 송신 유닛에는 적어도 4개의 신호 송신부가 배치되고, 상기 연산부는 상기 4개의 신호 송신부의 좌표로부터 상기 송신 유닛의 위치를 판단하는 표시장치.The method of claim 1,
And at least four signal transmitting units are arranged in the transmitting unit, and the calculating unit determines the position of the transmitting unit from the coordinates of the four signal transmitting units. 제 5 항에 있어서,
상기 연산부는 포즈 에스티메이션(Pose Estimation)으로 상기 송신 유닛의 3차원 상에서의 위치를 판단하는 표시장치.The method of claim 5, wherein
And the calculating unit determines a position on the 3D of the transmitting unit by pose estimation. 제 1 항에 있어서, 상기 송신 유닛은,
상기 4개의 신호 송신부를 선택하여 온(on)시키는 모드 선택부를 더 포함하는 표시장치.The method of claim 1, wherein the transmitting unit,
And a mode selector configured to select and turn on the four signal transmitters. 송신 유닛의 서로 이격된 2개의 신호 송신부에서 각각 신호를 송신하는 단계;
수신 유닛에서 상기 각각의 신호를 수신하는 단계;
상기 수신된 신호로부터 상기 신호 송신부의 위치 변화를 판단하는 단계; 및
상기 판단된 신호 송신부의 위치 변화를 반영하여 객체의 위치를 표시하는 단계를 포함하는 객체의 위치 표시방법.Transmitting a signal at each of two signal transmitters spaced apart from each other in the transmission unit;
Receiving said respective signal at a receiving unit;
Determining a change in position of the signal transmitter from the received signal; And
And displaying the position of the object by reflecting the position change of the signal transmitter. 제 8 항에 있어서,
상기 적어도 2개의 신호 송신부에서는 신호를 적어도 2프레임 동안 송신하는 객체의 위치 표시방법.The method of claim 8,
And at least two signal transmitters transmit a signal for at least two frames. 제 9 항에 있어서,
상기 2 프레임에서의 상기 2개의 신호 송신부 간의 거리 변화와 기울기 변화 중 적어도 하나로부터 상기 송신부의 위치 변화를 판단하는 객체의 위치 표시방법.The method of claim 9,
And determining a position change of the transmitter from at least one of a distance change and a slope change between the two signal transmitters in the two frames. 제 10 항에 있어서,
상기 송신 유닛이 종전 프레임보다 현재 프레임에서 상기 수신 유닛에 근접하면, 상기 객체의 크기를 더 크게 표시하는 객체의 위치 표시방법.11. The method of claim 10,
And if the transmitting unit is closer to the receiving unit in the current frame than the previous frame, displaying the size of the object larger. 제 10 항에 있어서,
상기 송신 유닛이 회전하면, 상기 2개의 신호 송신부 간의 기울기 변화로부터 상기 신호 송신부의 위치를 판단하는 객체의 위치 표시방법.11. The method of claim 10,
And when the transmitting unit rotates, determining the position of the signal transmitting unit from a change in inclination between the two signal transmitting units. 제 8 항에 있어서,
상기 송신 유닛은 적어도 4개의 신호 송신부에서 각각 신호를 송신하고, 상기 각각의 신호 송신부의 2차원 좌표로부터 상기 각각의 신호 송신부의 3차원 상에서의 위치를 판단하는 객체의 위치 표시방법.The method of claim 8,
And the transmitting unit transmits signals in at least four signal transmitters, respectively, and determines a position on the three-dimensional surface of each signal transmitter from two-dimensional coordinates of each signal transmitter. 제 13 항에 있어서,
상기 각각의 신호 송신부의 3차원 상에서의 위치 판단은 포즈 에스티메이션 방법으로 수행되는 객체의 위치 표시방법.The method of claim 13,
3. The position display method of the object of claim 3, wherein the position determination on the 3D of each signal transmitter is performed by a pose estimation method. 제 13 항에 있어서,
상기 적어도 4개의 신호 송신부에서는 신호를 적어도 2프레임 동안 송신하는 객체의 위치 표시방법.The method of claim 13,
And at least four signal transmitters transmit a signal for at least two frames.
KR1020100137618A 2010-12-29 2010-12-29 Display device and method for marking location of object KR101706952B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100137618A KR101706952B1 (en) 2010-12-29 2010-12-29 Display device and method for marking location of object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100137618A KR101706952B1 (en) 2010-12-29 2010-12-29 Display device and method for marking location of object

Publications (2)

Publication Number Publication Date
KR20120075778A true KR20120075778A (en) 2012-07-09
KR101706952B1 KR101706952B1 (en) 2017-02-15

Family

ID=46709610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100137618A KR101706952B1 (en) 2010-12-29 2010-12-29 Display device and method for marking location of object

Country Status (1)

Country Link
KR (1) KR101706952B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108933865A (en) * 2014-05-13 2018-12-04 Lg 电子株式会社 Mobile terminal and its control method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227605A (en) * 2007-03-08 2008-09-25 Hitachi Ltd Led pointing remote controller, video display device using the same and video system
KR20100134398A (en) * 2009-06-15 2010-12-23 곽계영 Optical receiver which enables pointing on a screen of a display apparatus by using a moving direction and orientation angle of optical source

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227605A (en) * 2007-03-08 2008-09-25 Hitachi Ltd Led pointing remote controller, video display device using the same and video system
KR20100134398A (en) * 2009-06-15 2010-12-23 곽계영 Optical receiver which enables pointing on a screen of a display apparatus by using a moving direction and orientation angle of optical source

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108933865A (en) * 2014-05-13 2018-12-04 Lg 电子株式会社 Mobile terminal and its control method
CN108933865B (en) * 2014-05-13 2021-07-23 Lg 电子株式会社 Mobile terminal and control method thereof

Also Published As

Publication number Publication date
KR101706952B1 (en) 2017-02-15

Similar Documents

Publication Publication Date Title
US10733801B2 (en) Markerless image analysis for augmented reality
CN110022470B (en) Method and system for training object detection algorithm using composite image and storage medium
US8957856B2 (en) Systems, methods, and apparatuses for spatial input associated with a display
CN108292489B (en) Information processing apparatus and image generating method
US8217997B2 (en) Interactive display system
US8730164B2 (en) Gesture recognition apparatus and method of gesture recognition
US7940986B2 (en) User interface system based on pointing device
US9824497B2 (en) Information processing apparatus, information processing system, and information processing method
JP6558839B2 (en) Intermediary reality
CN111052063B (en) Electronic device and control method thereof
US20160334884A1 (en) Remote Sensitivity Adjustment in an Interactive Display System
US20190318201A1 (en) Methods and systems for shape based training for an object detection algorithm
WO2013191120A1 (en) Image processing device, method, and program, and storage medium
JP2012256110A (en) Information processing apparatus, information processing method, and program
US8462110B2 (en) User input by pointing
KR20230022239A (en) Augmented reality experience enhancements
JP2016126687A (en) Head-mounted display, operation reception method, and operation reception program
KR101706952B1 (en) Display device and method for marking location of object
JP2023531302A (en) Systems and methods for dynamic shape sketching
KR101779423B1 (en) Method and apparatus for processing image
JP6448478B2 (en) A program that controls the head-mounted display.
TW201333882A (en) Augmented reality apparatus and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant