KR20040111483A - Method and apparatus for displaying graphics on an auxiliary display device using low level graphics drivers - Google Patents

Method and apparatus for displaying graphics on an auxiliary display device using low level graphics drivers Download PDF

Info

Publication number
KR20040111483A
KR20040111483A KR10-2004-7015819A KR20047015819A KR20040111483A KR 20040111483 A KR20040111483 A KR 20040111483A KR 20047015819 A KR20047015819 A KR 20047015819A KR 20040111483 A KR20040111483 A KR 20040111483A
Authority
KR
South Korea
Prior art keywords
display device
graphics
secondary display
stb
driver calls
Prior art date
Application number
KR10-2004-7015819A
Other languages
Korean (ko)
Inventor
팔보베리피.
로젠버거애니엘라엠.
고핀글렌피.2세
Original Assignee
제너럴 인스트루먼트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제너럴 인스트루먼트 코포레이션 filed Critical 제너럴 인스트루먼트 코포레이션
Publication of KR20040111483A publication Critical patent/KR20040111483A/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/10—Adaptations for transmission by electrical cable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only

Abstract

본 발명은 통신 시스템(예를들어, CATV 시스템)(200)에서 그래픽들을 처리 및 디스플레이하는 방법 및 시스템을 제공한다. 시스템(200)은 보조 디스플레이 장치(210) 및 셋톱 박스(STB)(205)를 포함한다. STB(205)는 그래픽 데이터를 무선 통신 매체(245)를 통하여 보조 디스플레이 장치(210)에 전송한다. 그래픽 데이터는 추상적 그래픽 드라이버 호출들을 포함한다. 드라이버 호출들은 보조 디스플레이 장치(210)에 상주하는 그래픽 드라이버들을 사용하여 보조 디스플레이 장치(210)에서 처리된다. 그래픽들은 처리된 드라이버 호출들을 바탕으로 보조 디스플레이 장치(210)의 디스플레이(235)상에서 디스플레이된다. 사용자 입력들은 무선 통신 매체(245)를 통하여 보조 디스플레이 장치(210)로부터 STB(205)로 전송된다. 사용자 입력들은 보조 디스플레이 장치(210)의 디스플레이(235)상 그래픽들에 의해 제공된 선택들에 대한 응답들이다.The present invention provides a method and system for processing and displaying graphics in a communication system (eg, CATV system) 200. The system 200 includes a secondary display device 210 and a set top box (STB) 205. The STB 205 transmits the graphic data to the secondary display device 210 via the wireless communication medium 245. The graphics data includes abstract graphics driver calls. Driver calls are processed at the secondary display device 210 using the graphics drivers residing on the secondary display device 210. Graphics are displayed on the display 235 of the secondary display device 210 based on the processed driver calls. User inputs are sent from the secondary display device 210 to the STB 205 via the wireless communication medium 245. The user inputs are responses to the selections provided by the graphics on the display 235 of the secondary display device 210.

Description

저레벨 그래픽 드라이버들을 사용하여 보조 디스플레이 장치상에 그래픽을 디스플레이하기 위한 방법 및 장치들{Method and apparatus for displaying graphics on an auxiliary display device using low level graphics drivers}Methods and apparatus for displaying graphics on an auxiliary display device using low level graphics drivers

TV 시청자 체험의 새로운 세대가 도래하고 있고, 여기에서 비디오 보완 데이터서비스들은 보조 디스플레이 장치상 제 2 디스플레이 스크린을 사용하여 TV 시청자가 이용할 수 있다. 보조 디스플레이 장치의 한가지 실시예는 웹패드이고, 이것은 비교적 작은 원격 무선 장치이다.A new generation of TV viewer experiences is coming, where video complementary data services are available to TV viewers using a second display screen on the secondary display device. One embodiment of the secondary display device is a webpad, which is a relatively small remote wireless device.

도 1은 종래 2개의 스크린 디지털 케이블 TV 시스템(100)을 도시한다. 시스템(100)은 무선 접속을 사용하여 디지털 셋톱 박스(STB)(110)("논리 장치"라 불림)와 통신하는 보조 디스플레이 장치(105)를 포함한다. 무선 접속은 유니버설 시리얼 버스(USB), 이더넷, 또는 무선 주파수(RF) 링크(125)를 통하여 보조 디스플레이 장치(105)와 통신하는 액세스 포인트(120)가 장착된 IEEE 1394 포트 같은 STB(110)상 외부 포트(115)를 사용한다. 이런 시나리오에서 액세스 포인트(120)는 특정 인터페이스(예를들어, USB)용으로 설계된 장치이고 무선 접속을 지원하기 위하여 사용된다. 보조 디스플레이 장치(105)는 직접적으로 고속 케이블 모뎀, 디지털 가입자(digital subscriber)(DSL) 모뎀 또는 인터넷(135)에 액세스하기 위한 임의의 다른 고속 인터넷 접속 장치에 접속될 수 있다. 비디오 프로그래밍(140)은 STB(110)를 통하여 액세스할 수 있다. TV 시스템(100)에 의해 사용될 수 있는 통상적인 무선 접속 프로토콜들은 HomeRF 및 IEEE 802.11을 포함하지만, 이것으로 제한되지 않는다. 보다 종래의 유선 접속은 다시 USB, 이더넷, 또는 IEEE 1394 포트를 사용하여 STB(110)와 보조 디스플레이 장치(105) 사이의 케이블 또는 와이어를 포함한다. STB(110)는 텔레비전(130)에 또한 접속된다.1 illustrates a conventional two screen digital cable TV system 100. The system 100 includes a secondary display device 105 that communicates with a digital set top box (STB) 110 (called a "logical device") using a wireless connection. The wireless connection may be over a STB 110 such as an IEEE 1394 port equipped with an access point 120 that communicates with the secondary display device 105 via a universal serial bus (USB), Ethernet, or radio frequency (RF) link 125. An external port 115 is used. In this scenario, the access point 120 is a device designed for a particular interface (eg, USB) and used to support a wireless connection. The secondary display device 105 may be connected directly to a high speed cable modem, a digital subscriber (DSL) modem or any other high speed internet access device for accessing the Internet 135. Video programming 140 may be accessed via STB 110. Typical wireless access protocols that can be used by the TV system 100 include, but are not limited to, HomeRF and IEEE 802.11. More conventional wired connections again include a cable or wire between the STB 110 and the secondary display device 105 using a USB, Ethernet, or IEEE 1394 port. The STB 110 is also connected to the television 130.

2개의 스크린 디지털 케이블 TV 시스템(100)은 하나의 스크린 시스템에 비해 다수의 강화된 성능들을 허용한다. 예를들어, 사용자는 텔레비전(130)에 방해되지 않는 비디오를 시청하면서 보조 디스플레이 장치(105)의 스크린상에 인터넷 데이터를 시청할 수 있다. 다른 실시예에서, 텔레비전 스크린상에서 일반적으로 시청되는 STB 애플리케이션들은 보조 디스플레이 장치(105)의 스크린상에서 시청되고, 텔레비전(130)이 비디오 프로그램 시청을 위하여 이용될 수 있게 남겨진다.The two screen digital cable TV system 100 allows for a number of enhanced capabilities compared to one screen system. For example, a user may watch Internet data on the screen of the secondary display device 105 while watching a video that does not interfere with the television 130. In another embodiment, STB applications generally viewed on a television screen are viewed on the screen of the secondary display device 105, leaving the television 130 available for video program viewing.

CATV 시스템에서, 전자 프로그램 가이드(EPG)는 보조 디스플레이 장치(105)와 같은 제 2 스크린 장치에서 실행하는 애플리케이션을 통하여 상호작용될 수 있는 애플리케이션의 특정 실시예이다. EPG는 어떤 프로그램이 텔레비전상에서 시청하기 위하여 이용가능한지, 어떤 시간에 프로그램이 방송될 것인지 및 어떤 채널들에서 이루어지는지 결정하기 위하여 시청자에 의해 사용된다. 보다 정교한 EPG 디스플레이 보충 정보는 프로그램이 어린이에게 적당한지, 어떤 배우들이 프로그램에나오는지, 프로그램들이 얼마나 긴지, 어떤 프로그램이 시작되는지 결정하기 위하여 시청자에 의해 사용된다. 일반적으로 EPG에서, 각각의 윈도우 부분은 디스플레이되는 각각의 프로그램에 할당된다. CATV 프로그램들의 시청자들은 EPG를 네비게이트하기 위하여 GUI를 사용하고 특정 흥미있는 EPG의 프로그램 윈도우를 선택한다.In a CATV system, an electronic program guide (EPG) is a particular embodiment of an application that can be interacted with through an application running on a second screen device, such as secondary display device 105. The EPG is used by the viewer to determine which programs are available for viewing on television, at what time the program will be broadcast, and on which channels. More sophisticated EPG display supplemental information is used by the viewer to determine if the program is suitable for children, which actors are on the program, how long the programs are, and which program is started. Generally in EPG, each window part is assigned to each program displayed. Viewers of CATV programs use the GUI to navigate the EPG and select the program window of a particular interesting EPG.

본 발명은 원격 장치의 처리기상에서 실행하는 애플리케이션들을 뷰잉 및 상호작용하기 위한 상호작용 그래픽들의 전송에 관한 것이다.The present invention relates to the transmission of interactive graphics for viewing and interacting with applications running on a processor of a remote device.

도 1은 종래 2개의 스크린 디지털 케이블 TV 시스템을 도시하는 도면.1 illustrates a conventional two screen digital cable TV system.

도 2는 본 발명에 따라 동작하는 통신 시스템을 도시하는 도면.2 illustrates a communication system operating in accordance with the present invention.

도 3은 본 발명에 따라 사용된 2개의 스크린 API 아키텍쳐의 개략도.3 is a schematic diagram of two screen API architectures used in accordance with the present invention.

도 4는 본 발명에 따라 사용된 원격 제어 API 아키텍쳐의 개략도.4 is a schematic diagram of a remote control API architecture used in accordance with the present invention.

도 5는 본 발명에 따라 구현되는 단계들을 포함하는 고레벨 기능 흐름도.5 is a high level functional flow diagram including steps implemented in accordance with the present invention.

저비용 보조 디스플레이 장치에 추상적 그래픽 드라이버 호출들(abstracted graphics driver calls)을 보내기 위하여 CATV STB 애플리케이션에 대한 분산된 처리를 정의하는 것이 바람직하고, 상기 중에 그래픽들은 렌더링되고, 보조 디스플레이 장치로부터 STB에 원격 제어 피드백을 용이하게 한다. 보다 복잡한 개인용 컴퓨터들에 통합된 처리들과 달리, 추상적 그래픽 드라이버 호출들의 전송은 STB에게 애플리케이션 데이터트래픽을 지원하는 부담을 경감시키고, 보조 디스플레이 장치의 처리 및 메모리 요구들을 최소화한다.It is desirable to define distributed processing for CATV STB applications in order to send abstracted graphics driver calls to low cost secondary display devices, during which graphics are rendered and remote control feedback from the secondary display device to the STB. To facilitate. Unlike the processes integrated into more complex personal computers, the transmission of abstract graphics driver calls relieves the STB of supporting application data traffic and minimizes processing and memory requirements of the secondary display device.

본 발명은 보조 디스플레이 장치 및 셋톱박스(STB)를 포함하는 통신 시스템에서 디스플레이하기 위한 보조 디스플레이 장치에 보내질 그래픽 정보를 인에이블(enable)한다.The present invention enables graphic information to be sent to a secondary display device for display in a communication system including a secondary display device and a set top box (STB).

STB는 보조 디스플레이에 그래픽 데이터를 전송한다. 그래픽 데이터는 추상적 그래픽 드라이버 호출들을 포함한다. 드라이버 호출들은 보조 디스플레이 장치에 남아있는 그래픽 드라이버들을 사용하여 보조 디스플레이 장치에서 처리된다. 그래픽들은 처리된 드라이버 호출들을 바탕으로, 보조 디스플레이 장치의 디스플레이상에서 디스플레이된다.The STB sends graphical data to the secondary display. The graphics data includes abstract graphics driver calls. Driver calls are processed at the secondary display device using the graphics drivers remaining on the secondary display device. The graphics are displayed on the display of the secondary display device based on the processed driver calls.

사용자 입력들은 보조 디스플레이 장치로부터 STB에 전송될 수 있다. 사용자 입력들은 보조 디스플레이 장치의 디스플레이상 그래픽들에 의해 제공된 선택들에 응답한다. 무선 구내 정보 통신망(WLAN 프로토콜 및/또는 적외선 전송은 사용자 입력들을 전송하기 위하여 사용될 수 있다. 추상적 그래픽 드라이버 호출들은 무선 구내 정보 통신망(WLAN) 프로토콜에서 패키지화될 수 있다. 추상적 그래픽 드라이버 호출들은 저레벨 그래픽 드라이버 호출들일 수 있다. 디스플레이된 그래픽들은 전자 프로그램 가이드(EPG)의 텔레비전 프로그램 그리드(grid)를 포함할 수 있다. 통신 시스템은 케이블 텔레비전(CATV) 시스템일 수 있다.User inputs may be sent from the secondary display device to the STB. The user inputs are responsive to the selections provided by the graphics on the display of the secondary display device. Wireless local area network (WLAN protocol and / or infrared transmission may be used to transmit user inputs. Abstract graphics driver calls may be packaged in wireless local area network (WLAN) protocol. The graphics displayed may include a television program grid of an electronic program guide (EPG) The communication system may be a cable television (CATV) system.

STB는 적어도 하나의 애플리케이션 프로그램 인터페이스(API) 층, 적어도 하나의 드라이버 층 및 처리기를 포함하는 적어도 하나의 하드웨어 층을 실행하는 로컬 그래픽 애플리케이션을 포함한다.The STB includes a local graphics application that executes at least one hardware layer including at least one application program interface (API) layer, at least one driver layer, and a processor.

보조 디스플레이 장치는 적어도 하나의 프로그램 인터페이스(API) 층, 적어도 하나의 드라이버 층 및 하나의 처리기를 포함하는 적어도 하나의 하드웨어 층을 실행하는 원격 그래픽 애플리케이션을 포함할 수 있다.The secondary display device may include a remote graphics application executing at least one hardware layer including at least one program interface (API) layer, at least one driver layer, and one processor.

본 발명의 바람직한 실시예들의 다음 상세한 설명은 첨부된 도면들과 관련하여 판독될때 보다 잘 이해된다. 본 발명을 도시하기 위하여, 현재 바람직한 도면 실시예들이 도시된다. 그러나, 본 발명은 정밀한 장치들 및 도시된 방편으로 제한되지 않는다.The following detailed description of the preferred embodiments of the invention is better understood when read in connection with the accompanying drawings. In order to illustrate the invention, presently preferred embodiments of the drawings are shown. However, the present invention is not limited to the precise devices and the illustrated means.

그래픽 정보는 STB로부터 보조 디스플레이 장치로 전송된다. 그래픽 정보는 높은 대역폭 및 빠른 처리를 요구하는 화소 표현을 포함하지 않는다. 그래픽 정보는 높은 레벨 애플리케이션 프로그램 인터페이스(API) 호출들을 포함하지 않는다.The graphic information is transmitted from the STB to the secondary display device. Graphical information does not include pixel representations that require high bandwidth and fast processing. The graphical information does not include high level application program interface (API) calls.

본 발명에 따라, 그래픽 정보는 이미지(예를들어, 사각형을 도시, 적색, X,Y,Z 좌표에서의 큰 크기)를 구성하기 위하여 디스플레이에 명령하는 드라이버들과 같은 추상적 그래픽 호출 드라이버들을 포함한다. 추상적 그래픽 드라이버 호출들은 저레벨 그래픽 드라이버들이고 802.11b 같은 무선 구내 정보 통신망(WLAN) 프로토콜에서 패키지화된다. 고레벨 API와 달리, 저레벨 API는 사용자에게 스크린 및 입력 이벤트들에 대한 완전한 액세스를 제공한다. 비록, 이런 액세스는 프로그램될 스크린상에 도시되는 모든 것을 요구하지만, 보조 디스플레이 장치에 대한 메모리 및 처리 요구들은 크게 감소된다.According to the invention, the graphics information comprises abstract graphics call drivers such as drivers which instruct the display to construct an image (e.g. a large size in red, red, X, Y, Z coordinates, showing a rectangle). . Abstract graphics driver calls are low level graphics drivers and packaged in a wireless local area network (WLAN) protocol such as 802.11b. Unlike the high level API, the low level API gives the user full access to the screen and input events. Although this access requires everything shown on the screen to be programmed, the memory and processing requirements for the secondary display device are greatly reduced.

하나의 스크린 환경에서, STB는 통상적으로 디스플레이 장치에 그래픽들을 렌더링할 수 있는 애플리케이션들을 호스트한다. 애플리케이션들은 통상적으로 추상적 층(abstraction layer)을 통하여 이런 능력이 제공된다. 이런 추상적 층, 일반적으로 애플리케이션 프로그램 인터페이스(API) 층은 저레벨 드라이버들, 궁극적으로 하드웨어 자체와 통신하기 위한 능력을 애플리케이션들에 제공하면서, 디스플레이되는 것에 대한 궁극적인 제어를 STB에 제공하기 위해 수행한다. 단일 스크린 API 아키텍쳐는 API 층, 드라이버 층 및 하드웨어 층을 가진 애플리케이션을 포함한다. 애플리케이션은 통상적으로 한 세트의 API들을 호출함으로써 그래픽 드라이버들 및 하드웨어상에서 제어를 요구한다. 애플리케이션은 우선 STB의 제어 기능을 가진 제어부와 교섭하고 그 다음 드라이버들을 통하여 그래픽 처리기 및 연관된 구성요소들과 통신한다.In one screen environment, the STB typically hosts applications capable of rendering graphics on the display device. Applications typically provide this capability through an abstraction layer. This abstract layer, generally an application program interface (API) layer, performs to provide the STB with ultimate control over what is displayed, while providing applications with the ability to communicate with low-level drivers, ultimately the hardware itself. The single screen API architecture includes an application with an API layer, driver layer, and hardware layer. An application typically requires control on the graphics drivers and hardware by calling a set of APIs. The application first negotiates with the control with the control functions of the STB and then communicates with the graphics processor and associated components through the drivers.

도 2는 STB(205) 및 보조 디스플레이 장치(210)를 포함하는 통신 시스템(예를들어, CATV 시스템)(200)을 도시한다. STB(205)(즉, 로컬 장치)는 제 1 처리기(220)에서 실행하는 로컬 그래픽 애플리케이션(215)을 포함한다. 로컬 그래픽 애플리케이션(215)은 적어도 하나의 API 층, 적어도 하나의 드라이버 층, 및 적어도 하나의 하드웨어 층을 포함한다. 보조 디스플레이 장치(210)(즉, 원격 무선 장치, 제 2 스크린 장치)는 디스플레이(235)와 통신하는 제 2 처리기(230)에서 실행하는 원격 그래픽 애플리케이션(225)을 포함한다. 원격 그래픽 애플리케이션(225)은 적어도 하나의 API 층, 적어도 하나의 드라이버 층, 및 적어도 하나의 하드웨어 층을 포함한다. STB(205)는 텔레비전(240)(즉, 제 1 스크린 장치)와 통신한다.2 illustrates a communication system (eg, CATV system) 200 that includes an STB 205 and an auxiliary display device 210. The STB 205 (ie, local device) includes a local graphics application 215 running on the first processor 220. Local graphics application 215 includes at least one API layer, at least one driver layer, and at least one hardware layer. The secondary display device 210 (ie, remote wireless device, second screen device) includes a remote graphics application 225 running on a second processor 230 in communication with the display 235. The remote graphics application 225 includes at least one API layer, at least one driver layer, and at least one hardware layer. The STB 205 communicates with a television 240 (ie, a first screen device).

본 발명에 따른 2개의 스크린 시나리오에서, 로컬 그래픽 애플리케이션(215)은 원격 그래픽 애플리케이션(225)과 통신한다. STB(205)는 무선 통신 매체(245)를 통하여 보조 디스플레이 장치(210)에 추상적 그래픽 드라이버 호출들을 통신하고, 보조 디스플레이 장치(210)로부터 수신된 원격 제어 명령들을 처리한다. 추상적 그래픽 드라이버 호출들은 저레벨 그래픽 드라이버 호출들일 수 있다.In two screen scenarios in accordance with the present invention, local graphics application 215 is in communication with remote graphics application 225. The STB 205 communicates abstract graphics driver calls to the secondary display device 210 via the wireless communication medium 245 and processes remote control commands received from the secondary display device 210. The abstract graphics driver calls may be low level graphics driver calls.

도 3은 그래픽 호출들의 전송을 지원하는 2개의 스크린 API 아키텍쳐를 도시한다. STB(205)는 무선 통신 매체(245)를 통하여 보조 디스플레이 장치(210)로 추상적 그래픽 드라이버 호출들을 포함하는 그래픽 데이터를 전송한다. 드라이버 호출들은 보조 디스플레이 장치(210)의 원격 그래픽 애플리케이션(225)의 API 층상을 통과한다. 그래픽들은 STB(205)로부터 수신된 드라이버 호출들에 따라 보조 디스플레이 장치(210)의 디스플레이(235)상에서 디스플레이된다. 디스플레이(235)상에서 디스플레이된 그래픽들은 전자 프로그램 가이드(EPG)의 텔레비전 프로그램 그리드를 포함할 수 있다.3 illustrates two screen API architectures that support the transfer of graphical calls. The STB 205 sends graphics data including abstract graphics driver calls to the secondary display device 210 via the wireless communication medium 245. Driver calls pass through the API layer of the remote graphics application 225 of the secondary display device 210. The graphics are displayed on the display 235 of the secondary display device 210 in accordance with driver calls received from the STB 205. Graphics displayed on the display 235 may include a television program grid of an electronic program guide (EPG).

도 4는 원격 제어 명령들의 전송을 지원하는 2개의 스크린 API 아키텍쳐를 도시한다. 보조 디스플레이 장치(210)는 무선 통신 매체(245)를 통하여 STB(205)에 사용자 입력 바탕 원격 제어 명령들을 전송한다. 원격 제어 명령들은 STB(205)의 로컬 그래픽 애플리케이션(215)의 API 층으로 통과된다. 보조 디스플레이 장치(210)의 디스플레이(235)상에 디스플레이될때, 원격 그래픽 애플리케이션들(225)은 제공된 그래픽에 응답하여 사용자 입력들(예를들어, 터치 스크린 또는 키보드)을 받아들일 수 있다. 원격 그래픽 애플리케이션(225)은 무선 통신 매체(245)를 통하여 로컬 그래픽 애플리케이션(215)에 사용자 입력들을 통신하고 사용자 입력들은 STB(205)에 의해 처리된다. 무선 구내 정보 통신망(WLAL) 프로토콜 및/또는 적외선 전송은 사용자 입력들을 STB(205)에 전송하기 위하여 사용된다.4 shows two screen API architectures that support the transmission of remote control commands. The secondary display device 210 transmits user input based remote control commands to the STB 205 via the wireless communication medium 245. Remote control commands are passed to the API layer of the local graphics application 215 of the STB 205. When displayed on the display 235 of the secondary display device 210, the remote graphics applications 225 can accept user inputs (eg, a touch screen or keyboard) in response to the provided graphics. Remote graphics application 225 communicates user inputs to local graphics application 215 via wireless communication medium 245 and the user inputs are processed by STB 205. Wireless Local Area Network (WLAL) protocol and / or infrared transmission is used to send user inputs to STB 205.

추상적 그래픽 드라이버 호출들은 독점적인 또는 개방된 표준 바탕 그래픽 API들을 바탕으로 할 수 있다. 그래픽들 API들은 원격 통신 메시지들에서 캡슐화되어, 보조 디스플레이 장치(210)는 자신의 특정 하드웨어 슈트 및 드라이버들로 명령들을 처리할 수 있다.Abstract graphics driver calls can be based on proprietary or open standard base graphics APIs. The graphics APIs are encapsulated in telecommunication messages, so that the secondary display device 210 can process instructions with its specific hardware suite and drivers.

추상적 그래픽 드라이버 호출들은 전자 또는 대화식 프로그램 가이드, 웹브라우징, 이메일 등 같은 온스크린 및 대화식 디스플레이 애플리케이션들을 구현하기 위하여 적당하다. 몇몇 "개방된 표준(open standard)" 그래픽 API들은 현재 컴퓨팅 산업에서 전반적으로 사용된다. 몇몇 실시예들은 다음을 포함한다.Abstract graphics driver calls are suitable for implementing on-screen and interactive display applications such as electronic or interactive program guides, web browsing, email, and the like. Several "open standard" graphics APIs are currently used throughout the computing industry. Some embodiments include the following.

(1) OpenGL, 예를들어:(1) OpenGL, for example:

glVertex3f(0.0f,1.0f,0.0f); // 삼각형의 상부를 드로잉,glVertex3f (0.0f, 1.0f, 0.0f); // drawing the top of the triangle,

glVertex3f(-1.0f,-1.0f,0.0f); // 삼각형의 좌하부를 드로잉, 및glVertex3f (-1.0f, -1.0f, 0.0f); // draw the lower left corner of the triangle, and

glVertex3f(1.0f,-1.0f,0.0f); // 삼각형의 우하부를 드로잉;glVertex3f (1.0f, -1.0f, 0.0f); // draw the bottom right corner of the triangle;

(2) Java Abstract Windows Toolbox Graphics APIs, 예를들어:(2) Java Abstract Windows Toolbox Graphics APIs, for example:

drawRect(int x, int y, int 폭, int 높이) // 사각형 드로잉;drawRect (int x, int y, int width, int height) // draw a rectangle;

(3) DirectX; 및(3) DirectX; And

(4) GDI.(4) GDI.

이들, 또는 임의의 다른 개방된 또는 독점적인 그래픽 API들은 본 발명을 구현하기 위하여 사용될 수 있다.These or any other open or proprietary graphics APIs can be used to implement the present invention.

보조 디스플레이 장치(210)에서 처리되는 대신, 추상적그래픽 드라이버 호출들은 STB(205)에 의해 적어도 하나의 통신 패키지로 패키지화되어, WLAN 프로토콜을 사용하여 보조 디스플레이 장치(210)로 보내진다. 보조 디스플레이 장치(210)는 차례로 통신 패키지를 수신하고 "언랩(unwrap)" 하고, 자신의 하드웨어 및 드라이버들을 사용하여 추상적 그래픽 드라이버 호출들을 처리한다.Instead of being processed at the secondary display device 210, the abstract graphics driver calls are packaged by the STB 205 into at least one communication package and sent to the secondary display device 210 using the WLAN protocol. The secondary display device 210 in turn receives and "unwraps" the communication package and processes its abstract graphics driver calls using its hardware and drivers.

도 5는 본 발명에 따라 동작하는 방법에 의해 구현되는 단계들을 도시한다. 단계(505)에서, STB(205)는 무선 통신 매체(245)를 통해 보조 디스플레이 장치(210)로 그래픽 데이터를 전송한다. 그래픽 데이터는 추상적 그래픽 호출들을 포함한다. 단계(510)에서, 드라이버 호출들은 원격 그래픽 애플리케이션(225)에 상주하는 그래픽 드라이버들을 사용하여 보조 디스플레이 장치(210)에서 처리된다. 단계(515)에서, 그래픽들은 처리 드라이버 호출들을 바탕으로 보조 디스플레이 장치(210)에서 디스플레이(235)상에 디스플레이된다. 단계(520)에서, 사용자 입력들은 보조 디스플레이 장치(210)로부터 STB(205)로 무선 통신 매체(245)를 통하여 전송된다. 사용자 입력들은 보조 디스플레이 장치(210)의 디스플레이(235)상 그래픽들에 의해 제공된 선택들에 응답한다.5 illustrates the steps implemented by a method operating in accordance with the present invention. In step 505, the STB 205 transmits the graphic data to the secondary display device 210 via the wireless communication medium 245. Graphic data includes abstract graphic calls. At step 510, driver calls are processed at secondary display device 210 using graphics drivers residing in remote graphics application 225. At step 515, graphics are displayed on display 235 at secondary display device 210 based on processing driver calls. In step 520, user inputs are sent from the secondary display device 210 to the STB 205 over the wireless communication medium 245. The user inputs are responsive to the selections provided by the graphics on the display 235 of the secondary display device 210.

본 발명은 임의의 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 컴퓨터 구현 장치로서 구현된다면, 본 발명은 상기 모든 단계들 및 기능들을 수행하기 위한 수단을 사용하여 구현된다.The invention can be implemented in any combination of hardware and software. If implemented as a computer implemented apparatus, the present invention is implemented using means for performing all the above steps and functions.

본 발명은 예를들어 컴퓨터 이용가능 매체를 가진 제조품(예를들어, 하나 이상의 컴퓨터 프로그램 제품들)에 포함될 수 있다. 상기 매체는 예를들어 본 발명의 메카니즘들을 제공 및 촉진하기 위한 컴퓨터 판독가능 프로그램 코드 수단내에 구현된다. 제조품은 컴퓨터 시스템 또는 고형품(sold separately)의 일부로서 포함될 수 있다.The invention may be included, for example, in an article of manufacture having a computer usable medium (eg, one or more computer program products). The medium is embodied, for example, in computer readable program code means for providing and facilitating the mechanisms of the present invention. The article of manufacture may be included as part of a computer system or solid separately.

당업자는 본 발명의 넓은 개념으로부터 벗어나지 않고 변화들이 상기된 실시예들에 대해 이루어질 수 있다는 것을 인식할 것이다. 그러므로, 본 발명은 상기된 특정 실시예들로 제한되는 것이 아니라, 첨부된 청구항들에 의해 규정된 본 발명의 사상 및 범위내의 변형들을 커버하기 위해 의도되는 것이 이해된다.Those skilled in the art will recognize that changes can be made to the above-described embodiments without departing from the broader concept of the invention. Therefore, it is to be understood that the invention is not limited to the specific embodiments described above, but is intended to cover variations within the spirit and scope of the invention as defined by the appended claims.

Claims (17)

보조 디스플레이 장치 및 셋톱 박스(STB)를 포함하는 통신 시스템에서 그래픽들을 처리 및 디스플레이하는 방법에 있어서,A method of processing and displaying graphics in a communication system including a secondary display device and a set top box (STB), (a) 상기 STB가 상기 보조 디스플레이 장치에 그래픽 데이터를 전송하는 단계로서, 상기 그래픽 데이터는 추상적 그래픽 드라이버 호출들(abstracted graphics driver calls)을 포함하는, 상기 그래픽 데이터 전송 단계;(a) the STB sending graphic data to the secondary display device, the graphic data comprising abstracted graphics driver calls; (b) 상기 보조 디스플레이 장치에 상주하는 그래픽 드라이버들을 사용하여 상기 보조 디스플레이 장치에서 상기 드라이버 호출들을 처리하는 단계; 및(b) processing the driver calls in the secondary display device using graphics drivers residing on the secondary display device; And (c) 처리된 드라이버 호출들을 바탕으로 상기 보조 디스플레이 장치의 디스플레이상에 그래픽들을 디스플레이하는 단계를 포함하는, 그래픽들을 처리 및 디스플레이하는 방법.(c) displaying graphics on the display of the secondary display device based on the processed driver calls. 제 1 항에 있어서, (d) 상기 보조 디스플레이 장치로부터 상기 STB에 사용자 입력들을 전송하는 단계로서, 상기 사용자 입력들은 상기 보조 디스플레이 장치의 디스플레이상 그래픽들에 의해 제공된 선택들에 대한 응답들인 상기 사용자 입력들 전송 단계를 더 포함하는, 그래픽들을 처리 및 디스플레이하는 방법.2. The user input of claim 1, further comprising: (d) transmitting user inputs from the secondary display device to the STB, wherein the user inputs are responses to selections provided by graphics on a display of the secondary display device. And transmitting the graphics. 제 2 항에 있어서, 상기 보조 디스플레이 장치는 상기 사용자 입력들을 전송하기 위하여 무선 구내 정보 통신망(WLAN)을 사용하는, 그래픽들을 처리 및 디스플레이하는 방법.3. The method of claim 2, wherein the secondary display device uses a wireless local area network (WLAN) to transmit the user inputs. 제 2 항에 있어서, 상기 보조 디스플레이 장치는 상기 사용자 입력들을 전송하기 위하여 적외선 전송을 사용하는, 그래픽들을 처리 및 디스플레이하는 방법.The method of claim 2, wherein the secondary display device uses infrared transmission to transmit the user inputs. 제 1 항에 있어서, 단계 (a)는 상기 추상적 그래픽 드라이버 호출들을 패키지화하기 위하여 무선 구내 정보 통신망(WLAN) 프로토콜을 사용하는 단계를 더 포함하는, 그래픽들을 처리 및 디스플레이하는 방법.2. The method of claim 1, wherein step (a) further comprises using a wireless local area network (WLAN) protocol to package the abstract graphics driver calls. 제 1 항에 있어서, 상기 추상적 그래픽 드라이버 호출들은 저레벨 그래픽 드라이버 호출들인, 그래픽들을 처리 및 디스플레이하는 방법.2. The method of claim 1, wherein the abstract graphics driver calls are low level graphics driver calls. 제 1 항에 있어서, 단계 (c)는 전자 프로그램 가이드(EPG)의 텔레비전 프로그램 그리드(grid)를 디스플레이하는 단계를 더 포함하는, 그래픽들을 처리 및 디스플레이하는 방법.The method of claim 1, wherein step (c) further comprises displaying a television program grid of an electronic program guide (EPG). 그래픽들을 처리 및 디스플레이하기 위한 통신 시스템에 있어서,A communication system for processing and displaying graphics, the method comprising: (a) 셋톱 박스(STB); 및(a) a set top box (STB); And (b) 디스플레이를 가진 보조 디스플레이 장치를 포함하고,(b) a secondary display device having a display, (i) 상기 STB는 상기 보조 디스플레이 장치에 그래픽 데이터를 전송하며, 상기 그래픽 데이터는 추상적 그래픽 드라이버 호출들을 포함하고;(i) the STB sends graphics data to the secondary display device, the graphics data including abstract graphics driver calls; (ⅱ) 상기 보조 디스플레이 장치는 상기 보조 디스플레이 장치에 상주하는 그래픽 드라이버들을 사용하여 상기 드라이버 호출들을 처리하고; 및(Ii) the secondary display device processes the driver calls using graphics drivers residing on the secondary display device; And (ⅲ) 그래픽들은 처리된 드라이버 호출들을 바탕으로 상기 보조 디스플레이 장치의 상기 디스플레이상에 디스플레이되는, 통신 시스템.(Iii) graphics are displayed on the display of the secondary display device based on processed driver calls. 제 8 항에 있어서, 상기 보조 디스플레이 장치는 상기 STB에 사용자 입력들을 전송하고, 상기 사용자 입력들은 상기 보조 디스플레이 장치의 상기 디스플레이상 상기 그래픽들에 의해 대한 응답들인, 통신 시스템.9. The communication system of claim 8, wherein the secondary display device sends user inputs to the STB, and the user inputs are responses to the graphics on the display of the secondary display device. 제 9 항에 있어서, 상기 보조 디스플레이 장치는 상기 사용자 입력들을 전송하기 위하여 무선 구내 정보 통신망(WLAN) 프로토콜을 사용하는, 통신 시스템.10. The communication system of claim 9, wherein the secondary display device uses a wireless local area network (WLAN) protocol to transmit the user inputs. 제 9 항에 있어서, 상기 보조 디스플레이 장치는 상기 사용자 입력들을 전송하기 위하여 적외선 전송을 사용하는, 통신 시스템.10. The communication system of claim 9, wherein the secondary display device uses infrared transmission to transmit the user inputs. 제 8 항에 있어서, 상기 추상적 그래픽 드라이버 호출들은 무선 구내 정보 통신망(WLAN) 프로토콜을 사용하여 패키지화되는, 통신 시스템.10. The communication system of claim 8, wherein the abstract graphics driver calls are packaged using a wireless local area network (WLAN) protocol. 제 8 항에 있어서, 상기 추상적 그래픽 드라이버 호출들은 저레벨 그래픽 드라이버 호출들인, 통신 시스템.10. The communications system of claim 8 wherein the abstract graphics driver calls are low level graphics driver calls. 제 8 항에 있어서, 상기 디스플레이된 그래픽들은 전자 프로그램 가이드(EPG)의 텔레비전 프로그램 그리드를 포함하는, 통신 시스템.The communication system of claim 8, wherein the displayed graphics comprise a television program grid of an electronic program guide (EPG). 제 8 항에 있어서, 상기 통신 시스템은 케이블 텔레비전(CATV) 시스템인, 통신 시스템.The communication system of claim 8, wherein the communication system is a cable television (CATV) system. 제 8 항에 있어서, 상기 STB는,The method of claim 8, wherein the STB, (ⅰ) 적어도 하나의 애플리케이션 프로그램 인터페이스(API) 층;(Iii) at least one application program interface (API) layer; (ⅱ) 적어도 하나의 드라이버 층; 및(Ii) at least one driver layer; And (ⅲ) 하나의 처리기를 포함하는 적어도 하나의 하드웨어 층의 상부에서 실행하는 로컬 그래픽 애플리케이션을 포함하는, 통신 시스템.(Iii) a local graphics application running on top of at least one hardware layer comprising one processor. 제 8 항에 있어서, 상기 보조 디스플레이 장치는,The display device of claim 8, wherein the auxiliary display device comprises: (ⅰ) 적어도 하나의 애플리케이션 프로그램 인터페이스(API) 층;(Iii) at least one application program interface (API) layer; (ⅱ) 적어도 하나의 드라이버 층; 및(Ii) at least one driver layer; And (ⅲ) 하나의 처리기를 포함하는 적어도 하나의 하드웨어 층의 상부에서 실행하는 원격 그래픽 애플리케이션을 포함하는, 통신 시스템.(Iii) a remote graphics application running on top of at least one hardware layer comprising one processor.
KR10-2004-7015819A 2002-04-04 2003-03-14 Method and apparatus for displaying graphics on an auxiliary display device using low level graphics drivers KR20040111483A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11563302A 2002-04-04 2002-04-04
US10/115,633 2002-04-04
PCT/US2003/008124 WO2003085960A1 (en) 2002-04-04 2003-03-14 Method and apparatus for displaying graphics on an auxiliary display device using low level graphics drivers

Publications (1)

Publication Number Publication Date
KR20040111483A true KR20040111483A (en) 2004-12-31

Family

ID=28789827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7015819A KR20040111483A (en) 2002-04-04 2003-03-14 Method and apparatus for displaying graphics on an auxiliary display device using low level graphics drivers

Country Status (8)

Country Link
EP (1) EP1491036A1 (en)
JP (1) JP2005522151A (en)
KR (1) KR20040111483A (en)
CN (1) CN1647500A (en)
AU (1) AU2003218214A1 (en)
CA (1) CA2481000A1 (en)
MX (1) MXPA04009699A (en)
WO (1) WO2003085960A1 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040235520A1 (en) 2003-05-20 2004-11-25 Cadiz Jonathan Jay Enhanced telephony computer user interface allowing user interaction and control of a telephone using a personal computer
US7634780B2 (en) * 2004-11-23 2009-12-15 Microsoft Corporation Method and system for exchanging data between computer systems and auxiliary displays
US7549154B2 (en) * 2004-11-23 2009-06-16 Microsoft Corporation Extensible architecture for auxiliary displays
US8659505B2 (en) * 2005-08-31 2014-02-25 Mircosoft Corporation Auxiliary display device driver interface
WO2009038596A1 (en) * 2007-09-18 2009-03-26 Thomson Licensing User interface for set top box
US20090217170A1 (en) * 2008-02-27 2009-08-27 Audividi Inc. System and method for sharing display information
US9258402B2 (en) * 2009-04-14 2016-02-09 Qualcomm Incorporated System and method for controlling mobile devices
US20140184470A1 (en) * 2011-01-05 2014-07-03 Thomson Licensing Multi-screen interactions
GB2491634A (en) * 2011-06-10 2012-12-12 Ant Software Ltd Displaying Interactive Content from a Received Video Stream on a Second Screen

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6209132B1 (en) * 1995-06-15 2001-03-27 Intel Corporation Host apparatus for simulating two way connectivity for one way data streams
US6141002A (en) * 1996-11-12 2000-10-31 Opentv, Inc. System and method for downloading and rendering glyphs in a set top box
US6577849B1 (en) * 1999-02-03 2003-06-10 Motorola, Inc. Method and apparatus for providing additional information about a broadcast
GB9906378D0 (en) * 1999-03-18 1999-05-12 Pace Micro Tech Plc Infra red modem
KR100711750B1 (en) * 1999-11-12 2007-05-02 제니스 일렉트로닉스 코포레이션 Apparatus And Method For Retrieving And Utilizing Software And Data Received Through A Digital Receiver
AU2001230972A1 (en) * 2000-02-04 2001-08-14 Intel Corporation Displaying enhanced content information on a remote control unit

Also Published As

Publication number Publication date
JP2005522151A (en) 2005-07-21
CA2481000A1 (en) 2003-10-16
WO2003085960A1 (en) 2003-10-16
CN1647500A (en) 2005-07-27
EP1491036A1 (en) 2004-12-29
MXPA04009699A (en) 2004-12-13
AU2003218214A1 (en) 2003-10-20

Similar Documents

Publication Publication Date Title
US6020863A (en) Multi-media processing system with wireless communication to a remote display and method using same
US5945991A (en) Method and apparatus for centering an image on a display monitor
US6771278B2 (en) Image processing system, image display method, recording medium and image display apparatus
US6762798B1 (en) Methods and apparatus for providing video control for television applications
US7574691B2 (en) Methods and apparatus for rendering user interfaces and display information on remote client devices
TWI411297B (en) On screen displays associated with remote video source devices
US7990414B2 (en) O/S application based multiple device access windowing display
US20050251821A1 (en) Receiver with concurrent multi-user electronic program guide
KR20030094343A (en) Contextual web page system and method
WO2002007432A2 (en) Video adapter for controlling at least one television monitor
CN114302194A (en) Display device and playing method during switching of multiple devices
US20020184632A1 (en) Computer peripheral device for web-enhanced media services
KR20040111483A (en) Method and apparatus for displaying graphics on an auxiliary display device using low level graphics drivers
US11662971B2 (en) Display apparatus and cast method
CN111899175A (en) Image conversion method and display device
US8400568B2 (en) Multiple device access windowing display
JP2002033974A (en) Method and system for using single osd pixmap in multiple video raster sizes by using multiple headers
US7661122B2 (en) Method and device for initializing cable card and channel list using reset menu on OSD screen
CN112040309B (en) Channel switching method and display device
WO2001004868A1 (en) Methods and apparatus for creating a video window with parameters defining position and scaling factor
CN112269668A (en) Application resource sharing and display equipment
JP5725604B2 (en) Display device, electronic device, and device control system
CN111064982A (en) Display control method, storage medium and display device
US20040194145A1 (en) Leveraging PC processing power to handle CPU intensive tasks
JP2002513253A (en) Receiver / decoder and video data processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application