KR101323460B1 - 영상 객체와 실시간 대응하는 객체정보 표시 시스템 및 방법 - Google Patents

영상 객체와 실시간 대응하는 객체정보 표시 시스템 및 방법 Download PDF

Info

Publication number
KR101323460B1
KR101323460B1 KR1020110005052A KR20110005052A KR101323460B1 KR 101323460 B1 KR101323460 B1 KR 101323460B1 KR 1020110005052 A KR1020110005052 A KR 1020110005052A KR 20110005052 A KR20110005052 A KR 20110005052A KR 101323460 B1 KR101323460 B1 KR 101323460B1
Authority
KR
South Korea
Prior art keywords
unit
mobile terminal
additional data
information
object information
Prior art date
Application number
KR1020110005052A
Other languages
English (en)
Other versions
KR20120083742A (ko
Inventor
김연석
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020110005052A priority Critical patent/KR101323460B1/ko
Priority to US13/228,986 priority patent/US8887196B2/en
Publication of KR20120083742A publication Critical patent/KR20120083742A/ko
Application granted granted Critical
Publication of KR101323460B1 publication Critical patent/KR101323460B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 영상 프레임과 상기 영상 프레임에 대한 부가 데이터를 송신하는 TV; 및 상기 TV의 화면 중 디스플레이부에 표시된 부분에 포함되는 객체의 위치에, 상기 TV로부터 수신한 상기 부가 데이터에 포함된 상기 객체 정보를 실시간으로 표시하는 모바일 단말기를 포함하는 것을 특징으로 하는 영상 객체와 실시간 대응하는 객체정보 표시 시스템 및 방법에 관한 것이다. 이에 의해, TV 상의 객체에 대한 정보를 모바일 단말기의 디스플레이 화면을 통해 증강현실처럼 실시간으로 볼 수 있으며, 동일한 TV를 보는 여러 사람이 각각 자신이 필요한 TV 상의 정보만을 개인화시켜 모바일 단말기를 통해 활용할 수 있다.

Description

영상 객체와 실시간 대응하는 객체정보 표시 시스템 및 방법{SYSTEM AND METHOD FOR INDICATING OBJECT INFORMATIONS REAL TIME CORRESPONDING IMAGE OBJECT}
본 발명은 객체 정보 표시 시스템 및 방법에 관한 것으로서, 더욱 상세하게는, TV 상의 객체에 대한 정보를 모바일 단말기의 디스플레이 화면을 통해 증강현실처럼 실시간으로 볼 수 있으며, 동일한 TV를 보는 여러 사람이 각각 자신이 필요한 TV 상의 정보만을 개인화시켜 모바일 단말기를 통해 활용할 수 있는 영상 객체와 실시간 대응하는 객체정보 표시 시스템 및 방법에 관한 것이다.
일반적인 디지털 TV 및 IPTV 환경하에서는 영상 및 음성 데이터뿐만 아니라 2차 데이터가 부 전송 채널을 통하여 전송되어지는데, 현재까지 이러한 부가 데이터는 상영되는 영상데이터의 단순 보조데이터로 사용자가 보조데이터 사용을 원할 경우 관련된 웹 페이지로의 링크, 또는 영상 사업자가 제공하는 광고 및 서비스 데이터로 사용된다. 이러한 보조 데이터를 사용하는 종래의 실시형태를 이하 설명한다.
도 1은 종래 기술에 따른 휴대폰을 이용한 아이피 텔레비전 서비스 제공 방법을 나타내는 흐름도이다. 이 기술은 IPTV 지원 TV, 셋톱박스가 있는 곳이면 어디서든지 휴대폰으로 개인시청 권한의 TV 콘텐츠를 이용할 수 있고, PIN 코드의 입력 없이 휴대폰과 셋톱박스로 개인별 서비스를 받을 수 있는 휴대폰을 이용한 IPTV 서비스 제공방법을 제공함에 목적이 있다. 도 1을 참조하면, 이동통신 사용자의 사용자 정보를 적외선 통신 또는 개인 영역 네트워크(PAN)를 통해 IPTV 셋톱박스 (STB)로 전달하는 단계 (S110), IPTV STB에 의해 수신된 상기 사용자 정보를 DMC OSS에 전송하는 단계 (S120), DMC OSS에 의해 수신된 상기 사용자 정보를 이동통신사의 OSS에 전송하고, 이동통신사의 OSS로부터 상기 사용자 정보에 대응하는 해당 가입자의 상세 정보를 획득하는 단계 (S130), 획득된 해당 가입자의 상세 정보와 상기 DMC OSS에 의해 관리되는 가입자 정보를 조합하여, 개인별 맞춤형 서비스 및 타겟 마케팅 정보를 생성하는 단계 (S140), 및 생성된 개인별 맞춤형 서비스 및 타겟 마케팅 정보를 상기 IPTV STB로 전송하여 서비스를 제공하는 단계 (S150)를 포함한다. 이에 의하여, 우수한 이동통신 가입자 정보를 활용하여 정교한 맞춤형 서비스를 제공할 수 있고, 타겟 마케팅이 가능하다.
그러나 전송되는 부가데이터가 한 개의 TV 화면에서 동시에 처리됨으로 인해 TV 영상의 일부 혹은 전체가 부가데이터에 가려질 수 있고, 또한 사용자가 원하는 부가데이터만을 탐색하기가 불편한 한계가 있다.
도 2는 종래 기술에 따른 동영상 화면을 구성하는 각각의 프레임에 인터넷 페이지를 연결시키는 시스템 (이하 '미디어 커머스 시스템 (200)'으로 지칭)을 나타내는 블록도이다. 도 2를 참조하면, 사용자가 자신의 정보통신단말기 (휴대폰, PDA 휴대폰, DMB 휴대폰, WIBRO 단말기, 컴퓨터 등) (1, 2, 3, ... N)로 동영상 파일을 보다가 동영상 파일이 재생되는 중에 특정 키의 입력이 사용자에 의해 발생되면 해당 키가 눌려진 시간에 재생되었던 동영상의 프레임(Frame)과 동영상의 제목을 미디어 커머스 시스템 (200)으로 전송하며, 미디어 커머스 시스템 (200)에서는 해당 동영상 프레임과 제목에 대응되어 저장되어 있는 인터넷주소를 확인하여 연결을 시도하여 정보를 판독하고, 해당 정보를 사용자정보 통신단말기 (1, 2, 3, ... N)로 전송함으로써 동영상을 시청하면서 해당 동영상화면의 인터넷페이지로 연결 할 수 있는 시스템 및 그 방법에 관한 것이다. 이러한 방법을 이용하면 TV 드라마에 등장하는 소품에 대한 정보를 정보통신단말기를 통해서 확인할 수 있으며, 사용자가 원한다면 구매를 할 수 있는 기능을 구현할 수 있다.
그러나 이는 영상 프레임이 사용자의 정보통신 단말기 자체에 의해 재생되어야 하므로, 그만큼 프로세서가 부담이 되며, 처리 속도가 지연될 가능성이 있다. 또한, 미디어 커머스 시스템에 요청 및 수신 후에야 원하는 정보를 볼 수 있기 때문에, 실시간으로 정보를 보기 원하는 사용자에게 적합하지 않은 단점이 있다.
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 본 발명의 목적은, TV 를 시청하는 다수의 사용자가 각자 자신의 모바일 단말기의 디스플레이부를 통해 TV 화면 중 원하는 부분만을 비추어 그에 해당하는 객체의 정보를 볼 수 있도록 하는 것이다. 또한, 본 발명의 또 다른 목적은 모바일 단말기의 프로세서는 영상 프레임을 재생하지 않으며, 부가 데이터만을 수신 및 처리함으로써, 객체 정보의 표시가 실시간으로 표시되도록 하는 것이다.
전술한 문제를 해결하기 위한 본 발명에 따른 영상 객체와 실시간 대응하는 객체정보 표시 시스템은, 영상 프레임과 상기 영상 프레임에 대한 부가 데이터를 송신하는 TV; 및 상기 TV의 화면 중 디스플레이부에 표시된 부분에 포함되는 객체의 위치에, 상기 TV로부터 수신한 상기 부가 데이터에 포함된 상기 객체 정보를 실시간으로 표시하는 모바일 단말기를 포함하는 것을 특징으로 한다.
여기서, 상기 모바일 단말기는, 상기 TV로부터 상기 부가 데이터를 실시간으로 수신하는 수신부; 상기 모바일 단말기의 초기 위치 및 상기 수신된 부가 데이터를 저장하는 저장부; 상기 모바일 단말기의 위치를 추적하는 위치 추적부; 및 상기 수신부, 저장부, 및 위치 추적부에 연결되며, 상기 저장된 부가 데이터로부터, 상기 디스플레이부에 표시된 객체에 대응하는 객체 정보를 탐색하여, 상기 표시된 객체의 위치에 표시하는 제어부를 포함할 수 있다.
또한, 상기 저장부는, 상기 모바일 단말기의 초기 위치를 저장하는 초기 위치 저장부; 및 상기 수신된 부가 데이터에 포함된 객체 정보 및 위치 정보를 저장하는 부가 데이터 저장부를 포함할 수 있다.
그리고 상기 제어부는, 상기 수신부 및 상기 부가 데이터 저장부에 연결되며, 상기 수신된 부가 데이터를 파싱하고, 객체 정보 및 위치 정보를 획득하여 상기 부가 데이터 저장부에 전송하는 파싱부; 상기 위치 추적부 및 상기 초기 위치 저장부에 연결되며, 상기 위치 추적부에 의해 추적된 모바일 단말기의 현재 위치와, 상기 저장된 모바일 단말기의 초기 위치를 비교하여, 현재 디스플레이부에 표시되는 TV 화면 범위를 결정하는 TV 화면 범위 결정부; 상기 부가 데이터 저장부, 상기 TV 화면 범위 결정부, 및 상기 디스플레이부에 연결되며, 상기 저장된 위치 정보에 기반하여, 상기 결정된 TV 화면 범위에 포함되는 객체 정보를 탐색하고, 상기 표시된 객체의 위치에 표시하는 탐색부를 포함할 수 있다.
이 경우, 상기 모바일 단말기는, 상기 제어부와 상기 디스플레이부 사이에 삽입되며, 상기 탐색된 객체 정보 중 상기 디스플레이부에 표시될 객체 정보 중 일부를 차단하거나 경고 메시지를 함께 표시하는 객체 정보 제한부를 더 포함할 수 있다.
한편, 본 발명에 따른 영상 객체와 실시간 대응하는 객체정보 표시 방법은, 모바일 단말기 내에서, (a) 상기 모바일 단말기의 초기 위치, 및 상기 TV로부터 수신된 부가 데이터를 저장부에 저장하는 단계; (b) 제어부에서, 상기 저장된 부가 데이터로부터 현재 디스플레이부에 표시되는 TV화면에 포함된 객체에 대한 객체 정보를 탐색하는 단계; 및 (c) 상기 제어부가, 상기 탐색된 객체 정보를 상기 디스플레이부에 표시된 객체의 위치에 표시하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 (a) 단계는, (a1) 디스플레이부와 TV 화면을 일치시키고, 상기 일치시의 상기 모바일 단말기의 위치인 초기 위치를 저장부에 저장하는 단계; (a2) 수신기에서 상기 TV로부터 부가 데이터를 수신하는 단계; 및 (a3) 제어부 내의 파싱부에서 상기 수신된 부가 데이터를 파싱하여, 객체 정보 및 위치 정보를 획득하고 저장부에 저장하는 단계를 포함할 수 있다.
그리고 상기 (b) 단계는, (b1) 위치 추적부에서 모바일 단말기의 현재 위치를 추적하는 단계; (b2) 상기 제어부 내의 TV 화면 범위 결정부에서, 상기 추적된 모바일 단말기의 현재 위치와, 상기 저장된 모바일 단말기의 초기 위치를 비교하여, 현재 디스플레이부에 표시되는 TV 화면 범위를 결정하는 단계; (b3) 상기 제어부 내의 탐색부에서, 상기 저장된 위치 정보에 기반하여, 상기 결정된 TV 화면 범위에 포함되는 객체 정보를 탐색하는 단계를 포함할 수 있다.
또한, 상기 영상 객체와 실시간 대응하는 객체 정보 표시 방법은, 상기 (b) 단계와 (c) 단계 사이에, 객체 정보 제한부에서, 상기 탐색된 객체 정보 중 상기 디스플레이부에 표시될 객체 정보 중 일부를 차단하거나 경고 메시지를 함께 표시하는 단계를 더 포함할 수 있다.
본 발명에 의해, TV 상의 객체에 대한 정보를 모바일 단말기의 디스플레이 화면을 통해 증강현실처럼 실시간으로 볼 수 있으며, 동일한 TV를 보는 여러 사람이 각각 자신이 필요한 TV 상의 정보만을 개인화시켜 모바일 단말기를 통해 활용할 수 있다.
도 1은 종래 기술에 따른 휴대폰을 이용한 아이피 텔레비전 서비스 제공 방법을 나타내는 흐름도.
도 2는 종래 기술에 따른 동영상 화면을 구성하는 각각의 프레임에 인터넷 페이지를 연결시키는 시스템을 나타내는 블록도.
도 3은 본 발명의 바람직한 일 실시형태에 따른 영상 객체와 실시간 대응하는 객체정보 표시 시스템의 블록도.
도 4는 본 발명의 바람직한 일 실시형태에 따른 영상 객체와 실시간 대응하는 객체정보 표시 시스템의 더욱 상세한 블록도.
도 5는 본 발명의 바람직한 일 실시형태에 따른 영상 객체와 실시간 대응하는 객체 정보 표시 방법을 나타내는 흐름도.
도 5는 본 발명의 바람직한 일 실시형태에 따른 모바일 단말기와 TV와의 동기화를 나타내는 예시도.
도 6 및 도 7은 본 발명의 바람직한 일 실시형태에 따른 영상 객체와 실시간 대응하는 객체정보 표시하는 모바일 단말기의 예시도.
이하에서는 첨부한 도면을 참조하여 바람직한 일 실시형태에 따른 영상 객체와 실시간 대응하는 객체정보 표시 시스템 및 방법에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
도 3은 본 발명의 바람직한 일 실시형태에 따른 영상 객체와 실시간 대응하는 객체정보 표시 시스템의 블록도이다. 도 3을 참조하면, 본 발명의 바람직한 일 실시형태에 따른 영상 객체와 실시간 대응하는 객체정보 표시 시스템은 TV 송신부 (200)와 이로부터 부가 데이터를 수신하여 처리하는 모바일 단말기 (100)를 포함한다. 또한, 모바일 단말기는 수신부 (110), 저장부 (120), 위치 추적부 (130), 제어부 (140), 및 디스플레이부 (160)를 포함한다. 더욱 상세하게는, 영상 수신국 (IPTV)에서는, 영상 수신 시 디먹스 (DEMUX) 처리부에서는 특정 영상에 동기화된 특정 객체에 대한 메이커 (Marker), QR 데이터, 및 프로필 등(이하 '객체 정보'라 지칭함)이 포함된 부가 데이터를 추출한다. 또한, 디먹스 처리부에서는 영상에 포함된 특정 객체에 대한 객체 정보와 함께 해당 객체가 위치하는 위치 정보를 특정시간 간격으로 산출하여 저장한다. 여기서, 위치 정보는 해당 객체의 위치를 나타내기 때문에, 해당 객체에 대한 객체 정보의 위치를 나타내는 역할도 수행한다. 그 후, TV 송신부 (200)를 통해 모바일 단말기 (100)로 무선 프로토콜을 통해 송신한다. 모바일 단말기 (100)의 수신부 (110)는, TV 송신부 (200)로부터 최초 프레임에 대한 부가 데이터(QR 코드, 메이커, 및 프로필과 같은 객체 정보 및 객체의 위치)를 전송받는다. 여기에서 수신되는 부가 데이터는 현재 TV 화면에 포함된 모든 객체에 대한 객체 정보를 포함한다. 또한, 무선 프토토콜은 블루투스 (Bluetooth) 또는 와이파이 다이렉트 (WiFi-direct)일 수 있다.
한편, 디스플레이부 (160)에 표시되는 TV 화면은 모바일 단말기 (100)의 카메라 애플리케이션 상에서 메뉴를 통해 활성화하거나 혹은 카메라 프리뷰 구동할 수 있는 별도의 애플리케이션을 실행함으로써 나타난다. 이에 대해, 최초 디스플레부 (160)의 화면을 통해 TV 화면을 보는 경우, 도 6에 도시된 바와 같이, 디스플레이부 (160)의 화면에 TV (10)의 화면이 전부 포함되도록 최초 동기화를 수행한다. 동기화는 디스플레이부 (160) 화면 안에 직사각형의 가상의 TV 모양과 실제 TV (10)를 일치시키는 형태로 구현할 수 있다. 동기화는 이후 카메라 프리뷰 화면이 TV (10) 화면의 어느 부분을 가리키고 있는지를 판단하기 위해 필요하다.
또한, 저장부 (120)는 수신부 (110)에서 수신한 부가 데이터 및 동기화 시의 모바일 단말기 (100)의 초기 위치를 저장한다. 또한, 위치 추적부 (130)는 자이로스코프, 가속도 센서 등 모바일 단말기 (100)의 움직임을 감지할 수 있는 수단을 이용하여 모바일 단말기 (100)의 위치 이동시에 변화된 위치를 추적한다. 이런 위치 추적에는 자이로스코프 센싱 기술을 사용할 수 있다. 자이로스코프 센서와 가속도 센서를 동시에 사용하게 되면 기존의 가속도 센서가 3축 방향으로 모션 센싱이 가능하던 것에 반해 모든 방향에 대해 좀 더 섬세한 모션 센싱이 가능하게 되어 입체적인 동작을 세밀하게 추적할 수 있다. 따라서 동기화 이후에 이동한 모바일 단말기 (100)의 위치 변화를 실시간으로 감지가 가능하며 모바일 단말기 (100)와 TV (10)와의 거리, 모바일 단말기 (100)의 동기화 이후에 변화한 높이, 모바일 단말기 (100)의 동기화 이후에 좌우 변화뿐만 아니라, 모바일 단말기 (100)가 회전한 각도, 기울기 변화를 감지할 수 있다.
또한, 제어부 (140)는 수신부 (110), 저장부 (120), 및 위치 추적부 (130)에 연결되며, 저장부 (110)에 저장된 부가 데이터로부터, TV (10)의 화면 중 디스플레이부 (160)에 표시된 범위에 포함되는 객체 정보를 탐색한 다음, 디스플레이부 (160)에 표시된 객체의 위치에 탐색된 객체 정보를 표시한다.
도 4는 본 발명의 바람직한 일 실시형태에 따른 영상 객체와 실시간 대응하는 객체정보 표시 시스템의 더욱 상세한 블록도이다. 도 4를 참조하면, 저장부 (120)는, 동기화 시의 모바일 단말기 (100)의 초기 위치를 저장하는 초기 위치 저장부 (121) 및 TV 송신부 (200)로부터 수신한 부가 데이터를 저장하는 부가 데이터 저장부 (122)로 구성된다. 여기서, 부가 데이터 저장부 (122)에 저장되는 부가 데이터는 제어부 (140)의 파싱부 (141)에 의해 파싱되어 추출된 객체 정보 및 위치 정보를 포함한다. 또한, 수신부 (110)에서는 실시간으로 부가 데이터를 수신하고 있기 때문에, 부가 데이터 저장부 (122)에 저장되는 객체 정보 및 위치 정보 또한 실시간으로 업데이트된다. 따라서, 디스플레이부 (160)에 표시되는 TV (10)의 화면상에 새로운 객체가 출현하는 경우, 부가 데이터 저장부 (122)에도 실시간으로 새로운 객체에 대한 객체 정보와 위치 정보가 업데이트 되기 때문에, 해당 객체 정보를 탐색하기만 하면 언제든지 디스플레이부 (160)에 표시할 수가 있다.
또한, 제어부 (140)에 포함된 TV 화면범위 결정부 (143)는 위치 추적부 (130) 및 초기 위치 저장부 (121)에 연결되며, 위치 추적부 (130)에 의해 추적된 모바일 단말기 (100)의 현재 위치와, 초기 위치 저장부 (121)에 저장된 모바일 단말기 (100)의 초기 위치를 비교하여, 현재 디스플레이부 (160)에 표시되는 TV 화면 범위를 결정한다. 구체적으로, 모바일 단말기 (100)의 카메라 렌즈를 통해 표시되는 디스플레이부 (160)의 (LCD) 화면은 피사체 (TV (10))와의 거리가 좁혀짐에 따라 더 좁은 면적의 TV화면을 모바일 단말기 (100)의 디스플레이부 (160) 상에 확대된 형태 (이미지를 크롭하여 확대한 것과 유사) 로 나타날 것이다. 이는 모바일 단말기 (100)에서 카메라 렌즈의 화각(카메라로 포착하는 장면의 시야)을 알고 있다면 이를 이용하여, 동기화 시에 TV (10)와의 거리와의 차이에 따라 디스플레이부 (160) 상에 TV화면이 어떻게 나올지 계산할 수 있게 된다. 또한, 모바일 단말기 (100)를 위, 아래, 좌, 우로 움직임에 따라 뷰파인더 상에는 그 반대 방향으로 움직일 것이다. 이런 점들을 동기화 시의 모바일 단말기 (100)의 초기 위치와 비교함으로써, 전체 TV화면 중 어느 부분이 현재 모바일 단말기 (100)의 디스플레이부 (160)에 표시되고 있는지를 결정할 수 있다.
또한, 탐색부 (142)는 TV 화면범위 결정부 (143) 및 부가 데이터 저장부 (122)에 연결되어, 상기 결정된 TV 화면 범위에 포함된 객체에 대한 객체 정보를 부가 데이터 저장부에서 탐색한다. 부가 데이터 저장부 (122)에는 객체 정보와 객체 정보 각각의 위치 정보가 포함되어 있다. 이에 의해, 디스플레이부 (160)에 표시되는 TV 화면 범위가 결정되면, 그 범위를 좌표의 범위로 해석하여, 그 좌표에 포함되는 위치 정보를 알 수 있다. 그 결과, 탐색부는 부가 데이터 저장부 (122)에서 위치 정보에 대응하는 객체 정보를 탐색한다. 탐색된 객체 정보는 직접 디스플레이부 (160)에 표시될 수도 있지만, 탐색부 (142)에 연결된 객체 정보 제한부 (150)에 의해 일부가 필터링될 수도 있다. 구체적으로는, 모바일 단말기 (100)에서 지정한 필터링 레벨이나 프로필에 따라서 디스플레이부 (160)에 표시되는 객체 정보의 레벨을 조절할 수 있다. 예를 들어, 인물 정보만을 표시하거나 상품 정보만을 표시 가능하게 설정할 수 있고, 성인정보에 대해서도 정보 표시를 차단하게 할 수 있도록 설정 가능하다.
이와 같이, 탐색되거나, 탐색되어 필터링된 객체 정보는, 예를 들어, TV상에 등장하는 객체가 인물일 경우 메이커, QR 코드를 사용하여 인물에 대한 프로필, 페이스북등에 대한 정보를 풍선형태 모양으로 표시한다. 또한, TV 상에 등장하는 객체가 상품일 경우 QR 코드 등을 이용하여 제품명, 매장정보, 최저가격 등의 정보를 객체 위에 오버랩하여 표시한다. 기타 건물 및 장소에 대한 정보도 증강현실에서의 표현기법과 유사한 방식으로 2차 정보를 표시할 수 있다.
예를 들어, 도 7에 도시된 바와 같이, 모바일 단말기의 위치가 'A' 라는 사람을 비추는 경우, A의 위치에 대응하는 위치 정보에 대한 객체 정보인 말풍선 'B'가 표시된다. 또한, 모바일 단말기의 위치가 'B' 라는 사람을 비추는 경우, B의 위치에 대응하는 위치 정보에 대한 객체 정보인 말풍선 'D'가 표시된다.
도 5는 본 발명의 바람직한 일 실시형태에 따른 영상 객체와 실시간 대응하는 객체 정보 표시 방법을 나타내는 흐름도이다. 도 5를 참조하면, 우선 모바일 단말기 (100)와 TV (10)의 화면을 동기화한다 (S1). 이는 전술한 바와 같이, 추후 모바일 단말기 (100)가 이동한 경우, 디스플레이부 (160)에 표시될 TV화면 범위를 결정하기 위한 기준이 필요하기 때문이다. 동기화시의 모바일 단말기 (100)의 위치인 초기 위치가 그 기준이 된다. 동기화된 모바일 단말기의 초기 위치를 초기 위치 저장부 (121)에 저장하고, 모바일 단말기 (100)의 수신부 (110)는 TV 송신부 (200)로부터 부가 데이터를 수신하기 시작한다 (S2). 그 후, 모바일 단말기 (100)의 제어부 (140) 내의 파싱부 (141)는 수신된 부가 데이터를 파싱하여, 객체 정보 및 위치 정보를 부가 데이터 저장부 (122)에 저장한다 (S3). 위치 추적부 (130)는 현재 모바일 단말기 (100)의 위치를 추적한다 (S4). 위치를 추적하는 원리는 도 4를 참조하여 전술한 바와 같다. 그 후, TV 화면 결정부 (143)는 초기 위치 저장부 (121)에 저장된 모바일 단말기 (100)의 초기 위치를 기준으로, 위치 추적부 (130)에서 추적한 모바일 단말기 (100)의 현재 위치를 비교함으로써, 현재 디스플레이부 (160)에 표시되는 TV화면 범위를 결정한다 (S5). 그리고 탐색부 (142)는 부가 데이터 저장부 (122)에 저장된 객체 정보의 위치 정보에 기반하여, 상기 결정된 TV 화면 범위에 포함되는 객체 정보를 탐색한다 (S6). 탐색된 객체 정보는 직접 디스플레이부 (160)에 표시될 수도 있지만 (S8), 객체 정보 제한부 (150)에 의해 일부 필터링을 거쳐 (S7) 디스플레이부 (160)에 표시될 수도 있다 (S8).
이에 의해, TV를 시청하는 모든 구성원들이 각자가 필요한 데이터만을 TV화면과는 별도의 개인 단말기를 통해 획득할 수 있다. 또한, TV와는 별도로 객체 정보를 카테고리로 나누어서 관리할 수 있으며, 모바일 단말기에 부가정보를 표기하여 정보를 용이하게 습득할 수 있다. 이는 나아가 광고 시스템에 활용 가능하며 광고주의 광고 효과 및 단말 사용자에게 최신 정보를 실시간으로 업데이트 가능한 효과가 있다.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시 예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 모바일 단말기 110: 수신부
120: 저장부 130: 위치 추적부
140: 제어부 150: 객체 정보 제한부
160: 디스플레이부 200: TV 송신부

Claims (9)

  1. 영상 프레임과 상기 영상 프레임에 대한 부가 데이터를 송신하는 TV; 및 상기 TV의 화면 중 디스플레이부에 표시되는 객체의 위치에, 상기 TV로부터 수신한 상기 부가 데이터에 포함된 객체 정보를 실시간으로 표시하는 모바일 단말기를 포함하되,
    상기 모바일 단말기는, 상기 TV로부터 상기 부가 데이터를 실시간으로 수신하는 수신부; 상기 모바일 단말기의 초기 위치 및 상기 수신된 부가 데이터를 저장하는 저장부; 상기 모바일 단말기의 위치를 추적하는 위치 추적부; 및 상기 수신부, 상기 저장부, 및 상기 위치 추적부에 연결되며, 상기 저장된 부가 데이터로부터 상기 디스플레이부에 표시된 객체에 대응하는 객체 정보를 탐색하여, 상기 표시된 객체의 위치에 표시하는 제어부를 포함하고,
    상기 저장부는, 상기 모바일 단말기의 초기 위치를 저장하는 초기 위치 저장부; 및 상기 수신된 부가 데이터에 포함된 객체 정보 및 위치 정보를 저장하는 부가 데이터 저장부를 포함하는 것을 특징으로 하는 영상 객체와 실시간 대응하는 객체 정보 표시 시스템.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 제어부는,
    상기 수신부 및 상기 부가 데이터 저장부에 연결되며, 상기 수신된 부가 데이터를 파싱하고, 객체 정보 및 위치 정보를 획득하여 상기 부가 데이터 저장부에 전송하는 파싱부;
    상기 위치 추적부 및 상기 초기 위치 저장부에 연결되며, 상기 위치 추적부에 의해 추적된 모바일 단말기의 현재 위치와, 상기 저장된 모바일 단말기의 초기 위치를 비교하여, 현재 상기 디스플레이부에 표시되는 TV 화면 범위를 결정하는 TV 화면 범위 결정부; 및
    상기 부가 데이터 저장부, 상기 TV 화면 범위 결정부, 및 상기 디스플레이부에 연결되며, 상기 부가 데이터 저장부에 저장된 위치 정보에 기반하여, 상기 결정된 TV 화면 범위에 포함되는 객체 정보를 탐색하고, 상기 표시된 객체의 위치에 표시하는 탐색부를 포함하는 것을 특징으로 하는 영상 객체와 실시간 대응하는 객체 정보 표시 시스템.
  5. 제 4항에 있어서,
    상기 모바일 단말기는,
    상기 제어부와 상기 디스플레이부 사이에 삽입되며,
    상기 탐색된 객체 정보 중 일부를 차단하여 상기 디스플레이부에 표시하거나 경고 메시지를 함께 표시하는 객체 정보 제한부를 더 포함하는 것을 특징으로 하는 영상 객체와 실시간 대응하는 객체 정보 표시 시스템.
  6. 모바일 단말기 내에서,
    (a) 상기 모바일 단말기의 초기 위치, 및 TV로부터 수신된 부가 데이터를 저장부에 저장하는 단계;
    (b) 제어부에서, 상기 저장된 부가 데이터로부터 현재 디스플레이부에 표시되는 TV 화면에 포함된 객체에 대한 객체 정보를 탐색하는 단계; 및
    (c) 상기 제어부가, 상기 탐색된 객체 정보를 상기 디스플레이부에 표시된 객체의 위치에 표시하는 단계를 포함하되,
    상기 (a) 단계는,
    (a1) 상기 디스플레이부와 TV 화면을 일치시키고, 상기 일치시의 상기 모바일 단말기의 위치인 초기 위치를 상기 저장부에 저장하는 단계;
    (a2) 수신부에서 상기 TV로부터 부가 데이터를 수신하는 단계; 및
    (a3) 상기 제어부 내의 파싱부에서 상기 수신된 부가 데이터를 파싱하여, 객체 정보 및 위치 정보를 획득하고 상기 저장부에 저장하는 단계를 포함하는 것을 특징으로 하는 영상 객체와 실시간 대응하는 객체 정보 표시 방법.
  7. 삭제
  8. 제 6항에 있어서,
    상기 (b) 단계는,
    (b1) 위치 추적부에서 상기 모바일 단말기의 현재 위치를 추적하는 단계;
    (b2) 상기 제어부 내의 TV 화면 범위 결정부에서, 상기 추적된 모바일 단말기의 현재 위치와, 상기 저장된 모바일 단말기의 초기 위치를 비교하여, 현재 상기 디스플레이부에 표시되는 TV 화면 범위를 결정하는 단계;
    (b3) 상기 제어부 내의 탐색부에서, 상기 저장된 위치 정보에 기반하여, 상기 결정된 TV 화면 범위에 포함되는 객체 정보를 탐색하는 단계를 포함하는 것을 특징으로 하는 영상 객체와 실시간 대응하는 객체 정보 표시 방법.
  9. 제 6항에 있어서,
    상기 영상 객체와 실시간 대응하는 객체 정보 표시 방법은,
    상기 (b) 단계와 (c) 단계 사이에,
    객체 정보 제한부에서, 상기 탐색된 객체 정보 중 일부를 차단하여 상기 디스플레이부에 표시하거나 경고 메시지를 함께 표시하는 단계를 더 포함하는 것을 특징으로 하는 영상 객체와 실시간 대응하는 객체 정보 표시 방법.
KR1020110005052A 2011-01-18 2011-01-18 영상 객체와 실시간 대응하는 객체정보 표시 시스템 및 방법 KR101323460B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110005052A KR101323460B1 (ko) 2011-01-18 2011-01-18 영상 객체와 실시간 대응하는 객체정보 표시 시스템 및 방법
US13/228,986 US8887196B2 (en) 2011-01-18 2011-09-09 System, mobile terminal and method for displaying object information in real time

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110005052A KR101323460B1 (ko) 2011-01-18 2011-01-18 영상 객체와 실시간 대응하는 객체정보 표시 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120083742A KR20120083742A (ko) 2012-07-26
KR101323460B1 true KR101323460B1 (ko) 2013-11-04

Family

ID=46491754

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110005052A KR101323460B1 (ko) 2011-01-18 2011-01-18 영상 객체와 실시간 대응하는 객체정보 표시 시스템 및 방법

Country Status (2)

Country Link
US (1) US8887196B2 (ko)
KR (1) KR101323460B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9313359B1 (en) * 2011-04-26 2016-04-12 Gracenote, Inc. Media content identification on mobile devices
US20190373312A1 (en) 2012-02-21 2019-12-05 Gracenote, Inc. Media Content Identification on Mobile Devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050016665A (ko) * 2002-07-01 2005-02-21 노키아 코포레이션 방송 매체 스트림의 대표적인 매체 객체들을 단말기에전달하는 시스템 및 방법
JP2009258340A (ja) * 2008-04-16 2009-11-05 Yahoo Japan Corp 視認可能な原オブジェクトに代えて対応する代替オブジェクトを重ね合わせて表示する携帯端末、方法、プログラム及びシステム
KR101089642B1 (ko) * 2010-02-26 2011-12-06 (주)모션블루 3-스크린 서비스 제공 방법 및 기록매체

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7344084B2 (en) * 2005-09-19 2008-03-18 Sony Corporation Portable video programs
US8381310B2 (en) * 2009-08-13 2013-02-19 Sling Media Pvt. Ltd. Systems, methods, and program applications for selectively restricting the placeshifting of copy protected digital media content
US8441441B2 (en) * 2009-01-06 2013-05-14 Qualcomm Incorporated User interface for mobile devices
US9582238B2 (en) * 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050016665A (ko) * 2002-07-01 2005-02-21 노키아 코포레이션 방송 매체 스트림의 대표적인 매체 객체들을 단말기에전달하는 시스템 및 방법
JP2009258340A (ja) * 2008-04-16 2009-11-05 Yahoo Japan Corp 視認可能な原オブジェクトに代えて対応する代替オブジェクトを重ね合わせて表示する携帯端末、方法、プログラム及びシステム
KR101089642B1 (ko) * 2010-02-26 2011-12-06 (주)모션블루 3-스크린 서비스 제공 방법 및 기록매체

Also Published As

Publication number Publication date
US8887196B2 (en) 2014-11-11
KR20120083742A (ko) 2012-07-26
US20120185896A1 (en) 2012-07-19

Similar Documents

Publication Publication Date Title
JP5576667B2 (ja) 情報送出表示システム
KR101850482B1 (ko) 방송 연동형 증강현실 서비스 시스템 및 방법
KR20140038799A (ko) 영상표시장치, 서버 및 그 동작방법
WO2016167160A1 (ja) データ生成装置および再生装置
KR101323460B1 (ko) 영상 객체와 실시간 대응하는 객체정보 표시 시스템 및 방법
KR20180025754A (ko) 디스플레이장치 및 그 제어방법
KR101536283B1 (ko) 감성광고 기능을 구비한 스마트 ｔｖ
KR20140094132A (ko) 영상표시장치 및 그 동작 방법
KR101487479B1 (ko) 스마트 ｔｖ 기반의 감성광고 방법
KR101519019B1 (ko) 감성광고 기반의 플래시 기능을 구비한 스마트 ｔｖ
CN110910508B (zh) 一种图像显示方法、装置和系统
KR101510761B1 (ko) 감성광고 기반의 플래시 기능을 구비한 스마트 ｔｖ
KR100671147B1 (ko) 명장면 체험 서비스 장치 및 그 방법
KR20150064613A (ko) 영상 표시 기기 및 그의 동작 방법
KR20160004739A (ko) 디스플레이 장치 및 그의 동작 방법
KR101510765B1 (ko) 감성광고 기능을 갖는 스마트 ｔｖ 기반의 대상물 타겟에 따른 광고정보 제공방법
KR101453793B1 (ko) 스마트 ｔｖ 기반의 사용자 맞춤형 감성광고 방법
KR101510747B1 (ko) 모션 센싱 및 감성광고 기능을 구비한 스마트 ｔｖ
KR101453788B1 (ko) 대상물 인식을 이용한 스마트 ｔｖ 기반의 감성광고 방법
KR101453798B1 (ko) 스마트 ｔｖ 기반의 플래시 기능을 이용한 감성광고 방법
KR20170111003A (ko) 디스플레이 장치 및 그의 동작 방법
KR101453884B1 (ko) 사용자 맞춤형 감성광고 기능을 구비한 스마트 ｔｖ
KR101506717B1 (ko) 대상물 인식 감성광고 기능을 구비한 스마트 ｔｖ
KR20140093121A (ko) 영상표시장치 및 그 동작 방법
KR101453812B1 (ko) 감성광고 기반의 대상물 타겟에 따른 광고정보 제공 기능을 구비한 스마트 ｔｖ

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191002

Year of fee payment: 7