KR20190012213A - 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 사용자 장치 부근의 디스플레이를 위한 보충 콘텐츠를 선택하기 위한 방법 및 시스템 - Google Patents

사용자 장치 상의 미디어 자산의 프리젠테이션 동안 사용자 장치 부근의 디스플레이를 위한 보충 콘텐츠를 선택하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20190012213A
KR20190012213A KR1020187037853A KR20187037853A KR20190012213A KR 20190012213 A KR20190012213 A KR 20190012213A KR 1020187037853 A KR1020187037853 A KR 1020187037853A KR 20187037853 A KR20187037853 A KR 20187037853A KR 20190012213 A KR20190012213 A KR 20190012213A
Authority
KR
South Korea
Prior art keywords
supplemental content
user device
location
selected frame
display
Prior art date
Application number
KR1020187037853A
Other languages
English (en)
Inventor
에디슨 린
Original Assignee
로비 가이드스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/167,146 external-priority patent/US20170345178A1/en
Priority claimed from US15/167,035 external-priority patent/US20170347162A1/en
Application filed by 로비 가이드스, 인크. filed Critical 로비 가이드스, 인크.
Publication of KR20190012213A publication Critical patent/KR20190012213A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer Hardware Design (AREA)

Abstract

사용자 장치 상의 미디어 자산의 프리젠테이션 동안 사용자 장치 부근에 표시하기 위해 보충 콘텐츠를 선택하기 위한 방법 및 시스템이 본원에 제공된다. 종종, 사용자의 홈에 표시될 때의 미디어 자산의 재생은 텔레비젼이나 태블릿과 같은 단일 디스플레이로 제한된다. 미디어 자산의 프리젠테이션 동안 사용자 장치 부근에 표시하기 위한 보충 콘텐츠를 선택함으로써, 미디어 자산의 재생은 복수의 디스플레이를 포함하고, 사용자에게 보다 몰입적인 시청 경험을 제공할 것이다.

Description

사용자 장치 상의 미디어 자산의 프리젠테이션 동안 사용자 장치 부근의 디스플레이를 위한 보충 콘텐츠를 선택하기 위한 방법 및 시스템
관련 출원에 대한 상호 참조:
본 출원은 2016년 5월 27일자로 출원된 미국 실용 특허 출원 제15/167,035호 및 2016년 5월 27일자로 출원된 미국 특허 실용 특허 출원 제15/167,146호에 대해 우선권을 주장한다. 본 출원의 내용은 그 전체로 본원에 통합된다.
배경
영화관에서 영화를 보는 것은 사용자에게 대형 디스플레이 및 서라운드 사운드 시스템을 통한 몰입형 시청 경험을 제공하지만, 홈(home)에서의 사용자의 시청 경험은 훨씬 덜 몰입적이다. 이는 기술적인 원인과 실용적인 원인 모두에서 텔레비젼의 제한된 크기를 포함하는 요인들의 조합으로 인한 것이다. 동등하게 몰입적이지만 홈 환경에 더욱 적절한 대안적인 시청 경험을 사용자에게 제공할 수 있는 대안을 찾는 것이 필요하다.
사용자의 홈에서 디스플레이의 크기를 증가시키는 문제 중 하나는 공간의 부족이다. 텔레비젼은 기술적인 원인이나 실용적인 원인으로 크기에 제한을 갖는다. 이용 가능한 벽 공간이 있는 경우 프로젝터는 더 큰 디스플레이를 제공할 수 있지만, 이용 가능한 벽 공간의 크기와 프로젝터가 다른 가구에 막히지 않고 벽에 투사할 수 있도록 룸을 배치하는 방법과 같은 더 많은 고려 사항을 필요로 한다. 몰입형 디스플레이를 제공하기 위하여, 이러한 문제를 극복할 수 있는 시스템을 제공하는 것이 필요하다.
사용자의 홈에 설치된 종래의 텔레비젼은 제한적이고 사용자에게 몰입형 시청 경험을 제공하지 못할 수 있다. 사용자 장치 부근에 표시될 보충 콘텐츠를 제공함으로써, 미디어 자산의 디스플레이는 보다 몰입적인 시청 경험을 포함하도록 확장된다. 몰입형 경험을 제공하기 위한 추가 콘텐츠의 디스플레이는 표시할 보충 콘텐츠를 결정하고 사용자의 완전한 효과를 위해 이를 표시할 위치를 결정함으로써 수행된다. 본원에 제공된 방법 및 시스템은, 텔레비젼 상에 콘텐츠의 단일 디스플레이를 갖기보다는, 보충 콘텐츠가 적절한지, 그리고 사용자의 몰입형 시청 경험을 최대화하기 위해 사용자 주위의 룸 내에 보충 콘텐츠를 표시할 위치를 결정하는 것을 설명한다.
몇몇 양태들에서, 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 사용자 장치 부근에 표시하기 위한 보충 콘텐츠를 선택하기 위한 방법 및 시스템이 본원에 제공된다. 종종, 사용자의 홈에서 표시될 때 미디어 자산의 재생은 텔레비젼이나 태블릿과 같은 단일 디스플레이로 제한된다. 미디어 자산의 프리젠테이션 동안 사용자 장치 부근에 표시하기 위한 보충 콘텐츠를 선택함으로써, 미디어 자산의 재생은 복수의 디스플레이를 포함하고 사용자에게 보다 몰입적인 시청 경험을 제공할 것이다.
몇몇 양태들에서, 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 사용자 장치 부근에 표시하기 위한 보충 콘텐츠를 선택하기 위한 미디어 가이던스 어플리케이션을 위한 방법 및 시스템이 본원에 제공된다. 미디어 가이던스 어플리케이션은 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 하나 이상의 프레임을 모니터링한다. 사용자 장치는 텔레비젼, 태블릿, 스마트 폰 또는 미디어 자산을 표시하는 임의의 다른 사용자 장치일 수 있다. 미디어 가이던스 어플리케이션은 사용자 장치, 사용자 장치에 접속된 원격 서버 또는 이들의 임의의 조합 상에서 국부적으로 실행될 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은 원격 서버를 통해 텔레비젼 상에 표시된 바와 같이 영화를 모니터링할 수 있다. 미디어 가이던스 어플리케이션은 미디어 자산에서 새로운 장면을 나타내는 미디어 자산의 프리젠테이션 동안 프레임을 선택한다. 예를 들어, 미디어 가이던스 어플리케이션은 영화의 모니터링을 통해 영화의 새로운 장면을 시작하는 프레임을 선택할 수 있다. 다른 예에서, 영화 또는 다른 미디어 자산은 각각의 새로운 장면을 나타내는 태그를 가질 수 있고, 영화 및 장면 태그를 모니터링함으로써, 미디어 가이던스 어플리케이션은 새로운 장면을 시작하는 것으로 태깅된 프레임을 선택할 수 있다.
미디어 가이던스 어플리케이션은 선택된 프레임에서 표현된 객체 및 위치 중 적어도 하나를 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은 프레임을 분석하여 프레임 내의 객체를 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 프레임에서 주요 피쳐를 식별한다. 주요 피쳐는 프레임의 요소를 설명하는 정보의 단편이며, 프레임에 존재하는 이미지의 에지, 모서리, 점, 선, 릿지(ridge) 또는 영역과 같은 특정 구조적 요소를 설명할 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은 에지 검출을 사용하여 프레임을 분석하고 프레임 내의 일련의 에지의 존재를 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 식별된 주요 피쳐를 객체 데이터베이스와 비교한다. 예를 들어, 미디어 가이던스 어플리케이션은 에지와 같은 주요 피처와 연관된 객체를 포함하는 데이터베이스에 액세스할 수 있고, 프레임에서 발견된 에지와 객체의 데이터베이스 내의 각 객체와 연관된 에지를 비교할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 비교에 기초하여 선택된 프레임에서 객체를 식별한다. 예를 들어, 비교에 기초하여, 미디어 가이던스 어플리케이션은 프레임에서 발견된 에지 중 일부가 나무와 연관되는 것으로 결정할 수 있다. 다른 예에서, 미디어 가이던스 어플리케이션은 프레임에서 발견된 에지 중 일부가 새와 연관되는 것으로 결정할 수 있다.
일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 프레임의 객체에 기초하여 액션 데이터베이스를 서치(search)한다. 예를 들어, 미디어 가이던스 어플리케이션은 객체와 액션을 연관시키는 액션 데이터베이스를 서치하여 새와 연관된 임의의 액션을 서치할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 프레임에서 발생하는 객체와 연관된 액션을 식별한다. 예를 들어, 액션 데이터베이스에 기초하여, 미디어 가이던스 어플리케이션은 프레임에 나타낸 배향으로의 새가 나무 가지 위에 앉아 있는 것이 아니라 날고 있는 액션과 연관되는 것을 식별할 수 있다. 다른 예에서, 미디어 가이던스 어플리케이션은 프레임 내의 배를 식별하는 것에 기초하여 항해의 액션을 식별할 수 있다.
일부 실시예에서, 미디어 가이던스 어플리케이션은 객체와 연관된 위치에 대해 위치 데이터베이스를 서치한다. 예를 들어, 미디어 가이던스 어플리케이션은 나무와 연관되는 위치에 대하여 위치 데이터베이스를 서치할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 객체와 연관된 위치에 기초하여 선택된 프레임에서 위치를 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은, 프레임과 연관된 위치가 단독의 야자수의 존재에 기초한 열대성 기후의 일반적인 외부 장면인 것으로 결정할 수 있다.
일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 프레임의 주요 피쳐를 위치 표현의 분석을 포함하는 위치 데이터베이스와 비교한다. 주요 피쳐는 프레임의 요소를 설명하는 정보의 단편이며, 프레임에 존재하는 이미지의 에지, 모서리, 점, 선, 릿지 또는 영역과 같은 특정 구조적 요소를 설명할 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은 프레임의 이미지의 피쳐를 결정하기 위해 프레임을 분석할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 프레임의 주요 피쳐를 위치 표현의 분석과 비교하는 것에 기초하여 선택된 프레임에 표현된 위치를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 이미지의 피쳐에 기초하여, 프레임이 숲을 표시하고 있는 것으로 결정할 수 있다.
미디어 가이던스 어플리케이션은 객체 및 위치 중 적어도 하나와 연관된 플롯 정보를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 장면에서 식별된 객체에 기초하여 플롯과 연관된 키워드를 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 플롯 정보 데이터베이스를 서치하여 선택된 프레임에서 발생하는 객체와 위치와 액션 중 적어도 하나와 연관된 플롯 정보를 식별한다. 플롯 정보는 선택된 프레임의 플롯을 설명하는 키워드를 포함할 수 있다. 예를 들어, 미디어 가이던스 어플리케이션이 유람선, 야자수 및 구름을 식별하여 항해의 액션과 일반적인 열대성 기후의 위치를 결정한 경우, 미디어 가이던스 어플리케이션은 플롯 정보 데이터베이스를 서치하고 "사막 섬", "해양", "배", "항해", "폭풍" 및 "파도"와 같은 키워드의 형태의 플롯 정보를 식별할 수 있다. 일부 실시예에서, 가이던스 어플리케이션은 객체와 위치와 액션 중 적어도 하나와 연관된 공통 키워드를 결정한다. 예를 들어, 일반적인 열대성 기후의 위치 또는 항해의 액션은 "낚시"와 같은 추가적인 플롯 정보와 연관될 수 있다. 그러나 "낚시"가 식별된 임의의 객체, 유람선, 야자수 및 구름과 연관되지 않는다면, 이는 공통 키워드가 아니다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 공통 키워드에 기초하여 식별된 플롯 정보를 결정한다.
일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 프레임과 연관된 메타데이터를 리트리브(retrieve)한다. 메타데이터는 선택된 프레임과 연관된 닫힌 캡셔닝(captioning) 데이터 및 태그를 포함할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 객체와 위치와 메타데이터 중 적어도 하나와 연관된 플롯 정보에 대해 플롯 정보 데이터베이스를 서치한다. 예를 들어, 미디어 가이던스 어플리케이션은 장면과 연관된 닫힌 캡셔닝을 리트리브하고, 닫힌 캡셔닝 데이터에서 식별된 용어와 연관된 플롯 정보 키워드에 대해 플롯 정보 데이터베이스를 서치할 수 있다.
미디어 가이던스 어플리케이션은 플롯 정보에 기초하여 미디어 자산을 수반하는 보충 콘텐츠를 데이터베이스로부터 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은 플롯 정보에 기초하여 열대 섬과 해양을 갖는 보충 콘텐츠를 식별할 수 있다. 보충 콘텐츠는 텔레비젼 부근의 룸의 벽에 표시되는 특정 배경 이미지 또는 이용 가능하다고 결정된 영역에 기초하여 영역 주위에 표시되는 공통 테마를 갖는 이미지 세트일 수 있다. 보충 콘텐츠는 시각적 이미지뿐만 아니라 필요에 따라 재생될 수 있는 사운드 세트, 비디오 클립 또는 이들의 조합과 같은 대안적인 미디어의 형태를 포함할 수 있다.
미디어 가이던스 어플리케이션은 프로젝션 장치로 미디어 자산의 프리젠테이션 동안 사용자 장치 부근에 표시하기 위한 보충 콘텐츠를 송신한다. 예를 들어, 미디어 가이던스 어플리케이션은 프로젝터를 통해 벽에 표시되는 열대 섬 및 해양을 표시하는 보충 콘텐츠를 송신할 수 있다. 미디어 가이던스 디스플레이는 보충 콘텐츠를 다른 텔레비젼 스크린, 태블릿 또는 증강 현실 안경 세트와 같은 사용자 장치의 영역의 임의의 디스플레이 장치에 송신할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠에 포함된 사운드 세트를 스피커로 송신한다. 예를 들어, 미디어 가이던스 어플리케이션은 또한 웨이브 사운드를 스피커로 송신할 수 있다.
일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 프레임의 부분으로부터 새로운 보충 콘텐츠를 생성한다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 객체 및 위치 중 적어도 하나와 연관된 공통 키워드와 함께 새로운 보충 콘텐츠를 데이터베이스에 저장한다. 예를 들어, 미디어 가이던스 어플리케이션은 푸른 하늘과 구름을 보여주는 프레임의 섹션을 사용하여 새로운 보충 콘텐츠를 생성할 수 있고, 플롯 정보 데이터베이스에서 구름과 연관되어 발견된 플롯 정보와 연관된 보충 콘텐츠 데이터베이스에 보충 콘텐츠를 저장할 수 있다.
일부 실시예에서, 미디어 가이던스 어플리케이션은 다음 장면을 나타내는 미디어 자산의 프리젠테이션 동안 다음 프레임을 선택한다. 예를 들어, 미디어 가이던스 어플리케이션은 새로운 장면을 나타내는 다음 태그와 연관된 프레임을 선택할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 프레임 및 선택된 다음 프레임에 기초하여 새로운 장면의 지속 기간을 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 제1 새로운 장면의 프레임과 다음의 새로운 장면을 시작하는 프레임을 비교함으로써 장면의 길이를 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 새로운 장면의 지속 기간 동안 표시를 위해 보충 콘텐츠를 송신한다. 예를 들어, 미디어 가이던스 어플리케이션은, 다음 새로운 장면의 시작으로 영화가 재생 지점에 도달할 때까지 보충 콘텐츠의 디스플레이를 유지할 수 있다.
몇몇 양태에서, 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 보충 콘텐츠를 표시하기 위해 사용자 장치 부근의 영역을 결정하기 위한 미디어 가이던스 어플리케이션에 대한 방법 및 시스템이 본원에 제공된다. 통상적으로, 사용자를 위한 룸에는 콘텐츠의 단일 디스플레이만이 존재한다. 이 시스템은 몰입적인 시청 경험을 보장하기 위해 보충 콘텐츠를 표시할 사용자 장치 주위의 영역을 결정한다. 그렇게 하는 것은 사용자 장치 주위의 영역을 모니터링하고, 어떤 영역이 보충 콘텐츠의 디스플레이를 위해 이용 가능하지를 결정하고, 사용자 장치 주위의 영역에서 표시할 보충 콘텐츠를 결정하는 것을 필요로 한다.
몇몇 양태에서, 미디어 가이던스 어플리케이션은 카메라 장치를 사용하여, 사용자 장치 부근의 하나 이상의 영역들을 모니터링한다. 미디어 가이던스 어플리케이션은 사용자 장치, 사용자 장치에 접속된 원격 서버 또는 이들의 임의의 조합 상에서 국부적으로 실행될 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은 카메라 피드백에 기초하여 원격 서버를 통해 텔레비젼 주위의 공간을 분석하고, 보충 콘텐츠에 대해 이용 가능할 수 있는 벽 또는 다른 표면을 갖는 룸의 섹션을 식별하고, 이들 섹션을 모니터링할 수 있다.
미디어 가이던스 어플리케이션은 모니터링에 기초하여 사용자 장치 부근의 하나 이상의 영역 각각에 대한 치수를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 룸의 분석 및 모니터링에 기초하여 룸 주위의 벽 및 이용 가능한 표면의 치수, 크기 및 배향을 계산할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠를 표시하기에 적절한 하나 이상의 부분에 대해 사용자 장치 부근의 하나 이상의 영역을 분석한다. 예를 들어, 미디어 가이던스 어플리케이션은 벽에 매달려 있는 그림이나 중간에 있는 책장과 같은 임의의 방해물이 없는 벽을 식별하고, 벽 섹션이 보충 콘텐츠 표시에 이용 가능한지 여부에 기초하여 벽을 분석할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 분석에 기초하여 보충 콘텐츠를 표시하기에 적절한 부분을 선택한다. 예를 들어, 미디어 가이던스 어플리케이션은 방해받지 않고, 그에 따라 보충 콘텐츠를 표시하는 데 이용 가능한 벽의 영역을 선택할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 부분에 대한 하나 이상의 영역의 크기, 형상 및 배향을 나타내는 치수를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 표시에 이용 가능하도록 천장 상의 영역을 선택할 수 있으며, 공간의 크기를 포함하는 치수뿐만 아니라, 중앙 팬 또는 천장 조명이 선택된 영역에 포함되지 않도록 아래로 향하는 배향 및 도넛 형상을 포함하는 치수를 결정할 수 있다.
미디어 가이던스 어플리케이션은 사용자 장치 상에 표현되는 미디어 자산의 장면과 연관된 보충 콘텐츠를 리트리브한다. 예를 들어, 미디어 가이던스 어플리케이션은 보충 콘텐츠 데이터베이스로부터 텔레비젼 상에 재생되는 영화의 장면과 연관된 보충 콘텐츠를 리트리브할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 장면에서 표현되는 객체 및 위치 중 적어도 하나를 식별한다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 식별된 객체 및 위치 중 적어도 하나에 기초하여 장면과 연관된 플롯 정보를 식별한다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 장면과 연관된 플롯 정보와 매칭되는 보충 콘텐츠에 대해 보충 콘텐츠의 데이터베이스를 서치한다.
미디어 가이던스 어플리케이션은 보충 콘텐츠의 치수를 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은 보충 콘텐츠와 연관된 태그에 기초하여 보충 콘텐츠의 의도된 치수를 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 크기, 형상 및 배향 중 하나를 식별한다. 예를 들어, 일부 보충 콘텐츠는 아래에서 보이도록 배향될 수 있고, 다른 보충 콘텐츠는 도넛처럼 형상화될 수 있다.
미디어 가이던스 어플리케이션은 보충 콘텐츠의 치수를 하나 이상의 영역 각각에 대한 치수와 비교한다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 치수를 하나 이상의 영역 각각에 대한 치수와 비교하고, 하나 이상의 영역 각각의 크기, 형상 및 배향 중 하나를 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 비교하는 것을 더 포함한다. 예를 들어, 미디어 가이던스 어플리케이션은 영역의 형상을 보충 콘텐츠의 형상과 비교하거나 영역의 배향을 보충 콘텐츠의 배향과 비교할 수 있다.
미디어 가이던스 어플리케이션은 비교에 기초하여 하나 이상의 영역의 서브셋을 필터링한다. 예를 들어, 미디어 가이던스 어플리케이션은 영역을 필터링하여 식별된 보충 콘텐츠를 표시하는 데 이용 가능한 영역을 식별할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 하나 이상의 영역 중 하나와 연관된 객체를 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은 그 영역에 책장이 존재함을 식별할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 객체를 알려진 객체와 비교하여, 객체가 보충 콘텐츠를 표시하는 데 이용 가능한지 여부를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 윈도우를 커버하는 블라인드를 식별할 수 있고, 알려진 객체의 데이터베이스를 서치한 후, 윈도우를 커버하는 블라인드가 보충 콘텐츠를 표시하는 데 이용 가능한 것으로 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은, 객체가 비교에 기초하여 보충 콘텐츠를 표시하는 데 이용 가능하지 않는 것으로 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 알려진 객체의 데이터베이스를 서치하여, 보충 콘텐츠가 책장 상부에 표시될 수 없는 것으로 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 하나 이상의 영역으로부터 하나 이상의 영역 중 하나를 제거한다. 예를 들어, 미디어 가이던스 어플리케이션은 보충 콘텐츠를 표시하기 위해 이용 가능한 영역으로부터 책장을 갖는 영역을 필터링 배제할 수 있다.
일부 실시예에서, 미디어 가이던스 어플리케이션은, 크기, 형상 및 배향이 보충 콘텐츠의 크기, 형상 배향 중 하나와 매칭되지 않는 하나 이상의 영역을 식별함으로써 하나 이상의 영역 중 하나를 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은, 영역이 도넛 형상이지만, 보충 콘텐츠가 직사각형 형상이므로 보충 콘텐츠가 그 영역 내에 맞지 않는 것으로 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 하나 이상의 영역으로부터 하나 이상의 영역 중 하나를 제거한다. 예를 들어, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 표시에 이용 가능한 영역으로부터 도넛 형상의 영역을 필터링 배제할 수 있다.
미디어 가이던스 어플리케이션은 프로젝션 장치로, 사용자 장치 부근의 하나 이상의 영역들의 서브셋에 표시하기 위한 보충 콘텐츠를 송신한다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 하나 이상의 영역의 서브셋 각각에 표시하기 위해 보충 콘텐츠를 송신한다. 예를 들어, 미디어 가이던스 어플리케이션은, 객체가 없는 것으로 식별되었고 적절한 크기, 형상 및 배향인 룸의 나머지 영역의 전부에 보충 콘텐츠를 표시할 수 있다.
일부 실시예에서, 미디어 가이던스 어플리케이션은 각 영역의 치수, 각 영역의 위치, 또는 보충 콘텐츠의 콘텐츠 중 적어도 하나에 기초하여 하나 이상의 영역의 서브셋 각각을 등급화한다. 예를 들어, 보충 콘텐츠가 넓은 풍경인 경우, 미디어 가이던스 어플리케이션은 영역을 등급화하고, 천장보다는 벽 상의 큰 직사각형 인 영역을 우선화할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 등급화에 기초하여 보충 콘텐츠를 표시하기 위한 하나 이상의 영역의 서브셋 중 하나를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 최고 등급을 수신한 영역을 선택할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 하나 이상의 영역의 서브셋 중 하나에 보충 콘텐츠를 표시하기 위해 송신한다. 예를 들어, 미디어 가이던스 어플리케이션은 최고 등급을 수신한 선택된 영역에 보충 콘텐츠를 표시할 수 있다.
일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 복수의 부분을 결정한다. 예를 들어, 보충 콘텐츠는 배향, 크기 및 형상이 각각 상이한 상이한 새의 복수의 이미지일 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 복수의 부분 각각을 하나 이상의 영역의 서브셋 중 하나에 매칭시킨다. 예를 들어, 미디어 가이던스 어플리케이션은 이미지의 크기, 형상 및 배향에 기초하여 새의 이미지 각각을 룸 주위의 영역에 매칭시킬 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 복수의 공간의 서브셋 중 대응하는 하나에 보충 콘텐츠의 복수의 부분 각각을 표시하기 위해 생성한다. 예를 들어, 미디어 가이던스 어플리케이션은 각각의 이미지를 룸 주위의 대응하는 영역 상에 표시할 수 있다.
상술한 시스템, 방법, 장치 및/또는 양태는 다른 시스템, 방법, 장치 및/또는 양태에 적용될 수 있거나 또는 이에 따라 사용될 수 있음에 유의해야 한다.
본 발명의 상기 및 다른 목적과 이점은 첨부된 도면과 관련하여 취해진 후술하는 상세한 설명을 고려할 때 명백할 것이며, 여기서 동일 참조 부호는 전체에 걸쳐 동일 부분을 나타낸다:
도 1은 본 발명의 일부 실시예에 따라, 사용자 장치 부근의 보충 콘텐츠의 디스플레이의 예시적인 예를 나타낸다.
도 2는 본 발명의 일부 실시예에 따라, 사용자 장치 부근의 이용 가능한 영역에서 사용자 장치 부근의 보충 콘텐츠의 디스플레이의 예시적인 예를 나타낸다.
도 3은 본 발명의 일부 실시예에 따라, 플롯(plot) 정보에 링크된 보충 콘텐츠를 나타내는 보충 콘텐츠 데이터베이스의 예시적인 예를 나타낸다.
도 4는 본 발명의 일부 실시예에 따라, 사용자 장치 부근의 보충 콘텐츠의 디스플레이에 이용 가능한 영역의 예시적인 예를 나타낸다.
도 5는 본 발명의 일부 실시예에 따라, 미디어 가이던스 어플리케이션에 의해 생성된 디스플레이 스크린의 예시적인 예를 나타낸다.
도 6은 본 발명의 일부 실시예에 따라, 미디어 가이던스 어플리케이션에 의해 생성된 디스플레이 스크린의 다른 예시적인 예를 나타낸다.
도 7은 본 발명의 일부 실시예에 따른 예시적인 사용자 장비 장치의 블록도이다.
도 8은 본 발명의 일부 실시예에 따른 예시적인 미디어 시스템의 블록도이다.
도 9는 본 발명의 일부 실시예에 따라, 사용자 장치 상에 미디어 자산을 프리젠테이션하는 동안 사용자 장치 부근에 표시하기 위한 보충 콘텐츠를 선택하는 것과 연관된 예시적인 단계의 흐름도이다.
도 10은 본 발명의 일부 실시예에 따라, 선택된 프레임과 연관된 플롯 정보를 결정하기 위한 예시적인 단계의 흐름도이다.
도 11은 본 발명의 일부 실시예에 따라, 선택된 프레임과 연관된 플롯 정보를 결정하기 위한 예시적인 단계의 다른 흐름도이다.
도 12는 본 발명의 일부 실시예에 따라, 선택된 프레임과 연관된 플롯 정보를 결정하기 위한 예시적인 단계의 다른 흐름도이다.
도 13은 본 발명의 일부 실시예에 따라, 사용자 장치 상에 미디어 자산을 프리젠테이션하는 동안 보충 콘텐츠를 표시하기 위한 사용자 장치 부근의 영역을 결정하는 것과 연관된 예시적인 단계의 흐름도이다.
도 14는 본 발명의 일부 실시예에 따라, 보충 콘텐츠를 표시하기 위해 이용 가능한 사용자 장치 부근의 영역의 서브셋을 식별하기 위해 영역을 필터링하기 위한 예시적인 단계의 흐름도이다.
사용자 장치 상에 미디어 자산을 프리젠테이션하는 동안 사용자 장치 부근에 표시하기 위한 보충 콘텐츠를 선택하기 위한 방법 및 시스템이 본원에서 제공된다. 종종, 사용자의 홈에서 표시될 때의 미디어 자산의 재생은 텔레비젼이나 태블릿과 같은 단일 디스플레이로 제한된다. 미디어 자산의 프리젠테이션 동안 사용자 장치 부근에 표시하기 위한 보충 콘텐츠를 선택함으로써, 미디어 자산의 재생은 복수의 디스플레이를 포함하고, 사용자에게 보다 몰입적인 시청 경험을 제공할 것이다.
사용자 장치 상에 미디어 자산을 프리젠테이션하는 동안 보충 콘텐츠를 표시하기 위해 사용자 장치 부근의 영역을 결정하기 위한 미디어 가이던스 어플리케이션을 위한 방법 및 시스템이 본원에 제공된다. 통상적으로, 사용자를 위한 룸에는 콘텐츠의 단일 디스플레이만이 존재한다. 이 시스템은 몰입적인 시청 경험을 보장하기 위해 보충 콘텐츠를 표시할 사용자 장치 주위의 영역을 결정한다. 그렇게 하는 것은 사용자 장치 주위의 영역을 모니터링하고, 어떤 영역이 보충 콘텐츠의 디스플레이에 이용 가능한지를 결정하고, 사용자 장치 주위의 어떤 영역에 어떤 보충 콘텐츠를 표시할지를 결정하는 것을 필요로 한다.
도 1은 본 발명의 일부 실시예에 따른, 사용자 장치 부근의 보충 콘텐츠의 디스플레이의 예시적인 예를 나타낸다. 사용자 장치(102)는 텔레비젼, 태블릿, 스마트 폰 또는 미디어 자산을 표시하는 임의의 다른 사용자 장치일 수 있다. 사용자 장치(102)는 미디어 자산을 표시하는 동안 동물, 풍경 및 캐릭터를 포함할 수 있는 객체(104, 106, 108 또는 110)와 같은 다양한 객체를 포함하는 프레임을 표시할 수 있다. 이러한 객체들(104, 106, 108 또는 110)이 식별되어 사용자 장치(102) 상에 표시된 장면을 설명하기 위한 플롯 정보를 결정하는 데 사용되면, 미디어 가이던스 어플리케이션은 프로젝터(116)를 사용하여 표시할 보충 콘텐츠를 식별한다. 보충 콘텐츠는 각각 객체(104 및 106)에 매칭하는 객체(112 및 114)와 같이, 사용자 장치(112) 상에 표시된 장면에 대한 유사한 피쳐를 포함할 수 있다. 보충 콘텐츠는 시각 이미지뿐만 아니라 스피커(118)를 사용하는 사운드 세트일 수 있다. 객체(112 및 114)를 포함하는 보충 콘텐츠가 보충 콘텐츠 데이터베이스에서 식별되면, 보충 콘텐츠는 프로젝터(116) 및 스피커(118)로 송신되어 사용자 장치(102) 상의 장면의 재생 중에 사용자 장치(102) 부근에 표시된다. 미디어 가이던스 어플리케이션은 사용자 장치(102), 사용자 장치(102)에 접속되는 원격 서버, 또는 이들의 임의의 조합상에서 국부적으로 실행될 수 있다. 미디어 가이던스 디스플레이는 보충 콘텐츠를 다른 텔레비젼 스크린, 태블릿 또는 증강 현실 안경 세트와 같은 사용자 장치(102)의 영역 내의 임의의 디스플레이 장치로 송신할 수 있다.
미디어 가이던스 어플리케이션은 사용자 장치(102) 상의 미디어 자산의 프리젠테이션 동안 하나 이상의 프레임을 모니터링한다. 사용자 장치(102)는 텔레비젼, 태블릿, 스마트 폰 또는 미디어 자산을 표시하는 임의의 다른 사용자 장치(102)일 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은 영화가 텔레비젼 상에 표시될 때 영화를 모니터링할 수 있다. 미디어 가이던스 어플리케이션은 미디어 자산의 새로운 장면을 나타내는 미디어 자산의 프리젠테이션 중에 프레임을 선택한다. 예를 들어, 미디어 가이던스 어플리케이션은 영화의 모니터링을 통해, 영화의 새로운 장면을 시작하는 프레임을 선택할 수 있다. 다른 예에서, 영화 또는 다른 미디어 자산은 각각의 새로운 장면을 나타내는 태그를 가질 수 있고, 영화 및 장면 태그를 모니터링함으로써, 미디어 가이던스 어플리케이션은 새로운 장면을 시작하는 것으로 태깅된 프레임을 선택할 수 있다.
미디어 가이던스 어플리케이션은 객체들(104, 106, 108, 또는 110)과 같은 객체 및 선택된 프레임에 표현된 위치 중 적어도 하나를 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은 프레임을 분석하여 프레임 내의 객체를 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 프레임에서 주요 피쳐를 식별한다. 주요 피쳐는 프레임의 요소를 설명하는 정보의 단편이며, 프레임에 존재하는 이미지의 에지, 모서리, 점, 선, 릿지(ridge) 또는 영역과 같은 특정 구조적 요소를 설명할 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은 에지 검출을 사용하여 프레임을 분석하고, 프레임 내에 일련의 에지들의 존재를 결정할 수 있다. 미디어 가이던스 어플리케이션은 주요 피쳐를 분석함으로써, 객체(104)가 구름, 객체(106)가 새, 객체(108)가 야자수 또는 객체(110)가 사람인 것을 결정할 수 있다.
일부 실시예에서, 미디어 가이던스 어플리케이션은 객체(104, 106, 108 및 110)와 같은 객체에 기초하여 액션 데이터베이스를 서치한다. 예를 들어, 미디어 가이던스 어플리케이션은 객체를 액션과 연관시키는 액션 데이터베이스를 서치하여, 새와 연관된 임의의 액션을 서치할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 프레임에서 발생하는 객체와 연관된 액션을 식별한다. 예를 들어, 액션 데이터베이스에 기초하여, 미디어 가이던스 어플리케이션은, 객체(106)가 나무 가지 상에 있지 않고 날아 다니는 액션과 연관된 새라는 것을 식별할 수 있다.
일부 실시예에서, 미디어 가이던스 어플리케이션은 객체(104, 106, 108 및 110)와 같은 객체와 연관된 위치에 대해 위치 데이터베이스를 서치한다. 예를 들어, 미디어 가이던스 어플리케이션은 야자수인 객체(108)와 연관된 위치에 대해 위치 데이터베이스를 서치할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 객체(108)와 연관된 위치에 기초하여 선택된 프레임 내의 위치를 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은, 프레임과 연관된 위치가 긴 야자수인 객체(108)의 존재에 기초하여 열대 기후의 일반적인 외부 장면이라고 결정할 수 있다.
일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 프레임의 주요 피쳐를 위치 표현의 분석을 포함하는 위치 데이터베이스와 비교한다. 주요 피쳐는 프레임의 요소를 설명하는 정보의 단편이며, 프레임에 존재하는 이미지의 에지, 모서리, 점, 선, 릿지 또는 영역과 같은 특정 구조적 요소를 설명할 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은 프레임의 이미지의 피쳐를 결정하기 위해 프레임을 분석할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 프레임의 주요 피쳐와 위치의 표현의 분석의 비교에 기초하여 선택된 프레임에서 표현된 위치를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 이미지의 피쳐에 기초하여, 프레임이 숲을 표시하고 있는 것으로 결정할 수 있다.
미디어 가이던스 어플리케이션은 객체들(104, 106, 108 및 110) 및 위치와 같은 객체의 적어도 하나와 연관된 플롯 정보를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 객체(104, 106, 108 및 110)와 같이 장면에서 식별된 객체에 기초하여 플롯과 연관된 키워드를 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 플롯 정보 데이터베이스를 서치하여 객체(104, 106, 108 및 110)와 같은 객체 및 일반적인 열대성 야외 기후와 같은 위치, 및 객체(106)가 날고 있는 새인 것과 같은, 선택된 프레임에서 발생하는 액션 중 적어도 하나와 연관된 플롯 정보를 식별한다. 플롯 정보는 선택된 프레임의 플롯을 설명하는 키워드를 포함할 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은 "야외 하이킹" 및 "사막의 섬"과 같은 플롯 정보를 결정하기 위해, 객체(104, 106, 108 및 110)와 연관된 공통 키워드, 일반적인 열대 야외 기후와 같은 위치, 및 객체(106)가 날고 있는 새인 것과 같은 같이 선택된 프레임에서 발생하는 액션을 고려할 수 있다.
미디어 가이던스 어플리케이션은 플롯 정보에 기초하여 미디어 자산을 수반하는 보충 콘텐츠를 데이터베이스로부터 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은 객체(104 및 106)와 각각 매칭하는 객체(112 및 114)와 같은 미디어 자산에 표시된 것들과 유사한 요소를 포함하는 보충 콘텐츠를 식별할 수 있다. 보충 콘텐츠는 텔레비젼 부근의 룸의 벽에 표시될 특정 배경 이미지 또는 이용 가능하다고 결정된 영역에 기초하여 영역 주위에 표시될 공통 테마를 갖는 이미지 세트일 수 있다. 보충 콘텐츠는 시각적 이미지, 사운드, 비디오 클립 또는 이들의 조합을 포함할 수 있다. 보충 콘텐츠는 라이브 이벤트의 대체 피드를 포함할 수 있다. 예를 들어, 미디어 자산이 라이브로 표시되는 스포츠 이벤트인 경우, 표시되는 보충 콘텐츠는 발생되는 스포츠 이벤트에 대한 라이브 팬 반응을 포함할 수 있다.
미디어 가이던스 어플리케이션은 미디어 자산의 프리젠테이션 동안 사용자 장치(102) 부근에 표시하기 위한 보충 콘텐츠를 프로젝터(116)와 같은 프로젝션 장치로 송신한다. 미디어 가이던스 디스플레이는 보충 콘텐츠를 다른 텔레비젼 스크린, 태블릿 또는 증강 현실 안경 세트와 같은 사용자 장치(102)의 영역 내의 임의의 디스플레이 장치로 송신할 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은 프로젝터(116)를 통해 벽에 표시될 객체(104 및 106)와 각각 매칭하는 객체(112 및 114)를 표시하는 보충 콘텐츠를 송신할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠에 포함되는 사운드의 세트를 스피커(118)로 송신한다. 예를 들어, 미디어 가이던스 어플리케이션은 또한 웨이브 사운드를 스피커(118)로 송신할 수 있다.
도 2는 본 발명의 일부 실시예에 따라, 사용자 장치 부근의 이용 가능한 영역에서 사용자 장치 부근의 보충 콘텐츠의 디스플레이의 예시적인 예를 나타낸다. 사용자 장치(204)는 텔레비젼, 태블릿, 스마트 폰 또는 미디어 자산을 표시하는 임의의 다른 사용자 장치일 수 있다. 프로젝터(206a, 206b 및 206c)는 룸 주위에 보충 콘텐츠를 투사한다. 일부 실시예에서, 보충 콘텐츠는 다른 텔레비젼 스크린, 태블릿, 또는 증강 현실 안경 세트와 같은 사용자 장치(204)의 영역 내의 임의의 디스플레이 장치 상에 표시될 수 있다. 카메라(208a, 208b 및 208c)는 룸뿐만 아니라 사용자(202)를 모니터링한다. 이미지(210a 및 210b)는 각각 206c 및 206a에 의해 벽 상에 투사된 보충 콘텐츠의 부분이다. 미디어 가이던스 어플리케이션은 사용자 장치(204), 사용자 장치(204)에 접속된 원격 서버, 또는 이들의 임의의 조합 상에서 국부적으로 실행될 수 있다.
미디어 가이던스 어플리케이션은 카메라(208a, 208b 및 208c)를 사용하여, 사용자 장치(204) 부근의 하나 이상의 영역을 모니터링한다. 예를 들어, 미디어 가이던스 어플리케이션은 카메라로부터의 카메라(208a, 208b 및 208c)로부터의 카메라 피드백에 기초하여 사용자 장치(204) 주위의 룸을 분석하고, 보충 콘텐츠에 대해 이용 가능할 수 있는 벽 또는 다른 표면을 갖는 방의 섹션을 식별하고, 이들 섹션을 모니터링할 수 있다.
미디어 가이던스 어플리케이션은 모니터링에 기초하여 사용자 장치(204) 부근의 하나 이상의 영역 각각에 대한 치수를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 룸의 분석 및 모니터링에 기초하여 룸 주위의 벽 및 이용 가능한 표면의 치수, 크기 및 배향을 계산할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 이미지(210a 및 210b)와 같은 보충 콘텐츠를 표시하기에 적절한 하나 이상의 부분에 대해 사용자 장치(204) 부근의 하나 이상의 영역을 분석한다. 예를 들어, 미디어 가이던스 어플리케이션은 벽에 매달려 있는 그림이나 중간에 있는 책장과 같은 임의의 방해물이 없는 벽을 식별하고, 벽 섹션이 보충 콘텐츠의 디스플레이를 위해 이용 가능한지 여부에 기초하여 벽을 분석할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 분석에 기초하여 보충 콘텐츠를 표시하기에 적절한 부분을 선택한다. 예를 들어, 미디어 가이던스 어플리케이션은 방해받지 않고 그에 따라 보충 콘텐츠를 표시하기 위해 이용 가능한 벽의 영역을 선택할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 부분에 대한 하나 이상의 영역의 크기, 형상 및 배향을 나타내는 치수를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 디스플레이에 이용 가능하도록 천장 상의 영역을 선택할 수 있으며, 중앙 팬 또는 천장 조명이 선택된 영역에 포함되지 않도록, 아래로 향하는 배향 및 도넛의 형상뿐만 아니라 공간의 크기를 포함하는 치수를 결정할 수 있다.
미디어 가이던스 어플리케이션은 사용자 장치(204) 상에 표현되는 미디어 자산의 장면과 연관된 보충 콘텐츠를 리트리브한다. 예를 들어, 미디어 가이던스 어플리케이션은 사용자 장치(204) 상에서 재생 중인 영화의 장면과 연관된 보충 콘텐츠를 보충 콘텐츠 데이터베이스로부터 리트리브할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 장면에서 표현되는 객체 및 위치 중 적어도 하나를 식별한다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 식별된 객체 및 위치 중 적어도 하나에 기초하여 장면과 연관된 플롯 정보를 식별한다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 장면과 연관된 플롯 정보와 매칭되는 보충 콘텐츠에 대해 보충 콘텐츠의 데이터베이스를 서치한다.
미디어 가이던스 어플리케이션은 이미지(201a 및 210b)와 같은 보충 콘텐츠의 치수를 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은 보충 콘텐츠와 연관된 태그에 기초하여 이미지(210a 및 210b)와 같은 보충 콘텐츠의 의도된 치수를 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 이미지(210a 및 210b)와 같은 보충 콘텐츠의 크기, 형상 및 배향 중 하나를 식별한다. 예를 들어, 이미지(210b)에서 보여지는 바와 같이, 아래로부터의 구름 이미지와 같은 일부 보충 콘텐츠가 아래로부터 보여지도록 배향될 수 있다.
미디어 가이던스 어플리케이션은 이미지(210a 및 21b)와 같은 보충 콘텐츠의 치수를 하나 이상의 영역 각각에 대한 치수와 비교한다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 치수를 하나 이상의 영역 각각에 대한 치수와 비교하고, 하나 이상의 영역 각각의 크기, 형상 및 배향 중 하나를 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 비교하는 것을 더 포함한다. 예를 들어, 미디어 가이던스 어플리케이션은 영역의 형상을 보충 콘텐츠의 형상과 비교하거나, 영역의 배향을 보충 콘텐츠의 배향과 비교할 수 있다.
미디어 가이던스 어플리케이션은 비교에 기초하여 하나 이상의 영역의 서브셋을 필터링한다. 예를 들어, 미디어 가이던스 어플리케이션은 식별된 보충 콘텐츠를 표시하는 데 이용 가능한 영역을 식별하도록 영역을 필터링할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 하나 이상의 영역 중 하나와 연관된 객체를 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은 영역 내에 책장이 있음을 식별할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 객체를 알려진 객체와 비교하여, 객체가 이미지(210a 및 210b)와 같은 보충 콘텐츠를 표시하는 데 이용 가능한지 여부를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 윈도우를 커버하는 블라인드를 식별하고, 알려진 객체의 데이터베이스를 서치한 후, 윈도우를 커버하는 블라인드가 보충 콘텐츠를 표시하는 데 이용 가능한지를 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은, 객체가 비교에 기초하여 보충 콘텐츠를 표시하는 데 이용 가능하지 않다고 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 알려진 객체의 데이터베이스를 서치하여 보충 콘텐츠가 책장 상부에 표시될 수 없음을 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 하나 이상의 영역으로부터 하나 이상의 영역들 중 하나를 제거한다. 예를 들어, 미디어 가이던스 어플리케이션은 보충 콘텐츠를 표시하기 위해 이용 가능한 영역으로부터 책장을 갖는 영역을 필터링 제외할 수 있다.
미디어 가이던스 어플리케이션은 프로젝터(206a, 206b 및 206c)로 이미지(210a 및 210b)와 같은, 사용자 장치(204) 부근의 하나 이상의 영역의 서브셋에 표시하기 위한 보충 콘텐츠를 송신한다. 미디어 가이던스 디스플레이는 보충 콘텐츠를 다른 텔레비젼 스크린, 태블릿 또는 증강 현실 안경 세트와 같은 사용자 장치(204)의 영역 내의 임의의 디스플레이 장치로 송신할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 이미지(210a 및 210b)와 같은 보충 콘텐츠의 복수의 부분을 결정한다. 예를 들어, 보충 콘텐츠는 측면으로부터의 나무를 나타내는 이미지(210a) 및 아래로부터의 구름을 나타내는 이미지(210b)와 같은 상이한 치수의 개별 이미지일 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 복수의 부분의 각각을 하나 이상의 영역의 서브셋 중 중 하나에 매칭시킨다. 예를 들어, 미디어 가이던스 어플리케이션은 이미지(210a)를 측벽에 매칭시키고 이미지(210b)를 천장 상의 영역에 매칭시킬 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 복수의 공간의 서브셋 중 대응하는 하나에 보충 콘텐츠의 복수의 부분 각각을 표시하기 위해 생성한다. 예를 들어, 미디어 가이던스 어플리케이션은 각각의 이미지를 룸 주위의 대응하는 영역 상에 표시할 수 있다.
도 3은 본 발명의 일부 실시예에 따라, 플롯 정보에 링크된 보충 콘텐츠를 나타내는 보충 콘텐츠 데이터베이스의 예시적인 예를 나타낸다. 사용자 장치(302)는 유람선, 야자수, 파도 및 구름을 포함하는 미디어 자산의 프레임을 나타낸다. 미디어 가이던스 어플리케이션이 프레임에서 이러한 개체를 식별하면, 미디어 가이던스 어플리케이션은 이러한 객체와 연관된 키워드에 대해 플롯 정보 데이터베이스를 서치한다. 플롯 정보(304)는 사용자 장치(302) 상에 표시되는 프레임에서 식별된 객체에 기초하여, 키워드 "사막의 섬", "해양", "배", "항해", "폭풍" 및 "파도"를 포함한다. 그 후 미디어 가이던스 어플리케이션은 보충 콘텐츠 데이터베이스(308)를 이용하여 이러한 키워드와 연관되는 이미지를 찾기 위해 이러한 플롯 정보(304)를 사용한다. 보충 콘텐츠 데이터베이스(308)는 각각의 이미지와 연관된 플롯 정보(316, 318, 320)를 갖는 이미지(310, 312 및 314)를 각각 포함한다. 플롯 정보(304)와 플롯 정보(316, 318 및 320)의 비교에 기초하여, 미디어 가이던스 어플리케이션은 이미지들(310, 312 및 314) 중 어느 것이 사용자 장치(302) 상에 표시된 프레임을 보충하기에 적절한 보충 콘텐츠인지를 선택한다.
미디어 가이던스 어플리케이션은 사용자 장치(302) 상에 미디어 자산을 프리젠테이션하는 동안 하나 이상의 프레임을 모니터링한다. 사용자 장치(302)는 텔레비젼, 태블릿, 스마트 폰 또는 미디어 자산을 표시하는 임의의 다른 사용자 장치(102)일 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은 텔레비젼에 표시될 때 영화를 모니터링할 수 있다. 미디어 가이던스 어플리케이션은 미디어 자산의 새로운 장면을 나타내는 미디어 자산의 프리젠테이션 동안 프레임을 선택한다. 예를 들어, 미디어 가이던스 어플리케이션은 영화의 모니터링을 통해, 영화의 새로운 장면을 시작하는 프레임을 선택할 수 있다. 다른 예에서, 영화 또는 다른 미디어 자산은 각각의 새로운 장면을 나타내는 태그를 가질 수 있고, 영화 및 장면 태그를 모니터링함으로써, 미디어 가이던스 어플리케이션은 새로운 장면을 시작하는 것으로 태깅된 프레임을 선택할 수 있다.
미디어 가이던스 어플리케이션은 선택된 프레임에서 표현된 객체 및 위치 중 적어도 하나를 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은 프레임을 분석하여 프레임 내의 객체를 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 프레임의 주요 피쳐를 식별한다. 주요 피쳐는 프레임의 요소를 설명하는 정보의 단편이며, 프레임에 존재하는 이미지의 에지, 모서리, 점, 선, 릿지 또는 영역과 같은 특정 구조적 요소를 설명할 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은 에지 검출을 이용하여 프레임을 분석하고, 프레임 내에 존재하는 일련의 에지들의 존재를 결정할 수 있다. 미디어 가이던스 어플리케이션은 사용자 장치(302) 상에 표현된 객체가 유람선 및 해양의 중간에 있는 사막 섬을 포함한다는 것을 주요 피쳐를 분석함으로써 결정할 수 있다.
미디어 가이던스 어플리케이션은 객체 및 위치 중 적어도 하나와 연관된 플롯 정보(304)를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 장면에서 식별된 객체에 기초하여 플롯과 연관된 키워드를 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 플롯 정보 데이터베이스를 서치하여 객체 및 위치 중 적어도 하나와 연관된 플롯 정보, 및 선택된 프레임에서 발생하는 액션을 식별한다. 플롯 정보(304)는 선택된 프레임의 플롯을 설명하는 키워드를 포함할 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은, 플롯 정보(304)가 "사막 섬", "해양", "배", "항해", "폭풍" 및 "파도"를 포함한다는 것을 결정하기 위해 객체 및 위치, 그리고 선택된 프레임에서 발생하는 액션과 연관된 공통 키워드를 고려할 수 있다.
미디어 가이던스 어플리케이션은 플롯 정보(304)에 기초하여 미디어 자산을 수반하는 보충 콘텐츠를 보충 콘텐츠 데이터베이스(308)로부터 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은 플롯 정보(316, 318 및 320)와 플롯 정보(304)의 비교에 기초하여 이미지(310, 312 및 314)와 같은 보충 콘텐츠를 식별할 수 있다. 보충 콘텐츠는 이미지(310, 312 및 314), 또는 이용 가능한 것으로 결정되는 영역에 기초하여 영역 주위에 표시되는 공통 테마를 갖는 이미지의 세트와 같은, 텔레비젼 부근의 룸의 벽 상에 표시되는 특정의 배경 이미지일 수 있다. 보충 콘텐츠는 시각적 이미지, 사운드, 비디오 클립 또는 이들의 조합을 포함할 수 있다. 보충 콘텐츠는 라이브 이벤트의 대체 피드를 포함할 수 있다. 예를 들어, 플롯 정보(304)가, 미디어 자산이 라이브로 표시되는 스포츠 이벤트인 것을 나타내는 경우, 표시되는 추가 콘텐츠는 그것이 발생하는 스포츠 이벤트에 대한 라이브 팬 반응을 포함할 수 있다.
미디어 가이던스 어플리케이션은 프로젝션 장치로 미디어 자산의 프리젠테이션 동안 사용자 장치(302) 부근에 표시하기 위한 보충 콘텐츠를 송신한다. 예를 들어, 미디어 가이던스 어플리케이션은 이미지(310, 312 및 314)와 같은 보충 콘텐츠를 송신할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠에 포함된 사운드 세트를 스피커로 송신한다. 예를 들어, 미디어 가이던스 어플리케이션은 또한 웨이브의 사운드를 스피커로 송신할 수 있다.
도 4는 본 발명의 일부 실시예에 따라, 사용자 장치 부근에서 보충 콘텐츠의 디스플레이에 이용 가능한 영역의 예시적인 예를 나타낸다. 사용자(402)가 사용자 장치(404)를 보고 있는 동안, 미디어 가이던스 어플리케이션은 영역(406, 408 및 410)을 모니터링한다. 각 영역은 이용 가능한 공간에 기초하여 결정될 수 있다. 영역(406)과 같은 일부 영역은 영역의 중간에 있는 항목(412)을 가질 수 있다. 보충 콘텐츠가 사용자 장치(404) 상에 표시된 프레임에 기초하여 식별되면, 미디어 가이던스 어플리케이션은, 항목(412)이 보충 콘텐츠를 표시하는 데 이용 가능한지 여부를 결정할 수 있다. 식별된 보충 콘텐츠에 따라, 미디어 가이던스 어플리케이션은, 항목(412)이 이미지를 표시하기 위해 이용 가능하다고 결정하고 영역(406) 상에 보충 콘텐츠를 표시할 수 있어, 항목(412)을 커버한다. 영역(408)과 같은 다른 영역은 공간의 크기 또는 형상을 제한하는 구조적 항목을 가질 수 있다. 영역(414)은, 미디어 가이던스 어플리케이션이 보충 콘텐츠를 표시하는 데 이용 가능하지 않다고 결정한 문을 배제하는 영역(408) 내의 영역이다. 본 예에서, 미디어 가이던스 어플리케이션은 문을 포함하는 영역(408)을 필터링 배제할 수 있고, 대신 통상적이지 않은 형상이 사용자 장치(404) 상에 표시된 프레임에 대해 식별된 보충 콘텐츠와 함께 작동하는 한 보충 콘텐츠를 표시할 가능한 영역의 리스트 내에 영역(414)을 포함할 수 있다. 영역(410)과 같은 다른 영역에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠를 표시하기 위해 이용 가능한 영역(416)을 식별할 수 있고, 보충 콘텐츠의 가능한 표시를 위해 이용 가능한 영역들 중 하나로서 영역(410) 대신 영역(416)을 포함할 수 있다.
미디어 가이던스 어플리케이션은 카메라를 사용하여 사용자 장치(404) 부근의 영역(406, 408 및 410)과 같은 하나 이상의 영역을 모니터링한다. 예를 들어, 미디어 가이던스 어플리케이션은 카메라로부터의 카메라 피드백에 기초하여 사용자 장치(404) 주위의 룸을 분석하고, 영역(406, 408, 및 410)과 같은 보충 콘텐츠에 대해 이용 가능할 수 있는 벽 또는 다른 표면을 갖는 룸의 섹션을 식별하고, 이들 섹션을 모니터링할 수 있다.
미디어 가이던스 어플리케이션은 모니터링에 기초하여 영역(406, 408 및 410)과 같은, 사용자 장치(404) 부근의 하나 이상의 영역의 각각에 대한 치수를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 룸의 분석 및 모니터링에 기초하여 벽의 치수, 크기 및 배향과 룸 주위의 이용 가능한 표면을 계산할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠를 표시하기에 적절한 하나 이상의 부분에 대해, 영역(406, 408, 410)과 같은 사용자 장치(404) 부근의 하나 이상의 영역을 분석한다. 예를 들어, 미디어 가이던스 어플리케이션은 영역(414)과 같은 임의의 방해물이 없는 벽을 식별하고, 벽 섹션이 보충 콘텐츠의 디스플레이에 이용 가능한지 여부에 기초하여 벽을 분석할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 분석에 기초하여 보충 콘텐츠를 표시하기에 적합한 부분을 선택한다. 예를 들어, 미디어 가이던스 어플리케이션은 방해받지 않고, 그에 따라 보충 콘텐츠를 표시하는 데 이용 가능한 벽의 영역을 선택할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 선택된 부분에 대한 하나 이상의 영역의 크기, 형상 및 배향을 나타내는 치수를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 디스플레이에 이용 가능하도록 천장 상의 영역을 선택할 수 있으며, 공간의 크기뿐만 아니라, 중앙 팬 또는 천장 조명이 선택된 영역에 포함되지 않도록 아래로 향하는 배향 및 도넛 형상을 포함하는 치수를 결정할 수 있다.
미디어 가이던스 어플리케이션은 사용자 장치(404) 상에 표현되는 미디어 자산의 장면과 연관된 보충 콘텐츠를 서치한다. 예를 들어, 미디어 가이던스 어플리케이션은 사용자 장치(404) 상에서 재생되는 영화의 장면과 연관된 보충 콘텐츠를 보충 콘텐츠 데이터베이스로부터 서치할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 장면에서 표현되는 객체 및 위치 중 적어도 하나를 식별한다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 식별된 객체 및 위치 중 적어도 하나에 기초하여 장면과 연관된 플롯 정보를 식별한다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 장면과 연관된 플롯 정보와 매칭하는 보충 콘텐츠에 대한 보충 콘텐츠의 데이터베이스를 서치한다.
미디어 가이던스 어플리케이션은 보충 콘텐츠의 치수를 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은 보충 콘텐츠와 연관된 태그에 기초하여 보충 콘텐츠의 의도된 치수를 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 크기, 형상 및 배향 중 하나를 식별한다. 예를 들어, 일부 보충 콘텐츠는 아래로부터의 구름의 이미지와 같이, 아래로부터 보이도록 배향될 수 있다.
미디어 가이던스 어플리케이션은 보충 콘텐츠의 치수를 영역(406, 408 및 410)과 같은 하나 이상의 영역 각각에 대한 치수와 비교한다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 치수와 하나 이상의 영역 각각에 대한 치수를 비교하고, 하나 이상의 영역 각각의 크기, 형상 및 배향 중 하나를 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 비교하는 것을 더 포함한다. 예를 들어, 미디어 가이던스 어플리케이션은 영역의 형상을 보충 콘텐츠의 형상과 비교하거나, 영역의 배향과 보충 콘텐츠의 배향을 비교할 수 있다.
미디어 가이던스 어플리케이션은 비교에 기초하여 하나 이상의 영역의 서브셋을 필터링한다. 예를 들어, 미디어 가이던스 어플리케이션은 식별된 보충 콘텐츠를 표시하는 데 이용 가능한 영역을 식별하도록 영역을 필터링할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 하나 이상의 영역 중 하나와 연관된 객체를 식별한다. 예를 들어, 미디어 가이던스 어플리케이션은 영역(410)에 책장이 있음을 식별할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 카메라에 의해 식별된 객체를 알려진 객체와 비교하여, 그 객체가 보충 콘텐츠의 디스플레이에 이용 가능한지를 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 윈도우를 커버하는 블라인드를 식별할 수 있고, 알려진 객체의 데이터베이스를 통해 서치한 후, 윈도우를 커버하는 블라인드가 보충 콘텐츠를 표시하는 데 이용 가능한 것으로 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은, 객체가 비교에 기초하여 보충 콘텐츠를 표시하는 데 이용 가능하지 않다고 결정한다. 예를 들어, 미디어 가이던스 어플리케이션은 알려진 객체의 데이터베이스를 서치하여, 보충 콘텐츠가 책장 상부에 표시될 수 없는 것으로 결정할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 하나 이상의 영역으로부터 하나 이상의 영역 중 하나를 제거한다. 예를 들어, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 표시를 위해 이용 가능한 영역으로부터 책장을 갖는 영역을 필터링 배제할 수 있다. 본 예에서, 미디어 가이던스 어플리케이션은 문을 포함하는 영역(408)을 필터링 배제할 수 있으며, 대신 사용자 장치(404) 상에 표시되는 프레임에 대해 식별된 보충 콘텐츠와 통상적이지 않은 형상이 작동하는 한 보충 콘텐츠를 표시하는 가능한 영역의 리스트 내에 영역(414)을 포함할 수 있다. 영역(410)과 같은 다른 영역에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠를 표시하기 위해 이용 가능한 영역(416)을 식별할 수 있고, 보충 콘텐츠의 가능한 디스플레이를 위해 이용 가능한 영역 중 하나로서 영역(410) 대신 영역(416)을 포함할 수 있다.
미디어 가이던스 어플리케이션은 영역(406, 414 및 416)과 같은, 사용자 장치(404) 부근의 하나 이상의 영역의 서브셋에 표시하기 위한 보충 콘텐츠를 프로젝터로 송신한다. 미디어 가이던스 디스플레이는 다른 텔레비젼 스크린, 태블릿 또는 증강 현실 안경 세트와 같은 사용자 장치(404)의 영역 내의 임의의 디스플레이 장치에 보충 콘텐츠를 송신할 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 복수의 부분을 결정한다. 예를 들어, 보충 콘텐츠는 측면으로부터 나무를 보여주는 이미지와 아래로부터 구름을 보여주는 이미지와 같이 상이한 치수의 개별 이미지일 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 보충 콘텐츠의 복수의 부분 각각을 하나 이상의 영역의 서브셋 중 하나에 매칭시킨다. 예를 들어, 미디어 가이던스 어플리케이션은 하나의 이미지를 영역(416)에 대한 하나의 이미지 및 영역(414)에 대한 다른 이미지에 매칭시킬 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 복수의 공간의 서브셋 중 대응하는 하나 상에 보충 콘텐츠의 복수의 부분의 각각을 표시하기 위해 생성한다. 예를 들어, 미디어 가이던스 어플리케이션은 각각의 이미지를 룸 주위의 대응하는 영역 상에 표시할 수 있다.
임의의 주어진 콘텐츠 전달 시스템에서 사용자에게 이용 가능한 콘텐츠의 양은 상당할 수 있다. 따라서, 많은 사용자는, 사용자가 콘텐츠 선택을 효율적으로 탐색할 수 있게 하고 이들이 원하는 콘텐츠를 용이하게 식별할 수 있게 하는 인터페이스를 통해 미디어 가이던스의 형태를 원한다. 이러한 가이던스를 제공하는 어플리케이션이 본원에서 상호 작용 미디어 가이던스 어플리케이션으로 칭해지며, 때로는 미디어 가이던스 어플리케이션 또는 가이던스 어플리케이션으로 칭해진다.
상호 작용 미디어 가이던스 어플리케이션은, 이들이 가이던스를 제공하는 콘텐츠에 따라 다양한 형태를 취할 수 있다. 하나의 통상적인 유형의 미디어 가이던스 어플리케이션은 상호 작용 텔레비젼 프로그램 가이드이다. 상호 작용 텔레비젼 프로그램 가이드(때로는 전자 프로그램 가이드로 칭해짐)는 특히, 사용자가 많은 유형의 콘텐츠 또는 미디어 자산 중에서 탐색하고 찾을 수 있는 공지된 가이던스 어플리케이션이다. 상호 작용 미디어 가이던스 어플리케이션은, 사용자가 콘텐츠를 탐색하고 위치를 찾고 선택할 수 있게 하는 그래픽 사용자 인터페이스 스크린을 생성할 수 있다. 본원에서 언급되는 바와 같이, "미디어 자산" 및 "콘텐츠"라는 용어는 텔레비젼 프로그래밍뿐만 아니라 페이-퍼-뷰(pay-per-view) 프로그램, (주문형 비디오(VOD) 시스템과 같은) 주문형 프로그램, 인터넷 콘텐츠(예를 들어, 스트리밍 콘텐츠, 다운로드 가능한 콘텐츠, 웹캐스트 등), 비디오 클립, 오디오, 콘텐츠 정보, 그림, 회전 이미지, 문서, 재생 리스트, 웹사이트, 기사, 서적, 전자 서적, 블로그, 챗 세션, 소셜 미디어, 어플리케이션, 게임 및/또는 임의의 다른 미디어 또는 멀티미디어 및/또는 이들의 조합과 같은 전자적으로 소비 가능한 사용자 자산을 의미하는 것으로 이해되어야 한다. 가이던스 어플리케이션은 또한, 사용자가 콘텐츠를 탐색하고 찾을 수 있게 한다. 본원에서 언급되는 바와 같이, "멀티미디어"라는 용어는 예를 들어, 텍스트, 오디오, 이미지, 비디오 또는 상호 작용 콘텐츠 형식과 같이 상술한 적어도 2개의 서로 다른 콘텐츠 형식을 이용하는 콘텐츠를 의미하는 것으로 이해되어야 한다. 콘텐츠는 사용자 장비 장치에 의해 녹화, 재생, 표시 또는 액세스될 수 있지만, 또한 라이브 공연의 일부일 수 있다.
본원에서 논의된 실시예들 중 임의의 것을 수행하기 위한 미디어 가이던스 어플리케이션 및/또는 임의의 명령어는 컴퓨터 판독 가능 매체 상에 인코딩될 수 있다. 컴퓨터 판독 가능 매체는 데이터를 저장할 수 있는 임의의 매체를 포함한다. 컴퓨터 판독 가능 매체는 전기 신호 또는 전자기 신호를 전파하는 것을 포함하지만 이에 한정되지 않는 일시적일 수 있거나, 하드 디스크, 플로피 디스크, USB 드라이브, DVD, CD, 미디어 카드, 레지스터 메모리, 프로세서 캐시, 랜덤 액세스 메모리("RAM") 등과 같은 휘발성 및 비휘발성 컴퓨터 메모리 또는 저장소를 포함하지만 이에 한정되지 않는 비일시적일 수 있다.
인터넷, 모바일 컴퓨팅 및 고속 무선 네트워크의 출현으로, 사용자는 통상적으로 액세스하지 않았던 사용자 장비 장치 상의 미디어에 액세스하고 있다. 본원에서 언급되는 "사용자 장비 장치", "사용자 장비", "사용자 장치", "전자 장치", "전자 장비", "미디어 장비 장치" 또는 "미디어 장치"라는 문구는 텔레비젼, 스마트 TV, 셋톱 박스, 위성 텔레비젼을 취급하기 위한 통합 수신기 디코더(IRD), 디지털 저장 장치, 디지털 미디어 수신기(DMR), 디지털 미디어 어댑터(DMA), 스트리밍 미디어 장치, DVD 플레이어, DVD 레코더, 접속된 DVD, 로컬 미디어 서버, BLU-RAY 플레이어, BLU-RAY 레코더, 퍼스널 컴퓨터(PC), 랩탑 컴퓨터, 태블릿 컴퓨터, WebTV 박스, 퍼스널 컴퓨터 텔레비젼(PC/TV), PC 미디어 서버, PC 미디어 센터, 휴대용 컴퓨터, 고정 전화기, 퍼스널 디지털 기기(PDA), 모바일 전화, 휴대용 비디오 플레이어, 휴대용 음악 플레이어, 휴대용 게임기, 스마트 폰, 또는 임의의 다른 텔레비젼 장비, 컴퓨팅 장비, 또는 무선 장치, 및/또는 이들의 조합과 같은 상술한 콘텐츠에 액세스하기 위한 임의의 장치를 의미하는 것으로 이해되어야 한다. 일부 실시예에서, 사용자 장비 장치는 전면 지향 스크린 및 후면 지향 스크린, 복수의 전면 스크린 또는 복수의 각진 스크린을 가질 수 있다. 일부 실시예에서, 사용자 장비는 전면 지향 카메라 및/또는 후면 대향 카메라를 가질 수 있다. 이러한 사용자 장비 장치에서, 사용자는 텔레비젼을 통해 이용 가능한 동일한 콘텐츠를 탐색하고 찾을 수 있다. 따라서, 이러한 장치에서도 미디어 가이드가 이용할 수 있다. 제공되는 가이던스는 텔레비젼을 통해서만 이용 가능한 콘텐츠, 하나 이상의 다른 유형의 사용자 장비 장치를 통해서만 이용 가능한 콘텐츠, 또는 텔레비젼 및 하나 이상의 다른 유형의 사용자 장비 장치 모두를 통해 이용 가능한 콘텐츠에 대한 것일 수 있다. 미디어 가이던스 어플리케이션은 온-라인 어플리케이션(즉, 웹-사이트 상에서 제공됨)으로서 또는 독립형 어플리케이션 또는 사용자 장비 장치 상의 클라이언트로서 제공될 수 있다. 미디어 가이던스 어플리케이션을 구현할 수 있는 다양한 장치 및 플랫폼이 이하에서 보다 상세하게 설명된다.
미디어 가이던스 어플리케이션의 기능 중 하나는 미디어 가이던스 데이터를 사용자에게 제공하는 것이다. 본원에 언급되는 "미디어 가이던스 데이터" 또는 "가이던스 데이터"라는 문구는 가이던스 어플리케이션을 동작시키는 데 사용되는 콘텐츠 또는 데이터와 관련된 임의의 데이터를 의미하는 것으로 이해되어야 한다. 예를 들어, 가이던스 데이터는 프로그램 정보, 가이던스 어플리케이션 설정, 사용자 선호도, 사용자 프로필 정보, 미디어 리스트, 미디어-관련 정보(예를 들어, 브로드캐스트 시간, 브로드캐스트 채널, 제목, 설명, 등급 정보(예를 들어, 부모 통제 등급, 평론가의 등급 등), 장르 또는 카테고리 정보, 배우 정보, 방송사 또는 공급자의 로고에 대한 로고 데이터 등), 미디어 포맷(예를 들어, 표준 선명도, 고선명도, 3D 등), 주문형 정보, 블로그, 웹사이트 및 사용자가 원하는 콘텐츠 선택을 탐색하고 찾는 데 도움이 되는 임의의 다른 유형의 가이던스 데이터를 포함할 수 있다.
도 5 및 도 6은 미디어 가이던스 데이터를 제공하는데 사용될 수 있는 예시적인 디스플레이 스크린을 나타낸다. 도 5 및 도 6에 나타낸 디스플레이 스크린은 임의의 적절한 사용자 장비 장치 또는 플랫폼 상에 구현될 수 있다. 도 5 및 도 6의 디스플레이가 풀 스크린 디스플레이로 나타내어져 있지만, 표시되는 콘텐츠 위에 전체로 또는 부분적으로 겹칠 수도 있다. 사용자는 디스플레이 스크린에 제공된 선택 가능한 옵션(예를 들어, 메뉴 옵션, 리스트 옵션, 아이콘, 하이퍼링크 등) 또는 리모트 컨트롤 또는 다른 사용자 입력 인터페이스 또는 장치 상의 전용 버튼(예를 들어, 가이드 버튼)을 선택함으로써 콘텐츠 정보에 액세스하려는 것을 나타낼 수 있다. 사용자의 표시에 응답하여, 미디어 가이던스 어플리케이션은, 그리드 내의 시간 및 채널별, 시간별, 채널별, 소스별, 콘텐츠 유형별, 카테고리별(예를 들어, 영화, 스포츠, 뉴스, 어린이 또는 다른 프로그래밍의 카테고리) 또는 다른 사전 정의된, 사용자 정의된, 또는 다른 편성 기준과 같이 몇몇 방식 중 하나로 편성된 미디어 가이던스 데이터를 디스플레이 스크린에 제공할 수 있다.
도 5는 시간 및 채널에 의해 배열되고 또한 단일 디스플레이에서 상이한 유형의 콘텐츠에 대한 액세스를 가능하게 하는 프로그램 목록 디스플레이(500)의 예시적인 그리드를 나타낸다. 디스플레이(500)는: (1) 각 채널/콘텐츠 유형 식별자(열 내의 셀임)가 이용 가능한 상이한 채널 또는 콘텐츠 유형을 식별하는 채널/콘텐츠 유형 식별자의 열(504); 및 (2) 각 시간 식별자(행의 셀임)가 프로그래밍의 시간 블록을 식별하는 시간 식별자의 행(506)을 갖는 그리드(502)를 포함할 수 있다. 그리드(502)는 또한 프로그램 목록(508)과 같은 프로그램 목록의 셀을 포함하며, 각 목록은 목록의 연관된 채널 및 시간에 제공된 프로그램의 제목을 제공한다. 사용자 입력 장치로, 사용자는 하이라이트 영역(510)을 이동시킴으로써 프로그램 목록을 선택할 수 있다. 하이라이트 영역(510)에 의해 선택된 프로그램 목록에 관한 정보는 프로그램 정보 영역(512)에 제공될 수 있다. 영역(512)은 예를 들어, 프로그램 제목, 프로그램 설명, 프로그램이 제공되는 시간(적용 가능한 경우), 프로그램이 있는 채널(적용 가능한 경우), 프로그램의 등급 및 다른 원하는 정보를 포함할 수 있다.
선형 프로그래밍(예를 들어, 미리 정해진 시간에 복수의 사용자 장비 장치로 송신되도록 스케줄링되고 스케줄에 따라 제공되는 콘텐츠)에 대한 액세스를 제공하는 것에 추가하여, 미디어 가이던스 어플리케이션은 또한 비선형 프로그래밍(예를 들어, 사용자 장비 장치에 임의의 시간에 액세스할 수 있고 스케줄에 따라 제공되지 않는 콘텐츠)에 대한 액세스를 제공한다. 비선형 프로그래밍은 주문형 콘텐츠(예를 들어, VOD), 인터넷 콘텐츠(예를 들어, 스트리밍 미디어, 다운로드 가능한 미디어 등), 로컬 저장 콘텐츠(예를 들어, 상술한 임의의 사용자 장비 장치 또는 다른 저장 장치에 저장된 콘텐츠), 또는 다른 시간-독립적인 콘텐츠를 포함하여 상이한 콘텐츠 소스로부터의 콘텐츠를 포함할 수 있다. 주문형 콘텐츠는 영화 또는 특정 콘텐츠 공급자에 의해 제공된 임의의 다른 콘텐츠(예를 들어, "The Sopranos" 및 "Curb Your Enthusiasm"을 제공하는 HBO On Demand)를 포함할 수 있다. HBO ON DEMAND는 Time Warner Company L.P. 등이 소유한 서비스 마크이고, THE SOPRANOS 및 CURB YOUR ENTHUSIASM은 Home Box Office, Inc.가 소유한 상표이다. 인터넷 콘텐츠는 챗 세션 또는 웹캐스트와 같은 웹 이벤트, 또는 인터넷 웹 사이트 또는 다른 인터넷 액세스(예를 들어, FTP)를 통한 스트리밍 콘텐츠 또는 다운로드 가능한 콘텐츠로서 주문형으로 이용 가능한 콘텐츠를 포함할 수 있다.
그리드(502)는 주문형 목록(514), 녹화된 콘텐츠 목록(516) 및 인터넷 콘텐츠 목록(518)을 포함하는 비선형 프로그래밍을 위한 미디어 가이던스 데이터를 제공할 수 있다. 상이한 유형의 콘텐츠 소스로부터의 콘텐츠에 대한 미디어 가이던스 데이터를 결합하는 디스플레이는 때로는 "혼합-미디어" 디스플레이로 칭해진다. 디스플레이(500)와 상이하게 표시될 수 있는 미디어 가이던스 데이터 유형의 다양한 치환은 사용자 선택 또는 가이던스 어플리케이션 정의(예를 들어, 녹화 및 브로드캐스트 목록만의 디스플레이, 주문형 및 브로드캐스트 목록만의 디스플레이 등)에 기초할 수 있다. 나타낸 바와 같이, 목록(514, 516 및 518)은 그리드(502)에 표시된 전체 시간 블록에 걸친 것으로 나타내어져, 이러한 목록의 선택이 각각 주문형 목록, 녹화된 목록 또는 인터넷 목록에 전용인 디스플레이에 대한 액세스를 제공할 수 있음을 나타낸다. 일부 실시예에서, 이들 콘텐츠 유형에 대한 목록은 그리드(502)에 직접 포함될 수 있다. 추가 미디어 가이던스 데이터는 사용자가 내비게이션 아이콘(520) 중 하나를 사용자가 선택하는 것에 응답하여 표시될 수 있다. (사용자 입력 장치 상의 화살표 키를 누르면, 내비게이션 아이콘(520)을 선택하는 것과 유사한 방식으로 디스플레이에 영향을 줄 수 있음.)
디스플레이(500)는 또한 비디오 영역(522) 및 옵션 영역(526)을 포함할 수 있다. 비디오 영역(522)은, 사용자에 대해 현재 이용 가능하거나, 이용 가능할 것이거나, 이용 가능했던 프로그램을 사용자가 시청 및/또는 프리뷰 가능하게 할 수 있다. 비디오 영역(522)의 콘텐츠는 그리드(502)에 표시된 목록들 중 하나에 대응하거나, 이로부터 독립적일 수 있다. 비디오 영역을 포함하는 그리드 디스플레이는 때로는 픽쳐-인-가이드(PIG: picture-in-guide) 디스플레이로 칭해진다. PIG 디스플레이 및 그 기능은 Satterfield 등의 2003년 5월 13일자로 허여된 미국 특허 제6,564,378호 및 Yuen 등의 2001년 5월 29일자로 허여된 미국 특허 제6,239,794호에 더욱 상세하게 설명되어 있으며, 이들은 그 전체로 본원에 참고로 통합된다. PIG 디스플레이는 본원에 설명되는 실시예의 다른 미디어 가이던스 어플리케이션 디스플레이 스크린에 포함될 수 있다.
옵션 영역(526)은, 사용자가 상이한 유형의 콘텐츠, 미디어 가이던스 어플리케이션 디스플레이, 및/또는 미디어 가이던스 어플리케이션 피쳐에 액세스하는 것을 허용할 수 있다. 옵션 영역(526)은 디스플레이(500)(및 본원에 설명된 다른 디스플레이 스크린)의 일부일 수 있거나, 온-스크린 옵션을 선택하거나 사용자 입력 장치 상의 전용 또는 할당 가능한 버튼을 누름으로써 사용자에 의해 호출될 수 있다. 옵션 영역(526) 내의 선택 가능한 옵션은 그리드(502)의 프로그램 목록과 관련된 피쳐에 관한 것일 수 있거나, 메인 메뉴 디스플레이로부터 이용 가능한 옵션을 포함할 수 있다. 프로그램 목록과 관련된 피쳐는 프로그램 수신, 프로그램 녹화, 프로그램의 연속 녹화 인에이블링, 즐겨찾기로서 프로그램 및/또는 채널 설정, 프로그램 구매, 또는 다른 피쳐의 다른 방송 시간 또는 방법에 대한 서치를 포함할 수 있다. 메인 메뉴 디스플레이에서 이용 가능한 옵션은 서치 옵션, VOD 옵션, 자녀 통제 옵션, 인터넷 옵션, 클라우드-기반 옵션, 장치 동기화 옵션, 보조 스크린 장치 옵션, 다양한 유형의 미디어 가이던스 데이터 디스플레이에 액세스하는 옵션, 프리미엄 서비스에 대한 가입 옵션, 사용자 프로필 편집 옵션, 브라우즈 오버레이 액세스 옵션, 또는 다른 옵션을 포함할 수 있다.
미디어 가이던스 어플리케이션은 사용자의 선호도에 기초하여 개인화될 수 있다. 개인화된 미디어 가이던스 어플리케이션은, 사용자가 디스플레이 및 피쳐를 맞춤화할 수 있게 하여, 미디어 가이던스 어플리케이션으로 개인화된 "경험"을 생성한다. 이러한 개인화된 경험은 사용자가 이러한 맞춤화를 입력할 수 있게 하여 및/또는 사용자 활동을 모니터링하는 미디어 가이던스 어플리케이션에 의해 생성될 수 있어 다양한 사용자 선호도를 결정한다. 사용자는 로그인하거나 이와 달리 자신을 가이던스 어플리케이션에 식별함으로써 그 개인화된 가이던스 어플리케이션에 액세스할 수 있다. 미디어 가이던스 어플리케이션의 맞춤화는 사용자 프로파일에 따라 이루어질 수 있다. 사용자 맞춤화는 다양한 프리젠테이션 스킴(예를 들어, 디스플레이의 컬러 스킴, 텍스트의 폰트 크기 등), 표시된 콘텐츠 목록의 양태(예를 들어, HDTV만 또는 3D 프로그래밍만, 즐겨찾기 채널 선택에 기초한 사용자-지정 브로드캐스트 채널, 채널, 추천 콘텐츠의 디스플레이의 재순서화 등), 원하는 녹화 피쳐(예를 들어, 특정 사용자의 녹화 또는 연속 녹화, 녹화 품질 등), 부모 통제 설정, 인터넷 콘텐츠의 맞춤화된 프리젠테이션(예를 들어, 소셜 미디어 콘텐츠, 이-메일, 전자적으로 전달된 기사 등) 및 다른 원하는 맞춤화를 포함할 수 있다.
미디어 가이던스 어플리케이션은, 사용자가 사용자 프로파일 정보를 제공할 수 있게 하거나 사용자 프로파일 정보를 자동으로 컴파일할 수 있다. 미디어 가이던스 어플리케이션은 예를 들어, 사용자가 액세스하는 콘텐츠 및/또는 사용자가 가이던스 어플리케이션으로 가질 수 있는 다른 상호 작용을 모니터링할 수 있다. 또한, 미디어 가이던스 어플리케이션은 (예를 들어, www.allrovi.com과 같이 사용자가 액세스하는 인터넷 상의 다른 웹 사이트로부터, 사용자가 액세스하는 다른 미디어 가이던스 어플리케이션으로부터, 사용자가 액세스하는 다른 상호 작용 어플리케이션으로부터, 사용자의 다른 사용자 장비 장치로부터, 등) 특정 사용자와 관련된 다른 사용자 프로필의 전체 또는 일부를 얻을 수 있고/있거나 미디어 가이던스 어플리케이션이 액세스할 수 있는 다른 소스로부터 사용자에 관한 정보를 얻을 수 있다. 결과적으로, 사용자는 사용자의 상이한 사용자 장비 장치에 걸쳐 통일된 가이던스 어플리케이션 경험을 제공받을 수 있다. 이러한 유형의 사용자 경험이 도 8과 관련하여 아래에서 보다 상세히 설명된다. 추가적인 개인화된 미디어 가이던스 어플리케이션 피쳐가, Ellis 등의 2005년 7월 11일자로 출원된 미국 특허 출원 공개 제2005/0251827호, Boyer 등의 2007년 1월 16일자로 허여된 미국 특허 제7,165,098호, 및 Ellis 등의 2002년 2월 21일자로 출원된 미국 특허 출원 공개 제2002/0174430호에 더욱 상세하게 설명되어 있으며, 이들은 그 전체로 본원에 참고로 통합된다.
미디어 가이던스를 제공하기 위한 다른 디스플레이 구성이 도 6에 나타내어져 있다. 비디오 모자이크 디스플레이(600)는 콘텐츠 유형, 장르 및/또는 다른 편성 기준에 기초하여 편성된 콘텐츠 정보에 대한 선택 가능한 옵션(602)을 포함한다. 디스플레이(600)에서, 텔레비젼 목록 옵션(604)이 선택되고, 브로드캐스트 프로그램 목록으로서 목록(606, 608, 610 및 612)을 제공한다. 디스플레이(600)에서, 목록은 커버 아트, 콘텐츠로부터의 스틸 이미지, 비디오 클립 프리뷰, 콘텐츠로부터의 라이브 비디오, 또는 목록에서 미디어 가이던스 데이터에 의해 설명되는 콘텐츠를 사용자에게 나타내는 다른 유형의 콘텐츠를 포함하는 그래픽 이미지를 제공할 수 있다. 각 그래픽 목록은 또한 텍스트를 수반하여 목록과 연관된 콘텐츠에 대한 추가 정보를 제공할 수 있다. 예를 들어, 목록(608)은 미디어부(614) 및 텍스트부(616)를 포함하여 하나 초과의 부분을 포함할 수 있다. 미디어부(614) 및/또는 텍스트부(616)는 풀-스크린으로 콘텐츠를 보거나, 미디어부(614)에 표시된 콘텐츠와 관련된 정보를 보기 위해 (예를 들어, 비디오가 표시되는 채널에 대한 목록을 보기 위해) 선택 가능할 수 있다.
디스플레이(600)의 목록은 상이한 크기를 갖지만(즉, 목록(606)은 목록(608, 610 및 612)보다 큼), 원한다면 모든 목록은 동일한 크기일 수 있다. 목록은 콘텐츠 공급자가 원하는대로 또는 사용자 선호도에 기초하여, 사용자에게 관심 있는 정도를 나타내거나 특정 콘텐츠를 강조하기 위해 상이한 크기일 수 있거나 그래픽으로 강조될 수 있다. 콘텐츠 목록을 그래픽으로 강조하기 위한 다양한 시스템 및 방법은 예를 들어, Yates의 2009년 11월 12일자로 출원된 미국 특허 출원 공개 제2010/0153885호에서 언급되며, 이는 그 전체로 본원에 참고로 통합된다.
사용자는 하나 이상의 그 사용자 장비 장치로부터 콘텐츠 및 미디어 가이던스 어플리케이션(및 상술한 및 아래에 설명되는 그 디스플레이 스크린)에 액세스할 수 있다. 도 7은 예시적인 사용자 장비 장치(700)의 일반화된 실시예를 나타낸다. 사용자 장비 장치의 보다 구체적인 구현이 도 8과 관련하여 아래에 설명된다. 사용자 장비 장치(700)는 입력/출력(이하, "I/O") 경로(702)를 통해 콘텐츠 및 데이터를 수신할 수 있다. I/O 경로(702)는 콘텐츠(예를 들어, 브로드캐스트 프로그래밍, 주문형 프로그래밍, 인터넷 콘텐츠, 근거리 네트워크(LAN) 또는 광역 네트워크(WAN)를 통해 이용 가능한 콘텐츠, 및/또는 다른 콘텐츠) 및 데이터를 프로세싱 회로(706) 및 저장소(708)를 포함하는 제어 회로(704)로 제공할 수 있다. 제어 회로(704)는 I/O 경로(702)를 사용하여 커맨드, 요청 및 다른 적절한 데이터를 전송 및 수신하는 데 사용될 수 있다. I/O 경로(702)는 제어 회로(704)(및 구체적으로 프로세싱 회로(706))를 하나 이상의 통신 경로(후술함)에 접속시킬 수 있다. I/O 기능은 이들 통신 경로 중 하나 이상에 의해 제공될 수 있지만, 도 7에서는 도면이 지나치게 복잡하게 되지 않도록 단일 경로로서 나타내어진다.
제어 회로(704)는 프로세싱 회로(706)와 같은 임의의 적절한 프로세싱 회로에 기초할 수 있다. 본원에서 언급되는 바와 같이, 프로세싱 회로는 하나 이상의 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 프로세서, 프로그래머블 논리 장치, 필드-프로그래머블 게이트 어레이(FPGA), 어플리케이션-특정 집적 회로(ASIC) 등에 기초한 회로를 의미하는 것으로 이해되어야 하며, 멀티-코어 프로세서(예를 들어, 듀얼-코어, 쿼드-코어, 헥사-코어 또는 임의의 적절한 수의 코어) 또는 슈퍼컴퓨터를 포함할 수 있다. 일부 실시예에서, 프로세싱 회로는 복수의 개별 프로세서 또는 프로세싱 유닛, 예를 들어 복수의 동일한 유형의 프로세싱 유닛(예를 들어, 2개의 Intel Core i7 프로세서) 또는 복수의 상이한 프로세서(예를 들어, Intel Core i5 프로세서 및 Intel Core i7 프로세서)에 걸쳐 분산될 수 있다. 일부 실시예에서, 제어 회로(704)는 메모리(즉, 저장소(708))에 저장된 미디어 가이던스 어플리케이션에 대한 명령어를 실행한다. 구체적으로, 제어 회로(704)는 상술하거나 아래에 논의하는 기능을 수행하도록 미디어 가이던스 어플리케이션에 의해 지시될 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은 미디어 가이던스 디스플레이를 생성하도록 제어 회로(704)에 명령어를 제공할 수 있다. 일부 구현에서, 제어 회로(704)에 의해 수행되는 임의의 액션은 미디어 가이던스 어플리케이션으로부터 수신된 명령어들에 기초할 수 있다.
클라이언트-서버 기반 실시예에서, 제어 회로(704)는 가이던스 어플리케이션 서버 또는 다른 네트워크 또는 서버와 통신하기에 적절한 통신 회로를 포함할 수 있다. 상술한 기능을 수행하기 위한 명령어는 가이던스 어플리케이션 서버에 저장될 수 있다. 통신 회로는 케이블 모뎀, 통합 서비스 디지털 네트워크(ISDN) 모뎀, 디지털 가입자 라인(DSL) 모뎀, 전화 모뎀, 이더넷 카드, 또는 다른 장비와의 통신을 위한 무선 모뎀, 또는 임의의 다른 적절한 통신 회로를 포함할 수 있다. 이러한 통신은 인터넷 또는 임의의 다른 적절한 통신 네트워크 또는 경로(도 8과 관련하여 보다 상세하게 설명됨)를 포함할 수 있다. 또한, 통신 회로는 사용자 장비 장치의 피어-투-피어 통신 또는 서로 멀리 떨어진 위치에서의 사용자 장비 장치의 통신을 가능하게 하는 회로를 포함할 수 있다(보다 상세히 후술됨).
메모리는 제어 회로(704)의 일부인 저장소(708)로서 제공되는 전자 저장 장치일 수 있다. 본원에서 언급되는 "전자 저장 장치" 또는 "저장 장치"라는 문구는 랜덤-액세스 메모리, 판독-전용 메모리, 하드 드라이브, 광학 드라이브, 디지털 비디오 디스크(DVD) 레코더, 컴팩트 디스크(CD) 레코더, BLU-RAY 디스크(BD) 레코더, BLU-RAY 3D 디스크 레코더, 디지털 비디오 레코더(DVR, 개인용 비디오 레코더 또는 PVR이라고 때로 칭해짐), 솔리드 스테이트 장치, 퀀텀 저장 장치, 게임 콘솔, 게임 미디어 또는 임의의 다른 적절한 고정식 또는 이동식 저장 장치 및/또는 이들의 임의의 조합과 같은 전자 데이터, 컴퓨터 소프트웨어 또는 펌웨어를 저장하기 위한 임의의 장치를 의미하는 것으로 이해되어야 한다. 저장소(708)는 상술한 미디어 가이던스 데이터뿐만 아니라 본원에 설명되는 다양한 유형의 콘텐츠를 저장하는 데 사용될 수 있다. 비휘발성 메모리가 (예를 들어, 부트-업 루틴 및 다른 명령어를 론칭하기 위해) 또한 사용될 수 있다. 도 8과 관련하여 설명된 클라우드-기반 스토리지가 저장소(708)를 보충하기 위해 또는 저장소(708) 대신 사용될 수 있다.
제어 회로(704)는 하나 이상의 아날로그 튜너, 하나 이상의 MPEG-2 디코더 또는 다른 디지털 디코딩 회로, 고선명 튜너, 또는 임의의 다른 적절한 튜닝 또는 비디오 회로 또는 이러한 회로들의 조합과 같은 비디오 생성 회로 및 튜닝 회로를 포함할 수 있다. 또한, (예를 들어, 공중파, 아날로그 또는 디지털 신호를 저장용 MPEG 신호로 변환하기 위한) 인코딩 회로가 제공될 수 있다. 제어 회로(704)는 또한 콘텐츠를 사용자 장비(700)의 바람직한 출력 포맷으로 업컨버팅 및 다운컨버팅하기 위한 스케일러 회로를 포함할 수 있다. 회로(704)는 또한 디지털 신호와 아날로그 신호 사이의 변환을 위한 디지털-대-아날로그 변환기 회로 및 아날로그-대-디지털 변환기 회로를 포함할 수 있다. 튜닝 및 인코딩 회로는 사용자 장비 장치에 의해 사용되어 콘텐츠를 수신하고 표시하고, 재생하거나 또는 녹화할 수 있다. 튜닝 및 인코딩 회로는 또한 가이던스 데이터를 수신하는 데 사용될 수 있다. 예를 들어, 튜닝, 비디오 생성, 인코딩, 디코딩, 암호화, 해독, 스케일러, 및 아날로그/디지털 회로를 포함하는 본원에 설명되는 회로는 하나 이상의 범용 또는 특수 프로세서 상에서 실행되는 소프트웨어를 사용하여 구현될 수 있다. 동시 튜닝 기능(예를 들면, 감시 및 녹화 기능, 픽쳐-인-픽쳐(PIP) 기능, 복수-튜너 녹화 등)을 처리하기 위해 복수의 튜너가 제공될 수 있다. 저장소(708)가 사용자 장비(700)와 별개의 장치로서 제공되는 경우, 튜닝 및 인코딩 회로(복수의 튜너 포함)는 저장소(708)와 연관될 수 있다.
사용자는 사용자 입력 인터페이스(710)를 사용하여 제어 회로(704)에 명령어를 전송할 수 있다. 사용자 입력 인터페이스(710)는 원격 제어, 마우스, 트랙볼, 키패드, 키보드, 터치 스크린, 터치패드, 스타일러스 입력, 조이스틱, 음성 인식 인터페이스 또는 다른 사용자 입력 인터페이스와 같은 임의의 적절한 사용자 인터페이스일 수 있다. 디스플레이(712)는 독립형 장치로서 제공되거나 또는 사용자 장비 장치(700)의 다른 요소들과 통합될 수 있다. 예를 들어, 디스플레이(712)는 터치스크린 또는 터치-감지 디스플레이일 수 있다. 이러한 상황에서, 사용자 입력 인터페이스(710)는 디스플레이(712)와 통합되거나 결합될 수 있다. 디스플레이(712)는 하나 이상의 모니터, 텔레비젼, 모바일 장치용 액정 디스플레이(LCD), 비정질 실리콘 디스플레이, 저온 폴리 실리콘 디스플레이, 전자 잉크 디스플레이, 전기 영동 디스플레이, 액티브 매트릭스 디스플레이, 전자-습윤 디스플레이, 전자 유체 디스플레이, 음극선관 디스플레이, 발광 다이오드 디스플레이, 전자 발광 디스플레이, 플라즈마 디스플레이 패널, 고성능 어드레싱 디스플레이, 박막 트랜지스터 디스플레이, 유기 발광 다이오드 디스플레이, 표면-도전 전자-방출 디스플레이(SED), 레이저 텔레비젼, 탄소 나노튜브, 양자점 디스플레이, 간섭계 변조기 디스플레이, 또는 시각적 이미지를 표시하기 위한 임의의 다른 적절한 장비일 수 있다. 일부 실시예에서, 디스플레이(712)는 HDTV 가능할 수 있다. 일부 실시예에서, 디스플레이(712)는 3D 디스플레이일 수 있고, 상호 작용 미디어 가이던스 어플리케이션 및 임의의 적절한 콘텐츠가 3D로 표시될 수 있다. 비디오 카드 또는 그래픽 카드가 디스플레이(712) 로의 출력을 생성할 수 있다. 비디오 카드는 3D 장면 및 2D 그래픽의 가속 렌더링, MPEG-2/MPEG-4 디코딩, TV 출력 또는 복수의 모니터 접속 기능과 같은 다양한 기능을 제공할 수 있다. 비디오 카드는 제어 회로(704)와 관련하여 상술한 임의의 프로세싱 회로일 수 있다. 비디오 카드는 제어 회로(704)와 통합될 수 있다. 스피커(714)는 사용자 장비 장치(700)의 다른 요소와 통합되어 제공될 수 있거나 독립형 유닛일 수 있다. 디스플레이(712) 상에 표시된 비디오 및 다른 콘텐츠의 오디오 성분은 스피커(714)를 통해 재생될 수 있다. 일부 실시예에서, 오디오는 스피커(714)를 통해 오디오를 프로세싱 및 출력하는 수신기(미도시)에 분산될 수 있다.
가이던스 어플리케이션은 임의의 적절한 아키텍처를 사용하여 구현될 수 있다. 예를 들어, 이는 사용자 장비 장치(700) 상에 전체적으로 구현된 독립형 어플리케이션일 수 있다. 이러한 접근법에서, 어플리케이션의 명령어들은 국부적으로 (예를 들어, 저장소(708)에) 저장되고, 어플리케이션에 의한 사용을 위한 데이터는 (예를 들어, 대역 외 피드로부터, 인터넷 자원으로부터, 또는 다른 적절한 접근법을 사용하여) 주기적으로 다운로드된다. 제어 회로(704)는 저장소(708)로부터 어플리케이션의 명령어를 리트리브하고, 본원에서 논의된 디스플레이 중 임의의 것을 생성하기 위해 명령어를 프로세싱할 수 있다. 프로세싱된 명령어에 기초하여, 제어 회로(704)는, 입력이 입력 인터페이스(710)로부터 수신될 때 수행할 액션을 결정할 수 있다. 예를 들어, 디스플레이 상의 커서의 위/아래 이동은, 입력 인터페이스(710)가 위/아래 버튼이 선택되었다는 것을 나타낼 때 프로세싱된 명령어에 의해 나타내어질 수 있다.
일부 실시예에서, 미디어 가이던스 어플리케이션은 클라이언트-서버 기반 어플리케이션이다. 사용자 장비 장치(700) 상에 구현된 두꺼운 또는 얇은 클라이언트에 의한 사용을 위한 데이터는 사용자 장비 장치(700)에 원격인 서버에 요청을 발행함으로써 주문형으로 리트리브된다. 클라이언트-서버 기반 가이던스 어플리케이션의 일례에서, 제어 회로(704)는 원격 서버에 의해 제공되는 웹 페이지를 인터프리팅하는 웹 브라우저를 실행한다. 예를 들어, 원격 서버는 어플리케이션에 대한 명령어를 저장 장치에 저장할 수 있다. 원격 서버는 회로(예를 들어, 제어 회로(704))를 사용하여 저장된 명령어를 프로세싱하고, 상술 및 후술하는 디스플레이를 생성할 수 있다. 클라이언트 장치는 원격 서버에 의해 생성된 디스플레이를 수신할 수 있으며, 장비 장치(700) 상에 디스플레이의 콘텐츠를 국부적으로 표시할 수 있다. 이 방법으로, 결과적인 디스플레이가 장비 장치(700) 상에 국부적으로 제공되는 동안, 명령어의 프로세싱이 서버에 의해 원격으로 수행된다. 장비 장치(700)는 입력 인터페이스(710)를 통해 사용자로부터 입력을 수신하고 대응하는 디스플레이를 프로세싱 및 생성하기 위해 이들 입력을 원격 서버에 송신할 수 있다. 예를 들어, 장비 장치(700)는, 업/다운 버튼이 입력 인터페이스(71)를 통해 선택되었음을 나타내는 통신을 원격 서버로 송신할 수 있다. 원격 서버는 그 입력에 따라 명령어를 프로세싱할 수 있으며, 입력(예를 들어, 커서를 위/아래로 이동시키는 디스플레이)에 대응하는 어플리케이션의 디스플레이를 생성할 수 있다. 생성된 디스플레이는 그 후 사용자에 대한 프리젠테이션을 위해 장비 장치(700)로 송신된다.
일부 실시예에서, 미디어 가이던스 어플리케이션은 인터프리터 또는 가상 머신(제어 회로(704)에 의해 실행됨)에 의해 다운로드되고 인터프리팅되거나 달리 실행된다. 일부 실시예에서, 가이던스 어플리케이션은 ETV 바이너리 상호 교환 포맷(EBIF)으로 인코딩되고, 적절한 피드의 일부로서 제어 회로(704)에 의해 수신되고, 제어 회로(704) 상에서 실행되는 사용자 에이전트에 의해 인터프리팅될 수 있다. 예를 들어, 가이던스 어플리케이션은 EBIF 어플리케이션일 수 있다. 일부 실시예에서, 일부 실시예에서, 가이던스 어플리케이션은 제어 회로(704)에 의해 실행되는 로컬 가상 머신 또는 다른 적절한 미들웨어에 의해 수신되고 실행되는 일련의 JAVA-기반 파일에 의해 정의될 수 있다. 이러한 일부 실시예(예를 들어, MPEG-2 또는 다른 디지털 미디어 인코딩 스킴을 채용)에서, 가이던스 어플리케이션은 예를 들어, 인코딩되어 프로그램의 MPEG 오디오 및 비디오 패킷과 함께 MPEG-2 객체 캐로셀(carousel)로 송신될 수 있다.
도 7의 사용자 장비 장치(700)는 사용자 텔레비젼 장비(802), 사용자 컴퓨터 장비(804), 무선 사용자 통신 장치(806), 또는 비휴대용 게임기와 같은 콘텐츠에 액세스하기에 적절한 임의의 다른 유형의 사용자 장비로서 도 8의 시스템(800)에서 구현될 수 있다. 간략화를 위해, 이들 장치는 본원에서 사용자 장비 또는 사용자 장비 장치로서 총괄적으로 지칭될 수 있으며, 상술한 사용자 장비 장치와 실질적으로 유사할 수 있다. 미디어 가이던스 어플리케이션이 구현될 수 있는 사용자 장비 장치는 독립형 장치로서 기능할 수 있거나 장치들의 네트워크의 일부분일 수 있다. 장치의 다양한 네트워크 구성이 구현될 수 있으며, 이하에서 더 상세히 논의된다.
도 7과 관련하여 상술한 시스템 피쳐들 중 적어도 일부를 이용하는 사용자 장비 장치는, 사용자 텔레비젼 장비(802), 사용자 컴퓨터 장비(804), 또는 무선 사용자 통신 장치(806)로서 유일하게 분류되지 않을 수 있다. 예를 들어, 사용자 텔레비젼 장비(802)는, 일부 사용자 컴퓨터 장비(804)와 같이, 인터넷 콘텐츠에 대한 액세스를 허용하는 인터넷-가능형일 수 있으며, 사용자 컴퓨터 장비(804)는 일부 텔레비젼 장비(802)와 같이, 텔레비젼 프로그래밍에 대한 액세스를 허용하는 튜너를 포함할 수 있다. 미디어 가이던스 어플리케이션은 다양한 상이한 유형의 사용자 장비 상에서 동일한 레이아웃을 가질 수 있거나, 사용자 장비의 디스플레이 성능에 맞춤화될 수 있다. 예를 들어, 사용자 컴퓨터 장비(804) 상에서, 가이던스 어플리케이션은 웹 브라우저에 의해 액세스되는 웹 사이트로서 제공될 수 있다. 다른 예에서, 가이던스 어플리케이션은 무선 사용자 통신 장치(806)에 대해 축소될 수 있다.
시스템(800)에서, 통상적으로 1개 초과의 각 유형의 사용자 장비 장치가 있지만, 도면을 과도하게 복잡하게 하지 않기 위해 각각의 하나만이 도 8에 나타내어져 있다. 또한, 각 사용자는 하나 초과의 유형의 사용자 장비 장치 및 또한 하나 초과의 각각의 유형의 사용자 장비 장치를 이용할 수 있다.
일부 실시예에서, 사용자 장비 장치(예를 들어, 사용자 텔레비젼 장비(802), 사용자 컴퓨터 장비(804), 무선 사용자 통신 장치(806))는 "제2 스크린 장치"로 지칭될 수 있다. 예를 들어, 제2 스크린 장치는 제1 사용자 장비 장치 상에 표시된 콘텐츠를 보충할 수 있다. 제2 스크린 장치 상에 표시되는 콘텐츠는 제1 장치 상에 표시된 콘텐츠를 보충하는 임의의 적합한 콘텐츠일 수 있다. 일부 실시예에서, 제2 스크린 장치는 제1 장치의 설정 및 디스플레이 선호도를 조정하기 위한 인터페이스를 제공한다. 일부 실시예에서, 제2 스크린 장치는 다른 제2 스크린 장치와 상호 작용하거나 소셜 네트워크와 상호 작용하기 위해 구성된다. 제2 스크린 장치는 제1 장치와 동일한 룸, 동일한 홈 또는 건물이지만 제1 장치와 상이한 룸 방, 또는 제1 장치와 상이한 건물에 위치될 수 있다.
또한, 사용자는 홈 내 장치 및 원격 장치에 걸쳐 일관된 미디어 가이던스 어플리케이션 설정을 유지하기 위해 다양한 설정을 설정할 수 있다. 설정은 본원에 설명되는 것뿐만 아니라, 채널 및 프로그램 즐겨 찾기, 가이던스 어플리케이션이 프로그래밍 추천을 하기 위해 이용하는 프로그래밍 선호도, 디스플레이 선호도 및 다른 바람직한 가이던스 설정을 포함한다. 예를 들어, 사용자가 그 사무실에 있는 퍼스널 컴퓨터의 예컨대 웹 사이트 www.allrovi.com과 같은 채널을 즐겨 찾기로 설정하면, 동일한 채널이 사용자의 홈 내 장치(예를 들어, 사용자 텔레비젼 장비 및 사용자 컴퓨터 장비)뿐만 아니라 원하는 경우, 사용자의 모바일 장치 상에 즐겨 찾기로서 나타날 것이다. 따라서, 하나의 사용자 장비 장치에 대해 이루어진 변경은 동일하거나 상이한 유형의 사용자 장비 장치인지 여부에 관계없이, 다른 사용자 장비 장치의 가이던스 경험을 변경할 수 있다. 또한, 이루어진 변경은 사용자에 의해 입력된 설정뿐만 아니라 가이던스 어플리케이션에서 모니터링되는 사용자 활동을 기반으로 할 수도 있다.
사용자 장비 장치는 통신 네트워크(814)에 커플링될 수 있다. 즉, 사용자 텔레비젼 장비(802), 사용자 컴퓨터 장비(804) 및 무선 사용자 통신 장치(806)는 각각 통신 경로(808, 810 및 812)를 통해 통신 네트워크(814)에 커플링된다. 통신 네트워크(814)는 인터넷, 모바일 전화 네트워크, 모바일 음성 또는 데이터 네트워크(예를 들어, 4G 또는 LTE 네트워크), 케이블 네트워크, 공중 교환 전화 네트워크, 또는 다른 유형의 통신 네트워크 또는 통신 네트워크의 조합을 포함하는 하나 이상의 네트워크일 수 있다. 경로(808, 810 및 812)는 위성 경로, 광섬유 경로, 케이블 경로, 인터넷 통신(예를 들어, IPTV)을 지원하는 경로, 자유 공간 접속(예를 들어, 브로드캐스트 또는 다른 무선 신호용), 또는 임의의 다른 적절한 유선 또는 무선 통신 경로 또는 이러한 경로들의 조합과 같은 하나 이상의 통신 경로를 개별적으로 또는 함께 포함할 수 있다. 경로(812)는 도 8에 나타낸 예시적인 실시예에서 무선 경로라는 것을 나타내기 위해 점선으로 도시되고, 경로(808 및 810)는 유선 경로임을 나타내기 위해 (이 경로는 원하는 경우 무선 경로일 수 있음) 실선으로 도시된다. 사용자 장비 장치와의 통신은 이들 통신 경로 중 하나 이상에 의해 제공될 수 있지만, 도면을 과도하게 복잡하게 하지 않기 위해 도 8에서는 단일 경로로 나타내어진다.
통신 경로가 사용자 장비 장치들 사이에 도시되지 않지만, 이들 장치들은 경로(808, 810 및 812)와 관련하여 상술한 것과 같은 통신 경로뿐만 아니라, USB 케이블, IEEE 1394 케이블과 같은 다른 근거리 점-대-점 통신 경로, 무선 경로(예를 들어, 블루투스, 적외선, IEEE 802-11x 등) 또는 유선 또는 무선 경로를 통한 다른 근거리 통신과 같은 통신 경로를 통해 서로 직접 통신할 수 있다. BLUETOOTH는 Bluetooth SIG, INC에 의해 소유된 인증 마크이다. 사용자 장비 장치는 또한 통신 네트워크(814)를 통해 간접적인 경로를 통해 서로 직접 통신할 수 있다.
시스템(800)은 각각 통신 경로(820 및 822)를 통해 통신 네트워크(814)에 커플링되는 콘텐츠 소스(816) 및 미디어 가이던스 데이터 소스(818)를 포함한다. 경로(820 및 822)는 경로(808, 810 및 812)와 관련하여 상술한 임의의 통신 경로를 포함할 수 있다. 콘텐츠 소스(816) 및 미디어 가이던스 데이터 소스(818)와의 통신은 하나 이상의 통신 경로를 통해 교환될 수 있지만, 도면을 과도하게 복잡하게 하지 않기 위해 도 8에서는 단일 경로로 나타내어진다. 또한, 하나 초과의 각각의 콘텐츠 소스(816) 및 미디어 가이던스 데이터 소스(818)가 존재할 수 있지만, 도면을 과도하게 복잡하게 하지 않기 위해 각각의 것들 중 하나만이 도 8에 나타내어져 있다. (상이한 유형의 각각의 이러한 소스가 아래에 논의된다.) 원하는 경우, 콘텐츠 소스(816) 및 미디어 가이던스 데이터 소스(818)는 하나의 소스 장치로서 통합될 수 있다. 소스들(816 및 818)과 사용자 장비 장치들(802, 804 및 806) 사이의 통신이 통신 네트워크(814)를 통하는 것으로 나타내어져 있지만, 일부 실시예에서, 소스들(816 및 818)은 경로(808, 810, 및 812)와 관련하여 상술한 바와 같이 통신 경로(도시되지 않음)를 통해 사용자 장비 장치들(802, 804 및 806)과 직접 통신할 수 있다.
콘텐츠 소스(816)는 텔레비젼 분배 설비, 케이블 시스템 헤드엔드(headend), 위성 분배 설비, 프로그래밍 소스(예를 들어, NBC, ABC, HBO 등과 같은 텔레비젼 방송국들), 중간 분배 설비 및/또는 서버, 인터넷 공급자, 주문형 미디어 서버 및 다른 콘텐츠 공급자를 포함하는 하나 이상의 유형의 콘텐츠 분배 장비를 포함할 수 있다. NBC는 National Broadcasting Company, Inc. 소유의 상표이며, ABC는 American Broadcasting Company, Inc. 소유의 상표이며 HBO는 Home Box Office, Inc 소유의 상표이다. 콘텐츠 소스(816)는 콘텐츠의 발신자(예를 들어, 텔레비젼 방송국, 웹캐스트 공급자 등)일 수 있거나, 콘텐츠의 발신자가 아닐 수 있다(예를 들어, 주문형 콘텐츠 공급자, 다운로드용 브로드캐스트 프로그램의 콘텐츠의 인터넷 공급자 등). 콘텐츠 소스(816)는 케이블 소스, 위성 공급자, 주문형 공급자, 인터넷 공급자, 오버-더-톱(over-the-top) 콘텐츠 공급자 또는 다른 콘텐츠 공급자를 포함할 수 있다. 콘텐츠 소스(816)는 또한 임의의 사용자 장비 장치로부터 원격인 위치에 다른 유형의 콘텐츠(사용자에 의해 선택된 비디오 콘텐츠를 포함)를 저장하는 데 사용되는 원격 미디어 서버를 포함할 수 있다. 콘텐츠의 원격 저장용이고 원격 저장 콘텐츠를 사용자 장비에 제공하기 위한 시스템 및 방법은 Ellis 등의 2010년 7월 20일자로 허여된 미국 특허 제7,761,892호와 관련하여 더욱 상세하게 논의되며, 이는 그 전체로 본원에 참고로 통합된다.
미디어 가이던스 데이터 소스(818)는 상술한 미디어 가이던스 데이터와 같은 미디어 가이던스 데이터를 제공할 수 있다. 미디어 가이던스 데이터는 임의의 적절한 접근법을 사용하여 사용자 장비 장치에 제공될 수 있다. 일부 실시예에서, 가이던스 어플리케이션은 데이터 피드(예를 들어, 연속 피드 또는 트리클(trickle) 피드)를 통해 프로그램 가이드 데이터를 수신하는 독립형 상호 작용 텔레비젼 프로그램 가이드일 수 있다. 프로그램 스케줄 데이터 및 다른 가이던스 데이터는 대역 내 디지털 신호를 사용하거나, 대역 외 디지털 신호를 사용하거나, 임의의 다른 적절한 데이터 송신 기술에 의해, 텔레비젼 채널 측대역 상의 사용자 장비에 제공될 수 있다. 프로그램 스케줄 데이터 및 다른 미디어 가이던스 데이터는 복수의 아날로그 또는 디지털 텔레비젼 채널을 통해 사용자 장비에 제공될 수 있다.
일부 실시예에서, 미디어 가이던스 데이터 소스(818)로부터의 가이던스 데이터는 클라이언트-서버 접근법을 사용하여 사용자 장비에 제공될 수 있다. 예를 들어, 사용자 장비 장치는 서버로부터 미디어 가이던스 데이터를 끌어낼 수 있거나, 서버가 사용자 장비 장치로 미디어 가이던스 데이터를 푸시할 수 있다. 일부 실시예에서, 사용자 장비에 상주하는 가이던스 어플리케이션 클라이언트는, 예를 들어, 가이던스 데이터가 오래된 경우 또는 사용자 장비 장치가 사용자로부터 데이터를 수신하라는 요청을 수신한 경우, 필요할 때 가이던스 데이터를 얻기 위해 소스(818)로 세션을 개시할 수 있다. 미디어 가이던스는 임의의 적절한 주파수(예를 들어, 연속적으로, 매일, 사용자가 지정한 시간 주기, 시스템 지정 시간 주기, 사용자 장비로부터의 요청에 응답하여, 등)와 함께 사용자 장비에 제공될 수 있다. 미디어 가이던스 데이터 소스(818)는 사용자 장비 장치(802, 804 및 806)에 미디어 가이던스 어플리케이션 자체 또는 미디어 가이던스 어플리케이션에 대한 소프트웨어 업데이트를 제공할 수 있다.
일부 실시예에서, 미디어 가이던스 데이터는 뷰어 데이터를 포함할 수 있다. 예를 들어, 뷰어 데이터는 현재 및/또는 이력 사용자 활동 정보(예를 들어, 사용자가 통상적으로 시청하는 콘텐츠, 사용자가 콘텐츠를 시청하는 일시, 사용자가 소셜 네트워크와 상호 작용하는지 여부, 사용자가 정보를 포스팅하기 위해 소셜 네트워크와 상호 작용하는 시간, 사용자가 통상적으로 시청하는 콘텐츠의 유형(예를 들어, 유료 TV 또는 무료 TV), 기분, 뇌 활동 정보 등)를 포함할 수 있다. 미디어 가이던스 데이터는 또한 가입 데이터를 포함할 수 있다. 예를 들어, 가입 데이터는 주어진 사용자가 어떤 소스 또는 서비스를 구독했는지 및/또는 주어진 사용자가 이전에 가입했으나 나중에 어떤 소스 또는 서비스에 액세스를 종료했는지(예를 들어, 사용자가 프리미엄 채널에 가입했는지 여부, 사용자가 서비스의 프리미엄 레벨을 추가했는지 여부, 사용자가 인터넷 속도를 증가시켰는지 여부)를 식별할 수 있다. 일부 실시예에서, 뷰어 데이터 및/또는 가입 데이터는 1년 초과의 기간 동안 주어진 사용자의 패턴을 식별할 수 있다. 미디어 가이던스 데이터는 주어진 사용자가 서비스/소스에 대한 액세스를 종료할 가능성을 나타내는 스코어를 생성하는 데 사용되는 모델(예를 들어, 생존자 모델)을 포함할 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은 주어진 사용자가 특정 서비스 또는 소스에 대한 액세스를 종료할 가능성을 나타내는 값 또는 스코어를 생성하기 위해 모델을 사용하여 뷰어 데이터를 가입 데이터로 프로세싱할 수 있다. 특히, 더 높은 스코어는 사용자가 특정 서비스 또는 소스에 대한 액세스를 종료할 것이라는 높은 신뢰 레벨을 나타낼 수 있다. 스코어에 기초하여, 미디어 가이던스 어플리케이션은, 사용자가 액세스를 종료할 가능성이 있는 것으로서 스코어에 의해 나타내어진 특정 서비스 또는 소스를 사용자가 유지하도록 유도하는 프로모션을 생성할 수 있다.
미디어 가이던스 어플리케이션은 예를 들어, 사용자 장비 장치 상에 구현된 독립형 어플리케이션일 수 있다. 예를 들어, 미디어 가이던스 어플리케이션은 저장소(708)에 저장되고 사용자 장비 장치(700)의 제어 회로(704)에 의해 실행될 수 있는 소프트웨어 또는 실행 가능한 명령어의 세트로서 구현될 수 있다. 일부 실시예에서, 미디어 가이던스 어플리케이션은 클라이언트-서버 어플리케이션일 수 있으며, 여기서 클라이언트 어플리케이션만이 사용자 장비 장치 상에 상주하고, 서버 어플리케이션은 원격 서버 상에 상주한다. 예를 들어, 미디어 가이던스 어플리케이션은 부분적으로 사용자 장비 장치(700)의 제어 회로(704) 상의 클라이언트 어플리케이션 및 원격 서버의 제어 회로 상에서 실행되는 서버 어플리케이션(예를 들어, 미디어 가이던스 데이터 소스(818))로서 부분적으로 원격 서버 상에 구현될 수 있다. (미디어 가이던스 데이터 소스(818)와 같은) 원격 서버의 제어 회로에 의해 실행될 때, 미디어 가이던스 어플리케이션은 제어 회로로 하여금 가이던스 어플리케이션 디스플레이를 생성하고 생성된 디스플레이를 사용자 장비 장치로 송신하도록 지시할 수 있다. 서버 어플리케이션은 사용자 장비 상의 저장을 위해 미디어 가이던스 데이터 소스(818)의 제어 회로로 하여금 데이터를 송신하도록 지시할 수 있다. 클라이언트 어플리케이션은 수신 사용자 장비의 제어 회로로 하여금 가이던스 어플리케이션 디스플레이를 생성하도록 지시할 수 있다.
사용자 장비 장치들(802, 804 및 806)에 전달된 콘텐츠 및/또는 미디어 가이던스 데이터는 오버-더-톱(OTT) 콘텐츠일 수 있다. OTT 콘텐츠 전달은 상술한 사용자 장비 장치를 포함하는 인터넷-가능 사용자 장치가 케이블 또는 위성 접속을 통해 수신된 콘텐츠 외에도 상술한 임의의 콘텐츠를 포함하여 인터넷을 통해 전송되는 콘텐츠를 수신할 수 있게 한다. OTT 콘텐츠는 인터넷 서비스 공급자(ISP)에 의해 제공된 인터넷 접속을 통해 전달되지만, 제3자가 콘텐츠를 분배한다. ISP는 콘텐츠의 시청 능력, 저작권 또는 재배포에 대한 책임을 지지 않을 수 있으며, OTT 콘텐츠 공급자에 의해 제공된 IP 패킷만을 전송할 수 있다. OTT 콘텐츠 공급자의 예는 IP 패킷을 통해 오디오 및 비디오를 제공하는 YOUTUBE, NETFLIX 및 HULU를 포함한다. Youtube는 Google Inc. 소유의 상표이고 Netflix는 Netflix Inc. 소유의 상표이며, Hulu는 Hulu, LLC. 소유의 상표이다. OTT 콘텐츠 공급자는 추가적으로 또는 대안적으로 상술한 미디어 가이던스 데이터를 제공할 수 있다. OTT 콘텐츠 공급자는, 콘텐츠 및/또는 미디어 가이던스 데이터 외에 미디어 가이던스 어플리케이션(예를 들어, 웹 기반 어플리케이션 또는 클라우드 기반 어플리케이션)을 분배할 수 있거나, 콘텐츠는 사용자 장비 장치에 저장된 미디어 가이던스 어플리케이션에 의해 표시될 수 있다.
미디어 가이던스 시스템(800)은 콘텐츠에 액세스하고 미디어 가이던스를 제공하기 위해 사용자 장비 장치 및 콘텐츠 및 가이던스 데이터의 소스가 서로 통신할 수 있는 다수의 접근법 또는 네트워크 구성을 나타내기 위한 것이다. 본원에 설명되는 실시예는 이들 접근법 중 임의의 하나 또는 서브셋, 또는 콘텐츠를 전달하고 미디어 가이던스를 제공하기 위한 다른 접근법을 채용하는 시스템에 적용될 수 있다. 다음의 4개의 접근법은 도 8의 일반화된 예의 특정 예시를 제공한다.
하나의 접근법에서, 사용자 장비 장치는 홈 네트워크 내에서 서로 통신할 수 있다. 사용자 장비 장치는 홈 네트워크 상에 제공된 허브 또는 다른 유사한 장치를 통한 간접 경로를 통해, 또는 통신 네트워크(814)를 통해 상술한 근거리 점-대-점 통신 스킴을 통해 서로 직접 통신할 수 있다. 단일 홈의 복수의 개인 각각은 홈 네트워크 상의 다른 사용자 장비 장치를 동작시킬 수 있다. 결과적으로, 다양한 미디어 가이던스 정보 또는 설정들이 상이한 사용자 장비 장치들 사이에서 통신되는 것이 바람직할 수 있다. 예를 들어, Ellis 등의 2005년 7월 11일자로 출원된 미국 특허 공개 제2005/0251827호에 더욱 상세히 설명되어 있는 바와 같이, 사용자는 홈 네트워크 내의 상이한 사용자 장비 장치에 대해 일관된 미디어 가이던스 어플리케이션 설정을 유지하는 것이 바람직할 수 있다. 홈 네트워크의 상이한 유형의 사용자 장비 장치는 또한 서로 통신하여 콘텐츠를 송신할 수 있다. 예를 들어, 사용자는 사용자 컴퓨터 장비로부터 휴대용 비디오 플레이어 또는 휴대용 음악 플레이어로 콘텐츠를 송신할 수 있다.
제2 접근법에서, 사용자는 콘텐츠에 액세스하여 미디어 가이던스를 얻는 복수 유형의 사용자 장비를 가질 수 있다. 예를 들어, 일부 사용자는 홈 내와 모바일 디바이스에 의해 액세스되는 홈 네트워크를 가질 수 있다. 사용자는 원격 장치에 구현된 미디어 가이던스 어플리케이션을 통해 홈 내 장치를 제어할 수 있다. 예를 들어, 사용자는 사무실의 개인 컴퓨터 또는 PDA 또는 웹 가능 모바일 전화와 같은 모바일 장치를 통해 웹사이트의 온라인 미디어 가이던스 어플리케이션에 액세스할 수 있다. 사용자는 온라인 가이던스 어플리케이션에 다양한 설정(예를 들어, 녹화, 리마인더 또는 다른 설정)을 설정하여 사용자의 홈 내 장비를 제어할 수 있다. 온라인 가이드는 사용자의 장비를 직접 제어하거나, 사용자의 홈 내 장비에 대한 미디어 가이던스 어플리케이션과 통신하여 제어할 수 있다. 예를 들어, 그 전체로 본원에 참고로서 통합되는 Ellis 등의 2011년 10월 25일자로 허여된 미국 특허 제8,046,801호에, 사용자 장비 장치가 서로 원격인 위치에서 통신하는 사용자 장비 장치에 대한 다양한 시스템 및 방법이 논의된다.
제3 접근법에서, 홈 내부 및 외부의 사용자 장비 장치의 사용자는 그 미디어 가이던스 어플리케이션을 사용하여 콘텐츠에 액세스하기 위해 콘텐츠 소스(816)와 직접 통신할 수 있다. 구체적으로, 홈 내에서, 사용자 텔레비젼 장비(802) 및 사용자 컴퓨터 장비(804)의 사용자는 바람직한 콘텐츠를 탐색하고 원하는 찾기 위해 미디어 가이던스 어플리케이션에 액세스할 수 있다. 사용자는 또한 무선 사용자 통신 장치(806)를 사용하여 홈 외부의 미디어 가이던스 어플리케이션에 액세스하여 바람직한 콘텐츠를 탐색하고 찾을 수 있다.
제4 접근법에서, 사용자 장비 장치는 클라우드 컴퓨팅 환경에서 클라우드 서비스에 액세스하기 위해 동작할 수 있다. 클라우드 컴퓨팅 환경에서 콘텐츠 공유, 저장 또는 분배(예를 들어, 비디오 공유 사이트 또는 소셜 네트워킹 사이트)를 위한 다양한 유형의 컴퓨팅 서비스는 "클라우드"라고 칭하는 네트워크-액세스 가능한 컴퓨팅 및 저장 자원의 컬렉션에 의해 제공된다. 예를 들어, 클라우드는 통신 네트워크(814)를 통해 인터넷과 같은 네트워크를 통해 접속된 다양한 유형의 사용자 및 장치에 클라우드-기반 서비스를 제공하는 중앙 또는 분산 위치에 배치될 수 있는 서버 컴퓨팅 장치의 컬렉션을 포함할 수 있다. 클라우드 자원은 하나 이상의 콘텐츠 소스(816) 및 하나 이상의 미디어 가이던스 데이터 소스(818)를 포함할 수 있다. 추가적으로 또는 대안적으로, 원격 컴퓨팅 사이트는 사용자 텔레비젼 장비(802), 사용자 컴퓨터 장비(804), 및 무선 사용자 통신 장치(806)와 같은 다른 사용자 장비 장치를 포함할 수 있다. 예를 들어, 다른 사용자 장비 장치는 비디오 또는 스트리밍된 비디오의 저장된 사본에 대한 액세스를 제공할 수 있다. 이러한 실시예에서, 사용자 장비 장치는 중앙 서버와 통신하지 않고 피어-투-피어 방식으로 동작할 수 있다.
클라우드는 사용자 장비 장치에 대해, 다른 예들 중에서, 상술한 임의의 콘텐츠에 대한 액세스뿐만 아니라, 콘텐츠 저장, 콘텐츠 공유, 또는 소셜 네트워킹 서비스와 같은 서비스에 대한 액세스를 제공한다. 서비스는 클라우드 컴퓨팅 서비스 공급자를 통해 또는 다른 온라인 서비스 공급자를 통해 클라우드에서 제공될 수 있다. 예를 들어, 클라우드-기반 서비스는 콘텐츠 저장 서비스, 콘텐츠 공유 사이트, 소셜 네트워킹 사이트 또는 사용자 소스의 콘텐츠가 접속된 장치에서 다른 사람이 볼 수 있도록 분배되는 다른 서비스를 포함할 수 있다. 이러한 크라우드-기반 서비스는, 사용자 장비 장치가 클라우드에 콘텐츠를 저장할 수 있게 하고 콘텐츠를 국부적으로 저장하고 국부적으로 저장된 콘텐츠에 액세스하는 것이 아니라 클라우드로부터 콘텐츠를 수신할 수 있게 할 수 있다.
사용자는 콘텐츠를 녹화하기 위해 캠코더, 비디오 모드를 갖는 디지털 카메라, 오디오 레코더, 모바일 전화 및 휴대용 컴퓨팅 장치와 같은 다양한 콘텐츠 캡처 장치를 사용할 수 있다. 사용자는 예를 들어, 사용자 컴퓨터 장비(804) 또는 콘텐츠 캡처 피쳐를 갖는 무선 사용자 통신 장치(806)로부터 직접 클라우드 상의 콘텐츠 저장 서비스에 콘텐츠를 업로드할 수 있다. 대안적으로, 사용자는 우선 사용자 컴퓨터 장비(804)와 같은 사용자 장비 장치로 콘텐츠를 전송할 수 있다. 콘텐츠를 저장하는 사용자 장비 장치는 통신 네트워크(814) 상의 데이터 송신 서비스를 사용하여 클라우드에 콘텐츠를 업로드한다. 일부 실시예에서, 사용자 장비 장치 자체는 클라우드 자원이고, 다른 사용자 장비 장치는, 사용자가 콘텐츠를 저장한 사용자 장비 장치로부터 직접 콘텐츠에 액세스할 수 있다.
클라우드 리소스는 예를 들어, 웹 브라우저, 미디어 가이던스 어플리케이션, 데스크톱 어플리케이션, 모바일 어플리케이션, 및/또는 이들의 액세스 어플리케이션의 임의의 조합을 사용하여 사용자 장비 장치에 의해 액세스될 수 있다. 사용자 장비 장치는 어플리케이션 전달을 위해 클라우드 컴퓨팅에 따르는 클라우드 클라이언트일 수 있거나, 사용자 장비 장치는 클라우드 리소스에 액세스하지 않고 일부 기능을 가질 수 있다. 예를 들어, 사용자 장비 장치 상에서 실행되는 일부 어플리케이션은 클라우드 어플리케이션, 즉 인터넷을 통해 서비스로서 전달되는 어플리케이션일 수 있으며, 다른 어플리케이션은 사용자 장비 장치 상에 저장 및 실행될 수 있다. 일부 실시예에서, 사용자 장치는 복수의 클라우드 자원으로부터 동시에 콘텐츠를 수신할 수 있다. 예를 들어, 사용자 장치는 하나의 클라우드 자원으로부터 오디오를 스트리밍하면서, 제2 클라우드 자원으로부터 콘텐츠를 다운로드할 수 있다. 또는 사용자 장치가 더 효율적인 다운로드를 위해 복수의 클라우드 자원으로부터 콘텐츠를 다운로드할 수 있다. 일부 실시예에서, 사용자 장비 장치는 도 7과 관련하여 설명된 프로세싱 회로에 의해 수행되는 프로세싱 동작과 같은 동작을 프로세싱하기 위해 클라우드 자원를 사용할 수 있다.
본원에서 언급된 바와 같이, "이에 응답하여"라는 용어는 그 결과로서 개시되는 것을 지칭한다. 예를 들어, 제2 액션에 응답하여 수행되는 제1 액션은 제1 액션과 제2 액션 사이의 중간 단계들을 포함할 수 있다. 본원에서 언급되는 바와 같이, "이에 응답하여 직접"이라는 용어는 그에 의해 유발되는 것을 지칭한다. 예를 들어, 제2 액션에 대한 응답으로 직접 수행되는 제1 액션은 제1 액션과 제2 액션 사이의 중간 단계들을 포함하지 않을 수 있다.
도 9는 본 발명의 일부 실시예에 따라, 사용자 장치 상에 미디어 자산을 프리젠테이션하는 동안 사용자 장치 부근에 표시하기 위한 보충 콘텐츠를 선택하는 것에 연관된 예시적인 단계들의 흐름도이다. 도 9는 본 발명의 일부 실시예에 따라 모호한 용어의 의미를 식별하기 위해 제어 회로(예를 들어, 제어 회로(704))에 대한 프로세스를 나타낸다. 일부 실시예에서, 이 알고리즘은 디코딩되고 프로세싱 회로(예를 들어, 프로세싱 회로(706))에 의해 실행될 명령어의 세트로서 비일시적 저장 매체(예를 들어, 저장 장치(708)) 상에서 인코딩될 수 있다. 프로세싱 회로는 차례로 튜닝, 비디오 생성, 인코딩, 디코딩, 암호화, 해독, 스케일링, 아날로그/디지털 변환 회로 등과 같은 제어 회로(704) 내에 포함된 다른 서브-회로에 명령어를 제공할 수 있다.
902에서, 제어 회로(704)는 사용자 장치 상에 미디어 자산을 프리젠테이션하는 동안 하나 이상의 프레임을 모니터링한다. 사용자 장치는 텔레비젼, 태블릿, 스마트 폰 또는 미디어 자산을 표시하는 임의의 다른 사용자 장치일 수 있다. 예를 들어, 제어 회로(704)는 영화가 텔레비젼 상에 표시될 때 영화를 모니터링할 수 있다. 프로세스(900)는 904로 진행한다.
904에서, 제어 회로(704)는 미디어 자산의 새로운 장면을 나타내는 미디어 자산의 프리젠테이션 동안 프레임을 선택한다. 예를 들어, 제어 회로(704)는 영화의 모니터링을 통해, 영화의 새로운 장면을 시작하는 프레임을 선택할 수 있다. 다른 예에서, 영화 또는 다른 미디어 자산은 각각의 새로운 장면을 나타내는 태그를 가질 수 있고, 영화 및 장면 태그를 모니터링함으로써, 제어 회로(704)는 새로운 장면을 시작하는 것으로 태깅된 프레임을 선택할 수 있다. 프로세스(900)는 906으로 진행한다.
906에서, 제어 회로(704)는 선택된 프레임에서 표현된 객체 및 위치 중 적어도 하나를 식별한다. 예를 들어, 제어 회로(704)는 프레임 내의 객체를 결정하기 위해 프레임을 분석할 수 있다. 일부 실시예에서, 제어 회로(704)는 선택된 프레임에서 주요 피쳐를 식별한다. 주요 피쳐는 프레임의 요소를 설명하는 정보의 단편이며, 프레임에 있는 이미지의 에지, 모서리, 점, 선, 릿지 또는 영역과 같은 특정 구조적 요소를 설명할 수 있다. 예를 들어, 제어 회로(704)는 에지 검출을 사용하여 프레임을 분석하고, 프레임 내에 일련의 에지가 존재하는 것으로 결정할 수 있다. 일부 실시예에서, 제어 회로(704)는 식별된 주요 피쳐를 객체 데이터베이스와 비교한다. 예를 들어, 제어 회로(704)는 에지와 같은 주요 피쳐와 연관된 객체를 포함하는 데이터베이스에 액세스할 수 있고, 객체의 데이터베이스의 각 객체와 연관된 에지와 프레임에서 발견된 에지를 비교할 수 있다. 일부 실시예에서, 제어 회로(704)는 비교에 기초하여 선택된 프레임에서 객체를 식별한다. 예를 들어, 비교에 기초하여, 제어 회로(704)는, 프레임에서 발견된 에지 중 일부가 나무와 연관되는 것으로 결정할 수 있다. 다른 예에서, 제어 회로(704)는, 프레임에서 발견된 에지 중 일부가 새와 연관되는 것으로 결정할 수 있다.
일부 실시예에서, 제어 회로(704)는 선택된 프레임의 객체에 기초하여 액션 데이터베이스를 서치한다. 예를 들어, 제어 회로(704)는 객체와 액션을 연관시키는 액션 데이터베이스를 서치할 수 있으며, 새와 연관된 임의의 액션을 서치한다. 일부 실시예에서, 제어 회로(704)는 선택된 프레임에서 발생하는 객체와 연관된 액션을 식별한다. 예를 들어, 액션 데이터베이스에 기초하여, 제어 회로(704)는, 프레임에 나타낸 배향에서의 새가 나무 가지 상에 앉기보다는 나는 액션과 연관되어 있음을 식별할 수 있다. 다른 예에서, 제어 회로(704)는 프레임의 배를 식별하는 것에 기초하여 항해의 액션을 식별할 수 있다.
일부 실시예에서, 제어 회로(704)는 객체와 연관된 위치에 대한 위치에 대한 위치 데이터베이스를 서치한다. 예를 들어, 미디어 가이던스 어플리케이션은 나무와 연관된 위치에 대한 위치 데이터베이스를 서치할 수 있다. 일부 실시예에서, 제어 회로(704)는 객체와 연관된 위치에 기초하여 선택된 프레임 내의 위치를 식별한다. 예를 들어, 제어 회로(704)는, 프레임과 연관된 위치가 단독의 야자수의 존재에 기초한 열대 기후의 일반적인 외부 장면인 것으로 결정할 수 있다.
일부 실시예에서, 제어 회로(704)는 선택된 프레임의 주요 피쳐를 위치 표현의 분석을 포함하는 위치 데이터베이스와 비교한다. 주요 피쳐는 프레임의 요소를 설명하는 정보의 단편이며 프레임에 존재하는 이미지의 에지, 모서리, 점, 선, 릿지, 또는 영역과 같은 특정 구조적 요소를 설명할 수 있다. 예를 들어, 제어 회로(704)는 프레임의 이미지의 피처를 결정하기 위해 프레임을 분석할 수 있다. 일부 실시예에서, 제어 회로(704)는 선택된 프레임의 주요 피쳐를 위치 표현의 분석과 비교하는 것에 기초하여 선택된 프레임에 표현된 위치를 결정한다. 예를 들어, 제어 회로(704)는 이미지의 피쳐에 기초하여 프레임이 숲을 표시하고 있는 것으로 결정할 수 있다. 프로세스(900)는 단계(908)로 진행한다.
단계(908)에서, 제어 회로(704)는 객체 및 위치 중 적어도 하나와 연관된 플롯 정보를 결정한다. 예를 들어, 제어 회로(704)는 장면에서 식별된 객체에 기초하여 플롯과 연관된 키워드를 결정할 수 있다. 일부 실시예에서, 제어 회로(704)는 객체 및 위치 중 적어도 하나와 연관된 플롯 정보 및 선택된 프레임에서 발생하는 액션을 식별하기 위해 플롯 정보 데이터베이스를 서치한다. 플롯 정보는 선택된 프레임의 플롯을 설명하는 키워드를 포함할 수 있다. 예를 들어, 제어 회로(704)가 유람선, 야자수 및 구름을 식별하여 항해의 액션 및 일반적인 열대 기후의 위치를 결정하는 경우, 제어 회로(704)는 플롯 정보 데이터베이스를 서치하고 키워드, "사막의 섬", "해양", "배", "항해", "폭풍" 및 "파도"의 형태로 플롯 정보를 식별할 수 있다. 일부 실시예에서, 가이던스 어플리케이션은 객체 및 위치, 및 액션 중 적어도 하나와 연관된 공통 키워드를 결정한다. 예를 들어, 일반적인 열대 기후의 위치 또는 항해의 액션은 "낚시"와 같은 추가 플롯 정보와 연관될 수 있다. 그러나 "낚시"는 식별된 임의의 객체, 유람선, 야자수 및 구름과 연관되지 않으므로, 이는 공통 키워드가 아니다. 일부 실시예에서, 제어 회로(704)는 공통 키워드에 기초하여 식별된 플롯 정보를 결정한다.
일부 실시예에서, 제어 회로(704)는 선택된 프레임과 연관된 메타데이터를 리트리브한다. 메타데이터는 닫힌 캡셔닝 데이터 및 선택된 프레임과 연관된 태그를 포함할 수 있다. 일부 실시예에서, 제어 회로(704)는 객체 및 위치 및 메타데이터 중 적어도 하나와 연관된 플롯 정보에 대해 플롯 정보 데이터베이스를 서치한다. 예를 들어, 제어 회로(704)는 장면과 연관된 닫힌 캡셔닝을 리트리브하고, 닫힌 캡셔닝 데이터에서 식별된 용어와 연관된 플롯 정보 키워드에 대해 플롯 정보 데이터베이스를 서치할 수 있다. 프로세스(900)는 910으로 진행한다.
910에서, 제어 회로(704)는 플롯 정보에 기초하여 미디어 자산을 수반하는 보충 콘텐츠를 데이터베이스로부터 식별한다. 예를 들어, 제어 회로(704)는 플롯 정보에 기초하여 열대 섬 및 해양으로 보충 콘텐츠를 식별할 수 있다. 보충 콘텐츠는 텔레비젼 부근의 룸의 벽 상에 표시될 특정 배경 이미지 또는 이용 가능하다고 결정된 영역에 기초하여 영역 주위에 표시되는 공통 테마를 갖는 이미지 세트일 수 있다. 보충 콘텐츠는 시각적 이미지뿐만 아니라 사운드 세트, 또는 필요에 따라 재생될 수 있는 비디오 클립과 같은 미디어의 대안적인 형식을 포함할 수 있다. 프로세스(900)는 912로 진행한다.
912에서, 제어 회로(704)는 프로젝션 장치에, 미디어 자산의 프리젠테이션 동안 사용자 장치 부근에 표시하기 위한 보충 콘텐츠를 송신한다. 예를 들어, 제어 회로(704)는 프로젝터를 통해 벽 상에 표시될 열대 섬 및 해양을 표시하는 보충 콘텐츠를 송신할 수 있다. 미디어 가이던스 디스플레이는 보충 콘텐츠를 다른 텔레비젼 스크린, 태블릿 또는 증강 현실 안경 세트와 같은 사용자 장치의 영역 내의 임의의 디스플레이 장치에 송신할 수 있다. 일부 실시예에서, 제어 회로(704)는 보충 콘텐츠에 포함되는 사운드 세트를 스피커에 송신한다. 예를 들어, 제어 회로(704)는 또한 웨이브 사운드를 스피커에 송신할 수 있다.
일부 실시예에서, 제어 회로(704)는 선택된 프레임의 일부로부터 새로운 보충 콘텐츠를 생성한다. 일부 실시예에서, 제어 회로(704)는 객체 및 위치 중 적어도 하나와 연관된 공통 키워드와 함께 새로운 보충 콘텐츠를 데이터베이스에 저장한다. 예를 들어, 제어 회로(704)는 푸른 하늘과 구름을 나타내는 프레임의 섹션을 사용하여 새로운 보충 콘텐츠를 생성하고, 플롯 정보 데이터베이스의 구름과 연관되어 발견된 플롯 정보와 연관된 보충 콘텐츠 데이터베이스에 보충 콘텐츠를 저장할 수 있다.
일부 실시예에서, 제어 회로(704)는 다음 장면을 나타내는 미디어 자산의 프리젠테이션 중에 다음 프레임을 선택한다. 예를 들어, 제어 회로(704)는 새로운 장면을 나타내는 다음 태그와 연관된 프레임을 선택할 수 있다. 일부 실시예에서, 제어 회로(704)는 선택된 프레임 및 선택된 다음 프레임에 기초하여 새로운 장면의 지속 기간을 결정한다. 예를 들어, 제어 회로(704)는 제1 새로운 장면의 프레임과 새로운 장면 다음에 시작하는 프레임을 비교함으로써 장면의 길이를 결정할 수 있다. 일부 실시예에서, 제어 회로(704)는 새로운 장면의 지속 기간 동안 디스플레이를 위한 보충 콘텐츠를 송신한다. 예를 들어, 제어 회로(704)는, 영화가 다음의 새로운 장면의 시작으로 재생 중 지점에 도달할 때까지 보충 콘텐츠의 디스플레이를 유지할 수 있다.
도 9의 단계 또는 설명은 본 발명의 임의의 다른 실시예와 함께 사용될 수 있는 것으로 고려된다. 또한, 도 9의 알고리즘과 관련하여 설명된 설명은 추가적으로 본 발명의 목적을 위해 대안적인 순서로 또는 병렬로 수행될 수 있다. 예를 들어, 시스템 또는 방법의 지연을 감소시키거나 속도를 높이기 위해, 조건문 및 논리적 평가가 임의의 순서 또는 병렬로 또는 동시에 수행될 수 있다. 다른 추가 예로서, 일부 실시예에서, 변수의 몇몇 인스턴스가 다중 논리 프로세서 스레드를 사용하여 병렬로 평가될 수 있거나, 알고리즘이 분기 예측을 통합함으로써 향상될 수 있다. 또한, 도 9의 프로세스는 적절하게 구성된 소프트웨어 및 하드웨어의 조합으로 구현될 수 있으며, 도 10 내지 도 14와 관련하여 논의되는 임의의 장치 또는 장비는 프로세스의 하나 이상의 부분을 구현하는 데 사용될 수 있음에 유의해야 한다.
도 10은 본 발명의 일부 실시예에 따라, 선택된 프레임과 연관된 플롯 정보를 결정하기 위한 예시적인 단계들의 흐름도이다. 도 10은 본 발명의 일부 실시예에 따라 모호한 용어의 의미를 식별하기 위해 제어 회로(예를 들어, 제어 회로(704))에 대한 프로세스를 나타낸다. 일부 실시예에서, 본 알고리즘은 프로세싱 회로(예를 들어, 프로세싱 회로(706))에 의해 디코딩되고 실행될 명령어들의 세트로서 비일시적인 저장 매체(예를 들어, 저장 장치(708)) 상에 인코딩될 수 있다. 프로세싱 회로는 차례로 튜닝, 비디오 생성, 인코딩, 디코딩, 암호화, 해독, 스케일링, 아날로그/디지털 변환 회로 등과 같은 제어 회로(704) 내에 포함된 다른 서브-회로에 명령어를 제공할 수 있다.
1002에서, 제어 회로(704)는 선택된 프레임의 다음 주요 피쳐를 선택한다. 예를 들어, 제어 회로(704)가 프레임의 복수의 영역을 주요 피쳐로서 식별했다면, 제어 회로(704)는 프레임의 다음 영역을 선택할 것이다. 프로세스(1000)는 1004로 진행한다.
1004에서, 제어 회로(704)는, 다음으로 식별된 주요 피쳐가 객체의 데이터베이스의 객체와 연관되는지 여부를 결정한다. 예를 들어, 제어 회로(704)는, 데이터베이스 내의 임의의 객체가 프레임에서 발견된 것과 유사한 영역과 연관되는지 여부를 결정하기 위해 객체 데이터베이스에 액세스할 수 있다. 다음으로 식별된 주요 피쳐가 객체의 데이터베이스의 객체와 연관된다면, 프로세스(1000)는 1006으로 진행한다. 그렇지 않은 경우, 프로세스(1000)는 1002로 진행한다.
1006에서, 제어 회로(704)는 다음으로 식별된 주요 피쳐와 연관된 객체를 식별한다. 예를 들어, 제어 회로(704)는, 프레임에서 식별된 영역이 단독 야자수와 연관되는 것으로 결정할 수 있다. 다른 예에서, 제어 회로(704)는, 프레임 내의 영역이 공중에 있은 새와 연관되는 것으로 결정할 수 있다. 프로세스(1000)는 1008로 진행한다.
1008에서, 제어 회로(704)는, 액션 데이터베이스에 객체와 연관된 액션이 있는지 여부를 결정한다. 예를 들어, 공중에 있는 새의 식별된 객체는 액션 데이터베이스의 각 액션과 연관된 객체에 기초하여 나무 가지 위에 앉아 있는 액션 대신 나는 액션과 연관될 수 있다. 제어 회로(704)가 객체와 연관된 액션을 결정하면, 프로세스(1000)는 1010으로 진행한다. 그렇지 않은 경우, 프로세스(1000)는 1002로 진행한다.
1010에서, 제어 회로(704)는 액션 데이터베이스에 기초하여 객체와 연관된 액션을 식별한다. 예를 들어, 제어 회로(704)는, 공중에 있는 새의 객체가 나는 액션과 연관된다는 것을 식별할 수 있다. 프로세스(1000)는 1012로 진행한다.
1012에서, 제어 회로(704)는 선택된 프레임에 다른 식별된 주요 피쳐가 존재하는지 여부를 결정한다. 그렇다면, 프로세스(1000)는 1002로 진행한다. 그렇지 않은 경우, 프로세스(1000)는 1014로 진행한다.
1014에서, 제어 회로(704)는 객체와 연관된 플롯 정보 및 선택된 프레임에서 발생하는 액션을 식별하기 위해 플롯 정보 데이터베이스를 서치한다. 예를 들어, 제어 회로(704)는 플롯 정보 데이터베이스를 사용하여 각 객체 및 액션과 연관된 플롯 정보 키워드를 서치할 수 있다. 프로세스(1000)는 1016으로 진행한다.
1016에서, 제어 회로(704)는 객체 및 액션과 연관된 공통 키워드를 결정한다. 예를 들어, 제어 회로(704)는 식별된 객체 및 액션 모두와 연관된 플롯 정보 데이터베이스로부터 식별된 키워드 세트를 결정할 수 있다. 프로세스(1000)는 1018로 진행한다.
1018에서, 제어 회로(704)는 공통 키워드에 기초하여 플롯 정보를 결정한다. 예를 들어, 제어 회로(704)는 식별된 객체 및 액션 모두와 연관된 키워드 세트로부터 플롯 정보를 결정할 수 있다.
도 10의 단계들 또는 설명들은 본 발명의 임의의 다른 실시예와 함께 사용될 수 있는 것으로 고려된다. 또한, 도 10의 알고리즘과 관련하여 설명되는 설명은 추가로 본 발명의 목적을 위해 대안적인 순서로 또는 병렬로 행해질 수 있다. 예를 들어, 시스템 또는 방법의 지연을 줄이거나 속도를 높이기 위해 조건문 및 논리적 평가를 임의의 순서 또는 병렬로 또는 동시에 수행될 수 있다. 추가적인 예로서, 일부 실시예에서, 변수의 몇몇 인스턴스가 다중 논리 프로세서 스레드를 사용하여 병렬로 평가될 수 있거나, 알고리즘이 분기 예측을 통합함으로써 향상될 수 있다. 또한, 도 10의 프로세스는 적절하게 구성된 소프트웨어 및 하드웨어의 조합으로 구현될 수 있으며, 도 9 내지 도 14와 관련하여 논의되는 장치 또는 장비 중 임의의 것은 프로세스의 하나 이상의 부분을 구현하는 데 사용될 수 있다는 점에 유의해야 한다.
도 11은 본 발명의 일부 실시예에 따라, 선택된 프레임과 연관된 플롯 정보를 결정하기 위한 예시적인 단계들의 다른 흐름도이다. 도 11은 본 발명의 일부 실시예에 따라 모호한 용어의 의미를 식별하기 위해 제어 회로(예를 들어, 제어 회로(704))에 대한 프로세스를 나타낸다. 일부 실시예에서, 본 알고리즘은 프로세싱 회로(예를 들어, 프로세싱 회로(706))에 의해 디코딩되고 실행될 명령어들의 세트로서 비일시적인 저장 매체(예를 들어, 저장 장치(708)) 상에 인코딩될 수 있다. 프로세싱 회로는 차례로 튜닝, 비디오 생성, 인코딩, 디코딩, 암호화, 해독, 스케일링, 아날로그/디지털 변환 회로 등과 같은 제어 회로(704) 내에 포함된 다른 서브-회로에 명령어를 제공할 수 있다.
1102에서, 제어 회로(704)는 선택된 프레임의 다음 주요 피쳐를 선택한다. 예를 들어, 제어 회로(704)가 프레임의 복수의 영역을 주요 피쳐로서 식별했다면, 제어 회로(704)는 프레임의 다음 영역을 선택할 것이다. 프로세스(1100)는 1104로 진행한다.
1104에서, 제어 회로(704)는, 다음으로 식별된 주요 피쳐가 객체의 데이터베이스 내의 객체와 관련되는지 여부를 결정한다. 예를 들어, 제어 회로(704)는, 데이터베이스 내의 객체 중 임의의 객체가 프레임에서 발견된 것과 유사한 영역과 연관되는지 여부를 결정하기 위해 객체 데이터베이스에 액세스할 수 있다. 다음으로 식별된 주요 피쳐가 객체들의 데이터베이스 내의 객체와 연관된다면, 프로세스(1100)는 1106으로 진행한다. 그렇지 않은 경우, 프로세스(1100)는 1102로 진행한다.
1106에서, 제어 회로(704)는 다음으로 식별된 주요 피쳐와 연관된 객체를 식별한다. 예를 들어, 제어 회로(704)는, 프레임에서 식별된 영역이 단독 야자수와 연관되는 것으로 결정할 수 있다. 다른 예에서, 제어 회로(704)는, 프레임 내의 영역이 공중에 있는 새와 연관되는 것으로 결정할 수 있다. 프로세스(1100)는 1108로 진행한다.
1108에서, 제어 회로(704)는 위치 데이터베이스 내의 객체와 연관된 위치가 있는지 여부를 결정한다. 예를 들어, 단독의 야자수는 일반적인 외부 열대 환경과 연관될 수 있다. 제어 회로(704)가 객체와 연관된 위치를 결정하면, 프로세스(1100)는 1110으로 진행한다. 그렇지 않은 경우, 프로세스(1100)는 1102로 진행한다.
1110에서, 제어 회로(704)는 위치 데이터베이스에 기초하여 객체와 연관된 위치를 식별한다. 예를 들어, 제어 회로(704)는, 객체인 단독의 야자수가 일반적인 외부 열대 환경과 연관되는 것으로 식별할 수 있다. 프로세스(1100)는 1112로 진행한다.
1112에서, 제어 회로(704)는 선택된 프레임에 다른 식별된 주요 피쳐가 존재하는지 여부를 결정한다. 그렇다면, 프로세스(1100)는 1102로 진행한다. 그렇지 않은 경우, 프로세스(1100)는 1114로 진행한다.
1114에서, 제어 회로(704)는 플롯 정보 데이터베이스를 서치하여 객체 및 선택된 프레임에서 발생하는 위치 중 적어도 하나와 연관된 플롯 정보를 식별한다. 예를 들어, 제어 회로(704)는 플롯 정보 데이터베이스를 사용하여 각 객체 및 위치와 연관된 플롯 정보 키워드를 서치할 수 있다. 프로세스(1100)는 1116으로 진행한다.
1116에서, 제어 회로(704)는 객체 및 위치 중 적어도 하나와 연관된 공통 키워드를 결정한다. 예를 들어, 제어 회로(704)는 식별된 객체 및 위치와 연관된 플롯 정보 데이터베이스로부터 식별된 공통 키워드 세트를 결정할 수 있다. 프로세스(1100)는 1118로 진행한다.
1118에서, 제어 회로(704)는 공통 키워드에 기초하여 플롯 정보를 결정한다. 예를 들어, 제어 회로(704)는 식별된 객체 및 위치 모두와 연관된 키워드 세트로부터 플롯 정보를 결정할 수 있다.
도 11의 단계들 또는 설명들은 본 발명의 임의의 다른 실시예와 함께 사용될 수 있는 것으로 고려된다. 또한, 도 11의 알고리즘과 관련하여 설명된 설명은 추가로 본 발명의 목적을 위해, 대안적인 순서로, 또는 병렬로 수행될 수 있다. 예를 들어, 조건문 또는 논리적 평가가 시스템 또는 방법의 지연을 줄이거나 속도를 높이기 위해 임의의 순서로 또는 병렬로 또는 동시에 수행될 수 있다. 추가 예로서, 일부 실시예에서, 변수의 몇몇 인스턴스가 다중 논리 프로세서 스레드를 사용하여 병렬로 평가될 수 있거나, 알고리즘이 분기 예측을 통합함으로써 향상될 수 있다. 또한, 도 11의 프로세스는 적절하게 구성된 소프트웨어 및 하드웨어의 조합으로 구현될 수 있으며, 도 9 내지 도 14와 관련하여 논의된 임의의 장치 또는 장비는 프로세스의 하나 이상의 부분을 구현하는 데 사용될 수 있음에 유의해야 한다.
도 12는 본 발명의 일부 실시예에 따라, 선택된 프레임과 연관된 플롯 정보를 결정하기 위한 예시적인 단계들의 다른 흐름도이다. 도 12는 본 발명의 일부 실시예에 따라 모호한 용어의 의미를 식별하기 위해 제어 회로(예를 들어, 제어 회로(704))에 대한 프로세스를 나타낸다. 일부 실시예에서, 본 알고리즘은 프로세싱 회로(예를 들어, 프로세싱 회로(706))에 의해 디코딩되고 실행될 명령어들의 세트로서 비일시적인 저장 매체(예를 들어, 저장 장치(708)) 상에 인코딩될 수 있다. 프로세싱 회로는 차례로 튜닝, 비디오 생성, 인코딩, 디코딩, 암호화, 해독, 스케일링, 아날로그/디지털 변환 회로 등과 같은 제어 회로(704) 내에 포함된 다른 서브-회로에 명령어를 제공할 수 있다.
1202에서, 제어 회로(704)는 선택된 프레임의 다음 주요 피쳐를 선택한다. 예를 들어, 제어 회로(704)가 프레임의 복수의 영역을 주요 피쳐로서 식별했다면, 제어 회로(704)는 프레임의 다음 영역을 선택할 것이다. 프로세스(1200)는 1204로 진행한다.
1204에서, 제어 회로(704)는, 다음으로 식별된 주요 피쳐가 위치 데이터베이스의 위치와 연관되는지 여부를 결정한다. 예를 들어, 식별된 영역은 일반적인 숲과 연관될 수 있다. 다음으로 식별된 주요 피쳐가 위치 데이터베이스의 위치와 연관되면, 프로세스(1200)는 1206으로 진행한다. 그렇지 않은 경우, 프로세스(1200)는 1202로 진행한다.
1206에서, 제어 회로(704)는 선택된 프레임과 연관된 위치를 식별한다. 예를 들어, 제어 회로(704)는, 프레임이 일반적인 숲과 연관되어 있는 것으로 식별할 수 있다. 프로세스(1200)는 1208로 진행한다.
1208에서, 제어 회로(704)는 선택된 프레임에 다른 식별된 주요 피쳐가 존재하는지 여부를 결정한다. 그렇다면, 프로세스(1200)는 1202로 진행한다. 그렇지 않은 경우, 프로세스(1200)는 1210으로 진행한다.
1210에서, 제어 회로(704)는 선택된 프레임과 연관된 메타데이터를 리트리브한다. 예를 들어, 제어 회로(304)는 선택된 프레임과 연관된 닫힌 캡셔닝 데이터를 리트리브할 수 있다. 프로세스(1200)는 1212로 진행한다.
1212에서, 제어 회로(704)는 메타데이터와 연관된 플롯 정보에 대해 플롯 정보 데이터베이스를 서치한다. 예를 들어, 제어 회로(704)는 선택된 프레임과 연관된 플롯 정보를 식별하기 위해 닫힌 캡셔닝 데이터로서 리트리브된 텍스트를 사용하여 플롯 정보 데이터베이스를 서치할 수 있다.
도 12의 단계들 또는 설명들은 본 발명의 임의의 다른 실시예와 함께 사용될 수 있는 것으로 고려된다. 또한, 도 12의 알고리즘과 관련하여 설명된 설명은 추가로 본 발명의 목적을 위해 대안적인 순서로 또는 병렬로 행해질 수 있다. 예를 들어, 조건문 또는 논리적 평가가 시스템 또는 방법의 지연을 줄이거나 속도를 높이기 위해 임의의 순서 또는 병렬로 또는 동시에 수행될 수 있다. 추가 예로서, 일부 실시예에서, 변수의 몇몇 인스턴스가 다중 논리 프로세서 스레드를 사용하여 병렬로 평가될 수 있거나, 알고리즘이 분기 예측을 통합함으로써 향상될 수 있다. 또한, 도 12의 프로세스는 적절하게 구성된 소프트웨어 및 하드웨어의 조합으로 구현될 수 있으며, 도 9 내지 도 14와 관련하여 논의되는 임의의 장치 또는 장비는 프로세스의 하나 이상의 부분을 구현하는 데 사용될 수 있음에 유의해야 한다.
도 13은 사용자 장치 상에 미디어 자산의 프리젠테이션 동안 보충 콘텐츠를 표시하기 위한 사용자 장치 부근의 영역을 결정하는 것과 관련된 예시적인 단계들의 흐름도이다. 도 13은 본 발명의 일부 실시예에 따라 모호한 용어의 의미를 식별하기 위해 제어 회로(예를 들어, 제어 회로(704))에 대한 프로세스를 나타낸다. 일부 실시예에서, 본 알고리즘은 프로세싱 회로(예를 들어, 프로세싱 회로(706))에 의해 디코딩되고 실행될 명령어들의 세트로서 비일시적인 저장 매체(예를 들어, 저장 장치(708)) 상에 인코딩될 수 있다. 프로세싱 회로는 차례로 튜닝, 비디오 생성, 인코딩, 디코딩, 암호화, 해독, 스케일링, 아날로그/디지털 변환 회로 등과 같은 제어 회로(704) 내에 포함된 다른 서브-회로에 명령어를 제공할 수 있다.
1302에서, 제어 회로(704)는 카메라 장치를 사용하여, 사용자 장치 부근의 하나 이상의 영역을 모니터링한다. 예를 들어, 제어 회로(704)는 카메라 피드백에 기초하여 텔레비젼 주위의 룸을 분석하고, 보충 콘텐츠에 대해 이용 가능할 수 있는 벽 또는 다른 표면을 갖는 룸의 섹션을 식별하고, 이들 섹션을 모니터링할 수 있다. 프로세스(1300)는 1304로 진행한다.
1304에서, 제어 회로(704)는 모니터링에 기초하여 사용자 장치 부근의 하나 이상의 영역 각각에 대한 치수를 결정한다. 예를 들어, 제어 회로(704)는 룸의 분석 및 모니터링에 기초하여 룸의 벽 및 이용 가능한 주위 표면의 치수, 크기 및 배향을 계산할 수 있다. 일부 실시예에서, 제어 회로(704)는 보충 콘텐츠를 표시하기에 적절한 하나 이상의 부분에 대해 사용자 장치 부근의 하나 이상의 영역을 분석한다. 예를 들어, 미디어 가이던스 어플리케이션은 벽에 매달려 있는 그림이나 중간에 있는 책장과 같은 임의의 방해물이 없는 벽을 식별하고, 벽 부분이 보충 콘텐츠 표시에 이용 가능한지 여부에 기초하여 벽을 분석할 수 있다. 일부 실시예에서, 제어 회로(704)는 분석에 기초하여 보충 콘텐츠를 표시하기에 적절한 부분을 선택한다. 예를 들어, 제어 회로(704)는 방해되지 않고 그에 따라 보충 콘텐츠를 표시하기에 이용 가능한 벽의 영역을 선택할 수 있다. 일부 실시예에서, 제어 회로(704)는 선택된 부분에 대한 하나 이상의 영역의 크기, 형상 및 방위를 나타내는 치수를 결정한다. 예를 들어, 제어 회로(704)는 보충 콘텐츠의 표시에 이용 가능한 천장 상의 영역을 선택할 수 있고, 중앙 팬 또는 천장 조명이 선택된 영역에 포함되지 않도록, 아래로 향하는 배향과 도넛의 형상뿐만 아니라 공간의 크기를 포함하는 치수를 결정할 수 있다. 프로세스(1300)는 1306으로 진행한다.
1306에서, 제어 회로(704)는 사용자 장치 상에 표현되는 미디어 자산의 장면과 연관된 보충 콘텐츠를 리트리브한다. 예를 들어, 제어 회로(704)는 보충 콘텐츠 데이터베이스로부터 텔레비젼 상에서 재생되는 영화의 장면과 연관된 보충 콘텐츠를 리트리브할 수 있다. 일부 실시예에서, 제어 회로(704)는 장면에서 표현되는 객체 및 위치 중 적어도 하나를 식별한다. 일부 실시예에서, 제어 회로(704)는 객체 및 위치의 식별된 적어도 하나에 기초하여 장면과 연관된 플롯 정보를 식별한다. 일부 실시예에서, 제어 회로(704)는 장면과 연관된 플롯 정보와 매칭하는 보충 콘텐츠에 대해 보충 콘텐츠의 데이터베이스를 서치한다. 프로세스(1300)는 1308로 진행한다.
1308에서, 제어 회로(704)는 보충 콘텐츠의 치수를 식별한다. 예를 들어, 제어 회로(704)는 보충 콘텐츠와 연관된 태그에 기초하여 보충 콘텐츠의 의도된 치수를 결정할 수 있다. 일부 실시예에서, 제어 회로(704)는 보충 콘텐츠의 크기, 형상 및 배향 중 하나를 식별한다. 예를 들어, 일부 보충 콘텐츠는 아래로부터 보도록 배향될 수 있거나, 다른 보충 콘텐츠는 도넛처럼 형상화될 수 있다. 프로세스(1300)는 1310으로 진행한다.
1310에서, 제어 회로(704)는 보충 콘텐츠의 치수를 하나 이상의 영역 각각에 대한 치수와 비교한다. 일부 실시예에서, 제어 회로(704)는 보충 콘텐츠의 치수와 하나 이상의 영역 각각에 대한 치수를 비교하고, 추가로 하나 이상의 영역 각각의 크기, 형상 및 배향 중 하나를 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 비교하는 것을 추가로 포함한다. 예를 들어, 제어 회로(704)는 영역의 형상을 보충 콘텐츠의 형상과 비교하거나, 영역의 배향을 보충 콘텐츠의 배향과 비교할 수 있다. 프로세스(1300)는 1312로 진행한다.
1312에서, 제어 회로(704)는 비교에 기초하여 하나 이상의 영역의 서브셋을 필터링한다. 예를 들어, 제어 회로(704)는 식별된 보충 콘텐츠를 표시하는 데 이용 가능한 영역을 식별하도록 영역을 필터링할 수 있다. 일부 실시예에서, 제어 회로(704)는 하나 이상의 영역 중 하나와 연관된 객체를 식별한다. 예를 들어, 제어 회로(704)는 영역에 책장이 있음을 식별할 수 있다. 일부 실시예에서, 제어 회로(704)는 객체를 알려진 객체와 비교하여 그 객체가 보충 콘텐츠를 표시하는 데 이용 가능한지 여부를 결정한다. 예를 들어, 제어 회로(704)는 윈도우를 커버하는 블라인드를 식별하고, 알려진 객체의 데이터베이스를 통해 서치한 후, 윈도우를 커버하는 블라인드가 보충 콘텐츠를 표시하는 데 이용 가능한지 결정할 수 있다. 일부 실시예에서, 제어 회로(704)는, 객체가 비교에 기초하여 보충 콘텐츠를 표시하는 데 이용 가능하지 않다고 결정한다. 예를 들어, 제어 회로(704)는 알려진 객체의 데이터베이스를 서치하여, 보충 물이 책장의 상부에 표시될 수 없다고 결정할 수 있다. 일부 실시예에서, 제어 회로(704)는 하나 이상의 영역으로부터 하나 이상의 영역 중 하나를 제거한다. 예를 들어, 제어 회로(704)는 보충 콘텐츠의 디스플레이에 이용 가능한 영역으로부터 책장을 갖는 영역을 필터링 배제할 수 있다.
일부 실시예에서, 제어 회로(704)는, 크기, 형상 및 배향이 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 매칭되지 않는 하나 이상의 영역을 식별함으로써 하나 이상의 영역 중 하나를 식별한다. 예를 들어, 제어 회로(704)는, 영역이 도넛 형상이지만 보충 콘텐츠는 직사각형의 형상이므로 보충 콘텐츠가 그 영역에 맞지 않는 것으로 결정할 수 있다. 일부 실시예에서, 제어 회로(704)는 하나 이상의 영역으로부터 하나 이상의 영역 중 하나를 제거한다. 예를 들어, 제어 회로(704)는 보충 콘텐츠의 디스플레이에 이용 가능한 영역으로부터 도넛 형상의 영역을 필터링 배제할 수 있다. 프로세스(1300)는 1314로 진행한다.
1314에서, 제어 회로(704)는 사용자 장치 부근의 하나 이상의 영역의 서브셋에 표시하기 위한 보충 콘텐츠를 프로젝션 장치에 송신한다. 일부 실시예에서, 제어 회로(704)는 하나 이상의 영역의 서브셋 각각에 표시하기 위한 보충 콘텐츠를 송신한다. 예를 들어, 제어 회로(704)는 객체가 없는 것으로 식별되고 적절한 크기, 형상 및 배향인 나머지 영역 모두에 보충 콘텐츠를 표시할 수 있다.
일부 실시예에서, 제어 회로(704)는 각 영역의 치수, 각 영역의 위치, 또는 보충 콘텐츠의 콘텐츠 중 적어도 하나에 기초하여 하나 이상의 영역의 서브셋 각각을 등급화한다. 예를 들어, 보충 콘텐츠가 넓은 풍경인 경우, 제어 회로(704)는 영역을 등급화하고, 천장보다는 벽 상의 큰 직사각형인 영역을 우선화할 수 있다. 일부 실시예에서, 제어 회로(704)는 등급에 기초하여 보충 콘텐츠를 표시하기 위해 하나 이상의 영역의 서브셋 중 하나를 결정한다. 예를 들어, 제어 회로(704)는 최고 등급을 수신한 영역을 선택할 수 있다. 일부 실시예에서, 제어 회로(704)는 하나 이상의 영역의 서브셋 중 하나에 보충 콘텐츠를 표시하기 위해 송신한다. 예를 들어, 제어 회로(704)는 최고 등급을 수신한 선택된 영역 상에 보충 콘텐츠를 표시할 수 있다.
일부 실시예에서, 제어 회로(704)는 보충 콘텐츠의 복수의 부분을 결정한다. 예를 들어, 보충 콘텐츠는 각각 상이한 배향, 크기 및 형상의 상이한 새의 복수의 이미지일 수 있다. 일부 실시예에서, 제어 회로(704)는 보충 콘텐츠의 복수의 부분 각각을 하나 이상의 영역의 서브셋 중 하나와 매칭시킨다. 예를 들어, 제어 회로(704)는 이미지의 크기, 형상 및 배향에 기초하여 새의 이미지 각각을 룸 주위의 영역에 매칭시킬 수 있다. 일부 실시예에서, 제어 회로(704)는 복수의 공간의 서브셋 중 대응하는 하나에 보충 콘텐츠의 복수의 부분의 각각을 표시하기 위해 생성한다. 예를 들어, 제어 회로(704)는 각각의 이미지를 룸 주위의 대응하는 영역 상에 표시할 수 있다.
도 13의 단계들 또는 설명들은 본 발명의 임의의 다른 실시예와 함께 사용될 수 있는 것으로 고려된다. 또한, 도 13의 알고리즘과 관련하여 설명되는 설명은 추가로 본 발명의 목적을 위해 대안적인 순서로 또는 병렬로 행해질 수 있다. 예를 들어, 조건문 및 논리적 평가가 시스템 또는 방법의 지연을 줄이거나 속도를 높이기 위해 임의의 순서로 또는 병렬로 또는 동시에 수행될 수 있다. 추가 예로서, 일부 실시예에서, 변수의 몇몇 인스턴스가 다중 논리 프로세서 스레드를 사용하여 병렬로 평가될 수 있거나, 알고리즘이 분기 예측을 통합함으로써 향상될 수 있다. 또한, 도 13의 프로세스는 적절히 구성된 소프트웨어 및 하드웨어의 조합으로 구현될 수 있으며, 도 9 내지 도 14와 관련하여 논의된 임의의 장치 또는 장비는 프로세스의 하나 이상의 부분을 구현하는 데 사용될 수 있다는 점에 유의해야 한다.
도 14는 보충 콘텐츠를 표시하기에 이용 가능한 사용자 장치 부근의 영역의 서브셋을 식별하기 위해 영역들을 필터링하기 위한 예시적인 단계들의 흐름도이다. 도 14는 본 발명의 일부 실시예에 따라 모호한 용어의 의미를 식별하기 위해 제어 회로(예를 들어, 제어 회로(704))에 대한 프로세스를 나타낸다. 일부 실시예에서, 본 알고리즘은 프로세싱 회로(예를 들어, 프로세싱 회로(706))에 의해 디코딩되고 실행될 명령어들의 세트로서 비일시적인 저장 매체(예를 들어, 저장 장치(708)) 상에 인코딩될 수 있다. 프로세싱 회로는 차례로 튜닝, 비디오 생성, 인코딩, 디코딩, 암호화, 해독, 스케일링, 아날로그/디지털 변환 회로 등과 같은 제어 회로(704) 내에 포함된 다른 서브-회로에 명령어를 제공할 수 있다.
1402에서, 제어 회로(704)는 사용자 장치 상에 표현되는 미디어 자산의 장면과 연관된 보충 콘텐츠를 리트리브한다. 예를 들어, 제어 회로(704)는 주요 피쳐들을 분석하고, 식별된 객체 및 플롯 정보에 기초하여 선택된 보충 콘텐츠에 기초하여 장면과 관련된 플롯 정보에 대해 플롯 정보 데이터베이스를 서치함으로써 장면의 객체를 식별할 수 있다. 프로세스(1400)는 1404로 진행한다.
1404에서, 제어 회로(704)는 보충 콘텐츠의 크기, 형상 및 배향을 식별함으로써 보충 콘텐츠의 치수를 식별한다. 예를 들어, 제어 회로(704)는, 보충 콘텐츠가 아래로부터 보이도록 지향되고 조명 기구에 대한 것과 같이 중앙에 빈 지점을 갖는 도넛 형상인 것으로 결정할 수 있다. 프로세스(1400)는 1406으로 진행한다.
1406에서, 제어 회로(704)는 하나 이상의 영역 중 다음 영역을 선택한다. 프로세스(1400)는 1408로 진행한다.
1408에서, 제어 회로(704)는, 보충 콘텐츠의 크기, 형상 및 방위가 다음 영역의 치수와 매칭되는지 여부를 결정한다. 그렇다면, 프로세스(1400)는 1410으로 진행한다. 그렇지 않은 경우, 프로세스(1400)는 1414로 진행한다.
1410에서, 제어 회로(704)는 다음 영역과 연관된 객체를 식별한다. 예를 들어, 제어 회로(704)는 영역 내에 존재하는 책장을 식별할 수 있다. 프로세스(1400)는 1412로 진행한다.
1412에서, 제어 회로(704)는, 식별된 객체가 보충 콘텐츠를 표시하는 데 이용 가능한지 여부를 결정한다. 그렇다면, 프로세스(1400)는 1416으로 진행한다. 그렇지 않으면, 프로세스(1400)는 1414로 진행한다.
1414에서, 제어 회로(704)는 하나 이상의 영역의 서브셋으로부터 다음 영역을 제거한다. 예를 들어, 제어 회로(704)가, 책장이 보충 콘텐츠를 표시하기 위해 이용 가능하지 않다고 결정한 경우, 책장을 포함하는 영역이 보충 콘텐츠를 표시하기에 이용 가능한 영역의 서브셋에 대한 고려로부터 제거된다. 프로세스(1400)는 1416으로 진행한다.
1416에서, 제어 회로(704)는 하나 이상의 영역에 다른 영역이 있는지 여부를 결정한다. 그렇다면, 프로세스는 1406으로 진행한다. 그렇지 않은 경우, 프로세스(1400)는 1418로 진행한다.
1418에서, 제어 회로(704)는 하나 이상의 영역의 서브셋 각각에 디스플레이를 위한 보충 콘텐츠를 송신한다. 예를 들어, 제어 회로(704)는 보충 콘텐츠의 디스플레이에 이용 가능한 것으로 식별된 사용자 장치 부근의 룸 주위의 영역 각각에 보충 콘텐츠를 표시할 수 있다.
도 14의 단계들 또는 설명들은 본 발명의 임의의 다른 실시예와 함께 사용될 수 있다. 또한, 도 14의 알고리즘과 관련하여 설명된 설명은 추가로 본 발명의 목적을 위해 대안적인 순서로 또는 병렬로 행해질 수 있다. 예를 들어, 조건문 및 논리적 평가가 시스템 또는 방법의 지연을 줄이거나 속도를 높이기 위해 임의의 순서로 또는 병렬로 또는 동시에 수행될 수 있다. 추가 예로서, 일부 실시예에서, 변수의 몇몇 인스턴스가 다중 논리 프로세서 스레드를 사용하여 병렬로 평가될 수 있거나, 알고리즘은 분기 예측을 통합함으로써 향상될 수 있다. 또한, 도 14의 프로세스는 적절하게 구성된 소프트웨어 및 하드웨어의 조합으로 구현될 수 있으며, 도 9 내지 도 13과 관련하여 논의된 임의의 장치 또는 장비는 프로세스의 하나 이상의 부분을 구현하는 데 사용될 수 있음에 유의해야 한다.
상술한 프로세스는 예시적인 것이며 한정적인 것으로 의도되지 않는다. 본 기술 분야의 통상의 기술자는 본원에서 논의된 프로세스의 단계가 본 발명의 범위를 벗어나지 않고도, 생략, 수정, 조합 및/또는 재배열될 수 있고, 임의의 추가 단계가 수행될 수 있다는 것을 이해할 것이다. 더욱 일반적으로, 상술한 본 발명은 예시적인 것이며 한정적인 것이 아니다. 후속하는 청구항들만이 본 발명이 포함하는 것에 대한 경계를 설정하는 것으로 의미된다. 또한, 임의의 일 실시예에서 설명되는 특징 및 제한이 본원의 임의의 다른 실시예에 적용될 수 있으며, 일 실시예와 관련된 흐름도 또는 예는 적절한 방식으로 임의의 다른 실시예와 조합될 수 있고, 다른 순서로 행해지거나 병렬로 행해질 수 있음에 유의해야 한다. 또한, 본원에 설명되는 시스템 및 방법은 실시간으로 수행될 수 있다. 또한, 상술한 시스템 및/또는 방법은 다른 시스템 및/또는 방법에 적용될 수 있거나, 이에 따라 사용될 수 있음에 유의해야 한다.

Claims (100)

  1. 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위한 보충 콘텐츠를 선택하기 위한 방법으로서,
    상기 사용자 장치 상의 상기 미디어 자산의 프리젠테이션 동안 하나 이상의 프레임들을 모니터링하는 단계;
    상기 미디어 자산의 프리젠테이션 동안 상기 미디어 자산 내의 새로운 장면을 나타내는 프레임을 선택하는 단계;
    상기 선택된 프레임에 표현된 객체 및 위치 중 적어도 하나를 식별하는 단계;
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 플롯 정보를 결정하는 단계;
    상기 플롯 정보에 기초하여 상기 미디어 자산에 수반되는 상기 보충 콘텐츠를 데이터베이스로부터 식별하는 단계; 및
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 프로젝션 장치로 송신하는 단계를 포함하는, 보충 콘텐츠를 선택하기 위한 방법.
  2. 제1항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하는 단계는,
    상기 선택된 프레임 내의 주요 피쳐(key feature)들을 식별하는 단계;
    상기 식별된 주요 피쳐들을 객체 데이터베이스와 비교하는 단계;
    상기 비교에 기초하여 상기 선택된 프레임에서 표현된 상기 객체를 식별하는 단계;
    상기 선택된 프레임 내의 상기 객체에 기초하여 액션 데이터베이스를 서치(search)하는 단계; 및
    상기 선택된 프레임에서 발생하는 액션 - 상기 액션은 상기 객체와 연관됨 - 을 식별하는 단계를 포함하는 것인, 보충 콘텐츠를 선택하기 위한 방법.
  3. 제2항에 있어서,
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 상기 플롯 정보를 결정하는 단계는,
    상기 객체 및 상기 위치와 상기 선택된 프레임에서 발생하는 상기 액션 중 적어도 하나와 연관된 플롯 정보 - 상기 플롯 정보는 상기 선택된 프레임의 플롯을 설명하는 키워드들을 포함함 - 를 식별하기 위해 플롯 정보 데이터베이스를 서치하는 단계;
    상기 객체와 상기 위치와 상기 액션 중 적어도 하나와 연관된 공통 키워드들을 결정하는 단계; 및
    상기 공통 키워드들에 기초하여 식별된 플롯 정보를 결정하는 단계를 더 포함하는 것인, 보충 콘텐츠를 선택하기 위한 방법.
  4. 제1항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하는 단계는,
    상기 선택된 프레임 내의 주요 피쳐들을 식별하는 단계;
    상기 식별된 주요 피쳐들을 객체 데이터베이스와 비교하는 단계;
    상기 비교에 기초하여 상기 선택된 프레임에서 상기 객체를 식별하는 단계;
    상기 객체와 연관된 위치에 대해 위치 데이터베이스를 서치하는 단계; 및
    상기 객체와 연관된 상기 위치에 기초하여 상기 선택된 프레임 내의 상기 위치를 식별하는 단계를 포함하는 것인, 보충 콘텐츠를 선택하기 위한 방법.
  5. 제1항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하는 단계는,
    상기 선택된 프레임 내의 주요 피쳐들을 식별하는 단계;
    상기 선택된 프레임의 상기 주요 피쳐들을 위치 데이터베이스 - 상기 위치 데이터베이스는 위치들의 표현들의 분석을 포함함 - 와 비교하는 단계; 및
    상기 선택된 프레임의 상기 주요 피쳐들을 상기 위치들의 표현들의 분석과 비교하는 것에 기초하여 상기 선택된 프레임에서 표현된 상기 위치를 결정하는 단계를 포함하는 것인, 보충 콘텐츠를 선택하기 위한 방법.
  6. 제1항에 있어서,
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 상기 플롯 정보를 결정하는 단계는,
    상기 선택된 프레임과 연관된 메타데이터(metadata) - 상기 메타데이터는 상기 선택된 프레임과 연관된 닫힌 캡셔닝(captioning) 데이터 및 태그(tag)들 중 하나를 포함함 - 를 리트리브(retrieve)하는 단계; 및
    상기 객체와 상기 위치와 상기 메타데이터와 연관된 플롯 정보 - 상기 플롯 정보는 상기 선택된 프레임의 플롯을 설명하는 키워드들을 포함함 - 에 대해 플롯 정보 데이터베이스를 서치하는 단계를 더 포함하는 것인, 보충 콘텐츠를 선택하기 위한 방법.
  7. 제1항에 있어서,
    상기 선택된 프레임의 부분으로부터 새로운 보충 콘텐츠를 생성하는 단계; 및
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 공통 키워드들과 함께 상기 데이터베이스에 상기 새로운 보충 콘텐츠를 저장하는 단계를 더 포함하는, 보충 콘텐츠를 선택하기 위한 방법.
  8. 제1항에 있어서,
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하는 단계는, 사운드 세트를 스피커로 송신하는 단계를 더 포함하고, 상기 보충 콘텐츠는 상기 사용자 장치 부근에 표시하기 위한 이미지 및 상기 사운드 세트를 포함하는 것인, 보충 콘텐츠를 선택하기 위한 방법.
  9. 제1항에 있어서,
    다음 장면을 나타내는 상기 미디어 자산의 프리젠테이션 동안 다음 프레임을 선택하는 단계; 및
    상기 선택된 프레임 및 상기 선택된 다음 프레임에 기초하여 상기 새로운 장면의 지속 기간을 결정하는 단계를 더 포함하는, 보충 콘텐츠를 선택하기 위한 방법.
  10. 제9항에 있어서,
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하는 단계는, 상기 새로운 장면의 상기 지속 기간에 대한 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하는 단계를 더 포함하는 것인, 보충 콘텐츠를 선택하기 위한 방법.
  11. 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 사용자 장치 부근에 표시하기 위해 보충 콘텐츠를 선택하기 위한 시스템으로서, 상기 시스템은 제어 회로를 포함하고, 상기 제어 회로는,
    상기 사용자 장치 상의 상기 미디어 자산의 프리젠테이션 동안 하나 이상의 프레임들을 모니터링하고;
    상기 미디어 자산의 새로운 장면을 나타내는 상기 미디어 자산의 프리젠테이션 동안 프레임을 선택하고;
    상기 선택된 프레임에 표현된 객체 및 위치 중 적어도 하나를 식별하고;
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 플롯 정보를 결정하고;
    상기 플롯 정보에 기초하여 상기 미디어 자산을 수반하는 상기 보충 콘텐츠를 데이터베이스로부터 식별하며;
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 프로젝션 장치로 송신하도록 구성되는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  12. 제11항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하도록 구성된 상기 제어 회로는 또한,
    상기 선택된 프레임에서 주요 피쳐들을 식별하고;
    상기 식별된 주요 피쳐들을 객체 데이터베이스와 비교하고;
    상기 비교에 기초하여 상기 선택된 프레임 내의 상기 객체를 식별하고;
    상기 선택된 프레임 내의 상기 객체에 기초하여 액션 데이터베이스를 서치하며;
    상기 선택된 프레임에서 발생하는, 상기 객체와 연관되는 액션을 식별하도록 구성되는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  13. 제12항에 있어서,
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 상기 플롯 정보를 결정하도록 구성된 상기 제어 회로는 또한,
    플롯 정보 데이터베이스를 서치하여, 상기 객체와 상기 위치와 상기 선택된 프레임에서 발생하는 상기 액션과 연관된 플롯 정보 - 상기 플롯 정보는 상기 선택된 프레임의 플롯을 설명하는 키워드들을 포함함 - 를 식별하고;
    상기 객체와 상기 위치와 상기 액션과 연관된 공통 키워드들을 결정하며;
    상기 공통 키워드들에 기초하여 식별된 플롯 정보를 결정하도록 구성되는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  14. 제11항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하도록 구성된 상기 제어 회로는 또한,
    상기 선택된 프레임에서 주요 피쳐들을 식별하고;
    상기 식별된 주요 피쳐들을 객체 데이터베이스와 비교하고;
    상기 비교에 기초하여 상기 선택된 프레임 내의 상기 객체를 식별하고;
    상기 객체와 연관된 위치에 대해 위치 데이터베이스를 서치하며;
    상기 객체와 연관된 상기 위치에 기초하여 상기 선택된 프레임에서 상기 위치를 식별하도록 구성되는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  15. 제11항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하도록 구성된 상기 제어 회로는,
    상기 선택된 프레임에서 주요 피쳐들을 식별하고;
    상기 선택된 프레임의 상기 주요 피쳐들을 위치 데이터베이스 - 상기 위치 데이터베이스는 위치들의 표현들의 분석을 포함함 - 와 비교하며;
    상기 선택된 프레임의 상기 주요 피쳐들을 상기 위치들의 표현들의 분석과 비교하는 것에 기초하여 상기 선택된 프레임에서 표현된 상기 위치를 결정하도록 구성되는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  16. 제11항에 있어서,
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 상기 플롯 정보를 결정하도록 구성된 상기 제어 회로는 또한,
    상기 선택된 프레임과 연관된 메타데이터 - 상기 메타데이터는 닫힌 캡셔닝 데이터 및 상기 선택된 프레임과 연관된 태그들 중 하나를 포함함 - 를 리트리브하고;
    상기 객체와 상기 위치와 상기 메타데이터 중 적어도 하나와 연관된 플롯 정보에 대해 플롯 정보 데이터베이스를 서치하도록 구성되고, 상기 플롯 정보는 상기 선택된 프레임의 플롯을 설명하는 키워드들을 포함하는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  17. 제11항에 있어서,
    상기 선택된 프레임의 부분으로부터 새로운 보충 콘텐츠를 생성하고;
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 공통 키워드들과 함께 상기 새로운 보충 콘텐츠를 상기 데이터베이스에 저장하도록 구성된 제어 회로를 더 포함하는, 보충 콘텐츠를 선택하기 위한 시스템.
  18. 제11항에 있어서,
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하도록 구성된 상기 제어 회로는 또한, 사운드 세트를 스피커로 송신하도록 구성되고, 상기 보충 콘텐츠는 상기 사용자 장치 부근에 표시하기 위한 이미지 및 상기 사운드 세트를 포함하는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  19. 제11항에 있어서,
    다음 장면을 나타내는 상기 미디어 자산의 프리젠테이션 동안 다음 프레임을 선택하고;
    상기 선택된 프레임 및 상기 선택된 다음 프레임에 기초하여 상기 새로운 장면의 지속 기간을 결정하도록 구성되는 제어 회로를 더 포함하는, 보충 콘텐츠를 선택하기 위한 시스템.
  20. 제19항에 있어서,
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하도록 구성된 상기 제어 회로는 또한, 상기 새로운 장면의 상기 지속 기간 동안 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하도록 구성되는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  21. 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 사용자 장치 부근에 표시하기 위해 보충 콘텐츠를 선택하기 위한 시스템으로서,
    상기 사용자 장치 상의 상기 미디어 자산의 프리젠테이션 동안 하나 이상의 프레임들을 모니터링하기 위한 수단;
    상기 미디어 자산의 새로운 장면을 나타내는 상기 미디어 자산의 프리젠테이션 동안 프레임을 선택하기 위한 수단;
    상기 선택된 프레임에 표현된 객체 및 위치 중 적어도 하나를 식별하기 위한 수단;
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 플롯 정보를 결정하기 위한 수단;
    상기 플롯 정보에 기초하여 상기 미디어 자산을 수반하는 상기 보충 콘텐츠를 데이터베이스로부터 식별하기 위한 수단; 및
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 프로젝션 장치로 송신하기 위한 수단
    을 포함하는, 보충 콘텐츠를 선택하기 위한 시스템.
  22. 제21항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하기 위한 수단은,
    상기 선택된 프레임에서 주요 피쳐들을 식별하기 위한 수단;
    상기 식별된 주요 피쳐들을 객체 데이터베이스와 비교하기 위한 수단;
    상기 비교에 기초하여 상기 선택된 프레임 내의 상기 객체를 식별하기 위한 수단;
    상기 선택된 프레임 내의 상기 객체에 기초하여 액션 데이터베이스를 서치하기 위한 수단; 및
    상기 선택된 프레임에서 발생하는, 상기 객체와 연관되는 액션을 식별하기 위한 수단
    을 포함하는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  23. 제22항에 있어서,
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 상기 플롯 정보를 결정하기 위한 수단은,
    플롯 정보 데이터베이스를 서치하여, 상기 객체와 상기 위치와 상기 선택된 프레임에서 발생하는 상기 액션과 연관된 플롯 정보 - 상기 플롯 정보는 상기 선택된 프레임의 플롯을 설명하는 키워드들을 포함함 - 를 식별하기 위한 수단;
    상기 객체와 상기 위치와 상기 액션 중 적어도 하나와 연관된 공통 키워드들을 결정하기 위한 수단; 및
    상기 공통 키워드들에 기초하여 식별된 플롯 정보를 결정하기 위한 수단을 더 포함하는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  24. 제21항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하기 위한 수단은,
    상기 선택된 프레임에서 주요 피쳐들을 식별하기 위한 수단;
    상기 식별된 주요 피쳐들을 객체 데이터베이스와 비교하기 위한 수단;
    상기 비교에 기초하여 상기 선택된 프레임 내의 상기 객체를 식별하기 위한 수단;
    상기 객체와 연관된 위치에 대해 위치 데이터베이스를 서치하기 위한 수단; 및
    상기 객체와 연관된 상기 위치에 기초하여 상기 선택된 프레임에서 상기 위치를 식별하기 위한 수단을 포함하는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  25. 제21항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하기 위한 수단은,
    상기 선택된 프레임에서 주요 피쳐들을 식별하기 위한 수단;
    상기 선택된 프레임의 상기 주요 피쳐들을 위치 데이터베이스와 비교하며, 상기 위치 데이터베이스는 위치들의 표현들의 분석을 포함하는 수단; 및
    상기 선택된 프레임의 상기 주요 피쳐들을 상기 위치들의 표현들의 분석과 비교하는 것에 기초하여 상기 선택된 프레임에서 표현된 상기 위치를 결정하기 위한 수단을 포함하는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  26. 제21항에 있어서,
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 상기 플롯 정보를 결정하기 위한 수단은,
    상기 선택된 프레임과 연관된 메타데이터 - 상기 메타데이터는 닫힌 캡셔닝 데이터 및 상기 선택된 프레임과 연관된 태그들 중 하나를 포함함 - 를 리트리브하기 위한 수단; 및
    상기 객체와 상기 위치와 상기 메타데이터 중 적어도 하나와 연관된 플롯 정보 - 상기 플롯 정보는 상기 선택된 프레임의 플롯을 설명하는 키워드들을 포함함 - 에 대해 플롯 정보 데이터베이스를 서치하기 위한 수단을 더 포함하는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  27. 제21항에 있어서,
    상기 선택된 프레임의 부분으로부터 새로운 보충 콘텐츠를 생성하기 위한 수단; 및
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 공통 키워드들과 함께 상기 새로운 보충 콘텐츠를 상기 데이터베이스에 저장하기 위한 수단을 더 포함하는, 보충 콘텐츠를 선택하기 위한 시스템.
  28. 제21항에 있어서,
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하기 위한 수단은, 사운드 세트를 스피커로 송신하기 위한 수단을 더 포함하고, 상기 보충 콘텐츠는 상기 사용자 장치 부근에 표시하기 위한 이미지 및 상기 사운드 세트를 포함하는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  29. 제21항에 있어서,
    다음 장면을 나타내는 상기 미디어 자산의 프리젠테이션 동안 다음 프레임을 선택하기 위한 수단; 및
    상기 선택된 프레임 및 상기 선택된 다음 프레임에 기초하여 상기 새로운 장면의 지속 기간을 결정하기 위한 수단을 더 포함하는, 보충 콘텐츠를 선택하기 위한 시스템.
  30. 제29항에 있어서,
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하기 위한 수단은, 상기 새로운 장면의 상기 지속 기간 동안 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하기 위한 수단을 더 포함하는 것인, 보충 콘텐츠를 선택하기 위한 시스템.
  31. 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위한 보충 콘텐츠를 선택하기 위해 인코딩된 명령어들을 포함하는 비일시적 머신 판독 가능 매체로서, 상기 명령어들은,
    상기 사용자 장치 상의 상기 미디어 자산의 프리젠테이션 동안 하나 이상의 프레임들을 모니터링하게 하는 명령어들;
    상기 미디어 자산의 프리젠테이션 동안 상기 미디어 자산 내의 새로운 장면을 나타내는 프레임을 선택하게 하는 명령어들;
    상기 선택된 프레임에 표현된 객체 및 위치 중 적어도 하나를 식별하게 하는 명령어들;
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 플롯 정보를 결정하게 하는 명령어들;
    상기 플롯 정보에 기초하여 상기 미디어 자산에 수반되는 상기 보충 콘텐츠를 데이터베이스로부터 식별하게 하는 명령어들; 및
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 프로젝션 장치로 송신하게 하는 명령어들을 포함하는 것인, 비일시적 머신 판독 가능 매체.
  32. 제31항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하게 하는 상기 명령어들은,
    상기 선택된 프레임 내의 주요 피쳐들을 식별하게 하는 명령어들;
    상기 식별된 주요 피쳐들을 객체 데이터베이스와 비교하게 하는 명령어들;
    상기 비교에 기초하여 상기 선택된 프레임에서 상기 객체를 식별하게 하는 명령어들;
    상기 선택된 프레임 내의 상기 객체에 기초하여 액션 데이터베이스를 서치하게 하는 명령어들; 및
    상기 선택된 프레임에서 발생하는 액션 - 상기 액션은 상기 객체와 연관됨 -을 식별하게 하는 명령어들을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  33. 제32항에 있어서,
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 상기 플롯 정보를 결정하게 하는 상기 명령어들은,
    상기 객체 및 상기 위치와 상기 선택된 프레임에서 발생하는 상기 액션 중 적어도 하나와 연관된 플롯 정보 - 상기 플롯 정보는 상기 선택된 프레임의 플롯을 설명하는 키워드들을 포함함 - 를 식별하기 위해 플롯 정보 데이터베이스를 서치하게 하는 명령어들;
    상기 객체와 상기 위치와 상기 액션 중 적어도 하나와 연관된 공통 키워드들을 결정하게 하는 명령어들; 및
    상기 공통 키워드들에 기초하여 식별된 플롯 정보를 결정하게 하는 명령어들을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  34. 제31항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하게 하는 상기 명령어들은,
    상기 선택된 프레임 내의 주요 피쳐들을 식별하게 하는 명령어들;
    상기 식별된 주요 피쳐들을 객체 데이터베이스와 비교하게 하는 명령어들;
    상기 비교에 기초하여 상기 선택된 프레임에서 상기 객체를 식별하게 하는 명령어들;
    상기 객체와 연관된 위치에 대해 위치 데이터베이스를 서치하게 하는 명령어들; 및
    상기 객체와 연관된 상기 위치에 기초하여 상기 선택된 프레임 내의 상기 위치를 식별하게 하는 명령어들을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  35. 제31항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하게 하는 상기 명령어들은,
    상기 선택된 프레임 내의 주요 피쳐들을 식별하게 하는 명령어들;
    상기 선택된 프레임의 상기 주요 피쳐들을 위치 데이터베이스 - 상기 위치 데이터베이스는 위치들의 표현들의 분석을 포함함 - 와 비교하게 하는 명령어들; 및
    상기 선택된 프레임의 상기 주요 피쳐들을 상기 위치들의 표현들의 분석과 비교하는 것에 기초하여 상기 선택된 프레임에서 표현된 상기 위치를 결정하게 하는 명령어들을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  36. 제31항에 있어서,
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 상기 플롯 정보를 결정하게 하는 명령어들은,
    상기 선택된 프레임과 연관된 메타데이터 - 상기 메타데이터는 상기 선택된 프레임과 연관된 닫힌 캡셔닝 데이터 및 태그들 중 하나를 포함함 - 를 리트리브하게 하는 명령어들; 및
    상기 객체와 상기 위치와 상기 메타데이터 중 적어도 하나와 연관된 플롯 정보 - 상기 플롯 정보는 상기 선택된 프레임의 플롯을 설명하는 키워드들을 포함함 - 에 대해 플롯 정보 데이터베이스를 서치하게 하는 명령어들을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  37. 제31항에 있어서,
    상기 선택된 프레임의 부분으로부터 새로운 보충 콘텐츠를 생성하게 하는 명령어들; 및
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 공통 키워드들과 함께 상기 데이터베이스에 상기 새로운 보충 콘텐츠를 저장하게 하는 명령어들을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  38. 제31항에 있어서,
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하게 하는 명령어어들은, 사운드 세트를 스피커로 송신하게 하는 명령어들을 더 포함하고, 상기 보충 콘텐츠는 상기 사용자 장치 부근에 표시하기 위한 이미지 및 상기 사운드 세트를 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  39. 제31항에 있어서,
    다음 장면을 나타내는 상기 미디어 자산의 프리젠테이션 동안 다음 프레임을 선택하게 하는 명령어들; 및
    상기 선택된 프레임 및 상기 선택된 다음 프레임에 기초하여 상기 새로운 장면의 지속 기간을 결정하게 하는 명령어들을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  40. 제39항에 있어서,
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하게 하는 명령어들은, 상기 새로운 장면의 상기 지속 기간에 대한 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하게 하는 명령어들을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  41. 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위한 보충 콘텐츠를 선택하기 위한 방법으로서,
    상기 사용자 장치 상의 상기 미디어 자산의 프리젠테이션 동안 하나 이상의 프레임들을 모니터링하는 단계;
    상기 미디어 자산의 프리젠테이션 동안 상기 미디어 자산 내의 새로운 장면을 나타내는 프레임을 선택하는 단계;
    상기 선택된 프레임에 표현된 객체 및 위치 중 적어도 하나를 식별하는 단계;
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 플롯 정보를 결정하는 단계;
    상기 플롯 정보에 기초하여 상기 미디어 자산에 수반되는 상기 보충 콘텐츠를 데이터베이스로부터 식별하는 단계; 및
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 프로젝션 장치로 송신하는 단계를 포함하는, 보충 콘텐츠를 선택하기 위한 방법.
  42. 제41항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하는 단계는,
    상기 선택된 프레임 내의 주요 피쳐들을 식별하는 단계;
    상기 식별된 주요 피쳐들을 객체 데이터베이스와 비교하는 단계;
    상기 비교에 기초하여 상기 선택된 프레임에서 상기 객체를 식별하는 단계;
    상기 선택된 프레임 내의 상기 객체에 기초하여 액션 데이터베이스를 서치하는 단계; 및
    상기 선택된 프레임에서 발생하는 액션 - 상기 액션은 상기 객체와 연관됨 -을 식별하는 단계를 포함하는 것인, 보충 콘텐츠를 선택하기 위한 방법.
  43. 제42항에 있어서,
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 상기 플롯 정보를 결정하는 단계는,
    상기 객체 및 상기 위치와 상기 선택된 프레임에서 발생하는 상기 액션 중 적어도 하나와 연관된 플롯 정보 - 상기 플롯 정보는 상기 선택된 프레임의 플롯을 설명하는 키워드들을 포함함 - 를 식별하기 위해 플롯 정보 데이터베이스를 서치하는 단계;
    상기 객체와 상기 위치와 상기 액션 중 적어도 하나와 연관된 공통 키워드들을 결정하는 단계; 및
    상기 공통 키워드들에 기초하여 식별된 플롯 정보를 결정하는 단계를 더 포함하는 것인, 보충 콘텐츠를 선택하기 위한 방법.
  44. 제41항 내지 제43항 중 어느 한 항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하는 단계는,
    상기 선택된 프레임 내의 주요 피쳐들을 식별하는 단계;
    상기 식별된 주요 피쳐들을 객체 데이터베이스와 비교하는 단계;
    상기 비교에 기초하여 상기 선택된 프레임에서 상기 객체를 식별하는 단계;
    상기 객체와 연관된 위치에 대해 위치 데이터베이스를 서치하는 단계; 및
    상기 객체와 연관된 상기 위치에 기초하여 상기 선택된 프레임 내의 상기 위치를 식별하는 단계를 포함하는 것인, 보충 콘텐츠를 선택하기 위한 방법.
  45. 제41항 내지 제44항 중 어느 한 항에 있어서,
    상기 선택된 프레임에 표현된 상기 객체 및 상기 위치 중 적어도 하나를 식별하는 단계는,
    상기 선택된 프레임 내의 주요 피쳐들을 식별하는 단계;
    상기 선택된 프레임의 상기 주요 피쳐들을 위치 데이터베이스 - 상기 위치 데이터베이스는 위치들의 표현들의 분석을 포함함 - 와 비교하는 단계; 및
    상기 선택된 프레임의 상기 주요 피쳐들을 상기 위치들의 표현들의 분석과 비교하는 것에 기초하여 상기 선택된 프레임에서 표현된 상기 위치를 결정하는 단계를 포함하는 것인, 보충 콘텐츠를 선택하기 위한 방법.
  46. 제41항 내지 제45항 중 어느 한 항에 있어서,
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 상기 플롯 정보를 결정하는 단계는,
    상기 선택된 프레임과 연관된 메타데이터 - 상기 메타데이터는 상기 선택된 프레임과 연관된 닫힌 캡셔닝 데이터 및 태그들 중 하나를 포함함 - 를 리트리브하는 단계; 및
    상기 객체와 상기 위치와 상기 메타데이터와 연관된 플롯 정보 - 상기 플롯 정보는 상기 선택된 프레임의 플롯을 설명하는 키워드들을 포함하는 단계를 더 포함함 - 에 대해 플롯 정보 데이터베이스를 서치하는 단계를 더 포함하는 것인, 보충 콘텐츠를 선택하기 위한 방법.
  47. 제41항 내지 제46항 중 어느 한 항에 있어서,
    상기 선택된 프레임의 부분으로부터 새로운 보충 콘텐츠를 생성하는 단계; 및
    상기 객체 및 상기 위치 중 적어도 하나와 연관된 공통 키워드들과 함께 상기 데이터베이스에 상기 새로운 보충 콘텐츠를 저장하는 단계를 더 포함하는, 보충 콘텐츠를 선택하기 위한 방법.
  48. 제41항 내지 제47항 중 어느 한 항에 있어서,
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하는 단계는, 사운드 세트를 스피커로 송신하는 단계를 더 포함하고, 상기 보충 콘텐츠는 상기 사용자 장치 부근에 표시하기 위한 이미지 및 상기 사운드 세트를 포함하는 것인, 보충 콘텐츠를 선택하기 위한 방법.
  49. 제41항 내지 제48항 중 어느 한 항에 있어서,
    다음 장면을 나타내는 상기 미디어 자산의 프리젠테이션 동안 다음 프레임을 선택하는 단계; 및
    상기 선택된 프레임 및 상기 선택된 다음 프레임에 기초하여 상기 새로운 장면의 지속 기간을 결정하는 단계를 더 포함하는, 보충 콘텐츠를 선택하기 위한 방법.
  50. 제49항에 있어서,
    상기 미디어 자산의 프리젠테이션 동안 상기 사용자 장치 부근에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하는 단계는, 상기 새로운 장면의 상기 지속 기간에 대한 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하는 단계를 더 포함하는 것인, 보충 콘텐츠를 선택하기 위한 방법.
  51. 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 보충 콘텐츠를 표시하기 위해 상기 사용자 장치 부근의 영역을 결정하기 위한 방법으로서,
    카메라 장치를 사용하여, 상기 사용자 장치 부근의 하나 이상의 영역들을 모니터링하는 단계;
    상기 모니터링에 기초하여 상기 사용자 장치 부근의 상기 하나 이상의 영역들 각각에 대한 치수를 결정하는 단계;
    상기 사용자 장치 상에 표현되는 상기 미디어 자산의 장면과 연관된 보충 콘텐츠를 수신하는 단계;
    상기 보충 콘텐츠의 치수를 식별하는 단계;
    상기 보충 콘텐츠의 상기 치수를 상기 하나 이상의 영역들 각각에 대한 상기 치수와 비교하는 단계;
    상기 비교에 기초하여 상기 하나 이상의 영역들의 서브셋을 필터링하는 단계; 및
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 프로젝션 장치로 송신하는 단계를 포함하는, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  52. 제51항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들 각각에 대한 치수를 결정하는 단계는,
    상기 보충 콘텐츠를 표시하기에 적절한 하나 이상의 부분들에 대해 상기 사용자 장치 부근의 상기 하나 이상의 영역들을 분석하는 단계;
    상기 분석에 기초하여 상기 보충 콘텐츠를 표시하기에 적절한 부분을 선택하는 단계; 및
    상기 선택된 부분에 대한 치수를 결정하는 단계로서, 상기 치수는 상기 하나 이상의 영역들의 크기, 형상 또는 배향 중 하나를 나타내는 단계를 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  53. 제52항에 있어서,
    상기 보충 콘텐츠의 상기 치수를 상기 하나 이상의 영역들 각각에 대한 상기 치수와 비교하는 단계는, 상기 하나 이상의 영역들 각각의 크기, 형상 및 배향 중 하나를 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 비교하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  54. 제53항에 있어서,
    상기 비교에 기초하여 상기 하나 이상의 영역들의 상기 서브셋을 필터링하는 단계는,
    상기 하나 이상의 영역들 중 하나와 연관된 객체를 식별하는 단계;
    상기 객체를 알려진 객체의 데이터베이스로부터의 알려진 객체와 비교하여, 상기 객체가 상기 보충 콘텐츠를 표시하는 데 이용 가능한지 여부를 결정하는 단계;
    상기 비교에 기초하여 상기 객체가 상기 보충 콘텐츠를 표시하는 데 이용 가능하지 않는 것으로 결정하는 단계; 및
    상기 하나 이상의 영역들로부터 상기 하나 이상의 영역들 중 하나를 제거하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  55. 제53항에 있어서,
    상기 비교에 기초하여 상기 하나 이상의 영역들의 상기 서브셋을 필터링하는 단계는,
    상기 하나 이상의 영역들 중 하나 - 상기 하나 이상의 영역들 중 하나의 크기, 형상 및 배향 중 하나는 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 매칭되지 않음 - 를 식별하는 단계; 및
    상기 하나 이상의 영역들로부터 상기 하나 이상의 영역들 중 하나를 제거하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  56. 제51항에 있어서,
    상기 사용자 장치 상에 표현되는 상기 미디어 자산의 상기 장면과 연관된 상기 보충 콘텐츠를 수신하는 단계는,
    상기 장면에서 표현되는 객체 및 위치 중 적어도 하나를 식별하는 단계;
    상기 객체 및 상기 위치의 식별된 적어도 하나에 기초하여 상기 장면과 연관된 플롯 정보를 식별하는 단계; 및
    상기 장면과 연관된 상기 플롯 정보와 매칭되는 보충 콘텐츠에 대해 보충 콘텐츠의 데이터베이스를 서치하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  57. 제51항에 있어서,
    상기 보충 콘텐츠의 치수를 식별하는 단계는, 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나를 식별하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  58. 제51항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하는 단계는,
    각 영역의 치수, 각 영역의 위치, 또는 상기 보충 콘텐츠의 콘텐츠 중 적어도 하나에 기초하여 상기 하나 이상의 영역들의 상기 서브셋 각각을 등급화하는 단계;
    상기 등급화에 기초하여 상기 보충 콘텐츠를 표시하기 위해 상기 하나 이상의 영역들의 상기 서브셋 중 하나를 결정하는 단계;
    상기 하나 이상의 영역들의 상기 서브셋 중 하나에 상기 보충 콘텐츠를 표시하기 위해 송신하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  59. 제51항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하는 단계는,
    상기 보충 콘텐츠의 복수의 부분들을 결정하는 단계;
    상기 보충 콘텐츠의 상기 복수의 부분들의 각각을 상기 하나 이상의 영역들의 상기 서브셋 중 하나와 매칭시키는 단계; 및
    복수의 공간들의 서브셋 중 대응하는 하나에 상기 보충 콘텐츠의 상기 복수의 부분들 각각을 표시하기 위해 생성하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  60. 제51항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하는 단계는, 상기 하나 이상의 영역들의 상기 서브셋 각각에 표시하기 위해 상기 보충 콘텐츠를 송신하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  61. 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 보충 콘텐츠를 표시하기 위해 상기 사용자 장치 부근의 영역을 결정하기 위한 시스템으로서, 상기 시스템은 제어 회로를 포함하고, 상기 제어 회로는,
    카메라 장치를 사용하여, 상기 사용자 장치 부근의 하나 이상의 영역들을 모니터링하고;
    상기 모니터링에 기초하여 상기 사용자 장치 부근의 상기 하나 이상의 영역들 각각에 대한 치수를 결정하고;
    상기 사용자 장치 상에 표현되는 상기 미디어 자산의 장면과 연관된 보충 콘텐츠를 리트리브하고;
    상기 보충 콘텐츠의 치수를 식별하고;
    상기 보충 콘텐츠의 상기 치수를 상기 하나 이상의 영역들 각각에 대한 상기 치수와 비교하고;
    상기 비교에 기초하여 상기 하나 이상의 영역들의 서브셋을 필터링하며;
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 프로젝션 장치로 송신하도록 구성되는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  62. 제61항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들 각각에 대한 상기 치수를 결정하도록 구성된 상기 제어 회로는 또한,
    상기 보충 콘텐츠를 표시하기에 적절하지 않는 하나 이상의 부분들에 대해 상기 사용자 장치 부근의 상기 하나 이상의 영역들을 분석하고;
    상기 분석에 기초하여 상기 보충 콘텐츠를 표시하기에 적절한 부분을 선택하며;
    상기 선택된 부분에 대한 치수를 결정하도록 구성되고, 상기 치수는 상기 하나 이상의 영역들의 크기, 형상 또는 배향 중 하나를 나타내는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  63. 제62항에 있어서,
    상기 보충 콘텐츠의 상기 치수를 상기 하나 이상의 영역들 각각에 대한 상기 치수와 비교하도록 구성된 상기 제어 회로는 또한, 상기 하나 이상의 영역들 각각의 크기, 형상 및 배향 중 하나를 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 비교하도록 구성되는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  64. 제63항에 있어서,
    상기 비교에 기초하여 상기 하나 이상의 영역들의 상기 서브셋을 필터링하도록 구성된 상기 제어 회로는 또한,
    상기 하나 이상의 영역들 중 하나와 연관된 객체를 식별하고;
    상기 객체를 알려진 객체의 데이터베이스로부터의 알려진 객체와 비교하여, 상기 객체가 상기 보충 콘텐츠를 표시하는 데 이용 가능한지 여부를 결정하고;
    상기 비교에 기초하여 상기 객체가 상기 보충 콘텐츠를 표시하는 데 이용 가능하지 않는 것으로 결정하며;
    상기 하나 이상의 영역들로부터 상기 하나 이상의 영역들 중 하나를 제거하도록 구성되는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  65. 제63항에 있어서,
    상기 비교에 기초하여 상기 하나 이상의 영역들의 상기 서브셋을 필터링하도록 구성된 상기 제어 회로는 또한,
    상기 하나 이상의 영역들 중 하나 - 상기 하나 이상의 영역들 중 하나의 크기, 형상 및 배향 중 하나는 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 매칭되지 않음 - 를 식별하고;
    상기 하나 이상의 영역들로부터 상기 하나 이상의 영역들 중 하나를 제거하도록 구성되는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  66. 제61항에 있어서,
    상기 사용자 장치 상에 표현되는 상기 미디어 자산의 상기 장면과 연관된 상기 보충 콘텐츠를 리트리브하도록 구성된 상기 제어 회로는 또한,
    상기 장면에서 표현되는 객체 및 위치 중 적어도 하나를 식별하고;
    상기 객체 및 상기 위치의 식별된 적어도 하나에 기초하여 상기 장면과 연관된 플롯 정보를 식별하며;
    상기 장면과 연관된 상기 플롯 정보와 매칭되는 보충 콘텐츠에 대해 보충 콘텐츠의 데이터베이스를 서치하도록 구성되는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  67. 제61항에 있어서,
    상기 보충 콘텐츠의 치수를 식별하도록 구성된 상기 제어 회로는 또한, 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나를 식별하도록 구성되는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  68. 제61항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하도록 구성된 상기 제어 회로는 또한,
    각 영역의 치수, 각 영역의 위치, 또는 상기 보충 콘텐츠의 콘텐츠 중 적어도 하나에 기초하여 상기 하나 이상의 영역들의 상기 서브셋 각각을 등급화하고;
    상기 등급화에 기초하여 상기 보충 콘텐츠를 표시하기 위해 상기 하나 이상의 영역들의 상기 서브셋 중 하나를 결정하며;
    상기 하나 이상의 영역들의 상기 서브셋 중 하나에 상기 보충 콘텐츠를 표시하기 위해 송신하도록 구성되는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  69. 제61항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하도록 구성된 상기 제어 회로는 또한,
    상기 보충 콘텐츠의 복수의 부분들을 결정하고;
    상기 보충 콘텐츠의 상기 복수의 부분들의 각각을 상기 하나 이상의 영역들의 상기 서브셋 중 하나와 매칭시키며;
    복수의 공간들의 서브셋 중 대응하는 하나에 상기 보충 콘텐츠의 상기 복수의 부분들 각각을 표시하기 위해 생성하도록 구성되는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  70. 제61항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하도록 구성된 상기 제어 회로는 또한, 상기 하나 이상의 영역들의 상기 서브셋 각각에 표시하기 위해 상기 보충 콘텐츠를 송신하도록 구성되는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  71. 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 보충 콘텐츠를 표시하기 위해 상기 사용자 장치 부근의 영역을 결정하기 위한 시스템으로서,
    카메라 장치를 사용하여, 상기 사용자 장치 부근의 하나 이상의 영역들을 모니터링하기 위한 수단;
    상기 모니터링에 기초하여 상기 사용자 장치 부근의 상기 하나 이상의 영역들 각각에 대한 치수를 결정하기 위한 수단;
    상기 사용자 장치 상에 표현되는 상기 미디어 자산의 장면과 연관된 보충 콘텐츠를 수신하기 위한 수단;
    상기 보충 콘텐츠의 치수를 식별하기 위한 수단;
    상기 보충 콘텐츠의 상기 치수를 상기 하나 이상의 영역들 각각에 대한 상기 치수와 비교하기 위한 수단;
    상기 비교에 기초하여 상기 하나 이상의 영역들의 서브셋을 필터링하기 위한 수단; 및
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 프로젝션 장치로 송신하기 위한 수단을 포함하는, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  72. 제71항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들 각각에 대한 상기 치수를 결정하기 위한 수단은,
    상기 보충 콘텐츠를 표시하기에 적절하지 않는 하나 이상의 부분들에 대해 상기 사용자 장치 부근의 상기 하나 이상의 영역들을 분석하기 위한 수단;
    상기 분석에 기초하여 상기 보충 콘텐츠를 표시하기에 적절한 부분을 선택하기 위한 수단; 및
    상기 선택된 부분에 대한 치수를 결정하기 위한 수단을 포함하고, 상기 치수는 상기 하나 이상의 영역들의 크기, 형상 또는 배향 중 하나를 나타내는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  73. 제72항에 있어서,
    상기 보충 콘텐츠의 상기 치수를 상기 하나 이상의 영역들 각각에 대한 상기 치수와 비교하기 위한 수단은, 상기 하나 이상의 영역들 각각의 크기, 형상 및 배향 중 하나를 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 비교하기 위한 수단을 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  74. 제73항에 있어서,
    상기 비교에 기초하여 상기 하나 이상의 영역들의 상기 서브셋을 필터링하기 위한 수단은,
    상기 하나 이상의 영역들 중 하나와 연관된 객체를 식별하기 위한 수단;
    상기 객체를 알려진 객체의 데이터베이스로부터의 알려진 객체와 비교하여, 상기 객체가 상기 보충 콘텐츠를 표시하는 데 이용 가능한지 여부를 결정하기 위한 수단;
    상기 비교에 기초하여 상기 객체가 상기 보충 콘텐츠를 표시하는 데 이용 가능하지 않는 것으로 결정하기 위한 수단; 및
    상기 하나 이상의 영역들로부터 상기 하나 이상의 영역들 중 하나를 제거하기 위한 수단을 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  75. 제73항에 있어서,
    상기 비교에 기초하여 상기 하나 이상의 영역들의 상기 서브셋을 필터링하기 위한 수단은,
    상기 하나 이상의 영역들 중 하나 - 상기 하나 이상의 영역들 중 하나의 크기, 형상 및 배향 중 하나는 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 매칭되지 않음 - 를 식별하기 위한 수단; 및
    상기 하나 이상의 영역들로부터 상기 하나 이상의 영역들 중 하나를 제거하기 위한 수단을 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  76. 제71항에 있어서,
    상기 사용자 장치 상에 표현되는 상기 미디어 자산의 상기 장면과 연관된 상기 보충 콘텐츠를 수신하기 위한 수단은,
    상기 장면에서 표현되는 객체 및 위치 중 적어도 하나를 식별하기 위한 수단;
    상기 객체 및 상기 위치의 식별된 적어도 하나에 기초하여 상기 장면과 연관된 플롯 정보를 식별하기 위한 수단; 및
    상기 장면과 연관된 상기 플롯 정보와 매칭되는 보충 콘텐츠에 대해 보충 콘텐츠의 데이터베이스를 서치하기 위한 수단을 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  77. 제71항에 있어서,
    상기 보충 콘텐츠의 치수를 식별하기 위한 수단은, 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나를 식별하기 위한 수단을 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  78. 제71항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하기 위한 수단은,
    각 영역의 치수, 각 영역의 위치, 또는 상기 보충 콘텐츠의 콘텐츠 중 적어도 하나에 기초하여 상기 하나 이상의 영역들의 상기 서브셋 각각을 등급화하기 위한 수단;
    상기 등급화에 기초하여 상기 보충 콘텐츠를 표시하기 위해 상기 하나 이상의 영역들의 상기 서브셋 중 하나를 결정하기 위한 수단; 및
    상기 하나 이상의 영역들의 상기 서브셋 중 하나에 상기 보충 콘텐츠를 표시하기 위해 송신하기 위한 수단을 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  79. 제71항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하기 위한 수단은,
    상기 보충 콘텐츠의 복수의 부분들을 결정하기 위한 수단;
    상기 보충 콘텐츠의 상기 복수의 부분들의 각각을 상기 하나 이상의 영역들의 상기 서브셋 중 하나와 매칭시키기 위한 수단; 및
    복수의 공간들의 서브셋 중 대응하는 하나에 상기 보충 콘텐츠의 상기 복수의 부분들 각각을 표시하기 위해 생성하기 위한 수단을 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  80. 제71항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하기 위한 수단은, 상기 하나 이상의 영역들의 상기 서브셋 각각에 표시하기 위해 상기 보충 콘텐츠를 송신하기 위한 수단을 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 시스템.
  81. 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 보충 콘텐츠를 표시하기 위해 인코딩된 명령어들을 포함하는 비일시적 머신 판독 가능 매체로서, 시스템은,
    카메라 장치를 사용하여, 상기 사용자 장치 부근의 하나 이상의 영역들을 모니터링하게 하는 명령어들;
    상기 모니터링에 기초하여 상기 사용자 장치 부근의 상기 하나 이상의 영역들 각각에 대한 치수를 결정하게 하는 명령어들;
    상기 사용자 장치 상에 표현되는 상기 미디어 자산의 장면과 연관된 보충 콘텐츠를 리트리브하게 하는 명령어들;
    상기 보충 콘텐츠의 치수를 식별하게 하는 명령어들;
    상기 보충 콘텐츠의 상기 치수를 상기 하나 이상의 영역들 각각에 대한 상기 치수와 비교하게 하는 명령어들;
    상기 비교에 기초하여 상기 하나 이상의 영역들의 서브셋을 필터링하게 하는 명령어들; 및
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 프로젝션 장치로 송신하게 하는 명령어들을 포함하는 명령어들을 포함하는 것인, 비일시적 머신 판독 가능 매체.
  82. 제81항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들 각각에 대한 치수를 결정하게 하는 명령어들은,
    상기 보충 콘텐츠를 표시하기에 적절하지 않는 하나 이상의 부분들에 대해 상기 사용자 장치 부근의 상기 하나 이상의 영역들을 분석하게 하는 명령어들;
    상기 분석에 기초하여 상기 보충 콘텐츠를 표시하기에 적절한 부분을 선택하게 하는 명령어들; 및
    상기 선택된 부분에 대한 치수를 결정하게 하는 명령어들을 더 포함하고, 상기 치수는 상기 하나 이상의 영역들의 크기, 형상 또는 배향 중 하나를 나타내는 것인, 비일시적 컴퓨터 판독 가능 매체.
  83. 제82항에 있어서,
    상기 보충 콘텐츠의 상기 치수를 상기 하나 이상의 영역들 각각에 대한 상기 치수와 비교하게 하는 명령어들은, 상기 하나 이상의 영역들 각각의 크기, 형상 및 배향 중 하나를 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 비교하게 하는 명령어들을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  84. 제83항에 있어서,
    상기 비교에 기초하여 상기 하나 이상의 영역들의 상기 서브셋을 필터링하게 하는 명령어들은,
    상기 하나 이상의 영역들 중 하나와 연관된 객체를 식별하게 하는 명령어들;
    상기 객체를 알려진 객체의 데이터베이스로부터의 알려진 객체와 비교하여, 상기 객체가 상기 보충 콘텐츠를 표시하는 데 이용 가능한지 여부를 결정하게 하는 명령어들;
    상기 비교에 기초하여 상기 객체가 상기 보충 콘텐츠를 표시하는 데 이용 가능하지 않는 것으로 결정하게 하는 명령어들; 및
    상기 하나 이상의 영역들로부터 상기 하나 이상의 영역들 중 하나를 제거하게 하는 명령어들을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  85. 제83항에 있어서,
    상기 비교에 기초하여 상기 하나 이상의 영역들의 상기 서브셋을 필터링하게 하는 명령어들은,
    상기 하나 이상의 영역들 중 하나 - 상기 하나 이상의 영역들 중 하나의 크기, 형상 및 배향 중 하나는 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 매칭되지 않음 - 명령어들를 식별하게 하는 명령어들; 및
    상기 하나 이상의 영역들로부터 상기 하나 이상의 영역들 중 하나를 제거하게 하는 명령어들을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  86. 제81항에 있어서,
    상기 사용자 장치 상에 표현되는 상기 미디어 자산의 상기 장면과 연관된 상기 보충 콘텐츠를 리트리브하게 하는 명령어들은,
    상기 장면에서 표현되는 객체 및 위치 중 적어도 하나를 식별하게 하는 명령어들;
    상기 객체 및 상기 위치의 식별된 적어도 하나에 기초하여 상기 장면과 연관된 플롯 정보를 식별하게 하는 명령어들; 및
    상기 장면과 연관된 상기 플롯 정보와 매칭되는 보충 콘텐츠에 대해 보충 콘텐츠의 데이터베이스를 서치하게 하는 명령어들을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  87. 제81항에 있어서,
    상기 보충 콘텐츠의 치수를 식별하게 하는 명령어들은, 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나를 식별하게 하는 명령어들을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  88. 제81항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하게 하는 명령어들은,
    각 영역의 치수, 각 영역의 위치, 또는 상기 보충 콘텐츠의 콘텐츠 중 적어도 하나에 기초하여 상기 하나 이상의 영역들의 상기 서브셋 각각을 등급화하게 하는 명령어들;
    상기 등급화에 기초하여 상기 보충 콘텐츠를 표시하기 위해 상기 하나 이상의 영역들의 상기 서브셋 중 하나를 결정하게 하는 명령어들; 및
    상기 하나 이상의 영역들의 상기 서브셋 중 하나에 상기 보충 콘텐츠를 표시하기 위해 송신하게 하는 명령어들을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  89. 제81항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하게 하는 명령어들은,
    상기 보충 콘텐츠의 복수의 부분들을 결정하게 하는 명령어들;
    상기 보충 콘텐츠의 상기 복수의 부분들의 각각을 상기 하나 이상의 영역들의 상기 서브셋 중 하나와 매칭시키게 하는 명령어들; 및
    복수의 공간들의 서브셋 중 대응하는 하나에 상기 보충 콘텐츠의 상기 복수의 부분들 각각을 표시하기 위해 생성하게 하는 명령어들을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  90. 제81항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하게 하는 명령어들은, 상기 하나 이상의 영역들의 상기 서브셋 각각에 표시하기 위해 상기 보충 콘텐츠를 송신하게 하는 명령어들을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  91. 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 보충 콘텐츠를 표시하기 위해 상기 사용자 장치 부근의 영역을 결정하기 위한 방법으로서,
    카메라 장치를 사용하여, 상기 사용자 장치 부근의 하나 이상의 영역들을 모니터링하는 단계;
    상기 모니터링에 기초하여 상기 사용자 장치 부근의 상기 하나 이상의 영역들 각각에 대한 치수를 결정하는 단계;
    상기 사용자 장치 상에 표현되는 상기 미디어 자산의 장면과 연관된 보충 콘텐츠를 수신하는 단계;
    상기 보충 콘텐츠의 치수를 식별하는 단계;
    상기 보충 콘텐츠의 상기 치수를 상기 하나 이상의 영역들 각각에 대한 상기 치수와 비교하는 단계;
    상기 비교에 기초하여 상기 하나 이상의 영역들의 서브셋을 필터링하는 단계; 및
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 프로젝션 장치로 송신하는 단계를 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  92. 제91항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들 각각에 대한 치수를 결정하는 단계는,
    상기 보충 콘텐츠를 표시하기에 적절하지 않는 하나 이상의 부분들에 대해 상기 사용자 장치 부근의 상기 하나 이상의 영역들을 분석하는 단계;
    상기 분석에 기초하여 상기 보충 콘텐츠를 표시하기에 적절한 부분을 선택하는 단계; 및
    상기 선택된 부분에 대한 치수를 결정하는 단계를 포함하고, 상기 치수는 상기 하나 이상의 영역들의 크기, 형상 또는 배향 중 하나를 나타내는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  93. 제92항에 있어서,
    상기 보충 콘텐츠의 상기 치수를 상기 하나 이상의 영역들 각각에 대한 상기 치수와 비교하는 단계는, 상기 하나 이상의 영역들 각각의 크기, 형상 및 배향 중 하나를 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 비교하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  94. 제93항에 있어서,
    상기 비교에 기초하여 상기 하나 이상의 영역들의 상기 서브셋을 필터링하는 단계는,
    상기 하나 이상의 영역들 중 하나와 연관된 객체를 식별하는 단계;
    상기 객체를 알려진 객체의 데이터베이스로부터의 알려진 객체와 비교하여, 상기 객체가 상기 보충 콘텐츠를 표시하는 데 이용 가능한지 여부를 결정하는 단계;
    상기 비교에 기초하여 상기 객체가 상기 보충 콘텐츠를 표시하는 데 이용 가능하지 않는 것으로 결정하는 단계; 및
    상기 하나 이상의 영역들로부터 상기 하나 이상의 영역들 중 하나를 제거하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  95. 제93항에 있어서,
    상기 비교에 기초하여 상기 하나 이상의 영역들의 상기 서브셋을 필터링하는 단계는,
    상기 하나 이상의 영역들 중 하나 - 상기 하나 이상의 영역들 중 하나의 크기, 형상 및 배향 중 하나는 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나와 매칭되지 않음 - 를 식별하는 단계; 및
    상기 하나 이상의 영역들로부터 상기 하나 이상의 영역들 중 하나를 제거하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  96. 제91항 내지 제95항 중 어느 한 항에 있어서,
    상기 사용자 장치 상에 표현되는 상기 미디어 자산의 상기 장면과 연관된 상기 보충 콘텐츠를 수신하는 단계는,
    상기 장면에서 표현되는 객체 및 위치 중 적어도 하나를 식별하는 단계;
    상기 객체 및 상기 위치의 식별된 적어도 하나에 기초하여 상기 장면과 연관된 플롯 정보를 식별하는 단계; 및
    상기 장면과 연관된 상기 플롯 정보와 매칭되는 보충 콘텐츠에 대해 보충 콘텐츠의 데이터베이스를 서치하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  97. 제91항 내지 제96항 중 어느 한 항에 있어서,
    상기 보충 콘텐츠의 치수를 식별하는 단계는, 상기 보충 콘텐츠의 크기, 형상 및 배향 중 하나를 식별하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  98. 제91항 내지 제97항 중 어느 한 항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하는 단계는,
    각 영역의 치수, 각 영역의 위치, 또는 상기 보충 콘텐츠의 콘텐츠 중 적어도 하나에 기초하여 상기 하나 이상의 영역들의 상기 서브셋 각각을 등급화하는 단계;
    상기 등급화에 기초하여 상기 보충 콘텐츠를 표시하기 위해 상기 하나 이상의 영역들의 상기 서브셋 중 하나를 결정하는 단계; 및
    상기 하나 이상의 영역들의 상기 서브셋 중 하나에 상기 보충 콘텐츠를 표시하기 위해 송신하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  99. 제91항 내지 제98항 중 어느 한 항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하는 단계는,
    상기 보충 콘텐츠의 복수의 부분들을 결정하는 단계;
    상기 보충 콘텐츠의 상기 복수의 부분들의 각각을 상기 하나 이상의 영역들의 상기 서브셋 중 하나와 매칭시키는 단계; 및
    복수의 공간들의 서브셋 중 대응하는 하나에 상기 보충 콘텐츠의 상기 복수의 부분들 각각을 표시하기 위해 생성하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
  100. 제91항 내지 제99항 중 어느 한 항에 있어서,
    상기 사용자 장치 부근의 상기 하나 이상의 영역들의 상기 서브셋에 표시하기 위해 상기 보충 콘텐츠를 상기 프로젝션 장치로 송신하는 단계는, 상기 하나 이상의 영역들의 상기 서브셋 각각에 표시하기 위해 상기 보충 콘텐츠를 송신하는 단계를 더 포함하는 것인, 사용자 장치 부근의 영역을 결정하기 위한 방법.
KR1020187037853A 2016-05-27 2017-05-26 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 사용자 장치 부근의 디스플레이를 위한 보충 콘텐츠를 선택하기 위한 방법 및 시스템 KR20190012213A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/167,146 US20170345178A1 (en) 2016-05-27 2016-05-27 Methods and systems for determining a region near a user device for displaying supplemental content during presentation of a media asset on the user device
US15/167,035 US20170347162A1 (en) 2016-05-27 2016-05-27 Methods and systems for selecting supplemental content for display near a user device during presentation of a media asset on the user device
US15/167,035 2016-05-27
US15/167,146 2016-05-27
PCT/US2017/034804 WO2017205812A1 (en) 2016-05-27 2017-05-26 Methods and systems for selecting supplemental content for display near a user device during presentation of a media asset on the user device

Publications (1)

Publication Number Publication Date
KR20190012213A true KR20190012213A (ko) 2019-02-08

Family

ID=59055285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187037853A KR20190012213A (ko) 2016-05-27 2017-05-26 사용자 장치 상의 미디어 자산의 프리젠테이션 동안 사용자 장치 부근의 디스플레이를 위한 보충 콘텐츠를 선택하기 위한 방법 및 시스템

Country Status (10)

Country Link
EP (1) EP3466089A1 (ko)
JP (1) JP2019522404A (ko)
KR (1) KR20190012213A (ko)
CN (1) CN109496433A (ko)
AU (3) AU2017269430A1 (ko)
BR (1) BR112018074288A2 (ko)
CA (1) CA3025640A1 (ko)
MX (1) MX2018014563A (ko)
SG (1) SG11201810598XA (ko)
WO (1) WO2017205812A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329500B (zh) * 2019-08-05 2024-05-28 阿波罗智能技术(北京)有限公司 基于离散帧的场景段实现方法、装置及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6239794B1 (en) 1994-08-31 2001-05-29 E Guide, Inc. Method and system for simultaneously displaying a television program and information about the program
US6564378B1 (en) 1997-12-08 2003-05-13 United Video Properties, Inc. Program guide system with browsing display
CN1867068A (zh) 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视系统及其方法
AR020608A1 (es) 1998-07-17 2002-05-22 United Video Properties Inc Un metodo y una disposicion para suministrar a un usuario acceso remoto a una guia de programacion interactiva por un enlace de acceso remoto
ATE225998T1 (de) 1998-07-17 2002-10-15 United Video Properties Inc Interaktive fernsehprogrammführung mit mehreren geräten an einem ort
US7165098B1 (en) 1998-11-10 2007-01-16 United Video Properties, Inc. On-line schedule system with personalization features
EP2469850A3 (en) 2001-02-21 2013-07-10 United Video Properties, Inc. Systems and methods for interactive program guides with personal video recording features
US20100153885A1 (en) 2005-12-29 2010-06-17 Rovi Technologies Corporation Systems and methods for interacting with advanced displays provided by an interactive media guidance application
KR101439841B1 (ko) * 2007-05-23 2014-09-17 삼성전자주식회사 컨텐츠 데이터에 대한 부가 데이터의 검색 방법과 그 장치
US20110181780A1 (en) * 2010-01-25 2011-07-28 Barton James M Displaying Content on Detected Devices
CN102200881B (zh) * 2010-03-24 2016-01-13 索尼公司 图像处理装置以及图像处理方法
US9323755B2 (en) * 2012-07-30 2016-04-26 Verizon Patent And Licensing Inc. Secondary content
JP2014107608A (ja) * 2012-11-26 2014-06-09 Funai Electric Co Ltd 画像表示装置、画像投影装置、画像表示システム及び画像表示方法
US9438947B2 (en) * 2013-05-01 2016-09-06 Google Inc. Content annotation tool
US9826277B2 (en) * 2015-01-23 2017-11-21 TCL Research America Inc. Method and system for collaborative and scalable information presentation

Also Published As

Publication number Publication date
EP3466089A1 (en) 2019-04-10
BR112018074288A2 (pt) 2019-04-09
JP2019522404A (ja) 2019-08-08
WO2017205812A1 (en) 2017-11-30
AU2022203014A1 (en) 2022-05-26
SG11201810598XA (en) 2018-12-28
MX2018014563A (es) 2019-09-02
AU2022203014B2 (en) 2023-08-10
AU2023263556A1 (en) 2023-11-30
AU2017269430A1 (en) 2018-12-20
CA3025640A1 (en) 2017-11-30
CN109496433A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
US11908054B2 (en) Systems and method for dynamic insertion of advertisements
US11714846B2 (en) Systems and methods for executing a supplemental function for a natural language query
US8966530B2 (en) Systems and methods for presenting multiple assets in an interactive media guidance application
US10419794B2 (en) Systems and methods for synchronizing media asset playback from multiple sources
US10176846B1 (en) Systems and methods for determining playback points in media assets
US20190205349A1 (en) Systems and methods for identifying a meaning of an ambiguous term in a natural language query
CA3039378A1 (en) Systems and methods for receiving a segment of a media asset relating to a user image
US9069764B2 (en) Systems and methods for facilitating communication between users receiving a common media asset
US20140245353A1 (en) Methods and systems for displaying media listings
AU2023263556A1 (en) Methods and systems for selecting supplemental content for display near a user device during presentation of a media asset on the user device
US20170347162A1 (en) Methods and systems for selecting supplemental content for display near a user device during presentation of a media asset on the user device
US20170345178A1 (en) Methods and systems for determining a region near a user device for displaying supplemental content during presentation of a media asset on the user device
US20200169769A1 (en) Systems and methods for managing recorded media assets through advertisement insertion
US11070877B2 (en) Systems and methods for conflict detection based on user preferences
US9602876B2 (en) Systems and methods for presenting media asset information for a given cell using adjacent cells
WO2019178555A1 (en) Methods and systems for selecting a destination for storage of a media asset based on trick-play likelihood

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application