KR100965457B1 - 퍼스널 프로파일에 기초한 콘텐츠의 증가 - Google Patents

퍼스널 프로파일에 기초한 콘텐츠의 증가 Download PDF

Info

Publication number
KR100965457B1
KR100965457B1 KR1020047020026A KR20047020026A KR100965457B1 KR 100965457 B1 KR100965457 B1 KR 100965457B1 KR 1020047020026 A KR1020047020026 A KR 1020047020026A KR 20047020026 A KR20047020026 A KR 20047020026A KR 100965457 B1 KR100965457 B1 KR 100965457B1
Authority
KR
South Korea
Prior art keywords
user
content information
content
information
internet
Prior art date
Application number
KR1020047020026A
Other languages
English (en)
Other versions
KR20050008810A (ko
Inventor
라두 야신쉬
존 찜머만
네벤카 디미트로바
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050008810A publication Critical patent/KR20050008810A/ko
Application granted granted Critical
Publication of KR100965457B1 publication Critical patent/KR100965457B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/46—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising users' preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99934—Query formulation, input preparation, or translation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99935—Query augmenting and refining, e.g. inexact access

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

퍼스널 프로파일의 콘텐츠의 증가를 수행하는 방법, 공정, 및 시스템은, (a) 관련 TV 프로그램의 복수의 증가된 콘텐츠 정보의 유저 이력을 구축하는 단계와, (b) 추가적인 콘텐츠 정보를 위해 유저의 질의를 분석하고 유저가 질의한 정도를 결정하는 단계와, (c) 상기 추가적인 콘텐츠 정보를 증가시키기 위해 추가적인 콘텐츠 정보를 위한 유저의 질의로부터 유저에 관한 값을 추론하는 단계와, (d) 유저 이력, 인터넷, 및 전용 데이터베이스 중 적어도 하나로 상기 증가된 콘텐츠 정보를 업데이트하는 단계와, (e) 상기 복수의 증가된 콘텐츠 정보 중 개별 정보를 서로 링크시키는 단계와, (f) 상기 복수의 증가된 콘텐츠 정보의 링크에 기초하여 유저의 관심과 선호도에 관한 추론을 결정하는 단계를 포함한다. 상기 증가된 콘텐츠 정보를 업데이트 하는 단계는 멀티미디어 콘텐츠를 세그먼트 및 인덱스 생성하는 것을 포함한다.

Description

퍼스널 프로파일에 기초한 콘텐츠의 증가{CONTENT AUGMENTATION BASED ON PERSONAL PROFILES}
본 발명은 TV 퍼스널 선호도 프로파일을 생성, 업데이트, 및 변환하는데 사용되는 시스템에 관한 것이다. 보다 상세하게는, 본 발명은 콘텐츠 증가 시스템에 관한 것이다.
종래 기술에, TiVoTM 관련 퍼스널 디지털 레코더 시스템과 같은 퍼스널 프로파일 테크놀로지 시스템이 알려져 있다. 그러한 종래 기술의 시스템에서, 유저는 이 시스템이 TV 프로그램 전체를 레코드하고 장래 프로그램을 추천할 수 있도록 프로그램 선호도를 명시적으로 입력하여야 한다. 그러한 기술은 이 기술 분야에서 퍼스널 디지털 레코더에 사용되는 "풀" 기술("pull" technology)로 불리운다. 그러한 풀 기술은 유저에 의해 제공되는 입력으로 제한되며 또는 가능하게는 시스템에 의해 프롬프트 된다. 또한, 유저가 특정 프로그램을 좋아하거나 싫어할 수 있는 것에 대해 다른 뉘앙스가 많이 있기 때문에 이전에 입력된 개인 선호도에 기초하여 유저가 특정 프로그램을 어느 정도 좋아하거나 싫어할 수 있는지를 정확하게 아는 것과, 또한 그 좋아하는 것이나 싫어하는 것이 어느 정도 양적으로 예견될 수 있는 지를 아는 것은 어렵다.
예를 들어, 하나의 문제는, 한 사람이 "서부" 영화를 시청하기 위해 개인적인 선호도를 나타낼 수 있지만, 그 사람은 명시된 유저 입력만을 사용하여 시스템에 의해 서부 영화로서 인식될 수 없는 특정 영화의 특정 배우나 여배우 또는 줄거리를 싫어할 수 있다는 점이다. 나아가, 수 분 내지 수 시간 동안 프로그램이 상영되기 때문에, 풀 기술에 의해 생성된 퍼스널 프로파일에 기초하여 그 프로그램에 실제 좋아하거나 싫어하는 것이 있는지를 확인하는 것은 어려울 수 있다.
따라서, 본 발명의 목적은, TV 퍼스널 프로파일을 생성, 업데이트, 및 변환하기 위해 콘텐츠의 증가를 제공하는 것이다. 이 콘텐츠의 증가는 관련 콘텐츠 정보인 특정 TV 프로그램 데이터에 대응한다.
본 발명에 따라, 푸시 기술과 풀 기술(푸시 기술은 자동적으로 데이터를 송신할 수 있게 한다)은 실제 시청 패턴에 기초하여 암시적인 선호도를 확인하는데 사용된다. 본 발명은 유저로 하여금 선호된 프로그램을 시청하게 할 뿐만 아니라 선호된 TV 프로그램에 관한 특정 멀티미디어 콘텐츠를 브라우징하게 하고 TV 기반 및 인터넷 기반 거래를 수행하며 푸시 모드 및 풀 모드를 통해 상호작용하게 해준다.
본 발명의 제 1 측면에서, 퍼스널 프로파일의 콘텐츠 증가를 수행하는 방법은,
(a) 관련 TV 프로그램의 콘텐츠 정보를 인덱싱하기 위해 증가된 콘텐츠의 유 저 이력을 구축하는 단계와,
(b) 유저의 질의를 분석하고 예를 들어 다른 주제에 대해 질의의 수와 양이 증가하는 하나의 특정 주제에 대한 피상적인 질의를 더 많은 정보를 위하여 유저가 요청하는 깊이를 결정하는 단계와,
(c) 호기심, 지식, 절약, 양, 패션, 사기 행위 등과 같은 보다 많은 정보를 위해 유저 요청으로부터 값을 추론하는 단계와,
(d) 인터넷 및 전용 데이터베이스에 증가된 콘텐츠 정보를 관련시키는 단계와,
(e) 유저의 관심과 선호도에 관한 유추 추론과 증가된 콘텐츠를 링크시키는 단계
를 포함한다. 그리하여, 지금까지 종래 기술에서 알려지지 않았던 풀 피드백 시스템을 생성하는데 유저의 응답이 사용될 수 있다.
본 발명의 다른 측면에서, 퍼스널 프로파일의 콘텐츠 증가를 수행하는 방법은,
(a) 관련 TV 프로그램의 복수의 증가된 콘텐츠 정보의 유저 이력을 구축하는 단계와,
(b) 추가적인 콘텐츠 정보를 위해 유저의 질의를 분석하고 유저가 질의한 정도를 결정하는 단계와,
(c) 상기 추가적인 콘텐츠 정보를 위해 유저 질의로부터 유저에 관한 값을 추론하는 단계와,
(d) 인터넷 및 전용 데이터베이스 중 적어도 하나로 상기 증가된 콘텐츠 정보를 업데이트하는 단계와,
(e) 상기 복수의 증가된 콘텐츠 정보의 개별 정보를 서로 링크시키는 단계와,
(f) 상기 복수의 증가된 콘텐츠 정보의 링크에 기초하여 유저의 관심과 선호도에 관한 추론을 결정하는 단계
를 포함한다.
본 방법은, 단계 (f)로부터의 유저의 관심과 선호도에 관한 결정에 따라 단계 (a)에서의 유저 이력을 업데이트하는 것에 의해 피드백 시스템을 생성하는 단계 (g)를 더 포함할 수 있다.
본 방법은, 단계 (d)에서의 증가된 콘텐츠 정보를 업데이트 하는 단계는 복수의 증가된 콘텐츠 정보를 세그먼트 및 인덱스 생성하는 것을 포함할 수 있다.
본 방법은, 증가된 콘텐츠 정보에 따라 단계 (d)에서의 업데이트된 인터넷 및 전용 데이터베이스 중 하나와 연결되도록, 푸시 모드에서 유저에게 프롬프트하는 단계를 더 포함할 수 있다.
본 방법은, 증가된 콘텐츠 정보에 따라 단계 (d)에서 업데이트된 인터넷 및 전용 데이터베이스 중 상기 하나와 연관된 항목을 구매하도록 푸시 모드에서 유저에게 프롬프트 하는 단계를 더 포함할 수 있다.
종래 기술에서 지금까지 알려지지 않은 세그먼트 및 인덱스 생성 단계가 멀티미디어에 대해 수행될 수 있다.
추가적인 콘텐츠 정보를 위해 유저가 질의한 정도의 결정은 제 1 및 제 2 특정 주제 각각에 대해 피상적인 질의의 수를 카운트하는 것에 의해 제 2 특정 주제에 대해 제 1 특정 주제에 대해 피상적인 질의를 분류하는 것을 포함할 수 있다.
나아가, 본 발명의 방법의 일 실시예에서, 단계 (b)에서의 추가적인 콘텐츠 정보를 위해 유저가 질의한 정도의 결정은 특정 유저 질의의 미리결정된 상관성과 특정 유저 질의에 할당된 깊이의 값에 기초하여 질의의 깊이를 결정하는 것을 포함할 수 있다.
추론되는 값은, 호기심, 지식, 절약, 양, 패션, 및 사기 행위로 구성되는 그룹으로부터 선택된 적어도 하나의 유저 특성의 지정을 포함한다.
멀티미디어의 세그먼트 및 인덱스 생성은
(i) 특성 추출
(ⅱ) 포즈(pause) 검출
(ⅲ) 자동적인 세그먼트 생성
(ⅳ) 자동적인 오디오 분류
의 하위 단계를 포함할 수 있다.
위 세그먼트 및 인덱스 생성은 켑스트럼 기반 특성에 기초를 둘 수 있다. 이 켑스트럼 기반 특성은 MFCC 및 LFC를 포함할 수 있다.
대안적으로, 이 세그먼트 및 인덱스 생성은 음향 특성, 시간 특성, 스펙트럼 특성을 추출하기 위해 켑스트럼 기반 특성, 주파수 영역 동작, 및 시간 영역 동작의 결합에 기초를 두고 있다.
도 1 은 본 발명의 제 1 측면을 도시하는 흐름도를 도시하는 도면.
도 2 는 본 발명에 따른 시스템의 개요를 도시하는 도면.
도 3 은 세그먼트 및 인덱스 생성에 사용되는 콘텐츠 정보(낮은 레벨, 중간 레벨, 높은 레벨)의 카테고리를 도시하는 도면.
도 1 은 본 발명의 제 1 측면을 도시하는 흐름도이다. 단계 (105)에서, 증가된 콘텐츠의 유저 이력이 구축된다. 상거래를 포함하는 증가된 콘텐츠는 관련 TV 프로그램 콘텐츠 정보를 인덱스 생성하는데 사용된다. 콘텐츠 정보가 결정될 수 있는 한 가지 방법은 클로즈드 캡션 텍스트(closed-captioned text)를 추출하는 것에 의한 것일 수 있다. 클로즈드 캡션 텍스트를 조사하는 것에 의해 프로그램의 제목을 결정하는 것이 가능하며, 이 프로그램의 제목은, 예를 들어, 1999년, 11월 17일에 출원된, "Video Stream Classification Symbol Isolation Method and System"이라는 명칭의, 공동 소유의 양도된 미국 특허 출원 09/441/943으로 공개된 방법에 따라 뷰어에게 시청되어지며, 여기서 식별을 위해 비디오나 사본 정보(transcript information)의 부제에 광학 문자 인식이 적용될 수 있다. 그리하여, 클로즈드 캡션 텍스트에서 "치어스(cheers)"라는 자막이 나타나는 경우, 이것은 프로파일을 구축하기 위해 식별되고 레코드될 수 있다.
유저 이력이 구축될 수 있는 다른 방법은 이용가능한 채널에 대한 리스트를 디스플레이하는 전자 프로그램 가이드(EPG)와 시청되는 프로그램을 상관시키는 것 이다. 케이블 TV와 위성 TV 시스템은 모든 프로그램의 리스트를 디스플레이하는 채널을 단독 사용하는 것이 일반적이다. 종종 이 EPG는 채널, 시작 시간과 종료 시간, 제목, 주연 배우의 이름을 디스플레이 하며 그리고 심지어 줄거리의 짧은 개요를 포함할 수 있다. 뷰어가 특정 채널을 시청하고 있을 때, 이 채널과 시간은 시청되고 있는 쇼를 식별하기 위해 전자 프로그램 가이드에서 연관된 리스트에 따라 사용될 수 있다.
나아가, 케이블 및/또는 위성 시스템이 프로그램 데이터를 포맷하는 것은 흔한 일이 아니기 때문에, 이 정보는 전화선, 광섬유 라인, 및 유선 또는 무선 네트워크를 통해 다운로드될 수 있으며, 요구시에 또는 특정 시간표에 따라 다운로드될 수 있다. 뷰어 이력을 구축하고 콘텐츠 증가를 제공하는데 사용되는 이 시스템은 컴퓨터, TV 내 제어기, 셋탑 박스일 수 있으며, 또는 통신 네트워크 서버 및/또는 인터넷 서버일 수 있다. 이 유저 이력은 유저 디바이스에서 국부적으로 구축되거나 또는 네트워크 서버 및/또는 케이블 TV 회사, 위성 TV 회사, 및/또는 인터넷 서비스 제공자에 의해 구축될 수 있다.
특히, 케이블 TV 및/또는 위성 박스는 종종 어드레스지정 가능하기 때문에, 시청 정보는 주기적으로 업데이트될 수 있다. 이런 방식으로 유저 이력을 구축하는 것은, 유저가 명시적으로 피드백을 제공하지 않거나 좋아하거나 싫어하는 것을 나타내지 않는다는 점에서 암시적이다. 그리하여, 단계 105에서 구축된 이 이력은 푸시 모드(push mode)로서 간주될 수 있다.
예를 들어, 전자 프로그램 가이드가 이미 카테고리 유형(코메디, 드라마, 다 큐멘타리) 별로 쇼를 식별하기 때문에 주제(제목과 같은 것)의 추가 식별이 존재한다. 따라서, 누군가 매주 수 차례 자인펠트(Seinfeld)(이 쇼는 현재 매일 재방송되고 있다)를 시청하는 경우, 유저 이력은 코메디에 대한 선호도를 나타내는 것으로 구축될 수 있다. 또 다른 코메디를 시청하는 경우, 유저 이력은 보다 미묘한 선호도를 식별하기 위해 업데이트될 수 있다(예를 들어, 유저 이력이 "치어스"를 다수회 시청한 것을 나타내고 "프라지어(Frasier)"를 시청한 것을 나타내면, 배우 켈시 그래머(Kelsey Grammer)가 두 프로그램에 모두 등장한다는 공통점이 있다). 나아가, 그 사람이 "치어스(Cheers)"와 "베커(Becker)"를 시청한 경우, 이것은 배우 테드 댄슨(Ted Danson)을 좋아하는 것을 나타낼 수 있으며 이 정보에 따라 프로파일 이력이 업데이트될 수 있다. 프로파일 이력이, 예를 들어, "세 남자와 아기(Three Men and a Baby)"와 "크리프 쇼(Creep Show)"(이들 둘은 테드 댄슨이 등장한다)와 같은 영화를 시청한 것으로 더 업데이트된다. 그리하여, 암시적인 시청에 기초한 프로파일은 명시된 피드백 대신에 또는 명시된 피드백에 추가하여 뷰어의 선호도를 종종 정확하게 나타낼 수 있다.
암시적인 시청에 기초한 퍼스널 프로파일을 준비하는 것에 더하여, 콘텐츠 정보는 세그먼트 및 인덱스 생성된다(segmented and indexed). 세그먼트의 길이는 미리 결정된 시간의 양일 수 있으며, 또는 하나의 상업 광고의 종료와 다른 상업 광고의 시작 사이에 있는 시간 기간 등일 수 있다. 이 세그먼트의 인덱스 생성은, 예를 들어, NTSC와 같은 원(raw) 비디오의 경우의 프레임 그래버(frame grabber)의 사용에 의하여, 또는 MPEG와 같은 압축된 비디오를 위한 프레임 파서(frame parser)에 의하여 수행될 수 있다. 프레임 그래버의 일 예는 인텔 TM 스마트 비디오 레코더 Ⅲ에 의하여 사용되는 것일 수 있다.
본 발명에 따라, 단계 110에 도시된 바와 같이, 질의가 또한 유저에 제공될 수 있으며, 유저가 제공하는 응답은 보다 정확한 유저 프로파일을 생성하기 위해 분석될 수 있다.
예를 들어, 유저가 클로즈드 캡션 텍스트, 또는 시청 시간에 특정 채널 상에 디스플레이 되고 있는 쇼를 위한 전자 프로그램 가이드와의 상관 관계에 의하여 식별되는 스타 트렉(Star Trek)을 시청하는 경우, 일련의 데이터베이스 및/또는 네트워크(인터넷을 포함하지만 이로 제한되지 않음)가 자동적으로 스타 트렉에 관한 정보를 제공하도록 억세스 될 수 있다. 이 정보는 처음에 일반적인 질의로 유저에게 프롬프트될 수 있으며, 이 일반적인 질의는 후속적인 유저의 응답에 의해 좁혀질 수 있다.
이 기술 분야에 통상의 지식을 가진 자라면, 음성 인식 시스템이 이름, 위치 등을 키 입력하는 대신에 사용될 수 있다는 것을 또한 알 수 있을 것이다. 나아가, 모니터는 터치 스크린인 것도 가능하고, 또는 마우스와 같은 포인팅 디바이스 (pointing device)가 사용될 수도 있다. 추가적인 질문의 각 레벨에 대해, 더 큰 깊이의 레벨이 할당될 수 있다. 예를 들어, 유저가 먼저 스타 트렉에 관한 시청 정보를 선택하고 이후 배우를 지정하고, 그런 다음 윌리암 샤트너(William Shatner)를 지정할 때, 이것은 예를 들어 3의 깊이 레벨로 할당될 수 있다. 나아가, 예를 들어, 유저가 스포츠 이벤트를 시청하고 있는 경우 프롬프트가 또한 제공될 수 있다. 이 방법은, 뷰어로 하여금 자기의 좋아하는 팀, 그 팀의 선수, 그 선수의 이력, 일반적인 스포츠의 이력에 관한 증가된 정보를 수신할 수 있게 하며, 또는 이미 플레이된 슈퍼 볼(Super Bowls), 월드 시리즈(World Series) 등과 같은 다른 경기를 시청할 수 있게 한다.
단계 115에서, 단계 110의 질의 깊이와 연관된 값은 추가적인 콘텐츠 증가를 위한 카테고리를 연관시키는데 제공된다. 예를 들어, 유저 질의와 시청 이력에 기초하여, 유저가 (질의의 깊이와 주제와 결합하여 지식을 테스트하는 게임 쇼를 시청하는 것을 나타내는 시청 이력에 의하여) 퀴즈 게임(trivia)을 좋아하는 선호도를 가지고 있다고 결정될 수 있다. 알려진 융합 기술은 값으로 식별될 수 있는 푸시 모드 및 풀 모드(즉, 유저의 시청 이력 및 질의 깊이)로부터 획득된 정보를 융합시키는데 사용될 수 있다.
단계 120에서, 일단 이 값이 식별된 후에는, 이들 값은 전용 데이터베이스 및/또는 인터넷으로부터 증가된 콘텐츠 정보를 제공하는데 사용될 수 있다.
마지막으로, 단계 125에서, 피드백 시스템은 유저에 의해 선택된 증가된 콘텐츠에 기초하여 그리고 개별 유저의 선호도의 데이터베이스와 비교해서 유저의 관심과 선호도에 관한 추론에 기초하여 생성되며, 이때 콘텐츠의 증가양 중 일부는 유사하게 일치된 유저가 즐겨찾는 다른 항목에 기초한다. 그리하여, 증가된 콘텐츠와 연관된 데이터베이스를 링크시키는 것과 유저가 시청하기 위해 선택한 정도는 증가된 콘텐츠의 유저 이력을 업데이트하는데 사용된다.
예를 들어, 유저는 스타 트렉에 관한 증가된 정보를 수신하기를 원하는지를 요청받을 수 있다. 만일 유저가 거부하는 경우, 관심 깊이가 최저 레벨에 있는 것으로 가정될 수 있다. 물론, 유저가 현재 프로그램의 시청을 방해받고 싶지 않은 경우와 같이 많은 다른 요인이 수반될 수 있으며 또는 특정 에피소드의 영화 내용 또는 배우나 감독 중 한 명/몇 명에 관한 정보를 수신하기를 원하는 경우 프롬프트되게 하는 것과 같이 스타 트렉에 관한 증가된 정보를 수신하도록 특정 모드에 있지 않을 수 있다. 콘텐츠의 증가 레벨이 각 응답에 따라 증가될 수 있다. 예를 들어, 유저는 이 쇼의 특정 배우(즉, 예를 들어, 윌리암 샤트너)에 관해 보다 많은 정보를 좋아한다는 것을 나타낼 수 있다. 초기 증가된 콘텐츠는 스타 트렉에 관해 쓰여진 책에 키르크 선장(Captain Kirk)의 윌리암 샤트너의 연기에 관한 데이터일 수 있다. 예를 들어, 윌리암 샤트너의 완전한 일대기 또는 윌리암 샤트너가 등장하는 영화/TV 프로그램 전체의 DVD 카탈로그를 제공할 수 있는 더 많은 선택 사항을 선택하도록 프롬프트될 수 있다.
예를 들어, 미리결정된 카테고리 시리즈의 경우에, 만일 유저가 스타 트렉에 관해 더 많은 정보를 좋아한다는 것을 긍정적으로 선택한다면, "배우", "프로듀서", 및 "감독"과 같은 하위 카테고리가 유저에게 프롬프트될 수 있다. 예를 들어 배우를 선택한 후, 스타 트렉과 배우를 포함하는 정보를 잠시 멈추고 검색이 수행될 수 있다. 대안적으로, 유저는 프로그램으로부터 특정 배우 및/또는 캐릭터의 이름을 키 입력할 수 있다. 예를 들어, "키르크" 또는 "윌리암 샤트너"의 이름을 키 입력할 수 있다. 그리하여, 스타 트렉과 윌리암 샤트너를 사용하여 검색이 수행될 수 있다.
이렇게 하여, 본 발명에 따라. 허용된 콘텐츠 증가된 정보의 스타일을 부과한 후, 유저가 제공하는 질의와 응답을 분석하는 것을 포함하는 유저의 상호작용에 기초하여, 간단한 TV 퍼스널 프로파일이 콘텐츠 증가된 파일로 변환된다.
본 발명의 더 다른 측면에서, 유저는 선호되는 TV 프로그램을 시청하며 증가된 콘텐츠를 수신할 수 있을 뿐만 아니라 본 발명이 그 선호되는 TV 프로그램에 관련된 특정 멀티미디어 콘텐츠의 브라우징을 가능하게 할 수 있고 TV 기반 및 인터넷 기반 상거래를 가능하게 할 수 있으며, 그리고 유저 측에서의 각 동작에 따라 보다 정확한 콘텐츠의 증가를 위해 유저 이력을 더 한정할 수 있다.
예를 들어, 본 시스템은 증가된 정보를 허용하는 유저의 스타일을 시청하고 유저가 제공하는 질의와 응답을 분석한다. 이 디바이스는 유저의 요청에 관한 데이터에 추가하여 데이터를 수집할 수 있다. 예를 들어, 유저의 응답에 기초하여, 이 디바이스는 유저가 정보를 요청하게 하지 않고 스타 트렉에서 연기하는 배우에 관한 웹사이트로부터 정보를 수집할 수도 있다. 그러한 선호도가 예상될 수 있는 한 가지 방식은, 증가된 콘텐츠 정보의 개별 세그먼트를 서로 링크시켜, 좋아하는 것과 싫어하는 패턴이 나타날 수 있게 하는 것이다.
나아가, 본 시스템은, 예를 들어, 스타 트렉의 주목할만한 기록, 또는 특정 에피소드의 DVD를 구매하거나 시청 등을 위해 에피소드를 다운로드 받는 것 등을 원하는지에 대해 유저에게 프롬프트할 수 있다.
본 발명의 다른 특징은, 퍼스널 프로파일을 구축하는데 사용되는 멀티미디어 콘텐츠 정보가 세그먼트 및 인덱스 생성될 수 있다는 것이다. 그러한 세그먼트 및 인덱스에 관해, MFCC 및 LPC와 같은 켑스트럼 기반 특성이 시간 특성과 스펙트럼 특성과 비교해 더 우수한 분류 정확도를 제공할 수 있다.
컨텐츠 기반의 검색을 위한 일반적인 오디오 데이터 분류(Classification of General Audio Data for Content-Based Retrieval) (Dongge Li, Ishwar K. Sethi, Nevenka Dimitrova 및 Tom McGee, 2001)에 개시된 바와 같이, 참조문헌으로 본 명세서에 병합되어 있는 그 내용에는, MFCC 및 LPC에 더하여, 각 툴이 오디오 데이터의 분석에 빈번히 요구되는 단일 기본 동작을 담당하고 있는 여러 툴의 툴 박스가 기술되어 있다.
이 툴 박스는, 주파수 영역 동작, 시간 영역 동작, 및 단기에 걸친 평균 연산, 로그 연산, 윈도우잉(windowing), 클리핑(clipping) 등과 같은 수리 연산을 포함할 수 있다. MFCC, LPC, 델타 MFCC, 델타 LPC, 자동 상관 MFCC, 및 시간 특성과 스펙트럼 특성을 포함하는 음향 특성의 추출이 있을 수 있다.
예를 들어, 멀티미디어 콘텐츠로부터 오디오를 세그먼트 및 인덱스 생성하기 위해, (1) 특성 추출 (2) 포즈 검출, (3) 자동 오디오 세그먼트 생성, 및 (4) 자동 오디오 분류를 포함하는 4개의 처리 단계가 존재할 수 있다.
특성 추출은 이전에 논의된 툴 박스를 사용하여 구현될 수 있다. 실행 시간 동안, 예를 들어, 음향 특성은 입력 오디오 원(raw) 데이터로부터 시간축을 따라 측정될 수 있으며 프레임 단위로 추출될 수 있다.
포즈 검출(pause detection)은 입력 오디오 신호를 침묵 세그먼트와 클립 세 그먼트로 분리하는데 사용될 수 있다. 그리하여, 음성이 없는 (또는 청취자에 의해 검출된 음성이 없는) 시간 기간이 포즈이다. Classification of General Audio Data for Content-Based Retrieval (앞서 언급됨)에 있는 바와 같이, 포즈 검출기는 사람의 인식과 일치하는 결과를 생성한다.
침묵 세그먼트는 추가적인 처리를 필요로 하지는 않지만, 분류를 하기 전에 클립 세그먼트는 전이점(transition point)을 식별하기 위해 처리될 필요가 있다. 오디오 세그먼트 생성은 예를 들어 브레이크 머징(break merging) 및 브레이크 검출을 사용할 수 있다. 브레이크 검출은 신호 세그먼트에 대해 큰 검출 윈도우를 이동시키는 것과 각 슬라이딩 부분에서 다른 절반의 평균 에너지를 비교하는 것을 포함한다.
도 2 는 본 발명에 따른 시스템의 개요를 도시한다. 도 2 는 예시를 위하여 제공된 것이며 본 발명을 제한하기 위해 제공된 것이 아니라는 것을 이 기술 분야에 통상의 지식을 가진 자라면 이해할 수 있을 것이다. 이 기술 분야에 통상의 지식을 가진 자라면 본 발명의 사상과 첨부된 청구항의 범위 내에서 여러 변형이 존재할 수 있다는 것을 이해할 것이다.
도 2에 도시된 바와 같이, 처리 유닛(210)은 본 시스템의 중앙에 있다. 이 프로세서(210)는 셋탑 박스의 일부인 마이크로프로세서/마이크로제어기일 수 있다는 것은 당연하다. 이 프로세서(210)는 TIVO® 또는 다른 유형의 시스템의 일부일 수 있다. 이 프로세서(210)는 시청 이력(215)과, 질의 이력(220)과, 명시된 선호도 (225)라고 라벨이 있는 저장 영역과 연결된다. 이들 저장 영역은 셋탑 박스 내에 배열될 수 있으며, 자기 저장 매체, 광 저장 매체, 광자기 저장 매체, 전자 저장 매체 등을 포함하지만 이로 제한되지 않는 이용가능한 임의의 유형의 저장 매체를 사용할 수 있다.
시청 이력(215)과, 질의 이력(220)과, 명시된 선호도(225)의 용량은 필요에 따라 설정될 수 있다. 예를 들어, 특정 시간 기간(월, 주, 일과 같은) 동안의 시청 이력과 그 연관된 질의 이력을 저장하는 것이 바람직할 수 있다. 본 시스템은 시간, 이력의 항목 분량, 기타 다른 항목이 어떤 미리 결정된 임계값에 도달된 이후에 그 이력을 주기적으로 제거할 수 있다.
세그먼트 및 인덱스 생성 모듈(230)은 멀티미디어 콘텐츠를 포함하는 콘텐츠의 세그먼트 및 인덱스 생성을 수행하여, 시청하고 있는 것의 콘텐츠의 분류를 제공할 수 있게 한다. 멀티미디어 정보는 3개의 영역, 즉 비디오 영역, 오디오 영역, 및 사본 영역(transcript)이며, 이들 영역 중 어느 하나는 하위 성분이다. 그 콘텐츠는, 예를 들어, 공간 스케일 또는 시간 스케일에 따라 여러 디테일 레벨에 따라 세그먼트 및 인덱스 생성될 수 있다. "A Probabilistic Layered Framework for Integrating Multimedia Content and Context Information" (R.S. Jasinschi, N. Dimitrova, T. McGee, L. Agnihotri, J. Zimmerman, D. Li, 및 J. Louie)이라는 명칭의 논문에는, 그래뉴래리티(granularity)와 추출(abstraction)의 개념이 기술되어 있다. 비디오 영역의 공간 그래뉴래리티에 대해, 그래뉴래리티 스케일이 사용된다.
이 그래뉴래리티는 국부적{픽셀(pixel), 복셀(voxel)}, 지역적, 또는 전체적으로 한정될 수 있다. 추출에 대해, 의미 정보의 설명이 있을 수 있다. 의미 정보는 여러 객체 사이의 관계에 기초한다. TV 및 영화는 의미적으로 풍부한 콘텐츠를 가지고 있다.
도 3 은 각 그래뉴레리티 레벨 내의 관련된 객체가 다른 추출 레벨을 생성하는 것을 도시한다. 이 추출 레벨은 낮은 레벨, 중간 레벨, 및 높은 레벨로 분류될 수 있다. 낮은 레벨은 개별 객체에 초점을 둔다. 중간 레벨은 객체에 관한 것이며 이벤트를 추론한다. 높은 레벨은 이벤트에 관한 것이다.
멀티미디어 정보는, 비디오, 오디오, 및 사본으로 분리될 수 있으며, 그리고 시그너처, 패턴 또는 하부 구조가 콘텐츠 정보를 제약하기 위해 사용될 수 있다. 이 콘텐츠 층은 디코딩된 비디오로부터 비디오, 오디오, 및 텍스트 스트림을 수신한다. 이 콘텐츠 층은, 낮은 레벨, 중간 레벨, 및 높은 레벨의 추출을 포함한다. 이 낮은 레벨의 비디오 정보는 픽셀 기반 색상, 형태, 및 에지 속성을 포함한다. 중간 레벨의 비디오 특성은, 키프레임(keyframe), 비디오 텍스트, 및 페이스(face)를 포함한다. 오디오 카테고리는 음성, 음악, 잡음, 음성 플러스 잡음, 음성 플러스 음성, 음성 플러스 음악, 및 침묵을 포함할 수 있다. 높은 레벨은 토픽에 따라 프로그램 세그먼트를 포함한다.
이전에 설명된 바와 같이, MFCC 및 LPC와 같은 켑스트럼 기반 특성은 모듈(230)에 의해 사용될 수 있다. 또한 이 모듈은 오디오 데이터의 분석에 사용될 수 있는 "툴 박스(tool box)"(전술됨)를 포함할 수 있다. 세그먼트 및 인덱스 생성 모듈은 예를 들어 수동이나 자동일 수 있는 특성 추출, 포즈 검출, 오디오 분류를 사용하는 것에 의해 세그먼트 및 인덱스의 생성을 수행하는데 필요한 소프트웨어를 포함할 수 있다. 이 모듈(230)은, 멀티미디어 콘텐츠의 세그먼트 및 인덱스의 생성이 수행되면, 전술된 특성보다 더 많은 특성이나 더 적은 특성을 포함할 수 있다.
세그먼트 및 인덱스의 생성은, 세그먼트 및 인덱스 생성된 콘텐츠와 함께 시청 이력, 질의 이력, 및 명시된 선호도의 증가된 콘텐츠 정보를 제공하기 위해 프로세서에 의해 사용된다. 이 세그먼트 콘텐츠 정보는 예를 들어 영역 235에 저장될 수 있다. 증가된 콘텐츠 정보는 유저 프로파일(240)로서 저장되거나 또는 피드백 시스템의 유형에서 유저 프로파일(240)을 업데이트하기 위해 프로세서에 의해 사용될 수 있으며, 여기서 증가된 콘텐츠 정보가 업데이트될 때마다, 유저 프로파일이 업데이트될 수 있다.
유저 프로파일은, 예를 들어, 유저의 값과 연관된 저장 데이터를 구비할 수 있다. 예를 들어, 유저가 소비되는 시간이나 질의 깊이에 기초하여 특정 영역에 강한 관심을 보이는 경우, 유저 프로파일은 유저의 관심도를 식별하는 그 영역에 대해 특정 스코어를 갖는, 범위의 일부인 스코어를 포함할 수 있다. 예를 들어, 그 값의 범위가 1 내지 10 이고, 유저/뷰어가 매우 열렬한 스포츠 팬이라면, 유저 프로파일은 증가된 콘텐츠 정보에 기초하여 축구(및 축구와 연관된 퀴즈 게임과 제품)에 대해 10의 스코어를 포함할 뿐만 아니라 사커(soccer)에 대해 4의 스코어를 포함하며 야구에 대해 2의 스코어를 포함할 수 있다.
분석될 수 있는 시청 이력, 질의 이력, 명시된 선호도(이는 선택적이지만 이 것은 유저가 좋아하고 싫어하는 것을 결정하는 것을 보조하는 것으로 생각된다)의 콘텐츠는 도 2에 제시된 것보다 더 많은 카테고리를 구비할 수 있다. 나아가, 증가된 콘텐츠 정보는 유저/뷰어(245)가 구매를 하거나 전용 데이터베이스(250) 및/또는 인터넷(255)에 접속할 때마다 업데이트될 수 있다.
유저가 증가된 콘텐츠 정보의 결과로서 상품이나 서비스에 대해 프롬프트를 수신할 수 있으며, 이는 전용 데이터베이스 및/또는 인터넷에 업로딩될 수 있다. 물론, 구매가 이루어지거나 항목(이력 이벤트, 뮤직 비디오, 등의 비디오 클립과 같은)이 다운로드될 때마다, 이 정보는 증가된 콘텐츠 정보를 업데이트하는데 사용될 수 있다.
본 발명의 사상과 첨부된 청구항의 범위 내에서 여러 변형이 이 기술 분야에 통상의 지식을 가진 자라면 할 수 있을 것이다. 예를 들어, 분류의 유형, 세그먼트 및 인덱스 생성 유형, 모듈의 통신 배열은 모든 가능한 구성이 제시되지 않았으므로, 본 발명을 벗어남이 없이 모두 수정될 수 있을 것이다.
전술된 바와 같이, 본 발명은, TV 퍼스널 선호도 프로파일을 생성, 업데이트, 및 변환하는데 사용되는 시스템에 이용가능하다.

Claims (24)

  1. 퍼스널 프로파일의 콘텐츠의 증가를 수행하는 방법으로서,
    (a) 관련 TV 프로그램의 복수의 증가된 콘텐츠 정보의 유저 이력을 구축하는 단계(105)와,
    (b) 추가적인 콘텐츠 정보에 대한 유저의 질의를 분석하고 유저가 질의한 정도를 결정하는 단계(110)와,
    (c) 상기 추가적인 콘텐츠 정보를 증가시키기 위해 단계 (b)에서의 추가적인 콘텐츠 정보에 대한 유저의 질의로부터 유저에 관한 값을 추론하는 단계(115)와,
    (d) 유저 이력, 인터넷, 및 전용 데이터베이스 중 적어도 하나로 상기 증가된 콘텐츠 정보를 업데이트하는 단계(120)와,
    (e) 상기 복수의 증가된 콘텐츠 정보의 개별 정보를 서로 링크시키는 단계 (125)와,
    (f) 상기 복수의 증가된 콘텐츠 정보의 링크에 기초하여 유저의 관심과 선호도에 관한 추론을 결정하는 단계
    를 포함하는, 퍼스널 프로파일의 콘텐츠의 증가를 수행하는 방법.
  2. 제 1 항에 있어서, 단계 (f)로부터의 유저의 관심과 선호도에 관한 결정에 따라 단계 (a)에서의 상기 유저 이력을 업데이트하는 것에 의해 피드백 시스템을 생성하는 단계 (g)를 더 포함하는, 퍼스널 프로파일의 콘텐츠의 증가를 수행하는 방법.
  3. 제 1 항에 있어서, 단계 (d)에서의 상기 증가된 콘텐츠 정보를 업데이트하는 단계는 상기 복수의 증가된 콘텐츠 정보를 세그먼트 및 인덱스 생성(segmenting and indexing)하는 것을 포함하며, 그리고 상기 세그먼트 및 인덱스 생성은 멀티미디어에 대해 수행되는, 퍼스널 프로파일의 콘텐츠의 증가를 수행하는 방법.
  4. 제 3 항에 있어서, 상기 증가된 콘텐츠 정보에 따라 단계 (d)에서 업데이트된 인터넷 및 전용 데이터베이스 중 하나와 연결되도록, 푸시 모드(push mode)에서 유저에게 프롬프트(prompt)하는 단계를 더 포함하는, 퍼스널 프로파일의 콘텐츠의 증가를 수행하는 방법.
  5. 제 3 항에 있어서, 상기 증가된 콘텐츠 정보에 따라 단계 (d)에서 업데이트된 인터넷 및 전용 데이터베이스 중 상기 하나와 연관된 항목(item)을 구매하도록, 푸시 모드에서 유저에게 프롬프트 하는 단계를 더 포함하는, 퍼스널 프로파일의 콘텐츠의 증가를 수행하는 방법.
  6. 제 1 항에 있어서, 추가적인 콘텐츠 정보에 대해 유저가 질의한 정도를 결정하는 단계는, 제 1 및 제 2 특정 주제(subject) 각각에 대한 피상적인 질의의 수를 카운트하는 것에 의해 상기 제 2 특정 주제에 대해 상기 제 1 특정 주제에 대한 피 상적인 질의를 분류하는 것을 포함하는, 퍼스널 프로파일의 콘텐츠의 증가를 수행하는 방법.
  7. 제 1 항에 있어서, 단계 (b)에서 추가적인 콘텐츠 정보에 대해 유저가 질의한 정도를 결정하는 단계는, 상기 특정 유저 질의에 할당된 깊이(depth)의 값과 특정 유저 질의의 미리결정된 상관성에 기초하여 그 질의의 깊이를 결정하는 것을 포함하는, 퍼스널 프로파일의 콘텐츠의 증가를 수행하는 방법.
  8. 제 1 항에 있어서, 상기 추론된 값은 호기심, 지식, 절약, 양, 패션, 및 사기 행위(false pretenses)로 구성되는 그룹으로부터 선택된 적어도 하나의 유저 특성을 지정하는 것을 포함하는, 퍼스널 프로파일의 콘텐츠의 증가를 수행하는 방법.
  9. 제 3 항에 있어서, 상기 멀티미디어의 세그먼트 및 인덱스 생성은 :
    (i) 낮은 레벨과, 중간 레벨과, 높은 레벨의 특성을 결정하는 것에 의해 비디오 스트림, 오디오 스트림, 및 사본 스트림(transcript stream) 중 적어도 하나로부터 자동적인 특성의 추출과,
    (ⅱ) 침묵, 잡음, 음성, 음악, 음성 플러스 잡음, 음성 플러스 음성, 음성 플러스 음악 중 하나를 초과하는 항목을 포함하는 미리결정된 카테고리에 대응하는 자동적인 오디오 분류
    를 포함하는, 퍼스널 프로파일의 콘텐츠의 증가를 수행하는 방법.
  10. 제 9 항에 있어서, 상기 낮은 레벨의 특성은, 픽셀 기반 색상, 형태와 에지 속성을 포함하고, 상기 중간 레벨의 특성은 키프레임(keyframe), 페이스(face), 및 오디오 특성을 포함하는 비디오텍스트를 포함하며, 그리고 높은 레벨의 특성은 토픽(topic)에 따라 분류되며, 그리고 상기 자동적인 오디오 분류에 따라 분류되는, 퍼스널 프로파일의 콘텐츠의 증가를 수행하는 방법.
  11. 제 3 항에 있어서, 상기 세그먼트 및 인덱스 생성은, 음향 특성, 스펙트럼 특성과 시간 특성을 추출하기 위해 켑스트럼 기반 특성(cepstral-based feature), 주파수 영역 동작, 및 시간 영역 동작을 결합하는 것에 의해 수행되는, 퍼스널 프로파일의 콘텐츠의 증가를 수행하는 방법.
  12. 콘텐츠 증가 시스템으로서,
    프로세서(210)와,
    상기 프로세서와 연결되는 저장 수단으로서, 유저의 시청 이력과 질의 이력을 포함하는 콘텐츠 정보를 저장하기 위한 저장 수단(215, 220)과,
    추가적인 콘텐츠 정보를 위해 유저가 질의한 정도를 분석하기 위한 수단 (225)과,
    증가된 콘텐츠 정보를 제공하기 위해 유저가 시청한 멀티미디어 콘텐츠를 세그먼트 및 인덱스 생성하기 위한 수단(230)과,
    상기 증가된 콘텐츠 정보를 저장하기 위한 수단(235)과,
    서로 링크된 증가된 연관된 콘텐츠 정보와 유저를 식별하는 유저 프로파일 (240)과,
    인터넷과 전용 데이터베이스 중 하나와 상기 유저 프로파일을 링크시키며 상기 인터넷과 전용 데이터베이스에서 유저가 시청한 것에 관련된 인터넷과 전용 데이터베이스로부터의 정보에 따라 유저 프로파일을 업데이트하기 위한 수단(212)
    을 포함하는, 콘텐츠 증가 시스템.
  13. 제 12 항에 있어서, 상기 멀티미디어를 세그먼트 및 인덱스 생성하기 위한 수단은 켑스트럼 기반 특성(cepstral-based features)을 사용하는, 콘텐츠 증가 시스템.
  14. 제 13 항에 있어서, 상기 켑스트럼 기반 특성은 MFCC 및 LPC를 포함하는, 콘텐츠 증가 시스템.
  15. 제 12 항에 있어서, 상기 세그먼트 및 인덱스 생성 수단은 음향 특성, 스펙트럼 특성과 시간 특성을 추출하기 위해 켑스트럼 기반 특성, 주파수 영역 동작, 및 시간 영역 동작의 결합을 포함하는, 콘텐츠 증가 시스템.
  16. 제 13 항에 있어서, 상기 인터넷 및 전용 데이터베이스 중 하나와 연결되도록 푸시 모드에서 유저에게 프롬프트하기 위한 수단(213)을 더 포함하는, 콘텐츠 증가 시스템.
  17. 제 13 항에 있어서, 상기 세그먼트 및 인덱스 생성 내용과 명시된 유저 선호도를 결합하기 위한 수단(242)을 더 포함하는, 콘텐츠 증가 시스템.
  18. 제 13 항에 있어서, 상기 분석 수단(225)은 상기 추가적인 콘텐츠 정보가 질의된 정도와 유저에 의해 질의된 추가적인 콘텐츠 정보와 연관된 양의 값으로 유저 프로파일을 업데이트 하기 위한 수단을 포함하는, 콘텐츠 증가 시스템.
  19. 콘텐츠 증가 디바이스로서,
    프로세서(210)와,
    상기 프로세서에 연결되는 제 1 저장 영역으로서, 유저의 시청 이력과 질의 이력을 포함하는 콘텐츠 정보를 저장하기 위한 제 1 저장 영역(215, 220)과,
    추가적인 콘텐츠 정보에 대해 유저가 질의한 정도를 분석하기 위한 수단 (225)과,
    증가된 콘텐츠 정보를 제공하기 위해 유저가 시청한 멀티미디어 콘텐츠를 세그먼트 및 인덱스 생성하기 위한 수단(230)과,
    상기 증가된 콘텐츠 정보를 저장하기 위한 제 2 저장 영역과,
    서로 링크된 증가된 연관된 콘텐츠 정보와 유저를 식별하는 유저 프로파일 (240)과,
    인터넷과 전용 데이터베이스 중 하나와 유저 프로파일을 링크시키며 상기 인터넷과 전용 데이터베이스에서 유저가 시청한 것에 관련된 인터넷과 전용 데이터베이스로부터의 정보에 따라 유저 프로파일을 업데이트하는 수단(212)
    을 포함하는, 콘텐츠 증가 디바이스.
  20. 제 19 항에 있어서, 멀티미디어를 세그먼트 및 인덱스 생성하기 위한 수단은 켑스트럼 기반 특성을 사용하는, 콘텐츠 증가 디바이스.
  21. 제 20 항에 있어서, 상기 켑스트럼 기반 특성은 MFCC 및 LPC를 포함하는, 콘텐츠 증가 디바이스.
  22. 제 19 항에 있어서, 상기 세그먼트 및 인덱스 생성 수단은 음향 특성, 스펙트럼 특성, 시간 특성을 추출하기 위해 켑스트럼 기반 특성, 주파수 영역 동작, 및 시간 영역 동작의 결합을 포함하는, 콘텐츠 증가 디바이스.
  23. 제 20 항에 있어서, 상기 인터넷과 전용 데이터베이스 중 하나와 연결되도록 푸시 모드에서 유저에게 프롬프트하는 수단(213)을 더 포함하는, 콘텐츠 증가 디바이스.
  24. 제 19 항에 있어서, 상기 세그먼트 및 인덱스 생성 내용과 명시된 유저 선호도를 결합하는 수단(242)을 더 포함하는, 콘텐츠 증가 디바이스.
KR1020047020026A 2002-06-10 2003-05-19 퍼스널 프로파일에 기초한 콘텐츠의 증가 KR100965457B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/165,904 2002-06-10
US10/165,904 US7373336B2 (en) 2002-06-10 2002-06-10 Content augmentation based on personal profiles
PCT/IB2003/002211 WO2003105463A2 (en) 2002-06-10 2003-05-19 Content augmentation based on personal profiles

Publications (2)

Publication Number Publication Date
KR20050008810A KR20050008810A (ko) 2005-01-21
KR100965457B1 true KR100965457B1 (ko) 2010-06-24

Family

ID=29710545

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047020026A KR100965457B1 (ko) 2002-06-10 2003-05-19 퍼스널 프로파일에 기초한 콘텐츠의 증가

Country Status (7)

Country Link
US (1) US7373336B2 (ko)
EP (1) EP1516490A2 (ko)
JP (1) JP2005529425A (ko)
KR (1) KR100965457B1 (ko)
CN (1) CN1659882B (ko)
AU (1) AU2003228068A1 (ko)
WO (1) WO2003105463A2 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7071842B1 (en) 2002-06-27 2006-07-04 Earthcomber, Llc System and method for locating and notifying a user of a person, place or thing having attributes matching the user's stated preferences
US8102253B1 (en) 2002-06-27 2012-01-24 Earthcomber, Llc System and method for notifying a user of people, places or things having attributes matching a user's stated preference
US8427303B1 (en) 2002-06-27 2013-04-23 Geomass Limited Liability Company System and method for providing media content having attributes matching a user's stated preference
US7349477B2 (en) * 2002-07-10 2008-03-25 Mitsubishi Electric Research Laboratories, Inc. Audio-assisted video segmentation and summarization
KR100594963B1 (ko) * 2002-09-18 2006-07-03 한국전자통신연구원 사용자 선호 시청 시간대에 선호 프로그램의 제공을 위한개인 채널 서비스 제공 방법 및 그 장치
US20060004701A1 (en) * 2003-12-30 2006-01-05 Bacon Charles F System and method for adaptive decision making analysis and assessment
JP4688577B2 (ja) * 2004-06-07 2011-05-25 パナソニック株式会社 コンテンツ表示装置およびコンテンツ表示方法
US8069153B2 (en) * 2005-12-02 2011-11-29 Salesforce.Com, Inc. Systems and methods for securing customer data in a multi-tenant environment
US7831685B2 (en) * 2005-12-14 2010-11-09 Microsoft Corporation Automatic detection of online commercial intention
US8504575B2 (en) 2006-03-29 2013-08-06 Yahoo! Inc. Behavioral targeting system
US7814109B2 (en) * 2006-03-29 2010-10-12 Yahoo! Inc. Automatic categorization of network events
US8438170B2 (en) * 2006-03-29 2013-05-07 Yahoo! Inc. Behavioral targeting system that generates user profiles for target objectives
US7809740B2 (en) * 2006-03-29 2010-10-05 Yahoo! Inc. Model for generating user profiles in a behavioral targeting system
US7904448B2 (en) * 2006-03-29 2011-03-08 Yahoo! Inc. Incremental update of long-term and short-term user profile scores in a behavioral targeting system
US20070239517A1 (en) * 2006-03-29 2007-10-11 Chung Christina Y Generating a degree of interest in user profile scores in a behavioral targeting system
US20090327193A1 (en) * 2008-06-27 2009-12-31 Nokia Corporation Apparatus, method and computer program product for filtering media files
US7584223B1 (en) 2006-06-28 2009-09-01 Hewlett-Packard Development Company, L.P. Verifying information in a database
WO2008131934A1 (de) 2007-04-27 2008-11-06 Mekmedia Gmbh Gerät zur verbindung mit einem fernsehgerät und verfahren zur übertragung von zusatzinformationen zum fernsehsignal
US8108341B2 (en) * 2008-04-16 2012-01-31 Disney Enterprises, Inc. Method and system enabling identification of information content having enhanced desirability to a user
US7949678B2 (en) * 2008-05-20 2011-05-24 Samsung Electronics Co., Ltd. System and method for facilitating access to audio/visual content on an electronic device
US9135348B2 (en) * 2008-11-21 2015-09-15 Alcatel Lucent Method and apparatus for machine-learning based profiling
EP2422516A2 (en) * 2009-04-24 2012-02-29 Telegent Systems, Inc. System and method for information delivery including delivery via video-based keyed or tagged content
US8533132B2 (en) * 2009-07-22 2013-09-10 Carnegie Mellon University Systems and methods for implementing a machine-learning agent to retrieve information in response to a message
US9990641B2 (en) 2010-04-23 2018-06-05 Excalibur Ip, Llc Finding predictive cross-category search queries for behavioral targeting
US8843817B2 (en) * 2010-09-14 2014-09-23 Yahoo! Inc. System and method for obtaining user information
CN102982804B (zh) 2011-09-02 2017-05-03 杜比实验室特许公司 音频分类方法和系统
US10402502B2 (en) * 2011-09-23 2019-09-03 Shauki Elassaad Knowledge discovery system
US9632654B1 (en) * 2013-03-15 2017-04-25 Shauki Elassaad System and method for augmented knowledge discovery
US9275148B1 (en) * 2011-09-23 2016-03-01 Shauki Elassaad System and method for augmented browsing and knowledge discovery
US9641790B2 (en) 2011-10-17 2017-05-02 Microsoft Technology Licensing, Llc Interactive video program providing linear viewing experience
WO2013095446A1 (en) * 2011-12-21 2013-06-27 Intel Corporation User behavior based data population of devices
WO2014032708A1 (en) * 2012-08-29 2014-03-06 Iiinnovation S.A. Method of operating a tv receiver and tv receiver
US10241988B2 (en) * 2013-12-05 2019-03-26 Lenovo (Singapore) Pte. Ltd. Prioritizing smart tag creation
US9942609B2 (en) * 2014-11-13 2018-04-10 Comcast Cable Communications, Llc Personalized content recommendations based on consumption periodicity
US10817582B2 (en) * 2018-07-20 2020-10-27 Elsevier, Inc. Systems and methods for providing concomitant augmentation via learning interstitials for books using a publishing platform

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001013264A2 (en) 1999-08-12 2001-02-22 Koninklijke Philips Electronics N.V. Customizing database information for presentation with media selections
WO2001028240A1 (en) 1999-10-13 2001-04-19 Koninklijke Philips Electronics N.V. Automatic signature-based spotting, learning and extracting of commercials and other video content
WO2002037850A2 (en) 2000-10-30 2002-05-10 Koninklijke Philips Electronics N.V. Adaptive method and apparatus for automatically customizing enhanced program content to user preferences

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6654735B1 (en) * 1999-01-08 2003-11-25 International Business Machines Corporation Outbound information analysis for generating user interest profiles and improving user productivity
GB9922765D0 (en) * 1999-09-28 1999-11-24 Koninkl Philips Electronics Nv Television
WO2001072040A2 (en) 2000-03-21 2001-09-27 Koninklijke Philips Electronics N.V. System and method for automatic content enhancement of multimedia output device
US6662177B1 (en) * 2000-03-29 2003-12-09 Koninklijke Philips Electronics N.V. Search user interface providing mechanism for manipulation of explicit and implicit criteria

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001013264A2 (en) 1999-08-12 2001-02-22 Koninklijke Philips Electronics N.V. Customizing database information for presentation with media selections
WO2001028240A1 (en) 1999-10-13 2001-04-19 Koninklijke Philips Electronics N.V. Automatic signature-based spotting, learning and extracting of commercials and other video content
WO2002037850A2 (en) 2000-10-30 2002-05-10 Koninklijke Philips Electronics N.V. Adaptive method and apparatus for automatically customizing enhanced program content to user preferences

Also Published As

Publication number Publication date
AU2003228068A8 (en) 2003-12-22
WO2003105463A2 (en) 2003-12-18
US7373336B2 (en) 2008-05-13
WO2003105463A3 (en) 2004-02-26
CN1659882B (zh) 2010-06-16
JP2005529425A (ja) 2005-09-29
KR20050008810A (ko) 2005-01-21
CN1659882A (zh) 2005-08-24
AU2003228068A1 (en) 2003-12-22
EP1516490A2 (en) 2005-03-23
US20030229629A1 (en) 2003-12-11

Similar Documents

Publication Publication Date Title
KR100965457B1 (ko) 퍼스널 프로파일에 기초한 콘텐츠의 증가
KR100794152B1 (ko) 오디오/데이터/시각 정보 선택을 위한 방법 및 장치
US7209942B1 (en) Information providing method and apparatus, and information reception apparatus
CA2924065C (en) Content based video content segmentation
JP4363806B2 (ja) オーディオビジュアルプログラム管理システム及びオーディオビジュアルプログラム管理方法
US20040073919A1 (en) Commercial recommender
RU2577189C2 (ru) Основанное на профиле извлечение содержимого для систем средств выдачи рекомендаций
US9100723B2 (en) Method and system for managing information on a video recording
US20030093794A1 (en) Method and system for personal information retrieval, update and presentation
US20020092031A1 (en) System and method for generating metadata for programming events
JP2004515128A (ja) ユーザーの現在の気分に基づいて推薦を発生させる方法および装置
WO2003046761A2 (en) System and method for retrieving information related to targeted subjects
JP2005510970A (ja) 推奨の根拠と共にユーザに提示を行なうメディア推奨装置
JP2005512233A (ja) 映像プログラムにおいて人物に関する情報を検索するためのシステムおよび方法
JP2005539307A (ja) メディア・システムの関心プロファイルの適合化
JP2005352754A (ja) 情報ナビゲーション装置、方法、プログラム、及び記録媒体
Tasič et al. Collaborative Personalized Digital Interactive TV Basics
EP3044728A1 (en) Content based video content segmentation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee