KR20140037874A - 관심 기반 비디오 스트림 선택 기법 - Google Patents

관심 기반 비디오 스트림 선택 기법 Download PDF

Info

Publication number
KR20140037874A
KR20140037874A KR20137033331A KR20137033331A KR20140037874A KR 20140037874 A KR20140037874 A KR 20140037874A KR 20137033331 A KR20137033331 A KR 20137033331A KR 20137033331 A KR20137033331 A KR 20137033331A KR 20140037874 A KR20140037874 A KR 20140037874A
Authority
KR
South Korea
Prior art keywords
viewer
video
request
sent
items
Prior art date
Application number
KR20137033331A
Other languages
English (en)
Other versions
KR101983322B1 (ko
Inventor
토드 에릭 홈달
데이비드 로저스 3세 트레드웰
도그 버거
제임스 에이 발드윈
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140037874A publication Critical patent/KR20140037874A/ko
Application granted granted Critical
Publication of KR101983322B1 publication Critical patent/KR101983322B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/45—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying users

Abstract

요청을 보낸 시청자(requesting viewer)에게 비디오 스트림을 전달하는 기법과 관련된 실시예들이 개시된다. 일 실시예에서는 요청을 보낸 장치(requesting device)로부터 비디오 스트림에 대한 요청을 수신하고, 요청을 보낸 시청자에게 디스플레이하기 위한 선택된 비디오 컨텐트 아이템들의 리스트를 작성하며 - 선택된 비디오 아이템들은 요청을 보낸 시청자의 신원 및 요청을 보낸 시청자의 시청 관심사(viewing interest)를 포함하는 시청 관심 프로필에 기초하여 복수의 비디오 아이템들 중에서 선택된 것임 -, 하나 이상의 선택된 비디오 아이템을 포함하는 비디오 아이템을 디스플레이를 위해 전송하는 것에 의해 비디오 스트림이 전달된다.

Description

관심 기반 비디오 스트림 선택 기법{INTEREST-BASED VIDEO STREAMS}
본 발명은 사용자의 관심에 기초하여 비디오 스트림을 선택하는 기법에 관한 것이다.
다양한 통신 매체를 통해 지속적으로 증가하는 컨텐트 소스로부터 비디오 컨텐트를 획득할 수 있다. 예를 들어, 디지털 케이블 텔레비전 및/또는 위성 텔레비전은 수백 개 채널의 컨텐트 방송을 가능하게 할 수 있다. 마찬가지로, 잠재적으로 무한한 소스들을 통해 컴퓨터 네트워크로부터 비디오가 제공될 수도 있다. 그 결과, 시청자가 흥미롭고 관련있는 컨텐트를 발견하는 것이 점점 더 어려질 수 있다.
요청을 보낸 시청자(requesting viewer)에게 비디오 스트림을 전달하는 기법과 관련된 다양한 실시예들이 개시된다. 예컨대, 일 실시예에서는 요청을 보낸 장치로부터 요청을 보낸 시청자의 신원을 포함하는 비디오 스트림에 대한 요청을 수신하는 단계를 포함하는 비디오 컨텐트 제공 방법이 제공된다. 이어서, 요청을 보낸 시청자에게 디스플레이하기 위한 선택된 비디오 컨텐트 아이템들의 리스트가 작성되는데, 선택된 비디오 아이템들은 요청을 보낸 시청자의 신원 및 요청을 보낸 시청자의 시청 관심사(viewing interest)를 포함하는 시청 관심 프로필에 기초하여 복수의 비디오 아이템들 중에서 선택된 것이다. 하나 이상의 선택된 비디오 아이템을 포함하는 비디오 스트림이 요청을 보낸 시청자에게 디스플레이되도록 전송된다.
본 요약부는 이하 발명의 상세한 설명에서 보다 자세히 기술될 개념들 중 선택된 것들을 단순화된 형식으로 소개하기 위해 제공되는 것이다. 본 요약부는 청구항에 기재된 청구대상의 주된 사항 또는 핵심 사항을 밝히기 위한 것이 아니며, 청구항에 기재된 청구대상의 범위를 한정하기 위한 것은 더더욱 아니다. 나아가, 청구항에 기재된 청구대상은 본 명세서로부터 파악될 수 있는 문제점을 해결하는 구현예로 한정되지 않는다.
도 1은 본 명세서의 일 실시예에 따라 비디오 시청 환경 하에서 비디오 스트림을 시청하는 시청자를 개략적으로 나타낸다.
도 2a 및 도 2b는 본 명세서의 일 실시예에 따라 요청을 보낸 시청자에게 비디오 스트림을 전달하는 방법을 묘사하는 흐름도이다.
도 3은 본 명세서의 일 실시예에 따라 시청자 감정 반응 프로필, 시청 관심 프로필, 종합적 시청자 감정 반응 프로필을 개략적으로 도시한다.
방송 텔레비전은 이미 오래 전부터 일대다(one-to-many) 채널을 갖게 되었고, 시청자 피드백을 위한 실시간 피드백 루프를 제공하지 않은 채 다수의 시청자에게 프로그램을 밀어내왔다. 이러한 모델은 시청자별로 비디오 스트림을 맞춤화하여 제공하는 것을 어렵게 만든다. 그 결과, 사용자가 원하는 프로그램을 시청할 기회는 이용가능한 채널 상에서 사전 스케쥴된 프로그램으로 제한되었다.
보다 근래에 들어서는, 비디오 녹화 장치 및 컨텐트를 액세스하게 해주는 채널의 확장으로 인해 사용자가 원하는 스케쥴로 원하는 컨텐트를 시청하는 것이 가능해지고 있다. 이를테면, 둘 이상의 원하는 텔레비전 쇼가 동시에 방송되는 경우 사용자가 하나를 시청하면서 다른 하나를 녹화해두고, 녹화된 쇼를 이후에 시청하는 것이 가능하다.
마찬가지로, 사용자는 컨텐트 제공자의 웹사이트로부터 비디오를 스트리밍하는 것에 의해 나중에 다른 하나의 쇼를 액세스할 수도 있다. 네트워크를 통한 스트리밍 비디오를 전달하는 기술이 개발됨에 따라 이용가능한 컨텐트 소스의 개수가 무척 많아졌고, 사용자들도 방송 시간에 의한 제약이 없이 임의의 원하는 시간에 프로그램을 액세스하는 것이 가능해졌다. 또한, 디지털 케이블, 방송 및 위성 텔레비전으로 인해 시청에 이용가능한 채널의 수도 상당히 증가하게 되었다.
그러나, 위와 같은 이유로 컨텐트를 찾는 것이 어려워지기도 했다. 예컨대, 전술한 바와 같이 디지털 및 위성 텔레비전은 수백 개의 가용 채널을 제공할 수 있다. 나아가, 많은 온라인 컨텐트 소스들도 엄청난 양의 컬렉션을 보유하고 있다. 사용자가 전자 프로그래밍 가이드를 통해 디지털이나 위성 컨텐트를 찾아낼 수 있기는 하지만, 온라인 컨텐트를 찾아내는 것은 훨씬 더 어렵다. 이를테면, 검색 엔진이라고 해도 비연관 비디오 컨텐트 제공 웹사이트 상에서 특정한 컨텐트를 찾는 것은 어려울 것이다. 그러므로, 그러한 컨텐트를 찾고자 하는 시청자들은 개개의 비디오 컨텐트 사이트마다 검색을 수행해야만 할 것이다.
이러한 문제점들을 감안하여, 본 명세서에 개시된 실시예들은 사용자의 다양한 특성들을 검출하는 것을 이용하여 그 사용자가 흥미있게 여길 것 같은 비디오 컨텐트를 찾아내는데, 사용자의 특성은 감정 상태와 소셜 네트워크 접속 등을 포함하나 이에 한정되지는 않는다. 개시된 실시예들은 사용자들이 컨텐트를 찾아내도록 돕기 위한 사용자 선호도를 판단하는 데 사용되는 시청 환경 센서를 포함하는 엔터테인먼트 시스템과 관련된다.
어떤 실시예에서는 요청을 보낸 시청자의 관심사뿐 아니라 비디오 아이템에 대한 다른 시청자들의 감정 반응들도 고려하여 비디오 아이템을 선택할 수 있다. 또한, 비디오 스트림이 요청을 보낸 시청자에게 제공되는 하루 중 시간, 요청을 보낸 시청자가 선택한 지리적 위치, 요청을 보낸 시청자의 소셜 네트워크(들), 요청을 보낸 시청자의 인터넷 브라우징 관심사 등과 같은 다른 요인들에 기초하여 비디오 선택을 맞춤화할 수도 있다.
감정 상태를 감지하는 데 사용될 데이터를 수집하는 데 사용될 수 있는 시청 환경 센서의 예로는 이미지 센서, 깊이 센서, 음향 센서, 움직임이나 생체측정 센서와 같은 기타 다른 센서들을 포함하나, 여기에 한정되지는 않는다. 이러한 센서들은 시스템이 개개인을 식별하도록 해주고, 인가의 감정 표현을 검출하여 이해하도록 해주며, 시청자가 비디오를 보는 동안 실시간 피드백을 제공하도록 한다. 이러한 피드백에 의해 엔터테인먼트 시스템은 사용자가 비디오 아이템을 즐기는 정도를 판단하고, 감지된 시청자 감정 반응들에 대한 실시간 응답을 제공할 수 있다. 나아가, 비디오 아이템에 대한 시청자들의 감정 반응이 종합되어 컨텐트 제작자들에게 제공될 수도 있다.
도 1은 시청자(101)가 디스플레이 장치(103) 상에서 비디오 아이템(102)을 시청하고 있는 비디오 시청 환경(100)의 실시예를 개략적으로 도시하고 있다. 비디오 아이템의 디스플레이는 미디어 컴퓨팅 장치(104)와 같은 컴퓨팅 장치나 기타 임의의 적절한 방식으로 제어될 수 있다. 미디어 컴퓨팅 장치(104)는 게임 콘솔, 셋탑 박스, 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트패드 컴퓨터 또는 기타 적절한 컴퓨팅 장치를 포함할 수 있고, 디스플레이를 위해 디스플레이 장치(100)로 데이터를 출력하도록 구성된 디스플레이 출력부를 포함한다.
비디오 시청 환경 센서 시스템(106)의 실시예는 미디어 컴퓨팅 장치가 미디어 컴퓨팅 장치(104)로 전달되는 센서 데이터를 수신하도록 하는 주변 입력부를 통해 미디어 컴퓨팅 장치(104)에 접속되는 것으로 도시되어 있다.
컴퓨팅 장치(104)는 비디오 아이템에 대한 시청자의 감정 반응 프로파일을 생성하고, 네트워크(110)를 통해 감정 반응 프로파일을 서버 컴퓨팅 장치(120)로 전송할 수 있다. 감정 반응 프로파일은 비디오 시청 환경에서 디스플레이되고 있는 비디오 아이템에 대한 시청자 감정 반응의 시간에 따른 기록을 포함한다. 달리 말하면, 비디오 아이템에 대한 시청자의 감정 반응 프로필은 시청자의 감정 표현과 행동 표현을 비디오 아이템 내의 시점(time position)의 함수로 나타낸 것이다.
서버 컴퓨팅 장치(120)는 각각의 비디오 아이템에 대해 복수의 시청자로부터의 감정 반응 프로필을 종합하여 그 비디오 아이템에 대한 종합적 감정 반응 프로필을 생성한다. 추후에 선택된 비디오 아이템들의 리스트에 포함된 것들 중 특정한 비디오 아이템이 선택되어 비디오 스트림을 요청한 시청자에게 디스플레이될 수 있다. 특정 비디오 아이템을 선택하는 것은 시청 관심 프로필에 포함된 요청을 보낸 시청자의 관심사 및 요청을 보낸 시청자의 신원에 기초하여 수행될 수 있다.
요청을 보낸 시청자 및/또는 양의 상관관계를 가질 가능성이 있는(potentially positively correlated) (예를 들어, 공통 관심사, 사회적 공통성, 관계 및 기타 시청자들 사이의 연결고리에 의해 결정된 요청을 보낸 시청자와 유사한 방식으로 비디오 아이템에 대해 반응할 것 같은) 시청자들의 그룹에 속한 사람(들)의 시청 관심 프로필을 사용하여 요청을 보낸 시청자가 더욱 흥미있어 할 것 같은 비디오 아이템을 선택하여 비디오 스트림에 포함시킬 수 있다. 이를테면, 비디오 아이템 및/또는 비디오 아이템의 일부분의 특징(예컨대, 비디오 아이템 내의 객체, 장면 등)에 대한 종합적 감정 반응 프로필 내에 포함된 복수의 시청자들의 감정 반응 프로필의 강도 또는 크기에 기초하여 특정 비디오 아이템을 선택할 수 있다.
또한, 요청을 보낸 시청자의 현재 감정 상태에 기초하여 비디오 아이템을 선택할 수도 있다. 요청을 보낸 시청자에 대해 비디오 아이템 선택을 맞춤화함으로써, 요청을 보낸 시청자가 비디오 아이템을 더욱 흥미있고 감정적으로 자극적인 것으로 여길 가능성이 상대적으로 높아지므로, 엔터테인먼트 경험의 효과를 향상시키고 요청을 보낸 시청자가 새로운 비디오 컨텐트를 발견하는 것을 도울 수 있게 된다.
비디오 시청 환경 센서 시스템(106)은 하나 이상의 이미지 센서, (구조형 광(structured light), ToF (Time of Flight), 또는 스테레오 깊이 카메라와 같은) 깊이 센서 및/또는 마이크로폰이나 기타 음향 센서와 같은 임의의 적절한 센서를 포함할 수 있으나, 이에 한정되지는 않는다. 이들 센서로부터의 데이터는 컴퓨팅 장치(104)에 의해 사용자의 자세나 동작을 검출하는 데 사용될 수 있는데, 이들은 미디어 컴퓨팅 장치(104)에 의해 인간 영향 표시(human affect displays)와 상관된다. 본 명세서에서 사용된 "인간 영향 표시"라는 용어는 시청하고 있는 컨텐트에 대한 인간의 감지가능한 반응을 의미하는 것임을 이해할 수 있을 터인데, 이는 의식적이든 반-무의식적이든, 인간의 감정 표현 및/또는 표정, 동작, 음성 표시와 같은 인간의 감정적 행위를 나타내는 감지가능한 표시를 포함하나, 이에 한정되지는 않는다.
보다 구체적인 실시예로서, 시청 환경 센서 시스템(106)으로부터 수신된 이미지 데이터는 자신의 얼굴을 찡그리거나 가리는 시청자(160)의 이미지와 같이 시청자가 행하는 인간의 감정 행위를 나타내는 의식적 표시를 포착할 수 있다. 이에 응답하여, 해당 비디오 아이템에 대한 시청자의 감정 반응 프로필은 그 시청자가 해당 비디오 아이템을 시청하는 동안 두려움을 느끼고 있음을 나타낼 수 있다. 이미지 데이터는 인간의 감정 상태에 대한 반-무의식적 표시를 포함할 수도 있다. 그러한 시나리오 하에서는, 비디오 아이템이 나오는 동안의 특정 시점에 사용자기 디스플레이로부터 고개를 돌리고 있었음을 이미지 데이터가 나타낼 수 있다. 이에 응답하여, 해당 비디오 아이템에 대한 시청자의 감정 반응 프로필은 시청자가 그때 지루해하거나 산만해져 있었음을 나타낼 수 있다. 시선 추적, 얼굴 위치 특징 묘사(facial posture characterization) 및 기타 적절한 기법을 이용하여 사용자가 감정적으로 자극받은 정도 및 비디오 아이템(102)에 이끌린 정도를 측정할 수 있다.
어떤 실시예에서는, 이미지 센서가 인간의 생리적 상태(human physiological conditions)를 진단하는 스펙트럼 영역 내의 광(light)을 수집할 수도 있다. 예컨대, 적외선광을 사용하여 혈중 산소 레벨 및/또는 체내 심장박동 레벨을 구할 수 있다. 이어서, 이러한 레벨은 그 사람의 감정 자극을 추정하는 데 사용될 수 있다.
또한, 어떤 실시예에서는, 시청 환경 센서 시스템(106)이 아닌 다른 장치 내에 위치하는 센서를 사용하여 미디어 컴퓨팅 장치(104)에 대한 입력을 제공할 수도 있다. 이를테면, 어떤 실시예에서는, 비디오 시청 환경(100) 내의 시청자(160)가 소지하는 모바일 컴퓨팅 장치(예를 들어, 휴대전화, 랩탑 컴퓨터, 태블릿 컴퓨터 등)에 포함되어 있는 가속도계(accelerometer)를 사용하여 해당 시청자의 동작-기반 감정 표현 (gesture-based emotional expressions)을 검출할 수도 있다.
도 2a 내지 2b는 요청을 보낸 시청자에게 비디오 스트림을 전달하는 방법(200)의 일 실시예를 나타내는 흐름도를 도시하고 있다. 이 방법(200)은 도 1이나 본 명세서에서 참조된 하드웨어의 실시예를 포함하는 임의의 적절한 하드웨어에 의해 수행될 수 있으나, 이에 한정되지는 않는다는 것을 잘 이해할 것이다.
도 2a에 도시된 바와 같이, 미디어 컴퓨팅 장치(104)는 본 명세서에 개시된 실시예들을 수행하는 로직 서브시스템(116)에 의해 수행가능한 인스트럭션을 보유하고 있는 데이터 보유 서브시스템(114)을 포함하고 있다. 컴퓨팅 장치(104)는 실행가능한 인스트럭션을 저장하는 외장형 및/또는 비-외장형 컴퓨터 저장 매체(118)도 포함할 수 있다. 마찬가지로, 서버 컴퓨팅 장치(120)의 실시예도 데이터 보유 서브시스템(124), 로직 서브시스템(126), 외장형 및/또는 비-외장형 컴퓨터 저장 매체(128)를 포함하는 것으로 도시되어 있다.
전술한 바와 같이, 어떤 실시예에서는, 시청자의 모바일 장치 상의 센서로부터 센서 데이터가 미디어 컴퓨팅 장치로 제공될 수 있다. 그리고, 시청 중인 비디오 아이템과 연관된 보충/관련 비디오 아이템 컨텐트가 요청을 보낸 시청자의 모바일 장치(130)로 전달될 수 있다. 그러므로, 모바일 컴퓨팅 장치(130)가 미디어 컴퓨팅 장치(104) 및/또는 서버 컴퓨팅 장치(130)에 등록되고 접속어 그러한 동작을 수행할 수도 있다. 도 2a에 도시된 바와 같이, 모바일 컴퓨팅 장치(130)가 데이터 보유 서브시스템(134), 로직 서브시스템(136), 외장형 컴퓨터 저장 매체(138)를 포함하고 있다. 여기서 참조되는 이들 데이터 보유 서브시스템, 로직 서브시스템, 외장형 컴퓨터 저장 매체의 특징에 대해서는 이하에서 보다 자세히 설명하도록 한다.
도 2a로 돌아가면, 이 방법(200)은 비디오 시청 환경 센서(모바일 컴퓨팅 장치(140)로부터일 수도 있음)에서 센서 데이터를 수집하는 단계(202)를 포함한다. 이어서, 단계(204)에서는 센서 데이터를 나타내는 입력을 수신하는 미디어 컴퓨팅 장치로 센서 데이터를 전송한다. 이미지 센서 데이터, 깊이 센서 데이터, 음향 센서 데이터, 생체측정 센서 데이터 등을 포함하는 임의의 적절한 센서 데이터가 수집될 수 있으며, 이에 한정되지는 않는다.
이 방법(200)은 센서 데이터를 나타내는 입력으로부터 비디오 시청 환경 내에 있는 시청자의 신원을 판단하는 단계(206)를 포함한다. 어떤 실시예에서는, 센서 데이터에 의해 수집된 이미지 데이터를 시청자의 개인 프로필 내에 저장된 이미지 데이터와 비교함으로써 시청자의 신원을 확인할 수 있다. 예를 들어, 비디오 시청 환경으로부터 수집된 이미지 데이터 내에 포함된 얼굴과 시청자의 프로필 내에 포함된 얼굴의 유사도를 비교하여 그 시청자의 신원을 확인할 수 있다. (이를테면, 음성 인식에 의한) 음향 데이터나 기타 적절한 데이터로부터 시청자의 신원을 판단할 수도 있다. 마찬가지로 사용자에 의해 시청자의 신원을 수동으로 입력(예컨대, 음성, 텍스트 입력 장치 등에 의해)할 수도 있다.
본 방법(200)은 시청자에 대한 감정 반응 프로필을 생성하는 단계(208)를 포함하는데, 감정 반응 프로필은 비디오 시청 환경 내에서 디스플레이되고 있는 비디오 아이템에 대한 해당 시청자의 감정 반응의 시간적 기록을 포함한다. 도 3은 시청자 감정 반응 프로필(304)의 일 실시예를 개략적으로 도시하고 있다. 도 3에 도시된 바와 같이, 시청자 감정 반응 프로필(304)은 하나 이상의 비디오 시청 환경 센서로부터 수신된 센서 정보를 이용하여, 미디어 컴퓨팅 장치(104)와 서버 컴퓨팅 장치(120) 중 하나 이상에서 실행되는 시맨틱 마이닝 모듈(semantic mining module: 302)에 의해 생성된다. 센서로부터의 감정 반응 데이터와 비디오 아이템 정보(303)(예를 들어, 해당 감정 반응 데이터가 수집되는 동안 시청자고 보고 있었던 특정 비디오 아이템 및 해당 비디오 아이템 중 어느 부분에서 그 감정 반응이 일어났는지를 나타내는 메타데이터)를 이용하여, 시맨틱 마이닝 모듈(302)이 시청자 감정 반응 프로필(304)을 생성하는데, 이는 시청자의 감정 반응을 비디오 아이템 내의 시점의 함수로 나타낸 것이다.
도 3에 도시한 실시예에서, 시맨틱 마이닝 모듈(302)은 비디오 시청 환경 센서에 의해 검출된 다양한 행동 및 기타 표현 데이터(예를 들어, 생리적 데이터)에 감정 식별자(emotional identifications)를 할당한다. 시맨틱 마이닝 모듈(302)은 예컨대, 비디오 아이템 내에서 여러 이벤트, 장면, 행동이 발생하는 시점에 의해 비디오 아이템과 동기화된 시간 시퀀스(time sequence)에 따라 시청자의 감정 표현을 인덱싱한다. 따라서, 도 3에 도시된 실시예에서, 시맨틱 마이닝 모듈은 (심장 박동 데이터와 같은) 생리적 데이터와 (바디 랭귀지 점수와 같은) 인간 영향 표시 데이터를 근거로 시청자가 지루해 하고 있고 산만해져 있음을 비디오 아이템의 시간 인덱스 1에 기록한다. 이후에 시청자의 감정 반응 프로필(304)은 시간 인덱스 2에서는 시청자가 즐겁고 비디오 아이템에 흥미를 느끼고 있음을 나타내고, 시간 인덱스 3에서는 시청자가 두려워하고 있으나 시청자의 비디오 아이템에 깊이 몰입해 있음을 나타낸다.
어떤 실시예에서, 시맨틱 마이닝 모듈(302)은 비디오 아이템에 대한 시청자의 감정 반응과 그 시청자의 전반적인 기질(general temper)을 구별하도록 구성될 수 있다. 예를 들어, 어떤 실시예에서 시맨틱 마이닝 모듈(302)은 시청자가 디스플레이 장치에 주의를 기울이고 있지 않을 때에 검출된 인간 영향 표시들은 무시하거나 그동안 시청자의 주의가 분산되어 있음을 보고할 수도 있다. 예를 들어, 비디오 시청 환경 외부로부터 발생한 큰 소음으로 인해 시청자가 짜증스러워 보이는 경우, 시맨틱 마이닝 모듈(302)은 검출된 짜증을 해당 비디오 아이템의 탓으로 돌리지 않도록 구성될 수 있고, 해당 비디오 아이템에 대한 그 시청자의 감정 반응 프로필 내의 해당 시점에 "짜증스러움"을 기록하지 않을 수 있다. 비디오 시청 환경 센서로서 이미지 센서를 포함하고 있는 실시예에서는, 적절한 시선 추적 및/또는 얼굴 위치 추적 기법(face position tracking techniques)을 (비디오 시청 환경의 깊이 지도(depth map)과 함께) 이용하여 시청자가 디스플레이 장치 및/또는 비디오 아이템에 집중하고 있는 정도를 판단할 수 있다. 도 3은 비디오 아이템에 대한 감정 반응 프로필(304)을 그래프 형식(306)으로 도시하고 있다. 감정 반응 프로필은, 예를 들어, 비디오 아이템에 대한 시청자들의 반응을 이해하고자 하는 광고주 및/또는 컨텐트 제작자에게 이러한 형식으로 디스플레이될 수 있다.
비디오 아이템에 대한 시청자의 감정 반응 프로필(304)을 분석하여 해당 시청자의 긍정적 및 부정적 반응을 이끌어낸 장면/물체/사건의 유형을 결정할 수 있다. 예컨대, 도 3에 도시된 실시예에서, 장면 묘사를 포함하는 비디오 아이템 정보를 센서 데이터 및 시청자의 감정 반응과 상관시킬 수 있다. 이러한 분석의 결과는 비디오 아이템 관심 프로필(308) 내에 수집될 수 있다.
비디오 아이템 관심 프로필(308)은 과거의 미디어 체험에 대한 시청자의 감정 반응으로부터 판단된 비디오 아이템에 대한 시청자의 호/불호(likes and dislikes)를 목록화한다. 비디오 아이템 관심 프로필은 복수의 감정 반응 프로필들로부터 생성될 수 있는데, 비디오 아이템 내에서 묘사된 물체, 세팅 및 기타 이미지들이 검출된 감정 상태에 링크된다. 달리 말하면, 특정 비디오 아이템에 대한 시청자의 감정 반응 프로필은 해당 시청자의 감정 표현과 행동 표시를 해당 비디오 아이템 내의 시점의 함수로 만든다. 도 3의 식별번호 310으로 도시한 것처럼, 해당 시청자가 시청한 다른 비디오 아이템들에 대해서도 이러한 분석을 수행하고, 유사한 감정 반응을 이끌어낸 여러 컨텐트 아이템들의 부분들 사이의 유사도를 판단하는 것에 의해, 시청자의 잠재적 호/불호를 결정하여 장래에 시청할 비디오 아이템을 제안하는 데 사용할 수 있다. 시청자가 더 많은 비디오 아이템을 시청함에 따라, 최근에 시청한 비디오 아이템에 대한 해당 시청자의 감정 반응 내에 나타난 시청자의 취향과 관심 변화를 반영하도록 해당 시청자의 시청 관심 프로필을 변경할 수 있다. 어떤 실시예에서, 시청자의 시청 관심 프로필은 시청자의 (취미와 같은) 개인적 관심사 및/또는 다양한 수준의 (나이, 성별, 위치, 직업 등과 같은) 시청자에 대한 인구통계학적 정보를 포함할 수 있다.
도 2a로 돌아와서, 단계(212)에서는 후속 처리를 위해 복수의 비디오 아이템에 대해 복수의 시청자의 감정 반응을 수신한다. 이들 감정 반응은 (예컨대, 상이한 시간에 상이한 시청자들에 의해 시청되는 비디오 아이템의 경우는) 상이한 시간에 수신될 수도 있고 (예를 들어 비디오 아이템이 라이브 이벤트로서 많은 시청자들에 의해 시청되는 경우는) 동시에 수신될 수도 있다. 이하에서 살펴볼테지만, 수신된 감정 반응들은 분석되거나 추후의 분석을 위해 저장된다.
본 방법(200)은 비디오 아이템들에 대한 복수의 감정 반응 프로필들을 종합하여 이들 비디오 아이템들에 대한 종합적 감정 반응 프로필을 형성하는 단계(214)를 포함한다. 예를 들어, 도 3은 어떤 비디오 아이템에 대한 종합적 감정 반응 프로필(314)의 예를 도시하고 있다. 도 3의 식별부호 312로 나타낸 바와 같이, 비디오 아이템에 대한 복수의 감정 반응 프로필 각각은 서로 다른 시청자로부터 온 것인데, 이들이 평균되거나 다른 방식으로 조합되어 종합적 감정 반응 프로필(314)을 생성하는 것이다. 또한, 어떤 실시예에서는, 종합적 감정 반응 프로필(314)을 (제품 유형별, 브랜드별, 비디오 아이템 주제, 스타일 및 길이별 등과 같은) 적절한 방식으로 비디오 아이템 정보와 연관시켜, 복수의 시청자들이 다양한 정도와 수준으로 감정적 체험을 누리도록 만든 비디오 아이템의 특징들을 찾아낼 수 있다.
또한, 어떤 실시예에서는 종합적 감정 반응 프로필(314)이 (히스토그램이나 열지도(heat map)와 같이) 시각적으로 제공되어, 감정적 자극의 상대적 정도 및/또는 유형을 비디오 아이템 내의 시점의 함수로서 나타낼 수도 있다. 이러한 시각적 묘사는 소정 시청자 그룹이 비디오 아이템의 어떤 부분을 감정적으로 자극적이라고 느끼거나 흥미롭게 느끼는지를 (사회적, 인구통계학적, 그리고 기타 적절한 기준에 의해 감정 반응들을 필터링함으로써) 비디오 아이템 컨텐트 제작자가 적절한 정도로 찾아낼 수 있도록 한다. 이러한 방식으로, 소정 비디오 아이템에 대한 폭넓은 시청자 그룹의 감정 반응들을 저장하고 필터링하여 소규모의 시청자 그룹의 해당 비디오 아이템에 대한 감정적으로 중요한 특징들을 찾아낼 수 있다. 이러한 시각적 묘사는 소셜 네트워크와 같은 시청자들의 하위 그룹에 기초하여 필터링될 수 있으며, 시청자에게 제공되어 시청자가 비디오 컨텐트 아이템 중 관심있게 여길 부분을 발견하는 것을 돕는다.
계속해서 도 2a를 참조하면, 본 방법(200)은 단계(218)에서 요청을 보낸 장치로부터 요청을 보낸 시청자의 신원을 포함하는 비디오 스트림에 대한 요청을 수신한다. 예컨대, 요청을 보낸 시청자의 모바일 또는 미디어 컴퓨팅 장치가 켜졌을 때, 또는 요청을 보낸 시청자가 모바일, 미디어, 또는 다른 컴퓨팅 장치로 입력하는 것에 의해 요청이 생성된다. 요청을 보낸 시청자의 신원은 (이를테면 요청을 보낸 시청자의 사용자 ID로서 수신되는 것과 같이) 임의의 적절한 방식으로 수신될 수 있다. 데이터베이스 내에 저장된 요청을 보낸 시청자의 신원에 매칭될 수 있는 이미지 및/또는 소리 데이터가 요청에 포함되어 그 이미지 및/또는 소리 데이터와의 매칭에 의해 신원이 확립될 수 있다.
요청을 보낸 시청자를 식별함으로써 비디오 아이템 선택을 도울 수 있다. 이를테면, 요청을 보낸 시청자의 시청 관심 프로필을 요청을 보낸 시청자의 신원과 연관시켜 시청을 보낸 시청자의 식별시 요청을 보낸 시청자의 다양한 관심사와 선호도를 액세스하도록 할 수 있다. 어떤 실시예에서는 비디오 스트림에 대한 요청이 수신되면, 요청을 보낸 시청자의 신원에 기초하여, 요청을 보낸 시청자의 사용자 어카운트로부터 시청 관심 프로필을 획득할 수 있다. 사용자 어카운트는 임의의 적절한 컴퓨팅 장치(예를 들어 서버 컴퓨팅 장치) 상에 또는 클라우드 컴퓨팅 환경 내에 저장되어, 요청을 보낸 시청자가 여러 장소에서 개인 사용자 어카운트에 액세스할 수 있도록 할 수 있다.
요청을 보낸 시청자의 신원은 전술한 시청자 신원 결정 기법을 포함한 임의의 적절한 방식으로 판정될 수 있지만, 이에 한정되는 것은 아니다. 따라서, 이미지 데이터를 통해 시청자를 식별하는 경우, 시청자는 시청 환경 내에서 이미지 센서의 시계(field of view) 안에 들어가 앉아서 (또는 다른 자세를 취하고) 인식된 후, 맞춤화된 비디오 스트림을 시청하기 시작하면 된다. 마찬가지로 다른 시청자 식별 방법을 이용하여 간단한 시나리오를 취할 수도 있다.
어떤 실시예에서, 비디오 스트림에 대한 요청은 요청을 보낸 시청자가 제공한 검색 용어 및/또는 필터 조건을 포함하여, 비디오 컨텐트의 제 1 부분이 그 검색 용어 및/또는 필터 조건에 기초하여 선택되도록 할 수 있다. 그러나, 본 명세서의 범위를 벗어나지 않으면서 요청을 보낸 시청자는 프로세스 중 임의의 적절한 시점에 그러한 검색 용어 및/또는 필터 조건을 제공할 수 있음을 이해해야 한다.
단계(220)에서 본 방법(200)은 요청을 보낸 시청자에 대한 정보를 수신한다. 예컨대, 요청을 보낸 시청자의 시청 관심 프로필, 소셜 네트워크 정보, 위치 정보, 현재 감정 상태 및 요청을 보낸 시청자가 제공한 필터 및/또는 검색 용어 중 하나 이상이 단계(220)에서 수신될 수 있다. 아래에서 보다 구체적으로 설명할테지만, 요청을 보낸 시청자에 대한 이러한 정보를 사용하여 종합적 감정 반응 프로필을 필터링하거나 비디오 스트림 내에 포함될 비디오 아이템을 선택할 수 있어, 비디오 스트림의 맞춤화를 개선할 수 있다.
종합적 감정 반응 프로필을 필터링하는 것은 요청을 보낸 시청자에게 디스플레이할 비디오 아이템을 선택할 때 이용할 이들 프로필들의 하위집합(subset)을 식별하는 것을 의미한다. 그 결과, 요청을 보낸 시청자와 더욱 관련이 있는 시청자 그룹일수록, 요청을 보낸 시청자가 해당 비디오 아이템을 더욱 흥미롭고 관련성이 있는 것으로 느낄 것이다.
어떤 실시예에서, 요청을 보낸 시청자의 소셜 네트워크의 구성원들과 같이 양의 상관관계를 가질 가능성이 있는 시청자들의 그룹에 속한 사람들에 대해 종합적 감정 반응 프로필이 필터링될 수 있다. 요청을 보낸 시청자의 소셜 네트워크의 구성원이 흥미로워할 것 같거나 이들에 의해 추천된 비디오 아이템들은 요청을 보낸 시청자에게도 흥미롭고 관련성이 높게 느껴질 것이다. 따라서, 요청을 보낸 시청자와 사회적으로 연관된 사람들의 그룹에 의해 다양한 비디오 아이템에 대한 종합적 감정 반응을 필터링하면 요청을 보낸 시청자가 즐겨 볼 것 같은 비디오 아이템을 찾아낼 수 있게 된다. 따라서, 본 방법(200)은 요청을 보낸 시청자의 소셜 네트워크에 따라 종합적 감정 반응 프로필을 필터링하는 단계(222)를 포함한다.
소셜 네트워크란 요청을 보낸 시청자의 관심사가 네트워크 구성원들의 집합적 관심사와 양의 상관관계를 갖도록 요청을 보낸 시청자와 사회적 연결고리를 갖는 사람들의 집합을 의미한다는 것을 이해할 것이다. 이러한 네트워크는 사용자가 정의할 수도 있고 (동문 관계와 같이) 사용자들 사이의 공통된 특성에 의해 정의될 수도 있다. 이에 더하여 또는 이에 갈음하여, 본 명세서의 기재의 범위를 벗어나지 않으면서 기타 적절한 필터를 이용할 수 있다는 점을 이해할 것이다. 예를 들어, 종합적 감정 반응 프로필은 모든 시청자들보다는 인구통계학적 그룹의 구성원들 사이의 관심사가 더 높은 상관관계를 갖도록 하는 인구통계학적 특정에 기초하여 필터링될 수도 있다.
도 2b를 참조하면, 단계(200)는 요청을 보낸 시청자의 신원 및/또는 시청 관심 프로필에 기초하여 선택된 비디오 아이템들의 리스트를 작성하는 단계(228)를 포함한다. 요청을 보낸 시청자의 시청 관심 프로필을 이용하여 특정한 비디오 아이템 및 요청을 보낸 시청자가 관심을 갖는 해당 비디오 아이템의 특징을 식별할 수 있다. 이를테면, 도 3은 요청을 보낸 시청자가 배우 A나 C보다는 배우 B를 선호하고, A 유형의 장소보다는 B 유형의 장소를 선호한다는 것을 보여준다. 이러한 예에 따르면, 배우 B 및/또는 B 유형의 장소를 포함하는 비디오 아이템을 리스트에 포함되도록 선택하게 될 것이다.
어떤 실시예에서는 복수의 비디오 아이템에 대한 종합적 감정 반응 프로필의 감정 반응 크기에 기초하여 비디오 아이템 선택을 결정할 수 있다. 감정 반응 크기가 사전결정된 기준값보다 크다면, 그 비디오 아이템은 요청을 보낸 시청자에게 추천되고 리스트 내에 포함되도록 선택될 수 있다. 예컨대, 요청을 보낸 시청자의 시청 관심 프로파일이 요청을 보낸 시청자가 특정 텔레비전 쇼를 좋아하는 것으로 나타내면, (필터링되거나 필터링되지 않은) 종합적 시청자 (aggregate audience) 내의 기준값에 비해 시전선택된 조건을 만족시키는 감정 반응을 초래한 해당 쇼의 에피소드를 리스트에 포함시킬 수 있다. 또한, 어떤 실시예에서는, (필터링되거나 필터링되지 않은 종합적 시청자 중 그 에피소드를 좋아했던 시청자의 시청 관심 프로필이 요청을 보낸 시청자의 시청 관심 프로필과 교차하는 것에 의존하여 다른 비디오 아이템을 리스트에 포함시킬 수도 있다.
이에 더하여 또는 이에 갈음하여, 비교적 높은 강도의 감정 반응과 연관되는 비디오 아이템의 특징(예를 들어, 주제, 제품, 장소, 컨셉 등)에 기초하여 비디오 아이템 선택을 결정할 수도 있다. 예컨대, 요청을 보낸 시청자의 시청 관심 프로필이 요청을 보낸 시청자가 애니메이션 영화(animated movie) 등에 관심을 보임을 나타내고 시청자 그룹의 종합적 감정 반응 프로필이 그래픽적으로 강렬한 애니메이션 텔레비전 시리즈에 대해 상대적으로 높다면, 그 텔레비전 쇼의 에피소드를 선택하여 리스트에 포함시킬 수 있다.
어떤 실시예에서는 요청을 보낸 시청자의 인터넷 브라우징 선호도에 포함된 요청을 보낸 시청자에 대한 정보로서 수집된 요청을 보낸 시청자의 관심사에 기초하여 리스트에 포함시킬 비디오 아이템들을 선택할 수 있다. 이러한 실시예에서 단계(224)는 인터넷 브라우징 정보에 따라 비디오 아이템을 선택하는 단계(226)를 포함할 수 있다. 일 실시예에서, 요청을 보낸 시청자가 방문한 적이 있는 웹사이트 (이를테면, 스키 리조트 웹사이트)에 대한 정보를 이용하여 스키와 관련된 비디오 아이템(예를 들어, 액션 스키 영화)을 선택할 수 있다. 다른 실시예에서는, 온-디맨드 비디오 스트리밍 웹사이트로부터 입수한 시청 히스토리 정보를 이용하여 요청을 보낸 시청자가 그 웹사이트에서 시청한 비디오 컨텐트와 관련된 비디오 아이템을 선택할 수도 있다.
어떤 실시예에서는, 지리적 위치 정보에 기초하여 리스트에 포함시킬 비디오 아이템을 선택할 수 있는데, 지리적 위치 정보는 요청을 보낸 시청자와 관련되거나 요청을 보낸 시청자가 제공한 임의의 적절한 위지 청보일 수 있다. 이러한 실시예에서는 단계(224)가 위치 정보에 기초하여 비디오 아이템을 선택하는 단계(228)를 포함할 수 있다. 이들 실시예들 중 일부에서는, 요청을 보낸 시청자가 하나 이상의 지리적 위치를 선택하여, 요청을 보낸 시청자가 이들 장소 중 하나에 있지 않은 경우라도, 요청을 보낸 시청자가 이들 장소와 관련된 비디오 아이템(뉴스 방송이나 날씨 정보와 같은)을 입수할 수 있다. 예를 들어, 요청을 보낸 시청자는 자신이 사는 동네를 자신이 소정 비디오 아이템을 얻고자 하는 위치로서 선택할 수 있다. 이 예에서, 시청자는 자신이 다른 지역으로 여행을 떠난 경우라도 자신의 동네에 대한 저녁 뉴스 방송을 제공받을 수 있다.
어떤 실시예에서는, 요청을 보낸 시청자가 비디오 스트림을 요청한 시각에 기초하여 비디오 아이템을 선택할 수 있다. 이러한 실시예에서는 단계(224)가 하루 중 시간에 기초하여 비디오 아이템을 선택하는 단계(230)를 포함할 수 있다. 하루 중 시간에 기초하여 리스트에 포함할 비디오 아이템을 선택하므로 비디오 스트림 내의 다른 비디오 아이템들이 사전녹화되어 미리 정해진 스케쥴에 따라 방송되지 않더라도 미리 정해진 스케쥴 (예를 들어, 지역, 지방, 또는 전국 방송 스케쥴)에 따라 생방송 비디오 아이템 및/또는 사전녹화된 비디오 아이템 방송을 비디오 스트림에 포함시킬 수 있다. 예컨대, 미리 정해진 방송 시간을 갖는 비디오 아이템들에 기초하여 비디오 스트림을 우선 프로그래밍한 후, 스트림 내의 빈 부분을 사전녹화된, 비정규 비디오 아이템으로 채워넣을 수도 있다. 이런 방식으로, 요청을 보낸 시청자는 다른 비디오 스트림을 선택할 필요도 없이 자신이 시청하고 싶어하는 라이브 이벤트와, 자신이 매주 시청하는 정규 방송 쇼와, 자신의 어린 시절부터 좋아하는 쇼의 에피소드 재방송을 시청할 수 있다.
어떤 실시예에서는, 요청을 보낸 시청자의 현재 감정 상태를 이용하여 비디오 스트림에 포함시킬 비디오 아이템을 선택할 수 있다. 그러한 실시예에서는, 단계(224)가 요청을 보낸 시청자의 현재 감정 상태에 기초하여 비디오 아이템을 선택하는 단계(232)를 포함할 수 있다. 요청을 보낸 시청자의 현재 감정 상태와 다양한 비디오 아이템에 대한 종합적 감정 반응 프로필 사이의 상관관계가 양의 값을 갖도록 함으로써, 요청을 보낸 시청자의 현재 기분을 보완해줄 수 있는 비디오 아이템이 선택되어, 요청을 보낸 시청자가 선택된 비디오 아이템에 몰입하고 반응할 수 있게 된다. 이러한 실시예에서는, 본 명세서에서 개시하는 시맨틱 마이닝 기법을 포함하는 임의의 적절한 방식으로 요청을 보낸 시청자의 감정 상태를 획득할 수 있지만, 이에 한정되는 것은 아니다.
요청을 보낸 시청자의 감정 상태에 기초하여 선택을 결정하는 어떤 실시예에서는, 요청을 보낸 시청자의 감정 상태와 복수의 비디오 아이템에 대한 종합적 감정 반응 프로필 내의 감정 반응 사이의 양의 상관관계의 존재 및/또는 크기에 따라 하나 이상의 비디오 아이템이 선택된다. 이를테면, 요청을 보낸 시청자가 활기찬 감정 상태에 있는 경우, 종합적 시청자의 감정 반응이 사전선택된 활기(liveliness)를 초과하는 장면이 미리 정해진 횟수 또는 기간만큼 포함된 종합적 감정 반응 프로필을 갖는 비디오 아이템을 선택하여 리스트에 포함시킬 수 있다.
어떤 실시예에서는 리스트에 포함되도록 선택된 비디오 아이템들을 요청을 보낸 시청자가 적용한 필터를 사용하여 필터링할 수 있다. 또한, 어떤 실시예에서는, 요청을 보낸 시청자가 제공한 검색 용어에 응답하여 어떤 비디오 아이템들이 리스트에 추가될 수도 있다. 따라서, 요청을 보낸 시청자의 선호도에 따라 임의의 적절한 방식으로 리스트를 수정할 수 있음을 이해해야 한다.
리스트가 작성된 후, 요청을 보낸 시청자에게 제공될 하나 이상의 비디오 스트림 안에 리스트를 형성할 수 있다. 다양한 비디오 아이템들이 라이브 이벤트, 방송 및/또는 사전녹화된 비디오 아이템을 포함할 수 있으므로, 복수의 비디오 스트림들이 동시에 제공될 수 있고, 비디오 아이템들 중 일부는 라이브 이벤트 스케쥴 및/또는 방송 스케쥴에 따라 디스플레이되도록 계획된 것일 수 있음을 이해해야 한다. 이러한 실시예에서는 다양한 비디오 스트림을 위한 프로그래밍 가이드가 시청자에게 제공되어 요청을 보낸 시청자가 디스플레이되는 것 중 무엇을 시청할지 및/또는 무엇을 나중에 재생하도록 (예를 들어 DVR 장치에) 녹화할지 결정하는 것을 도울 수 있다. 따라서, 어떤 실시예에서는 본 방법(200)이 하나 이상의 비디오 스트림을 위한 프로그래밍 가이드를 생성하는 단계(234)를 포함할 수 있다.
본 방법(200)은 하나 이상의 선택된 비디오 아이템을 포함하는 비디오 스트림을 디스플레이를 위해 전송하는 단계(236)를 포함한다. 프로그래밍 가이드가 생성되는 실시예에서는, 비디오 스트림을 전송하는 단계가 프로그램이 가이드를 전송하는 단계를 포함할 수 있다. 또한, 요청을 보낸 시청자 중 일부는 주된 디스플레이 상에서 비디오 스트림을 시청하면서 모바일 컴퓨팅 장치 상에 보충적인 컨텐트가 보이도록 선택할 수도 있으므로, 어떤 실시예에서는 단계(236)가 요청을 보낸 시청자에게 속한 모바일 컴퓨팅 장치로 비디오 스트림과 관련된 보충적인 컨텐트를 전송하는 단계를 포함할 수 있다. 보충적인 컨텐트의 적절한 예로는 주된 디스플레이 상에서 디스플레이되고 있는 비디오 아이템과 관련된 웹사이트, 관련 광고, 관련 게임 및/또는 팬 참여 기회, 관련 챠트 및 메시지 인터페이스 등이 있으나, 여기에 한정되지는 않는다.
본 방법(200)은 하나 이상의 미디어 컴퓨팅 장치 및/또는 모바일 컴퓨팅 장치와 접속되는 디스플레이 장치와 같은 적절한 디스플레이 장치에서 디스플레이하기 위해 비디오 스트림을 출력하는 단계(238)를 포함한다. 보충적인 컨텐트가 전송되는 실시예에서는 단계(238)가 그 보충적인 컨텐트를 디스플레이하기 위해 출력하는 단계도 포함할 수 있다. 마찬가지로, 프로그래밍 가이드를 생성하는 실시예에서는, 단계(238)가 프로그래밍 가이드를 디스플레이하기 위해 출력하는 단계도 포함할 수 있다. 예컨대, 도 1은 모바일 컴퓨팅 장치(130) 상에 디스플레이되는 프로그래밍 가이드(170)를 도시하고 있다.
어떤 실시예에서는, 본 명세서에서 기술된 방법 및 프로세스가 하나 이상의 컴퓨터를 포함하는 컴퓨팅 시스템과 결합될 수 있다. 특히, 본 명세서에서 기술된 방법 및 프로세스는 컴퓨터 애플리케이션, 컴퓨터 서비스, 컴퓨터 API, 컴퓨터 라이브러리 및/또는 기타 컴퓨터 프로그램 제품으로서 구현될 수 있다.
도 2a는 전술한 방법 및 프로세스 중 하나 이상을 실행할 수 있는 비제한적인 컴퓨팅 시스템을 단순화된 형식으로 개략적으로 나타내고 있다. 본 개시 내용의 범위를 벗어나지 않으면서 사실상 모든 임의의 컴퓨터 아키텍쳐가 사용될 수 있음을 이해해야 한다. 다른 실시예에서, 컴퓨팅 시스템은 메인프레임 컴퓨터, 서버 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 장치, 모바일 컴퓨팅 장치, 모바일 통신 장치, 게임 장치 등의 형태를 취할 수 있다.
컴퓨팅 시스템은 (도 2a의 모바일 컴퓨팅 장치(104)의 로직 서브시스템(116), 도 2a의 모바일 컴퓨팅 장치(130)의 로직 서브시스템(136), 도 2a의 서버 컴퓨팅 장치(120)의 로직 서브시스템(126)과 같은) 로직 서브시스템과, (도 2a의 모바일 컴퓨팅 장치(104)의 데이터 보유 서브시스템(114), 도 2a의 모바일 컴퓨팅 장치(130)의 데이터 보유 서브시스템(134), 도 2a의 서버 컴퓨팅 장치(120)의 데이터 보유 서브시스템(124)과 같은) 데이터 보유 서브시스템을 포함한다. 컴퓨팅 시스템은 디스플레이 서브시스템, 통신 서브시스템 및/또는 도 2a에는 도시하지 않는 기타 구성요소를 포함할 수도 있다. 컴퓨팅 시스템은 키보드, 마우스, 게임 컨트롤러, 카메라, 마이크로폰 및/또는 터치 스크린 등과 같은 사용자 입력 장치를 포함할 수도 있다.
로직 서브시스템은 하나 이상의 인스트럭션을 실행하도록 구성된 하나 이상의 물리적 장치를 포함할 수 있다. 이를테면, 로직 서브시스템은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 컴포넌트, 데이터 구조, 또는 기타 논리 구조(logical constructs)의 일부인 하나 이상의 인스트럭션을 실행하도록 구성될 수 있다. 그러한 인스트럭션은 작업 수행, 데이터 유형 구현, 하나 이상의 장치의 상태 변경, 또는 원하는 결과 도출을 위해 구현될 수 있다.
로직 서브시스템은 소프트웨어 인스트럭션을 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 이에 더하여, 또는 이에 갈음하여, 로직 서브시스템은 하드웨어 또는 펌웨어 인스트럭션을 실행하도록 구성된 하나 이상의 하드웨어나 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템의 프로세서는 싱글 코어나 멀티 코어일 수 있고, 거기에서 실행되는 프로그램은 병렬형 또는 분산형으로 프로세싱되도록 구성될 수 있다. 로직 서브시스템은 원격으로 위치하거나 통합형 프로세싱(coordinated processing)용으로 구성될 수 있는 둘 이상의 장치를 통해 분산될 수 있다. 로직 서브시스템의 하나 이상의 특징은 가상화(virtualized)될 수 있고, 클라우드 컴퓨팅 구성(cloud computing configuration)으로 이루어진 원격으로 액세스가능한 네트워크형 컴퓨팅 장치에 의해 실행될 수 있다.
데이터 보유 서브시스템은 전술한 방법 및 프로세스를 구현하는 로직 서브시스템에 의해 실행가능한 데이터 및/또는 인스트럭션을 보유하도록 구성된 하나 이상의 물리적, 비-일시적 장치(physical, non-transitory devices)를 포함할 수 있다. 이러한 방법 및 프로세스가 구현되면, 데이터 보유 서브시스템의 상태도 (예컨대 상이한 데이터를 보유하도록) 변형될 수 있다.
데이터 보유 서브시스템은 외장형 매체 및/또는 내장형 장치를 포함할 수 있다. 데이터 보유 서브시스템은 (CD, DVD, HD-DVD, 블루 레이 디스크 등과 같은) 광학적 메모리 장치, (RAM, EPROM, EEPROM 등과 같은) 반도체 메모리 장치 및/또는 (하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등과 같은) 자기 메모리 장치 등을 포함할 수 있다. 데이터 보유 서브시스템은 다음 중 하나 이상의 특징을 갖는 장치를 포함할 수 있다: 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독전용, 랜덤 액세스, 순차적 액세스, 위치 주소지정가능(location addressable), 파일 주소지정가능 (file addressable), 내용 주소지정가능(content addressable). 어떤 실시예에서, 로직 서브시스템과 데이터 보유 서브시스템은 애플리케이션 특유 집적회로나 시스템 온 칩과 같은 하나 이상의 공통 장치로 집적화될 수 있다.
도 2a는 (예를 들어, 도 2a의 모바일 컴퓨팅 장치(104)의 외장형 컴퓨터 저장 매체(118), 도 2a의 모바일 컴퓨팅 장치(130)의 외장형 컴퓨터 저장 매체(138), 도 2a의 서버 컴퓨팅 장치(120)의 외장형 컴퓨터 저장 매체(128)와 같은) 외장형 컴퓨터 저장 매체 형식의 데이터 보유 서브시스템의 특징을 도시하고 있는데, 이들은 전술한 방법 및 프로세스를 구현하도록 실행가능한 데이터 및/또는 인스트럭션을 저장 및/또는 전송하는 데 사용될 수 있다. 외장형 컴퓨터 저장 매체는 CD, DVD, HD-DVD, 블루 레이 디스크, EEPROM 및/또는 플로피 디스크 등의 형태를 취할 수 있다.
데이터 보유 서브시스템이 하나 이상의 물리적, 비-일시적 장치를 포함할 수 있음을 이해해야 한다. 반대로, 어떤 실시예에서는, 전술한 특징을 갖는 인스트럭션이 적어도 유한한 기간 동안 물리적 장치에 의해 보유되지 않는 (전자기 신호, 광학 신호 등과 같은) 순수한 신호에 의해 일시적 방식으로 전송될 수도 있다. 나아가, 본 명세서의 개시내용과 연관된 데이터 및/또는 기타 형태의 정보도 순수한 신호로서 전송될 수 있다.
"모듈", "프로그램" 및 "엔진"은 하나 이상의 특정한 기능을 수행하도록 구현되는 컴퓨팅 시스템의 특징을 묘사하는 데 사용될 수 있다. 어떤 경우, 그러한 모듈, 프로그램, 엔진은 데이터 보유 서브시스템에 의해 보유되는 인스트럭션을 실행하는 로직 서브시스템의 예가 될 수도 있다. 서로 다른 모듈, 프로그램 및/또는 엔진이 동일한 애플리케이션, 서비스, 코드 블럭, 객체, 라이브러리, 루틴, API, 함수를 구현할 수도 있다. 마찬가지로, 동일한 모듈, 프로그램 및/또는 엔진이 서로 다른 애플리케이션, 서비스, 코드 블럭, 객체, 라이브러리, 루틴, API, 함수를 구현할 수도 있다. "모듈", "프로그램", "엔진"이라는 용어는 실행가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 기록 등의 그룹 또는 이들 각각을 포함하는 것을 의미할 수 있다.
본 명세서에서 사용된 "서비스"는 여러 사용자 세션을 통해 실행가능하고 하나 이상의 시스템 컴포넌트, 프로그램 및/또는 기타 서비스에 이용가능한 애플리케이션 프로그램일 수 있다. 어떤 실시예에서는 서비스가 클라이언트로부터의 요청에 반응하는 서버 상에서 수행될 수 있다.
디스플레이 서브시스템이 포함되는 경우, 디스플레이 서브시스템은 데이터 보유 서브시스템에 의해 보유되는 데이터의 시각적 표현을 제시하는 데 사용될 수 있다. 본 명세서에서 설명한 방법 및 프로세스는 데이터 보유 서브시스템이 보유하는 데이터를 변경하여 데이터 보유 서브시스템의 상태를 변경하므로, 디스플레이 서브시스템의 상태도 그 데이터의 변경을 시각적으로 표시하도록 마찬가지로 변경될 수 있다. 디스플레이 서브시스템은 사실상 모든 임의의 기술을 사용하는 하나 이상의 디스플레이 장치를 포함할 수 있다. 그러한 디스플레이 장치는 로직 서브시스템 및/또는 데이터 보유 서브시스템과 동일한 경계 내에서 조합될 수도 있고, 주변형 디스플레이 장치(peripheral display device)일 수도 있다.
본 명세서에서 묘사한 구성 및/또는 방법은 예시적인 것으로서, 다양한 변형이 가능하므로 구체적인 실시예나 예시가 본 발명을 제한하는 것으로 여겨서는 안 된다. 본 명세서에서 설명한 특정 루틴이나 방법은 임의의 개수의 처리 방안을 하나 이상 나타내는 것일 수 있다. 그러므로, 설명된 다양한 동작들은 설명된 순서대로, 또는 이와는 다른 순서로, 또는 병렬적으로 수행될 수도 있으며, 어떤 경우에는 생략될 수도 있다. 마찬가지로, 전술한 프로세스의 순서도 변경될 수 있다.
본 개시 내용의 청구 대상은 본 명세서에 개시된 다양한 프로세스, 시스템 및 구성, 기타 특징, 기능, 작용 및/또는 성질 및 이들의 균등물의 신규하고도 비자명한 조합과 그 하위 조합을 포함한다.
100: 비디오 스트림 제시 환경/비디오 시청 환경
103: 디스플레이 장치 104: 미디어 컴퓨팅 장치
106: 환경 센서 시스템/비디오 시청 환경 센서
110: 네트워크
114, 124, 134: 데이터 보유 서브시스템
116, 126, 136: 로직 서브시스템
118, 128, 138: 컴퓨터 저장 매체
120: 서버 컴퓨팅 장치 130: 모바일 컴퓨팅 장치
302: 시맨틱 마이닝 모듈 303: 비디오 아이템 정보
304: 감정 반응 프로필 308: 시청 관심 프로필
314: 종합적 (시청자) 감정 반응 프로필

Claims (10)

  1. 컴퓨팅 장치에서 요청을 보낸 시청자(requesting viewer)에게 비디오 컨텐트를 전달하는 방법으로서,
    요청을 보낸 장치(requesting device)로부터 상기 요청을 보낸 시청자의 신원(identity)을 포함하는 비디오 스트림에 대한 요청을 수신하는 단계와,
    상기 요청을 보낸 시청자에게 디스플레이하기 위한 선택된 비디오 컨텐트 아이템들의 리스트를 작성하는 단계 - 상기 선택된 비디오 아이템들은 상기 요청을 보낸 시청자의 신원 및 상기 요청을 보낸 시청자의 시청 관심사(viewing interest)를 포함하는 시청 관심 프로필에 기초하여 복수의 비디오 아이템들 중에서 선택된 것임 - 와,
    하나 이상의 상기 선택된 비디오 아이템을 포함하는 비디오 스트림을 디스플레이를 위해 전송하는 단계
    를 포함하는 비디오 컨텐트 전달 방법.
  2. 제 1 항에 있어서,
    상기 요청을 보낸 시청자의 신원에 기초하여 상기 요청을 보낸 시청자의 사용자 어카운트로부터 상기 요청을 보낸 시청자의 상기 시청 관심 프로필을 획득하는 단계
    를 더 포함하는 비디오 컨텐트 전달 방법.
  3. 제 2 항에 있어서,
    상기 요청을 보낸 시청자의 신원은 상기 비디오 스트림이 디스플레이를 위해 전송되는 비디오 시청 환경 내의 이미지 센서에 의해 수집된 상기 요청을 보낸 시청자의 이미지에 기초하여 획득되는
    비디오 컨텐트 전달 방법.
  4. 제 1 항에 있어서,
    상기 선택된 비디오 아이템들의 리스트를 작성하는 단계가 상기 비디오 아이템에 대한 상기 요청과 함께 수신한 상기 요청을 보낸 시청자의 감정 상태에 기초하여 상기 선택된 비디오 아이템들을 선택하는 단계를 더 포함하는
    비디오 컨텐트 전달 방법.
  5. 제 1 항에 있어서,
    상기 복수의 비디오 아이템 각각에 대한 복수의 감정 반응 프로필을 종합하는 단계 - 상기 감정 반응 프로필 각각은 과거 시청자가 특정 비디오 아이템을 시청할 때 나타난 상기 특정 비디오 아이템에 대한 상기 과거 시청자의 감정 반응의 시간적 기록을 포함함 - 와,
    를 더 포함하되,
    상기 선택된 비디오 아이템들의 리스트를 작성하는 단계가 상기 요청을 보낸 시청자의 상기 감정 상태와 상기 복수의 비디오 아이템들에 대한 종합적 감정 반응 프로필 내의 감정 반응 사이의 양의 상관관계에 기초하여 상기 선택된 비디오 아이템들을 선택하는 단계를 포함하는
    비디오 컨텐트 전달 방법.
  6. 제 4 항에 있어서,
    상기 요청을 보낸 사용자가 속해 있는 소셜 네트워크에 기초하여 상기 종합적 감정 반응 프로필을 필터링하는 단계
    를 더 포함하는 비디오 컨텐트 전달 방법.
  7. 제 1 항에 있어서,
    상기 선택된 비디오 아이템들의 리스트를 작성하는 단계가 하루 중 시간에 기초하여 상기 선택된 비디오 아이템들을 선택하는 단계를 포함하는
    비디오 컨텐트 전달 방법.
  8. 제 1 항에 있어서,
    상기 비디오 스트림과 관련된 보충적인 컨텐트(supplementary content)를 상기 요청을 보낸 시청자에게 속한 모바일 컴퓨팅 장치로 전송하는 단계
    를 더 포함하는 비디오 컨텐트 전달 방법.
  9. 제 1 항에 있어서,
    상기 선택된 비디오 아이템들과 관련된 정보가 덧붙여진 (populated with information) 상기 비디오 스트림에 대한 프로그래밍 가이드(programming guide)를 생성하는 단계와,
    디스플레이를 위해 상기 프로그래밍 가이드를 전송하는 단계
    를 더 포함하는 비디오 컨텐트 전달 방법.
  10. 미디어 제공 시스템으로서,
    깊이 카메라(depth camera)로부터 이미지 데이터를 수신하도록 구성된 주변 입력부(peripheral input)와,
    디스플레이 장치로 비디오 컨텐트를 출력하도록 구성된 디스플레이 출력부와,
    로직 서브시스템과,
    상기 로직 서브시스템에 의해 수행가능한 인스트럭션을 보유하는 데이터 보유 서브시스템
    을 포함하되,
    상기 인스트럭션은
    상기 요청을 보낸 시청자를 캡쳐한 이미지 데이터를 수집하고,
    상기 이미지 데이터에 기초하여 상기 요청을 보낸 시청자의 신원을 획득하며,
    상기 요청을 보낸 시청자의 상기 신원에 기초하여 선택된 비디오 아이템들로부터 작성된 비디오 스트림에 대한 요청을 전송하고,
    상기 비디오 스트림을 수신하며,
    상기 비디오 스트림을 상기 디스플레이 출력부로 출력하는
    미디어 제공 시스템.
KR1020137033331A 2011-06-17 2012-06-15 관심 기반 비디오 스트림 선택 기법 KR101983322B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/163,522 2011-06-17
US13/163,522 US9015746B2 (en) 2011-06-17 2011-06-17 Interest-based video streams
PCT/US2012/042650 WO2012174369A2 (en) 2011-06-17 2012-06-15 Interest-based video streams

Publications (2)

Publication Number Publication Date
KR20140037874A true KR20140037874A (ko) 2014-03-27
KR101983322B1 KR101983322B1 (ko) 2019-05-29

Family

ID=47354844

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137033331A KR101983322B1 (ko) 2011-06-17 2012-06-15 관심 기반 비디오 스트림 선택 기법

Country Status (7)

Country Link
US (1) US9015746B2 (ko)
EP (1) EP2721832A4 (ko)
JP (1) JP6121408B2 (ko)
KR (1) KR101983322B1 (ko)
CN (1) CN103621104B (ko)
TW (1) TWI536844B (ko)
WO (1) WO2012174369A2 (ko)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9515904B2 (en) * 2011-06-21 2016-12-06 The Nielsen Company (Us), Llc Monitoring streaming media content
US9760631B1 (en) 2011-08-05 2017-09-12 Google Inc. Video segment play-through reporting
US9183807B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
US9182815B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9229231B2 (en) * 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
WO2013121098A1 (en) * 2012-02-14 2013-08-22 Nokia Corporation Method and apparatus for providing social interaction with programming content
WO2013134662A2 (en) * 2012-03-08 2013-09-12 Perwaiz Nihal Systems and methods for creating a temporal content profile
US20130302766A1 (en) * 2012-05-11 2013-11-14 Robert Evan Gold Interactive, Interest Centric Communication Systems and Methods
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US9800951B1 (en) 2012-06-21 2017-10-24 Amazon Technologies, Inc. Unobtrusively enhancing video content with extrinsic data
US20140040931A1 (en) * 2012-08-03 2014-02-06 William H. Gates, III Dynamic customization and monetization of audio-visual content
US10455284B2 (en) 2012-08-31 2019-10-22 Elwha Llc Dynamic customization and monetization of audio-visual content
US9300994B2 (en) 2012-08-03 2016-03-29 Elwha Llc Methods and systems for viewing dynamically customized audio-visual content
US10237613B2 (en) 2012-08-03 2019-03-19 Elwha Llc Methods and systems for viewing dynamically customized audio-visual content
US9479804B2 (en) * 2012-08-30 2016-10-25 Verizon Patent And Licensing Inc. Digital video recorder program to mobile device
US8832721B2 (en) * 2012-11-12 2014-09-09 Mobitv, Inc. Video efficacy measurement
US8769557B1 (en) 2012-12-27 2014-07-01 The Nielsen Company (Us), Llc Methods and apparatus to determine engagement levels of audience members
US9292923B2 (en) 2013-03-06 2016-03-22 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to monitor environments
US9160933B2 (en) * 2013-03-08 2015-10-13 Intel Corporation Luminance based image capturing methods and apparatus
US20140282092A1 (en) * 2013-03-14 2014-09-18 Daniel E. Riddell Contextual information interface associated with media content
US20140280296A1 (en) * 2013-03-14 2014-09-18 Google Inc. Providing help information based on emotion detection
US20140282669A1 (en) * 2013-03-15 2014-09-18 F. Gavin McMillan Methods and apparatus to identify companion media interaction
KR20150011697A (ko) * 2013-07-23 2015-02-02 삼성전자주식회사 방송 프로그램 정보 제공 방법, 장치 및 기록매체
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US11019258B2 (en) 2013-08-21 2021-05-25 Verizon Patent And Licensing Inc. Aggregating images and audio data to generate content
US20150156529A1 (en) * 2013-12-04 2015-06-04 United Video Properties, Inc. Systems and methods for selectively transmitting user interaction information based on biometric information
CN103731728A (zh) * 2014-01-24 2014-04-16 浪潮软件集团有限公司 一种实时收视调查的方法
CN103888837B (zh) * 2014-03-21 2017-10-10 北京猎豹网络科技有限公司 一种视频信息推送方法及装置
CN103957459B (zh) * 2014-05-15 2019-03-15 北京智谷睿拓技术服务有限公司 播放控制方法及播放控制装置
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US9729933B2 (en) * 2014-06-30 2017-08-08 Rovi Guides, Inc. Systems and methods for loading interactive media guide data based on user history
US11108971B2 (en) 2014-07-25 2021-08-31 Verzon Patent and Licensing Ine. Camera array removing lens distortion
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US10701426B1 (en) * 2014-07-28 2020-06-30 Verizon Patent And Licensing Inc. Virtual reality system including social graph
US9363569B1 (en) * 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US9774887B1 (en) 2016-09-19 2017-09-26 Jaunt Inc. Behavioral directional encoding of three-dimensional video
US9836755B2 (en) 2014-08-06 2017-12-05 Ebay Inc. Determining a user's event experience through user actions
US9253551B1 (en) * 2014-09-15 2016-02-02 Google Inc. Methods, systems, and media for providing personalized notifications to video viewers
US10834450B2 (en) * 2014-09-30 2020-11-10 Nbcuniversal Media, Llc Digital content audience matching and targeting system and method
CN107079199A (zh) * 2014-10-17 2017-08-18 汤森路透全球资源公司 点播视频新闻节目
US20160182955A1 (en) * 2014-12-23 2016-06-23 Rovi Guides, Inc. Methods and systems for recommending media assets
GB201505292D0 (en) * 2015-03-27 2015-05-13 Piksel Inc Delivering content
WO2017015323A1 (en) * 2015-07-23 2017-01-26 Thomson Licensing Automatic settings negotiation
WO2017068926A1 (ja) * 2015-10-21 2017-04-27 ソニー株式会社 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
WO2017075330A1 (en) * 2015-10-30 2017-05-04 Faraday&Future Inc. System for determining common interests of vehicle occupants
US10542315B2 (en) * 2015-11-11 2020-01-21 At&T Intellectual Property I, L.P. Method and apparatus for content adaptation based on audience monitoring
US9918128B2 (en) * 2016-04-08 2018-03-13 Orange Content categorization using facial expression recognition, with improved detection of moments of interest
US10476832B2 (en) * 2016-07-14 2019-11-12 Facebook, Inc. Content notification on online social networks for media-player devices
US10440093B2 (en) * 2016-07-14 2019-10-08 Facebook, Inc. Deep linking to media-player devices
US10250940B2 (en) * 2016-08-12 2019-04-02 International Business Machines Corporation System, method, and recording medium for providing notifications in video streams to control video playback
US10681341B2 (en) 2016-09-19 2020-06-09 Verizon Patent And Licensing Inc. Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
US11032536B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
US11032535B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview of a three-dimensional video
US10798451B2 (en) * 2017-02-24 2020-10-06 Rovi Guides, Inc. Systems and methods for detecting a reaction by a user to a media asset to which the user previously reacted at an earlier time, and recommending a second media asset to the user consumed during a range of times adjacent to the earlier time
US9858943B1 (en) 2017-05-09 2018-01-02 Sony Corporation Accessibility for the hearing impaired using measurement and object based audio
US10860805B1 (en) * 2017-06-15 2020-12-08 Qntfy Corp. Computerized analysis of team behavior and communication to quantify and optimize team function
CN107454346B (zh) * 2017-07-03 2020-10-16 李洪海 影视数据解析方法、视频制作模板推荐方法、装置及设备
US10805676B2 (en) 2017-07-10 2020-10-13 Sony Corporation Modifying display region for people with macular degeneration
US10650702B2 (en) 2017-07-10 2020-05-12 Sony Corporation Modifying display region for people with loss of peripheral vision
US10845954B2 (en) 2017-07-11 2020-11-24 Sony Corporation Presenting audio video display options as list or matrix
US10051331B1 (en) * 2017-07-11 2018-08-14 Sony Corporation Quick accessibility profiles
CN109241300A (zh) * 2017-07-11 2019-01-18 宏碁股份有限公司 多媒体档案管理方法及电子装置
US10303427B2 (en) 2017-07-11 2019-05-28 Sony Corporation Moving audio from center speaker to peripheral speaker of display device for macular degeneration accessibility
US10636449B2 (en) * 2017-11-06 2020-04-28 International Business Machines Corporation Dynamic generation of videos based on emotion and sentiment recognition
US10158919B1 (en) * 2017-12-21 2018-12-18 Rovi Guides, Inc. Systems and methods for dynamically enabling and disabling a biometric device
CN109963180A (zh) * 2017-12-25 2019-07-02 上海全土豆文化传播有限公司 视频信息统计方法及装置
CN108632671A (zh) * 2018-03-29 2018-10-09 北京恒信彩虹信息技术有限公司 一种推荐方法及系统
US10841647B2 (en) 2018-06-29 2020-11-17 At&T Intellectual Property I, L.P. Network aggregation of streaming data interactions from distinct user interfaces
US11301760B2 (en) * 2018-11-28 2022-04-12 International Business Machines Corporation Automated postulation thresholds in computer-based questioning
US10694167B1 (en) 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
CN110248241B (zh) * 2019-06-11 2021-06-04 Oppo广东移动通信有限公司 视频处理方法及相关装置
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
TWI772738B (zh) * 2020-01-21 2022-08-01 鉅怡智慧股份有限公司 具有非接觸影像式生理檢測功能的家庭影音系統
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
CN113365148B (zh) * 2021-06-11 2022-11-11 北京百度网讯科技有限公司 分数调整方法、装置、电子设备、存储介质和程序产品
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060104194A (ko) * 2005-03-29 2006-10-09 엘지전자 주식회사 감정 상태에 따른 프로그램 추천 기능을 갖는 영상표시기기및 그 제어방법
KR20090122464A (ko) * 2007-03-31 2009-11-30 소니 도이칠란트 게엠베하 컨텐츠 항목 추천 방법 및 시스템

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4931865A (en) 1988-08-24 1990-06-05 Sebastiano Scarampi Apparatus and methods for monitoring television viewers
US5319455A (en) 1990-09-28 1994-06-07 Ictv Inc. System for distributing customized commercials to television viewers
US5758257A (en) * 1994-11-29 1998-05-26 Herz; Frederick System and method for scheduling broadcast of and access to video programs and other data using customer profiles
US7146627B1 (en) 1998-06-12 2006-12-05 Metabyte Networks, Inc. Method and apparatus for delivery of targeted video programming
US7260823B2 (en) 2001-01-11 2007-08-21 Prime Research Alliance E., Inc. Profiling and identification of television viewers
US8910199B2 (en) 2000-02-25 2014-12-09 Interval Licensing Llc Targeted television content display
US7793326B2 (en) 2001-08-03 2010-09-07 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator
US7631327B2 (en) 2001-08-08 2009-12-08 Accenture Global Services Gmbh Enhanced custom content television
US7023499B2 (en) 2001-09-21 2006-04-04 Williams Cassandra S Television receiver with motion sensor
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
US20040004599A1 (en) 2002-07-03 2004-01-08 Scott Shepard Systems and methods for facilitating playback of media
US20050071865A1 (en) 2003-09-30 2005-03-31 Martins Fernando C. M. Annotating meta-data with user responses to digital content
US20050120391A1 (en) 2003-12-02 2005-06-02 Quadrock Communications, Inc. System and method for generation of interactive TV content
US20050132420A1 (en) 2003-12-11 2005-06-16 Quadrock Communications, Inc System and method for interaction with television content
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
US7761900B2 (en) 2006-08-02 2010-07-20 Clarendon Foundation, Inc. Distribution of content and advertisement
US9514436B2 (en) 2006-09-05 2016-12-06 The Nielsen Company (Us), Llc Method and system for predicting audience viewing behavior
US20080133327A1 (en) * 2006-09-14 2008-06-05 Shah Ullah Methods and systems for securing content played on mobile devices
US8850464B2 (en) 2006-10-09 2014-09-30 Verizon Patent And Licensing Inc. Systems and methods for real-time interactive television polling
US7698302B2 (en) 2006-10-13 2010-04-13 Sony Ericsson Mobile Communications Ab Mobile phone content-based recommendation of new media
US20080147488A1 (en) 2006-10-20 2008-06-19 Tunick James A System and method for monitoring viewer attention with respect to a display and determining associated charges
US8176191B2 (en) 2006-11-30 2012-05-08 Red Hat, Inc. Automated identification of high/low value content based on social feedback
US8522301B2 (en) 2007-02-26 2013-08-27 Sony Computer Entertainment America Llc System and method for varying content according to a playback control record that defines an overlay
US8782681B2 (en) * 2007-03-08 2014-07-15 The Nielsen Company (Us), Llc Method and system for rating media and events in media based on physiological data
JP4539712B2 (ja) 2007-12-03 2010-09-08 ソニー株式会社 情報処理端末、情報処理方法、およびプログラム
US20080244655A1 (en) 2007-03-28 2008-10-02 Nokia Corporation Viral marketing of broadcast content
US20090217315A1 (en) 2008-02-26 2009-08-27 Cognovision Solutions Inc. Method and system for audience measurement and targeting media
US9654721B2 (en) 2007-07-10 2017-05-16 Verizon Patent And Licensing Inc. System and method for providing personal content recommendations
FI20070551A0 (fi) 2007-07-17 2007-07-17 Supponor Oy Vuorovaikutteinen televisiolähetys
US20090113480A1 (en) 2007-10-24 2009-04-30 Microsoft Corporation Non-media-centric packaging of content
JP4538756B2 (ja) * 2007-12-03 2010-09-08 ソニー株式会社 情報処理装置、情報処理端末、情報処理方法、およびプログラム
US7889073B2 (en) 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
US9628208B2 (en) 2008-02-26 2017-04-18 International Business Machines Corporation System, method and program product for customizing presentation of television content to a specific viewer and location
KR101552147B1 (ko) * 2008-04-24 2015-09-11 삼성전자주식회사 방송 컨텐츠를 추천하는 방법과 그 장치
US9246613B2 (en) 2008-05-20 2016-01-26 Verizon Patent And Licensing Inc. Method and apparatus for providing online social networking for television viewing
JP2010026871A (ja) * 2008-07-22 2010-02-04 Nikon Corp 情報処理装置及び情報処理システム
JP2011530875A (ja) 2008-08-05 2011-12-22 メディアフレンズ，インク． コンピュータ化された装置のｓｍｓ技術
US20100070987A1 (en) 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
US20100086204A1 (en) 2008-10-03 2010-04-08 Sony Ericsson Mobile Communications Ab System and method for capturing an emotional characteristic of a user
US20100205628A1 (en) * 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US9396258B2 (en) 2009-01-22 2016-07-19 Google Inc. Recommending video programs
US11076189B2 (en) * 2009-03-30 2021-07-27 Time Warner Cable Enterprises Llc Personal media channel apparatus and methods
US8572238B2 (en) 2009-10-22 2013-10-29 Sony Corporation Automated social networking television profile configuration and processing
KR101708682B1 (ko) * 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
US8438590B2 (en) * 2010-09-22 2013-05-07 General Instrument Corporation System and method for measuring audience reaction to media content
US20120084136A1 (en) * 2010-09-30 2012-04-05 Yahoo! Inc. Ebook advertising, including cost-sharing techniques

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060104194A (ko) * 2005-03-29 2006-10-09 엘지전자 주식회사 감정 상태에 따른 프로그램 추천 기능을 갖는 영상표시기기및 그 제어방법
KR20090122464A (ko) * 2007-03-31 2009-11-30 소니 도이칠란트 게엠베하 컨텐츠 항목 추천 방법 및 시스템

Also Published As

Publication number Publication date
KR101983322B1 (ko) 2019-05-29
EP2721832A2 (en) 2014-04-23
WO2012174369A2 (en) 2012-12-20
CN103621104B (zh) 2017-08-01
EP2721832A4 (en) 2014-11-26
WO2012174369A3 (en) 2013-02-21
JP6121408B2 (ja) 2017-04-26
TWI536844B (zh) 2016-06-01
US20120324493A1 (en) 2012-12-20
US9015746B2 (en) 2015-04-21
TW201301896A (zh) 2013-01-01
JP2014523154A (ja) 2014-09-08
CN103621104A (zh) 2014-03-05

Similar Documents

Publication Publication Date Title
KR101983322B1 (ko) 관심 기반 비디오 스트림 선택 기법
US9363546B2 (en) Selection of advertisements via viewer feedback
TWI558186B (zh) 基於環境感測之視訊選擇
KR20140045412A (ko) 환경 센싱에 기초한 비디오 하이라이트 식별 기법
CN112602077A (zh) 交互式视频内容分发
US20140337868A1 (en) Audience-aware advertising
US20140325557A1 (en) System and method for providing annotations received during presentations of a content item
US9268866B2 (en) System and method for providing rewards based on annotations
US11343595B2 (en) User interface elements for content selection in media narrative presentation
KR20150007936A (ko) 미디어 컨텐츠에 대한 사용자 피드백을 획득하는 시스템 및 방법, 컴퓨터 판독가능 기록매체
US20140325540A1 (en) Media synchronized advertising overlay
US20140331242A1 (en) Management of user media impressions
EP2824630A1 (en) Systems and methods for obtaining user feedback to media content

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant