JP2005534248A - ビデオ・システムの動作を制御する方法とシステム - Google Patents
ビデオ・システムの動作を制御する方法とシステム Download PDFInfo
- Publication number
- JP2005534248A JP2005534248A JP2004524012A JP2004524012A JP2005534248A JP 2005534248 A JP2005534248 A JP 2005534248A JP 2004524012 A JP2004524012 A JP 2004524012A JP 2004524012 A JP2004524012 A JP 2004524012A JP 2005534248 A JP2005534248 A JP 2005534248A
- Authority
- JP
- Japan
- Prior art keywords
- video
- signal
- audio
- video source
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 230000005236 sound signal Effects 0.000 claims description 36
- 238000004458 analytical method Methods 0.000 claims description 18
- 239000011295 pitch Substances 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本発明はビデオ源と制御装置(15)とを有するビデオ・システム(25)の動作を制御する方法とシステムを備える。該方法はビデオ・ディスプレイ装置の画面領域を監視する工程;該ビデオ・ディスプレイがオン状態にあるか否かを判定する工程;制御機能を表す制御装置からの制御信号を検出する工程;制御信号による制御機能を、該ビデオ・ディスプレイ装置がオン状態にないと判定される場合に、行う工程;及びユーザに、該ビデオ・ディスプレイ装置がオン状態にあると判定される場合に、該制御機能を実行するものであるかを照会する工程;を有する。本発明は更に、ビデオ・システムの動作を制御するシステムを有する。該システムは、ビデオ・ディスプレイ装置(10)の画面を監視するビデオ・カメラ(5)、該ビデオ、及びプロセッサを有し、該プロセッサは、該ビデオ・ディスプレイ装置(10)がオン状態にあるか否かを判定し、制御機能を表す制御装置からの制御信号を検出し、制御信号による制御機能を、ビデオ・ディスプレイ装置(10)がオン状態にないと判定される場合に、実行し、ユーザに、制御機能を、ビデオ・ディスプレイ装置(10)がオン状態にあると判定される場合に、実行するものであるかを、照会するものである。
Description
本発明はテレビジョン信号を検出する方法とシステムとに関する。特に、本発明のシステムと方法はテレビジョンの記録又は推奨を行うシステムの運用性を向上させるものである。
テレビジョン(TV)視聴者が視聴可能なチャンネルの数が、そのようなチャンネル上で視聴可能な番組コンテンツの多様性とともに、増大するにつれて、テレビジョン視聴者が関心あるテレビジョン番組を識別することが一層困難になってきている。従来、テレビジョン視聴者は関心あるテレビジョン番組を印刷されたテレビジョン番組ガイドを吟味することによって識別してきた。通常、そのような印刷されたテレビジョン番組ガイドは視聴可能なテレビジョン番組を、日時別、チャンネル別、及びタイトル別に、一覧化したグリッドを有していた。テレビジョン番組数が増加するにつれて、そのような印刷されたガイドを用いて所望のテレビジョン番組を効果的に識別することは一層困難になってきている。
最近では、テレビジョン番組ガイドは、しばしば電子番組ガイド(EPG)と呼ばれる、電子フォーマットで利用可能となっている。印刷されたテレビジョン番組ガイドと同様に、EPGは、日時別、チャンネル別、及びタイトル別に、一覧化したグリッドを有している。いくつかのEPGによって、しかしながら、テレビジョン視聴者が視聴可能なテレビジョン番組の個人向選好によるソート又はサーチを行うことが可能である。更に、EPGによって視聴可能なテレビジョン番組を画面上で表示することが可能である。
EPGによって視聴者が所望の番組を従来の印刷されたガイドよりも効率的に識別することが可能である一方、EPGは、いくつかの制約を受け、それらを克服した場合には、更に、視聴者による所望の番組の識別能力を向上させ得る。例えば、多くの視聴者は、アクション・ベースの番組又はスポーツ番組などの、特定の番組分類に対する特定の選好、又はそれらの番組分類に対する性向、を有する。視聴者の選好を、したがって、EPGに適用して特定の視聴者の関心があり得る推奨番組群を取得し得る。
EPGは更に、記録テレビジョン・システムによって利用されて、ユーザが所望の番組を予定して記録することを可能にし得る。
したがって、いくつかのツールが、テレビジョン番組レコーダ/推奨器としても知られる、記録/推奨を行うテレビジョン番組システムとして提案されている。Tivo(ティーボ:商標)レコーダ/推奨器システムは、例えば、カリフォリニア州サニーベール(Sunnyvale)にあるティーボ社(Tivo, Inc.)から商用のものが入手可能であり、視聴者が「賛成と反対のボタン」機能を用いて番組を評価し、それによって視聴者が好きな番組と嫌いな番組、各々、を示すことを可能にする。その後、ティーボ(商標)受信器は記録視聴者選好を、EPGなどの、受信番組データと照合させて各視聴者に合わせた推奨を行う。
ティーボ(商標)システムなどのそのようなテレビジョンのレコーダ/推奨器のシステムでその機能全てを有するものは、視聴者が楽しめる視聴体験を備える一方、それらはいくつかの制約を受け、これらの制約が克服された場合には、更に、システムの運用性を向上させる。例えば、現行のレコーダ/推奨器のシステムは、そのシステムが、テレビジョン受信器がオン状態にあるか否かは分からないため、ユーザがテレビジョン番組を現在視聴しているか否かは分からない。
レコーダ/推奨器システムは番組を自動記録するよう、予定させた場合、このシステムは画面上で中断メッセージを表示して、チューナ上のチャンネルを変更し、推奨番組に切り替えてよいか否かを尋ね、それによってユーザの視聴を中断することを要する。このメッセージ表示の時点でのユーザは先行して記録された番組を視聴し得る。代替的には、ユーザはVCR、DVD又は別のビデオ源からの記録を、チャンネル3乃至4に通常合わせた、チューナ、とオーディオ/ビデオの入力/出力のケーブルがそこに挿入されるその補助入力との両方を有するテレビジョン受信機を通じて、視聴し得る。現行のレコーダ/推奨器のシステムは、テレビジョン受信機が視聴されているか否かは分かるものでなく、視聴されている信号がレコーダ/推奨器のシステムの出力から来ているか否かで、受信器のチューニングによって左右されるもの、も分かるものでない。
したがって、視聴されている番組が受信器のチューニングによって左右されるものでないか、ユーザがテレビジョンの視聴をも行っていない場合には、ユーザが視聴中に楽しんでいるところに、ユーザにチャネルの変更をおこなってよいか否かを尋ねることによって、中断することを要するものでない。
一解決策によって、解析をテレビジョン受信機上のオーディオ/ビデオ入力ポートに入力される信号に対して行い、それによって信号を検出することが可能となる。しかしながら、消費者は、補助入力からテレビジョン・アンテナに切り替えた場合には、信号検出器から偽の読み出しを受けることを理解することを要する。
したがって、テレビジョン受信機などの何れかのビデオ源からの信号を検出する方法とシステムに対する必要性が存在する。
本発明の目的と効果は以下明細書において表し、以下明細書から明らかであるとともに、本発明の実施によって分かるものである。本発明の別の効果は、特に、本明細書及び特許請求の範囲において、更には、添付図面から、示される方法とシステムによって実現され、達成されるものである。
本発明のこれら及び別の効果を達成するよう、更には、本発明の目的によって、本発明はビデオ源と制御装置とを有するビデオ・システムの動作を制御する方法を有する。該方法は:該ビデオ源の画面領域を監視する工程;該ビデオ源がオン状態にあるか否かを判定する工程;制御機能を表す制御装置からの制御信号を検出する工程;制御信号による制御機能を、該ビデオ源がオン状態にないと判定される場合に、実行する工程;及び該制御機能を、該ビデオ源がオン状態にあると判定される場合に、実行するものであるか否かをユーザに照会する工程;を有する。
本発明は、更に、ビデオ源の動作を制御するシステムを有する。該システムは:該ビデオ源を監視するビデオ信号受信器;及びプロセッサ;を有し;該プロセッサは、該ビデオ源がオン状態にあるか否かを判定する工程;制御機能を表す制御装置からの制御信号を検出する工程;制御信号による制御機能を、該ビデオ源がオン状態にないと判定される場合に、実行する工程;及び該制御機能を、該ビデオ源がオン状態にあると判定される場合に、実行するものであるか否かをユーザに照会する工程;を行う。
上記概括的記載と以下の詳細の記載は例示的なものであり、本特許請求の範囲を更に、説明するようにすることを意図するものである。
本明細書及び特許請求の範囲に組み入れられ、部分を構成する添付図面は、本発明の方法とシステムとを示し、更に分かるようにするよう備えられている。本明細書とともに、添付図面は本発明の原理を説明する役目を担う。
次に、本発明の本好適実施例を詳細に参照し、この例は添付図面に示す。本発明の当該方法と相当する工程とは当該システムの詳細説明とともに記載する。
以下に記載する図1、2並びに3、と本発明の当該システムと方法との原理を記載する本明細書及び特許請求の範囲記載の種々の実施例は、単に、説明用のものであり、如何なる方法によっても、本発明の範囲を限定するものとして解すべきでない。
本発明の当該システムと方法とは、ビデオ源と制御装置を有するビデオ・システムの動作を制御するシステムと方法を記載するものである。
本発明の当該システムと方法はテレビジョンの記録又は推奨を行うシステムに限定されるものでないことを認識することが重要である。更に、本発明はテレビジョン信号に限定されるものでない。当業者は、本発明の原理は更に、テレビジョン受信器、セット・トップ・ボックス、記憶装置、コンピュータ・ビデオ表示システム、及びビデオとオーディオの信号を利用するか処理する何れかの種類の電子機器を、限定なく、有する、何れかの種類のビデオ・システムに成功裏に適用し得る。本明細書及び特許請求の範囲の原文記載の「television recording system」の語は現在入手可能か、将来入手可能なこれら及び別の同様な種類の機器を表すのに用いる。以下の記載では、テレビジョンの記録/推奨を行うシステムはテレビジョン・システムを表す一図示として使用する。
図1は本発明の好適実施例によるシステムを示すブロック図である。ビデオ源の動作を制御するシステムは、ビデオ・カメラ5などのビデオ信号受信器を有する、テレビジョン記録/推奨システム25を有する。本発明の別の実施例によれば、当該システムはオーディオ信号を取得する少なくとも1つのマイクロフォン20を有し得る。テレビジョン記録/推奨システム25は、放送局からのテレビジョンのビデオ/オーディオ信号の受信と記録を行うことができるセット・トップ・ボックス15又は同等のハードウェア手段などの制御装置に結合されたテレビジョン受信機10などのビデオ源を通常有する。セット・トップ・ボックス15は、ユーザの視聴選好を解析し、ユーザに記録対象の将来の番組を推奨する、推奨手段を更に有し得る。セット・トップ・ボックス15はディジタルのビデオ/オーディオ信号を処理し、該信号をテレビジョン受信機10に出力して表示するプロセッサとソフトウェアの手段を通常有する。
本発明の好適実施例によれば、テレビジョン信号を検出するシステムは更に、テレビジョン受信機に向けられてテレビジョン受信機の画面上に表示されるアナログ・ビデオ信号を記録するビデオ・カメラ5を有する。カメラ5はビデオ信号をディジタル形式で自動的に記録するディジタル・ビデオ・カメラであり得る。好ましくは、カメラ5はコンピュータ30に結合される。コンピュータ30はビデオ/オーディオ信号を処理する処理手段を有する何れかの種類のマシンであり得る。コンピュータ30は、ビデオ・カメラ5からの受信アナログ信号をディジタル・ビデオ/オーディオ信号に変換して更に処理手段によって処理するアナログ・ディジタル変換器を有し得る。コンピュータ30はカメラ5からのビデオ/オーディオ信号を受信すると、好ましくは、ビデオとオーディオの信号の解析を行って、テレビジョン受信機10がオン状態であるか否か、更には、テレビジョン受信機が既知のチャネルに合わせられているか否か、を判定する。
代替的には、本発明のなお別の実施例によれば、図1に示すシステムは、マイクロフォン20などの、オーディオ記録手段を有し得る。マイクロフォン20はテレビジョン受信機10が再生するオーディオ信号を記録する。このオーディオ信号はコンピュータ30に送信されて、オーディオ解析され、オーディオ源の位置、すなわち、当該音がテレビジョン受信機から実際に来るものであるか否か、を判定し、したがって、テレビジョン受信機がオン状態にあるか否かを判定する。オーディオ解析は更に、受信オーディオ信号が既知のものであるか否かを判定してユーザに当該チャンネルを変更するよう照会することを回避する。複数のマイクロフォンを、実施するオーディオ解析の方法によって利用し得る。
図1のシステムの特定の構成は単に、例としてのものであることとする。本発明の別の実施例では、ビデオ・カメラ5とマイクロフォン20とは種々の場所に、ビデオ・カメラがテレビジョン受信機の画面領域をフィルム記録することができ、かつ、マイクロフォンがテレビジョン受信機10から来るオーディオ信号を受信することができる限り、配置させ得る。代替的に、当該構成を信号がテレビジョン受信機又はモニタにそこで入力されるその箇所でビデオ源に組み入れ得る。例えば、そのような箇所は「ビデオ入力」と「オーディオ入力」又は「複合入力」であり得る。したがって、カメラとマイクロフォンとの代わりに、「ライン入力」(オーディオ信号とビデオ信号との複合のものか、別個のもの、又はディジタル信号)を監視して、テレビジョン受信機によって受信されたものが何であるかを判定し得る。しかしながら、そのような代替的構成は、好適実施例としてアンテナ(通常はチャンネル3か4)又はAUX(補助)入力(若しくはA/V(オーディオ/ビデオ))入力に合わせられるテレビジョン受信機上では正確でないものである。したがって、代替的実施例を用いる場合には、警告を付加してユーザに当該システムは、視聴されている番組が何であるかを判定するうえでの確実性が低く、したがって、テレビジョン受信機がオン状態にあるかオフ状態にあるかを検出することが可能でない旨を知らせ得る。
図2は本発明の動作の方法の効果的実施例を示す流れ図である。ビデオ信号検出においては、第1工程はテレビジョン受信機の画面(50)を検出するものである。テレビジョン受信機のような認識可能な形状を検出する手段はコンピュータ・ビジョンの技術分野では周知のものである。例えば、ビデオ信号におけるビデオ・フレームが、標準受信機とワイド・スクリーン受信機との両方のアスペクト比の、内部と外部の形状を規定するエッジについて解析される。当該画面が検出された後、ビデオ・カメラを画面に直接向けて、テレビジョン受信機10が表示するアナログ・ビデオ信号を記録し得る。工程55では、画面領域動き解析が行われてテレビジョン受信機10がオン状態にあるか否かを判定する。ビデオ信号における動きを解析する方法には周知のものが多く存在する。例えば、ビデオ信号は、通常、別個に解析される複数イメージ・フレームを有する。色、形状、エッジ・マップ、カット・レート、サンプリング・レート他、などの特徴を解析処理において考慮する。当該信号間で同等にさせる基準は解析の種類毎に判定され、それは全般的な比較値につながる。当該値が特定の閾値を上回る場合には、当該イメージは同じであるとみなされる。
テレビジョン受信機が画面領域動き解析55に基づいてオン状態にある(工程60)場合、ビデオ信号の別の処理を利用してテレビジョン受信機がセット・トップ・ボックス15によって先行して記録された既知の信号に合わせられているか否かを判定し得る。例えば、テレビジョン受信機10に向けられたビデオ・カメラ5からのビデオ信号(信号「VSB」)をセット・トップ・ボックス15などの既知源からのビデオ信号(信号「VSA」)と、先行既知マテリアルと比較して、比較し得る。
工程5では、2つのビデオ信号比較方法を実現し得る。工程55と同様に、信号VSAとVSBを、周知の動き解析、色解析などの手段を用いて別個に解析し得る。例えば、2つのビデオ信号をフレームの視覚外観によって比較し得る。この視覚的な類似性は、例えば、色、形状、特定のオブジェクト類似性、又は概念的な種類のオブジェクトの類似性に基づき得るものであり、かつ、例えば、2次元、2.5次元の、もの、すなわちコンピュータ・ビジョン、又は3次元のものであり得る。
色の類似性の手法は、例えば、色ヒストグラム間の距離を、知覚的に意味のある色空間(HSV、RGB、…)を用いることによって実現し得る。通常、色の類似性の手法はイルミネーション(色の不変性)とは相対的に無関係である。テクスチャ比較の手法を用いることは、テクスチャ特徴抽出(統計的モデル)が関係し得る。方向性、粗度、粒度などのテクスチャ品質が通常考慮される。
更に、円形度、離心率、主軸指向性などの形状特徴もビデオ信号の解析において利用される。その特性ではイメージが(自動的か手作業で)意味のあるオブジェクトにセグメント化されたものとしてみなされるその空間特性を用い得るものであり、当該情景におけるオブジェクトの空間的レイアウトを検討し得る。
一般に、イメージ又はビデオに関連した上記種類の情報を、周知の、視覚情報検索システムにおいて用いる。抽出される情報の種類は通常、以下を有する:
(1)イメージ/ビデオのコンテンツと直接関係しないが、何らかの方法でそれに関連するデータ(で、コンテンツ独立メタデータとも呼ばれるもの)。例としては、フォーマット、著者の氏名、日付、場所、所有権などがある。
(1)イメージ/ビデオのコンテンツと直接関係しないが、何らかの方法でそれに関連するデータ(で、コンテンツ独立メタデータとも呼ばれるもの)。例としては、フォーマット、著者の氏名、日付、場所、所有権などがある。
(2)上記のような、イメージの視覚コンテンツを表すデータ:色、テクスチャ、形状、空間的関係、動き、とそれらの組み合わせなどの、低中位の特徴(で、コンテンツ依存メタデータとも呼ばれるもの)。これらのデータは通常、知覚的事実とみなす。
(3)コンテンツ記述メタデータとも呼ばれる、コンテンツ意味論。これらはイメージエンティティと実世界エンティティとの関係、視覚記号並びに情景と関連した時間的なイベント、情動及び意味と関連するデータである。
最後に、ビデオ信号の出力プロフィールを比較し得るものであり、プロフィールにおける差異が所定の閾値内に収まる場合には、ビデオ源は同じであるものとみなし得る。したがって、当該ビデオ源が同じ場合には、テレビジョン受信機は既知の信号に合わせられたものとみなされる(工程70)。テレビジョン受信機が既知の信号に合わせられた場合には、テレビジョンの記録/推奨システム25はユーザに照会してチャンネルを変更させる(工程75)。逆に、テレビジョン受信機10が未知のビデオ信号に合わせられる場合には、チューナが無料であるため、チャンネルは変更されて留守録を行う。未知のビデオ信号はDVD、VCR、又は別のビデオ装置などの補助入力から来るものであり得る。
本発明の一実施例によれば、ユーザによる視聴に対して侵入が行われることが削減される、すなわち、ユーザに対する照会の回数が削減される。したがって、ユーザが、STBがチューニングする現行の信号を視聴していない場合には、当該チャンネルはユーザの許可の照会を行うことなく変更し得る。しかしながら、ユーザが同じ(既知の)信号を視聴している場合、ユーザに対する照会が行われる。代替的には、図3に示すように、ユーザが要求した番組と当該システムが推奨する番組との間での区別を行い得る。
カメラ5は好ましくは、ビデオ信号をブロッキングすることを回避するようにテレビジョン受信機10上部の上に配置する一方、種々の別の場所も利用し得る。本発明の好適実施例によるビデオ解析はこのブロッキングの問題を解決する。この解析は、可視画面の大部分において、テレビジョン受信機の出力と既知のビデオ信号とが互換であるか否かを判定する。画面の領域の特定の所定の一部分、例えば、50%、で、同期が取れていないもの、は、残りの50%が、同じ信号から来るものであることが約90%は確実である限り、許容し得る。この確実性の値は当該アプリケーションによってかわってくることがある。
本発明の代替的実施例では、ビデオ信号を比較する別の方法を実施し得る。信号VSAとVSBとをお互いに低位で比較し得る。例えば、各信号のオプティカル・フローを比較し得る。オプティカル・フローは、イメージ(網膜)におけるルミナンスのパターンの見かけの動きとして定義される。可変的に制約的な前提の下では、これは当該環境における物理的物体の動き又はカメラ(眼球)の自己移動に同化させ得る。通常、オプティカル・フローはイメージのうちの別々の部分の相対移動を表す。オプティカル・フローはイメージにおける物体と視聴者との間の相対移動から生じる。オプティカル・フロー処理は画素レベルで行われ、視聴中の物体の空間的配置と物体間の空間の変動率に関する重要な情報を備え得る。オプティカル・フローに非連続性があることを用いてイメージを、別々の物体に相当する領域にセグメント化する。オプティカル・フローを算定する周知の一般的な手法は:(1)剛性、滑らかさと近接性などのオプティカル・フローの制約を用いた空間的・時間的なフィルタ化に基づいた勾配ベースの手法;と(2)特徴(例えば、エッジ、角)をベースとした手法;との2つが存在する。オプティカル・フローを算定する当該手法の何れかを本発明によって用い得る。ビデオ信号を比較する第1の手法と同様に、オプティカル・フローにおける差異が所定の閾値を上回る場合には、ビデオ源は同じであるものとみなされる。
代替的には、本発明の別の実施例によれば、当該手法はビデオ信号の検出に加えてオーディオ信号を検出する工程を有し得る。例えば、当該システムは更に、テレビジョン受信機から来るアナログ・オーディオ信号を受信するマイクロフォンを有し得る。アナログ・オーディオ信号を受信した後、それはディジタル形式に変換して更に解析し得る。
好適実施例では、オーディオ解析はオーディオ源の位置を判定する手段を有し得る。図2は、工程85で、マイクロフォン20によって受信されたオーディオ信号がまず解析されてオーディオ源の位置、すなわちオーディオがテレビジョン受信機10から来ているか否か、を判定する。
オーディオ位置検出方法は周知のものである。例えば、マイクロフォン・アレイ・オーディオ位置アルゴリズムを用い得る(工程90)。小型マイクロフォン・アレイは通常、近接関係に保たれた2つから6つのマイクロフォンを有する。音源はアレイの外部に保持される。最も単純なアレイは、2次元アレイであり、別のものがそれに基づいて導き出されるその基礎を備える。アレイにおける各マイクロフォンはそのアレイにおける別のマイクロフォンとの何れかの時間遅延関係を、音源の位置によって、有する。アレイからの記録音データに対して行われる相互相関によってアレイにおけるマイクロフォンの各対の時間遅延が返される。観察時間遅延から、音源の位置を判定し得る。
相互相関手法は遅延を返すためには2つのデータ群を要する。したがって、少なくとも2つのマイクロフォンのアレイを何れかの意味のあるデータを収集するのに要する。2つのマイクロフォンのアレイでは、一方のマイクロフォンが他方のものよりも音源に近いか、それらは時間遅延を何ら有するものでなく、音源から等距離にある。経路差異はゼロから最大値まで及ぶ。2つのマイクロフォンのアレイの最大経路差異は2つのマイクロフォンの間の距離であり、それは音源がマイクロフォンと共線である場合に生じる。ゼロ経路差異は、音源が2つのマイクロフォン間の行セグメントの垂直2等分線上に存在する場合に生じる。この時間遅延から、経路差異Dは単純な式D=vtによって判定され、vは音速であり、tは時間遅延である。
オーディオ位置アルゴリズムはオーディオ信号源の位置を判定する。この信号源がテレビジョン受信機である場合、テレビジョン受信機はオン状態にあるものとみなす(工程95)。オーディオ源の位置がテレビジョン受信機以外のものである場合には、テレビジョン受信機はオフ状態にあるものとみなされる。しかしながら、テレビジョン受信機の音量が背景における別の雑音に比べて相対的に低い場合、ビデオ信号の解析を更に行い得る。テレビジョン受信機がオフ状態にある場合には、チャンネルが自動的に変更されて留守録が行われる(工程80)。テレビジョン受信機がオン状態にある場合には、オーディオ解析を更に行い得る。
本発明の別の実施例によれば、処理手段は2つのオーディオ信号:(1)セット・トップ・ボックスなどの既知源からのオーディオ・ストリームASA;と(2)テレビジョン受信機に向けられたカメラからのオーディオ・ストリームASB;とを取得する。2つのオーディオ信号を別個に、オーディオ解析手法を用いて、解析し得るものであり、これらは周知のものである。例えば、オーディオ信号を特徴付けるのに用い得る多くの特徴が存在する。通常、これらの特徴は2つの分類:時間領域と周波数領域;とに分類し得る。音量分布、ピッチ・コントール、平均エネルギ、及び周波数などの特徴を考慮し得る。
オーディオ信号の音量分布は、例えば、信号の振幅の時間的変動を示す。音量を算定するには、オーディオ信号又はクリップを多くの重複フレームに分割し得るものであり、各フレーム内の信号振幅のRMS(二乗平均平方根)を用いてそのフレームの音量を近似化し得る。クリップ中の音量の平均と標準偏差とを音量分布の記述子として用いる。更に、フレームが無音か否かを判定するよう、フレームの音量を、クリップ全体の音量分布に基づいて判定される閾値と比較し得る。無音検出の結果から、無音比率で、無音期間の期間全体に対する比率、を算定し得る。通常、この比率は異なるビデオ・シーケンスにおいてかなり変動する。ニュース・レポートでは、例えば、レポータの音声において定期的な中断が存在する一方、広告番組では、常に何かの背景音楽が存在し、それによって低無音比率がもたらされる。更に、オーディオ信号のピッチは人間の音声波形の基本周期であり、音声信号の解析と合成を行ううえで重要なパラメータである。オーディオ信号で、通常、純粋の音声と多くの別の音を有するもの、では、ピッチの物理的意義は喪失される。しかしながら、ピッチを低位特徴として用いて、異なるオーディオ信号における波形の周期性における変動を特徴付け得る。周知のピッチ判定アルゴリズムは多く存在する。例えば、短時間平均振幅差関数(AMDF)を適用して各フレームのピッチを判定し得る。いくつかのオーディオ信号は音声を何ら有しないことがあり得る。代替的方法を用い得る。例えば、各フレームのピッチを算定した後、オーディオ・クリップ全体のピッチ・コントールを取得し得る。メディアン・フィルタを更にこのコントールに適用して、このコントールにおいてスパイクとしてしばしば生じる、偽って検出されるピッチを除去し得る。ピッチ・レベル自体は通常、情景コンテンツよりも話者(男性又は女性)によって左右される。しかしながら、隣接するフレーム間のピッチ差異は情景コンテンツを更に明らかにする模様である。したがって、ピッチ差異の平均と標準偏差は2つの別のオーディオ特徴として用い得る。ピッチ予測結果に基づいて、音声フレームを検出し得る。音声セグメントは通常、比較的一定のピッチを有するので、(先行フレームと比較して)滑らかなピッチ期間を有するフレームのみが音声フレームとしてみなされる。音声比率は、音声フレームの長さのオーディオ・クリップ全体の長さに対する比率として定義され、別のオーディオ特徴として用いられる。
周波数特徴を取得するよう、オーディオ信号のスペクトグラムを算定し得る。スペクトグラムは(各オーディオ・フレームに及ぶ)短時間フーリエ変換の時間軸に沿った2次元の図である。
通常、種々の周知のオーディオ特徴抽出方法を実施して各オーディオ信号を解析し、それらをお互いに比較し得る(工程100)。オーディオ信号の出力プロフィールで、上記方法によって作成されるものは、更に、比較し得るものであり、プロフィールにおける当該差異が所定閾値内に収まる場合には、オーディオ信号源は同じであるものとみなし得る。これらの信号源が同じであるとみなされる場合には、テレビジョン受信機は既知の信号に合わせられ(工程105)、その場合、ユーザはチャンネルを変更するようプロンプトされる(工程75)。しかしながら、テレビジョン受信機10が既知の信号に合わせられる場合、チャンネルは変更されて留守録が行われる。
代替的には、本発明のなお別の実施例によれば、2つのオーディオ信号はお互いに低位で比較し得る。
以上に記載し、添付図面に示す、本発明の方法とシステムは、通常のテレビジョンの記録/推奨のシステムの機能を向上させるようにするものである。特に、テレビジョン・システムによって、テレビジョン信号を検出し、それによって自動記録処理を向上させることができる。
種々の修正と改変を本発明の方法とシステムにおいて、本発明の趣旨又は範囲から逸脱することなく、行い得ることは当業者には明らかである。したがって、本発明が本特許請求の範囲とその同等物の範囲内に収まる修正と改変を有することを意図するものである。
Claims (12)
- ビデオ源と制御装置とを有するビデオ・システムの動作を制御する方法であって:
該ビデオ源の画面領域を監視する工程;
該ビデオ源がオン状態にあるか否かを判定する工程;
制御機能を表す制御装置からの制御信号を検出する工程;
制御信号による制御機能を、該ビデオ源がオン状態にないと判定される場合に、実行する工程;及び
ユーザに、該制御機能を、該ビデオ源がオン状態にあると判定される場合に、実行するものであるかを、照会する工程;
を有することを特徴とする方法。 - 請求項1記載の方法であって、該ビデオ源がテレビジョン受信機であることを特徴とする方法。
- 請求項1記載の方法であって、該監視する工程が:
ビデオ信号を該ビデオ源から検出する工程;
を有することを特徴とする方法。 - 請求項3記載の方法であって、該ビデオ源がオン状態にあるか否かを判定する工程が、該検出ビデオ信号の画面領域動き解析を用いて行われることを特徴とする方法。
- 請求項1記載の方法であって、更に:
該検出ビデオ信号を既知のビデオ入力信号と、該ビデオ源がオン状態にあると判定される場合に、比較して、該ビデオ源が該既知のビデオ入力信号に合わせられているか否かを判定する工程;
を有し;かつ
該制御信号による制御機能を、該ビデオ源がオン状態にないと判定される場合に、実行する工程を、該検出ビデオ信号が該入力信号に匹敵するものでない場合に、実行し、かつ、該ユーザに、該制御機能を、該ビデオ源がオン状態にあると判定される場合に、実行するものであるかを、照会する工程を、該検出ビデオ信号が該既知のビデオ入力信号に匹敵するものでない場合に、実行することを特徴とする方法。 - 請求項1記載の方法であって、該監視する工程が:
オーディオ信号を該ビデオ源から検出する工程;
を有し;
該ビデオ源がオーディオ源であることを特徴とする方法。 - 請求項6記載の方法であって、更に:
該オーディオ源の位置を、マイクロフォン・アレイ手法を用いて、判定する工程;
を有することを特徴とする方法。 - 請求項6記載の方法であって、更に:
該検出オーディオ信号を既知のオーディオ入力信号に、該オーディオ源がオン状態にあると判定される場合に、比較して、該オーディオ源が該既知のオーディオ入力信号に合わせられているか否かを判定する工程;
を有し;
更に、該制御信号による制御機能を、該ビデオ源がオン状態にないと判定される場合に、実行する工程を、該検出オーディオ信号が該オーディオ入力信号に匹敵するものでない場合に、実行し、かつ、該ユーザに、該制御機能を、該ビデオ源がオン状態にあると判定される場合に、実行するものであるかを、照会する工程を、該検出オーディオ信号が該既知のオーディオ入力信号に匹敵するものでない場合に、実行することを特徴とする方法。 - ビデオ源の動作を制御するシステムであって:
該ビデオ源を監視するビデオ信号受信器;及び
プロセッサ;
を有し;
該プロセッサは:
該ビデオ源がオン状態にあるか否かを判定する工程;
制御機能を表す制御装置からの制御信号を検出する工程;
制御信号による制御機能を、該ビデオ源がオン状態にないと判定される場合に、実行する工程;及び
ユーザに、該制御機能を、該ビデオ源がオン状態にあると判定される場合に、実行するものであるかを、照会する工程;
を行うことを特徴とするシステム。 - 請求項9記載のシステムであって、該ビデオ源がテレビジョン受信機であることを特徴とするシステム。
- 請求項9記載のシステムであって、更に:
オーディオ信号を監視する、少なくとも1つのマイクロフォン;
を有することを特徴とするシステム。 - 請求項9記載のシステムであって、該ビデオ信号受信器がビデオ・カメラであることを特徴とするシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/205,560 US20040019899A1 (en) | 2002-07-25 | 2002-07-25 | Method of and system for signal detection |
PCT/IB2003/003050 WO2004012447A1 (en) | 2002-07-25 | 2003-07-07 | Method of and system for controlling the operation of a video system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005534248A true JP2005534248A (ja) | 2005-11-10 |
Family
ID=30770096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004524012A Withdrawn JP2005534248A (ja) | 2002-07-25 | 2003-07-07 | ビデオ・システムの動作を制御する方法とシステム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20040019899A1 (ja) |
EP (1) | EP1527601A1 (ja) |
JP (1) | JP2005534248A (ja) |
KR (1) | KR20050026965A (ja) |
CN (1) | CN1672404A (ja) |
AU (1) | AU2003281715A1 (ja) |
WO (1) | WO2004012447A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009278457A (ja) * | 2008-05-15 | 2009-11-26 | Sharp Corp | テスト装置、テスト方法およびプログラム |
JP2010034687A (ja) * | 2008-07-25 | 2010-02-12 | Sharp Corp | 付加データ生成システム |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2415639B (en) * | 2004-06-29 | 2008-09-17 | Sony Comp Entertainment Europe | Control of data processing |
US20090319896A1 (en) * | 2008-06-03 | 2009-12-24 | The Directv Group, Inc. | Visual indicators associated with a media presentation system |
US10089592B2 (en) | 2010-12-29 | 2018-10-02 | Comcast Cable Communications, Llc | Measuring video asset viewing |
US10945011B2 (en) | 2010-12-29 | 2021-03-09 | Comcast Cable Communications, Llc | Measuring video viewing |
US10440428B2 (en) | 2013-01-13 | 2019-10-08 | Comcast Cable Communications, Llc | Measuring video-program-viewing activity |
US11627356B2 (en) | 2012-01-28 | 2023-04-11 | Comcast Cable Communications, Llc | Data translation for video-viewing activity |
US10645433B1 (en) | 2013-08-29 | 2020-05-05 | Comcast Cable Communications, Llc | Measuring video-content viewing |
US10587924B2 (en) | 2017-01-03 | 2020-03-10 | Turner Broadcasting System, Inc | Personalized, event-driven, and location-based consumption of media content |
US11501532B2 (en) * | 2019-04-25 | 2022-11-15 | International Business Machines Corporation | Audiovisual source separation and localization using generative adversarial networks |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4750053A (en) * | 1984-02-02 | 1988-06-07 | Broadcast Advertisers Reports, Inc. | Method and system for enabling television commerical monitoring using a marking signal superimposed over an audio signal |
US4920416A (en) * | 1988-03-17 | 1990-04-24 | North American Philips Corp. | Method and apparatus for detecting a desired television signal |
DE3940860A1 (de) * | 1989-12-11 | 1991-06-13 | Thomson Brandt Gmbh | Schaltungsanordnung zum erkennen eines fernsehsignals |
US5264935A (en) * | 1991-06-18 | 1993-11-23 | Sony Corporation | System for wireless transmission and reception of a video signal and corresponding audio signal |
US5734786A (en) * | 1993-10-20 | 1998-03-31 | E Guide, Inc. | Apparatus and methods for deriving a television guide from audio signals |
GB9324051D0 (en) * | 1993-11-23 | 1994-01-12 | Thomson Consumer Electronics | Adaptive battery charging system |
US20020010918A1 (en) * | 1994-12-28 | 2002-01-24 | E-Guide, Inc. | Apparatus and methods for a television on-screen guide |
US6529680B1 (en) * | 1996-04-26 | 2003-03-04 | Mitsubishi Digital Electronics America, Inc. | Device for selecting and controlling a plurality of signal sources in a television system |
US6930709B1 (en) * | 1997-12-04 | 2005-08-16 | Pentax Of America, Inc. | Integrated internet/intranet camera |
GB9918927D0 (en) * | 1999-08-12 | 1999-10-13 | Pace Micro Tech Plc | Video and/or audio digital data processing |
GB0005727D0 (en) * | 2000-03-10 | 2000-05-03 | Koninkl Philips Electronics Nv | Television |
AU2001249891A1 (en) * | 2000-04-07 | 2001-10-23 | America Online, Inc. | Online/offline triggers |
GB0013922D0 (en) * | 2000-06-07 | 2000-08-02 | Gemstar Dev Limited | A television system |
US6930730B2 (en) * | 2001-05-03 | 2005-08-16 | Mitsubishi Digital Electronics America, Inc. | Control system and user interface for network of input devices |
US20020186329A1 (en) * | 2001-06-07 | 2002-12-12 | Ehometv [Hk] Ltd., | Electronic content modules and display dock |
-
2002
- 2002-07-25 US US10/205,560 patent/US20040019899A1/en not_active Abandoned
-
2003
- 2003-07-07 WO PCT/IB2003/003050 patent/WO2004012447A1/en active Application Filing
- 2003-07-07 KR KR1020057001369A patent/KR20050026965A/ko not_active Application Discontinuation
- 2003-07-07 AU AU2003281715A patent/AU2003281715A1/en not_active Abandoned
- 2003-07-07 JP JP2004524012A patent/JP2005534248A/ja not_active Withdrawn
- 2003-07-07 EP EP03740957A patent/EP1527601A1/en not_active Withdrawn
- 2003-07-07 CN CNA038176254A patent/CN1672404A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009278457A (ja) * | 2008-05-15 | 2009-11-26 | Sharp Corp | テスト装置、テスト方法およびプログラム |
JP2010034687A (ja) * | 2008-07-25 | 2010-02-12 | Sharp Corp | 付加データ生成システム |
Also Published As
Publication number | Publication date |
---|---|
US20040019899A1 (en) | 2004-01-29 |
WO2004012447A1 (en) | 2004-02-05 |
AU2003281715A1 (en) | 2004-02-16 |
KR20050026965A (ko) | 2005-03-16 |
CN1672404A (zh) | 2005-09-21 |
EP1527601A1 (en) | 2005-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8561095B2 (en) | Affective television monitoring and control in response to physiological data | |
CA2899107C (en) | Methods and apparatus to distinguish a signal originating from a local device from a broadcast signal | |
KR100794152B1 (ko) | 오디오/데이터/시각 정보 선택을 위한 방법 및 장치 | |
US20030147624A1 (en) | Method and apparatus for controlling a media player based on a non-user event | |
US20030105794A1 (en) | Systems for sensing similarity in monitored broadcast content streams and methods of operating the same | |
JP4300697B2 (ja) | 信号処理装置及び方法 | |
JP4332988B2 (ja) | 信号処理装置及び方法 | |
TWI527442B (zh) | 資訊萃取方法及設備以及其電腦可讀取的媒體 | |
JP2005524290A (ja) | 黒フィールド検出システムおよび方法 | |
KR20150104347A (ko) | 디스플레이 장치 및 디스플레이 장치의 제어 방법 | |
JP2005534248A (ja) | ビデオ・システムの動作を制御する方法とシステム | |
US20230229702A1 (en) | Methods and systems for providing searchable media content and for searching within media content | |
JP3728775B2 (ja) | 動画像の特徴場面検出方法及び装置 | |
JP2016144192A (ja) | 盛り上がり通知システム | |
JP3906854B2 (ja) | 動画像の特徴場面検出方法及び装置 | |
US20100118212A1 (en) | Multimedia Playing Method and Multimedia Playing Device Thereof | |
JP7209441B2 (ja) | 画面構成分析装置、画面構成分析方法及びプログラム | |
JP4007406B2 (ja) | 動画像の特徴場面検出方法 | |
US20140184917A1 (en) | Automated channel switching | |
KR20050054937A (ko) | 시청각 데이터 스트림을 메모리에 저장하는 방법 | |
KR20020090536A (ko) | 시청자가 선호하는 방송 프로그램 자동 검출 방법 | |
KR20160144225A (ko) | 영상표시장치 및 그 동작 방법 | |
MXPA06007503A (es) | Metodos y aparatos para distinguir una señal que se origina desde un dispositivo local de una señal de difusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060706 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20080902 |