JP2005534248A - ビデオ・システムの動作を制御する方法とシステム - Google Patents

ビデオ・システムの動作を制御する方法とシステム Download PDF

Info

Publication number
JP2005534248A
JP2005534248A JP2004524012A JP2004524012A JP2005534248A JP 2005534248 A JP2005534248 A JP 2005534248A JP 2004524012 A JP2004524012 A JP 2004524012A JP 2004524012 A JP2004524012 A JP 2004524012A JP 2005534248 A JP2005534248 A JP 2005534248A
Authority
JP
Japan
Prior art keywords
video
signal
audio
video source
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004524012A
Other languages
English (en)
Inventor
ペレティアー,ダニエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2005534248A publication Critical patent/JP2005534248A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本発明はビデオ源と制御装置(15)とを有するビデオ・システム(25)の動作を制御する方法とシステムを備える。該方法はビデオ・ディスプレイ装置の画面領域を監視する工程;該ビデオ・ディスプレイがオン状態にあるか否かを判定する工程;制御機能を表す制御装置からの制御信号を検出する工程;制御信号による制御機能を、該ビデオ・ディスプレイ装置がオン状態にないと判定される場合に、行う工程;及びユーザに、該ビデオ・ディスプレイ装置がオン状態にあると判定される場合に、該制御機能を実行するものであるかを照会する工程;を有する。本発明は更に、ビデオ・システムの動作を制御するシステムを有する。該システムは、ビデオ・ディスプレイ装置(10)の画面を監視するビデオ・カメラ(5)、該ビデオ、及びプロセッサを有し、該プロセッサは、該ビデオ・ディスプレイ装置(10)がオン状態にあるか否かを判定し、制御機能を表す制御装置からの制御信号を検出し、制御信号による制御機能を、ビデオ・ディスプレイ装置(10)がオン状態にないと判定される場合に、実行し、ユーザに、制御機能を、ビデオ・ディスプレイ装置(10)がオン状態にあると判定される場合に、実行するものであるかを、照会するものである。

Description

本発明はテレビジョン信号を検出する方法とシステムとに関する。特に、本発明のシステムと方法はテレビジョンの記録又は推奨を行うシステムの運用性を向上させるものである。
テレビジョン(TV)視聴者が視聴可能なチャンネルの数が、そのようなチャンネル上で視聴可能な番組コンテンツの多様性とともに、増大するにつれて、テレビジョン視聴者が関心あるテレビジョン番組を識別することが一層困難になってきている。従来、テレビジョン視聴者は関心あるテレビジョン番組を印刷されたテレビジョン番組ガイドを吟味することによって識別してきた。通常、そのような印刷されたテレビジョン番組ガイドは視聴可能なテレビジョン番組を、日時別、チャンネル別、及びタイトル別に、一覧化したグリッドを有していた。テレビジョン番組数が増加するにつれて、そのような印刷されたガイドを用いて所望のテレビジョン番組を効果的に識別することは一層困難になってきている。
最近では、テレビジョン番組ガイドは、しばしば電子番組ガイド(EPG)と呼ばれる、電子フォーマットで利用可能となっている。印刷されたテレビジョン番組ガイドと同様に、EPGは、日時別、チャンネル別、及びタイトル別に、一覧化したグリッドを有している。いくつかのEPGによって、しかしながら、テレビジョン視聴者が視聴可能なテレビジョン番組の個人向選好によるソート又はサーチを行うことが可能である。更に、EPGによって視聴可能なテレビジョン番組を画面上で表示することが可能である。
EPGによって視聴者が所望の番組を従来の印刷されたガイドよりも効率的に識別することが可能である一方、EPGは、いくつかの制約を受け、それらを克服した場合には、更に、視聴者による所望の番組の識別能力を向上させ得る。例えば、多くの視聴者は、アクション・ベースの番組又はスポーツ番組などの、特定の番組分類に対する特定の選好、又はそれらの番組分類に対する性向、を有する。視聴者の選好を、したがって、EPGに適用して特定の視聴者の関心があり得る推奨番組群を取得し得る。
EPGは更に、記録テレビジョン・システムによって利用されて、ユーザが所望の番組を予定して記録することを可能にし得る。
したがって、いくつかのツールが、テレビジョン番組レコーダ/推奨器としても知られる、記録/推奨を行うテレビジョン番組システムとして提案されている。Tivo(ティーボ:商標)レコーダ/推奨器システムは、例えば、カリフォリニア州サニーベール(Sunnyvale)にあるティーボ社(Tivo, Inc.)から商用のものが入手可能であり、視聴者が「賛成と反対のボタン」機能を用いて番組を評価し、それによって視聴者が好きな番組と嫌いな番組、各々、を示すことを可能にする。その後、ティーボ(商標)受信器は記録視聴者選好を、EPGなどの、受信番組データと照合させて各視聴者に合わせた推奨を行う。
ティーボ(商標)システムなどのそのようなテレビジョンのレコーダ/推奨器のシステムでその機能全てを有するものは、視聴者が楽しめる視聴体験を備える一方、それらはいくつかの制約を受け、これらの制約が克服された場合には、更に、システムの運用性を向上させる。例えば、現行のレコーダ/推奨器のシステムは、そのシステムが、テレビジョン受信器がオン状態にあるか否かは分からないため、ユーザがテレビジョン番組を現在視聴しているか否かは分からない。
レコーダ/推奨器システムは番組を自動記録するよう、予定させた場合、このシステムは画面上で中断メッセージを表示して、チューナ上のチャンネルを変更し、推奨番組に切り替えてよいか否かを尋ね、それによってユーザの視聴を中断することを要する。このメッセージ表示の時点でのユーザは先行して記録された番組を視聴し得る。代替的には、ユーザはVCR、DVD又は別のビデオ源からの記録を、チャンネル3乃至4に通常合わせた、チューナ、とオーディオ/ビデオの入力/出力のケーブルがそこに挿入されるその補助入力との両方を有するテレビジョン受信機を通じて、視聴し得る。現行のレコーダ/推奨器のシステムは、テレビジョン受信機が視聴されているか否かは分かるものでなく、視聴されている信号がレコーダ/推奨器のシステムの出力から来ているか否かで、受信器のチューニングによって左右されるもの、も分かるものでない。
したがって、視聴されている番組が受信器のチューニングによって左右されるものでないか、ユーザがテレビジョンの視聴をも行っていない場合には、ユーザが視聴中に楽しんでいるところに、ユーザにチャネルの変更をおこなってよいか否かを尋ねることによって、中断することを要するものでない。
一解決策によって、解析をテレビジョン受信機上のオーディオ/ビデオ入力ポートに入力される信号に対して行い、それによって信号を検出することが可能となる。しかしながら、消費者は、補助入力からテレビジョン・アンテナに切り替えた場合には、信号検出器から偽の読み出しを受けることを理解することを要する。
したがって、テレビジョン受信機などの何れかのビデオ源からの信号を検出する方法とシステムに対する必要性が存在する。
本発明の目的と効果は以下明細書において表し、以下明細書から明らかであるとともに、本発明の実施によって分かるものである。本発明の別の効果は、特に、本明細書及び特許請求の範囲において、更には、添付図面から、示される方法とシステムによって実現され、達成されるものである。
本発明のこれら及び別の効果を達成するよう、更には、本発明の目的によって、本発明はビデオ源と制御装置とを有するビデオ・システムの動作を制御する方法を有する。該方法は:該ビデオ源の画面領域を監視する工程;該ビデオ源がオン状態にあるか否かを判定する工程;制御機能を表す制御装置からの制御信号を検出する工程;制御信号による制御機能を、該ビデオ源がオン状態にないと判定される場合に、実行する工程;及び該制御機能を、該ビデオ源がオン状態にあると判定される場合に、実行するものであるか否かをユーザに照会する工程;を有する。
本発明は、更に、ビデオ源の動作を制御するシステムを有する。該システムは:該ビデオ源を監視するビデオ信号受信器;及びプロセッサ;を有し;該プロセッサは、該ビデオ源がオン状態にあるか否かを判定する工程;制御機能を表す制御装置からの制御信号を検出する工程;制御信号による制御機能を、該ビデオ源がオン状態にないと判定される場合に、実行する工程;及び該制御機能を、該ビデオ源がオン状態にあると判定される場合に、実行するものであるか否かをユーザに照会する工程;を行う。
上記概括的記載と以下の詳細の記載は例示的なものであり、本特許請求の範囲を更に、説明するようにすることを意図するものである。
本明細書及び特許請求の範囲に組み入れられ、部分を構成する添付図面は、本発明の方法とシステムとを示し、更に分かるようにするよう備えられている。本明細書とともに、添付図面は本発明の原理を説明する役目を担う。
次に、本発明の本好適実施例を詳細に参照し、この例は添付図面に示す。本発明の当該方法と相当する工程とは当該システムの詳細説明とともに記載する。
以下に記載する図1、2並びに3、と本発明の当該システムと方法との原理を記載する本明細書及び特許請求の範囲記載の種々の実施例は、単に、説明用のものであり、如何なる方法によっても、本発明の範囲を限定するものとして解すべきでない。
本発明の当該システムと方法とは、ビデオ源と制御装置を有するビデオ・システムの動作を制御するシステムと方法を記載するものである。
本発明の当該システムと方法はテレビジョンの記録又は推奨を行うシステムに限定されるものでないことを認識することが重要である。更に、本発明はテレビジョン信号に限定されるものでない。当業者は、本発明の原理は更に、テレビジョン受信器、セット・トップ・ボックス、記憶装置、コンピュータ・ビデオ表示システム、及びビデオとオーディオの信号を利用するか処理する何れかの種類の電子機器を、限定なく、有する、何れかの種類のビデオ・システムに成功裏に適用し得る。本明細書及び特許請求の範囲の原文記載の「television recording system」の語は現在入手可能か、将来入手可能なこれら及び別の同様な種類の機器を表すのに用いる。以下の記載では、テレビジョンの記録/推奨を行うシステムはテレビジョン・システムを表す一図示として使用する。
図1は本発明の好適実施例によるシステムを示すブロック図である。ビデオ源の動作を制御するシステムは、ビデオ・カメラ5などのビデオ信号受信器を有する、テレビジョン記録/推奨システム25を有する。本発明の別の実施例によれば、当該システムはオーディオ信号を取得する少なくとも1つのマイクロフォン20を有し得る。テレビジョン記録/推奨システム25は、放送局からのテレビジョンのビデオ/オーディオ信号の受信と記録を行うことができるセット・トップ・ボックス15又は同等のハードウェア手段などの制御装置に結合されたテレビジョン受信機10などのビデオ源を通常有する。セット・トップ・ボックス15は、ユーザの視聴選好を解析し、ユーザに記録対象の将来の番組を推奨する、推奨手段を更に有し得る。セット・トップ・ボックス15はディジタルのビデオ/オーディオ信号を処理し、該信号をテレビジョン受信機10に出力して表示するプロセッサとソフトウェアの手段を通常有する。
本発明の好適実施例によれば、テレビジョン信号を検出するシステムは更に、テレビジョン受信機に向けられてテレビジョン受信機の画面上に表示されるアナログ・ビデオ信号を記録するビデオ・カメラ5を有する。カメラ5はビデオ信号をディジタル形式で自動的に記録するディジタル・ビデオ・カメラであり得る。好ましくは、カメラ5はコンピュータ30に結合される。コンピュータ30はビデオ/オーディオ信号を処理する処理手段を有する何れかの種類のマシンであり得る。コンピュータ30は、ビデオ・カメラ5からの受信アナログ信号をディジタル・ビデオ/オーディオ信号に変換して更に処理手段によって処理するアナログ・ディジタル変換器を有し得る。コンピュータ30はカメラ5からのビデオ/オーディオ信号を受信すると、好ましくは、ビデオとオーディオの信号の解析を行って、テレビジョン受信機10がオン状態であるか否か、更には、テレビジョン受信機が既知のチャネルに合わせられているか否か、を判定する。
代替的には、本発明のなお別の実施例によれば、図1に示すシステムは、マイクロフォン20などの、オーディオ記録手段を有し得る。マイクロフォン20はテレビジョン受信機10が再生するオーディオ信号を記録する。このオーディオ信号はコンピュータ30に送信されて、オーディオ解析され、オーディオ源の位置、すなわち、当該音がテレビジョン受信機から実際に来るものであるか否か、を判定し、したがって、テレビジョン受信機がオン状態にあるか否かを判定する。オーディオ解析は更に、受信オーディオ信号が既知のものであるか否かを判定してユーザに当該チャンネルを変更するよう照会することを回避する。複数のマイクロフォンを、実施するオーディオ解析の方法によって利用し得る。
図1のシステムの特定の構成は単に、例としてのものであることとする。本発明の別の実施例では、ビデオ・カメラ5とマイクロフォン20とは種々の場所に、ビデオ・カメラがテレビジョン受信機の画面領域をフィルム記録することができ、かつ、マイクロフォンがテレビジョン受信機10から来るオーディオ信号を受信することができる限り、配置させ得る。代替的に、当該構成を信号がテレビジョン受信機又はモニタにそこで入力されるその箇所でビデオ源に組み入れ得る。例えば、そのような箇所は「ビデオ入力」と「オーディオ入力」又は「複合入力」であり得る。したがって、カメラとマイクロフォンとの代わりに、「ライン入力」(オーディオ信号とビデオ信号との複合のものか、別個のもの、又はディジタル信号)を監視して、テレビジョン受信機によって受信されたものが何であるかを判定し得る。しかしながら、そのような代替的構成は、好適実施例としてアンテナ(通常はチャンネル3か4)又はAUX(補助)入力(若しくはA/V(オーディオ/ビデオ))入力に合わせられるテレビジョン受信機上では正確でないものである。したがって、代替的実施例を用いる場合には、警告を付加してユーザに当該システムは、視聴されている番組が何であるかを判定するうえでの確実性が低く、したがって、テレビジョン受信機がオン状態にあるかオフ状態にあるかを検出することが可能でない旨を知らせ得る。
図2は本発明の動作の方法の効果的実施例を示す流れ図である。ビデオ信号検出においては、第1工程はテレビジョン受信機の画面(50)を検出するものである。テレビジョン受信機のような認識可能な形状を検出する手段はコンピュータ・ビジョンの技術分野では周知のものである。例えば、ビデオ信号におけるビデオ・フレームが、標準受信機とワイド・スクリーン受信機との両方のアスペクト比の、内部と外部の形状を規定するエッジについて解析される。当該画面が検出された後、ビデオ・カメラを画面に直接向けて、テレビジョン受信機10が表示するアナログ・ビデオ信号を記録し得る。工程55では、画面領域動き解析が行われてテレビジョン受信機10がオン状態にあるか否かを判定する。ビデオ信号における動きを解析する方法には周知のものが多く存在する。例えば、ビデオ信号は、通常、別個に解析される複数イメージ・フレームを有する。色、形状、エッジ・マップ、カット・レート、サンプリング・レート他、などの特徴を解析処理において考慮する。当該信号間で同等にさせる基準は解析の種類毎に判定され、それは全般的な比較値につながる。当該値が特定の閾値を上回る場合には、当該イメージは同じであるとみなされる。
テレビジョン受信機が画面領域動き解析55に基づいてオン状態にある(工程60)場合、ビデオ信号の別の処理を利用してテレビジョン受信機がセット・トップ・ボックス15によって先行して記録された既知の信号に合わせられているか否かを判定し得る。例えば、テレビジョン受信機10に向けられたビデオ・カメラ5からのビデオ信号(信号「VSB」)をセット・トップ・ボックス15などの既知源からのビデオ信号(信号「VSA」)と、先行既知マテリアルと比較して、比較し得る。
工程5では、2つのビデオ信号比較方法を実現し得る。工程55と同様に、信号VSAとVSBを、周知の動き解析、色解析などの手段を用いて別個に解析し得る。例えば、2つのビデオ信号をフレームの視覚外観によって比較し得る。この視覚的な類似性は、例えば、色、形状、特定のオブジェクト類似性、又は概念的な種類のオブジェクトの類似性に基づき得るものであり、かつ、例えば、2次元、2.5次元の、もの、すなわちコンピュータ・ビジョン、又は3次元のものであり得る。
色の類似性の手法は、例えば、色ヒストグラム間の距離を、知覚的に意味のある色空間(HSV、RGB、…)を用いることによって実現し得る。通常、色の類似性の手法はイルミネーション(色の不変性)とは相対的に無関係である。テクスチャ比較の手法を用いることは、テクスチャ特徴抽出(統計的モデル)が関係し得る。方向性、粗度、粒度などのテクスチャ品質が通常考慮される。
更に、円形度、離心率、主軸指向性などの形状特徴もビデオ信号の解析において利用される。その特性ではイメージが(自動的か手作業で)意味のあるオブジェクトにセグメント化されたものとしてみなされるその空間特性を用い得るものであり、当該情景におけるオブジェクトの空間的レイアウトを検討し得る。
一般に、イメージ又はビデオに関連した上記種類の情報を、周知の、視覚情報検索システムにおいて用いる。抽出される情報の種類は通常、以下を有する:
(1)イメージ/ビデオのコンテンツと直接関係しないが、何らかの方法でそれに関連するデータ(で、コンテンツ独立メタデータとも呼ばれるもの)。例としては、フォーマット、著者の氏名、日付、場所、所有権などがある。
(2)上記のような、イメージの視覚コンテンツを表すデータ:色、テクスチャ、形状、空間的関係、動き、とそれらの組み合わせなどの、低中位の特徴(で、コンテンツ依存メタデータとも呼ばれるもの)。これらのデータは通常、知覚的事実とみなす。
(3)コンテンツ記述メタデータとも呼ばれる、コンテンツ意味論。これらはイメージエンティティと実世界エンティティとの関係、視覚記号並びに情景と関連した時間的なイベント、情動及び意味と関連するデータである。
最後に、ビデオ信号の出力プロフィールを比較し得るものであり、プロフィールにおける差異が所定の閾値内に収まる場合には、ビデオ源は同じであるものとみなし得る。したがって、当該ビデオ源が同じ場合には、テレビジョン受信機は既知の信号に合わせられたものとみなされる(工程70)。テレビジョン受信機が既知の信号に合わせられた場合には、テレビジョンの記録/推奨システム25はユーザに照会してチャンネルを変更させる(工程75)。逆に、テレビジョン受信機10が未知のビデオ信号に合わせられる場合には、チューナが無料であるため、チャンネルは変更されて留守録を行う。未知のビデオ信号はDVD、VCR、又は別のビデオ装置などの補助入力から来るものであり得る。
本発明の一実施例によれば、ユーザによる視聴に対して侵入が行われることが削減される、すなわち、ユーザに対する照会の回数が削減される。したがって、ユーザが、STBがチューニングする現行の信号を視聴していない場合には、当該チャンネルはユーザの許可の照会を行うことなく変更し得る。しかしながら、ユーザが同じ(既知の)信号を視聴している場合、ユーザに対する照会が行われる。代替的には、図3に示すように、ユーザが要求した番組と当該システムが推奨する番組との間での区別を行い得る。
カメラ5は好ましくは、ビデオ信号をブロッキングすることを回避するようにテレビジョン受信機10上部の上に配置する一方、種々の別の場所も利用し得る。本発明の好適実施例によるビデオ解析はこのブロッキングの問題を解決する。この解析は、可視画面の大部分において、テレビジョン受信機の出力と既知のビデオ信号とが互換であるか否かを判定する。画面の領域の特定の所定の一部分、例えば、50%、で、同期が取れていないもの、は、残りの50%が、同じ信号から来るものであることが約90%は確実である限り、許容し得る。この確実性の値は当該アプリケーションによってかわってくることがある。
本発明の代替的実施例では、ビデオ信号を比較する別の方法を実施し得る。信号VSAとVSBとをお互いに低位で比較し得る。例えば、各信号のオプティカル・フローを比較し得る。オプティカル・フローは、イメージ(網膜)におけるルミナンスのパターンの見かけの動きとして定義される。可変的に制約的な前提の下では、これは当該環境における物理的物体の動き又はカメラ(眼球)の自己移動に同化させ得る。通常、オプティカル・フローはイメージのうちの別々の部分の相対移動を表す。オプティカル・フローはイメージにおける物体と視聴者との間の相対移動から生じる。オプティカル・フロー処理は画素レベルで行われ、視聴中の物体の空間的配置と物体間の空間の変動率に関する重要な情報を備え得る。オプティカル・フローに非連続性があることを用いてイメージを、別々の物体に相当する領域にセグメント化する。オプティカル・フローを算定する周知の一般的な手法は:(1)剛性、滑らかさと近接性などのオプティカル・フローの制約を用いた空間的・時間的なフィルタ化に基づいた勾配ベースの手法;と(2)特徴(例えば、エッジ、角)をベースとした手法;との2つが存在する。オプティカル・フローを算定する当該手法の何れかを本発明によって用い得る。ビデオ信号を比較する第1の手法と同様に、オプティカル・フローにおける差異が所定の閾値を上回る場合には、ビデオ源は同じであるものとみなされる。
代替的には、本発明の別の実施例によれば、当該手法はビデオ信号の検出に加えてオーディオ信号を検出する工程を有し得る。例えば、当該システムは更に、テレビジョン受信機から来るアナログ・オーディオ信号を受信するマイクロフォンを有し得る。アナログ・オーディオ信号を受信した後、それはディジタル形式に変換して更に解析し得る。
好適実施例では、オーディオ解析はオーディオ源の位置を判定する手段を有し得る。図2は、工程85で、マイクロフォン20によって受信されたオーディオ信号がまず解析されてオーディオ源の位置、すなわちオーディオがテレビジョン受信機10から来ているか否か、を判定する。
オーディオ位置検出方法は周知のものである。例えば、マイクロフォン・アレイ・オーディオ位置アルゴリズムを用い得る(工程90)。小型マイクロフォン・アレイは通常、近接関係に保たれた2つから6つのマイクロフォンを有する。音源はアレイの外部に保持される。最も単純なアレイは、2次元アレイであり、別のものがそれに基づいて導き出されるその基礎を備える。アレイにおける各マイクロフォンはそのアレイにおける別のマイクロフォンとの何れかの時間遅延関係を、音源の位置によって、有する。アレイからの記録音データに対して行われる相互相関によってアレイにおけるマイクロフォンの各対の時間遅延が返される。観察時間遅延から、音源の位置を判定し得る。
相互相関手法は遅延を返すためには2つのデータ群を要する。したがって、少なくとも2つのマイクロフォンのアレイを何れかの意味のあるデータを収集するのに要する。2つのマイクロフォンのアレイでは、一方のマイクロフォンが他方のものよりも音源に近いか、それらは時間遅延を何ら有するものでなく、音源から等距離にある。経路差異はゼロから最大値まで及ぶ。2つのマイクロフォンのアレイの最大経路差異は2つのマイクロフォンの間の距離であり、それは音源がマイクロフォンと共線である場合に生じる。ゼロ経路差異は、音源が2つのマイクロフォン間の行セグメントの垂直2等分線上に存在する場合に生じる。この時間遅延から、経路差異Dは単純な式D=vtによって判定され、vは音速であり、tは時間遅延である。
オーディオ位置アルゴリズムはオーディオ信号源の位置を判定する。この信号源がテレビジョン受信機である場合、テレビジョン受信機はオン状態にあるものとみなす(工程95)。オーディオ源の位置がテレビジョン受信機以外のものである場合には、テレビジョン受信機はオフ状態にあるものとみなされる。しかしながら、テレビジョン受信機の音量が背景における別の雑音に比べて相対的に低い場合、ビデオ信号の解析を更に行い得る。テレビジョン受信機がオフ状態にある場合には、チャンネルが自動的に変更されて留守録が行われる(工程80)。テレビジョン受信機がオン状態にある場合には、オーディオ解析を更に行い得る。
本発明の別の実施例によれば、処理手段は2つのオーディオ信号:(1)セット・トップ・ボックスなどの既知源からのオーディオ・ストリームASA;と(2)テレビジョン受信機に向けられたカメラからのオーディオ・ストリームASB;とを取得する。2つのオーディオ信号を別個に、オーディオ解析手法を用いて、解析し得るものであり、これらは周知のものである。例えば、オーディオ信号を特徴付けるのに用い得る多くの特徴が存在する。通常、これらの特徴は2つの分類:時間領域と周波数領域;とに分類し得る。音量分布、ピッチ・コントール、平均エネルギ、及び周波数などの特徴を考慮し得る。
オーディオ信号の音量分布は、例えば、信号の振幅の時間的変動を示す。音量を算定するには、オーディオ信号又はクリップを多くの重複フレームに分割し得るものであり、各フレーム内の信号振幅のRMS(二乗平均平方根)を用いてそのフレームの音量を近似化し得る。クリップ中の音量の平均と標準偏差とを音量分布の記述子として用いる。更に、フレームが無音か否かを判定するよう、フレームの音量を、クリップ全体の音量分布に基づいて判定される閾値と比較し得る。無音検出の結果から、無音比率で、無音期間の期間全体に対する比率、を算定し得る。通常、この比率は異なるビデオ・シーケンスにおいてかなり変動する。ニュース・レポートでは、例えば、レポータの音声において定期的な中断が存在する一方、広告番組では、常に何かの背景音楽が存在し、それによって低無音比率がもたらされる。更に、オーディオ信号のピッチは人間の音声波形の基本周期であり、音声信号の解析と合成を行ううえで重要なパラメータである。オーディオ信号で、通常、純粋の音声と多くの別の音を有するもの、では、ピッチの物理的意義は喪失される。しかしながら、ピッチを低位特徴として用いて、異なるオーディオ信号における波形の周期性における変動を特徴付け得る。周知のピッチ判定アルゴリズムは多く存在する。例えば、短時間平均振幅差関数(AMDF)を適用して各フレームのピッチを判定し得る。いくつかのオーディオ信号は音声を何ら有しないことがあり得る。代替的方法を用い得る。例えば、各フレームのピッチを算定した後、オーディオ・クリップ全体のピッチ・コントールを取得し得る。メディアン・フィルタを更にこのコントールに適用して、このコントールにおいてスパイクとしてしばしば生じる、偽って検出されるピッチを除去し得る。ピッチ・レベル自体は通常、情景コンテンツよりも話者(男性又は女性)によって左右される。しかしながら、隣接するフレーム間のピッチ差異は情景コンテンツを更に明らかにする模様である。したがって、ピッチ差異の平均と標準偏差は2つの別のオーディオ特徴として用い得る。ピッチ予測結果に基づいて、音声フレームを検出し得る。音声セグメントは通常、比較的一定のピッチを有するので、(先行フレームと比較して)滑らかなピッチ期間を有するフレームのみが音声フレームとしてみなされる。音声比率は、音声フレームの長さのオーディオ・クリップ全体の長さに対する比率として定義され、別のオーディオ特徴として用いられる。
周波数特徴を取得するよう、オーディオ信号のスペクトグラムを算定し得る。スペクトグラムは(各オーディオ・フレームに及ぶ)短時間フーリエ変換の時間軸に沿った2次元の図である。
通常、種々の周知のオーディオ特徴抽出方法を実施して各オーディオ信号を解析し、それらをお互いに比較し得る(工程100)。オーディオ信号の出力プロフィールで、上記方法によって作成されるものは、更に、比較し得るものであり、プロフィールにおける当該差異が所定閾値内に収まる場合には、オーディオ信号源は同じであるものとみなし得る。これらの信号源が同じであるとみなされる場合には、テレビジョン受信機は既知の信号に合わせられ(工程105)、その場合、ユーザはチャンネルを変更するようプロンプトされる(工程75)。しかしながら、テレビジョン受信機10が既知の信号に合わせられる場合、チャンネルは変更されて留守録が行われる。
代替的には、本発明のなお別の実施例によれば、2つのオーディオ信号はお互いに低位で比較し得る。
以上に記載し、添付図面に示す、本発明の方法とシステムは、通常のテレビジョンの記録/推奨のシステムの機能を向上させるようにするものである。特に、テレビジョン・システムによって、テレビジョン信号を検出し、それによって自動記録処理を向上させることができる。
種々の修正と改変を本発明の方法とシステムにおいて、本発明の趣旨又は範囲から逸脱することなく、行い得ることは当業者には明らかである。したがって、本発明が本特許請求の範囲とその同等物の範囲内に収まる修正と改変を有することを意図するものである。
本発明の好適実施例によるシステムを示すブロック図である。 本発明の動作の方法の効果的実施例を示すブロック図である。 本発明の別の実施例による動作の方法の効果的実施例を示す流れ図である。

Claims (12)

  1. ビデオ源と制御装置とを有するビデオ・システムの動作を制御する方法であって:
    該ビデオ源の画面領域を監視する工程;
    該ビデオ源がオン状態にあるか否かを判定する工程;
    制御機能を表す制御装置からの制御信号を検出する工程;
    制御信号による制御機能を、該ビデオ源がオン状態にないと判定される場合に、実行する工程;及び
    ユーザに、該制御機能を、該ビデオ源がオン状態にあると判定される場合に、実行するものであるかを、照会する工程;
    を有することを特徴とする方法。
  2. 請求項1記載の方法であって、該ビデオ源がテレビジョン受信機であることを特徴とする方法。
  3. 請求項1記載の方法であって、該監視する工程が:
    ビデオ信号を該ビデオ源から検出する工程;
    を有することを特徴とする方法。
  4. 請求項3記載の方法であって、該ビデオ源がオン状態にあるか否かを判定する工程が、該検出ビデオ信号の画面領域動き解析を用いて行われることを特徴とする方法。
  5. 請求項1記載の方法であって、更に:
    該検出ビデオ信号を既知のビデオ入力信号と、該ビデオ源がオン状態にあると判定される場合に、比較して、該ビデオ源が該既知のビデオ入力信号に合わせられているか否かを判定する工程;
    を有し;かつ
    該制御信号による制御機能を、該ビデオ源がオン状態にないと判定される場合に、実行する工程を、該検出ビデオ信号が該入力信号に匹敵するものでない場合に、実行し、かつ、該ユーザに、該制御機能を、該ビデオ源がオン状態にあると判定される場合に、実行するものであるかを、照会する工程を、該検出ビデオ信号が該既知のビデオ入力信号に匹敵するものでない場合に、実行することを特徴とする方法。
  6. 請求項1記載の方法であって、該監視する工程が:
    オーディオ信号を該ビデオ源から検出する工程;
    を有し;
    該ビデオ源がオーディオ源であることを特徴とする方法。
  7. 請求項6記載の方法であって、更に:
    該オーディオ源の位置を、マイクロフォン・アレイ手法を用いて、判定する工程;
    を有することを特徴とする方法。
  8. 請求項6記載の方法であって、更に:
    該検出オーディオ信号を既知のオーディオ入力信号に、該オーディオ源がオン状態にあると判定される場合に、比較して、該オーディオ源が該既知のオーディオ入力信号に合わせられているか否かを判定する工程;
    を有し;
    更に、該制御信号による制御機能を、該ビデオ源がオン状態にないと判定される場合に、実行する工程を、該検出オーディオ信号が該オーディオ入力信号に匹敵するものでない場合に、実行し、かつ、該ユーザに、該制御機能を、該ビデオ源がオン状態にあると判定される場合に、実行するものであるかを、照会する工程を、該検出オーディオ信号が該既知のオーディオ入力信号に匹敵するものでない場合に、実行することを特徴とする方法。
  9. ビデオ源の動作を制御するシステムであって:
    該ビデオ源を監視するビデオ信号受信器;及び
    プロセッサ;
    を有し;
    該プロセッサは:
    該ビデオ源がオン状態にあるか否かを判定する工程;
    制御機能を表す制御装置からの制御信号を検出する工程;
    制御信号による制御機能を、該ビデオ源がオン状態にないと判定される場合に、実行する工程;及び
    ユーザに、該制御機能を、該ビデオ源がオン状態にあると判定される場合に、実行するものであるかを、照会する工程;
    を行うことを特徴とするシステム。
  10. 請求項9記載のシステムであって、該ビデオ源がテレビジョン受信機であることを特徴とするシステム。
  11. 請求項9記載のシステムであって、更に:
    オーディオ信号を監視する、少なくとも1つのマイクロフォン;
    を有することを特徴とするシステム。
  12. 請求項9記載のシステムであって、該ビデオ信号受信器がビデオ・カメラであることを特徴とするシステム。
JP2004524012A 2002-07-25 2003-07-07 ビデオ・システムの動作を制御する方法とシステム Withdrawn JP2005534248A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/205,560 US20040019899A1 (en) 2002-07-25 2002-07-25 Method of and system for signal detection
PCT/IB2003/003050 WO2004012447A1 (en) 2002-07-25 2003-07-07 Method of and system for controlling the operation of a video system

Publications (1)

Publication Number Publication Date
JP2005534248A true JP2005534248A (ja) 2005-11-10

Family

ID=30770096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004524012A Withdrawn JP2005534248A (ja) 2002-07-25 2003-07-07 ビデオ・システムの動作を制御する方法とシステム

Country Status (7)

Country Link
US (1) US20040019899A1 (ja)
EP (1) EP1527601A1 (ja)
JP (1) JP2005534248A (ja)
KR (1) KR20050026965A (ja)
CN (1) CN1672404A (ja)
AU (1) AU2003281715A1 (ja)
WO (1) WO2004012447A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278457A (ja) * 2008-05-15 2009-11-26 Sharp Corp テスト装置、テスト方法およびプログラム
JP2010034687A (ja) * 2008-07-25 2010-02-12 Sharp Corp 付加データ生成システム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2415639B (en) * 2004-06-29 2008-09-17 Sony Comp Entertainment Europe Control of data processing
US20090319896A1 (en) * 2008-06-03 2009-12-24 The Directv Group, Inc. Visual indicators associated with a media presentation system
US10089592B2 (en) 2010-12-29 2018-10-02 Comcast Cable Communications, Llc Measuring video asset viewing
US10945011B2 (en) 2010-12-29 2021-03-09 Comcast Cable Communications, Llc Measuring video viewing
US10440428B2 (en) 2013-01-13 2019-10-08 Comcast Cable Communications, Llc Measuring video-program-viewing activity
US11627356B2 (en) 2012-01-28 2023-04-11 Comcast Cable Communications, Llc Data translation for video-viewing activity
US10645433B1 (en) 2013-08-29 2020-05-05 Comcast Cable Communications, Llc Measuring video-content viewing
US10587924B2 (en) 2017-01-03 2020-03-10 Turner Broadcasting System, Inc Personalized, event-driven, and location-based consumption of media content
US11501532B2 (en) * 2019-04-25 2022-11-15 International Business Machines Corporation Audiovisual source separation and localization using generative adversarial networks

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4750053A (en) * 1984-02-02 1988-06-07 Broadcast Advertisers Reports, Inc. Method and system for enabling television commerical monitoring using a marking signal superimposed over an audio signal
US4920416A (en) * 1988-03-17 1990-04-24 North American Philips Corp. Method and apparatus for detecting a desired television signal
DE3940860A1 (de) * 1989-12-11 1991-06-13 Thomson Brandt Gmbh Schaltungsanordnung zum erkennen eines fernsehsignals
US5264935A (en) * 1991-06-18 1993-11-23 Sony Corporation System for wireless transmission and reception of a video signal and corresponding audio signal
US5734786A (en) * 1993-10-20 1998-03-31 E Guide, Inc. Apparatus and methods for deriving a television guide from audio signals
GB9324051D0 (en) * 1993-11-23 1994-01-12 Thomson Consumer Electronics Adaptive battery charging system
US20020010918A1 (en) * 1994-12-28 2002-01-24 E-Guide, Inc. Apparatus and methods for a television on-screen guide
US6529680B1 (en) * 1996-04-26 2003-03-04 Mitsubishi Digital Electronics America, Inc. Device for selecting and controlling a plurality of signal sources in a television system
US6930709B1 (en) * 1997-12-04 2005-08-16 Pentax Of America, Inc. Integrated internet/intranet camera
GB9918927D0 (en) * 1999-08-12 1999-10-13 Pace Micro Tech Plc Video and/or audio digital data processing
GB0005727D0 (en) * 2000-03-10 2000-05-03 Koninkl Philips Electronics Nv Television
AU2001249891A1 (en) * 2000-04-07 2001-10-23 America Online, Inc. Online/offline triggers
GB0013922D0 (en) * 2000-06-07 2000-08-02 Gemstar Dev Limited A television system
US6930730B2 (en) * 2001-05-03 2005-08-16 Mitsubishi Digital Electronics America, Inc. Control system and user interface for network of input devices
US20020186329A1 (en) * 2001-06-07 2002-12-12 Ehometv [Hk] Ltd., Electronic content modules and display dock

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278457A (ja) * 2008-05-15 2009-11-26 Sharp Corp テスト装置、テスト方法およびプログラム
JP2010034687A (ja) * 2008-07-25 2010-02-12 Sharp Corp 付加データ生成システム

Also Published As

Publication number Publication date
US20040019899A1 (en) 2004-01-29
WO2004012447A1 (en) 2004-02-05
AU2003281715A1 (en) 2004-02-16
KR20050026965A (ko) 2005-03-16
CN1672404A (zh) 2005-09-21
EP1527601A1 (en) 2005-05-04

Similar Documents

Publication Publication Date Title
US8561095B2 (en) Affective television monitoring and control in response to physiological data
CA2899107C (en) Methods and apparatus to distinguish a signal originating from a local device from a broadcast signal
KR100794152B1 (ko) 오디오/데이터/시각 정보 선택을 위한 방법 및 장치
US20030147624A1 (en) Method and apparatus for controlling a media player based on a non-user event
US20030105794A1 (en) Systems for sensing similarity in monitored broadcast content streams and methods of operating the same
JP4300697B2 (ja) 信号処理装置及び方法
JP4332988B2 (ja) 信号処理装置及び方法
TWI527442B (zh) 資訊萃取方法及設備以及其電腦可讀取的媒體
JP2005524290A (ja) 黒フィールド検出システムおよび方法
KR20150104347A (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
JP2005534248A (ja) ビデオ・システムの動作を制御する方法とシステム
US20230229702A1 (en) Methods and systems for providing searchable media content and for searching within media content
JP3728775B2 (ja) 動画像の特徴場面検出方法及び装置
JP2016144192A (ja) 盛り上がり通知システム
JP3906854B2 (ja) 動画像の特徴場面検出方法及び装置
US20100118212A1 (en) Multimedia Playing Method and Multimedia Playing Device Thereof
JP7209441B2 (ja) 画面構成分析装置、画面構成分析方法及びプログラム
JP4007406B2 (ja) 動画像の特徴場面検出方法
US20140184917A1 (en) Automated channel switching
KR20050054937A (ko) 시청각 데이터 스트림을 메모리에 저장하는 방법
KR20020090536A (ko) 시청자가 선호하는 방송 프로그램 자동 검출 방법
KR20160144225A (ko) 영상표시장치 및 그 동작 방법
MXPA06007503A (es) Metodos y aparatos para distinguir una señal que se origina desde un dispositivo local de una señal de difusion

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060706

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20080902