JP2010507327A

JP2010507327A - ビデオコンテンツにおける関心領域を生成する方法、装置及びシステム

Info

Publication number: JP2010507327A
Application number: JP2009533288A
Authority: JP
Inventors: リン，シュ; アイザット，アイザット，ヘクマット
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2006-10-20
Filing date: 2006-10-20
Publication date: 2010-03-04
Anticipated expiration: 2026-10-20
Also published as: KR20090086951A; EP2074588A1; JP5591538B2; CN101529467B; WO2008048268A1; KR101334699B1; US20100034425A1; CN101529467A; BRPI0622048A2; BRPI0622048B1

Abstract

ビデオコンテンツにおいて関心領域を生成する方法、装置及びシステムは、前記ビデオコンテンツの少なくとも１つのプログラミングタイプを特定するステップと、前記プログラミングタイプの少なくとも１つのシーンをカテゴリ化するステップと、前記シーンにおける関心位置及び関心オブジェクトの少なくとも１つを特定することによって、前記シーンの少なくとも１つにおける少なくとも１つの関心領域を規定するステップと有する。本発明の一実施例では、関心領域は、特定されたプログラムコンテンツとカテゴリ化されたシーンコンテンツとに対するユーザ嗜好を用いて規定される。

Description

本発明は、一般にビデオ処理に関し、より詳細には、ビデオ再生装置での表示のためビデオコンテンツにおける関心領域（ＲＯＩ）を生成するシステム及び方法に関する。

近年、ビデオディスプレイを有するモバイル及び携帯装置が普及してきている。しかしながら、それらの小さなサイズによって、大部分の携帯装置は高解像度によりビデオ又はイメージを表示することができない。典型的には、携帯装置が放送標準品位（ＳＤ）又は高品位（ＨＤ）などからのビデオ信号を受信した後、当該ビデオは携帯装置の画面解像度のサイズ、ＣＩＦ（ＣｏｍｍｏｎＩｎｔｅｒｍｅｄｉａｔｅＦｏｒｍａｔ）又はＱＣＩＦ（ＱｕａｒｔｅｒＣＩＦ）にダウンサンプリングされる必要がある。ＣＩＦは、それが意図されるビデオシステムの“フル”解像度の１／４として一般に規定される。

このようなダウンサイジングの結果として、ビデオの最も面白い部分が失われる場合がある。例えば、サッカーやテニスなどのスポーツビデオにおいて、ボールが見えなくなる可能性がある。また、通常のダウンサンプリングは、このようなケース及び装置において良好に機能しない。さらに、イメージのシンプルなクロッピングは、関心領域がしばしば動いているため、さらにカメラがパン又はズームしうるため、実行可能でない。

エンコーダ側において関心領域を生成するためのいくつかの取り組みがなされてきた（ＸｉｎｄｉｎｇＳｕｎｅｔ．ａｌ．，“ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔＥｘｔｒａｃｔｉｏｎａｎｄＶｉｒｔｕａｌＣａｍｅｒａＣｏｎｔｒｏｌＢａｓｅｄｏｎＰａｎｏｒａｍｉｃＶｉｄｅｏＣａｐｔｕｒｉｎｇ”，ＩＥＥＥＴｒａｎｓ．Ｍｕｌｔｉｍｅｄｉａ，Ｖｏｌ．７Ｎｏ．５ｐｐ．９８１−９９０，Ｏｃｔｏｂｅｒ１１，２００５）。例えば、ＲＯＩは、常識に従って又は視覚的注意モデルに基づき生成可能である。このような場合、ＲＯＩのメタデータがデコーダに送信される必要がある。デコーダは、この情報を利用してＲＯＩ内のビデオを再生する。

しかしながら、このアプローチによるといくつかの問題点がある。第１に、すべての受信機が同一のＲＯＩを取得するが、各人は、自らが視聴する関心領域と考えているものについて異なる嗜好を有している。第２に、ＲＯＩは自動生成されるため、誤りが生じた場合、すべての人が受信機で訂正できない誤った情報を受信することとなる。第３に、ビデオ信号と共にメタデータが送信される必要があり、これにより、ビットレートが増大する。従って、従来技術の制限及び問題点を回避するビデオにおける関心領域を生成するシステム及び方法が望まれる。

本発明の各種実施例による方法、装置及びシステムは、一実施例において、受信機側でユーザの嗜好などに基づき関心領域（ＲＯＩ）を検出及び生成することによって、従来技術の問題点を解決する。

本発明の一実施例では、ビデオコンテンツにおいて関心領域を生成する方法は、前記ビデオコンテンツの少なくとも１つのプログラミングタイプを特定するステップと、前記プログラミングタイプの少なくとも１つのシーンをカテゴリ化するステップと、前記シーンにおける関心位置及び関心オブジェクトの少なくとも１つを特定することによって、前記シーンの少なくとも１つにおける少なくとも１つの関心領域を規定するステップとを有する。本発明の一実施例では、関心領域は、特定されたプログラムコンテンツと特徴付けされたシーンコンテンツとについてユーザ嗜好情報を用いて規定される。

本発明の他の実施例では、ビデオコンテンツにおいて関心領域を生成する装置は、前記ビデオコンテンツの少なくとも１つのプログラミングタイプを特定するステップと、前記プログラミングタイプの少なくとも１つのシーンをカテゴリ化するステップと、前記シーンにおける関心位置及び関心オブジェクトの少なくとも１つを特定することによって、前記シーンの少なくとも１つにおける少なくとも１つの関心領域を規定するステップとを実行するよう構成される処理モジュールを有する。本発明の一実施例では、本装置は、ビデオコンテンツの特定されたプログラミングタイプとカテゴリ化されたシーンとを格納するメモリと、ビデオコンテンツの特定されたプログラミングタイプとカテゴリ化されたシーンとにおいて関心領域を規定するため、ユーザが嗜好を特定することを可能にするユーザインタフェースとを有する。

本発明の他の実施例では、ビデオコンテンツにおいて関心領域を生成するシステムは、前記ビデオコンテンツを配信するコンテンツソースと、前記ビデオコンテンツを受信し、表示用に前記受信したビデオコンテンツを構成する受信装置と、前記受信装置からの前記ビデオコンテンツを表示する表示装置と、前記ビデオコンテンツの少なくとも１つのプログラミングタイプを特定するステップと、前記プログラミングタイプの少なくとも１つのシーンをカテゴリ化するステップと、前記シーンにおける関心位置及び関心オブジェクトの少なくとも１つを特定することによって、前記シーンの少なくとも１つにおける少なくとも１つの関心領域を規定するステップとを実行するよう構成される処理モジュールとを有する。本発明の一実施例では、処理モジュールは、前記受信機に配置され、前記受信機は、前記ビデオコンテンツの特定されたプログラミングタイプとカテゴリ化されたシーンとを格納するメモリを有する。当該実施例では、前記受信装置はさらに、ユーザが関心領域を規定するための嗜好を特定することを可能にするユーザインタフェースを有する。他の実施例では、前記処理モジュールは、前記コンテンツソースに配置され、前記コンテンツソースは、前記ビデオコンテンツの特定されたプログラミングタイプとカテゴリ化されたシーンとを格納するメモリを有する。当該実施例では、前記コンテンツソースはさらに、ユーザが関心領域を規定するための嗜好を特定することを可能にするユーザインタフェースを有する。

本発明の教示は、添付した図面と共に以下の詳細な説明を検討することによって容易に理解することが可能である。
図１は、本発明の実施例による関心領域を規定及び生成する受信機のハイレベルブロック図を示す。図２は、本発明の実施例による関心領域を規定及び生成するシステムのハイレベルブロック図である。図３は、本発明の実施例による図１及び２の受信機に使用するのに適したユーザインタフェースのハイレベルブロック図を示す。図４は、本発明の実施例による方法のフロー図を示す。図５は、本発明の実施例によるユーザ入力に基づき関心領域を規定する方法のフロー図を示す。上記図面は、本発明の概念を説明するためのものであって、必ずしも本発明を説明するための唯一の可能な構成とは限らないことが理解されるべきである。理解を容易にするため、可能な場合には、同一の参照番号は各図に共通する同一の要素を示すのに使用されている。

本発明は、効果的には、ビデオコンテンツにおいて関心領域（ＲＯＩ）を生成する方法、装置及びシステムを提供する。本発明は放送ビデオ環境及び受信機に関して主として説明されるが、本発明の具体的な実施例は本発明の範囲を限定するものとして扱われるべきでない。本発明の概念はビデオコンテンツにおいて関心領域（ＲＯＩ）を生成する何れかの環境及び／又は送受信機に効果的に適用可能であることは、当業者により理解され、本発明の教示により通知される。例えば、本発明の概念は、ポータルブな携帯ビデオ再生装置、携帯テレビ、ＰＤＡ、ＡＶ機能を有する携帯電話、ポータブルコンピュータ、送信機、サーバなど、ビデオコンテンツを受信／処理／表示／送信するよう構成される何れかの装置により実現可能である。

図示される各種要素の機能は、専用ハードウェアと共に、適切なソフトウェアに関してソフトウェアを実行可能なハードウェアの利用により提供可能である。プロセッサにより提供されるとき、これらの機能は単一の専用プロセッサ、単一の共有プロセッサ又は一部が共有可能な複数の個別プロセッサにより提供可能である。さらに、“プロセッサ”又は“コントローラ”という用語の明示的な使用は、ソフトウェアを実行可能なハードウェアのみを表すと解釈されるべきでなく、限定されることなく、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを格納するＲＯＭ（Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）及び不揮発性ストレージを非明示的に含みうる。さらに、本発明の原理、特徴及び実施例と共に、それらの具体例を記載した以下のすべての記載は、その構造的及び機能的均等を含むことが意図される。さらに、このような均等は、現在知られている均等と共に、将来開発される均等（すなわち、構成に関係なく同一の機能を実行する何れか開発される要素）も含むことが意図される。

従って、例えば、ここに与えられるブロック図は本発明の原理を実現する例示的なシステムコンポーネント及び／又は回路の概念図を表すことは、当業者により理解されるであろう。同様に、何れかのフローチャート、フロー図、状態遷移図、擬似コードなどが、実質的にコンピュータ可読媒体に表現され、明示的には示されないコンピュータ又はプロセッサにより実行されうる各種プロセスを表すことが理解されるであろう。

本発明の各種実施例によると、ビデオコンテンツにおいて関心領域（ＲＯＩ）を生成する方法、装置及びシステムは、プログラムライブラリ、シーンライブラリ及びオブジェクト／ロケーションライブラリを提供し、これらのライブラリと通信し、ライブラリ及びユーザの嗜好からのデータに基づき、受信したビデオコンテンツにおいてカスタマイズされた関心領域を生成するよう構成される関心モジュールを含む。各種実施例では、ユーザは、視聴用のＲＯＩとして選択することを所望するビデオにおける何れかのエリア／オブジェクトなどに関して、自らの嗜好を規定することが可能とされる。サーバがビデオコンテンツを複数の受信機に配信している本発明の実施例では、ローカル受信機に誤りが発生した場合、この誤りは当該受信機のみに影響を及ぼし、容易に訂正可能である。本原理によるシステムは、従来の利用可能なシステムよりロウバストであり、ユーザが従来利用可能であったものより相対的に高い解像度によりビデオコンテンツにおける関心領域又はオブジェクトを制御及び視聴することを可能にする。

例えば、図１は、本発明の実施例による関心領域を規定及び生成する受信機を示す。図１の受信機１００は、例示的には、記憶手段１０１と、ユーザインタフェース１０９と、デコーダ１１１とを有する。図１の受信機１００は、例示的には、データベース１０３と、関心領域（ＲＯＩ）モジュール１０５とを有する。図１の受信機１００のデータベース１０３は、例示的には、プログラムライブラリ１０７と、シーンライブラリ１０２と、オブジェクト／ロケーションライブラリ１０４とを有する。本発明の一実施例では、プログラムライブラリ１０７と、シーンライブラリ１０２と、オブジェクトライブラリ１０４とは、以下でより詳細に説明されるように、分類された各種プログラムタイプ、シーンタイプ及びオブジェクトタイプのそれぞれを格納するよう構成される。図１の受信機１００のＲＯＩモジュール１０５は、プログラムライブラリ１０７と、シーンライブラリ１０２と、オブジェクトライブラリ１０４とに予め格納された情報及び／又は視聴者の入力に従って、受信したビデオコンテンツにおいて関心領域を生成するよう構成可能である。すなわち、視聴者は、結果としての関心領域がディスプレイ上で視聴者に表示されることによって、ユーザインタフェース１０９を介し受信機１００に入力を提供可能である。

例えば、図２は、本発明の実施例による関心領域を規定及び生成するシステムのハイレベルブロック図を示す。図２のシステム２００は、例示的には、本発明の受信機１００にビデオコンテンツを提供するビデオコンテンツソース（例えば、サーバ）２０６を有する。上述されるように、受信機は、プログラムライブラリ１０７と、シーンライブラリ１０２と、オブジェクトライブラリ１０４とに予め格納された情報及び／又はユーザインタフェース１０９を介し入力される視聴者入力に従って、受信したビデオコンテンツにおいて関心領域を生成するよう構成可能である。その後、結果として得られた生成された関心領域は、システム２００のディスプレイ２０７上で視聴者に表示される。図１では、受信機１００は、ユーザインタフェース１０９とデコーダ１１１とを有するように示されているが、本発明の他の実施例では、ユーザインタフェース１０９及び／又はデコーダ１１１は、受信機１００と通信する個別のコンポーネントを有することが可能である。さらに、図２のシステム２００では、データベース１０３とＲＯＩモジュール１０５とが、例示的に受信機１００の内部に設けられるように示されているが、本発明の他の実施例では、本発明のデータベース及びＲＯＩモジュールは、受信機１００のデータベース及びＲＯＩモジュールの代わりに又は加えて、サーバ２０６に含まれうる。本発明のこのような実施例では、ビデオコンテンツの関心領域の選択はサーバ２０６において実行可能であり、受信機はすでに関心領域が割り当てられているビデオコンテンツを受信する。また、受信機のＲＯＩモジュールは、サーバにより規定された関心領域ＲＯＩを検出し、表示対称のコンテンツにおける関心領域ＲＯＩを適用する。さらに、本発明のこのような実施例では、本発明のデータベースとＲＯＩモジュールとを含むサーバはさらに、本発明により関心領域を生成するためのユーザ入力を提供するユーザインタフェースを有することが可能である。

図３は、本発明の実施例による図１及び２の受信機１００において使用するのに適したユーザインタフェース１０９のハイレベルブロック図を示す。上述されるように、ユーザインタフェース１０９は、本発明の実施例に従って受信したビデオコンテンツにおいて関心領域を生成するための視聴者入力を通信するため設けられる。ユーザインタフェース１０９は、スクリーン又はディスプレイ３０２を有するコントロールパネル３００を有することが可能であり、又はグラフィカルユーザインタフェースとしてソフトウェアにより実現可能である。コントロール３１０〜３２６は、ユーザインタフェース１０９の実現形態に応じて、実際のノブ／スティック３１０、キーパッド／キーボード３２４、ボタン３１８〜３２２、バーチャルノブ／スティック及び／又はボタン３１４、マウス３２６、ジョイスティック３３０などを含みうる。

図２の本発明の実施例では、サーバ２０６は、受信機１００にビデオコンテンツを通信する。受信機１００において、受信したビデオコンテンツが符号化され、復号化される必要があるか判断される。そうである場合、ビデオコンテンツはデコーダ１１１により復号化される。ビデオコンテンツの復号化後、ビデオコンテンツのプログラミングが特定される。すなわち、本発明の一実施例では、ビデオコンテンツソース（送信機など）２０６から取得された情報（電子番組ガイド情報など）が、受信したビデオコンテンツにおいてプログラムタイプを特定するのに利用可能である。ビデオコンテンツソース２０６からのこのような情報は、受信機に、例えば、プログラムライブラリ１０７などに格納可能である。本発明の他の実施例では、ユーザインタフェース１０９などからのユーザ入力は、受信したビデオコンテンツのプログラミングを特定するのに利用可能である。すなわち、一実施例では、ユーザは、ディスプレイ２０７などを用いてビデオコンテンツをプレビューし、名称やタイトルによりディスプレイ２０７において各プログラムタイプを特定することが可能である。ユーザ入力を介し特定されるビデオコンテンツの各種プログラミングタイプのタイトル又は識別子は、受信機１００の記憶手段１０１、例えば、プログラムライブラリ１０７などに格納可能である。本発明のさらなる他の実施例では、コンテンツソース２０６から受信した情報と、ユーザインタフェース１０９からのユーザ入力との組み合わせが、受信したビデオコンテンツのプログラミングを特定するのに利用可能である。

本発明の各種実施例では、予め格納されている情報及び／又はユーザ入力を用いて正確にはカテゴリ化することができないプログラムタイプが、新たなプログラムタイプとして処理可能であり、プログラムライブラリ１０７に追加可能である。以下のテーブル１は、一例となるプログラムタイプを示す。

ビデオコンテンツにおいてプログラムタイプを特定した後、プログラムタイプのシーンがカテゴリ化される。これはプログラムタイプの特定と類似し、本発明の一実施例では、ビデオコンテンツソース（送信機など）２０６から取得した情報（電子番組ガイド情報など）が、特定されたプログラムタイプのシーンをカテゴリ化するのに利用可能である。ビデオコンテンツソース２０６からのこのような情報は、受信機１００、例えば、シーンライブラリ１０２に格納可能である。本発明の他の実施例では、ユーザインタフェース１０９などからのユーザ入力は、特定されたプログラムタイプのシーンをカテゴリ化するのに利用可能である。これはプログラムタイプの特定に類似し、ユーザは、ディスプレイ２０７などを用いてビデオコンテンツをプレビューし、名称やタイトルによってディスプレイ２０７においてプログラムタイプの異なるシーンカテゴリを特定することができる。ユーザ入力を介し特定される各種シーンカテゴリのタイトル又は識別子は、受信機１００の記憶手段１０１、例えば、シーンライブラリ１０２などに格納可能である。本発明のさらなる他の実施例では、コンテンツソース２０６から受信した情報とユーザインタフェース１０９からのユーザ入力の組み合わせが、ビデオコンテンツの特定されたプログラムタイプのシーンをカテゴリ化するのに利用可能である。

本発明の各種実施例では、予め格納された情報及び／又はユーザ入力を用いて正確にはカテゴリ化できないシーンは、新たなタイプのシーンとして処理可能であり、シーンライブラリ１０２に追加可能である。テーブル２は、本発明による一例となるシーンカテゴリを例示的に示す。

ビデオコンテンツにおいてシーンカテゴリとプログラムタイプとを特定した後、以前に分類されたフィールド（プログラムタイプやシーンカテゴリなど）における関心位置及び／又はオブジェクトが規定可能である。本発明の一実施例では、ユーザは、オブジェクト及び／又は位置をオブジェクト／位置ライブラリ１０４に自動的に追加し、以降に追加又は破棄可能な一時的メモリ（図示せず）にそれらを格納するよう本発明のシステムを構成可能である。さらに、本発明の各種実施例では、ビデオコンテンツソース（送信機など）２０６から取得した情報は、関心オブジェクト又は位置を規定するのに利用可能である。ビデオコンテンツソース２０６からのこのような情報は、受信機１００、例えば、オブジェクト／位置ライブラリ１０４などに格納可能である。ビデオソースからのこのような情報は、受信機側のユーザにより生成可能である。すなわち、本発明の各種実施例では、ビデオコンテンツソース２０６は、複数バージョンのソースコンテンツを提供可能であり、各バージョンは各種バージョンに係る可変的な関心エリアを有し、その何れもが受信機側のユーザにより選択可能である。ユーザがソースコンテンツの利用可能なバージョンを選択することに応答して、関連する関心領域が受信機側での処理のため受信機に通信可能である。本発明の他の実施例では、ユーザがソースコンテンツの利用可能なバージョンを選択することに応答して、関連する関心領域に係るビデオのみを有するビデオコンテンツが受信機に通信される。

本発明の他の実施例では、ユーザインタフェース１０９などからのユーザ入力は、特定されたプログラムタイプとカテゴリ化されたシーンにおいて関心領域を選択するのに利用可能である。これは、プログラムタイプの特定と、シーンのカテゴリ化と同様であり、ユーザは、ディスプレイ２０７などを用いてビデオコンテンツをプレビューし、オブジェクト及び／又は位置によりディスプレイ２０７における各関心領域を規定することができる。本発明の各種実施例では、このようなユーザ選択は、ビデオコンテンツソース又は受信機において実行可能である。ユーザ入力を介し規定される各種関心領域のタイトル又は識別子は、受信機１００の記憶手段１０１、例えば、オブジェクト／位置ライブラリ１０４などに格納可能である。本発明のさらなる他の実施例では、コンテンツソース２０６から受信した情報と、ユーザインタフェース１０９からのユーザ入力の組み合わせが、ビデオコンテンツにおける関心領域を規定するのに利用可能である。本発明によると、ユーザは、観察することが所望されるオブジェクト及び／又は位置を手動により選択可能であり、又はすべてのプログラミングにおいて視聴されることが所望される関心領域として特定のオブジェクト、オブジェクトタイプ及び／又は位置を設定可能である。

テーブル３において、サッカーのプログラミングを含む受信したビデオコンテンツに関する一例となるオブジェクトタイプが示される。

上記テーブル３に示されるように、着目されたサッカーのシーンにおいて、サッカーのプレーヤーなどのオブジェクトが関心オブジェクトとして規定可能である。対象となるビデオコンテンツの関心領域を規定した後、ビデオコンテンツの選択された関心領域がディスプレイ２０７などに表示可能である。

図４は、本発明の実施例による方法のフロー図を示す。本方法４００は、本発明の受信機がビデオコンテンツを有するオーディオビジュアル（ＡＶ）信号及び／又はビデオプログラムを受信するステップ４０１から開始される。本方法４００は、ステップ４０３に移行する。

ステップ４０３において、プログラム／ＡＶ信号が符号化され、復号化される必要があるか判断される。信号が符号化され、復号化される必要がある場合、本方法４００はステップ４０５に移行する。信号が復号化される必要がない場合、本方法４００はステップ４０７にスキップする。

ステップ４０５において、信号が復号化される。本方法はステップ４０７に移行する。

ステップ４０７において、関心領域（ＲＯＩ）が規定される。本方法４００はステップ４０９に移行する。

ステップ４０９において、規定された関心領域が表示可能である。すなわち、ステップ４０９において、選択及び規定された関心領域により規定されるようなビデオ信号の対応する領域が、表示又は表示のため送信される。本方法４００はその後終了される。

図５は、図４の方法４００のステップ４０７において記載されるような関心領域を規定する方法のフロー図を示す。本方法５００は、ビデオコンテンツが本発明のＲＯＩモジュールなどにより受信されるステップ５０１において開始される。本方法５００はステップ５０３に移行する。

ステップ５０３において、受信したビデオコンテンツのプログラミングが特定される。すなわち、ステップ５０３において、ビデオコンテンツソース（送信機など）２０６及び／又はユーザインタフェース１０６などからのユーザ入力から取得される情報（電子番組ガイド情報など）が、受信したビデオコンテンツのプログラミングタイプを特定するのに利用可能である。プログラミングタイプが特定された後、本方法５００はステップ５０５に移行する。

ステップ５０５において、シーン分類（カテゴリ化）及びシーン変更検出が決定可能である。すなわち、上述されるように、シーン分類処理に役立つよう利用可能な格納される所定のシーンタイプを有するシーンライブラリを含む予め格納された情報（５０４）を有するデータベースが提供可能である。本発明の各種実施例では、予め格納された情報（５０４）及び／又はユーザ入力を用いて正確には分類できないシーンは新たなタイプのシーンとして扱われ、データベースに追加可能である。対象シーンが分類された後、本方法５００はステップ５０７に移行する。

ステップ５０７において、以前に分類されたフィールド（プログラムタイプやシーンカテゴリなど）における関心オブジェクトが特定可能である。例えば、本発明の一実施例によると、着目されるサッカーシーンにおいて、サッカーのプレーヤーなどのオブジェクトが関心オブジェクトとして特定可能である。関心オブジェクトが特定された後、本方法はステップ５０９に移行する。

ステップ５０９において、カスタマイズされた関心領域（ＲＯＩ）が、ステップ５０７において規定された指定オブジェクトの周囲に生成される。本方法はステップ５１１において終了される。

本発明の他の実施例では、ＲＯＩがまた、お気に入りのプレーヤーや位置などの予め指定された所望のオブジェクトの“お気に入り”な視聴者の習慣に従って、本発明により自動生成可能である。本発明によると、関心領域が規定された後、所望の関心オブジェクト又は位置が、フレーム間で追跡可能であり、視聴者に表示可能である。ＲＯＩのサイズはお気に入りオブジェクト及び／又はそれらの位置の指定された個数に応じて、再生中に可変とされる。

本発明によると、ユーザは、ＲＯＩの複数のレベル又はサイズを規定することができる。また、ＲＯＩは、複数のＲＯＩのレベル又はサイズのうちユーザが所望するレベル又はサイズを指定するようユーザにより詳細化可能である。また、本発明の実施例によると、ＲＯＩモジュールはユーザのニーズ又は嗜好に合致するように、特別な又はカスタマイズされたレベル／サイズのＲＯＩを生成可能である。本発明の各種実施例では、デフォルトレベル／サイズは、ＲＯＩの最も頻繁に使用されるレベル／サイズを有することが可能である。

図４及び５の方法４００，５００が、好ましくはビデオコンテンツが本発明の実施例により受信機に完全に送信されるアプリケーションについて説明されたが、本発明の他の実施例では、コンテンツソース（送信機／サーバなど）は本発明のＲＯＩモジュールを少なくとも有することが可能である。このようなソースＲＯＩモジュールは、本発明の受信機にあるＲＯＩモジュールに加えて又は代わりとすることが可能である。

例えば、ビデオコンテンツが１つの受信機のみに通信される本発明の実施例では、受信機は、ユーザの嗜好をソース（送信機など）と通信し、送信機は、これに従って関心領域を生成することが可能である。このような実施例では、受信機に送信されるビデオコンテンツのデータ量は低減され、これにより、受信機へのコンテンツの送信に必要とされる帯域幅が低減され、受信機において必要とされる処理量もまた低減される（これは、サーバ／送信機がより大きな処理パワーを有するため、特に効果的である）。

本発明の他の実施例では、各種ＲＯＩがソース側（サーバ／送信機側など）で提供され、受信機側のユーザによる選択のため提供可能である。すなわち、送信機（サーバ）は、各種所望の関心領域を生成し、個別のマルチキャストチャネルを介し各ＲＯＩを送信することができる。また、ユーザは、所望のＲＯＩを有するチャネルを選択／契約することができる。このような実施例は、効果的に処理時間と送信機／サーバから送信されるビット数とを低減する。

本発明のさらなる他の実施例では、本発明のＲＯＩは、一般的なユーザの嗜好に従って送信機／サーバにおいて生成可能である。より詳細には、各ＲＯＩは各受信機の一般的な選択に従って各受信機に予め決定可能であり、また、決定されたＲＯＩが各受信機に送信可能である。本発明による送信機側でのＲＯＩ処理に関する上述した他の実施例は、処理／送信キャパシティが問題となる状況において特に有用となりうることに留意すべきである。

ビデオコンテンツにおいて関心領域（ＲＯＩ）を生成する方法、装置及びシステムについて好適な実施例が説明されたが（例示的なものであって、限定的なものでない）、上記教示に基づき改良及び変更が当業者に可能であることに留意すべきである。このため、添付した請求項により画定された本発明の範囲及び趣旨の範囲内の変更が、開示された本発明の実施例において可能であることが理解されるべきである。上記は本発明の各種実施例に関するものであるが、本発明の他の実施例はその基本的範囲から逸脱することなく想到可能である。

Claims

ビデオコンテンツにおいて関心領域を生成する方法であって、
前記ビデオコンテンツの少なくとも１つのプログラミングタイプを特定するステップと、
前記プログラミングタイプの少なくとも１つのシーンをカテゴリ化するステップと、
前記シーンにおける関心位置及び関心オブジェクトの少なくとも１つを特定することによって、前記シーンの少なくとも１つにおける少なくとも１つの関心領域を規定するステップと、
を有する方法。
前記少なくとも１つの関心領域は、ユーザ入力を介し規定される、請求項１記載の方法。
前記少なくとも１つの関心領域は、前記シーンにおける所定の関心位置及び関心オブジェクトの少なくとも１つを適用することにより規定される、請求項１記載の方法。
前記少なくとも１つの関心領域は、ユーザ入力と、前記シーンにおける所定の関心位置及び関心オブジェクトの少なくとも１つとの組み合わせを介し規定される、請求項１記載の方法。
前記少なくとも１つの関心領域は、以前のユーザの選択を適用することにより規定される、請求項１記載の方法。
前記少なくとも１つの関心領域は、リモートソースから受信される情報を適用することにより規定される、請求項１記載の方法。
前記リモートソースから受信される情報は、前記リモートソースにおいて決定されたユーザ選択、関心位置及び関心オブジェクトの少なくとも１つを有する、請求項６記載の方法。
前記少なくとも１つの規定された関心領域は、受信機において決定される、請求項１記載の方法。
前記少なくとも１つの規定された関心領域は、ビデオコンテンツソースにおいて決定され、リモートサーバに通信される、請求項１記載の方法。
前記少なくとも１つのプログラミングタイプと前記シーンとは、受信した情報を用いて特定及びカテゴリ化される、請求項１記載の方法。
前記少なくとも１つのプログラミングタイプと前記シーンとを特定及びカテゴリ化するための情報は、前記ビデオコンテンツのリモートソースから受信される、請求項１０記載の方法。
ビデオコンテンツにおいて関心領域を生成する装置であって、
前記ビデオコンテンツの少なくとも１つのプログラミングタイプを特定するステップと、
前記プログラミングタイプの少なくとも１つのシーンをカテゴリ化するステップと、
前記シーンにおける関心位置及び関心オブジェクトの少なくとも１つを特定することによって、前記シーンの少なくとも１つにおける少なくとも１つの関心領域を規定するステップと、
を実行するよう構成される処理モジュールを有する装置。
受信した符号化されたビデオコンテンツを復号化するデコーダをさらに有する、請求項１２記載の装置。
前記ビデオコンテンツの特定されたプログラミングタイプとカテゴリ化されたシーンとを格納するメモリをさらに有する、請求項１２記載の装置。
前記メモリに格納される特定されたプログラミングタイプは、プログラミングライブラリを構成する、請求項１４記載の装置。
前記メモリに格納されるカテゴリ化されたシーンは、シーンライブラリを構成する、請求項１４記載の装置。
前記特定された関心位置及び関心オブジェクトは、前記メモリに格納され、オブジェクトライブラリを構成する、請求項１４記載の装置。
ユーザが関心領域を規定するための嗜好を特定することを可能にするユーザインタフェースをさらに有する、請求項１２記載の装置。
前記ユーザインタフェースは、無線リモコン、マウスやトラックボールなどのポインティングデバイス、音声認識システム、タッチ画面、オンスクリーンメニュー、ボタン及びノブの少なくとも１つを有する、請求項１８記載の装置。
当該装置は、再生装置を有する、請求項１２記載の装置。
当該装置は、受信機を有する、請求項１２記載の装置。
当該装置は、送信機を有する、請求項１２記載の装置。
ビデオコンテンツにおいて関心領域を生成するシステムであって、
前記ビデオコンテンツを配信するコンテンツソースと、
前記ビデオコンテンツを受信し、表示用に前記受信したビデオコンテンツを構成する受信装置と、
前記受信装置からの前記ビデオコンテンツを表示する表示装置と、
前記ビデオコンテンツの少なくとも１つのプログラミングタイプを特定するステップと、前記プログラミングタイプの少なくとも１つのシーンをカテゴリ化するステップと、前記シーンにおける関心位置及び関心オブジェクトの少なくとも１つを特定することによって、前記シーンの少なくとも１つにおける少なくとも１つの関心領域を規定するステップとを実行するよう構成される処理モジュールと、
を有するシステム。
前記処理モジュールは、前記受信機に配置され、
前記受信機は、前記ビデオコンテンツの特定されたプログラミングタイプとカテゴリ化されたシーンとを格納するメモリを有する、請求項２３記載のシステム。
前記受信装置はさらに、ユーザが関心領域を規定するための嗜好を特定することを可能にするユーザインタフェースを有する、請求項２４記載のシステム。
前記処理モジュールは、前記コンテンツソースに配置され、
前記コンテンツソースは、前記ビデオコンテンツの特定されたプログラミングタイプとカテゴリ化されたシーンとを格納するメモリを有する、請求項２３記載のシステム。
前記コンテンツソースはさらに、ユーザが関心領域を規定するための嗜好を特定することを可能にするユーザインタフェースを有する、請求項２６記載のシステム。
前記受信装置は、ビデオ／オーディオ再生装置を有する、請求項２３記載のシステム。
前記コンテンツソースは、サーバから構成される、請求項２３記載のシステム。