JP5880558B2 - 映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラム - Google Patents
映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラム Download PDFInfo
- Publication number
- JP5880558B2 JP5880558B2 JP2013526974A JP2013526974A JP5880558B2 JP 5880558 B2 JP5880558 B2 JP 5880558B2 JP 2013526974 A JP2013526974 A JP 2013526974A JP 2013526974 A JP2013526974 A JP 2013526974A JP 5880558 B2 JP5880558 B2 JP 5880558B2
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- frame feature
- scene
- frame
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、映像を視聴する視聴者の嗜好を判定する技術に関する。
映像を視聴する視聴者の嗜好を判定する技術として、特許文献１は、映像再生時の早送り又は巻き戻しの後の再生シーンの特徴量に近い特徴量を有するシーンを、視聴者の嗜好するシーンと判定する技術を開示している。
しかしながら、上記特許文献１の技術は、個別のシーン単位で視聴者の嗜好を判定することはできるが、視聴者の継続的な視聴内容から視聴者の嗜好を判定することと視聴者の嗜好の変化に追随することができなかった。
本発明の目的は、上述の課題を解決するための映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラムを提供することにある。
本発明の目的は、上述の課題を解決するための映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラムを提供することにある。
本発明の映像処理装置は、
視聴者に対応付けて、前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴付けるフレーム特徴量を記憶する第１記憶手段と、
一連のフレームで構成されるシーンのフレーム特徴量を、前記シーンが有する属性によりグループ分けしてシーングループとして記憶する第２記憶手段と、
前記第１記憶手段に記憶されたフレーム特徴量と前記第２記憶手段に記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積手段と、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定手段と、を備える。
本発明の映像処理装置の制御方法は、
視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴付けるフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積ステップと、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定ステップと、を含む。
本発明の映像処理装置の制御プログラムは、
視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴付けるフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合は、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積ステップと、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定ステップと、をコンピュータに実行させる。
本発明の映像処理システムは、
視聴者が視聴した映像コンテンツに基づいて前記視聴者の嗜好を判定する映像処理システムであって、
前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴つけるフレーム特徴量を抽出するフレーム特徴量抽出手段と、
視聴者に対応付けて、前記フレーム特徴量抽出手段が抽出したフレーム特徴量を記憶する第１記憶手段と、
一連のフレームで構成されるシーンのフレーム特徴量を、前記シーンが有する属性によりグループ分けしてシーングループとして記憶する第２記憶手段と、
前記第１記憶手段に記憶されたフレーム特徴量と前記第２記憶手段に記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積手段と、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定手段と、を備える。
本発明の映像処理システムの制御方法は、
視聴者が視聴した映像コンテンツに基づいて前記視聴者の嗜好を判定する視聴者の嗜好判定方法であって、
前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴つけるフレーム特徴量を抽出するフレーム特徴量抽出ステップと、
視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツに含まれるフレームのフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積ステップと、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定ステップと、を含む。
視聴者に対応付けて、前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴付けるフレーム特徴量を記憶する第１記憶手段と、
一連のフレームで構成されるシーンのフレーム特徴量を、前記シーンが有する属性によりグループ分けしてシーングループとして記憶する第２記憶手段と、
前記第１記憶手段に記憶されたフレーム特徴量と前記第２記憶手段に記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積手段と、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定手段と、を備える。
本発明の映像処理装置の制御方法は、
視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴付けるフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積ステップと、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定ステップと、を含む。
本発明の映像処理装置の制御プログラムは、
視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴付けるフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合は、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積ステップと、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定ステップと、をコンピュータに実行させる。
本発明の映像処理システムは、
視聴者が視聴した映像コンテンツに基づいて前記視聴者の嗜好を判定する映像処理システムであって、
前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴つけるフレーム特徴量を抽出するフレーム特徴量抽出手段と、
視聴者に対応付けて、前記フレーム特徴量抽出手段が抽出したフレーム特徴量を記憶する第１記憶手段と、
一連のフレームで構成されるシーンのフレーム特徴量を、前記シーンが有する属性によりグループ分けしてシーングループとして記憶する第２記憶手段と、
前記第１記憶手段に記憶されたフレーム特徴量と前記第２記憶手段に記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積手段と、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定手段と、を備える。
本発明の映像処理システムの制御方法は、
視聴者が視聴した映像コンテンツに基づいて前記視聴者の嗜好を判定する視聴者の嗜好判定方法であって、
前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴つけるフレーム特徴量を抽出するフレーム特徴量抽出ステップと、
視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツに含まれるフレームのフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積ステップと、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定ステップと、を含む。
本発明は、視聴者の継続的な視聴内容から視聴者の嗜好を判定することと視聴者の嗜好の変化に追随することがきる。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
なお、本明細書で使用される文言「一致」は完全に同一である場合を示し、文言「合致」は所定の類似度の範囲内にあると判断される場合を示すものとする。
［第１実施形態］
本発明の第１実施形態としての映像処理システム１００について、図１を用いて説明する。
図１に示すように、映像処理システム１００は、第１記憶部１１０と、第２記憶部１２０と、関心度累積部１３０と、視聴者嗜好判定部１４０と、を含む。
第１記憶部１１０は、視聴者に対応付けて、視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴付けるフレーム特徴量を記憶する。
第２記憶部１２０は、一連のフレームで構成されるシーンのフレーム特徴量を、シーンが有する属性によりグループ分けしてシーングループとして記憶する。
関心度累積部１３０は、第１記憶部１１０に記憶されたフレーム特徴量と第２記憶部１２０に記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合には、フレーム特徴量が合致したシーングループへの関心度を表わす、視聴者のスコアを増加させる。
視聴者嗜好判定部１４０は、スコアのより高いシーングループを、視聴者が嗜好するシーングループと判定する。
本実施形態によれば、視聴者の継続的な視聴内容から視聴者の嗜好を判定すること及び視聴者の嗜好の変化に追随することがきる。
［第２実施形態］
次に、本実施形態に係る映像処理システムについて説明する。
本実施形態に係る映像処理システムは、映像視聴用端末、映像コンテンツ配信サーバ、映像処理装置を備える。
映像視聴用端末は、映像コンテンツ配信サーバから配信された映像コンテンツの視聴時に、映像コンテンツを構成する各フレームからフレーム特徴量を抽出して、映像処理装置に送信する。
映像処理装置は、映像視聴用端末から受信したフレーム特徴量と、映像処理装置のフレーム特徴量ＤＢ（ＤＡＴＡＢＡＳＥ）に保存されたフレーム特徴量と照合する。フレーム特徴量Ｄには、シーングループと対応づけてシーンの特徴量を構造化したフレーム特徴量が保存されている。シーングループは、映像コンテンツのジャンル又はシーンごとの出演者などのユーザ嗜好分類ごとに設定される。
そして、映像処理装置は、照合の結果、フレーム特徴量が合致したシーングループのスコアを加算する。この処理を集積することにより、スコアの大きいシーングループが視聴者の嗜好する映像コンテンツの内容、あるいはシーンと判定する。
本実施形態によれば、映像視聴用端末を使った視聴者の視聴および再生動作から、簡単に視聴者の嗜好を判定できる。
《映像処理システムの構成》
図２は、本実施形態に係る映像処理システム２００の構成を示すブロック図である。
映像処理装置２１０は、映像コンテンツの各フレームを特徴付けるフレーム特徴量を蓄積するフレーム特徴量ＤＢ２１３を有する。フレーム特徴量は、映像コンテンツの一連のフレームで構成されるシーン間の関連に対応付けてフレーム特徴量ＤＢ２１３に蓄積される（図６参照）。「シーン間の関連に」とは、例えば、「シーン１」、「シーン２」のいずれも風景の映像の場合に、その風景の映像のシーングループという形でまとめられることを表す。
また、フレーム特徴量ＤＢ２１３には、既に入力された各シーンのフレーム特徴量が、シーン間の関連に対応して構造化されて格納されている。例えば、「シーン１」と「シーン２」が風景の映像（風景関連）であるときに、風景に対応して構造化され格納される。
なお、フレーム特徴量ＤＢ２１３の一例としては、図６のシーンＩＤ６０２を含まず、シーンの分類を表すシーングループとフレーム特徴量だけを対応づけた構成としてもよい。
映像処理装置２１０は、ネットワーク２７０を介して各サーバ又は映像視聴用端末と通信する通信制御部２１１を有する。なお、通信は有線であっても無線であっても構わない。
映像処理装置の２１０のフレーム特徴量記憶部２１２は、通信制御部２１１で受信する映像コンテンツの一連のフレーム特徴量を、視聴者を識別する視聴者ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に対応付けて記憶する。
映像処理装置２１０のフレーム特徴量照合部２１４は、既にフレーム特徴量ＤＢ２１３に構造化されて格納されている各シーンのフレーム特徴量と、フレーム特徴量記憶部２１２に記憶されているフレーム特徴量とを照合する。そして、フレーム特徴量が合致したか否かの照合結果をスコア加算部２１５に出力する。
映像処理装置２１０のスコア加算部２１５は、フレーム特徴量照合部２１４の照合結果にしたがって、視聴者嗜好ＤＢ２１６の視聴者ＩＤに対応付けられた各シーングループのスコアを加算する。
視聴者嗜好ＤＢ２１６は、視聴者ＩＤに対応付けて各シーングループのスコアを記憶する（図７参照）。
映像処理装置２１０の視聴者嗜好判定部２１７は、通信制御部２１１を介した外部からの要求を受けて、視聴者嗜好ＤＢ２１６を参照し、視聴者の嗜好の情報を判定して結果を通知する。
なお、視聴者嗜好判定部２１７が視聴者の嗜好を判定することに加え、視聴者の嗜好に合致する映像コンテンツの情報などを特定することも可能であり、特定した映像コンテンツの情報などを通知することも可能である。
図２の映像処理装置２１０に示す、通信制御部２１、フレーム特徴量記憶部２１２、フレーム特徴量照合部２１４、スコア加算部２１５、視聴者嗜好ＤＢ２１６、視聴者嗜好判定部２１７のそれぞれを繋ぐ破線は、視聴者ＩＤの伝達の動きを表わす。
なお、視聴者ＩＤは、例えば、映像視聴用端末２２０〜２４０の端末固有のＩＤ又は、その端末へのログインＩＤ、あるいは映像処理装置２１０に関連づけられて提供されるインターネット上のサービスへのログインＩＤの形で決定され、通信制御部２１１に伝達される。
図２の２２０〜２４０は、映像コンテンツを視聴する映像視聴用端末である。
映像視聴用端末２２０〜２４０は、それぞれフレーム特徴量抽出部２２０ａ〜２４０ａを有する。映像視聴用端末２２０〜２４０は、映像コンテンツ配信サーバ２５０又は２６０から映像コンテンツをダウンロードして視聴する場合、フレーム特徴量抽出部２２０ａ〜２４０ａを用いてフレーム特徴量を生成して映像処理装置２１０に送信する。
また、映像視聴用端末２２０〜２４０は、ビデオの再生又は放送番組の録画再生を行なう場合も、映像コンテンツの再生時にフレーム特徴量抽出部２２０ａ〜２４０ａを用いてフレーム特徴量を生成して映像処理装置２１０に送信する。
なお、映像処理装置２１０による映像コンテンツのフレーム特徴量の受信は、上記の場合に限定されない。映像処理装置２１０で蓄積するフレーム特徴量は、世界のあらゆるメディアを介して流通する映像コンテンツを対象にする。
また、フレーム特徴量抽出部２２０ａ〜２４０ａは、１チップのＩＣ回路で製造されて各端末および装置に搭載されることが好ましい。あるいは、フレーム特徴量抽出用のフログラムを各端末および装置にダウンロードする構成にすれば、端末、又は、装置への搭載が簡易になり、標準化されたフレーム特徴量による統一された処理が可能になる。
《フレーム特徴量抽出部》
図３Ａは、本実施形態に係るフレーム特徴量抽出部２２０ａ〜２４０ａの構成を示すブロック図である。本実施形態で適用されるフレーム特徴量抽出部２２０ａ〜２４０ａは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）７の標準化で採用されているビデオシグネチャを抽出する機能構成部である。
図３Ａにおいて、フレーム特徴量抽出部２２０ａ〜２４０ａから出力されるフレーム特徴量３５０は、撮影された映像の各フレーム画像中の所定の領域間の領域特徴量を表す平均輝度値の差分を量子化（実際には３値に）し、符号化したものである。ここで所定の領域とは、撮影された映像の各フレーム画像中に設けた多数の、サイズの大小又は形状の異なる領域対をいう。
次元決定部３１０は、領域対の数を決定する。１次元が１領域対に相当する。
抽出領域取得部３２０は、次元決定部３１０の決定にしたがって、フレーム特徴量を算出する各次元の領域対を取得する。
領域特徴量算出部３３０は、第１領域特徴量算出部３３１と第２領域特徴量算出部３３２とを有する。それぞれの領域特徴量算出部は、各次元の領域対の一方の領域の領域特徴量の一種である平均輝度を算出する。
領域特徴量差分符号化部３４０は、領域対のそれぞれの平均輝度の差分を取る。さらに、領域特徴量差分符号化部３４０は、その差分を第３閾値にしたがって量子符号化してフレーム特徴量３５０を出力する。
なお、本例では、以下、平均輝度により領域の領域特徴量を代表させて説明するが、領域の領域特徴量は、平均輝度には限定されず、輝度の他の処理又は輝度以外のフレームの特徴量も適用できる。
図３Ｂは、本実施形態に係るフレーム特徴量抽出部２２０ａ〜２４０ａにおける処理を示す図である。
図３Ｂの３００は、図３Ａの抽出領域取得部３２０が取得した領域対の数例を示している。図中、７つの大きな矩形は、それぞれ１つのフレーム画像を示し、フレーム内部の各矩形は、領域を示している。
図３Ｂの３３０ａは、１つのフレーム画像内において、抽出領域取得部３２０からの領域対により抽出された領域とその領域間の差分を取る関係を表現したものである。
１つのフレーム画像内に領域対の２つの領域が抽出されて、それぞれの領域に含まれる画素の平均輝度が算出され、その差分が算出さる様子を各領域の中心を結ぶ矢印で示している。
図３Ｂの３４０ａは、算出された差分を量子符号化する様子を示したものである。３４０ａでは、図３Ａにおける第１領域特徴量から第２領域特徴量を差し引いた差分が、差分“０”（平均輝度が等しい場合に相当）を中心とする上記第３閾値である破線で示した差分内であれば、“０”を量子符号化の出力値とする。
同じ差分が破線位置よりも大きな正（＋）の値であれば、“＋１”を量子符号化の出力値とする。同じ差分が破線位置よりも大きな負（−）の値であれば、“−１”を量子符号化の出力値とする。
このように、“−１”、“０”、“＋１”の３値に符号化するのは、できるだけ多次元とすることでフレーム特徴量の分離を容易にし、かつフレーム特徴量の照合の計算量を削減するためである。したがって、上記３値の例に限定する必要はない。
なお、破線で示す第３閾値は、使用される全次元の差分値の分布から“０”と量子化する差分値の割合から選定される。一例としては、“０”と量子化する差分値の割合を５０％にするような値を選定する。
図３Ｂの３５０ａは、差分の量子符号化の結果を集めて生成されたフレーム特徴量の例を示している。フレーム特徴量は、簡単な例としては、差分の量子符号化された値を一次元方向に次元順に並べたものである。
なお、単純に差分の量子符号化された値を一次元方向に次元順に並べたものではなく、多次元方向に並べたもの又はさらに追加の演算を加えたものであってもよく、本例には限定されない。
図３Ｃは、本実施形態に係るフレーム特徴量抽出部２２０ａ〜２４０ａにおける抽出領域を示す図である。
図３Ｂの３２０ａは、各次元の領域対が、２つの矩形領域の例を示した。しかし、フレームを適切に表現するフレーム特徴量を算出するためには、矩形以外の形状が望ましい場合もある。
図３Ｃに示す抽出領域は、各次元の領域対が、２つの矩形領域ではない例を示している。
なお、図３Ｂの３４０ａで示したように、各次元を３値化することにより、実時間のフレーム特徴量の照合又は、フレーム特徴量の集合である映像コンテンツのフレーム特徴量群の照合を実現する場合であっても、数百次元を設定することが可能である。
《映像処理装置のハードウェア構成》
図４は、本実施形態に係る映像処理装置２１０のハードウェア構成を示すブロック図である。
図４で、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１０は、演算制御用のプロセッサであり、プログラムを実行することで図２の各機能構成部を実現する。
ＲＯＭ（Ｒｅａｄ Ｏｎ Ｍｅｍｏｒｙ）４２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。
通信制御部２１１は、映像視聴用端末２２０〜２４０あるいは映像コンテンツ配信サーバ２５０，２６０と通信する。なお、通信は無線でも有線でもよい。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４４０は、ＣＰＵ４１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ４４０には、本実施形態の実現に必要なデータを記憶するデータ領域２１２、４４１、４４２が確保される。
データ領域２１２は、視聴者ＩＤに対応して受信フレーム特徴量を記憶するフレーム特徴量記憶部（図５参照）として機能する。
データ領域４４１は、フレーム特徴量を照合中の視聴者ＩＤを記憶する。
データ領域４４２は、フレーム特徴量の照合の結果、合致したシーングループを記憶する。
ストレージ４５０は、データベース又は各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムを記憶する。
データ領域２１３は、フレーム特徴量ＤＢ（図６参照）として機能する。
データ領域２１６は、視聴者嗜好ＤＢ（図７参照）として機能する。
ストレージ４５０には、以下の処理を実行するプログラムが格納される。
映像処理プログラム４５１は、全体の処理を実行する。
フレーム特徴量照合モジュール４５２は、映像処理プログラム４５１において、フレーム特徴量の照合を処理する。
スコア加算モジュール４５３は、映像処理プログラム４５１において、視聴者嗜好ＤＢ２１６のシーングループのスコアを加算する。
視聴者嗜好判定モジュール４５４は、映像処理プログラム４５１において、視聴者嗜好ＤＢ２１６の蓄積データを使用して視聴者の嗜好を判定する。
なお、図４には、本実施形態に必須なデータ及びプログラムが示されており、ＯＳなどの汎用のデータ及びプログラムは図示されていない。
（受信フレーム特徴量）
図５は、本実施形態に係るフレーム特徴量記憶部２１２−１の構成を示すデータ構造である。なお、後述する第３実施形態におけるフレーム特徴量記憶部２１２−２と区別するため、本実施形態においてはフレーム特徴量記憶部２１２−１と記述する。
フレーム特徴量記憶部２１２−１は、視聴者ＩＤ５０１に対応付けられた受信フレーム特徴量５０２を記憶する。このように、フレーム特徴量記憶部２１２−１は、視聴者が視聴している映像を出力している端末からそれぞれ送信されるフレーム特徴量を、視聴者ＩＤ別に分けて記憶する。
なお、受信フレーム特徴量の容量は、受信データ量により受信エラーがない程度に確保されればよいため、映像データの記憶に比較して少ない記憶容量で実現できる。
（フレーム特徴量ＤＢ）
図６は、本実施形態に係るフレーム特徴量ＤＢ２１３の構成を示すデータ構造である。
フレーム特徴量ＤＢ２１３は、シーングループ６０１に含まれるシーンＩＤ６０２と、各シーンＩＤに対応する一連のフレーム特徴量６０３を蓄積する。このフレーム特徴量６０３が、受信フレーム特徴量と照合されて、受信フレーム特徴量がどのシーングループに属するかが分かる。
なお、シーングループは、純粋に一連のフレーム特徴量の差分値が所定範囲内にあるシーンを集めてもよいし、映像コンテンツの内容、ジャンルや扱われるテーマ、又は、映像に登場する人物又は被写体が、同一または互いに関連するシーンを集めてもよい。
また、ある同一のシーンが、複数のシーングループに登録されていてもよい。例えば、特定の人物の出演シーンを集めたシーングループに含まれるシーンが、特定の撮影現場で撮影されたシーンを集めた別のシーングループに含まれる場合などが含まれる。
なお、フレーム特徴量ＤＢ２１３の構成は、図６の構成に限定されず、他の必要な項目を追加してもよい。
（視聴者嗜好ＤＢ）
図７は、本実施形態に係る視聴者嗜好ＤＢ２１６の構成を示すデータ構造である。
視聴者嗜好ＤＢ２１６は、複数のシーングループ７０２に対応付けて、それぞれのスコア７０３を記憶する。複数のシーングループ７０２は、視聴者ＩＤ７０１に対応付けてこれまでに受信した各シーンのフレーム特徴量とフレーム特徴量ＤＢ２１３のフレーム特徴量と照合することで特定される。
このスコアが、視聴者の映像コンテンツの視聴によるフレーム特徴量の受信により、積算される。その結果、このスコアが所定の閾値より大きいシーングループが、視聴者が嗜好するシーンとなる。
さらに、シーングループを映像コンテンツのグループ又は映像の登場人物や物に対応付けることで、視聴者が嗜好するシーングループからさらに嗜好する映像コンテンツや登場人物などが判定可能である。
なお、各視聴者ＩＤに対応するシーングループを無制限に増加させると、視聴者嗜好ＤＢ２１６の容量が増え続けるので、スコアが所定の閾値より小さなシーングループを一定期間が過ぎると削除するなどの処理を実行するのが望ましい。
《映像処理装置の処理手順》
図８は、本実施形態に係る映像処理装置２１０の処理手順を示すフローチャートである。このフローチャートが示す動作は、図２に示す各機能構成部を用いて実現される。また、その動作は、図４のＣＰＵ４１０によりＲＡＭ４４０を使用して実行される。
まず、映像処理装置２１０は、フレーム特徴量を受信したか否か判定する（ステップＳ８１１）。
映像処理装置２１０が、フレーム特徴量を受信すると、映像処理装置２１０のフレーム特徴量照合部２１４は、受信したフレーム特徴量とフレーム特徴量ＤＢ２１３に記憶されたフレーム特徴量とを照合する（ステップＳ８１３）。続いてフレーム特徴量照合部２１４は、照合結果をフレーム特徴量ＤＢ２１３にフィードバックする。例えば、受信したフレーム特徴量が、いずれかのシーングループのフレーム特徴量と合致したら、受信したフレーム特徴量は、そのシーングループに追加される（ステップＳ８１５）。
一方、合致するシーングループが無ければ、新たなシーングループを生成することになる。かかる新たに生成されたシーングループは、今までの嗜好の分類から外れたグループであり、フレーム特徴量ＤＢ２１３への蓄積が進むにつれて、新たな嗜好を形成することになる。
映像処理装置２１０は、フレーム特徴量の合致があったか否かに応じて、その後の処理を変える（ステップＳ８１７）
フレーム特徴量の合致がない場合、新たに生成されたシーングループが視聴者嗜好ＤＢ２１６内の視聴者ＩＤに追加されて、新たなスコアが生成され、スコアの積算が開始されることになる（ステップＳ８１９）。
フレーム特徴量の合致がある場合、合致したシーングループのスコアが更新（増加）される（ステップＳ８２１）。
一方で、映像処理装置２１０は、視聴者嗜好情報の要求かあるか否かを判定する（ステップＳ８３１）。映像処理装置２１０は、視聴者嗜好情報の要求であれば、視聴者嗜好判定部２１７は、視聴者嗜好ＤＢ２１６から所望の視聴者ＩＤのスコアが読み出し、スコアに基づいて視聴者嗜好を分析する（ステップＳ８３３）。分析された視聴者嗜好あるいはスコアそのものが通信制御部２１１を介して要求者へ送信される（ステップＳ８３５）。
［第３実施形態］
次に、本発明の第３実施形態に係る映像処理システムについて説明する。
本実施形態に係る映像処理システムは、第２実施形態のスコアの更新の際に、視聴者の操作又は映像あるいはシーンへの反応に対応して、その量に重み付けをする例である。第３の実施形態は、第２の実施形態に比べより緻密な嗜好程度を分析できる。
なお、本実施形態では、主に、スコア更新の重み付けに関する情報と、処理手順における重み付けのタイミングを説明し、第２実施形態と同様の構成および動作は、説明を省略する。
（受信フレーム特徴量）
図９は、本実施形態に係るフレーム特徴量記憶部２１２−２の構成を示すブロック図である。
フレーム特徴量記憶部２１２−２は、第２実施形態で説明したフレーム特徴量に加え、他の重み付けに関連する情報を視聴者あるいは映像視聴用端末から受信して記憶する。
フレーム特徴量記憶部２１２−２は、視聴者ＩＤ９０１に対応付けて、フレーム特徴量９０２の他に、放送／再生９０３、再生方式９０４、視聴者の反応９０５、そして、それらの結果の重み合計９０６を記憶する。なお、重み付けのパラメータは図９に限定されない。
放送／再生９０３は、映像が直接の放送であるか、又は、再生であるかの情報である。直接の放送は、視聴者は放送を視聴していない可能性もある。一方、再生は、視聴者は意識的に再生して視聴していると考えられる。したがって、重み付けは、放送よりも再生の重みを大きくする。
再生方式９０４も放送／再生９０３に準じるものであり、録画番組の再生の重みよりも記憶媒体からの再生の方の重みを大きくする。
反応９０５は、視聴者のプラスの反応（肯定的反応）とマイナスの反応（否定的反応）がある。その反応は、直接に音声又はキー入力で受信してもよいし、また、視聴者の操作から判断してもよい。たとえば、早送りされた場合はマイナス、リピートされた場合はプラスとなる。
（重み設定テーブル）
図１０は、本実施形態に係る重み設定テーブル１０００のデータ構造を示す図である。
重み設定テーブル１０００は、図９に示した各重みの設定を定義するテーブルである。図９の重み設定テーブル１０００に記載のように、各重み付けの条件１００１に対応付けて重み１００２の数値が記憶される。数値はプラス／マイナスの数値でもよいし、１以上／１以下の乗算値であってもよい。なお、図１０の条件の項目はほんの数例であって、これに限定されない。
《映像処理装置の処理手順》
図１１は、本実施形態に係る映像処理装置の処理手順を示すフローチャートである。このフローチャートが示す動作は、図２に示す各機能構成部を用いて実現される。また、その動作は、第２実施形態に示した図４のストレージ４５０に重み設定テーブル１０００を追加した構成で、ＣＰＵ４１０によりＲＡＭ４４０を使用して実行される。
図１１のフローチャートは、重み付けのステップを除いて図８と同様である。したがって、重み付けのステップを主に説明し、図８と同じステップは、同じ番号を付して説明を省略する。
本実施形態は、スコアの更新（ステップＳ８２１）の前に、スコアの加算値に対して重み付けを行う（ステップＳ１１０１）。
［第４実施形態］
次に、本発明の第４実施形態に係る映像処理システムについて説明する。
本実施形態に係る映像処理システムは、上記第２および第３実施形態と比べ、フレーム特徴量ＤＢに記憶するフレーム特徴量が、シーン全体のフレーム特徴量ではなくその選択された一部である点で異なる。
選択された一部は、各シーンの特徴を表わす前部分、後部分、中間部分であってもよいし、その長さも変えることができる。
第４実施形態は、第２実施形態に比べてフレーム特徴量ＤＢの記憶容量を大幅に削減できる。なお、本実施形態では、主に、フレーム特徴量ＤＢの構成を説明し、第２または第３実施形態と同様の構成および動作は、説明を省略する。
（フレーム特徴量ＤＢ）
図１２は、本実施形態に係るフレーム特徴量ＤＢ１２１３の構成を示す図である。なお、本実施形態においては、フレーム特徴量ＤＢ１２１３は、第２実施形態における図２および図４のフレーム特徴量ＤＢ２１３に置き換えられる。
フレーム特徴量ＤＢ１２１３は、図６と同様のシーングループ６０１およびシーンＩＤ６０２に対応付けてフレーム特徴量を記憶する。但し、記憶されるのは、フレーム特徴量の記憶部分１２０４で指定されるシーンの一部のフレーム特徴量１２０３である。
ここで、フレーム特徴量の記憶部分１２０４は、シーン開始からの秒数（ｔ０は０秒、ｔ１０は１０秒を表わす）である。図１２の例では、各シーンを３０秒として説明するが、シーンの長さは可変であってよい。例えば、図１２の例では、シーンＩＤがＡ１のシーンについて、最初の１０秒間のフレーム特徴量が記憶されている。また、シーンＩＤがＡ２のシーンについて、中間にある１０秒〜２５秒間のフレーム特徴量が記憶されている。また、シーンＩＤがＥ３のシーンについて、最初の５秒間と中間にある１０秒〜２７秒間のフレーム特徴量が記憶されている。また、シーンＩＤがＢ１のシーンについて、最後の８秒間のフレーム特徴量が記憶されている。
なお、図１２は、フレーム特徴量の記憶部分１２０４が、開始からの秒数で表されているが、開始からの連番を振ったフレーム番号で１００フレーム目から２５０フレーム目までのように記憶されていてもよい。
［第５実施形態］
次に、本発明の第５実施形態に係る映像処理システムについて説明する。
本実施形態に係る映像処理システムは、上記第２乃至第４実施形態と比べ、シーンの被写体を示すタグなどの識別子を検索可能に記憶する被写体ＤＢをさらに設け、視聴者の嗜好を複数の視点から判定する点で異なる。
シーンの被写体は、番組の出演者などの人物、昆虫などの生物、或いは、山又は海・建築物などである。本実施形態は、シーンのフレーム特徴量という画像データの持つ特徴に加え、シーンの一部に含まれる被写体により、視聴者の嗜好を判定できる。例えば、対象の被写体が一瞬現われるシーン又は、背景の一部（例えば、フレーム内のテレビの画像又は絵画など）に被写体が現われるシーンなども考慮できる。
以下に、本実施形態が、上記第２乃至第４実施形態と異なる部分を説明し、第２乃至第４実施形態と同様の構成および動作は、説明を省略する。
本実施形態は、フレーム特徴量の合致によるシーングループと、被写体ＩＤの合致によるシーングループとを別に設けた例である。しかしながら、フレーム特徴量が合致するシーンと被写体が合致するシーンとを１つのシーングループとして組み合わせることも可能であり、より２つの視点を融合した視聴者の嗜好が可能となる。さらに、フレーム特徴量の合致と被写体ＩＤの合致とに視聴者の嗜好を判断するために異なる重みを持たせることも可能である。
《映像処理システムの構成》
図１３は、本実施形態に係る映像処理システム１３００の構成を示すブロック図である。なお、図１３は、映像処理装置を説明するための図であり、ネットワーク２７０に接続する機器は省略してある。また、第２実施形態と同じ機能構成部には同じ参照番号を付している。以下、第２実施形態との相違点について説明する。
被写体ＩＤ記憶部１３１２は、通信制御部２１１が受信した視聴用端末からの再生中の映像の被写体ＩＤを記憶する。なお、被写体ＩＤは、フレーム特徴量が示すシーンに対応するものであってもよいし、コンテンツ全体に対応するものであってもよい。
以下、本実施形態が、同時に受信するフレーム特徴量が示すシーンに対応する被写体ＩＤである場合を説明する。
被写体ＤＢ１３１３は、同じ被写体の映像を含む複数のシーンをシーングループとして記憶する（図１４参照）。
被写体照合部１３１４は、被写体ＩＤ記憶部１３１２が記憶する映像視聴用端末から受信した被写体ＩＤと、被写体ＤＢ１３１３に記憶された被写体ＩＤとを照合する。
スコア加算部１３１５は、被写体ＩＤが合致した場合にそのシーンのスコアを加算する。
視聴者嗜好ＤＢ１３１６は、第２実施形態の視聴者嗜好ＤＢ２１６におけるフレーム特徴量の合致によるシーングループのスコアとは別に、被写体ＩＤの合致によるシーングループのスコアを蓄積する（図１５参照）。
（被写体ＤＢ）
図１４は、本実施形態に係る被写体ＤＢ１３１３の構成を示す図である。
被写体ＤＢ１３１３は、シーングループ１４０１に含まれるシーンＩＤ１４０２と、各シーンＩＤに対応する被写体ＩＤ１４０３を記憶する。被写体照合部１３１４は、被写体ＤＢ１３１３の被写体ＩＤ１４０３と受信した被写体ＩＤとを照合する。この照合により、受信した被写体ＩＤがどのシーングループに属するかが分かる。なお、被写体ＤＢ１３１３の構成は、図１４の構成に限定されず、他の必要な項目が追加されてもよい。
（視聴者嗜好ＤＢ）
図１５は、本実施形態に係る視聴者嗜好ＤＢ１３１６の構成を示す図である。
視聴者嗜好ＤＢ１３１６は、視聴者ＩＤ１５０１が視聴した映像のフレーム特徴量又は被写体ＩＤ０が属する複数のシーングループ１５０２に対応付けて、それぞれの属性１５０３とスコア１５０４とを記憶する。視聴者の映像コンテンツの視聴によるフレーム特徴量の受信により、および／または、視聴者の映像コンテンツの被写体により、スコアが積算される。この結果、このスコアの大きいシーングループが、視聴者が嗜好するシーンとなる。
なお、各視聴者ＩＤに対応するシーングループを無制限に増加させると、視聴者嗜好ＤＢ２１６の容量が増え続けることになる。このため、スコアの小さなシーングループを一定期間が過ぎると削除する、などの処理を実行するのが望ましい。
《映像処理装置の処理手順》
図１６は、本実施形態に係る映像処理装置１３１０の処理手順を示すフローチャートである。このフローチャートが示す動作は、図１３に示す各機能構成部を用いて実現される。また、その動作は、第２実施形態で示した図４のストレージ４５０に被写体ＤＢ１３１３を追加した構成で、ＣＰＵ４１０によりＲＡＭ４４０を使用して実行される。
なお、図１６において、第２実施形態の図８と同様の手順は、同じ参照番号を付して、説明は省略する。本実施形態の特徴部分は、ステップＳ１６４１からＳ１６５１の部分である。
まず、映像処理装置１３１０は、被写体ＩＤを受信したか否かを判定する（ステップＳ１６４１）。
次に、映像処理装置１３１０は、被写体ＩＤを受信すると、映像処理装置１３１０の被写体照合部１３１４は、受信した被写体ＩＤと被写体ＤＢ１３１３に記憶された被写体ＩＤとを照合する（ステップＳ１６４３）。続いて、被写体照合部１３１４は、照合結果を被写体ＤＢ１３１３にフィードバックする（ステップＳ１６４５）。例えば、受信した被写体ＩＤが、被写体ＤＢに記憶された、いずれかのシーングループの被写体ＩＤと合致したら、被写体照合部１３１４は、受信した被写体ＩＤをそのシーングループに追加する。一方、合致するシーングループが無ければ、被写体照合部１３１４は、新たなシーングループを生成する。
映像処理装置１３００は、受信した被写体ＩＤと被写体ＤＢ１３１３に記憶された被写体ＩＤとの合致があったか否かに基づいて異なった処理を行う（ステップＳ１６４７）。
被写体ＩＤが合致しない場合、スコア加算部１３１５は、新たに生成されたシーングループを視聴者嗜好ＤＢ１３１６内の視聴者ＩＤに追加し、新たなスコアの積算を開始する（ステップＳ１６４９）。
被写体ＩＤが合致した場合、スコア加算部１３１５は、合致したシーングループのスコアを更新（増加）する（ステップＳ１６５１）。
［第６実施形態］
次に、本発明の第６実施形態に係る映像処理システムについて説明する。本実施形態に係る映像処理システムは、上記第５実施形態と比べ、フレーム特徴量ＤＢと被写体ＤＢとを一体化して、複数の視点を関連付けて視聴者の嗜好を判定する点で異なる。
本実施形態は、フレーム特徴量の合致では判断できない視聴者のより詳細、又は、徴妙な嗜好を判断できる。なお、以下の本実施形態の説明では、第２乃至第５実施形態と同様の構成、動作についての説明を省略し、第２乃至第５実施形態と異なる部分を説明する。
また、本実施形態では、複数の視点を関連付けて判定する方法として、フレーム特徴量の合致でシーングループを定め、被写体ＩＤの合致か否かでスコアの増加量を決定するが、複数の視点を関連付けて判定する方法は、これに限定されない。
逆に、被写体ＩＤの合致でシーングループを定め、フレーム特徴量の合致か否かでスコアの増加量を決定してもよい。また、両方が合致した場合に、スコアを増加するようにしてもよい。
《映像処理システムの構成》
図１７は、本実施形態に係る映像処理システム１７００の構成を示すブロック図である。なお、図１７は、映像処理装置を説明するための図であり、ネットワーク２７０に接続する機器は省略してある。また、第２実施形態と同じ機能構成部には同じ参照番号を付している。以下、第２実施形態との相違点について説明する。
被写体ＩＤ記憶部１７１２は、通信制御部２１１が受信した映像視聴用端末からの再生中の映像の被写体ＩＤを記憶する。なお、被写体ＩＤは、フレーム特徴量が示すシーンに対応するものである。
フレーム特徴量／被写体ＤＢ１７１３は、派生したフレーム特徴量を記憶し、かつ、同じ被写体の映像を含む複数のシーンをシーングループとして記憶する（図１８参照）。
被写体照合部１７１４は、被写体ＩＤ記憶部１７１２が記憶する映像視聴用端末から受信した被写体ＩＤと、フレーム特徴量／被写体ＤＢ１７１３に記憶された被写体ＩＤとを照合する。
スコア加算部１７１５は、フレーム特徴量が合致した場合に被写体ＩＤが合致したか否かに対応してそのシーンのスコアを加算する。
視聴者嗜好ＤＢ１７１６は、第４実施形態の視聴者嗜好ＤＢ１３１６におけるフレーム特徴量の合致と被写体ＩＤの合致とによる別個のシーングループのスコアとは異なり、フレーム特徴量が合致した場合に被写体ＩＤが合致したか否かに対応してカウントするシーングループのスコアを蓄積する。
なお、視聴者嗜好ＤＢ１７１６は、カウントの条件が異なるが、その構成は、第２実施形態の図７と同様であり、説明は省略する。
（フレーム特徴量／被写体ＤＢ）
図１８は、本実施形態に係るフレーム特徴量／被写体ＤＢ１７１３の構成を示す図である。
フレーム特徴量／被写体ＤＢ１７１３は、シーングループ１８０１に含まれるシーンＩＤ１８０２と、各シーンＩＤに対応するフレーム特徴量１８０３と被写体ＩＤ１８０４を記憶する。被写体照合部２１４は、フレーム特徴量／被写体ＤＢ１７１３のフレーム特徴量１８０３と受信したフレーム特徴量とを照合する。この照合により、受信したフレーム特徴量がどのシーングループに属するかが分かる。
そして被写体照合部１７１４は、フレーム特徴量／被写体ＤＢ１７１３に記憶された被写体ＩＤ１８０４と受信した被写体ＩＤとを照合して、被写体ＩＤが合致したか否かによりシーングループのスコアの増加量を決定する。なお，フレーム特徴量／被写体ＤＢ１７１３のデータ構造は、図１８の構成に限定されず、他の必要な項目が追加されてもよい。
《映像処理装置の処理手順》
図１９は、本実施形態に係る映像処理装置１７１０の処理手順を示すフローチャートである。このフローチャートが示す動作は、図１７に示す各機能構成部を用いて実現される。また、その動作は、第２の実施形態で示した図４のストレージ４５０にフレーム特徴量／被写体ＤＢ１７１３を追加した構成で、ＣＰＵ４１０によりＲＡＭ４４０を使用して実行される。
なお、図１９は、図８のステップＳ８１１〜Ｓ８２１の変形であり、図８と同様のステップには同じ参照番号を付して、説明は省略する。また、ステップＳ８３１〜Ｓ８３５についても、同様であるので省略する。
映像処理装置１７１０は、視聴用端末からのフレーム特徴量および被写体ＩＤの受信か否かを判定する（ステップＳ１９１１）。
次に、映像処理装置１７１０は、フレーム特徴量および被写体ＩＤを受信すると、フレーム特徴量の照合（ステップＳ８１３）から照合結果に基づくスコア生成又はスコア更新（ステップＳ８２１）まで、図８と同様の処理を行う。但し、図８のフレーム特徴量ＤＢの代わりに、フレーム特徴量／被写体ＤＢを用いる。
次に、被写体照合部１７１４は、受信した被写体ＩＤとフレーム特徴量／被写体ＤＢ１８１３に記憶された被写体ＩＤと照合する（ステップＳ１９１３）。照合結果をフレーム特徴量／被写体ＤＢ１８１３にフィードバックする（ステップＳ１９１５）。例えば、いずれかのシーングループの被写体ＩＤと合致したら、被写体照合部１７１４は、受信した被写体ＩＤをそのシーングループに追加する。一方、合致するシーングループが無ければ、被写体照合部１７１４は、新たなシーングループを生成する。
映像処理装置１７１０は、受信した被写体ＩＤとフレーム特徴量／被写体ＤＢ１７１３に記憶された被写体ＩＤとの合致があったか否かに基づいて異なった処理を行う（ステップＳ１９１７）。
被写体ＩＤが合致しない場合、スコア加算部１７１５は、ステップＳ８２１において更新したスコアを減少する（ステップＳ１９２１）。
一方、被写体ＩＤが合致する場合、ステップＳ８２１において更新したスコアを増加する（ステップＳ１９１９）。
このように、フレーム特徴量が合致してかつ被写体ＩＤが合致すればスコアはさらに増加し、一方、フレーム特徴量が合致しても被写体ＩＤが合致しなければスコアが減少する。
［第７実施形態］
次に、本発明の第７実施形態に係る映像処理システムについて説明する。本実施形態に係る映像処理システムは、上記第２乃至第６実施形態と比べ、映像視聴用端末からの再生中映像のフレーム特徴量および／または過去の視聴履歴から認識した視聴者の嗜好に基づいて、視聴者がまだ視聴していないコンテンツを視聴者に通知する点が追加される。
本実施形態は、視聴者の嗜好を判断した上で、視聴者の未視聴のコンテンツを通知・紹介することができる。なお、以下の本実施形態の説明では、第２乃至第６実施形態と同様の構成、動作についての説明を省略し、第２乃至第６実施形態と異なる部分を説明する。
《映像処理システムの構成》
図２０は、本実施形態に係る映像処理システム２０００の構成の一部を示すブロック図である。なお、図２０は、映像処理装置２０１０を説明するための図であり、ネットワーク２７０に接続する機器は省略してある。また、第２実施形態と同じ機能構成部には同じ参照番号を付している。以下、第２実施形態との相違点について説明する。
映像処理装置２０１０のコンテンツ情報ＤＢ２０１３は、フレーム特徴量ＤＢ２１３に蓄積されたフレーム特徴量を含むコンテンツ情報を蓄積する。なお、コンテンツ情報の例は、コンテンツ自身のデータ又はコンテンツを識別する識別子であるコンテンツＩＤとなる（図２１参照）。
視聴済ＤＢ２０１６は、視聴者を識別する視聴者ＩＤに対応付けて、既に視聴した視聴済コンテンツＩＤを蓄積する。なお、視聴者が視聴したコンテンツ以外に視聴はしていないが保有しているコンテンツ、あるいは家族又は友人が所有しているコンテンツを、容易に視聴可能なコンテンツとして視聴済ＤＢ２０１６に蓄積してもよい。
未視聴情報通知部２０１７は、通知候補コンテンツ群の中から、視聴済ＤＢ２０１６に蓄積されたコンテンツを除いて視聴者にコンテンツの候補を通知する。通知候補コンテンツ群は、再生中の映像のフレーム特徴量および／または過去の視聴履歴から認識した視聴者の嗜好に基づいて、未視聴情報通知部２０１７がコンテンツ情報ＤＢ２０１３から検索する。
なお、本実施形態では、再生中映像のフレーム特徴量から判断した派生コンテンツ又は視聴者嗜好に基づくコンテンツを通知候補コンテンツとする例を示すが、通知候補コンテンツを検索する他の条件を含むこともできる。すなわち、未視聴情報通知部２０１７による通知で視聴者の購買意欲を高める宣伝効果を得ることも可能になる。
（コンテンツ情報ＤＢ）
図２１は、本実施形態に係るコンテンツ情報ＤＢ２０１３の構成を示す図である。
コンテンツ情報ＤＢ２０１３は、フレーム特徴量２１０２に紐付けられてコンテンツＩＤ２１０１を蓄積する。かかるコンテンツ情報ＤＢ２０１３は、過去に映像視聴用端末で再生されてフレーム特徴量が送信されたコンテンツ情報、あるいは映像コンテンツ配信サーバなどからフレーム特徴量が送信されたコンテンツ情報を蓄積する。
（視聴済ＤＢ）
図２２は、本実施形態に係る視聴済ＤＢ２０１６の構成を示す図である。
視聴済ＤＢ２０１６は、視聴者ＩＤ２２０１に対応付けられて視聴済コンテンツＩＤ２２０２を蓄積する。上述の如く、視聴済ＤＢ２０１６は、視聴者が視聴したコンテンツ以外に未視聴で視聴者が保有するコンテンツ、あるいは、家族又は友人が所有するコンテンツを蓄積してもよい。
《映像処理装置の処理手順》
図２３は、本実施形態に係る映像処理装置２０１０の処理手順を示すフローチャートである。このフローチャートは、コンテンツ情報ＤＢ２０１３および視聴済ＤＢ２０１６が追加されて図４のＣＰＵ４１０によりＲＡＭ４４０を使用しながら実行され、図２０の各機能構成部が実現される。なお、図２３には、未視聴情報を映像視聴用端末から要求された場合のステップのみを示し、図８、図１１、図１６、図１９で示した他のステップの記載は省略してある。図２３をいずれかにも組み込むことが可能である。
ステップＳ２３６１においては、未視聴情報を映像視聴用端末から要求されたか否かが判定される。未視聴情報を映像視聴用端末から要求された場合はステップＳ２３６３に進んで、映像視聴用端末から送信されたフレーム特徴量から選別した派生コンテンツＩＤを、コンテンツ情報ＤＢ２０１３から収集する。次に、ステップＳ２３６５において、映像視聴用端末からの視聴者ＩＤに基づいて視聴者嗜好ＤＢから獲得した視聴者嗜好に合致するコンテンツＩＤを、コンテンツ情報ＤＢ２０１３から収集する。
次に、ステップＳ２３６７において、映像視聴用端末からの視聴者ＩＤに基づいて視聴済ＤＢ２０１６から視聴済コンテンツＩＤを読み出して、ステップＳ２３６３および／またはＳ２３６５で収集したコンテンツＩＤ群から除いて、未視聴コンテンツを抽出する。ステップＳ２３６９においては、抽出された未視聴コンテンツを映像視聴用端末から視聴者に通知する。通知の形式は、コンテンツＩＤであっても、コンテンツ名称などの情報であっても、コンテンツの一部あるいはサムネールなどであってもよい。
［第８実施形態］
次に、本発明の第８実施形態に係る映像処理システムについて説明する。本実施形態に係る映像処理システムは、上記第７実施形態と比べると、映像視聴用端末から視聴者に通知する情報が未視聴コンテンツの入手が可能な接続先情報（例えば、ＵＲＬなど）である点が異なる。本実施形態によれば、視聴者の嗜好を判断した上で、視聴者の未視聴のコンテンツを視聴者の簡単な操作で取得可能に通知・紹介することができる。なお、本実施形態においては、上記第７実施形態と異なる部分を説明する。その他の構成および動作は第７実施形態と同様であるため説明を省略する。
（コンテンツ情報ＤＢ）
図２４は、本実施形態に係るコンテンツ情報ＤＢ２４１３のデータ構造を示す図である。
図２４のコンテンツ情報ＤＢ２４１３は、フレーム特徴量２４０２に紐付けられたコンテンツＩＤ２４０１と、コンテンツの入手先を蓄積する。なお、図２４の示すコンテンツ入手先は、ＵＲＬの例を示したが、コンテンツ作成元あるいはコンテンツ発行元又はコンテンツ配信元などの連絡先でもよい。
［他の実施形態］
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステム、または、装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバも、本発明の範疇に含まれる。
この出願は、２０１１年８月４日に出願された日本出願特願２０１１−１７０８６４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
（付記）
（付記１）
視聴者に対応付けて、前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴付けるフレーム特徴量を記憶する第１記憶手段と、
一連のフレームで構成されるシーンのフレーム特徴量を、前記シーンが有する属性によりグループ分けしてシーングループとして記憶する第２記憶手段と、
前記第１記憶手段に記憶されたフレーム特徴量と前記第２記憶手段に記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積手段と、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定手段と、
を備えることを特徴とする映像処理装置。
（付記２）
前記第１記憶手段は、シーンに含まれる一連のフレームの当該シーンを特徴づける一部のフレームのフレーム特徴量を記憶することを特徴とする請求項１に記載の映像処理装置。
（付記３）
前記第１記憶手段は、前記視聴者が前記映像コンテンツの視聴を要求した程度に対応する重みをさらに記憶し、
前記関心度累積手段は、前記スコアの増加に前記重みを付けることを特徴とする請求項１または２に記載の映像処理装置。
（付記４）
前記重み付けは、前記視聴者による前記映像コンテンツの視聴方法に対応し、番組として視聴した場合よりも記憶媒体からの視聴に大きな重みを付けることを特徴とする請求項３に記載の映像処理装置。
（付記５）
前記重み付けは、前記視聴者による前記映像コンテンツの視聴に対する前記視聴者の反応に対応し、前記視聴者による肯定的な反応に対応して大きな重みを付けることを特徴とする請求項３または４に記載の映像処理装置。
（付記６）
前記シーンが有する属性は、前記シーンを含む映像コンテンツの属性に対応し、
前記第２記憶手段は、さらに、一連のフレームで構成されるシーンに含まれる被写体を、前記シーンが有する属性によりグループ分けしてシーングループとして記憶し、
前記関心度累積手段は、前記フレーム特徴量の照合と前記被写体の照合との組合せに基づいて、シーングループへの関心度を表わすスコアを増加させることを特徴とする請求項１乃至５のいずれか１項に記載の映像処理装置。
（付記７）
前記シーンが有する属性は、１つのシーンから派生した派生シーンであることを示す属性を含むコンテンツの属性を含むことを特徴とする請求項１乃至６のいずれか１項に記載の映像処理装置。
（付記８）
前記シーンのフレーム特徴量を含む映像コンテンツを記憶する第３記憶手段と、
前記視聴者嗜好判定手段が判定した前記視聴者が嗜好するシーングループに含まれるシーンのフレーム特徴量を有する映像コンテンツの情報を前記第３記憶手段から検索し、映像視聴用端末に通知する通知手段と、
をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の映像処理装置。
（付記９）
前記視聴者に対応付けて、前記視聴者が既に視聴した映像コンテンツの情報を記憶する第４記憶手段をさらに備え、
前記通知手段は、前記第３記憶手段から検索した、前記視聴者が嗜好するシーングループに含まれるシーンのフレーム特徴量を有する映像コンテンツの情報から、前記視聴者が既に視聴した映像コンテンツの情報を除いて、前記映像視聴用端末に通知することを特徴とする請求項８に記載の映像処理装置。
（付記１０）
前記フレーム特徴量は、各フレームに異なるサイズで設定された複数の領域対の各領域対に対して算出された領域特徴量の差分を領域対の数の分組み合せたデータであることを特徴とする請求項１乃至９のいずれか１項に記載の映像処理装置。
（付記１１）
前記領域特徴量は、輝度で表わされることを特徴とする請求項１０に記載の映像処理装置。
（付記１２）
視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴付けるフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積ステップと、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定ステップと、
を含むことを特徴とする映像処理装置の制御方法。
（付記１３）
視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴付けるフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積ステップと、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
（付記１４）
視聴者が視聴した映像コンテンツに基づいて前記視聴者の嗜好を判定する映像処理システムであって、
前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴つけるフレーム特徴量を抽出するフレーム特徴量抽出手段と、
視聴者に対応付けて、前記フレーム特徴量抽出手段が抽出したフレーム特徴量を記憶する第１記憶手段と、
一連のフレームで構成されるシーンのフレーム特徴量を、前記シーンが有する属性によりグループ分けしてシーングループとして記憶する第２記憶手段と、
前記第１記憶手段に記憶されたフレーム特徴量と前記第２記憶手段に記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積手段と、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定手段と、
を備えることを特徴とする映像処理システム。
（付記１５）
視聴者が視聴した映像コンテンツに基づいて前記視聴者の嗜好を判定する視聴者の嗜好判定方法であって、
前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴つけるフレーム特徴量を抽出するフレーム特徴量抽出ステップと、
視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツに含まれるフレームのフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積ステップと、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定ステップと、
を含むことを特徴とする視聴者の嗜好判定方法。
なお、本明細書で使用される文言「一致」は完全に同一である場合を示し、文言「合致」は所定の類似度の範囲内にあると判断される場合を示すものとする。
［第１実施形態］
本発明の第１実施形態としての映像処理システム１００について、図１を用いて説明する。
図１に示すように、映像処理システム１００は、第１記憶部１１０と、第２記憶部１２０と、関心度累積部１３０と、視聴者嗜好判定部１４０と、を含む。
第１記憶部１１０は、視聴者に対応付けて、視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴付けるフレーム特徴量を記憶する。
第２記憶部１２０は、一連のフレームで構成されるシーンのフレーム特徴量を、シーンが有する属性によりグループ分けしてシーングループとして記憶する。
関心度累積部１３０は、第１記憶部１１０に記憶されたフレーム特徴量と第２記憶部１２０に記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合には、フレーム特徴量が合致したシーングループへの関心度を表わす、視聴者のスコアを増加させる。
視聴者嗜好判定部１４０は、スコアのより高いシーングループを、視聴者が嗜好するシーングループと判定する。
本実施形態によれば、視聴者の継続的な視聴内容から視聴者の嗜好を判定すること及び視聴者の嗜好の変化に追随することがきる。
［第２実施形態］
次に、本実施形態に係る映像処理システムについて説明する。
本実施形態に係る映像処理システムは、映像視聴用端末、映像コンテンツ配信サーバ、映像処理装置を備える。
映像視聴用端末は、映像コンテンツ配信サーバから配信された映像コンテンツの視聴時に、映像コンテンツを構成する各フレームからフレーム特徴量を抽出して、映像処理装置に送信する。
映像処理装置は、映像視聴用端末から受信したフレーム特徴量と、映像処理装置のフレーム特徴量ＤＢ（ＤＡＴＡＢＡＳＥ）に保存されたフレーム特徴量と照合する。フレーム特徴量Ｄには、シーングループと対応づけてシーンの特徴量を構造化したフレーム特徴量が保存されている。シーングループは、映像コンテンツのジャンル又はシーンごとの出演者などのユーザ嗜好分類ごとに設定される。
そして、映像処理装置は、照合の結果、フレーム特徴量が合致したシーングループのスコアを加算する。この処理を集積することにより、スコアの大きいシーングループが視聴者の嗜好する映像コンテンツの内容、あるいはシーンと判定する。
本実施形態によれば、映像視聴用端末を使った視聴者の視聴および再生動作から、簡単に視聴者の嗜好を判定できる。
《映像処理システムの構成》
図２は、本実施形態に係る映像処理システム２００の構成を示すブロック図である。
映像処理装置２１０は、映像コンテンツの各フレームを特徴付けるフレーム特徴量を蓄積するフレーム特徴量ＤＢ２１３を有する。フレーム特徴量は、映像コンテンツの一連のフレームで構成されるシーン間の関連に対応付けてフレーム特徴量ＤＢ２１３に蓄積される（図６参照）。「シーン間の関連に」とは、例えば、「シーン１」、「シーン２」のいずれも風景の映像の場合に、その風景の映像のシーングループという形でまとめられることを表す。
また、フレーム特徴量ＤＢ２１３には、既に入力された各シーンのフレーム特徴量が、シーン間の関連に対応して構造化されて格納されている。例えば、「シーン１」と「シーン２」が風景の映像（風景関連）であるときに、風景に対応して構造化され格納される。
なお、フレーム特徴量ＤＢ２１３の一例としては、図６のシーンＩＤ６０２を含まず、シーンの分類を表すシーングループとフレーム特徴量だけを対応づけた構成としてもよい。
映像処理装置２１０は、ネットワーク２７０を介して各サーバ又は映像視聴用端末と通信する通信制御部２１１を有する。なお、通信は有線であっても無線であっても構わない。
映像処理装置の２１０のフレーム特徴量記憶部２１２は、通信制御部２１１で受信する映像コンテンツの一連のフレーム特徴量を、視聴者を識別する視聴者ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に対応付けて記憶する。
映像処理装置２１０のフレーム特徴量照合部２１４は、既にフレーム特徴量ＤＢ２１３に構造化されて格納されている各シーンのフレーム特徴量と、フレーム特徴量記憶部２１２に記憶されているフレーム特徴量とを照合する。そして、フレーム特徴量が合致したか否かの照合結果をスコア加算部２１５に出力する。
映像処理装置２１０のスコア加算部２１５は、フレーム特徴量照合部２１４の照合結果にしたがって、視聴者嗜好ＤＢ２１６の視聴者ＩＤに対応付けられた各シーングループのスコアを加算する。
視聴者嗜好ＤＢ２１６は、視聴者ＩＤに対応付けて各シーングループのスコアを記憶する（図７参照）。
映像処理装置２１０の視聴者嗜好判定部２１７は、通信制御部２１１を介した外部からの要求を受けて、視聴者嗜好ＤＢ２１６を参照し、視聴者の嗜好の情報を判定して結果を通知する。
なお、視聴者嗜好判定部２１７が視聴者の嗜好を判定することに加え、視聴者の嗜好に合致する映像コンテンツの情報などを特定することも可能であり、特定した映像コンテンツの情報などを通知することも可能である。
図２の映像処理装置２１０に示す、通信制御部２１、フレーム特徴量記憶部２１２、フレーム特徴量照合部２１４、スコア加算部２１５、視聴者嗜好ＤＢ２１６、視聴者嗜好判定部２１７のそれぞれを繋ぐ破線は、視聴者ＩＤの伝達の動きを表わす。
なお、視聴者ＩＤは、例えば、映像視聴用端末２２０〜２４０の端末固有のＩＤ又は、その端末へのログインＩＤ、あるいは映像処理装置２１０に関連づけられて提供されるインターネット上のサービスへのログインＩＤの形で決定され、通信制御部２１１に伝達される。
図２の２２０〜２４０は、映像コンテンツを視聴する映像視聴用端末である。
映像視聴用端末２２０〜２４０は、それぞれフレーム特徴量抽出部２２０ａ〜２４０ａを有する。映像視聴用端末２２０〜２４０は、映像コンテンツ配信サーバ２５０又は２６０から映像コンテンツをダウンロードして視聴する場合、フレーム特徴量抽出部２２０ａ〜２４０ａを用いてフレーム特徴量を生成して映像処理装置２１０に送信する。
また、映像視聴用端末２２０〜２４０は、ビデオの再生又は放送番組の録画再生を行なう場合も、映像コンテンツの再生時にフレーム特徴量抽出部２２０ａ〜２４０ａを用いてフレーム特徴量を生成して映像処理装置２１０に送信する。
なお、映像処理装置２１０による映像コンテンツのフレーム特徴量の受信は、上記の場合に限定されない。映像処理装置２１０で蓄積するフレーム特徴量は、世界のあらゆるメディアを介して流通する映像コンテンツを対象にする。
また、フレーム特徴量抽出部２２０ａ〜２４０ａは、１チップのＩＣ回路で製造されて各端末および装置に搭載されることが好ましい。あるいは、フレーム特徴量抽出用のフログラムを各端末および装置にダウンロードする構成にすれば、端末、又は、装置への搭載が簡易になり、標準化されたフレーム特徴量による統一された処理が可能になる。
《フレーム特徴量抽出部》
図３Ａは、本実施形態に係るフレーム特徴量抽出部２２０ａ〜２４０ａの構成を示すブロック図である。本実施形態で適用されるフレーム特徴量抽出部２２０ａ〜２４０ａは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）７の標準化で採用されているビデオシグネチャを抽出する機能構成部である。
図３Ａにおいて、フレーム特徴量抽出部２２０ａ〜２４０ａから出力されるフレーム特徴量３５０は、撮影された映像の各フレーム画像中の所定の領域間の領域特徴量を表す平均輝度値の差分を量子化（実際には３値に）し、符号化したものである。ここで所定の領域とは、撮影された映像の各フレーム画像中に設けた多数の、サイズの大小又は形状の異なる領域対をいう。
次元決定部３１０は、領域対の数を決定する。１次元が１領域対に相当する。
抽出領域取得部３２０は、次元決定部３１０の決定にしたがって、フレーム特徴量を算出する各次元の領域対を取得する。
領域特徴量算出部３３０は、第１領域特徴量算出部３３１と第２領域特徴量算出部３３２とを有する。それぞれの領域特徴量算出部は、各次元の領域対の一方の領域の領域特徴量の一種である平均輝度を算出する。
領域特徴量差分符号化部３４０は、領域対のそれぞれの平均輝度の差分を取る。さらに、領域特徴量差分符号化部３４０は、その差分を第３閾値にしたがって量子符号化してフレーム特徴量３５０を出力する。
なお、本例では、以下、平均輝度により領域の領域特徴量を代表させて説明するが、領域の領域特徴量は、平均輝度には限定されず、輝度の他の処理又は輝度以外のフレームの特徴量も適用できる。
図３Ｂは、本実施形態に係るフレーム特徴量抽出部２２０ａ〜２４０ａにおける処理を示す図である。
図３Ｂの３００は、図３Ａの抽出領域取得部３２０が取得した領域対の数例を示している。図中、７つの大きな矩形は、それぞれ１つのフレーム画像を示し、フレーム内部の各矩形は、領域を示している。
図３Ｂの３３０ａは、１つのフレーム画像内において、抽出領域取得部３２０からの領域対により抽出された領域とその領域間の差分を取る関係を表現したものである。
１つのフレーム画像内に領域対の２つの領域が抽出されて、それぞれの領域に含まれる画素の平均輝度が算出され、その差分が算出さる様子を各領域の中心を結ぶ矢印で示している。
図３Ｂの３４０ａは、算出された差分を量子符号化する様子を示したものである。３４０ａでは、図３Ａにおける第１領域特徴量から第２領域特徴量を差し引いた差分が、差分“０”（平均輝度が等しい場合に相当）を中心とする上記第３閾値である破線で示した差分内であれば、“０”を量子符号化の出力値とする。
同じ差分が破線位置よりも大きな正（＋）の値であれば、“＋１”を量子符号化の出力値とする。同じ差分が破線位置よりも大きな負（−）の値であれば、“−１”を量子符号化の出力値とする。
このように、“−１”、“０”、“＋１”の３値に符号化するのは、できるだけ多次元とすることでフレーム特徴量の分離を容易にし、かつフレーム特徴量の照合の計算量を削減するためである。したがって、上記３値の例に限定する必要はない。
なお、破線で示す第３閾値は、使用される全次元の差分値の分布から“０”と量子化する差分値の割合から選定される。一例としては、“０”と量子化する差分値の割合を５０％にするような値を選定する。
図３Ｂの３５０ａは、差分の量子符号化の結果を集めて生成されたフレーム特徴量の例を示している。フレーム特徴量は、簡単な例としては、差分の量子符号化された値を一次元方向に次元順に並べたものである。
なお、単純に差分の量子符号化された値を一次元方向に次元順に並べたものではなく、多次元方向に並べたもの又はさらに追加の演算を加えたものであってもよく、本例には限定されない。
図３Ｃは、本実施形態に係るフレーム特徴量抽出部２２０ａ〜２４０ａにおける抽出領域を示す図である。
図３Ｂの３２０ａは、各次元の領域対が、２つの矩形領域の例を示した。しかし、フレームを適切に表現するフレーム特徴量を算出するためには、矩形以外の形状が望ましい場合もある。
図３Ｃに示す抽出領域は、各次元の領域対が、２つの矩形領域ではない例を示している。
なお、図３Ｂの３４０ａで示したように、各次元を３値化することにより、実時間のフレーム特徴量の照合又は、フレーム特徴量の集合である映像コンテンツのフレーム特徴量群の照合を実現する場合であっても、数百次元を設定することが可能である。
《映像処理装置のハードウェア構成》
図４は、本実施形態に係る映像処理装置２１０のハードウェア構成を示すブロック図である。
図４で、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１０は、演算制御用のプロセッサであり、プログラムを実行することで図２の各機能構成部を実現する。
ＲＯＭ（Ｒｅａｄ Ｏｎ Ｍｅｍｏｒｙ）４２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。
通信制御部２１１は、映像視聴用端末２２０〜２４０あるいは映像コンテンツ配信サーバ２５０，２６０と通信する。なお、通信は無線でも有線でもよい。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４４０は、ＣＰＵ４１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ４４０には、本実施形態の実現に必要なデータを記憶するデータ領域２１２、４４１、４４２が確保される。
データ領域２１２は、視聴者ＩＤに対応して受信フレーム特徴量を記憶するフレーム特徴量記憶部（図５参照）として機能する。
データ領域４４１は、フレーム特徴量を照合中の視聴者ＩＤを記憶する。
データ領域４４２は、フレーム特徴量の照合の結果、合致したシーングループを記憶する。
ストレージ４５０は、データベース又は各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムを記憶する。
データ領域２１３は、フレーム特徴量ＤＢ（図６参照）として機能する。
データ領域２１６は、視聴者嗜好ＤＢ（図７参照）として機能する。
ストレージ４５０には、以下の処理を実行するプログラムが格納される。
映像処理プログラム４５１は、全体の処理を実行する。
フレーム特徴量照合モジュール４５２は、映像処理プログラム４５１において、フレーム特徴量の照合を処理する。
スコア加算モジュール４５３は、映像処理プログラム４５１において、視聴者嗜好ＤＢ２１６のシーングループのスコアを加算する。
視聴者嗜好判定モジュール４５４は、映像処理プログラム４５１において、視聴者嗜好ＤＢ２１６の蓄積データを使用して視聴者の嗜好を判定する。
なお、図４には、本実施形態に必須なデータ及びプログラムが示されており、ＯＳなどの汎用のデータ及びプログラムは図示されていない。
（受信フレーム特徴量）
図５は、本実施形態に係るフレーム特徴量記憶部２１２−１の構成を示すデータ構造である。なお、後述する第３実施形態におけるフレーム特徴量記憶部２１２−２と区別するため、本実施形態においてはフレーム特徴量記憶部２１２−１と記述する。
フレーム特徴量記憶部２１２−１は、視聴者ＩＤ５０１に対応付けられた受信フレーム特徴量５０２を記憶する。このように、フレーム特徴量記憶部２１２−１は、視聴者が視聴している映像を出力している端末からそれぞれ送信されるフレーム特徴量を、視聴者ＩＤ別に分けて記憶する。
なお、受信フレーム特徴量の容量は、受信データ量により受信エラーがない程度に確保されればよいため、映像データの記憶に比較して少ない記憶容量で実現できる。
（フレーム特徴量ＤＢ）
図６は、本実施形態に係るフレーム特徴量ＤＢ２１３の構成を示すデータ構造である。
フレーム特徴量ＤＢ２１３は、シーングループ６０１に含まれるシーンＩＤ６０２と、各シーンＩＤに対応する一連のフレーム特徴量６０３を蓄積する。このフレーム特徴量６０３が、受信フレーム特徴量と照合されて、受信フレーム特徴量がどのシーングループに属するかが分かる。
なお、シーングループは、純粋に一連のフレーム特徴量の差分値が所定範囲内にあるシーンを集めてもよいし、映像コンテンツの内容、ジャンルや扱われるテーマ、又は、映像に登場する人物又は被写体が、同一または互いに関連するシーンを集めてもよい。
また、ある同一のシーンが、複数のシーングループに登録されていてもよい。例えば、特定の人物の出演シーンを集めたシーングループに含まれるシーンが、特定の撮影現場で撮影されたシーンを集めた別のシーングループに含まれる場合などが含まれる。
なお、フレーム特徴量ＤＢ２１３の構成は、図６の構成に限定されず、他の必要な項目を追加してもよい。
（視聴者嗜好ＤＢ）
図７は、本実施形態に係る視聴者嗜好ＤＢ２１６の構成を示すデータ構造である。
視聴者嗜好ＤＢ２１６は、複数のシーングループ７０２に対応付けて、それぞれのスコア７０３を記憶する。複数のシーングループ７０２は、視聴者ＩＤ７０１に対応付けてこれまでに受信した各シーンのフレーム特徴量とフレーム特徴量ＤＢ２１３のフレーム特徴量と照合することで特定される。
このスコアが、視聴者の映像コンテンツの視聴によるフレーム特徴量の受信により、積算される。その結果、このスコアが所定の閾値より大きいシーングループが、視聴者が嗜好するシーンとなる。
さらに、シーングループを映像コンテンツのグループ又は映像の登場人物や物に対応付けることで、視聴者が嗜好するシーングループからさらに嗜好する映像コンテンツや登場人物などが判定可能である。
なお、各視聴者ＩＤに対応するシーングループを無制限に増加させると、視聴者嗜好ＤＢ２１６の容量が増え続けるので、スコアが所定の閾値より小さなシーングループを一定期間が過ぎると削除するなどの処理を実行するのが望ましい。
《映像処理装置の処理手順》
図８は、本実施形態に係る映像処理装置２１０の処理手順を示すフローチャートである。このフローチャートが示す動作は、図２に示す各機能構成部を用いて実現される。また、その動作は、図４のＣＰＵ４１０によりＲＡＭ４４０を使用して実行される。
まず、映像処理装置２１０は、フレーム特徴量を受信したか否か判定する（ステップＳ８１１）。
映像処理装置２１０が、フレーム特徴量を受信すると、映像処理装置２１０のフレーム特徴量照合部２１４は、受信したフレーム特徴量とフレーム特徴量ＤＢ２１３に記憶されたフレーム特徴量とを照合する（ステップＳ８１３）。続いてフレーム特徴量照合部２１４は、照合結果をフレーム特徴量ＤＢ２１３にフィードバックする。例えば、受信したフレーム特徴量が、いずれかのシーングループのフレーム特徴量と合致したら、受信したフレーム特徴量は、そのシーングループに追加される（ステップＳ８１５）。
一方、合致するシーングループが無ければ、新たなシーングループを生成することになる。かかる新たに生成されたシーングループは、今までの嗜好の分類から外れたグループであり、フレーム特徴量ＤＢ２１３への蓄積が進むにつれて、新たな嗜好を形成することになる。
映像処理装置２１０は、フレーム特徴量の合致があったか否かに応じて、その後の処理を変える（ステップＳ８１７）
フレーム特徴量の合致がない場合、新たに生成されたシーングループが視聴者嗜好ＤＢ２１６内の視聴者ＩＤに追加されて、新たなスコアが生成され、スコアの積算が開始されることになる（ステップＳ８１９）。
フレーム特徴量の合致がある場合、合致したシーングループのスコアが更新（増加）される（ステップＳ８２１）。
一方で、映像処理装置２１０は、視聴者嗜好情報の要求かあるか否かを判定する（ステップＳ８３１）。映像処理装置２１０は、視聴者嗜好情報の要求であれば、視聴者嗜好判定部２１７は、視聴者嗜好ＤＢ２１６から所望の視聴者ＩＤのスコアが読み出し、スコアに基づいて視聴者嗜好を分析する（ステップＳ８３３）。分析された視聴者嗜好あるいはスコアそのものが通信制御部２１１を介して要求者へ送信される（ステップＳ８３５）。
［第３実施形態］
次に、本発明の第３実施形態に係る映像処理システムについて説明する。
本実施形態に係る映像処理システムは、第２実施形態のスコアの更新の際に、視聴者の操作又は映像あるいはシーンへの反応に対応して、その量に重み付けをする例である。第３の実施形態は、第２の実施形態に比べより緻密な嗜好程度を分析できる。
なお、本実施形態では、主に、スコア更新の重み付けに関する情報と、処理手順における重み付けのタイミングを説明し、第２実施形態と同様の構成および動作は、説明を省略する。
（受信フレーム特徴量）
図９は、本実施形態に係るフレーム特徴量記憶部２１２−２の構成を示すブロック図である。
フレーム特徴量記憶部２１２−２は、第２実施形態で説明したフレーム特徴量に加え、他の重み付けに関連する情報を視聴者あるいは映像視聴用端末から受信して記憶する。
フレーム特徴量記憶部２１２−２は、視聴者ＩＤ９０１に対応付けて、フレーム特徴量９０２の他に、放送／再生９０３、再生方式９０４、視聴者の反応９０５、そして、それらの結果の重み合計９０６を記憶する。なお、重み付けのパラメータは図９に限定されない。
放送／再生９０３は、映像が直接の放送であるか、又は、再生であるかの情報である。直接の放送は、視聴者は放送を視聴していない可能性もある。一方、再生は、視聴者は意識的に再生して視聴していると考えられる。したがって、重み付けは、放送よりも再生の重みを大きくする。
再生方式９０４も放送／再生９０３に準じるものであり、録画番組の再生の重みよりも記憶媒体からの再生の方の重みを大きくする。
反応９０５は、視聴者のプラスの反応（肯定的反応）とマイナスの反応（否定的反応）がある。その反応は、直接に音声又はキー入力で受信してもよいし、また、視聴者の操作から判断してもよい。たとえば、早送りされた場合はマイナス、リピートされた場合はプラスとなる。
（重み設定テーブル）
図１０は、本実施形態に係る重み設定テーブル１０００のデータ構造を示す図である。
重み設定テーブル１０００は、図９に示した各重みの設定を定義するテーブルである。図９の重み設定テーブル１０００に記載のように、各重み付けの条件１００１に対応付けて重み１００２の数値が記憶される。数値はプラス／マイナスの数値でもよいし、１以上／１以下の乗算値であってもよい。なお、図１０の条件の項目はほんの数例であって、これに限定されない。
《映像処理装置の処理手順》
図１１は、本実施形態に係る映像処理装置の処理手順を示すフローチャートである。このフローチャートが示す動作は、図２に示す各機能構成部を用いて実現される。また、その動作は、第２実施形態に示した図４のストレージ４５０に重み設定テーブル１０００を追加した構成で、ＣＰＵ４１０によりＲＡＭ４４０を使用して実行される。
図１１のフローチャートは、重み付けのステップを除いて図８と同様である。したがって、重み付けのステップを主に説明し、図８と同じステップは、同じ番号を付して説明を省略する。
本実施形態は、スコアの更新（ステップＳ８２１）の前に、スコアの加算値に対して重み付けを行う（ステップＳ１１０１）。
［第４実施形態］
次に、本発明の第４実施形態に係る映像処理システムについて説明する。
本実施形態に係る映像処理システムは、上記第２および第３実施形態と比べ、フレーム特徴量ＤＢに記憶するフレーム特徴量が、シーン全体のフレーム特徴量ではなくその選択された一部である点で異なる。
選択された一部は、各シーンの特徴を表わす前部分、後部分、中間部分であってもよいし、その長さも変えることができる。
第４実施形態は、第２実施形態に比べてフレーム特徴量ＤＢの記憶容量を大幅に削減できる。なお、本実施形態では、主に、フレーム特徴量ＤＢの構成を説明し、第２または第３実施形態と同様の構成および動作は、説明を省略する。
（フレーム特徴量ＤＢ）
図１２は、本実施形態に係るフレーム特徴量ＤＢ１２１３の構成を示す図である。なお、本実施形態においては、フレーム特徴量ＤＢ１２１３は、第２実施形態における図２および図４のフレーム特徴量ＤＢ２１３に置き換えられる。
フレーム特徴量ＤＢ１２１３は、図６と同様のシーングループ６０１およびシーンＩＤ６０２に対応付けてフレーム特徴量を記憶する。但し、記憶されるのは、フレーム特徴量の記憶部分１２０４で指定されるシーンの一部のフレーム特徴量１２０３である。
ここで、フレーム特徴量の記憶部分１２０４は、シーン開始からの秒数（ｔ０は０秒、ｔ１０は１０秒を表わす）である。図１２の例では、各シーンを３０秒として説明するが、シーンの長さは可変であってよい。例えば、図１２の例では、シーンＩＤがＡ１のシーンについて、最初の１０秒間のフレーム特徴量が記憶されている。また、シーンＩＤがＡ２のシーンについて、中間にある１０秒〜２５秒間のフレーム特徴量が記憶されている。また、シーンＩＤがＥ３のシーンについて、最初の５秒間と中間にある１０秒〜２７秒間のフレーム特徴量が記憶されている。また、シーンＩＤがＢ１のシーンについて、最後の８秒間のフレーム特徴量が記憶されている。
なお、図１２は、フレーム特徴量の記憶部分１２０４が、開始からの秒数で表されているが、開始からの連番を振ったフレーム番号で１００フレーム目から２５０フレーム目までのように記憶されていてもよい。
［第５実施形態］
次に、本発明の第５実施形態に係る映像処理システムについて説明する。
本実施形態に係る映像処理システムは、上記第２乃至第４実施形態と比べ、シーンの被写体を示すタグなどの識別子を検索可能に記憶する被写体ＤＢをさらに設け、視聴者の嗜好を複数の視点から判定する点で異なる。
シーンの被写体は、番組の出演者などの人物、昆虫などの生物、或いは、山又は海・建築物などである。本実施形態は、シーンのフレーム特徴量という画像データの持つ特徴に加え、シーンの一部に含まれる被写体により、視聴者の嗜好を判定できる。例えば、対象の被写体が一瞬現われるシーン又は、背景の一部（例えば、フレーム内のテレビの画像又は絵画など）に被写体が現われるシーンなども考慮できる。
以下に、本実施形態が、上記第２乃至第４実施形態と異なる部分を説明し、第２乃至第４実施形態と同様の構成および動作は、説明を省略する。
本実施形態は、フレーム特徴量の合致によるシーングループと、被写体ＩＤの合致によるシーングループとを別に設けた例である。しかしながら、フレーム特徴量が合致するシーンと被写体が合致するシーンとを１つのシーングループとして組み合わせることも可能であり、より２つの視点を融合した視聴者の嗜好が可能となる。さらに、フレーム特徴量の合致と被写体ＩＤの合致とに視聴者の嗜好を判断するために異なる重みを持たせることも可能である。
《映像処理システムの構成》
図１３は、本実施形態に係る映像処理システム１３００の構成を示すブロック図である。なお、図１３は、映像処理装置を説明するための図であり、ネットワーク２７０に接続する機器は省略してある。また、第２実施形態と同じ機能構成部には同じ参照番号を付している。以下、第２実施形態との相違点について説明する。
被写体ＩＤ記憶部１３１２は、通信制御部２１１が受信した視聴用端末からの再生中の映像の被写体ＩＤを記憶する。なお、被写体ＩＤは、フレーム特徴量が示すシーンに対応するものであってもよいし、コンテンツ全体に対応するものであってもよい。
以下、本実施形態が、同時に受信するフレーム特徴量が示すシーンに対応する被写体ＩＤである場合を説明する。
被写体ＤＢ１３１３は、同じ被写体の映像を含む複数のシーンをシーングループとして記憶する（図１４参照）。
被写体照合部１３１４は、被写体ＩＤ記憶部１３１２が記憶する映像視聴用端末から受信した被写体ＩＤと、被写体ＤＢ１３１３に記憶された被写体ＩＤとを照合する。
スコア加算部１３１５は、被写体ＩＤが合致した場合にそのシーンのスコアを加算する。
視聴者嗜好ＤＢ１３１６は、第２実施形態の視聴者嗜好ＤＢ２１６におけるフレーム特徴量の合致によるシーングループのスコアとは別に、被写体ＩＤの合致によるシーングループのスコアを蓄積する（図１５参照）。
（被写体ＤＢ）
図１４は、本実施形態に係る被写体ＤＢ１３１３の構成を示す図である。
被写体ＤＢ１３１３は、シーングループ１４０１に含まれるシーンＩＤ１４０２と、各シーンＩＤに対応する被写体ＩＤ１４０３を記憶する。被写体照合部１３１４は、被写体ＤＢ１３１３の被写体ＩＤ１４０３と受信した被写体ＩＤとを照合する。この照合により、受信した被写体ＩＤがどのシーングループに属するかが分かる。なお、被写体ＤＢ１３１３の構成は、図１４の構成に限定されず、他の必要な項目が追加されてもよい。
（視聴者嗜好ＤＢ）
図１５は、本実施形態に係る視聴者嗜好ＤＢ１３１６の構成を示す図である。
視聴者嗜好ＤＢ１３１６は、視聴者ＩＤ１５０１が視聴した映像のフレーム特徴量又は被写体ＩＤ０が属する複数のシーングループ１５０２に対応付けて、それぞれの属性１５０３とスコア１５０４とを記憶する。視聴者の映像コンテンツの視聴によるフレーム特徴量の受信により、および／または、視聴者の映像コンテンツの被写体により、スコアが積算される。この結果、このスコアの大きいシーングループが、視聴者が嗜好するシーンとなる。
なお、各視聴者ＩＤに対応するシーングループを無制限に増加させると、視聴者嗜好ＤＢ２１６の容量が増え続けることになる。このため、スコアの小さなシーングループを一定期間が過ぎると削除する、などの処理を実行するのが望ましい。
《映像処理装置の処理手順》
図１６は、本実施形態に係る映像処理装置１３１０の処理手順を示すフローチャートである。このフローチャートが示す動作は、図１３に示す各機能構成部を用いて実現される。また、その動作は、第２実施形態で示した図４のストレージ４５０に被写体ＤＢ１３１３を追加した構成で、ＣＰＵ４１０によりＲＡＭ４４０を使用して実行される。
なお、図１６において、第２実施形態の図８と同様の手順は、同じ参照番号を付して、説明は省略する。本実施形態の特徴部分は、ステップＳ１６４１からＳ１６５１の部分である。
まず、映像処理装置１３１０は、被写体ＩＤを受信したか否かを判定する（ステップＳ１６４１）。
次に、映像処理装置１３１０は、被写体ＩＤを受信すると、映像処理装置１３１０の被写体照合部１３１４は、受信した被写体ＩＤと被写体ＤＢ１３１３に記憶された被写体ＩＤとを照合する（ステップＳ１６４３）。続いて、被写体照合部１３１４は、照合結果を被写体ＤＢ１３１３にフィードバックする（ステップＳ１６４５）。例えば、受信した被写体ＩＤが、被写体ＤＢに記憶された、いずれかのシーングループの被写体ＩＤと合致したら、被写体照合部１３１４は、受信した被写体ＩＤをそのシーングループに追加する。一方、合致するシーングループが無ければ、被写体照合部１３１４は、新たなシーングループを生成する。
映像処理装置１３００は、受信した被写体ＩＤと被写体ＤＢ１３１３に記憶された被写体ＩＤとの合致があったか否かに基づいて異なった処理を行う（ステップＳ１６４７）。
被写体ＩＤが合致しない場合、スコア加算部１３１５は、新たに生成されたシーングループを視聴者嗜好ＤＢ１３１６内の視聴者ＩＤに追加し、新たなスコアの積算を開始する（ステップＳ１６４９）。
被写体ＩＤが合致した場合、スコア加算部１３１５は、合致したシーングループのスコアを更新（増加）する（ステップＳ１６５１）。
［第６実施形態］
次に、本発明の第６実施形態に係る映像処理システムについて説明する。本実施形態に係る映像処理システムは、上記第５実施形態と比べ、フレーム特徴量ＤＢと被写体ＤＢとを一体化して、複数の視点を関連付けて視聴者の嗜好を判定する点で異なる。
本実施形態は、フレーム特徴量の合致では判断できない視聴者のより詳細、又は、徴妙な嗜好を判断できる。なお、以下の本実施形態の説明では、第２乃至第５実施形態と同様の構成、動作についての説明を省略し、第２乃至第５実施形態と異なる部分を説明する。
また、本実施形態では、複数の視点を関連付けて判定する方法として、フレーム特徴量の合致でシーングループを定め、被写体ＩＤの合致か否かでスコアの増加量を決定するが、複数の視点を関連付けて判定する方法は、これに限定されない。
逆に、被写体ＩＤの合致でシーングループを定め、フレーム特徴量の合致か否かでスコアの増加量を決定してもよい。また、両方が合致した場合に、スコアを増加するようにしてもよい。
《映像処理システムの構成》
図１７は、本実施形態に係る映像処理システム１７００の構成を示すブロック図である。なお、図１７は、映像処理装置を説明するための図であり、ネットワーク２７０に接続する機器は省略してある。また、第２実施形態と同じ機能構成部には同じ参照番号を付している。以下、第２実施形態との相違点について説明する。
被写体ＩＤ記憶部１７１２は、通信制御部２１１が受信した映像視聴用端末からの再生中の映像の被写体ＩＤを記憶する。なお、被写体ＩＤは、フレーム特徴量が示すシーンに対応するものである。
フレーム特徴量／被写体ＤＢ１７１３は、派生したフレーム特徴量を記憶し、かつ、同じ被写体の映像を含む複数のシーンをシーングループとして記憶する（図１８参照）。
被写体照合部１７１４は、被写体ＩＤ記憶部１７１２が記憶する映像視聴用端末から受信した被写体ＩＤと、フレーム特徴量／被写体ＤＢ１７１３に記憶された被写体ＩＤとを照合する。
スコア加算部１７１５は、フレーム特徴量が合致した場合に被写体ＩＤが合致したか否かに対応してそのシーンのスコアを加算する。
視聴者嗜好ＤＢ１７１６は、第４実施形態の視聴者嗜好ＤＢ１３１６におけるフレーム特徴量の合致と被写体ＩＤの合致とによる別個のシーングループのスコアとは異なり、フレーム特徴量が合致した場合に被写体ＩＤが合致したか否かに対応してカウントするシーングループのスコアを蓄積する。
なお、視聴者嗜好ＤＢ１７１６は、カウントの条件が異なるが、その構成は、第２実施形態の図７と同様であり、説明は省略する。
（フレーム特徴量／被写体ＤＢ）
図１８は、本実施形態に係るフレーム特徴量／被写体ＤＢ１７１３の構成を示す図である。
フレーム特徴量／被写体ＤＢ１７１３は、シーングループ１８０１に含まれるシーンＩＤ１８０２と、各シーンＩＤに対応するフレーム特徴量１８０３と被写体ＩＤ１８０４を記憶する。被写体照合部２１４は、フレーム特徴量／被写体ＤＢ１７１３のフレーム特徴量１８０３と受信したフレーム特徴量とを照合する。この照合により、受信したフレーム特徴量がどのシーングループに属するかが分かる。
そして被写体照合部１７１４は、フレーム特徴量／被写体ＤＢ１７１３に記憶された被写体ＩＤ１８０４と受信した被写体ＩＤとを照合して、被写体ＩＤが合致したか否かによりシーングループのスコアの増加量を決定する。なお，フレーム特徴量／被写体ＤＢ１７１３のデータ構造は、図１８の構成に限定されず、他の必要な項目が追加されてもよい。
《映像処理装置の処理手順》
図１９は、本実施形態に係る映像処理装置１７１０の処理手順を示すフローチャートである。このフローチャートが示す動作は、図１７に示す各機能構成部を用いて実現される。また、その動作は、第２の実施形態で示した図４のストレージ４５０にフレーム特徴量／被写体ＤＢ１７１３を追加した構成で、ＣＰＵ４１０によりＲＡＭ４４０を使用して実行される。
なお、図１９は、図８のステップＳ８１１〜Ｓ８２１の変形であり、図８と同様のステップには同じ参照番号を付して、説明は省略する。また、ステップＳ８３１〜Ｓ８３５についても、同様であるので省略する。
映像処理装置１７１０は、視聴用端末からのフレーム特徴量および被写体ＩＤの受信か否かを判定する（ステップＳ１９１１）。
次に、映像処理装置１７１０は、フレーム特徴量および被写体ＩＤを受信すると、フレーム特徴量の照合（ステップＳ８１３）から照合結果に基づくスコア生成又はスコア更新（ステップＳ８２１）まで、図８と同様の処理を行う。但し、図８のフレーム特徴量ＤＢの代わりに、フレーム特徴量／被写体ＤＢを用いる。
次に、被写体照合部１７１４は、受信した被写体ＩＤとフレーム特徴量／被写体ＤＢ１８１３に記憶された被写体ＩＤと照合する（ステップＳ１９１３）。照合結果をフレーム特徴量／被写体ＤＢ１８１３にフィードバックする（ステップＳ１９１５）。例えば、いずれかのシーングループの被写体ＩＤと合致したら、被写体照合部１７１４は、受信した被写体ＩＤをそのシーングループに追加する。一方、合致するシーングループが無ければ、被写体照合部１７１４は、新たなシーングループを生成する。
映像処理装置１７１０は、受信した被写体ＩＤとフレーム特徴量／被写体ＤＢ１７１３に記憶された被写体ＩＤとの合致があったか否かに基づいて異なった処理を行う（ステップＳ１９１７）。
被写体ＩＤが合致しない場合、スコア加算部１７１５は、ステップＳ８２１において更新したスコアを減少する（ステップＳ１９２１）。
一方、被写体ＩＤが合致する場合、ステップＳ８２１において更新したスコアを増加する（ステップＳ１９１９）。
このように、フレーム特徴量が合致してかつ被写体ＩＤが合致すればスコアはさらに増加し、一方、フレーム特徴量が合致しても被写体ＩＤが合致しなければスコアが減少する。
［第７実施形態］
次に、本発明の第７実施形態に係る映像処理システムについて説明する。本実施形態に係る映像処理システムは、上記第２乃至第６実施形態と比べ、映像視聴用端末からの再生中映像のフレーム特徴量および／または過去の視聴履歴から認識した視聴者の嗜好に基づいて、視聴者がまだ視聴していないコンテンツを視聴者に通知する点が追加される。
本実施形態は、視聴者の嗜好を判断した上で、視聴者の未視聴のコンテンツを通知・紹介することができる。なお、以下の本実施形態の説明では、第２乃至第６実施形態と同様の構成、動作についての説明を省略し、第２乃至第６実施形態と異なる部分を説明する。
《映像処理システムの構成》
図２０は、本実施形態に係る映像処理システム２０００の構成の一部を示すブロック図である。なお、図２０は、映像処理装置２０１０を説明するための図であり、ネットワーク２７０に接続する機器は省略してある。また、第２実施形態と同じ機能構成部には同じ参照番号を付している。以下、第２実施形態との相違点について説明する。
映像処理装置２０１０のコンテンツ情報ＤＢ２０１３は、フレーム特徴量ＤＢ２１３に蓄積されたフレーム特徴量を含むコンテンツ情報を蓄積する。なお、コンテンツ情報の例は、コンテンツ自身のデータ又はコンテンツを識別する識別子であるコンテンツＩＤとなる（図２１参照）。
視聴済ＤＢ２０１６は、視聴者を識別する視聴者ＩＤに対応付けて、既に視聴した視聴済コンテンツＩＤを蓄積する。なお、視聴者が視聴したコンテンツ以外に視聴はしていないが保有しているコンテンツ、あるいは家族又は友人が所有しているコンテンツを、容易に視聴可能なコンテンツとして視聴済ＤＢ２０１６に蓄積してもよい。
未視聴情報通知部２０１７は、通知候補コンテンツ群の中から、視聴済ＤＢ２０１６に蓄積されたコンテンツを除いて視聴者にコンテンツの候補を通知する。通知候補コンテンツ群は、再生中の映像のフレーム特徴量および／または過去の視聴履歴から認識した視聴者の嗜好に基づいて、未視聴情報通知部２０１７がコンテンツ情報ＤＢ２０１３から検索する。
なお、本実施形態では、再生中映像のフレーム特徴量から判断した派生コンテンツ又は視聴者嗜好に基づくコンテンツを通知候補コンテンツとする例を示すが、通知候補コンテンツを検索する他の条件を含むこともできる。すなわち、未視聴情報通知部２０１７による通知で視聴者の購買意欲を高める宣伝効果を得ることも可能になる。
（コンテンツ情報ＤＢ）
図２１は、本実施形態に係るコンテンツ情報ＤＢ２０１３の構成を示す図である。
コンテンツ情報ＤＢ２０１３は、フレーム特徴量２１０２に紐付けられてコンテンツＩＤ２１０１を蓄積する。かかるコンテンツ情報ＤＢ２０１３は、過去に映像視聴用端末で再生されてフレーム特徴量が送信されたコンテンツ情報、あるいは映像コンテンツ配信サーバなどからフレーム特徴量が送信されたコンテンツ情報を蓄積する。
（視聴済ＤＢ）
図２２は、本実施形態に係る視聴済ＤＢ２０１６の構成を示す図である。
視聴済ＤＢ２０１６は、視聴者ＩＤ２２０１に対応付けられて視聴済コンテンツＩＤ２２０２を蓄積する。上述の如く、視聴済ＤＢ２０１６は、視聴者が視聴したコンテンツ以外に未視聴で視聴者が保有するコンテンツ、あるいは、家族又は友人が所有するコンテンツを蓄積してもよい。
《映像処理装置の処理手順》
図２３は、本実施形態に係る映像処理装置２０１０の処理手順を示すフローチャートである。このフローチャートは、コンテンツ情報ＤＢ２０１３および視聴済ＤＢ２０１６が追加されて図４のＣＰＵ４１０によりＲＡＭ４４０を使用しながら実行され、図２０の各機能構成部が実現される。なお、図２３には、未視聴情報を映像視聴用端末から要求された場合のステップのみを示し、図８、図１１、図１６、図１９で示した他のステップの記載は省略してある。図２３をいずれかにも組み込むことが可能である。
ステップＳ２３６１においては、未視聴情報を映像視聴用端末から要求されたか否かが判定される。未視聴情報を映像視聴用端末から要求された場合はステップＳ２３６３に進んで、映像視聴用端末から送信されたフレーム特徴量から選別した派生コンテンツＩＤを、コンテンツ情報ＤＢ２０１３から収集する。次に、ステップＳ２３６５において、映像視聴用端末からの視聴者ＩＤに基づいて視聴者嗜好ＤＢから獲得した視聴者嗜好に合致するコンテンツＩＤを、コンテンツ情報ＤＢ２０１３から収集する。
次に、ステップＳ２３６７において、映像視聴用端末からの視聴者ＩＤに基づいて視聴済ＤＢ２０１６から視聴済コンテンツＩＤを読み出して、ステップＳ２３６３および／またはＳ２３６５で収集したコンテンツＩＤ群から除いて、未視聴コンテンツを抽出する。ステップＳ２３６９においては、抽出された未視聴コンテンツを映像視聴用端末から視聴者に通知する。通知の形式は、コンテンツＩＤであっても、コンテンツ名称などの情報であっても、コンテンツの一部あるいはサムネールなどであってもよい。
［第８実施形態］
次に、本発明の第８実施形態に係る映像処理システムについて説明する。本実施形態に係る映像処理システムは、上記第７実施形態と比べると、映像視聴用端末から視聴者に通知する情報が未視聴コンテンツの入手が可能な接続先情報（例えば、ＵＲＬなど）である点が異なる。本実施形態によれば、視聴者の嗜好を判断した上で、視聴者の未視聴のコンテンツを視聴者の簡単な操作で取得可能に通知・紹介することができる。なお、本実施形態においては、上記第７実施形態と異なる部分を説明する。その他の構成および動作は第７実施形態と同様であるため説明を省略する。
（コンテンツ情報ＤＢ）
図２４は、本実施形態に係るコンテンツ情報ＤＢ２４１３のデータ構造を示す図である。
図２４のコンテンツ情報ＤＢ２４１３は、フレーム特徴量２４０２に紐付けられたコンテンツＩＤ２４０１と、コンテンツの入手先を蓄積する。なお、図２４の示すコンテンツ入手先は、ＵＲＬの例を示したが、コンテンツ作成元あるいはコンテンツ発行元又はコンテンツ配信元などの連絡先でもよい。
［他の実施形態］
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステム、または、装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバも、本発明の範疇に含まれる。
この出願は、２０１１年８月４日に出願された日本出願特願２０１１−１７０８６４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
（付記）
（付記１）
視聴者に対応付けて、前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴付けるフレーム特徴量を記憶する第１記憶手段と、
一連のフレームで構成されるシーンのフレーム特徴量を、前記シーンが有する属性によりグループ分けしてシーングループとして記憶する第２記憶手段と、
前記第１記憶手段に記憶されたフレーム特徴量と前記第２記憶手段に記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積手段と、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定手段と、
を備えることを特徴とする映像処理装置。
（付記２）
前記第１記憶手段は、シーンに含まれる一連のフレームの当該シーンを特徴づける一部のフレームのフレーム特徴量を記憶することを特徴とする請求項１に記載の映像処理装置。
（付記３）
前記第１記憶手段は、前記視聴者が前記映像コンテンツの視聴を要求した程度に対応する重みをさらに記憶し、
前記関心度累積手段は、前記スコアの増加に前記重みを付けることを特徴とする請求項１または２に記載の映像処理装置。
（付記４）
前記重み付けは、前記視聴者による前記映像コンテンツの視聴方法に対応し、番組として視聴した場合よりも記憶媒体からの視聴に大きな重みを付けることを特徴とする請求項３に記載の映像処理装置。
（付記５）
前記重み付けは、前記視聴者による前記映像コンテンツの視聴に対する前記視聴者の反応に対応し、前記視聴者による肯定的な反応に対応して大きな重みを付けることを特徴とする請求項３または４に記載の映像処理装置。
（付記６）
前記シーンが有する属性は、前記シーンを含む映像コンテンツの属性に対応し、
前記第２記憶手段は、さらに、一連のフレームで構成されるシーンに含まれる被写体を、前記シーンが有する属性によりグループ分けしてシーングループとして記憶し、
前記関心度累積手段は、前記フレーム特徴量の照合と前記被写体の照合との組合せに基づいて、シーングループへの関心度を表わすスコアを増加させることを特徴とする請求項１乃至５のいずれか１項に記載の映像処理装置。
（付記７）
前記シーンが有する属性は、１つのシーンから派生した派生シーンであることを示す属性を含むコンテンツの属性を含むことを特徴とする請求項１乃至６のいずれか１項に記載の映像処理装置。
（付記８）
前記シーンのフレーム特徴量を含む映像コンテンツを記憶する第３記憶手段と、
前記視聴者嗜好判定手段が判定した前記視聴者が嗜好するシーングループに含まれるシーンのフレーム特徴量を有する映像コンテンツの情報を前記第３記憶手段から検索し、映像視聴用端末に通知する通知手段と、
をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の映像処理装置。
（付記９）
前記視聴者に対応付けて、前記視聴者が既に視聴した映像コンテンツの情報を記憶する第４記憶手段をさらに備え、
前記通知手段は、前記第３記憶手段から検索した、前記視聴者が嗜好するシーングループに含まれるシーンのフレーム特徴量を有する映像コンテンツの情報から、前記視聴者が既に視聴した映像コンテンツの情報を除いて、前記映像視聴用端末に通知することを特徴とする請求項８に記載の映像処理装置。
（付記１０）
前記フレーム特徴量は、各フレームに異なるサイズで設定された複数の領域対の各領域対に対して算出された領域特徴量の差分を領域対の数の分組み合せたデータであることを特徴とする請求項１乃至９のいずれか１項に記載の映像処理装置。
（付記１１）
前記領域特徴量は、輝度で表わされることを特徴とする請求項１０に記載の映像処理装置。
（付記１２）
視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴付けるフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積ステップと、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定ステップと、
を含むことを特徴とする映像処理装置の制御方法。
（付記１３）
視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴付けるフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積ステップと、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
（付記１４）
視聴者が視聴した映像コンテンツに基づいて前記視聴者の嗜好を判定する映像処理システムであって、
前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴つけるフレーム特徴量を抽出するフレーム特徴量抽出手段と、
視聴者に対応付けて、前記フレーム特徴量抽出手段が抽出したフレーム特徴量を記憶する第１記憶手段と、
一連のフレームで構成されるシーンのフレーム特徴量を、前記シーンが有する属性によりグループ分けしてシーングループとして記憶する第２記憶手段と、
前記第１記憶手段に記憶されたフレーム特徴量と前記第２記憶手段に記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積手段と、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定手段と、
を備えることを特徴とする映像処理システム。
（付記１５）
視聴者が視聴した映像コンテンツに基づいて前記視聴者の嗜好を判定する視聴者の嗜好判定方法であって、
前記視聴者が視聴した映像コンテンツに含まれる一連のフレームで構成されるシーンの、各フレームを特徴つけるフレーム特徴量を抽出するフレーム特徴量抽出ステップと、
視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツに含まれるフレームのフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積ステップと、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定ステップと、
を含むことを特徴とする視聴者の嗜好判定方法。
Claims (10)
- 視聴者に対応付けて、前記視聴者が視聴した映像コンテンツを構成する各フレームから抽出されたフレーム特徴量を記憶する第１記憶手段と、
一連のフレームで構成されるシーンのフレーム特徴量を、前記シーンが有する属性によりグループ分けしてシーングループとして記憶する第２記憶手段と、
前記第１記憶手段に記憶されたフレーム特徴量と前記第２記憶手段に記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積手段と、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定手段と、
を備えることを特徴とする映像処理装置。 - 前記第１記憶手段は、シーンを特徴づける一部のフレームのフレーム特徴量を記憶することを特徴とする請求項１に記載の映像処理装置。
- 前記第１記憶手段は、前記視聴者が前記映像コンテンツの視聴を要求した程度に対応する重みをさらに記憶し、
前記関心度累積手段は、前記スコアの増加に前記重みを付けることを特徴とする請求項１または２に記載の映像処理装置。 - 前記重み付けは、前記視聴者による前記映像コンテンツの視聴方法に対応し、番組として視聴した場合よりも記憶媒体からの視聴に大きな重みを付けることを特徴とする請求項３に記載の映像処理装置。
- 前記重み付けは、前記視聴者による前記映像コンテンツの視聴に対する前記視聴者の反応に対応し、前記視聴者による肯定的な反応に対応して大きな重みを付けることを特徴とする請求項３または４に記載の映像処理装置。
- 前記シーンが有する属性は、前記シーンを含む映像コンテンツの属性に対応し、
前記第２記憶手段は、さらに、一連のフレームで構成されるシーンに含まれる被写体を、前記シーンが有する属性によりグループ分けしてシーングループとして記憶し、
前記関心度累積手段は、前記フレーム特徴量の照合と前記被写体の照合との組合せに基づいて、シーングループへの関心度を表わすスコアを増加させることを特徴とする請求項１乃至５のいずれか１項に記載の映像処理装置。 - 視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツを構成する各フレームから抽出されたフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させ、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する、
映像処理装置の制御方法。 - 視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツを構成する各フレームから抽出されたフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させ、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定すること、
をコンピュータに実行させる制御プログラム。 - 視聴者が視聴した映像コンテンツに基づいて前記視聴者の嗜好を判定する映像処理システムであって、
前記視聴者が視聴した映像コンテンツを構成する各フレームからフレーム特徴量を抽出するフレーム特徴量抽出手段と、
視聴者に対応付けて、前記フレーム特徴量抽出手段が抽出したフレーム特徴量を記憶する第１記憶手段と、
一連のフレームで構成されるシーンのフレーム特徴量を、前記シーンが有する属性によりグループ分けしてシーングループとして記憶する第２記憶手段と、
前記第１記憶手段に記憶されたフレーム特徴量と前記第２記憶手段に記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させる関心度累積手段と、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する視聴者嗜好判定手段と、
を備える映像処理システム。 - 視聴者が視聴した映像コンテンツに基づいて前記視聴者の嗜好を判定する視聴者の嗜好判定方法であって、
前記視聴者が視聴した映像コンテンツを構成する各フレームを特徴つけるフレーム特徴量を抽出し、
視聴者に対応付けて記憶された、前記視聴者が視聴した映像コンテンツに含まれるフレームのフレーム特徴量と、一連のフレームで構成されるシーンが有する属性によりシーングループとしてグループ分けして記憶されたフレーム特徴量とを照合し、合致するフレーム特徴量がある場合に、フレーム特徴量が合致したシーングループへの関心度を表わす、前記視聴者のスコアを増加させ、
前記スコアのより高いシーングループを、前記視聴者が嗜好するシーングループと判定する、視聴者の嗜好判定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013526974A JP5880558B2 (ja) | 2011-08-04 | 2012-07-31 | 映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラム |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011170864 | 2011-08-04 | ||
| JP2011170864 | 2011-08-04 | ||
| JP2013526974A JP5880558B2 (ja) | 2011-08-04 | 2012-07-31 | 映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラム |
| PCT/JP2012/069930 WO2013018913A1 (ja) | 2011-08-04 | 2012-07-31 | 映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2013018913A1 JPWO2013018913A1 (ja) | 2015-03-05 |
| JP5880558B2 true JP5880558B2 (ja) | 2016-03-09 |
Family
ID=47629424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013526974A Active JP5880558B2 (ja) | 2011-08-04 | 2012-07-31 | 映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9070040B2 (ja) |
| EP (1) | EP2741507B1 (ja) |
| JP (1) | JP5880558B2 (ja) |
| WO (1) | WO2013018913A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6428062B2 (ja) * | 2014-09-04 | 2018-11-28 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| TWI552591B (zh) * | 2015-08-24 | 2016-10-01 | 晶睿通訊股份有限公司 | 標記視頻中物件的方法、裝置及電腦可讀取記錄媒體 |
| US9721165B1 (en) * | 2015-11-13 | 2017-08-01 | Amazon Technologies, Inc. | Video microsummarization |
| CN110324659B (zh) * | 2018-03-29 | 2020-08-28 | 北京字节跳动网络技术有限公司 | 一种视频特征提取方法及装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4299843B2 (ja) * | 2005-04-27 | 2009-07-22 | パナソニック株式会社 | 映像要約装置、端末装置、映像要約システムおよび映像要約方法 |
| JP4625365B2 (ja) * | 2005-05-02 | 2011-02-02 | 日本放送協会 | 推薦順位選定装置及び推薦順位選定プログラム |
| JP2009296346A (ja) | 2008-06-05 | 2009-12-17 | Sony Corp | 番組推薦装置、番組推薦方法及び番組推薦プログラム |
| JP5322550B2 (ja) * | 2008-09-18 | 2013-10-23 | 三菱電機株式会社 | 番組推奨装置 |
| JP5338450B2 (ja) | 2009-04-22 | 2013-11-13 | 富士通株式会社 | 再生装置及びプログラム |
| JP5573131B2 (ja) | 2009-12-01 | 2014-08-20 | 日本電気株式会社 | 映像識別子抽出装置および方法、映像識別子照合装置および方法、ならびにプログラム |
| TWI449410B (zh) * | 2011-07-29 | 2014-08-11 | Nat Univ Chung Cheng | Personalized Sorting Method of Internet Audio and Video Data |
| US8510385B1 (en) * | 2012-06-29 | 2013-08-13 | Mobio Technologies, Inc. | System and method for user polling over a network |
-
2012
- 2012-07-31 EP EP12820528.3A patent/EP2741507B1/en active Active
- 2012-07-31 JP JP2013526974A patent/JP5880558B2/ja active Active
- 2012-07-31 WO PCT/JP2012/069930 patent/WO2013018913A1/ja active Application Filing
- 2012-07-31 US US14/236,752 patent/US9070040B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP2741507A4 (en) | 2015-07-29 |
| EP2741507B1 (en) | 2017-05-10 |
| US9070040B2 (en) | 2015-06-30 |
| EP2741507A1 (en) | 2014-06-11 |
| US20140169679A1 (en) | 2014-06-19 |
| JPWO2013018913A1 (ja) | 2015-03-05 |
| WO2013018913A1 (ja) | 2013-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI510064B (zh) | 視訊推薦系統及其方法 | |
| US11044301B2 (en) | Sharing digital media assets for presentation within an online social network | |
| KR101816113B1 (ko) | 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체 | |
| CN104994426B (zh) | 节目视频识别方法及系统 | |
| US9098807B1 (en) | Video content claiming classifier | |
| CN106326391B (zh) | 多媒体资源推荐方法及装置 | |
| WO2011126134A1 (ja) | リアルタイム動画像収集・認識・分類・処理・配信サーバシステム | |
| JP5312352B2 (ja) | ビデオフレーム特徴に基づくビデオ推薦のためのシステム及び方法 | |
| KR101345284B1 (ko) | 멀티미디어 컨텐츠 부호화/재생 방법 및 장치 | |
| US10297287B2 (en) | Dynamic media recording | |
| US20070086665A1 (en) | Method and apparatus for encoding multimedia contents and method and system for applying encoded multimedia contents | |
| US20160210367A1 (en) | Transition event detection | |
| JP2009110460A (ja) | 人物画像検索装置 | |
| CN113779303B (zh) | 视频集合的索引方法、装置和存储介质及电子设备 | |
| JP5880558B2 (ja) | 映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラム | |
| Chu et al. | On broadcasted game video analysis: event detection, highlight detection, and highlight forecast | |
| JP5569830B2 (ja) | 映像処理システム、映像処理方法、映像処理装置及びその制御方法と制御プログラム | |
| US20230164369A1 (en) | Event progress detection in media items | |
| JP2014130536A (ja) | 情報管理装置、サーバ及び制御方法 | |
| JP6321945B2 (ja) | ダイジェスト映像生成装置、ダイジェスト映像生成方法及びダイジェスト映像生成プログラム | |
| US20230142432A1 (en) | Content Generating Device, Content Distribution System, Content Generating Method, And Content Generating Program | |
| KR20090096158A (ko) | 동영상 스틸컷 기반의 크로스미디어 검색 시스템 및 방법 | |
| US20140189769A1 (en) | Information management device, server, and control method | |
| CN114173200B (zh) | 基于广电专网的视频管理推送方法及装置 | |
| CN114765693A (zh) | 直播流内容处理方法和装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150414 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150519 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5880558 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |