JP2005339038A - タイミング決定装置及びタイミング決定方法 - Google Patents

タイミング決定装置及びタイミング決定方法 Download PDF

Info

Publication number
JP2005339038A
JP2005339038A JP2004154969A JP2004154969A JP2005339038A JP 2005339038 A JP2005339038 A JP 2005339038A JP 2004154969 A JP2004154969 A JP 2004154969A JP 2004154969 A JP2004154969 A JP 2004154969A JP 2005339038 A JP2005339038 A JP 2005339038A
Authority
JP
Japan
Prior art keywords
media
fitness
timing determination
timing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004154969A
Other languages
English (en)
Other versions
JP4776179B2 (ja
Inventor
Norihiro Kawasaki
紀宏 川崎
Hiroyuki Kasai
裕之 笠井
Kenichi Yamazaki
憲一 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2004154969A priority Critical patent/JP4776179B2/ja
Priority to EP05011191A priority patent/EP1600871A1/en
Priority to CN2005100734222A priority patent/CN1702675B/zh
Priority to US11/136,567 priority patent/US7610395B2/en
Publication of JP2005339038A publication Critical patent/JP2005339038A/ja
Application granted granted Critical
Publication of JP4776179B2 publication Critical patent/JP4776179B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2747—Remote storage of video programs received via the downstream path, e.g. from the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications

Abstract

【課題】再生中のメディアの内容に基づいて、サービスを提供するタイミングを適切に決定するタイミング決定装置を提供する。
【解決手段】タイミング決定装置１０は、再生可能な符号化されたデータであるメディアの特徴量と、特定のサービスを提供するために適する度合いを示す適応度との対応関係を決定する適応度決定部１０７と、対応関係を蓄積する適応度蓄積部１５１と、適応度蓄積部１５１に蓄積された適応度の値に応じて、特定のサービスを提供するタイミングを決定するタイミング決定部１０１とを備える。
【選択図】図１

Description

本発明は、サービスを提供するタイミングを決定するタイミング決定装置及びタイミング決定方法に関する。
特定のサービスをユーザに提供する際に、ユーザの嗜好や利便性に合わせて、適切なタイミングでサービスを提供することが必要となる。このため、例えばユーザが時間と共に移動する場合、ユーザの位置情報に基づいて、通信サービスを提供するタイミングを調整する技術は開示されている（例えば、特許文献１参照。）。
特開２００３−８５３８２号公報
上述したように、位置情報に基づいてサービスを提供する技術はあったが、ユーザが映像や音楽といったものを受信し、再生している場合、ユーザは、映像や音楽の内容に応じて、適切なサービスを享受することを希望する場合がある。
そこで、本発明は、上記の課題に鑑み、再生中のメディアの内容に基づいて、サービスを提供するタイミングを適切に決定するタイミング決定装置及びタイミング決定方法を提供することを目的とする。
上記目的を達成するため、本発明の第１の特徴は、（イ）再生可能な符号化されたデータであるメディアの特徴量と、特定のサービスを提供するために適する度合いを示す適応度との対応関係を決定する適応度決定手段と、（ロ）対応関係を蓄積する適応度蓄積手段と、（ハ）適応度蓄積手段に蓄積された適応度の値に応じて、特定のサービスを提供するタイミングを決定するタイミング決定手段とを備えるタイミング決定装置であることを要旨とする。
第１の特徴に係るタイミング決定装置によると、メディアの特徴量と適応度とを比較することにより、再生中のメディアの内容に基づいて、サービスを提供するタイミングを適切に決定することができる。
又、第１の特徴に係るタイミング決定装置は、適応度蓄積手段に蓄積された過去における適応度と、メディアの特徴量から将来の適応度を予測する適応度予測手段を更に備えてもよい。このタイミング決定装置によると、予め適応度を算出することができなかったメディアに対しても、サービスを提供するタイミングを適切に決定することができる。
又、第１の特徴に係るタイミング決定装置における適応度決定手段は、メディアの特徴量を抽出する特徴量抽出手段と、メディアの再生を行うメディア再生手段と、メディアに対する特定のサービスを提供するタイミングにおける評価結果を取得する適応度取得手段と、メディア再生手段から再生されたメディアの特徴量と、適応度取得手段から取得した評価結果とを対応付ける対応関係作成部とを備えてもよい。このタイミング決定装置によると、メディアの特徴量と適応度とを精度良く対応付けることができる。
本発明の第２の特徴は、（イ）再生可能な符号化されたデータであるメディアの特徴量と、特定のサービスを提供するために適する度合いを示す適応度との対応関係を決定するステップと、（ロ）対応関係を蓄積するステップと、（ハ）適応度蓄積手段に蓄積された適応度の値に応じて、特定のサービスを提供するタイミングを決定するステップとを含むタイミング決定方法であることを要旨とする。
第２の特徴に係るタイミング決定方法によると、メディアの特徴量と適応度とを比較することにより、再生中のメディアの内容に基づいて、サービスを提供するタイミングを適切に決定することができる。
本発明によると、再生中のメディアの内容に基づいて、サービスを提供するタイミングを適切に決定するタイミング決定装置及びタイミング決定方法を提供することができる。
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。
（第１の実施の形態）
第１の実施の形態では、通信端末（メディア受信装置）で再生中のメディアを別の通信端末（メディア受信装置）に移動させるサービスにおいて、サービス移動のタイミングを決定する。第１の実施の形態では、再生中のメディアに対する特徴量が、既にタイミング決定装置に蓄積されている場合（静的タイミング決定方法）について説明する。
第１の実施の形態に係るタイミング決定システムは、図１に示すように、タイミング決定装置１０と、メディア送信装置２０と、メディア受信装置３０、３１とを備える。ここでは、現在、メディア受信装置３０で再生されているメディアを、適切なタイミングでメディア受信装置３１へ移動させるサービスを行うこととする。又、メディア受信装置３０、３１としては、例えば、携帯電話、ＰＨＳなどが使用されるが、後に詳述するメディア再生機能、メディア受信機能を有する機器であれば構わない。
メディア送信装置２０は、メディアを蓄積するメディア蓄積部２５１と、タイミング決定装置１０及びメディア受信装置３０、３１へメディアを送信するメディア送信部２０１とを備える。ここで、「メディア」とは、映像データや音響データなどの再生可能な符号化されたデータをいう。
メディア受信装置３０、３１は、メディア送信装置２０からメディアを受信するメディア受信部３０１、３１１と、メディアを再生するメディア再生部３０２、３１２と、タイミング決定装置１０からメディア送信装置２０とのコネクションの接続・切断を行うトリガ（命令）を受信するトリガ受信部３０３、３１３とを備える。ここで、「コネクション」とは、装置間で張られる論理的通信路のことである。例えば、コネクションは、送信元ＩＰアドレスと送信元ポート番号、送信先ＩＰアドレスと送信先ポート番号によって識別される。
タイミング決定装置１０は、図１に示すように、特徴量抽出部１０３と、適応度決定部１０７と、適応度蓄積部１５１と、タイミング決定部１０１と、トリガ送信部１０２とを備える。
特徴量抽出部１０３は、メディア送信装置２０から受信した、現在、メディア受信装置３０において再生されているメディアの特徴量を抽出する。特徴量は、メディアの測定値から算出される低レベル特徴量と、メディアの意味的側面を捉えた高レベル特徴量とに分けられる。低レベル特徴量としては、例えば、メディアが映像データである場合、フレーム全体又は被写体の色、テクスチャ、形、動き（例えば、動きベクトル）、領域などがあり、メディアが音楽データの場合、音の大きさ、ピッチ、スペクトル分析信号（例えば、短時間振幅スペクトルの対数を逆フーリエ変換したもの）などがある。又、高レベル特徴量としては、例えば、ＭＰＥＧ−７の意味的側面を利用することが可能である（ISO/IEC 15938-5 “Part5-Multimedia Description Scheme”参照）。意味的側面は、メディアの関連情報に関わるもので、映像中に登場する人物や物の関係を記述でき、低レベル特徴量では検索が困難なものでも、意味レベルでの抽象的な検索を可能とする。例えば、「綺麗な教会で式を挙げている幸せそうなカップルの映像」という抽象的な検索が可能となる。特徴量については、後に詳述する。
適応度決定部１０７は、メディア蓄積部２５１に蓄積されているメディアの特徴量と適応度との対応関係を決定し、この対応関係を適応度蓄積部１５１へ蓄積する。ここで、「適応度」とは、特定のサービスを提供するために適した度合いを示す。又、特定のサービスとしては、端末間サービス移動、広告挿入サービス、アクチュエータ連動サービスなどが挙げられる。具体的な適応度を決定する方法については、後に詳述する。尚、第１の実施の形態では、適応度決定処理は、メディア受信装置３０へメディアが送信される前に、予め行われているものとする。
適応度蓄積部１５１は、メディアの特徴量と適応度との関係を対応付けて蓄積する。
タイミング決定部１０１は、適応度蓄積部１５１に蓄積された適応度の値と、特徴量抽出部１０３から抽出された、現在メディア受信装置３０において再生中のメディアの特徴量とを比較することにより、特定のサービスを提供するタイミングを決定する。具体的には、タイミング決定部１０１は、適応度蓄積部１５１に蓄積された適応度がある値（閾値）を超えているか否か判断することによりタイミングを決定してもよい。例えば、適応度が０から１までの数値で表される場合は、０．８を超えた値を、サービスを提供するために適したタイミングであると判定し、それ以外の場合はサービスを提供するためには不適切であると判定する。
又、タイミング決定部１０１は、適切であると判定したタイミングにおいて、トリガ送信部１０２を介して、メディア受信装置３０、３１のトリガ受信部３０３、３１３へトリガを送信する。ここで、サービスを提供するためのタイミングは、トリガを以前に送信した時刻を考慮して判定される必要がある。例えば、適応度が閾値付近で上下するたびに、トリガが送信されては、メディア受信装置３０、３１間でサービスが行ったり来たり（チャタリング）することとになる。これを防ぐため、閾値を超えても一定時間はサービス提供に適しているとみなさない、あるいは閾値を下回っても一定時間はサービス提供に不適切であるとみなすことが必要である。この一定時間は対象サービスによってことなるが、サービス移動に関しては、２〜５秒程度にするとよい。
トリガ送信部１０２は、タイミング決定部１０１の判定に従って、メディア受信装置３０のトリガ受信部３０３にメディア送信装置２０とのコネクションを切断する命令を送信し、メディア受信装置３１のトリガ受信部３１１３にメディア送信装置２０とのコネクションを接続する命令を送信する。トリガ送信部１０２とトリガ受信部３０３、３１３との間のプロトコルは、インターネット第７層（例えば、ＨＴＴＰ、ＳＩＰ、ＦＴＰ）を利用することができる。例えば、タイミング決定装置１０からメディア受信装置３０、３１に送信される「接続命令」や「切断命令」をペイロードに含めて送信するとよい。
又、第１の形態に係るタイミング決定装置１０は、処理制御装置（ＣＰＵ）を有し、適応度決定部１０７、特徴量抽出部１０３、タイミング決定部１０１などをモジュールとして備える構成とすることができる。これらのモジュールは、パーソナルコンピュータ等の汎用コンピュータにおいて、所定のプログラム言語を利用するための専用プログラムを実行することにより実現することができる。
又、適応度蓄積部１５１は、特徴量と適応度の対応関係を保存する記録媒体である。記録媒体は、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、フレキシブルディスク、コンパクトディスク、ＩＣチップ、カセットテープなどが挙げられる。このような記録媒体によれば、適応度データの保存、運搬、販売などを容易に行うことができる。
又、図示していないが、タイミング決定装置１０は、適応度決定処理、特徴量抽出処理、タイミング決定処理などを処理制御装置（ＣＰＵ）に実行させるためのプログラムを保存するプログラム保持部を備えてもよい。プログラム保持部は、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、フレキシブルディスク、コンパクトディスク、ＩＣチップ、カセットテープなどの記録媒体である。このような記録媒体によれば、認識プログラムの保存、運搬、販売などを容易に行うことができる。
次に、第１の実施の形態に係るタイミング決定方法について、図２を用いて説明する。
（イ）まず、ステップＳ１０１において、メディア受信装置３０はメディア送信装置２０へ接続要求を送信する。そして、ステップＳ１０２において、メディア送信装置２０とメディア受信装置３０間で、コネクションが確立される。ここで、コネクションとは、メディア送信装置２０におけるＩＰアドレスとポート番号、及びメディア受信装置３０におけるＩＰアドレスとポート番号によって識別される論理的な通信路のことである。コネクション確立後は、メディア送信装置２０からメディア受信装置３０へメディアが送信され、メディア受信装置３０において、メディアが再生される。
（ロ）次に、ステップＳ１０３において、タイミング決定装置１０の特徴量抽出部１０３は、メディア送信装置２０からメディア受信装置３０へ送信されているメディアの特徴量を抽出する。そして、ステップＳ１０４において、タイミング決定装置１０のタイミング決定部１０１は、適応度蓄積部１５１に蓄積された特徴量と適応度との対応関係を用いてサービス提供の適応度を取得し、サービス移動を行うタイミングを決定する。例えば、タイミング決定部１０１は、適応度がある値を超えているかを判定する。
（ハ）タイミング決定装置１０は、適応度が条件を満たした際に、ステップＳ１０５において、トリガ送信部１０２を介して、メディア受信装置３０に対して、コネクションの切断命令を送信する。メディア受信装置３０は、タイミング決定装置１０からコネクション切断命令を受け取ると、ステップＳ１０６において、メディア送信装置２０に対して、コネクション切断要求を送信する。その後、ステップＳ１０７において、メディア送信装置２０とメディア受信装置３０間のコネクションは切断される。
（ニ）次に、ステップＳ１０８において、タイミング決定装置１０は、トリガ送信部１０２を介して、メディア受信装置３１に対して、コネクション接続命令を送信する。メディア受信装置３１は、タイミング決定装置１０からコネクション接続命令を受け取ると、ステップＳ１０９において、メディア送信装置２０に対して、コネクション接続要求を送信する。その後、ステップＳ１１０において、メディア送信装置２０とメディア受信装置３１間のコネクションは接続される。コネクション確立後は、メディア送信装置２０からメディア受信装置３１へメディアが送信され、メディア受信装置３１において、メディアが再生される。
このように、第１の実施の形態に係るタイミング決定装置１０及びタイミング決定方法によると、図３に示すように、再生中のメディアを別の端末装置へ移動させる際に、適応度の高いタイミングでサービスを移動させることができる。
次に、上述した特徴量について、より詳細に説明する。
まず、映像データの特徴量として、動きベクトルを利用する場合について説明する。動きベクトルを求める方法には、ブロックマッチング法と勾配法がある（今村弘樹、剣持雪子、小谷一孔、“３次元投票空間を用いた照明条件の変化を考慮したオプティカルフロー推定”、電子情報通信学会論文誌、Vol.J85-D-II No.1 pp.12-22 2002参照）。ブロックマッチング法は、精度良く動きを検出できるが処理量が多く、勾配法は処理量が比較的少ないが動きを検出できる精度が低い。但し、動きベクトルが予め計算済みであるコーデックを利用する場合（例えば、ＭＰＥＧ）は、特徴量をメディアの内部から取得する処理が行われる。
ブロックマッチング法を用いる場合は、各ブロックにおける動きベクトルの絶対値の総和を映像特徴量として扱うことができる。具体的には、図４（ａ）に示すように、映像（フレーム）を複数のブロックに分割する。そして、あるフレームにおけるそれぞれのブロックが次のフレームにおいてどの方向に移動したか、具体的には、図４（ｂ）に示すように、各ブロックにおいて、ある時間間隔（例えば、１００ｍｓ）の上下の動き量と左右の動き量を算出する。このとき、特徴量は、すべてのブロックに関する特徴量の集合とする。
又、音響データの特徴量として、パルス列を利用する場合について説明する。パルス列の特徴量を算出するには、図５に示すように、ある時間間隔（例えば、１００ｍｓ）をフレームとして切り出す。そして、そのフレーム内の振幅の大きさと波の数から、特徴量を算出する。
上述した動きベクトルやパルス列を利用した特徴量の算出は、一例であり、他のデータを用いて特徴量を算出してもよいことは勿論である。
次に、適応度決定部１０７において説明した適応度を決定する方法について、より詳細に説明する。適応度決定方法としては、例えば、関数近似を利用する方法と主観評価を利用する方法が挙げられる。
まず、関数近似を利用する方法について説明する。サービスを提供する際の適応度は、例えばサービス移動の際には、映像の動きベクトルが大きく、音の大きさが大きい方が、適応度が高い場合を考える。ここで、ある時刻tにおける映像の動きベクトルmv(moving vector)の特徴量をCmv、音響の大きさsv(sound vector)の特徴量をCsvとすると、時刻tにおける適応度F(t)は、
F(t) = Cmv(t) + Csv(t) ……式（１）
となる。ここで、ある特性ｘに関する特徴量Cxは、最小0から最大1の範囲に正規化してもよい。又、時刻は、映像の各フレーム、音響の各サンプルに対応する。又、音の大きさが大きい方が適応度が低い場合には、以下のように逆数を用いてもよい。
F(t) = Cmv(t) + 1/Csv(t) ……式（２）
又、先の適応度F(t)と特性ｘに関する特徴量Cx(t)との関係は、ある時刻tに関する情報しか関与していないが、過去の特徴量（例えば、１時刻前の特徴量Cx(t-1)）と、過去の適応度（例えば、１時刻前の適応度F(t-1)）とを用いて定式化することも考えられる。例えば、１時刻前の特徴量Cx(t-1)を用いる場合は、以下のようになる。
Figure 2005339038
ここで、＊はすべての特徴量を表す。
式（３）は、一例であり、過去の適応度F(t-1)とは無関係に現在の適応度F(t)を算出する場合には、F(t-1)を使わない式を用い、過去の特徴量Cx(t-1)とは無関係に現在の適応度F(t)を算出する場合には、Cx(t-1)を使わない式を用いてもよい。又、複数の定義式による結果を組み合わせてもよい。例えば、以下のように相加平均を用いてもよい。
F(t) = {F1(t) + F2(t)}/2 ……式（４）
ここで、例えば、F1(t)は式（３）を利用できる。
又、特徴量と適応度の関係を求める際に利用したメディアと、タイミング決定に用いるメディアが等しい場合には、未来の特徴量（例えば、１時刻先の特徴量Cx(t+1)）、未来の適応度（例えば、１時刻先の適応度F(t+1)）を用いて定式化することも可能である。例えば、１時刻前の特徴量Cx(t+1)を用いる場合は以下のようになる。
Figure 2005339038
次に、適応度を決定する方法として、主観評価を利用する方法について説明する。主観評価に用いる主観評価装置５０（適応度決定部１０７）は、図６に示すように、特徴量抽出部５０１と、メディア再生部５０２と、適応度取得部５０３と、対応関係作成部５０４とを備える。特徴量抽出部５０１は、メディア蓄積部２５１から取得したメディアの特徴量を抽出する。メディア再生部５０２は、メディアを再生し、ユーザ４０に対して提示する。適応度取得部５０３は、再生されたメディアに対する特定のサービスを提供するタイミングについて、ユーザ４０の評価結果を取得する。例えば、通信端末で再生中のメディアを別の通信端末に移動させるサービスを行う際は、メディアを再生する途中でサービスを移動させるときに適したタイミングをユーザ４０が評価する。このとき、例えば、ユーザ４０は指定されたタイミングを５段階評価し、１から５までの数字を評価値として、適応度取得部５０３に入力する。対応関係作成部５０４は、メディア再生部５０２から再生されたメディアの特徴量と、適応度取得部５０３から取得したユーザの評価値とを対応付け、適応度蓄積部１５１に蓄積する。
ここで、ユーザの評価方法には、ＩＴＵ−Ｒ勧告で標準化されている方法として、単一刺激法と二重刺激法がある（ITU-R Recommendation BT.500-7, “Methodology for the subjective assessment of the quality of television pictures,” p.582-604, 1995.参照）。単一刺激法とは、各試行（例えば、サービスを移動させるタイミング）について１つずつ刺激を与えて評価を促す方法である。二重刺激法とは、各試行について基準となる刺激と比較となる刺激とを比較して評価を促す方法である。二重刺激法は、単一刺激法と比較すると、精度は高いが、試験時間が長いためユーザへの負担が大きくなるという問題がある。
又、評価値には、ＩＴＵ−Ｒ勧告で標準化されている品質値と劣化値がある（ITU-R Recommendation BT.500-7, “Methodology for the subjective assessment of the quality of television pictures,” p.582-604, 1995.参照）。品質値は、良さの度合いを表す５段階尺度（５：良い、４：やや良い、３：同じ、２：やや悪い、１：悪い）である。劣化値は、劣化の度合いを表す５段階尺度（５：検知できない、４：検知できるが気にならない、３：少し気になる、２：気になる、１：とても気になる）である。これらの評価値は、適応度蓄積部１５１に蓄積する際、０から１までの値などに正規化してもよい。
又、あらゆる映像や音響に対する特徴量を求めることが困難である場合、映像の種類や音響の種類を考慮して、特徴量と適応度の対応関係を求めても構わない。例えば、映像データをスポーツ映像、ニュース映像、ドラマ映像等に分類し、新たなメディアに対して適応度を求める際、同じ種類のデータに対する適応度をベースに適応度を求めてもよい。
例えば、あるドラマ映像に関して、ある特徴量ａと適応度ｂとの対応関係が自明である映像があるとする。この特徴量ａと類似する特徴量ａ’を示す映像について適応度ｂを求める場合は、適応度ｂから求めることができる。例えば、特徴量が大きくなると適応度を大きくすることが望ましい場合、適応度ｂ’＝ｂ（ａ’／ａ）とし、特徴量が大きくなると適応度を小さくすることが望ましい場合、適応度ｂ’＝ｂ（ａ／ａ’）とする。
次に、第１の実施の形態に係る主観評価方法（適応度決定方法）について、図７を用いて説明する。ここでは、例として単一刺激品質尺度法を用いて説明する。
（イ）まず、ステップＳ２０１において、特徴量抽出部５０１は、メディア蓄積部２５１からメディアを取得し、特徴量を抽出する。次に、ステップＳ２０２において、メディア再生部５０２は、ユーザ４０に対してメディアに関する評価刺激を提示する。ユーザ４０は、評価刺激がどのくらい良いと感じるかを５段階の品質値を用いて評価する。例えば、サービス移動タイミングについてユーザに評価を依頼する場合は、複数のメディア内再生時刻（例：１０秒、２０秒、３０秒）において端末間でサービスを０秒で移動するサービス移動を評価刺激とする。
（ロ）次に、ステップＳ２０３において、適応度取得部５０３は、ユーザの評価結果を適応度として取得する。対応関係作成部５０４は、適応度取得部５０３によって得られた適応度と、特徴量抽出部５０１によって抽出された特徴量を取得し（ステップＳ２０４）、ステップＳ２０５において、特徴量と適応度の対応関係を作成する。
（ハ）次に、ステップＳ２０６において、試行を必要回数繰り返したか否か判断する。必要回数繰り返していない場合は、ステップＳ２０２の処理へ戻る。一方、必要回数繰り返した場合は、ステップＳ２０７へ進み、適応度蓄積部１５１は、メディアの特徴量と、ユーザの評価値（適応度）とを対応付け、蓄積する。
尚、与える評価刺激の順番をユーザに推測されてしまうと、先入観念の影響から正しく感覚が評価できないため、各試行における評価刺激はランダムに選択し、ユーザに提示するとよい。
又、図６に示す適応度決定部１０７は、主観評価を利用する方法に用いる装置（主観評価装置５０）として説明したが、関数近似を利用する方法に用いる装置として使用しても構わない。この場合、適応度取得部５０３は、再生されたメディアに対する特定のサービスを提供するタイミングについて、関数近似による評価結果を取得する。そして、対応関係作成部５０４は、メディア再生部５０２から再生されたメディアの特徴量と、適応度取得部５０３から取得した関数近似による評価値とを対応付け、適応度蓄積部１５１に蓄積する。
第１の実施の形態に係るタイミング決定装置１０及びタイミング決定方法によると、メディアの特徴量と適応度とを比較することにより、再生中のメディアの内容に基づいて、サービスを提供するタイミングを適切に決定することができる。具体的には、通信端末で再生中のメディアを、適切なタイミングで別の通信端末装置に移動させることができる。
又、適応度決定部１０７は、関数近似を利用する方法や主観評価を利用する方法を用いることにより、メディア再生部５０２から再生されたメディアの特徴量と、適応度取得部５０３から取得した評価結果とを対応付けることができる。このため、メディアの特徴量と適応度とを精度良く対応付けることができる。
（第２の実施の形態）
第１の実施の形態では、再生中のメディアに対する特徴量が既に蓄積されていたが（静的タイミング決定方法）、第２の実施の形態では、特徴量が蓄積されておらず、メディアの再生と同時に特徴量を予測する必要がある（動的タイミング決定方法）場合について説明する。尚、第２の実施の形態においても、第１の実施の形態と同様に、通信端末（メディア受信装置）で再生中のメディアを別の通信端末（メディア受信装置）に移動させるサービスにおいて、サービス移動のタイミングを決定する。
第２の実施の形態に係るタイミング決定システムは、図８に示すように、タイミング決定装置１０と、メディア送信装置２０と、メディア受信装置３０、３１とを備える。ここでは、現在、メディア受信装置３０で再生されているメディアを、適切なタイミングでメディア受信装置３１へ移動させるサービスを行うこととする。又、メディア受信装置３０、３１としては、例えば、携帯電話、ＰＨＳなどが使用されるが、後に詳述するメディア再生機能、メディア受信機能を有する機器であれば構わない。
メディア送信装置２０は、メディア送信部２０１がタイミング決定装置１０にのみメディアを送信すること以外は第１の実施の形態と同様であるので、ここでは説明を省略する。
メディア受信装置３０、３１は、メディア受信部３０１、３１１がメディアをタイミング決定装置１０から受信し、トリガ受信部３０３、３１３がタイミング決定装置１０とのコネクションの接続・切断を行うトリガ（命令）をタイミング決定装置１０から受信すること以外は、第１の実施の形態と同様であるので、ここでは説明を省略する。
タイミング決定装置１０は、図８に示すように、特徴量抽出部１０３と、適応度決定部１０７と、適応度蓄積部１５１と、タイミング決定部１０１と、トリガ送信部１０２と、メディア受信部１０５と、メディア送信部１０６と、適応度予測部１０４とを備える。
メディア受信部１０５は、メディア送信装置２０からメディアを受信する。メディア送信部１０６は、メディア受信装置３０、３１へメディアを送信する。
適応度予測部１０４は、適応度蓄積部１５１に蓄積された過去の適応度と特徴量から将来の適応度を予測する。例えば、１時刻前の適応度と２時刻前の適応度の直線上に現在の適応度があると仮定して、線分比によって予測することができる。適応度予測方法については、後に詳述する。
その他、特徴量抽出部１０３、適応度決定部１０７、適応度蓄積部１５１、タイミング決定部１０１、トリガ送信部１０２については、第１の実施の形態と同様であるので、ここでは説明を省略する。
次に、第２の実施の形態に係るタイミング決定方法について、図９を用いて説明する。
（イ）まず、ステップＳ３０１において、タイミング決定装置１０は、メディア送信装置２０へ接続要求を送信する。そして、ステップＳ３０２において、タイミング決定装置１０とメディア送信装置２０間のコネクションが確立される。
（ロ）次に、ステップＳ３０３において、メディア受信装置３０はタイミング決定装置１０へ接続要求を送信する。そして、ステップＳ３０４において、タイミング決定装置１０とメディア受信装置３０間で、コネクションが確立される。コネクション確立後は、タイミング決定装置１０からメディア受信装置３０へメディアが送信され、メディア受信装置３０において、メディアが再生される。
（ハ）次に、ステップＳ３０５において、タイミング決定装置１０の特徴量抽出部１０３は、メディア受信装置３０へ送信されているメディアの特徴量を抽出する。そして、ステップＳ３０６において、タイミング決定装置１０の適応度予測部１０４は、適応度蓄積部１５１に蓄積された過去の適応度から将来の適応度を予測する。適応度予測方法としては、図１０（ａ）に示すように、１時刻前の適応度と２時刻前の適応度の直線上に現在の適応度があると仮定して、線分比によって予測する方法がある。時刻t-1の適応度F(t-1)と、時刻t-2の適応度F(T-2)から、時刻tにおける適応度F(t)は、
F(t) = 2F(t-1) - F(t-2) ……式（６）
と算出できる。又、図１０（ｂ）に示すように、最小二乗法、指数関数を用いて予測する方法もある（大村平、“実験と評価のはなし−データ解析 虎の巻！”、日科技連、２００３参照）。線分比や最小二乗法では、適応度が上昇したり減少したりする現象を正確に表現することが困難な場合は、図１０（ｃ）に示すように、多項式を用いて予測することもできる。
（ニ）次に、ステップＳ３０７において、タイミング決定装置１０のタイミング決定部１０１は、適応度予測部１０４によって予測された適応度と特徴量との対応関係を用いてサービス提供の適応度を取得し、サービス移動を行うタイミングを決定する。例えば、タイミング決定部１０１は、適応度がある値を超えているかを判定する。
（ホ）タイミング決定装置１０は、適応度が条件を満たした際に、ステップＳ３０８において、トリガ送信部１０２を介して、メディア受信装置３０に対して、コネクションの切断命令を送信する。メディア受信装置３０は、タイミング決定装置１０からコネクション切断命令を受け取ると、ステップＳ３０９において、タイミング決定装置１０に対して、コネクション切断要求を送信する。その後、ステップＳ３１０において、タイミング決定装置１０とメディア受信装置３０間のコネクションは切断される。又、メディア送信装置２０は、タイミング決定装置１０からコネクション切断命令を受けると、ステップＳ３１１において、タイミング決定装置１０に対して、コネクション切断要求を送信する。その後、ステップＳ３１２において、タイミング決定装置１０とメディア送信装置２０間のコネクションは切断される。
（へ）次に、メディア送信装置２０は、タイミング決定装置１０からコネクション接続命令を受けると、ステップＳ３１４において、タイミング決定装置１０に対して、コネクション接続要求を送信する。その後、ステップＳ３１５において、タイミング決定装置１０とメディア送信装置２０間のコネクションは接続される。又、ステップＳ３１３において、タイミング決定装置１０は、トリガ送信部１０２を介して、メディア受信装置３１に対して、コネクション接続命令を送信する。メディア受信装置３１は、タイミング決定装置１０からコネクション接続命令を受け取ると、ステップＳ３１６において、タイミング決定装置１０に対して、コネクション接続要求を送信する。その後、ステップＳ３１７において、タイミング決定装置１０とメディア受信装置３１間のコネクションは接続される。コネクション確立後は、メディア送信装置２０からメディア受信装置３１へメディアが送信され、メディア受信装置３１において、メディアが再生される。
第２の実施の形態に係るタイミング決定装置１０及びタイミング決定方法によると、適応度蓄積部１５１に蓄積された過去における適応度と、メディアの特徴量から将来の適応度を予測することができる。このため、予め適応度を算出することができなかったメディアに対しても、サービスを提供するタイミングを適切に決定することができる。具体的には、通信端末で再生中のメディアを、適切なタイミングで別の通信端末装置に移動させることができる。
（第３の実施の形態）
第１及び第２の実施の形態では、通信端末（メディア受信装置）で再生中のメディアを別の通信端末（メディア受信装置）に移動させるタイミングを決定したが、第３の実施の形態では、通信端末（メディア受信装置）で再生中のメディアに対して広告を挿入するタイミングを決定する。
ストリーミング映像の途中には、コンテンツプロバイダの情報としてスポンサー情報を挿入することが考えられる。ユーザは、通常、ストリーミング情報を見続けたく、スポンサーに関する情報を閲覧したいという要求はない。このとき、ストリーミング映像の途中で、不適切な部分に広告が挿入されると、ユーザの集中力がそがれ、不快感を与える可能性がある（長田典子、和気早苗、大須賀美恵子、井口征二、“ＴＶコマーシャル挿入タイミングが注意集中に与える影響”、信学技報、ＨＣＳ２００３−１０、２００３参照）。
第３の実施の形態に係るタイミング決定システムは、図１１に示すように、タイミング決定装置１０と、メディア送信装置２０と、メディア受信装置３０とを備える。ここでは、現在、メディア受信装置３０で再生されているメディア（ストリーミング映像）の途中で、適切なタイミングで広告を挿入するサービスを行うこととする。又、メディア受信装置３１としては、例えば、携帯電話、ＰＨＳなどが使用されるが、後に詳述するメディア再生機能、メディア受信機能を有する機器であれば構わない。
メディア送信装置２０は、メディアを蓄積するメディア蓄積部２５１と、タイミング決定装置１０及びメディア受信装置３０へメディアを送信するメディア送信部２０１と、広告を蓄積する広告蓄積部２５２とを備える。
メディア送信部２０１は、メディア受信装置３０からの接続命令に応じて、メディア蓄積部２５１に蓄積されたメディアあるいは広告蓄積部２５２に蓄積された広告を送信する。
メディア受信装置３０は、メディア送信装置２０からメディアを受信するメディア受信部３０１と、メディアを再生するメディア再生部３０２と、タイミング決定装置１０からメディア送信装置２０とのコネクションの接続・切断を行うトリガ（命令）を受信するトリガ受信部３０３とを備える。メディア受信部３１１は、トリガに応じて、メディアあるいは広告を受信する。
タイミング決定装置１０は、図１１に示すように、特徴量抽出部１０３と、適応度蓄積部１５１と、タイミング決定部１０１と、トリガ送信部１０２とを備える。
タイミング決定装置１０は、トリガ送信部１０２が広告を挿入するタイミングでトリガ（命令）を送信すること以外は、第１の実施の形態と同様であるのでここでは説明を省略する。
又、第１の実施の形態において説明した適応度決定部１０７は、ここでは図示されていないが、第３の実施の形態に係るタイミング決定装置１０においても、必要に応じて適応度決定部１０７を備える。
次に、第３の実施の形態に係るタイミング決定方法について、図１２を用いて説明する。
（イ）まず、ステップＳ４０１において、メディア受信装置３０はメディア送信装置２０へ接続要求を送信する。そして、ステップＳ４０２において、メディア送信装置２０とメディア受信装置３０間で、コネクションが確立される。コネクション確立後は、メディア送信装置２０からメディア受信装置３０へメディアが送信され、メディア受信装置３０において、メディアが再生される。
（ロ）次に、ステップＳ４０３において、タイミング決定装置１０の特徴量抽出部１０３は、メディア送信装置２０からメディア受信装置３０へ送信されているメディアの特徴量を抽出する。そして、ステップＳ４０４において、タイミング決定装置１０のタイミング決定部１０１は、適応度蓄積部１５１に蓄積された特徴量と適応度との対応関係を用いてサービス提供の適応度を取得し、広告挿入を行うタイミングを決定する。例えば、タイミング決定部１０１は、適応度がある値を超えているかを判定する。
（ハ）タイミング決定装置１０は、適応度が条件を満たした際に、ステップＳ４０５において、トリガ送信部１０２を介して、メディア受信装置３０に対して、コネクションの切断命令を送信する。メディア受信装置３０は、タイミング決定装置１０からコネクション切断命令を受け取ると、ステップＳ４０６において、メディア送信装置２０に対して、コネクション切断要求を送信する。その後、ステップＳ４０７において、メディア送信装置２０とメディア受信装置３０間のコネクションは切断される。
（ニ）次に、ステップＳ４０８において、タイミング決定装置１０は、トリガ送信部１０２を介して、メディア受信装置３０に対して、広告接続命令を送信する。メディア受信装置３０は、タイミング決定装置１０からコネクション接続命令を受け取ると、ステップＳ４０９において、メディア送信装置２０に対して、広告接続要求を送信する。その後、ステップＳ４１０において、メディア送信装置２０とメディア受信装置３０間のコネクションは接続される。そして、メディア受信装置３０では、広告が再生される。
（ホ）次に、タイミング決定装置１０は、広告が再生されてから一定時間（例えば、３０秒）が経過すると、ステップＳ４１１において、広告切断命令をメディア受信装置３０に対して送信する。メディア受信装置３０は、タイミング決定装置１０から広告切断命令を受け取ると、ステップＳ４１２において、メディア送信装置２０に対して、広告切断要求を送信する。その後、ステップＳ４１３において、メディア送信装置２０とメディア受信装置３０間のコネクションは切断される。ここでは、タイミング決定装置１０が切断命令を送信しているが、メディア受信装置３０がタイミング決定装置１０から命令を待たずに、例えば、一定時間が経過した場合に、メディア送信装置２０とのコネクションを切断することとしてもよい。
このように、第３の実施の形態に係るタイミング決定装置１０及びタイミング決定方法によると、図１３に示すように、広告を挿入する際に、適応度の高いタイミングで広告を挿入することができる。
（第４の実施の形態）
第４の実施の形態では、メディア受信装置におけるメディアの再生に合わせて、アクチュエータ装置を連動させるタイミングを決定するシステムについて説明する。
将来のユビキタス社会においては、複数の装置が連携してサービスを提供することが想定される。例えば、テレビなど映像や音響を再生する際に、映像や音響の特徴量に応じて部屋のアクチュエータ機器（例えば、ライト、エアーコンディショナー）を連動させることで、臨場感をより高いものにすることができる。このようなサービスに、タイミング決定装置１０を使用する例について説明する。
第４の実施の形態に係るタイミング決定システムは、図１４に示すように、タイミング決定装置１０と、メディア送信装置２０と、メディア受信装置３０と、アクチュエータ装置３３とを備える。ここでは、現在、メディア受信装置３０で再生されているメディア（ストリーミング映像）の途中で、適切なタイミングでアクチュエータ装置を動作させるサービスを行うこととする。
メディア送信装置２０は、メディアを蓄積するメディア蓄積部２５１と、タイミング決定装置１０及びメディア受信装置３０へメディアを送信するメディア送信部２０１とを備える。
メディア受信装置３０は、メディア送信装置２０からメディアを受信するメディア受信部３０１と、メディアを再生するメディア再生部３０２とを備える。
タイミング決定装置１０は、図１４に示すように、特徴量抽出部１０３と、適応度蓄積部１５１と、タイミング決定部１０１と、トリガ送信部１０２とを備える。
トリガ送信部１０２は、アクチュエータ装置３３へ、照明の点灯・消灯や室温の上昇・下降を行うタイミングでトリガ（命令）を送信する。
又、適応度蓄積部１５１は、特徴量とアクチュエータ装置３３の動作適応度との対応関係を蓄積する。
特徴量抽出部１０３、タイミング決定部１０１については、第１の実施の形態と同様であるので、ここでは説明を省略する。
又、第１の実施の形態において説明した適応度決定部１０７は、ここでは図示されていないが、第４の実施の形態に係るタイミング決定装置１０においても、必要に応じて適応度決定部１０７を備える。
アクチュエータ装置３３は、タイミング決定装置１０から照明の点灯・消灯、室温の上昇・下降を行うトリガ（命令）を受信するトリガ受信部３３１と、照明の点灯・消灯を制御する照明調整部３３２と、室温の上昇・下降を制御する室温調整部３３３とを備える。
次に、第４の実施の形態に係るタイミング決定方法について、図１５を用いて説明する。
（イ）まず、ステップＳ５０１において、メディア受信装置３０はメディア送信装置２０へ接続要求を送信する。そして、ステップＳ５０２において、メディア送信装置２０とメディア受信装置３０間で、コネクションが確立される。コネクション確立後は、メディア送信装置２０からメディア受信装置３０へメディアが送信され、メディア受信装置３０において、メディアが再生される。
（ロ）次に、ステップＳ５０３において、タイミング決定装置１０の特徴量抽出部１０３は、メディア送信装置２０からメディア受信装置３０へ送信されているメディアの特徴量を抽出する。そして、ステップＳ５０４において、タイミング決定装置１０のタイミング決定部１０１は、適応度蓄積部１５１に蓄積された特徴量と適応度との対応関係を用いてサービス提供の適応度を取得し、照明を点灯するタイミングを決定する。
（ハ）タイミング決定装置１０は、適応度が照明を点灯するための条件を満たした際に、ステップＳ５０５において、トリガ送信部１０２を介して、アクチュエータ装置３３に対して、照明点灯命令を送信する。アクチュエータ装置３３は、タイミング決定装置１０から照明点灯命令を受け取ると、ステップＳ５０６において、照明を点灯し、ステップＳ５０７において、タイミング決定装置１０に対して、照明点灯完了信号を送信する。
（ニ）次に、タイミング決定装置１０は、適応度が照明を消灯するための条件を満たした際に、ステップＳ５０８において、トリガ送信部１０２を介して、アクチュエータ装置３３に対して、照明消灯命令を送信する。アクチュエータ装置３３は、タイミング決定装置１０から照明消灯命令を受け取ると、ステップＳ５０９において、照明を消灯し、ステップＳ５１０において、タイミング決定装置１０に対して、照明消灯完了信号を送信する。
（ホ）次に、タイミング決定装置１０は、適応度が室温を上昇するための条件を満たした際に、ステップＳ５１１において、トリガ送信部１０２を介して、アクチュエータ装置３３に対して、室温上昇命令を送信する。次に、アクチュエータ装置３３は、タイミング決定装置１０から室温上昇命令を受け取ると、ステップＳ５１２において、室温を上昇し、ステップＳ５１３において、タイミング決定装置１０に対して、室温上昇完了信号を送信する。
（へ）次に、タイミング決定装置１０は、適応度が室温を下降するための条件を満たした際に、ステップＳ５１４において、トリガ送信部１０２を介して、アクチュエータ装置３３に対して、室温下降命令を送信する。次に、アクチュエータ装置３３は、タイミング決定装置１０から室温下降命令を受け取ると、ステップＳ５１５において、室温を下降し、ステップＳ５１６において、タイミング決定装置１０に対して、室温下降完了信号を送信する。
又、上述した適応度が各条件を満たすか否かは、例えば、図１６に示す適応パターン表を参照することにより決定する。図１６では、温度調整に対する特徴量が対応付けられている。パターン１は、メタデータ（高レベル特徴量）として、メディアにクライマックスであると記述されているときには、温度を高め（ここでは、２７度）に制御することを示している。パターン２は、映像の動きベクトルが閾値以下であるときには、動きが少ないと判定して、温度をやや低め（ここでは、２５度）に制御することを示している。パターン３は、映像の動きベクトルが閾値以上であるときには（あるいは無音であるときには）、動きが激しいと判定して、温度をやや高め（ここでは、２６度）に制御することを示している。このような適応パターン表は適応度蓄積部１５１に蓄積されており、このパターンに基づいて、アクチュエータ装置３３の制御が行われる。
第４の特徴に係るタイミング決定装置１０及びタイミング決定方法によると、例えば、映像の画面が山場にさしかかったときに、ライトを激しく変化させ、場面が山場でないときには、ライトを緩やかに変化させることができる。又、例えば、恐ろしい映像が再生されている場合には、部屋の空気を低下させ、穏やかな映像が再生されている場合には、部屋の空気を上昇させることができる。
このように映像に合わせて、アクチュエータ装置３３を連動させることにより、より臨場感を高めることができる。
（第５の実施の形態）
第４の実施の形態では、メディア受信装置とは別にアクチュエータ装置があり、適応度に応じてアクチュエータ装置を動作させたが、第５の実施の形態では、メディア受信装置内にアクチュエータ機能を備える場合について説明する。
現在、ノートＰＣやＰＤＡ、携帯電話などの携帯端末には、複数のアクチュエータ機器が搭載されている。例えば、ディスプレイ、スピーカ、バイブレータなどが挙げられ、これらのアクチュエータ機器を連動させることで、通信サービスの臨場感をより高めることができる。通信サービスとしては、例えば、ストリーミング映像配信、音声電話、ＴＶ電話などが挙げられる。このようなサービスに、タイミング決定装置１０を利用する例について説明する。
第５の実施の形態に係るタイミング決定システムは、図１７に示すように、タイミング決定装置１０と、メディア送信装置２０と、メディア受信装置３４とを備える。ここでは、現在、メディア受信装置３０で再生されているメディア（ストリーミング映像）の途中で、適切なタイミングでメディア受信装置３４内のアクチュエータ機能を動作させるサービスを行うこととする。
メディア送信装置２０は、メディアを蓄積するメディア蓄積部２５１と、タイミング決定装置１０及びメディア受信装置３０へメディアを送信するメディア送信部２０１とを備える。
メディア受信装置３４は、メディア送信装置２０からメディアを受信するメディア受信部３０１と、メディアを再生するメディア再生部３０２と、振動を行うトリガ（命令）を受信するトリガ受信部３３１と、メディア受信装置３４を振動させる振動調整部３３２とを備える。
タイミング決定装置１０は、図１７に示すように、特徴量抽出部１０３と、適応度蓄積部１５１と、タイミング決定部１０１と、トリガ送信部１０２とを備える。
トリガ送信部１０２は、メディア受信装置３４へ振動を開始・停止するタイミングでトリガ（命令）を送信する。
又、適応度蓄積部１５１は、特徴量とメディア受信装置３４の動作適応度との対応関係を蓄積する。
特徴量抽出部１０３、タイミング決定部１０１については、第１の実施の形態と同様であるので、ここでは説明を省略する。
又、第１の実施の形態において説明した適応度決定部１０７は、ここでは図示されていないが、第５の実施の形態に係るタイミング決定装置１０においても、必要に応じて適応度決定部１０７を備える。
次に、第５の実施の形態に係るタイミング決定方法について、図１８を用いて説明する。
（イ）まず、ステップＳ６０１において、メディア受信装置３４はメディア送信装置２０へ接続要求を送信する。そして、ステップＳ６０２において、メディア送信装置２０とメディア受信装置３４間で、コネクションが確立される。コネクション確立後は、メディア送信装置２０からメディア受信装置３４へメディアが送信され、メディア受信装置３４において、メディアが再生される。
（ロ）次に、ステップＳ６０３において、タイミング決定装置１０の特徴量抽出部１０３は、メディア送信装置２０からメディア受信装置３４へ送信されているメディアの特徴量を抽出する。そして、ステップＳ６０４において、タイミング決定装置１０のタイミング決定部１０１は、適応度蓄積部１５１に蓄積された特徴量と適応度との対応関係を用いてサービス提供の適応度を取得し、振動するタイミングを決定する。
（ハ）タイミング決定装置１０は、適応度が振動を開始するための条件を満たした際に、ステップＳ６０５において、トリガ送信部１０２を介して、メディア受信装置３４に対して、振動開始命令を送信する。メディア受信装置３４は、タイミング決定装置１０から振動開始命令を受け取ると、ステップＳ６０６において、振動を開始し、ステップＳ６０７において、タイミング決定装置１０に対して、振動開始完了信号を送信する。
（ニ）次に、タイミング決定装置１０は、適応度が振動を停止するための条件を満たした際に、ステップＳ６０８において、トリガ送信部１０２を介して、メディア受信装置３４に対して、振動停止命令を送信する。メディア受信装置３４は、タイミング決定装置１０から振動停止命令を受け取ると、ステップＳ６０９において、振動を停止し、ステップＳ６１０において、タイミング決定装置１０に対して、振動停止完了信号を送信する。
又、上述した適応度が振動開始あるいは停止条件を満たすか否かは、例えば、図１９に示す適応パターン表を参照することにより決定する。図１９では、振動調整に対する特徴量が対応付けられている。パターン１は、音響特徴量として、音量が閾値以下であったら、バイブレータを発動させないことを示している。パターン２は、映像特徴量として、動きベクトルが閾値以上（例：動きが激しい画面）である、あるいは、音響特徴量として、音量が閾値以上（例：盛り上がる場面）であるときはバイブレータを発動させることを示している。パターン３は、音響特徴量として、閾値以上の周波数が含まれている場合には、バイブレータを発動させることを示している。このような適応パターン表は適応度蓄積部１５１に蓄積されており、このパターンに基づいて、メディア受信装置３４の制御が行われる。
第５の特徴に係るタイミング決定装置１０及びタイミング決定方法によると、例えば、場面の動きがある一定以上の動きを示したら、バイブレータを発動させることができる。又、声量に応じて、バイブレータを発動させることができる。
このように映像に合わせて、メディア受信装置３４を連動させることにより、より臨場感を高めることができる。
（その他の実施形態）
本発明は上記の実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
例えば、第１〜第５の実施の形態において、メディア受信装置３０、３１、３４からメディア送信装置２０へ接続要求、切断要求を送信すると説明したが、メディア送信装置２０からメディア受信装置３０、３１、３４へ接続要求、切断要求を送信しても構わない。
又、図２において、タイミング決定装置１０は、切断命令を送信した後、接続命令を送信すると説明したが（ステップＳ１０５、Ｓ１０８）、接続命令を送信した後、切断命令を送信してもよい。図９においても同様である。
又、一つのＣＰＵに、適応度決定部１０７、特徴量抽出部１０３、タイミング決定部１０１をモジュールとして備えてもよいと説明したが、それぞれ異なるＣＰＵに備えられ、異なる装置としてもよい。その場合、複数の装置間をバスなどで接続するものとする。
このように、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
第１の実施の形態に係るタイミング決定装置の構成ブロック図である。 第１の実施の形態に係るタイミング決定方法を示すフローチャートである。 第１の実施の形態に係るサービス移動タイミングを説明する図である。 第１〜第５の実施の形態に係る映像データの特徴量を説明する図である。 第１〜第５の実施の形態に係る音響データの特徴量を説明する図である。 第１〜第５の実施の形態に係る主観評価装置（適応度決定部）の構成ブロック図である。 第１〜第５の実施の形態に係る主観評価方法（適応度決定方法）を示すフローチャートである。 第２の実施の形態に係るタイミング決定装置の構成ブロック図である。 第２の実施の形態に係るタイミング決定方法を示すフローチャートである。 第２の実施の形態に係る適応度予測方法を説明する図である。 第３の実施の形態に係るタイミング決定装置の構成ブロック図である。 第３の実施の形態に係るタイミング決定方法を示すフローチャートである。 第３の実施の形態に係る広告挿入タイミングを説明する図である。 第４の実施の形態に係るタイミング決定装置の構成ブロック図である。 第４の実施の形態に係るタイミング決定方法を示すフローチャートである。 第４の実施の形態に係る適応度蓄積部が蓄積する適応度パターン表の一例である。 第５の実施の形態に係るタイミング決定装置の構成ブロック図である。 第５の実施の形態に係るタイミング決定方法を示すフローチャートである。 第５の実施の形態に係る適応度蓄積部が蓄積する適応度パターン表の一例である。
符号の説明
１０…タイミング決定装置
２０…メディア送信装置
３０、３１、３４…メディア受信装置
３３…アクチュエータ装置
４０…ユーザ
５０…主観評価装置
１０１…タイミング決定部
１０２…トリガ送信部
１０３…特徴量抽出部
１０４…適応度予測部
１０５…メディア受信部
１０６…メディア送信部
１０７…適応度決定部
１５１…適応度蓄積部
２０１…メディア送信部
２５１…メディア蓄積部
２５２…広告蓄積部
３０１、３１１…メディア受信部
３０２、３１２…メディア再生部
３０３、３１３…トリガ受信部
３３１…トリガ受信部
３３２…振動調整部
３３２…照明調整部
３３３…室温調整部
５０１…特徴量抽出部
５０２…メディア再生部
５０３…適応度取得部
５０４…対応関係作成部

Claims (4)

  1. 再生可能な符号化されたデータであるメディアの特徴量と、特定のサービスを提供するために適する度合いを示す適応度との対応関係を決定する適応度決定手段と、
    前記対応関係を蓄積する適応度蓄積手段と、
    該適応度蓄積手段に蓄積された適応度の値に応じて、前記特定のサービスを提供するタイミングを決定するタイミング決定手段と
    を備えることを特徴とするタイミング決定装置。
  2. 適応度蓄積手段に蓄積された過去における適応度と、前記メディアの特徴量から将来の適応度を予測する適応度予測手段を更に備えることを特徴とする請求項１に記載のタイミング決定装置。
  3. 前記適応度決定手段は、
    前記メディアの特徴量を抽出する特徴量抽出手段と、
    前記メディアの再生を行うメディア再生手段と、
    前記メディアに対する前記特定のサービスを提供するタイミングにおける評価結果を取得する適応度取得手段と、
    前記メディア再生手段から再生されたメディアの特徴量と、前記適応度取得手段から取得した評価結果とを対応付ける対応関係作成部と
    を備えることを特徴とする請求項１又は２に記載のタイミング決定装置。
  4. 再生可能な符号化されたデータであるメディアの特徴量と、特定のサービスを提供するために適する度合いを示す適応度との対応関係を決定するステップと、
    前記対応関係を蓄積するステップと、
    該適応度蓄積手段に蓄積された適応度の値に応じて、前記特定のサービスを提供するタイミングを決定するステップと
    を含むことを特徴とするタイミング決定方法。

JP2004154969A 2004-05-25 2004-05-25 タイミング決定装置及びタイミング決定方法 Expired - Fee Related JP4776179B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004154969A JP4776179B2 (ja) 2004-05-25 2004-05-25 タイミング決定装置及びタイミング決定方法
EP05011191A EP1600871A1 (en) 2004-05-25 2005-05-24 Timing decision apparatus and timing decision method
CN2005100734222A CN1702675B (zh) 2004-05-25 2005-05-24 定时决定装置和定时决定方法
US11/136,567 US7610395B2 (en) 2004-05-25 2005-05-25 Timing decision apparatus and timing decision method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004154969A JP4776179B2 (ja) 2004-05-25 2004-05-25 タイミング決定装置及びタイミング決定方法

Publications (2)

Publication Number Publication Date
JP2005339038A true JP2005339038A (ja) 2005-12-08
JP4776179B2 JP4776179B2 (ja) 2011-09-21

Family

ID=34936860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004154969A Expired - Fee Related JP4776179B2 (ja) 2004-05-25 2004-05-25 タイミング決定装置及びタイミング決定方法

Country Status (4)

Country Link
US (1) US7610395B2 (ja)
EP (1) EP1600871A1 (ja)
JP (1) JP4776179B2 (ja)
CN (1) CN1702675B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009528755A (ja) * 2006-03-01 2009-08-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動き適応型周辺照明
JP4889731B2 (ja) * 2006-03-20 2012-03-07 シャープ株式会社 視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2012513645A (ja) * 2009-04-13 2012-06-14 エンサーズ カンパニー リミテッド 動画像関連広告を提供する方法およびその装置
US8838594B2 (en) 2006-12-27 2014-09-16 International Business Machines Corporation Automatic method to synchronize the time-line of video with audio feature quantity
JP2015212928A (ja) * 2014-04-30 2015-11-26 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド 音声広告を挿入するための方法、装置、デバイス及びシステム
JP6122987B1 (ja) * 2016-03-18 2017-04-26 ヤフー株式会社 決定装置、決定方法、決定プログラム
JP2020507227A (ja) * 2017-01-09 2020-03-05 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ ライブ・ストリーミングにおける二次コンテンツのインテリジェント挿入

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101248568B1 (ko) * 2006-06-09 2013-06-24 에스케이텔레콤 주식회사 세션 설정 프로토콜 기반의 얼리 미디어 서비스 제공 방법
US7987285B2 (en) * 2007-07-10 2011-07-26 Bytemobile, Inc. Adaptive bitrate management for streaming media over packet networks
FR2919452A1 (fr) * 2007-07-27 2009-01-30 Bouygues Telecom Sa Procede de diffusion d'un contenu multimedia cible sur un terminal de telephonie mobile
US8694021B2 (en) * 2011-02-09 2014-04-08 Omar Abhari Appending advertisements to short messaging service messages
JP6090163B2 (ja) * 2011-07-06 2017-03-08 日本電気株式会社 報知装置、報知方法およびプログラム
JP2014183559A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 報知制御装置、報知制御方法及びプログラム
US9936480B2 (en) * 2016-06-20 2018-04-03 Futurewei Technologies, Inc. Adaptive call notification

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348272A (ja) * 1993-06-07 1994-12-22 Roland Corp テンポ検出装置
JPH0869283A (ja) * 1994-08-29 1996-03-12 Imeeji Joho Kagaku Kenkyusho 音楽セッション装置およびシステム
JPH09212480A (ja) * 1996-01-31 1997-08-15 Yamaha Corp 雰囲気情報生成装置およびカラオケ装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006881B1 (en) * 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5600364A (en) * 1992-12-09 1997-02-04 Discovery Communications, Inc. Network controller for cable television delivery systems
US6100941A (en) * 1998-07-28 2000-08-08 U.S. Philips Corporation Apparatus and method for locating a commercial disposed within a video data stream
US7333983B2 (en) * 2000-02-03 2008-02-19 Hitachi, Ltd. Method of and an apparatus for retrieving and delivering documents and a recording media on which a program for retrieving and delivering documents are stored
KR100795255B1 (ko) * 2000-04-21 2008-01-15 소니 가부시끼 가이샤 정보 처리 장치 및 방법, 프로그램과 기록 매체
US7206775B2 (en) * 2000-07-06 2007-04-17 Microsoft Corporation System and methods for the automatic transmission of new, high affinity media
US20020087402A1 (en) * 2001-01-02 2002-07-04 Zustak Fred J. User selective advertising
JP2003085382A (ja) 2001-08-31 2003-03-20 Internatl Business Mach Corp <Ibm> サービスを提供するタイミングを調整するためのシステム、サーバ、方法およびユーザ情報配信装置
US8554616B2 (en) * 2001-10-27 2013-10-08 Real Image Media Technologies, Ltd. Remotely configurable media and advertisement player and methods of manufacture and operation thereof
JP2003271633A (ja) * 2002-03-12 2003-09-26 Mazda Motor Corp 情報提供方法及びそのコンピュータ・プログラム
US7899915B2 (en) * 2002-05-10 2011-03-01 Richard Reisman Method and apparatus for browsing using multiple coordinated device sets
GB0211898D0 (en) * 2002-05-23 2002-07-03 Koninkl Philips Electronics Nv Controlling ambient light
WO2004006570A1 (en) * 2002-07-04 2004-01-15 Koninklijke Philips Electronics N.V. Method of and system for controlling an ambient light and lighting unit
US20040128342A1 (en) * 2002-12-31 2004-07-01 International Business Machines Corporation System and method for providing multi-modal interactive streaming media applications
KR20060006919A (ko) * 2003-04-14 2006-01-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 쇼의 영상 콘텐츠를 통한 암시적인 ｔｖ 추천기의 생성
US8266659B2 (en) * 2003-05-16 2012-09-11 Time Warner Cable LLC Technique for collecting data relating to activity of a user receiving entertainment programs through a communications network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348272A (ja) * 1993-06-07 1994-12-22 Roland Corp テンポ検出装置
JPH0869283A (ja) * 1994-08-29 1996-03-12 Imeeji Joho Kagaku Kenkyusho 音楽セッション装置およびシステム
JPH09212480A (ja) * 1996-01-31 1997-08-15 Yamaha Corp 雰囲気情報生成装置およびカラオケ装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009528755A (ja) * 2006-03-01 2009-08-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動き適応型周辺照明
JP4889731B2 (ja) * 2006-03-20 2012-03-07 シャープ株式会社 視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
US8838594B2 (en) 2006-12-27 2014-09-16 International Business Machines Corporation Automatic method to synchronize the time-line of video with audio feature quantity
JP2012513645A (ja) * 2009-04-13 2012-06-14 エンサーズ カンパニー リミテッド 動画像関連広告を提供する方法およびその装置
JP2015212928A (ja) * 2014-04-30 2015-11-26 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド 音声広告を挿入するための方法、装置、デバイス及びシステム
JP6122987B1 (ja) * 2016-03-18 2017-04-26 ヤフー株式会社 決定装置、決定方法、決定プログラム
JP2017169159A (ja) * 2016-03-18 2017-09-21 ヤフー株式会社 決定装置、決定方法、決定プログラム
JP2020507227A (ja) * 2017-01-09 2020-03-05 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ ライブ・ストリーミングにおける二次コンテンツのインテリジェント挿入
JP7204648B2 (ja) 2017-01-09 2023-01-16 オウメイン リミテッド ライブ・ストリーミングにおける二次コンテンツのインテリジェント挿入

Also Published As

Publication number Publication date
US20050265690A1 (en) 2005-12-01
US7610395B2 (en) 2009-10-27
CN1702675A (zh) 2005-11-30
EP1600871A1 (en) 2005-11-30
JP4776179B2 (ja) 2011-09-21
CN1702675B (zh) 2012-01-04

Similar Documents

Publication Publication Date Title
US7610395B2 (en) Timing decision apparatus and timing decision method
US20150082330A1 (en) Real-time channel program recommendation on a display device
CN104618446A (zh) 一种实现多媒体推送的方法和装置
US20090062943A1 (en) Methods and apparatus for automatically controlling the sound level based on the content
CN103688531A (zh) 控制装置、控制方法和程序
KR20110070790A (ko) 콘텐츠 제공 서버, 콘텐츠 재생 장치, 콘텐츠 제공 방법, 콘텐츠 재생 방법, 프로그램 및 콘텐츠 제공 시스템
JP2010283715A (ja) 端末装置及びプログラム
CN103338345A (zh) 演唱时拍摄图像或视频的方法与装置
WO2011066432A2 (en) System and method for uploading and downloading a video file and synchronizing videos with an audio file
JP2020522193A (ja) リバッファリングイベントの時間的配置
KR20150080237A (ko) 사용자 행동 기반으로 멀티미디어 콘텐츠 재생을 제어하는 방법 및 장치
KR101585830B1 (ko) 시청자 감정에 따른 스토리 전개 시스템 및 방법
JP6560503B2 (ja) 盛り上がり通知システム
US9538119B2 (en) Method of capturing moving picture and apparatus for reproducing moving picture
JP2008178090A (ja) 映像処理装置
JP2005136810A (ja) コンテンツ品質評価装置、その方法及びそのプログラム
CN107360449B (zh) 多媒体数据播放方法、装置和电子设备
US8850323B2 (en) Electronic device, content reproduction method, and program therefor
KR101000924B1 (ko) 캡션 표시 방법 및 장치
JP5084022B2 (ja) コンテンツ再生装置、コンテンツ再生システム、コンテンツ再生方法、およびプログラム
JP7451999B2 (ja) 録画装置、動画システム、録画方法、及びプログラム
US20160148623A1 (en) Television system, server apparatus, and television apparatus
KR101748576B1 (ko) 이동통신 단말기에서 동영상 데이터를 세그먼팅하기 위한 장치 및 방법
CN111698563A (zh) 基于ai虚拟主播的内容发送方法、装置和存储介质
CN105472455A (zh) 侦测特定视频内容与删除特定视频内容的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100506

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110526

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110628

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees