JP2008046729A - 動画像話題分割装置 - Google Patents

動画像話題分割装置 Download PDF

Info

Publication number
JP2008046729A
JP2008046729A JP2006219637A JP2006219637A JP2008046729A JP 2008046729 A JP2008046729 A JP 2008046729A JP 2006219637 A JP2006219637 A JP 2006219637A JP 2006219637 A JP2006219637 A JP 2006219637A JP 2008046729 A JP2008046729 A JP 2008046729A
Authority
JP
Japan
Prior art keywords
feedback information
learning model
topic
moving image
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006219637A
Other languages
English (en)
Other versions
JP4766560B2 (ja
Inventor
Keiichiro Hoashi
啓一郎 帆足
Kazunori Matsumoto
一則 松本
Fumiaki Sugaya
史昭 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2006219637A priority Critical patent/JP4766560B2/ja
Publication of JP2008046729A publication Critical patent/JP2008046729A/ja
Application granted granted Critical
Publication of JP4766560B2 publication Critical patent/JP4766560B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

【課題】話題分割結果に対するユーザの評価をフィードバックして学習することで、より確度の高い話題分割を可能にする。
【解決手段】クライアント端末1の動画像話題分割モジュール11は、動画像ファイル52を話題分割して話題分割結果53をユーザに提示する。フィードバック情報収集モジュール12は、話題分割結果53に対してユーザ50が指示した訂正をフィードバック情報として収集し、これをセンタサーバ3へ送信する。センタサーバ3のフィードバック情報統合モジュール31は、各クライアント端末1から取得したフィードバック情報を統合して統合フィードバック情報を生成する。再学習モジュール32は、統合フィードバック情報に基づいて、動画像話題分割のための学習モデルを再構築する。再学習モデル配信モジュール33は、この再学習モデルをクライアント端末1へ配信する。
【選択図】図1

Description

本発明は、学習モデルに基づいて動画像を話題の切り替わり点で自動的に分割する動画像話題分割装置に係り、特に、話題分割結果に対してユーザが指摘した訂正内容をフィードバックして学習モデルを更新する機能を備えた動画像話題分割装置に関する。
動画像コンテンツを話題の切り替わり点で自動的に分割する話題分割システムが知られている。
特許文献1には、ビデオデータにおける音声データを文字列としてテキスト化し、これにより得られた文字列を元に共通の話題が継続するセグメントを抽出し、各セグメントにおける話題と各セグメント間の入れ子構造とを同定してユーザに提示するビデオデータ検索支援方法が記載されている。
このビデオデータ検索支援方法では、テレビの文字放送のように既に文字情報が付加されている場合には音声データの文字列へのテキスト化を省略できるが、それ以外の場合には音声認識装置やキーボードなどを用いて音声データを文字列へテキスト化することが必要となる。
特許文献2では、動画像に含まれる個々のショットから抽出した視覚的・聴覚的特徴量に基づいて、話題分割点が含まれるショットを識別することにより、動画像の話題分割を行う技術が開示されており、ここでは、学習データに基づいて予め識別器が生成され、この識別器を利用して話題分割が行われる。
特開平5−342263号公報 特開2005−150943号公報
特許文献1に開示された技術では、テレビの文字放送のようにテキスト情報が元々存在していればテキスト化を省略できる。しかしながら、通常のテレビ放送のビデオデータやホームビデオで録画した画像などのパーソナルコンテンツのように、テキスト情報が存在しない場合には、共通の話題が継続するセグメントを抽出する前に、ビデオデータの音声データをテキスト化してテキスト情報を生成しなければならない。音声データのテキスト化には、作業者が音声を聞き取ってテキスト化する、いわゆる「書き起こし」という手法、音声データの元原稿から作業者がキーボードなどで入力する手法、音声データを音声認識装置に入力してテキスト情報を生成する手法などが用いられる。
しかしながら、「書き起こし」や元原稿から作業者が入力する手法は、人手によるものであるため手間が掛かり、膨大な量の動画像データに適用することは困難である。また、音声認識装置を用いる手法は、使用する音声認識装置の精度や音声の質によって認識エラーが発生して後段の話題分割の精度が影響されるという問題がある。
特許文献2に開示された技術では、動画像データのテキスト化処理を必要としないため、特許文献1のような問題は発生せず、効率的に話題分割を行うことが可能である。しかしながら、特許文献2では、動画像内のショットに話題分割点が含まれるか否かを判断する「識別器」の結果が、必ずしもユーザの意図や嗜好に適合しないという問題がある。
動画像における「話題」の概念は、個々のユーザの主観に依存する部分が多く、したがって、個人個人によって正解が異なる可能性が高い。このため、特許文献2のように、ユーザの嗜好によらず共通の識別器を利用してしまうと、個々のユーザの嗜好に適合した話題分割結果を得ることが困難である。
さらに、特許文献2では分析対象動画像の変化への適応性も問題となる。たとえば、あるニュース番組Aのアーカイブを学習データとして識別器を構築し、話題分割に利用しているという状況下で、ニュース番組Aが改編などにより、従来の番組構成から大きく変更になった場合は、従来の識別器では高い精度の話題分割結果を得ることが困難になる。この場合、識別器を再構築することが対処法の1つとなるが、高精度な識別器の構築には十分な学習データ量が必要となるため、改編されたニュース番組Aへの適応が遅くなってしまう。
本発明の目的は、上記した従来技術の課題を解決し、話題分割結果に対するユーザの評価をフィードバックして学習することで、より確度の高い話題分割を可能にした動画像話題分割装置を提供することにある。
上記した目的を達成するために、本発明は、動画像における話題分割点を決定する動画像話題分割装置において、以下のような特徴を有する。
(1)動画像データから所定区間ごとに特徴量を抽出する特徴量抽出手段と、動画像データの特徴量と話題分割点との関係が登録された学習モデルと、前記特徴量および学習モデルに基づいて動画像の話題分割点を決定する話題分割手段と、前記話題分割の結果を出力する話題分割結果出力手段と、前記話題分割結果に対するフィードバック情報を入力するフィードバック情報入力手段と、前記フィードバック情報に基づいて学習モデルを再構築する学習モデル再構築手段と、前記再構築された学習モデルで前記学習モデルを更新する学習モデル更新手段とを含むことを特徴とする。
(2)同一の動画像データに対する複数のフィードバック情報を統合して統合フィードバック情報を生成するフィードバック情報統合手段を含み、学習モデル再構築手段が、統合フィードバック情報に基づいて学習モデルを再構築することを特徴とする。
(3)特徴量抽出部、学習モデル、話題分割点決定手段、話題分割結果出力手段およびフィードバック情報入力手段を含む複数のクライアント端末と、学習モデル再構築手段、学習モデル更新手段およびフィードバック情報統合手段を含むセンタサーバとをネットワークで接続し、フィードバック情報統合手段は、各クライアント端末のフィードバック情報入力手段から入力されたフィードバック情報を統合し、学習モデル更新手段は、統合フィードバックに基づいて再構築された学習モデルをネットワーク経由で各クライアント端末へ配信することを特徴とする。
(4)センタサーバが、クライアント端末に配信済みの学習モデルを構築した際に利用した学習データを記憶する学習データ記憶手段を含み、学習モデル再構築手段は、配信済み学習モデルの学習データおよび統合フィードバック情報に基づいて学習モデルを再構築することを特徴とする。
(5)各クライアント端末が、ユーザの属性情報をセンタサーバへ通知する属性通知手段を含み、センタサーバが、各クライアント端末から通知された属性情報に基づいて各ユーザを複数のグループに分類する手段を含み、フィードバック情報統合手段は、同一グループのユーザから受信したフィードバック情報同士を統合し、学習モデル再構築手段は、グループごとに生成された統合フィードバック情報に基づいて学習モデルをグループごとに再構築し、学習モデル更新手段は、グループごとに再構築された学習モデルを、対応するクライアント端末へそれぞれ配信することを特徴とする。
本発明によれば、以下のような効果が達成される。
(1)動画像を特徴量に基づいて話題分割するための学習モデルを、話題分割の結果に対してユーザが入力したフィードバック情報に基づいて再構築し、再構築された学習モデルに基づいて既存の学習モデルを更新するようにしたので、話題分割の確度を漸次に向上させることができるようになる。
(2)複数のフィードバック情報を一つのフィードバック情報に統合し、統合されたフィードバック情報(統合フィードバック情報)に基づいて学習モデルを再構築するようにしたので、複数のフィードバック情報が反映され、偏りの少ない学習モデルを再構築できるようになる。
(3)複数のクライアント端末から送信されたフィードバック情報を一つのフィードバック情報に統合し、統合されたフィードバック情報(統合フィードバック情報)に基づいて各クライアント端末の学習モデルを再構築するようにしたので、複数のユーザからのフィードバック情報が反映され、偏りの少ない学習モデルを再構築できるようになる。
(4)学習モデル再構築手段が、配信済み学習モデルの学習データおよび統合フィードバック情報に基づいて学習モデルを再構築するようにしたので、統合されたフィードバック情報が少ない場合でも、偏った学習モデルが構築されてしまうことを防止できる。
(5)複数のユーザから送信されるフィードバック情報を各ユーザの属性ごとに統合して学習モデルを再構築し、対応するユーザの学習モデルとして利用するようにしたので、ユーザの属性を反映した動画像話題分割が可能になる。
以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図1は、本発明に係る動画像話題分割システムの主要部の構成を示したブロック図であり、動画像話題分割装置として機能する複数のクライアント端末1と、このクライアント端末1にネットワーク2を介して接続されたセンタサーバ3とを主要な構成としている。
クライアント端末1において、話題分割モジュール11は、TV信号受信機51などから入力される動画像ファイル52に対して話題分割処理を行い、話題分割結果53を画面表示または印刷等により出力してユーザ50に提示する。フィードバック情報収集モジュール12は、話題分割モジュール11によって提示された話題分割結果53に対してユーザ50が行った訂正をフィードバック情報として収集する。このフィードバック情報には、話題分割モジュール11によって誤検出された話題分割点を解除する情報や、話題分割モジュール11によって見逃された話題分割点を追加設定する情報などが含まれる。
図2は、前記話題分割モジュール11の構成を示したブロック図であり、前記と同一の符号は同一または同等部分を表している。
ショット分割手段101は、入力された動画像ファイル52をショット単位に分割する。ここでのショット分割処理には、例えば特開2000−36966号公報に開示されているカット点抽出技術を利用できる。ショット特徴量抽出手段102は、ショット分割手段101で分割された各ショットから、その内容を代表する特徴量を抽出する。ショットの特徴量としては、各ショットの画像の色情報、画像の動き情報、各ショットに含まれるオーディオデータの音量、オーディオの種別などが抽出される。ショット特徴量抽出手段102で抽出された各ショットの特徴量は、ショット自動分類手段103および話題分割点識別手段104に入力される。
ショット自動分類手段103は、ショット特徴量抽出手段102で抽出された特徴量に基づいて、各ショットを予め決められたショットカテゴリに分類する。ショットカテゴリは、各ショットがどのような範疇に入るものであるかを示すものであり、例えば、話題分割対象の動画像ファイル52がニュース番組の場合、ショットカテゴリとしては「キャスタショット」、「レポートショット」、「コマーシャルショット」などを挙げることができる。本実施形態では、自動分類アルゴリズムとして、例えば「Vapnik:Statistical learning theory, A Wiley-Interscience Publication, 1998」に記載されているサポートベクタマシン(SVM)を利用できる。
図3は、SVMの概念を説明した図であり、SVMは、分離超平面h*およびグレーゾーン(距離D)を有する。分離超平面h*は自動分類の閾値であり、グレーゾーン(距離D)は、自動分類結果が比較的曖昧な領域である。
ショット自動分類手段103は、分離超平面h*や距離Dが設定されたSVMにより、動画像ファイルの各ショットを予め決められたショットカテゴリに分類する。このとき、各ショットの特徴量の、分離超平面h*あるいはグレーゾーンからの離間距離Dが、分類結果の確実性を示すスコアとなる。
図3では、縦軸を特徴量a、横軸を特徴量bとし、例えば、キャスタショットであるか否かを分類する分類器の場合、キャスタショットの特徴量の位置を「+」、キャスタショットでないショットの特徴量の位置を「−」で示している。なお、図3では抽出する特徴量が2種a,bであるが、それ以上の場合には、それに対応した次元位置でのプロットとなるのはもちろんである。図3で「○」を付してあるように、特徴量がグレーゾーン内にあるショットは、不確実であるとして当該ショットカテゴリに分類しないようにすることができる。
分離超平面h*や距離Dは、以下のようにして学習することにより得ることができる。まず、予めショットカテゴリが分かっている学習データ(動画像ファイル)を用意する。次に、この学習データをショット自動分類手段103のSVMに与え、各ショットカテゴリに含まれている特徴量などについて学習を行わせる。そして、この学習結果に基づいて自動分類が最適に行われるように、SVMに分離超平面h*や距離Dのパラメータを設定する。これらのパラメータは学習モデル記憶部13に学習モデルとして記憶され、これにより、例えば「キャスタショット」、「レポートショット」、「コマーシャルショット」であるか否かを分類するための分類器などが構築される。
話題分割点識別手段104は、連続したショットの特徴量に基づいて、話題分割点の有無を自動的に識別する。話題分割点の有無を識別するためのツールも、ショット自動分類手段103の場合と同様に、まず、話題分割点が含まれている一連のショット並びに話題分割点が含まれていないショットを含む学習データを用意する。そして、この学習データを話題分割点識別手段104の話題分割点識別アルゴリズムに与え、話題分割点が含まれている一連のショット並びに話題分割点が含まれていないショットの特徴量などについて学習を行わせ、この学習結果に基づいて話題分割点識別アルゴリズムにおけるパラメータなどを最適に設定することにより実現できる。本実施形態では、上述のSVMを話題分割点識別アルゴリズムとして利用する。
話題分割点決定手段105は、ショット自動分類手段103で分類されたショットカテゴリおよび話題分割点識別手段104で識別された話題分割点の情報に基づいて動画像ファイル52における話題分割点を決定する。
以上のようにして決定された話題分割点は、話題分割結果提示手段106によりユーザ50に提示される。ユーザ50は、提示された話題分割点を参照して動画像ファイル52から自己が希望する動画像のみを分割して取得することができる。なお、上記した話題分割に関しては、本出願人による特許出願(特開2005−150943号公報)で詳細に説明されている。
図1へ戻り、前記センタサーバ3において、フィードバック情報統合モジュール31は、各クライアント端末1から取得したフィードバック情報を収集・統合して統合フィードバック情報を生成する。この際、異なるユーザのフィードバック情報間に齟齬が発生する可能性があるため、統合時には、例えばフィードバック情報を送信した全てのユーザのうち、一定の割合(閾値)以上のユーザが与えたフィードバック情報のみを抽出するなどの手法が採用される。
再学習モジュール32は、前記フィードバック情報統合モジュール31で生成された統合フィードバック情報、ならびに、必要に応じて学習データ記憶部30に記憶されている、各ユーザ端末1に配信済みの既存の学習モデルの学習データに基づいて、動画像話題分割のための学習モデル40を再構築する。
再学習モデル配信モジュール33は、動画像話題分割再学習モジュール32での再学習処理の結果として得られた学習モデル40を各クライアント端末1に配信する。この学習モデル40は、各クライアント端末1の学習モデル記憶部13に更新登録される。この学習モデルが配信された以降、各クライアント端末1では、更新登録された学習モデルに基づいて動画像話題分割が行われる。すなわち、ユーザ50からのフィードバック情報が反映された学習モデルに基づいて話題分割が実行される。
次いで、フローチャートを参照して本実施形態の動作を詳細に説明する。図4は、本発明に係る話題分割方法の手順のうち、特にクライアント端末1の動作を示したフローチャートである。
ステップS1において、動画像ファイル52の受信が検知されると、ステップS2では、この動画像ファイル52に対して、前記動画像話題分割モジュール11において話題分割が実施される。ステップS3では、話題分割結果が印刷表示または画面表示によりユーザ50に提供される。この話題分割結果には、各ショットのサムネイルが一覧表示され、各サムネイルには、そのショットが話題分割点を含んでいるか否かの情報が付与されている。
ステップS4では、フィードバック情報がユーザ50により入力されたか否かが判定され、入力されたフィードバック情報はフィードバック情報収集モジュール12いより収集される。このフィードバック情報では、動画像話題分割モジュール11により話題分割点を含まないと判定されたがユーザにより話題分割点を含むと判定されたショットや、これとは逆に動画像話題分割モジュール11により話題分割点を含むと判定されたがユーザが話題分割点を含まないと判定したショットを指定する情報が含まれる。ステップS5では、このフィードバック情報がセンタサーバ3へ配信される。
図5は、前記センタサーバ3の動作を示したフローチャートである。ステップS31において、クライアント端末1から送信されたフィードバック情報が受信されると、ステップS32では、受信されたフィードバック情報が記憶される。ステップS33では、フィードバック情報が十分に収集されたか否かが判定され、不十分であればステップS31へ戻って上記した各処理が繰り返される。その後、フィードバック情報が十分に蓄積されたと判断されるとステップS34へ進み、蓄積されているフィードバック情報が、前記フィードバック情報統合モジュール31において統合される。
図6は、各クライアント端末1から受信したフィードバック情報を統合して統合フィードバック情報を生成する方法を模式的に表現した図である。
各クライアント端末1からは、動画像話題分割モジュール11で識別されたショット(ショットID)ごとに、当該動画像話題分割モジュール11による話題分割結果を訂正する情報が登録されている。本実施形態では、動画像話題分割モジュール11により話題分割点を含まないと判定されたがユーザにより話題分割点を含むと判定されたショットには記号「○」が、話題分割モジュール11により話題分割点を含むと判定されたがユーザにより話題分割点を含まないと判定されたショットには記号「X」が、ユーザにより訂正されなかったショットには記号「−」が、それぞれ付与されている。
前記統合モジュール31は、記号「○」が所定の割合(例えば、過半数)を占めているショットに関しては、前記動画像話題分割モジュール11の判定結果にかかわらず話題分割点に設定する。図示した例では、ショットID[0001],[0xxx]の各ショットは話題分割点を含むショットに設定される。これに対して、記号「×」が所定の割合を占めているショットに関しては、前記話題分割モジュール11の判定結果にかかわらず話題分割点の設定を解除する。図示した例では、ショットID[0002],[0003]の各ショットは話題分割点を含まないショットに設定される。
なお、全てのユーザが全てのショットに対してフィードバック情報を提供することは考えにくい。そこで、フィードバック情報が十分に得られなかったショット、すなわち記号「−」が所定の割合(例えば、過半数)を占めているショットに関しては、話題分割モジュール11の判定結果が正しかったものとして、その判定結果を採用する。
図5へ戻り、ステップS35では、前記再学習モジュール32において、統合フィードバック情報に基づいて学習モデルが再構築される。すなわち、前記統合フィードバック情報により話題分割点が新たに定義された動画像ファイルをSMVに与え、各ショットに含まれている特徴量などについて再学習を行わせる。そして、この学習結果に基づいて自動分類が最適に行われるように分離超平面h*や距離Dのパラメータが再構築される。ステップS36では、再構築された学習モデル40が再学習モデル配信モジュール33により各クライアント端末1へ配信される。
図4のフローチャートへ戻り、各クライアント端末1は、前記センタサーバ3から配信された学習モデルをステップS6で受信すると、ステップS7では、この学習モデルが学習モデル記憶部13に更新登録される。これ以後、各クライアント端末1の話題分割モジュール11では、更新された学習モデルの分離超平面h*および距離Dに基づいて話題分割が行われる。
なお、上記した実施形態では、学習モデルを統合フィードバック情報に基づいて再構築するものとして説明したが、統合フィードバック情報の量が十分でない場合には、学習データ記憶部30に記憶されている過去の学習データ、すなわち既存の学習モデルを構築する際に利用した学習データと合わせて再学習を行うようにしても良い。その際、過去の学習データの量がフィードバック情報の量と比べて圧倒的に多くなり、結果として再学習の効果が減少することが予期される場合には、過去の学習データの中から古い学習データを取り除いた上で再学習を行うなどにより、フィードバック情報を強く再学習結果に反映させるようにすることが望ましい。
さらに、SVMの再学習方法としては、統合フィードバック情報(ならびに過去の学習データ)の中から、SVMの分離超平面の近傍に分布するショットのみを抽出してSVMを再学習する方法などを採用することにより、より効率的かつ高精度な結果を得ることができる。
図7は、本発明の第2実施形態に係る動画像話題分割装置のブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態では、ユーザを嗜好などの属性に応じてグループ分けし、グループごとに学習モデルを生成するようにした点に特徴がある。
例えば、スポーツ好きなユーザであれば、ニュース番組のスポーツコーナー内の個々の話題を別々に見たいと思う傾向がある。これに対して、スポーツにあまり興味のないユーザであれば、スポーツコーナーをまとめて1つの話題として扱ってもよいと考える傾向がある。このような状況に対応するため、本実施形態では異なる嗜好のユーザを別グループに分類してフィードバック情報をグループごとに統合し、グループごとに学習モデルを再構築するようにしている。
図7において、クライアント端末1の属性通知モジュール14は、ユーザの嗜好(例えば、好みの番組、好みのスポーツなど)、年齢、性別といった各ユーザに固有の属性情報をセンタサーバ3へ通知する。これらの属性情報は、予めユーザ50によってクライアント端末1に登録される。
センタサーバ3のユーザ分類モジュール34は、各クライアント端末1から通知された属性情報に基づいて各ユーザを複数のグループに分類する。前記フィードバック情報統合モジュール31は、同一グループのユーザから受信したフィードバック情報同士を統合して統合フィードバックを生成する。前記再学習モジュール32は、グループごとに生成された統合フィードバック情報に基づいて、学習モデルをグループごとに再構築する。前記再学習モデル配信モジュール33は、グループごとに再構築された学習モデルを、対応するクライアント端末1へそれぞれ配信する。
本発明に係る動画像話題分割システムの構成を示したブロック図である。 動画像話題分割モジュールの構成を示したブロック図である。 SVMの概念の説明図である。 クライアント端末の動作を示したフローチャートである。 センタサーバの動作を示したフローチャートである。 統合フィードバック情報の生成方法を模式的に表現した図である。 本発明に係る動画像話題分割システムの他の実施形態のブロック図である。
符号の説明
1…クライアント端末,2…ネットワーク,3…センタサーバ,11…動画像話題分割モジュール,12…フィードバック情報収集モジュール,13…学習モデル記憶部,30…学習データ記憶部,31…フィードバック情報統合モジュール,32…再学習モジュール,33…再学習モデル配信モジュール,34…ユーザ分類モジュール,50…ユーザ,51…TV信号受信機,52…動画像ファイル,53…話題分割結果

Claims (5)

  1. 動画像における話題分割点を決定する動画像話題分割装置において、
    動画像データから所定区間ごとに特徴量を抽出する特徴量抽出手段と、
    動画像データの特徴量と話題分割点との関係が登録された学習モデルと、
    前記特徴量および学習モデルに基づいて動画像の話題分割点を決定する話題分割手段と、
    前記話題分割の結果を出力する話題分割結果出力手段と、
    前記話題分割結果に対するフィードバック情報を入力するフィードバック情報入力手段と、
    前記フィードバック情報に基づいて学習モデルを再構築する学習モデル再構築手段と、
    前記再構築された学習モデルで前記学習モデルを更新する学習モデル更新手段とを含むことを特徴とする動画像話題分割装置。
  2. 同一の動画像データに対する複数のフィードバック情報を統合して統合フィードバック情報を生成するフィードバック情報統合手段を含み、
    前記学習モデル再構築手段は、前記統合フィードバック情報に基づいて学習モデルを再構築することを特徴とする請求項1に記載の動画像話題分割装置。
  3. 前記特徴量抽出部、学習モデル、話題分割点決定手段、話題分割結果出力手段およびフィードバック情報入力手段を含むクライアント端末を複数備え、
    前記学習モデル再構築手段、学習モデル更新手段およびフィードバック情報統合手段を含むセンタサーバを備え、
    前記各クライアント端末とセンタサーバとがネットワークを介して接続され、
    前記フィードバック情報統合手段は、各クライアント端末のフィードバック情報入力手段から入力されたフィードバック情報を統合し、
    前記学習モデル更新手段は、統合フィードバックに基づいて再構築された学習モデルをネットワーク経由で各クライアント端末へ配信することを特徴とする請求項2に記載の動画像話題分割装置。
  4. 前記センタサーバが、
    クライアント端末に配信済みの学習モデルを構築する際に利用した学習データを記憶する学習データ記憶手段を含み、
    前記学習モデル再構築手段は、配信済み学習モデルの学習データおよび前記統合フィードバック情報に基づいて学習モデルを再構築することを特徴とする請求項3に記載の動画像話題分割装置。
  5. 前記各クライアント端末が、ユーザの属性情報をセンタサーバへ通知する属性通知手段を含み、
    前記センタサーバが、各クライアント端末から通知された属性情報に基づいて各ユーザを複数のグループに分類する手段を含み、
    前記フィードバック情報統合手段は、同一グループのユーザから受信したフィードバック情報同士を統合し、
    前記学習モデル再構築手段は、グループごとに生成された統合フィードバック情報に基づいて学習モデルをグループごとに再構築し、
    前記学習モデル更新手段は、グループごとに再構築された学習モデルを、対応するクライアント端末へそれぞれ配信することを特徴とする請求項3または4に記載の動画像話題分割装置。
JP2006219637A 2006-08-11 2006-08-11 動画像話題分割装置 Expired - Fee Related JP4766560B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006219637A JP4766560B2 (ja) 2006-08-11 2006-08-11 動画像話題分割装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006219637A JP4766560B2 (ja) 2006-08-11 2006-08-11 動画像話題分割装置

Publications (2)

Publication Number Publication Date
JP2008046729A true JP2008046729A (ja) 2008-02-28
JP4766560B2 JP4766560B2 (ja) 2011-09-07

Family

ID=39180438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006219637A Expired - Fee Related JP4766560B2 (ja) 2006-08-11 2006-08-11 動画像話題分割装置

Country Status (1)

Country Link
JP (1) JP4766560B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019061579A (ja) * 2017-09-27 2019-04-18 富士フイルム株式会社 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置
WO2019132168A1 (ko) * 2017-12-28 2019-07-04 (주)휴톰 수술영상데이터 학습시스템
WO2020148959A1 (ja) * 2019-01-15 2020-07-23 ソニー株式会社 サーバおよび学習システム
US10817753B2 (en) 2017-09-27 2020-10-27 Fujifilm Corporation Learning assistance device, method of operating learning assistance device, learning assistance program, learning assistance system, and terminal device
WO2021059847A1 (ja) * 2019-09-27 2021-04-01 AI inside株式会社 情報処理システム、情報処理方法及び情報処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306579A (ja) * 2000-04-25 2001-11-02 Mitsubishi Electric Corp 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002007433A (ja) * 2000-04-17 2002-01-11 Fujitsu Ltd 情報分類装置、情報分類方法および情報分類プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに情報分類プログラム
JP2005150943A (ja) * 2003-11-12 2005-06-09 Kddi Corp 動画像話題分割点決定装置
JP2006185189A (ja) * 2004-12-27 2006-07-13 Denso It Laboratory Inc ユーザ支援装置及びユーザ支援方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002007433A (ja) * 2000-04-17 2002-01-11 Fujitsu Ltd 情報分類装置、情報分類方法および情報分類プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに情報分類プログラム
JP2001306579A (ja) * 2000-04-25 2001-11-02 Mitsubishi Electric Corp 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005150943A (ja) * 2003-11-12 2005-06-09 Kddi Corp 動画像話題分割点決定装置
JP2006185189A (ja) * 2004-12-27 2006-07-13 Denso It Laboratory Inc ユーザ支援装置及びユーザ支援方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019061579A (ja) * 2017-09-27 2019-04-18 富士フイルム株式会社 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置
US10817753B2 (en) 2017-09-27 2020-10-27 Fujifilm Corporation Learning assistance device, method of operating learning assistance device, learning assistance program, learning assistance system, and terminal device
US10902286B2 (en) 2017-09-27 2021-01-26 Fujifilm Corporation Learning assistance device, method of operating learning assistance device, learning assistance program, learning assistance system, and terminal device
US11797846B2 (en) 2017-09-27 2023-10-24 Fujifilm Corporation Learning assistance device, method of operating learning assistance device, learning assistance program, learning assistance system, and terminal device
WO2019132168A1 (ko) * 2017-12-28 2019-07-04 (주)휴톰 수술영상데이터 학습시스템
WO2020148959A1 (ja) * 2019-01-15 2020-07-23 ソニー株式会社 サーバおよび学習システム
CN113168588A (zh) * 2019-01-15 2021-07-23 索尼集团公司 服务器以及学习系统
CN113168588B (zh) * 2019-01-15 2023-11-24 索尼集团公司 服务器以及学习系统
JP7409326B2 (ja) 2019-01-15 2024-01-09 ソニーグループ株式会社 サーバおよび学習システム
WO2021059847A1 (ja) * 2019-09-27 2021-04-01 AI inside株式会社 情報処理システム、情報処理方法及び情報処理プログラム
JP2021056658A (ja) * 2019-09-27 2021-04-08 AI inside株式会社 情報処理システム、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
JP4766560B2 (ja) 2011-09-07

Similar Documents

Publication Publication Date Title
US10304458B1 (en) Systems and methods for transcribing videos using speaker identification
US9769545B2 (en) System and method for automatically authoring interactive television content
US11966404B2 (en) Media names matching and normalization
US9860593B2 (en) Devices, systems, methods, and media for detecting, indexing, and comparing video signals from a video display in a background scene using a camera-enabled device
US10643074B1 (en) Automated video ratings
US10834439B2 (en) Systems and methods for correcting errors in caption text
US20040073919A1 (en) Commercial recommender
JP5277184B2 (ja) 選択肢生成提示装置及び選択肢生成提示プログラム
JP4766560B2 (ja) 動画像話題分割装置
KR101999607B1 (ko) 영상의 출력 특성 조정을 위한 방법 및 장치
JP6601944B2 (ja) コンテンツ生成装置およびプログラム
JP7022782B2 (ja) コンテンツ特徴に基づいたトリガ機能を有するコンピューティングシステム
CN113438544A (zh) 一种互联网流媒体大数据弹幕的处理方法
US20120150990A1 (en) System and method for synchronizing with multimedia broadcast program and computer program product thereof
EP3140991B1 (en) Synchronizing broadcast timeline metadata
JP6091552B2 (ja) 動画処理装置及び動画処理システム
JP2005150943A (ja) 動画像話題分割点決定装置
KR102567823B1 (ko) 유튜브 업로드시점 분석시스템
JP5213747B2 (ja) 映像コンテンツ保管視聴システムおよび方法
EP4312430A1 (en) Method and system for receiving a data stream and optimizing the detection of a specific position within the data stream
CN116071822A (zh) 一种手语识别方法及相关装置、设备、存储介质
CN110704680A (zh) 标签生成方法、电子设备及存储介质
JP2013243597A (ja) デジタル放送受信装置及びデータ処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110323

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110608

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110609

R150 Certificate of patent or registration of utility model

Ref document number: 4766560

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees