JP2000048044A - マルチメディア情報提供方法及びシステム及びマルチメディア情報提供プログラムを格納した記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 システムがビデオにより入力された利用者の
動作と予め登録されている模範的な動作とを比較して利
用者の動作特性を分析可能とすると共に、利用者がシス
テムを繰り返し利用する過程での動作特性の変化も分析
可能とし、利用者の動作特性に合ったマルチメディア情
報を利用者の動作特性の変化に応じて生成し提供できる
マルチメディア情報提供方法及びシステム及びマルチメ
ディア情報提供プログラムを格納した記憶媒体を提供す
る。 【解決手段】 本発明は、利用者から入力されたビデオ
情報と、予め情報サーバに登録されている模範的な動作
の模範ビデオ情報とを比較して、利用者の動作特性を分
析し、ビデオ情報と模範ビデオ情報の差異を検出し、検
出された差異をビデオ情報及び模範ビデオ情報から切り
出し、切り出された情報に基づいてマルチメディア情報
を生成し、利用者に提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マルチメディア情
報提供方法及びシステム及びマルチメディア情報提供プ
ログラムを格納した記憶媒体に係り、特に、利用者の特
性に合ったマルチメディア情報をデータベースから検索
して提供する場合に、ビデオ入力された利用者の動作か
ら利用者の動作特性を分析して、利用者の動作特性に合
ったマルチメディ情報を生成して提供するためのマルチ
メディア情報提供方法及びシステム及びマルチメディア
情報提供プログラムを格納した記憶媒体に関する。

【０００２】

【従来の技術】個々の利用者の特性に応じて選択的に情
報を提供する従来の第１のマルチメディア情報提供方法
が、例えば、Proceedings of the CHI'95 Conference
(ACM Press 発行、1995年) 掲載の論文「Social Inform
ationfiltering: Alogorithms for Automating "Word o
f Mouth" 」に示されている。この方法では、先ず、マ
ルチメディア情報提供システムが個々の利用者に対して
いくつかの同一情報を提示し、利用者が提示された各々
の情報について興味の度合いを、例えば、５段階評価の
数値といった形式で入力する。システムは、入力された
興味の度合いに基づき個々の利用者の特性を分析し、あ
る利用者からマルチメディア情報の提供要求があったと
き、その利用者と類似した特性を有する他の利用者を見
つけ、類似した特性の利用者がこれまでに検索したマル
チメディア情報を求めて現在情報提供を要求している利
用者へ提供する。この方法によれば、利用者が自身の特
性を表す情報をシステムへ入力できるので、利用者間の
特性の類似度に基づき個々の利用者の特性に合ったマル
チメディア情報が提供可能となる。また、利用者はシス
テムから提供されるマルチメディア情報に対して繰り返
し興味の度合いを入力し、システムは、利用者の入力履
歴をも考慮して提供すべきマルチメディア情報を選択で
きるので、システムを繰り返し利用する過程での利用者
特性の変化に併せてマルチメディア情報を提供すること
も可能となる。

【０００３】一方、個々の利用者の特性に応じて選択的
に情報を提供する従来の第２のマルチメディア情報提供
方法が、例えば、MIT Media Laboratory Perceptual Co
mputing Section Technical Report (MIT Media Labora
tory 発行、1997年) 掲載の論文「Vertual PAT: A Vir
tual Personal Aerobics Trainer」に示されている。こ
の方法は、エアロビクスのトレーニング支援を目的とし
たもので、エアロビクスの模範ビデオに併せてトレーニ
ングを行っている利用者の様子をビデオカメラで撮影し
てシステムに入力すると、システムは入力されたビデオ
から利用者の現在の運動特性を分析し、利用者の動作を
改善するためのアドバイスをマルチメディア情報により
提供する。この方法によれば、利用者は自身の動作をビ
デオにより的確にシステムに入力できるので、利用者の
現在の動作特性に合ったマルチメディア情報を適宜提供
可能となる。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
た従来の第１のマルチメディア情報提供方法では、利用
者がシステムへ入力できるのは、利用者の興味の度合い
を表す数値のような単純な情報に限られ、利用者の動作
を表すビデオのような複雑な情報をシステムに入力する
ことができないため、例えば、システムが利用者の動作
の特性を分析し、動作を改善するためのアドバイスをマ
ルチメディア情報で提供するようなサービスへ適用する
ことができないという問題がある。

【０００５】一方、上述した従来の第２のマルチメディ
ア情報提供方法では、利用者の動作をビデオによりシス
テムへ入力可能であるため、従来の第１のマルチメディ
ア情報提供方法が抱える問題の解決は図れる。しかしな
がら、従来の第２のマルチメディア情報提供方法では、
利用者へ提供できるマルチメディア情報は利用者の現在
の動作特性に合ったものに限られ、従来の第１のマルチ
メディア情報提供方法のように、システムを繰り返し利
用する過程での利用者特性の変化を考慮することができ
ないため、例えば、同じ利用者に対して同じアドバイス
を繰り返し提供しても動作が改善されない場合は、提供
するアドバイスを適宜変更するようなサービスへ適用す
ることができないという問題がある。

【０００６】本発明は、上記の点に鑑みなされたもの
で、上述した２つの従来のマルチメディア情報提供方法
が抱える問題の解決を同時に図り、システムがビデオに
より入力された利用者の動作と予め登録されている模範
的な動作とを比較して利用者の動作特性を分析可能とす
ると共に、利用者がシステムを繰り返し利用する過程で
の動作特性の変化も分析可能とし、利用者の動作特性に
合ったマルチメディア情報を利用者の動作特性の変化に
応じて生成し提供できるマルチメディア情報提供方法及
びシステム及びマルチメディア情報提供プログラムを格
納した記憶媒体を提供することを目的とする。

【０００７】

【課題を解決するための手段】図１は、本発明の原理を
説明するための図である。本発明（請求項１）は、利用
者から入力される情報に基づいて、該利用者の特性を分
析し、分析により求められた特性に合ったマルチメディ
ア情報をデータベースから検索して利用者に提供するマ
ルチメディア情報提供方法において、利用者から利用者
ビデオ情報が入力されると（ステップ１）、入力された
利用者ビデオ情報と、予め情報サーバに登録されている
模範的な動作の模範ビデオ情報とを比較して、利用者の
動作特性を分析し（ステップ２）、利用者ビデオ情報と
模範ビデオ情報の差異を検出し（ステップ３）、検出さ
れた差異をビデオ情報及び模範ビデオ情報から切り出し
（ステップ４）、切り出された情報に基づいてマルチメ
ディア情報を生成し（ステップ５）、利用者に提供する
（ステップ６）。

【０００８】本発明（請求項２）は、予め情報サーバに
登録されている登録情報として、模範者の動作を撮影し
た複数の模範ビデオ情報と、模範ビデオ情報に含まれる
動作の内容を表すビデオ属性と、模範ビデオ情報に含ま
れる動作の時系列的な特徴を表す動作特徴情報と、動作
特徴情報の取得手順を定義した特徴抽出モジュールと、
利用者の動作特性に合ったマルチメディア情報を生成す
るために用いる情報テンプレートと、情報テンプレート
の適用条件を表すテンプレート属性と、個々の利用者に
対する情報テンプレートの適用状況を表す利用者管理情
報とを含む。

【０００９】本発明（請求項３）は、利用者の動作特性
を分析する際に、登録情報の模範ビデオの中から利用者
の特性を分析するために用いる模範ビデオ情報を選択
し、選択された模範ビデオ情報に関連付けられた特徴抽
出モジュールと動作特徴情報とを読み出し、読み出した
特徴抽出モジュールを利用して、利用者ビデオ情報に含
まれる動作の時系列的な特徴を表す利用者動作特徴情報
を取得し、取得した利用者動作特徴情報と登録情報から
読み出した動作特徴情報とを比較して、利用者の動作が
模範者の動作と異なる時区間を求める。

【００１０】本発明（請求項４）は、マルチメディア情
報を生成する際に、求められた時区間情報と利用者ビデ
オ情報のビデオ属性と登録されているテンプレート属性
とを比較することで、登録されている情報テンプレート
の中から、利用者に提供するマルチメディア情報を生成
するために用いる候補を複数選択し、選択した候補に関
連付けられた利用者管理情報を読み出して、利用者管理
情報と利用者が入力した利用者識別子を比較し、該利用
者に対する候補の適用状況を抽出し、抽出された適用情
報に基づいて、候補の中から利用者に提供するマルチメ
ディア情報を生成するための情報テンプレートを１つ選
択し、選択した情報テンプレートに切り出したシーンを
組み込む。

【００１１】図２は、本発明の原理構成図である。本発
明（請求項５）は、利用者から入力される情報に基づい
て、該利用者の特性を分析し、分析により求められた特
性に合ったマルチメディア情報をデータベースから検索
して利用者に提供するマルチメディア情報提供システム
であって、利用者からの利用者ビデオ情報、ビデオ属性
及び利用者を一意に識別するための利用者識別子を入力
する入力手段１１と、提供されたマルチメディア情報を
出力する出力手段１２とを有する利用者端末装置１０
と、マルチメディア情報を提供するために必要な模範的
な動作の模範ビデオ情報を含む情報が登録されているデ
ータベース２４と、入力手段１１から入力された利用者
ビデオ情報と、データベース２４に登録されている模範
的な動作の模範ビデオ情報とを比較して、利用者の動作
特性を分析し、ビデオ情報と模範ビデオ情報の差異を検
出し、検出された差異を利用者ビデオ情報及び模範ビデ
オ情報から切り出す分析手段２２と、切り出された情報
に基づいてマルチメディア情報を生成するマルチメディ
ア情報生成手段２３と、マルチメディア情報生成手段２
３により生成されたマルチメディア情報を利用者に提供
する提供手段２５とを有する情報サーバ２０とを有す
る。

【００１２】本発明（請求項６）は、データベース２４
において、模範者の動作を撮影した複数の模範ビデオ情
報と、模範ビデオ情報に含まれる動作の内容を表すビデ
オ属性と、模範ビデオ情報に含まれる動作の時系列的な
特徴を表す動作特徴情報と、動作特徴情報の取得手順を
定義した特徴抽出モジュールと、利用者の動作特性に合
ったマルチメディア情報を生成するために用いる情報テ
ンプレートと、情報テンプレートの適用条件を表すテン
プレート属性と、個々の利用者に対する情報テンプレー
トの適用状況を表す利用者管理情報とを格納する。

【００１３】本発明（請求項７）は、分析手段２２にお
いて、登録情報の模範ビデオの中から利用者の特性を分
析するために用いる模範ビデオ情報を選択する選択手段
と、選択手段で選択された模範ビデオ情報に関連付けら
れた特徴抽出モジュールと、動作特徴情報とを読み出す
動作特徴情報読み出し手段と、読み出した特徴抽出モジ
ュールを利用して、利用者ビデオ情報に含まれる動作の
時系列的な特徴を表す利用者動作特徴情報を取得する特
徴情報取得手段と、特徴情報取得手段で取得した利用者
動作特徴情報と動作特徴情報読み出し手段で読み出され
た動作特徴情報とを比較して、利用者の動作が模範者の
動作と異なる時区間を求める時区間抽出手段と、時区間
抽出手段で抽出された時区間に基づいて、利用者ビデオ
情報と模範ビデオ情報からシーンを切り出すシーン切り
出し手段とを含む。

【００１４】本発明（請求項８）は、マルチメディア情
報生成手段２３において、求められた時区間情報と利用
者ビデオ情報のビデオ属性と登録されているテンプレー
ト属性とを比較することで、登録されている情報テンプ
レートの中から、利用者に提供するマルチメディア情報
を生成するために用いる候補を複数選択する候補選択手
段と、候補選択手段で選択された候補に関連付けられた
利用者管理情報を読み出して、該利用者管理情報と利用
者が入力した利用者識別子を比較し、該利用者に対する
候補の適用状況を抽出する適用情報抽出手段と、適用情
報抽出手段で抽出された適用情報に基づいて、候補の中
から利用者に提供するマルチメディア情報を生成するた
めの情報テンプレートを１つ選択するテンプレート選択
手段と、テンプレート選択手段で選択された情報テンプ
レートに切り出したシーンを組み込むシーン組み込み手
段とを含む。

【００１５】本発明（請求項９）は、利用者から入力さ
れる情報に基づいて、該利用者の特性を分析し、分析に
より求められた特性に合ったマルチメディア情報をデー
タベースから検索して利用者に提供するマルチメディア
情報提供プログラムを格納した記憶媒体であって、情報
を利用者端末に提供する情報サーバに搭載される、利用
者端末から入力された利用者ビデオ情報と、マルチメデ
ィア情報を提供するために必要な模範的な動作の模範ビ
デオ情報を含む情報が登録されているデータベースに登
録されている模範的な動作の模範ビデオ情報とを比較し
て、利用者の動作特性を分析し、利用者ビデオ情報と模
範ビデオ情報の差異を検出し、検出された差異を利用者
ビデオ情報及び模範ビデオ情報から切り出す分析プロセ
スと、 切り出された情報に基づいてマルチメディア情
報を生成するマルチメディア情報生成プロセスと、マル
チメディア情報生成プロセスにより生成されたマルチメ
ディア情報を利用者に提供する提供プロセスとを有す
る。

【００１６】本発明（請求項１０）は、分析プロセス、
及びマルチメディア情報生成プロセスにおいて、模範者
の動作を撮影した複数の模範ビデオ情報と、模範ビデオ
情報に含まれる動作の内容を表すビデオ属性と、模範ビ
デオ情報に含まれる動作の時系列的な特徴を表す動作特
徴情報と、動作特徴情報の取得手順を定義した特徴抽出
モジュールと、利用者の動作特性に合ったマルチメディ
ア情報を生成するために用いる情報テンプレートと、情
報テンプレートの適用条件を表すテンプレート属性と、
個々の利用者に対する情報テンプレートの適用状況を表
す利用者管理情報とを格納するデータベースを参照す
る。

【００１７】本発明（請求項１１）は、分析プロセスに
おいて、登録情報の模範ビデオの中から利用者の特性を
分析するために用いる模範ビデオ情報を選択する選択プ
ロセスと、選択プロセスで選択された模範ビデオ情報に
関連付けられた特徴抽出モジュールと、動作特徴情報と
を読み出す動作特徴情報読み出しプロセスと、読み出し
た特徴抽出モジュールを利用して、利用者が入力した利
用者ビデオ情報に含まれる動作の時系列的な特徴を表す
利用者動作特徴情報を取得する特徴情報取得プロセス
と、特徴情報取得プロセスで取得した利用者動作特徴情
報と動作特徴情報読み出しプロセスで読み出された動作
特徴情報とを比較して、利用者の動作が模範者の動作と
異なる時区間を求める時区間抽出プロセスと、時区間抽
出プロセスで抽出された時区間に基づいて入力されたビ
デオ情報と模範ビデオ情報からシーンを切り出すシーン
切り出しプロセスとを含む。

【００１８】本発明（請求項１２）は、マルチメディア
情報生成プロセスにおいて、求められた時区間情報と利
用者ビデオ情報のビデオ属性と登録されているテンプレ
ート属性とを比較することで、登録されている情報テン
プレートの中から、利用者に提供するマルチメディア情
報を生成するために用いる候補を複数選択する候補選択
プロセスと、候補選択プロセスで選択された候補に関連
付けられた利用者管理情報を読み出して、該利用者管理
情報と利用者が入力した利用者識別子を比較し、該利用
者に対する候補の適用状況を抽出する適用情報抽出プロ
セスと、適用情報抽出プロセスで抽出された適用情報に
基づいて、候補の中から利用者に提供するマルチメディ
ア情報を生成するための情報テンプレートを１つ選択す
るテンプレート選択プロセスと、テンプレート選択プロ
セスで選択された情報テンプレートに切り出したシーン
を組み込むシーン組み込みプロセスとを含む。

【００１９】上記のように、本発明では、利用者から入
力された利用者の動作を撮影したビデオの情報を格納し
ておき、格納されている複数のビデオ属性の中から、入
力されたビデオ属性と一致するものを求め、求めたビデ
オ属性に関連付けられている、模範者の動作を撮影した
ビデオと、当該ビデオに含まれる動作の時系列的な特徴
を表す動作特徴情報と、動作特徴情報の取得手順を定義
した特徴抽出モジュールとを解析する。解析時には、特
徴抽出モジュールを利用して、入力されたビデオを解析
して、利用者の動作に関する特徴情報を取得し、取得し
た動作特徴情報とビデオ選択時において取得した動作特
徴情報とを比較して、利用者の動作が模範者の動作と異
なる時区間を求め、当該時区間情報に基づいて、入力さ
れたビデオと選択時のビデオ動作の差異を表すシーンを
切り出す。切り出したシーンと時区間情報に基づいてマ
ルチメディア情報を生成して提供することが可能とな
る。これにより、システムがビデオにより入力された利
用者の動作と予め登録されている模範的な動作とを比較
して利用者の動作特性を分析し、利用者がシステムを繰
り返し利用する過程での動作特性の変化に基づいてマル
チメディア情報を動的に作成することが可能となる。

【００２０】

【発明の実施の形態】図３は、本発明のマルチメディア
情報提供システムの構成を示す。同図に示すマルチメデ
ィア情報提供システムは、利用者端末１０と情報サーバ
２０から構成される。利用者端末１０は、マルチメディ
ア情報入力部１１、マルチメディア情報出力部１２から
構成される。

【００２１】情報サーバ２０は、ビデオ選択部２１、ビ
デオ解析部２２、マルチメディア情報生成部２３、マル
チメディア情報格納部２４から構成される。利用者端末
１０のマルチメディア情報入力部１１は、利用者が自身
の動作を撮影したビデオに含まれる動作の内容を表すビ
デオ属性と利用者を識別するための利用者識別子及び利
用者ビデオ情報とを入力する。

【００２２】マルチメディア情報出力部１２は、情報サ
ーバ２０から提供されたマルチメディア情報を出力す
る。情報サーバ２０のマルチメディア情報格納部２４
は、図４に示すように、模範者の動作を撮影した複数の
模範ビデオ情報２２０と当該ビデオに含まれる動作の内
容を表すビデオ属性２１０と当該ビデオに含まれる動作
の時系列的な特徴を表す動作特徴情報２３０、当該動作
特徴情報２３０の取得手順を定義した特徴抽出モジュー
ル２４０と利用者の動作特性に合ったマルチメディア情
報を生成するために用いられる複数の情報テンプレート
２５０と、当該情報テンプレート２５０の適用条件を表
すテンプレート属性２６０と個々の利用者に対する情報
テンプレートの適用状況を表す利用者管理情報２７０と
を格納する。

【００２３】マルチメディア情報格納部２４に格納され
ているテンプレート属性２６０は、ビデオ属性と時区間
情報から構成されている。また、利用者管理情報２７０
は、利用者識別子と適用回数情報から構成される。ま
た、情報テンプレート２５０には、情報テンプレートに
固定的に組み込まれるマルチメディア情報及びその表示
位置と、動的に切り出される利用者と模範者の動作の差
異を表したシーンの表示位置が規定されている。

【００２４】ビデオ選択部２１は、利用者が入力したビ
デオ属性とマルチメディア情報格納部２４に格納されて
いるビデオ属性２２０とを比較することでマルチメディ
ア情報格納部２４に格納されているビデオ情報２２０の
中から利用者の特性を分析するために用いる模範ビデオ
を選択すると共に、選択したビデオに関連付けられた特
徴抽出モジュール２４０と動作特徴情報２３０とをマル
チメディア情報格納部２４から読み出す。

【００２５】ビデオ解析部２２は、ビデオ選択部２１に
より読み出された特徴抽出モジュール２４０を利用し
て、利用者が入力した利用者ビデオ情報に含まれる動作
の時系列的な特徴を表す動作特徴情報を取得し、取得し
た動作特徴情報とマルチメディア情報格納部２４から読
み出した動作特徴情報２３０とを比較して、利用者の動
作が模範者の動作と異なる時区間を求め、時区間情報に
基づいて、利用者が入力したビデオとマルチメディア情
報格納部２４から選択したビデオからの動作の差異をシ
ーンを切り出す。

【００２６】マルチメディア情報生成部２３は、ビデオ
解析部２２により求められた時区間情報と利用者が入力
したビデオ属性とをマルチメディア情報格納部２４に格
納されているビデオ属性２１０を比較することで、マル
チメディア情報格納部２４に格納されている情報テンプ
レート２５０の中から利用者へ提供するマルチメディア
情報を生成するための情報テンプレートの候補を複数選
択すると共に、選択した候補に関連付けられた利用者管
理情報２７０を、マルチメディア情報格納部２４から読
み出し、読み出した利用者管理情報と利用者が入力した
利用者識別子とを比較するとで、当該利用者に対する候
補に適用状況を求め、求めた適用状況に基づいて、候補
の中から利用者へ提供するマルチメディア情報を生成す
るために用いる情報テンプレートを１つ選択し、選択し
た情報テンプレートに切り出したシーンを組み込むこと
で利用者の動作特性に合ったマルチメディア情報を生成
し、利用者端末１０に提供する。

【００２７】次に、上記の構成における一連の動作を説
明する。図５は、本発明のマルチメディア情報提供方法
の動作を示すシーケンスチャートである。 ステップ１０１） 情報サーバ２０において、予め利用
者の動作と模範者の動作を比較するために必要となる模
範者の動作を撮影した複数の模範ビデオ情報と当該模範
ビデオ情報に含まれる動作の内容を表す属性と、当該ビ
デオに含まれる動作の時系列的な特徴を表す動作特徴情
報と、当該動作特徴情報の取得手順を定義した特徴抽出
モジュールとを関連付けてマルチメディア情報格納部２
４に格納する。さらに、利用者の動作特性に合ったマル
チメディア情報を生成するために必要となる複数の情報
テンプレートと、当該情報テンプレートの適用条件を表
すテンプレート属性と、個々の利用者に対する情報テン
プレートの適用状況を表す利用者管理情報とを関連付け
て設定しておく。

【００２８】ステップ１０２） 利用者端末１０から利
用者ビデオ情報、当該利用者ビデオ情報に対応するビデ
オ属性、及び利用者識別子をマルチメディア情報入力部
１１から入力する。 ステップ１０３） 利用者から入力されたビデオ情報、
当該ビデオ情報に対応するビデオ属性、及び利用者識別
子を情報サーバ２０に送信する。

【００２９】ステップ１０４） 情報サーバ２０のビデ
オ選択部２１では、送信された利用者ビデオ情報のビデ
オ属性と一致する属性をマルチメディア情報格納部２４
に格納されている複数のビデオ属性の中から抽出する。 ステップ１０５） ビデオ選択部２１は、抽出されたビ
デオ属性に関連付けられている、模範者の動作を撮影し
た模範ビデオ情報と、当該模範ビデオ情報に含まれる動
作の時系列的な特徴を表す動作特徴情報と、当該動作特
徴情報の取得手順を定義した特徴抽出モジュールを、マ
ルチメディア情報格納部２４から読み出す。

【００３０】ステップ１０６） ビデオ解析部２２にお
いて、抽出された特徴抽出モジュールを利用して、利用
者から送られた利用者ビデオ情報を解析して、利用者の
動作に関する特徴情報を取得する。 ステップ１０７） ビデオ解析部２２において取得され
た動作特徴情報とビデオ選択部２１で抽出された模範者
の模範ビデオ情報の動作特徴情報とを比較して、動作の
異なる時区間を求める。

【００３１】ステップ１０８） ビデオ解析部２２は、
ビデオ解析部２２において求められた時区間に基づい
て、模範者のビデオ動作と利用者のビデオの動作の差異
を表すシーンを切り出す。 ステップ１０９） マルチメディア情報生成部２３にお
いて、マルチメディア情報格納部２４に格納されている
テンプレート属性の中から、利用者から送られたビデオ
属性と同一のビデオ属性を構成要素とし、かつ、時区間
情報を包含する構成要素とするテンプレート属性を求
め、当該テンプレート属性に関連付けられている利用者
管理情報の中から、送られた利用者識別子と同一の利用
者識別子を構成要素とする利用者管理情報を選択する。
さらに、選択した利用者管理情報に含まれる適用回数情
報に基づいて、求めたテンプレート属性に関連付けられ
ている情報テンプレートの中から、利用者へ提供するマ
ルチメディア情報の生成に利用する情報テンプレートを
選択する。そして、選択した情報テンプレートに、切り
出されたシーンを組み込んでマルチメディア情報を生成
する。

【００３２】ステップ１１０） 生成されたマルチメデ
ィア情報を利用者端末１０に送信する。

【００３３】

【実施例】以下、図面と共に本発明の実施例を説明す
る。図３〜図５に従って説明する。利用者３０は、ま
ず、例えば、テニスのラケットスイングやゴルフのクラ
ブスイングというような、利用者３０がアドバイスを受
けたいと思う動作を自身でビデオカメラ等を用いて撮影
する。

【００３４】例えば、「テニスのフォアハンドストロー
ク」や「ゴルフのドライバーショット」というような、
利用者３０がアドバイスを受けられる動作の種別や、例
えば、「テニスのフォアハンドストロークの撮影はラケ
ットの先端に赤いマーカを付けて行うこと」というよう
な、利用者３０が自身の動作を撮影するときの撮影条件
は、利用者端末１０に登録されており、マルチメディア
情報出力部１２を介して、利用者３０に提示することが
可能であるものとする。

【００３５】マルチメディア情報入力部１１は、利用者
３０からの利用者自身の動作を撮影したビデオと、当該
ビデオに撮られている動作の種別を表す、例えば、「テ
ニス・フォアハンドストローク」といったビデオ属性
と、個々の利用者３０を一意に識別するための利用者識
別子が入力されると、これらの情報を情報サーバ２０に
送信する。利用者端末１０のマルチメディア情報入力部
１１から入力された利用者ビデオ情報は、情報サーバ２
０のビデオ解析部２２へ、ビデオ属性をビデオ選択部２
１とマルチメディア情報生成部２３へ、さらに、利用者
識別子をマルチメディア情報生成部２３へそれぞれ転送
する。

【００３６】なお、本実施例では、利用者端末１０が１
台のみの構成を示しているが、利用者端末１０と情報サ
ーバ２０の間をネットワークで接続し、複数台の利用者
端末１０から同一のサーバ２０をアクセスするような構
成をとることも可能である。また、複数のマルチメディ
ア情報入力部１１がビデオをネットワーク経由で、情報
サーバのビデオ解析部２２に転送する場合には、マルチ
メディア情報入力部１１で、例えば、ＭＰＥＧのような
画像圧縮方式を用いて、ビデオを圧縮し、ビデオ解析部
２２で圧縮したビデオを伸長するといった方法をとるこ
とにより、ネットワーク負荷の軽減を図ることも可能で
ある。

【００３７】図６は、本発明の一実施例のマルチメディ
ア情報格納部の情報の例を示す図である。同図では、図
４と同一の符号を付すものとする。ビデオ属性２１０
は、マルチメディア情報格納部２４に登録されている模
範者の動作を撮影した模範ビデオ情報２２０の種別を表
し、関連するビデオ情報２２０、動作特徴情報２３０、
及び特徴抽出モジュール２４０へのポインタを保持して
いる。

【００３８】動作特徴情報２３０は、例えば、テニスラ
ケットの先端に付けられた赤いマーカの軌跡のように、
利用者３０に対して的確なアドバイスを行う上でのポイ
ントなる模範者の動きを表現したもので、模範者の動作
を撮影した模範ビデオ情報２２０に対して、当該模範ビ
デオ情報２２０に関連付けられた特徴抽出モジュール２
４０を適用することで生成できる。

【００３９】特徴抽出モジュール２４０は、例えば、ビ
デオを構成する各フレーム内から赤い領域を検出し、当
該領域の重心位置を表す２次元座標を時系列順に出力す
るというような画像処理ルーチンから構成される。情報
テンプレート２６０は、利用者３０へ提供するマルチメ
ディア情報の構成を規定したテンプレートであり、例え
ば、利用者３０と模範者の動作の違いを指摘するために
動的にシーンを組み込む領域や、利用者３０の動作を向
上させるためのアドバイスを表現したテキストデータや
音声データの表示方法が定義されている。情報テンプレ
ート２６０の記述にあたっては、例えば、ハイパーメデ
ィア文書の標準的な記述方式であるＨＴＭＬなどを用い
ることができる。

【００４０】テンプレート属性２６０は、情報テンプレ
ート２５０の適用条件を示すものである。例えば、テニ
スのフォアハンドストロークの動作には、テークバッ
ク、インパクト、フォロースルーといった段階があり、
各段階毎にアドバイスすべき内容は異なる。テンプレー
ト属性２６０は、どの動作のどの段階のアドバイス生成
にどの情報テンプレート２５０を適用すべきかを表すた
め、動作の種別を表すビデオ属性と、動作の段階を表
す、例えば、模範者の動作を撮影したビデオ情報２２０
における当該段階の開始時刻と終了時刻の組のような時
区間情報と、情報テンプレート２５０へのポインタとを
関連付けて保持する。同じ動作の同じ段階に関して提供
すべきアドバイスは一般に複数あり、同じアドバイスを
繰り返し提供しても、動作の向上が見られない利用者３
０に対しては、他のアドバイスを選択して提供するのが
望ましい。テンプレート属性２６０が保持する情報テン
プレート２５０へのポインタは、当該テンプレート属性
２６０に対応する動作の段階に関するアドバイスを含む
複数の情報テンプレート２５０を指し示しており、複数
の情報テンプレート２５０は、利用者３０へ提供する順
番に並べられている。また、同じ情報テンプレート２５
０を同じ利用者に対してこれまで何回適用しかたかを管
理するため、テンプレート属性２６０は、個々の利用者
３０に対する情報テンプレート２５０の適用状況を表す
利用者管理情報２７０へのポインタも関連付けて保持し
ている。

【００４１】利用者管理情報２７０は、利用者識別子と
情報テンプレートの適用回数情報から構成されている。
上記のマルチメディア情報格納部２４の情報を用いた動
作の例を説明する。ビデオ選択部２１は、利用者３０の
動作の種別を表すビデオ属性を利用者端末１０のマルチ
メディア情報入力部１１から受け取ると、マルチメディ
ア情報格納部２４に格納されているビデオ属性２１０の
中から受け取ったビデオ属性と同一のものを選択し、選
択したビデオ属性２１０が保持しているポインタに基づ
いて、当該ビデオ属性２１０に関連付けられたビデオ情
報２２０、動作特徴情報２３０、及び特徴抽出モジュー
ル２４０をマルチメディア情報格納部２４から読み出し
て、ビデオ解析部２２に転送する。

【００４２】ビデオ解析部２２は、利用者３０の動作を
撮影したビデオをマルチメディア情報入力部１１から、
また、マルチメディア情報格納部２４から読み出したビ
デオ情報２２０、動作特徴情報２３０、及び特徴抽出モ
ジュール２４０をビデオ選択部２１から受け取ると、ま
ず、利用者３０の動作を撮影したビデオに対して特徴抽
出モジュール２４０を適用し、利用者３０の動作の特徴
情報を抽出する。

【００４３】次に、ビデオ解析部２２は、抽出した利用
者３０の動作特徴情報とビデオ選択部２１から受け取っ
た模範者の動作特徴情報２３０とを比較して、利用者３
０と模範者の動作の差異を検出し、当該差異が存在する
時区間情報を、例えば、差異の発生時刻と収束時刻の組
として求め、マルチメディア情報生成部２３に転送す
る。

【００４４】利用者３０の模範者の動作特徴情報の比較
には、例えば、ＤＰマッチングのようなパターンマッチ
ング法を利用できる。さらに、ビデオ解析部２２は、マ
ルチメディア情報入力部１１から受け取ったビデオと、
ビデオ選択部２１から受け取ったビデオのそれぞれから
求めた時区間情報に対応するシーンを切り出して、マル
チメディア情報生成部２３に転送する。

【００４５】マルチメディア情報生成部２３は、利用者
３０の動作の種別を表すビデオ属性と利用者３０を一意
に識別するための利用者識別子とをマルチメディア情報
入力部１１から、また、利用者３０と模範者の動作の差
異に関する時区間情報と、シーンをビデオ解析部２２か
ら受け取ると、まず、マルチメディア情報格納部２４に
格納されているテンプレート属性２６０の中からビデオ
解析部２２から受け取ったビデオ属性と同一のビデオ属
性を構成要素とし、かつ、ビデオ解析部２２から受け取
った時区間情報を包含する時区間情報を構成要素とする
テンプレート属性を選択し、選択したテンプレート属性
２６０が保持しているポインタに基づいて、テンプレー
ト属性２６０に関連付けられた複数の利用者管理情報２
７０をマルチメディア情報格納部２４から読み出す。

【００４６】次に、マルチメディア情報生成部２３は、
読み出した利用者管理情報２７０の中から、マルチメデ
ィア情報入力部１１から受け取った利用者識別子と同じ
利用者識別子を構成要素とするものを選択し、選択した
利用者管理情報２７０の適用回数情報に１を加算し、マ
ルチメディア情報格納部２４内の利用者管理情報を加算
結果で更新する。

【００４７】なお、読み出した利用者管理情報２７０の
中にマルチメディア情報入力部１１から受け取った利用
者識別子と同じ利用者識別子を構成要素とするものが存
在しない場合は、マルチメディア情報入力部１１から受
け取った利用者識別子と適用回数情報の初期値である１
を構成要素とする利用者管理情報２７０を新たに生成し
てマルチメディア情報格納部２４に追加する。

【００４８】マルチメディア情報生成部２３は、同じ利
用者３０に同じ情報テンプレート２５０を繰り返し適用
できる回数の上限値を規定しており、当該上限値と適用
回数情報の加算結果とを比較することで、選択したテン
プレート属性２６０に関連付けられた複数の情報テンプ
レート２５０の並びの中から何番目の情報テンプレート
を選択して今回適用するかを決定する。

【００４９】例えば、上限値が２であり、適用回数情報
の加算結果が５である場合は、３番目の情報テンプレー
ト２５０を選択する。マルチメディア情報生成部２３
は、選択した情報テンプレート２５０をマルチメディア
情報格納部２４から読み出し、読み出した情報テンプレ
ート２５０にビデオ解析部２２から受け取ったシーンを
組み込むことで利用者３０へ提供すべきマルチメディア
情報を生成し、マルチメディア情報を利用者端末１０の
マルチメディア情報出力部１２に転送する。

【００５０】利用者端末１０のマルチメディア情報出力
部１２は、マルチメディア情報生成部２３からマルチメ
ディア情報を受け取ると、当該マルチメディア情報をデ
ィスプレイ等に表示して、利用者３０へ提示する。な
お、本実施例では、テニスやゴルフといったスポーツを
例にして説明したが、例えば、模範者のピアノ演奏動作
を情報サーバ２０に格納しておき、利用者のピアノ演奏
における運指や音階、リズムの誤りを指摘するような応
用も、上記で述べた動作により実施可能である。

【００５１】また、図３に示す構成をプログラムとして
構築し、情報サーバとして利用されるコンピュータに接
続されるディスク装置や、フロッピーディスク、ＣＤ−
ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施
する際にインストールすることにより容易に本発明を実
現できる。なお、本発明は、上記の実施例に限定される
ことなく、特許請求の範囲内で種々変更・応用が可能で
ある。

【００５２】

【発明の効果】上述のように、本発明によれば、ビデオ
により入力された利用者の動作と予め登録されている模
範的な動作とを比較して、利用者の動作特性を分析し、
利用者がシステムを繰り返し利用する過程での動作特性
の変化に基づいて、マルチメディア情報を動的に生成で
きることにより、利用者の動作特性に合ったマルチメデ
ィア情報を利用者の動作特性の変化に応じて適宜提供す
ることができる。

【００５３】これにより、例えば、テニスやゴルフの技
能向上支援システムに本発明を適用することにより、利
用者はいつでも手軽に技能向上のためのアドバイスを受
けられるようになり、利用者の利便性を大幅に向上させ
ることができる。

【図面の簡単な説明】

【図１】本発明の原理を説明するための図である。

【図２】本発明の原理構成図である。

【図３】本発明のマルチメディア情報提供システムの構
成図である。

【図４】本発明のマルチメディア情報格納部の構成を示
す図である。

【図５】本発明のマルチメディア情報提供方法の動作を
示すシーケンスチャートである。

【図６】本発明の一実施例のマルチメディア情報格納部
の情報の例を示す図である。

【符号の説明】

１０ 利用者端末 １１ 入力手段、マルチメディア情報入力部 １２ 出力手段、マルチメディア情報出力部 ２０ 情報サーバ ２１ ビデオ選択部 ２２ 分析手段、ビデオ解析部 ２３ マルチメディア情報生成手段、マルチメディア情
報生成部 ２４ データベース、マルチメディア情報格納部 ２５ 提供手段 ２１０ ビデオ属性 ２２０ ビデオ情報 ２３０ 動作特徴情報 ２４０ 特徴抽出モジュール ２５０ 情報テンプレート ２６０ テンプレート属性 ２７０ 利用者管理情報

───────────────────────────────────────────────────── フロントページの続き (72)発明者 西村 剛 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 遠藤 斉 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5B075 ND12 NK06 NK39 NK46 PP28 PQ05 PQ40 QM08

Claims (12)

【特許請求の範囲】
1. 【請求項１】 利用者から入力される情報に基づいて、
   該利用者の特性を分析し、分析により求められた特性に
   合ったマルチメディア情報をデータベースから検索して
   利用者に提供するマルチメディア情報提供方法におい
   て、 利用者から入力された利用者ビデオ情報と、予め情報サ
   ーバに登録されている模範的な動作の模範ビデオ情報と
   を比較して、利用者の動作特性を分析し、 前記ビデオ情報と前記模範ビデオ情報の差異を検出し、 検出された差異を前記利用者ビデオ情報及び前記模範ビ
   デオ情報から切り出し、 切り出された情報に基づいてマルチメディア情報を生成
   し、 利用者に提供することを特徴とするマルチメディア情報
   提供方法。
2. 【請求項２】 前記予め情報サーバに登録されている登
   録情報として、 模範者の動作を撮影した複数の模範ビデオ情報と、 前記模範ビデオ情報に含まれる動作の内容を表すビデオ
   属性と、 前記模範ビデオ情報に含まれる動作の時系列的な特徴を
   表す動作特徴情報と、 前記動作特徴情報の取得手順を定義した特徴抽出モジュ
   ールと、 前記利用者の動作特性に合ったマルチメディア情報を生
   成するために用いる情報テンプレートと、 前記情報テンプレートの適用条件を表すテンプレート属
   性と、 個々の利用者に対する前記情報テンプレートの適用状況
   を表す利用者管理情報とを含む請求項１記載のマルチメ
   ディア情報提供方法。
3. 【請求項３】 前記利用者の動作特性を分析する際に、 前記登録情報の模範ビデオの中から利用者の特性を分析
   するために用いる模範ビデオ情報を選択し、 選択された前記模範ビデオ情報に関連付けられた前記特
   徴抽出モジュールと前記動作特徴情報とを読み出し、 読み出した前記特徴抽出モジュールを利用して、前記利
   用者ビデオ情報に含まれる動作の時系列的な特徴を表す
   利用者動作特徴情報を取得し、 取得した前記利用者動作特徴情報と前記登録情報から読
   み出した前記動作特徴情報とを比較して、前記利用者の
   動作が前記模範者の動作と異なる時区間を求める請求項
   １及び２記載のマルチメディア情報提供方法。
4. 【請求項４】 前記マルチメディア情報を生成する際
   に、 求められた前記時区間情報と前記利用者ビデオ情報のビ
   デオ属性と登録されている前記テンプレート属性とを比
   較することで、登録されている前記情報テンプレートの
   中から、前記利用者に提供するマルチメディア情報を生
   成するために用いる候補を複数選択し、 選択した前記候補に関連付けられた前記利用者管理情報
   を読み出して、 前記利用者管理情報と前記利用者が入力した利用者識別
   子を比較し、該利用者に対する前記候補の適用状況を抽
   出し、 抽出された前記適用情報に基づいて、前記候補の中から
   前記利用者に提供するマルチメディア情報を生成するた
   めの情報テンプレートを１つ選択し、 選択した前記情報テンプレートに切り出した前記シーン
   を組み込む請求項１及び２記載のマルチメディア情報提
   供方法。
5. 【請求項５】 利用者から入力される情報に基づいて、
   該利用者の特性を分析し、分析により求められた特性に
   合ったマルチメディア情報をデータベースから検索して
   利用者に提供するマルチメディア情報提供システムであ
   って、 利用者からの利用者ビデオ情報、ビデオ属性及び利用者
   を一意に識別するための利用者識別子を入力する入力手
   段と、 提供されたマルチメディア情報を出力する出力手段とを
   有する利用者端末装置と、 マルチメディア情報を提供するために必要な模範的な動
   作の模範ビデオ情報を含む情報が登録されているデータ
   ベースと、 前記入力手段から入力された前記利用者ビデオ情報と、
   前記データベースに登録されている模範的な動作の模範
   ビデオ情報とを比較して、利用者の動作特性を分析し、
   前記ビデオ情報と前記模範ビデオ情報の差異を検出し、
   検出された差異を前記利用者ビデオ情報及び前記模範ビ
   デオ情報から切り出す分析手段と、 切り出された情報に基づいてマルチメディア情報を生成
   するマルチメディア情報生成手段と、 前記マルチメディア情報生成手段により生成された前記
   マルチメディア情報を利用者に提供する提供手段とを有
   する情報サーバとを有することを特徴とするマルチメデ
   ィア情報提供システム。
6. 【請求項６】 前記データベースは、 模範者の動作を撮影した複数の模範ビデオ情報と、 前記模範ビデオ情報に含まれる動作の内容を表すビデオ
   属性と、 前記模範ビデオ情報に含まれる動作の時系列的な特徴を
   表す動作特徴情報と、 前記動作特徴情報の取得手順を定義した特徴抽出モジュ
   ールと、 前記利用者の動作特性に合ったマルチメディア情報を生
   成するために用いる情報テンプレートと、 前記情報テンプレートの適用条件を表すテンプレート属
   性と、 個々の利用者に対する前記情報テンプレートの適用状況
   を表す利用者管理情報とを格納する請求項５記載のマル
   チメディア情報提供システム。
7. 【請求項７】 前記分析手段は、 前記登録情報の模範ビデオの中から利用者の特性を分析
   するために用いる模範ビデオ情報を選択する選択手段
   と、 前記選択手段で選択された前記模範ビデオ情報に関連付
   けられた前記特徴抽出モジュールと、前記動作特徴情報
   とを読み出す動作特徴情報読み出し手段と、 読み出した前記特徴抽出モジュールを利用して、前記利
   用者ビデオ情報に含まれる動作の時系列的な特徴を表す
   利用者動作特徴情報を取得する特徴情報取得手段と、 前記特徴情報取得手段で取得した前記利用者動作特徴情
   報と前記動作特徴情報読み出し手段で読み出された前記
   動作特徴情報とを比較して、前記利用者の動作が前記模
   範者の動作と異なる時区間を求める時区間抽出手段と、 前記時区間抽出手段で抽出された前記時区間に基づいて
   入力された前記利用者ビデオ情報と前記模範ビデオ情報
   からシーンを切り出すシーン切り出し手段とを含む請求
   項５及び６記載のマルチメディア情報提供システム。
8. 【請求項８】 前記マルチメディア情報生成手段は、 求められた前記時区間情報と前記利用者ビデオ情報のビ
   デオ属性と登録されている前記テンプレート属性とを比
   較することで、登録されている前記情報テンプレートの
   中から、前記利用者に提供するマルチメディア情報を生
   成するために用いる候補を複数選択する候補選択手段
   と、 前記候補選択手段で選択された前記候補に関連付けられ
   た前記利用者管理情報を読み出して、該利用者管理情報
   と前記利用者が入力した前記利用者識別子を比較し、該
   利用者に対する前記候補の適用状況を抽出する適用情報
   抽出手段と、 前記適用情報抽出手段で抽出された前記適用情報に基づ
   いて、前記候補の中から前記利用者に提供するマルチメ
   ディア情報を生成するための情報テンプレートを１つ選
   択するテンプレート選択手段と、 前記テンプレート選択手段で選択された前記情報テンプ
   レートに切り出した前記シーンを組み込むシーン組み込
   み手段とを含む請求項５及び６記載のマルチメディア情
   報提供システム。
9. 【請求項９】 利用者から入力される情報に基づいて、
   該利用者の特性を分析し、分析により求められた特性に
   合ったマルチメディア情報をデータベースから検索して
   利用者に提供するマルチメディア情報提供プログラムを
   格納した記憶媒体であって、 情報を利用者端末に提供する情報サーバに搭載される、 利用者端末から入力された利用者ビデオ情報と、マルチ
   メディア情報を提供するために必要な模範的な動作の模
   範ビデオ情報を含む情報が登録されているデータベース
   に登録されている模範的な動作の模範ビデオ情報とを比
   較して、利用者の動作特性を分析し、前記利用者ビデオ
   情報と前記模範ビデオ情報の差異を検出し、検出された
   差異を前記利用者ビデオ情報及び前記模範ビデオ情報か
   ら切り出す分析プロセスと、 切り出された情報に基づ
   いてマルチメディア情報を生成するマルチメディア情報
   生成プロセスと、 前記マルチメディア情報生成プロセスにより生成された
   前記マルチメディア情報を利用者に提供する提供プロセ
   スとを有することを特徴とするマルチメディア情報提供
   プログラムを格納した記憶媒体。
10. 【請求項１０】 前記分析プロセス、及び前記マルチメ
    ディア情報生成プロセスにおいて、 模範者の動作を撮影した複数の模範ビデオ情報と、 前記模範ビデオ情報に含まれる動作の内容を表すビデオ
    属性と、 前記模範ビデオ情報に含まれる動作の時系列的な特徴を
    表す動作特徴情報と、 前記動作特徴情報の取得手順を定義した特徴抽出モジュ
    ールと、 前記利用者の動作特性に合ったマルチメディア情報を生
    成するために用いる情報テンプレートと、 前記情報テンプレートの適用条件を表すテンプレート属
    性と、 個々の利用者に対する前記情報テンプレートの適用状況
    を表す利用者管理情報とを格納するデータベースを参照
    する請求項９記載のマルチメディア情報提供プログラム
    を格納した記憶媒体。
11. 【請求項１１】 前記分析プロセスは、 前記登録情報の模範ビデオの中から利用者の特性を分析
    するために用いる模範ビデオ情報を選択する選択プロセ
    スと、 前記選択プロセスで選択された前記模範ビデオ情報に関
    連付けられた前記特徴抽出モジュールと、前記動作特徴
    情報とを読み出す動作特徴情報読み出しプロセスと、 読み出した前記特徴抽出モジュールを利用して、前記利
    用者ビデオ情報に含まれる動作の時系列的な特徴を表す
    利用者動作特徴情報を取得する特徴情報取得プロセス
    と、 前記特徴情報取得プロセスで取得した前記利用者動作特
    徴情報と前記動作特徴情報読み出しプロセスで読み出さ
    れた前記動作特徴情報とを比較して、前記利用者の動作
    が前記模範者の動作と異なる時区間を求める時区間抽出
    プロセスと、 前記時区間抽出プロセスで抽出された前記時区間に基づ
    いて入力された前記利用者ビデオ情報と前記模範ビデオ
    情報からシーンを切り出すシーン切り出しプロセスとを
    含む請求項９及び１０記載のマルチメディア情報提供プ
    ログラムを格納した記憶媒体。
12. 【請求項１２】 前記マルチメディア情報生成プロセス
    は、 求められた前記時区間情報と前記利用者ビデオ情報のビ
    デオ属性と登録されている前記テンプレート属性とを比
    較することで、登録されている前記情報テンプレートの
    中から、前記利用者に提供するマルチメディア情報を生
    成するために用いる候補を複数選択する候補選択プロセ
    スと、 前記候補選択プロセスで選択された前記候補に関連付け
    られた前記利用者管理情報を読み出して、該利用者管理
    情報と前記利用者が入力した前記利用者識別子を比較
    し、該利用者に対する前記候補の適用状況を抽出する適
    用情報抽出プロセスと、 前記適用情報抽出プロセスで抽出された前記適用情報に
    基づいて、前記候補の中から前記利用者に提供するマル
    チメディア情報を生成するための情報テンプレートを１
    つ選択するテンプレート選択プロセスと、 前記テンプレート選択プロセスで選択された前記情報テ
    ンプレートに切り出した前記シーンを組み込むシーン組
    み込みプロセスとを含む請求項９及び１０記載のマルチ
    メディア情報提供プログラムを格納した記憶媒体。