JP2000315259A - データベース作成装置及びデータベース作成プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 動画像のデータベース作成において、モーシ
ョンキャプチャシステムにより、所望の場面の動画を再
生しながら同時に人間等の動作に関する数値データを参
照することを可能にするデータベース作成装置を提供す
ること。 【解決手段】 被験者の動画像や音声をフレーム毎に格
納するデータベース１０１と、前記動画像及び音声のデ
ータにラベル付けしたイベント情報を格納するイベント
情報格納部１０２と、前記被験者の身体上の各セグメン
トの座標情報をフレーム毎に格納する座標情報格納部１
０３と、前記被験者の各セグメントの回転情報をフレー
ム毎に格納する回転情報格納部１０４と、データベース
１０１、前記イベント情報格納部１０２、前記座標情報
格納部１０３、及び前記回転情報格納部１０４に格納さ
れた各々の情報をフレーム毎に同期をとって統合し、マ
ルチモーダルデータベースを生成する統合部１０５と、
データベース１０１からアクセスされた動画像及び音声
のデータを出力する出力部１０６と、を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像のデータを
記録するデータベース作成装置及びデータベース作成プ
ログラムを記録した記録媒体に関する。

【０００２】

【従来の技術】近年、高性能のワークステーションやパ
ソコンに併せて、記憶容量の大きな光磁気ディスク等の
記憶媒体が低廉化され、高解像度の表示装置やマルチメ
ディアに適応した周辺機器も低廉化されつつある。従っ
て、文書処理、画像データ処理その他の分野では、処理
対象となるデータの情報量の増大に適応可能なデータベ
ース機能の向上が要求され、従来、主として文字や数値
に施されていた処理に併せて動画にも多様な処理を施す
ことが可能な種々の画像データベースが構築されつつあ
る。

【０００３】言語データをデータベースとして集成し研
究の基礎資料とすることは久しく行なわれてきている。
言語データベースの場合、単に生データを集めるだけで
はなく、言語学的なラベルを付与することによってその
データを構造化しておくことがほぼ常識となり、データ
を共有するためそうしたラベルを標準化しようという動
きが盛んになっている。一方、動画情報を含むビデオ素
材から人間等の動作に関してデータベースを作成する場
合、特開平８−１５３１２０号公報に開示されているよ
うに、動画像データをフレーム毎に分割して静止画像に
変換し、各フレームにラベルを付与して画像データベー
スを生成し、そのラベルに基づいて検索する方式、ある
いは特開平７−２５３９８６号公報に開示されているよ
うに、動画像及び音声を含むデータベースから、たとえ
ば頭が上下に動く（うなずき動作）が見られるフレーム
区間に、〔unazuki〕等のラベル（タグ）を付与し、検
索時にそのラベルを入力すると、登録時に関連したラベ
ルを付与されていた動画像および音声を抽出する方式が
提案されている。

【０００４】

【発明が解決しようとする課題】上記の従来技術では、
ラベルを付ける作業者の個人差や主観によるばらつきが
生じることが多かった。また、同じ〔unazuki〕動作で
も、大きなうなずきや小さなうなずき等の区別をラベル
に反映させることが難しかった。画像から観察者が人間
等の頭の動きや向き、手の形などをコード化して手動で
ラベルを付ける試みはあるものの（参考文献：“Ｈａｎ
ｄ ａｎｄ Ｍｉｎｄ”Ｄ．ＭｃＮｅｉｌｌｅ著）、や
はり観察者の主観に左右されることが多く、ラベルの付
け方にばらつきが出るなどの問題点があった。

【０００５】上述したように、音声、動画像を含む対話
データにおいて、人間等の動作に対し、客観的、統一的
なラベルを付ける方法が望まれている。一方、モーショ
ンキャプチャシステム（カメラを用いて人聞等の関節の
位置を計測する装置）は、人間等の顔の向きや頭の動
き、手の動きなど動作に関する３次元位置座標を自動的
に抽出することを可能にした。本発明は上述の点に着目
してなされたもので、動画像のデータベース作成におい
て、モーションキャプチャシステム等を利用することに
より、所望の場面の動画を再生しながら同時に人間等の
動作に関する数値データを参照することを可能にするデ
ータベース作成装置及びデータベース作成プログラムを
記録した記録媒体を提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明のデータベース作
成装置は、動画像をフレーム毎に格納する動画像格納手
段と、被写体の１以上の所定の部分の位置情報をフレー
ム毎に格納する位置情報格納手段と、前記動画像格納手
段によって格納される動画像についてのイベント情報を
格納するイベント情報格納手段と、を備えるものであ
る。また、前記位置情報に基づいて前記イベント情報を
抽出するイベント抽出手段を備えることで、人間等の動
作に対して、イベント生起区間を抽出し、自動的にラベ
ル付けを行うことができる。

【０００７】さらに、前記位置情報格納手段が格納する
位置情報には、３次元座標及び３次元回転角が含まれる
ことで、回転情報を利用してイベントを判断することが
できる。また、前記イベント抽出手段は、前記位置情報
に基づいて速度又は加速度を求めることで、人間等の動
作に対して、速度又は加速度情報を基に、動きの激しい
区間や緩慢な区間を抽出し、会話の盛り上がりや退屈な
ど、感情に係わるラベル付けを自動的に行うことができ
る。

【０００８】また、本発明は、コンピュータを、動画像
をフレーム毎に格納する動画像格納手段と、被写体の１
以上の所定の部分の位置情報をフレーム毎に格納する位
置情報格納手段と、前記動画像格納手段によって格納さ
れる動画像についてのイベント情報を格納するイベント
情報格納手段として機能させるためのデータベース作成
プログラムを記録したことを特徴とするコンピュータ読
み取り可能な記録媒体である。

【０００９】

【発明の実施の形態】以下、添付図面を参照しながら本
発明の好適な実施の形態について詳細に説明する。図１
は、本発明の第１実施の形態の基本構成を示すブロック
図である。ここでは、被写体としての被験者の身体上の
関節の位置および回転情報を得る手段として、光学式の
モーションキャプチャシステムを用いた例を説明する。

【００１０】所定の動作を行う人間等（被験者）の動画
像や音声データはＡ／Ｄ変換され、最小の時間単位とし
てのフレーム（＝１／３０ｓｅｃ）毎にデータベース１
０１に入力される。イベント情報格納部１０２では、た
とえば特開平７−２５３９８６号公報に示される手法に
より、前記フレーム毎に格納された動画像及び音声のデ
ータに発話内容やあいづちやおじぎ、笑いといったイベ
ント情報をラベル付けして格納する。

【００１１】座標情報格納部１０３は、モーションキャ
プチャシステムから得られる前記被験者の身体上の各セ
グメント（関節）の位置情報としての３次元座標データ
をフレーム毎に格納する。回転情報格納部１０４は、モ
ーションキャプチャシステムから得られる前記被験者の
各セグメントの回転情報としての３次元回転角データを
フレーム毎に格納する。

【００１２】統合部１０５は、前記データベース１０
１、イベント情報格納部１０２、座標情報格納部１０
３、及び回転情報格納部１０４に格納された音声、動画
像、イベント情報、座標情報、回転情報をフレーム毎に
同期をとって統合し、マルチモーダルデータベースを生
成するとともに、前記データベース１０１の動画像及び
音声のデータにアクセスして出力部１０６より出力す
る。図２は、第１実施の形態の具体的なシステム構成図
である。２人の被験者１００、２００を別々の部屋に配
置する。各被験者は着座し、上半身の頭、肩、肘、手首
など、被験者の動きが特徴づけられる点にマーカ１１、
２１を付けた状態で動作を行う。

【００１３】上記マーカを付ける点の例を図３（ａ）に
示す。この例では、上半身の１８箇所にマーカ１１（２
１）を付けている。マーカは、頭であればヘアバンドの
ようなものにつけたり、また肩や肘であればスポーツな
どで使用される伸縮性があり、しかも身体に密着するサ
ポータのようなものにとりつける。ただし、マーカの数
や取り付け位置や装着方法はこれに限定されるものでは
なく、例えば、全身にマーカを付けたり、マーカの数を
増やしたり、あるいは、スウェットスーツのようなもの
に取りつけたりしてもよい。図２において、各被験者１
００、２００の前にはハーフミラー１２、２２が配置さ
れており、このハーフミラー１２、２２を見ることによ
りモニタ１３、２３に写し出される相手（上半身）と対
面するようになっている。

【００１４】図１の実施の形態と図２に示すシステム構
成図との対応関係については、以下の通りである。統合
部１０５はコンピュータ本体３１内に内蔵されている。
コンピュータ本体３１には、前記座標情報格納部１０３
と、回転情報格納部１０４と、イベント情報格納部１０
２に対応するディスク装置３２と、データベース１０１
に対応する光磁気ディスク装置３３と、ディスプレイ３
４とが接続されている。光磁気ディスク装置３３には、
出力部１０６としてのモニタ３５と、被験者に配置され
た入出力装置１８、２８が接続されている。入出力装置
１８、２８は、ビデオカメラ１４、２４、マイク１５、
２５、モニタ１３、２３及びスピーカ１６、２６から構
成されている。マイク１５、２５は被験者が装着するタ
イピン型のものである。ビデオカメラ１４、２４はハー
フミラーの背後に配置されている。さらに、被験者１０
０、２００のマーカ位置を捉えるための赤外線カメラ１
７、２７が配置されている。これらマイク１５、２５、
ビデオカメラ１４、２４、及び赤外線カメラ１７、２７
は互いに同期しており、被験者の撮影を同時に開始し、
同時に終了する。

【００１５】マイク１５、２５により録音された被験者
の音声、及び、ビデオカメラ１４、２４により撮影され
た被験者の上半身の動画像はそれぞれデジタル化され、
最小の時間単位としてフレーム毎（１／３０ｓｅｃ）に
光磁気ディスク３６に記録される。光磁気ディスク装置
３３は、コンピュータ３１によりコントロールされ、書
き込み及び再生が行われる。再生時の動画像及び音声は
モニタ３５に出力される。イベント情報、座標情報、回
転情報等のデータ及びデータ作成プログラムはディスク
装置３２に書き込まれる。上述のように、データベース
１０１には、被験者の音声および上半身の動画像データ
がＡ／Ｄ変換され、フレーム単位に格納されている。

【００１６】次に、イベント情報格納部１０２について
説明する。データベース１０１に格納されている動画像
や音声のデータに対し、音声データを基に会話内容をラ
ベル付けしたり、また、動画像のデータを基に、特開平
７−２５３９８６号公報に示すような手法で、相槌やお
辞儀のしぐさ、あるいは笑いや微笑みの表情などのイベ
ント情報にラベル付けすることが可能である。

【００１７】図４は、データベース１０１に格納されて
いる動画像や音声のデータについて、イベント情報にラ
ベル付けをした例を示す図である。イベント情報は各属
性名に続く行にそれぞれのイベントの開始フレーム、終
了フレーム、イベント名の順で記述されたファイルに格
納されている。なお、ここでいう開始フレームおよび終
了フレームは、光磁気ディスク３６に記録されているデ
ータのフレーム番号を表している。例えば、イベント属
性speechでは、フレーム番号21843から21853まで、「う
ん」と発話していることを表し、また、イベント属性ge
sture では、フレーム番号21726から21737まで、うなず
いていることを示している。

【００１８】次に、座標情報格納部１０３及び回転情報
格納部１０４について説明する。本装置で使用している
光学式モーションキャプチャシステムでは、一人の被験
者を複数（ここでは４台）の赤外線カメラ１７、２７で
とらえることにより、マーカ位置の３次元座標の時系列
データを作成する。さらに、図３（ａ）に示す、体の外
側に付いているマーカ１１（２１）の位置を基に、人間
等の骨格を表わすスケルトンの各関節を表わすバーチャ
ルマーカを計算、設定することにより、図３（ｂ）に示
すスケルトン構造の階層構造を決定し、その各セグメン
ト（関節：図３（ｂ）中の１〜１１）の設定されている
ローカル座標での回転情報と相対位置座標を計算するこ
とができる。

【００１９】前記セグメントは、図３（ｂ）の例では、
上半身の頭〔Head〕１、首〔Neck〕２、上半身〔UpperT
orso〕３、左鎖骨〔LCollarBone〕４、右鎖骨〔RCollar
Bone〕５、左上腕〔LUpArm〕６、右上腕〔RUpArm〕７、
左下腕〔LLowArm〕８、右下腕〔RLowArm〕９、左手〔LH
and〕１０、右手〔RHand〕１１の１１箇所である。上記
モーションキャプチャシステムにより得られる各セグメ
ント１〜１１のローカル座標での相対位置座標は座標情
報格納部１０３に、また、各セグメントのローカル座標
での回転情報は回転情報格納部１０４にそれぞれ格納さ
れる。座標情報格納部１０３に入力されているファイル
の例を図５に、また、回転情報格納部に入力されている
ファイルの例を図６に示す。

【００２０】図５は、座標情報格納部１０３のファイル
の例を示す図である。各セグメント１〜１１のローカル
座標での３次元相対位置座標（ｘ,ｙ,ｚ）の時系列デー
タ（フレーム毎）が含まれている。例えば、セグメント
〔Head〕の第３フレームでの座標は（0.000002, −0.88
6932, 0.000004）である。図６は、回転情報格納部１０
４のファイルの例を示す図である。各セグメント１〜１
１のローカル座標での３次元回転角（ｘ,ｙ,ｚ）の時系
列データ（フレーム毎）が含まれている。例えば、セグ
メント〔Head〕の第３フレームでの回転角は、（−2.69
3428, 0.355944, 0.420237）である。

【００２１】前記統合部１０５では、前記データベース
１０１に格納された動画像と音声のデータと、前記イベ
ント情報格納部１０２、座標情報格納部１０３、及び回
転情報格納部１０４に各々格納されたイベント情報、座
標情報、及び回転情報を、フレーム毎に同期をとって統
合することによってマルチモーダルデータベースを生成
する。

【００２２】図７は、ディスプレイ３４に表示される、
統合部１０５において生成されたマルチモーダルデータ
ベースのラベル付けに係る画面構成である。イベント情
報ウインドウ４０には、前記イベント情報格納部１０２
に格納された各イベントのラベルがフレームに対応して
表示される。フレーム番号は、フレームウインドウ５０
に表示されている。イベント情報ウインドウ４０におい
て、ラベルは、各イベントごとに直線上に並べて表示さ
れており、イベントの位置を示すラベルの開始フレーム
から終了フレームまでの領域が矩形４１で表わされてい
る。たとえば、イベントspeechにはフレーム番号21843
から21853まで、「うん」と発話していることが表示さ
れ（符号４１）、また、イベントgestureでは、フレー
ム番号21726から21737までに、うなずきが現れているこ
とが表示されている（符号４２）。さらに、イベントfa
ceでは、フレーム番号21696から21725まで笑いが起こっ
ていることを示している（符号４３）。

【００２３】なお、ディスプレイ上には、図示するよう
に、音声波形６０および基本周波数（ピッチ）７０を表
示してもよい。座標情報ウインドウ８０には、座標情報
格納部１０３に格納された被験者の身体上の各セグメン
ト（図３（ｂ））の相対位置座標が、ｘ軸、ｙ軸、ｚ軸
ごとに表示されている。ここでは、セグメント〔Head〕
の座標情報を例に説明すると、たとえば、図７の符号８
１、８２、８３では、Head（頭）のセグメントがｙ軸
（上下）方向に動いている。また、符号８４、８５、８
６では、Head（頭）のセグメントがｚ軸（前後）方向に
動いていることがわかる。一方、ｘ軸方向への顕著な動
きは見られない。

【００２４】回転情報ウインドウ９０には、前記回転情
報格納部１０４に格納された被験者の身体上の各セグメ
ントの回転情報（角度）が、ｘ軸、ｙ軸、ｚ軸ごとに表
示されている。セグメント〔Head〕の回転情報を例に説
明すると、たとえば、図７の符号９１、９２、９３で
は、Head（頭）のセグメントがｘ軸を軸に回転している
ことがわかる。一方、ｘ,ｙ軸方向への顕著な動きは見
られない。本実施の形態では、ディスプレイ上に、各セ
グメントの情報を個別に表示する例を示したが、全セグ
メントを並べて表示して、各セグメント間の動きを比較
できるようにしてもよい。

【００２５】本明細書では、前記データベース１０１に
格納された動画像と音声のデータと、前記イベント情報
格納部１０２、前記座標情報格納部１０３、および前記
回転情報格納部１０４に格納されたイベント情報、座標
情報、回転情報とを統合したものをマルチモーダルデー
タベースと呼ぶ。なお、前記イベント情報ウインドウ４
０上では、特開平７−２５９８６号公報等に示されてい
る手法により、マウスカーソルの座標を検出し、ラベル
の開始フレームと終了フレームで構成される矩形内にマ
ウスカーソルがあるときにマウスのボタンが押されるの
を検知すると、このラベルの開始フレームから終了フレ
ームに相当する区間が選択されていることを示すため
に、通常の状態とは異なる色に変わると同時に、該当フ
レーム区間の動画像及び音声がデータベース１０１にア
クセスされて、出力部１０６より再生される。

【００２６】さらに、ディスプレイ上には、前記座標情
報格納部１０３に格納された３次元位置座標データをも
とに、図８のような２次元ワイヤーフレーム画像を描画
し、前記動画像及び音声データと同期をとって再生する
ことも可能である。このワイヤーフレーム画像は、各セ
グメントの相対位置座標値を取り込んで描画されるもの
で、各セグメント間を直線で結んだものである。このよ
うなＣＧ画像を表示することで、被験者の動きの観察が
容易になる。

【００２７】あるいは、３次元ワイヤーフレームを描画
することも可能であるし、さらには、スケルトンモデル
を予め用意しておき、各ノードの座標値として取り込め
ば、３次元ＣＧ画像を動かすことも可能である。本実施
の形態では、このように、動画像や音声のデータと動き
の３次元数値データを統合することでマルチモーダルデ
ータベースを作成し、所望の場面の動画像や音声を再生
しながら同時に人間等の動作に関する数値データを参照
することを可能にする。

【００２８】図９は、本発明の第２実施の形態の基本構
成を示すブロック図で、上記第１実施の形態に加えて、
座標情報及び回転情報の位置情報に基づく被験者の身体
上の各セグメントの動きに対し、うなずき等のイベント
を自動的に抽出するイベント抽出部１０７を備えた例で
ある。従来、所定の動作をしている人聞等の動きにラベ
ル（タグ）をつけるにあたって、例えばうなずいている
個所をラベル付けするには、動画像をフレーム毎に再生
して、うなずき始めとうなずき終りを見つけていた。し
かし、このような目による観察では、観察者の主観によ
るばらつきが大きく、誤差が生じるのを避けることが難
しかった。また、大きなうなずきや、細かなうなずき
等、うなずきの種類をラベル付けすることが難しかっ
た。

【００２９】しかし、第１実施の形態で示したように、
モーションキャプチャシステムにより得られる各セグメ
ントの座標情報を利用すれば、たとえば、着座した人間
のうなずき部分を、セグメント〔Head〕（頭）の動きの
移動量から抽出することが可能になる。そこで、第２実
施の形態では、うなずき等のイベントの生起区間を自動
的に抽出する。

【００３０】着座した人間が会話中に行ううなずき動作
を観察してみると、頭を、（１）下上（前後）に動か
す、（２）上下上（後前後）に動かす、（３）上下（後
前）に動かす、（４）下（前）に動かす、（５）下上
（前後）に動かす動作を数回繰り返す、等、様々なパタ
ーンがあるが、共通しているのは頭を上下（後前）方向
に動かす、ということである。具体的には、うなずき時
に頭を下に動かしたときには、ｙ軸のマイナス方向およ
びｚ軸のプラス方向への移動量が観察され、頭を上に動
かした時には、ｙ軸のブラス方向およびｚ軸のマイナス
方向への移動量が観察される。一方、ｘ軸方向の移動量
はほとんどない。この特徴を利用して、頭部分のセグメ
ント〔Head〕の位置座標においてｘ,ｙ,ｚ軸方向の移動
量を調べることにより、ｙ,ｚ軸方向に顕著な移動があ
ればうなずきであるとみなし、うなずき区間を抽出する
ことができる。なお、同じ頭部分の動きについて、「い
いえ」の動作である頭の横振りの場合は、ｘ,ｚ軸方向
に顕著な移動が見られ、迷い等を表わす「かしげ」の動
作の場合は、ｘ,ｙ,ｚ軸方向に顕著な移動が見られる。

【００３１】図１０乃至図１２は、座標情報を使って、
着座した人間の会話中のうなずき動作区間を抽出するこ
とを例にとって、イベント抽出部１０７の動作を説明す
るフローチャートである。イベント抽出部１０７では
ｘ,ｙ,ｚ軸それぞれの移動量を並列に調べる。まず、ｙ
軸に対する抽出処理（ステップＳ１００）の説明をす
る。頭の上下方向（ｙ軸方向）の移動量を抽出するため
に、座標情報格納部１０３に入力されているセグメント
〔Head〕のｙ軸方向の各フレームの座標値Ｔy(ｎ)を基
に、ｙ軸座標値の変化率Ｐty(ｎ) を次式により求める
（Ｓ１０１）。

【００３２】Ｐty(ｎ)＝｛Ｔy(ｎ)−Ｔy(ｎ−１)｝／
｛ｎ−(ｎ−１)｝ ここで、ｎは現フレーム番号である。変化率Ｐty(ｎ)
がプラスであれば頭は上方向に動いていることを表わ
し、マイナスであれば、下方向に動いていることを示
す。プラスであればＳ１０３に移行し、マイナスであれ
ばＳ１１０に移行する（Ｓ１０２）。Ｓ１０３では、Ｓ
１０１で抽出された動きが単なる体の揺れ等に伴う微か
な動きではなく、うなずき区間を見つけるために、フレ
ームｎでの変化率Ｐty(ｎ)がある閾値Ｄ1（ここでは０.
０５）を越えている（Ｐty(ｎ)＞Ｄ1）の場合、該当区
間の始点フレーム番号Ｓpty(ｎ) および終点フレーム番
号Ｅpty(ｎ) を求める。

【００３３】ところで、頭の前後あるいは上下の運動を
伴う動作には、うなずき以外にも、例えばおじぎ等があ
る。一般に、おじぎの動作に伴う時間はうなずきよりも
長い。そこで、おじぎ等の動きではなく、うなずき区間
を抽出するために、Ｓ１０３で抽出された区間のフレー
ム長（Ｅpty(ｎ)−Ｓpty(ｎ)）を計算し、その長さが所
定の時間長Ａ1（ここでは２０フレーム）を越えない区
間の始点フレーム番号Ｓpty(ｎ) および終点フレーム番
号Ｅpty(ｎ) を求める。同区間では、頭は上方向に動い
ているので、〔Ｓpty(ｎ),Ｅpty(ｎ),upward〕としてＳ
４０１へ送る（Ｓ１０４）。

【００３４】一方、Ｓ１１０では、フレームｎでの変化
率Ｐty(ｎ) の絶対値がある閾値Ｄ1（ここでは０.０
５）を越えている（｜Ｐty(ｎ)｜＞Ｄ1）場合、該当区
間の始点フレーム番号Ｓpty(ｎ) 及び終点フレーム番号
Ｅpty(ｎ) を求める。さらに、Ｓ１１１では、Ｓ１１０
で抽出された区間のフレーム長（Ｅpty(ｎ)−Ｓpty
(ｎ)）を計算し、その長さが所定の時間長Ａ１（ここで
は２０フレーム）を越えない区間の始点フレーム番号Ｓ
pty(ｎ) 及び終点フレーム番号Ｅpty(ｎ) を求める。同
区間では、頭は下方向に動いているので、〔Ｓpty(ｎ),
Ｅpty(ｎ),downward〕としてＳ４０１へ送る。

【００３５】次に、ｚ軸に対する抽出処理（Ｓ２００）
の説明をする。頭の前後方向（ｚ軸方向）の移動量を抽
出するために、座標情報格納部１０３に入力されている
セグメント〔Head〕のｚ軸方向の各フレームの座標値Ｔ
z(ｎ)を基に、ｚ軸座標値の変化率Ｐtz(ｎ) を次式によ
り求める（Ｓ２０１）。 Ｐtz(ｎ)＝｛Ｔz(ｎ)−Ｔz(ｎ−１)｝／｛ｎ−(ｎ−
１)｝ ここで、ｎは現フレーム番号である。変化率Ｐtz(ｎ)
がプラスであれば頭は前方向に動いていることを表わ
し、マイナスであれば、後ろ方向に動いていることを示
す。プラスであればＳ２０３に移行し、マイナスであれ
ばＳ２１０に移行する（Ｓ２０２）。

【００３６】Ｓ２０３では、うなずき区間を抽出するた
めに、フレームｎでの変化率Ｐtz(ｎ) がある閾値Ｄ2
（ここでは０.０５）を越えている（Ｐtz(ｎ)＞Ｄ2）区
間の始点フレーム番号Ｓptz(ｎ) 及び終点フレーム番号
Ｅptz(ｎ) を求める。さらに、おじぎ等と区別するため
に、Ｓ２０３で抽出された区間のフレーム長（Ｅptz
(ｎ)−Ｓptz(ｎ)）を計算し、その長さが所定の時間長
Ａ２（ここでは２０フレーム）を越えない区間の始点フ
レーム番号Ｓptz(ｎ) および終点フレーム番号Ｅptz
(ｎ) を求める。同区間では、頭は前方向に動いている
ので、〔Ｓptz(ｎ),Ｅptz(ｎ),forward〕としてＳ４０
１へ送る（Ｓ２０４）。

【００３７】一方、Ｓ２１０では、フレームｎでの変化
率Ｐtz(ｎ) の絶対値がある閾値Ｄ2（ここでは０.０
５）を越えている (｜Ｐtz(ｎ)｜＞Ｄ2）場合、該当区
間の始点フレーム番号Ｓptz(ｎ) 及び終点フレーム番号
Ｅptz(ｎ) を求める。さらに、Ｓ２１１では、Ｓ２１０
で抽出された区間のフレーム長（Ｅptz(ｎ)−Ｓptz
(ｎ)）を計算し、その長さが所定の時間長Ａ２（ここで
は２０フレーム）を越えない区間の始点フレーム番号Ｓ
ptz(ｎ) 及び終点フレーム番号Ｅptz(ｎ) を求める。同
区間では、頭は後ろ方向に動いているので、〔Ｓptz
(ｎ),Ｅptz(ｎ),backward〕としてＳ４０１へ送る。

【００３８】次に、ｘ軸に対する抽出処理（Ｓ３００）
の説明をする。座標情報格納部１０３に入力されている
セグメント〔Head〕のｘ軸方向の各フレームの座標値Ｔ
x(ｎ) を基に、ｘ軸座標値の変化率Ｐtx(ｎ) を次式に
より求める（Ｓ３０１）。 Ｐtx(ｎ)＝｛Ｔx(ｎ)−Ｔx(ｎ−１)｝／｛ｎ−(ｎ−
１)｝ ここで、ｎは現フレーム番号である。変化率Ｐtx(ｎ)
がプラスであれば頭は左方向に動いていることを表わ
し、マイナスであれば、右方向に動いていることを示
す。プラスであればＳ３０３に移行し、マイナスであれ
ばＳ３１０に移行する（Ｓ３０２）。

【００３９】Ｓ３０３では、うなずき区間を抽出するた
めに、フレームｎでの変化率Ｐty(ｎ) がある閾値Ｄ3
（ここでは０.０５）を越えている（Ｐtx(ｎ)＞Ｄ3）区
間の始点フレーム番号Ｓptx(ｎ) 及び終点フレーム番号
Ｅptx(ｎ) を求める。なお、うなずき動作の場合は、ｘ
軸方向での顕著な移動は見られないので、｜Ｐｔｘ(ｎ)
｜＜Ｄ3、となり、抽出されない。Ｓ３０４では、Ｓ３
０２で抽出された区間のフレーム長（Ｅptx(ｎ)−Ｓptx
(ｎ)）を計算し、その長さが所定の時間長Ａ３（ここで
は２０フレーム）を越えない区間の始点フレーム番号Ｓ
ptx(ｎ) 及び終点フレーム番号Ｅptx(ｎ) を求める。同
区間では、頭は左方向に動いているので、〔Ｓptx(ｎ),
Ｅptx(ｎ),leftward〕としてＳ４０１へ送る。

【００４０】一方、Ｓ３１０では、フレームｎでの変化
率Ｐtx(ｎ) の絶対値がある閾値Ｄ3（ここでは０.０
５）を越えている（｜Ｐtx(ｎ)｜＞Ｄ3）場合、該当区
間の始点フレーム番号Ｓptx(ｎ) 及び終点フレーム番号
Ｅptx(ｎ) を求める。さらに、Ｓ３１１では、Ｓ３１０
で抽出された区間のフレーム長（Ｅptx(ｎ)−Ｓptx
(ｎ)）を計算し、その長さが所定の時間長Ａ３（ここで
は２０フレーム）を越えない区間の始点フレーム番号Ｓ
ptx(ｎ) 及び終点フレーム番号Ｅptx(ｎ) を求める。同
区間では、頭は右方向に動いているので、〔Ｓptx(ｎ),
Ｅptx(ｎ),rightward〕としてＳ４０１へ送る。

【００４１】Ｓ４０１では、Ｓ１０４、Ｓ２０４、Ｓ３
０４で得られたフレーム区間を基に、（ｘ,ｙ,ｚ）軸方
向のイベント抽出結果が、（０,upward,backward）とな
る区間を、上（後ろ）方向のうなずき区間〔Head＿up〕
と判断して、始点フレーム番号Ｓpt(ｎ) と終点フレー
ム番号Ｅpt(ｎ) を求め、イベント名〔up〕と共に、イ
ベント情報格納部１０２に送る。また、（０,downward,
forward）となる区間を、下（前）方向のうなずき区間
〔Head＿down〕と判断して、始点フレーム番号Ｓpt(ｎ)
と終点フレーム番号Ｅpt(ｎ) を求め、イベント名〔do
wn〕と共に、イベント情報格納部１０２に入力して当該
処理を終了する（Ｓ４０１）。

【００４２】図１３は、ディスプレイ３４に表示され
る、統合部１０５において生成されたマルチモーダルデ
ータベースのラベル付けに係る画面構成図である。イベ
ント抽出部１０７で抽出されたイベント生起区間は、イ
ベント情報格納部１０２のファイル（図４）に入力さ
れ、統合部１０５に送られて、マルチモーダルデータベ
ースのラベル付けに係る画面のイベント情報ウインドウ
４０に表示される。たとえば、区間８７では、所定の時
間長Ａを越えない間、ｙ軸方向にマイナス、ｚ軸方向に
プラスに頭が動いており、かつｘ軸方向への移動量が閾
値Ｄに達していないので、下（前）方向に頭が動いてい
ると判断されて、〔Head＿down〕として抽出されている
（区間４４）。また、区間８８では、所定の時間長Ａを
越えない間、ｙ軸方向にプラス、ｚ軸方向にマイナスに
頭が動いていて、かつｘ軸方向への移動量が閾値Ｄに達
していないので、上（後ろ）方向に頭が動いてると判断
されて〔Head＿up〕として抽出されている（区間４
５）。

【００４３】この自動的に付されたラベルを基に、たと
えば、区間４４の〔Head＿down〕と区間４５の〔Head＿
up〕を合わせてうなずき区間〔unazuki〕としてラベル
付けすることが可能となる（区間４６）。また、区間４
６のうなずきは、〔Head＿down〕と〔Head＿up〕から構
成されるうなずき〔unazuki〕であるのに対し、区間４
７では、〔Head＿up〕と〔Head＿down〕の動きから構成
されるうなずき〔unazuki〕であることもわかる。この
ように、これまでビデオをフレーム毎に再生しながら手
作業で行ってきたラベル付けの作業を、自動的に容易に
行えるようになる。

【００４４】なお、ここでは、移動量がある閾値を越え
る区間をうなずき区間として抽出しているが、うなずき
には大小あり、その程度は連続的なものである。そこ
で、セグメント〔Head〕の移動量ｔ(ｘ,ｙ,ｚ) を抽出
する関数ｆthを設定し、うなずき程度に応じてたラベル
つけをするようにしてもよい。また、ここではセグメン
ト〔Head〕の動きからうなずき区間を抽出したが、例え
ば、セグメント〔UpperTorso〕など、他のセグメントの
動きとの相互関係からうなずき区間を抽出することもで
きる。また、本実施例では、うなずき区間を抽出する例
を述べたが、手の動きや体の動きなど、人間が対話中な
どに行うさまざまな動きのイベント情報を抽出すること
ができる。

【００４５】うなずき等のイベント発生区間の自動抽出
は、同様に、各セグメントの回転情報（回転角）を利用
して行うことも可能である（第３実施の形態）。すなわ
ち、第２実施の形態のイベント抽出部１０７において、
回転情報に基づいて、前記被験者の身体上の各セグメン
トの動きに対し、うなずき等のイベントを自動的に抽出
する。着座した人間が会話中に行ううなずき動作の場
合、下（前）方向の動きは、セグメント〔Head〕がｘ軸
の回りにプラス方向に回転することであり、上（後ろ）
方向の動きは、ｘ軸の回りにマイナス方向に回転するこ
とであると見なせる。従って、回転情報格納部１０４に
入力されているセグメント〔Head〕のｘ軸方向フレーム
の回転情報を基に、うなずきの区間を抽出することがで
きる。

【００４６】図１３には、この第３実施の形態も示し、
該図において、区間９４では、所定の時間長Ａを越えな
い間、所定の閾値Ｄを越える角度でｘ軸の回りに、プラ
ス方向に頭が動いているので、下（前）方向に頭が動い
ていると判断されて〔Head＿down〕として抽出される
（区間４４）。また、区間９５では、所定の時間長Ａを
越えない間、所定の閾値Ｄを越える角度でｘ軸回りにマ
イナスに頭が動いているので、上（後ろ）方向に頭が動
いていると判断されて〔Head＿up〕として抽出される
（区間４５）。

【００４７】このように、回転情報を利用して、うなず
き等のイベント情報を自動的に行えるようになる。な
お、本実施例においては、回転角がある閾値を越える区
間をうなずき区間として抽出しているが、セグメント
〔Head〕の回転角ｒ(ｘ,ｙ,ｚ) を抽出する関数ｆrhを
設定し、うなずき程度に応じたラベルつけをするように
してもよい。また、ここではセグメント〔Head〕の回転
角からうなずき区間を抽出したが、例えば、セグメント
〔UpperTorso〕など、他のセグメントの回転角との相互
関係からうなずき区間を抽出することもできる。また、
本実施例では、うなずき区間を抽出する例を述べたが、
手の動きや体の動きなど、人間が対話中などに行うさま
ざまな動きのイベント情報を抽出することができる。

【００４８】図１４は、本発明の第４実施の形態の基本
構成を示すブロック図で、第１実施の形態に加えて、前
記座標情報に基づいて算出された、各セグメントのある
一定のフレーム毎（たとえば１０フレーム毎）の速度を
格納する速度情報格納部１０８と、加速度を格納する加
速度情報格納部１０９を備えている。この速度又は加速
度情報に基づいて、被験者の身体上の各セグメントの動
きに対し、うなずきや手の動き等のイベントをその強度
に応じて自動的にラベルを付すイベント強度抽出部１１
０を備えている。

【００４９】所定の動作をしている人間等の動きを解析
するには、その移動量だけでなく、速度や加速度といっ
た運動量も重要な情報である。うなずき動作を例にとる
と、同じ時間長を持つうなずきでも、大きな頭の上下運
動を伴ううなずきや、細かな上下運動が複数回繰り返さ
れるうなずきなど、様々なパターンがある。また、会話
がさらにのってくると、手や体の各セグメントの動きが
活発になってくる。このような動きの変化は会話の乗り
や退屈等の感情と深く関わりがある。そこで、本実施の
形態では、速度や加速度を利用して、うなずきや手の動
き等、人間等の動きの強度に対し、自動的なラベル付け
を可能にする。まず、速度は、時刻ｔにおける位置を座
標値ｘ(ｔ),ｙ(ｔ),ｚ(ｔ) とすると、（ｘ(ｔ),ｙ
(ｔ),ｚ(ｔ)）を時間微分した次式で求めることができ
る。

【００５０】 (ｕ,ｖ,ｗ)≡(ｄｘ／ｄｔ,ｄｙ／ｄｔ,ｄｚ／ｄｔ） また、加速度は、速度を微分、すなわち位置を２階微分
することにより、求めることができる。 (ｕ',ｖ',ｗ')≡(ｄ²ｘ／ｄｔ²,ｄ²ｙ／ｄｔ²,ｄ²ｚ／
ｄｔ²) このようにして求めた速度情報および加速度情報は、統
合部１０５において、データベース１０１に格納された
動画像と音声、また、イベント情報格納部１０２に格納
されたイベント情報と統合されてマルチモーダルデータ
ベースが生成される。

【００５１】なお、さらに座標情報格納部１０３および
回転情報格納部１０４に格納された座標情報、回転情報
と統合することにより、角速度、角加速度を求め、利用
してもよい。着座した状態で、たとえば会話がはずんで
くると、頭や手、肩や肘部分など、各セグメントの動き
が激しくなると予想される。そのような区間を抽出する
には、各セグメントの速度又は加速度がそれぞれ一定の
閾値を越えている区間を見つければ良い。イベント強度
抽出部１１０では、前記速度情報格納部１０８又は前記
加速度情報格納部１０９に入力されている各セグメント
のフレーム毎の速度情報又は加速度情報を基に、各セグ
メント毎に予め設定した閾値を越えるフレーム区間を身
体の動きの激しい区間すなわち会話がはずんで感情が高
ぶっている区間として抽出する。

【００５２】あるいは、話題が途切れて退屈してくる
と、各セグメントの動きが鈍くなると予想される。その
ような区間を抽出するには、各セグメントの速度又は加
速度がそれぞれ一定の閾値を越えない区間を見つければ
良い。このような身体の動きをとらえることにより、た
とえば会話がのっているとか、退屈している、といった
感情に関するラベル付けも自動的に容易に行えるように
なる。

【００５３】本実施例では、動きの速度又は加速度があ
る閾値を越える区間を動きが激しい区間、越えない区間
を動きが緩やかな区間としてカテゴリ分けしているが、
動きの強度は連続的なものである。そこで、例えばセグ
メント〔Head〕の速度又は加速度ｖ(ｘ,ｙ,ｚ) を抽出
する関数ｆvhを設定し、動きの強度に応じたラベルつけ
をするようにしてもよい。これにより動きがだんだん緩
やかになる区間や急激な変化の見られる区間等を抽出で
きるようになる。また、単一のセグメントの動きからだ
けでなく、複数のセグメントの動きの相互関係から、動
きの強度に応じてイベント情報を抽出することもでき
る。なお、本発明は上記実施の形態に限定されるもので
はない。

【００５４】以上説明したデータベース作成装置は、こ
のデータベース作成装置を機能させるためのプログラム
でも実現される。このプログラムはコンピュータで読み
取り可能な記録媒体に格納されている。本発明では、こ
の記録媒体として、図２に示されているディスク装置３
２がプログラムメディアであってもよいし、また外部記
憶装置として図示されていない光磁気ディスク装置等の
プログラム読み取り装置が設けられ、そこに記録媒体を
挿入することで読み取り可能な光磁気ディスク等のプロ
グラムメディアであってもよい。いずれの場合において
も、格納されているプログラムはコンピュータ本体３１
がアクセスして実行させる構成であってもよいし、ある
いはいずれの場合もプログラムを読み出し、読み出され
たプログラムは、図示されていないプログラム記憶エリ
アにダウンロードされて、そのプログラムが実行される
方式であってもよい。このダウンロード用のプログラム
は予めディスク装置３２等に格納されているものとす
る。

【００５５】ここで、上記プログラムメディアは、コン
ピュータ本体３１と分離可能に構成される記録媒体でよ
く、磁気テープやカセットテープ等のテープ系、フロッ
ピーディスクやハードディスク等の磁気ディスクやＣＤ
−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディス
ク系、ＩＣカード／光カード等のカード系、あるいはマ
スクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲ
ＯＭ等による半導体メモリを含めた固定的にプログラム
を担持する媒体であってもよい。

【００５６】さらに、図示されていないが、外部の通信
ネットワークとの接続が可能な手段を備えている場合に
は、その通信接続手段を介して通信ネットワークからプ
ログラムをダウンロードするように、流動的にプログラ
ムを担持する媒体であってもよい。なお、このように通
信ネットワークからプログラムをダウンロードする場合
には、そのダウンロード用プログラムは予めディスク装
置３２に格納しておくか、あるいは別な記録媒体からイ
ンストールされるものであってもよい。なお、記録媒体
に格納されている内容としてはプログラムに限定され
ず、データであってもよい。

【００５７】

【発明の効果】以上、詳述したように、本発明によれ
ば、被写体の動画像と共に被写体の各部の位置情報を格
納するので、作成したデータベースにより動画像を再生
しながら被写体の動作に関する数値データを参照するこ
とができると共に、イベント生起区間を抽出し、イベン
ト情報を格納することができる。

【図面の簡単な説明】

【図１】本発明の第１実施の形態の基本構成を示すブロ
ック図である。

【図２】第１実施の形態の具体的なシステム構成図であ
る。

【図３】（ａ）はモーションキャプチャシステムにおい
て、被験者の身体上に装着するマーカ位置を示す図、
（ｂ）は（ａ）のマーカ位置を基に設定された人間の骨
格を表わすスケルトンの各セグメント位置を表わす図で
ある。

【図４】データベースに格納されている動画像や音声の
データについて、イベント情報にラベル付けをした例を
示す図である。

【図５】座標情報格納部のファイルの例を示す図であ
る。

【図６】回転情報格納部のファイルの例を示す図であ
る。

【図７】統合部において生成されたマルチモーダルデー
タベースのラベル付けに係る画面構成図である。

【図８】座標情報格納部に格納された３次元位置座標デ
ータをもとに描画された２次元ワイヤーフレーム画像の
例である。

【図９】第２実施の形態の基本構成を示すブロック図で
ある。

【図１０】イベント抽出部の動作を説明するフローチャ
ート（その１）である。

【図１１】イベント抽出部の動作を説明するフローチャ
ート（その２）である。

【図１２】イベント抽出部の動作を説明するフローチャ
ート（その３）である。

【図１３】第３実施の形態における統合部において生成
されたマルチモーダルデータベースのラベル付けに係る
画面構成図である。

【図１４】本発明の第４実施の形態の基本構成を示すブ
ロック図である。

【符号の説明】

１００、２００ 被験者 １０１ データベース １０２ イベント情報格納部 １０３ 座標情報格納部 １０４ 回転情報格納部 １０５ 統合部 １０６ 出力部 １０７ イベント抽出部 １０８ 速度情報格納部 １０９ 加速度情報格納部 １１０ イベント強度抽出部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA09 BA10 DA01 EA24 EA28 FA02 FA10 GA08 5B075 ND12 NK02 NK10 NR05 PP03 PQ02 5C052 AA03 AB04 AC08 CC01 DD10 EE10 5L096 AA09 CA05 GA34 HA02 9A001 BB03 EZ05 HH29 HH30 JJ01 KK54

Claims (5)

【特許請求の範囲】
1. 【請求項１】 動画像をフレーム毎に格納する動画像格
   納手段と、 被写体の１以上の所定の部分の位置情報をフレーム毎に
   格納する位置情報格納手段と、 前記動画像格納手段によって格納される動画像について
   のイベント情報を格納するイベント情報格納手段と、を
   備えることを特徴とするデータベース作成装置。
2. 【請求項２】 前記位置情報に基づいて前記イベント情
   報を抽出するイベント抽出手段を備えることを特徴とす
   る請求項１記載のデータベース作成装置。
3. 【請求項３】 前記位置情報格納手段が格納する位置情
   報には、３次元座標及び３次元回転角が含まれることを
   特徴とする請求項１又は２記載のデータベース作成装
   置。
4. 【請求項４】 前記イベント抽出手段は、前記位置情報
   から求めた速度又は加速度に基づいてイベント情報を抽
   出することを特徴とする請求項２又は３記載のデータベ
   ース作成装置。
5. 【請求項５】 コンピュータを、 動画像をフレーム毎に格納する動画像格納手段と、 被写体の１以上の所定の部分の位置情報をフレーム毎に
   格納する位置情報格納手段と、 前記動画像格納手段によって格納される動画像について
   のイベント情報を格納するイベント情報格納手段として
   機能させるためのデータベース作成プログラムを記録し
   たことを特徴とするコンピュータ読み取り可能な記録媒
   体。