JP2002041541A

JP2002041541A - 映像検索装置

Info

Publication number: JP2002041541A
Application number: JP2001151684A
Authority: JP
Inventors: Takako Hashimoto; 隆子橋本; Yukari Shirata; 由香利白田; Hiroko Mano; 博子真野; Atsushi Iizawa; 篤志飯沢
Original assignee: Ricoh Co Ltd; Jisedai Joho Hoso System Kenkyusho KK
Current assignee: Ricoh Co Ltd; Jisedai Joho Hoso System Kenkyusho KK
Priority date: 2000-05-19
Filing date: 2001-05-21
Publication date: 2002-02-08
Anticipated expiration: 2021-05-21
Also published as: JP3600186B2

Abstract

(57)【要約】【課題】利用者が映像に対して前知識（予備知識）が
なく、得点情報などのような成績情報（統計情報）のみ
を知っている場合でも、重要な場面（映像）を容易に検
索できること。【解決手段】成績情報生成処理部３０２が事象情報お
よび付加情報を用いた統計処理を行って成績情報（統計
情報）を生成し、指定処理部３０３で成績情報の中から
映像検索に使用する成績情報を指定し、検索条件生成処
理部３０４が指定された統計情報から映像検索のための
検索条件を生成し、映像検索処理部３０５が検索条件に
基づいて映像ストリームの検索を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、予め映像ストリー
ム（音声を含む）に対する補足情報として、映像ストリ
ーム中に発生した事象の種類を示す事象情報および該事
象情報に関する付加情報が生成された映像ストリームを
対象として、映像ストリームに対する補足情報を利用し
て検索を行う映像検索装置に関する。

【０００２】

【従来の技術】近年、コンピュータ・ハードウェア技
術、情報処理技術の進歩や、インターネット、デジタル
衛生放送の普及に伴って、日常的に様々な映像を利用す
ることが可能となっている。このため、映像の有する情
報としての価値・多様性・娯楽性がさらに重要な意味を
持つようになり、従来から利用されているテレビジョン
放送やビデオの再生等のように、映像を連続的に再生し
て視聴することに加えて、インデックスを付与して構造
化した映像から所望の映像データを検索して視聴した
り、情報を収集したり、ダイジェスト版を作成する等、
多彩な利用方法が提案されている。

【０００３】例えば、２０００年に開始が予定されてい
るＢＳディジタル放送では、これまでのストリームとし
ての番組放送に加えて、コンピュータ・データのような
汎用的なディジタル情報も多重化して送ろうと計画され
ている。映像，テキスト，静止画像，関連情報等のマル
チメディア情報を相互に関連付け、構造化することによ
り、制作，配信，閲覧，検索等の各処理において、より
高度で効率的なサービスが可能となると考えられる。

【０００４】情報放送においては、ディジタル化による
コンテンツの増大や、ＴＶゲーム，その他の影響による
相対的なＴＶ視聴時間の低下、さらにＤＶＤ等の記録メ
ディアの技術革新等が背景となり、例えば番組を一度蓄
積してからノンリニアに視聴したり、蓄積した番組を高
度な操作により加工して利用するという視聴形態も増加
してくると考えられている。

【０００５】ここで、関連する技術として、本出願人ら
が、これまで提案してきたノンリニア視聴形態における
ダイジェスト作成システムおよび映像の検索方法につい
て説明する。本出願人は、まず、補足情報がインデック
スとして付加された映像を対象として、そのインデック
スを用いて重要場面と想定される映像シーンを検索し、
映像のダイジェスト版（ダイジェスト映像）を作成する
ダイジェスト作成システムを考案し、このダイジェスト
作成システムにおいて、重要場面と判定された映像シー
ンには音声解説も含まれているため、断面的なインデッ
クスの概要を説明文として生成するだけで十分であると
いう考えで映像内容の説明文生成処理を考えてきた。ま
た、インデックスを用いてダイジェスト映像を作成する
際に、映像を利用する視聴者（利用者）の嗜好を反映し
たダイジェスト映像を作成するダイジェスト作成装置の
提案も行っている。

【０００６】なお、上記の技術の詳細は、以下の〜
によって明らかにされている。橋本隆子、他：「番組インデックスを利用したダイ
ジェスト視聴方式の検討」、映像情報メディア学会放送
方式研究会予稿集、１９９９年３月、ｐｐ．７−１２。橋本隆子、他：「番組インデックスを利用したダイ
ジェスト作成方式の試作」、データ工学ワークショップ
（ＤＥＷＳ’９９）予稿集ＣＤ−ＲＯＭ、１９９９年３
月。橋本隆子、他：「ＴＶ受信端末におけるダイジェス
ト作成方式の試作」、ＡＤＢＳ９９予稿集、１９９９年
１２月。

【０００７】

【発明が解決しようとする課題】ところで、映像検索に
おいて、利用者が映像を検索するための検索条件を入力
する場合、次の３つの方法が想定される。第１に、映像
上で起こった事象（イベント）を検索条件として利用す
る方法。第２に、利用者の好みのオブジェクト（例え
ば、映像中に登場する人物や、場所など）を検索条件と
して利用する方法。第３に、抽象度の高い用語を検索条
件として利用する方法。なお、ここで抽象度の高い用語
とは、所定の複数の事象が発生した結果、始めて意味が
成立する用語を示す。例えば、野球映像において、『逆
転』という用語は、先ず、一方のチームが得点するとい
う事象が発生し、その後、他方のチームが一方のチーム
の得点より大きな得点を挙げるという事象が発生した時
点で意味が成立する用語である。

【０００８】上記第１および第２の方法で検索条件を指
定する場合、利用者は予め映像上でどのような事象が起
きているか、どのようなオブジェクトが表示されている
かなどの情報を知っていなければならないと考えられ
る。しかしながら、利用者が映像検索を行う場合、必ず
しも映像の内容を知っているとは限らず、あまり前知識
（予備知識）のない状態で映像の検索を行う場合には、
必ずしも使い勝手が良いとは言えないという問題点があ
った。

【０００９】一方、野球映像や、サッカー映像などのス
ポーツ映像の場合、得失点情報、安打情報のような成績
情報は、容易に入手できる。このような成績情報は、例
えば、スポーツ新聞、ＨＰ（ホームページ）、ＴＶ（テ
レビ）画面上の表示などで必ずと言っていいほど記述さ
れる情報である。また、このような成績情報は、番組イ
ンデックスなど、映像の補足情報として映像に付加され
る情報の統計を取ることでも容易に算出可能である。

【００１０】しかしながら、従来の技術によれば、得点
情報のような成績情報（統計情報）だけを知っている場
合、映像の検索を行うことはできるが、必ずしも重要な
場面を検索することはできなかった。例えば、重要な場
面の検索にあたり、成績情報（統計情報）を表す映像シ
ーンを検索結果として取り出してくるだけでは、利用者
が望む検索結果になるとは限らない。利用者は、検索に
あたって検索結果として得られる各映像シーンの最大長
（時間の長さ）や、検索結果の映像シーンの総合計（総
時間）などを検索時の制約条件として指定することもで
き、このような場合、単に、成績情報を表す映像シーン
を検索結果として集めただけでは、以下の理由により、
この制約条件を満たす結果になるとはかぎらない。

【００１１】先ず、検索条件と合致する全ての映像シー
ンを集めても、利用者が指定した検索結果の総合計に満
たない場合がある。また、検索条件と合致する全ての映
像シーンを集めると、利用者が指定した検索結果の総合
計を超える場合がある。さらに、成績情報が示す映像シ
ーンを集めただけでは、映像の内容の特徴を表すとは限
らない。

【００１２】具体的には、野球映像において、１対０で
あった場合、得点シーンはわずか１シーンであり、これ
はおそらく利用者が指定した検索結果の総合計に満たな
いと思われる。また、試合が投手戦であったり、残塁数
が多いなどの特徴があったとしても、その特徴を抽出
（検索）することができない。さらに、９対７のように
多くの得点が入った場合、得点シーンを全て集めると、
１５シーン（得点の合計値に相当）となって利用者が指
定した検索結果の総合計を超えることも考えられる。こ
の場合には、各得点シーンのうち、どの映像シーンが重
要であるかを決めなければならないが、得点情報のよう
な成績情報（統計情報）のみでは、重要な場面を決める
ことはできない。

【００１３】本発明は上記に鑑みてなされたものであっ
て、利用者が映像に対して前知識（予備知識）がなく、
得点情報などのような成績情報（統計情報）のみを知っ
ている場合でも、重要な場面（映像）を容易に検索でき
るようにすることを目的とする。

【００１４】

【課題を解決するための手段】上記の目的を達成するた
めに、請求項１に係る映像検索装置は、予め映像ストリ
ームに対する補足情報として、映像ストリーム中に発生
した事象の種類を示す事象情報および前記事象情報に関
する付加情報が生成された映像ストリームを対象とし
て、前記映像ストリームに対する補足情報を利用して検
索を行う映像検索装置において、前記補足情報を入力し
て、前記事象情報および付加情報を用いた統計処理を行
って統計情報を生成する統計情報生成手段と、前記統計
情報生成手段で生成した統計情報の中から映像検索に使
用する統計情報を指定する指定手段と、前記指定手段で
指定された統計情報を入力し、統計情報から映像検索の
ための検索条件を生成する検索条件生成手段と、前記映
像ストリーム、補足情報および前記生成した検索条件を
入力し、前記検索条件に基づいて、前記映像ストリーム
の検索を行う映像検索手段と、を備えたものである。

【００１５】また、請求項２に係る映像検索装置は、請
求項１に記載の映像検索装置において、前記統計情報生
成手段で生成する統計情報が、映像ストリーム中の事象
の経過に基づく種々の成績情報であるものである。

【００１６】また、請求項３に係る映像検索装置は、請
求項２に記載の映像検索装置において、前記映像ストリ
ームがスポーツ映像であり、かつ、前記成績情報がスポ
ーツ映像中の得点情報であるものである。

【００１７】また、請求項４に係る映像検索装置は、請
求項１〜３のいずれか一つに記載の映像検索装置におい
て、前記統計情報生成手段が、前記映像ストリームに対
する補足情報として存在する事象情報および付加情報の
うち、予め指定されている事象情報または／および付加
情報のみの統計処理を行って、前記指定されている事象
情報または／および付加情報の統計情報を生成するもの
である。

【００１８】また、請求項５に係る映像検索装置は、請
求項１〜４のいずれか一つに記載の映像検索装置におい
て、前記補足情報の付加情報が、対象とするオブジェク
トを示す属性情報を有しており、前記指定手段が、前記
統計情報の指定に加えて、前記属性情報の指定が可能で
あり、前記検索条件生成手段が、前記指定手段で属性情
報が指定されている場合、前記検索条件の一つとして前
記指定された属性情報を有する補足情報に対応する映像
のみを映像検索の対象範囲とする制約条件を生成するも
のである。

【００１９】また、請求項６に係る映像検索装置は、請
求項５に記載の映像検索装置において、前記検索条件生
成手段は、前記指定手段で指定された統計情報から映像
検索のための検索条件を生成すると共に、前記補足情報
から重要度を判定するためのパラメータ値を計算し、前
記指定手段で指定された統計情報に応じてパラメータの
重み値を設定し、前記パラメータ値に前記重み値を乗算
した値を重要度判定パラメータとして生成し、前記映像
検索手段は、前記検索条件を用いて映像ストリームの検
索を行う際に、前記検索条件と合致する補足情報を有す
る映像を検索すると共に、前記重要度判定パラメータを
用いて、その映像の重要度を判定し、重要度の高い映像
を優先的に検索するものである。

【００２０】

【発明の実施の形態】以下、本発明の映像検索装置を適
用したダイジェスト作成システムを一実施の形態とし
て、（実施の形態１）、（実施の形態２）の順に、添付
の図面を参照しつつ詳細に説明する。

【００２１】（実施の形態１）以下に、本発明の実施の
形態について、（１）ハードウェア構成（２）映像検索装置の機能ブロック図（３）前提条件（４）映像検索処理の順で詳細に説明する。

【００２２】（１）ハードウェア構成図１は、実施の形態１の映像検索装置を適用したダイジ
ェスト作成システムの概略構成図である。図１に示すダ
イジェスト作成システムは、一例として、図示しない放
送局から放送された映像情報（映像ストリームおよび補
足情報）を受信するアンテナ１０１と、本発明の映像検
索装置としての機能およびダイジェスト映像を作成する
機能を有したセットトップボックス１０２と、受信した
映像情報の映像を再生したり、検索結果を表示したり、
作成したダイジェスト映像を再生するテレビ受像機１０
３と、セットトップボックス１０２を操作するためのリ
モコン１０４と、映像情報（映像ストリームおよび補足
情報）を記録した光ディスク１０５から映像情報を読み
取るための光ディスクドライバー２０８と、を備えてい
る。

【００２３】図２は、図１に示したセットトップボック
ス１０２の概略構成を示すブロック構成図である。セッ
トトップボックス１０２は、アンテナ１０１を介して映
像情報の受信処理を行うチューナ・モジュール２０１
と、受信した映像情報を用いて後述する映像検索処理お
よびダイジェスト作成処理を実行するＣＰＵ２０２と、
ブートプログラム等を記憶したＲＯＭ２０３と、ＣＰＵ
２０２のワークエリアとして使用されるＲＡＭ２０４
と、チューナ・モジュール２０１で受信された映像情報
を蓄積するためのハードディスク２０５と、リモコン１
０４を使用してまたは直接に利用者が映像検索のための
各種指定および入力を行うための操作モジュール２０６
と、テレビ受像機１０３が接続され、映像や音声をテレ
ビ受像機１０３に入力するための端子モジュール２０７
と、光ディスク１０５から映像情報を入力するための光
ディスクドライバー２０８と、上記各部を接続するため
のバス２０９と、を備えている。

【００２４】（２）映像検索装置の機能ブロック図次に、図３の機能ブロック図を参照して、ダイジェスト
作成システムの映像検索装置３００の概略構成について
説明する。なお、実施の形態１では、映像検索装置３０
０の各部が、図１および図２に示したダイジェスト作成
システムのハード構成を使用することを前提に、アプリ
ケーション（ソフトウェア）として実現されているもの
とする。

【００２５】映像ストリーム中に発生した事象の種類を
示す事象情報および事象情報に関する付加情報からなる
補足情報と、映像ストリームとを入力する映像情報入力
処理部３０１と、映像情報入力処理部３０１から補足情
報を入力して、事象情報および付加情報を用いた統計処
理を行って統計情報を生成する成績情報生成処理部３０
２と、成績情報生成処理部３０２で生成した統計情報の
中から映像検索に使用する統計情報を指定する指定処理
部３０３と、指定処理部３０３で指定された統計情報を
入力し、統計情報から映像検索のための検索条件を生成
する検索条件生成処理部３０４と、映像情報入力処理部
３０１から映像ストリームおよび補足情報を入力し、検
索条件生成処理部３０４から検索条件を入力し、検索条
件に基づいて映像ストリームの検索を行い、検索結果を
出力する映像検索処理部３０５と、から構成される。

【００２６】ここで、成績情報生成処理部３０２は、映
像ストリームに対する補足情報として存在する事象情報
および付加情報のうち、予め指定されている事象情報ま
たは／および付加情報のみの統計処理を行って、指定さ
れている事象情報または／および付加情報の統計情報を
生成する。

【００２７】また、指定処理部３０３は、テレビ受像機
１０３およびリモコン１０４を制御して、成績情報生成
処理部３０２が生成した統計情報をテレビ受像機１０３
で表示し、リモコン１０４を用いて利用者に映像検索に
使用する統計情報を指定させる。

【００２８】なお、図１および図２に示したダイジェス
ト作成システムの構成はあくまで一例であって、キーボ
ード、ディスプレイ画面、通信機能、光ディスクドライ
バー等を備えた一般的なパーソナルコンピュータで構成
することも可能であるのは明らかであり、本発明の映像
検索装置の各処理部を実行することが可能であれば、ど
のような構成であっても良い。

【００２９】（３）前提条件実施の形態１の映像検索装置３００は、予め映像ストリ
ームに対する補足情報として、映像ストリーム中に発生
した事象の種類を示す事象情報および事象情報に関する
付加情報が生成された映像ストリームを対象として、映
像ストリームに対する補足情報を利用して検索を行うも
のである。

【００３０】また、補足情報は、映像に付加された情報
としてのメタデータであり、映像ストリーム中に発生し
た事象を定義する事象情報や、各事象情報毎に、その事
象情報に関する各種の情報が設定された付加情報などに
よって構成されている。なお、事象情報は事象毎に複数
の種類存在する。付加情報も１つの事象情報に対して基
本的には複数存在する。さらに、実施の形態１では、映
像ストリームの構造を定義する情報（構造情報）が事象
情報の１種類として存在している。

【００３１】以下に説明する実施の形態１においては、
プロ野球中継映像を映像ストリームの例とし、この映像
ストリームに対し、予め事象情報をインデックス（事象
インデックス）として事象情報と付加情報のインデック
ス付けを行い、プロ野球中継映像と補足情報（事象情報
および付加情報）とを含む映像情報をダイジェスト作成
システムに入力するものとする。

【００３２】図４は、野球中継映像中に発生する事象
（イベント）を定義するために用いる事象情報およびそ
の事象情報に関する付加情報の例を示す説明図である。
図４において、例えば「game」インデックスは、試合の
開始をイベントとして定義するインデックスである。こ
の「game」インデックスは、試合開始時間，チーム名，
球場名，日付等の付加情報が付加されて構成される。ま
た、「batter」インデックスは、各打者の登場（打席の
開始）をイベントとして定義するインデックスである。
この「batter」インデックスは、時間，打者名，相手投
手名，出塁中のランナーがいる場合には塁およびランナ
ー名等の付加情報が付加されて構成される。さらに、
「hit」インデックスは、ある打者が１塁打を打ったこ
とをイベントとして定義するインデックスである。この
「hit」インデックスは、時間，打球の飛んだ場所（ゾ
ーン）等の付加情報が付加されて構成される。

【００３３】また、図５は、西部対ダイエーの野球映像
を例として、補足情報である事象情報（事象インデック
ス）と付加情報が作成された例を示す説明図である。

【００３４】以下では、この図５に示すような補足情報
を含む映像情報を、映像検索装置３００が、映像情報入
力処理部３０１を介して入力し、本発明の映像検索処理
を実行するものである。

【００３５】（４）映像検索処理以上の構成において、図６のフローチャートを参照し
て、実施の形態１の映像検索装置３００による映像検索
処理について説明する。利用者が、ダイジェスト作成シ
ステムにおいて、対象となる映像情報を選択し、映像検
索処理の実行を入力すると、映像情報入力処理部３０１
が該当する映像ストリームおよび補足情報を入力する
（Ｓ６０１）。このとき、映像情報入力処理部３０１
は、選択された映像情報が、放送された映像情報をハー
ドディスク２０５に記憶したものである場合には、ハー
ドディスク２０５から映像ストリームおよび補足情報を
読み出し、光ディスク１０５に記録されている映像情報
である場合には、光ディスクドライバー２０８を介して
光ディスク１０５から映像ストリームおよび補足情報を
読み込む。なお、実際には、１つの番組に相当する映像
情報を一度に全て入力するのではなく、映像情報のデー
タ量が大きいため、映像情報入力処理部３０１は、以降
のステップと並列させて映像情報入力処理を行う。

【００３６】成績情報生成処理部３０２は、映像情報入
力処理部３０１から補足情報を入力すると、事象情報お
よび付加情報を用いた統計処理を行って成績情報（統計
情報）を生成する（Ｓ６０２）。ここで、事象情報およ
び付加情報から生成可能な成績情報としては、図５に示
した事象情報および補足情報から明らかなように、野球
映像中の得点両チームの得点状況に関する得点情報や、
試合に登板した投手の成績に関する投手情報や、チーム
打撃に関するチーム打撃情報等を生成することができ
る。

【００３７】具体的には、〜のように算出できる。得点情報例：（西武対ダイエー、９対１）統計処理の内容：事象情報（加点イベント）をチーム毎
に加算する。投手情報例：（投手西口、回数８、安打４、三振９、四球３、
失点１）例：（投手佐久間、回数３と１／３、安打５、三振
２、四球２、失点４）統計処理の内容：投手毎に、イニングイベント（回数）
や、１塁打・２塁打・３塁打・ホームランイベント（安
打）、等をそれぞれ加算する。チーム打撃情報例：（西武、回数９、安打１３、９得点）（ダイエー、回数９、安打４、得点１）統計処理の内容：チーム毎に、イニングイベント（回
数）、１塁打・２塁打・３塁打・ホームランイベント
（安打）、加点イベントをそれぞれ加算する。

【００３８】すなわち、成績情報生成処理部３０２は、
補足情報として付加された情報のうち、試合得点、投
手、チーム打撃などの対象となるオブジェクト毎に成績
に関する情報の統計をとり、上記のような成績情報を算
出し、次の指定処理部３０３へ成績情報を出力する。な
お、このとき、全てのオブジェクト毎の成績情報を生成
しても良いし、処理速度の高速化を図るために、予め成
績情報を生成するオブジェクトを指定しておいても良
い。例えば、加点イベント（事象情報）のみを指定する
ことにより、成績情報として得点情報のみが生成され
る。

【００３９】指定処理部３０３は、成績情報生成処理部
３０２から成績情報を入力すると、各オブジェクト毎に
成績情報を表示し、利用者へ検索に使用する成績情報を
選択（指定）させる（Ｓ６０３）。具体的には、例え
ば、テレビ受像機１０３の画面に、図７の表示画面例の
ような選択画面を表示すると、利用者が選択画面からリ
モコン１０４等を操作して映像検索に使用する成績情報
を指定する。図４および図５に示すように、付加情報と
して対象とするオブジェクトを示す属性情報（チーム
名、ピッチャー名、打者名、選手名、ランナ名等）を有
しているので、成績情報の指定に加えて、属性情報（例
えば、打者名）の指定も可能である。さらに指定処理部
３０３において、各映像シーンの最大長や、検索結果の
映像シーンの総合計（総時間）を検索条件として入力す
ることもできる。

【００４０】なお、ここでは、利用者が映像検索に使用
する成績情報を選択画面から選択する例を示したが、指
定処理部３０３で自動的に成績情報を選択することも可
能である。例えば、成績情報生成処理部３０２から入力
した成績情報に基づいて、特徴的な成績を選択すること
が可能である。具体的には、両者とも高得点の場合は攻
撃レベルの値が上がるように成績情報を選択する。

【００４１】検索条件生成処理部３０４は、指定処理部
３０３から指定された成績情報を入力すると、成績情報
から検索条件を生成する（Ｓ６０４）。成績情報から検
索条件を生成する処理は、入力された成績情報から検索
条件と、映像検索における制約条件と、重要度判定パラ
メータとを生成するものである。このとき、指定処理部
３０３で特定のオブジェクトを示す属性情報が指定され
ている場合、検索条件の一つとして指定された属性情報
を有する補足情報に対応する映像のみを映像検索の対象
範囲とする制約条件を生成する。

【００４２】ここで、検索条件生成処理部３０４におけ
る検索条件、制約条件、重要度判定パラメータの生成に
ついて説明する前に、理解を容易にするために処理の前
提となる各種設定条件について説明する。映像検索装置
３００の内部（ダイジェスト作成システムの内部）に用
意されているパラメータには、次のＰ１〜Ｐ３のパラメ
ータがある。これらのパラメータは打席の開始時に
「０」にリセットされ、その後単調増加し、次の打席の
開始時に再度「０」にリセットされる。

【００４３】パラメータＰ１（攻撃レベルパラメータ）攻撃的に重要なレベルを示すパラメータであり、攻撃に
関係する補足情報に対して以下のようにパラメータＰ１
の値が設定されている。例、ヒットＰ１＋＝２ホームランＰ１＋＝４進塁Ｐ１＋＝１加点Ｐ１＋＝２エラーＰ１＋＝１暴投Ｐ１＋＝１先制Ｐ１＋＝３同点Ｐ１＋＝３逆転Ｐ１＋＝３

【００４４】このパラメータＰ１（攻撃レベルパラメー
タ）は、図８に示すように、打席開始時にリセットによ
って「０」となり、打席シーン（映像シーン）中の補足
情報に基づいて、パラメータＰ１の値が設定されている
補足情報があると、そのパラメータＰ１の値を加算し、
順次、パラメータＰ１の値が設定されている補足情報が
あると、該当するパラメータＰ１の値を加算して行く、
例えば、ヒットの場合には「２」を加算し、進塁の場合
には「１」を加算し、加点の場合には「２」を加算し、
次の打席開始まで同様の加算処理を行い、次の打席開始
になると、それまでの統計値を、その打席シーンの攻撃
レベルの統計値として生成する。

【００４５】パラメータＰ２（投手レベルパラメータ）投手および守備の調子のレベルを示すパラメータであ
り、投手および守備に関係する補足情報に対して以下の
ようにパラメータＰ２の値が設定されている。例、スリーアウトＰ２＋＝３ワンアウトＰ２＋＝２ツーアウトＰ２＋＝２ストライクＰ２＋＝１

【００４６】このパラメータＰ２（投手レベルパラメー
タ）は、図９に示すように、打席開始時にリセットによ
って「０」となり、打席シーン（映像シーン）中の補足
情報に基づいて、パラメータＰ２の値が設定されている
補足情報があると、そのパラメータＰ２の値を加算し、
順次、パラメータＰ２の値が設定されている補足情報が
あると、該当するパラメータＰ２の値を加算して行く、
例えば、ストライクの場合には「１」を加算し、アウト
（三振）の場合には「２」を加算し、スリーアウトの場
合には「３」を加算し、次の打席開始まで同様の加算処
理を行い、次の打席開始になると、それまでの統計値
を、その打席シーンの投手レベルの統計値として生成す
る。

【００４７】パラメータＰ３（興奮レベルパラメータ）利用者（視聴者）の期待および興奮度のレベルを示すパ
ラメータであり、興奮する状況であると推定される補足
情報（例えば、打順が３番〜５番のクリーンナップの打
席であったり、ランナが３塁に出ている等を示す補足情
報）に対して以下のようにパラメータＰ３の値が設定さ
れている。例、打席開始〔打順＝〔３−５〕〕Ｐ３＋＝２打席開始〔３塁打者＝ＯＮ〕Ｐ３＋＝２

【００４８】このパラメータＰ３（興奮レベルパラメー
タ）も、打席開始時にリセットによって「０」となり、
打席シーン（映像シーン）中の補足情報に基づいて、パ
ラメータＰ３の値が設定されている補足情報があると、
そのパラメータＰ３の値を加算し、順次、次の打席開始
まで同様の加算処理を行い、次の打席開始になると、そ
れまでの統計値を、その打席シーンの興奮レベルの統計
値として生成する。

【００４９】次に、成績情報に応じて検索条件（制約条
件）およびパラメータ（Ｐ１〜Ｐ３）の重み値を設定す
る方法について説明する。成績情報として得点情報が指
定されている場合（例、「西武９点対ダイエー１
点」の場合）、検索条件として、検索の対象「得点する
映像シーン」、検索の対象となる範囲が試合全体である
ので制約条件「なし」が生成される。また、パラメータ
に対する重み値としては、得点情報に基づき、攻撃レベ
ル、投手レベル、興奮レベルの重み（Ｐｌｗ，Ｐ２ｗ，
Ｐ３ｗ）を設定する。なお、これらのデフォルト値は
（１，１，１）である。

【００５０】例えば、得点数／回数＞０．６の場合に
は、打撃好調であるという特徴があったと考え、攻撃レ
ベルの重み値を２に設定し、重み値は（２，１，１）と
なる。また、西武は得点が９点であり、得点数／回数＞
０．６となるため、西武に対する各パラメータの重み値
は（２，１，１）となる。

【００５１】得点数／回数＜０．３の場合には、投手が
好調という特徴があったと考え、投手レベルの重み値を
２に設置し、重み値は（１，２，１）となる。ダイエー
は得点が１点であり、得点数／回数＜０．３となるた
め、ダイエーに対する各パラメータの重み値は（１，
２，１）となる。

【００５２】このように重み値を設定することにより、
それぞれのチームの試合結果の特徴に応じた重み付けが
なされるため、試合の特徴を表す映像シーンを検索する
ことができる。西武では、攻撃的に重要な場面（映像シ
ーン）の重要度が高くなり、ダイエーでは守備的に重要
な場面（ダイエーの守備がよかった映像シーン）の重要
度が高くなる。

【００５３】次に、成績情報として投手情報が指定され
ている場合（例、「西武・西口回数８、安打４、三振
９‥‥失点１」）、検索条件として、検索の対象「西口
投手のイニングの映像シーン」、制約条件は「投手名＝
西口」となる。また、パラメータに対する重み値として
は、安打数／回数＜１の場合、投手好調であったと考
え、投手レベルの重み値を２とする。この場合、重み値
は（１，２，１）となる。

【００５４】他の投手情報が指定されている場合（例、
「ダイエー・佐久間、回数３と１／３、安打５、三振２
‥‥失点４」）、検索条件として、検索の対象「佐久間
投手のイニングの映像シーン」、制約条件は「投手名＝
佐久間」となる。また、パラメータに対する重み値とし
ては、安打数／回数＞１．５または失点／回数＞０．６
の場合、打撃好調であったと考え、攻撃レベルの重み値
を２とする。この場合、重み値は（２，１，１）とな
る。

【００５５】次に、成績情報としてチームの打撃情報が
指定されている場合（例、「ダイエー、回数９、安打
４、得点１」）、検索条件として、検索の対象「ダイエ
ーの攻撃イニングの映像シーン」、制約条件は「攻撃チ
ーム名＝ダイエー」となる。また、パラメータに対する
重み値としては、安打数／回数＜１の場合、失点／回数
＜０．３という条件が成立するため、投手レベルの重み
値を２とする。この場合、重み値は（１，２，１）とな
る。

【００５６】上記のようにパラメータの重み値のうち、
投手レベルと攻撃レベルの重み値を左右するのは、得点
／回数の値と、安打／回数の値である。一例として実施
の形態１では、それぞれの重み値は、以下の条件１〜３
に従って設定される。条件１得点／回数＞０．６または安打／回数＞１．５ →攻撃レベル「２」条件２得点／回数＜０．３または安打／回数＜１ →投手レベル「２」条件３条件１、２に該当しない場合 →重み値「１」

【００５７】上記条件１〜３によると、重み値は（１，
１，１）、（１，２，１）、（２，１，１）、（２，
２，１）のいずれかに設定される。

【００５８】図６のステップＳ６０４に戻って、再度説
明すると、検索条件生成処理部３０４は、指定処理部３
０３で指定された成績情報から映像検索のための検索条
件を生成する。例えば、成績情報として得点情報が指定
されている場合、得点情報から両チームが得点する映像
シーンを検索条件として生成し、次に補足情報から重要
度を判定するためのパラメータ値（Ｐ１〜Ｐ３の統計
値）を計算し、指定処理部３０３で指定された成績情報
に応じてパラメータの重み値（Ｐ１ｗ，Ｐ２ｗ，Ｐ３
ｗ）を設定し、パラメータ値（Ｐ１〜Ｐ３の統計値）の
それぞれに該当する重み値（Ｐ１ｗ，Ｐ２ｗ，Ｐ３ｗ）
を乗算した値を重要度判定パラメータとして生成する。

【００５９】最後に、映像検索処理部３０５は、検索条
件を用いて映像ストリームの検索を行う際に、検索条件
と合致する補足情報を有する映像（映像シーン）を検索
すると共に、重要度判定パラメータの値を参照して、そ
の映像の重要度を判定し、重要度の高い映像を優先的に
検索結果として出力する（Ｓ６０５）。すなわち、検索
条件生成処理部３０４により生成された検索条件、制約
条件、重要度判定パラメータに基づいて、映像検索を行
う。切り出しシーンは、各映像シーンの最大長や、検索
結果の映像シーンの総合計（総時間）が検索条件として
指定されている場合、指定された各映像シーンの最大長
および総合計を超えないように切り出される。このと
き、重要度判定パラメータの値が大きい映像シーンから
優先的に検索結果として切り出すことにより、利用者が
映像に対して前知識（予備知識）がなく、得点情報など
のような成績情報（統計情報）のみを知っている場合で
も、重要な場面（映像）を検索結果として出力できる。

【００６０】また、映像検索装置３００の検索結果を用
いて、ダイジェスト映像を作成することにより、成績情
報のみからでも重要な場面（映像）の的確に抽出したダ
イジェスト映像を作成することが可能となる。

【００６１】（実施の形態２）実施の形態２の映像検索
装置は、実施の形態１の映像検索装置と同様の構成にお
いて、検索条件生成処理部３０４で成績情報から検索条
件、制約条件および重要度判定パラメータを生成する際
に、映像検索装置３００の内部（ダイジェスト作成シス
テムの内部）に用意されているパラメータ（Ｐ１〜Ｐ３
のパラメータ）から攻撃レベルの統計値、投手レベルの
統計値または興奮レベルの統計値を生成する際のルール
を変更可能としたものである。なお、ルールとは以下に
示すように、補足情報に対して設定されているパラメー
タ（Ｐ１〜Ｐ３）の設定値を定めたものである。換言す
れば、実施の形態１ではこのルールが１つであった場合
を示し、実施の形態２では複数のルールを準備してルー
ルを変更（選択）するようにしたものである。

【００６２】パラメータＰ１（攻撃レベルパラメータ）攻撃的に重要なレベルを示すパラメータであり、攻撃に
関係する補足情報に対して以下のようにルール１、ルー
ル２、ルール３のようにパラメータＰ１の値が設定され
ている。

【００６３】ルール１ルール１は、攻撃的に重要なレベルを示すパラメータＰ
１の値が、攻撃に関係する補足情報に対して全体にバラ
ンス良く配置されるように設定されている。ヒットＰ１＋＝２ホームランＰ１＋＝４進塁Ｐ１＋＝１加点Ｐ１＋＝２エラーＰ１＋＝１暴投Ｐ１＋＝１先制Ｐ１＋＝３同点Ｐ１＋＝３逆転Ｐ１＋＝３

【００６４】ルール２ルール２は、攻撃的に重要なレベルを示すパラメータＰ
１の値のうち、特定の攻撃に関係する補足情報、ここで
はホームランと逆転の場合に大きな値となるように設定
したものであり、このルールによればホームランと逆転
のシーンを確実に検索することができる。ヒットＰ１＋＝１ホームランＰ１＋＝１０進塁Ｐ１＋＝１加点Ｐ１＋＝１エラーＰ１＋＝１暴投Ｐ１＋＝１先制Ｐ１＋＝１同点Ｐ１＋＝１逆転Ｐ１＋＝１０

【００６５】ルール３ルール３は、攻撃的に重要なレベルを示すパラメータＰ
１の値のうち、特定の攻撃に関係する補足情報、ここで
はヒットとホームランの場合に大きな値となるように設
定したものであり、このルールによればヒットや、ホー
ムランのように打者の攻撃シーンを確実に検索すること
ができる。ヒットＰ１＋＝５ホームランＰ１＋＝５進塁Ｐ１＋＝１加点Ｐ１＋＝１エラーＰ１＋＝１暴投Ｐ１＋＝１先制Ｐ１＋＝１同点Ｐ１＋＝１逆転Ｐ１＋＝１

【００６６】パラメータＰ２（投手レベルパラメータ）同様に投手および守備の調子のレベルを示すパラメータ
Ｐ２に関しても、ルール４およびルール５のようにする
補足情報に対してパラメータＰ２の値が設定されてい
る。

【００６７】ルール４スリーアウトＰ２＋＝３ワンアウトＰ２＋＝２ツーアウトＰ２＋＝２ストライクＰ２＋＝１ルール５スリーアウトＰ２＋＝１ワンアウトＰ２＋＝１ツーアウトＰ２＋＝１ストライクＰ２＋＝５

【００６８】パラメータＰ３（興奮レベルパラメータ）同様に利用者（視聴者）の期待および興奮度のレベルを
示すパラメータＰ３に関しても、ルール６およびルール
７のようにする補足情報に対してパラメータＰ３の値が
設定されている。ルール６打席開始〔打順＝〔３−５〕〕Ｐ３＋＝２打席開始〔３塁打者＝ＯＮ〕Ｐ３＋＝２ルール７打席開始〔打順＝〔３−５〕〕Ｐ３＋＝５打席開始〔３塁打者＝ＯＮ〕Ｐ３＋＝１

【００６９】上記パラメータＰ１〜Ｐ３において各ルー
ル１〜７のうち、どのルールを使用するかは、例えば、
初期値として（ルール１、ルール４、ルール６）の組み
合わせを設定しておき、選択画面を介して利用者が選択
することで変更するようにしても良いし、例えば、試合
全体のホームラン数が５以上であれば、（ルール２、ル
ール４、ルール７）を自動的に選択する等のように自動
化することも可能である。

【００７０】このようにパラメータＰ１〜Ｐ３のルール
を変更可能とすることにより、利用者が映像に対して前
知識（予備知識）がなく、得点情報などのような成績情
報（統計情報）のみを知っている場合でも、重要な場面
（映像）を容易に検索することができると共に、検索の
多様性を確保し、上記ルールの選択によっても利用者の
嗜好を反映させることが可能である。また、上記ルール
の変更に代えて、重み（Ｐｌｗ，Ｐ２ｗ，Ｐ３ｗ）を変
更することでも同様の効果を奏することができる。例え
ば、ある条件の場合に、通常は重み値を（２，１，１）
とするところを、重み値を（３，１，１）に変更するこ
とで検索の多様性を確保し、上記ルールの選択によって
も利用者の嗜好を反映させることが可能である。

【００７１】

【発明の効果】以上説明したように、本発明の映像検索
装置（請求項１〜３）によれば、事象情報および付加情
報を用いた統計処理を行って統計情報を生成し、生成し
た統計情報の中から映像検索に使用する統計情報を指定
し、指定された統計情報から映像検索のための検索条件
を生成し、該検索条件に基づいて映像ストリームの検索
を行うため、利用者が映像に対して前知識（予備知識）
がなく、得点情報などのような成績情報（統計情報）の
みを知っている場合でも、重要な場面（映像）を容易に
検索することができる。

【００７２】また、映像ストリームに対する補足情報と
して存在する事象情報および付加情報のうち、予め指定
されている事象情報または／および付加情報のみの統計
処理を行って統計情報を生成することにより、より高速
な検索を実現できる。

【００７３】また、映像検索に使用する統計情報の指定
に加えて、属性情報を指定することにより、検索条件の
一つとして指定された属性情報を有する補足情報に対応
する映像のみを映像検索の対象範囲とする制約条件を生
成するので、映像検索処理の処理時間の短縮を図ること
ができる。

【００７４】また、検索条件生成手段が、指定手段で指
定された統計情報から映像検索のための検索条件を生成
すると共に、補足情報から重要度を判定するためのパラ
メータ値を計算し、指定手段で指定された統計情報に応
じてパラメータの重み値を設定し、パラメータ値に重み
値を乗算した値を重要度判定パラメータとして生成し、
映像検索手段が、検索条件を用いて映像ストリームの検
索を行う際に、検索条件と合致する補足情報を有する映
像を検索すると共に、重要度判定パラメータを用いて、
その映像の重要度を判定し、重要度の高い映像を優先的
に検索するため、統計情報を指定するだけで、選択され
た統計情報に相応しい重要な場面を検索することができ
る。

【図面の簡単な説明】

【図１】実施の形態１の映像検索装置を適用したダイジ
ェスト作成システムの概略構成図である。

【図２】図１に示したセットトップボックスの概略構成
を示すブロック構成図である。

【図３】実施の形態１の映像検索処理装置の機能ブロッ
ク図である。

【図４】野球中継映像中に発生する事象（イベント）を
定義するために用いる事象情報およびその事象情報に関
する付加情報の例を示す説明図である。

【図５】野球映像を例として、補足情報である事象情報
（事象インデックス）と付加情報が作成された例を示す
説明図である。

【図６】実施の形態１の映像検索装置による映像検索処
理を示すフローチャートである。

【図７】実施の形態１の指定処理部における表示画面例
を示す説明図である。

【図８】パラメータＰ１（攻撃レベルパラメータ）の統
計値の算出例を示す説明図である。

【図９】パラメータＰ２（投手レベルパラメータ）の統
計値の算出例を示す説明図である。

【符号の説明】

１０１アンテナ１０２セットトップボックス１０３テレビ受像機１０４リモコン１０５光ディスク２０８光ディスクドライバー３００映像検索装置３０１映像情報入力処理部３０２成績情報生成処理部３０３指定処理部３０４検索条件生成処理部３０５映像検索処理部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/081 (72)発明者白田由香利東京都大田区中馬込１丁目３番６号株式会社リコー内 (72)発明者真野博子東京都大田区中馬込１丁目３番６号株式会社リコー内 (72)発明者飯沢篤志東京都大田区中馬込１丁目３番６号株式会社リコー内Ｆターム(参考） 5B075 ND12 NK24 NK39 UU34 5C052 AA01 AA02 AC08 DD04 5C063 AB05 DA07

Claims

【特許請求の範囲】

【請求項１】予め映像ストリームに対する補足情報と
して、映像ストリーム中に発生した事象の種類を示す事
象情報および前記事象情報に関する付加情報が生成され
た映像ストリームを対象として、前記映像ストリームに
対する補足情報を利用して検索を行う映像検索装置にお
いて、前記補足情報を入力して、前記事象情報および付加情報
を用いた統計処理を行って統計情報を生成する統計情報
生成手段と、前記統計情報生成手段で生成した統計情報の中から映像
検索に使用する統計情報を指定する指定手段と、前記指定手段で指定された統計情報を入力し、統計情報
から映像検索のための検索条件を生成する検索条件生成
手段と、前記映像ストリーム、補足情報および前記生成した検索
条件を入力し、前記検索条件に基づいて、前記映像スト
リームの検索を行う映像検索手段と、を備えたことを特徴とする映像検索装置。
【請求項２】前記統計情報生成手段で生成する統計情
報は、映像ストリーム中の事象の経過に基づく種々の成
績情報であることを特徴とする請求項１に記載の映像検
索装置。
【請求項３】前記映像ストリームはスポーツ映像であ
り、かつ、前記成績情報はスポーツ映像中の得点情報で
あることを特徴とする請求項２に記載の映像検索装置。
【請求項４】前記統計情報生成手段は、前記映像スト
リームに対する補足情報として存在する事象情報および
付加情報のうち、予め指定されている事象情報または／
および付加情報のみの統計処理を行って、前記指定され
ている事象情報または／および付加情報の統計情報を生
成することを特徴とする請求項１〜３のいずれか一つに
記載の映像検索装置。
【請求項５】前記補足情報の付加情報は、対象とする
オブジェクトを示す属性情報を有しており、前記指定手段は、前記統計情報の指定に加えて、前記属
性情報の指定が可能であり、前記検索条件生成手段は、前記指定手段で属性情報が指
定されている場合、前記検索条件の一つとして前記指定
された属性情報を有する補足情報に対応する映像のみを
映像検索の対象範囲とする制約条件を生成することを特
徴とする請求項１〜４のいずれか一つに記載の映像検索
装置。
【請求項６】前記検索条件生成手段は、前記指定手段
で指定された統計情報から映像検索のための検索条件を
生成すると共に、前記補足情報から重要度を判定するた
めのパラメータ値を計算し、前記指定手段で指定された
統計情報に応じてパラメータの重み値を設定し、前記パ
ラメータ値に前記重み値を乗算した値を重要度判定パラ
メータとして生成し、前記映像検索手段は、前記検索条件を用いて映像ストリ
ームの検索を行う際に、前記検索条件と合致する補足情
報を有する映像を検索すると共に、前記重要度判定パラ
メータを用いて、その映像の重要度を判定し、重要度の
高い映像を優先的に検索することを特徴とする請求項５
に記載の映像検索装置。