JP2001022780A - 動画像へのキーワード付与方法、装置、およびキーワード付与プログラムを記録した記録媒体 - Google Patents
動画像へのキーワード付与方法、装置、およびキーワード付与プログラムを記録した記録媒体Info
- Publication number
- JP2001022780A JP2001022780A JP11196109A JP19610999A JP2001022780A JP 2001022780 A JP2001022780 A JP 2001022780A JP 11196109 A JP11196109 A JP 11196109A JP 19610999 A JP19610999 A JP 19610999A JP 2001022780 A JP2001022780 A JP 2001022780A
- Authority
- JP
- Japan
- Prior art keywords
- partial section
- keyword
- moving image
- user
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 動画像へのキーワード付与において、対象シ
ーンを制限することなくキーワード付与の効率化を図
る。 【解決手段】 部分区間選択部１０１は、利用者が選択
した動画像の部分区間の開始フレームと終了フレームの
フレーム番号を求める。特徴量抽出部１０２は通知され
たフレーム番号に基づき前記部分区間に対応する特徴量
を抽出し、全ての動画像に対応する特徴量とともに特徴
量比較部１０３に通知する。特徴量比較部１０３は通知
された２つの特徴量を比較し、前記部分区間と類似した
特徴量を有する全ての部分区間を記憶装置１０７から検
出する。類似区間選別部１０４は各部分区間のフレーム
番号に基づき、部分区間の動画像をディスプレイ１０９
に表示し、利用者が選別した各部分区間のフレーム番号
をインデックス格納部１０６へ通知する。利用者がキー
ワードを入力すると、これがインデックス格納部１０６
へ通知され、各部分区間にキーワードが関連付けられ
る。
ーンを制限することなくキーワード付与の効率化を図
る。 【解決手段】 部分区間選択部１０１は、利用者が選択
した動画像の部分区間の開始フレームと終了フレームの
フレーム番号を求める。特徴量抽出部１０２は通知され
たフレーム番号に基づき前記部分区間に対応する特徴量
を抽出し、全ての動画像に対応する特徴量とともに特徴
量比較部１０３に通知する。特徴量比較部１０３は通知
された２つの特徴量を比較し、前記部分区間と類似した
特徴量を有する全ての部分区間を記憶装置１０７から検
出する。類似区間選別部１０４は各部分区間のフレーム
番号に基づき、部分区間の動画像をディスプレイ１０９
に表示し、利用者が選別した各部分区間のフレーム番号
をインデックス格納部１０６へ通知する。利用者がキー
ワードを入力すると、これがインデックス格納部１０６
へ通知され、各部分区間にキーワードが関連付けられ
る。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像の部分区間
に対してその意味内容を表すキーワードを付与する方法
および装置に関する。
に対してその意味内容を表すキーワードを付与する方法
および装置に関する。
【０００２】
【従来の技術】大量の動画像中から所望の意味内容のシ
ーンを確実に検索できるようにするための代表的な手法
として、各シーンに対してその意味内容を表すキーワー
ドを付与し、シーンとキーワードの対応関係を該動画像
のインデックスとして管理する方法がある。この方法で
は、キーワード付与者が動画像を見ながら逐一キーワー
ドを付与する作業が必要となり、大量の動画像を対象と
する場合、キーワード付与者の手間が膨大となってしま
う。
ーンを確実に検索できるようにするための代表的な手法
として、各シーンに対してその意味内容を表すキーワー
ドを付与し、シーンとキーワードの対応関係を該動画像
のインデックスとして管理する方法がある。この方法で
は、キーワード付与者が動画像を見ながら逐一キーワー
ドを付与する作業が必要となり、大量の動画像を対象と
する場合、キーワード付与者の手間が膨大となってしま
う。
【０００３】この問題を解決するための従来の動画像へ
のキーワード付与方法として、特開平５−１０８７３０
号公報に示されている動画像情報のキーワード付与方法
がある。これは、動画像中に現れる対象物に関連したキ
ーワードを効率良く付与する方法であり、キーワード付
与者が選択した任意のフレームに移っている対象物と同
じ対象物を含むフレームを動画像中から検出し、検出し
たフレームの連続性を考慮しながら該対象物が存在する
すべての部分区間を自動的に求めることで、求めた部分
区間に対して該対象物に関するキーワードを一括して付
与できるようにするものである。これにより、キーワー
ド付与者は、例えば自動車が映っているフレームを１つ
選択するだけで、自動車が映っているすべてのシーンに
一括して「車」というキーワードを付与できるようにな
り、キーワード付与者の手間を大幅に削減できる。
のキーワード付与方法として、特開平５−１０８７３０
号公報に示されている動画像情報のキーワード付与方法
がある。これは、動画像中に現れる対象物に関連したキ
ーワードを効率良く付与する方法であり、キーワード付
与者が選択した任意のフレームに移っている対象物と同
じ対象物を含むフレームを動画像中から検出し、検出し
たフレームの連続性を考慮しながら該対象物が存在する
すべての部分区間を自動的に求めることで、求めた部分
区間に対して該対象物に関するキーワードを一括して付
与できるようにするものである。これにより、キーワー
ド付与者は、例えば自動車が映っているフレームを１つ
選択するだけで、自動車が映っているすべてのシーンに
一括して「車」というキーワードを付与できるようにな
り、キーワード付与者の手間を大幅に削減できる。
【０００４】
【発明が解決しようとする課題】しかしながら、上述し
た従来の動画像へのキーワード付与方法は、動画像中に
現れる対象物に関連したキーワード付与の効率化を図る
ためのものであるため、キーワードを一括して付与でき
るシーンが対象物の出現区間に限られ、例えば野球中継
の動画像に含まれるホームランシーンに対して「ホーム
ラン」というキーワードを付与するというような、出現
する対象物との関係では区間を特定できないようなシー
ンについてはキーワード付与の効率化を図れないという
問題があった。
た従来の動画像へのキーワード付与方法は、動画像中に
現れる対象物に関連したキーワード付与の効率化を図る
ためのものであるため、キーワードを一括して付与でき
るシーンが対象物の出現区間に限られ、例えば野球中継
の動画像に含まれるホームランシーンに対して「ホーム
ラン」というキーワードを付与するというような、出現
する対象物との関係では区間を特定できないようなシー
ンについてはキーワード付与の効率化を図れないという
問題があった。
【０００５】本発明の目的は、対象シーンを制限するこ
となくキーワード付与の効率化を図れる、動画像へのキ
ーワード付与方法、装置、および動画像へのキーワード
付与プログラムを記録した記録媒体を提供することにあ
る。
となくキーワード付与の効率化を図れる、動画像へのキ
ーワード付与方法、装置、および動画像へのキーワード
付与プログラムを記録した記録媒体を提供することにあ
る。
【０００６】
【課題を解決するための手段】上記目的を達成するため
に、本発明の動画像へのキーワード付与方法は、利用者
が選択した動画像の部分区間から抽出した特徴量と、該
動画像全体から抽出した特徴量とを比較することで、該
部分区間と類似した特徴量を有する該動画像中の他の部
分区間を検出して利用者へ提示し、利用者は該提示され
た部分区間の中から利用者が選択した前記部分区間と同
じ意味内容を有する部分区間を選別し、前記選択された
部分区間および該選別された部分区間に対して、これら
部分区間の意味内容を表す共通の意味内容を表す共通の
キーワードを付与する。 本発明は、利用者が指定した
動画像中の任意の部分区間と類似した特徴を有する該動
画像の他の部分区間を検出し、検出した部分区間の中か
ら利用者が指定した部分区間と同じ同じ意味内容のもの
を選別した上で、選択および選別した部分区間に対して
共通のキーワードを付与することで、対象シーンを制限
することなくキーワード付与の効率化を図るものであ
る。
に、本発明の動画像へのキーワード付与方法は、利用者
が選択した動画像の部分区間から抽出した特徴量と、該
動画像全体から抽出した特徴量とを比較することで、該
部分区間と類似した特徴量を有する該動画像中の他の部
分区間を検出して利用者へ提示し、利用者は該提示され
た部分区間の中から利用者が選択した前記部分区間と同
じ意味内容を有する部分区間を選別し、前記選択された
部分区間および該選別された部分区間に対して、これら
部分区間の意味内容を表す共通の意味内容を表す共通の
キーワードを付与する。 本発明は、利用者が指定した
動画像中の任意の部分区間と類似した特徴を有する該動
画像の他の部分区間を検出し、検出した部分区間の中か
ら利用者が指定した部分区間と同じ同じ意味内容のもの
を選別した上で、選択および選別した部分区間に対して
共通のキーワードを付与することで、対象シーンを制限
することなくキーワード付与の効率化を図るものであ
る。
【０００７】また、上記目的を達成するために、本発明
の動画像へのキーワード付与装置は、利用者が動画像か
ら任意の部分区間を選択するための部分区間選択手段
と、動画像全体および部分区間選択手段により選択され
た該動画像の部分区間から特徴量を抽出するための特徴
量抽出手段と、該抽出した２つの特徴量を比較し、利用
者が選択した前記部分区間と類似した特徴量を有する前
記動画像中の他の部分区間を検出する特徴量比較手段
と、該検出された部分区間を利用者へ提示し、利用者
が、選択された前記部分区間と同じ意味内容を有する部
分区間を選別可能とする類似区間選別手段と、前記選択
された部分区間および該選別された部分区間に対して付
与する共通のキーワードを利用者が入力するためのキー
ワード入力手段と、キーワード入力手段から入力された
キーワードを利用者が選択および選別した前記部分区間
に付与するキーワード付与手段とを有する。
の動画像へのキーワード付与装置は、利用者が動画像か
ら任意の部分区間を選択するための部分区間選択手段
と、動画像全体および部分区間選択手段により選択され
た該動画像の部分区間から特徴量を抽出するための特徴
量抽出手段と、該抽出した２つの特徴量を比較し、利用
者が選択した前記部分区間と類似した特徴量を有する前
記動画像中の他の部分区間を検出する特徴量比較手段
と、該検出された部分区間を利用者へ提示し、利用者
が、選択された前記部分区間と同じ意味内容を有する部
分区間を選別可能とする類似区間選別手段と、前記選択
された部分区間および該選別された部分区間に対して付
与する共通のキーワードを利用者が入力するためのキー
ワード入力手段と、キーワード入力手段から入力された
キーワードを利用者が選択および選別した前記部分区間
に付与するキーワード付与手段とを有する。
【０００８】これにより、複数の部分区間に対して共通
のキーワードが一括して付与されることになる。
のキーワードが一括して付与されることになる。
【０００９】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００１０】図１を参照すると、本発明の一実施形態の
動画像へのキーワード付与装置は部分区間選択部１０１
と、特徴量抽出部１０２と、特徴量比較部１０３と、類
似区間選別部１０４と、キーワード入力部１０５と、イ
ンデックス格納部１０６と、動画像を格納する記憶装置
１０７と、キーワードと部分区間との関連付け情報をイ
ンデックスとして格納する記憶装置１０８と、動画像を
表示するディスプレイ１０９、キーワードを入力するた
めのキーボード１１０と、利用者が指示操作をするため
のマウス１１１で構成されている。
動画像へのキーワード付与装置は部分区間選択部１０１
と、特徴量抽出部１０２と、特徴量比較部１０３と、類
似区間選別部１０４と、キーワード入力部１０５と、イ
ンデックス格納部１０６と、動画像を格納する記憶装置
１０７と、キーワードと部分区間との関連付け情報をイ
ンデックスとして格納する記憶装置１０８と、動画像を
表示するディスプレイ１０９、キーワードを入力するた
めのキーボード１１０と、利用者が指示操作をするため
のマウス１１１で構成されている。
【００１１】記憶装置１０７に格納されている複数の野
球中継の動画像を対象に、それらに含まれるすべてのホ
ームランに対して「ホームラン」というキーワードを付
与する場合を例に、本実施形態の動画像へのキーワード
付与方法を説明する。
球中継の動画像を対象に、それらに含まれるすべてのホ
ームランに対して「ホームラン」というキーワードを付
与する場合を例に、本実施形態の動画像へのキーワード
付与方法を説明する。
【００１２】利用者は、記憶装置１０７に格納されてい
る複数の動画像の中から１つを選択し、部分区間選択部
１０１を介してその内容をディスプレイ１０９上でブラ
ウジングする（ステップ２０１）。ブラウジングの過程
で、利用者が該動画像中の１つのホームランシーンを見
つけ、該ホームランシーンの開始フレームと終了フレー
ムをマウス１１１の操作で決定すると、部分区間選択部
１０１は該開始フレームおよび終了フレームのフレーム
番号を求めて特徴量抽出部１０２とインデックス格納部
１０６へ通知する（ステップ２０２）。
る複数の動画像の中から１つを選択し、部分区間選択部
１０１を介してその内容をディスプレイ１０９上でブラ
ウジングする（ステップ２０１）。ブラウジングの過程
で、利用者が該動画像中の１つのホームランシーンを見
つけ、該ホームランシーンの開始フレームと終了フレー
ムをマウス１１１の操作で決定すると、部分区間選択部
１０１は該開始フレームおよび終了フレームのフレーム
番号を求めて特徴量抽出部１０２とインデックス格納部
１０６へ通知する（ステップ２０２）。
【００１３】特徴量抽出部１０２は、記憶装置１０７に
格納されているすべての動画像から、登録された方法で
動画像の特徴を予め抽出する。特徴量としては、フレー
ムの輝度分布の時間的変化や、動きベクトルから求める
カメラパラメータの時間的変化など、画像処理により自
動的に算出できる様々な時系列情報を用いることがで
き、対象とする動画像の内容に応じて適切なものを選択
的に用いるのが望ましい。本実施形態で取り上げる野球
中継の動画像の場合、ホームランや内野ゴロといった場
面に応じて、典型的なカメラワークが一般に存在するこ
とからカメラのパン操作やズーム操作の度合いを表すカ
メラパラメータの時系列情報を特徴量として抽出するの
が好適である。なお、特徴量抽出部１０２による動画像
からの特徴量抽出処理は、部分区間選択部１０１からの
通知を契機に開始することもできれば、部分区間選択部
１０１からの通知を待っている空き時間を利用して事前
に済ませておくことも可能である。また、抽出した特徴
量を何度も抽出する必要がなくなるため、処理時間の短
縮化が図れる。
格納されているすべての動画像から、登録された方法で
動画像の特徴を予め抽出する。特徴量としては、フレー
ムの輝度分布の時間的変化や、動きベクトルから求める
カメラパラメータの時間的変化など、画像処理により自
動的に算出できる様々な時系列情報を用いることがで
き、対象とする動画像の内容に応じて適切なものを選択
的に用いるのが望ましい。本実施形態で取り上げる野球
中継の動画像の場合、ホームランや内野ゴロといった場
面に応じて、典型的なカメラワークが一般に存在するこ
とからカメラのパン操作やズーム操作の度合いを表すカ
メラパラメータの時系列情報を特徴量として抽出するの
が好適である。なお、特徴量抽出部１０２による動画像
からの特徴量抽出処理は、部分区間選択部１０１からの
通知を契機に開始することもできれば、部分区間選択部
１０１からの通知を待っている空き時間を利用して事前
に済ませておくことも可能である。また、抽出した特徴
量を何度も抽出する必要がなくなるため、処理時間の短
縮化が図れる。
【００１４】特徴量抽出部１０２は、部分区間選択部１
０１から通知された開始フレーム番号と終了フレーム番
号に基づき、利用者が選択したホームランシーンに対応
する特徴量を抽出し、記憶装置１０７に格納されている
すべての動画像に対応されているすべての動画像に対応
する特徴量と共に、特徴量比較部１０３へ通知する（ス
テップ２０３）。
０１から通知された開始フレーム番号と終了フレーム番
号に基づき、利用者が選択したホームランシーンに対応
する特徴量を抽出し、記憶装置１０７に格納されている
すべての動画像に対応されているすべての動画像に対応
する特徴量と共に、特徴量比較部１０３へ通知する（ス
テップ２０３）。
【００１５】特徴量比較部１０３は、特徴量抽出部１０
２から通知された、利用者が選択したホームランシーン
に対応する特徴量と、記憶装置１０７に格納されている
すべての動画像に対応する特徴量から切り出せる任意の
部分特徴量とを、予め登録された方法で比較し、利用者
が選択したホームランシーンと類似した特徴量を有する
すべての部分区間を、記憶装置１０７に格納された動画
像中から検出する（ステップ２０４）。特徴量の比較方
法としては、音声認識などで時系列情報間の類似性を求
めるために利用されている様々な手法を用いることがで
き、対象とする動画像の内容に応じて適切なものを選択
的に用いるのが望ましい。本実施形態で取り上げる野球
中継の動画像の場合、ホームランのようなハイライトシ
ーンではスロー再生によるリプレイが頻繁に盛り込まれ
る。通常のホームランシーンだけでなくスロー再生によ
るホームランシーンも確実に検出できるようにする上で
は、時系列情報を時間軸方向に伸縮させながら類似度を
算出できるＤＰマッチング法を用いるのが好適である。
ＤＰマッチング法では、特徴量間の類似度を表す数値が
比較結果として出力されるので、該数値が一定の閾値を
満たすかどうかにより、そのときの比較に用いた前記部
分特徴量を検出対象とするかどうか判定すればよい。
特徴量比較部１０３は、検出された各部分区間の開始フ
レームと終了フレームのフレーム番号を求め，類似区間
選別部１０４へ通知する（ステップ２０５）。 類似区
間選別部１０４は、特徴量比較部１０３から通知された
開始フレーム番号と終了フレーム番号に基づき、検出さ
れた動画像の部分区間を記憶装置１０７から読み出して
ディスプレイ１０９に表示する（ステップ２０６）。利
用者は、表示された該部分区間の内容を確認し、ホーム
ランシーンを含む部分区間のみをマウス１１１で選別
し，類似区間選別部１０４へ通知する（ステップ２０
７）。ホームランシーンと類似したカメラワークは例え
ば外野フライシーンにも現れるため、特徴量としてカメ
ラパラメータの時系列情報を用いた場合、特徴量比較部
１０３が検出した部分区間にはホームラン以外のシーン
も含まれる可能性が高い。本実施形態では、この選別操
作により確実にホームランシーンのみをキーワード付与
の対象として選択できるようにしている。特徴量比較部
１０３により検出される部分区間の総量は記憶装置１０
７に格納されている動画像の総量に比べ非常に少ないの
で、選別操作に伴う利用者の手間は、本発明を使わずに
記憶装置１０７内の動画像すべてを逐一見ながらホーム
ランシーンを探す手間に比べ、はるかに小さい。
２から通知された、利用者が選択したホームランシーン
に対応する特徴量と、記憶装置１０７に格納されている
すべての動画像に対応する特徴量から切り出せる任意の
部分特徴量とを、予め登録された方法で比較し、利用者
が選択したホームランシーンと類似した特徴量を有する
すべての部分区間を、記憶装置１０７に格納された動画
像中から検出する（ステップ２０４）。特徴量の比較方
法としては、音声認識などで時系列情報間の類似性を求
めるために利用されている様々な手法を用いることがで
き、対象とする動画像の内容に応じて適切なものを選択
的に用いるのが望ましい。本実施形態で取り上げる野球
中継の動画像の場合、ホームランのようなハイライトシ
ーンではスロー再生によるリプレイが頻繁に盛り込まれ
る。通常のホームランシーンだけでなくスロー再生によ
るホームランシーンも確実に検出できるようにする上で
は、時系列情報を時間軸方向に伸縮させながら類似度を
算出できるＤＰマッチング法を用いるのが好適である。
ＤＰマッチング法では、特徴量間の類似度を表す数値が
比較結果として出力されるので、該数値が一定の閾値を
満たすかどうかにより、そのときの比較に用いた前記部
分特徴量を検出対象とするかどうか判定すればよい。
特徴量比較部１０３は、検出された各部分区間の開始フ
レームと終了フレームのフレーム番号を求め，類似区間
選別部１０４へ通知する（ステップ２０５）。 類似区
間選別部１０４は、特徴量比較部１０３から通知された
開始フレーム番号と終了フレーム番号に基づき、検出さ
れた動画像の部分区間を記憶装置１０７から読み出して
ディスプレイ１０９に表示する（ステップ２０６）。利
用者は、表示された該部分区間の内容を確認し、ホーム
ランシーンを含む部分区間のみをマウス１１１で選別
し，類似区間選別部１０４へ通知する（ステップ２０
７）。ホームランシーンと類似したカメラワークは例え
ば外野フライシーンにも現れるため、特徴量としてカメ
ラパラメータの時系列情報を用いた場合、特徴量比較部
１０３が検出した部分区間にはホームラン以外のシーン
も含まれる可能性が高い。本実施形態では、この選別操
作により確実にホームランシーンのみをキーワード付与
の対象として選択できるようにしている。特徴量比較部
１０３により検出される部分区間の総量は記憶装置１０
７に格納されている動画像の総量に比べ非常に少ないの
で、選別操作に伴う利用者の手間は、本発明を使わずに
記憶装置１０７内の動画像すべてを逐一見ながらホーム
ランシーンを探す手間に比べ、はるかに小さい。
【００１６】類似区間選別部１０４は、利用者が選別し
た各部分区間の開始フレームと終了フレーム番号を求
め，インデックス格納部１０６へ通知する（ステップ２
０８）。
た各部分区間の開始フレームと終了フレーム番号を求
め，インデックス格納部１０６へ通知する（ステップ２
０８）。
【００１７】利用者は、前記選別操作を終えると、以上
の処理により得られたすべての部分区間に対して付与す
る「ホームラン」というキーワードをキーボード１１０
から入力する（ステップ２０９）。キーワード入力部１
０５は、利用者からキーワード入力の完了を通知される
と、入力されたキーワードをインデックス格納部１０６
へ通知する（ステップ２１０）。
の処理により得られたすべての部分区間に対して付与す
る「ホームラン」というキーワードをキーボード１１０
から入力する（ステップ２０９）。キーワード入力部１
０５は、利用者からキーワード入力の完了を通知される
と、入力されたキーワードをインデックス格納部１０６
へ通知する（ステップ２１０）。
【００１８】インデックス格納部１０６は、キーワード
入力部１０５からキーワードが通知されると、部分区間
選択部１０１および類似区間選別部１０４から事前に通
知されている各部分区間の開始フレーム番号と終了フレ
ーム番号の組に該キーワードを関連付け、関連付け情報
をインデックスとして記憶装置１０８へ格納する（ステ
ップ２１１）。
入力部１０５からキーワードが通知されると、部分区間
選択部１０１および類似区間選別部１０４から事前に通
知されている各部分区間の開始フレーム番号と終了フレ
ーム番号の組に該キーワードを関連付け、関連付け情報
をインデックスとして記憶装置１０８へ格納する（ステ
ップ２１１）。
【００１９】図３は、インデックス情報の記憶装置１０
８へ格納する関連付け情報の一構成例を示す図である。
図２において、３０１はキーワード格納領域、３０２は
部分区間数格納領域、３０３は部分区間情報へのポイン
タ格納領域、３０４は部分区間の開始フレーム番号格納
領域、３０５は部分区間の終了フレーム番号格納領域で
ある。
８へ格納する関連付け情報の一構成例を示す図である。
図２において、３０１はキーワード格納領域、３０２は
部分区間数格納領域、３０３は部分区間情報へのポイン
タ格納領域、３０４は部分区間の開始フレーム番号格納
領域、３０５は部分区間の終了フレーム番号格納領域で
ある。
【００２０】インデックス格納部１０６は、キーワード
入力部１０５から通知されたキーワードをキーワード格
納領域３０１へ書き込み、部分区間選択部１０１および
類似区間選別部１０４から通知された部分区間の個数を
部分区間数格納領域３０２へ書き込む。次に、開始フレ
ーム番号格納領域３０４と終了フレーム番号格納領域３
０５を該部分区間の個数分だけ確保し、確保した領域の
先頭位置を表すポインタをポインタ格納領域３０３へ書
き込む。最後に、各部分区間の開始フレーム番号と終了
フレーム番号を該確保した領域へ書き込む。
入力部１０５から通知されたキーワードをキーワード格
納領域３０１へ書き込み、部分区間選択部１０１および
類似区間選別部１０４から通知された部分区間の個数を
部分区間数格納領域３０２へ書き込む。次に、開始フレ
ーム番号格納領域３０４と終了フレーム番号格納領域３
０５を該部分区間の個数分だけ確保し、確保した領域の
先頭位置を表すポインタをポインタ格納領域３０３へ書
き込む。最後に、各部分区間の開始フレーム番号と終了
フレーム番号を該確保した領域へ書き込む。
【００２１】図４は本発明の他の実施形態の、動画像へ
のキーワード付与装置を示すブロック図である。本実施
形態は、図１中の部分区間選択部１０１、特徴量抽出部
１０２、特徴量比較部１０３、類似区間選別部１０４、
キーワード入力部１０５、インデックス格納部１０６か
らなる、動画像へのキーワード付与プログラムを、ＦＤ
（フロッピィ・ディスク）、ＣＤ−ＲＯＭ、ＭＯ（光磁
気ディスク）等の記録媒体１１３に記録しておき、これ
をＣＰＵであるデータ処理装置１１４が読み込んで、パ
ソコン等のコンピュータ上で実行するものである。な
お、図１中と同じ参考番号は同じ構成要素を示してい
る。記憶装置１１２はハードディスクである。
のキーワード付与装置を示すブロック図である。本実施
形態は、図１中の部分区間選択部１０１、特徴量抽出部
１０２、特徴量比較部１０３、類似区間選別部１０４、
キーワード入力部１０５、インデックス格納部１０６か
らなる、動画像へのキーワード付与プログラムを、ＦＤ
（フロッピィ・ディスク）、ＣＤ−ＲＯＭ、ＭＯ（光磁
気ディスク）等の記録媒体１１３に記録しておき、これ
をＣＰＵであるデータ処理装置１１４が読み込んで、パ
ソコン等のコンピュータ上で実行するものである。な
お、図１中と同じ参考番号は同じ構成要素を示してい
る。記憶装置１１２はハードディスクである。
【００２２】
【発明の効果】以上説明したように本発明は、利用者が
指定した動画像中の任意の部分区間を対象に、該部分区
間と類似した特徴を有する該動画像中の他の部分区間を
検出し、検出された部分区間の中から利用者が指定した
部分区間と同じ内容のものを選別した上で、選択および
選別した部分区間に対して共通のキーワードを付与する
ことにより、対象シーンを制限することなくキーワード
付与の効率化を図れるという効果を有する。
指定した動画像中の任意の部分区間を対象に、該部分区
間と類似した特徴を有する該動画像中の他の部分区間を
検出し、検出された部分区間の中から利用者が指定した
部分区間と同じ内容のものを選別した上で、選択および
選別した部分区間に対して共通のキーワードを付与する
ことにより、対象シーンを制限することなくキーワード
付与の効率化を図れるという効果を有する。
【図１】本発明の一実施形態の、動画像へのキーワード
付与装置のブロック図である。
付与装置のブロック図である。
【図２】図１のキーワード付与装置の処理の流れを示す
フローチャートである。
フローチャートである。
【図３】図１の実施形態におけるインデックス情報の格
納形式を示す図である。
納形式を示す図である。
【図４】本発明の他の実施形態の、動画像へのキーワー
ド付与装置のブロック図である。
ド付与装置のブロック図である。
１０１ 部分区間選択部 １０２ 特徴量抽出部 １０３ 特徴量比較部 １０４ 類似区間選別部 １０５ キーワード入力部 １０６ インデックス格納部 １０７ 動画情報の記憶装置 １０８ インデックス情報の記憶装置 １０９ ディスプレイ １１０ キーボード １１１ マウス １１２ 記録装置（ハードディスク） １１３ 記録媒体 １１４ データ処理装置 ２０１〜２１１ ステップ ３０１ キーワード格納領域 ３０２ 部分区間数格納領域 ３０３ ポインタ格納領域 ３０４ 開始フレーム番号格納領域 ３０５ 終了フレーム番号格納領域
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B075 ND03 ND12 NK06 NK31 NK37 PP03 PP13 PP25 PQ02 PQ42 PR06 QM08 UU35 5C053 FA14 FA23 HA30 JA16 JA21 KA05 KA24 LA11
Claims (8)
- 【請求項１】 利用者が動画像の部分区間に対して該部
分の区間の意味内容を表すキーワードを付与する、動画
像へのキーワード付与用方法であって、 利用者が選択した動画像の部分区間から抽出した特徴量
と、該動画像全体から抽出した特徴量とを比較すること
で、該部分区間と類似した特徴量を有する該動画像中の
他の部分区間を検出して利用者へ提示し、 利用者は該提示された部分区間の中から、利用者が選択
した前記部分区間と同じ意味内容を有する部分区間を選
別し、 前記選択された部分区間および該選別された部分区間に
対して、これらの部分区間の意味内容を表す共通のキー
ワードを付与する、動画像へのキーワード付与方法。 - 【請求項２】 利用者が動画像の部分区間に対して該部
分区間の意味内容を表すキーワードを付与する、動画像
へのキーワード付与方法であって、 利用者が動画像から任意の部分区間を選択する段階と、 前記部分区間に対応する特徴量を抽出する段階と、 前記部分区間に対応する特徴量と、前記動画像から抽出
された特徴量を比較し、前記部分区間と類似した特徴量
を有する動画像中の他の部分区間を検出する段階と、 検出された部分区間を前記利用者に提示する段階と、 利用者が提示された部分区間の中から利用者が選択した
前記部分区間と同じ意味内容を有する部分区間を選別す
る段階と、 前記選択された部分区間および前記選別された部分区間
の意味内容を表す共通のキーワードを利用者が入力する
段階と、 前記選択および選別された各部分区間に前記キーワード
を付与する段階を有する、動画像へのキーワード付与方
法。 - 【請求項３】 前記選択された部分区間の開始フレーム
および終了フレームの番号を求める段階を有し、 前記前記特徴量を抽出する段階は、前記開始フレーム番
号と終了フレーム番号に基づき前記部分区間に対応する
特徴量を抽出し、 利用者が選別した各部分区間の開始フレームと終了フレ
ームのフレーム番号を求める段階を有し、 前記各部分区間に前記キーワードを付与する段階は、前
記選択および選別された各部分区間の開始フレームと終
了フレームのフレーム番号の組に前記キーワードを関連
付ける、請求項２記載の方法。 - 【請求項４】 利用者が動画像の部分区間に対して該部
分区間の意味内容を表すキーワードを付与するための、
動画像へのキーワード付与装置であって、 利用者が動画像から任意の部分区間を選択するための部
分区間選択手段と、 動画像全体および前記部分区間選択手段により選択され
た該動画像の部分区間から特徴量を抽出する特徴量抽出
手段と、 該抽出された２つの特徴量を比較し、利用者が選択した
前記部分区間と類似した特徴量を有する前記動画像中の
他の部分区間を検出する特徴量比較手段と、 該検出された部分区間を利用者へ提示し、利用者が、選
択された前記部分区間と同じ意味内容を有する部分区間
を選別可能とする類似区間選別手段と、 前記選択された部分区間および該選別された部分区間に
対して付与する共通のキーワードを利用者が入力するた
めのキーワード入力手段と、 該キーワード入力手段から入力されたキーワードを利用
者が選択および選別した前記部分区間に付与するキーワ
ード付与手段とを有する、動画像へのキーワード付与装
置。 - 【請求項５】 前記部分区間選択手段は、前記選択され
た部分区間の開始フレームおよび終了フレームのフレー
ム番号を求め、これを前記特徴量抽出手段および前記キ
ーワード付与手段へ通知する手段を含み、 前記特徴量抽出手段は通知された前記フレーム番号に基
づき、前記選択された部分区間に対応する特徴量を抽出
し、 前記特徴量比較手段は、検出した各部分区間の開始フレ
ームと終了フレームのフレーム番号を求め、前記類似区
間選別手段へ通知する手段を含み、 前記類似区間選別手段は、前記特徴量比較手段から通知
されたフレーム番号に基づき、検出された動画像の部分
区間を記憶装置から読み出し、また利用者が選別した各
部分区間の開始フレームと終了フレームの番号を求めて
前記キーワード付与手段に通知する手段を含み、 前記キーワード付与手段は前記部分区間選択手段および
前記類似区間選別手段から通知されたフレーム番号に前
記キーワードを関連付けることで、前記キーワードを前
記利用者が選択および選別した前記部分区間に付与す
る、請求項４記載の装置。 - 【請求項６】 前記キーワード付与手段は、前記部分区
間と前記キーワードの付与関係を記憶装置に格納する、
請求項５記載の装置。 - 【請求項７】 利用者が動画像の部分区間に対して該分
区間の意味内容を表すキーワードを付与するための、動
画像へのキーワード付与プログラムであって、 動画像
全体および利用者によって選択された該動画像の部分区
間から特徴量を抽出する特徴量抽出処理と、 該抽出された２つの特徴量を比較し、利用者が選択した
前記部分区間と類似した特徴量を有する前記動画像中の
他の部分区間を検出する特徴量比較処理と、 該検出された部分区間を利用者へ提示し、利用者が、選
択された前記部分区間と同じ意味内容を有する部分区間
を選別可能とする類似区間選別処理と、 前記選択された部分区間および該選別された部分区間に
対して付与する共通のキーワードを利用者が入力するた
めのキーワード入力処理と、 入力されたキーワードを利用者が選択および選別した前
記部分区間に付与するキーワード付与処理をコンピュー
タに実行させるための、動画像へのキーワード付与プロ
グラムを記録した記録媒体。 - 【請求項８】 前記部分区間選択処理は、前記選択され
た部分区間の開始フレームおよび終了フレームのフレー
ム番号を求め、これを前記特徴量抽出処理および前記キ
ーワード付与処理へ通知する処理を含み、 前記特徴量抽出処理は通知された前記フレーム番号に基
づき、前記選択された部分区間に対応する特徴量を抽出
し、 前記特徴量比較処理は、検出された各部分区間の開始フ
レームと終了フレームのフレーム番号を求め、前記類似
区間選別処理へ通知する処理を含み、 前記類似区間選別処理は、前記特徴量比較処理から通知
されたフレーム番号に基づき、検出された動画像の部分
区間を記憶装置から読み出し、また利用者が選別した各
部分区間の開始フレームと終了フレームの番号を求めて
前記キーワード付与処理へ通知する処理を含み、 前記キーワード入力処理は、入力されたキーワードを前
記キーワード付与処理へ通知する処理を含み、 前記キーワード付与処理は前記部分区間選択処理および
前記類似区間選別処理から通知されたフレーム番号に前
記キーワードを関連付けることで、前記キーワードを前
記利用者が選択および選別した前記区間に付与する、請
求項７記載の記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11196109A JP2001022780A (ja) | 1999-07-09 | 1999-07-09 | 動画像へのキーワード付与方法、装置、およびキーワード付与プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11196109A JP2001022780A (ja) | 1999-07-09 | 1999-07-09 | 動画像へのキーワード付与方法、装置、およびキーワード付与プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001022780A true JP2001022780A (ja) | 2001-01-26 |
Family
ID=16352398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11196109A Pending JP2001022780A (ja) | 1999-07-09 | 1999-07-09 | 動画像へのキーワード付与方法、装置、およびキーワード付与プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001022780A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006003896A1 (ja) * | 2004-07-02 | 2006-01-12 | Matsushita Electric Industrial Co., Ltd. | 検索キーワード統計処理サーバ装置 |
| JP2007060392A (ja) * | 2005-08-25 | 2007-03-08 | Toshiba Corp | 画像記憶装置及び方法 |
| JP2013152543A (ja) * | 2012-01-24 | 2013-08-08 | Fujitsu Ltd | 画像蓄積プログラム、方法および装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10111872A (ja) * | 1996-10-08 | 1998-04-28 | Nippon Telegr & Teleph Corp <Ntt> | 動画配信装置及び方法 |
| JPH10320400A (ja) * | 1997-05-16 | 1998-12-04 | Hitachi Ltd | 映像の検索方法および装置 |
-
1999
- 1999-07-09 JP JP11196109A patent/JP2001022780A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10111872A (ja) * | 1996-10-08 | 1998-04-28 | Nippon Telegr & Teleph Corp <Ntt> | 動画配信装置及び方法 |
| JPH10320400A (ja) * | 1997-05-16 | 1998-12-04 | Hitachi Ltd | 映像の検索方法および装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006003896A1 (ja) * | 2004-07-02 | 2006-01-12 | Matsushita Electric Industrial Co., Ltd. | 検索キーワード統計処理サーバ装置 |
| JP2007060392A (ja) * | 2005-08-25 | 2007-03-08 | Toshiba Corp | 画像記憶装置及び方法 |
| JP4559935B2 (ja) * | 2005-08-25 | 2010-10-13 | 株式会社東芝 | 画像記憶装置及び方法 |
| JP2013152543A (ja) * | 2012-01-24 | 2013-08-08 | Fujitsu Ltd | 画像蓄積プログラム、方法および装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Developing power tools for video indexing and retrieval | |
| US6424744B2 (en) | Video retrieval method and apparatus | |
| JP2994177B2 (ja) | ビデオ・セグメント間の境界部の位置を特定するためのシステム及び方法 | |
| US9031974B2 (en) | Apparatus and software system for and method of performing a visual-relevance-rank subsequent search | |
| JP4765732B2 (ja) | 動画編集装置 | |
| US8364660B2 (en) | Apparatus and software system for and method of performing a visual-relevance-rank subsequent search | |
| US8620037B2 (en) | Human image retrieval system | |
| CN1538351B (zh) | 为视频序列生成视频缩略图的方法和计算机 | |
| US7487524B2 (en) | Method and apparatus for presenting content of images | |
| JPH08249348A (ja) | 映像検索方法および装置 | |
| US20140149865A1 (en) | Information processing apparatus and method, and program | |
| CN113613065B (zh) | 视频编辑方法、装置、电子设备以及存储介质 | |
| JP2000090121A (ja) | メディアブラウザ、メディアファイルブラウジング方法、及びグラフィカルユ―ザインタフェ―ス | |
| KR101440168B1 (ko) | 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기 | |
| US20040181545A1 (en) | Generating and rendering annotated video files | |
| JP2006079460A (ja) | 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム | |
| US9224069B2 (en) | Program, method and apparatus for accumulating images that have associated text information | |
| JP5850188B2 (ja) | 画像表示システム | |
| JP2001022780A (ja) | 動画像へのキーワード付与方法、装置、およびキーワード付与プログラムを記録した記録媒体 | |
| JP2002245051A (ja) | 動画像検索装置及び方法、その方法をコンピュータに実行させるためのプログラム並びにそのプログラムを記録した記録媒体 | |
| JP2004336808A (ja) | 映像の検索方法および装置 | |
| JP2000069420A (ja) | 映像処理装置 | |
| JP2004533172A (ja) | スーパヒストグラム及びフレームサインを用いるコンパクトビジュアルサマリ | |
| TW202143743A (zh) | 建立影片圖譜的方法 | |
| CN116781971A (zh) | 视频播放方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040616 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041215 |