JP2001197405A - インデックス画像作成装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 インデックス画像の枚数制限がある場合でも
映像全体の内容を適切に代表でき、少ない冗長度で検索
効率の向上が図られるインデックス画像作成装置および
方法を提供する。 【解決手段】 インデックス画像作成装置は、逐次入力
される画像を記憶する画像メモリ２と、記憶された入力
画像から画像特徴を抽出する画像特徴抽出部３と、抽出
された画像特徴を記憶する画像特徴記憶部４と、抽出し
た画像特徴から入力画像が所定の情報を含むことを検出
し、インデックス画像に適合しているかを判定するイン
デックス画像適合判定部５と、適合する入力画像と既に
記憶されている複数のインデックス画像とを比較しイン
デックスの冗長度が減少するようにインデックス画像を
選択するインデックス画像選択部６と、選択したインデ
ックス画像を記憶するインデックス画像記憶制御部７
と、インデックス画像の付随時間情報、画像特徴等を記
憶するインデックス情報記憶部８等で構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像の早見、拾い
見、検索等を容易に行なうために、映像中からその映像
を代表するインデックス画像を抽出して、所定数のイン
デックス画像を作成するためのインデックス画像作成装
置および方法に関する。

【０００２】

【従来の技術】従来のインデックス画像作成装置とし
て、特公平５−７４２７３号には入力される映像の各フ
レーム間の差分値列を求め、画像変化の有無を判定し、
画像変化ありと判定した場合、画像変化前後の画像を１
枚選択してインデックス画像を記憶する手法が提案され
ている。

【０００３】図４は、従来のインデックス画像作成方法
の一例を示す説明図である。フレーム列F1,…,F9,…が
逐次入力されると場面変化点の検出を行ない、図４に示
すように、フレームF10の直前で場面変化点C0、フレー
ムF2,F3の間で場面変化点C1、フレームF6,F7の間で場面
変化点C2、フレームF8,F9の間で場面変化点C3をそれぞ
れ検出している。したがって、場面変化点C0〜C3の前後
のフレームのいずれかが選択可能であり、図４において
場面変化点の直後のフレームを選択した場合には、フレ
ームF1,F3,F7,F9がインデックス画像として記憶され
る。

【０００４】

【発明が解決しようとする課題】従来の方法では、映像
内の場面を１つの単位として捉え、それぞれの場面から
１フレームもしくは数フレームを選択してインデックス
画像としているため、映像内容の把握や早見には有効で
ある。

【０００５】しかしながら、表示装置の表示可能枚数や
印刷装置の印刷可能枚数が予め決っている場合や記憶装
置の記憶容量制限によってインデックス画像の作成可能
枚数が予め定まっている場合、インデックス画像の枚数
が制限されてしまう。

【０００６】従来の方法では映像内容に応じてインデッ
クス画像の枚数が変動するため、一定枚数のインデック
ス画像が映像全体の内容を適切に代表しているとは限ら
ない。たとえば、映像が多くの場面切替えを含んでいる
場合、場面切替え回数と同じかそれ以上の枚数のインデ
ックス画像が選択されるため、インデックス画像の枚数
制限によって映像の前半しか作成できない可能性があ
る。逆に、映像の場面切替えが少ない場合には、カメラ
移動や被写体変化等によって様々の画像が存在していて
も１つの場面につき１枚のインデックス画像しか選択さ
れないため、インデックス画像の機能を果たさないこと
になる。

【０００７】また、インデックス画像の枚数が非常に多
くなった場合、表示装置や印刷装置に出力すると、１頁
に複数の画像を２次元配列させる縮小マルチ構成で配置
したとしても何枚もの画面頁にもなり、検索時に画面ス
クロール操作や頁めくり操作など煩雑な操作が必要にな
る。そのため、１つの映像を１頁に収まる枚数でインデ
ックス画像を作成することが望ましく、検索時の操作も
簡単になる。また、一度視聴した映像であれば、より少
ない枚数のインデックス画像だけで映像内容を思い出す
ことができるため、インデックス画像の枚数が少ないほ
ど検索効率が向上する。

【０００８】ただし、限られた枚数で映像を代表する画
像を作成する場合、何も写っていないフレームや動きの
激しいフレーム、あるいは相互に類似したフレームはイ
ンデックス画像としてふさわしくない。何も写っていな
いフレームは元の映像情報を含んでおらず、インデック
ス画像の機能を果たさない。また、動きの激しいフレー
ムは、被写体が写っていなかったり、ぶれている可能性
が高く、静止画で見たとしても画像が不鮮明であり、イ
ンデックス画像としてふさわしくない。類似のフレーム
は、映像が重複して情報が冗長になり、インデックス画
像の枚数制限がある場合にはインデックス画像としてふ
さわしくない。

【０００９】従来のように、場面変化点を検出して場面
変化点前後の画像を選択する手法では、インデックス画
像としてふさわしくないフレームが選択されることがあ
る。たとえば図４に示したように、フレームF3は何も写
っていないフレームでありインデックス画像の機能を果
たさない。またフレームF1,F7は相互に類似したフレー
ムであり、いずれか１枚のインデックス画像で足りる。
また従来の手法では映像の動きが激しくなるほど、場面
変化点が多くなる傾向があるため、不鮮明なインデック
ス画像が数多く選択されてしまう。

【００１０】本発明の目的は、インデックス画像の枚数
制限がある場合でも映像全体の内容を適切に代表でき、
少ない冗長度で検索効率の向上が図られるインデックス
画像作成装置および方法を提供することである。

【００１１】

【課題を解決するための手段】本発明は、逐次入力され
る画像を記憶する画像メモリ部と、画像メモリ部に記憶
された入力画像から画像特徴をそれぞれ抽出する画像特
徴抽出手段と、抽出した画像特徴から入力画像が所定の
情報を含むことを検出し、インデックス画像に適合して
いるかを判定するインデックス画像適合判定手段と、イ
ンデックス画像適合判定手段が適合すると判定した入力
画像と、既に記憶されている複数のインデックス画像と
を比較して、インデックスの冗長度が減少するようにイ
ンデックス画像を選択し新たなインデックス画像に更新
するインデックス画像選択手段と、インデックス画像選
択手段が選択したインデックス画像を記憶するインデッ
クス画像記憶手段とを備えることを特徴とするインデッ
クス画像作成装置である。

【００１２】本発明に従えば、入力画像の画像特徴を抽
出してインデックス画像の適合性を判定することによっ
て、インデックス画像にふさわしくない画像、たとえば
情報が少ない画像や動きの激しい画像等を未然に排除で
きる。

【００１３】また、インデックスの冗長度が減少するよ
うにインデックス画像を更新することによって、類似し
た画像が複数選択されるのを防止できる。さらに、イン
デックス画像の枚数制限がある場合でも、できるだけ多
種多様な画像から成るインデックス画像を作成できるた
め、多くの場面切替えを含む映像であっても、場面切替
えが少ない映像であっても、場面数に左右されず所定の
枚数で冗長度が小さく適切なインデックス画像が得られ
る。

【００１４】また本発明は、インデックス画像適合判定
手段は、入力画像に含まれる輝度または色の階調数が予
め定めた基準を満たすか否かを判定することを特徴とす
る。

【００１５】本発明に従えば、入力画像に含まれる輝度
または色の階調数を判定することによって、被写体が単
純で画像情報量が少ない画像がインデックス画像として
選択されるのを防止できる。

【００１６】また本発明は、インデックス画像適合判定
手段は、入力画像に含まれるエッジの強さまたは量が予
め定めた基準を満たすか否かを判定することを特徴とす
る。

【００１７】本発明に従えば、入力画像に含まれるエッ
ジの強さまたは量を判定することによって、際立った輝
度や色の変化が存在しない画像、輝度や色の変化した部
分が少なく全体がぼんやりしている画像等がインデック
ス画像として選択されるのを防止できるまた本発明は、
インデックス画像適合判定手段は、入力画像に含まれる
予め定めた指定色の割合または分布が予め定めた基準を
満たすか否かを判定することを特徴とする。

【００１８】本発明に従えば、入力画像に含まれる予め
定めた指定色の割合または分布を判定することによっ
て、指定色を多く含み関心の高い画像が優先されるた
め、関心が低く対象としない画像がインデックス画像と
して選択されるのを防止できる。

【００１９】また本発明は、インデックス画像適合判定
手段は、判定対象の入力画像と以前に入力された画像と
の差異の大きさが予め定めたフレーム入力間隔以上連続
して、予め定めた基準を満たすか否かを判定することを
特徴とする。

【００２０】本発明に従えば、判定対象の入力画像と以
前に入力された画像との差異の大きさを判定することに
よって、動きの激しい画像やぶれが多く静止画として見
にくい画像等がインデックス画像として選択されるのを
防止できるまた本発明は、インデックス画像選択手段
は、入力画像と更新前に選択されていた複数のインデッ
クス画像とを含む全ての画像間の画像間距離から、入力
画像をインデックス画像中のいずれかと置き換えた各イ
ンデックス画像間距離の変化を元に冗長度の減少を判定
し、入力画像をインデックス画像として選択することを
特徴とする。

【００２１】本発明に従えば、各インデックス画像間距
離の変化を調べることによって、インデックス画像中に
類似画像が存在するか否か、あるいは画像相互間の類似
の程度を把握できるため、インデックス画像の適合性を
示す冗長度を判定できる。したがって、入力画像とイン
デックス画像中のいずれかと置換したとき、冗長度が減
少すれば、入力画像の置換によってより適切なインデッ
クス画像に更新できる。一方、入力画像の置換によって
も冗長度が減少しないときは、画像の更新を行なう必要
がないと判定できる。

【００２２】また本発明は、インデックス画像選択手段
は、前記画像間距離を画像から抽出した特徴に基づいて
計算することを特徴とする。

【００２３】本発明に従えば、画像間距離を画像から抽
出した特徴に基づいて計算することによって、インデッ
クス画像間の画像間距離を多面的に計算できるため、冗
長度がより減少したインデックス画像を作成できる。た
とえば、画像特徴として色数を採用した場合、色数の少
ないものから多いものまで多種多様の画像を含むインデ
ックス画像を選定できる。また画像特徴として画像中の
指定色割合を採用した場合、指定色割合の少ないものか
ら多いものまで多種多様の画像を含むインデックス画像
を選定できる。

【００２４】また本発明は、インデックス画像記憶手段
は、インデックス画像とともに該インデックス画像の出
現した映像中での出現時間情報を記憶することを特徴と
する。

【００２５】本発明に従えば、インデックス画像の出現
した映像中での出現時間情報を記憶することによって、
選択されたインデックス画像と元の映像での出現タイミ
ングとの関連付けが可能になるため、一覧しているイン
デックス画像が映像のどの位置で出現しているかが容易
に判る。

【００２６】また本発明は、逐次入力される入力画像か
ら画像特徴をそれぞれ抽出する画像特徴抽出工程と、抽
出した画像特徴から入力画像が所定の情報を含むことを
検出し、インデックス画像に適合しているかを判定する
インデックス画像適合判定工程と、インデックス画像に
適合すると判定した入力画像と、既に記憶されている複
数のインデックス画像とを比較して、インデックスの冗
長度が減少するようにインデックス画像を更新し新たな
インデックス画像を選択するインデックス画像選択工程
とを含むことを特徴とするインデックス画像作成方法で
ある。

【００２７】本発明に従えば、入力画像の画像特徴を抽
出してインデックス画像の適合性を判定することによっ
て、インデックス画像にふさわしくない画像、たとえば
情報が少ない画像や動きの激しい画像等を未然に排除で
きる。

【００２８】また、インデックスの冗長度が減少するよ
うにインデックス画像を更新することによって、類似し
た画像が複数選択されるのを防止できる。さらに、イン
デックス画像の枚数制限がある場合でも、できるだけ多
種多様な画像から成るインデックス画像を作成できる。
その結果、多くの場面切替えを含む映像であっても、場
面切替えが少ない映像であっても、場面数に左右されず
所定の枚数で冗長度が小さく適切なインデックス画像が
得られる。

【００２９】

【発明の実施の形態】図１は、本発明の実施の一形態の
構成を示すブロック図である。インデックス画像作成装
置は、画像メモリ２と、画像特徴抽出部３と、画像特徴
記憶部４と、インデックス画像適合判定部５と、インデ
ックス画像選択部６と、インデックス画像記憶制御部７
と、インデックス情報記憶部８等で構成される。

【００３０】画像メモリ２は、ビデオカメラやビデオレ
コーダ等の映像発生装置から逐次入力される映像信号１
を記憶する。画像特徴抽出部３は、画像メモリ２に記憶
された入力画像から画像中の特徴を抽出する。画像特徴
記憶部４は、画像特徴抽出部３で抽出された画像特徴を
順次記憶する。

【００３１】インデックス画像適合判定部５は、画像特
徴記憶部４に記憶された入力画像の画像特徴を用いて、
入力画像がインデックス画像に適合しているか否かを判
定する。

【００３２】インデックス画像選択部６は、インデック
ス画像適合判定部５が適合すると判定した入力画像とイ
ンデックス情報記憶部８に記憶され既に選択済みの複数
のインデックス画像とを比較して、よりふさわしいイン
デックス画像を選択する。

【００３３】インデックス画像記憶制御部７は、インデ
ックス画像選択部６で選択したインデックス画像を用い
て、インデックス情報記憶部８に記憶されていたインデ
ックス画像を新たなインデックス画像に更新する。イン
デックス情報記憶部８は、インデックス画像やこれに付
随する時間情報、画像特徴等を記憶する。

【００３４】図２は動作を示すフローチャートである。
図３はインデックス画像の更新動作を示す説明図であ
る。図３において、フレームF1,…,F9は逐次入力される
入力画像である。インデックス情報記憶部８には３枚の
インデックス画像を格納するためのバッファＡ，Ｂ，Ｃ
が確保され、そのうち太線枠で囲まれた画像は画像入力
時に新たに更新されたインデックス画像である。

【００３５】まずステップS001において、複数のフレー
ム画像から成る映像信号１が画像メモリ２に入力され、
所定の場所に所定の順番で入力画像を格納する。次にス
テップS002において画像特徴抽出部３は、画像メモリ２
に記憶された入力画像から画像中の特徴を抽出して、抽
出結果を画像特徴記憶部４に格納する。画像特徴とし
て、たとえば入力画像の色ヒストグラム情報、エッジ情
報、直前の入力画像との画像間差分情報などが例示でき
る。

【００３６】色ヒストグラム情報とは、入力画像中の各
画素の色に関して各色に該当する画素数を計数したもの
であり、ここでは配列Ｈ［Ｎ］で表現する。変数Ｎは色
数であり、配列の各要素にはその色番号に該当する画像
中の画素数が格納される。

【００３７】エッジ情報とは、たとえば入力画像におけ
るエッジの最大強度および総量であり、本実施形態では
公知のラプラシアンを用いて次式（１）のように算出で
きる。ここで、Ｆ(x,y)は入力画像の座標(x,y)における
輝度、Ｅ(x,y)は入力画像の座標(x,y)におけるエッジ強
度である。 Ｅ(x,y)＝｜Ｆ(x-1,y)+Ｆ(x+1,y)+Ｆ(x,y-1)+Ｆ(x,y+1)+４Ｆ(x,y)｜ …(1)

【００３８】エッジの最大強度Ｅmaxは、次式（２）の
ようにエッジ強度Ｅ(x,y)の中の最大値として求まる。

【００３９】

【数１】

【００４０】またエッジの総量Ｅsumは、次式（３）の
ようにエッジ強度Ｅ(x,y)の合計として求まる。

【数２】

【００４１】画像間差分情報とは、直前の入力画像と現
在の入力画像との差分値を示すものであり、次式（４）
のようにフレーム間差分を計算する。ここで、ＤＦn は
ｎ番目の入力画像における画像間差分値であり、Ｆn(x,
y)はｎ番目の入力画像の座標(x,y)における輝度値また
は色情報であり、Ｆn-1(x,y)はｎ−１番目の入力画像の
座標(x,y)における輝度値または色情報である。

【数３】

【００４２】次にステップS003において、インデックス
画像適合判定部５は、ステップS002で抽出され、画像特
徴記憶部４に記憶された入力画像の画像特徴を用いて、
入力画像が所定の情報を含むか否かを調べて、入力画像
がインデックス画像に適合しているか否かを判定する。
たとえば図３のフレーム画像F3は画像情報が無く、複数
の色もエッジも含まれておらず、インデックス画像とし
て不適と判断する。

【００４３】インデックス画像の適合性に関して種々の
判定手法が可能であり、判定情報として、a)入力画像に
含まれる輝度または色の階調数、b)入力画像に含まれる
エッジの強さまたは量、c)入力画像に含まれる予め定め
た指定色の割合または分布、d)判定対象の入力画像と以
前に入力された画像との差異の大きさ、等がある。

【００４４】まずa)に関して、入力画像特徴のうち色ヒ
ストグラム情報を持つ配列Ｈ［Ｎ］の所定の値以上の要
素数を計数することによって、入力画像に含まれる色数
ＮＣの情報が得られる。色数ＮＣが小さいと、画像中に
含まれる色数が少ないことになる。画像内の被写体が単
純なもの、たとえば空が被写体で変化が乏しい画像は、
画像情報量が少ないためインデックス画像には不向きで
ある。画像中に含まれる色数ＮＣが次式（５）を満たす
場合、インデックス画像の適合性ありと判定できる。こ
こで、ＴＨncは定数である。 ＮＣ ≧ ＴＨnc …（５）

【００４５】たとえば、ＴＨnc＝５としたとき、少なく
とも５色以上の色数を含む入力画像はインデックス画像
の適合性ありとする。

【００４６】次にb)に関して、画像特徴抽出部３で抽出
した画像特徴量のうち、エッジ情報であるエッジ最大強
度Ｅmaxおよびエッジの総量Ｅsumは、入力画像中の情報
の有無や被写体の鮮鋭度を示す目安となる。たとえば、
エッジ最大強度Ｅmaxが小さ過ぎるとき、画像中には際
立った輝度や色の変化が存在しないことになり、画像全
体がぼんやりしている。また、エッジの総量Ｅsumxが小
さいときは画像中に輝度や色の変化した部分が少ないこ
とになり、エッジの総量Ｅsumxが大きいときは画像中に
輝度や色の変化した部分が多いことになる。したがっ
て、画像のエッジ最大強度Ｅmaxおよびエッジ総量Ｅsum
が次式（６）を満たす場合、インデックス画像の適合性
ありと判定できる。ここで、ＴＨemax、ＴＨesumは定数
である。 Ｅmax ＞ ＴＨemax かつ Ｅsum ＞ ＴＨesum …（６）

【００４７】次にc)に関して、画像特徴抽出部３で抽出
した色ヒストグラム情報を持つ配列Ｈ［Ｎ］から画像中
に指定の色がどの程度含まれるかを調べることができ
る。たとえば、肌色をＲＧＢで表したとき、一般的に次
式（７）の関係を満たす。ただし、Ｇ成分とＢ成分の差
は小さいものとする。 Ｒ ＞ Ｇ ≧ Ｂ …（７）

【００４８】実際のＲＧＢ値は、光の当っている部分や
影になる部分等で異なるため、式（７）の関係を満たす
ような色に相当する画素数を配列Ｈ［Ｎ］の対応色番号
における出現頻度で調べることによって、画像中に肌色
がどの程度含まれるかが判る。人物を含む画像がインデ
ックス画像としてふさわしい場合、指定色（たとえば肌
色）の画素数をＰとして次式（８）を満たすときインデ
ックス画像の適合性ありと判定できる。ここでＴＨpは
定数であり、入力画像のサイズに応じて適切な値に設定
できる。 Ｐ ＞ ＴＨp …（８）

【００４９】複数の指定色を判定パラメータとして選択
した場合、指定色毎に式（８）を用いた判定を行ない、
全てあるいは一部の指定色について式（８）を満たした
とき、インデックス画像に適していると判定できる。

【００５０】また、画像全体の色ヒストグラム情報では
なく、画像を複数の領域に分割して、分割領域毎に色ヒ
ストグラムを作成し、上述のような色探索を行なうこと
によって、画像のどの領域に指定色（たとえば肌色）が
含まれるかを判定できる。たとえば、中心付近の分割領
域に指定色が存在しない場合にはインデックス画像に適
さないという重み付け条件を加えることも可能である。

【００５１】次にd)に関して、画像特徴として、判定対
象となる入力画像とそれ以前に入力された画像との差分
を計算し、その差分量を調べることによって画像変化の
有無および大きさを判定できる。たとえば、入力画像と
それ以前に入力された画像との差分量が複数画面分に渡
って小さければ、動きの少ない映像部分と判定できる。
また、差分量が複数画面分に渡って大きければ、動きの
激しい映像部分と判定できる。動きの激しいフレーム画
像は、被写体や画像全体がぶれていることが多く、静止
画として観察したとき画像内容の判別が難しい傾向があ
る。したがって、判定対象となる入力フレーム画像とそ
れ以前に入力されたフレーム画像とのフレーム間差分量
ＤＦｉ（ｉ＝ｎ，ｎ−１，ｎ−２，…，ｎ−ｋ）が次式
（９）を満たすときインデックス画像の適合性ありと判
定できる。ここでＴＨdfは定数であり、ｎは最新の入力
画像のフレーム番号であり、ｋは定数である。 ＤＦｉ ＜ ＴＨdf， ｉ＝ｎ，ｎ−１，ｎ−２，…，ｎ−ｋ …(9)

【００５２】これは、ｎフレーム目の入力画像とｋフレ
ーム分前の入力画像のフレーム間差分量が予め定めた閾
値より小さいか否かを判定するもので、フレーム間差分
量が小さい場合は画像ぶれが少なく、静止画として観察
可能であるため、インデックス画像に適していると判定
できる。

【００５３】ステップS003で不適と判断した場合は、ス
テップS001に戻って次の入力画像を処理する。入力画像
が一定の情報を含む場合は、インデックス画像の適合性
ありと判定してステップS004に移行する。

【００５４】ステップS004において、インデックス画像
選択部６は、ステップS003でインデックス画像の適合性
ありと判定した入力画像とこれまでに選択されているイ
ンデックス画像との間で置き換えを行なった場合に、イ
ンデックス画像間での冗長度が減少するか否かを判定す
る。

【００５５】冗長度が大きいことはインデックス画像間
に類似画像が存在することを意味し、冗長度が小さいこ
とはインデックス画像間の類似性が低いことを意味す
る。したがって、インデックス画像の冗長度の変化を調
べることによって、インデックス画像を更新すべきか否
かを判定できる。

【００５６】具体的な手法として、それまでに選択され
ているインデックス画像間での冗長度をＲａとし、これ
らのインデックス画像のうちの１つと新しい入力画像と
を置換した場合のインデックス画像間での冗長度をＲｂ
とする。冗長度Ｒａ，Ｒｂはインデックス画像の枚数分
だけ計算可能であり、そのうちの最小値とする。そこ
で、インデックス画像選択部６は冗長度Ｒａと冗長度Ｒ
ｂと比較して、Ｒａ＞Ｒｂであれば冗長度が減少したと
判定できる。

【００５７】冗長度の増減は、インデックス画像間の画
像間距離の変化を調べることによって判定できる。たと
えばインデックス画像間の画像間距離が小さい場合、イ
ンデックス画像中に類似画像が存在することを意味する
ため、冗長度は大きくなる。逆にインデックス画像間の
画像間距離が大きい場合、インデックス画像中に類似画
像が存在しないことを意味するため、冗長度は小さくな
る。

【００５８】インデックス画像間の画像間距離の判定手
法として、たとえば画像の最小値や最大値、平均値など
の変化を調べることで、冗長度の変化を判定できる。

【００５９】すなわち、判定対象となる入力画像とそれ
までに選択されているインデックス画像との画像間距離
を次式（１０）のように計算して、画像間距離テーブル
を作成する。ここで、ＩＤ（Ｉ1,Ｉ2）は画像Ｉ1と画像
Ｉ2との画像間距離、Ｉ1(x,y)は画像Ｉ1の座標(x,y)に
おける輝度または色、Ｉ2(x,y)は画像Ｉ2の座標(x,y)に
おける輝度または色である。

【数４】

【００６０】得られた画像間距離テーブルを用いて、入
力画像置換前のインデックス画像間の画像間距離の最大
値ＩＤmaxおよび最小値ＩＤminを抽出する。次に各イン
デックス画像と入力画像とを置換したときのインデック
ス画像間の画像間距離の最大値ＩＤｂmaxおよび最小値
ＩＤｂminを抽出する。画像間距離の最大値ＩＤｂmaxお
よび最小値ＩＤｂminが共に増加して、次式（１１）を
満たす場合、冗長度の減少ありと判定できる。 ＩＤmax ≦ ＩＤｂmax かつ ＩＤmin ≦ ＩＤｂmin …（11）

【００６１】ここで図３を参照して、フレームF6が入力
された場合、式（１０）に基づいて計算した画像間距離
テーブルを次の（表１）に示す。

【００６２】

【表１】

【００６３】ここで、テーブル中のＡ，Ｂ，Ｃはそれま
でに選択されているインデックス画像、ＩはフレームF6
の入力画像である。テーブル中の数値は画像間距離を表
し、数値が大きいほど画像間の差が大きいことを意味す
る。フレームF5までのインデックス画像においては、イ
ンデックス画像Ａとインデックス画像Ｂとは類似画像で
あるため画像間距離は１０と小さいが、インデックス画
像Ｃはインデックス画像Ａ，Ｂと類似していないため画
像間距離は３０，２５と大きくなっている。

【００６４】（表１）に示す入力画像置換前の画像間距
離テーブルにおいて、画像間距離の最大値ＩＤmax＝３
０、最小値ＩＤmin＝１０である。

【００６５】次に入力画像Ｉをインデックス画像Ａと置
換した場合の画像間距離テーブルを次の（表２）に示
す。このとき画像間距離の最大値ＩＤｂmax＝３０、最
小値ＩＤｂmin＝２０となる。

【００６６】

【表２】

【００６７】次に入力画像Ｉをインデックス画像Ｂと置
換した場合の画像間距離テーブルを次の（表３）に示
す。このとき画像間距離の最大値ＩＤｂmax＝３５、最
小値ＩＤｂmin＝２０となる。

【００６８】

【表３】

【００６９】次に入力画像Ｉをインデックス画像Ｃと置
換した場合の画像間距離テーブルを次の（表４）に示
す。このとき画像間距離の最大値ＩＤｂmax＝３５、最
小値ＩＤｂmin＝１０となる。

【００７０】

【表４】

【００７１】こうした３つの画像間距離テーブルのう
ち、式（１１）を満たすものは入力画像Ｉをインデック
ス画像Ａまたはインデックス画像Ｂと置換した場合であ
り、このとき冗長度の減少ありと判定できる。さらに、
入力画像Ｉをインデックス画像Ａと置換した（表２）よ
りもインデックス画像Ｂと置換した（表３）の方が画像
間距離の最大値ＩＤｂmaxが大きくなるため、冗長度が
より減少していることになる。

【００７２】次にインデックス画像間の画像間距離を判
定する別の手法として、たとえば画像から抽出した画像
特徴を用いることができる。すなわち、式（１０）の代
わりに次式（１２）を使用する。ここで、ＩＤ（Ｉ1,Ｉ
2）は画像Ｉ1と画像Ｉ2との画像間距離、Ｑ1，Ｑ2は画
像Ｉ1，Ｉ2からそれぞれ抽出した画像特徴の空間座標表
示である。 ＩＤ（Ｉ1,Ｉ2）＝ ｜Ｑ1 − Ｑ2｜ …（12）

【００７３】たとえば、画像特徴として画像中に含まれ
る指定色の割合を抽出する場合、画像Ｉ1，Ｉ2の指定色
割合がｘ1，ｘ2となったとき、画像特徴としてＱ1＝ｘ
1，Ｑ2＝ｘ2となる。これらの２点間距離を画像間距離
として取扱うことができる。このときＱ1，Ｑ2の距離が
小さいほど、画像Ｉ1，Ｉ2の指定色割合が似ていること
になり、画像Ｉ1，Ｉ2は類似画像となって、画像Ｉ1，
Ｉ2を含むインデックス画像の冗長度は大きくなる。し
たがって、冗長度が減少するようにインデックス画像を
選択した場合、指定色割合が少ない画像から多い画像ま
で多様な画像が含まれるようになる。たとえば指定色と
して肌色を指定した場合、インデックス画像として肌色
を含む画像が候補となり、さらに肌色の占める割合が異
なる画像、たとえば被写体を望遠で撮影したような画像
からズームアップで撮影したような画像までバリエーシ
ョンのあるインデックス画像を作成できる。

【００７４】さらに、複数の画像特徴を採用してもよ
く、ｍ個の画像特徴を用いた場合、空間座標表示Ｑ1，
Ｑ2はＱi＝(Ｘ1,Ｘ2,…Ｘm)(i＝1,2)としてベクトル表
示となり、式（１２）の ｜Ｑ1 − Ｑ2｜はベクトル座
標間距離として計算可能である。こうした複数の画像特
徴を用いることによってインデックス画像間の画像間距
離を多面的に計算できるため、冗長度がより減少したイ
ンデックス画像を作成できる。

【００７５】新しい入力画像の置換によって冗長度が減
少した場合、ステップS005に移行し、冗長度が減少しな
い場合、ステップS005を飛ばしてステップS006に移行す
る。

【００７６】ステップS005において、インデックス画像
選択部６は入力画像の置換対象となったインデックス画
像のアドレス情報をインデックス画像記憶制御部７に伝
達し、インデックス画像記憶制御部７はインデックス情
報記憶部８を制御して、置換対象となったインデックス
画像の格納場所に新しい入力画像を上書きする。

【００７７】ここでインデックス画像の更新の様子につ
いて説明する。図３に示すように、入力画像としてフレ
ームF1〜F4が逐次入力されると、バッファＡ，Ｂ，Ｃに
空きがあるうちは、インデックス画像の置換ではなく空
きバッファに入力画像を格納して冗長度判定を行ない、
冗長度が減少する場合にインデックス画像として選択格
納される。フレームF5,F7,F8は、各入力時点でバッファ
Ａ，Ｂ，Ｃに存在したインデックス画像と類似してお
り、画像置換後の冗長度が減少しないためインデックス
画像は更新されていない。フレームF6,F9は、各入力時
点でバッファＡ，Ｂ，Ｃに存在したインデックス画像と
非類似であり、画像置換後の冗長度が減少したためイン
デックス画像は更新されている。

【００７８】インデックス情報記憶部８に記憶する情報
として、インデックス画像データおよびこれに付随する
情報とともに、そのインデックス画像の出現時間情報を
記憶することが好ましい。出現時間情報を記憶すること
によって、選択されたインデックス画像と元の映像での
出現タイミングとの関連付けが可能になるため、一覧し
ているインデックス画像が映像のどの位置で出現してい
るかが容易に判るようになり、内容把握の助けになる。
また、インデックス画像の出現時間情報と映像再生装置
の動作とをリンクすることで、インデックス画像の頭出
し、サーチ等を実現できる。

【００７９】次にステップS006において、未処理の入力
画像があればステップS001に戻って処理を続行するが、
予め指定されたフレーム処理数や映像時間の経過または
最終フレームの検出によってインデックス画像作成処理
を終了する。

【００８０】次のステップS007において、インデックス
情報記憶部８に記憶されているインデックス画像を表示
装置や印刷装置、記憶媒体等に出力して全体の処理を終
了する。

【００８１】以上の説明において、インデックス画像の
冗長度判定方法として、画像の輝度または色の階調数、
エッジの強さまたは量、指定色の割合または分布、フレ
ーム間差分、画像間距離、画像特徴を用いた画像間距離
等を例示したが、本発明ではこれらの方法に限定される
ものでなく、種々の方法によっても冗長度判定を行なう
ことができる。

【００８２】

【発明の効果】以上詳説したように本発明によれば、入
力画像の画像特徴を抽出してインデックス画像の適合性
を判定することによって、インデックス画像にふさわし
くない画像、たとえば情報が少ない画像や動きの激しい
画像等を未然に排除できる。

【００８３】また、インデックスの冗長度が減少するよ
うにインデックス画像を更新することによって、類似し
た画像が複数選択されるのを防止できる。さらに、イン
デックス画像の枚数制限がある場合でも、できるだけ多
種多様な画像から成るインデックス画像を作成できるた
め、多くの場面切替えを含む映像であっても、場面切替
えが少ない映像であっても、場面数に左右されず所定の
枚数で冗長度が小さく適切なインデックス画像が得られ
る。

【図面の簡単な説明】

【図１】本発明の実施の一形態の構成を示すブロック図
である。

【図２】動作を示すフローチャートである。

【図３】インデックス画像の更新動作を示す説明図であ
る。

【図４】従来のインデックス画像作成方法の一例を示す
説明図である。

【符号の説明】

２ 画像メモリ ３ 画像特徴抽出部 ４ 画像特徴記憶部 ５ インデックス画像適合判定部 ６ インデックス画像選択部 ７ インデックス画像記憶制御部 ８ インデックス情報記憶部

Claims (9)

【特許請求の範囲】
1. 【請求項１】 逐次入力される画像を記憶する画像メモ
   リ部と、 画像メモリ部に記憶された入力画像から画像特徴をそれ
   ぞれ抽出する画像特徴抽出手段と、 抽出した画像特徴から入力画像が所定の情報を含むこと
   を検出し、インデックス画像に適合しているかを判定す
   るインデックス画像適合判定手段と、 インデックス画像適合判定手段が適合すると判定した入
   力画像と、既に記憶されている複数のインデックス画像
   とを比較して、インデックスの冗長度が減少するように
   インデックス画像を選択し新たなインデックス画像に更
   新するインデックス画像選択手段と、 インデックス画像選択手段が選択したインデックス画像
   を記憶するインデックス画像記憶手段とを備えることを
   特徴とするインデックス画像作成装置。
2. 【請求項２】 インデックス画像適合判定手段は、入力
   画像に含まれる輝度または色の階調数が予め定めた基準
   を満たすか否かを判定することを特徴とする請求項１記
   載のインデックス画像作成装置。
3. 【請求項３】 インデックス画像適合判定手段は、入力
   画像に含まれるエッジの強さまたは量が予め定めた基準
   を満たすか否かを判定することを特徴とする請求項１記
   載のインデックス画像作成装置。
4. 【請求項４】 インデックス画像適合判定手段は、入力
   画像に含まれる予め定めた指定色の割合または分布が予
   め定めた基準を満たすか否かを判定することを特徴とす
   る請求項１記載のインデックス画像作成装置。
5. 【請求項５】 インデックス画像適合判定手段は、判定
   対象の入力画像と以前に入力された画像との差異の大き
   さが予め定めたフレーム入力間隔以上連続して、予め定
   めた基準を満たすか否かを判定することを特徴とする請
   求項１記載のインデックス画像作成装置。
6. 【請求項６】 インデックス画像選択手段は、入力画像
   と更新前に選択されていた複数のインデックス画像とを
   含む全ての画像間の画像間距離から、入力画像をインデ
   ックス画像中のいずれかと置き換えた各インデックス画
   像間距離の変化を元に冗長度の減少を判定し、入力画像
   をインデックス画像として選択することを特徴とする請
   求項１記載のインデックス画像作成装置。
7. 【請求項７】 インデックス画像選択手段は、前記画像
   間距離を画像から抽出した特徴に基づいて計算すること
   を特徴とする請求項６記載のインデックス画像作成装
   置。
8. 【請求項８】 インデックス画像記憶手段は、インデッ
   クス画像とともに該インデックス画像の出現した映像中
   での出現時間情報を記憶することを特徴とする請求項１
   記載のインデックス画像作成装置。
9. 【請求項９】 逐次入力される入力画像から画像特徴を
   それぞれ抽出する画像特徴抽出工程と、 抽出した画像特徴から入力画像が所定の情報を含むこと
   を検出し、インデックス画像に適合しているかを判定す
   るインデックス画像適合判定工程と、 インデックス画像に適合すると判定した入力画像と、既
   に記憶されている複数のインデックス画像とを比較し
   て、インデックスの冗長度が減少するようにインデック
   ス画像を更新し新たなインデックス画像を選択するイン
   デックス画像選択工程とを含むことを特徴とするインデ
   ックス画像作成方法。