JP2000010997A - 動画像検索装置および動画像検索方法 - Google Patents

Abstract

(57)【要約】 【課題】 蓄積動画データの特徴データと、利用者入力
データの検索データを用いて、利用者の主観に影響され
ない客観的なデータ管理を実現する。 【解決手段】 特徴抽出手段１では、動画データ１０の
各画像間の差分値を求め、画像の変化の度合いを調べ
る。この画像を検索の際に対象となるシーン検索用画像
１１として保存する。選択された各シーン検索用画像１
１を抽象化し、その内容を端的に表現する特徴データ１
２を抽出する。検索データ入力手段２は、所望の画像と
して作成の入力画像に対し、検索データ１３を抽出す
る。検索手段３で、検索データ１３と特徴データ１２の
間で誤差を求める。候補画像表示手段４は、求めた誤差
の小さい特徴データ１２に対応のシーン検索用画像を、
選択してその候補画像を誤差の小さい順にある程度の範
囲に絞り込み、その縮小画像を画面に順に表示する。利
用者は複数の縮小画像から、所望の画像を選択する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の動画データ
中から入力に応じた特定の画像を含む動画データを検索
する動画像検索装置および動画像検索方法に関するもの
である。

【０００２】

【従来の技術】従来のこの種の動画像検索装置において
は、動画データの時系列に沿った検索が行われており、
動画データの先頭から順に所望の画像を検索するように
構成されていた。また、動画データの内容に基づいた検
索方法としては、特開平８−１１０９１２号公報に開示
されているように、予め動画データに付属情報を付加し
ておいて、その付属情報を検索キーワードとして検索を
行うように構成されていた。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな構成の動画像検索装置では、例えば、内容が分から
ない動画データの中から自分が欲しい場面の画像を検索
しようとした場合、利用者は初めから最後まで動画デー
タを見て、そこから目的の場面の画像を見つけ出すとい
う作業を行わなければならず、規模の大きな動画データ
の場合には、非常に時間を費やすこととなり、作業に要
する労力も多大なものとなってしまうという問題があっ
た。また、動画データに付属情報を付加する場合でも、
登録する動画データの規模が大きくなると、それに費や
すコストも非常に大きくなってしまう上に、利用者が期
待した付属情報以外の検索キーワードでは検索が困難に
なり、動画データという多次元のデータが持つ膨大な情
報量を有効な検索に活かせないという問題があった。さ
らに、画像の内容に依存した検索では、入力されたその
ままの画像同士をマッチングして、誤差を求めるという
ような従来方法も考えられるが、利用者の記憶が曖昧
で、検索のための入力画像が一部分しか符合しないよう
な場合、上記の従来法では誤差が大きくなってしまい、
効率的な検索が行えないという問題があった。

【０００４】本発明は、前記従来技術の問題を解決する
ことに指向するものであり、蓄積されている動画データ
から、動画データ自身の内容を検索に用いる検索キーワ
ードとして抽出した特徴データと、利用者の入力データ
から抽出した検索データの情報を用いて検索を行うこと
により、入力された画像の１次情報、つまり見た目では
利用者の要求する画像との違いがあっても、画像の構造
的な本質である、画像を構成する領域の大まかな位置や
基本的な領域の特徴が近いものであれば、そこから抽出
される特徴量が投影される特徴空間上では両者は誤差が
小さいものとして検索が行われ、結果として求める画像
に近いものが検索できる。また、これらの処理の自動化
を実現することで、動画データを登録する際のコストも
小さくなり、登録者の主観に影響されない客観的なデー
タ管理が実現できる動画像検索装置および動画像検索方
法を提供することを目的とする。

【０００５】

【課題を解決するための手段】この目的を達成するため
に、本発明に係る動画像検索装置および動画像検索方法
における動画像検索装置によれば、蓄積された複数の動
画データの中から、利用者の入力に応じた特定の画像を
含む動画データを検索する動画像検索装置であって、記
憶手段に蓄積・管理されたシーケンシャルな画像より構
成される動画データの任意の画像から、その内容を表す
特徴データを抽出する特徴抽出手段と、利用者の任意の
入力から検索に用いる検索データを抽出する検索データ
入力手段と、検索データおよび特徴データから検索デー
タに応じた画像を検索する検索手段と、検索手段により
検索された画像を表示する候補画像表示手段とを備える
ことを特徴とする。

【０００６】また、前記特徴抽出手段は、動画データ中
の各画像間で変化の大きな画像をシーン検索用画像とし
て選択し、シーン検索用画像からその内容を表す特徴デ
ータを自動的に抽出することを特徴とする。

【０００７】また、前記検索データ入力手段は、利用者
が作成した入力データから、使用者の所望する画像の特
徴を表した検索に用いる検索データを自動的に抽出する
ことを特徴とするように構成したものである。

【０００８】さらに、本発明の動画像検索装置方法によ
れば、抽出された特徴データと検索データから各画像の
持つ視覚的な特徴によって複数の領域に自動的に分割し
て、特徴データと検索データとの間で分割された領域毎
に誤差を求め、全体の誤差が小さいものから候補の画像
を提示することを特徴とする。

【０００９】また、特徴データと検索データとの間で分
割された領域毎に誤差を求めて、全体の誤差が小さいも
のから順に候補となる画像を提示する際、候補となる順
に縮小した画像を複数提示し、利用者はその絞り込まれ
た画像の中から所望する画像を直接選択することを特徴
とするものである。

【００１０】前記構成および方法によれば、利用者の入
力データから抽出された検索データと、動画データ中か
ら抽出された特徴データを用いて、利用者の所望する画
像の検索を、動画データの内容からの検索を行うという
ことができる。

【００１１】また、動画データ中の各画像間で変化の大
きい画像をシーン検索用画像として選択して、そのシー
ン検索用画像の内容を表現する特徴データを自動的に抽
出することができる。

【００１２】また、利用者のイメージで入力されたデー
タから、検索に用いる検索データを自動的に抽出するこ
とができる。

【００１３】また、動画データから抽出された特徴デー
タと検索データから各画像の持つ視覚的な特徴によって
複数の領域に自動的に分割して、特徴データと検索デー
タとの間で分割された領域毎に誤差を求める、全体の誤
差が小さいものから候補の画像を提示することで、利用
者の主観が介在しない客観的な特徴データからの検索を
行い、入力したデータに近いものから候補として提示で
きる。

【００１４】また、検索データとの誤差が小さい特徴デ
ータに対応の画像から順に、その画像の縮小画像を複数
提示して、利用者はその絞り込まれた複数の画像から所
望の画像を直接選択することができる。

【００１５】

【発明の実施の形態】以下、図面を参照して本発明にお
ける実施の形態を詳細に説明する。図１は本発明の実施
の形態における動画像検索装置の構成例を示すブロック
図である。図１において、１は、動画データ１０の中か
ら画像間の変化の大きなシーン検索用画像１１を選択
し、そこから画像の内容を抽象化して特徴データ１２を
抽出する特徴抽出手段、２は、利用者が作成した入力デ
ータから、検索に用いる検索データ１３を自動的に抽出
する検索データ入力手段、３は検索データ１３および特
徴データ１２を用いて検索データ１３に応じた画像を検
索する検索手段、４は、検索手段３で検索された候補画
像を誤差の小さい順でその画像の縮小画像を表示し、利
用者に選択してもらう候補画像表示手段、５は複数の動
画データ１０を蓄積・管理する記憶手段である。

【００１６】また、図２は特徴抽出手段１によって特徴
データ１２を抽出する際に画像の情報を色相値で表現し
たときのヒストグラムの例を示す図、図３は特徴抽出手
段によって特徴データを抽出する際の画像の情報抽象化
処理の流れを示すフローチャート、図４は抽出する特徴
データの例を示した図、図５は検索手段で領域毎の誤差
を求め、候補画像を絞り込む際の例を示した図である。

【００１７】次に、前記実施の形態の動作について各図
を参照して説明する。まず、特徴抽出手段１では、ディ
ジタル化された動画データ１０の各画像間で差分値を求
め、画像の変化の度合いを調べる。この際、一般的に動
画データはある程度の間隔で大きな変化をするので、数
画像の間隔をあけて差分値を求めてもよい。そして、こ
こで求められた差分値がある程度大きな画像は、場面が
展開した部分であるから、この画像を利用者の検索の際
に対象となるシーン検索用画像１１として保存する。さ
らに、選択された各シーン検索用画像１１を抽象化し、
その内容を端的に表現する特徴データ１２を抽出する。

【００１８】このシーン検索用画像１１を抽象化し、特
徴データ１２を作成する際には、画像の持つ色情報に注
目して領域分割を行う。この色情報の表現方法として
は、ＲＧＢ表現、ＨＳＶ表現、ＣＭＹ表現などいずれで
も可能であるが、ここではＨＳＶ表現を例にして説明す
る。実際にＨＳＶ表現は、色情報を色相、彩度、明度の
３属性を用いる表現方法であり、人間の色の弁別能力を
考慮した色の表現方法であるため、利用者の色に関する
認識をより的確に検索に反映させることができ、また、
色の特徴の表現に色相値を用いることで、色を表現する
値の次元を低くすることができ、画像の色による領域分
割が自動化しやすくなるという利点もある。

【００１９】前記の処理の流れを図３に示すフローチャ
ートに基づき、その内容について説明する。まず、シー
ン検索用画像１１の全画素に対して、ある程度に標本化
した色相値のヒストグラムを作成する（Ｓ１）。ここ
で、ディジタル化された画像の色情報であるＲＧＢ値か
ら、色相、彩度、明度の３属性への変換には（数１）を
用いる。

【００２０】

【数１】

【００２１】なお、本実施の形態では、画像の色情報に
よる領域分割に色相値のヒストグラムを用いたが、ＲＧ
Ｂ表現を用いた場合、各画素におけるＲＧＢそれぞれの
値を用いて領域分割してもよい。

【００２２】次に、このヒストグラムの山と谷を検出し
て、そこから幾つかの領域に分割して、予め定義してあ
る各領域を代表する色相値のうちの最適なものを割り当
て（図２参照）、画像中の分割された領域をその色相値
で塗りつぶす（Ｓ２）。塗り分けられた領域を分割しや
すくするために量子化を行う（Ｓ３）。これは、画素単
位の画像のデータを、ある程度の大きさのブロックで表
現するために行う。このようにおおまかな画像を用いる
ことにより検索処理速度が向上し、また、画像のデータ
に含まれるノイズ等に影響を受けにくくなるという利点
がある。

【００２３】そして、同色相値で連続した領域を抽出す
るために、例えば、８隣接でのラベリング処理を行い連
続した領域に分割する（Ｓ４）。このラベリング処理
は、同じ色相値で塗りつぶされた領域が離れたところに
複数存在している場合、それぞれの領域に別な識別子を
付けていく処理であり、この処理により、画像中の同じ
色相値で塗りつぶされた連続しているすべての領域に対
して、ユニークな識別子が付けられる。

【００２４】以上の抽象化処理により、図４に示すよう
に、ある画像のデータは数種類の色相値で塗り分けられ
た幾つかの領域に分割される。この同じ色相値で塗りつ
ぶされた各々の分割された領域１５を、利用者が画像中
の領域や物として認識する領域として扱う。次に、抽象
化された画像から、特徴データ１２を求める。特徴デー
タ１２としては、画像を構成する各領域１５の存在する
位置と互いの領域の位置関係を表現するために、分割さ
れた領域の重心１６と、領域そのものの特徴を表すもの
として、その領域が外接する長方形１７の縦の長さと横
の長さと、領域の塗りつぶされている色相値を求める。

【００２５】これらの抽象化した特徴データ１２を用い
たのは、人間がある画像を見てその画像を把握するとき
に、まず画像を構成している物の位置関係など全体の構
図を意識し、次にそれぞれの物自体の特徴に注目するた
め、その際に利用者が注目するであろうと考えられる特
徴を特徴データ１２として用いることで、有効な検索が
行えることが期待できるからである。そして、求められ
た特徴データ１２をシーン検索用画像１１毎に保存す
る。

【００２６】なお、本実施の形態では特徴データ１２と
して、重心１６の位置、および外接する長方形１７の縦
と横の長さを用いたが、分割された領域１５の面積、外
周等、領域の形状を表現する他の特徴量を用いてもよ
い。

【００２７】次に、検索データ入力手段２では、利用者
が探したい画像を作成して入力する。その方法として
は、計算機や携帯端末機上で予め様々な形状や色の部品
を用意しておき、利用者がそれらを組み合わせて入力画
像を作成していく。例えば、背景が青空で山と赤い屋根
の家があるシーンを検索したい場合には、背景を青く塗
り、緑色の山の形に近い部品と赤色の家の形に近い部品
を張り付けて入力画像を作成する。次に作成された入力
画像に対しても、特徴抽出手段１で用いた抽象化処理
（図３参照）を行い、前記した特徴データ１２と同様の
特徴量を抽出した、検索データ１３を抽出する。

【００２８】なお、本実施の形態では入力データとし
て、計算機や携帯端末機上で、利用者が部品を組み合わ
せて、マウスなどのポインティングデバイスで位置を指
定し画像を作成していくというような、利用者が作成し
た画像を用いるものを例として説明したが、入力データ
としては画像を用いるだけではなく、検索に使用する特
徴量を数値で直接入力してもよい。また、例えば「山の
あるシーン」等のように文章を入力し、そこから抽出さ
れる特徴量と特徴データ１２との間で検索を行う検索方
法にも応用できる。

【００２９】次に、検索手段３では、検索データ入力手
段２で抽出された検索データ１３と、特徴抽出手段１で
抽出され保存されている特徴データ１２を順番に取り出
し、これらの間で誤差を求めていく。誤差の求め方は、
まず検索データ１３から前記の抽象化処理によって分割
された１つの領域に注目し、特徴データ１２の領域の中
から、その領域の色相値ともっとも近い領域を選択す
る。ここで特徴データ１２の領域中に色相値が近いまた
は等しい領域が複数存在した場合は、位置が近い領域を
選択する。

【００３０】具体的には図５に示すように、入力画像
（検索データ１３）中で分割された領域２０に注目する
と、この領域２０は色相値１で塗りつぶされており、シ
ーン検索用画像（特徴データ１２）中の分割された領域
を見ると、領域２３が色相値１で塗りつぶされているの
で、領域２０と領域２３を、誤差を求める対象領域とし
て選択する。同様に入力画像中の領域２１は同じ色相値
２で塗りつぶされている領域２４を選択し、領域２２も
同じ領域２４を選択する。この選択された各領域を誤差
を求める対象領域として、それらの間で特徴量である重
心１６の位置、外接する長方形１７の縦と横の長さの誤
差を求める（図４参照）。次に、この領域２０，２１，
２２に関する誤差をすべて合計し、このシーン検索用画
像との誤差とする。この一連の処理をすべてのシーン検
索用画像との間で行う。

【００３１】次に、候補画像表示手段４では、前記で求
めた誤差の小さい特徴データ１２に対応するシーン検索
用画像から、利用者が所望する画像に近い画像として選
択していく。さらにその候補画像を誤差の小さい順にあ
る程度の範囲に絞り込み、それらの縮小画像を画面に順
番に表示していく。利用者は画面に表示された複数の縮
小画像の中から、自分の求める画像をマウスなどのポイ
ンティングデバイスで直接選択し、所望の画像の検索や
その画像を含む動画データを複数の中から検索すること
ができる。

【００３２】なお、本実施の形態では、動画データを扱
った動画像検索装置について説明したが、本発明の検索
手段は静止画を扱った画像検索装置に応用することもで
きる

【００３３】。

【発明の効果】以上説明したように、本発明によれば、
従来のように時系列に沿った検索を行わなくても、動画
データの内容に依存した検索が行え、検索の効率を非常
に向上させることができ、また、検索装置側が用意した
検索キーワードを用いるのではなく、利用者が自分のイ
メージで入力したデータから特徴量を抽出して検索を行
うために、利用者の側に立った、柔軟な検索が可能にな
る。

【００３４】さらに、動画データからの特徴データの抽
出や、利用者の入力データからの特徴量の抽出を自動的
に行えるため、動画データを登録する際に付属情報など
を付加する必要がなく、短い時間で、かつ少ない労力で
データの登録、追加をすることが可能となり、また、付
属情報などが、登録をする人間の主観に寄ることもない
ので、客観的な検索を行うことができるという効果を奏
する。

【図面の簡単な説明】

【図１】本発明の実施の形態における動画像検索装置の
構成例を示すブロック図

【図２】本発明の実施の形態における特徴抽出手段によ
って特徴データを抽出する際に画像の情報を色相値で表
現したときのヒストグラムの例を示す図

【図３】本発明の実施の形態における特徴抽出手段によ
って特徴データを抽出する際の画像の情報抽象化処理の
流れを示すフローチャート

【図４】本発明の実施の形態における抽出する特徴デー
タの例を示した図

【図５】本発明の実施の形態における検索手段で領域毎
の誤差を求め、候補画像を絞り込む際の例を示した図

【符号の説明】

１ 特徴抽出手段 ２ 検索データ入力手段 ３ 検索手段 ４ 候補画像表示手段 ５ 記憶手段 １０ 動画データ １１ シーン検索用画像 １２ 特徴データ １３ 検索データ １５ 分割された領域 １６ 重心 １７ 外接する長方形 ２０，２１，２２，２３，２４ 領域

フロントページの続き Ｆターム(参考） 5B075 ND12 NK06 NK08 NK13 NK24 NK37 PP13 PP28 PQ02 PQ46 PQ48 UU40 5C052 AA01 AB04 AC08 DD04 5L096 AA02 DA01 DA04 EA03 EA43 FA15 FA18 FA35 FA60 FA64 FA69 GA08 GA19 GA41 HA07 JA11 KA09 KA13

Claims (5)

【特許請求の範囲】
1. 【請求項１】 蓄積された複数の動画データの中から、
   利用者の入力に応じた特定の画像を含む動画データを検
   索する動画像検索装置であって、 記憶手段に蓄積・管理されたシーケンシャルな画像より
   構成される動画データの任意の画像から、その内容を表
   す特徴データを抽出する特徴抽出手段と、利用者の任意
   の入力から検索に用いる検索データを抽出する検索デー
   タ入力手段と、前記検索データおよび特徴データから検
   索データに応じた画像を検索する検索手段と、該検索手
   段により検索された画像を表示する候補画像表示手段と
   を備えることを特徴とする動画像検索装置。
2. 【請求項２】 前記特徴抽出手段は、動画データ中の各
   画像間で変化の大きな画像をシーン検索用画像として選
   択し、前記シーン検索用画像からその内容を表す特徴デ
   ータを自動的に抽出することを特徴とする請求項１記載
   の動画像検索装置。
3. 【請求項３】 前記検索データ入力手段は、利用者が作
   成した入力データから、使用者の所望する画像の特徴を
   表した検索に用いる検索データを自動的に抽出すること
   を特徴とする請求項１記載の動画像検索装置。
4. 【請求項４】 蓄積された複数の動画データの中から、
   利用者の入力に応じた特定の画像を含む動画データを検
   索する動画像検索方法であって、記憶手段に蓄積・管理
   されたシーケンシャルな画像より構成される動画データ
   の任意の画像から、その内容を表す特徴データを抽出す
   る特徴抽出手段と、利用者の任意の入力から検索に用い
   る検索データを抽出する検索データ入力手段と、前記検
   索データおよび特徴データから検索データに応じた動画
   データを検索する検索手段と、該検索手段により検索さ
   れた画像を表示する候補画像表示手段とを備えた動画像
   検索装置において、 抽出された前記特徴データと前記検索データから各画像
   の持つ視覚的な特徴によって複数の領域に自動的に分割
   して、前記特徴データと検索データとの間で分割された
   領域毎に誤差を求め、全体の誤差が小さいものから候補
   の画像を提示することを特徴とする動画像検索方法。
5. 【請求項５】 前記特徴データと検索データとの間で分
   割された領域毎に誤差を求めて、全体の誤差が小さいも
   のから順に候補となる画像を提示する際、前記候補とな
   る順に縮小した画像を複数提示し、利用者はその絞り込
   まれた画像の中から所望する画像を直接選択することを
   特徴とする請求項４記載の動画像検索方法。