JP2002007432A - 情報検索システム - Google Patents

情報検索システム

Info

Publication number
JP2002007432A
JP2002007432A JP2000189982A JP2000189982A JP2002007432A JP 2002007432 A JP2002007432 A JP 2002007432A JP 2000189982 A JP2000189982 A JP 2000189982A JP 2000189982 A JP2000189982 A JP 2000189982A JP 2002007432 A JP2002007432 A JP 2002007432A
Authority
JP
Japan
Prior art keywords
search
feature descriptor
image
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000189982A
Other languages
English (en)
Inventor
Shunichi Sekiguchi
俊一 関口
Toshiro Kawahara
敏朗 河原
Norio Nakamura
典生 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2000189982A priority Critical patent/JP2002007432A/ja
Priority to US09/888,998 priority patent/US20020019819A1/en
Priority to EP01114755A priority patent/EP1168195A2/en
Priority to KR1020010035751A priority patent/KR20020001567A/ko
Priority to CN01124851A priority patent/CN1331451A/zh
Publication of JP2002007432A publication Critical patent/JP2002007432A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 適切なキーワード指定等を行わなくても、検
索対象物に関する情報を取得することができる情報検索
システムを提供する。 【解決手段】 モバイル端末１００は、検索対象物を含
む複数フレームの画像を取得する撮像部１０１と、これ
らの各フレームに含まれる検索対象物の画像から特徴記
述子を生成する特徴記述子生成部１０４とを具備し、特
徴記述子を検索サーバ２００に送信する。検索サーバ２
００では、マッチング処理部２０２が、モバイル端末１
００から受信される特徴記述子に合致するレコードをコ
ンテンツサーバＡやコンテンツサーバＢ等のデータベー
スから検索する。

Description

【発明の詳細な説明】
【０００１】
【発明が属する技術分野】この発明は情報検索システム
に関する。
【０００２】
【従来の技術】通信技術および情報処理技術の進歩によ
り、ネットワークを利用した各種の情報検索システムが
幅広く利用されるに至っている。この種の情報検索シス
テムでは、検索対象に関連したキーワード等をユーザが
指定し、検索サーバがこのキーワードに合致するレコー
ドをデータベースの中から検索し、ユーザに提供すると
いう方法が一般的にとられている。
【０００３】
【発明が解決しようとする課題】ところで、検索対象物
がユーザの目の前にあるが、ユーザはその検索対象物の
名前等を知らず、適切なキーワードを指定することがで
きないような状況がある得る。かかる場合、ユーザは、
情報検索システムに対して適切なキーワードを送ること
ができず、検索対象物に関する情報を取得することがで
きないという問題があった。
【０００４】この発明は以上説明した事情に鑑みてなさ
れたものであり、ユーザが適切なキーワード指定等を行
うことができない状況においても、検索対象物に関する
情報を取得することができる情報検索システムを提供す
ることを目的としている。
【０００５】
【課題を解決するための手段】この発明は、各種の検索
対象物に関するレコードと各々が選択されるための条件
である特徴記述子とを対応付けて記憶したデータベース
と、検索対象物を含む画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像に含まれる検
索対象物の画像から特徴記述子を生成する特徴記述子生
成部と、前記特徴記述子生成部によって生成される特徴
記述子に合致する検索対象物に関するレコードを前記デ
ータベースから検索するマッチング処理部とを具備する
ことを特徴とする情報検索システムを提供するものであ
る。
【０００６】
【発明の実施の形態】以下、図面を参照し、この発明の
実施の形態について説明する。
【０００７】Ａ．第１の実施形態
【０００８】（１）実施形態の構成 図１はこの発明の第１の実施形態である情報検索システ
ムの構成を示すブロック図である。この情報検索システ
ムは、ユーザの目の前にある物体に関するレコードの検
索を行い、その検索結果をユーザに提供するシステムで
ある。図１に示すように、この情報検索システムは、モ
バイル端末１００と、検索サーバ２００と、ネットワー
ク３００と、検索サーバ２００内のコンテンツサーバＡ
や検索サーバ２００の外部のコンテンツサーバＢなどか
らなるデータベースとを主要な構成要素とするものであ
る。
【０００９】モバイル端末１００は、ネットワーク３０
０を介して他の装置との間で音声や映像の送受信を行う
機能を有するマルチメディア対応のモバイル端末であ
る。このモバイル端末１００において、撮像部１０１お
よび画像符号化部１０２は、ネットワーク３００を介し
て他者に画像を送信する際に利用される。すなわち、モ
バイル端末１００から他者へ画像送信を行う際、撮影部
１０１は、他者に送信すべき外界の映像を撮影して画像
情報を出力し、画像符号化部１０２は、この画像情報の
圧縮符号化を行い、ネットワーク３００を介して伝送す
るのに適した低いデータレートの符号化データを生成す
るものである。
【００１０】そして、本実施形態におけるモバイル端末
１００は、このような画像通信を行う機能の他、検索サ
ーバ２００を利用してユーザの目の前にある物体に関す
る情報検索を行う機能を備えている。この情報検索は、
本実施形態において概ね次のような手順により行われ
る。すなわち、モバイル端末１００は、ユーザの目の前
にある検索対象である物体の画像情報を取得し、その画
像情報から物体の特徴を示す情報（以下、特徴記述子と
いう）を生成して検索サーバ２００に送り、検索サーバ
２００はコンテンツサーバＡやコンテンツサーバＢなど
のデータベースの中からこの特徴記述子に合致したレコ
ードを検索し、モバイル端末１００に送り返すのであ
る。
【００１１】この情報検索において、モバイル端末１０
０における撮像部１０１は、検索対象である物体の画像
データを取得するための手段として利用される。この撮
像部１０１は、一定時間間隔で外界の撮影を行い、その
度に１フレーム分の画像データを出力する。また、画像
符号化部１０２は、ＭＰＥＧ−４（Moving Picture Exp
ert Group Phase 4）に規定された符号化アルゴリズム
に従って、撮像部１０１から得られる画像データの符号
化を行う装置であるが、本実施形態では、画像データの
符号化過程において発生するデータから検索対象である
物体に対応した特徴記述子が生成される。このようにマ
ルチメディア対応のモバイル端末に元々備わっている構
成要素を情報検索に有効利用する点に本実施形態の１つ
の特徴がある。
【００１２】図２は画像符号化部１０２の構成を示すブ
ロック図である。図２において、符号化制御部４０１
は、各種の制御情報を発生し、この画像符号化部１０２
全体の動作を制御する装置である。この符号化制御部４
０１によって生成される制御情報には、例えば符号化モ
ード情報と量子化ステップＱｐがある。ここで、符号化
モード情報は、フレーム内符号化を行うかフレーム間予
測符号化を行うかの切り換え制御のために生成される情
報である。また、量子化ステップＱｐは、この画像符号
化部１０２から出力する符号化データの符号量を制御す
るために生成される情報である。
【００１３】ＭＢ（マクロブロック）生成部４０２に
は、撮像部１０１から出力される一連のフレームの画像
データが順次供給される。このＭＢ生成部４０２は、撮
像部１０１から供給される１フレーム分の画像データを
１６×１６画素のＭＢに分割して出力する。減算器４０
３は、これらの各ＭＢと、後述する動き補償部４１３か
ら供給される各ＭＢに対応した参照画像との減算を行
い、差分画像を出力する。スイッチ４０４は、接点ａお
よび接点ｂを有しており、接点ａにはＭＢ生成部４０２
からのＭＢが供給され、接点ｂには減算器４０３からの
差分画像が供給される。そして、このスイッチ４０４
は、フレーム内符号化を行うときには符号化制御部４０
１から出力される符号化モード情報によって接点ａ側に
切り換えられ、フレーム間予測符号化を行うときには接
点ｂ側に切り換えられる。
【００１４】ＤＣＴ部４０５は、スイッチ４０４を介し
て供給されるＭＢまたは差分画像を４分割した各ブロッ
クに対し、直交変換の一種であるＤＣＴ（Discrete Cos
ineTransform；離散コサイン変換）を施し、ＤＣＴ係数
行列を出力する。量子化器４０６は、ＤＣＴ部４０５か
ら得られるＤＣＴ係数行列の各行列要素（すなわち、Ｄ
ＣＴ係数）を符号化制御部４０１から与えられる量子化
ステップＱｐに従って量子化し、量子化されたＤＣＴ係
数行列を出力する。
【００１５】逆量子化器４０７は、量子化器４０６から
得られる量子化されたＤＣＴ係数行列の逆量子化を行
い、元のＤＣＴ係数行列を復元する。ＩＤＣＴ部４０８
は、逆量子化器４０７から出力されたＤＣＴ係数行列に
対して逆ＤＣＴを施し、元のＭＢ（フレーム内符号化
時）または差分画像（フレーム間予測符号化時）を復元
する。
【００１６】加算器４０９には、この元のＭＢまたは差
分画像と、スイッチ４１０の出力データが供給される。
ここで、スイッチ４１０は、接点ａおよび接点ｂを有し
ており、接点ａには固定値「０」が供給され、接点ｂに
は動き補償部４１３から参照画像が供給される。そし
て、このスイッチ４１０は、フレーム内符号化を行うと
きには、符号化制御部４０１から出力される符号化モー
ド情報によって接点ａ側に切り換えられ、フレーム間予
測符号化を行うときには接点ｂ側に切り換えられる。従
って、加算器４０９は、フレーム内符号化時にはＤＣＴ
前の元のＭＢを出力し、フレーム間予測符号化時には差
分画像に対し、これに対応した参照画像を加えたもの、
すなわち、元のＭＢの復号画像を出力することとなる。
フレームメモリ４１１は、このようにして加算器４０９
から得られる復号画像を記憶するメモリである。
【００１７】動き予測部４１２は、ＭＢ生成部４０２か
ら減算器４０３に供給される各ＭＢ毎に、当該ＭＢに似
た参照画像をフレームメモリＦＭ内に記憶された時間的
に前のフレームの復号画像の中から探索し、当該ＭＢと
参照画像との間の動きベクトルを出力する。動き補償部
４１３は、ＭＢ生成部４０２から減算器４０３に供給さ
れる各ＭＢ毎に、動き予測部４１２によって求められた
動きベクトルによって動き補償された参照画像を減算器
４０３および前述したスイッチ４１０の接点ｂへ供給す
る。
【００１８】可変長符号化器４１４は、量子化器４０６
から得られる量子化されたＤＣＴ係数行列と動き予測部
４１２から得られる動きベクトルとを可変長符号化し、
符号化モード情報等の各種制御情報と多重化し、符号化
データとして出力する。バッファ４１５は、このように
して出力される符号化データを一時的に蓄積するメモリ
である。このバッファ４１５に蓄積された符号化データ
は、ネットワークを介してモバイル端末１００の相手装
置に送信される。
【００１９】通常の画像通信の場合、符号化制御部４０
１は、適当なタイミングでフレーム内符号化を指示する
符号化モード情報を出力し、他の期間はフレーム間予測
符号化を指示する符号化モード情報を出力する。また、
符号化制御部４０１は、バッファ４１５内の未送信の符
号化データの符号量を監視しており、未送信符号量の増
大によってバッファ４１５のオーバフローが生じないよ
う量子化ステップＱｐを調整し、バッファ４１５に出力
される符号化データの符号量の制御を行う。
【００２０】一方、モバイル端末１００が検索サーバ２
００を利用した情報検索のための動作を開始すると、こ
の情報検索のための動作が行われている期間、検索動作
モード指示が符号化制御部４０１に与えられる。この場
合、符号化制御部４０１は、検索動作モード指示が与え
られた直後、フレーム内符号化を指示する符号化モード
情報を出力して１フレーム分のフレーム内符号化を行
い、それ以降の情報検索を行うための動作が終了するま
でのフレームでは、符号化制御部４０１が備える符号化
モード規範に基づいて、ＭＢ単位で符号化モードの切り
換えを行う。また、符号化制御部４０１は、検索動作モ
ード指示が与えられている期間、量子化ステップＱｐを
最小値である「１」に固定する。従って、この間は最も
高い精度で符号化が行われることになる。以上が画像符
号化部１０２の構成の詳細である。
【００２１】モバイル端末１００は、以上説明した撮像
部１０１および画像符号化部１０２の他、検索サーバ２
００を利用した情報検索を行うための手段として、初期
物体領域指定部１０３と、特徴記述子生成部１０４と、
検索要求送信部１０５と、検索データ多重・送信部１０
６と、検索結果表示部１０７とを有している。
【００２２】初期物体領域指定部１０３は、撮影部１０
１によって撮影された外界の映像において検索対象であ
る物体が占有している領域（初期物体領域）をユーザに
特定させるための装置である。
【００２３】この初期物体領域指定部１０３による初期
物体領域の特定方法としては各種の方法が考えられる
が、例えば次のような簡便な方法がある。すなわち、初
期物体領域指定部１０３は、撮影部１０１によって撮影
された外界の映像をディスプレイ（図示略）に映し出
す。また、初期物体領域指定部１０３は、ディスプレイ
に例えば四角形の枠を表示する。ユーザは、モバイル端
末１００に設けられた所定のキー（例えばカーソルキ
ー）を操作し、この四角形の枠の表示を移動させたり、
この枠の縦寸法や横寸法を調整し、枠の中に検索対象で
ある物体の映像を収めることができる。そして、四角形
の枠の中に検索対象が収まったときに所定のキーを操作
して、初期物体領域の特定をしたことをモバイル端末１
００の初期物体領域指定部１０３に通知する。そして、
初期物体領域指定部１０３は、この通知を受けたときの
四角形の枠の画面内での占有位置を検索対象である物体
の初期物体領域として獲得するのである。
【００２４】この他、初期物体領域の特定方法として、
例えばカメラのズーミング機能を用いることによって、
画枠一杯に物体を捉えるように調整し、そのときの画枠
を初期物体領域とする方法がある。
【００２５】特徴記述子生成部１０４には、検索動作モ
ード指示が出力されている期間、画像符号化部１０２か
ら符号化データが供給される。さらに詳述すると、特徴
記述子生成部１０４には、最初、フレーム内符号化によ
り得られたＤＣＴ係数が供給され、それ以降、検索動作
モード指示が出力されている間、ＤＣＴ係数、動きベク
トルおよび符号化モード情報が供給される。また、フレ
ーム内符号化データの供給に先立って、特徴記述子生成
部１０４には、初期物体領域指定部１０３によって獲得
された初期物体領域が通知される。特徴記述子生成部１
０４は、フレーム内符号化により得られた各ＤＣＴ係数
のうち初期物体領域内の各ＭＢに対応しものを用いて特
徴記述子を生成する。また、フレーム間予測符号化が行
われたときは、フレーム間予測符号化によって得られる
各ＭＢに対応した動きベクトルに基づいて、フレーム内
における検索対象である物体の占有領域を推定し、この
推定される占有領域内の各ＭＢに対応したＤＣＴ係数か
ら特徴記述子を生成する。特徴記述子には、例えば代表
色記述子、構成色空間配置記述子、テクスチャ記述子な
どがある。なお、これらの意味するところについては、
説明の重複を避けるため、本実施形態の動作説明の項に
おいて詳細を明らかにする。
【００２６】特徴記述子生成部１０４は、特徴記述子の
他、検索制御データを出力する。これは検索サーバ２０
０側において、検索対象物に応じた効率的な検索を行う
ために特徴記述子生成部１０４内において自動生成され
る制御データである。この検索制御データについても、
本実施形態の動作説明の項において詳細を明らかにす
る。
【００２７】検索要求送信部１０５は、ユーザからの指
示に従って、検索要求データを出力する装置である。
【００２８】検索データ多重・送信部１０６は、検索要
求送信部１０５から出力された検索要求データと、特徴
記述子生成部１０４から出力された特徴記述子および検
索制御データとを多重化し、ネットワーク３００を介し
て検索サーバ２００に送信する装置である。
【００２９】検索結果表示部１０７は、この検索データ
多重・送信部１０６からの検索要求データ等の送信に応
答して、検索サーバ２００から検索結果データが送り返
されてきた場合に、この検索結果データを図示しないデ
ィスプレイに表示する装置である。以上がモバイル端末
１００の構成の詳細である。
【００３０】次に検索サーバ２００について説明する。
検索サーバ２００は、検索データ受信・分離部２０１
と、マッチング処理部２０２と、検索結果送信部２０３
と、コンテンツサーバＡとを有している。検索データ受
信・分離部２０１は、ネットワーク３００を介してモバ
イル端末１００からの送信データを受信し、この送信デ
ータを特徴記述子と検索制御データと検索要求データに
分離し、マッチング処理部２０２に供給する。マッチン
グ処理部２０２は、検索要求データが与えられることに
より、コンテンツサーバＡまたはネットワーク３００上
のコンテンツサーバＢにアクセスし、特徴記述子を検索
キーとして情報検索を行う。
【００３１】ここで、コンテンツサーバＡやコンテンツ
サーバＢが保有するデータベースは、図３に例示するよ
うな階層構造をなしている。このデータベースが例えば
生物に関するレコードのデータベースであるとすると、
最上位のルートカテゴリは、例えば生物である。そし
て、ルートカテゴリの下位のカテゴリレイヤ１には、例
えば動物に対応したカテゴリと植物に対応したカテゴリ
が属しており、これらの各カテゴリは、動物一般または
植物一般に関する情報を含むレコードによって構成され
ている。そして、カテゴリレイヤ１の下位のカテゴリレ
イヤ２は、動物または植物をさらに細分化したカテゴリ
からなり、これらの各カテゴリにはさらに下位にカテゴ
リレイヤのカテゴリが属している。そして、各カテゴリ
レイヤに属する各レコード毎に、各々が検索されるため
の特徴記述子の内容が定められている。ここで、上位の
カテゴリレイヤに属する各レコードは、数の少ない特徴
記述子または抽象的な特徴記述子により検索可能である
が、下位のカテゴリレイヤになる程、各々に属する各レ
コードの中から該当するものを検索するために、より多
数の特徴記述子またはより具体的かつ厳密な特徴記述子
が必要となる。
【００３２】モバイル端末１００側から供給される検索
要求データには、情報検索を行う際にその探索範囲とな
るカテゴリを指定する情報が含まれている。マッチング
処理部２００はこの指定された探索範囲内において特徴
記述子に合致した情報を検索を行う。例えばカテゴリレ
イヤ１に属する動物を探索範囲として指定する検索要求
データがモバイル端末１００から送られてきた場合、マ
ッチング処理部は図３においてカテゴリ・動物に属する
下位の各カテゴリを探索範囲として特徴記述子に合致し
たレコードの検索を行うのである。
【００３３】検索結果送信部２０３は、マッチング処理
部２０２によって検索されたレコードを検索結果データ
としてモバイル端末１００に送信する。以上が本実施形
態に係る情報検索システムの構成の詳細である。
【００３４】（２）実施形態の動作 全体動作 図４は本実施形態に係る情報検索システムの全体的な動
作を示すフローチャートである。以下、このフローチャ
ートを参照し、本実施形態の全体的な動作について説明
する。ユーザは、自分の目の前に存在する物体に関する
情報検索を行おうとする場合、その物体について分かっ
ていることをモバイル端末１００に入力する。例えば目
の前の物体が植物であることが分かっている場合、ユー
ザは検索カテゴリとして植物を指定する情報をモバイル
端末１００に入力するのである（ステップＳ１）。
【００３５】次にユーザは、検索条件を指定するモバイ
ル端末１００に対して入力する（ステップＳ２）。この
ステップＳ２において入力される検索条件には、例えば
次のものがある。
【００３６】ａ．記述時間 この記述時間は、撮像部１０１から得られる画像データ
に基づいて特徴記述子の生成を行う時間である。具体的
には、この記述時間は、特徴記述子の生成を行う画像の
フレーム数によって指定される。
【００３７】ｂ．詳細度 この詳細度は、どの程度厳密な検索を行うかの度合いで
ある。この詳細度を直接指定することはできないので、
それに代えて、撮像部１０１から画像データの出力を行
うときのフレームレートや検索キーとして用いる特徴記
述子の数が指定されることとなる。
【００３８】ｃ．応答時間 検索要求データを検索サーバ２００に送ってから検索結
果データが戻ってくるまでの応答時間である。なお、こ
の応答時間は、特徴記述子の数が多くなるほど長くなる
ので、特徴記述子の数を応答時間の代わりに指定するよ
うにしてもよい。
【００３９】ｄ．検索結果データ数 これは特徴記述子に合致した検索結果データを何個受け
取るかを指定する情報である。
【００４０】ｅ．同期検索／非同期検索の別 本実施形態において、モバイル端末１００のユーザは同
期検索と非同期検索の２種類のサービスを受けることが
できる。ここで、同期検索とは、モバイル端末１００が
特徴記述子の生成および検索サーバ１００への送信を繰
り返し、検索サーバ１００はモバイル端末１００からの
特徴記述子の受信、情報検索および検索結果データの送
信を繰り返す検索サービスである。一方、非同期検索と
は、ユーザから指定された記述時間内に生成された特徴
記述子をまとめてモバイル端末１００から検索サーバ２
００に送り、検索サーバ２００ではこの特徴記述子を用
いた情報検索を行って検索結果データをモバイル端末１
００に送る検索サービスである。ユーザは、これらの同
期検索または非同期検索のうちいずれの検索サービスを
受けるかを指定する。
【００４１】ｆ．主観有意特徴指定 これはユーザ自身が主観的にその検索対象物の特徴であ
ると考える事項である。例えばユーザが検索対象物の特
徴はその模様にあると考えた場合、模様が主観的有意特
徴指定となる。
【００４２】以上の検索条件の入力が完了すると、モバ
イル端末１００はシステムセットアップを実行する（ス
テップＳ３）。このシステムセットアップにおいて、モ
バイル端末１００は、検索サーバ２００との間で能力ネ
ゴシエーションを行う。すなわち、モバイル端末１００
は、検索サーバ２００に対して性能交換情報を送る。こ
の性能交換情報は、モバイル端末１００から検索サーバ
２００に提供することができる特徴記述子の種類を含ん
でいる。検索サーバ２００は、この性能交換情報に基づ
き、モバイル端末１００が情報検索に必要な特徴記述子
を提供することができるか否かを判定し、その判定結果
をモバイル端末１００に送る。この判定結果には、モバ
イル端末１００が提供可能な特徴記述子によりどの程度
の精度の情報検索を行うことができるかを示す情報が含
まれている。一方、検索サーバ２００も、モバイル端末
１００に対し、性能交換情報を送信する。この性能交換
情報は、検索サーバ２００が検索可能なカテゴリの範囲
等の情報を含んでいる。モバイル端末１００は、情報検
索に必要な特徴記述子を検索サーバ２００に提供するこ
とができ、かつ、検索サーバ２００がモバイル端末１０
０から要求する情報検索を行うことができることを確認
すると、システムセットアップにおける残りの処理に進
む。一方、情報検索に必要な特徴記述子をモバイル端末
１００が検索サーバ２００に提供することができない場
合または検索サーバ２００がモバイル端末１００から要
求する情報検索を行うことができない場合、モバイル端
末１００はその旨のメッセージをディスプレイに表示
し、処理を打ち切る。能力ネゴシエーションが終了する
と、モバイル端末１００は、ステップＳ１において入力
された検索カテゴリを指定する情報を検索データ多重・
送信部１０６からネットワーク３００を介して検索サー
バ２００に送信する。これにより検索サーバ２００側で
は、検索対象の範囲が特定される。次にモバイル端末１
００は、ステップＳ２において入力された各種の検索条
件を検索データ多重・送信部１０６からネットワーク３
００を介して検索サーバ２００に送信する。この検索条
件は、検索サーバ２００におけるマッチング処理部２０
２に設定される。
【００４３】以上説明したシステムセットアップが終了
すると、モバイル端末１００では、撮像および特徴記述
子の生成が行われる（ステップＳ４）。さらに詳述する
と、このステップＳ４において、ユーザはモバイル端末
１００の撮像部１０１により検索対象物の撮影を行い、
ディスプレイに映し出された映像中の検索対象物の初期
物体領域を特定し、検索開始をモバイル端末１００に指
示する。この指示は、モバイル端末１００に配備された
所定のボタンを押す等の操作により行われる。
【００４４】モバイル端末１００内部では、この検索開
始の指示により、検索動作モード指示が発生される。こ
こで、ステップＳ２において同期検索が選択されている
場合には、その後、検索の終了がユーザから指示される
まで、検索動作モード指示が継続的に発生される。一
方、ステップＳ２において非同期検索が選択されている
場合には、ステップＳ２において指定されたフレーム数
分の画像から特徴記述子の抽出が行われるまで検索動作
モード指示が継続的に発生される。
【００４５】画像符号化部１０２では、検索動作モード
指示が発生している間、量子化ステップＱｐ＝「１」の
条件で符号化が行われる。また、画像符号化部１０２で
は、検索動作モード指示が発生した直後の最初のフレー
ムの画像データについては、フレーム内符号化が行わ
れ、それ以降のフレームの画像データについては動き補
償を伴ったフレーム間予測符号化が行われる。そして、
この符号化過程において生成されるＤＣＴ係数、動きベ
クトルおよび符号化モード情報が特徴記述子生成部１０
４に供給され、特徴記述子生成部１０４では、ＤＣＴ係
数、動きベクトルおよび符号化モード情報を用いて、検
索対象物の特徴記述子が生成される。この特徴記述子の
生成は、検索動作モード指示が発生している間、継続的
に行われる。
【００４６】次にモバイル端末１００は、このようにし
て生成される特徴記述子と検索制御データを検索データ
多重・送信部１０６により検索サーバ２００に送る（ス
テップＳ５）。ここで、同期検索の実行時には、ユーザ
は、随時、検索カテゴリ等を指定する検索要求データを
入力することができる。その場合、検索要求データは、
このステップＳ５において特徴記述子や検索制御データ
とともに検索サーバ２００に送られる。この検索制御デ
ータには、特徴記述子の種類、検索の際の各特徴記述子
の優先度等、検索サーバ２００側での検索制御に必要な
情報を含んでいる。検索制御データは、特徴記述子生成
部１０４において自動生成されるが、ユーザからの意思
が反映されるものもある。例えば、ユーザによって主観
的有意特徴指定がなされた場合には、その指定が検索制
御データ中の各特徴記述子の優先度に関する情報に反映
される。
【００４７】検索サーバ２００は、このようにしてモバ
イル端末１００から送信される特徴記述子、検索制御デ
ータおよび検索要求データを検索データ受信・分離部２
０１により受信する（ステップＳ６）。これらの特徴記
述子、検索制御データおよび検索要求データは、検索サ
ーバ２００内のマッチング処理部２０２に供給される。
【００４８】そして、マッチング処理部２０２は、コン
テンツサーバＡまたはＢ内のデータベースにアクセス
し、モバイル端末１００から指定された検索カテゴリの
範囲内において、モバイル端末１００から送られてきた
特徴記述子とデータベース内の各レコードに対応した特
徴記述子とのマッチング処理を行う（ステップＳ７）。
さらに詳述すると、データベース内の各レコードについ
て各々が検索されるための特徴記述子の内容が定義され
ている。マッチング処理部２０２では、この各レコード
に対応した特徴記述子とモバイル端末１００から送られ
てきた特徴記述子とが比較対照され、両者の一致度を表
す評価値が求められる。そして、評価値の高いものから
順にレコードの選択が行われ、モバイル端末１００から
送られてきた検索結果データ数に相当する個数のレコー
ドが集まった時点で、これらのレコードが検索結果デー
タとしてモバイル端末１００に送信される（ステップＳ
８）。具体的にはこのマッチング処理部２０２によるマ
ッチング処理は、モバイル端末１００の特徴記述子生成
部１０４によって生成された検索制御データに従って進
められる。なお、このマッチング処理の具体的な内容に
ついては後述する。モバイル端末１００は、検索サーバ
２００から検索結果データを受信すると、ディスプレイ
に表示する（ステップＳ９）。
【００４９】ユーザは、この表示された検索結果データ
が自ら望んでいたものであるか否かを判断し（ステップ
Ｓ１０）、この判断結果が「ＹＥＳ」である場合には検
索を終了する。一方、表示された検索結果データに不満
がある場合、ユーザは再度の検索をモバイル端末１００
に要求し（ステップＳ１１）、検索カテゴリの入力（ス
テップＳ１）に戻って検索をやり直す。以上が本実施形
態の動作の概要である。
【００５０】撮像および特徴記述子生成の処理例 図５〜図８は、各々、本実施形態における撮像および特
徴記述子生成処理、すなわち、図４におけるステップＳ
４の処理の詳細を例示するフローチャートである。以
下、これらの各処理例について説明する。
【００５１】＜例１＞図５に示す処理例において、ま
ず、モバイル端末１００では、図４のステップＳ４等に
おいて入力された検索条件が画像符号化部１０２および
特徴記述子生成部１０４に与えられる（ステップＳ１０
１）。この検索条件には、例えば特徴記述子の抽出を何
フレーム分行うかといった終了条件に関する情報が含ま
れている。
【００５２】次に初期物体領域指定部１０３から特徴記
述子生成部１０４に初期物体領域を指定する情報が供給
される（ステップＳ１０２）。これにより画像符号化部
１０２は、特徴記述子を得るための画像データの符号化
を開始する。
【００５３】まず、画像符号化部１０２は、撮像部１０
１から画像データを受け取ると、その画像データが検索
動作モード指示発生直後の最初のフレームのものである
か否かを判断する（ステップＳ１０３）。そして、最初
のフレームの画像データである場合には、画像符号化部
１０２は、その画像データのフレーム内符号化を行う
（ステップＳ１０４）。
【００５４】そして、特徴記述子生成部１０４は、この
フレーム内符号化過程において画像符号化部１０２の量
子化器４０６から得られるＤＣＴ係数のうちＤＣ成分に
対応したものを取り込む（ステップＳ１０５）。
【００５５】次に特徴記述子生成部１０４は、ステップ
Ｓ１０５において取得したＤＣ成分に基づいて検索対象
である物体の輪郭を決定する（ステップＳ１０６）。こ
こで、図９を参照し、この輪郭決定処理について説明す
る。
【００５６】まず、フレーム内符号化過程では、１フレ
ームを分割した８×８画素のブロック毎にＤＣＴ係数行
列が求められる。ここで、各ブロック毎に求められたＤ
ＣＴ係数行列において第１行第１列の行列要素が当該ブ
ロック内の画像のＤＣ成分である。特徴記述子生成部１
０４は、図９（ａ）に示すように、この各ブロック毎に
得られるＤＣＴ係数行列の中からＤＣ成分を抽出し、こ
れらの各ＤＣ成分を集めてＤＣ画像を構成する。
【００５７】次に特徴記述子生成部１０４は、このＤＣ
画像中に存在するエッジを検出する。具体的には、ＤＣ
画像を横方向２個、縦方向２個のＤＣ成分のブロックに
分割し、各ブロック毎に各々を構成する４個のＤＣ成分
ｐｋ（ｋ＝０〜３）に対し（図９（ｂ）参照）、エッジ
検出用のフィルタ係数ｆｔｋ（ｋ＝０〜３）を乗算し、
各乗算結果を加算して評価値ｓｔｇｔを求める。そし
て、この評価値ｓｔｇｔが所定の閾値を越えていた場合
にそのブロックにはエッジが存在すると判断する。ここ
で、フィルタ係数ｆｔｋ（ｋ＝０〜３）は、例えば水平
方向エッジ、垂直方向エッジ、右上がり斜め方向エッ
ジ、左上がり斜め方向エッジという具合に、検出すべき
エッジの向きに応じたものを複数組を用意することがで
きる。これらの各種のフィルタ係数ｆｔｋ（ｋ＝０〜
３）の組毎に評価値ｓｔｇｔを求めることにより、各ブ
ロックに各種のエッジが存在するか否かを判断すること
ができる。
【００５８】特徴記述子生成部１０４は、このような演
算および判断をＤＣ画像の全ブロックについて行い、ど
のようなエッジがどこにあるかが分かるエッジのマップ
を作成する。そして、特徴記述子生成部１０４は、この
エッジのマップの中から、初期物体領域の内側にあり、
かつ、初期物体領域の境界に最も近いエッジを全て選択
し、これらのエッジを物体の輪郭線と決定するのであ
る。
【００５９】次に特徴記述子生成部１０４は、物体構成
色領域生成処理を実行する（ステップＳ１０７）。ここ
で、図１０（ａ）を参照し、この物体構成色領域生成処
理について説明する。図１０（ａ）は撮像部１０１によ
って撮影された映像の例を示している。この映像中の花
が検索対象物である。ＢＢは、ユーザによって検索対象
物である花を囲むように指定された初期物体領域であ
る。物体構成色領域生成処理において、特徴記述子生成
部１０４は、初期物体領域ＢＢ内に属する各ＭＢについ
て、各々のＤＣ成分に基づくクラスタリングを行い、検
索対象物の画像を各々同一色のみからなる物体構成領域
に分ける。図１０（ａ）に示す例では、黄色からなる物
体構成領域Ｒ１と、白色からなる物体構成領域Ｒ２とに
クラスタリングされている。
【００６０】次に特徴記述子生成部１０４は、このクラ
スタリングの結果に基づき、次のような内容の代表色記
述子を作成する（ステップＳ１０８）。代表色記述子：
検索対象である物体は、物体構成領域Ｒ１およびＲ２を
有しており、物体構成領域Ｒ１の代表色は黄色であり、
物体構成領域Ｒ２の代表色は白色である。
【００６１】次に特徴記述子生成部１０４は、構成色空
間配置記述子の生成処理を行う（ステップＳ１０９）。
この処理では、物体構成色領域生成処理において求めら
れた各物体構成領域の空間的な配置関係を示す情報を生
成する。例えば図１０（ａ）に示すようなケースの場
合、このステップＳ１０９では、物体構成領域Ｒ１は、
図１０（ｂ）にそのイメージを示すように、その周囲８
方向において物体構成領域Ｒ２と向かい合っている、と
いった意味の構成色空間配置記述子を物体構成領域Ｒ１
について生成するのである。
【００６２】次に特徴記述子生成部１０４は、テクスチ
ャ記述子の生成処理を実行する（ステップＳ１１０）。
この処理では、ステップＳ１０６において求めたエッジ
のマップを利用してテクスチャ記述子を生成する。すな
わち、この処理では、初期物体領域の垂直方向の各位置
において、水平方向にどのような向きのエッジが何個あ
るかを集計してヒストグラムを作成する。また、初期物
体領域の水平方向の各位置において、垂直方向にどのよ
うな向きのエッジが何個あるかを集計してヒストグラム
を作成する。そして、これらのヒストグラムをテクスチ
ャ記述子とするのである。
【００６３】次に特徴記述子の生成処理を終了する条件
が満たされたか否かが判断され、この判断結果が「Ｎ
Ｏ」である場合には再びステップＳ１０１から処理が実
行される。以上が検索動作モード指示発生後の最初のフ
レームに対応した処理の詳細である。
【００６４】次に、２番目以降のフレームに対応した処
理について説明する。２番目以降のフレームの画像デー
タが撮像部１０１から出力されたとき、画像符号化部１
０２は、この画像データのフレーム間予測符号化を行う
（ステップＳ１２１）。特徴記述子生成部１０４は、こ
のフレーム間予測符号化過程において得られるＤＣＴ係
数のうちＤＣ成分に対応したものと、動き予測部４１２
から得られる各ＭＢに対応した動きベクトルおよび符号
化モード情報を画像符号化部１０２から取り込む。そし
て、既に得られている検索対象物の物体領域（初期状態
では初期物体領域）と、各ＭＢに対応した動きベクトル
とに基づいて、現在において検索対象物が占める物体領
域を推定する物体追跡を行う（ステップＳ１２２）。
【００６５】次に、このようにして求めた物体領域内の
各ＭＢのＤＣ成分を復元する（ステップＳ１２３）。こ
こで、フレーム内符号化過程においては各ＭＢのＤＣ成
分を画像符号化部１０２から取得することができるが、
フレーム間予測符号化過程において画像符号化部１０２
から取得されるのは、各ＭＢのＤＣ成分ではなく、各Ｍ
Ｂと各々に対応した参照画像との差分のＤＣ成分であ
る。そこで、このステップＳ１２３では、画像符号化部
１０２の加算器４０９から生成される復号画像の画像デ
ータや自身の差分画像に対応するＤＣ成分などから物体
領域内の各ＭＢのＤＣ成分を推定する。
【００６６】このステップＳ１２３が終了すると、以後
は既に説明したステップＳ１０７〜Ｓ１１１を実行し、
２番目のフレームに対応した代表色記述子、構成空間配
置記述子およびテクスチャ記述子を作成する。以後、ス
テップＳ１１１において終了条件が満たされた旨の判断
がなされるまで、後続の各フレームについて、代表色記
述子等の各特徴記述子の生成が繰り返される。
【００６７】同期検索時には、このようにして各フレー
ムに対応した特徴記述子が得られる毎に、特徴記述子が
検索制御データおよび検索要求データと多重化され、検
索サーバ２００に送られる。そして、検索サーバ２００
では、各フレームに対応した特徴記述子等が受信される
毎に、特徴記述子に合致するレコードの検索が行われ、
検索結果データとしてモバイル端末１００に送信され
る。
【００６８】ユーザは、このようにして順次送られてく
る検索結果データを確認しながら、検索カテゴリの変更
等を行うことにより、検索範囲の絞り込みを行い、所望
の検索結果データを受け取ることができる。
【００６９】また、非同期検索時には、予め記述時間と
して設定されたフレーム数だけ各フレームに対応した特
徴記述子が生成され、これらの複数フレーム分の特徴記
述子群が検索サーバ２００に送られる。そして、検索サ
ーバ２００では、これらの特徴記述子群に合致するレコ
ードの検索が行われ、検索結果データがモバイル端末１
００に送信される。
【００７０】この非同期検索によれば、例えば検索対象
物を多方面から撮影し、複数の異なった視座から見た検
索対象物の多面的な特徴を表す特徴記述子群を生成し、
この特徴記述子群に合致するレコードの検索を行うこと
ができる。
【００７１】＜例２＞次に図６に示す処理例について説
明する。なお、図６において、前述した図５の各ステッ
プと共通するものには同一の符号を付け、その説明を省
略する。この図６に示す処理例では、ステップＳ１３１
およびＳ１３２と、ステップＳ１４１〜Ｓ１４３が追加
されている。
【００７２】図５に示す処理例では、情報検索のための
生成する複数の特徴記述子（以下、特徴記述子セットと
いう）の種類が固定されていた。
【００７３】これに対し、この図６に示す処理例は、特
徴記述子セットの構成が２種類（以下、第１の特徴記述
子セットおよび第２の特徴記述子セットという）用意さ
れており、これらのいずれかをユーザが選択することが
できるようになっている。すなわち、ステップＳ１３１
では、ユーザに対して、第１および第２の特徴記述子セ
ットのうちいずれを生成するかの問い合わせが行われ、
ユーザによりその選択が行われる。そして、ステップＳ
１３２では、ユーザによって選択された特徴記述子セッ
トがいずれであるかの判断が行われる。
【００７４】第１の特徴記述子セットが選択されている
場合には、ステップＳ１０７〜Ｓ１１１が実行され、代
表色記述子、構成色空間配置記述子およびテクスチャ記
述子からなる第１の特徴記述子セットが生成される。
【００７５】一方、第２の特徴記述子セットがユーザに
よって選択された場合、特徴記述子生成部１０４は、物
体領域内の各ＭＢのＤＣ成分からなるＤＣ画像に対して
ＤＣＴを施し（ステップＳ１４１）、この結果得られる
ＤＣＴ係数のうち低周波成分に相当するものと第２の特
徴記述子セットとして抽出する（ステップＳ１４２）。
そして、終了条件を満たしたか否かを判断し（ステップ
Ｓ１４３）、この終了条件を満たしていない場合にはス
テップＳ１０３に戻る。
【００７６】この処理例によれば、ユーザは検索対象物
に合った特徴記述子セットを選択し、情報検索を行うこ
とができる。この特徴記述子セットの選択結果を示す選
択情報は、検索制御データとして特徴記述子生成部１０
４から出力され、特徴記述子セットと多重化されて検索
サーバ２００に送信される（前掲図４のステップＳ
５）。そして、この選択情報は検索制御データとして検
索サーバ２００内のマッチング処理部２０２に送られ、
マッチング処理部２０２ではこの選択情報に基づいて特
徴記述子セットが判断され、その特徴記述子セットを用
いたマッチング処理が行われる。
【００７７】特徴記述子セットの選択は自動的に行うこ
とも可能である。例えばステップＳ１０６において物体
領域内のエッジ分布を獲得することができるが、このエ
ッジ分布において、物体領域内に細かいエッジが多数存
在する場合には、第２の特徴記述子セットを選択する。
何故ならば、物体領域内に細かいエッジが多数存在する
場合には、物体を、主に代表色からなる物体構成領域の
集合（第１の特徴記述子セット）として捉えるよりも、
全体的な模様の特徴を反映した第２の特徴記述子セット
を用いる方が物体の特徴をより良く記述することができ
ると考えられるからである。
【００７８】＜例３＞次に図７に示す処理例について説
明する。なお、図７において、前述した図５の各ステッ
プと共通するものには同一の符号を付け、その説明を省
略する。
【００７９】この図６に示す処理例では、ステップＳ１
０７がステップＳ１０６Ａに置き換えられるとともに、
ステップＳ１１１ＡがステップＳ１１１の前に追加され
ている。
【００８０】ここで、ステップＳ１０６Ａでは、ステッ
プＳ１０６またはＳ１２３において得られた物体領域内
の各ＭＢのＤＣ成分に基づいて、検索対象物の形状が求
められ、この形状を表す物体形状記述子が作成される。
【００８１】一方、ステップＳ１１１Ａでは、ステップ
Ｓ１０６Ａ〜Ｓ１１０において得られた各種の特徴記述
子の記述精度が判定され、この記述精度に応じた優先度
が各特徴記述子について割り当てられる。この記述精度
は、各特徴記述子を生成過程において取得することがで
きる。例えば、代表色記述子を求めるためのクラスタリ
ングは、隣接するＭＢの色の間の距離が許容範囲内であ
れば両ＭＢは同じ物体構成領域に属するという判断を繰
り返すことにより実行される。ここで、同一の物体構成
領域に属するＭＢであっても両者の色は必ずしも同一で
はない。そして、同一物体構成領域に含まれている各Ｍ
Ｂ間の色の隔たりが大きい程、その物体構成領域の代表
色は不正確なものであると言うことができる。従って、
代表色記述子に関しては、その生成過程において、同一
物体構成領域に含まれる各ＭＢ間の色の隔たりを求め、
その結果から記述精度を得ることができる。
【００８２】以上が代表色記述子についての記述精度の
評価の仕方であるが、同様に、他の種類の特徴記述子に
ついても適当な評価方法に従って各々の記述精度を評価
することができる。ステップＳ１１１Ａでは、このよう
にして各特徴記述子の記述精度を求め、記述精度に応じ
た優先度を各特徴記述子に割り当てるのである。
【００８３】ここで、ユーザによって主観有意特徴指定
がなされている場合には、記述精度に基づく優先度付け
の後、さらにユーザが主観的に特徴であると指定してい
る特徴記述子の優先度を高める補正を加えてもよい。
【００８４】この各特徴記述子の優先度は、検索制御デ
ータとして検索サーバ２００に送られる。検索サーバ２
００のマッチング処理部２０２は、各特徴記述子に対し
各々の優先度に応じた重み付けを行い、情報検索を行
う。なお、情報検索の態様については後述する。
【００８５】＜例４＞次に図８に示す処理例について説
明する。なお、図８において、前述した図５の各ステッ
プと共通するものには同一の符号を付け、その説明を省
略する。
【００８６】前述した図５の処理例では、物体の輪郭の
決定（ステップＳ１０６）をしてから物体構成色領域の
生成（ステップＳ１０７）を行った。
【００８７】これに対し、図８に示す処理例では、ＤＣ
成分抽出後、はじめに第１の物体構成色領域の生成を行
う（ステップＳ１０７Ｂ）。これにより、ある程度の色
ベースの領域分割が得られる。この場合において、２つ
以上の異なる代表色が隣接する部分があった場合、当該
部分が物体境界である可能が高い。次に、図８に示す処
理例では、物体領域である矩形領域内のエッジの分布を
抽出し、上記第１の物体構成領域の生成処理により得ら
れた構成色ベースの領域分割結果と組み合わせて、物体
境界とみなされるＭＢを決定する（ステップＳ１０６
Ｂ）。例えば極めてはっきりとしたエッジが認められ、
かつ、２つ以上の異なる代表色が存在し、かつ、物体領
域である矩形の端辺に近い位置のＭＢを物体境界とす
る。
【００８８】物体境界が決定された後、物体領域内に存
在するＭＢのみを対象にして、第２の物体構成色領域の
生成を行う。これは第１の物体構成色領域の生成処理を
より確からしいものにするためのリファイン処理であ
り、この結果から代表色記述子を生成する。以後の処理
は、前掲図５と同様である。
【００８９】マッチング処理の例 図１１および図１２は各々検索サーバ２００のマッチン
グ処理部２０２が行うマッチング処理の例を示すフロー
チャートである。以下、これらのマッチング処理例につ
いて説明する。
【００９０】＜例１＞図１１に示す処理例において、マ
ッチング処理部２０２は、まず、検索処理初期設定を行
う（ステップＳ２０１）。この検索処理初期設定は、前
掲図４の全体フローにおけるシステムセットアップ（ス
テップＳ３）に対応している。この検索処理初期設定に
おいて、マッチング処理部２０２は、モバイル端末１０
０から受信された検索制御データに従って、検索キーと
して使用する特徴記述子セットの選択、検索対象である
コンテンツサーバの選択、モバイル端末１００によって
指定された応答時間に基づく検索ステップ数の設定、検
索カテゴリの指定に基づく検索範囲の設定等を行う。
【００９１】次に、マッチング処理部２０２は、検索キ
ーとして使用する特徴記述子をモバイル端末１００から
受信し、蓄積する（ステップＳ２０２）。
【００９２】次に、マッチング処理部２０２は、特徴記
述子マッチング処理を行う（ステップＳ２０３）。すな
わち、マッチング処理部２０２は、データベースにおけ
る検索範囲内のレコードの１つを選択し、そのレコード
が選択されるための条件として定められた特徴記述子
と、モバイル端末１００から送られてきた特徴記述子と
を所定の評価関数に代入して両特徴記述子の一致度を評
価し、評価値を求める。ここで、特徴記述子が複数種類
有り、モバイル端末１００から各々の優先度を指定する
情報が受信されている場合には、優先度の低い特徴記述
子が一致している場合よりも優先度の高い特徴記述子が
一致している場合の方がより高い評価値が得られるよう
に評価関数の修正が行われ、この修正された評価関数を
用いて一致度の評価が行われる（ステップＳ２０３）。
【００９３】次に、マッチング処理部２０２は、マッチ
ング結果更新処理を行う。このマッチング結果更新処理
において、ステップＳ２０２の特徴記述子マッチング処
理を経たレコードの個数が検索結果データ数に達するま
での期間は、それらのレコードが特徴記述子マッチング
処理により得られた評価値とともに検索結果バッファ内
に蓄積される。そして、この検索結果バッファに蓄積さ
れたレコードの個数が検索結果データ数に達すると、そ
れ以後のマッチング結果更新処理では、特徴記述子マッ
チング処理により得られた新たなレコードの評価値と、
検索結果バッファに蓄積されている各レコードの評価値
とが比較される。そして、新たなレコードの評価値がそ
の時点において検索結果バッファに蓄積されている各レ
コードの評価値のどれよりも低い場合には、新たなレコ
ードおよびその評価値は無視される。一方、その時点に
おいて検索結果バッファに蓄積されている各レコードの
評価値の中に新たなレコードの評価値よりも低いものが
ある場合には、そのレコードおよび評価値が検索結果バ
ッファから追い出され、その代わりに新たなレコードと
その評価値が検索結果バッファに蓄積される。
【００９４】このマッチング結果更新処理を終えると、
マッチング処理部２０２は、特徴記述子マッチング処理
を行うべき他のフレームの特徴記述子がモバイル端末１
００から受信されているか否かを判断する（ステップＳ
２０５）。
【００９５】ステップＳ２０５の判断結果が「ＹＥＳ」
である場合には、そのフレームに対応した特徴記述子を
用いてステップＳ２０３およびＳ２０４を実行する。
【００９６】一方、ステップＳ２０５の判断結果が「Ｎ
Ｏ」である場合には、検索範囲内に未だ特徴記述子マッ
チング処理を終えていないレコードがあるか否かを判断
する（ステップＳ２０６）。この判断結果が「ＹＥＳ」
である場合には、そのレコードをデータベースから読み
出して（ステップＳ２０７）、ステップＳ２０３〜ステ
ップＳ２０５を実行する。
【００９７】一方、ステップＳ２０６の判断結果が「Ｎ
Ｏ」である場合には、他に検索をすべきデータベースが
あるか否かを判断する（ステップＳ２０８）。そして、
そのようなデータベースがある場合にはそのデータベー
スを対象としてステップＳ２０３〜ステップＳ２０７を
実行する。
【００９８】一方、ステップＳ２０８の判断結果が「Ｎ
Ｏ」である場合には、検索結果バッファ内に蓄積された
検索結果データ数相当の個数のレコードを検索結果送信
部２０３からモバイル端末１００に送信する（ステップ
Ｓ２０９）。以上がマッチング処理例の詳細である。
【００９９】＜例２＞図１２に示すマッチング処理例
は、モバイル端末１１側において第１の特徴記述子セッ
トまたは第２の特徴記述子セットのいずれかを選択可能
な場合に対応した処理例である。
【０１００】この処理例において、ステップＳ２０３Ａ
〜Ｓ２０９Ａは第１の特徴記述子セットを用いたマッチ
ング処理、ステップＳ２０３Ｂ〜Ｓ２０９Ｂは第２の特
徴記述子セットを用いたマッチング処理であり、いずれ
もその処理内容は図１０におけるステップＳ２０３〜Ｓ
２０９と同様である。
【０１０１】そして、この処理例では、ステップＳ２０
１およびＳ２０２の後に追加されたステップＳ２１０に
おいて、モバイル端末１００から受信された検索制御デ
ータに基づいて、モバイル端末１００側において第１ま
たは第２の特徴記述子セットのいずれが選択されたかが
判断され、第１の特徴記述子セットが選択されている場
合にはステップＳ２０３Ａ〜Ｓ２０９Ａが、第２の特徴
記述子セットが選択されている場合にはステップＳ２０
３Ｂ〜Ｓ２０９Ｂが実行される。
【０１０２】以上、この発明の第１の実施形態について
説明したが、当業者はこれに様々な変形を加えて実施す
ることも可能である。例えば次のような変形例が考えら
れる。すなわち、上記実施形態においてモバイル端末１
００では最初のフレームのみフレーム内符号化を行った
が、検索動作モード指示が発生している期間中、常にフ
レーム内符号化を行うようにしてもよい。具体的には、
図５に示すモバイル端末１００の動作フローにおいて、
ステップＳ１０３およびＳ１２１〜Ｓ１２３を削除した
動作フローにする。この場合、物体追跡をしないので、
ユーザは常に物体領域内に検索対象物を収めるようにカ
メラのズーム調整等を行う必要があるが、ＤＣ成分の抽
出精度を高めることができるので、特徴記述子の記述精
度を高め、精度の高い情報検索を行うことが可能とな
る。
【０１０３】Ｂ．第２の実施形態 図１３はこの発明の第２の実施形態である情報検索シス
テムの構成を示すブロック図である。この情報検索シス
テムでは、外部から画像の符号化データを受信して復調
する受信部１１０がモバイル端末１００に設けられてい
る。図１４はこの受信部１１０における復号器の構成を
示すブロック図である。この復号器は、可変長復号器５
０１と、逆量子化器５０２と、逆ＤＣＴ部５０３と、加
算器５０４と、スイッチ５０５と、動き補償部５０６
と、フレームメモリ５０７とを有している。
【０１０４】ネットワークを介して受信されたフレーム
内符号化データまたはフレーム間予測符号化データは、
可変長復号器５０１において多重化が解除されるととも
に可変長符号化前の符号化データに戻される。
【０１０５】まず、フレーム内符号化データが受信さ
れ、可変長復号器５０１に与えられていたとする。この
とき可変長復号器５０１から出力されるフレーム内符号
化データは、フレームを構成する各ブロックのＤＣＴ係
数の量子化データと量子化ステップＱｐとフレーム内符
号化モードを指定する符号化モード情報が可変長復号部
５０１を含んでいる。これらのうちＤＣＴ係数の量子化
データは、逆量子化器５０２によって逆量子化される。
そして、逆ＤＣＴ部５０３により各ブロックのＤＣＴ係
数について逆ＤＣＴが行われ、各ブロックの画像データ
が復元される。このときスイッチ５０５は、フレーム内
符号化モードに対応した符号化モード情報に従って、固
定値「０」を選択し加算器５０４に供給する。従って、
逆ＤＣＴ部５０３から出力されるれる画像データは、そ
のまま加算器５０４を介し、モニタ信号としてディスプ
レイに送られる。また、この復号画像の画像データは、
フレームメモリ５０７に格納される。
【０１０６】次にフレーム間予測符号化データが受信さ
れ、可変長復号器５０１に与えられていたとする。この
とき可変長復号器５０１から出力されるフレーム間予測
符号化データは、フレームを構成する各ブロックの画像
と参照画像との間の差分から得られたＤＣＴ係数の量子
化データと、量子化ステップＱｐと、フレーム間予測符
号化モードを指定する符号化モード情報と、各マクロブ
ロックに対応した動きベクトルを含んでいる。これらの
うちＤＣＴ係数の量子化データは、逆量子化器５０２に
よって逆量子化される。そして、逆ＤＣＴ部５０３によ
り各ブロックのＤＣＴ係数について逆ＤＣＴが行われ、
各ブロックの画像と参照画像との差分が復元される。
【０１０７】一方、各マクロブロックに対応した動きベ
クトルは動き補償部５０６に供給される。動き補償部５
０６は、各マクロブロックを構成する各ブロックに対応
した差分情報が逆ＤＣＴ部５０３から加算器５０４に供
給されるとき、当該マクロブロックに対応した動きベク
トルを参照して当該マクロブロックに対応した参照画像
の位置を求め、この参照画像の画像データをフレームメ
モリ５０７から読み出してスイッチ５０５に送る。
【０１０８】このときスイッチ５０５は、フレーム間予
測符号化モードに対応した符号化モード情報に従って、
この参照画像の画像データを選択し加算器５０４に供給
する。従って、この参照画像の画像データは、加算器５
０４により、逆ＤＣＴ部５０３から出力される差分画像
の画像データと加算される。この結果、復号画像の画像
データが加算器５０４から出力され、モニタ信号として
ディスプレイに送られる。また、この復号画像の画像デ
ータは、フレームメモリ５０７に格納される。以上がこ
の復号器の動作である。
【０１０９】この復号器において得られるＤＣＴ係数お
よび動きベクトルは、以上説明した復号処理に用いられ
る他、特徴記述子生成部１０４に供給される。
【０１１０】ユーザは、ディスプレイに表示された映像
の中に検索対象物が含まれている場合、その初期物体領
域を初期物体領域指定部１０３により指定し、また、各
種の検索制御データを指定して特徴記述子の生成を指示
することができる。特徴記述子生成部１０４は、このユ
ーザからの指示に従い、受信部１１０の復号器からのＤ
ＣＴ係数および動きベクトルを用いて特徴記述子を生成
し、検索サーバ２００に対して情報検索を要求する。
【０１１１】特徴記述子生成部１０４の処理内容および
検索サーバ２００の処理内容は既に第１の実施形態にお
いて説明したものと変わるところがないので説明を省略
する。本実施形態によれば、撮像部１０１によって外界
から取得した画像のみならず、ネットワークを介して受
信した画像の中に含まれる検索対象物について情報検索
を行うことができる。
【０１１２】Ｃ．第３の実施形態 図１５はこの発明の第３の実施形態である情報検索シス
テムの構成を示すブロック図である。上記第１の実施形
態と比較すると、本実施形態におけるモバイル端末１０
０は、特徴記述子生成部１０４および検索データ多重・
送信部１０６を有しておらず、これらに代えて、スイッ
チ１３０および多重送信部１４０を有している。また、
本実施形態における検索サーバ２００は、検索データ受
信・分離部２０１に代えて、受信・分離部２２０を有し
ており、さらに特徴記述子生成部２１０を有している。
【０１１３】図１６は本実施形態の動作を示すフローチ
ャートである。なお、このフローチャートにおいて、ス
テップＳ１０１、Ｓ１０２、Ｓ１０４ＡおよびＳ１１１
は、モバイル端末１００側において行われる処理であ
り、ステップＳ１０５〜Ｓ１１０およびＳ１５０は検索
サーバ２００側において行われる処理である。
【０１１４】まず、モバイル端末１００では、図４のス
テップＳ４等において入力された検索条件が画像符号化
部１０２に与えられる（ステップＳ１０１）。この検索
条件には、例えば特徴記述子の抽出を何フレーム分行う
かといった終了条件に関する情報が含まれている。
【０１１５】次にユーザは、カメラの画枠一杯に検索対
象物の画像を収め、初期物体領域指定部１０３により初
期物体領域を指定する。この初期物体領域を示す情報は
スイッチ１３０を介して多重・送信部１４０に供給され
る（ステップＳ１０２）。
【０１１６】その後、動作モード指示が発生されると、
この動作モード指示が発生されている間、画像符号化部
１０２は、量子化ステップＱｐ＝「１」の条件で、撮像
部１０１から出力される画像データのフレーム内符号化
を繰り返す。このフレーム内符号化により得られた符号
化データは、初期物体位置を示す情報と多重化され、ネ
ットワーク３００の伝送可能速度内の伝送速度で検索サ
ーバ２００へ送信される。また、ユ−ザは、検索カテゴ
リの指定などを含む検索要求データをモバイル端末１０
０に随時入力することができ、かかる場合にはこの検索
要求データも符号化データと多重化されて検索サーバ２
００に送信される。
【０１１７】検索サーバ２００では、このようしてモバ
イル端末１００側から送られてくるデータの受信および
分離が受信・分離部２２０によって行われ、符号化デー
タや初期物体位置の情報は特徴記述子生成部２１０に送
られ、検索要求データはマッチング処理部２２０に送ら
れる。
【０１１８】そして、特徴記述子生成部２１０では、符
号化データと初期物体位置の情報を用いて、ステップＳ
１０５〜Ｓ１１０が実行され、情報検索に必要な特徴記
述子が生成される。また、その際に各特徴記述子の優先
度付けをする情報等を含む検索制御情報が生成される。
なお、これらの処理は、上記実施形態においてモバイル
端末１００内の特徴記述子生成部によって行われたもの
と同様であるので、その説明を省略する。
【０１１９】特徴記述子生成部２１０によって生成され
た特徴記述子および検索制御情報は、マッチング処理部
２０２に送られる。そして、マッチング処理部２０２で
は、マッチング処理が行われる（ステップＳ１５０）。
このマッチング処理も既に第１の実施形態において詳細
に説明した通りである。そして、このマッチング処理の
結果は、検索結果送信部２０３によってモバイル端末１
００に送信され、同端末のディスプレイに表示される。
【０１２０】モバイル端末１００では、終了条件が満た
されたか否かが判断され（ステップＳ１１１）、この判
断結果が「ＹＥＳ」となるまで以上説明した処理が繰り
返される。
【０１２１】本実施形態においては、フレーム内符号化
により得られた符号化データがモバイル端末１００から
検索サーバ２００に送信されるので、検索サーバ２００
側では動きベクトルを用いた物体追跡を行うことができ
ない。このため、ユーザは、常に画枠一杯（または初期
物体領域として指定した枠内）に検索対象物を捉えて撮
影を行わなければならない。
【０１２２】しかしながら、本実施形態によれば、モバ
イル端末１００側に特徴記述子生成部や特徴記述子を送
信するためのインタフェースを設ける必要がない。従っ
て、既存のモバイル端末に対し、検索情報入力装置とし
ての基本的なメニュー処理と画像符号化部に対する動作
モード指示を発生する処理とをソフトウェアとして追加
するだけでよく、本実施形態に係るモバイル端末１００
を構成することができる。
【０１２３】また、本実施形態では、検索サーバ２００
に対して情報検索を要求する際に、フレーム内符号化デ
ータをモバイル端末１００から送信しなければならない
が、このフレーム内符号化データは画像の表示に用いら
れるものではないので、ネットワークの伝送可能速度内
の速度で伝送すればよい。従って、本実施形態は、ネッ
トワークの伝送容量を増やすことなく実施することがで
きる。
【０１２４】また、その際に量子化ステップＱｐを
「１」とし、精度の高いフレーム内符号化を行えば、検
索サーバ２００側において画像のＤＣ成分を推定する際
の精度を高めることができ、特徴記述子の記述精度を高
めることができる。
【０１２５】なお、本実施形態には次のような変形例が
考えられる。すなわち、モバイル端末１００側では、検
索要求時の最初のフレームのみフレーム内符号化を行
い、後続のフレームは、必要に応じてフレーム間予測符
号化を行う。この場合、検索サーバ２００側では、フレ
ーム間予測符号化データに含まれる動きベクトルを用い
て、物体領域を追跡する処理を追加する必要がある。し
かしながら、モバイル端末１００側では物体領域を指定
し続ける必要がないのでユーザの負担を軽減することが
できる。
【０１２６】Ｄ．第４の実施形態 図１７はこの発明の第４の実施形態である情報検索シス
テムの構成を示すブロック図である。この情報検索シス
テムは、上記第２の実施形態に改良を加えたものであ
り、モバイル端末１００には、センサ部１２０が追加さ
れている。本実施形態では、このセンサ部１２０によっ
て得られるセンシングデータが特徴記述子とともに検索
サーバ２００に送られ、検索サーバ２００ではセンシン
グデータと特徴記述子の両方を検索キーとした情報検索
が行われる。
【０１２７】センサ部１２０は、例えばＧＰＳ（Global
Positioning System）等の位置センサである。勿論、
他の情報をセンシングするセンサを採用しても構わな
い。センサ部１２０として位置センサを採用した場合に
は、ユーザの所在地をも検索キーに含めた情報検索が可
能になる。
【０１２８】Ｅ．その他の実施形態 （１）システム構成について 検索サーバを利用して情報検索を行う端末はモバイル端
末でない固定端末であってもよい。また、以上説明した
各実施形態では、端末と検索サーバとからなる情報検索
システムを挙げたが、例えばパーソナルコンピュータに
対して、撮像部、画像符号化部、特徴記述子生成部およ
びマッチング処理部を持たせ、スタンドアロンタイプの
情報検索システムを構成してもよい。
【０１２９】（２）検索制御について 上記各実施形態では、検索を効率的に進めるための検索
制御データを特徴記述子生成部が生成し、マッチング処
理部がこの検索制御データに従ってマッチング処理を行
ったが、これとは逆方向の情報の流れにより検索を効率
的に進めるための処理を行ってもよい。例えば、検索対
象のカテゴリが判明した時点で、そのカテゴリにおける
情報検索に適した特徴記述子または特徴記述子セットを
マッチング処理部から特徴記述子生成部に通知し、特徴
記述子生成部がその特徴記述子または特徴記述子セット
を生成してマッチング処理部に送るという処理の流れが
考えられる。
【０１３０】
【発明の効果】以上説明したように、この発明によれ
ば、取得された画像から検索対象物の特徴記述子が生成
され、この特徴記述子を検索キーとして情報検索が行わ
れるので、ユーザは検索対象物の名前等を知らなくても
その検索対象物に関する情報を取得することができる。
【図面の簡単な説明】
【図１】 この発明の第１の実施形態である情報検索シ
ステムの構成を示すブロック図である。
【図２】 同実施形態における画像符号化部１０２の構
成を示すブロック図である。
【図３】 同実施形態におけるデータベースの構成を示
す図である。
【図４】 同実施形態の全体的な動作を示すフローチャ
ートである。
【図５】 同実施形態における撮像および特徴記述子生
成処理の第１の例を示すフローチャートである。
【図６】 同実施形態における撮像および特徴記述子生
成処理の第２の例を示すフローチャートである。
【図７】 同実施形態における撮像および特徴記述子生
成処理の第３の例を示すフローチャートである。
【図８】 同実施形態における撮像および特徴記述子生
成処理の第４の例を示すフローチャートである。
【図９】 同実施形態において行われる輪郭決定処理を
説明する図である。
【図１０】 同実施形態における物体構成色領域処理お
よび空間配置記述子生成処理を説明する図である。
【図１１】 同実施形態におけるマッチング処理の第１
の処理例を示すフローチャートである。
【図１２】 同実施形態におけるマッチング処理の第２
の処理例を示すフローチャートである。
【図１３】 この発明の第２の実施形態である情報検索
システムの構成を示すブロック図である。
【図１４】 同実施形態における受信部の復号器の構成
を示すブロック図である。
【図１５】 この発明の第３の実施形態である情報検索
システムの構成を示すブロック図である。
【図１６】 同実施形態の動作を示すフローチャートで
ある。
【図１７】 この発明の第４の実施形態である情報検索
システムの構成を示すブロック図である。
【符号の説明】
１００……モバイル端末、２００……検索サーバ、１０
１……撮像部、１０２……画像符号化部、１０４……特
徴記述子生成部、１０３……初期物体領域指定部、１０
５……検索要求送信部、１０７……検索結果表示部、１
０６……検索データ多重・送信部、２０１……検索デー
タ受信・分離部、２０２……マッチング処理部、２０３
……検索結果送信部、Ａ，Ｂ……コンテンツサーバ。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 ３００ Ｇ０６Ｔ 7/00 ３００Ｇ 7/20 7/20 Ｃ (72)発明者 中村 典生 東京都千代田区永田町二丁目11番１号 株 式会社エヌ・ティ・ティ・ドコモ内 Ｆターム(参考） 5B075 NK06 NK39 PP26 PP28 PQ02 5L096 CA04 EA24 FA06 FA15 FA26 FA35 GA55 HA04 JA11 LA05 MA07

Claims (21)

    【特許請求の範囲】
  1. 【請求項１】 各種の検索対象物に関するレコードと各
    々が選択されるための条件である特徴記述子とを対応付
    けて記憶したデータベースと、 検索対象物を含む画像を取得する画像取得手段と、 前記画像取得手段によって取得された画像に含まれる検
    索対象物の画像から特徴記述子を生成する特徴記述子生
    成部と、 前記特徴記述子生成部によって生成される特徴記述子に
    合致する検索対象物に関するレコードを前記データベー
    スから検索するマッチング処理部とを具備することを特
    徴とする情報検索システム。
  2. 【請求項２】 前記画像取得手段と前記特徴記述子生成
    部とを有し、前記特徴記述子生成部によって生成された
    特徴記述子をネットワークを介して送信する端末と、 前記マッチング処理部を具備し、前記ネットワークを介
    して、前記端末から前記特徴記述子を受け取り、前記マ
    ッチング処理部により、前記特徴記述子に合致したレコ
    ードを前記データベースから検索し、前記端末に送信す
    る検索サーバとを具備することを特徴とする請求項１に
    記載の情報検索システム。
  3. 【請求項３】 前記画像取得手段を有し、前記画像取得
    手段によって取得された画像をネットワークを介して送
    信する端末と、 前記特徴記述子生成部と前記マッチング処理部を具備
    し、前記ネットワークを介して、前記端末から画像を受
    け取り、前記特徴記述子生成部により前記画像から特徴
    記述子を生成し、前記マッチング処理部により、前記特
    徴記述子に合致したレコードを前記データベースから検
    索し、前記端末に送信する検索サーバとを具備すること
    を特徴とする請求項１に記載の情報検索システム。
  4. 【請求項４】 前記画像取得手段は、動画を構成する複
    数フレームの画像を取得し、 前記特徴記述子生成部は、前記複数フレームの画像の各
    々に含まれる前記検索対象物の画像から特徴記述子を生
    成することを特徴とする請求項１〜３のいずれか１の請
    求項に記載の情報検索システム。
  5. 【請求項５】 前記画像取得手段は、外界の映像を撮影
    する撮像部であることを特徴とする請求項１〜４のいず
    れか１の請求項に記載の情報検索システム。
  6. 【請求項６】 前記画像取得手段は、ネットワークを介
    して画像を受信する受信手段であることを特徴とする請
    求項１〜４のいずれか１の請求項に記載の情報検索シス
    テム。
  7. 【請求項７】 前記端末は、モバイル端末であることを
    特徴とする請求項２または３に記載の情報検索システ
    ム。
  8. 【請求項８】 前記特徴記述子生成部は、検索条件を指
    定する検索制御データを出力し、 前記マッチング処理部は、該検索制御データに従って、
    情報検索を行うことを特徴とする請求項１〜７のいずれ
    か１の請求項に記載の情報検索システム。
  9. 【請求項９】 前記端末は、同期検索または非同期検索
    を指定する検索要求データを送信する手段を具備し、 前記検索サーバは、 前記同期検索を指定する検索要求データが受信された場
    合に、各フレームに対応した特徴記述子が得られる毎
    に、当該特徴記述子を検索キーとして情報検索を行って
    検索結果データを前記端末に送信し、 前記非同期検索を指定する検索要求データが受信された
    場合に、所定個数のフレームに対応した特徴記述子が受
    信されたときに、当該特徴記述子を検索キーとして情報
    検索を行って検索結果データを前記端末に送信すること
    を特徴とする請求項２または３に記載の情報検索システ
    ム。
  10. 【請求項１０】 前記端末は、検索範囲を指定する検索
    要求データを送信する手段を具備し、 前記検索サーバは、該検索要求データによって指定され
    た検索範囲内において情報検索を行うことを特徴とする
    請求項２または３に記載の情報検索システム。
  11. 【請求項１１】 前記特徴記述子生成部は、複数種類の
    特徴記述子からなる特徴記述子セットを検索対象物の画
    像から生成し、 前記マッチング処理部は、該特徴記述子セットに合致す
    る検索対象物に関するレコードを前記データベースから
    検索することを特徴とする請求項１〜１０のいずれか１
    の請求項に記載の情報検索システム。
  12. 【請求項１２】 前記特徴記述子生成部は、複数種類の
    特徴記述子セットのうちいずれかを選択し、この選択し
    た特徴記述子セットを検索対象物の画像から生成すると
    ともに、選択した特徴記述子セットを示す特徴記述子セ
    ット選択情報を前記マッチング処理部に通知することを
    特徴とする請求項１１に記載の情報検索システム。
  13. 【請求項１３】 前記特徴記述子生成部は、複数種類の
    特徴記述子を生成するとともに、各特徴記述子の優先度
    を決定し、 前記マッチング処理部は、各特徴記述子を各々の優先度
    に応じて検索キーとして用い、情報検索を行うことを特
    徴とする請求項１〜１２のいずれか１の請求項に記載の
    情報検索システム。
  14. 【請求項１４】 前記特徴記述子生成部は、各特徴記述
    子の記述精度に応じて各特徴記述子の優先度を決定する
    ことを特徴とする請求項１３に記載の情報検索システ
    ム。
  15. 【請求項１５】 前記特徴記述子生成部は、ユーザから
    の指定に基づいて各特徴記述子の優先度を決定すること
    を特徴とする請求項１３または１４に記載の情報検索シ
    ステム。
  16. 【請求項１６】 センサを具備し、前記マッチング処理
    部は、前記特徴記述子とともに、該センサから得られる
    センシングデータを検索キーとして情報検索を行うこと
    を特徴とする請求項１〜１５のいずれか１の請求項に記
    載の情報検索システム。
  17. 【請求項１７】 前記センサは、所在位置を示すセンシ
    ングデータを出力する位置センサであることを特徴とす
    る請求項１６に記載の情報検索システム。
  18. 【請求項１８】 前記特徴記述子生成部は、前記マッチ
    ング処理部とネゴシエーションを行うことにより検索対
    象物の画像から生成する特徴記述子を決定することを特
    徴とする請求項１〜１７のいずれか１の請求項に記載の
    情報検索システム。
  19. 【請求項１９】 取得した画像を符号化する画像符号化
    部を具備し、 前記特徴記述子生成部は、前記画像符号化部における画
    像の符号化過程において生成されるデータから特徴記述
    子を生成することを特徴とする請求項１〜１８のいずれ
    か１の請求項に記載の情報検索システム。
  20. 【請求項２０】 前記画像取得手段によって取得された
    画像中において検索対象物が占める物体領域を指定する
    手段を具備し、 前記画像符号化部は、特徴記述子の生成が行われると
    き、最初のフレームについてフレーム内符号化を実行
    し、その後のフレームについては動き補償を伴ったフレ
    ーム間予測符号化を繰り返し、 前記特徴記述子生成部は、フレーム内符号化過程におい
    て得られるデータから検索対象物に対応した特徴記述子
    を生成し、フレーム間予測符号化が行われるときにはフ
    レーム間予測符号化過程において得られる動きベクトル
    から検索対象物の物体領域を推定し、特徴記述子の生成
    を行うことを特徴とする請求項１〜１９のいずれか１の
    請求項に記載の情報検索システム。
  21. 【請求項２１】 前記画像取得手段によって取得された
    画像中において検索対象物が占める物体領域を指定する
    手段を具備し、 前記画像符号化部は、特徴記述子の生成が行われると
    き、フレーム内符号化を実行し、 前記特徴記述子生成部は、フレーム内符号化過程におい
    て得られるデータから検索対象物に対応した特徴記述子
    を生成することを特徴とする請求項１〜１９のいずれか
    １の請求項に記載の情報検索システム。
JP2000189982A 2000-06-23 2000-06-23 情報検索システム Pending JP2002007432A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2000189982A JP2002007432A (ja) 2000-06-23 2000-06-23 情報検索システム
US09/888,998 US20020019819A1 (en) 2000-06-23 2001-06-22 Information search system
EP01114755A EP1168195A2 (en) 2000-06-23 2001-06-22 Information search system
KR1020010035751A KR20020001567A (ko) 2000-06-23 2001-06-22 정보 검색 시스템
CN01124851A CN1331451A (zh) 2000-06-23 2001-06-23 信息检索系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000189982A JP2002007432A (ja) 2000-06-23 2000-06-23 情報検索システム

Publications (1)

Publication Number Publication Date
JP2002007432A true JP2002007432A (ja) 2002-01-11

Family

ID=18689533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000189982A Pending JP2002007432A (ja) 2000-06-23 2000-06-23 情報検索システム

Country Status (5)

Country Link
US (1) US20020019819A1 (ja)
EP (1) EP1168195A2 (ja)
JP (1) JP2002007432A (ja)
KR (1) KR20020001567A (ja)
CN (1) CN1331451A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100062A (ja) * 2003-09-24 2005-04-14 Sanyo Electric Co Ltd 認証装置および認証方法
KR100550594B1 (ko) * 2001-09-19 2006-02-09 가부시끼가이샤 도시바 위치정보 제시장치 및 위치정보 제시방법
WO2007043679A1 (ja) * 2005-10-14 2007-04-19 Sharp Kabushiki Kaisha 情報処理装置およびプログラム
JP2009048657A (ja) * 2002-12-06 2009-03-05 Nec Corp 画像記述システムにおける特徴量選択プログラム、特徴量選択方法および装置
JP4782123B2 (ja) * 2005-04-01 2011-09-28 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド カメラによりシーンに関して取得された映像中の移動物体を追跡する方法
JP2012008683A (ja) * 2010-06-23 2012-01-12 Nippon Telegr & Teleph Corp <Ntt> メタデータ付与装置、映像検索装置、方法およびプログラム
JP2013506342A (ja) * 2009-09-29 2013-02-21 インテル・コーポレーション 異種のコンテンツソースの関連付け
JP2013545186A (ja) * 2010-10-28 2013-12-19 クゥアルコム・インコーポレイテッド ネットワークにおける視覚探索の実行
US8655142B2 (en) 2006-04-14 2014-02-18 Lg Electronics Inc. Apparatus and method for display recording
JP2014531664A (ja) * 2011-09-20 2014-11-27 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ モバイル環境における漸進的パターンマッチングのための方法および装置
US9036925B2 (en) 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
WO2015114848A1 (ja) * 2014-01-31 2015-08-06 オリンパスイメージング株式会社 撮像装置
US10901575B2 (en) 2016-09-09 2021-01-26 Lsis Co., Ltd. Apparatus for editing graphic objects

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US8218873B2 (en) * 2000-11-06 2012-07-10 Nant Holdings Ip, Llc Object information derived from object images
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
JP3852750B2 (ja) * 2001-06-29 2006-12-06 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報検索システム、情報検索方法、コール・センタ・システムおよびサーバ
US20040006559A1 (en) * 2002-05-29 2004-01-08 Gange David M. System, apparatus, and method for user tunable and selectable searching of a database using a weigthted quantized feature vector
JP2004310561A (ja) * 2003-04-09 2004-11-04 Hitachi Ltd 情報検索方法、情報検索システム及び検索サーバ
US20050246324A1 (en) * 2004-04-30 2005-11-03 Nokia Inc. System and associated device, method, and computer program product for performing metadata-based searches
US7840081B2 (en) * 2004-09-23 2010-11-23 Mitsubishi Denki Kabushiki Kaisha Methods of representing and analysing images
JP4213112B2 (ja) * 2004-11-09 2009-01-21 シャープ株式会社 画像検索装置、画像形成装置、画像検索装置の制御方法、画像検索プログラムおよびコンピュータ読取り可能な記録媒体
JP4343120B2 (ja) * 2005-01-21 2009-10-14 ソニー株式会社 画像検索装置及び方法、並びにプログラム及びプログラム記録媒体
KR101127770B1 (ko) * 2005-09-02 2012-03-26 에스케이플래닛 주식회사 넌 트래픽 컨텐츠를 이용한 이미지 검색 서비스 제공 방법
US8023746B2 (en) * 2005-10-14 2011-09-20 Disney Enterprises, Inc. Systems and methods for decoding an image to determine a digital identifier
US7480422B2 (en) * 2005-10-14 2009-01-20 Disney Enterprises, Inc. Systems and methods for information content delivery relating to an object
US7801359B2 (en) * 2005-10-14 2010-09-21 Disney Enterprise, Inc. Systems and methods for obtaining information associated with an image
KR101233167B1 (ko) * 2006-04-14 2013-02-15 엘지전자 주식회사 녹화물 표시 장치 및 방법
US8909748B1 (en) 2006-06-22 2014-12-09 Emc Corporation Configurable views of context-relevant content
US8898264B1 (en) * 2006-06-22 2014-11-25 Emc Corporation Linking business objects and documents
US20090138356A1 (en) * 2006-08-24 2009-05-28 Skygrid, Inc. Systems and methods for content delivery
US8171237B2 (en) 2006-10-31 2012-05-01 Yahoo! Inc. Automatic association of reference data with primary process data based on time and shared identifier
WO2009136673A1 (en) * 2008-05-09 2009-11-12 Hankuk University Of Foreign Studies Research And Industry-University Cooperation Foundation Matching images with shape descriptors
US8406531B2 (en) * 2008-05-15 2013-03-26 Yahoo! Inc. Data access based on content of image recorded by a mobile device
US9753948B2 (en) 2008-05-27 2017-09-05 Match.Com, L.L.C. Face search in personals
US8098894B2 (en) 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8805110B2 (en) * 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
EP2370918B1 (en) * 2008-12-02 2019-05-22 Haskolinn I Reykjavik Multimedia identifier
US8195704B2 (en) * 2009-01-06 2012-06-05 International Business Machines Corporation Validation and correction in a distributed namespace
KR100971777B1 (ko) * 2009-09-16 2010-07-22 (주)올라웍스 파노라마 이미지 사이의 중복을 제거하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR100971778B1 (ko) * 2009-09-16 2010-07-22 (주)올라웍스 그래프 구조를 이용하여 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
CN102054112B (zh) * 2009-10-29 2014-03-19 腾讯科技（深圳）有限公司 推荐游戏的系统、方法及目录服务器
KR100970121B1 (ko) * 2009-12-24 2010-07-13 (주)올라웍스 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
KR101675785B1 (ko) * 2010-11-15 2016-11-14 삼성전자주식회사 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치
GB2485573A (en) * 2010-11-19 2012-05-23 Alan Geoffrey Rainer Identifying a Selected Region of Interest in Video Images, and providing Additional Information Relating to the Region of Interest
US8706711B2 (en) 2011-06-22 2014-04-22 Qualcomm Incorporated Descriptor storage and searches of k-dimensional trees
JPWO2013136399A1 (ja) * 2012-03-12 2015-07-30 パナソニックＩｐマネジメント株式会社 情報提供システム、情報提供装置、撮影装置、およびコンピュータプログラム
CN103780930A (zh) * 2012-10-25 2014-05-07 中兴通讯股份有限公司 内容切换方法及装置
CN106354735A (zh) 2015-07-22 2017-01-25 杭州海康威视数字技术股份有限公司 一种图像中目标的检索方法和装置
WO2018017059A1 (en) * 2016-07-19 2018-01-25 Hewlett-Packard Development Company, L.P. Image recognition and retrieval
CN109643515B (zh) 2016-08-15 2022-07-12 苹果公司 具有可变分辨率的显示器
US10690991B1 (en) 2016-09-02 2020-06-23 Apple Inc. Adjustable lens systems
US11200611B2 (en) * 2017-12-29 2021-12-14 Ebay Inc. Computer vision for unsuccessful queries and iterative search

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404920B1 (en) * 1996-09-09 2002-06-11 Hsu Shin-Yi System for generalizing objects and features in an image
US6445834B1 (en) * 1998-10-19 2002-09-03 Sony Corporation Modular image query system
US6373979B1 (en) * 1999-01-29 2002-04-16 Lg Electronics, Inc. System and method for determining a level of similarity among more than one image and a segmented data structure for enabling such determination

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100550594B1 (ko) * 2001-09-19 2006-02-09 가부시끼가이샤 도시바 위치정보 제시장치 및 위치정보 제시방법
JP2009048657A (ja) * 2002-12-06 2009-03-05 Nec Corp 画像記述システムにおける特徴量選択プログラム、特徴量選択方法および装置
JP4692784B2 (ja) * 2002-12-06 2011-06-01 日本電気株式会社 画像記述システムにおける特徴量選択プログラム、特徴量選択方法および装置
JP2005100062A (ja) * 2003-09-24 2005-04-14 Sanyo Electric Co Ltd 認証装置および認証方法
JP4782123B2 (ja) * 2005-04-01 2011-09-28 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド カメラによりシーンに関して取得された映像中の移動物体を追跡する方法
WO2007043679A1 (ja) * 2005-10-14 2007-04-19 Sharp Kabushiki Kaisha 情報処理装置およびプログラム
US8655142B2 (en) 2006-04-14 2014-02-18 Lg Electronics Inc. Apparatus and method for display recording
JP2013506342A (ja) * 2009-09-29 2013-02-21 インテル・コーポレーション 異種のコンテンツソースの関連付け
JP2012008683A (ja) * 2010-06-23 2012-01-12 Nippon Telegr & Teleph Corp <Ntt> メタデータ付与装置、映像検索装置、方法およびプログラム
JP2013545186A (ja) * 2010-10-28 2013-12-19 クゥアルコム・インコーポレイテッド ネットワークにおける視覚探索の実行
US9036925B2 (en) 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
JP2014531664A (ja) * 2011-09-20 2014-11-27 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ モバイル環境における漸進的パターンマッチングのための方法および装置
US9208392B2 (en) 2011-09-20 2015-12-08 Qualcomm Incorporated Methods and apparatus for progressive pattern matching in a mobile environment
WO2015114848A1 (ja) * 2014-01-31 2015-08-06 オリンパスイメージング株式会社 撮像装置
JP2016021748A (ja) * 2014-01-31 2016-02-04 オリンパス株式会社 撮像装置、撮像方法、撮像プログラム
US9894267B2 (en) 2014-01-31 2018-02-13 Olympus Corporation Imaging apparatus
US10116862B2 (en) 2014-01-31 2018-10-30 Olympus Corporation Imaging apparatus
US10367995B2 (en) 2014-01-31 2019-07-30 Olympus Corporation Imaging apparatus having control circuit that corresponds a region of first image data with second image data
US10901575B2 (en) 2016-09-09 2021-01-26 Lsis Co., Ltd. Apparatus for editing graphic objects

Also Published As

Publication number Publication date
US20020019819A1 (en) 2002-02-14
KR20020001567A (ko) 2002-01-09
EP1168195A2 (en) 2002-01-02
CN1331451A (zh) 2002-01-16

Similar Documents

Publication Publication Date Title
JP2002007432A (ja) 情報検索システム
US8019169B2 (en) Image coding apparatus, image decoding apparatus, image processing apparatus and methods thereof
JP4366023B2 (ja) ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法
JP4819380B2 (ja) 監視システム、撮像設定装置、制御方法、及びプログラム
CA2576690C (en) Method and device for motion estimation and compensation for panorama image
KR100492437B1 (ko) 화상 검색 시스템 및 화상 검색 방법
CA2576707C (en) Method and device for making virtual image region for motion estimation and compensation of panorama image
KR100424762B1 (ko) 영상 데이터 제공 시스템 및 방법
US9532069B2 (en) Video compression repository and model reuse
US8811661B2 (en) Monitoring camera system, monitoring camera, and monitoring camera control apparatus
EP1345447A2 (en) Motion image capture system incorporating metadata to facilitate transcoding
CN114157870A (zh) 编码方法、介质及电子设备
JP2003061038A (ja) 映像コンテンツ編集支援装置および映像コンテンツ編集支援方法
JP4770875B2 (ja) 画像特徴データ生成装置、画像特徴判定装置および画像検索システム
CN111800604A (zh) 基于枪球联动检测人形和人脸数据的方法及装置
KR101745370B1 (ko) 메인 영상 프레임을 이용한 영상 정보 제공 방법 및 시스템
US20140169679A1 (en) Video processing system, method of determining viewer preference, video processing apparatus, and control method
KR20090030869A (ko) 영상데이터를 이용한 응용서비스 제공 시스템 및 방법
KR100335434B1 (ko) 움직임 추정방법
JP2006018831A (ja) 画像検索システムおよび画像検索方法
US20200252637A1 (en) Moving image processor, moving image processing system, and moving image processing method
KR100855450B1 (ko) 동영상 객체의 모션 스타일 전이 방법 및 이에 적용되는장치
KR20040049424A (ko) 영상 저장 장치 및 그 관리방법
JPH10243389A (ja) 動画早見画像作成装置、動画早見画像作成方法および動画データ検索システム
Chen et al. Improving feature preservation in high efficiency video coding standard

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060516

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061128