JPH11175534A - Method and device for retrieving image and retrieval service utilizing the same - Google Patents
Method and device for retrieving image and retrieval service utilizing the sameInfo
- Publication number
- JPH11175534A JPH11175534A JP33675097A JP33675097A JPH11175534A JP H11175534 A JPH11175534 A JP H11175534A JP 33675097 A JP33675097 A JP 33675097A JP 33675097 A JP33675097 A JP 33675097A JP H11175534 A JPH11175534 A JP H11175534A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- data
- dimensional
- dimensional space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像検索方法およ
びその装置およびこれを利用した検索サービスに関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image search method and apparatus, and a search service using the same.
【０００２】[0002]
【従来の技術】従来の類似画像検索方法においては、デ
ータベースとして特徴量があらかじめ導出された画像デ
ータを有する計算機に質問画像を一つ入力し、質問画像
から算出される特徴量と画像データベースの各画像の特
徴量とを比較し、類似している順に順位づけして、その
順位にしたがって提示装置が許す範囲の枚数で使用者に
画像を提示する方法が一般的である。また、その提示さ
れた画像から適当な画像を再び選んで、これを質問画像
として、検索を繰り返す方法が用いられている。2. Description of the Related Art In a conventional similar image retrieval method, one query image is input to a computer having image data whose feature values are previously derived as a database, and each of a feature value calculated from the query image and each of the image database. A general method is to compare image feature amounts, rank the images in order of similarity, and present the images to the user according to the order with a number of images allowed by the presentation device. In addition, a method is used in which an appropriate image is again selected from the presented images, and the selected image is used as a question image to repeat the search.
【０００３】また、使用者に対する画像の提示手法に
は、複数の画像をなるべく見やすく表示するために、例
えば、特開平５−２８２３７５に示されるように、特徴
量の値に従って画面に縮小表示する工夫がなされている
が、これらの手法は、平面上の表示でしかない。[0003] Further, in the method of presenting images to the user, in order to display a plurality of images as easily as possible, for example, as shown in Japanese Patent Application Laid-Open No. 5-282375, a method of reducing and displaying the images on the screen according to the value of the feature amount However, these methods are only a display on a plane.
【０００４】[0004]
【発明が解決しようとする課題】従来の方法において
は、画像の類似性の判断は全て計算機に備えられる認識
システムに委ねられている。しかしながら、画像の認識
を多くの種類の画像からなるデータベースに対して計算
機の認識システムのみで類似性の判断を行うことは困難
な問題である。さらに、画像の類似性は、使用者の検索
目的によって異なるものであるから、計算機の認識シス
テムの判断は、その検索目的に対応した柔軟なものであ
る必要があるが、認識システムがそれに完全に応えるの
は困難である。In the conventional method, the determination of the similarity between images is entirely left to a recognition system provided in a computer. However, it is difficult to determine the similarity of a database composed of many types of images by using a computer recognition system alone. Furthermore, since the similarity of images differs depending on the search purpose of the user, the judgment of the recognition system of the computer needs to be flexible corresponding to the search purpose. It is difficult to respond.
【０００５】すなわち、上記類似画像検索方法における
類似画像提示、選択、検索の繰り返しでは、使用者が意
図している画像に近付いているのかどうかを知る手段は
ない。従って、マッチングする特徴量が適切でない場
合、検索を何度繰り返し行っても、同じ画像が交互に検
索されるなどの現象が生じ、使用者の意図を満足させら
れる画像にたどりつけないという検索の失敗が生じるケ
ースもある。[0005] That is, there is no means for knowing whether or not the user is approaching the intended image by repeating the similar image presentation, selection and search in the similar image search method. Therefore, if the matching feature amount is not appropriate, even if the search is repeated many times, the same image is alternately searched, and a phenomenon occurs, and the search fails to reach an image satisfying the user's intention. In some cases.
【０００６】このような失敗を避けるためには、扱って
いる画像データベースの内容に関する一覧性をできる限
り高く、使用者に提供すること、また、検索の進行具合
いがわかるような提示方法が望ましい。そのような目的
を持った提示手法として、上記従来の技術の項で示した
ように、平面上に一定の大きさを持った画像を多数配置
する手法があるが、平面上での提示のため、大量画像の
場合に画像間に重なりが起きやすく、一覧性の確保とい
う点で使用者への最大限の情報の提示を行える手法とは
なっていない。In order to avoid such a failure, it is desirable to provide a user with as high a listability as possible regarding the contents of the image database being handled, and to provide a presentation method that allows the user to know the progress of the search. As a presentation method with such a purpose, there is a method of arranging a large number of images having a certain size on a plane as shown in the above-mentioned conventional technique. However, in the case of a large number of images, the images are likely to overlap with each other, and this is not a method capable of presenting the maximum information to the user in terms of securing the listability.
【０００７】[0007]
【課題を解決するための手段】本発明は、画像の特徴量
から、各画像の空間座標を決定し、コンピュターグラフ
ィクス等の技術を用いて、３次元空間中に画像アイコン
を提示することによって、画像データベースの内容の一
覧性を向上させた検索システムを提供する。また、使用
者の意図に対応した視点の移動を可能にすることによっ
て、使用者がデータベース中を移動する感覚による探索
を実現する。またその手段により、検索の進行具合いが
分かる画像検索方法を提供する。According to the present invention, the spatial coordinates of each image are determined from the feature amount of the image, and an image icon is presented in a three-dimensional space using a technique such as computer graphics. Provided is a search system that improves the browsability of the contents of an image database. Further, by enabling the viewpoint to move in accordance with the user's intention, a search can be realized by feeling of the user moving in the database. In addition, the means provides an image search method that allows the user to understand the progress of the search.
【０００８】本発明では、画像データベース中の各画像
から、色分布、エッジ分布等の各種特徴量を抽出し、抽
出された各画像からの特徴量を用いて統計処理を行うこ
とによって、各画像の特徴量の成分を目的の３成分へ変
換する。その変換に基づいて、原特徴量を３つの特徴量
に変換し、それらを３次元座標とみなして、画像アイコ
ンを対応する３次元位置に配置したコンピュータグラフ
ィックスを生成する。According to the present invention, various features such as color distribution and edge distribution are extracted from each image in the image database, and statistical processing is performed using the features from the extracted images. Are converted into the target three components. Based on the conversion, the original feature amount is converted into three feature amounts, which are regarded as three-dimensional coordinates, and computer graphics in which image icons are arranged at corresponding three-dimensional positions are generated.
【０００９】そのコンピュータグラフィックスの画像を
使用者が見る視点を仮想カメラの視点と看做して、使用
者の意図に応じて仮想カメラ位置を自由に変更すること
によって、使用者が満足する画像に近づきやすくするこ
とができる。本発明では使用者に対する画像提示が効果
的に行われる、すなわち、多くの画像を一度に見ること
が出来るから、データベースの画像が比較的小数、例え
ば、一万画像程度であれば、質問画像による選択を省略
して、使用者がコンピュータグラフィックスの画像を見
る過程から始めることも可能である。[0009] The viewpoint that the user views the image of the computer graphics is regarded as the viewpoint of the virtual camera, and the position of the virtual camera is freely changed according to the user's intention. Can be easily approached. In the present invention, the image presentation to the user is effectively performed, that is, since many images can be viewed at a time, if the number of images in the database is relatively small, for example, about 10,000 images, the query image is used. It is also possible to omit the selection and start with the process of the user viewing the computer graphics image.
【００１０】[0010]
【発明の実施の形態】以下、本発明の実施例を説明す
る。Embodiments of the present invention will be described below.
【００１１】図１は、本発明の動作モジュール構成の概
念を示した図である。FIG. 1 is a diagram showing the concept of the operation module configuration of the present invention.
【００１２】画像データベース１０１中の各画像から、
原特徴量抽出モジュール１０２(プログラムモジュール)
によって、原特徴量が複数抽出され、原特徴量データベ
ース１０３に格納される。原特徴量としては、ＲＧＢも
しくはＹＩＱ、ＨＩＳ等の画像の各色情報毎の値に対す
る量子化されたヒストグラム、エッジ微分の量子化され
た方向ヒストグラム等を用いる。それらの特徴量は、さ
まざまな解像度、場所に渡って取り出して、それぞれ別
々の特徴量としてもよい。From each image in the image database 101,
Original feature extraction module 102 (program module)
Thus, a plurality of original feature values are extracted and stored in the original feature database 103. As the original feature amount, a quantized histogram for a value for each color information of an image such as RGB, YIQ, or HIS, a quantized direction histogram of edge differentiation, or the like is used. These feature amounts may be extracted over various resolutions and places, and may be respectively set as separate feature amounts.
【００１３】次に、それらの原特徴量から、描画特徴量
構成モジュール１０４(プログラムモジュール)によっ
て、描画のための特徴量（以後、描画特徴量と呼ぶ）を
再構成し、描画特徴量データベース１０５に格納する。
再構成のための手法として、例えば、画像の分類指標な
どの外的規準が与えられていない場合には、原特徴量の
主成分分析を行い、第１〜第３までの主成分を特徴量と
して用いる。Next, from the original feature values, a drawing feature value configuration module 104 (program module) reconstructs a feature value for drawing (hereinafter referred to as a drawing feature value), and a drawing feature value database 105. To be stored.
As a method for reconstruction, for example, when no external criterion such as a classification index of an image is given, a principal component analysis of the original feature amount is performed, and the first to third principal components are extracted from the feature amount. Used as
【００１４】一方、外的規準として、画像をいくつかの
クラスに分類する指標が与えられている場合には、原特
徴量の判別分析等を行い、各クラスに属する画像が良く
分離されて配置されるような、３つの特徴量への変換を
行う。また、画像に定量的な外的規準や、複数のキーワ
ード等が与えられている場合には、重回帰分析や正準相
関分析を用いて、定量的な外的規準をよく反映したもの
になるような、変換後の３つの特徴量を探す。それら個
別の統計解析手法を用いた実施例は後述する。On the other hand, when an index for classifying an image into several classes is given as an external criterion, a discriminant analysis of the original feature is performed, and images belonging to each class are well separated and arranged. Is converted into three feature values as shown in FIG. In addition, when a quantitative external criterion or multiple keywords are given to an image, multiple quantitative regression analysis or canonical correlation analysis is used to reflect the quantitative external criterion well. Such three converted feature amounts are searched for. Examples using these individual statistical analysis methods will be described later.
【００１５】可視化モジュール１０６(プログラムモジ
ュール)は、各画像ごとに算出された描画特徴量を用い
て、３次元座標値を算出し、それらを用いて、コンピュ
ータグラフィックスによって構成された空間中の対応す
る３次元位置に画像アイコンを添付する。画像アイコン
添付の詳細な方法は後述する。ここで、描画特徴量デー
タベース１０５に格納された画像データを可視化モジュ
ール１０６にて可視化を行う際に参照画像による検索等
が介在するが、本発明はこれを省略することも可能であ
る。The visualization module 106 (program module) calculates three-dimensional coordinate values using the drawing feature amounts calculated for each image, and uses the calculated three-dimensional coordinate values in a space defined by computer graphics. Attach an image icon to the three-dimensional position. The detailed method of attaching the image icon will be described later. Here, when visualizing the image data stored in the drawing feature amount database 105 by the visualization module 106, a search or the like using a reference image is involved, but the present invention can omit this.
【００１６】図２は、本発明の可視化システムの実施例
の概略を示した図であり、使用者の動きに連動して変化
する仮想空間を、視覚的に体験できる仕組みを伴ったも
のとされた例である。FIG. 2 is a diagram schematically showing an embodiment of the visualization system according to the present invention, which has a mechanism for visually experiencing a virtual space that changes in accordance with the movement of the user. This is an example.
【００１７】２００は計算機を示し、これには、たとえ
ば入力インターフェース装置２０３、中央処理装置２０
４、外部記憶装置２０５、２１１、出力インタフェイス
２０６および内部記憶装置２１０等が備えられ、システ
ムバス２１２で結合される。外部記憶装置２０５は図１
で示した各種のデータベース１０１、１０３および１０
５に対応する記憶装置である。外部記憶装置２１１は図
１で示したような処理および本発明の実施に必要なプロ
グラムが格納される。ワークエリア２１０はプログラム
が動くために必要なメモリエリアとして使用される。２
０１はグローブ型センサ装置、２０２は磁気センサ装置
であり、これらを通して使用者の手の動き、体の位置及
び方向が検出される。各センサの入力は入力インターフ
ェース装置２０３を介して、計算機２００に入力され
る。計算機２００に入力された各センサの出力に対応し
て算出されたコンピュタグラフィックスデータは映像化
されて出力インタフェイス２０６を介して映像表示装置
２０７に出力されて使用者に提示される。A computer 200 includes, for example, an input interface device 203 and a central processing unit 20.
4. External storage devices 205 and 211, an output interface 206, an internal storage device 210, and the like are provided, and are connected by a system bus 212. The external storage device 205 is shown in FIG.
Various databases 101, 103 and 10 indicated by
5 is a storage device corresponding to FIG. The external storage device 211 stores the processing as shown in FIG. 1 and programs necessary for implementing the present invention. The work area 210 is used as a memory area necessary for running a program. 2
Reference numeral 01 denotes a glove type sensor device, and reference numeral 202 denotes a magnetic sensor device, through which the movement of the user's hand, the position and the direction of the body are detected. The input of each sensor is input to the computer 200 via the input interface device 203. The computer graphics data calculated in accordance with the output of each sensor input to the computer 200 is visualized, output to the video display device 207 via the output interface 206, and presented to the user.
【００１８】本発明では、使用者は仮想空間上に提示さ
れた画像アイコン配置の奥行き感を体験できるように、
計算機２００が生成した画像アイコンを使用者の両眼に
適当な視差を伴って表示されるから、使用者にとって、
一覧性を高くすることが出来、使用者の動きに応じて表
示が変わることで検索の進行具合いがわかるような表示
となる。According to the present invention, the user can experience a sense of depth in the arrangement of image icons presented in the virtual space.
Since the image icon generated by the computer 200 is displayed with an appropriate parallax to both eyes of the user, for the user,
The listability can be improved, and the display changes according to the user's movement, so that the display can be used to understand the progress of the search.
【００１９】図３は、本発明によって使用者に提供され
る映像の例を示す概念図であり、使用者の動きに応じて
表示が変わっていることを示す例である。図３(ａ)、
(ｂ)および(ｃ)に示される表示枠３０７、３０８および
３０９は使用者３０４の視野を意味しており、各表示枠
には図３(ｂ)に代表して示した各画像を表す複数の画像
アイコン３０１、３０２、３０３等が対応する３次元特
徴量に従った座標を持つ位置に配置されている。図は、
具体的には後述するが、使用者３０４が正面を向いて見
た視野が表示枠３０８、使用者３０４が矢印３０５に示
すように正面から少し左を向いて見た視野が表示枠３０
７、および、使用者３０４が矢印３０６に示すように正
面から少し右を向いて見た視野が表示枠３０９に示され
る。FIG. 3 is a conceptual diagram showing an example of an image provided to a user according to the present invention, and shows an example in which the display changes according to the movement of the user. FIG. 3 (a),
The display frames 307, 308, and 309 shown in (b) and (c) represent the field of view of the user 304, and each display frame has a plurality of images representing each image shown in FIG. 3B. Are arranged at positions having coordinates according to the corresponding three-dimensional feature amounts. The figure shows
As will be described in detail later, the field of view seen by the user 304 facing the front is the display frame 308, and the field of view seen by the user 304 slightly left from the front as indicated by the arrow 305 is the display frame 30.
7 and the display frame 309 shows the field of view of the user 304 looking slightly right from the front as shown by the arrow 306.
【００２０】さらに、表示枠内に配置される画像アイコ
ンの大きさは、画像の総枚数と、その集中具合いから算
出して、過度な重なりが生じないように決定する。例え
ば、画像の総枚数がＭ、最大の２つ分散を持つ方向での
分散の大きさを算出した結果、Ｓ1， Ｓ2であった場
合、２次元に射影した時に、およそ、π×Ｓ1× Ｓ2中
にＭ個がばらまかれていると考え、各画像アイコンが、
π×Ｓ1×Ｓ2×Ｍの面積を持つように設定する（例え
ば、画像の縦横比が１：ｒの場合、縦√（π×Ｓ1×Ｓ2
／（Ｍ×ｒ））、横√（π×Ｓ1×Ｓ2×ｒ／Ｍ）となる
ようにする。Further, the size of the image icons arranged in the display frame is calculated based on the total number of images and the degree of concentration, and is determined so as not to cause excessive overlapping. For example, when the total number of images is M and the magnitude of the variance in the direction having the largest two variances is S 1 and S 2 , when projected two-dimensionally, approximately π × S considered are M are scattered in 1 × S 2, each image icon,
It is set to have an area of π × S 1 × S 2 × M (for example, when the aspect ratio of the image is 1: r, the vertical √ (π × S 1 × S 2
/ (M × r)) and horizontal √ (π × S 1 × S 2 × r / M).
【００２１】先にも述べたように、本発明では、コンピ
ュータグラフィックスの画像を使用者が見る視点を仮想
カメラのファインダの視点と看做して、使用者の意図に
応じて仮想カメラ位置を自由に変更することによって、
使用者が満足する画像に近づきやすくすることを意図し
ているから、上記表示枠に配置される画像アイコンの向
きは、空間固定であるよりは、そこに張り付けられた画
像が仮想カメラから見えやすい向きに配置するものとす
るのが良い。画像アイコンとして、厚みのない板状の物
体を用いる場合、その画像面の向きが空間座標に固定さ
れたままでは、仮想カメラの位置によっては厚みのない
方向を向けてしまう場合があり、一覧性が損なわれる。
その現象を回避するため、全ての画像の向きは、その面
が仮想カメラの視線の方向と常に垂直に向けるようにす
る。勿論、画像アイコンの向きの制御方法としては、全
ての画像面が仮想カメラの方向を向くようにする方法、
画像アイコンの縦方向を例えば（０，０，１）方向に固
定して、残りの（０，０，１）軸回りの１つの回転自由
度を仮想カメラの方向あるいは、仮想カメラの視線方向
に合わせるという方法などが可能である。画像アイコン
として体積を持った物体を用いる場合には、その物体の
各面に同じ画像を貼り付けることで、さまざまな方向か
らの見えを確保することも可能である。As described above, in the present invention, the viewpoint at which the user views the computer graphics image is regarded as the viewpoint of the viewfinder of the virtual camera, and the position of the virtual camera is determined according to the user's intention. By freely changing,
Since the intention is to make it easier for the user to approach a satisfactory image, the orientation of the image icon arranged in the display frame is easier to see from the virtual camera than the image fixed to the space, rather than being fixed in space. It is good to arrange in the direction. When a plate-like object with no thickness is used as an image icon, if the orientation of the image plane remains fixed at the spatial coordinates, the direction of the thickness may be turned depending on the position of the virtual camera. Is impaired.
To avoid this phenomenon, the orientation of all images is such that the plane is always perpendicular to the direction of the line of sight of the virtual camera. Of course, as a method of controlling the orientation of the image icon, a method in which all image planes face the direction of the virtual camera,
The vertical direction of the image icon is fixed to, for example, the (0, 0, 1) direction, and the remaining one rotational degree of freedom about the (0, 0, 1) axis is set in the direction of the virtual camera or the line of sight of the virtual camera. A method of matching is possible. When an object having a volume is used as an image icon, it is possible to secure the view from various directions by pasting the same image on each surface of the object.
【００２２】センサ２０１および２０２から入力インタ
ーフェイス装置２０３を介して使用者の意図を計算機２
００に入力する。たとえば、初めに使用者３０４に、図
３(b)の映像３０８が呈示されていたとき、矢印３０５
で示すように、使用者が頭を矢印３０５のように、左に
回転させると、これがセンサ２０２で検知されて、これ
に伴って図３(ａ)のように右側にシフトした視野の映像
３０７が提示される。逆に使用者が頭を矢印３０６のよ
うに、右に回転させると、これがセンサ２０２で検知さ
れて、これに伴って図３(ｃ)のように左側にシフトした
映像３０９が提示される。また、使用者が移動しなくて
も、使用者がセンサ２０１をつけた手によって視野を左
あるいは右にずらすように映像を右側あるいは左側に引
っ張るように手を動かすと、センサ２０１はこれを検知
し、計算機２００はこれに対応して、図３に示したと同
様に使用者に対する映像の表示を変更できる。The user's intention is calculated from the sensors 201 and 202 via the input interface device 203 by the computer 2.
Enter 00. For example, when the user 304 is first presented with the image 308 of FIG.
When the user turns his / her head to the left as indicated by an arrow 305, this is detected by the sensor 202, and the image 307 of the field of view 307 is shifted to the right as shown in FIG. Is presented. Conversely, when the user turns his / her head to the right as indicated by an arrow 306, this is detected by the sensor 202, and an image 309 shifted to the left as shown in FIG. Also, even if the user does not move, if the user moves his hand to pull the image to the right or left so as to shift the field of view to the left or right with the hand with the sensor 201, the sensor 201 detects this Then, the computer 200 can change the display of the video to the user in the same manner as shown in FIG.
【００２３】このように、本発明では、画像の見えは使
用者の意図に応じた視点の移動すなわち使用者の行為に
伴う仮想カメラの移動によって変化するものとなる。こ
の実施例における仮想カメラの移動方向とその大きさ
は、使用者の行動をセンスすることによって行うことが
出来、検知された使用者の行動（意図）に従って３次元
空間中の視点と視線の向き、画面角度を変化させること
ができる。勿論、仮想カメラの移動は、このように使用
者の移動を直接センスする代わりに、計算機のキーボー
ドあるいはマウス等の汎用の計算機の入力装置によるデ
ータの指定で行うことができるのは当然である。このよ
うにして、仮想カメラの移動を繰り返すことによって、
使用者は仮想カメラの移動に伴う異なった視点からの画
像を探索することができる。As described above, in the present invention, the appearance of an image is changed by the movement of the viewpoint according to the intention of the user, that is, the movement of the virtual camera accompanying the action of the user. The moving direction and the size of the virtual camera in this embodiment can be determined by sensing the user's action, and the viewpoint and the direction of the line of sight in the three-dimensional space are determined according to the detected action (intention) of the user. , The screen angle can be changed. It goes without saying that the movement of the virtual camera can be performed by designating data using a general-purpose computer input device such as a computer keyboard or a mouse, instead of directly sensing the movement of the user. In this way, by repeating the movement of the virtual camera,
The user can search for images from different viewpoints as the virtual camera moves.
【００２４】図４は、外的規準が与えられていない場合
の、原特徴量からの３つの特徴量再構成手法として、主
成分分析を用いた場合の計算手順を示すＰＡＤ図であ
る。FIG. 4 is a PAD diagram showing a calculation procedure when principal component analysis is used as a method for reconstructing three feature values from original feature values when no external standard is given.
【００２５】いま、画像がＭ枚あったとする。それらの
すべての画像に対し、各画像からステップ４０１でそれ
ぞれ複数の原特徴量を算出を行い、それらをまとめて原
特徴量ベクトルとする。以下、そのベクトルの次元をＮ
とする。次に、この原特徴量ベクトルから、分散共分散
行列を算出する。すなわち、画像総枚数をＭとし、ｋ番
目の画像からのＮ次元の原特徴量ベクトルを（数１）の
ように表わす。Now, assume that there are M images. For each of these images, a plurality of original feature amounts are calculated from each image in step 401, and these are combined into an original feature amount vector. Hereinafter, the dimension of the vector is expressed as N
And Next, a variance-covariance matrix is calculated from the original feature amount vector. That is, the total number of images is M, and the N-dimensional original feature amount vector from the k-th image is represented as (Equation 1).
【００２６】[0026]
【数１】 (Equation 1)
【００２７】それらの全ての画像による平均値をThe average value of all these images is
【００２８】[0028]
【数２】 (Equation 2)
【００２９】とすると、分散共分散行列Ｃは（数３）で
計算できる。Then, the variance-covariance matrix C can be calculated by (Equation 3).
【００３０】[0030]
【数３】 (Equation 3)
【００３１】次に、（数４）に示すように、ステップ４
０２で分散共分散行列Ｃの固有値ｌNext, as shown in (Equation 4), step 4
02, the eigenvalue l of the variance-covariance matrix C
【００３２】[0032]
【数４】 (Equation 4)
【００３３】と固有ベクトルｆを求め、ステップ４０３
でその固有値の大きさが大きいものから３つ選んだ
ｌ1、ｌ2、ｌ3にそれぞれ対応する３つの固有ベクトル
ｆ1、ｆ2、ｆ3を取り出す。Then, an eigenvector f is obtained, and step 403
Then, three eigenvectors f 1 , f 2 , and f 3 corresponding to l 1 , l 2 , and l 3 , respectively, are selected from those having the largest eigenvalues.
【００３４】次に、ステップ４０４で各画像の原特徴量
ベクトルを計算し、それら３つの固有ベクトル方向へ射
影した３次元ベクトルを描画特徴量とする。すなわち、
画像ｋの原特徴量をベクトルをｘk、変換後の描画特徴
量を（ｐ1 k，ｐ2 k，ｐ3 k）とすると、（数５）に示すよ
うになる。Next, in step 404, an original feature vector of each image is calculated, and a three-dimensional vector projected in the direction of these three eigenvectors is set as a drawing feature. That is,
Assuming that the original feature value of the image k is x k and the converted drawing feature value is (p 1 k , p 2 k , p 3 k ), Equation (5) is obtained.
【００３５】[0035]
【数５】 (Equation 5)
【００３６】これによって、ばらつきが最も大きい３つ
の特徴量が得られる。最後に、得られた値を３次元座標
とみなして、ステップ４０５で対応する位置に画像アイ
コンを配置する。As a result, three feature values having the largest variations are obtained. Finally, the obtained value is regarded as three-dimensional coordinates, and an image icon is arranged at a corresponding position in step 405.
【００３７】図５は、画像の複数の仮想カメラをもった
映像表示の例を示す図である。図の実施例は全部で４つ
の仮想カメラを用いた例である。使用者には、検索の当
初、図５（ａ）に示すように１〜４と番号づけが表示さ
れた全部の仮想カメラの映像を持った視野５０１の映像
が提示される。４つの仮想カメラからの表示が画面を区
切って表示され、かつ、それぞれの映像の左上に、仮想
カメラに対応する番号が付され、どのカメラの映像なの
か識別できるようになっている。また、各映像には、各
映像の相互関係を分かりやすくするため、他の仮想カメ
ラが映像の見えに入っている場合、それらの仮想カメラ
の位置と方向を示す視点アイコンが表示されている。例
えば、仮想カメラ１による映像１の中には、映像３の視
点アイコン５０２が、仮想カメラ３による映像３の中に
は映像２の視点アイコン５０３が、それぞれ表示されて
いる。それぞれの視点アイコンは、どの映像のものなの
かを識別するため、映像と同じ番号が付与され、表示さ
れる。映像２および４の視野には、仮想カメラが視野の
中に無いので、視点アイコンは表示されていない。FIG. 5 is a diagram showing an example of video display with a plurality of virtual cameras for images. The illustrated embodiment is an example in which four virtual cameras are used in all. At the beginning of the search, the user is presented with an image of the field of view 501 having the images of all the virtual cameras numbered 1 to 4 as shown in FIG. 5A. The display from the four virtual cameras is displayed by dividing the screen, and a number corresponding to the virtual camera is attached to the upper left of each image so that it is possible to identify which camera the image is from. In addition, in order to make the mutual relationship between the images easy to understand, a viewpoint icon indicating the position and direction of another virtual camera is displayed on each image when other virtual cameras are in the view of the image. For example, the viewpoint icon 502 of the image 3 is displayed in the image 1 of the virtual camera 1, and the viewpoint icon 503 of the image 2 is displayed in the image 3 of the virtual camera 3. Each viewpoint icon is assigned the same number as the video and is displayed in order to identify which video is the one of the video. The viewpoint icons are not displayed in the visual fields of the images 2 and 4 because the virtual camera is not in the visual field.
【００３８】使用者が、これらの映像の中から検索の意
図に合う（希望する）画像があると思うもの、例えば、
映像４を選択すると、図５（ｂ）に示す視野５０４のよ
うに選択した表示のみが視野全体に大きく表示される。
ここで、右上の領域５０５には、利用者が仮想カメラの
視点を移動してきた経路５０６が表示される。この視野
５０４の表示は、この視野の中で、使用者が意図してい
る画像を求めて仮想カメラの視点を移動させる操作をし
たときの視点の位置に応じて順次変更されるが、この仮
想カメラの各視点の位置はデータとして保存され、これ
が仮想カメラの視点の移動経路として表示される。した
がって、使用者は仮想カメラの視点を移動させて検索を
進めた後、少し前に見た視点での表示に戻って見直しを
したいときには、この移動経路に沿っていつでも探索過
程を逆行することが可能である。さらに、その視点の位
置から記録されている経路とは異なった方向に仮想カメ
ラの視点を移動させることも出来る。If the user thinks that there is an image that matches (desired with) the purpose of the search from these videos, for example,
When the image 4 is selected, only the selected display, such as the field of view 504 shown in FIG.
Here, in the upper right area 505, a path 506 from which the user has moved the viewpoint of the virtual camera is displayed. The display of the visual field 504 is sequentially changed according to the position of the viewpoint when the user performs an operation of moving the viewpoint of the virtual camera in search of an intended image in the visual field. The position of each viewpoint of the camera is stored as data, and this is displayed as a movement path of the viewpoint of the virtual camera. Therefore, if the user moves the viewpoint of the virtual camera and proceeds with the search, and then wants to return to the display at the viewpoint seen a while ago and review it, the search process can always be reversed along this movement route. It is possible. Furthermore, the viewpoint of the virtual camera can be moved in a direction different from the route recorded from the position of the viewpoint.
【００３９】それぞれの仮想カメラの視点と初期視線方
向の初期設定の例としては、仮想カメラ１は画像の分布
の重心（０，０，０）に置き、視線は（１，１，１）方
向、仮想カメラ２は、画像アイコンの分布の重心位置か
ら（１，１，１）の方向に、ほぼ全ての画像アイコンが
表示される程度画像群から十分離れた点に置き、視線は
（−１，−１，−１）方向、仮想カメラ３は、（１，−
１，０）の方向にやはり画像群から十分離れた点に置
き、視線（−１，１，０）方向、などと与える。残りの
自由度である画面の回転角度は、画面の水平方向が
（１，０，０）ベクトルと（０，１，０）で張られる面
に平行になるように設定する。As an example of initial setting of the viewpoint and the initial line-of-sight direction of each virtual camera, the virtual camera 1 is placed at the center of gravity (0, 0, 0) of the image distribution, and the line of sight is in the (1, 1, 1) direction. The virtual camera 2 is placed in a point (1,1,1) from the center of gravity of the distribution of the image icons at a point sufficiently far from the image group that almost all image icons are displayed, and the line of sight is (-1). , -1, -1) direction and the virtual camera 3 is (1,-
In the direction of (1, 0), it is also placed at a point sufficiently distant from the image group, and given as the direction of the line of sight (-1, 1, 0). The rotation angle of the screen, which is the remaining degree of freedom, is set so that the horizontal direction of the screen is parallel to the plane spanned by the (1,0,0) vector and (0,1,0).
【００４０】図６は、群分けに基づいた３次元特徴量に
よる画像提示の例を示す図である。図６（ａ）は視野６
０１内に、「山の画像」「街並の画像」「川の画像」と
いう群分けを最大にするという観点から３次元特徴量を
構成し、それぞれの特徴量を持つものをまとめて領域６
０３、６０４および６０５に表示した例の概念図を示し
たものである。また、図６（ｂ）の視野６０２は、人物
の区別という別の観点から人物毎に３次元に特徴量を再
構成し、領域６０６および６０７に表示した例の概念図
を示したものである。これらの描画の選択は、使用者の
指示に従って任意に切替えることができる。これらの選
択は、汎用のキーボード等の計算機入力装置を使用する
のが簡便であるが、図２の例と同様に、使用者の行動自
体をセンスして行うこともできる。FIG. 6 is a diagram showing an example of image presentation using three-dimensional feature values based on grouping. FIG. 6A shows the field of view 6.
01, three-dimensional feature amounts are configured from the viewpoint of maximizing the grouping of “mountain images”, “townscape images”, and “river images”, and those having the respective feature amounts are collectively stored in an area 6.
FIG. 3 shows conceptual diagrams of examples displayed at 03, 604 and 605. The field of view 602 in FIG. 6B is a conceptual diagram of an example in which feature amounts are reconstructed three-dimensionally for each person from another viewpoint of distinguishing persons and displayed in regions 606 and 607. . These drawing selections can be arbitrarily switched in accordance with a user's instruction. Although it is convenient to use a computer input device such as a general-purpose keyboard for these selections, it is also possible to sense the user's behavior itself as in the example of FIG.
【００４１】上記のような分離最大化特徴量構成手法と
して、例えば多群の線形判別分析を行う。その手法は、
あらかじめ群１〜Ｇに属することがわかっている画像が
それぞれＭ1〜ＭG個あったとしＭ1〜ＭG全部合わせてＭ
個とし、それらの画像からの原特徴量ベクトルを（数
６）とする。As a method of constructing the maximum separation feature amount as described above, for example, a multi-group linear discriminant analysis is performed. The method is
M suit M 1 ~M G all the images that are known to belong to the pre-group 1~G had M 1 ~M G pieces each
And an original feature vector from those images is represented by (Equation 6).
【００４２】[0042]
【数６】 (Equation 6)
【００４３】これらのデータから、各群毎の平均ベクト
ルＧ個および、全てのデータの平均ベクトル１個を順に
それぞれ、From these data, G average vectors of each group and one average vector of all data are sequentially obtained,
【００４４】[0044]
【数７】 (Equation 7)
【００４５】とし、各群の分散共分散行列Ｃ1〜ＣGとし
たとき、群内分散共分散行列Ｗおよび、群間分散共分散
行列Ｂを(数８)のように算出する。When the variance-covariance matrices C 1 to C G of each group are set, the intra-group variance-covariance matrix W and the inter-group variance-covariance matrix B are calculated as shown in (Equation 8).
【００４６】[0046]
【数８】 (Equation 8)
【００４７】ここで、添字ｔはベクトルの転置を表す。Here, the subscript t represents transposition of the vector.
【００４８】次に、（数９）に示す分散比Ｆ(ａ)の極大
値を与えるベクトルａを極大値の値の大きいものから順
に３つ求める。これらのベクトルは、行列の固有値問題
を解くことによって得られる。Next, three vectors a giving the maximum value of the dispersion ratio F (a) shown in (Equation 9) are obtained in order from the one having the largest value of the maximum value. These vectors are obtained by solving a matrix eigenvalue problem.
【００４９】[0049]
【数９】 (Equation 9)
【００５０】ここでも、添字ｔはベクトルの転置を表
す。Again, the suffix t represents the transposition of a vector.
【００５１】次に、主成分分析の場合と同様、各画像の
原特徴量ベクトルを、それら３つのベクトル方向へ射影
した３次元ベクトルを描画特徴量とする。これによっ
て、正規分布の仮定の下で、各群の画像が最も分離した
配置となる３つの特徴量が得られる。最後に、得られた
値を３次元座標とみなして、対応する位置に画像アイコ
ンを配置する。Next, as in the case of the principal component analysis, a three-dimensional vector obtained by projecting the original feature vector of each image in the three vector directions is used as a drawing feature. As a result, under the assumption of a normal distribution, three feature amounts are obtained in which the images of each group have the most separated arrangement. Finally, the obtained values are regarded as three-dimensional coordinates, and the image icons are arranged at corresponding positions.
【００５２】図７は、意味づけされた特徴量構成による
画像提示の例を示す図である。３つの特徴量として、各
画像がどの程度「やさしい」「悲しい」「緻密な」もの
なのかを表す成分による空間に画像を配置する。FIG. 7 is a diagram showing an example of image presentation using a meaningful feature amount configuration. As the three feature amounts, the images are arranged in a space based on components representing the degree of “easy”, “sad”, and “fine” of each image.
【００５３】上記のような意味づけされた特徴量を構成
する手法として、例えば重回帰分析を行う。すなわち、
多数の画像に対して、各々の画像がどの程度「やさし
い」「悲しい」「緻密な」と評価するか、被験者を用い
たアンケート等にて評価を採っておき、それを目的変数
とし、原特徴量を説明変数として、重回帰分析を行う。As a method of constructing the above-defined feature amounts, for example, multiple regression analysis is performed. That is,
For a number of images, how much each image evaluates to be "easy", "sad" or "dense" is evaluated by a questionnaire or the like using test subjects. Multiple regression analysis is performed using the quantity as an explanatory variable.
【００５４】いま、ｋ番目のデータに付与された３つの
目的変数ｙ1 k、ｙ2 k 、ｙ3 kをまとめて、ベクトルｙk＝
（ｙ1 k，ｙ2 k，ｙ3 k）と書く。このような目的変数のベ
クトルｙk が付与されているデータがＭ個あるとする。
外的基準が与えられていない場合と同様に、各画像から
のＮ次元の原特徴量ベクトルを（数１）で与え、これを
基礎に、Now, the three objective variables y 1 k , y 2 k , and y 3 k assigned to the k-th data are combined into a vector y k =
Write (y 1 k , y 2 k , y 3 k ). It is assumed that there are M pieces of data to which such a target variable vector y k is assigned.
As in the case where no external reference is given, an N-dimensional original feature vector from each image is given by (Equation 1), and based on this,
【００５５】[0055]
【数１０】 (Equation 10)
【００５６】を最大化するという規準によって、（数１
１）に示す変換式の係数３×Ｎ行列Ａ、および３次元ベ
クトルｂを決定する。According to the criterion of maximizing (Equation 1)
The coefficient 3 × N matrix A and the three-dimensional vector b of the conversion equation shown in 1) are determined.
【００５７】[0057]
【数１１】 [Equation 11]
【００５８】次に、求めた変換係数によって、各画像の
３次元の描画特徴量ベクトルｙを（数１１）に従って算
出し、得られた値を３次元座標とみなして、対応する位
置に画像アイコンを配置する。Next, a three-dimensional drawing feature vector y of each image is calculated according to (Equation 11) based on the obtained conversion coefficients, and the obtained value is regarded as three-dimensional coordinates, and the image icon is placed at the corresponding position. Place.
【００５９】上記の実施例は、いずれも、画像の特徴デ
ータを分析したり映像の生成等の必要なプログラムを備
えた計算機を使用者が直接使用して検索する例である
が、ネットワーク型の画像検索サービスの実施形態の中
で実現することが出来ることは当然であり、図８にその
場合の実施例の構成の一例を示す。図８においては、サ
ービスの提供装置(サーバー)とサービスの受け手側の装
置(クライアント８０１およびクライアント８０２とが
情報通信ネットワークを介して接続されているものとす
る。The above embodiments are all examples in which a user directly searches for a computer having a necessary program for analyzing feature data of an image or generating a video, etc. Naturally, it can be realized in the embodiment of the image search service, and FIG. 8 shows an example of the configuration of the embodiment in that case. In FIG. 8, it is assumed that a service providing apparatus (server) and a service receiving apparatus (client 801 and client 802) are connected via an information communication network.
【００６０】このため、サーバーは図２で説明したと同
様に構成されたシステムとこのシステムのシステムバス
２１２に通信手段８１０１よび情報通信ネットワークと
のインタフェイス８０３とが設けられたものとなる。図
を簡明にするため、サーバーについては他の装置の表示
を省略した。クライアント８０1において、８２１は出
力手段であり、ここではプリンタ等を意味する。８２２
はＣＰＵであり、後述するプログラムにしたがって処理
を実行する。８２３は入力手段であり、例えば、図２に
示すグローブ２０１あるいはキーボードおよびマウス等
である。８１１はシステムバスである。８３１は表示手
段であり、使用者が検索条件等を入力するためのＣＰＴ
等のいわゆるディスプレーと図２に示す使用者に立体視
を見せるための表示装置２０７の両方を意味するもので
ある。８３２は検索、表示インターフェイスプログラム
保持手段であり、例えば、図に示す外部記憶装置２１１
と同様にハードディスクが使用される。８２５はメモリ
の作業領域であり、図２におけるワークエリア２１０と
同様である。８２６は通信手段である。８０４はネット
ワークとのインターフェイスであり、クライアント８０
1とサーバーとを結合する。クライアント８０２は、こ
の例では同じ構成であるものとしてクライアント８０１
についてのみ具体的に例示し、クライアント８０２につ
いてはシステムバス８１２とインタフェイス８０５のみ
の表示として図を簡略化した。For this reason, the server has a system configured in the same manner as described with reference to FIG. 2, and a system bus 212 of this system provided with a communication means 8101 and an interface 803 with an information communication network. For the sake of simplicity, other devices are not shown for the server. In the client 801, reference numeral 821 denotes an output unit, which here means a printer or the like. 822
Denotes a CPU, which executes processing according to a program described later. An input unit 823 is, for example, the globe 201 or a keyboard and a mouse illustrated in FIG. 811 is a system bus. Reference numeral 831 denotes display means, which is a CPT for the user to input search conditions and the like.
And the like and a display device 207 for showing a user a stereoscopic view as shown in FIG. Reference numeral 832 denotes search and display interface program holding means, for example, the external storage device 211 shown in FIG.
A hard disk is used as in. A work area 825 is the same as the work area 210 in FIG. 826 is a communication means. Reference numeral 804 denotes an interface with the network.
Join 1 with the server. In this example, the client 802 has the same configuration as the client 801.
Is specifically illustrated, and the illustration of the client 802 is simplified by displaying only the system bus 812 and the interface 805.
【００６１】使用者は、まず、入力手段８２３を通して
検索サービスの利用開始要求コマンドを入力する。する
と、通信手段８２６により要求コマンドが通信ネットワ
ークを通じてサーバー側に伝達される。コマンドを受け
取ったサーバーは外部記憶装置２０５に保持されたデー
タの内、少なくとも図１で示した描画特徴量データベー
ス１０５に保持されているデータと使用者に立体視で見
せるために必要なプログラム(図１の可視化モジュール
１０６に相当する)を通信ネットワークを介してクライ
アント８０１に伝送する。クライアント８０１はこれら
のデータとプログラムを受け取ると、検索、表示インタ
ーフェイスプログラム保持手段８３２にこれを保持する
とともに、計算資源(ＣＰＵ８２２，作業領域８２５）
を使い、プログラムを動作させる。すると、先の実施例
で説明したように、使用者の要求に対応する画像データ
群が使用者に３次元に配置されて見せられる。使用者は
入力手段８２３を通して立体視の形で見せられている画
像群に対して、前記実施例のように検索を進めていくこ
とにより意図する画像に近づくことが出来る。この動作
はクライアント2についても同様である。The user first inputs a search service use start request command through the input means 823. Then, the request command is transmitted to the server side through the communication network by the communication means 826. Upon receiving the command, the server stores at least the data held in the drawing feature amount database 105 shown in FIG. 1 among the data held in the external storage device 205 and a program (see FIG. (Corresponding to one visualization module 106) to the client 801 via the communication network. Upon receiving these data and programs, the client 801 holds them in the search / display interface program holding means 832 and also calculates resources (CPU 822, work area 825).
Use to run the program. Then, as described in the previous embodiment, the image data group corresponding to the user's request is shown to the user in a three-dimensional arrangement. The user can approach the intended image by proceeding with the search for the image group shown in a stereoscopic view through the input unit 823 as in the above-described embodiment. This operation is the same for the client 2.
【００６２】この実施例の場合、クライアントからの検
索要求に対応してサーバーから必要なデータ、データベ
ースおよびプログラムを通信ネットワークを介してクラ
イアント１に伝送するものとしたが、これらをあらかじ
めクライアントに配布しておいても同様に動作させるも
のとすることができる。この場合、データベースはサー
ビス側で逐次更新されてより充実したものとされている
可能性があるから、検索要求でクライアントの装置が起
動したとき、データベースは通信装置を介して更新され
るものとするのが良い。In this embodiment, the necessary data, database, and program are transmitted from the server to the client 1 via the communication network in response to a search request from the client. In this case, the same operation can be performed. In this case, the database may be updated on the service side one by one, so that the database is updated through the communication device when the client device is started by the search request. Is good.
【００６３】こ図８の実施例のように、使用者が検索要
求を必要なときのみサーバ側に送って検索可能とすると
きは、使用者は図１における画像データベース１０１お
よび原特徴量データベース１０３、原特徴量抽出モジュ
ール１０２(プログラムモジュール)および描画特徴量構
成モジュール１０４(プログラムモジュール)に必要な記
憶装置を持つ必要が無い。これらの設備とデータベース
の整備はサーバ側でのみ行われれば良いから、使用者側
の装置は簡単な計算機とすることが出来るのみならず、
十分な検索サービスを受けることが出来る。As in the embodiment shown in FIG. 8, when the user sends a search request to the server only when it is necessary to make the search possible, the user can use the image database 101 and the original feature database 103 in FIG. It is not necessary to have a storage device necessary for the original feature extraction module 102 (program module) and the drawing feature configuration module 104 (program module). Since the maintenance of these facilities and the database only needs to be performed on the server side, not only the device on the user side can be a simple computer, but also
You can get enough search services.
【００６４】なお、このサービスをサーバから受ける形
のときは、サービス業者が検索をすることは基本的には
無いものといえるが、サービス業者は使用者からの問い
合わせに応えるためなどに検索の操作を必要とすること
が考えられるので、サービス業者のシステム構成として
は図２の実施例で説明したものと本質的に変わるもので
はない。When the service is received from the server, it can be said that there is basically no search performed by the service provider. However, the service provider performs a search operation in order to respond to an inquiry from the user. Therefore, the system configuration of the service provider is not essentially different from that described in the embodiment of FIG.
【００６５】[0065]
【発明の効果】本発明によれば、複数の画像が、画像内
容に基づいた類似性を保ったまま使用者に呈示される。
特に、３次元表示を行うことによって、使用者は最大限
の視覚効率で画像データベース中の画像を一望できる。
また、視点を自由に変更することによって、所望の画像
にたどりつくことが容易となる。その際、視点の変更が
使用者の行為あるいは指示により逐次行われることによ
って、探索過程の進行具合いが使用者にわかりやすく提
示できる。また、複数の視点を使い分け、お互いの位置
関係が相互に見えることによって、使用者が視点位置を
実感でき、詳細な探索が可能になる。According to the present invention, a plurality of images are presented to the user while maintaining the similarity based on the image contents.
In particular, by performing three-dimensional display, the user can overlook the images in the image database with maximum visual efficiency.
Further, by freely changing the viewpoint, it is easy to reach a desired image. At this time, since the viewpoint is sequentially changed by the action or instruction of the user, the progress of the search process can be presented to the user in an easy-to-understand manner. In addition, since a plurality of viewpoints are properly used and the mutual positional relationship can be seen from each other, the user can feel the position of the viewpoint and can perform a detailed search.
【図１】本発明の動作モジュール構成を示した図であ
る。FIG. 1 is a diagram showing an operation module configuration of the present invention.
【図２】使用者の動きに連動して変化する仮想空間を視
覚的に体験できる実施例の概略を示した図である。FIG. 2 is a diagram schematically illustrating an embodiment in which a virtual space that changes in accordance with the movement of a user can be visually experienced.
【図３】本発明によって使用者に提供される映像の例を
使用者の動きに応じて表示が変わる場合について示す概
念図である。FIG. 3 is a conceptual diagram showing an example of an image provided to a user according to the present invention in a case where a display changes according to a movement of the user.
【図４】外的規準が与えられていない場合の、原特徴量
からの３つの特徴量再構成手法として、主成分分析を用
いた場合の計算手順を示すＰＡＤ図である。FIG. 4 is a PAD diagram showing a calculation procedure when principal component analysis is used as a method for reconstructing three feature values from original feature values when no external criterion is given.
【図５】画像の複数の仮想カメラをもった映像表示の例
を示す図である。FIG. 5 is a diagram showing an example of video display of a picture with a plurality of virtual cameras.
【図６】群分けに基づいた３次元特徴量による画像提示
の例を示す図である。FIG. 6 is a diagram illustrating an example of image presentation using three-dimensional feature amounts based on grouping.
【図７】意味づけされた特徴量構成による画像情報可視
化の例を示す図である。FIG. 7 is a diagram illustrating an example of image information visualization using a feature amount configuration with meaning;
【図８】ネットワーク型の画像検索サービスの形を取っ
た実施例の構成の一例を示すずである。FIG. 8 is a diagram illustrating an example of a configuration of an embodiment in the form of a network-type image search service.
１０１：画像データベース １０２：原特徴量抽出モジュール(プログラムモジュー
ル) １０３：原特徴量データベース １０４：描画特徴量構成モジュール(プログラムモジュ
ール) １０５：描画特徴量データベース １０６：可視化モジュール(プログラムモジュール) ２００：計算機 ２０１：グローブ型センサ装置 ２０２：磁気センサ装置 ２０３：入力インターフェース装置 ２０４：中央処理装置 ２０５、２１１：外部記憶装置 ２０６：出力インタフェイス ２０７：映像表示装置 ２１０：内部記憶装置（ワークエリア） ２１２：システムバス ３０１、３０２、３０３：画像アイコン ３０４：使用者 ３０５および３０６：矢印 ３０７、３０８および３０９：表示枠。101: Image Database 102: Original Feature Extraction Module (Program Module) 103: Original Feature Database 104: Drawing Feature Configuration Module (Program Module) 105: Drawing Feature Database 106: Visualization Module (Program Module) 200: Computer 201 : Globe type sensor device 202: Magnetic sensor device 203: Input interface device 204: Central processing unit 205, 211: External storage device 206: Output interface 207: Video display device 210: Internal storage device (work area) 212: System bus 301, 302, 303: image icon 304: user 305 and 306: arrow 307, 308 and 309: display frame.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 廣池 敦 埼玉県比企郡鳩山町赤沼2520番地 株式会 社日立製作所基礎研究所内 (72)発明者 武者 義則 埼玉県比企郡鳩山町赤沼2520番地 株式会 社日立製作所基礎研究所内 ──────────────────────────────────────────────────の Continuing from the front page (72) Inventor Atsushi Hiroike 2520 Akanuma-cho, Hatoyama-cho, Hiki-gun, Saitama Prefecture Inside Hitachi, Ltd. Hitachi Research Laboratory
Claims (8)
の画像データのそれぞれの原特徴量を抽出すること、該
抽出された複数の原特徴量から描画のための特徴量を再
構成すること、該再構成された描画特徴量から３次元座
標値を算出すること、および、該算出された３次元座標
値を基礎に３次元空間中のその座標に該当する場所に各
画像データの画像またはそれらを縮小または簡約したパ
ターンである画像アイコンを提示することにより使用者
に画像を提示することを特徴とする画像検索方法。1. A method for preparing a plurality of image data, extracting respective original feature amounts of the plurality of image data, and reconstructing a feature amount for drawing from the extracted plurality of original feature amounts. Calculating a three-dimensional coordinate value from the reconstructed drawing feature amount; and obtaining an image of each image data at a location corresponding to the coordinate in a three-dimensional space based on the calculated three-dimensional coordinate value. Alternatively, an image retrieval method characterized by presenting an image to a user by presenting an image icon which is a reduced or simplified pattern thereof.
を使用者に表示するための見えを、使用者の行為の検出
または使用者の操作によって、３次元空間中を任意に移
動可能である請求項１記載の画像検索方法。2. The appearance for displaying a three-dimensional space in which the image icons are arranged to a user can be arbitrarily moved in the three-dimensional space by detecting a user's action or operating the user. The image search method according to claim 1.
からの３つの特徴量への再構成を、複数の画像の再構成
された描画特徴量を統計的に処理することによって決定
する請求項１記載の画像検索方法。3. Reconstructing the plurality of images from the reconstructed drawing feature amounts into three feature amounts by statistically processing the reconstructed drawing feature amounts of the plurality of images. The image search method according to claim 1.
を使用者に表示するための見えが使用者の行為の検出ま
たは使用者の操作によって３次元空間中を移動したと
き、この移動の経路がデータとして記録され、使用者の
操作によって前記３次元空間を該データを基礎に逆に移
動できる請求項２記載の画像検索方法。4. When the appearance for displaying the three-dimensional space in which the image icons are arranged to a user moves in the three-dimensional space by detecting a user's action or operating the user, a path of this movement. 3. The image search method according to claim 2, wherein is recorded as data, and the three-dimensional space can be reversely moved based on the data by a user operation.
を使用者に提示するための見えを複数用意し、それらの
見えからの表示を複数並べ、もしくは、切替えて表示可
能とし、各見えをもたらす視点と視線方向とを示す仮想
カメラを前記３次元空間に配置された各見え中に表示す
るとともに、各見え相互の関連を使用者が見ることがで
きるようにするとともに、見えの変化を各見えごとに前
記仮想カメラの変化によって行う請求項１記載の画像検
索方法。5. A plurality of appearances for presenting the image icons arranged in the three-dimensional space to a user are prepared, and a plurality of displays from those appearances are arranged or switched to be displayed, and each appearance is displayed. A virtual camera indicating the viewpoint to be provided and the direction of the line of sight is displayed in each view arranged in the three-dimensional space, and the user is able to see the relation between the respective views and change the change in the view. 2. The image search method according to claim 1, wherein the search is performed by changing the virtual camera for each appearance.
像アイコンの向きも一斉に変更して、画像アイコンを常
に使用者に対して同じ向き、あるいは、視点の方向を向
いて表示する請求項１または５記載の画像検索方法。6. The image icon is displayed in such a manner that the direction of the image icon is simultaneously changed in accordance with the change of the virtual camera, and the image icon is always directed to the user in the same direction or the direction of the viewpoint. The image search method according to 1 or 5.
ス、該複数の画像データのそれぞれの原特徴量を抽出す
るためのプログラム、該抽出された複数の原特徴量のデ
ータを格納したデータベース、該抽出された複数の原特
徴量のデータから描画のための特徴量を再構成するため
のプログラム、該再構成された描画特徴量データを格納
するデータベース、該再構成された描画特徴量から３次
元座標値を算出するプログラム、および、該算出された
３次元座標値を基礎に３次元空間中のその座標に該当す
る場所に各画像データの画像またはそれらを縮小または
簡約したパターンである画像アイコンを貼り付けて使用
者に提示する手段、使用者の行為または使用者の操作を
検出する手段を備え、検出された使用者の行為または操
作に応じて前記３次元空間に配置された画像アイコンが
３次元空間中を任意に移動可能であることを特徴とする
画像検索装置。7. A database storing a plurality of image data, a program for extracting original feature amounts of each of the plurality of image data, a database storing data of the extracted plurality of original feature amounts, For reconstructing a feature amount for drawing from the data of the plurality of original feature amounts, a database storing the reconstructed drawing feature amount data, and three-dimensional coordinates from the reconstructed drawing feature amount A program for calculating a value, and, based on the calculated three-dimensional coordinate value, paste an image of each image data or an image icon which is a pattern obtained by reducing or simplifying the image at a location corresponding to the coordinate in the three-dimensional space. Means for presenting to the user with the information, means for detecting the action of the user or the operation of the user. Image retrieval apparatus characterized by image icons disposed in the space can arbitrarily move in three-dimensional space.
ス、該複数の画像データのそれぞれの原特徴量を抽出す
るためのプログラム、該抽出された複数の原特徴量のデ
ータを格納したデータベース、該抽出された複数の原特
徴量のデータから描画のための特徴量を再構成するため
のプログラム、該再構成された描画特徴量データを格納
するデータベース、該再構成された描画特徴量から３次
元座標値を算出するプログラム、および、該算出された
３次元座標値を基礎に３次元空間中のその座標に該当す
る場所に各画像データの画像またはそれらを縮小または
簡約したパターンである画像アイコンを貼り付けたデー
タにするためのプログラムを備えたサーバが、使用者の
要求に応じて前記３次元座標値を基礎に３次元空間中の
その座標に該当する場所に各画像データの画像またはそ
れらを縮小または簡約したパターンである画像アイコン
を貼り付けたデータを使用者に提供することを特徴とす
る画像検索サービス。8. A database storing a plurality of image data, a program for extracting original feature amounts of each of the plurality of image data, a database storing data of the extracted plurality of original feature amounts, For reconstructing a feature amount for drawing from the data of the plurality of original feature amounts, a database storing the reconstructed drawing feature amount data, and three-dimensional coordinates from the reconstructed drawing feature amount A program for calculating a value, and, based on the calculated three-dimensional coordinate value, paste an image of each image data or an image icon which is a pattern obtained by reducing or simplifying the image at a location corresponding to the coordinate in the three-dimensional space. A server provided with a program for converting the data into attached data, based on the three-dimensional coordinate values, corresponding to the coordinates in a three-dimensional space according to a user's request Image search services and providing pasted data image icon to a user an image or reduced or simplified pattern their respective image data at.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33675097A JPH11175534A (en) | 1997-12-08 | 1997-12-08 | Method and device for retrieving image and retrieval service utilizing the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33675097A JPH11175534A (en) | 1997-12-08 | 1997-12-08 | Method and device for retrieving image and retrieval service utilizing the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11175534A true JPH11175534A (en) | 1999-07-02 |
Family
ID=18302378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33675097A Pending JPH11175534A (en) | 1997-12-08 | 1997-12-08 | Method and device for retrieving image and retrieval service utilizing the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11175534A (en) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001351127A (en) * | 2000-06-07 | 2001-12-21 | Sharp Corp | Data display system |
| JP2002024268A (en) * | 2000-06-12 | 2002-01-25 | Internatl Business Mach Corp <Ibm> | Method for retrieving and ranking document from database, computer system, and recording medium |
| JP2002236696A (en) * | 2001-02-08 | 2002-08-23 | Ougi Seiko Kk | Method for retrieving and displaying information |
| JP2003521070A (en) * | 2000-01-26 | 2003-07-08 | トリニ・カステリ，クリノ | Method and apparatus for cataloging and searching information |
| JP2004532458A (en) * | 2001-03-23 | 2004-10-21 | インテル コーポレイション | Image retrieval using distance measurement |
| JP2006309722A (en) * | 2005-03-31 | 2006-11-09 | National Institute Of Information & Communication Technology | Photograph search/browsing system and program, using three-dimensional model, and three-dimensional model display/operation system and program, using photograph |
| JP2007272468A (en) * | 2006-03-30 | 2007-10-18 | Sony Corp | Information processing device, method, and program |
| WO2008026302A1 (en) * | 2006-08-28 | 2008-03-06 | Sony Computer Entertainment Inc. | Contents display device and contents display method |
| WO2008114306A1 (en) * | 2007-02-19 | 2008-09-25 | Sony Computer Entertainment Inc. | Content space forming device, method thereof, computer, program and recording medium |
| JP2009104337A (en) * | 2007-10-22 | 2009-05-14 | Sony Computer Entertainment Inc | Data management device and method |
| US7583265B2 (en) | 2005-08-02 | 2009-09-01 | Seiko Epson Corporation | Image display method and device, image display system, server, program, and recording medium |
| JP2010055425A (en) * | 2008-08-28 | 2010-03-11 | Toshiba Corp | Display processing apparatus, program and display processing method |
| JP2011129057A (en) * | 2009-12-21 | 2011-06-30 | Toshiba Corp | Display device and display method |
| JP2011186565A (en) * | 2010-03-04 | 2011-09-22 | Sony Corp | Electronic equipment, image output method, and program |
| JP2012141514A (en) * | 2011-01-05 | 2012-07-26 | Sony Corp | Display control device, display control method, and program |
| US8244738B2 (en) | 2009-03-25 | 2012-08-14 | Kabushiki Kaisha Toshiba | Data display apparatus, method, and program |
| JP2012221035A (en) * | 2011-04-05 | 2012-11-12 | Nippon Telegr & Teleph Corp <Ntt> | Electronic information access system, method and program |
| US8780756B2 (en) | 2006-04-24 | 2014-07-15 | Sony Corporation | Image processing device and image processing method |
| US8949741B2 (en) | 2009-03-03 | 2015-02-03 | Kabushiki Kaisha Toshiba | Apparatus and method for presenting content |
| US9015633B2 (en) | 2007-10-22 | 2015-04-21 | Sony Corporation | Data management apparatus and method for organizing data elements into multiple categories for display |
| JP2019168962A (en) * | 2018-03-23 | 2019-10-03 | 株式会社コロプラ | Program, information processing device, and information processing method |
| JP2021015533A (en) * | 2019-07-16 | 2021-02-12 | 株式会社ジャパン・カレント | Image classification system and image classification method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05189484A (en) * | 1991-07-12 | 1993-07-30 | Toshiba Corp | Information retrieval device |
-
1997
- 1997-12-08 JP JP33675097A patent/JPH11175534A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05189484A (en) * | 1991-07-12 | 1993-07-30 | Toshiba Corp | Information retrieval device |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003521070A (en) * | 2000-01-26 | 2003-07-08 | トリニ・カステリ，クリノ | Method and apparatus for cataloging and searching information |
| JP2001351127A (en) * | 2000-06-07 | 2001-12-21 | Sharp Corp | Data display system |
| JP2002024268A (en) * | 2000-06-12 | 2002-01-25 | Internatl Business Mach Corp <Ibm> | Method for retrieving and ranking document from database, computer system, and recording medium |
| JP2002236696A (en) * | 2001-02-08 | 2002-08-23 | Ougi Seiko Kk | Method for retrieving and displaying information |
| JP2004532458A (en) * | 2001-03-23 | 2004-10-21 | インテル コーポレイション | Image retrieval using distance measurement |
| JP2006309722A (en) * | 2005-03-31 | 2006-11-09 | National Institute Of Information & Communication Technology | Photograph search/browsing system and program, using three-dimensional model, and three-dimensional model display/operation system and program, using photograph |
| US7583265B2 (en) | 2005-08-02 | 2009-09-01 | Seiko Epson Corporation | Image display method and device, image display system, server, program, and recording medium |
| JP2007272468A (en) * | 2006-03-30 | 2007-10-18 | Sony Corp | Information processing device, method, and program |
| US8780756B2 (en) | 2006-04-24 | 2014-07-15 | Sony Corporation | Image processing device and image processing method |
| WO2008026302A1 (en) * | 2006-08-28 | 2008-03-06 | Sony Computer Entertainment Inc. | Contents display device and contents display method |
| JPWO2008114306A1 (en) * | 2007-02-19 | 2010-06-24 | 株式会社ソニー・コンピュータエンタテインメント | Content space forming apparatus, method thereof, computer, program, and recording medium |
| JP5161867B2 (en) * | 2007-02-19 | 2013-03-13 | 株式会社ソニー・コンピュータエンタテインメント | Content space forming apparatus, method thereof, computer, program, and recording medium |
| WO2008114306A1 (en) * | 2007-02-19 | 2008-09-25 | Sony Computer Entertainment Inc. | Content space forming device, method thereof, computer, program and recording medium |
| US8700675B2 (en) | 2007-02-19 | 2014-04-15 | Sony Corporation | Contents space forming apparatus, method of the same, computer, program, and storage media |
| JP2009104337A (en) * | 2007-10-22 | 2009-05-14 | Sony Computer Entertainment Inc | Data management device and method |
| US9015633B2 (en) | 2007-10-22 | 2015-04-21 | Sony Corporation | Data management apparatus and method for organizing data elements into multiple categories for display |
| JP4675995B2 (en) * | 2008-08-28 | 2011-04-27 | 株式会社東芝 | Display processing apparatus, program, and display processing method |
| JP2010055425A (en) * | 2008-08-28 | 2010-03-11 | Toshiba Corp | Display processing apparatus, program and display processing method |
| US8527899B2 (en) | 2008-08-28 | 2013-09-03 | Kabushiki Kaisha Toshiba | Display processing apparatus, display processing method, and computer program product |
| US8949741B2 (en) | 2009-03-03 | 2015-02-03 | Kabushiki Kaisha Toshiba | Apparatus and method for presenting content |
| US8244738B2 (en) | 2009-03-25 | 2012-08-14 | Kabushiki Kaisha Toshiba | Data display apparatus, method, and program |
| JP2011129057A (en) * | 2009-12-21 | 2011-06-30 | Toshiba Corp | Display device and display method |
| JP2011186565A (en) * | 2010-03-04 | 2011-09-22 | Sony Corp | Electronic equipment, image output method, and program |
| JP2012141514A (en) * | 2011-01-05 | 2012-07-26 | Sony Corp | Display control device, display control method, and program |
| JP2012221035A (en) * | 2011-04-05 | 2012-11-12 | Nippon Telegr & Teleph Corp <Ntt> | Electronic information access system, method and program |
| JP2019168962A (en) * | 2018-03-23 | 2019-10-03 | 株式会社コロプラ | Program, information processing device, and information processing method |
| JP2021015533A (en) * | 2019-07-16 | 2021-02-12 | 株式会社ジャパン・カレント | Image classification system and image classification method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11175534A (en) | Method and device for retrieving image and retrieval service utilizing the same | |
| US10698558B2 (en) | Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity | |
| US10852902B2 (en) | Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity | |
| JP7098604B2 (en) | Automatic tagging of objects in a multi-view interactive digital media representation of a dynamic entity | |
| US20220012495A1 (en) | Visual feature tagging in multi-view interactive digital media representations | |
| Veas et al. | Extended overview techniques for outdoor augmented reality | |
| CN106030610B (en) | The real-time 3D gesture recognition and tracking system of mobile device | |
| WO2015073570A2 (en) | Analysis and manipulation of objects and layers in surround views | |
| CN103248810A (en) | Image processing device, image processing method, and program | |
| Wang et al. | Contextualized videos: Combining videos with environment models to support situational understanding | |
| EP4097711A1 (en) | Augmented reality map curation | |
| JP2021520577A (en) | Image processing methods and devices, electronic devices and storage media | |
| CN110569918A (en) | sample classification method and related device | |
| CN116097316A (en) | Object recognition neural network for modeless central prediction | |
| Cui et al. | Fusing surveillance videos and three‐dimensional scene: A mixed reality system | |
| CN114387679A (en) | System and method for realizing sight line estimation and attention analysis based on recursive convolutional neural network | |
| KR102388715B1 (en) | Apparatus for feeling to remodeling historic cites | |
| CN113766297B (en) | Video processing method, playing terminal and computer readable storage medium | |
| Öney et al. | Visual gaze labeling for augmented reality studies | |
| CN114445171A (en) | Product display method, device, medium and VR equipment | |
| CN114079801A (en) | On-demand overlaying of metadata onto video streams for intelligent video analytics | |
| Huynh et al. | Visual analytics of inherently noisy crowdsourced data on ultra high resolution displays | |
| US20240127538A1 (en) | Scene understanding using occupancy grids | |
| US20230316675A1 (en) | Traveling in time and space continuum | |
| CN116386103A (en) | Eye sight drop point estimation method, system and electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041019 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041209 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050223 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050228 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050325 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070413 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070416 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080421 |