JP2014211895A - Image processing apparatus and method, information processing apparatus and method, and program - Google Patents

Image processing apparatus and method, information processing apparatus and method, and program Download PDF

Info

Publication number
JP2014211895A
JP2014211895A JP2014135789A JP2014135789A JP2014211895A JP 2014211895 A JP2014211895 A JP 2014211895A JP 2014135789 A JP2014135789 A JP 2014135789A JP 2014135789 A JP2014135789 A JP 2014135789A JP 2014211895 A JP2014211895 A JP 2014211895A
Authority
JP
Japan
Prior art keywords
image
metadata
unit
color
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014135789A
Other languages
Japanese (ja)
Other versions
JP6109118B2 (en
Inventor
児嶋 環
Tamaki Kojima
環 児嶋
祥弘 山口
Sachihiro Yamaguchi
祥弘 山口
幹夫 酒本
Mikio Sakamoto
幹夫 酒本
竹松克浩
Katsuhiro Takematsu
克浩 竹松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014135789A priority Critical patent/JP6109118B2/en
Publication of JP2014211895A publication Critical patent/JP2014211895A/en
Application granted granted Critical
Publication of JP6109118B2 publication Critical patent/JP6109118B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06F17/30
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)

Abstract

PROBLEM TO BE SOLVED: To easily search for a desired image in a device with relatively small processing capability.SOLUTION: An image analysis unit analyzes an image by applying image processing to the image. A similar feature database stores data showing features of the image obtained as a result of the image processing of the image in the image analysis unit. A transmission control unit controls transmission of features to be recorded in a digital still camera for recording information related to the image as data of the same structure as structure of the similar feature database to the digital still camera. The present invention can be applied to a hard disk recorder or a game device mounting a CPU and a hard disk thereon to which a personal computer and the digital still camera can be connected.

Description

本開示は、画像処理装置および方法、情報処理装置および方法、並びにプログラムに関し、特に、画像の特徴を抽出できるようにした画像処理装置および方法、情報処理装置および方法、並びにプログラムに関する。   The present disclosure relates to an image processing device and method, an information processing device and method, and a program, and more particularly to an image processing device and method, an information processing device and method, and a program that can extract image features.

特許文献1に、デジタルスチルカメラなどの小型のCE(consumer electronic)機器において、顔を検出したり、画像の特徴を抽出し、画像を検索する機能が各種提案されている。   Patent Document 1 proposes various functions for detecting a face, extracting image features, and searching for an image in a small CE (consumer electronic) device such as a digital still camera.

特開2004−62868号公報JP 2004-62868 A

しかしながら、小型のCE機器においては、搭載されているプロセッサの能力が限られていることから、実際のところ、限られた範囲でしか画像の解析ができない。そのため、十分な解析ができず、それにより解析の結果の用途も、その精度も限られたものとなってしまう。   However, in a small CE device, since the capability of the installed processor is limited, the image can actually be analyzed only in a limited range. Therefore, sufficient analysis cannot be performed, thereby limiting the use of the analysis result and its accuracy.

顔の検出においては、解析に使用できる画像の解像度を極めて低くしなければ、解析に極めて長い時間が必要とされ、処理の時間が、ユーザが待つことのできる時間を大幅に超えてしまう。画像の解像度を極めて低くすると、小さく写った顔、特に、集合写真における顔を検出することができなくなり、集合写真を検索したいなどのニーズに応えることができない。   In face detection, unless the resolution of an image that can be used for analysis is extremely low, analysis requires a very long time, and the processing time greatly exceeds the time that the user can wait for. If the resolution of the image is extremely low, it is impossible to detect a small face, particularly a face in a group photo, and it is not possible to meet the needs such as searching for a group photo.

また、デジタルスチルカメラなどにこのような処理を行わせると、デジタルスチルカラに処理が集中するので、デジタルスチルカメラのプロセッサで消費される電力も増えて、デジタルスチルカメラの本来の目的である、撮影できる時間が短くなったり、撮影できる画像の枚数が減ってしまうなどの弊害も生じてしまう。   In addition, if such processing is performed on a digital still camera or the like, the processing is concentrated on the digital still camera, so the power consumed by the processor of the digital still camera is increased, which is the original purpose of the digital still camera. There are also disadvantages such as the time that can be taken is shortened and the number of images that can be taken is reduced.

一方で、デジタルスチルカメラの普及や、携帯電話機へのスチルカメラ機能の搭載が進み、日常生活の中で、写真(静止画像)を撮影する機会は着実に増えている。しかし、撮影した画像をデジタルスチルカメラ本体で閲覧しようとする場合に画像を検索する方法は、縮小した画像(いわゆる、サムネイル画像)を撮影順に表示し閲覧する程度でしかない。デジタルスチルカメラの検索の利便性は、パーソナルコンピュータなどで実行される画像管理プログラムにおける利便性に遙かに劣る。   On the other hand, with the spread of digital still cameras and the mounting of still camera functions in mobile phones, opportunities for taking photographs (still images) are steadily increasing in daily life. However, the method of searching for an image when the photographed image is to be browsed on the digital still camera body is only to display and browse reduced images (so-called thumbnail images) in the order of shooting. The convenience of searching for a digital still camera is far inferior to the convenience of an image management program executed on a personal computer or the like.

このようなことから、大容量のストレージおよび写真アルバム機能を備えるデジタルスチルカメラにおいて、使用者の見たい画像を簡単に探し出す機能が必要とされている。   For this reason, a digital still camera having a large-capacity storage and a photo album function is required to have a function of easily searching for an image that the user wants to see.

本発明は、このような状況に鑑みてなされたものであり、処理能力の比較的小さい機器において、簡単に、所望の画像を検索することができるようにするものである。   The present invention has been made in view of such a situation, and makes it possible to easily search for a desired image in a device having a relatively small processing capability.

本開示の第1の側面の画像処理装置は、画像を解析し、前記画像に含まれる顔の画像に関する顔情報を抽出する特徴抽出手段と、前記特徴抽出手段により前記画像から抽出された顔情報に基づき、前記画像に関連付けられたメタデータを生成する生成手段と、複数の前記画像にそれぞれ対応する縮小画像の中から選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータとを送信する送信手段とを備え、前記メタデータは、外部機器において、前記外部機器の使用者が前記メタデータに基づいて画像を検索することを可能とする構成である。   An image processing apparatus according to a first aspect of the present disclosure includes a feature extraction unit that analyzes an image and extracts face information related to a face image included in the image, and the face information extracted from the image by the feature extraction unit. Generating means for generating metadata associated with the image, a reduced image selected from the reduced images respectively corresponding to the plurality of images, and the image corresponding to the selected reduced image Transmission means for transmitting the associated metadata, and the metadata is configured to allow a user of the external device to search for an image based on the metadata in the external device.

前記送信手段は、前記外部機器の使用者により選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータとを送信することができる。   The transmission unit can transmit a reduced image selected by a user of the external device and metadata associated with the image corresponding to the selected reduced image.

前記特徴量抽出手段は、前記画像に含まれる色情報を抽出し、前記生成手段は、前記色情報に基づき、前記メタデータを生成し、前記メタデータは、前記画像の色に関する情報を含むことができる。   The feature amount extraction unit extracts color information included in the image, the generation unit generates the metadata based on the color information, and the metadata includes information on the color of the image. Can do.

前記メタデータは、前記外部機器において画像の検索に用いるメタデータが選択可能に構成される。   The metadata is configured such that metadata used for image search in the external device can be selected.

前記メタデータは、画像に含まれる顔の幅および高さの情報を含むことができる。   The metadata may include information on the width and height of a face included in the image.

前記メタデータは、文字列を含むコメント情報を含むことができる。   The metadata may include comment information including a character string.

前記メタデータは、グループを特定するデータであるグループIDを含むことができる。   The metadata may include a group ID that is data for specifying a group.

前記顔情報は、画像に含まれる顔の数の情報を含むことができる。   The face information may include information on the number of faces included in the image.

前記外部機器とネットワークを介して接続されている。   It is connected to the external device via a network.

本開示の第1の側面の画像処理方法は、画像処理装置が、画像を解析し、前記画像に含まれる顔の画像に関する顔情報を抽出し、前記画像から抽出された顔情報に基づき、前記画像に関連付けられたメタデータを生成し、複数の前記画像にそれぞれ対応する縮小画像の中から選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータとを送信し、前記メタデータは、外部機器において、前記外部機器の使用者が前記メタデータに基づいて画像を検索することを可能とする構成である。   In the image processing method according to the first aspect of the present disclosure, the image processing apparatus analyzes an image, extracts face information regarding a face image included in the image, and based on the face information extracted from the image, Metadata associated with an image is generated, and a reduced image selected from a plurality of reduced images respectively corresponding to the plurality of images, and metadata associated with the image corresponding to the selected reduced image The metadata transmitted is configured to allow a user of the external device to search for an image based on the metadata in the external device.

本開示の第1の側面のプログラムは、画像を解析し、前記画像に含まれる顔の画像に関する顔情報を抽出する特徴抽出手段と、前記特徴抽出手段により前記画像から抽出された顔情報に基づき、前記画像に関連付けられたメタデータを生成する生成手段と、複数の前記画像にそれぞれ対応する縮小画像の中から選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータとを送信する送信手段として、コンピュータを機能させ、前記メタデータは、外部機器において、前記外部機器の使用者が前記メタデータに基づいて画像を検索することを可能とする構成である。   A program according to a first aspect of the present disclosure is based on feature extraction means that analyzes an image and extracts face information related to a face image included in the image, and face information extracted from the image by the feature extraction means. Generation means for generating metadata associated with the image, a reduced image selected from the reduced images respectively corresponding to the plurality of images, and the image corresponding to the selected reduced image. The computer functions as a transmission means for transmitting the received metadata, and the metadata allows the user of the external device to search for an image based on the metadata in the external device. .

本開示の第2の側面の情報処理装置は、画像を解析し、前記画像から抽出された前記画像に含まれる顔の画像に関する顔情報に基づき、前記画像に関連付けられたメタデータを生成するサーバから、複数の前記画像にそれぞれ対応する縮小画像の中から選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータに基づいて、検索された画像を提示する提示手段とを備え、前記メタデータは、使用者が前記メタデータに基づいて画像を検索することを可能とする構成である。   An information processing apparatus according to a second aspect of the present disclosure is a server that analyzes an image and generates metadata associated with the image based on face information related to a face image included in the image extracted from the image The retrieved image is presented based on the reduced image selected from the reduced images respectively corresponding to the plurality of images and the metadata associated with the image corresponding to the selected reduced image. Presenting means, and the metadata is configured to allow a user to search for an image based on the metadata.

前記受信手段は、前記情報処理装置の使用者により選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータとを受信することができる。   The receiving unit can receive a reduced image selected by a user of the information processing apparatus and metadata associated with the image corresponding to the selected reduced image.

画像を撮像する画像撮像手段をさらに備えることができる。   An image capturing unit that captures an image can be further provided.

前記メタデータは、前記情報処理装置において、前記情報処理装置の使用者が前記特メタデータに基づいて画像を検索することを可能とする構成である。   The metadata is configured to allow a user of the information processing apparatus to search for an image based on the special metadata in the information processing apparatus.

前記メタデータは、前記サーバにおいて前記画像から抽出された色情報に基づき生成されたデータであり、前記画像の色に関する情報を含むことができる。   The metadata is data generated based on color information extracted from the image in the server, and may include information on the color of the image.

本開示の第2の側面の情報処理方法は、情報処理装置が、画像を解析し、前記画像から抽出された前記画像に含まれる顔の画像に関する顔情報に基づき、前記画像に関連付けられたメタデータを生成するサーバから、複数の前記画像にそれぞれ対応する縮小画像の中から選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータを受信し、受信された前記メタデータに基づいて、検索された画像を提示し、前記メタデータは、使用者が前記メタデータに基づいて画像を検索することを可能とする構成である。   In the information processing method according to the second aspect of the present disclosure, an information processing apparatus analyzes an image, and based on face information related to a face image included in the image extracted from the image, a meta information associated with the image. A reduced image selected from a reduced image corresponding to each of the plurality of images and metadata associated with the image corresponding to the selected reduced image are received from a server that generates data and received. The retrieved image is presented based on the metadata, and the metadata is configured to allow a user to retrieve an image based on the metadata.

本開示の第2の側面のプログラムは、サーバにより、画像が解析されて、前記画像から抽出された前記画像に含まれる顔の画像に関する顔情報に基づき生成された、前記画像に関連付けられたメタデータを受信する受信手段と、前記受信手段により受信された前記メタデータを記録する記録手段と、前記メタデータに関係付けられた画像を検索する検索手段と、前記検索手段により検索された画像を提示する提示手段として、コンピュータを機能させ、前記メタデータは、使用者が前記メタデータに基づいて画像を検索することを可能とする構成である。   The program according to the second aspect of the present disclosure includes a meta data associated with the image generated by analyzing an image by a server and generated based on face information regarding a face image included in the image extracted from the image. Receiving means for receiving data; recording means for recording the metadata received by the receiving means; search means for searching for an image related to the metadata; and images searched by the searching means A computer is made to function as the presenting means for presenting, and the metadata is configured to allow a user to search for an image based on the metadata.

本開示の第1の側面においては、画像が解析され、前記画像に含まれる顔の画像に関する顔情報が抽出され、前記画像から抽出された顔情報に基づき、前記画像に関連付けられたメタデータが生成される。また、複数の前記画像にそれぞれ対応する縮小画像の中から選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータとが送信される。そして、前記メタデータは、外部機器において、前記外部機器の使用者が前記メタデータに基づいて画像を検索することを可能とする構成である。   In the first aspect of the present disclosure, an image is analyzed, face information related to a face image included in the image is extracted, and metadata associated with the image is based on the face information extracted from the image. Generated. Further, a reduced image selected from the reduced images respectively corresponding to the plurality of images, and metadata associated with the image corresponding to the selected reduced image are transmitted. The metadata is configured to allow a user of the external device to search for an image based on the metadata in the external device.

本開示の第2の側面においては、画像を解析し、前記画像から抽出された前記画像に含まれる顔の画像に関する顔情報に基づき、前記画像に関連付けられたメタデータを生成するサーバから、複数の前記画像にそれぞれ対応する縮小画像の中から選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータが受信される。また、受信された前記メタデータに基づいて、検索された画像が提示される。そして、前記メタデータは、使用者が前記メタデータに基づいて画像を検索することを可能とする構成である。   In the second aspect of the present disclosure, a plurality of analysis results are obtained from a server that generates metadata associated with the image based on face information regarding the face image included in the image extracted from the image. A reduced image selected from the reduced images corresponding to the images, and metadata associated with the image corresponding to the selected reduced image. In addition, the retrieved image is presented based on the received metadata. The metadata is configured to allow a user to search for an image based on the metadata.

本開示によれば、機器において画像を検索することができる。特に、処理能力の比較的小さい機器において、簡単に、所望の画像を検索することができる。   According to the present disclosure, it is possible to search for an image in a device. In particular, it is possible to easily search for a desired image in a device having a relatively small processing capability.

本発明の一実施の形態の画像処理システムの構成を示す図である。It is a figure which shows the structure of the image processing system of one embodiment of this invention. デジタルスチルカメラの構成の例を示すブロック図である。It is a block diagram which shows the example of a structure of a digital still camera. サーバの構成の例を示すブロック図である。It is a block diagram which shows the example of a structure of a server. プログラムを実行するMPUにより実現される機能の構成を示す図である。It is a figure which shows the structure of the function implement | achieved by MPU which performs a program. プログラムを実行するCPUにより実現される機能の構成を示す図である。It is a figure which shows the structure of the function implement | achieved by CPU which performs a program. 画像解析部の構成の例を示すブロック図である。It is a block diagram which shows the example of a structure of an image analysis part. 撮影の処理を説明するフローチャートである。It is a flowchart explaining the process of imaging | photography. 本画像と縮小画像との関係付けを示す図である。It is a figure which shows correlation with a main image and a reduced image. バックアップの処理を説明するフローチャートである。It is a flowchart explaining the process of backup. 画像解析の処理を説明するフローチャートである。It is a flowchart explaining the process of image analysis. 色ヒストグラムの生成を説明する図である。It is a figure explaining the production | generation of a color histogram. 垂直成分ヒストグラムおよび水平成分ヒストグラムの生成を説明する図である。It is a figure explaining the production | generation of a vertical component histogram and a horizontal component histogram. 垂直成分ヒストグラムおよび水平成分ヒストグラムの生成を説明する図である。It is a figure explaining the production | generation of a vertical component histogram and a horizontal component histogram. 画像のバックアップとメタデータの書き戻しを説明する図である。It is a figure explaining the backup of an image, and the writing-back of metadata. メタデータの具体例を示す図である。It is a figure which shows the specific example of metadata. コンテンツデータベースまたはコンテンツデータベースに格納されているメタデータの構成を示す図である。It is a figure which shows the structure of the metadata stored in a content database or a content database. コンテンツデータベースに格納されているメタデータおよび類似特徴データベースに格納されているメタデータの構造を示す図である。It is a figure which shows the structure of the metadata stored in the metadata stored in the content database, and the similar feature database. 類似特徴アイテムの構造を示す図である。It is a figure which shows the structure of a similar feature item. 画像の取得の処理を説明するフローチャートである。It is a flowchart explaining the process of acquisition of an image. 画像の取得とメタデータの書き込みとを説明する図である。It is a figure explaining acquisition of an image and writing of metadata. 検索の処理を説明するフローチャートである。It is a flowchart explaining the process of a search. デジタルスチルカメラおよびサーバにおいて共通するメタデータと画像との関係付けを説明する図である。It is a figure explaining the correlation with the metadata and image which are common in a digital still camera and a server. 検索の処理を説明するフローチャートである。It is a flowchart explaining the process of a search. 縮小画像の表示の例を示す図である。It is a figure which shows the example of a display of a reduction image. 縮小画像の表示の例を示す図である。It is a figure which shows the example of a display of a reduction image. 類似する画像の検索の処理を説明するフローチャートである。It is a flowchart explaining the search process of a similar image. メタデータおよび距離の構造を示す図である。It is a figure which shows the structure of metadata and distance. コンテンツデータベース、類似結果データベース、および時間グループデータベースのそれぞれのレコードの関係付けを示す図である。It is a figure which shows the correlation of each record of a content database, a similar result database, and a time group database. 類似の順の表示の例を示す図である。It is a figure which shows the example of the display of a similar order. 類似の順の表示と、時系列の表示との切り替えを説明する図である。It is a figure explaining the switch of the display of a similar order, and the display of a time series. 検索の処理を説明するフローチャートである。It is a flowchart explaining the process of a search. 類似の順の表示と、時系列の表示との切り替えを説明する図である。It is a figure explaining the switch of the display of a similar order, and the display of a time series. 色特徴抽出部の構成の例を示すブロック図である。It is a block diagram which shows the example of a structure of a color feature extraction part. 関連度抽出部対応保持部に記録されている対応情報の例を示す図である。It is a figure which shows the example of the correspondence information currently recorded on the association degree extraction part correspondence holding | maintenance part. 抽出特徴保持部に記録される関連度の論理構造を示す図である。It is a figure which shows the logical structure of the relevance degree recorded on an extraction feature holding part. 色特徴抽出の処理の詳細を説明するフローチャートである。It is a flowchart explaining the detail of the process of color feature extraction. 関連度抽出の処理の詳細を説明するフローチャートである。It is a flowchart explaining the detail of the process of relevance extraction. RGBの色空間を示す図である。It is a figure which shows the RGB color space. L*a*b*空間を示す図である。It is a figure which shows L * a * b * space. 白のサブ空間および黒のサブ空間の例を示す図である。It is a figure which shows the example of a white subspace and a black subspace. 彩度境界および輝度境界の例を示す図である。It is a figure which shows the example of a saturation boundary and a brightness | luminance boundary. 緑、青、赤、および黄のそれぞれのサブ空間の例を示す図である。It is a figure which shows the example of each subspace of green, blue, red, and yellow. 関連度抽出処理の詳細の他の例を説明するフローチャートである。It is a flowchart explaining the other example of the detail of a relevance degree extraction process. 関連度抽出処理の詳細のさらに他の例を説明するフローチャートである。It is a flowchart explaining the further another example of the detail of a relevance degree extraction process. 判断データの例を示す図である。It is a figure which shows the example of judgment data. 関連度抽出処理の詳細のさらに他の例を説明するフローチャートである。It is a flowchart explaining the further another example of the detail of a relevance degree extraction process. 検索の処理を説明するフローチャートである。It is a flowchart explaining the process of a search. 検索におけるGUIの画像の例を示す図である。It is a figure which shows the example of the image of GUI in a search. 検索された画像の例を示す図である。It is a figure which shows the example of the searched image.

以下、本開示を実施するための形態(以下実施の形態とする)について説明する。   Hereinafter, modes for carrying out the present disclosure (hereinafter referred to as embodiments) will be described.

図1は、本発明の一実施の形態の画像処理システムの構成を示す図である。機器の一例であるデジタルスチルカメラ11は、画像を撮影して、撮影した画像を画像処理装置の一例であるサーバ13に供給する。機器の一例である携帯電話機12は、画像を撮影して、撮影した画像をサーバ13に供給する。この場合、デジタルスチルカメラ11および携帯電話機12は、撮影した画像から、その画像を縮小した縮小画像を生成する。   FIG. 1 is a diagram showing a configuration of an image processing system according to an embodiment of the present invention. A digital still camera 11 that is an example of a device captures an image and supplies the captured image to a server 13 that is an example of an image processing apparatus. The mobile phone 12, which is an example of a device, captures an image and supplies the captured image to the server 13. In this case, the digital still camera 11 and the mobile phone 12 generate a reduced image obtained by reducing the image from the captured image.

なお、デジタルスチルカメラ11、携帯電話機12、またはサーバ13は、表示制御装置の一例でもある。   The digital still camera 11, the mobile phone 12, or the server 13 is also an example of a display control device.

サーバ13は、パーソナルコンピュータ、据え置き型のレコーダ、ゲーム機器、または専用機器などからなり、デジタルスチルカメラ11または携帯電話機12から供給された画像を記録する。また、サーバ13は、デジタルスチルカメラ11または携帯電話機12から供給された画像を画像処理し、画像の特徴を抽出する。サーバ13は、その結果得られたデータをデジタルスチルカメラ11または携帯電話機12に供給する。   The server 13 includes a personal computer, a stationary recorder, a game device, a dedicated device, or the like, and records an image supplied from the digital still camera 11 or the mobile phone 12. In addition, the server 13 performs image processing on an image supplied from the digital still camera 11 or the mobile phone 12 and extracts image features. The server 13 supplies the data obtained as a result to the digital still camera 11 or the mobile phone 12.

さらに、サーバ13は、ネットワーク14を介してWebサーバ15−1またはWebサーバ15−2から画像を取得して、取得した画像を記録する。また、サーバ13は、Webサーバ15−1またはWebサーバ15−2から取得した画像を画像処理するとともに、取得した画像から、その画像を縮小した縮小画像を生成する。サーバ13は、画像処理の結果得られたデータを、縮小画像と共にデジタルスチルカメラ11または携帯電話機12に供給する。   Furthermore, the server 13 acquires an image from the Web server 15-1 or the Web server 15-2 via the network 14, and records the acquired image. In addition, the server 13 performs image processing on the image acquired from the Web server 15-1 or the Web server 15-2, and generates a reduced image obtained by reducing the image from the acquired image. The server 13 supplies the data obtained as a result of the image processing to the digital still camera 11 or the mobile phone 12 together with the reduced image.

デジタルスチルカメラ11または携帯電話機12は、サーバ13から供給された、画像処理の結果得られたデータを基に、記録している画像から、所望の画像を検索する。また、サーバ13は、画像処理の結果得られたデータを基に、記録している画像から、所望の画像を検索する。   The digital still camera 11 or the mobile phone 12 searches for a desired image from the recorded images based on the data obtained as a result of the image processing supplied from the server 13. Further, the server 13 searches for a desired image from the recorded images based on the data obtained as a result of the image processing.

デジタルスチルカメラ11、携帯電話機12、およびサーバ13において、画像処理の結果得られた同じデータを基に画像を検索するので、所望の画像が同様に検索できる。   Since the digital still camera 11, the mobile phone 12, and the server 13 search for an image based on the same data obtained as a result of image processing, a desired image can be similarly searched.

図2は、デジタルスチルカメラ11の構成を示すブロック図である。デジタルスチルカメラ11は、撮影レンズ31、絞り32、撮像デバイス33、アナログ信号処理部34、A/D(Analog to Digital)コンバータ35、デジタル信号処理部36、MPU(Micro Processing Unit)37、メモリ38、D/A(Digital to Analog)コンバータ39、モニタ40、圧縮伸張部41、カードI/F(インタフェース)42、メモリカード43、AF(auto focus)モータズームモータ44、コントロール回路45、EEPROM(Electrically Erasable Programmable Read Only Memory)46、通信部47、通信部48、および入力部49から構成される。   FIG. 2 is a block diagram showing a configuration of the digital still camera 11. The digital still camera 11 includes a photographing lens 31, an aperture 32, an imaging device 33, an analog signal processing unit 34, an A / D (Analog to Digital) converter 35, a digital signal processing unit 36, an MPU (Micro Processing Unit) 37, and a memory 38. , D / A (Digital to Analog) converter 39, monitor 40, compression / decompression unit 41, card I / F (interface) 42, memory card 43, AF (auto focus) motor zoom motor 44, control circuit 45, EEPROM (Electrically (Erasable Programmable Read Only Memory) 46, communication unit 47, communication unit 48, and input unit 49.

撮影レンズ31は、絞り32を介して、被写体の光学的な像を撮像デバイス33の受光面に結像させる。撮影レンズ31は、1枚又は複数枚のレンズで構成される。撮影レンズ31は、単焦点レンズでもよいし、ズームレンズ等の焦点距離可変のものでもよい。   The photographing lens 31 forms an optical image of the subject on the light receiving surface of the imaging device 33 via the diaphragm 32. The photographing lens 31 is composed of one or a plurality of lenses. The taking lens 31 may be a single focus lens or a variable focal length such as a zoom lens.

絞り32は、撮像デバイス33の受光面に結像される光学的な像の光量を調整する。   The diaphragm 32 adjusts the amount of optical image formed on the light receiving surface of the imaging device 33.

撮像デバイス33は、CCD(Charge Coupled Device)またはCMOS(complementary metal oxide semiconductor)センサなどからなり、受光面に結像した光学的な像を電気信号に変換する。撮像デバイス33は、変換により得られた電気信号をアナログ信号処理部34に供給する。   The imaging device 33 includes a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) sensor, and converts an optical image formed on the light receiving surface into an electrical signal. The imaging device 33 supplies the electrical signal obtained by the conversion to the analog signal processing unit 34.

アナログ信号処理部34は、サンプリングホールド回路、色分離回路、ゲイン調整回路等を含み、撮像デバイス33からの電気信号に相関二重サンプリング(CDS)処理を適用すると共に、電気信号をR,G,Bの各色信号に分離し、各色信号の信号レベルを調整(プリホワイトバランス処理)する。アナログ信号処理部34は、色信号をA/Dコンバータ35に供給する。   The analog signal processing unit 34 includes a sampling hold circuit, a color separation circuit, a gain adjustment circuit, and the like, applies a correlated double sampling (CDS) process to the electrical signal from the imaging device 33, and converts the electrical signal to R, G, Separated into B color signals, the signal level of each color signal is adjusted (pre-white balance processing). The analog signal processing unit 34 supplies the color signal to the A / D converter 35.

A/Dコンバータ35は、色信号のそれぞれをデジタル信号に変換し、デジタル信号をデジタル信号処理部36に供給する。   The A / D converter 35 converts each color signal into a digital signal and supplies the digital signal to the digital signal processing unit 36.

デジタル信号処理部36は、輝度・色差信号生成回路、シャープネス補正回路、コントラスト補正回路、ホワイトバランス補正回路等を含み、MPU37の制御に基づいて、デジタル信号を、輝度信号(Y信号)および色差信号(Cr,Cb信号)に変換する。デジタル信号処理部36は、各種の処理を適用したデジタル信号をメモリ38に供給する。   The digital signal processing unit 36 includes a luminance / color difference signal generation circuit, a sharpness correction circuit, a contrast correction circuit, a white balance correction circuit, and the like. Based on the control of the MPU 37, the digital signal is converted into a luminance signal (Y signal) and a color difference signal. (Cr, Cb signal). The digital signal processing unit 36 supplies a digital signal to which various processes are applied to the memory 38.

MPU37は、組込型のプロセッサであり、プログラムを実行して、デジタルスチルカメラ11の全体を制御する。   The MPU 37 is an embedded processor, and executes a program to control the entire digital still camera 11.

メモリ38は、DRAM(Dynamic Random Access Memory)などからなり、MPU37の制御に基づいて、デジタル信号処理部36から供給されたデジタル信号を一時的に記憶する。D/Aコンバータ39は、メモリ38からデジタル信号を読み出して、読み出したデジタル信号をアナログ信号に変換して、モニタ40に供給する。モニタ40は、LCD(Liquid Crystal Display)または有機EL(Electro Luminescence)ディスプレイなどからなり、D/Aコンバータ39から供給されたアナログ信号に基づいて画像を表示する。   The memory 38 includes a DRAM (Dynamic Random Access Memory) or the like, and temporarily stores the digital signal supplied from the digital signal processing unit 36 based on the control of the MPU 37. The D / A converter 39 reads a digital signal from the memory 38, converts the read digital signal into an analog signal, and supplies the analog signal to the monitor 40. The monitor 40 includes an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display, and displays an image based on an analog signal supplied from the D / A converter 39.

撮像デバイス33から出力される電気信号によってメモリ38のデジタル信号が定期的に書き換えられ、そのデジタル信号から生成されるアナログ信号がモニタ40に供給されることにより、撮像デバイス33に結像される画像がリアルタイムにモニタ40に表示される。   The digital signal in the memory 38 is periodically rewritten by the electrical signal output from the imaging device 33, and the analog signal generated from the digital signal is supplied to the monitor 40, whereby the image formed on the imaging device 33. Is displayed on the monitor 40 in real time.

モニタ40にGUI(Graphical User Interface)の画像を表示させる場合には、MPU37は、GUIの画像を表示させるための画像データをメモリ38に書き込んで、D/Aコンバータ39に画像データをアナログ信号に変換させ、モニタ40に、そのアナログ信号に基づいてGUIの画像を表示させる。   When displaying a GUI (Graphical User Interface) image on the monitor 40, the MPU 37 writes image data for displaying the GUI image in the memory 38, and the D / A converter 39 converts the image data into an analog signal. The GUI image is displayed on the monitor 40 based on the analog signal.

圧縮伸張部41は、MPU37の制御の基に、メモリ38に記憶されているデジタル信号をJPEG(Joint Photographic Experts Group)またはJPEG2000などの方式で符号化する。圧縮伸張部41は、符号化により得られた画像データを、カードI/F(インタフェース)42を介してメモリカード43に供給する。メモリカード43は、半導体メモリまたはHDD(Hard Disk Drive)などを内蔵し、着脱自在に、デジタルスチルカメラ11に装着され、デジタルスチルカメラ11に装着されている場合、カードI/F42と電気的に接続する。メモリカード43は、カードI/F42から供給される画像データを記録する。   Under the control of the MPU 37, the compression / decompression unit 41 encodes the digital signal stored in the memory 38 using a scheme such as JPEG (Joint Photographic Experts Group) or JPEG2000. The compression / decompression unit 41 supplies the image data obtained by the encoding to the memory card 43 via the card I / F (interface) 42. The memory card 43 has a built-in semiconductor memory or HDD (Hard Disk Drive) and is detachably attached to the digital still camera 11. When the memory card 43 is attached to the digital still camera 11, the memory card 43 is electrically connected to the card I / F 42. Connecting. The memory card 43 records the image data supplied from the card I / F 42.

カードI/F42は、MPU37からの指令に応じて、電気的に接続されているメモリカード43への画像データの記録、およびメモリカード43からの画像データの読み出しを制御する。   The card I / F 42 controls recording of image data to the electrically connected memory card 43 and reading of image data from the memory card 43 in accordance with a command from the MPU 37.

メモリカード43に記録されている画像データは、カードI/F42を介して、読み出されて、圧縮伸張部41において、デジタル信号に復号される。   The image data recorded on the memory card 43 is read out via the card I / F 42 and decoded into a digital signal by the compression / decompression unit 41.

AFモータズームモータ44は、コントロール回路45によって駆動され、撮影レンズ31の焦点や焦点距離を変更するように、撮像デバイス33に対して撮影レンズ31(を構成するレンズ)を移動させる。コントロール回路45は、MPU37からの指令に応じて、AFモータズームモータ44を駆動するとともに、絞り32や撮像デバイス33を制御する。   The AF motor zoom motor 44 is driven by the control circuit 45 and moves the photographic lens 31 (a lens constituting the photographic lens 31) with respect to the imaging device 33 so as to change the focal point and focal length of the photographic lens 31. The control circuit 45 drives the AF motor zoom motor 44 and controls the aperture 32 and the imaging device 33 in accordance with a command from the MPU 37.

EEPROM46は、MPU37により実行されるプログラムや各種のデータを記憶する。   The EEPROM 46 stores programs executed by the MPU 37 and various data.

通信部47は、USB(Universal Serial Bus)またはIEEE(Institute of Electrical and Electronic Engineers)1394などの規格に準拠するように構成され、有線の伝送媒体を介して、サーバ13と各種のデータを送受信する。   The communication unit 47 is configured to comply with a standard such as USB (Universal Serial Bus) or IEEE (Institute of Electrical and Electronic Engineers) 1394, and transmits / receives various data to / from the server 13 via a wired transmission medium. .

通信部48は、IEEE802.11a、IEEE802.11b、若しくはIEEE802.11g、またはブルートゥースなどの規格に準拠するように構成され、無線の伝送媒体を介して、サーバ13と各種のデータを送受信する。   The communication unit 48 is configured to comply with a standard such as IEEE802.11a, IEEE802.11b, IEEE802.11g, or Bluetooth, and transmits / receives various data to / from the server 13 via a wireless transmission medium.

入力部49は、スイッチ、ボタン、またはタッチパネルなどからなり、使用者から加えられた操作に応じた信号をMPU37に供給する。   The input unit 49 includes a switch, a button, a touch panel, or the like, and supplies a signal corresponding to an operation applied by the user to the MPU 37.

なお、メモリカード43に画像データが記録されると説明したが、画像データが記録される媒体は、半導体メモリまたは磁気ディスクに限るものではなく、光ディスクまたは光磁気ディスクなどでもよく、電子的、磁気的、光学的、若しくは量子的、またはこれらの組み合わせによる方式に従って読み書き可能な種々の媒体を用いることができる。これらの媒体は、デジタルスチルカメラ11に内蔵するようにしてもよい。   Although it has been described that the image data is recorded on the memory card 43, the medium on which the image data is recorded is not limited to a semiconductor memory or a magnetic disk, and may be an optical disk or a magneto-optical disk. Various media that can be read and written can be used in accordance with a method based on optical, optical, or quantum, or a combination thereof. These media may be built in the digital still camera 11.

以下、画像データを単に画像とも称する。   Hereinafter, the image data is also simply referred to as an image.

図3は、サーバ13の構成の例を示すブロック図である。CPU(Central Processing Unit)71は、ROM(Read Only Memory)72、または記憶部78に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)73には、CPU71が実行するプログラムやデータなどが適宜記憶される。これらのCPU71、ROM72、およびRAM73は、バス74により相互に接続されている。   FIG. 3 is a block diagram illustrating an example of the configuration of the server 13. A CPU (Central Processing Unit) 71 executes various processes according to a program stored in a ROM (Read Only Memory) 72 or a storage unit 78. A RAM (Random Access Memory) 73 appropriately stores programs executed by the CPU 71 and data. These CPU 71, ROM 72, and RAM 73 are connected to each other by a bus 74.

CPU71にはまた、バス74を介して入出力インタフェース75が接続されている。入出力インタフェース75には、キーボード、マウス、マイクロホンなどよりなる入力部76、ディスプレイ、スピーカなどよりなる出力部77が接続されている。CPU71は、入力部76から入力される指令に対応して各種の処理を実行する。そして、CPU71は、処理の結果を出力部77に出力する。   An input / output interface 75 is also connected to the CPU 71 via a bus 74. The input / output interface 75 is connected to an input unit 76 such as a keyboard, mouse, and microphone, and an output unit 77 such as a display and a speaker. The CPU 71 executes various processes in response to commands input from the input unit 76. Then, the CPU 71 outputs the processing result to the output unit 77.

入出力インタフェース75に接続されている記憶部78は、例えばハードディスクからなり、CPU71が実行するプログラムや各種のデータを記憶する。通信部79は、USBまたはIEEE1394などの規格に準拠するように構成され、有線の伝送媒体を介して、デジタルスチルカメラ11または携帯電話機12と各種のデータを送受信するか、または、IEEE802.11a、IEEE802.11b、若しくはIEEE802.11g、またはブルートゥースなどの規格に準拠するように構成され、無線の伝送媒体を介して、デジタルスチルカメラ11または携帯電話機12と各種のデータを送受信する。通信部80は、インターネットやローカルエリアネットワークなどのネットワーク14を介してWebサーバ15−1またはWebサーバ15−2と通信する。   The storage unit 78 connected to the input / output interface 75 includes, for example, a hard disk, and stores a program executed by the CPU 71 and various data. The communication unit 79 is configured to comply with a standard such as USB or IEEE1394, and transmits / receives various data to / from the digital still camera 11 or the mobile phone 12 via a wired transmission medium, or IEEE802.11a, It is configured to comply with standards such as IEEE802.11b, IEEE802.11g, or Bluetooth, and transmits / receives various data to / from the digital still camera 11 or the mobile phone 12 via a wireless transmission medium. The communication unit 80 communicates with the Web server 15-1 or the Web server 15-2 via the network 14 such as the Internet or a local area network.

また、通信部80を介してプログラムを取得し、記憶部78に記憶してもよい。   A program may be acquired via the communication unit 80 and stored in the storage unit 78.

入出力インタフェース75に接続されているドライブ81は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア82が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部78に転送され、記憶される。   The drive 81 connected to the input / output interface 75 drives a removable medium 82 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and drives the program or data recorded therein. Get etc. The acquired program and data are transferred to and stored in the storage unit 78 as necessary.

図4は、プログラムを実行するMPU37により実現される機能の構成を示す図である。MPU37は、プログラムを実行することにより、撮影制御部101、縮小画像生成部102、メタデータ生成部103、エントリ生成部104、記録制御部105、表示制御部106、検索部107、送信制御部108、受信制御部109、画像保持部110、コンテンツデータベース111、類似特徴データベース112、類似結果データベース113、時間グループデータベース114、および検索結果保持部115を実現する。   FIG. 4 is a diagram illustrating a configuration of functions realized by the MPU 37 that executes a program. By executing the program, the MPU 37 performs shooting control unit 101, reduced image generation unit 102, metadata generation unit 103, entry generation unit 104, recording control unit 105, display control unit 106, search unit 107, and transmission control unit 108. A reception control unit 109, an image holding unit 110, a content database 111, a similar feature database 112, a similar result database 113, a time group database 114, and a search result holding unit 115.

撮影制御部101は、撮影レンズ31乃至デジタル信号処理部36およびメモリ38乃至コントロール回路45を制御することで、デジタルスチルカメラ11における撮影を制御する。撮影制御部101は、撮影した画像を、画像保持部110としてのメモリカード43の記録領域に記録させる。   The photographing control unit 101 controls photographing in the digital still camera 11 by controlling the photographing lens 31 through the digital signal processing unit 36 and the memory 38 through the control circuit 45. The shooting control unit 101 records the shot image in the recording area of the memory card 43 serving as the image holding unit 110.

縮小画像生成部102は、撮影された画像のデジタル信号をメモリ38から読み出して、撮影された画像を縮小し、縮小画像を生成する。生成された縮小画像は、カードI/F42を介してメモリカード43に供給され、画像保持部110としてのメモリカード43の記録領域に記録される。   The reduced image generation unit 102 reads out a digital signal of the captured image from the memory 38, reduces the captured image, and generates a reduced image. The generated reduced image is supplied to the memory card 43 via the card I / F 42 and recorded in a recording area of the memory card 43 as the image holding unit 110.

例えば、撮影制御部101の制御に基づいて、画素の数が300万乃至400万である高解像度の画像が撮影されると、縮小画像生成部102は、撮影された画像から、デジタルスチルカメラ11で閲覧するのに適した640画素×480画素のVGA(Video Graphics Array)と同じか、またはこれと同等のサイズの縮小画像を生成する。   For example, when a high-resolution image having 3 to 4 million pixels is captured based on the control of the imaging control unit 101, the reduced image generation unit 102 uses the digital still camera 11 from the captured image. A reduced image having the same size as or equivalent to a 640 pixel × 480 pixel VGA (Video Graphics Array) suitable for browsing with the above method is generated.

なお、縮小画像生成部102は、画像保持部110から画像を読み出して、読み出した画像を縮小し、縮小画像を生成するようにしてもよい。   Note that the reduced image generation unit 102 may read an image from the image holding unit 110, reduce the read image, and generate a reduced image.

以下、縮小画像と、撮影された画像とを区別するために、撮影された画像を本画像と称する。なお、縮小画像と本画像を区別する必要がないとき、単に画像と称する。   Hereinafter, in order to distinguish between a reduced image and a captured image, the captured image is referred to as a main image. Note that when there is no need to distinguish between the reduced image and the main image, they are simply referred to as images.

詳細は、後述するが、本画像と縮小画像とは、コンテンツデータベース111に記録されているデータによって紐付けされる。   Although details will be described later, the main image and the reduced image are linked by data recorded in the content database 111.

メタデータ生成部103は、本画像についてのメタデータを生成する。例えば、メタデータ生成部103は、JEIDA(Japanese Electronic Industry Development Association)によって規格化されているEXIF(Exchangeable Image File Format)方式のデータに格納されるメタデータを生成する。   The metadata generation unit 103 generates metadata about the main image. For example, the metadata generation unit 103 generates metadata stored in EXIF (Exchangeable Image File Format) data standardized by JEIDA (Japanese Electronic Industry Development Association).

エントリ生成部104は、データベースマネジメントシステム(Database Management System)として構成され、本画像が撮影されたとき、本画像および縮小画像のエントリを生成する。生成されたエントリは、コンテンツデータベース111に格納される。   The entry generation unit 104 is configured as a database management system, and generates an entry for the main image and the reduced image when the main image is captured. The generated entry is stored in the content database 111.

記録制御部105は、本画像および縮小画像の画像保持部110への記録を制御する。   The recording control unit 105 controls recording of the main image and the reduced image in the image holding unit 110.

表示制御部106は、縮小画像およびGUIの画像のモニタ40への表示を制御する。   The display control unit 106 controls the display of the reduced image and the GUI image on the monitor 40.

検索部107は、コンテンツデータベース111、類似特徴データベース112、類似結果データベース113、または時間グループデータベース114に格納されているデータを基に、画像保持部110に記録されている縮小画像または本画像から、所望の縮小画像または本画像を検索する。検索部107は、検索の結果に応じたデータを、検索結果保持部115に格納させる。   Based on the data stored in the content database 111, the similar feature database 112, the similar result database 113, or the time group database 114, the search unit 107 uses the reduced image or the main image recorded in the image holding unit 110. A desired reduced image or main image is searched. The search unit 107 causes the search result holding unit 115 to store data corresponding to the search result.

検索部107は、距離計算部121を含む。距離計算部121は、類似特徴データベース112に格納されている画像の特徴を示すデータから、2つの画像の類似の度合いを示す距離を計算する。距離計算部121は、計算した距離を類似結果データベース113に記録させる。   The search unit 107 includes a distance calculation unit 121. The distance calculation unit 121 calculates a distance indicating the degree of similarity between two images from data indicating image features stored in the similar feature database 112. The distance calculation unit 121 records the calculated distance in the similarity result database 113.

送信制御部108は、通信部47を制御して、通信部47による本画像または縮小画像のサーバ13への送信を制御する。受信制御部109は、通信部47を制御して、通信部47による、サーバ13から送信されてくる、画像に各種の画像処理を適用して得られた画像の特徴の受信を制御する。   The transmission control unit 108 controls the communication unit 47 to control transmission of the main image or the reduced image to the server 13 by the communication unit 47. The reception control unit 109 controls the communication unit 47 to control reception of image features obtained by applying various types of image processing to images transmitted from the server 13 by the communication unit 47.

画像保持部110は、メモリカード43の記録空間に構築され、本画像または縮小画像を記録する。   The image holding unit 110 is constructed in the recording space of the memory card 43 and records a main image or a reduced image.

コンテンツデータベース111、類似特徴データベース112、類似結果データベース113、および時間グループデータベース114は、メモリカード43の所定の記録空間およびそれぞれのデータベースマネジメントシステムから構成される。   The content database 111, the similar feature database 112, the similar result database 113, and the time group database 114 are composed of a predetermined recording space of the memory card 43 and respective database management systems.

コンテンツデータベース111は、画像を特定するデータおよびこれに対応させて画像の各種のメタデータを格納する。類似特徴データベース112は、サーバ13における画像の画像処理の結果得られた、画像の特徴を示すデータを格納する。   The content database 111 stores data for specifying an image and various metadata of the image corresponding to the data. The similar feature database 112 stores data indicating image features obtained as a result of image processing of images in the server 13.

類似結果データベース113は、検索部107の距離計算部121において計算された、2つの画像の類似の度合いを示す距離を格納する。   The similarity result database 113 stores a distance indicating the degree of similarity between two images calculated by the distance calculation unit 121 of the search unit 107.

時間グループデータベース114は、使用者が画像をグループに分類した場合の、それぞれのグループに属する画像を特定する情報を格納する。   The time group database 114 stores information for specifying images belonging to each group when the user classifies the images into groups.

検索結果保持部115は、検索の結果に応じたデータを記録する。例えば、検索結果保持部115は、画像の画素の色を基に抽出された、画像が所定の色名によって想起される度合いを示す関連度と、使用者からの操作に応じて入力された、色名で表される色の重みとから検索された、重みに応じた色の画像の検索結果を記録する。   The search result holding unit 115 records data according to the search result. For example, the search result holding unit 115 is input based on the relevance indicating the degree to which the image is recalled by a predetermined color name extracted based on the color of the pixel of the image and the operation from the user. The search result of the image of the color corresponding to the weight retrieved from the color weight represented by the color name is recorded.

関連度の詳細は、後述する。   Details of the relevance will be described later.

図5は、プログラムを実行するCPU71により実現される機能の構成を示す図である。CPU71は、プログラムを実行することにより、画像解析部131、縮小画像生成部132、メタデータ生成部133、エントリ生成部134、記録制御部135、表示制御部136、検索部137、送信制御部138−1および送信制御部138−2、受信制御部139−1および受信制御部139−2、画像保持部140、コンテンツデータベース141、類似特徴データベース142、類似結果データベース143、時間グループデータベース144、関連度抽出部対応保持部145、抽出特徴保持部146、並びに検索結果保持部147を実現する。   FIG. 5 is a diagram illustrating a configuration of functions realized by the CPU 71 that executes a program. By executing the program, the CPU 71 executes an image analysis unit 131, a reduced image generation unit 132, a metadata generation unit 133, an entry generation unit 134, a recording control unit 135, a display control unit 136, a search unit 137, and a transmission control unit 138. -1 and transmission control unit 138-2, reception control unit 139-1 and reception control unit 139-2, image holding unit 140, content database 141, similar feature database 142, similar result database 143, time group database 144, relevance An extraction unit correspondence holding unit 145, an extraction feature holding unit 146, and a search result holding unit 147 are realized.

画像解析部131は、画像の特徴を抽出する。すなわち、画像解析部131は、画像に画像処理を適用して、画像を解析する。画像解析部131は、画像処理の結果得られた、画像の特徴を類似特徴データベース142または送信制御部138−1に供給する。   The image analysis unit 131 extracts image features. That is, the image analysis unit 131 analyzes the image by applying image processing to the image. The image analysis unit 131 supplies the image features obtained as a result of the image processing to the similar feature database 142 or the transmission control unit 138-1.

図6は、画像解析部131の構成の例を示すブロック図である。画像解析部131は、顔画像検出部161および類似特徴量抽出部162から構成される。   FIG. 6 is a block diagram illustrating an example of the configuration of the image analysis unit 131. The image analysis unit 131 includes a face image detection unit 161 and a similar feature amount extraction unit 162.

顔画像検出部161は、画像に含まれる顔の画像に関する情報である画像の特徴を抽出する。例えば、顔画像検出部161は、画像に含まれる顔の画像の数、画像における顔の画像の位置、顔の画像の大きさ、または顔の画像における顔の向きなどである画像の特徴を抽出する。   The face image detection unit 161 extracts image features that are information related to the face image included in the image. For example, the face image detection unit 161 extracts image features such as the number of face images included in the image, the position of the face image in the image, the size of the face image, or the orientation of the face in the face image. To do.

類似特徴量抽出部162は、画像の類似の度合いを求めるための画像の特徴量を抽出する。類似特徴量抽出部162は、類似特徴ベクトル算出部171および色特徴抽出部172から構成される。類似特徴ベクトル算出部171は、2つの画像のそれぞれの特徴からその2つの画像の類似の度合いが計算される特徴を抽出する。色特徴抽出部172は、画像から、画像の画素の色を基に、画像が所定の色名によって想起される度合いを示す関連度を抽出する。言い換えれば、色特徴抽出部172は、画像の画素のうち、画素の色が所定の名前の色に分類される画素の数を示す特徴を抽出する。   The similar feature amount extraction unit 162 extracts the feature amount of the image for obtaining the degree of similarity of the images. The similar feature amount extraction unit 162 includes a similar feature vector calculation unit 171 and a color feature extraction unit 172. The similar feature vector calculation unit 171 extracts a feature whose degree of similarity between the two images is calculated from the features of the two images. The color feature extraction unit 172 extracts, from the image, a degree of association indicating the degree to which the image is recalled by a predetermined color name based on the color of the pixel of the image. In other words, the color feature extraction unit 172 extracts a feature indicating the number of pixels that are classified into a color with a predetermined name among the pixels of the image.

図5に戻り、縮小画像生成部132は、受信制御部139−2の制御の基に、ネットワーク14を介してWebサーバ15−1またはWebサーバ15−2から取得した本画像を縮小し、縮小画像を生成する。生成された縮小画像は、画像保持部140に記録される。   Returning to FIG. 5, the reduced image generation unit 132 reduces and reduces the main image acquired from the Web server 15-1 or the Web server 15-2 via the network 14 under the control of the reception control unit 139-2. Generate an image. The generated reduced image is recorded in the image holding unit 140.

なお、縮小画像生成部132は、画像保持部140から画像を読み出して、読み出した画像を縮小し、縮小画像を生成するようにしてもよい。   Note that the reduced image generation unit 132 may read an image from the image holding unit 140, reduce the read image, and generate a reduced image.

メタデータ生成部133は、本画像についてのメタデータを生成する。例えば、メタデータ生成部133は、JEIDAによって規格化されているEXIF方式のデータに格納されるメタデータを生成する。   The metadata generation unit 133 generates metadata about the main image. For example, the metadata generation unit 133 generates metadata stored in EXIF format data standardized by JEIDA.

エントリ生成部134は、データベースマネジメントシステムとして構成され、受信制御部139−1の制御の基に、デジタルスチルカメラ11から取得された本画像のエントリを生成する。または、エントリ生成部134は、受信制御部139−2の制御の基に、ネットワーク14を介してWebサーバ15−1またはWebサーバ15−2から本画像が取得され、本画像から縮小画像が生成された場合、本画像および縮小画像のエントリを生成する。生成されたエントリは、コンテンツデータベース141に格納される。   The entry generation unit 134 is configured as a database management system, and generates an entry of the main image acquired from the digital still camera 11 under the control of the reception control unit 139-1. Alternatively, the entry generation unit 134 acquires a main image from the Web server 15-1 or the Web server 15-2 via the network 14 under the control of the reception control unit 139-2, and generates a reduced image from the main image. If so, entries for the main image and the reduced image are generated. The generated entry is stored in the content database 141.

記録制御部135は、本画像および縮小画像の画像保持部140への記録を制御する。   The recording control unit 135 controls recording of the main image and the reduced image in the image holding unit 140.

表示制御部136は、ディスプレイである出力部77への、本画像およびGUIの画像の表示を制御する。   The display control unit 136 controls display of the main image and the GUI image on the output unit 77 which is a display.

検索部137は、コンテンツデータベース141、類似特徴データベース142、または時間グループデータベース144に格納されているデータを基に、画像保持部140に記録されている本画像または縮小画像から、所望の本画像または縮小画像を検索する。または、検索部137は、抽出特徴保持部146に格納されているデータを基に、画像保持部140に記録されている本画像または縮小画像から、所望の本画像または縮小画像を検索する。検索部137は、検索の結果に応じたデータを、検索結果保持部147に格納する。   Based on the data stored in the content database 141, the similar feature database 142, or the time group database 144, the search unit 137 selects a desired main image or reduced image from the main image or the reduced image recorded in the image holding unit 140. Search for reduced images. Alternatively, the search unit 137 searches for a desired main image or reduced image from the main image or reduced image recorded in the image holding unit 140 based on the data stored in the extracted feature holding unit 146. The search unit 137 stores data corresponding to the search result in the search result holding unit 147.

検索部137は、距離計算部151を含む。距離計算部151は、類似特徴データベース142に格納されている画像の特徴を示すデータから、2つの画像の類似の度合いを示す距離を計算する。距離計算部151は、計算した距離を類似結果データベース143に記録させる。   The search unit 137 includes a distance calculation unit 151. The distance calculation unit 151 calculates a distance indicating the degree of similarity between two images from data indicating image features stored in the similar feature database 142. The distance calculation unit 151 records the calculated distance in the similarity result database 143.

送信制御部138−1は、通信部79を制御して、通信部79に、画像解析部131において画像処理の結果得られた、画像の特徴をデジタルスチルカメラ11宛てに送信させる。受信制御部139−1は、通信部79を制御して、通信部79に、デジタルスチルカメラ11から送信されてくる本画像および縮小画像を受信させる。   The transmission control unit 138-1 controls the communication unit 79 to cause the communication unit 79 to transmit the image characteristics obtained as a result of image processing in the image analysis unit 131 to the digital still camera 11. The reception control unit 139-1 controls the communication unit 79 to cause the communication unit 79 to receive the main image and the reduced image transmitted from the digital still camera 11.

送信制御部138−2は、通信部80を制御する。送信制御部138−2は、通信部80に、ネットワーク14を介して、画像の要求をWebサーバ15−1またはWebサーバ15−2宛てに送信させる。受信制御部139−2は、通信部80を制御して、通信部80に、Webサーバ15−1またはWebサーバ15−2から送信されてくる本画像を受信させる。   The transmission control unit 138-2 controls the communication unit 80. The transmission control unit 138-2 causes the communication unit 80 to transmit an image request to the Web server 15-1 or the Web server 15-2 via the network 14. The reception control unit 139-2 controls the communication unit 80 to cause the communication unit 80 to receive the main image transmitted from the Web server 15-1 or the Web server 15-2.

画像保持部140は、ハードディスクなどからなる記憶部78の記録空間に構築され、本画像または縮小画像を記録する。画像保持部140は、ドライブ81に装着される、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア82の記録空間に構築するようにしてもよい。   The image holding unit 140 is constructed in a recording space of the storage unit 78 composed of a hard disk or the like, and records a main image or a reduced image. The image holding unit 140 may be constructed in a recording space of a removable medium 82 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory that is mounted on the drive 81.

コンテンツデータベース141、類似特徴データベース142、類似結果データベース143、および時間グループデータベース144は、記憶部78の所定の記録空間およびそれぞれのデータベースマネジメントシステムから構成される。   The content database 141, the similar feature database 142, the similar result database 143, and the time group database 144 are configured by a predetermined recording space of the storage unit 78 and respective database management systems.

コンテンツデータベース141は、画像を特定するデータおよびこれに対応させて画像の各種のメタデータを格納する。類似特徴データベース142は、画像解析部131における画像の画像処理の結果得られた、画像の特徴を示すデータを格納する。   The content database 141 stores data specifying an image and various metadata of the image corresponding to the data. The similar feature database 142 stores data indicating image features obtained as a result of image processing of the image by the image analysis unit 131.

類似結果データベース113は、検索部137の距離計算部151において計算された、2つの画像の類似の度合いを示す距離を格納する。   The similarity result database 113 stores a distance indicating the degree of similarity between two images calculated by the distance calculation unit 151 of the search unit 137.

時間グループデータベース144は、使用者が画像をグループに分類した場合の、それぞれのグループに属する画像を特定する情報を格納する。   The time group database 144 stores information for specifying images belonging to each group when the user classifies the images into groups.

関連度抽出部対応保持部145は、色特徴抽出部172における、色名と、色毎に関連度を抽出する関連度抽出部(詳細は図33を参照して後述する)との対応を示す対応情報を記録する。   The association degree extraction unit correspondence holding unit 145 indicates the correspondence between the color name in the color feature extraction unit 172 and the association degree extraction unit that extracts the association degree for each color (details will be described later with reference to FIG. 33). Record correspondence information.

抽出特徴保持部146は、色特徴抽出部172において抽出された、画像が所定の色名によって想起される度合いを示す関連度を保持する。   The extracted feature holding unit 146 holds a degree of association indicating the degree to which an image is recalled by a predetermined color name extracted by the color feature extracting unit 172.

検索結果保持部147は、画像の画素の色を基に抽出された、画像が所定の色名によって想起される度合いを示す関連度と、使用者からの操作に応じて入力された検索条件とから検索された、検索条件に応じた色の画像の検索結果を記録する。例えば、検索結果保持部147は、関連度と、色名で表される色の重みである検索条件とから検索された、重みに応じた色の画像の検索結果を記録する。   The search result holding unit 147 extracts the degree of relevance indicating the degree to which the image is recalled by a predetermined color name, extracted based on the color of the pixel of the image, and the search condition input according to the operation from the user. The search result of the image of the color corresponding to the search condition retrieved from is recorded. For example, the search result holding unit 147 records the search result of the color image corresponding to the weight searched from the relevance and the search condition that is the weight of the color represented by the color name.

次に、画像から特徴を抽出して、抽出した特徴をサーバ13およびデジタルスチルカメラ11において記録する処理について説明する。   Next, processing for extracting features from an image and recording the extracted features in the server 13 and the digital still camera 11 will be described.

まず、図7のフローチャートを参照して、デジタルスチルカメラ11の撮影の処理を説明する。   First, with reference to the flowchart of FIG. 7, the photographing process of the digital still camera 11 will be described.

ステップS11において、撮影制御部101は、撮影レンズ31乃至デジタル信号処理部36、メモリ38、AFモータズームモータ44、およびコントロール回路45を制御し、被写体を撮影させる。ステップS12において、撮影制御部101は、圧縮伸張部41に、メモリ38に記憶されているデジタル信号をJPEGまたはJPEG2000などの方式で符号化させて、画像データである本画像を生成させる。撮影制御部101は、本画像を画像保持部110に記録させる。   In step S11, the photographing control unit 101 controls the photographing lens 31 through the digital signal processing unit 36, the memory 38, the AF motor zoom motor 44, and the control circuit 45 to photograph the subject. In step S12, the imaging control unit 101 causes the compression / decompression unit 41 to encode the digital signal stored in the memory 38 using a method such as JPEG or JPEG2000 to generate a main image that is image data. The imaging control unit 101 causes the image holding unit 110 to record the main image.

また、メタデータ生成部103は、本画像についてのメタデータを生成する。例えば、メタデータ生成部103は、JEIDAによって規格化されているEXIF方式のデータに格納される、本画像の撮影時刻または撮影条件などのメタデータを生成する。   In addition, the metadata generation unit 103 generates metadata about the main image. For example, the metadata generation unit 103 generates metadata such as the shooting time or shooting condition of the main image stored in EXIF format data standardized by JEIDA.

ステップS13において、縮小画像生成部102は、撮影された画像のデジタル信号をメモリ38から読み出して、撮影された画像を縮小し、縮小画像を生成する。縮小画像生成部102は、縮小画像を画像保持部110に記録させる。   In step S <b> 13, the reduced image generation unit 102 reads a digital signal of the captured image from the memory 38, reduces the captured image, and generates a reduced image. The reduced image generation unit 102 causes the image holding unit 110 to record the reduced image.

ステップS14において、エントリ生成部104は、本画像および縮小画像のエントリを生成する。エントリ生成部104は、生成されたエントリを、メタデータ生成部103において生成したメタデータに関係付けて、コンテンツデータベース111に追加(格納)し、処理は終了する。   In step S <b> 14, the entry generation unit 104 generates entries for the main image and the reduced image. The entry generation unit 104 adds (stores) the generated entry to the content database 111 in association with the metadata generated by the metadata generation unit 103, and the process ends.

コンテンツデータベース111に、撮影時刻または撮影条件などのメタデータが格納されるので、撮影時刻または撮影条件により本画像または縮小画像を検索することができる。   Since metadata such as shooting time or shooting conditions is stored in the content database 111, the main image or the reduced image can be searched based on the shooting time or shooting conditions.

携帯電話機12においても、図7のフローチャートで示される撮影の処理と同様の処理が実行される。   Also in the mobile phone 12, the same processing as the photographing processing shown in the flowchart of FIG. 7 is executed.

このようにすることで、図8で示されるように、デジタルスチルカメラ11または携帯電話機12において、画像が撮影されると、本画像201に関係付けられたメタデータがコンテンツデータベース111に格納されると共に、本画像201を縮小した縮小画像202が生成され、本画像201に関係付けられたメタデータであって、コンテンツデータベース111に格納されているメタデータと縮小画像202とが関係付けられる。   In this way, as shown in FIG. 8, when the digital still camera 11 or the mobile phone 12 captures an image, the metadata associated with the main image 201 is stored in the content database 111. At the same time, a reduced image 202 obtained by reducing the main image 201 is generated, and the metadata stored in the content database 111 and the reduced image 202 are related to each other.

次に、図9のフローチャートを参照して、デジタルスチルカメラ11において撮影された画像をサーバ13にバックアップする場合の、サーバ13のバックアップの処理を説明する。サーバ13のバックアップの処理は、例えば、デジタルスチルカメラ11に一端が接続されているUSBケーブルがサーバ13に接続されるとプログラムが起動されることにより開始される。   Next, a backup process of the server 13 when an image captured by the digital still camera 11 is backed up to the server 13 will be described with reference to a flowchart of FIG. The backup process of the server 13 is started by starting the program when a USB cable, one end of which is connected to the digital still camera 11, is connected to the server 13, for example.

ステップS31において、サーバ13の送信制御部138−1および受信制御部138−1は、通信部79に、デジタルスチルカメラ11と接続させる。   In step S31, the transmission control unit 138-1 and the reception control unit 138-1 of the server 13 cause the communication unit 79 to connect to the digital still camera 11.

ステップS32において、サーバ13の送信制御部138−1および受信制御部138−1は、通信部79に、デジタルスチルカメラ11から本画像201および縮小画像202を取得させる。例えば、ステップS32において、送信制御部138−1は、通信部79に、デジタルスチルカメラ11宛てに本画像201および縮小画像202の送信要求を送信させる。すると、デジタルスチルカメラ11が本画像201および縮小画像202を送信してくるので、受信制御部138−1は、通信部79に、デジタルスチルカメラ11から送信されてきた本画像201および縮小画像202を受信させる。受信制御部138−1は、取得した(受信した)本画像201および縮小画像202を画像保持部140に供給する。   In step S <b> 32, the transmission control unit 138-1 and the reception control unit 138-1 of the server 13 cause the communication unit 79 to acquire the main image 201 and the reduced image 202 from the digital still camera 11. For example, in step S <b> 32, the transmission control unit 138-1 causes the communication unit 79 to transmit a transmission request for the main image 201 and the reduced image 202 to the digital still camera 11. Then, since the digital still camera 11 transmits the main image 201 and the reduced image 202, the reception control unit 138-1 sends the main image 201 and the reduced image 202 transmitted from the digital still camera 11 to the communication unit 79. To receive. The reception control unit 138-1 supplies the acquired (received) main image 201 and reduced image 202 to the image holding unit 140.

ステップS33において、画像保持部140は、デジタルスチルカメラ11から取得した本画像201および縮小画像202を記録する。   In step S <b> 33, the image holding unit 140 records the main image 201 and the reduced image 202 acquired from the digital still camera 11.

ステップS34において、画像解析部131は、画像保持部140に記録された画像を解析する。   In step S <b> 34, the image analysis unit 131 analyzes the image recorded in the image holding unit 140.

なお、画像解析部131は、本画像201を解析するようにしてもよく、縮小画像202を解析するようにしてもよい。   Note that the image analysis unit 131 may analyze the main image 201 or the reduced image 202.

ステップS34の画像の解析の処理の詳細を、図10のフローチャートを参照して説明する。   Details of the image analysis processing in step S34 will be described with reference to the flowchart of FIG.

ステップS41において、画像解析部131の顔画像検出部161は、画像から顔画像を検出する。すなわち、ステップS41において、顔画像検出部161は、画像に含まれる顔の画像に関する情報である画像の特徴を抽出する。例えば、ステップS41において、顔画像検出部161は、画像に含まれる顔の画像の数、画像における顔の画像の位置、顔の画像の大きさ、または顔の画像における顔の向きである画像の特徴を抽出する。   In step S41, the face image detection unit 161 of the image analysis unit 131 detects a face image from the image. That is, in step S41, the face image detection unit 161 extracts image features that are information related to the face image included in the image. For example, in step S41, the face image detection unit 161 detects the number of face images included in the image, the position of the face image in the image, the size of the face image, or the orientation of the face in the face image. Extract features.

より具体的には、例えば、顔画像検出部161は、画像の画素のうち、人の肌の色に対応する所定の色の範囲に属する色を示す画素値を有する画素を特定する。そして、顔画像検出部161は、色によって特定された画素のうち、所定の数以上、相互に隣接している画素により構成される領域を顔の画像とする。   More specifically, for example, the face image detection unit 161 identifies a pixel having a pixel value indicating a color belonging to a predetermined color range corresponding to the color of human skin among the pixels of the image. Then, the face image detection unit 161 sets, as a face image, an area formed by pixels adjacent to each other by a predetermined number or more among the pixels specified by color.

顔画像検出部161は、検出された顔の画像の数を数える。さらに、顔画像検出部161は、画像の全体の高さおよび全体の幅をそれぞれ1とした場合、画像における顔の画像の位置として、画像の全体に対する相対的な、顔の画像の縦方向の位置および横方向の位置を検出する。   The face image detection unit 161 counts the number of detected face images. Further, the face image detection unit 161 assumes that the position of the face image in the image is relative to the entire image in the vertical direction of the face image when the overall height and width of the image are each 1. Detect position and lateral position.

また、顔画像検出部161は、画像の全体の高さおよび全体の幅をそれぞれ1とした場合、画像における顔の画像の大きさとして、画像の全体に対する相対的な、顔の画像の高さおよび幅を検出する。   Further, the face image detection unit 161 sets the height of the face image relative to the entire image as the size of the face image in the image when the overall height and the overall width of the image are 1, respectively. And detect width.

そして、顔画像検出部161は、予め定義されている、想定される顔の方向ごとの複数のパターンと、選択された顔の画像と一致するか否かを判定し、顔の向きを、顔の画像と一致するパターンに対応する向きとすることで、顔の向きを検出する。この場合、顔画像検出部161は、選択された顔の画像について、顔の向きとして、顔のロール角、ピッチ角、およびヨー角を検出する。   Then, the face image detection unit 161 determines whether or not the plurality of patterns for each assumed face direction that are defined in advance match the selected face image, and determines the face orientation as the face orientation. The orientation of the face is detected by setting the orientation corresponding to the pattern that matches the image. In this case, the face image detection unit 161 detects the roll angle, pitch angle, and yaw angle of the face as the face direction for the selected face image.

ステップS42において、画像解析部131の類似特徴量抽出部162の類似特徴ベクトル算出部171は、画像の類似の度合いを求める特徴量である類似特徴ベクトルを算出する。すなわち、ステップS42において、類似特徴ベクトル算出部171は、2つの画像のそれぞれの特徴からその2つの画像の類似の度合いが計算される特徴を抽出する。   In step S42, the similar feature vector calculation unit 171 of the similar feature amount extraction unit 162 of the image analysis unit 131 calculates a similar feature vector that is a feature amount for obtaining the degree of similarity of images. That is, in step S42, the similar feature vector calculation unit 171 extracts features for which the degree of similarity between the two images is calculated from the features of the two images.

例えば、類似特徴ベクトル算出部171は、色ヒストグラムである類似特徴ベクトルを算出する。   For example, the similar feature vector calculation unit 171 calculates a similar feature vector that is a color histogram.

より具体的には、例えば、図11で示されるように、類似特徴ベクトル算出部171は、24ビットRGBの本画像201の167772161色の色を、32色に減色し、32色に減色した減色画像221を生成する。すなわち、5ビットRGBの減色画像221が生成される。例えば、類似特徴ベクトル算出部171は、本画像201の各画素の画素値から、所定の上位のビットを抽出することで、減色画像221を生成する。   More specifically, for example, as illustrated in FIG. 11, the similar feature vector calculation unit 171 reduces the color of 1677772161 colors of the 24-bit RGB main image 201 to 32 colors and reduces the color to 32 colors. An image 221 is generated. That is, a 5-bit RGB reduced color image 221 is generated. For example, the similar feature vector calculation unit 171 generates a reduced color image 221 by extracting a predetermined upper bit from the pixel value of each pixel of the main image 201.

そして、類似特徴ベクトル算出部171は、RGBで表される減色画像221の各画素の色を、L*a*b*で表すように変換する。すなわち、類似特徴ベクトル算出部171は、減色画像221の各画素の色を示すL*a*b*空間上の位置を特定する。言い換えれば、減色画像221の画素のそれぞれについて、減色画像221の各画素で示される32色のいずれかの色(L*a*b*空間上の位置)が特定される。   Then, the similar feature vector calculation unit 171 converts the color of each pixel of the subtractive color image 221 represented by RGB so as to represent L * a * b *. That is, the similar feature vector calculation unit 171 specifies a position in the L * a * b * space indicating the color of each pixel of the color-reduced image 221. In other words, for each pixel of the reduced color image 221, any one of the 32 colors (positions in the L * a * b * space) indicated by each pixel of the reduced color image 221 is specified.

さらに、類似特徴ベクトル算出部171は、減色画像221について、32色の色毎の画素の数、すなわち、色毎の頻度を求めて、色ヒストグラムを生成する。色ヒストグラムの尺度は、色を示し、色ヒストグラムの度数は、その色の画素の数(頻度)を示す。   Further, the similar feature vector calculation unit 171 determines the number of pixels for each of the 32 colors, that is, the frequency for each color, and generates a color histogram for the subtractive color image 221. The scale of the color histogram indicates a color, and the frequency of the color histogram indicates the number (frequency) of pixels of the color.

また、例えば、類似特徴ベクトル算出部171は、垂直成分ヒストグラムおよび水平成分ヒストグラムである類似特徴ベクトルを算出する。   For example, the similar feature vector calculation unit 171 calculates similar feature vectors that are a vertical component histogram and a horizontal component histogram.

この場合、まず、図12で示されるように、類似特徴ベクトル算出部171は、本画像201を、16画素×16画素のブロック241に分割し、それぞれのブロック241に、垂直方向(縦)および水平方向(横)にDFT(Discrete Fourier Transform)の処理を適用する。   In this case, first, as shown in FIG. 12, the similar feature vector calculation unit 171 divides the main image 201 into blocks 241 each having 16 pixels × 16 pixels, and each block 241 has a vertical direction (vertical) and a vertical direction. DFT (Discrete Fourier Transform) processing is applied in the horizontal direction (horizontal).

すなわち、類似特徴ベクトル算出部171は、各ブロック241の縦1列に並ぶ16の画素にDFTの処理を適用し、縦1列の16の画素の画像の周波数成分を抽出する。各ブロック241には、16の画素からなる列が、16並んでいるので、類似特徴ベクトル算出部171は、それぞれのブロック241についての垂直方向(縦)のDFTの処理によって、16の画像の周波数成分を抽出することになる。   That is, the similar feature vector calculation unit 171 applies DFT processing to 16 pixels arranged in one vertical column of each block 241 and extracts frequency components of the image of 16 pixels in one vertical column. Since each block 241 includes 16 columns of 16 pixels, the similar feature vector calculation unit 171 performs the frequency of 16 images by performing vertical (vertical) DFT processing for each block 241. The component will be extracted.

そして、類似特徴ベクトル算出部171は、各ブロック241に垂直方向(縦)のDFTの処理を適用した結果得られた画像の周波数成分を、周波数毎に積算(加算)する。類似特徴ベクトル算出部171は、各ブロック241に垂直方向(縦)のDFTの処理を適用した結果を積算した値のうち、DC成分を除く、8つのより低い周波数の成分の中から、最大の成分を抽出する。この場合、最大値が予め定めた閾値に満たないときには、そのブロック241の処理の結果は破棄される。   Then, the similar feature vector calculation unit 171 accumulates (adds) the frequency components of the image obtained as a result of applying the vertical (vertical) DFT processing to each block 241 for each frequency. The similar feature vector calculation unit 171 calculates the maximum value from eight lower frequency components excluding the DC component among the values obtained by integrating the results of applying the vertical (vertical) DFT processing to each block 241. Extract ingredients. In this case, when the maximum value is less than the predetermined threshold value, the processing result of the block 241 is discarded.

類似特徴ベクトル算出部171は、画像について、このように求められたブロック241毎の最大値を8つの周波数ごとに積算することで、図13で示すように、8つの周波数に対する最大値の頻度を示す垂直成分ヒストグラムを生成する。垂直成分ヒストグラムの尺度は、画像の周波数を示し、垂直成分ヒストグラムの度数は、その周波数の成分が最大となる数(頻度)を示す。   The similar feature vector calculation unit 171 accumulates the maximum value for each block 241 in this way for each of the eight frequencies for the image, thereby obtaining the frequency of the maximum value for the eight frequencies as shown in FIG. A vertical component histogram is generated. The scale of the vertical component histogram indicates the frequency of the image, and the frequency of the vertical component histogram indicates the number (frequency) at which the frequency component is maximum.

同様に、類似特徴ベクトル算出部171は、各ブロック241の横1行に並ぶ16の画素にDFTの処理を適用し、横1行の16の画素の画像の周波数成分を抽出する。各ブロック241には、16の画素からなる行が、16並んでいるので、類似特徴ベクトル算出部171は、それぞれのブロック241についての水平方向(横)のDFTの処理によって、16の画像の周波数成分を抽出することになる。   Similarly, the similar feature vector calculation unit 171 applies DFT processing to 16 pixels arranged in one horizontal row of each block 241 and extracts frequency components of the image of 16 pixels in one horizontal row. Since each block 241 includes 16 rows of 16 pixels, the similar feature vector calculation unit 171 performs the frequency of 16 images by performing horizontal (horizontal) DFT processing for each block 241. The component will be extracted.

そして、類似特徴ベクトル算出部171は、各ブロック241に水平方向(横)にDFTの処理を適用した結果得られた画像の周波数成分を、周波数毎に積算(加算)する。類似特徴ベクトル算出部171は、各ブロック241に水平方向(横)のDFTの処理を適用した結果を積算した値のうち、DC成分を除く、8つのより低い周波数の成分の中から、最大の成分を抽出する。この場合、最大値が予め定めた閾値に満たないときには、そのブロック241の処理の結果は破棄される。   Then, the similar feature vector calculation unit 171 accumulates (adds) the frequency components of the image obtained as a result of applying the DFT processing to each block 241 in the horizontal direction (lateral) for each frequency. The similar feature vector calculation unit 171 calculates the maximum value from eight lower frequency components excluding the DC component among the values obtained by integrating the results of applying the horizontal (horizontal) DFT processing to each block 241. Extract ingredients. In this case, when the maximum value is less than the predetermined threshold value, the processing result of the block 241 is discarded.

類似特徴ベクトル算出部171は、画像について、このように求められたブロック241毎の最大値を8つの周波数ごとに積算することで、図13で示すように、8つの周波数に対する最大値の頻度を示す水平成分ヒストグラムを生成する。水平成分ヒストグラムの尺度は、画像の周波数を示し、水平成分ヒストグラムの度数は、その周波数の成分が最大となる数(頻度)を示す。   The similar feature vector calculation unit 171 accumulates the maximum value for each block 241 in this way for each of the eight frequencies for the image, thereby obtaining the frequency of the maximum value for the eight frequencies as shown in FIG. A horizontal component histogram is generated. The scale of the horizontal component histogram indicates the frequency of the image, and the frequency of the horizontal component histogram indicates the number (frequency) at which the frequency component is maximum.

このように、類似特徴ベクトル算出部171は、画像について、垂直成分ヒストグラムおよび水平成分ヒストグラムを生成する。   As described above, the similar feature vector calculation unit 171 generates a vertical component histogram and a horizontal component histogram for an image.

例えば、ステップS42において、類似特徴ベクトル算出部171は、2つの画像のそれぞれの特徴からその2つの画像の類似の度合いが計算される特徴として、色ヒストグラム、垂直成分ヒストグラム、および水平成分ヒストグラムを抽出する。   For example, in step S42, the similar feature vector calculation unit 171 extracts a color histogram, a vertical component histogram, and a horizontal component histogram as features for calculating the degree of similarity between the two images from the features of the two images. To do.

図10に戻り、ステップS43において、画像解析部131の類似特徴量抽出部162の色特徴抽出部172は、画像に色特徴抽出の処理を適用して、処理は終了する。色特徴抽出の処理によって、画像から、画像の画素の色を基に、画像が所定の色名によって想起される度合いを示す関連度が抽出される。色特徴抽出の処理の詳細は、図36のフローチャートを参照して後述する。   Returning to FIG. 10, in step S43, the color feature extraction unit 172 of the similar feature amount extraction unit 162 of the image analysis unit 131 applies the color feature extraction process to the image, and the process ends. Through the color feature extraction process, a degree of association indicating the degree to which the image is recalled by a predetermined color name is extracted from the image based on the color of the pixel of the image. Details of the color feature extraction processing will be described later with reference to the flowchart of FIG.

このように、ステップS34において、画像解析部131によって、画像保持部140に記録された画像が解析されて、画像の特徴が抽出される。   As described above, in step S34, the image analysis unit 131 analyzes the image recorded in the image holding unit 140, and extracts the feature of the image.

ステップS35において、メタデータ生成部133は、ステップS34において抽出された画像の特徴を含む画像のメタデータを生成する。ステップS36において、エントリ生成部134は、本画像201および縮小画像202のエントリを生成する。エントリ生成部134は、生成したエントリを、ステップS35において生成されたメタデータに関係付けて、コンテンツデータベース141および類似特徴データベース142に追加(格納)する。コンテンツデータベース141および類似特徴データベース142は、サーバ13において抽出された画像の特徴を含むメタデータを記録する。   In step S35, the metadata generation unit 133 generates image metadata including the image features extracted in step S34. In step S <b> 36, the entry generation unit 134 generates entries for the main image 201 and the reduced image 202. The entry generation unit 134 adds (stores) the generated entry to the content database 141 and the similar feature database 142 in association with the metadata generated in step S35. The content database 141 and the similar feature database 142 record metadata including image features extracted by the server 13.

ステップS37において、送信制御部138−1は、通信部79に、デジタルスチルカメラ11のコンテンツデータベース111および類似特徴データベース112に、抽出された画像の特徴を含むメタデータを記入させる。すなわち、ステップS37において、送信制御部138−1は、コンテンツデータベース111および類似特徴データベース112への記入の指令と共に、ステップS35において生成されたメタデータを、通信部79に、デジタルスチルカメラ11宛てに送信させる。デジタルスチルカメラ11の受信制御部109は、通信部47に、メタデータとコンテンツデータベース111および類似特徴データベース112への記入の指令とを受信させると、メタデータとコンテンツデータベース111および類似特徴データベース112への記入の指令とをコンテンツデータベース111および類似特徴データベース112に供給する。コンテンツデータベース111および類似特徴データベース112は、記入の指令を受けると、サーバ13において抽出された画像の特徴を含むメタデータを記録する。   In step S <b> 37, the transmission control unit 138-1 causes the communication unit 79 to enter metadata including the extracted image features in the content database 111 and the similar feature database 112 of the digital still camera 11. That is, in step S37, the transmission control unit 138-1 sends the metadata generated in step S35 to the digital still camera 11 to the communication unit 79 together with instructions for filling the content database 111 and the similar feature database 112. Send it. The reception control unit 109 of the digital still camera 11 causes the communication unit 47 to receive the metadata and a command to fill in the content database 111 and the similar feature database 112, and then to the metadata, the content database 111, and the similar feature database 112. The content database 111 and the similar feature database 112 are supplied. When the content database 111 and the similar feature database 112 receive an entry command, the content database 111 and the similar feature database 112 record metadata including image features extracted by the server 13.

このように、コンテンツデータベース141および類似特徴データベース142と、コンテンツデータベース111および類似特徴データベース112とは、サーバ13において抽出された画像の特徴を含む同じメタデータを記録する。   As described above, the content database 141 and the similar feature database 142 and the content database 111 and the similar feature database 112 record the same metadata including the image features extracted in the server 13.

ステップS38において、サーバ13の送信制御部138−1および受信制御部138−1は、通信部79に、デジタルスチルカメラ11との接続を切断させ、処理は終了する。   In step S38, the transmission control unit 138-1 and the reception control unit 138-1 of the server 13 cause the communication unit 79 to disconnect from the digital still camera 11, and the process ends.

なお、サーバ13は、携帯電話機12に対して、携帯電話機12で撮影された画像について、図9のフローチャートで示されるバックアップの処理と同様に処理を実行することができる。   Note that the server 13 can execute the same processing as the backup processing shown in the flowchart of FIG. 9 on the image captured by the mobile phone 12 with respect to the mobile phone 12.

図14で示されるように、デジタルスチルカメラ11または携帯電話機12で撮影された画像がサーバ13−1またはサーバ13−2にバックアップされると、サーバ13−1またはサーバ13−2は、バックアップされた画像を解析して、画像の特徴を抽出し、抽出した画像の特徴を記述したメタデータ261をデジタルスチルカメラ11または携帯電話機12に書き戻す。   As shown in FIG. 14, when an image taken with the digital still camera 11 or the mobile phone 12 is backed up to the server 13-1 or the server 13-2, the server 13-1 or the server 13-2 is backed up. The image is analyzed to extract the feature of the image, and the metadata 261 describing the extracted feature of the image is written back to the digital still camera 11 or the mobile phone 12.

図15は、本画像201および縮小画像202に関係付けられた、抽出した画像の特徴を記述したメタデータ261の具体例を示す図である。   FIG. 15 is a diagram illustrating a specific example of the metadata 261 describing the characteristics of the extracted image related to the main image 201 and the reduced image 202.

メタデータ261は、例えば、XML(eXtensible Mark-up Language)方式で記述される。   The metadata 261 is described in, for example, an XML (eXtensible Mark-up Language) method.

<photo>タグおよび</photo>タグの間には、本画像201および縮小画像202との関係付けを示す情報並びに本画像201および縮小画像202の特徴を示す情報が配置される。   Between the <photo> tag and the </ photo> tag, information indicating the relationship between the main image 201 and the reduced image 202 and information indicating the characteristics of the main image 201 and the reduced image 202 are arranged.

<guid>タグおよび</guid>タグの間には、このメタデータ261に関係付けられている本画像201および縮小画像202を特定する特定情報であるコンテンツIDが配置される。例えば、コンテンツIDは、128ビットとされる。コンテンツIDは、本画像201と、その本画像201を縮小した縮小画像202とに共通とされる。   Between the <guid> tag and the </ guid> tag, a content ID which is specific information for specifying the main image 201 and the reduced image 202 related to the metadata 261 is arranged. For example, the content ID is 128 bits. The content ID is common to the main image 201 and the reduced image 202 obtained by reducing the main image 201.

<FullImgPath>タグおよび</FullImgPath>タグの間には、画像データである本画像201が格納されているファイルのパスおよび画像データである本画像201が格納されているファイルのファイル名が配置される。<CacheImgPath>タグおよび</CacheImgPath>タグの間には、画像データである縮小画像202が格納されているファイルのパスおよび画像データである縮小画像202が格納されているファイルのファイル名が配置される。   Between the <FullImgPath> tag and the </ FullImgPath> tag, the path of the file storing the main image 201 as image data and the file name of the file storing the main image 201 as image data are arranged. The Between the <CacheImgPath> tag and the </ CacheImgPath> tag, the path of the file storing the reduced image 202 as image data and the file name of the file storing the reduced image 202 as image data are arranged. The

<TimeStamp>タグおよび</TimeStamp>タグの間に配置されている2003:03:31 06:52:32は、本画像201が、2003年3月31日6時52分32秒に撮影されたことを示すタイムスタンプである。   In 2003: 03: 31 06:52:32 placed between the <TimeStamp> tag and the </ TimeStamp> tag, the main image 201 was taken at 6:52:32 on March 31, 2003 It is a time stamp indicating that.

<Faceinfo>タグおよび</Faceinfo>タグの間には、コンテンツIDで特定される本画像201および縮小画像202に含まれる顔の画像に関する情報が配置される。   Between the <Faceinfo> tag and the </ Faceinfo> tag, information related to the face image included in the main image 201 and the reduced image 202 specified by the content ID is arranged.

<TotalFace>タグおよび</TotalFace>タグの間に配置されている1は、コンテンツIDで特定される本画像201または縮小画像202に含まれる顔の画像の数が1つであることを示す。すなわち、<TotalFace>タグおよび</TotalFace>タグの間に配置されている値は、コンテンツIDで特定される本画像201または縮小画像202に含まれる顔の画像の総数を示す。   1 arranged between the <TotalFace> tag and the </ TotalFace> tag indicates that the number of face images included in the main image 201 or the reduced image 202 specified by the content ID is one. That is, the value arranged between the <TotalFace> tag and the </ TotalFace> tag indicates the total number of face images included in the main image 201 or the reduced image 202 specified by the content ID.

<FaceEntry>タグおよび</FaceEntry>タグの間には、1つの顔の画像についての情報が配置される。図15に例示されるメタデータ261における顔の画像の総数が1なので、1組の<FaceEntry>タグおよび</FaceEntry>タグが配置されることになる。   Information about one face image is arranged between the <FaceEntry> tag and the </ FaceEntry> tag. Since the total number of face images in the metadata 261 illustrated in FIG. 15 is 1, a set of <FaceEntry> tags and </ FaceEntry> tags are arranged.

<x>タグおよび</x>タグの間に配置されている値は、コンテンツIDで特定される本画像201または縮小画像202における顔の画像の横方向の位置を示す。図15において、<x>タグおよび</x>タグの間に配置されている0.328767は、本画像201または縮小画像202の左端を0.0とし、本画像201または縮小画像202の右端を1.0とした場合に、顔の画像の右端の横方向の位置が、0.328767であることを示す。   The value arranged between the <x> tag and the </ x> tag indicates the horizontal position of the face image in the main image 201 or the reduced image 202 specified by the content ID. In FIG. 15, 0.328767 arranged between the <x> tag and the </ x> tag sets 0.0 as the left end of the main image 201 or the reduced image 202 and 1.0 as the right end of the main image 201 or the reduced image 202. In this case, the horizontal position of the right end of the face image is 0.328767.

<y>タグおよび</y>タグの間に配置されている値は、コンテンツIDで特定される本画像201または縮小画像202における顔の画像の縦方向の位置を示す。図15において、<y>タグおよび</y>タグの間に配置されている0.204082は、本画像201または縮小画像202の上端を0.0とし、本画像201または縮小画像202の下端を1.0とした場合に、顔の画像の上端の縦方向の位置が、0.204082であることを示す。   The value arranged between the <y> tag and the </ y> tag indicates the position in the vertical direction of the face image in the main image 201 or the reduced image 202 specified by the content ID. In FIG. 15, 0.204082 arranged between the <y> tag and the </ y> tag sets the upper end of the main image 201 or the reduced image 202 to 0.0 and sets the lower end of the main image 201 or the reduced image 202 to 1.0. In this case, the vertical position of the upper end of the face image is 0.204082.

すなわち、<x>タグおよび</x>タグの間には、顔の画像の正規化された横方向の位置が配置され、<y>タグおよび</y>タグの間には、顔の画像の正規化された縦方向の位置が配置される。   That is, the normalized horizontal position of the face image is placed between the <x> tag and the </ x> tag, and the face image is placed between the <y> tag and the </ y> tag. The normalized vertical position of the image is placed.

<width>タグおよび</width>タグの間に配置されている値は、コンテンツIDで特定される本画像201または縮小画像202における顔の画像の幅(横方向のサイズ)を示す。図15において、<width>タグおよび</width>タグの間に配置されている0.408163は、本画像201または縮小画像202の幅を1.0とした場合に、顔の画像の幅が、0.408163であることを示す。   A value arranged between the <width> tag and the </ width> tag indicates the width (lateral size) of the face image in the main image 201 or the reduced image 202 specified by the content ID. In FIG. 15, 0.408163 arranged between the <width> tag and the </ width> tag is 0.408163 when the width of the main image 201 or the reduced image 202 is 1.0. It shows that.

<height>タグおよび</height>タグの間に配置されているは、コンテンツIDで特定される本画像201または縮小画像202における顔の画像の高さ(縦方向のサイズ)を示す。図15において、<height>タグおよび</height>タグの間に配置されている0.273973は、本画像201または縮小画像202の高さを1.0とした場合に、顔の画像の高さが、0.273973であることを示す。   Arranged between the <height> tag and the </ height> tag indicates the height (vertical size) of the face image in the main image 201 or the reduced image 202 specified by the content ID. In FIG. 15, 0.273973 arranged between the <height> tag and the </ height> tag indicates that the height of the face image is 0.273973 when the height of the main image 201 or the reduced image 202 is 1.0. Indicates that

すなわち、<width>タグおよび</width>タグの間には、顔の画像の正規化された幅が配置され、<height>タグおよび</height>タグの間には、顔の画像の正規化された高さが配置される。   That is, the normalized width of the face image is placed between the <width> tag and the </ width> tag, and the face image normalization is placed between the <height> tag and the </ height> tag. The height is arranged.

<roll>タグおよび</roll>タグの間に配置されている値は、顔の画像における顔のロール角を示す。図15において、<roll>タグおよび</roll>タグの間に配置されている0.000000は、顔の画像における顔のロール角が、0.000000度であることを示す。   The value arranged between the <roll> tag and the </ roll> tag indicates the roll angle of the face in the face image. In FIG. 15, 0.000000 arranged between the <roll> tag and the </ roll> tag indicates that the face roll angle in the face image is 0.000000 degrees.

<pitch>タグおよび</pitch>タグの間に配置されている値は、顔の画像における顔のピッチ角を示す。図15において、<pitch>タグおよび</pitch>タグの間に配置されている0.000000は、顔の画像における顔のピッチ角が、0.000000度であることを示す。   The value arranged between the <pitch> tag and the </ pitch> tag indicates the pitch angle of the face in the face image. In FIG. 15, 0.000000 arranged between the <pitch> tag and the </ pitch> tag indicates that the face pitch angle in the face image is 0.000000 degrees.

<yaw>タグおよび</yaw>タグの間に配置されている値は、顔の画像における顔のヨー角を示す。図15において、<yaw>タグおよび</yaw>タグの間に配置されている0.000000は、顔の画像における顔のヨー角が、0.000000度であることを示す。   The value arranged between the <yaw> tag and the </ yaw> tag indicates the face yaw angle in the face image. In FIG. 15, 0.000000 arranged between the <yaw> tag and the </ yaw> tag indicates that the face yaw angle in the face image is 0.000000 degrees.

ここで、ロール角は、顔の前後方向の位置を示す前後軸(x軸)の周りの移動角である。ピッチ角は、顔の左右方向の位置を示す横軸(y軸)の周りの移動角である。ヨー角は、顔の上下方向の位置を示す垂直軸(z軸)の周りの移動角である。   Here, the roll angle is a movement angle around the front-rear axis (x-axis) indicating the position of the face in the front-rear direction. The pitch angle is a movement angle around the horizontal axis (y axis) indicating the position of the face in the left-right direction. The yaw angle is a movement angle around the vertical axis (z axis) indicating the vertical position of the face.

<Similarityinfo>タグおよび</Similarityinfo>タグの間には、コンテンツIDで特定される本画像201または縮小画像202と他の画像との類似の度合いを求める場合に用いる、コンテンツIDで特定される本画像201および縮小画像202の特徴量が配置される。   Between the <Similarityinfo> tag and the </ Similarityinfo> tag, a book specified by the content ID used when obtaining the degree of similarity between the master image 201 specified by the content ID or the reduced image 202 and another image The feature amounts of the image 201 and the reduced image 202 are arranged.

図15に示す例において、<Similarityinfo>タグおよび</Similarityinfo>タグの間には、本画像201または縮小画像202が所定の色名によって想起される度合いを示す関連度、および色または画像の周波数成分などの類似の度合いを計算するための特徴量が配置される。   In the example shown in FIG. 15, between the <Similarityinfo> tag and the </ Similarityinfo> tag, the degree of association indicating the degree to which the main image 201 or the reduced image 202 is recalled by a predetermined color name, and the frequency of the color or image A feature amount for calculating the degree of similarity such as a component is arranged.

<ColorInfo>タグおよび</ColorInfo>タグの間には、コンテンツIDで特定される本画像201または縮小画像202から抽出された、本画像201または縮小画像202の画素の色を基に、本画像201または縮小画像202が所定の色名によって想起される度合いを示す関連度が配置される。   Between the <ColorInfo> tag and the </ ColorInfo> tag, the main image is extracted based on the pixel color of the main image 201 or the reduced image 202 extracted from the main image 201 or the reduced image 202 specified by the content ID. A degree of association indicating the degree to which 201 or the reduced image 202 is recalled by a predetermined color name is arranged.

<ColorWhite>タグおよび</ColorWhite>タグの間には、コンテンツIDで特定される本画像201または縮小画像202から、本画像201または縮小画像202の画素の色を基に抽出された、本画像201または縮小画像202が白である色名によって想起される度合いを示す関連度が配置される。図15において、<ColorWhite>タグおよび</ColorWhite>タグの間に配置されている0は、本画像201または縮小画像202が白である色名によって想起される度合いを示す関連度が0であることを示す。   Between the <ColorWhite> tag and the </ ColorWhite> tag, the main image extracted from the main image 201 or the reduced image 202 specified by the content ID based on the color of the pixel of the main image 201 or the reduced image 202 A degree of association indicating the degree to which 201 or the reduced image 202 is recalled by the color name of white is arranged. In FIG. 15, 0 arranged between the <ColorWhite> tag and the </ ColorWhite> tag has a relevance level of 0 indicating the degree to which the main image 201 or the reduced image 202 is recalled by a white color name. It shows that.

<ColorBlack>タグおよび</ColorBlack>タグの間には、コンテンツIDで特定される本画像201または縮小画像202から、本画像201または縮小画像202の画素の色を基に抽出された、本画像201または縮小画像202が黒である色名によって想起される度合いを示す関連度が配置される。図15において、<ColorBlack>タグおよび</ColorBlack>タグの間に配置されている0は、本画像201または縮小画像202が黒である色名によって想起される度合いを示す関連度が0であることを示す。   Between the <ColorBlack> tag and the </ ColorBlack> tag, the main image extracted from the main image 201 or the reduced image 202 specified by the content ID based on the color of the pixel of the main image 201 or the reduced image 202 A degree of association indicating the degree to which 201 or the reduced image 202 is recalled by the color name of black is arranged. In FIG. 15, 0 arranged between the <ColorBlack> tag and the </ ColorBlack> tag has a relevance degree of 0 indicating the degree to which the main image 201 or the reduced image 202 is recalled by a black color name. It shows that.

<ColorRed>タグおよび</ColorRed>タグの間には、コンテンツIDで特定される本画像201または縮小画像202から、本画像201または縮小画像202の画素の色を基に抽出された、本画像201または縮小画像202が赤である色名によって想起される度合いを示す関連度が配置される。図15において、<ColorRed>タグおよび</ColorRed>タグの間に配置されている0は、本画像201または縮小画像202が赤である色名によって想起される度合いを示す関連度が0であることを示す。   Between the <ColorRed> tag and the </ ColorRed> tag, the main image extracted from the main image 201 or the reduced image 202 specified by the content ID based on the pixel color of the main image 201 or the reduced image 202 A degree of association indicating the degree to which 201 or the reduced image 202 is recalled by the color name of red is arranged. In FIG. 15, 0 arranged between the <ColorRed> tag and the </ ColorRed> tag has a relevance of 0 indicating the degree to which the main image 201 or the reduced image 202 is recalled by a red color name. It shows that.

<ColorYellow>タグおよび</ColorYellow>タグの間には、コンテンツIDで特定される本画像201または縮小画像202から、本画像201または縮小画像202の画素の色を基に抽出された、本画像201または縮小画像202が黄である色名によって想起される度合いを示す関連度が配置される。図15において、<ColorYellow>タグおよび</ColorYellow>タグの間に配置されている0は、本画像201または縮小画像202が黄である色名によって想起される度合いを示す関連度が0であることを示す。   Between the <ColorYellow> tag and the </ ColorYellow> tag, the main image extracted from the main image 201 or the reduced image 202 specified by the content ID based on the color of the pixel of the main image 201 or the reduced image 202 A degree of association indicating the degree to which 201 or the reduced image 202 is recalled by the color name of yellow is arranged. In FIG. 15, 0 arranged between the <ColorYellow> tag and the </ ColorYellow> tag has a relevance of 0 indicating the degree to which the main image 201 or the reduced image 202 is recalled by a yellow color name. It shows that.

<ColorGreen>タグおよび</ColorGreen>タグの間には、コンテンツIDで特定される本画像201または縮小画像202から、本画像201または縮小画像202の画素の色を基に抽出された、本画像201または縮小画像202が緑である色名によって想起される度合いを示す関連度が配置される。図15において、<ColorGreen>タグおよび</ColorGreen>タグの間に配置されている12は、本画像201または縮小画像202が緑である色名によって想起される度合いを示す関連度が0.12であることを示す。すなわち、ここでは関連度が%(パーセント)表記にて記録されている。   Between the <ColorGreen> tag and the </ ColorGreen> tag, the main image extracted from the main image 201 or the reduced image 202 specified by the content ID based on the pixel color of the main image 201 or the reduced image 202 A degree of association indicating the degree to which 201 or the reduced image 202 is recalled by a color name of green is arranged. In FIG. 15, 12 arranged between the <ColorGreen> tag and the </ ColorGreen> tag has a relevance of 0.12 indicating the degree to which the main image 201 or the reduced image 202 is recalled by a green color name. Indicates that That is, here, the degree of association is recorded in% (percent) notation.

<ColorBlue>タグおよび</ColorBlue>タグの間には、コンテンツIDで特定される本画像201または縮小画像202から、本画像201または縮小画像202の画素の色を基に抽出された、本画像201または縮小画像202が青である色名によって想起される度合いを示す関連度が配置される。図15において、<ColorBlue>タグおよび</ColorBlue>タグの間に配置されている0は、本画像201または縮小画像202が黄である色名によって想起される度合いを示す関連度が0であることを示す。   Between the <ColorBlue> tag and the </ ColorBlue> tag, the main image extracted from the main image 201 or the reduced image 202 specified by the content ID based on the pixel color of the main image 201 or the reduced image 202 A degree of association indicating the degree to which 201 or the reduced image 202 is recalled by the color name of blue is arranged. In FIG. 15, 0 arranged between the <ColorBlue> tag and the </ ColorBlue> tag has a relevance of 0 indicating the degree to which the main image 201 or the reduced image 202 is recalled by the color name being yellow. It shows that.

<VectorInfo>タグおよび</VectorInfo>タグの間には、コンテンツIDで特定される本画像201または縮小画像202と他の画像との類似の度合いを求めるための、コンテンツIDで特定される本画像201または縮小画像202についての特徴が配置される。   Between the <VectorInfo> tag and the </ VectorInfo> tag, the main image specified by the content ID for obtaining the degree of similarity between the main image 201 specified by the content ID or the reduced image 202 and another image. Features for 201 or reduced image 202 are placed.

<VectorInfo>タグおよび</VectorInfo>タグの1つの組の間は、コンテンツIDで特定される本画像201または縮小画像202についての、それぞれ1つの特徴が配置される。図15のメタデータ261の例には、<VectorInfo>タグおよび</VectorInfo>タグの3つの組が記述されている。   Between one set of <VectorInfo> tag and </ VectorInfo> tag, one feature of the main image 201 or the reduced image 202 specified by the content ID is arranged. In the example of the metadata 261 in FIG. 15, three sets of <VectorInfo> tag and </ VectorInfo> tag are described.

それぞれの<VectorInfo>タグおよび</VectorInfo>タグの間には、<method>タグと</method>タグ、および<vector>タグと</vector>タグが配置される。<method>タグおよび</method>タグの間には、類似の度合いを求めるための特徴の方式が記述され、<vector>タグおよび</vector>タグの間には、その特徴の量が記述される。<vector>タグおよび</vector>タグの間に記述される特徴量は、ベクトルとされる。   Between each <VectorInfo> tag and </ VectorInfo> tag, a <method> tag and a </ method> tag, and a <vector> tag and a </ vector> tag are arranged. Between the <method> tag and the </ method> tag, a feature method for determining the degree of similarity is described. Between the <vector> tag and the </ vector> tag, the amount of the feature is described. Is done. The feature amount described between the <vector> tag and the </ vector> tag is a vector.

図15において、最も上の<VectorInfo>タグおよび</VectorInfo>タグの間の、<method>タグおよび</method>タグの間に配置されているColor Featureは、その次の<vector>タグおよび</vector>タグの間に配置されている特徴量が、色の特徴量であることを示す。色の特徴量は、例えば、図11を参照して説明した色ヒストグラムで示される特徴量である。   In FIG. 15, the Color Feature arranged between the <method> tag and the </ method> tag between the top <VectorInfo> tag and the </ VectorInfo> tag is the next <vector> tag and The feature quantity arranged between the </ vector> tags is a color feature quantity. The color feature amount is, for example, a feature amount indicated by the color histogram described with reference to FIG.

図15において、上から2番目の<VectorInfo>タグおよび</VectorInfo>タグの間の、<method>タグおよび</method>タグの間に配置されているTexture Featureは、その次の<vector>タグおよび</vector>タグの間に配置されている特徴量が、模様の特徴量であることを示す。模様の特徴量は、例えば、図12および図13を参照して説明した垂直成分ヒストグラムおよび水平成分ヒストグラムからなる周波数成分のヒストグラムで示される特徴量である。   In FIG. 15, the Texture Feature arranged between the <method> tag and the </ method> tag between the <VectorInfo> tag and the </ VectorInfo> tag from the second top is the next <vector>. The feature amount arranged between the tag and the </ vector> tag indicates the feature amount of the pattern. The feature amount of the pattern is, for example, a feature amount indicated by a frequency component histogram including a vertical component histogram and a horizontal component histogram described with reference to FIGS. 12 and 13.

メタデータ261は、全体として、デジタルスチルカメラ11において、コンテンツデータベース111と類似特徴データベース112とに格納され、サーバ13において、コンテンツデータベース141と類似特徴データベース142とに格納される。すなわち、メタデータ261は、適宜分割されて、デジタルスチルカメラ11において、その一部分がコンテンツデータベース111に格納され、残りの部分が類似特徴データベース112に格納され、サーバ13において、コンテンツデータベース111に格納されている部分と同じ部分がコンテンツデータベース141に格納され、類似特徴データベース112に格納されている部分と同じ部分が類似特徴データベース142に格納される。   As a whole, the metadata 261 is stored in the content database 111 and the similar feature database 112 in the digital still camera 11, and is stored in the content database 141 and the similar feature database 142 in the server 13. That is, the metadata 261 is appropriately divided, and the digital still camera 11 stores a part thereof in the content database 111, the remaining part is stored in the similar feature database 112, and is stored in the content database 111 in the server 13. The same part as the stored part is stored in the content database 141, and the same part as the part stored in the similar feature database 112 is stored in the similar feature database 142.

図16は、コンテンツデータベース111またはコンテンツデータベース141に格納されているメタデータ(の部分)の構成を示す図である。   FIG. 16 is a diagram illustrating a configuration of (parts of) metadata stored in the content database 111 or the content database 141.

コンテンツデータベース111またはコンテンツデータベース141に格納されているメタデータは、コンテンツID、撮影時刻、パス名、ファイル名、グループID、画像に含まれる顔の画像に関する情報(以下、顔画像情報と称する)、ラベルID、およびコメントなどからなる。   The metadata stored in the content database 111 or the content database 141 includes a content ID, a shooting time, a path name, a file name, a group ID, information on a face image included in the image (hereinafter referred to as face image information), It consists of a label ID and a comment.

コンテンツIDは、画像に固有のIDであり、画像を特定する。コンテンツIDによって、本画像201および縮小画像202が特定される。コンテンツIDは、GUIDであるプロパティとされ、文字列の型で表現される。画像が撮影された日時を示す撮影時刻は、協定世界時およびローカルタイムで表現される。協定世界時で表される撮影時刻は、UTCdateであるプロパティとされ、日付の型で表現される。協定世界時で表される撮影時刻は、EXIF方式のデータのDate Time Originalに記入される撮影時刻(UTC(Universal Coordinated Time))と同じである。   The content ID is an ID unique to the image and identifies the image. The main image 201 and the reduced image 202 are specified by the content ID. The content ID is a property that is a GUID, and is represented by a character string type. The shooting time indicating the date and time when the image was shot is expressed in coordinated universal time and local time. The shooting time expressed in Coordinated Universal Time is a property that is UTCdate and is expressed in the date type. The shooting time represented in Coordinated Universal Time is the same as the shooting time (UTC (Universal Coordinated Time)) written in the Date Time Original of the EXIF data.

ローカルタイムで表される撮影時刻は、dateであるプロパティとされ、日付の型で表現される。ローカルタイムで表される撮影時刻は、EXIF方式のデータのDate Time Originalに記入される撮影時刻(Local time)と同じである。   The shooting time expressed in local time is a property that is date, and is expressed in a date type. The photographing time represented by the local time is the same as the photographing time (Local time) written in Date Time Original of the EXIF data.

パス名は、ms/DCIM/XXXXX/など、本画像201のファイルのディレクトリ名(ファイル名を含まず)を示す。パス名は、pathであるプロパティとされ、文字列の型で表現される。   The path name indicates the directory name (not including the file name) of the file of the main image 201 such as ms / DCIM / XXXXX /. The path name is a property that is path, and is expressed as a string type.

ファイル名は、DSC00001.JPGなど、画像データである本画像201が格納されているファイルの名前を示す。ファイル名は、DCFnameであるプロパティとされ、文字列の型で表現される。   The file name indicates the name of a file that stores the main image 201 that is image data, such as DSC00001.JPG. The file name is a property that is DCFname and is represented by a string type.

縮小画像202のパス名およびファイル名は、/DATA/EVENTIMAGE/000000000001.JPGなど、縮小画像202のファイルのディレクトリ名およびファイル名を示す。縮小画像202のパス名およびファイル名は、vgaCachePathであるプロパティとされ、文字列の型で表現される。   The path name and file name of the reduced image 202 indicate the directory name and file name of the file of the reduced image 202 such as /DATA/EVENTIMAGE/000000000001.JPG. The path name and file name of the reduced image 202 are set as a property of vgaCachePath and are expressed in a character string type.

グループIDは、画像が所属するグループを特定するデータである。画像は、使用者によって、所望のグループに分類される。グループIDは、画像が分類されたグループを特定する。例えば、画像が撮影されたイベント(旅行や運動会などの行事や催し)毎に、グループを造り、そのイベントで撮影された画像を、イベントに対応するグループに分類することができる。   The group ID is data for specifying the group to which the image belongs. The images are classified into a desired group by the user. The group ID specifies a group into which images are classified. For example, it is possible to create a group for each event (an event or event such as a trip or athletic meet) in which an image is taken, and classify the images taken at that event into groups corresponding to the event.

グループIDは、groupIDであるプロパティとされ、数値の型で表現される。   The group ID is a property that is groupID, and is expressed by a numeric type.

例えば、顔画像情報は、画像が、風景画(顔が写っていない画像)、少人数の人物画(1乃至5人の顔が写っている画像)、または大人数の人物画(6人以上の顔が写っている画像)のいずれかであることを示す。例えば、1である顔画像情報は、画像が風景画であることを示し、2である顔画像情報は、画像が少人数の人物画であることを示し、3である顔画像情報は、画像が大人数の人物画であることを示す。顔画像情報は、faceExistenceであるプロパティとされ、数値の型で表現される。   For example, the face image information may be a landscape image (image without a face), a small number of person images (images with 1 to 5 faces), or a large number of person images (6 or more people). Image showing the face of). For example, face image information of 1 indicates that the image is a landscape image, face image information of 2 indicates that the image is a small number of person images, and face image information of 3 indicates that the image is an image. Indicates that it is a portrait of a large number of people. The face image information is a property which is faceExistence and is expressed by a numerical value type.

顔画像情報は、画像に含まれる顔の画像の数、画像における顔の画像の位置、顔の画像の大きさ、または顔の画像における顔の向きを示すようにしてもよい。   The face image information may indicate the number of face images included in the image, the position of the face image in the image, the size of the face image, or the orientation of the face in the face image.

ラベルIDは、画像に付されたラベルを示す。ラベルIDは、labelsであるプロパティとされ、数値の配列の型で表現される。   The label ID indicates a label attached to the image. The label ID is a property that is labels, and is expressed as a numeric array type.

コメントは、commentであるプロパティとされ、文字列の型で表現される。   A comment is a property that is a comment and is represented by a string type.

プロテクト状態は、消去付加などのその画像の保護の状態を示す。プロテクト状態は、protectであるプロパティとされ、論理データの型で表現される。   The protected state indicates the state of protection of the image such as deletion and addition. The protect state is a property that is protect and is expressed by a logical data type.

エクスチェンジ/インポートフラグは、その画像が交換されたか、または画像がインポートされたことを示す。エクスチェンジ/インポートフラグは、exchangeOrImportFlagであるプロパティとされ、論理データの型で表現される。   The exchange / import flag indicates that the image has been exchanged or has been imported. The exchange / import flag is a property which is exchangeOrImportFlag, and is represented by a logical data type.

Trueであるメタイネーブルフラグは、サーバ13によりその画像のメタデータが生成されたことを示す。メタイネーブルフラグは、metaEnableFlagであるプロパティとされ、論理データの型で表現される。   A meta enable flag that is true indicates that the server 13 has generated metadata for the image. The meta enable flag is a property that is metaEnableFlag, and is represented by a logical data type.

Trueであるバックアップフラグは、サーバ13によりその画像がバックアップされたことを示す。バックアップフラグは、backUpFlagであるプロパティとされ、論理データの型で表現される。   A backup flag that is True indicates that the image has been backed up by the server 13. The backup flag is a property which is backUpFlag and is expressed by a logical data type.

図17は、コンテンツデータベース111に格納されているメタデータ(の部分)および類似特徴データベース112に格納されているメタデータ(の部分)の構造を示す図である。   FIG. 17 is a diagram illustrating the structures of metadata (parts) stored in the content database 111 and metadata (parts) stored in the similar feature database 112.

コンテンツデータベース111には、画像毎のコンテンツアイテムが格納される。コンテンツアイテムは、メタデータ261の一部分のデータからなる。   The content database 111 stores content items for each image. The content item is a part of the metadata 261.

例えば、コンテンツアイテム281−1は、格納されているコンテンツIDで特定される1つの画像に対応し、コンテンツID、本画像201のパス名およびファイル名(図17中のPath)、縮小画像202のパス名およびファイル名、グループID、ローカルタイムで表される撮影時刻、および顔画像情報などからなり、コンテンツアイテム281−2は、他の画像に対応し、コンテンツID、本画像201のパス名およびファイル名(図17中のPath)、縮小画像202のパス名およびファイル名、グループID、ローカルタイムで表される撮影時刻、および顔画像情報などからなる。   For example, the content item 281-1 corresponds to one image specified by the stored content ID, the content ID, the path name and file name of the main image 201 (Path in FIG. 17), and the reduced image 202. The content item 281-2 corresponds to other images, and includes a content ID, a path name of the main image 201, and a path name and file name, a group ID, a shooting time represented by local time, and face image information. The file name (Path in FIG. 17), the path name and file name of the reduced image 202, the group ID, the shooting time expressed in local time, face image information, and the like.

以下、コンテンツアイテム281−1およびコンテンツアイテム281−2を個々に区別する必要がないとき、単に、コンテンツアイテム281と称する。   Hereinafter, when there is no need to distinguish between the content item 281-1 and the content item 281-2, they are simply referred to as the content item 281.

類似特徴データベース112には、画像毎の類似特徴アイテムが格納される。類似特徴アイテムは、メタデータ261を構成するデータのうち、コンテンツアイテム281を構成する部分以外の部分のデータからなる。ただし、類似特徴アイテムは、コンテンツIDを含む。   The similar feature database 112 stores similar feature items for each image. The similar feature item includes data of a part other than the part constituting the content item 281 in the data constituting the metadata 261. However, the similar feature item includes a content ID.

例えば、類似特徴アイテム282−1は、格納されているコンテンツIDで特定されるコンテンツアイテム281−1に対応し、すなわち、格納されているコンテンツIDで特定される1つの画像に対応し、コンテンツID、色ヒストグラム、および周波数成分のヒストグラムなどからなる。   For example, the similar feature item 282-1 corresponds to the content item 281-1 specified by the stored content ID, that is, corresponds to one image specified by the stored content ID, and the content ID , A color histogram, and a histogram of frequency components.

色ヒストグラムは、画像の32の色毎の頻度を示し、histogramであるプロパティとされる。周波数成分のヒストグラムは、垂直成分ヒストグラムと水平成分ヒストグラムとからなり、画像の縦方向および横方向のそれぞれについての、8つの周波数に対する周波数成分の最大値の頻度を示し、textureであるプロパティとされる。   The color histogram indicates the frequency for each of the 32 colors of the image and is a property that is a histogram. The frequency component histogram is composed of a vertical component histogram and a horizontal component histogram, and indicates the frequency of the maximum value of the frequency component with respect to eight frequencies in each of the vertical direction and the horizontal direction of the image, and is a property which is a texture. .

同様に、例えば、類似特徴アイテム282−2は、格納されているコンテンツIDで特定されるコンテンツアイテム281−2に対応し、すなわち、格納されているコンテンツIDで特定される1つの画像に対応し、コンテンツID、色ヒストグラム、および周波数成分のヒストグラムなどからなる。   Similarly, for example, the similar feature item 282-2 corresponds to the content item 281-2 specified by the stored content ID, that is, corresponds to one image specified by the stored content ID. , Content ID, color histogram, and frequency component histogram.

以下、類似特徴アイテム282−1および類似特徴アイテム282−2を個々に区別する必要がないとき、単に、類似特徴アイテム282と称する。   Hereinafter, when there is no need to distinguish between the similar feature item 282-1 and the similar feature item 282-2, they are simply referred to as the similar feature item 282.

このように、類似特徴データベース112には、コンテンツデータベース111に格納されているコンテンツアイテム281に対応した類似特徴アイテム282が格納される。   As described above, the similar feature database 112 stores the similar feature item 282 corresponding to the content item 281 stored in the content database 111.

図18は、類似特徴アイテム282の構造を示す図である。類似特徴アイテム282は、アイテム291、アイテム292−1乃至アイテム292−32、およびアイテム293から構成されている。アイテム291は、コンテンツID、アイテム292−1乃至アイテム292−32を示すポインタ、およびアイテム293を示すポインタから構成される。アイテム292−1乃至アイテム292−32を示すポインタは、色ヒストグラムに対応している。アイテム293を示すポインタは、周波数成分のヒストグラムに対応している。   FIG. 18 is a diagram illustrating the structure of the similar feature item 282. The similar feature item 282 includes an item 291, an item 292-1 to an item 292-32, and an item 293. The item 291 includes a content ID, a pointer indicating the items 292-1 to 292-32, and a pointer indicating the item 293. The pointers indicating the items 292-1 to 292-32 correspond to the color histogram. A pointer indicating the item 293 corresponds to a histogram of frequency components.

アイテム292−1乃至アイテム292−32は、それぞれ、色ヒストグラムの頻度、すなわち、L*a*b*で表される色のそれぞれと、それぞれの色が画像内で占有している割合(例えば、32色の色毎の画素の数)を示す。アイテム292−1は、L*a*b*で表される色であって、32色のうちの第1の色と、第1の色が画像内で占有している割合 を示す。アイテム292−2は、L*a*b*で表される色であって、32色のうちの第2の色と、第2の色が画像内で占有している割合を示す。   Each of the items 292-1 to 292-32 is the frequency of the color histogram, that is, each of the colors represented by L * a * b * and the ratio of each color occupied in the image (for example, The number of pixels for each of the 32 colors). The item 292-1 is a color represented by L * a * b *, and indicates the first color of the 32 colors and the ratio occupied by the first color in the image. The item 292-2 is a color represented by L * a * b *, and indicates the second color of the 32 colors and the ratio occupied by the second color in the image.

アイテム292−3乃至アイテム292−32は、それぞれ、L*a*b*で表される色であって、32色のうちの第3の色乃至第32の色のそれぞれと、第3の色乃至第32の色のそれぞれが画像内で占有している割合を示す。   The items 292-3 to 292-32 are colors represented by L * a * b *, respectively, and the third to thirty-second colors of the thirty-two colors and the third color The ratios of the thirty-second to thirty-second colors are indicated in the image.

すなわち、アイテム292−1乃至アイテム292−32は、全体として、1つの画像の色ヒストグラムを示す。色ヒストグラムは、色特徴ベクトルCvとして表すこともできる。色特徴ベクトルCvは、Cv={(c1,r1),・・・,(c32,r32)}とも表現される。ここで、(c1,r1)乃至(c32,r32)のそれぞれは、c1乃至c32のいずれかで表される32色のうちのいずれかの、画像内で占有している割合を示す。   That is, the items 292-1 to 292-32 indicate a color histogram of one image as a whole. The color histogram can also be expressed as a color feature vector Cv. The color feature vector Cv is also expressed as Cv = {(c1, r1),..., (C32, r32)}. Here, each of (c1, r1) to (c32, r32) represents a ratio occupied in any one of the 32 colors represented by any of c1 to c32.

アイテム293は、垂直成分ヒストグラムおよび水平成分ヒストグラムを示す。垂直成分ヒストグラムおよび水平成分ヒストグラムは、それぞれ、8つの頻度を示す。   Item 293 shows a vertical component histogram and a horizontal component histogram. Each of the vertical component histogram and the horizontal component histogram shows eight frequencies.

垂直成分ヒストグラムおよび水平成分ヒストグラムを合わせてなる周波数成分のヒストグラムは、周波数成分ベクトルTvとしても表すこともできる。周波数成分ベクトルTvは、Tv={(t1,1),・・・,(t8,1),(t9,1),・・・,(t16,1)}とも表現される。ここで、(t1,1)乃至(t16,1)のそれぞれは、t1乃至t16のいずれかで表される周波数成分の最大となる数(頻度)を示す。   The frequency component histogram formed by combining the vertical component histogram and the horizontal component histogram can also be expressed as a frequency component vector Tv. The frequency component vector Tv is also expressed as Tv = {(t1,1), ..., (t8,1), (t9,1), ..., (t16,1)}. Here, each of (t1,1) to (t16,1) indicates the maximum number (frequency) of frequency components represented by any of t1 to t16.

次に、図19のフローチャートを参照して、Webサーバ15−1若しくはWebサーバ15−2またはその他の機器から画像を取得する、サーバ13の画像の取得の処理を説明する。以下、Webサーバ15−1から画像を取得する場合を例に説明する。   Next, an image acquisition process of the server 13 for acquiring an image from the Web server 15-1, the Web server 15-2, or other devices will be described with reference to a flowchart of FIG. Hereinafter, a case where an image is acquired from the Web server 15-1 will be described as an example.

ステップS61において、サーバ13の送信制御部138−2および受信制御部138−2は、ネットワーク14を介して、通信部80に、Webサーバ15−1から本画像201を取得させる。   In step S61, the transmission control unit 138-2 and the reception control unit 138-2 of the server 13 cause the communication unit 80 to acquire the main image 201 from the Web server 15-1 via the network 14.

例えば、ステップS61において、送信制御部138−2および受信制御部138−2は、通信部80に、ネットワーク14を介してWebサーバ15−1と接続させる。そして、送信制御部138−2は、通信部80に、ネットワーク14を介して、Webサーバ15−1宛てに本画像201の送信要求を送信させる。Webサーバ15−1が要求された本画像201をネットワーク14を介して送信してくるので、受信制御部138−2は、通信部80に、Webサーバ15−1から送信されてきた本画像201を受信させる。受信制御部138−2は、受信することによって取得した本画像201を画像保持部140に供給する。   For example, in step S61, the transmission control unit 138-2 and the reception control unit 138-2 cause the communication unit 80 to connect to the Web server 15-1 via the network 14. Then, the transmission control unit 138-2 causes the communication unit 80 to transmit a transmission request for the main image 201 to the Web server 15-1 via the network 14. Since the Web server 15-1 transmits the requested master image 201 via the network 14, the reception control unit 138-2 sends the master image 201 transmitted from the Web server 15-1 to the communication unit 80. To receive. The reception control unit 138-2 supplies the main image 201 acquired by reception to the image holding unit 140.

ステップS62において、縮小画像生成部132は、受信した本画像201から縮小画像202を生成する。例えば、縮小画像生成部132は、本画像201から画素を間引きすることにより縮小画像202を生成する。または、縮小画像生成部132は、本画像201の互いに隣接する複数の画素の画素値の平均値を、その複数の画素に対応する1つの画素の画素値とすることにより、縮小画像202を生成する。   In step S <b> 62, the reduced image generation unit 132 generates a reduced image 202 from the received main image 201. For example, the reduced image generation unit 132 generates the reduced image 202 by thinning pixels from the main image 201. Alternatively, the reduced image generation unit 132 generates the reduced image 202 by using the average value of the pixel values of a plurality of adjacent pixels of the main image 201 as the pixel value of one pixel corresponding to the plurality of pixels. To do.

縮小画像生成部132は、生成した縮小画像202を画像保持部140に供給する。   The reduced image generation unit 132 supplies the generated reduced image 202 to the image holding unit 140.

ステップS63において、画像保持部140は、受信した本画像201および縮小画像生成部132において生成された縮小画像202を記録する。   In step S <b> 63, the image holding unit 140 records the received main image 201 and the reduced image 202 generated by the reduced image generation unit 132.

なお、縮小画像生成部132は、画像保持部140から本画像201を読み出して、読み出した本画像201から縮小画像202を生成するようにしてもよい。   Note that the reduced image generation unit 132 may read the main image 201 from the image holding unit 140 and generate the reduced image 202 from the read main image 201.

ステップS64において、画像解析部131は、画像保持部140に記録された画像を解析する。ステップS64の画像の解析の処理は、図10のフローチャートを参照して説明した処理と同様なので、その説明は省略する。   In step S <b> 64, the image analysis unit 131 analyzes the image recorded in the image holding unit 140. The image analysis processing in step S64 is the same as the processing described with reference to the flowchart of FIG.

ステップS65において、メタデータ生成部133は、ステップS64において抽出された画像の特徴を含む画像のメタデータを生成する。ステップS66において、エントリ生成部134は、本画像201および縮小画像202のエントリを生成する。エントリ生成部134は、生成したエントリを、ステップS65において生成されたメタデータに関係付けて、コンテンツデータベース141(および類似特徴データベース142)に追加(格納)する。   In step S65, the metadata generation unit 133 generates image metadata including the image features extracted in step S64. In step S <b> 66, the entry generation unit 134 generates entries for the main image 201 and the reduced image 202. The entry generation unit 134 adds (stores) the generated entry to the content database 141 (and the similar feature database 142) in association with the metadata generated in step S65.

ステップS67において、送信制御部138−1および受信制御部138−1は、通信部79に、デジタルスチルカメラ11と接続させる。   In step S67, the transmission control unit 138-1 and the reception control unit 138-1 cause the communication unit 79 to connect to the digital still camera 11.

ステップS68において、検索部137は、デジタルスチルカメラ11から送信されてくるデータを基に、画像保持部140に記録されている縮小画像202のうち、デジタルスチルカメラ11に持ち出す縮小画像202を選択する。検索部137は、画像保持部140から選択した縮小画像202を読み出して、読み出した縮小画像202を送信制御部138−1に供給する。   In step S <b> 68, the search unit 137 selects the reduced image 202 to be brought out to the digital still camera 11 from the reduced images 202 recorded in the image holding unit 140 based on the data transmitted from the digital still camera 11. . The search unit 137 reads the reduced image 202 selected from the image holding unit 140 and supplies the read reduced image 202 to the transmission control unit 138-1.

ステップS69において、送信制御部138−1は、通信部79に、デジタルスチルカメラ11宛てに選択された縮小画像202を送信させる。   In step S <b> 69, the transmission control unit 138-1 causes the communication unit 79 to transmit the selected reduced image 202 to the digital still camera 11.

ステップS70において、送信制御部138−1は、ステップS37と同様の処理で、通信部79に、デジタルスチルカメラ11のコンテンツデータベース111および類似特徴データベース112に、送信された縮小画像202のメタデータであって、抽出された画像の特徴を含むメタデータを記入させる。   In step S70, the transmission control unit 138-1 performs processing similar to that in step S37, with the metadata of the reduced image 202 transmitted to the content database 111 and the similar feature database 112 of the digital still camera 11 to the communication unit 79. Then, the metadata including the extracted image features is entered.

ステップS72において、サーバ13の送信制御部138−1および受信制御部138−1は、通信部79に、デジタルスチルカメラ11との接続を切断させ、処理は終了する。   In step S72, the transmission control unit 138-1 and the reception control unit 138-1 of the server 13 cause the communication unit 79 to disconnect from the digital still camera 11, and the process ends.

図20で示されるように、サーバ13−1またはサーバ13−2が、ネットワーク14を介して、Webサーバ15−1若しくはWebサーバ15−2またはその他の機器から本画像201を取得し、取得した本画像201を記録すると、サーバ13−1またはサーバ13−2は、本画像201から縮小画像202を生成し、本画像201を解析して、本画像201の特徴を抽出する。そして、サーバ13−1またはサーバ13−2は、抽出した本画像201の特徴を記述したメタデータ261と共に縮小画像202をデジタルスチルカメラ11または携帯電話機12に書き込む。   As illustrated in FIG. 20, the server 13-1 or the server 13-2 acquires the master image 201 from the Web server 15-1, the Web server 15-2, or other devices via the network 14 and acquires the master image 201. When the main image 201 is recorded, the server 13-1 or the server 13-2 generates a reduced image 202 from the main image 201, analyzes the main image 201, and extracts features of the main image 201. Then, the server 13-1 or the server 13-2 writes the reduced image 202 in the digital still camera 11 or the mobile phone 12 together with the metadata 261 describing the characteristics of the extracted main image 201.

次に、図21のフローチャートを参照して、デジタルスチルカメラ11における検索の処理を説明する。ステップS81において、検索部107は、コンテンツデータベース111または類似特徴データベース112に記録されているメタデータのうち、検索に用いるメタデータを選択する。例えば、検索部107は、検索に用いるメタデータとして、使用者の操作に応じた入力部49からの信号を基に、撮影時刻若しくは撮影条件、顔の画像に関する情報、所定の色名によって想起される度合いを示す関連度、または色若しくは画像の周波数成分などの類似の度合いを計算するための特徴のうちのいずれかを選択する。   Next, search processing in the digital still camera 11 will be described with reference to the flowchart of FIG. In step S <b> 81, the search unit 107 selects metadata to be used for search from the metadata recorded in the content database 111 or the similar feature database 112. For example, the search unit 107 is recalled as the metadata used for the search based on the signal from the input unit 49 according to the user's operation based on the shooting time or shooting condition, information on the face image, and a predetermined color name. Or a feature for calculating a degree of similarity such as a color or a frequency component of an image.

また、ステップS81において、検索部107は、使用者の操作に応じた入力部49からの信号を基に、画像保持部110に記録されている本画像201または縮小画像202の検索する範囲を選択する。   In step S81, the search unit 107 selects a search range of the main image 201 or the reduced image 202 recorded in the image holding unit 110 based on a signal from the input unit 49 according to a user operation. To do.

ステップS82において、検索部107は、使用者の操作に応じた入力部49から供給される信号としての、検索開始の指示を取得する。   In step S82, the search unit 107 acquires a search start instruction as a signal supplied from the input unit 49 according to the user's operation.

ステップS83において、検索部107は、コンテンツデータベース111または類似特徴データベース112から、検索する範囲の本画像201または縮小画像202のメタデータ261を順に読み込む。   In step S83, the search unit 107 sequentially reads the metadata 261 of the main image 201 or reduced image 202 in the search range from the content database 111 or the similar feature database 112.

ステップS84において、検索部107は、メタデータ261が存在するか否か、すなわち、メタデータ261がヌル(null)であるか否かを判定し、メタデータ261が存在すると判定された場合、ステップS85に進み、検索部107は、メタデータ261から、検索結果表示制御データを生成する。   In step S84, the search unit 107 determines whether or not the metadata 261 exists, that is, whether or not the metadata 261 is null, and if it is determined that the metadata 261 exists, In step S85, the search unit 107 generates search result display control data from the metadata 261.

例えば、ステップS85において、検索部107の距離計算部121は、色または画像の周波数成分などの類似の度合いを計算するための特徴を示すベクトルであるメタデータを基に、選択された画像(基準となる画像)についてのベクトルであるメタデータと、検索する範囲の画像についてのベクトルであるメタデータとから、ベクトルの距離を計算し、ベクトルの距離である検索結果表示制御データを生成する。   For example, in step S85, the distance calculation unit 121 of the search unit 107 selects a selected image (standard) based on metadata that is a vector indicating characteristics for calculating the degree of similarity such as a color or a frequency component of an image. The vector distance is calculated from the metadata that is the vector for the image and the metadata that is the vector for the image in the search range, and the search result display control data that is the vector distance is generated.

このベクトルの距離は、短いほど画像同士が似ていることを示すので、ベクトルの距離である検索結果表示制御データを用いることで、より類似している画像を読み出して、画像を類似している順に表示することができる。   The shorter the vector distance, the more similar the images are. Therefore, by using the search result display control data, which is the vector distance, a more similar image is read and the images are similar. They can be displayed in order.

例えば、ステップS85において、検索部107は、所定の色名によって想起される度合いを示す関連度であるメタデータを基に、入力された閾値と関連度とを比較し、入力された閾値以上の関連度であることを示す検索結果表示制御データを生成する。   For example, in step S85, the search unit 107 compares the input threshold value with the relevance level based on metadata that is the relevance level indicating the degree recalled by a predetermined color name, and exceeds the input threshold value. Search result display control data indicating the relevance is generated.

入力された閾値以上の関連度であることを示す検索結果表示制御データを用いることで、その色名によって想起される度合いの大きい画像、すなわち、その色名の色を多く含む画像だけを読み出して、その色名の色を多く含む画像だけを表示することができる。   By using the search result display control data indicating that the degree of relevance is greater than or equal to the input threshold, only images with a high degree of recollection by the color name, that is, images containing many colors of the color name are read out. , Only an image including many colors of the color name can be displayed.

または、例えば、検索部107は、所定の色名によって想起される度合いを示す関連度であるメタデータを基に、入力された閾値と関連度との距離を計算することで、距離である検索結果表示制御データを生成する。   Alternatively, for example, the search unit 107 calculates the distance between the input threshold value and the degree of association based on the metadata that is the degree of association indicating the degree recalled by a predetermined color name. Generate result display control data.

入力された閾値と関連度との距離である検索結果表示制御データを用いることで、所望の色名の色を所望の量だけ含む画像を読み出して、所望の色名の色を所望の量だけ含む画像を表示することができる。   By using the search result display control data, which is the distance between the input threshold value and the degree of association, an image including a desired color name in a desired amount is read, and the desired color name in a desired amount An image including it can be displayed.

なお、検索結果表示制御データには、コンテンツIDが含まれ、これにより、検索結果表示制御データに対応する本画像201または縮小画像202が特定される。   Note that the search result display control data includes the content ID, thereby identifying the main image 201 or the reduced image 202 corresponding to the search result display control data.

ステップS86において、検索部107は、生成した検索結果表示制御データを検索結果保持部115に格納する。   In step S <b> 86, the search unit 107 stores the generated search result display control data in the search result holding unit 115.

ステップS87において、検索部107は、検索する範囲の全ての本画像201または 縮小画像202の処理を終了したか否かを判定し、検索する範囲の全ての本画像201または縮小画像202の処理を終了していないと判定された場合、ステップS83に戻り、検索部107は、コンテンツデータベース111または類似特徴データベース112から、検索する範囲の次の本画像201または縮小画像202のメタデータ261を読み込み、上述した処理を繰り返す。   In step S87, the search unit 107 determines whether or not the processing of all the main images 201 or reduced images 202 in the search range has been completed, and performs the processing of all the main images 201 or reduced images 202 in the search range. When it is determined that the search has not ended, the process returns to step S83, and the search unit 107 reads the metadata 261 of the next main image 201 or reduced image 202 in the search range from the content database 111 or the similar feature database 112, The above processing is repeated.

ステップS84において、メタデータ261が存在しないと判定された場合、すなわち、メタデータ261がヌル(null)であると判定された場合、ステップS83に戻り、検索部107は、コンテンツデータベース111または類似特徴データベース112から、検索する範囲の次の本画像201または縮小画像202のメタデータ261を読み込み、上述した処理を繰り返す。   If it is determined in step S84 that the metadata 261 does not exist, that is, if it is determined that the metadata 261 is null, the process returns to step S83, and the search unit 107 selects the content database 111 or similar feature. The metadata 261 of the next main image 201 or reduced image 202 in the search range is read from the database 112, and the above-described processing is repeated.

ステップS87において、検索する範囲の全ての本画像201または縮小画像202の処理を終了したと判定された場合、ステップS88に進み、表示制御部106は、検索結果保持部115から、検索結果表示制御データを読み出す。ステップS89において、表示制御部106は、検索結果表示制御データを基に、画像保持部110から本画像201または縮小画像202を読み出して、本画像201または縮小画像202をモニタ40に表示させて、処理は終了する。   If it is determined in step S87 that the processing of all the main images 201 or reduced images 202 in the search range has been completed, the process proceeds to step S88, and the display control unit 106 controls the search result display control from the search result holding unit 115. Read data. In step S89, the display control unit 106 reads the main image 201 or the reduced image 202 from the image holding unit 110 based on the search result display control data, displays the main image 201 or the reduced image 202 on the monitor 40, and The process ends.

例えば、ステップS85において、色または画像の周波数成分などの類似の度合いを計算するための特徴を示すベクトルの距離である検索結果表示制御データが生成された場合、ステップS89において、表示制御部106は、本画像201または縮小画像202を、基準となる画像との類似の順にモニタ40に表示させる。   For example, when search result display control data that is a vector distance indicating a feature for calculating the degree of similarity such as a color or a frequency component of an image is generated in step S85, the display control unit 106 in step S89 Then, the main image 201 or the reduced image 202 is displayed on the monitor 40 in the order similar to the reference image.

また、例えば、ステップS85において、所定の色名によって想起される度合いを示す関連度が入力された閾値以上であることを示す検索結果表示制御データが生成された場合、ステップS89において、表示制御部106は、その色名の色を多く含む本画像201または縮小画像202をモニタ40に表示させる。   For example, when search result display control data indicating that the relevance indicating the degree recalled by the predetermined color name is equal to or greater than the input threshold value is generated in step S85, the display control unit is determined in step S89. 106 displays the main image 201 or the reduced image 202 including many colors of the color name on the monitor 40.

さらに、例えば、ステップS85において、所定の色名によって想起される度合いを示す関連度と入力された閾値との距離である検索結果表示制御データが生成された場合、ステップS89において、表示制御部106は、所望の色名の色を所望の量だけ含む本画像201または縮小画像202をモニタ40に表示させる。   Further, for example, when search result display control data that is the distance between the degree of association indicating the degree recalled by the predetermined color name and the input threshold value is generated in step S85, the display control unit 106 in step S89. Causes the monitor 40 to display the main image 201 or the reduced image 202 including a desired amount of the color of the desired color name.

携帯電話機12は、図21のフローチャートを参照して説明した検索の処理と同様の処理を実行する。サーバ13は、図21のフローチャートを参照して説明した検索の処理と同様の処理を実行する。   The mobile phone 12 executes the same process as the search process described with reference to the flowchart of FIG. The server 13 executes processing similar to the search processing described with reference to the flowchart of FIG.

その結果、図22で示されるように、サーバ13−1またはサーバ13−2における、例えば、コンテンツデータベース141および類似特徴データベース142に格納されているメタデータ261を基にした本画像201の検索と同様に、デジタルスチルカメラ11または携帯電話機12において、縮小画像202を、コンテンツデータベース111および類似特徴データベース112に格納されているメタデータ261を基にして検索することができる。   As a result, as shown in FIG. 22, the search of the master image 201 based on the metadata 261 stored in the content database 141 and the similar feature database 142, for example, in the server 13-1 or the server 13-2. Similarly, in the digital still camera 11 or the mobile phone 12, the reduced image 202 can be searched based on the metadata 261 stored in the content database 111 and the similar feature database 112.

次に、デジタルスチルカメラ11による、より具体的な検索の処理について説明する。   Next, more specific search processing by the digital still camera 11 will be described.

図23は、デジタルスチルカメラ11による検索の処理の他の例を示すフローチャートである。ステップS101において、表示制御部106は、モニタ40に、時系列に縮小画像202を表示させる。すなわち、ステップS101において、画像保持部110は、 記録している縮小画像202のうち、使用者の操作に応じた入力部49からの信号に応じた所定の範囲の縮小画像202を表示制御部106に供給する。また、コンテンツデータベース111は、表示制御部106に供給された所定の範囲の縮小画像202のメタデータ261のうち、撮影時刻のメタデータを表示制御部106に供給する。そして、表示制御部106は、モニタ40に、撮影時刻を基に、撮影された順の時系列に縮小画像202を表示させる。   FIG. 23 is a flowchart illustrating another example of search processing by the digital still camera 11. In step S101, the display control unit 106 causes the monitor 40 to display the reduced image 202 in time series. That is, in step S101, the image holding unit 110 displays the reduced image 202 in a predetermined range according to the signal from the input unit 49 according to the user's operation among the recorded reduced images 202. To supply. Also, the content database 111 supplies the shooting control metadata to the display control unit 106 among the metadata 261 of the reduced image 202 within a predetermined range supplied to the display control unit 106. Then, the display control unit 106 causes the monitor 40 to display the reduced images 202 in time series in the order of shooting based on the shooting time.

例えば、図24で示されるように、表示制御部106は、モニタ40に、グループIDで特定されるグループ毎に、撮影された順の時系列に縮小画像202を表示させる。図24の右側における四角は、1つの縮小画像202を示し、四角の中の数字は、撮影された順序を示す。すなわち、例えば、表示制御部106は、グループ毎に、撮影された順にラスタスキャン順に縮小画像202をモニタ40に表示させる。   For example, as illustrated in FIG. 24, the display control unit 106 causes the monitor 40 to display the reduced images 202 in time series in the order of shooting for each group specified by the group ID. The square on the right side of FIG. 24 shows one reduced image 202, and the numbers in the squares indicate the order of shooting. That is, for example, the display control unit 106 causes the monitor 40 to display the reduced images 202 in the raster scan order in the order of shooting for each group.

なお、ステップS101において、画像保持部110は、モニタ40に、クラスタリングした画像を表示させるようにしてもよい。   In step S101, the image holding unit 110 may display the clustered image on the monitor 40.

ここで、時刻t1乃至t12のそれぞれのタイミングにおいて撮影された画像p1乃至p12がクラスタリングの対象とされている場合を例に説明する。例えば、クラスタを規定する条件として条件Aと条件Bが設定され、そのうちの条件Aにより、画像p1乃至p12全体からなる1つのクラスタが規定される。ここで、条件Aは粒度の低い(粗い)クラスタを規定する条件であり、条件Bは条件Aより粒度の高い(細かい)クラスタを規定する条件である。例えば、条件Aにより規定されたクラスタにはイベント名「結婚式」が設定される。   Here, a case will be described as an example where images p1 to p12 photographed at respective timings of times t1 to t12 are targeted for clustering. For example, conditions A and B are set as conditions for defining clusters, and one of the images p1 to p12 is defined by condition A among them. Here, the condition A is a condition for defining a cluster having a low particle size (coarse), and the condition B is a condition for defining a cluster having a particle size higher than that by the condition A (fine). For example, the event name “wedding” is set in the cluster defined by the condition A.

「結婚式」のイベント名が設定されているクラスタは、例えば、画像p1乃至p12のそれぞれの画像の撮影時刻の時間間隔のばらつきの程度が、ある閾値より小さいことなどから規定されたものである。   The cluster in which the event name “wedding” is set is defined, for example, because the degree of variation in the time interval of the shooting time of each of the images p1 to p12 is smaller than a certain threshold value. .

また、条件Bにより、画像p1乃至p12のうちの画像p1乃至p3から1つのクラスタが規定され、画像p4乃至p7から1つのクラスタが規定される。また、画像p8乃至p12から1つのクラスタが規定される。   Also, according to the condition B, one cluster is defined from the images p1 to p3 of the images p1 to p12, and one cluster is defined from the images p4 to p7. One cluster is defined from the images p8 to p12.

画像p1乃至p3からなるクラスタには「教会での挙式」、画像p4乃至p7からなるクラスタには「披露宴」、画像p8乃至p12からなるクラスタには「二次会」のイベント名がそれぞれ設定される。   “Church Ceremony” is set for the cluster composed of the images p1 to p3, “Reception” is set for the cluster composed of the images p4 to p7, and “Secondary Party” is set for the cluster composed of the images p8 to p12.

「教会での挙式」のイベント名が設定されているクラスタは、それを構成する画像p1乃至p3のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像p3と、次に(時間軸上で次に)撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりである画像p4乃至p7のうちの最初の画像である画像p4との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定される。   In the cluster in which the event name “Church Ceremony” is set, the image p3 and the images p1 to p3 constituting the cluster have the same degree of variation in the time interval of the photographing time, whereas the image p3, Next (next on the time axis), the time interval with the image p4 which is the first image among the images p4 to p7 which is a group of images with a similar degree of variation in the time interval of the photographing time is relatively large. This is defined in part because it is determined that the frequency of shooting has changed.

また、「披露宴」のイベント名が設定されているクラスタは、それを構成する画像p4乃至p7のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像p7と、次に撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりである画像p8乃至p12のうちの最初の画像である画像p8との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定される。   Also, in the cluster in which the event name “Reception Party” is set, the degree of variation in the time interval of the shooting time of each of the images p4 to p7 constituting the event is close, while the image p7 and the next In addition, the time interval with the image p8 which is the first image among the images p8 to p12, which is a group of images having a close variation in the time interval of the shooting time, is relatively large, and the frequency of shooting changes at that portion. It is stipulated because it was judged that there was.

「二次会」のイベント名が設定されているクラスタは、それを構成する画像p8乃至p12のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像p1 2と、次に撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりのうちの最初の画像との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定される。   In the cluster in which the event name “secondary party” is set, the images p8 to p12 constituting the cluster have the same degree of variation in the time interval of the shooting time, whereas the image p12 and the next This is defined by the fact that the time interval with the first image of a group of images with similar variations in the time interval of the shooting time is relatively large, and that it has been determined that the shooting frequency has changed in that portion.

なお、「結婚式」、「教会での挙式」、「披露宴」、「二次会」のそれぞれのイベント名は、例えば、ユーザにより手動で設定される。   The event names of “wedding”, “ceremony at church”, “banquet”, and “second party” are manually set by the user, for example.

このように、同じ対象の画像をクラスタリングする条件として複数の条件が設定され、それぞれの条件に基づいて、異なる粒度のクラスタが規定される。   As described above, a plurality of conditions are set as conditions for clustering the same target image, and clusters having different granularities are defined based on the respective conditions.

以上のようにして規定されたそれぞれのクラスタに含まれる画像は、階層構造を有する形でユーザに提示される。   The images included in each cluster defined as described above are presented to the user in a form having a hierarchical structure.

また、ステップS101において、画像保持部110は、モニタ40に、日付毎に表示領域を区分して、区分された領域の日付と画像の撮影された日付とが一致するように、所定の領域に縮小画像202を表示させるようにしてもよい。すなわち、ステップS101において、画像保持部110は、カレンダ表示によって、縮小画像202を表示させるようにしてもよい。   In step S101, the image holding unit 110 divides the display area for each date on the monitor 40, and sets the date of the divided area to the predetermined area so that the date when the image is captured matches. The reduced image 202 may be displayed. That is, in step S101, the image holding unit 110 may display the reduced image 202 by calendar display.

ステップS102において、検索部107は、使用者の操作に応じた入力部49からの信号を基に、モニタ40に表示されている縮小画像202の中から、1つの縮小画像202を選択する。   In step S <b> 102, the search unit 107 selects one reduced image 202 from the reduced images 202 displayed on the monitor 40 based on a signal from the input unit 49 according to the user's operation.

この場合、図24で示されるように、時系列に表示された縮小画像202のいずれかが選択された場合、表示制御部106は、選択された縮小画像202をハイライト表示するか、選択された縮小画像202の縁を強調表示する。   In this case, as shown in FIG. 24, when any one of the reduced images 202 displayed in time series is selected, the display control unit 106 highlights or selects the selected reduced image 202. The edge of the reduced image 202 is highlighted.

また、この場合、図25で示されるように、時系列に表示された縮小画像202のいずれかが選択された場合、表示制御部106は、選択された縮小画像202を拡大してモニタ40に表示するようにしてもよい。   In this case, as shown in FIG. 25, when any one of the reduced images 202 displayed in time series is selected, the display control unit 106 enlarges the selected reduced image 202 and displays it on the monitor 40. You may make it display.

ステップS103において、検索部107は、類似する画像の検索の処理を実行する。   In step S103, the search unit 107 executes a process for searching for similar images.

図26は、ステップS103に対応する、類似する画像の検索の処理の詳細を説明するフローチャートである。ステップS131において、検索部107は、使用者の操作に応じた入力部49からの信号を取得することにより、モニタ40に表示されたメニューの中の「類似検索」の項目の選択による類似検索の指示を取得する。   FIG. 26 is a flowchart for explaining the details of the similar image search processing corresponding to step S103. In step S131, the search unit 107 acquires a signal from the input unit 49 according to the user's operation, thereby performing a similar search by selecting an item of “similar search” in the menu displayed on the monitor 40. Get instructions.

ステップS132において、検索部107は、使用者の操作に応じた入力部49からの信号を取得することにより、検索開始の指示を取得する。   In step S132, the search unit 107 acquires a search start instruction by acquiring a signal from the input unit 49 according to the user's operation.

ステップS133において、検索部107は、類似特徴データベース112から、ステップS102において選択された縮小画像202のコンテンツIDに対応する類似特徴ベクトルを読み込む。ここで、類似特徴ベクトルは、色特徴ベクトルCvであるか、または周波数成分ベクトルTvである。   In step S133, the search unit 107 reads a similar feature vector corresponding to the content ID of the reduced image 202 selected in step S102 from the similar feature database 112. Here, the similar feature vector is the color feature vector Cv or the frequency component vector Tv.

ステップS134において、検索部107は、類似特徴データベース112から、検索する範囲の1つの縮小画像202のコンテンツIDに対応する類似特徴ベクトルを読み込む。   In step S134, the search unit 107 reads a similar feature vector corresponding to the content ID of one reduced image 202 in the search range from the similar feature database 112.

この場合、ステップS133において色特徴ベクトルCvである類似特徴ベクトルが読み出された場合、ステップS134において、色特徴ベクトルCvである類似特徴ベクトルが読み出される。また、ステップS133において周波数成分ベクトルTvである類似特徴ベクトルが読み出された場合、ステップS134において、周波数成分ベクトルTvである類似特徴ベクトルが読み出される。   In this case, when the similar feature vector that is the color feature vector Cv is read in step S133, the similar feature vector that is the color feature vector Cv is read in step S134. When the similar feature vector that is the frequency component vector Tv is read in step S133, the similar feature vector that is the frequency component vector Tv is read in step S134.

ステップS135において、検索部107は、検索する範囲の縮小画像202の類似特徴ベクトルと選択された縮小画像202の類似特徴ベクトルとの距離を算出する。   In step S135, the search unit 107 calculates the distance between the similar feature vector of the reduced image 202 in the search range and the similar feature vector of the selected reduced image 202.

ここで、それぞれ、32の要素を持つ色特徴ベクトルCv1={(c1_1,r1_1),・・・,(c32_1,r32_1)}と色特徴ベクトルCv2={(c1_2,r1_2),・・・,(c32_2,r32_2)}と距離を例に、距離の算出について説明する。   Here, the color feature vector Cv1 = {(c1_1, r1_1),..., (C32_1, r32_1)} and the color feature vector Cv2 = {(c1_2, r1_2),. c32_2, r32_2)} and distance as an example, the calculation of distance will be described.

まず、ground distance dij=d(c1i,c2j)という概念を導入する。ground distance dijは、色特徴ベクトルの要素の間の距離を表し、この例の場合、2つの色のユークリッド距離(L*a*b*の3軸空間における距離)なので、dij=‖c1i−c2j‖と表される。   First, the concept of ground distance dij = d (c1i, c2j) is introduced. The ground distance dij represents the distance between the elements of the color feature vector. In this example, since the Euclidean distance between the two colors (distance in the triaxial space of L * a * b *), dij = ‖c1i−c2j It is expressed as ‖.

すると、色特徴ベクトルCv1と色特徴ベクトルCv2との間のEMD(Earth Movers Distance)は、それぞれ、色特徴ベクトルCv1を供給地、色特徴ベクトルCv2を需要地、dijを単位輸送コストに対応付けて、色特徴ベクトルCv1から色特徴ベクトルCv2へのフローF={Fji}を決定する輸送問題の解を用いて計算される。   Then, the EMD (Earth Movers Distance) between the color feature vector Cv1 and the color feature vector Cv2 associates the color feature vector Cv1 with the supply location, the color feature vector Cv2 with the demand location, and dij with the unit transportation cost, respectively. , Using the solution of the transport problem to determine the flow F = {Fji} from the color feature vector Cv1 to the color feature vector Cv2.

すなわち、EMDは、輸送問題の最適値(輸送コストの総計の最小値)をフローの数で割り算して正規化することにより、式(1)により求められる。

Figure 2014211895
・・・(1)
このとき、
Figure 2014211895
とされる。 That is, the EMD is obtained by the equation (1) by dividing the optimum value of the transportation problem (the minimum value of the total transportation cost) by the number of flows and normalizing it.
Figure 2014211895
... (1)
At this time,
Figure 2014211895
It is said.

式(1)により求められるEMDが、色特徴ベクトルCv1と色特徴ベクトルCv2との距離とされる。   The EMD obtained by Expression (1) is the distance between the color feature vector Cv1 and the color feature vector Cv2.

周波数成分ベクトルTvの距離は、色特徴ベクトルCvの距離と同様に求められる。   The distance of the frequency component vector Tv is obtained in the same manner as the distance of the color feature vector Cv.

なお、重みWcを色特徴ベクトルCvの距離に対して決めると共に、重みWtを周波数成分ベクトルTvの距離に対して決めて、式(2)から最終的な距離(distance)を求めるようにしてもよい。

Figure 2014211895
・・・(2) Note that the weight Wc is determined with respect to the distance of the color feature vector Cv, and the weight Wt is determined with respect to the distance of the frequency component vector Tv, so that the final distance is obtained from the equation (2). Good.
Figure 2014211895
... (2)

使用者が重みWcおよび重みWtを決めるようにしても、重みWcおよび重みWtを固定としてもよい。例えば、より具体的には、重みWcおよび重みWtをそれぞれ0.5として、最終的な距離を、色特徴ベクトルCvの距離と周波数成分ベクトルTvの距離の平均とするようにしてもよい。   Even if the user determines the weight Wc and the weight Wt, the weight Wc and the weight Wt may be fixed. For example, more specifically, the weight Wc and the weight Wt may be set to 0.5, respectively, and the final distance may be an average of the distance of the color feature vector Cv and the distance of the frequency component vector Tv.

なお、ベクトルの距離計算に、Y. Rubner, C. Tomasi, and L. J. Guibas. A Metric for Distributions with Applications to Image Databases. Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, India, January 1998, pp. 59-66に記載されているEMD(Earth Movers Distance)を用いた例を説明したが、これに限らず、例えば、Euclidean distanceやHausdorff distanceのほか、小早川倫広、星守著、「ウェーブレット変換を用いた対話的類似画像検索システム」、「コンピュータサイエンス誌bit 12月号」、(1999年12月1日)、共立出版(株)発行、30頁乃至41頁や、呉君錫、金子邦彦、牧之内顕文、上野敦子著、「自己組織化特徴マップに基づいた類似画像検索システムの設計・実装と性能評価」、「電子情報通信学会技術研究報告 Vol.100 No.31」、(2000年5月2日)、(社)電子情報通信学会発行、9頁乃至16頁等の文献等に記載されているような手法を用いてもよい。   For vector distance calculation, Y. Rubner, C. Tomasi, and LJ Guibas.A Metric for Distributions with Applications to Image Databases.Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, India, January 1998, pp. The example using EMD (Earth Movers Distance) described in 59-66 was explained, but not limited to this. "Interactive similar image search system used", "December issue of computer science magazine" (December 1, 1999), published by Kyoritsu Shuppan Co., Ltd., pages 30-41, Kuni Kim, Kunihiko Kaneko, Akifumi Makinouchi, Atsuko Ueno, “Design, Implementation and Performance Evaluation of Similar Image Retrieval System Based on Self-Organizing Feature Map”, “Technical Report of IEICE Vol.100 No.31”, (May 2000) 2), The Institute of Electronics, Information and Communication Engineers Line, may be used techniques such as those described in the literature such as page 9 to page 16.

ステップS136において、検索部107は、検索する範囲の画像に関係付けて、距離を類似結果データベース113に格納する。例えば、ステップS136において、検索部107は、検索する範囲の画像のコンテンツIDと共に距離を類似結果データベース113に格納する。   In step S <b> 136, the search unit 107 stores the distance in the similarity result database 113 in association with the image in the search range. For example, in step S136, the search unit 107 stores the distance in the similarity result database 113 together with the content ID of the image in the range to be searched.

図27は、コンテンツデータベース111および類似特徴データベース112に格納されているメタデータ並びに類似結果データベース113に格納されている距離の構造を示す図である。   FIG. 27 is a diagram illustrating the metadata stored in the content database 111 and the similar feature database 112 and the structure of the distance stored in the similar result database 113.

図27において、データベースレコード301−1は、コンテンツアイテム281−1およびコンテンツアイテム281−1に対応し、データベースレコード301−2は、コンテンツアイテム281−2およびコンテンツアイテム281−2に対応する。   In FIG. 27, the database record 301-1 corresponds to the content item 281-1 and the content item 281-1, and the database record 301-2 corresponds to the content item 281-2 and the content item 281-2.

すなわち、データベースレコード301−1およびータベースレコード301−2は、それぞれ、コンテンツID、類似特徴ベクトル、本画像201のパス名およびファイル名、グループID、撮影時刻、およびその他のプロパティからなる。   That is, the database record 301-1 and the database record 301-2 each include a content ID, a similar feature vector, a path name and file name of the main image 201, a group ID, a shooting time, and other properties.

距離レコード302は、類似結果データベース113に格納され、コンテンツIDと選択された画像からの距離とからなる。距離レコード302は、コンテンツIDによって、データベースレコード301−1およびータベースレコード301−2に関係付けられる。   The distance record 302 is stored in the similarity result database 113 and includes a content ID and a distance from the selected image. The distance record 302 is related to the database record 301-1 and the database record 301-2 by the content ID.

以下、データベースレコード301−1およびータベースレコード301−2を個々に区別する必要がない場合、単に、データベースレコード301と称する。   Hereinafter, when it is not necessary to distinguish the database record 301-1 and the database record 301-2 from each other, they are simply referred to as the database record 301.

距離レコード302における距離は、distanceであるプロパティとされる。   The distance in the distance record 302 is a property that is distance.

また、時間グループレコード303は、時間グループデータベース114に格納され、グループに固有の(グループを特定するための)グループIDと、グループIDで特定されるグループに属する画像を特定するコンテンツIDの配列とからなる。時間グループレコード303におけるコンテンツIDの配列は、PhotoIdArrayであるプロパティとされる。   The time group record 303 is stored in the time group database 114, and includes a group ID unique to the group (for specifying the group) and an array of content IDs for specifying images belonging to the group specified by the group ID. Consists of. An array of content IDs in the time group record 303 is a property that is PhotoIdArray.

図28で示されるように、コンテンツデータベース111、類似結果データベース113、および時間グループデータベース114のそれぞれのレコードが関係付けられる。コンテンツデータベース111および類似特徴データベース112(図示せず)には、1または複数のデータベースレコード301が格納され、類似結果データベース113には、1または複数の距離レコード302が格納され、時間グループデータベース114には、1または複数の時間グループレコード303が格納される。   As shown in FIG. 28, the records of the content database 111, the similarity result database 113, and the time group database 114 are related to each other. The content database 111 and the similar feature database 112 (not shown) store one or a plurality of database records 301, the similarity result database 113 stores one or a plurality of distance records 302, and the time group database 114 stores them. Stores one or more time group records 303.

図26に戻り、ステップS137において、検索部107は、検索する範囲の全ての画像について処理を終了したか否かを判定し、処理を終了していないと判定された場合、ステップS134に戻り、類似特徴データベース112から、検索する範囲の次の縮小画像202のコンテンツIDに対応する類似特徴ベクトルを読み込んで、上述した処理を繰り返す。   Returning to FIG. 26, in step S137, the search unit 107 determines whether or not the processing has been completed for all the images in the search range. If it is determined that the processing has not been completed, the processing returns to step S134. The similar feature vector corresponding to the content ID of the next reduced image 202 in the search range is read from the similar feature database 112, and the above-described processing is repeated.

ステップS137において、処理を終了したと判定された場合、ステップS138に進み、検索部107は、類似特徴データベース112から、検索する範囲の画像に関係付けられた距離を読み出す。例えば、ステップS138において、検索部107は、類似特徴データベース112から、検索する範囲の画像を特定するコンテンツIDと共に、距離を読み出す。   If it is determined in step S137 that the processing has been completed, the process proceeds to step S138, and the search unit 107 reads the distance associated with the image in the range to be searched from the similar feature database 112. For example, in step S138, the search unit 107 reads the distance from the similar feature database 112 together with the content ID that specifies the image in the search range.

ステップS139において、検索部107は、ステップS138で読み出した距離で、検索する範囲の画像を類似順にソートし、処理は終了する。例えば、ステップS139において、検索部107は、距離の順に、検索する範囲の画像を特定するコンテンツIDをソートすることで、検索する範囲の画像を類似順にソートする。   In step S139, the search unit 107 sorts the images in the search range in the order of similarity based on the distance read in step S138, and the process ends. For example, in step S139, the search unit 107 sorts the images in the search range in the order of similarity by sorting the content IDs that specify the images in the search range in the order of distance.

図23に戻り、ステップS104において、表示制御部106は、モニタ40に、類似の順に縮小画像202を表示させる。すなわち、ステップS104において、表示制御部106は、画像保持部110から縮小画像202を読み出して、ステップS139においてソートされた類似の順に縮小画像202をモニタ40に表示させる。   Returning to FIG. 23, in step S104, the display control unit 106 causes the monitor 40 to display the reduced images 202 in the similar order. That is, in step S104, the display control unit 106 reads the reduced image 202 from the image holding unit 110, and causes the monitor 40 to display the reduced image 202 in the similar order sorted in step S139.

例えば、図29で示されるように、表示制御部106は、モニタ40に、ステップS102で選択された縮小画像202に類似する縮小画像202を、類似の順に表示させる。例えば、表示制御部106は、モニタ40の表示領域の左上にステップS102で選択された縮小画像202(図29中のキー画像)を表示させ、その右側の領域に、キー画像に類似する縮小画像202を類似する順でラスタスキャン順に表示させる。図29の右側における四角は、1つの縮小画像202を示し、四角の中のアルファベットは、類似する順を示す。   For example, as illustrated in FIG. 29, the display control unit 106 causes the monitor 40 to display the reduced images 202 similar to the reduced image 202 selected in step S102 in the similar order. For example, the display control unit 106 displays the reduced image 202 (key image in FIG. 29) selected in step S102 at the upper left of the display area of the monitor 40, and a reduced image similar to the key image in the right area thereof. 202 are displayed in a raster scan order in a similar order. A square on the right side of FIG. 29 shows one reduced image 202, and alphabets in the square indicate a similar order.

ステップS105において、検索部107は、使用者の操作に応じた入力部49からの信号を基に、モニタ40に表示されている縮小画像202の中から、1つの縮小画像202を選択する。   In step S <b> 105, the search unit 107 selects one reduced image 202 from the reduced images 202 displayed on the monitor 40 based on a signal from the input unit 49 according to the user's operation.

例えば、図29で示されるように、モニタ40に、類似する順でラスタスキャン順に表示されている縮小画像202のうち、Bのアルファベットが付された縮小画像202が選択された場合、選択された縮小画像202をハイライト表示するか、または縁を強調表示すると共に、表示制御部106は、モニタ40の表示領域のキー画像の下に、選択された縮小画像202を拡大して表示する。   For example, as shown in FIG. 29, when the reduced image 202 with the alphabet B is selected from the reduced images 202 displayed in the raster scan order in a similar order on the monitor 40, the selected image is selected. The reduced image 202 is highlighted or the edge is highlighted, and the display control unit 106 enlarges and displays the selected reduced image 202 below the key image in the display area of the monitor 40.

ステップS106において、検索部107は、使用者の操作に応じた入力部49からの信号を基に、キャンセルするか否かを判定し、キャンセルしないと判定された場合、ステップS107に進み、さらに、決定するか否かを判定する。   In step S106, the search unit 107 determines whether or not to cancel based on the signal from the input unit 49 according to the user's operation. If it is determined not to cancel, the search unit 107 proceeds to step S107. It is determined whether or not to decide.

ステップS107において、決定すると判定された場合、ステップS108に進み、検索部107は、コンテンツデータベース111から、ステップS105の処理で、選択されている縮小画像202のグループIDを取得する。すなわち、検索部107は、コンテンツデータベース111から、ステップS105の処理で、選択されている縮小画像202のコンテンツIDで特定されるメタデータ261を読み出して、読み出したメタデータ261から、選択されている縮小画像202が属するグループを特定するグループIDを抽出することで、選択されている縮小画像202のグループIDを取得する。   In step S107, if it is determined to be determined, the process proceeds to step S108, and the search unit 107 acquires the group ID of the selected reduced image 202 from the content database 111 in step S105. That is, the search unit 107 reads out the metadata 261 specified by the content ID of the selected reduced image 202 from the content database 111 in the process of step S105, and is selected from the read metadata 261. By extracting the group ID that identifies the group to which the reduced image 202 belongs, the group ID of the selected reduced image 202 is acquired.

ステップS109において、検索部107は、取得したグループIDで特定されるグループに属する縮小画像202を画像保持部110から読み出す。より具体的には、検索部107は、取得したグループIDで、時間グループデータベース114の時間グループレコード303を検索する。検索部107は、取得したグループIDと同じグループIDを含む時間グループレコード303から、グループIDで特定されるグループに属する画像を特定するコンテンツIDの配列を時間グループデータベース114から読み出す。そして、検索部107は、読み出したコンテンツIDの配列の要素であるコンテンツIDで特定される縮小画像202を画像保持部110から読み出す。検索部107は、読み出した縮小画像202を表示制御部106に供給する。   In step S <b> 109, the search unit 107 reads out the reduced image 202 belonging to the group specified by the acquired group ID from the image holding unit 110. More specifically, the search unit 107 searches the time group record 303 in the time group database 114 with the acquired group ID. The search unit 107 reads from the time group database 114 an array of content IDs that specify images belonging to the group specified by the group ID from the time group record 303 including the same group ID as the acquired group ID. Then, the search unit 107 reads the reduced image 202 specified by the content ID that is an element of the read content ID array from the image holding unit 110. The search unit 107 supplies the read reduced image 202 to the display control unit 106.

ステップS110において、表示制御部106は、モニタ40に、読み出した縮小画像202を、時系列に表示させ、処理は終了する。   In step S110, the display control unit 106 causes the monitor 40 to display the read reduced image 202 in time series, and the process ends.

なお、ステップS110において、表示制御部106は、モニタ40に、クラスタリングした画像を表示させるようにしてもよく、また、カレンダ表示によって、縮小画像202を表示させるようにしてもよい。   In step S110, the display control unit 106 may display the clustered image on the monitor 40, or may display the reduced image 202 by calendar display.

ステップS107において、決定すると判定された場合、ステップS104に戻り、上述した処理を繰り返す。   If it is determined in step S107 that the determination is to be made, the process returns to step S104 and the above-described processing is repeated.

ステップS106において、キャンセルすると判定された場合、ステップS101に戻り、上述した処理を繰り返す。   If it is determined in step S106 to cancel, the process returns to step S101 and the above-described processing is repeated.

なお、ステップS101乃至ステップS110の処理において、ステップS102またはステップS105において、次の画像が選択されるまで、画像の選択の状態は維持される。ステップS101、ステップS104、またはステップS110において、画像が表示されると共に、選択されている画像の縁が強調して表示されるなど、使用者が選択されている画像を識別できるように、画像の選択が示される。   In the processing from step S101 to step S110, the image selection state is maintained until the next image is selected in step S102 or step S105. In step S101, step S104, or step S110, the image is displayed and the edge of the selected image is highlighted so that the user can identify the selected image. A selection is shown.

すなわち、画像の選択の状態を維持したまま、時系列の表示の状態と類似順の表示の状態との間で状態が遷移される。   That is, the state transitions between the time-series display state and the display state in the similar order while maintaining the image selection state.

このようにすることで、所定の画像に類似する画像が撮影された時刻に近い時刻に撮影された画像を即座に表示したり、所定の画像が撮影された時刻に近い時刻に撮影された画像に類似する画像を即座に表示したりすることができる。また、画像を、類似しているか、近い時刻に撮影されたかによって、順に画像を辿るように画像を検索することができる。   In this way, an image taken at a time close to the time when an image similar to the predetermined image is taken is immediately displayed, or an image taken at a time close to the time when the predetermined image is taken. An image similar to can be displayed immediately. Further, it is possible to search for an image so that the images are traced in order depending on whether the images are similar or taken at a close time.

表示画面の小さなデジタルスチルカメラ11であっても、時間軸の検索と類似検索とを効果的に組み合わせることにより、人の記憶の支配的な要素である、画像の類似の概念と時間の概念とに応じた画像の検索と閲覧とが可能になる。   Even in the digital still camera 11 with a small display screen, by combining the search of the time axis and the similarity search effectively, the concept of similarity between images and the concept of time, which are dominant elements of human memory, It is possible to search and browse images according to the conditions.

また、類似を示す距離は、あくまでも統計的手法に基づく類似性を示すものであり、検索漏れが生じ、人の感覚からすれば似ていると捉えられる画像が検索されないこともあるが、このような検索漏れが生じたとしても、近接するイベントでの画像が一覧表示されるので、人の感覚からすれば似ていると捉えられる画像に到達することができるようになる。   In addition, the distance indicating similarity is merely a similarity based on a statistical method, search omissions occur, and images that are considered to be similar according to human sense may not be searched. Even if a search failure occurs, a list of images of events that are close to each other is displayed, so that it is possible to reach an image that can be regarded as similar from a human perspective.

また、花見の画像、花火の画像、バーベキューの画像など、毎年繰り返される行事や催し(イベント)の画像を、毎年、撮影している場合には、類似検索してから、時系列に瞬時に並び替えることができるので、年代順に同じような行事(イベント)の画像を表示することができ、記憶を思い起こすためのアルバムとして活用することができるようになる。   If images of events and events that are repeated every year, such as images of cherry blossoms, images of fireworks, and images of barbecue, are taken every year, similar images are searched and displayed in chronological order. Since it can be changed, images of similar events (events) can be displayed in chronological order, and can be used as an album for recalling memories.

なお、デジタルスチルカメラ11は、図23のフローチャートで示される処理で、本画像201を検索するようにしてもよい。   The digital still camera 11 may search for the main image 201 by the processing shown in the flowchart of FIG.

図23のフローチャートの検索の処理によれば、例えば、図30の上側に示されるように、まず、縮小画像202が、モニタ40に、グループ毎に、時系列に表示される。例えば、時系列に表示されている縮小画像202のうち、Aのアルファベットが付加された縮小画像202(キー画像)が選択されると、Aのアルファベットが付加された縮小画像202の縁が強調して表示される。   According to the search processing in the flowchart of FIG. 23, for example, as shown in the upper side of FIG. 30, first, the reduced image 202 is displayed on the monitor 40 in time series for each group. For example, when the reduced image 202 (key image) to which the alphabet A is added is selected from the reduced images 202 displayed in time series, the edges of the reduced image 202 to which the alphabet A is added are emphasized. Displayed.

Aのアルファベットが付加された縮小画像202(キー画像)が選択されて、類似する画像の検索の処理が実行されると、Aのアルファベットが付加された縮小画像202に類似する縮小画像202が検索されて、類似する順にモニタ40に表示させられる。   When the reduced image 202 (key image) to which the alphabet A is added is selected and a similar image search process is executed, the reduced image 202 similar to the reduced image 202 to which the alphabet A is added is searched. Then, they are displayed on the monitor 40 in a similar order.

この場合、モニタ40には、Aのアルファベットが付加された縮小画像202であるキー画像が拡大されて表示される。   In this case, the key image which is the reduced image 202 to which the alphabet A is added is enlarged and displayed on the monitor 40.

類似する順に表示されている縮小画像202のうち、Bのアルファベットが付加された縮小画像202が選択されると、モニタ40には、Bのアルファベットが付加された縮小画像202であるキー画像が拡大されて表示される。   When the reduced image 202 to which the alphabet B is added is selected from the reduced images 202 displayed in a similar order, the key image that is the reduced image 202 to which the alphabet B is added is enlarged on the monitor 40. Displayed.

Aのアルファベットが付加された縮小画像202に類似する縮小画像202が、類似する順にモニタ40に表示させられている場合、キャンセルされると、時系列に縮小画像202を表示する状態に戻る。   When the reduced image 202 similar to the reduced image 202 to which the alphabet A is added is displayed on the monitor 40 in the order of similarity, when canceled, the state returns to the state of displaying the reduced image 202 in time series.

類似する順に表示されている縮小画像202のうち、Bのアルファベットが付加された縮小画像202が選択されて、決定キーが押下されると、Bのアルファベットが付加された縮小画像202が属するグループに属する縮小画像202が、モニタ40に、時系列に表示される。この場合、Bのアルファベットが付加された縮小画像202の縁が強調して表示される。   When the reduced image 202 to which the alphabet B is added is selected from the reduced images 202 displayed in a similar order and the determination key is pressed, the reduced image 202 to which the alphabet B is added belongs to the group to which the alphabet belongs. The reduced image 202 to which it belongs is displayed on the monitor 40 in time series. In this case, the edge of the reduced image 202 to which the alphabet B is added is highlighted.

撮影された日付によって縮小画像202がグループ分けされている場合、モニタ40には、Bのアルファベットが付加された縮小画像202が撮影された日付に近い日付の縮小画像202が、グループ毎に時系列で表示される。   When the reduced images 202 are grouped according to the shooting date, the reduced image 202 having a date close to the date when the reduced image 202 to which the alphabet B is added is recorded on the monitor 40 in time series. Is displayed.

次に、サーバ13における検索の処理について説明する。図31は、サーバ13による検索の処理を説明するフローチャートである。ステップS161において、サーバ13の表示制御部136は、ディスプレイである出力部77に、時系列に本画像201を表示させる。すなわち、ステップS161において、画像保持部140は、記録している本画像201のうち、使用者の操作に応じた入力部76からの信号に応じた所定の範囲の本画像201を表示制御部136に供給する。また、コンテンツデータベース141は、表示制御部136に供給された所定の範囲の本画像201のメタデータ261のうち、撮影時刻のメタデータを表示制御部136に供給する。そして、表示制御部136は、ディスプレイである出力部77に、撮影時刻を基に、撮影された順の時系列に本画像201を表示させる。   Next, search processing in the server 13 will be described. FIG. 31 is a flowchart for explaining search processing by the server 13. In step S161, the display control unit 136 of the server 13 causes the output unit 77, which is a display, to display the main image 201 in time series. That is, in step S161, the image holding unit 140 displays the main image 201 in a predetermined range according to the signal from the input unit 76 according to the user's operation among the recorded main images 201. To supply. In addition, the content database 141 supplies the shooting control metadata to the display control unit 136 among the metadata 261 of the main image 201 within a predetermined range supplied to the display control unit 136. Then, the display control unit 136 causes the output unit 77, which is a display, to display the main image 201 in a time series in the order of shooting based on the shooting time.

例えば、図32の右側に示されるように、表示制御部136は、ディスプレイである出力部77に、撮影された順の時系列に本画像201を表示させる(時間軸表示される)。例えば、表示制御部136は、グループ毎に、撮影された順に本画像201をディスプレイである出力部77に表示させる。   For example, as shown on the right side of FIG. 32, the display control unit 136 causes the output unit 77, which is a display, to display the main image 201 in time series in the order of shooting (displayed in time axis). For example, the display control unit 136 causes the output unit 77, which is a display, to display the main image 201 in the order in which the images were captured for each group.

ステップS162において、検索部137は、使用者の操作に応じた入力部76からの信号を基に、ディスプレイである出力部77に表示されている本画像201の中から、1つの本画像201を選択する。   In step S162, the search unit 137 selects one master image 201 from the master images 201 displayed on the output unit 77, which is a display, based on a signal from the input unit 76 according to the user's operation. select.

ステップS163において、検索部137は、類似する画像の検索の処理を実行する。ステップS163の類似する画像の検索の処理は、検索部107に代わり検索部137によって実行される点が異なるが、他の点は、図26のフローチャートを参照して説明した処理と同様なのでその詳細な説明は省略する。   In step S163, the search unit 137 executes a process for searching for similar images. The similar image search process in step S163 is executed by the search unit 137 instead of the search unit 107, but the other points are the same as the process described with reference to the flowchart of FIG. The detailed explanation is omitted.

ステップS164において、表示制御部136は、ディスプレイである出力部77に、類似の順に本画像201を表示させる。すなわち、ステップS164において、表示制御部136は、ソートされた類似の順に本画像201をディスプレイである出力部77に表示させる。   In step S164, the display control unit 136 causes the output unit 77, which is a display, to display the main image 201 in a similar order. That is, in step S164, the display control unit 136 causes the output unit 77, which is a display, to display the main image 201 in the sorted similar order.

例えば、図32の左側に示されるように、表示制御部136は、ディスプレイである出力部77に、ステップS162で選択された本画像201に類似する本画像201を、類似の順に表示させる。   For example, as shown on the left side of FIG. 32, the display control unit 136 causes the output unit 77, which is a display, to display the main image 201 similar to the main image 201 selected in step S162 in the order of similarity.

ステップS165において、検索部137は、使用者の操作に応じた入力部49からの信号を基に、ディスプレイである出力部77に表示されている本画像201の中から、1つの本画像201を選択する。   In step S165, the search unit 137 selects one master image 201 from the master images 201 displayed on the output unit 77, which is a display, based on a signal from the input unit 49 according to the user's operation. select.

ステップS166において、検索部137は、使用者の操作に応じた入力部49からの信号を基に、時系列に表示するか否かを判定する。例えば、検索部137は、ディスプレイである出力部77に表示されている切換ボタン351または切換ボタン352のクリックに応じた、入力部76からの信号を基に、時系列に表示するか否かを判定する。   In step S166, the search unit 137 determines whether to display in time series based on the signal from the input unit 49 according to the operation of the user. For example, the search unit 137 determines whether or not to display in time series based on a signal from the input unit 76 in response to a click on the switching button 351 or the switching button 352 displayed on the output unit 77 that is a display. judge.

例えば、ディスプレイである出力部77に表示されている、時系列順の表示を指示する切換ボタン351がクリックされた場合、ステップS166において、時系列に表示すると判定されるので、時系列に表示すると判定されたとき、手続きは、ステップS167に進む。   For example, when the switch button 351 displayed on the output unit 77 that is a display and instructing display in time series order is clicked, in step S166, it is determined to display in time series. If so, the procedure proceeds to step S167.

ステップS167において、検索部137は、コンテンツデータベース141から、選択されている本画像201のグループIDを取得する。すなわち、検索部137は、コンテンツデータベース141から、選択されている本画像201のコンテンツIDで特定されるメタデータ261を読み出して、読み出したメタデータ261から、選択されている本画像201が属するグループを特定するグループIDを抽出することで、選択されている本画像201のグループIDを取得する。   In step S167, the search unit 137 acquires the group ID of the selected master image 201 from the content database 141. That is, the search unit 137 reads the metadata 261 specified by the content ID of the selected master image 201 from the content database 141, and the group to which the selected master image 201 belongs from the read metadata 261. The group ID of the selected master image 201 is acquired by extracting the group ID that identifies

ステップS168において、検索部137は、取得したグループIDで特定されるグループに属する本画像201を画像保持部140から読み出す。より具体的には、検索部137は、取得したグループIDで、時間グループデータベース144の時間グループレコード303を検索する。検索部137は、取得したグループIDと同じグループIDを含む時間グループレコード303から、グループIDで特定されるグループに属する画像を特定するコンテンツIDの配列を時間グループデータベース144から読み出す。そして、検索部137は、読み出したコンテンツIDの配列の要素であるコンテンツIDで特定される本画像201を画像保持部140から読み出す。検索部137は、読み出した本画像201を表示制御部136に供給する。   In step S168, the search unit 137 reads the main image 201 belonging to the group specified by the acquired group ID from the image holding unit 140. More specifically, the search unit 137 searches the time group record 303 in the time group database 144 with the acquired group ID. The search unit 137 reads from the time group database 144 an array of content IDs that specify images belonging to the group specified by the group ID from the time group record 303 including the same group ID as the acquired group ID. Then, the search unit 137 reads the main image 201 specified by the content ID that is an element of the read content ID array from the image holding unit 140. The search unit 137 supplies the read main image 201 to the display control unit 136.

ステップS169において、表示制御部136は、ディスプレイである出力部77に、読み出した本画像201を、時系列に表示させる。例えば、ステップS169において、表示制御部136は、ディスプレイである出力部77に、読み出した本画像201を、グループ毎に、時系列に表示させる。   In step S169, the display control unit 136 causes the output unit 77, which is a display, to display the read main image 201 in time series. For example, in step S169, the display control unit 136 causes the output unit 77, which is a display, to display the read main image 201 in time series for each group.

ステップS170において、検索部137は、使用者の操作に応じた入力部76からの信号を基に、ディスプレイである出力部77に表示されている本画像201の中から、1つの本画像201を選択する。   In step S170, the search unit 137 selects one master image 201 from the master images 201 displayed on the output unit 77, which is a display, based on a signal from the input unit 76 according to the user's operation. select.

ステップS171において、検索部137は、使用者の操作に応じた入力部49からの信号を基に、時系列に表示するか否かを判定する。例えば、検索部137は、ディスプレイである出力部77に表示されている切換ボタン351または切換ボタン352のクリックに応じた、入力部76からの信号を基に、時系列に表示するか否かを判定する。   In step S171, the search unit 137 determines whether or not to display in time series based on the signal from the input unit 49 according to the user's operation. For example, the search unit 137 determines whether or not to display in time series based on a signal from the input unit 76 in response to a click on the switching button 351 or the switching button 352 displayed on the output unit 77 that is a display. judge.

例えば、ディスプレイである出力部77に表示されている、類似順の表示を指示する切換ボタン352がクリックされた場合、ステップS171において、類似順に表示すると判定されるので、時系列に表示すると判定されたとき、手続きは、ステップS163に戻り、上述した処理を繰り返す。   For example, when the switching button 352 for instructing the display in the similar order displayed on the output unit 77, which is a display, is clicked, since it is determined in step S171 that the display is performed in the similar order, it is determined that the display is performed in time series. If so, the procedure returns to step S163 and repeats the above-described processing.

また、例えば、ディスプレイである出力部77に表示されている、時系列の表示を指示する切換ボタン351がクリックされた場合、ステップS171において、類似順に表示しないと判定されるので、時系列に表示しないと判定されたとき、手続きは、ステップS167に戻り、上述した処理を繰り返す。   Further, for example, when the switch button 351 displayed on the output unit 77 that is a display and instructing the display in time series is clicked, it is determined in step S171 that the images are not displayed in the similar order. When it is determined not to do so, the procedure returns to step S167 and repeats the above-described processing.

ステップS166において、例えば、ディスプレイである出力部77に表示されている、類似順の表示を指示する切換ボタン352がクリックされた場合、時系列に表示しないと判定されるので、手続きは、ステップS163に戻り、上述した処理を繰り返す。   In step S166, for example, when the switching button 352 displayed on the output unit 77 that is a display and instructing the display in the order of similarity is clicked, it is determined that the display is not performed in time series, so the procedure is step S163. Returning to FIG.

このように、例えば、ディスプレイである出力部77に表示されている切換ボタン351または切換ボタン352のクリックに応じて、類似順の表示と時系列の表示とを任意に切り換えることができる。   Thus, for example, according to the click of the switching button 351 or the switching button 352 displayed on the output unit 77 that is a display, the display in the similar order and the time-series display can be arbitrarily switched.

次に、サーバ13における関連度の抽出について説明する。   Next, the extraction of the degree of association in the server 13 will be described.

デジタルスチルカメラ11、携帯電話機12、およびサーバ13は、画像の特徴として、色名とその色名に対する関連度を用いて、画像を検索する。サーバ13は、画像の特徴の1つとして、画像から所定の色名に対する関連度を抽出する。   The digital still camera 11, the mobile phone 12, and the server 13 search for an image using the color name and the degree of association with the color name as image features. The server 13 extracts the degree of association with a predetermined color name from the image as one of the features of the image.

ここで、色名に対する関連度とは、ある画像が、特定の色名によって想起される度合いを意味する。換言すれば、関連度は、ある画像において、特定の色名であると想定できる色が含まれる割合を言う。    Here, the degree of association with the color name means the degree to which an image is recalled by a specific color name. In other words, the degree of association refers to a ratio in which a color that can be assumed to be a specific color name is included in a certain image.

ここで、色名は、例えば、赤、青、黄、白、黒、緑などである。   Here, the color names are, for example, red, blue, yellow, white, black, green, and the like.

図33は、色名に対する関連度を抽出する色特徴抽出部172の構成の例を示すブロック図である。色特徴抽出部172は、画像入力部401、”赤”関連度抽出部402、”青”関連度抽出部403、”黄”関連度抽出部404、および抽出特徴記録部405から構成される。   FIG. 33 is a block diagram illustrating an example of the configuration of the color feature extraction unit 172 that extracts the degree of association with color names. The color feature extraction unit 172 includes an image input unit 401, a “red” association degree extraction unit 402, a “blue” association degree extraction unit 403, a “yellow” association degree extraction unit 404, and an extraction feature recording unit 405.

なお、”赤”関連度抽出部402、”青”関連度抽出部403、および”黄”関連度抽出部404は、一例であり、任意の色についての関連度を抽出する任意の数の関連度抽出部が設けられる。すなわち、関連度抽出部は、色名毎に用意される。   Note that the “red” relevance extraction unit 402, the “blue” relevance extraction unit 403, and the “yellow” relevance extraction unit 404 are examples, and an arbitrary number of relevances for extracting relevance for an arbitrary color. A degree extracting unit is provided. That is, the relevance degree extraction unit is prepared for each color name.

以下、”赤”関連度抽出部402、”青”関連度抽出部403、および”黄”関連度抽出部404が設けられている場合を例に説明する。   Hereinafter, a case where a “red” association degree extraction unit 402, a “blue” association degree extraction unit 403, and a “yellow” association degree extraction unit 404 are provided will be described as an example.

画像入力部401は、画像保持部140から、関連度の抽出の対象となる本画像201を取得する。また、画像入力部401は、関連度抽出部対応保持部145から、色名と、”赤”関連度抽出部402、”青”関連度抽出部403、または”黄”関連度抽出部404との対応を示す対応情報を取得する。   The image input unit 401 acquires, from the image holding unit 140, the main image 201 that is a target for extracting the degree of association. In addition, the image input unit 401 receives the color name, the “red” association degree extraction unit 402, the “blue” association degree extraction unit 403, or the “yellow” association degree extraction unit 404 from the association degree extraction unit correspondence holding unit 145. Correspondence information indicating the correspondence of.

図34の例で示されるように、関連度抽出部対応保持部145に記録されている対応情報には、色名とその色名に対する関連度を抽出する”赤”関連度抽出部402、”青”関連度抽出部403、または”黄”関連度抽出部404のいずれかを特定する情報が配置されている。例えば、図34に示される対応情報の例において、”赤”である色名と、”赤”関連度抽出部402との対応が示され、”青”である色名と、”青”関連度抽出部403との対応が示され、”黄”である色名と、”黄”関連度抽出部404との対応が示されている。   As shown in the example of FIG. 34, the association information recorded in the association degree extraction unit correspondence holding unit 145 includes a “red” association degree extraction unit 402 that extracts a color name and a degree of association with the color name. Information for specifying either the “blue” relevance extraction unit 403 or the “yellow” relevance extraction unit 404 is arranged. For example, in the example of the correspondence information shown in FIG. 34, the correspondence between the color name “red” and the “red” association degree extraction unit 402 is shown, and the color name “blue” and the association “blue”. The correspondence with the degree extraction unit 403 is shown, and the correspondence between the color name “yellow” and the “yellow” association degree extraction unit 404 is shown.

画像入力部401は、対応情報に基づいて、画像保持部140から取得した本画像201を、”赤”関連度抽出部402、”青”関連度抽出部403、および”黄”関連度抽出部404に供給する。   Based on the correspondence information, the image input unit 401 converts the main image 201 acquired from the image holding unit 140 into a “red” association degree extraction unit 402, a “blue” association degree extraction unit 403, and a “yellow” association degree extraction unit. 404 is supplied.

”赤”関連度抽出部402は、画像入力部401から供給された本画像201から、本画像201が赤である色名によって想起される度合いを示す関連度を抽出する。”赤”関連度抽出部402は、本画像201から抽出した、赤である色名によって想起される度合いを示す関連度を、抽出特徴記録部405に供給する。   The “red” relevance degree extraction unit 402 extracts, from the main image 201 supplied from the image input unit 401, a relevance degree indicating the degree to which the main image 201 is recalled by a color name that is red. The “red” association degree extraction unit 402 supplies the extraction feature recording unit 405 with the association degree that is extracted from the main image 201 and indicates the degree that is recalled by the color name that is red.

”青”関連度抽出部403は、画像入力部401から供給された本画像201から、本画像201が青である色名によって想起される度合いを示す関連度を抽出する。”青”関連度抽出部403は、本画像201から抽出した、青である色名によって想起される度合いを示す関連度を、抽出特徴記録部405に供給する。   The “blue” relevance extraction unit 403 extracts, from the main image 201 supplied from the image input unit 401, a relevance indicating the degree to which the main image 201 is recalled by a blue color name. The “blue” association degree extraction unit 403 supplies the extraction feature recording unit 405 with the association degree that is extracted from the main image 201 and indicates the degree that is recalled by the blue color name.

”黄”関連度抽出部404は、画像入力部401から供給された本画像201から、本画像201が黄である色名によって想起される度合いを示す関連度を抽出する。”黄”関連度抽出部404は、本画像201から抽出した、黄である色名によって想起される度合いを示す関連度を、抽出特徴記録部405に供給する。   The “yellow” relevance degree extraction unit 404 extracts, from the main image 201 supplied from the image input unit 401, a relevance degree indicating the degree to which the main image 201 is recalled by a color name that is yellow. The “yellow” association degree extraction unit 404 supplies the extraction feature recording unit 405 with the association degree that is extracted from the main image 201 and indicates the degree that is recalled by the color name that is yellow.

抽出特徴記録部405は、”赤”関連度抽出部402、”青”関連度抽出部403、および”黄”関連度抽出部404のそれぞれから供給された、赤である色名によって想起される度合いを示す関連度、青である色名によって想起される度合いを示す関連度、および黄である色名によって想起される度合いを示す関連度を、本画像201に関係付けて、抽出特徴保持部146に記録させる。   The extracted feature recording unit 405 is recalled by the color name that is red supplied from each of the “red” association degree extraction unit 402, the “blue” association degree extraction unit 403, and the “yellow” association degree extraction unit 404. The extracted feature storage unit associates the relevance level indicating the level, the relevance level indicating the level recalled by the blue color name, and the relevance level indicating the level recalled by the yellow color name with the main image 201. 146 to record.

例えば、この場合、図35に示されるように、抽出特徴保持部146は、本画像201を特定するコンテンツIDと共に、赤である色名によって想起される度合いを示す関連度、青である色名によって想起される度合いを示す関連度、および黄である色名によって想起される度合いを示す関連度を記録する。   For example, in this case, as illustrated in FIG. 35, the extraction feature holding unit 146 has a content ID that identifies the master image 201 and a relevance level that indicates the degree recalled by the color name that is red, and a color name that is blue The degree of association indicating the degree recalled by the color name and the degree of association indicating the degree recalled by the color name being yellow are recorded.

なお、上述の例においては、画像保持部140に記録された本画像201が画像入力部401より入力される例を示したが、本画像201に限らず、縮小画像202または減色された画像221が入力される構成として、縮小画像202または減色された画像221を処理の対象とするようにしてもよい。また、画像の代わりに、上述した、各関連度を抽出しようとする画像に対応づけられた色ヒストグラムを画像入力部401から入力し、各関連度抽出部(例えば、”赤”関連度抽出部402、”青”関連度抽出部403、および”黄”関連度抽出部404)においては該色ヒストグラムから各関連度を抽出する構成としてもよい。   In the above-described example, an example in which the main image 201 recorded in the image holding unit 140 is input from the image input unit 401 is shown. However, the image is not limited to the main image 201, and the reduced image 202 or the reduced color image 221 is displayed. May be input to the reduced image 202 or the color-reduced image 221. Further, instead of the image, the above-described color histogram associated with the image for which each degree of association is to be extracted is input from the image input unit 401, and each degree of association extraction unit (for example, “red” degree of association extraction unit) is input. 402, the “blue” relevance extraction unit 403, and the “yellow” relevance extraction unit 404) may extract each relevance from the color histogram.

図35は、抽出特徴保持部146に記録される関連度の論理構造を示す図である。図35に示される例において、抽出特徴保持部146は、000であるコンテンツIDに対応させて、000であるコンテンツIDで特定される本画像201から抽出された、0.80である、赤である色名によって想起される度合いを示す関連度、0.00である、青である色名によって想起される度合いを示す関連度、および0.10である黄である色名によって想起される度合いを示す関連度を記録する。また、抽出特徴保持部146は、001であるコンテンツIDに対応させて、001であるコンテンツIDで特定される本画像201から抽出された、0.00である、赤である色名によって想起される度合いを示す関連度、0.25である、青である色名によって想起される度合いを示す関連度、および0.20である黄である色名によって想起される度合いを示す関連度を記録する。さらに、抽出特徴保持部146は、002であるコンテンツIDに対応させて、002であるコンテンツIDで特定される本画像201から抽出された、0.15である、赤である色名によって想起される度合いを示す関連度、0.05である、青である色名によって想起される度合いを示す関連度、および0.00である黄である色名によって想起される度合いを示す関連度を記録する。   FIG. 35 is a diagram illustrating a logical structure of the degree of association recorded in the extracted feature holding unit 146. In the example shown in FIG. 35, the extraction feature holding unit 146 corresponds to the content ID “000” and is extracted from the main image 201 identified by the content ID “000”, which is 0.80 in red. Relevance indicating the degree recalled by a color name, 0.00, relevance indicating the degree recalled by a blue color name, and the degree recalled by a color name yellow of 0.10 Record the relevance indicating. In addition, the extracted feature storage unit 146 is recalled by a color name of red, which is 0.00, extracted from the main image 201 identified by the content ID of 001, corresponding to the content ID of 001. The degree of association indicating the degree of color, the degree of association indicating 0.25, the degree of recalling by the color name of blue, and the degree of association indicating the degree of recall of the color name being 0.20 are recorded. To do. Further, the extracted feature holding unit 146 is recalled by the color name of red, which is 0.15, extracted from the main image 201 identified by the content ID of 002, corresponding to the content ID of 002. Relevance indicating the degree to which the color name is 0.05, relevance indicating the degree that is recalled by the color name that is blue, and relevance indicating the degree that is recalled by the color name that is 0.00 that is yellow To do.

また、抽出特徴記録部405は、”赤”関連度抽出部402、”青”関連度抽出部403、および”黄”関連度抽出部404のそれぞれから供給された、赤である色名によって想起される度合いを示す関連度、青である色名によって想起される度合いを示す関連度、および黄である色名によって想起される度合いを示す関連度を、メタデータ261として本画像201に関係付けて、類似特徴データベース142に記録させる。   The extracted feature recording unit 405 is recalled by the color name that is red supplied from each of the “red” association degree extraction unit 402, the “blue” association degree extraction unit 403, and the “yellow” association degree extraction unit 404. Are related to the main image 201 as metadata 261. The association degree indicating the degree recalled by the blue color name and the association degree indicating the degree recalled by the yellow color name are associated with the master image 201 as metadata 261. And recorded in the similar feature database 142.

なお、関連度は、EXIF方式のデータである本画像201の所定の領域に格納するようにしてもよい。   The degree of association may be stored in a predetermined area of the main image 201 that is EXIF data.

検索部137は、本画像201の特徴として、色名とその色名に対する関連度を用いて、本画像201を検索する。この場合、例えば、検索部137は、検索条件入力部421および条件照合部422から構成される。   The search unit 137 searches the main image 201 using the color name and the degree of association with the color name as a feature of the main image 201. In this case, for example, the search unit 137 includes a search condition input unit 421 and a condition matching unit 422.

検索条件入力部421は、使用者の操作に応じた入力部76からの信号を基に、関連度についての検索の条件を入力する。検索条件入力部421は、関連度についての検索の条件を条件照合部422に供給する。   The search condition input unit 421 inputs a search condition for the degree of relevance based on a signal from the input unit 76 according to the user's operation. The search condition input unit 421 supplies the search condition for the degree of relevance to the condition matching unit 422.

条件照合部422は、検索条件入力部421から供給された検索の条件と、抽出特徴保持部146に記録されている関連度とを照合する。条件照合部422は、照合の結果、検索の条件を満たす関連度に対応するコンテンツIDを検索結果保持部147に格納する。   The condition collation unit 422 collates the search condition supplied from the search condition input unit 421 with the relevance recorded in the extracted feature holding unit 146. The condition matching unit 422 stores, in the search result holding unit 147, the content ID corresponding to the degree of relevance that satisfies the search condition as a result of the matching.

図36は、ステップS43に対応する、色特徴抽出の処理の詳細を説明するフローチャートである。ステップS201において、画像入力部401は、画像保持部140から、関連度の抽出の対象となる画像である本画像201を入力する。また、画像入力部401は、関連度抽出部対応保持部145から、対応情報を入力する。   FIG. 36 is a flowchart for explaining the details of the color feature extraction processing corresponding to step S43. In step S <b> 201, the image input unit 401 inputs the main image 201, which is an image whose relevance is to be extracted, from the image holding unit 140. Further, the image input unit 401 inputs correspondence information from the association degree extraction unit correspondence holding unit 145.

ステップS202において、画像入力部401は、色名を入力する。ステップS203において、画像入力部401は、対応情報を基に、入力した色名に対応する、”赤”関連度抽出部402、”青”関連度抽出部403、または”黄”関連度抽出部404のいずれかを特定する。   In step S202, the image input unit 401 inputs a color name. In step S203, the image input unit 401, based on the correspondence information, the “red” association degree extraction unit 402, the “blue” association degree extraction unit 403, or the “yellow” association degree extraction unit corresponding to the input color name. One of 404 is specified.

例えば、ステップS203において、画像入力部401は、ステップS202において、”赤”である色名が入力された場合、対応情報を基に”赤”関連度抽出部402を特定する。   For example, in step S203, when the color name “red” is input in step S202, the image input unit 401 specifies the “red” association degree extraction unit 402 based on the correspondence information.

画像入力部401は、特定された”赤”関連度抽出部402、”青”関連度抽出部403、または”黄”関連度抽出部404のいずれかに、入力した本画像201を供給する。   The image input unit 401 supplies the input main image 201 to any one of the identified “red” relevance extraction unit 402, “blue” relevance extraction unit 403, and “yellow” relevance extraction unit 404.

ステップS204において、ステップS203で特定された、”赤”関連度抽出部402、”青”関連度抽出部403、または”黄”関連度抽出部404のいずれかは、関連度抽出処理を実行する。関連度抽出処理の詳細は後述する。   In step S204, any one of the “red” relevance extraction unit 402, the “blue” relevance extraction unit 403, and the “yellow” relevance extraction unit 404 specified in step S203 executes the relevance extraction process. . Details of the association degree extraction process will be described later.

抽出された関連度は、抽出特徴記録部405に供給される。   The extracted degree of association is supplied to the extracted feature recording unit 405.

ステップS205において、抽出特徴記録部405は、関連度の抽出の対象となった本画像201に対応させて、抽出した関連度を色特徴ベクトルとして抽出特徴保持部146に記録させる。   In step S205, the extracted feature recording unit 405 causes the extracted feature holding unit 146 to record the extracted degree of association as a color feature vector in association with the main image 201 from which the degree of association is extracted.

ステップS206において、画像入力部401は、色名が終わりであるか否か、すなわち、全ての色名について本画像201から関連度を抽出したか否かを判定し、色名が終わりでないと判定された場合、まだ抽出していない色名についての関連度があるので、ステップS202に戻り、次の色名を入力して、上述した処理を繰り返す。   In step S206, the image input unit 401 determines whether or not the color name is the end, that is, whether or not all the color names have been extracted from the main image 201, and determines that the color name is not the end. If the color name has not been extracted, there is a degree of association with the color name that has not yet been extracted, so the process returns to step S202, the next color name is input, and the above-described processing is repeated.

ステップS206において、色名が終わりである、すなわち、全ての色名について本画像201から関連度を抽出したと判定された場合、処理は終了する。   If it is determined in step S206 that the color name is the end, that is, it is determined that the relevance level has been extracted from the main image 201 for all color names, the process ends.

図37は、図36のステップS204に対応する、ステップS203で”赤”関連度抽出部402が特定された場合の関連度抽出処理の詳細の例を説明するフローチャートである。   FIG. 37 is a flowchart for explaining an example of details of the relevance level extraction process when the “red” relevance level extraction unit 402 is identified in step S203, corresponding to step S204 of FIG.

ステップS221において、”赤”関連度抽出部402は、内蔵しているカウンタをクリアする。最初に実行されるステップS222において、”赤”関連度抽出部402は、本画像201の画素のうち、最初の画素の色、すなわち、画素値を入力する。ステップS223において、”赤”関連度抽出部402は、画素の色に対応する、色空間上の位置を計算する。   In step S221, the “red” association degree extraction unit 402 clears the built-in counter. In step S <b> 222 that is first executed, the “red” association degree extraction unit 402 inputs the color of the first pixel among the pixels of the main image 201, that is, the pixel value. In step S223, the “red” association degree extraction unit 402 calculates a position in the color space corresponding to the color of the pixel.

ステップS224において、”赤”関連度抽出部402は、計算された色空間上の位置が、赤である色名に対応するサブ空間内であるか否かを判定する。   In step S224, the “red” association degree extraction unit 402 determines whether or not the calculated position on the color space is in the subspace corresponding to the color name that is red.

ここで、画素の色に対応して計算される、色空間上の位置について説明する。   Here, the position in the color space that is calculated corresponding to the color of the pixel will be described.

例えば、本画像201のそれぞれの画素の画素値は、RGBで表現される。この場合、画素値は、Rの値、Gの値、およびBの値からなる。RGBの色空間は、図38で示されるように、R軸、G軸、およびB軸が相互に直交する空間である。1つの画素値によって、RGBの色空間上の1つの位置が決まる。   For example, the pixel value of each pixel of the main image 201 is expressed in RGB. In this case, the pixel value includes an R value, a G value, and a B value. The RGB color space is a space in which the R axis, the G axis, and the B axis are orthogonal to each other, as shown in FIG. One position in the RGB color space is determined by one pixel value.

RGBの色空間において、人間が所定の色名の色であると認識する色の位置を1つの領域で表現することは困難である(表現しづらい)。   In the RGB color space, it is difficult to represent the position of a color that a human recognizes as a color of a predetermined color name in one area (it is difficult to express).

そこで、L*a*b*空間の位置で、画素の色を表すことを考える。L*a*b*空間は、図39で示されるように、相互に直交するL*軸、a*軸、およびb*軸で表現される。L*a*b*空間において、L*軸方向の値であるL*が大きくなるに従って、輝度が高くなり、L*が小さくなるに従って、輝度が低くなる。L*が一定である場合、L*軸に近づくに従って、彩度が低くなる。   Therefore, consider representing the color of a pixel at a position in the L * a * b * space. As shown in FIG. 39, the L * a * b * space is expressed by the L * axis, the a * axis, and the b * axis that are orthogonal to each other. In the L * a * b * space, the luminance increases as L * that is the value in the L * axis direction increases, and the luminance decreases as L * decreases. When L * is constant, the saturation decreases as it approaches the L * axis.

1つの画素値によって、L*a*b*空間上の1つの位置が決まる。   One pixel value determines one position in the L * a * b * space.

L*a*b*空間においては、人間が所定の色名の色であると認識する色の位置が1つの領域で表現できる。人間が所定の色名の色であると認識する色の位置を含む領域をサブ空間と称する。サブ空間は、例えば、L*a*b*空間において広がりをもった領域である。   In the L * a * b * space, the position of a color that a human recognizes as a color having a predetermined color name can be expressed by one area. A region including a color position that a human recognizes as a color having a predetermined color name is referred to as a subspace. The subspace is, for example, a region having a spread in the L * a * b * space.

まず、白および黒に対するサブ空間の例を説明する。   First, examples of subspaces for white and black will be described.

図40は、白のサブ空間および黒のサブ空間の例を示す図である。白のサブ空間441は、楕円体の1つの軸がL*軸と一致する楕球であって、図形的中心がL*a*b*空間の最も上の位置(L*軸上の最大値を示す位置)と一致する楕球の内側の空間と、L*a*b*空間とが重なる空間である。白のサブ空間441は、彩度が低く、輝度の高い色を示す空間である。サブ空間441内の位置で示される色は、人間に白であると認識される。   FIG. 40 is a diagram illustrating an example of a white subspace and a black subspace. The white subspace 441 is an ellipse in which one axis of the ellipsoid coincides with the L * axis, and the graphic center is the uppermost position in the L * a * b * space (the maximum value on the L * axis). The space inside the ellipse that coincides with the L * a * b * space. The white sub-space 441 is a space showing a color with low saturation and high luminance. The color indicated by the position in the sub space 441 is recognized as white by humans.

黒のサブ空間442は、楕円体の1つの軸がL*軸と一致する楕球であって、図形的中心がL*a*b*空間の最も下の位置(L*軸上の最小値を示す位置)と一致する楕球の内側の空間と、L*a*b*空間とが重なる空間である。黒のサブ空間442は、彩度が低く、輝度の低い色を示す空間である。サブ空間442内の位置で示される色は、人間に黒であると認識される。   The black subspace 442 is an ellipsoid in which one axis of the ellipsoid coincides with the L * axis, and the graphic center is the lowest position in the L * a * b * space (the minimum value on the L * axis). The space inside the ellipse that coincides with the L * a * b * space. The black sub-space 442 is a space that shows a color with low saturation and low luminance. The color indicated by the position in the sub space 442 is recognized as black by humans.

次に、赤、黄、緑、および青に対するサブ空間の例を説明する。   Next, examples of subspaces for red, yellow, green, and blue will be described.

赤、黄、緑、および青は、有彩色なので、L*a*b*空間から、図41で示される彩度境界461の内側の領域、輝度下限境界462の下側の領域、および輝度上限境界463の上側の領域を除外する。彩度境界461の内側の領域は、彩度の低い色を示す。彩度境界461は、その内側の領域で示される色の彩度が低く、その色が人間には、赤、黄、緑、または青と認識されない位置に設けられる。   Since red, yellow, green, and blue are chromatic colors, from the L * a * b * space, the region inside the saturation boundary 461 shown in FIG. 41, the region below the luminance lower limit boundary 462, and the luminance upper limit The region above the boundary 463 is excluded. A region inside the saturation boundary 461 indicates a color with low saturation. The saturation boundary 461 is provided at a position where the saturation of the color indicated by the inner region is low and the color is not recognized by humans as red, yellow, green, or blue.

輝度下限境界462の下側の領域は、輝度の低い色を示す。輝度下限境界462は、その下側の領域で示される色の輝度が低く、その色が人間には、赤、黄、緑、または青と認識されない位置に設けられる。   The region below the lower luminance limit boundary 462 indicates a color with low luminance. The luminance lower limit boundary 462 is provided at a position where the luminance of the color indicated in the lower region is low and the color is not recognized by humans as red, yellow, green, or blue.

輝度上限境界463の上側の領域は、輝度の高い色を示す。輝度上限境界463は、その上側の領域で示される色の輝度が高く、その色が人間には、赤、黄、緑、または青と認識されない位置に設けられる。   A region above the luminance upper limit boundary 463 indicates a color with high luminance. The luminance upper limit boundary 463 is provided at a position where the luminance of the color indicated by the upper region is high and the color is not recognized by humans as red, yellow, green, or blue.

従って、L*a*b*空間から、彩度境界461の内側の領域、輝度下限境界462の下側の領域、および輝度上限境界463の上側の領域を除外した空間は、その空間で示される色が、赤、黄、緑、または青などと人間に認識される位置からなることになる。   Accordingly, a space obtained by excluding the area inside the saturation boundary 461, the area below the luminance lower limit boundary 462, and the area above the luminance upper limit boundary 463 from the L * a * b * space is indicated by the space. The color consists of positions that are recognized by humans as red, yellow, green, or blue.

そして、L*a*b*空間から、彩度境界461の内側の領域、輝度下限境界462の下側の領域、および輝度上限境界463の上側の領域を除外した空間が、図42で示されるように、a*軸とb*軸とからなる平面に対して垂直であって、L*軸を中心とした放射状の境界で分割される。例えば、L*a*b*空間をL*軸の上側から見た場合、緑のサブ空間481は、マイナス側のa*軸の上側の境界と、マイナス側のa*軸の下側の境界とで囲まれる、a*軸側の空間である。サブ空間481内の位置で示される色は、人間に緑であると認識される。   FIG. 42 shows a space obtained by excluding the area inside the saturation boundary 461, the area below the luminance lower limit boundary 462, and the area above the luminance upper limit boundary 463 from the L * a * b * space. As described above, it is perpendicular to the plane composed of the a * axis and the b * axis, and is divided at a radial boundary centered on the L * axis. For example, when the L * a * b * space is viewed from the upper side of the L * axis, the green subspace 481 includes the upper boundary of the negative a * axis and the lower boundary of the negative a * axis. The space on the a * axis side surrounded by The color indicated by the position in the sub space 481 is recognized as green by humans.

また、L*a*b*空間をL*軸の上側から見た場合、青のサブ空間482は、マイナス側のb*軸の右側の境界と、マイナス側のb*軸の左側の境界とで囲まれる、b*軸側の空間である。サブ空間482内の位置で示される色は、人間に青であると認識される。   Further, when the L * a * b * space is viewed from the upper side of the L * axis, the blue subspace 482 includes a boundary on the right side of the negative b * axis and a boundary on the left side of the negative b * axis. The space on the b * axis side surrounded by. The color indicated by the position in the subspace 482 is recognized by humans as blue.

同様に、例えば、L*a*b*空間をL*軸の上側から見た場合、赤のサブ空間483は、プラス側のa*軸の上側の境界と、プラス側のa*軸の下側の境界とで囲まれる、a*軸側の空間である。サブ空間483内の位置で示される色は、人間に赤であると認識される。例えば、L*a*b*空間をL*軸の上側から見た場合、黄のサブ空間484は、プラス側のb*軸の右側の境界と、プラス側のb*軸の左側の境界とで囲まれる、b*軸側の空間である。サブ空間484内の位置で示される色は、人間に黄であると認識される。   Similarly, for example, when the L * a * b * space is viewed from the upper side of the L * axis, the red subspace 483 includes the upper boundary of the positive a * axis and the lower side of the positive a * axis. The space on the a * axis side surrounded by the boundary on the side. The color indicated by the position in the subspace 483 is recognized as red by humans. For example, when the L * a * b * space is viewed from the upper side of the L * axis, the yellow subspace 484 includes the right boundary of the positive b * axis and the left boundary of the positive b * axis. The space on the b * axis side surrounded by. The color indicated by the position in the subspace 484 is recognized by humans as yellow.

すなわち、ステップS223において、”赤”関連度抽出部402は、画素の色に対応する、L*a*b*空間上の位置を計算する。そして、ステップS224において、”赤”関連度抽出部402は、計算されたL*a*b*空間上の位置が、赤である色名に対応するサブ空間483内であるか否かを判定する。すなわち、ステップS224において、”赤”関連度抽出部402は、画素の色が人間に赤であると認識される色であるか否かを判定する。   That is, in step S223, the “red” association degree extraction unit 402 calculates a position in the L * a * b * space corresponding to the color of the pixel. In step S224, the “red” association degree extraction unit 402 determines whether the calculated position in the L * a * b * space is in the subspace 483 corresponding to the color name that is red. To do. That is, in step S224, the “red” relevance extraction unit 402 determines whether or not the pixel color is a color that is recognized by humans as red.

ステップS224において、計算されたL*a*b*空間上の位置が、赤である色名に対応するサブ空間483内であると判定された場合、画素の色が人間に赤であると認識される色なので、ステップS225に進み、”赤”関連度抽出部402は、カウンタを1だけインクリメントし、手続きは、ステップS226に進む。   If it is determined in step S224 that the calculated position in the L * a * b * space is within the subspace 483 corresponding to the color name that is red, the pixel color is recognized as red by humans. In step S225, the “red” relevance extraction unit 402 increments the counter by 1, and the procedure proceeds to step S226.

ステップS224において、計算されたL*a*b*空間上の位置が、赤である色名に対応するサブ空間483内でないと判定された場合、画素の色が人間に赤であると認識されない色なので、ステップS225をスキップして、カウンタをインクリメントしないで、手続きは、ステップS226に進む。   If it is determined in step S224 that the calculated position in the L * a * b * space is not within the subspace 483 corresponding to the color name that is red, the color of the pixel is not recognized by human beings as red. Since it is a color, skip step S225 and do not increment the counter, and the procedure proceeds to step S226.

ステップS226において、”赤”関連度抽出部402は、画素が終わりであるか否か、すなわち、本画像201の画素の全てについて処理を適用したか否かを判定し、画素が終わりでないと判定された場合、ステップS222に戻り、本画像201の画素のうち、次の画素の色、すなわち、次の画素の画素値を入力して、上述した処理を繰り返す。   In step S226, the “red” association degree extraction unit 402 determines whether or not the pixel is the end, that is, whether or not the process has been applied to all the pixels of the main image 201, and determines that the pixel is not the end. If YES in step S222, the color of the next pixel among the pixels of the main image 201, that is, the pixel value of the next pixel is input, and the above-described processing is repeated.

ステップS226において、画素が終わりである、すなわち、本画像201の画素の全てについて処理を適用したと判定された場合、ステップS227に進み、”赤”関連度抽出部402は、カウンタの数(値)を本画像201の画素の数で除算する。その結果、本画像201において、赤であると想定できる色が含まれる割合が求められることになる。   If it is determined in step S226 that the pixel is the end, that is, it is determined that the processing has been applied to all the pixels of the main image 201, the process proceeds to step S227, and the “red” relevance extraction unit 402 determines the number of counters (value ) Is divided by the number of pixels of the main image 201. As a result, in the main image 201, a ratio in which a color that can be assumed to be red is included is obtained.

ステップS228において、”赤”関連度抽出部402は、除算の結果を赤の関連度とし、関連度を抽出特徴記録部405に赤の関連度を供給して、処理は終了する。   In step S228, the “red” relevance degree extraction unit 402 sets the result of division as red relevance, supplies the relevance degree to the extracted feature recording unit 405, and ends the process.

なお、L*a*b*空間におけるサブ空間を例に説明したが、L*a*b*空間に限らず、所定の色名の色を1つの領域で表現される色空間を用いて、そのサブ空間を基に関連度を求めるようにしてもよい。   The subspace in the L * a * b * space has been described as an example. However, the color space is not limited to the L * a * b * space, and a color space in which a color of a predetermined color name is expressed by one region, The degree of association may be obtained based on the subspace.

図37を参照して説明した関連度抽出処理においては、画素毎の色がサブ空間の内側であるか否かの2値判断を行ったが、サブ空間の中心に近いのか、それともサブ空間の境界に近いのか(境界ぎりぎりなのか)を関連度に反映させることも考えられる。   In the relevance extraction process described with reference to FIG. 37, a binary determination is made as to whether or not the color for each pixel is inside the subspace. It may be possible to reflect the degree of relevance whether it is close to the boundary (whether it is just the boundary).

次に、この場合の関連度抽出処理を説明する。   Next, the association degree extraction process in this case will be described.

図43は、図36のステップS204に対応する、ステップS203で”赤”関連度抽出部402が特定された場合の関連度抽出処理の詳細の他の例を説明するフローチャートである。ステップS241において、”赤”関連度抽出部402は、記憶している関連度をクリアする。最初に実行されるステップS242において、”赤”関連度抽出部402は、本画像201の画素のうち、最初の画素の色、すなわち、画素値を入力する。ステップS243において、”赤”関連度抽出部402は、画素の色に対応する、色空間上の位置を計算する。   FIG. 43 is a flowchart for explaining another example of the details of the relevance level extraction process when the “red” relevance level extraction unit 402 is identified in step S203, corresponding to step S204 of FIG. In step S241, the “red” association degree extraction unit 402 clears the stored association degree. In step S <b> 242 that is first executed, the “red” association degree extraction unit 402 inputs the color of the first pixel among the pixels of the main image 201, that is, the pixel value. In step S243, the “red” association degree extraction unit 402 calculates a position in the color space corresponding to the color of the pixel.

ステップS224において、”赤”関連度抽出部402は、計算された色空間上の位置について、色名に対応するサブ空間に属する確信度を算出する。すなわち、ステップS224において、”赤”関連度抽出部402は、計算された色空間上の位置について、赤である色名に対応するサブ空間483に属する確信度を算出する。   In step S224, the “red” association degree extraction unit 402 calculates a certainty factor belonging to the subspace corresponding to the color name for the calculated position in the color space. That is, in step S224, the “red” association degree extraction unit 402 calculates a certainty factor belonging to the subspace 483 corresponding to the color name that is red for the calculated position in the color space.

確信度は、サブ空間の中心に近いのか、それともサブ空間の境界に近いのかを示す、サブ空間の内側から外側に向かって1から0に連続的に変化する指標値である。   The certainty factor is an index value that continuously changes from 1 to 0 from the inner side to the outer side of the sub space, indicating whether it is close to the center of the sub space or the boundary of the sub space.

例えば、ステップS224において、”赤”関連度抽出部402は、計算された色空間上の位置がサブ空間483の中心により近い場合、1により近い確信度を算出し、計算された色空間上の位置がサブ空間483の境界により近い場合、0により近い確信度を算出する。   For example, in step S224, if the calculated position in the color space is closer to the center of the subspace 483, the “red” association degree extraction unit 402 calculates a certainty factor closer to 1, and calculates the calculated color space. When the position is closer to the boundary of the subspace 483, a certainty factor closer to 0 is calculated.

ステップS245において、”赤”関連度抽出部402は、関連度に確信度を加算する。ステップS246において、”赤”関連度抽出部402は、画素が終わりであるか否か、すなわち、本画像201の画素の全てについて処理を適用したか否かを判定し、画素が終わりでないと判定された場合、ステップS242に戻り、本画像201の画素のうち、次の画素の色、すなわち、次の画素の画素値を入力して、上述した処理を繰り返す。   In step S245, the “red” association degree extraction unit 402 adds the certainty factor to the association degree. In step S246, the “red” association degree extraction unit 402 determines whether or not the pixel is the end, that is, whether or not the process has been applied to all the pixels of the main image 201, and determines that the pixel is not the end. If YES in step S242, the color of the next pixel among the pixels of the main image 201, that is, the pixel value of the next pixel is input, and the above-described processing is repeated.

ステップS226において、画素が終わりである、すなわち、本画像201の画素の全てについて処理を適用したと判定された場合、関連度を抽出特徴記録部405に赤の関連度を供給して、処理は終了する。   If it is determined in step S226 that the pixel is the end, that is, it is determined that the process has been applied to all the pixels of the main image 201, the degree of association is supplied to the extraction feature recording unit 405, and the process is performed. finish.

確信度を基に関連度を算出した場合には、人の感覚により近い関連度を求めることができるようになる。特に、画像が、サブ空間の境界に近い色を多く含む場合であっても、より的確な関連度を求めることができる。   When the degree of relevance is calculated based on the certainty level, the degree of relevance closer to the human sense can be obtained. In particular, even when the image includes many colors close to the boundary of the subspace, a more accurate degree of association can be obtained.

図37を参照して説明した関連度抽出処理におけるステップS224の処理は、画素の色が特定の色名の色と判定されるか否かの2クラス分類問題であり、種々のパターン認識の手法に置き換えることができる。   The process of step S224 in the relevance extraction process described with reference to FIG. 37 is a two-class classification problem as to whether or not a pixel color is determined to be a color of a specific color name, and various pattern recognition methods. Can be replaced.

次に、この場合の関連度抽出処理を説明する。   Next, the association degree extraction process in this case will be described.

図44は、図36のステップS204に対応する、ステップS203で”赤”関連度抽出部402が特定された場合の関連度抽出処理の詳細の他の例を説明するフローチャートである。ステップS261およびステップS262の処理は、それぞれ、図37のステップS221およびステップS222の処理と同様なので、その説明は省略する。   FIG. 44 is a flowchart for explaining another example of the details of the relevance level extraction process corresponding to step S204 of FIG. 36 when the “red” relevance level extraction unit 402 is specified in step S203. Since the processing of step S261 and step S262 is the same as the processing of step S221 and step S222 of FIG. 37, respectively, description thereof is omitted.

ステップS263において、”赤”関連度抽出部402は、画素の色をパターン認識する。   In step S263, the “red” association degree extraction unit 402 recognizes the color of the pixel.

例えば、ステップS263において、”赤”関連度抽出部402は、ニューラルネットワークにより、画素の色をパターン認識する。ニューラルネットワークによるパターン認識は、例えば、鳥脇純一郎著、認識工学 −パターン認識とその応用−、コロナ社などに記載されている。   For example, in step S <b> 263, the “red” association degree extraction unit 402 recognizes the color of the pixel using a neural network. Pattern recognition using a neural network is described in, for example, Junichiro Toriwaki, recognition engineering-pattern recognition and its application, Corona Co., etc.

パターン認識させる場合には、特定の色値(L*,a*,b*)の色が特定の色名の色であるかどうかを示す判断データを予め人手により複数集めておき、集めた判断データを基に、ニューラルネットワークの学習を行い、識別に必要なパラメータを生成しておく。   In the case of pattern recognition, a plurality of judgment data indicating whether or not the color of a specific color value (L *, a *, b *) is a color of a specific color name is collected in advance by hand, and the collected judgment Based on the data, neural network learning is performed to generate parameters necessary for identification.

図45は、青の色であるかどうかを示す判断データの例である。図45の判断データの例は、例えば、0.02であるL*、0.04であるa*、および0.10であるb*で特定される色は、青ではなく、0.72であるL*、0.00であるa*、および0.12であるb*で特定される色は、青であり、0.28であるL*、−0.02であるa*、および0.15であるb*で特定される色は、青ではないことを示す。   FIG. 45 is an example of determination data indicating whether the color is blue. In the example of the determination data in FIG. 45, for example, the color specified by L * being 0.02, a * being 0.04, and b * being 0.10 is not blue, but 0.72. The color specified by a certain L *, a * that is 0.00, and b * that is 0.12 is blue, L * that is 0.28, a * that is −0.02, and 0. .15 indicates that the color specified by b * is not blue.

ニューラルネットワークによれば、画素の色に対して、このように生成されたパラメータに従って特定の色名の色であるか否かが判定される。   According to the neural network, it is determined whether the color of a pixel is a color of a specific color name according to the parameters generated in this way.

なお、パターン認識の手法は、画素の色が、所定の色名の色であるか否かを判別できるものであればよく、SVM(Support Vector Machine)などいずれの手法であってもよい。   The pattern recognition method may be any method that can determine whether the color of a pixel is a color of a predetermined color name, and may be any method such as SVM (Support Vector Machine).

ステップS264において、”赤”関連度抽出部402は、認識の結果、画素の色が、赤に属するか否かを判定する。ステップS224において、画素の色が、赤に属すると判定された場合、ステップS265に進み、”赤”関連度抽出部402は、カウンタを1だけインクリメントし、手続きは、ステップS266に進む。   In step S264, the “red” association degree extraction unit 402 determines whether the pixel color belongs to red as a result of recognition. When it is determined in step S224 that the color of the pixel belongs to red, the process proceeds to step S265, the “red” relevance extraction unit 402 increments the counter by 1, and the procedure proceeds to step S266.

ステップS264において、画素の色が、赤に属しないと判定された場合、ステップS265をスキップして、カウンタをインクリメントしないで、手続きは、ステップS266に進む。   If it is determined in step S264 that the color of the pixel does not belong to red, step S265 is skipped and the procedure proceeds to step S266 without incrementing the counter.

ステップS266乃至ステップS268の処理は、それぞれ、図37のステップS226乃至ステップS228の処理と同様なので、その説明は省略する。   Since the processing from step S266 to step S268 is the same as the processing from step S226 to step S228 in FIG. 37, description thereof will be omitted.

さらに、パターン認識の手法により、確信度を求めるようにしてもよい。   Further, the certainty factor may be obtained by a pattern recognition technique.

図46は、図36のステップS204に対応する、ステップS203で”赤”関連度抽出部402が特定された場合の関連度抽出処理の詳細の他の例を説明するフローチャートである。ステップS281の処理は、図43のステップS241の処理と同様なので、その説明は省略する。ステップS282およびステップS283の処理は、それぞれ、図44のステップS262およびステップS263の処理と同様なので、その説明は省略する。   FIG. 46 is a flowchart for explaining another example of the degree of association degree extraction process corresponding to step S204 of FIG. 36 when the “red” degree of association extraction unit 402 is identified in step S203. Since the process of step S281 is the same as the process of step S241 of FIG. 43, the description thereof is omitted. The processes in step S282 and step S283 are the same as the processes in step S262 and step S263 of FIG.

ステップS284において、”赤”関連度抽出部402は、認識の結果としての、色名に属すると判定する確信度を算出する。すなわち、ステップS284において、”赤”関連度抽出部402は、認識の結果としての、画素の色が赤に属すると判定する確信度を算出する。例えば、確信度として、ニューラルネットワークの出力層に入力される値を用いることができる。   In step S284, the “red” association degree extraction unit 402 calculates a certainty factor for determining that the color name belongs as a recognition result. That is, in step S284, the “red” association degree extraction unit 402 calculates a certainty factor for determining that the color of the pixel belongs to red as a result of recognition. For example, a value input to the output layer of the neural network can be used as the certainty factor.

ステップS285およびステップS286の処理は、それぞれ、図43のステップS245およびステップS246の処理と同様なのでその説明は省略する。   Since the processing of step S285 and step S286 is the same as the processing of step S245 and step S246 of FIG. 43, the description thereof is omitted.

なお、図36のステップS204に対応する、ステップS203で”青”関連度抽出部403が特定された場合、またはステップS203で”黄”関連度抽出部404が特定された場合の関連度抽出処理の詳細は、”赤”関連度抽出部402に代わり”青”関連度抽出部403または”黄”関連度抽出部404が処理を実行する点またはサブ空間などが異なるが、その他の点は、図37、図43、図44、または図46を参照して説明した処理と同様なので、その説明は省略する。   Note that, when “blue” relevance extraction unit 403 is identified in step S203, or when “yellow” relevance extraction unit 404 is identified in step S203, corresponding relevance extraction processing corresponding to step S204 in FIG. The details of are different in that the “blue” relevance degree extraction unit 403 or the “yellow” relevance degree extraction unit 404 executes processing or subspace instead of the “red” relevance degree extraction part 402, but other points are The processing is the same as that described with reference to FIG. 37, FIG. 43, FIG. 44, or FIG.

図47は、検索の処理を説明するフローチャートである。ステップS311において、検索条件入力部421は、使用者の操作に応じた入力部76からの信号を基に、関連度についての検索の条件を取得する。検索条件入力部421は、関連度についての検索の条件を条件照合部422に供給する。   FIG. 47 is a flowchart for explaining search processing. In step S <b> 311, the search condition input unit 421 acquires a search condition for the degree of association based on a signal from the input unit 76 according to the user's operation. The search condition input unit 421 supplies the search condition for the degree of relevance to the condition matching unit 422.

例えば、図48で示されるように、ディスプレイである出力部77に、GUI(Graphical User Interface)の画像が表示される。図48で示される例において、使用者の操作されるスライドバー491は、検索の条件である、色名毎の粒度(閾値)を指定する。色名に対応するチェックボックス492が使用者によってチェックされている場合、その色名のスライドバー491で指定された、その色名についての粒度が、検索条件としてステップS311において、取得される。   For example, as shown in FIG. 48, a GUI (Graphical User Interface) image is displayed on the output unit 77 which is a display. In the example shown in FIG. 48, the slide bar 491 operated by the user specifies the granularity (threshold value) for each color name, which is a search condition. When the check box 492 corresponding to the color name is checked by the user, the granularity for the color name specified by the slide bar 491 of the color name is acquired as a search condition in step S311.

例えば、黒のチェックボックス492、赤のチェックボックス492、緑のチェックボックス492がチェックされている場合、黒のスライドバー491で指定された、黒の粒度、赤のスライドバー491で指定された、赤の粒度、および緑のスライドバー491で指定された、緑の粒度が検索条件としてステップS311において、取得される。   For example, when a black check box 492, a red check box 492, and a green check box 492 are checked, the black granularity specified by the black slide bar 491, the red slide bar 491, In step S311, the red granularity and the green granularity designated by the green slide bar 491 are acquired as search conditions.

なお、AND検索ラジオボタン493がオンされている場合、スライドバー491で指定された、色名毎の粒度の論理積が最終的な検索条件とされ、OR検索ラジオボタン494がオンされている場合、スライドバー491で指定された、色名毎の粒度の論理和が最終的な検索条件とされる。   When the AND search radio button 493 is turned on, the logical product of the granularity for each color name specified by the slide bar 491 is the final search condition, and the OR search radio button 494 is turned on. The logical sum of the granularity for each color name designated by the slide bar 491 is the final search condition.

より具体的には、例えば、ステップS311において、検索条件入力部421は、(“赤”>0.5)AND(“青”≧0.3)AND(“緑”<0.1)などの、複数の色名に対する論理式で示される検索の条件を取得する。   More specifically, for example, in step S311, the search condition input unit 421 sets (“red”> 0.5) AND (“blue” ≧ 0.3) AND (“green” <0.1) or the like. The search condition indicated by the logical expression for a plurality of color names is acquired.

例えば、使用者は、青空の写った画像を検索したい場合、“青”≧0.3である検索の条件を入力し、ステップS311において、検索条件入力部421は、“青”≧0.3である検索の条件を取得する。   For example, when the user wants to search for an image showing a blue sky, the user inputs a search condition of “blue” ≧ 0.3. In step S311, the search condition input unit 421 reads “blue” ≧ 0.3. Get the search condition that is.

また、使用者は、例えば、イチゴ狩りの画像を検索したい場合には、(“赤”>0.1)AND(“緑”≧0.3)である検索の条件を入力し、ステップS311において、検索条件入力部421は、(“赤”>0.1)AND(“緑”≧0.3)である検索の条件を取得する。   For example, when the user wants to search for an image of strawberry picking, the user inputs a search condition of (“red”> 0.1) AND (“green” ≧ 0.3), and in step S311 The search condition input unit 421 acquires search conditions that are (“red”> 0.1) AND (“green” ≧ 0.3).

なお、検索の条件における、色の名前は、定義済み(関連度抽出部が用意されている)全ての色名である必要はなく、すなわち、検索の条件における、色の名前は、定義済みの色名の一部であってもよく、1つの色名であってもよい。   It should be noted that the color names in the search condition need not be all defined color names (relationship extraction units are prepared), that is, the color names in the search condition are defined. It may be a part of the color name or one color name.

また、色名毎に、直接数値を入力し、取得するようにしてもよい。   In addition, a numerical value may be directly input and acquired for each color name.

ステップS312において、条件照合部422は、抽出特徴保持部146から、検索の対象となる本画像201の色特徴ベクトルを取得する。   In step S <b> 312, the condition matching unit 422 acquires the color feature vector of the main image 201 to be searched from the extracted feature holding unit 146.

ステップS313において、条件照合部422は、取得した色特徴ベクトルが検索の条件に一致するか否かを判定する。例えば、ステップS313において、条件照合部422は、取得した色特徴ベクトルのそれぞれの要素のうち、チェックされているチェックボックス492に対応する色名の要素と、スライドバー491で指定された、その色名についての粒度とが比較され、色特徴ベクトルの色名の要素が指定された粒度以上である場合、色特徴ベクトルが検索の条件に一致すると判定する。   In step S313, the condition matching unit 422 determines whether or not the acquired color feature vector matches the search condition. For example, in step S313, the condition matching unit 422 selects the color name element corresponding to the check box 492 that is checked and the color specified by the slide bar 491 from among the elements of the acquired color feature vector. The granularity of the name is compared, and if the element of the color name of the color feature vector is equal to or greater than the designated granularity, it is determined that the color feature vector matches the search condition.

また、例えば、色名毎の粒度の論理積が最終的な検索条件とされている場合、ステップS313において、条件照合部422は、チェックされているチェックボックス492に対応する色名の要素のすべてにおいて、色特徴ベクトルの色名の要素が指定された粒度以上である場合、色特徴ベクトルが検索の条件に一致すると判定する。例えば、色名毎の粒度の論理和が最終的な検索条件とされている場合、ステップS313において、条件照合部422は、チェックされているチェックボックス492に対応する色名の要素のいずれかにおいて、色特徴ベクトルの色名の要素が指定された粒度以上である場合、色特徴ベクトルが検索の条件に一致すると判定する。   For example, when the logical product of the granularity for each color name is the final search condition, in step S313, the condition matching unit 422 determines all the elements of the color name corresponding to the checked check box 492. When the element of the color name of the color feature vector is equal to or greater than the specified granularity, it is determined that the color feature vector matches the search condition. For example, when the logical sum of the granularity for each color name is the final search condition, in step S313, the condition matching unit 422 determines whether any of the color name elements corresponding to the check box 492 being checked. If the color name element of the color feature vector is equal to or greater than the specified granularity, it is determined that the color feature vector matches the search condition.

ステップS313において、取得した色特徴ベクトルが検索の条件に一致すると判定された場合、ステップS314に進み、条件照合部422は、検索結果保持部147に、ステップS312において取得した色特徴ベクトルに対応する本画像201を特定するコンテンツIDを追加して、ステップS315に進む。   If it is determined in step S313 that the acquired color feature vector matches the search condition, the process proceeds to step S314, and the condition matching unit 422 corresponds to the color feature vector acquired in step S312 in the search result holding unit 147. A content ID for specifying the main image 201 is added, and the process proceeds to step S315.

ステップS313において、取得した色特徴ベクトルが検索の条件に一致しないと判定された場合、ステップS314の処理はスキップされ、検索結果保持部147にコンテンツIDを追加しないで、ステップS315に進む。   If it is determined in step S313 that the acquired color feature vector does not match the search condition, the process of step S314 is skipped, and the process proceeds to step S315 without adding the content ID to the search result holding unit 147.

ステップS315において、検索条件入力部421は、画像が終わりであるか否か、すなわち、全ての画像について検索したか否かを判定し、画像が終わりでない、すなわち、まだ、全ての画像について検索していないと判定された場合、ステップS312に戻り、次の本画像201の色特徴ベクトルを取得して、上述した処理を繰り返す。   In step S315, the search condition input unit 421 determines whether or not the image is the end, that is, whether or not all the images have been searched, and the image is not the end, that is, has searched for all the images yet. If it is determined that it is not, the process returns to step S312 to acquire the color feature vector of the next main image 201, and the above-described processing is repeated.

ステップS315において、画像が終わりである、すなわち、全ての画像について検索したと判定された場合、処理は終了する。   If it is determined in step S315 that the image is the end, that is, all the images have been searched, the process ends.

この処理により、検索結果保持部147には、検索の条件を満たす本画像201を特定するコンテンツIDが格納されることになる。   As a result of this processing, the search result holding unit 147 stores the content ID that identifies the main image 201 that satisfies the search conditions.

図49は、ディスプレイである出力部77に表示される、検索結果保持部147に格納されたコンテンツIDで特定される本画像201の例を示す図である。例えば、緑のチェックボックス492がチェックされ、緑のスライドバー491で粒度が指定された場合、図49の左上に示されるように、緑を多く含む本画像201が、ディスプレイである出力部77に表示される。また、例えば、緑のチェックボックス492がチェックされ、緑のスライドバー491で粒度が指定され、赤のチェックボックス492がチェックされ、赤のスライドバー491で粒度が指定され、AND検索ラジオボタン493がオンされている場合、図49の右上に示されるように、緑と赤を多く含む本画像201が、ディスプレイである出力部77に表示される。   FIG. 49 is a diagram illustrating an example of the master image 201 identified by the content ID stored in the search result holding unit 147 and displayed on the output unit 77 serving as a display. For example, when the green check box 492 is checked and the granularity is designated by the green slide bar 491, as shown in the upper left of FIG. 49, the main image 201 containing a lot of green is displayed on the output unit 77 which is a display. Is displayed. Further, for example, the green check box 492 is checked, the granularity is designated by the green slide bar 491, the red check box 492 is checked, the granularity is designated by the red slide bar 491, and the AND search radio button 493 is selected. When turned on, as shown in the upper right of FIG. 49, the main image 201 containing a lot of green and red is displayed on the output unit 77 which is a display.

例えば、青のチェックボックス492がチェックされ、青のスライドバー491で粒度が指定された場合、図49の左下に示されるように、青を多く含む本画像201が、ディスプレイである出力部77に表示される。また、例えば、青のチェックボックス492がチェックされ、青のスライドバー491で粒度が指定され、白のチェックボックス492がチェックされ、白のスライドバー491で粒度が指定され、AND検索ラジオボタン493がオンされている場合、図49の右下に示されるように、青と白を多く含む本画像201が、ディスプレイである出力部77に表示される。   For example, when the blue check box 492 is checked and the granularity is specified by the blue slide bar 491, as shown in the lower left of FIG. 49, the main image 201 containing a lot of blue is displayed on the output unit 77 which is a display. Is displayed. Also, for example, the blue check box 492 is checked, the granularity is designated by the blue slide bar 491, the white check box 492 is checked, the granularity is designated by the white slide bar 491, and the AND search radio button 493 is selected. When turned on, as shown in the lower right of FIG. 49, the main image 201 including a large amount of blue and white is displayed on the output unit 77 that is a display.

使用者にとって、所望の画像がどのような色をどのくらい含んでいるかを推測することは容易であり、所望の画像を簡単に検索することができるようになる。   It is easy for the user to guess what color the desired image contains and how much the desired image can be retrieved.

さらに、検索の結果に応じて、条件を広げたり狭めたりするなどの任意の粒度に変更して、再度、検索することができる。これにより、さらに簡単に、所望の画像を検索することができる。   Furthermore, the search can be performed again by changing the granularity to an arbitrary granularity such as expanding or narrowing the conditions according to the search result. Thereby, a desired image can be retrieved more easily.

このように、使用者の持っている画像の色のイメージや雰囲気から直感的に画像を検索することができるようになる。   In this way, it is possible to intuitively search for an image from the color image or atmosphere of the image possessed by the user.

画像の全体の集合に対して様々な条件を組み合わせた検索の条件を決めることができるので、検索時に、任意の粒度で、画像である検索結果を取り出すことができる。   Since a search condition combining various conditions can be determined for the entire set of images, a search result that is an image can be taken out at an arbitrary granularity during the search.

画像について、関連度からなる色特徴ベクトルを予め抽出し、関連度との大小の比較または論理演算により画像を検索することができるので、迅速に画像を検索することができる。   A color feature vector composed of the degree of relevance is extracted in advance, and the image can be retrieved by comparing with the degree of relevance or by a logical operation, so that the image can be retrieved quickly.

関連度は、比較的桁数少ない数値で表現することができるので、色特徴ベクトルのデータ量は、より小さくすることができる。従って、色特徴ベクトルの記録に要する記録空間の容量は、比較的小さなもので足りる。   Since the degree of association can be expressed by a numerical value having a relatively small number of digits, the data amount of the color feature vector can be further reduced. Therefore, the capacity of the recording space required for recording the color feature vector may be relatively small.

なお、機器の例として、デジタルスチルカメラ11および携帯電話機12を挙げたが、これに限らず、機器は画像を取り扱うものであればよく、携帯型のプレーヤまたはビュワーなどであってもよい。   In addition, although the digital still camera 11 and the mobile phone 12 were mentioned as an example of an apparatus, it is not restricted to this, The apparatus should just handle an image and may be a portable player or a viewer.

このように、画像のメタデータを記録するようにした場合には、機器において画像を検索することができる。また、機器において、画像を撮影し、画像に関係する情報を、画像に関係付けて、所定の構造のデータとして記録し、画像処理装置への画像の送信を制御し、画像処理装置において、機器から送信されてくる画像の受信を制御し、受信した画像の特徴を抽出し、画像から抽出した特徴を、画像に関係付けて、機器における構造と同じ構造のデータとして記録し、特徴の機器への送信を制御するようにした場合には、処理能力の比較的小さい機器において、簡単に、所望の画像を検索することができる。   As described above, when the metadata of the image is recorded, the image can be searched in the device. In addition, the device captures an image, records information related to the image as data of a predetermined structure in association with the image, and controls transmission of the image to the image processing device. Controls the reception of images transmitted from the camera, extracts the features of the received image, associates the features extracted from the image with the image, records them as data with the same structure as the device, and sends them to the device with the features When the transmission of the image is controlled, a desired image can be easily retrieved with a device having a relatively small processing capability.

また、画像のメタデータを記録するようにした場合には、機器において画像を検索することができる。また、画像の特徴を抽出し、画像から抽出した特徴を、画像に関係付けて、所定の構造のデータとして記録させ、構造と同じ構造のデータとして、画像に関係する情報を記録する機器に記録させる特徴の機器への送信を制御するようにした場合には、処理能力の比較的小さい機器において、簡単に、所望の画像を検索することができる。   Further, when image metadata is recorded, an image can be searched for in the device. Also, the features of the image are extracted, the features extracted from the image are related to the image and recorded as data of a predetermined structure, and the information related to the image is recorded as data having the same structure as the structure When transmission to a device having a characteristic to be controlled is controlled, a desired image can be easily searched for in a device having a relatively small processing capability.

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。   The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose personal computer or the like.

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図2または図3に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスクを含む)、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア82、または、プログラムが一時的もしくは永続的に格納されるROM72またはEEPROM46や、記憶部78を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部47、通信部48、通信部79、または通信部80を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。   As shown in FIG. 2 or FIG. 3, a recording medium for recording a program that is installed in a computer and can be executed by the computer is a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc- (Including Read Only Memory), DVD (Digital Versatile Disc), magneto-optical disk), or removable media 82 which is a package medium made of semiconductor memory or the like, or ROM 72 in which a program is temporarily or permanently stored Or it is comprised by the hard disk etc. which comprise EEPROM46 and the memory | storage part 78. FIG. The program is stored in the program recording medium via a local area network, the Internet, a digital satellite via the communication unit 47, the communication unit 48, the communication unit 79, or the communication unit 80, which is an interface such as a router or a modem, as necessary It is performed using a wired or wireless communication medium such as broadcasting.

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   In the present specification, the step of describing the program stored in the program recording medium is not limited to the processing performed in time series in the order described, but is not necessarily performed in time series. Or the process performed separately is also included.

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。   Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。   The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.

11 デジタルスチルカメラ, 12 携帯電話機, 13 サーバ, 14 ネットワーク, 31 撮影レンズ, 32 絞り, 33 撮像デバイス, 34 アナログ信号処理部, 35 A/Dコンバータ, 36 デジタル信号処理部, 37 MPU, 38 メモリ, 40 モニタ, 41 圧縮伸張部, 43 メモリカード, 46 EEPROM, 47 通信部, 48 通信部, 49 入力部, 71 CPU, 72 ROM, 73 RAM, 76 入力部, 77 出力部, 78 記憶部, 79 通信部, 80 通信部, 82 リムーバブルメディア, 101 撮影制御部, 102 縮小画像生成部, 103 メタデータ生成部, 104 エントリ生成部, 105 記録制御部, 106 表示制御部, 107 検索部, 108 送信制御部, 109 受信制御部, 110 画像保持部, 111 コンテンツデータベース, 112 類似特徴データベース, 113 類似結果データベース, 114 時間グループデータベース, 115 検索結果保持部, 121 距離計算部, 131 画像解析部, 132 縮小画像生成部, 133 メタデータ生成部, 134 エントリ生成部, 135 記録制御部, 136 表示制御部, 137 検索部, 138−1 送信制御部, 138−2 送信制御部, 139−1 受信制御部, 139−2 受信制御部, 140 画像保持部, 141 コンテンツデータベース, 142 類似特徴データベース, 143 類似結果データベース, 144 時間グループデータベース, 145 関連度抽出部対応保持部, 146 抽出特徴保持部, 147 検索結果保持部, 151 距離計算部, 161 顔画像検出部, 162 類似特徴量抽出部, 171 類似特徴ベクトル算出部, 172 色特徴抽出部, 201 本画像, 202 縮小画像, 261 メタデータ, 401 画像入力部, 402 ”赤”関連度抽出部, 403 ”青”関連度抽出部, 404 ”黄”関連度抽出部, 405 抽出特徴記録部, 421 検索条件入力部, 422 条件照合部   11 Digital Still Camera, 12 Mobile Phone, 13 Server, 14 Network, 31 Shooting Lens, 32 Aperture, 33 Imaging Device, 34 Analog Signal Processing Unit, 35 A / D Converter, 36 Digital Signal Processing Unit, 37 MPU, 38 Memory, 40 monitor, 41 compression / decompression unit, 43 memory card, 46 EEPROM, 47 communication unit, 48 communication unit, 49 input unit, 71 CPU, 72 ROM, 73 RAM, 76 input unit, 77 output unit, 78 storage unit, 79 communication Unit, 80 communication unit, 82 removable media, 101 shooting control unit, 102 reduced image generation unit, 103 metadata generation unit, 104 entry generation unit, 105 recording control unit, 106 display control unit, 107 search unit, 108 transmission control unit , 09 reception control unit, 110 image holding unit, 111 content database, 112 similar feature database, 113 similar result database, 114 time group database, 115 search result holding unit, 121 distance calculation unit, 131 image analysis unit, 132 reduced image generation unit 133 metadata generation unit, 134 entry generation unit, 135 recording control unit, 136 display control unit, 137 search unit, 138-1 transmission control unit, 138-2 transmission control unit, 139-1 reception control unit, 139-2 Reception control unit, 140 image holding unit, 141 content database, 142 similar feature database, 143 similar result database, 144 time group database, 145 association degree extracting unit correspondence holding unit, 146 extraction feature Holding unit, 147 search result holding unit, 151 distance calculation unit, 161 face image detection unit, 162 similar feature amount extraction unit, 171 similar feature vector calculation unit, 172 color feature extraction unit, 201 main image, 202 reduced image, 261 meta Data, 401 image input unit, 402 “red” relevance extraction unit, 403 “blue” relevance extraction unit, 404 “yellow” relevance extraction unit, 405 extraction feature recording unit, 421 search condition input unit, 422 condition collation unit

Claims (18)

画像を解析し、前記画像に含まれる顔の画像に関する顔情報を抽出する特徴抽出手段と、
前記特徴抽出手段により前記画像から抽出された顔情報に基づき、前記画像に関連付けられたメタデータを生成する生成手段と、
複数の前記画像にそれぞれ対応する縮小画像の中から選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータとを送信する送信手段と
を備え、
前記メタデータは、外部機器において、前記外部機器の使用者が前記メタデータに基づいて画像を検索することを可能とする構成である
画像処理装置。
A feature extraction unit that analyzes the image and extracts face information related to a face image included in the image;
Generating means for generating metadata associated with the image based on the face information extracted from the image by the feature extracting means;
Transmission means for transmitting a reduced image selected from a reduced image corresponding to each of the plurality of images and metadata associated with the image corresponding to the selected reduced image;
The metadata is an image processing apparatus that allows a user of the external device to search for an image based on the metadata in the external device.
前記送信手段は、前記外部機器の使用者により選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータとを送信する
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the transmission unit transmits a reduced image selected by a user of the external device and metadata associated with the image corresponding to the selected reduced image.
前記特徴量抽出手段は、前記画像に含まれる色情報を抽出し、
前記生成手段は、前記色情報に基づき、前記メタデータを生成し、
前記メタデータは、前記画像の色に関する情報を含む
請求項1に記載の画像処理装置。
The feature amount extraction unit extracts color information included in the image,
The generation unit generates the metadata based on the color information,
The image processing apparatus according to claim 1, wherein the metadata includes information related to a color of the image.
前記メタデータは、前記外部機器において画像の検索に用いるメタデータが選択可能に構成される
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the metadata is configured such that metadata used for image search in the external device can be selected.
前記メタデータは、画像に含まれる顔の幅および高さの情報を含む
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the metadata includes information on a width and a height of a face included in the image.
前記メタデータは、文字列を含むコメント情報を含む
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the metadata includes comment information including a character string.
前記メタデータは、グループを特定するデータであるグループIDを含む
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the metadata includes a group ID that is data for specifying a group.
前記顔情報は、画像に含まれる顔の数の情報を含む
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the face information includes information on the number of faces included in the image.
前記外部機器とネットワークを介して接続されている
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the image processing apparatus is connected to the external device via a network.
画像処理装置が、
画像を解析し、前記画像に含まれる顔の画像に関する顔情報を抽出し、
前記画像から抽出された顔情報に基づき、前記画像に関連付けられたメタデータを生成し、
複数の前記画像にそれぞれ対応する縮小画像の中から選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータとを送信し、
前記メタデータは、外部機器において、前記外部機器の使用者が前記メタデータに基づいて画像を検索することを可能とする構成である
画像処理方法。
The image processing device
Analyzing the image, extracting face information about the face image included in the image,
Based on the face information extracted from the image, generate metadata associated with the image,
Transmitting a reduced image selected from the reduced images respectively corresponding to the plurality of images, and metadata associated with the image corresponding to the selected reduced image;
The metadata is an image processing method that allows a user of the external device to search for an image based on the metadata in the external device.
画像を解析し、前記画像に含まれる顔の画像に関する顔情報を抽出する特徴抽出手段と、
前記特徴抽出手段により前記画像から抽出された顔情報に基づき、前記画像に関連付けられたメタデータを生成する生成手段と、
複数の前記画像にそれぞれ対応する縮小画像の中から選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータとを送信する送信手段と
して、コンピュータを機能させ、
前記メタデータは、外部機器において、前記外部機器の使用者が前記メタデータに基づいて画像を検索することを可能とする構成である
プログラム。
A feature extraction unit that analyzes the image and extracts face information related to a face image included in the image;
Generating means for generating metadata associated with the image based on the face information extracted from the image by the feature extracting means;
The computer functions as a transmission unit that transmits a reduced image selected from the reduced images respectively corresponding to the plurality of images and metadata associated with the image corresponding to the selected reduced image. Let
The metadata is a configuration that allows a user of the external device to search for an image based on the metadata in the external device.
画像を解析し、前記画像から抽出された前記画像に含まれる顔の画像に関する顔情報に基づき、前記画像に関連付けられたメタデータを生成するサーバから、複数の前記画像にそれぞれ対応する縮小画像の中から選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータを受信する受信手段と、
前記受信手段により受信された前記メタデータに基づいて、検索された画像を提示する提示手段と
を備え、
前記メタデータは、使用者が前記メタデータに基づいて画像を検索することを可能とする構成である
情報処理装置。
Analyzing the image and generating reduced metadata corresponding to each of the plurality of images from a server that generates metadata associated with the image based on face information regarding the face image included in the image extracted from the image. Receiving means for receiving a reduced image selected from among the images and metadata associated with the image corresponding to the selected reduced image;
Presenting means for presenting a searched image based on the metadata received by the receiving means; and
The metadata is configured to allow a user to search for an image based on the metadata.
前記受信手段は、前記情報処理装置の使用者により選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータとを受信する
請求項12に記載の情報処理装置。
The information processing apparatus according to claim 12, wherein the receiving unit receives a reduced image selected by a user of the information processing apparatus and metadata associated with the image corresponding to the selected reduced image. .
画像を撮像する画像撮像手段を
さらに備える請求項12に記載の情報処理装置。
The information processing apparatus according to claim 12, further comprising an image capturing unit that captures an image.
前記メタデータは、前記情報処理装置において、前記情報処理装置の使用者が前記メタデータに基づいて画像を検索することを可能とする構成である
請求項12に記載の情報処理装置。
The information processing apparatus according to claim 12, wherein the metadata is configured to allow a user of the information processing apparatus to search for an image based on the metadata in the information processing apparatus.
前記メタデータは、前記サーバにおいて前記画像から抽出された色情報に基づき生成されたデータであり、前記画像の色に関する情報を含む
請求項12に記載の情報処理装置。
The information processing apparatus according to claim 12, wherein the metadata is data generated based on color information extracted from the image in the server, and includes information regarding a color of the image.
情報処理装置が、
画像を解析し、前記画像から抽出された前記画像に含まれる顔の画像に関する顔情報に基づき、前記画像に関連付けられたメタデータを生成するサーバから、複数の前記画像にそれぞれ対応する縮小画像の中から選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータを受信し、
受信された前記メタデータに基づいて、検索された画像を提示し、
前記メタデータは、使用者が前記メタデータに基づいて画像を検索することを可能とする構成である
情報処理方法。
Information processing device
Analyzing the image and generating reduced metadata corresponding to each of the plurality of images from a server that generates metadata associated with the image based on face information regarding the face image included in the image extracted from the image. Receiving a reduced image selected from within and metadata associated with the image corresponding to the selected reduced image;
Presenting the retrieved image based on the received metadata;
The metadata is configured to allow a user to search for an image based on the metadata.
画像を解析し、前記画像から抽出された前記画像に含まれる顔の画像に関する顔情報に基づき、前記画像に関連付けられたメタデータを生成するサーバから、複数の前記画像にそれぞれ対応する縮小画像の中から選択された縮小画像と、前記選択された縮小画像に対応する前記画像に関連付けられたメタデータを受信する受信手段と、
前記受信手段により受信された前記メタデータに基づいて、検索された画像を提示する提示手段と
して、コンピュータを機能させ、
前記メタデータは、使用者が前記メタデータに基づいて画像を検索することを可能とする構成であるプログラム。
Analyzing the image and generating reduced metadata corresponding to each of the plurality of images from a server that generates metadata associated with the image based on face information regarding the face image included in the image extracted from the image. Receiving means for receiving a reduced image selected from among the images and metadata associated with the image corresponding to the selected reduced image;
Based on the metadata received by the receiving means, the computer functions as a presentation means for presenting the searched image,
The metadata is a program that allows a user to search for an image based on the metadata.
JP2014135789A 2014-07-01 2014-07-01 Image processing apparatus and method, information processing apparatus and method, and program Expired - Fee Related JP6109118B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014135789A JP6109118B2 (en) 2014-07-01 2014-07-01 Image processing apparatus and method, information processing apparatus and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014135789A JP6109118B2 (en) 2014-07-01 2014-07-01 Image processing apparatus and method, information processing apparatus and method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012263444A Division JP2013061974A (en) 2012-11-30 2012-11-30 Image processing apparatus and method, information processing apparatus and method, program, and image processing system

Publications (2)

Publication Number Publication Date
JP2014211895A true JP2014211895A (en) 2014-11-13
JP6109118B2 JP6109118B2 (en) 2017-04-05

Family

ID=51931555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014135789A Expired - Fee Related JP6109118B2 (en) 2014-07-01 2014-07-01 Image processing apparatus and method, information processing apparatus and method, and program

Country Status (1)

Country Link
JP (1) JP6109118B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018096661A1 (en) * 2016-11-25 2018-05-31 日本電気株式会社 Image generation device, face verification device, image generation method, and recording medium in which program is stored
JP2021073619A (en) * 2021-02-04 2021-05-13 日本電気株式会社 Image generation device, image generation method, and program
JP7536545B2 (en) 2020-07-22 2024-08-20 キヤノン株式会社 Image processing device, control method thereof, and program

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0793369A (en) * 1993-09-24 1995-04-07 Shisutegureitaazu Kk Communication system for image data
US6035055A (en) * 1997-11-03 2000-03-07 Hewlett-Packard Company Digital image management system in a distributed data access network system
JP2003030243A (en) * 2001-07-16 2003-01-31 Canon Inc System for distributing image and information processor and methods thereof
JP2003150932A (en) * 2001-11-12 2003-05-23 Olympus Optical Co Ltd Image processing unit and program
JP2003204541A (en) * 2001-12-28 2003-07-18 Nippon Signal Co Ltd:The Video processing method and video processing apparatus
JP2003337817A (en) * 2002-05-20 2003-11-28 Recruit Co Ltd Method for presenting contents
JP2004005314A (en) * 2002-06-03 2004-01-08 Matsushita Electric Ind Co Ltd Data retrieval system, and device, method, recording medium or program for the same
US20040202384A1 (en) * 2000-12-15 2004-10-14 Hertz Richard J. Method and system for distributing digital images
WO2005031612A1 (en) * 2003-09-26 2005-04-07 Nikon Corporation Electronic image accumulation method, electronic image accumulation device, and electronic image accumulation system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0793369A (en) * 1993-09-24 1995-04-07 Shisutegureitaazu Kk Communication system for image data
US6035055A (en) * 1997-11-03 2000-03-07 Hewlett-Packard Company Digital image management system in a distributed data access network system
US20040202384A1 (en) * 2000-12-15 2004-10-14 Hertz Richard J. Method and system for distributing digital images
JP2003030243A (en) * 2001-07-16 2003-01-31 Canon Inc System for distributing image and information processor and methods thereof
JP2003150932A (en) * 2001-11-12 2003-05-23 Olympus Optical Co Ltd Image processing unit and program
JP2003204541A (en) * 2001-12-28 2003-07-18 Nippon Signal Co Ltd:The Video processing method and video processing apparatus
JP2003337817A (en) * 2002-05-20 2003-11-28 Recruit Co Ltd Method for presenting contents
JP2004005314A (en) * 2002-06-03 2004-01-08 Matsushita Electric Ind Co Ltd Data retrieval system, and device, method, recording medium or program for the same
WO2005031612A1 (en) * 2003-09-26 2005-04-07 Nikon Corporation Electronic image accumulation method, electronic image accumulation device, and electronic image accumulation system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018096661A1 (en) * 2016-11-25 2018-05-31 日本電気株式会社 Image generation device, face verification device, image generation method, and recording medium in which program is stored
JPWO2018096661A1 (en) * 2016-11-25 2019-10-17 日本電気株式会社 Image generating apparatus, image generating method, and program
US10846838B2 (en) 2016-11-25 2020-11-24 Nec Corporation Image generation device, image generation method, and storage medium storing program
US10878549B2 (en) 2016-11-25 2020-12-29 Nec Corporation Image generation device, image generation method, and storage medium storing program
US11620739B2 (en) 2016-11-25 2023-04-04 Nec Corporation Image generation device, image generation method, and storage medium storing program
US11989859B2 (en) 2016-11-25 2024-05-21 Nec Corporation Image generation device, image generation method, and storage medium storing program
JP7536545B2 (en) 2020-07-22 2024-08-20 キヤノン株式会社 Image processing device, control method thereof, and program
JP2021073619A (en) * 2021-02-04 2021-05-13 日本電気株式会社 Image generation device, image generation method, and program
JP7218769B2 (en) 2021-02-04 2023-02-07 日本電気株式会社 Image generation device, image generation method, and program

Also Published As

Publication number Publication date
JP6109118B2 (en) 2017-04-05

Similar Documents

Publication Publication Date Title
JP5170961B2 (en) Image processing system, image processing apparatus and method, program, and recording medium
JP2007206919A (en) Display control device, method, program and storage medium
JP2007206920A (en) Image processor and image processing method, retrieving device and method, program and recording medium
JP2022023887A (en) Appearance search system and method
KR101457284B1 (en) Methods and apparatuses for facilitating content-based image retrieval
JP5934653B2 (en) Image classification device, image classification method, program, recording medium, integrated circuit, model creation device
JP2014092955A (en) Similar content search processing device, similar content search processing method and program
JP6109118B2 (en) Image processing apparatus and method, information processing apparatus and method, and program
KR20150096552A (en) System and method for providing online photo gallery service by using photo album or photo frame
JP2013061974A (en) Image processing apparatus and method, information processing apparatus and method, program, and image processing system
WO2020172366A1 (en) Method and system for image searching and evaluation using tags
Jadhav et al. Colour and texture feature based hybrid approach for image retrieval
GIESKE SEARCH OPTIMIZATION THROUGH JPEG QUANTIZATION TABLES

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150508

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160307

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160314

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170307

R150 Certificate of patent or registration of utility model

Ref document number: 6109118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees