JP2008102845A - Information processing apparatus, method, and program - Google Patents

Information processing apparatus, method, and program Download PDF

Info

Publication number
JP2008102845A
JP2008102845A JP2006286452A JP2006286452A JP2008102845A JP 2008102845 A JP2008102845 A JP 2008102845A JP 2006286452 A JP2006286452 A JP 2006286452A JP 2006286452 A JP2006286452 A JP 2006286452A JP 2008102845 A JP2008102845 A JP 2008102845A
Authority
JP
Japan
Prior art keywords
metadata
extracted
representative
similar
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006286452A
Other languages
Japanese (ja)
Inventor
Masaaki Nakagawa
雅朗 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006286452A priority Critical patent/JP2008102845A/en
Publication of JP2008102845A publication Critical patent/JP2008102845A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To apply most suitable metadata to a content. <P>SOLUTION: A metadata extraction part 52 extracts extraction metadata from the content, and a metadata list 23a to store representative metadata and similar metadata in association with each other is stored in a storage part 23. A metadata comparison means 53 compares extraction metadata with representative metadata and similar metadata, and a metadata conversion part 55 converts the extraction metadata to representative metadata associated with similar metadata matched with the extraction metadata when the extraction metadata and similar metadata are matched, and a metadata applying means 56 applies the representative metadata to the content, whereby the most suitable metadata can be applied to the content. This invention is applicable to a digital still camera. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、最適なメタデータをコンテンツに付与することができるようにした情報処理装置および方法、並びにプログラムに関する。   The present invention relates to an information processing apparatus and method, and a program, and more particularly, to an information processing apparatus and method, and a program that can provide optimum metadata to content.

近年、デジタルスチルカメラが普及している。また、デジタルスチルカメラにより撮像された撮像画像を記録するメモリカード等の記録メディアの容量も増加している。   In recent years, digital still cameras have become widespread. In addition, the capacity of recording media such as memory cards that record captured images captured by a digital still camera is also increasing.

記録メディアの容量が増加することで、記録メディアに記録できる撮像画像の枚数も増加しており、それによってユーザは、蓄積されている撮像画像群のなかから、所望の撮像画像を探し出して閲覧することが困難になってきている。   As the capacity of the recording medium increases, the number of captured images that can be recorded on the recording medium also increases, so that the user searches and browses a desired captured image from the group of stored captured images. It has become difficult.

また、デジタルスチルカメラは、多数の撮像画像を蓄積できることから、無線等の通信によって、または着脱可能な記録メディアを介して、他のデジタルスチルカメラから提供される撮像画像を蓄積することもできるが、それにより、自分の記録している撮像画像の枚数がさらに増加するために、ユーザにとっては、迅速に、所望の撮像画像を探し出すことが難しくなる。   In addition, since a digital still camera can store a large number of captured images, it can also store captured images provided from other digital still cameras by wireless communication or via a removable recording medium. As a result, the number of captured images recorded by the user further increases, making it difficult for the user to quickly find a desired captured image.

そこで、被写体が撮像された後、撮像画像に関連するキーワード(メタデータ)を入力させることで、ユーザによって所望の撮像画像の検索が行われるとき、付加されたメタデータを条件にして撮像画像を検索することによって、所望の撮像画像を簡単に探し出せるようにしているデジタルスチルカメラがある。   Therefore, after a subject is imaged, a keyword (metadata) related to the captured image is input, and when a user searches for a desired captured image, the captured image is selected on the condition of the added metadata. There is a digital still camera that can easily find a desired captured image by searching.

そのようなメタデータに関する技術としては、メタデータ・ストリーム情報に含まれるデータ量に関する情報および記述内容に関する情報のうち少なくとも一方の情報に基づいて、受信したメタデータ・ストリームから所定のメタデータ・ストリームを選択し、選択したメタデータ・ストリームを統合して出力する手法が提案されている(例えば、特許文献1参照)。   As a technology related to such metadata, a predetermined metadata stream is received from a received metadata stream based on at least one of information on the amount of data included in the metadata stream information and information on description contents. Has been proposed, and the selected metadata stream is integrated and output (see, for example, Patent Document 1).

また、複数のコンテンツに付与されたメタデータの構成要素について、同一である構成要素または所定の関連性を有する構成要素を探し、各メタデータの間に、その構成要素があった場合、各メタデータの構成要素の和集合を作成し、その和集合を、複数のコンテンツのメタデータの構成要素として新たに付与または編集するメタデータの管理方法も提案されている(例えば、特許文献2参照)。   In addition, for metadata components assigned to a plurality of contents, the same component or a component having a predetermined relationship is searched, and if there is a component between the metadata, A metadata management method has also been proposed in which a union of data components is created and the union is newly added or edited as a metadata component of a plurality of contents (see, for example, Patent Document 2). .

特開2003−203034号公報JP 2003-203034 A 特開2005−196598号公報JP 2005-196598 A

しかしながら、上記特許文献1では、受信したコンテンツのメタデータを取捨選択しているだけであり、コンテンツのメタデータそのものを更新していないので、最適なメタデータがコンテンツに付与されていない可能性があった。   However, in the above-mentioned Patent Document 1, only the metadata of the received content is selected and the metadata of the content itself is not updated. Therefore, there is a possibility that optimum metadata is not given to the content. there were.

また、上記特許文献2では、コンテンツのメタデータの更新を行っているが、各メタデータの構成要素の和集合を用いているため、例えば、所定の機器におけるコンテンツの管理面について考えると、同じ事象を表している2つの表現が各コンテンツに付与されていても、これを同一の事象として認識できず、コンテンツ群の管理面において煩雑さを解消できているとは言えなかった。   Further, in Patent Document 2 described above, content metadata is updated, but since the union of the constituent elements of each metadata is used, for example, when considering the management aspect of content in a predetermined device, it is the same Even if two expressions representing an event are given to each content, it cannot be recognized as the same event, and it cannot be said that the complexity of the management of the content group can be eliminated.

特に、ユーザによって、所定のメタデータがコンテンツに付与される場合、そのメタデータは、ユーザが自分の意志で付与する情報となるので、複数のユーザによってメタデータが付与されると、ユーザそれぞれの個性が出てしまうために、同じ事象を表しているメタデータの表現が各ユーザごとに異なってしまい、一致しないことが考えられる。その結果、せっかくメタデータをコンテンツに付与していても、同じ事象を表しているメタデータが付与されたコンテンツが、同一の事象として認識されない可能性がでてくる。   In particular, when predetermined metadata is given to the content by the user, the metadata is information that the user gives at his / her own will. Therefore, when metadata is given by a plurality of users, Since individuality appears, the expression of the metadata representing the same event is different for each user, and it is considered that they do not match. As a result, even if metadata is added to the content, there is a possibility that the content to which the metadata representing the same event is added is not recognized as the same event.

例えば、デジタルスチルカメラにおいては、撮像画像を蓄積する記録メディアの容量が増加することによって、他のデジタルスチルカメラから提供される撮像画像も蓄積することが可能となっているが、それらの撮像画像には、あらかじめ他のユーザによってメタデータが付与されており、他のユーザが付与したメタデータは、ユーザ自身が付与したメタデータとは、同じ内容を意味するものであっても、異なる表現となっている可能性が高い。   For example, in a digital still camera, it is possible to store captured images provided from other digital still cameras by increasing the capacity of a recording medium for storing captured images. Is given metadata by other users in advance, and the metadata given by other users is different from the metadata given by the users themselves, even if it means the same content. It is highly possible that

以上のように、最適なメタデータがコンテンツに付与されていないために、コンテンツを容易に管理することができなかった。   As described above, since the optimal metadata is not assigned to the content, the content cannot be easily managed.

本発明はこのような状況に鑑みてなされたものであり、最適なメタデータをコンテンツに付与することができるようにするものである。   The present invention has been made in view of such a situation, and makes it possible to assign optimal metadata to content.

本発明の一側面の情報処理装置は、コンテンツから抽出メタデータを抽出する抽出手段と、前記コンテンツに付与する代表メタデータと、前記代表メタデータに類似する類似メタデータとを関連付けて格納しているメタデータリストを記憶する第1の記憶手段と、前記抽出メタデータと、記憶している前記メタデータリストに格納されている前記代表メタデータおよび前記類似メタデータとを比較する比較手段と、前記抽出メタデータと前記類似メタデータとが一致する場合、前記抽出メタデータを、前記メタデータリストに格納されている前記代表メタデータであって、前記抽出メタデータと一致する前記類似メタデータに関連付けられている前記代表メタデータに変換する変換手段と、変換により得られた前記代表メタデータを前記コンテンツに付与する付与手段とを備える。   An information processing apparatus according to an aspect of the present invention stores an extraction unit that extracts extracted metadata from content, representative metadata to be given to the content, and similar metadata similar to the representative metadata in association with each other. First storage means for storing a metadata list, comparison means for comparing the extracted metadata with the representative metadata and the similar metadata stored in the stored metadata list; When the extracted metadata and the similar metadata match, the extracted metadata is the representative metadata stored in the metadata list, and the similar metadata that matches the extracted metadata. A converting means for converting the associated representative metadata; and the representative metadata obtained by the conversion And a providing means for providing the Ntsu.

前記抽出メタデータと、前記代表メタデータおよび前記類似メタデータとが一致しない場合、前記抽出メタデータを、前記代表メタデータとして、前記メタデータリストに追加する更新手段をさらに設け、前記付与手段には、前記抽出メタデータを前記コンテンツに付与させることができる。   In the case where the extracted metadata does not match the representative metadata and the similar metadata, update means for adding the extracted metadata to the metadata list as the representative metadata is further provided in the granting means. Can give the extracted metadata to the content.

前記付与手段には、前記抽出メタデータと前記代表メタデータとが一致する場合、前記抽出メタデータを前記コンテンツに付与させることができる。   When the extracted metadata and the representative metadata match, the adding unit can add the extracted metadata to the content.

他の機器に蓄積されている前記コンテンツを入力する入力手段をさらに設け、前記抽出手段には、入力された前記コンテンツから前記抽出メタデータを抽出させることができる。   Input means for inputting the content stored in another device can be further provided, and the extraction means can extract the extracted metadata from the input content.

前記更新手段には、前記抽出メタデータと、前記代表メタデータおよび前記類似メタデータとが一致しない場合、ユーザの操作にしたがって、前記抽出メタデータを、前記類似メタデータとして、前記メタデータリストに追加させることができる。   If the extracted metadata does not match the representative metadata and the similar metadata, the updating means sets the extracted metadata as the similar metadata in the metadata list according to a user operation. Can be added.

前記代表メタデータが付与された前記コンテンツを記憶する第2の記憶手段をさらに設けることができる。   Second storage means for storing the content to which the representative metadata is attached can be further provided.

前記第1の記憶手段には、前記代表メタデータが付与された前記コンテンツを記憶させることができる。   The first storage unit can store the content to which the representative metadata is added.

前記抽出メタデータは、ユーザによって、前記コンテンツに付与された情報であるようにすることができる。   The extracted metadata may be information added to the content by a user.

前記コンテンツは、撮像された画像であるようにすることができる。   The content may be a captured image.

本発明の一側面の情報処理方法は、コンテンツに付与する代表メタデータと、前記代表メタデータに類似する類似メタデータとを関連付けて格納しているメタデータリストを記憶する記憶手段を有する情報処理装置の情報処理方法において、前記コンテンツから抽出メタデータを抽出し、前記抽出メタデータと、記憶している前記メタデータリストに格納されている前記代表メタデータおよび前記類似メタデータとを比較し、前記抽出メタデータと前記類似メタデータとが一致する場合、前記抽出メタデータを、前記メタデータリストに格納されている前記代表メタデータであって、前記抽出メタデータと一致する前記類似メタデータに関連付けられている前記代表メタデータに変換し、変換により得られた前記代表メタデータを前記コンテンツに付与するステップを含む。   An information processing method according to an aspect of the present invention includes an information processing method including storage means for storing a metadata list in which representative metadata to be assigned to content and similar metadata similar to the representative metadata are stored in association with each other. In the information processing method of the apparatus, extracting extracted metadata from the content, comparing the extracted metadata with the representative metadata and the similar metadata stored in the stored metadata list, When the extracted metadata and the similar metadata match, the extracted metadata is the representative metadata stored in the metadata list, and the similar metadata that matches the extracted metadata. The representative metadata is converted into the associated representative metadata, and the representative metadata obtained by the conversion is converted into the container. Including the step to be applied to the tool.

本発明の一側面のプログラムは、コンテンツに付与する代表メタデータと、前記代表メタデータに類似する類似メタデータとを関連付けて格納しているメタデータリストを記憶する記憶手段を有する情報処理装置の情報処理を、コンピュータに行わせるプログラムにおいて、前記コンテンツから抽出メタデータを抽出し、前記抽出メタデータと、記憶している前記メタデータリストに格納されている前記代表メタデータおよび前記類似メタデータとを比較し、前記抽出メタデータと前記類似メタデータとが一致する場合、前記抽出メタデータを、前記メタデータリストに格納されている前記代表メタデータであって、前記抽出メタデータと一致する前記類似メタデータに関連付けられている前記代表メタデータに変換し、変換により得られた前記代表メタデータを前記コンテンツに付与するステップを含む。   According to one aspect of the present invention, there is provided a program for an information processing apparatus having a storage unit that stores a metadata list in which representative metadata to be given to content and similar metadata similar to the representative metadata are associated and stored. In a program for causing a computer to perform information processing, extracted metadata is extracted from the content, the extracted metadata, and the representative metadata and the similar metadata stored in the stored metadata list, If the extracted metadata and the similar metadata match, the extracted metadata is the representative metadata stored in the metadata list, and the extracted metadata matches the extracted metadata. Converted to the representative metadata associated with similar metadata, obtained by conversion The serial representative metadata comprising the step of applying to the content.

本発明の一側面においては、コンテンツから抽出メタデータが抽出され、コンテンツに付与する代表メタデータと、代表メタデータに類似する類似メタデータとを関連付けて格納しているメタデータリストが記憶され、抽出メタデータと、記憶しているメタデータリストに格納されている代表メタデータおよび類似メタデータとが比較され、抽出メタデータと類似メタデータとが一致する場合、抽出メタデータが、メタデータリストに格納されている代表メタデータであって、抽出メタデータと一致する類似メタデータに関連付けられている代表メタデータに変換され、変換により得られた代表メタデータがコンテンツに付与される。   In one aspect of the present invention, extracted metadata is extracted from content, a metadata list storing representative metadata to be given to the content and similar metadata similar to the representative metadata is stored, The extracted metadata is compared with the representative metadata and similar metadata stored in the stored metadata list. When the extracted metadata matches the similar metadata, the extracted metadata is stored in the metadata list. Is converted to representative metadata associated with similar metadata that matches the extracted metadata, and the representative metadata obtained by the conversion is added to the content.

以上のように、本発明の一側面によれば、最適なメタデータをコンテンツに付与することができる。   As described above, according to one aspect of the present invention, optimal metadata can be assigned to content.

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。   Embodiments of the present invention will be described below. Correspondences between constituent elements of the present invention and the embodiments described in the specification or the drawings are exemplified as follows. This description is intended to confirm that the embodiments supporting the present invention are described in the specification or the drawings. Therefore, even if there is an embodiment which is described in the specification or the drawings but is not described here as an embodiment corresponding to the constituent elements of the present invention, that is not the case. It does not mean that the form does not correspond to the constituent requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.

本発明の一側面の情報処理装置(例えば、図3のデジタルスチルカメラ1)は、コンテンツから抽出メタデータを抽出する抽出手段(例えば、図3のメタデータ抽出部52)と、前記コンテンツに付与する代表メタデータと、前記代表メタデータに類似する類似メタデータとを関連付けて格納しているメタデータリスト(例えば、図3のメタデータリスト23a)を記憶する第1の記憶手段(例えば、図3の記憶部23)と、前記抽出メタデータと、記憶している前記メタデータリストに格納されている前記代表メタデータおよび前記類似メタデータとを比較する比較手段(例えば、図3のメタデータ比較部53)と、前記抽出メタデータと前記類似メタデータとが一致する場合、前記抽出メタデータを、前記メタデータリストに格納されている前記代表メタデータであって、前記抽出メタデータと一致する前記類似メタデータに関連付けられている前記代表メタデータに変換する変換手段(例えば、図3のメタデータ変換部55)と、変換により得られた前記代表メタデータを前記コンテンツに付与する付与手段(例えば、図3のメタデータ付与部56)と備える。   An information processing apparatus according to an aspect of the present invention (for example, the digital still camera 1 in FIG. 3) includes an extraction unit that extracts extracted metadata from content (for example, the metadata extraction unit 52 in FIG. 3), and adds the extracted metadata to the content. First storage means (for example, FIG. 3) that stores a metadata list (for example, the metadata list 23a in FIG. 3) that stores representative metadata and similar metadata similar to the representative metadata in association with each other. 3 storage unit 23), comparing means for comparing the extracted metadata with the representative metadata and the similar metadata stored in the stored metadata list (for example, metadata in FIG. 3). When the comparison unit 53) matches the extracted metadata and the similar metadata, the extracted metadata is stored in the metadata list. Conversion means (for example, the metadata conversion unit 55 in FIG. 3) that converts the representative metadata associated with the similar metadata that matches the extracted metadata, An adding unit (for example, the metadata adding unit 56 in FIG. 3) for adding the obtained representative metadata to the content is provided.

前記抽出メタデータと、前記代表メタデータおよび前記類似メタデータとが一致しない場合、前記抽出メタデータを、前記代表メタデータとして、前記メタデータリストに追加する更新手段(例えば、図3のメタデータ更新部54)をさらに備え、前記付与手段は、前記抽出メタデータを前記コンテンツに付与することができる。   When the extracted metadata does not match the representative metadata and the similar metadata, update means for adding the extracted metadata to the metadata list as the representative metadata (for example, the metadata in FIG. 3) An update unit 54), and the adding unit can add the extracted metadata to the content.

前記付与手段は、前記抽出メタデータと前記代表メタデータとが一致する場合、前記抽出メタデータを前記コンテンツに付与することができる。   The adding unit can add the extracted metadata to the content when the extracted metadata matches the representative metadata.

他の機器に蓄積されている前記コンテンツを入力する入力手段(例えば、図3の入力部51)をさらに備え、前記抽出手段は、入力された前記コンテンツから前記抽出メタデータを抽出することができる。   The apparatus further includes an input unit (for example, the input unit 51 in FIG. 3) for inputting the content stored in another device, and the extraction unit can extract the extracted metadata from the input content. .

前記更新手段は、前記抽出メタデータと、前記代表メタデータおよび前記類似メタデータとが一致しない場合、ユーザの操作にしたがって、前記抽出メタデータを、前記類似メタデータとして、前記メタデータリストに追加することができる。   The update unit adds the extracted metadata as the similar metadata to the metadata list according to a user operation when the extracted metadata does not match the representative metadata and the similar metadata. can do.

前記代表メタデータが付与された前記コンテンツを記憶する第2の記憶手段(例えば、図3の記録デバイス17)をさらに備えることができる。   A second storage unit (for example, the recording device 17 in FIG. 3) that stores the content to which the representative metadata is added can be further provided.

前記第1の記憶手段は、前記代表メタデータが付与された前記コンテンツを記憶することができる。   The first storage means can store the content to which the representative metadata is added.

前記抽出メタデータは、ユーザによって、前記コンテンツに付与された情報であるようにすることができる。   The extracted metadata may be information added to the content by a user.

前記コンテンツは、撮像された画像であるようにすることができる。   The content may be a captured image.

本発明の一側面の情報処理方法またはプログラムは、コンテンツに付与する代表メタデータと、前記代表メタデータに類似する類似メタデータとを関連付けて格納しているメタデータリストを記憶する記憶手段を有する情報処理装置の情報処理方法において、または コンテンツに付与する代表メタデータと、前記代表メタデータに類似する類似メタデータとを関連付けて格納しているメタデータリストを記憶する記憶手段を有する情報処理装置の情報処理を、コンピュータに行わせるプログラムにおいて、前記コンテンツから抽出メタデータを抽出し(例えば、図5のステップS13の処理)、前記抽出メタデータと、記憶している前記メタデータリストに格納されている前記代表メタデータおよび前記類似メタデータとを比較し(例えば、図5のステップS14の処理)、前記抽出メタデータと前記類似メタデータとが一致する場合、前記抽出メタデータを、前記メタデータリストに格納されている前記代表メタデータであって、前記抽出メタデータと一致する前記類似メタデータに関連付けられている前記代表メタデータに変換し(例えば、図5のステップS18の処理)、変換により得られた前記代表メタデータを前記コンテンツに付与する(例えば、図5のステップS19の処理)ステップを含む。   An information processing method or program according to an aspect of the present invention includes a storage unit that stores a metadata list in which representative metadata to be assigned to content and similar metadata similar to the representative metadata are stored in association with each other. In an information processing method of an information processing apparatus, or an information processing apparatus having a storage unit for storing a metadata list in which representative metadata to be given to content and similar metadata similar to the representative metadata are stored in association with each other In the program that causes the computer to perform the information processing, the extracted metadata is extracted from the content (for example, the process of step S13 in FIG. 5) and stored in the extracted metadata and the stored metadata list. The representative metadata and the similar metadata are compared (for example, When the extracted metadata matches the similar metadata, the extracted metadata is the representative metadata stored in the metadata list, and the extracted metadata Convert to the representative metadata associated with the similar metadata that matches the data (for example, the process of step S18 in FIG. 5), and give the representative metadata obtained by the conversion to the content (for example, Step S19 in FIG. 5).

以下、図面を参照しながら本発明の実施の形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明を適用したデジタルスチルカメラによる撮像画像の送受信について説明する図である。   FIG. 1 is a diagram for explaining transmission / reception of a captured image by a digital still camera to which the present invention is applied.

デジタルスチルカメラ1−1は、ユーザの操作にしたがって、被写体を撮像し、その被写体の撮像画像を蓄積する。デジタルスチルカメラ1−2は、デジタルスチルカメラ1−1と同様に、被写体を撮像し、その被写体の撮像画像を蓄積する。   The digital still camera 1-1 captures a subject in accordance with a user operation and accumulates captured images of the subject. Similar to the digital still camera 1-1, the digital still camera 1-2 captures a subject and accumulates captured images of the subject.

デジタルスチルカメラ1−1および1−2は、ユーザにより指示されたメタデータを、自分の蓄積している撮像画像に付与する。つまり、ユーザは、被写体を撮像した後、撮像画像に関連するキーワードを入力することで、撮像画像にキーワード(メタデータ)が付与されるので、例えば、撮像画像を検索するとき、撮像画像に付加されているメタデータを条件にして所望の撮像画像を探し出せる。言い換えれば、ユーザにより撮像画像に付与されるメタデータは、撮像画像を分類するための情報であるとも言える。   The digital still cameras 1-1 and 1-2 add metadata instructed by the user to the captured images stored therein. That is, since the user inputs a keyword related to the captured image after capturing the subject, the keyword (metadata) is added to the captured image. For example, when searching for a captured image, the user adds it to the captured image. The desired captured image can be found on the condition of the metadata that has been set. In other words, it can be said that the metadata given to the captured image by the user is information for classifying the captured image.

また、デジタルスチルカメラ1−1および1−2には、それぞれ、他の機器と通信を行うための通信部(後述する図2の通信部24)が設けられており、デジタルスチルカメラ1−1とデジタルスチルカメラ1−2とは、例えば、無線により相互に通信することができる。これにより、デジタルスチルカメラ1−1および1−2は、自分が蓄積している撮像画像を相手に送信したり、相手から送信されてくる撮像画像を受信して自分に蓄積することが可能である。   Each of the digital still cameras 1-1 and 1-2 is provided with a communication unit (communication unit 24 in FIG. 2 described later) for communicating with other devices, and the digital still camera 1-1. And the digital still camera 1-2 can communicate with each other wirelessly, for example. As a result, the digital still cameras 1-1 and 1-2 can transmit the captured images stored by themselves to the other party, or can receive and store the captured images transmitted from the other party. is there.

例えば、デジタルスチルカメラ1−1は、デジタルスチルカメラ1−2から送信されてくる撮像画像を受信して記憶する。このとき、デジタルスチルカメラ1−1においては、自分が撮像した撮像画像と、デジタルスチルカメラ1−2により撮像された撮像画像の2つの異なる機器で撮像された撮像画像が蓄積される。また、それらの2つの異なる機器で撮像された撮像画像には、それぞれ、異なるユーザによって入力されたキーワード(メタデータ)が付与されている。   For example, the digital still camera 1-1 receives and stores a captured image transmitted from the digital still camera 1-2. At this time, in the digital still camera 1-1, captured images captured by two different devices, that is, a captured image captured by the digital still camera 1-2 and a captured image captured by the digital still camera 1-2 are accumulated. In addition, keywords (metadata) input by different users are assigned to the captured images captured by these two different devices.

例えば、デジタルスチルカメラ1−1を使用している第1のユーザは、撮像画像に対して、“おいしい”、“楽しい”、“2006年”、または“クリスマス”等のメタデータを付与している。また、例えば、デジタルスチルカメラ1−2を使用している第2のユーザは、撮像画像に対して、“うまい”、“たのしい”、“平成18年”、または“Xmas”等のメタデータを付与している。   For example, the first user using the digital still camera 1-1 adds metadata such as “delicious”, “fun”, “2006”, or “Christmas” to the captured image. Yes. Further, for example, the second user using the digital still camera 1-2 can add metadata such as “delicious”, “fun”, “2006”, or “Xmas” to the captured image. Has been granted.

つまり、撮像画像に付与されたメタデータは、“おいしい”と“うまい”、“楽しい”と“たのしい”、“2006年”と“平成18年”、“クリスマス”と“Xmas”のように、本来ならば同じ内容を意味するものであっても、第1のユーザと第2のユーザとは異なる人物であるため、ユーザそれぞれの個性が出てしまい、同じ事象を表しているメタデータが異なる表現となっている。   In other words, the metadata given to the captured image is “delicious” and “delicious”, “fun” and “fun”, “2006” and “2006”, “Christmas” and “Xmas”, Originally, even if the same contents are meant, since the first user and the second user are different persons, the individuality of each user appears, and the metadata representing the same event is different. It is an expression.

そこで、デジタルスチルカメラ1−1は、デジタルスチルカメラ1−2から受信した撮像画像を蓄積する際に、撮像画像に付与されたメタデータを、最適なメタデータに変換してから蓄積する。例えば、デジタルスチルカメラ1−1は、デジタルスチルカメラ1−2から受信した撮像画像に付与されたメタデータのうちの、“うまい”を“おいしい”、“たのしい”を“楽しい”、“平成18年”を“2006年”、“Xmas”を“クリスマス”に変換する。   Therefore, when storing the captured image received from the digital still camera 1-2, the digital still camera 1-1 converts the metadata assigned to the captured image into optimal metadata and stores it. For example, in the digital still camera 1-1, “delicious” is “delicious”, “fun” is “fun” among the metadata added to the captured image received from the digital still camera 1-2, “2006” Convert “year” to “2006” and “Xmas” to “Christmas”.

これにより、第1のユーザと第2のユーザによって付与された、同じ事象を表しているが、ユーザそれぞれの個性が出るために表現が異なっていたメタデータが、例えば、“おいしい”、“楽しい”、“2006年”、“クリスマス”等の同じ表現のメタデータに集約される。   As a result, metadata that represents the same event given by the first user and the second user, but has different expressions due to the individuality of each user, for example, “delicious”, “fun” ”,“ 2006 ”,“ Christmas ”, etc.

なお、上述した例においては、デジタルスチルカメラ1−1とデジタルスチルカメラ1−2とは、無線により相互に通信することで、撮像画像の送受信を行うとして説明したが、無線による通信の他に、例えば、有線による通信により撮像画像の送受信を行ったり、メモリカード等の記録メディアやパーソナルコンピュータを介して、撮像画像の受け渡しを行ってもよい。   In the above-described example, the digital still camera 1-1 and the digital still camera 1-2 have been described as transmitting and receiving captured images by communicating with each other wirelessly. For example, the captured image may be transmitted and received by wired communication, or the captured image may be transferred via a recording medium such as a memory card or a personal computer.

また、以下、デジタルスチルカメラ1−1および1−2を個々に区別する必要がない場合、単に、デジタルスチルカメラ1と称する。   Hereinafter, when it is not necessary to distinguish the digital still cameras 1-1 and 1-2 from each other, they are simply referred to as a digital still camera 1.

次に、図2は、図1のデジタルスチルカメラ1の内部構成例を示している。デジタルスチルカメラ1は、レンズ部11、CCD(Charge Coupled Device)12、アナログ信号処理部13、A/D(Analog/Digital)変換部14、デジタル信号処理部15、液晶パネル16、記録デバイス17、CPU(Central Processing Unit)18、操作部19、EEPROM(Electrically Erasable Programmable Read Only Memory)20、プログラムROM(Read Only Memory)21、RAM(Random Access Memory)22、記憶部23、通信部24、タイミングジェネレータ(TG)25、モータドライバ26、およびアクチュエータ27を備えるように構成される。   Next, FIG. 2 shows an internal configuration example of the digital still camera 1 of FIG. The digital still camera 1 includes a lens unit 11, a CCD (Charge Coupled Device) 12, an analog signal processing unit 13, an A / D (Analog / Digital) conversion unit 14, a digital signal processing unit 15, a liquid crystal panel 16, a recording device 17, CPU (Central Processing Unit) 18, operation unit 19, EEPROM (Electrically Erasable Programmable Read Only Memory) 20, program ROM (Read Only Memory) 21, RAM (Random Access Memory) 22, storage unit 23, communication unit 24, timing generator (TG) 25, a motor driver 26, and an actuator 27 are provided.

CCD12は、CCDセンサにより構成され、タイミングジェネレータ(TG)25から供給されるタイミング信号にしたがって動作することにより、レンズ部11を介して入射する被写体からの光を受光して光電変換を行い、(光の)受光量に応じた電気信号としてのアナログの画像信号を、アナログ信号処理部13に供給する。なお、CCD12は、CCDセンサに限らず、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサ等、画素を単位として画像の信号を生成する撮像素子であればよい。   The CCD 12 is composed of a CCD sensor and operates according to a timing signal supplied from a timing generator (TG) 25 to receive light from a subject incident through the lens unit 11 and perform photoelectric conversion ( An analog image signal as an electrical signal corresponding to the amount of received light is supplied to the analog signal processing unit 13. The CCD 12 is not limited to a CCD sensor, and may be an image sensor that generates an image signal in units of pixels, such as a CMOS (Complementary Metal Oxide Semiconductor) sensor.

アナログ信号処理部13は、CPU18の制御にしたがい、CCD12からのアナログの画像信号に増幅等するアナログ信号処理を適用し、そのアナログ信号処理の結果得られる画像信号を、A/D変換部14に供給する。   Under the control of the CPU 18, the analog signal processing unit 13 applies analog signal processing such as amplification to the analog image signal from the CCD 12, and outputs the image signal obtained as a result of the analog signal processing to the A / D conversion unit 14. Supply.

A/D変換部14は、CPU18の制御にしたがい、アナログ信号処理部13からのアナログ信号である画像信号をA/D変換し、その結果得られるデジタル信号で示される画像データを、デジタル信号処理部15に供給する。   Under the control of the CPU 18, the A / D conversion unit 14 performs A / D conversion on the image signal that is an analog signal from the analog signal processing unit 13, and performs digital signal processing on the image data indicated by the resulting digital signal. To the unit 15.

デジタル信号処理部15は、CPU18の制御にしたがい、A/D変換部14からの画像データに対し、ノイズ除去処理等のデジタル信号処理を施し、液晶パネル16に供給して表示させる。また、デジタル信号処理部15は、A/D変換部14からの画像データを、例えば、JPEG(Joint Photographic Experts Group)方式等で圧縮し、その結果得られる圧縮画像データを、記録デバイス17に供給して記録させる。さらに、デジタル信号処理部15は、記録デバイス17に記録された圧縮画像データを伸張し、その結果得られる画像データを液晶パネル16に供給して表示させる。   Under the control of the CPU 18, the digital signal processing unit 15 performs digital signal processing such as noise removal processing on the image data from the A / D conversion unit 14 and supplies it to the liquid crystal panel 16 for display. Further, the digital signal processing unit 15 compresses the image data from the A / D conversion unit 14 by, for example, JPEG (Joint Photographic Experts Group) method and supplies the compressed image data obtained as a result to the recording device 17. To record. Further, the digital signal processing unit 15 expands the compressed image data recorded in the recording device 17 and supplies the image data obtained as a result to the liquid crystal panel 16 for display.

記録デバイス17は、例えば、メモリカード等の半導体メモリや、DVD(Digital Versatile Disc)等のその他のリムーバブルな記録メディアであり、デジタルスチルカメラ1に対して、容易に着脱可能になっている。   The recording device 17 is, for example, a semiconductor memory such as a memory card or other removable recording media such as a DVD (Digital Versatile Disc), and is easily detachable from the digital still camera 1.

CPU18は、プログラムROM21に記録されているプログラムを実行することにより、デジタルスチルカメラ1を構成する各部を制御し、また、操作部19からの信号に応じて、各種の処理を行う。   The CPU 18 controls each part of the digital still camera 1 by executing a program recorded in the program ROM 21, and performs various processes in accordance with signals from the operation part 19.

操作部19は、ユーザによって操作され、その操作に対応した信号を、CPU18に供給する。   The operation unit 19 is operated by the user and supplies a signal corresponding to the operation to the CPU 18.

EEPROM20は、CPU18の制御にしたがい、デジタルスチルカメラ1に設定された各種の情報その他の、デジタルスチルカメラ1の電源がオフにされたときも保持しておく必要があるデータ等を記憶する。   The EEPROM 20 stores various information set in the digital still camera 1 and other data that must be retained even when the power of the digital still camera 1 is turned off under the control of the CPU 18.

プログラムROM21は、CPU18が実行するプログラム、さらには、CPU18がプログラムを実行する上で必要なデータを記憶している。RAM22は、CPU18が各種の処理を行う上で必要なプログラムやデータを一時的に記憶する。   The program ROM 21 stores a program executed by the CPU 18 and data necessary for the CPU 18 to execute the program. The RAM 22 temporarily stores programs and data necessary for the CPU 18 to perform various processes.

また、CPU18には、例えば、フラッシュメモリやハードディスク等の記録媒体により構成される記憶部23、および、例えば、無線等による他の機器との通信処理を制御する通信部24が接続されている。   The CPU 18 is connected to a storage unit 23 configured by a recording medium such as a flash memory or a hard disk, and a communication unit 24 that controls a communication process with another device, for example, wirelessly.

記憶部23は、CPU18の制御にしたがい、例えば、撮像画像に付与されるメタデータに関するデータや撮像画像の画像データを記憶する。なお、デジタルスチルカメラ1においては、記憶部23を設けずに、記憶部23に記憶されている各種のデータをEEPROM20に記憶させるようにしてもよい。   Under the control of the CPU 18, the storage unit 23 stores, for example, data related to metadata added to the captured image and image data of the captured image. In the digital still camera 1, various data stored in the storage unit 23 may be stored in the EEPROM 20 without providing the storage unit 23.

タイミングジェネレータ25は、CPU18の制御にしたがい、タイミング信号を、CCD12に供給する。タイミングジェネレータ25からCCD12に供給されるタイミング信号によって、CCD12における露光時間、すなわちシャッタスピード等が制御される。   The timing generator 25 supplies a timing signal to the CCD 12 under the control of the CPU 18. The exposure time in the CCD 12, that is, the shutter speed and the like is controlled by the timing signal supplied from the timing generator 25 to the CCD 12.

モータドライバ26は、CPU18の制御にしたがい、アクチュエータ(モータ)27を駆動する。アクチュエータ27が駆動されることにより、レンズ部11は、デジタルスチルカメラ1の筐体から露出し、あるいは、デジタルスチルカメラ1の筐体内部に収納される。また、アクチュエータ27が駆動されることにより、レンズ部11を構成する絞りの調整や、レンズ部11を構成するフォーカスレンズの移動が行われる。   The motor driver 26 drives an actuator (motor) 27 under the control of the CPU 18. When the actuator 27 is driven, the lens unit 11 is exposed from the casing of the digital still camera 1 or is stored inside the casing of the digital still camera 1. Further, when the actuator 27 is driven, the diaphragm constituting the lens unit 11 is adjusted, and the focus lens constituting the lens unit 11 is moved.

以上のように構成されるデジタルスチルカメラ1においては、CCD12が、レンズ部11を介して入射する被写体からの光を受光して光電変換を行い、その結果得られるアナログの画像信号を出力する。CCD12が出力するアナログの画像信号は、アナログ信号処理部13およびA/D変換部14を介することにより、デジタル信号の画像データとされ、デジタル信号処理部15に供給される。   In the digital still camera 1 configured as described above, the CCD 12 receives light from a subject incident through the lens unit 11, performs photoelectric conversion, and outputs an analog image signal obtained as a result. The analog image signal output from the CCD 12 is converted into digital signal image data via the analog signal processing unit 13 and the A / D conversion unit 14, and is supplied to the digital signal processing unit 15.

デジタル信号処理部15は、A/D変換部14からの画像データを、液晶パネル16に供給し、これにより、液晶パネル16では、いわゆるスルー画が表示される。   The digital signal processing unit 15 supplies the image data from the A / D conversion unit 14 to the liquid crystal panel 16, so that a so-called through image is displayed on the liquid crystal panel 16.

その後、ユーザが、操作部19としての、撮像されている画像を記録するときに操作されるシャッタボタンを操作すると、その操作に応じた信号が、操作部19からCPU18に供給される。CPU18は、操作部19から、シャッタボタンの操作に応じた信号が供給されると、デジタル信号処理部15を制御し、そのときA/D変換部14からデジタル信号処理部15に供給された画像データを圧縮させ、その結果得られる圧縮画像データを、記録デバイス17に記録させる。   Thereafter, when the user operates the shutter button operated as the operation unit 19 when recording a captured image, a signal corresponding to the operation is supplied from the operation unit 19 to the CPU 18. When a signal corresponding to the operation of the shutter button is supplied from the operation unit 19, the CPU 18 controls the digital signal processing unit 15, and the image supplied from the A / D conversion unit 14 to the digital signal processing unit 15 at that time. The data is compressed, and the compressed image data obtained as a result is recorded on the recording device 17.

以上のようにして、いわゆる写真撮影が行われる。   As described above, so-called photography is performed.

なお、CPU18に実行させるプログラムは、あらかじめプログラムROM21にインストールすなわち記憶させておく他、記録デバイス17に記録しておき、パッケージメディアとしてユーザに提供して、その記録デバイス17から、デジタル信号処理部15およびCPU18を介して、EEPROM20に記憶させ、デジタルスチルカメラ1にインストールすることができる。また、CPU18に実行させるプログラムは、ダウンロードサイトから、図2のデジタルスチルカメラ1に直接ダウンロードし、あるいは、図示せぬコンピュータでダウンロードして、図2のデジタルスチルカメラ1に供給し、EEPROM20に記憶させ、デジタルスチルカメラ1にインストールすることも可能である。   The program to be executed by the CPU 18 is installed in advance, that is, stored in the program ROM 21, recorded in the recording device 17, provided to the user as a package medium, and the digital signal processing unit 15 is provided from the recording device 17. It can be stored in the EEPROM 20 via the CPU 18 and installed in the digital still camera 1. The program to be executed by the CPU 18 is downloaded directly from the download site to the digital still camera 1 shown in FIG. 2 or downloaded by a computer (not shown), supplied to the digital still camera 1 shown in FIG. The digital still camera 1 can be installed.

また、デジタルスチルカメラ1のハードウェアの構成は、図2の例に限定されず、後述する図3の機能的構成を少なくとも有していればよい。   Further, the hardware configuration of the digital still camera 1 is not limited to the example of FIG. 2, and may have at least the functional configuration of FIG. 3 to be described later.

図3は、図2のデジタルスチルカメラ1の機能的構成の例を示すブロック図である。   FIG. 3 is a block diagram illustrating an example of a functional configuration of the digital still camera 1 of FIG.

デジタルスチルカメラ1は、入力部51、メタデータ抽出部52、メタデータ比較部53、メタデータリスト更新部54、メタデータ変換部55、メタデータ付与部56、記録デバイス17、および記憶部23を含むようにして構成される。   The digital still camera 1 includes an input unit 51, a metadata extraction unit 52, a metadata comparison unit 53, a metadata list update unit 54, a metadata conversion unit 55, a metadata addition unit 56, a recording device 17, and a storage unit 23. Constructed to include.

なお、図3では、図2と同様の箇所には、同一の符号が付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。   In FIG. 3, the same parts as those in FIG. 2 are denoted by the same reference numerals, and the description of the same parts will be omitted because they are repeated.

また、本実施の形態では、デジタルスチルカメラ1は、上述した図2のハードウェア構成を有しているので、メタデータ抽出部52、メタデータ比較部53、メタデータリスト更新部54、メタデータ変換部55、およびメタデータ付与部56は、例えば、図2のプログラムROM21に記録されたソフトウェア(コンピュータプログラム)を実行する図2のCPU18により実現される。また、例えば、入力部51は、図2の通信部24に相当する。   In the present embodiment, since the digital still camera 1 has the hardware configuration shown in FIG. 2, the metadata extraction unit 52, the metadata comparison unit 53, the metadata list update unit 54, the metadata The conversion unit 55 and the metadata adding unit 56 are realized by, for example, the CPU 18 in FIG. 2 that executes software (computer program) recorded in the program ROM 21 in FIG. For example, the input unit 51 corresponds to the communication unit 24 in FIG.

ただし、メタデータ抽出部52、メタデータ比較部53、メタデータリスト更新部54、メタデータ変換部55、およびメタデータ付与部56は、ハードウェアとして構成することができるし、ソフトウェアとハードウェアの組み合わせとして構成することもできる。   However, the metadata extraction unit 52, the metadata comparison unit 53, the metadata list update unit 54, the metadata conversion unit 55, and the metadata addition unit 56 can be configured as hardware, and the software and hardware It can also be configured as a combination.

また、図3において、実線で囲まれた四角は、装置の構成要素としてのブロックを示し、点線で囲まれた四角は、所定の情報を示している。このような実線と点線の使い分け方は、後述する他の図においても同様とされる。   Further, in FIG. 3, a square surrounded by a solid line indicates a block as a component of the apparatus, and a square surrounded by a dotted line indicates predetermined information. Such a method of properly using the solid line and the dotted line is the same in other figures described later.

入力部51は、例えば、デジタルスチルカメラ1−2等の他の機器から入力される入力画像に対応する画像データを、メタデータ抽出部52に供給する。   The input unit 51 supplies image data corresponding to an input image input from another device such as the digital still camera 1-2 to the metadata extraction unit 52, for example.

なお、本実施の形態では、他の機器から入力されるコンテンツとして、デジタルスチルカメラ1により撮像された撮像画像を一例にして説明するが、撮像画像等の静止画像の他にも、例えば、動画像や音声等、メタデータが付与されているコンテンツであればよい。また、本実施の形態では、それらの他の機器から入力される画像データによる画像を、入力画像とも称して説明する。   In the present embodiment, a captured image captured by the digital still camera 1 is described as an example of content input from another device. However, in addition to a still image such as a captured image, for example, a moving image Any content to which metadata such as an image or sound is added may be used. In this embodiment, an image based on image data input from these other devices is also referred to as an input image.

メタデータ抽出部52は、入力部51から供給される画像データをデコードし、デコードにより得られる画像データから、入力画像に関するメタデータを抽出する。メタデータ抽出部52は、抽出したメタデータ(以下、抽出メタデータと称する)をメタデータ比較部53に供給する。   The metadata extraction unit 52 decodes the image data supplied from the input unit 51, and extracts metadata related to the input image from the image data obtained by the decoding. The metadata extraction unit 52 supplies the extracted metadata (hereinafter referred to as extracted metadata) to the metadata comparison unit 53.

ここで、メタデータ抽出部52により抽出される抽出メタデータは、例えば、ユーザよって入力画像に付与されるメタデータである。例えば、入力画像が「旅行で食事をしているときの写真」である場合、その入力画像には、ユーザによって、“旅行”や“うまい”、“家族と”等のメタデータが付与される。   Here, the extracted metadata extracted by the metadata extraction unit 52 is, for example, metadata provided to the input image by the user. For example, when the input image is a “photo when eating during a trip”, metadata such as “travel”, “delicious”, “with family”, etc. is given to the input image by the user. .

また、メタデータは、ユーザにより付与されるメタデータの他、例えば、所定の画像処理を施すことにより抽出されたメタデータ、あらかじめ付与されているメタデータ、または日付、解像度、焦点、ホワイトバランス、若しくはGPS(Global Positioning System)による位置情報等のデジタルスチルカメラ1の機能により付加される撮像情報等であってもよい。要は、入力画像に関係する情報であればよいので、その抽出手段や方法は、任意である。   In addition to the metadata given by the user, the metadata is, for example, metadata extracted by performing predetermined image processing, metadata given in advance, date, resolution, focus, white balance, Alternatively, it may be imaging information added by the function of the digital still camera 1 such as position information by GPS (Global Positioning System). In short, any information relating to the input image may be used, and the extraction means and method thereof are arbitrary.

さらにまた、メタデータ抽出部52は、デコードにより得られる画像データから、抽出メタデータの他に、入力画像そのものの内容が記述されている内容データを取得し、その内容データをメタデータ付与部56に供給する。   Furthermore, the metadata extraction unit 52 acquires content data in which the content of the input image itself is described in addition to the extracted metadata from the image data obtained by decoding. To supply.

すなわち、メタデータ抽出部52によって、入力画像に対応する画像データが、抽出メタデータと内容データに分離され、それらの分離されたデータのうち、抽出メタデータは、メタデータ比較部53に供給され、内容データは、メタデータ付与部56に供給される。   That is, the metadata extraction unit 52 separates the image data corresponding to the input image into the extracted metadata and the content data, and among the separated data, the extracted metadata is supplied to the metadata comparison unit 53. The content data is supplied to the metadata adding unit 56.

記憶部23は、メタデータリスト23aを記憶する。記憶部23は、メタデータ比較部53からの要求に応じて、メタデータリスト23aをメタデータ比較部53に供給する。   The storage unit 23 stores a metadata list 23a. The storage unit 23 supplies the metadata list 23 a to the metadata comparison unit 53 in response to a request from the metadata comparison unit 53.

ここで、詳細は後述するが、メタデータリスト23aは、入力画像の画像データに付与するメタデータである代表メタデータと、その代表メタデータに類似するメタデータである類似メタデータとを関連付けて格納しているリストである。   Here, although details will be described later, the metadata list 23a associates representative metadata, which is metadata to be added to image data of an input image, and similar metadata, which is metadata similar to the representative metadata. A stored list.

つまり、メタデータリスト23aにおいては、代表メタデータと類似メタデータとが関連付けて格納されているので、後述するメタデータ変換部55は、類似メタデータと一致する抽出メタデータを、代表メタデータに変換することが可能となる。言い換えれば、代表メタデータは、類似メタデータと一致する抽出メタデータを変換する際に、変換候補となるメタデータであるとも言える。   That is, in the metadata list 23a, the representative metadata and the similar metadata are stored in association with each other, so that the metadata conversion unit 55 described later converts the extracted metadata that matches the similar metadata to the representative metadata. It becomes possible to convert. In other words, it can be said that the representative metadata is metadata that becomes a conversion candidate when converting extracted metadata that matches similar metadata.

なお、メタデータリスト23aにおいて、代表メタデータおよび類似メタデータは、例えば、後述するメタデータリスト更新部54によって登録されるか、またはユーザの操作によっても登録されるようにすることができる。つまり、各ユーザは、メタデータリスト23aによって、メタデータが自分の使い方にフィットするような変換ルールを定めている。例えば、メタデータリスト23aにおいては、ユーザによる編集によって、“クリスマス”である代表メタデータに対して、“Xmas”、“Christmas”、または“サンタクロース”等の類似メタデータが追加される。なお、類似メタデータが追加されたとき、既に蓄積されている画像データに付与されているメタデータを変換するようにしてもよい。   In the metadata list 23a, representative metadata and similar metadata can be registered by, for example, a metadata list update unit 54 described later, or can be registered by a user operation. That is, each user defines a conversion rule such that the metadata fits his / her usage by the metadata list 23a. For example, in the metadata list 23a, similar metadata such as “Xmas”, “Christmas”, or “Santa Claus” is added to the representative metadata that is “Christmas” by editing by the user. When similar metadata is added, metadata attached to already accumulated image data may be converted.

メタデータ比較部53は、メタデータ抽出部52から供給される抽出メタデータと、記憶部23に記憶されているメタデータリスト23aに格納されている代表メタデータおよび類似メタデータとを比較する。メタデータ比較部53は、メタデータの比較結果に基づいて、メタデータ抽出部52から供給される抽出メタデータを、メタデータリスト更新部54、メタデータ変換部55、またはメタデータ付与部56のいずれかに供給する。なお、メタデータ比較部53は、抽出メタデータをメタデータ変換部55に供給する場合、その抽出メタデータとともに、記憶部23からのメタデータリスト23aをメタデータ変換部55に供給する。   The metadata comparison unit 53 compares the extracted metadata supplied from the metadata extraction unit 52 with the representative metadata and similar metadata stored in the metadata list 23 a stored in the storage unit 23. Based on the comparison result of metadata, the metadata comparison unit 53 converts the extracted metadata supplied from the metadata extraction unit 52 to the metadata list update unit 54, the metadata conversion unit 55, or the metadata provision unit 56. Supply to either. When supplying the extracted metadata to the metadata conversion unit 55, the metadata comparison unit 53 supplies the metadata list 23 a from the storage unit 23 to the metadata conversion unit 55 together with the extracted metadata.

メタデータリスト更新部54は、メタデータ比較部53から供給される抽出メタデータを、記憶部23に記憶されているメタデータリスト23aに登録して更新する処理を行う。メタデータリスト更新部54は、その登録した抽出メタデータをメタデータ付与部56に供給する。   The metadata list update unit 54 performs processing for registering and updating the extracted metadata supplied from the metadata comparison unit 53 in the metadata list 23 a stored in the storage unit 23. The metadata list update unit 54 supplies the registered extracted metadata to the metadata adding unit 56.

メタデータ変換部55は、メタデータ比較部53から供給される抽出メタデータおよびメタデータリスト23aに基づいて、抽出メタデータを、その抽出メタデータと一致する類似メタデータに関連付けられた代表メタデータに変換する。メタデータ変換部55は、変換により得られた代表メタデータをメタデータ付与部56に供給する。   Based on the extracted metadata and metadata list 23a supplied from the metadata comparing unit 53, the metadata converting unit 55 converts the extracted metadata into representative metadata associated with similar metadata that matches the extracted metadata. Convert to The metadata conversion unit 55 supplies the representative metadata obtained by the conversion to the metadata providing unit 56.

なお、メタデータ変換部55がメタデータを変換する際に用いられるメタデータリスト23aは、メタデータ比較部53から供給せずに、メタデータ変換部55が、直接、記憶部23から読み出すようにしてもよい。   The metadata list 23 a used when the metadata conversion unit 55 converts the metadata is not supplied from the metadata comparison unit 53, but the metadata conversion unit 55 reads it directly from the storage unit 23. May be.

メタデータ付与部56には、メタデータ比較部53、メタデータリスト更新部54、またはメタデータ変換部55のいずれかから、抽出メタデータまたは代表メタデータが供給される。   Extracted metadata or representative metadata is supplied from the metadata comparison unit 53, the metadata list update unit 54, or the metadata conversion unit 55 to the metadata adding unit 56.

メタデータ付与部56は、それらのブロックのいずれかから供給されてくる、抽出メタデータまたは代表メタデータを、メタデータ抽出部52から供給される内容データに付加する。メタデータ付与部56は、抽出メタデータまたは代表メタデータが付加された内容データをエンコードし、エンコードにより得られた画像データを記録デバイス17に供給する。   The metadata adding unit 56 adds the extracted metadata or the representative metadata supplied from any of those blocks to the content data supplied from the metadata extracting unit 52. The metadata adding unit 56 encodes the content data to which the extracted metadata or the representative metadata is added, and supplies the image data obtained by the encoding to the recording device 17.

つまり、メタデータ付与部56は、メタデータ比較部53による比較結果に応じて、メタデータ抽出部52から供給される内容データに対して、各種のメタデータを付与し、そのメタデータが付与された内容データをエンコードする。これにより、メタデータ抽出部52によりデコードされた画像データは、最適なメタデータが付与された後、再度、エンコードされることになる。   That is, the metadata adding unit 56 gives various metadata to the content data supplied from the metadata extracting unit 52 according to the comparison result by the metadata comparing unit 53, and the metadata is given. Encode the contents data. As a result, the image data decoded by the metadata extraction unit 52 is encoded again after the optimum metadata is given.

なお、メタデータ付与部56が内容データに対して、各種のメタデータを付与することは、言い換えれば、メタデータ付与部56は、各種のメタデータを画像データに付与しているとも言える。   In addition, it can be said that the metadata giving unit 56 gives various kinds of metadata to the content data, in other words, the metadata giving unit 56 gives various kinds of metadata to the image data.

記録デバイス17は、メタデータ付与部56から供給される画像データを記録する。なお、メタデータ付与部56により、最適なメタデータが付与されている画像データを画像データ17aとも称する。   The recording device 17 records the image data supplied from the metadata adding unit 56. Note that image data to which optimum metadata is given by the metadata giving unit 56 is also referred to as image data 17a.

なお、図3では、便宜的に、記録デバイス17と記憶部23とを別々に表現しているが、もちろん、それらの記録媒体を同一のものとすることも可能である。   In FIG. 3, for convenience, the recording device 17 and the storage unit 23 are separately represented, but it is needless to say that those recording media may be the same.

次に、図4を参照して、図3の記録デバイス17と記憶部23に記憶されている各種のデータの詳細について説明する。   Next, details of various data stored in the recording device 17 and the storage unit 23 in FIG. 3 will be described with reference to FIG.

なお、図4では、説明を簡略にするために、図3のデジタルスチルカメラ1を構成するブロックのうち、デジタルスチルカメラ1の内部に設けられている記憶部23と、デジタルスチルカメラ1に対して着脱可能な記録デバイス17だけを記述している。   In FIG. 4, for the sake of simplification, among the blocks constituting the digital still camera 1 of FIG. 3, the storage unit 23 provided inside the digital still camera 1 and the digital still camera 1 are shown. Only the removable recording device 17 is described.

図4に示されるように、記憶部23には、代表メタデータと類似メタデータとを関連付けて格納しているメタデータリスト23aが記憶される。   As illustrated in FIG. 4, the storage unit 23 stores a metadata list 23 a that stores representative metadata and similar metadata in association with each other.

また、記録デバイス17には、メタデータリスト23aに基づいてメタデータ(抽出メタデータまたは代表メタデータ)が付与された画像データ17a1乃至17anが記憶されている。 Further, in the recording device 17, image data 17a 1 to 17a n metadata (extracted metadata or representative metadata) is granted on the basis of the metadata list 23a is stored.

画像データ17a1は、図4に示されるように、例えば、撮像画像等の入力画像に関するメタデータ(抽出メタデータまたは代表メタデータ)と、その入力画像そのものの内容が記述された内容データとから構成される。具体的には、メタデータは、例えば、画像データ17a1のヘッダ情報であり、メタデータ付与部56によって画像データ17a1に付加される。 As shown in FIG. 4, the image data 17a 1 includes, for example, metadata (extraction metadata or representative metadata) relating to an input image such as a captured image and content data describing the content of the input image itself. Composed. Specifically, metadata is, for example, the header information of the image data 17a 1, is added to the image data 17a 1 by the meta data providing unit 56.

また、画像データ17a2乃至17anは、画像データ17a1と同様に、メタデータ(抽出メタデータまたは代表メタデータ)と内容データとから構成される。 The image data 17a 2 to 17a n, similarly to the image data 17a 1, composed of a metadata (extracted metadata or representative metadata) and contents data.

すなわち、記録デバイス17は、メタデータと内容データからなる複数の画像データ17a1乃至17anを記憶している。 That is, the recording device 17 stores a plurality of image data 17a 1 to 17a n consisting of the metadata and content data.

なお、記録デバイス17は、着脱可能な記録メディアであるので、他の機器に装着されることで、画像データ17a1乃至17anを他の機器に提供することも可能である。また、画像データ17a1乃至17anを個々に区別する必要がない場合、単に、画像データ17aと称する。 The recording device 17, since it is removable recording medium, that is attached to another device, it is also possible to provide an image data 17a 1 to 17a n to another device. Also, if it is not necessary to distinguish the image data 17a 1 to 17a n are simply referred to as image data 17a.

次に、具体的な処理について説明する。   Next, specific processing will be described.

まず、図5のフローチャートを参照して、図1のデジタルスチルカメラ1−1による、画像データ格納処理について説明する。   First, image data storage processing by the digital still camera 1-1 in FIG. 1 will be described with reference to the flowchart in FIG.

CPU18は、操作部19から供給される操作信号に基づいて、例えば、ユーザにより、デジタルスチルカメラ1−2に蓄積されている画像を、無線によりデジタルスチルカメラ1−1に受信させる操作がされたとき、図5のフローチャートに示される処理を各部に実行させる。   Based on the operation signal supplied from the operation unit 19, for example, the CPU 18 performs an operation for causing the digital still camera 1-1 to wirelessly receive images stored in the digital still camera 1-2. At this time, the processing shown in the flowchart of FIG.

ステップS11において、入力部51は、デジタルスチルカメラ1−2から受信した入力画像に対応する画像データを、メタデータ抽出部52に供給する。   In step S <b> 11, the input unit 51 supplies image data corresponding to the input image received from the digital still camera 1-2 to the metadata extraction unit 52.

ステップS12において、メタデータ抽出部52は、入力部51から供給される画像データをデコードする。これにより、画像データは、入力画像そのものの内容が記述された内容データと、その入力画像に関するメタデータとに分離される。   In step S <b> 12, the metadata extraction unit 52 decodes the image data supplied from the input unit 51. As a result, the image data is separated into content data describing the content of the input image itself and metadata relating to the input image.

ステップS13において、メタデータ抽出部52は、画像データをデコードした結果から、入力画像に関するメタデータ(抽出メタデータ)を抽出する。メタデータ抽出部52は、抽出した抽出メタデータをメタデータ比較部53に供給し、画像データをデコードした結果から得られる入力画像の内容データをメタデータ付与部56に供給する。   In step S13, the metadata extraction unit 52 extracts metadata (extraction metadata) related to the input image from the result of decoding the image data. The metadata extraction unit 52 supplies the extracted extracted metadata to the metadata comparison unit 53 and supplies the content data of the input image obtained as a result of decoding the image data to the metadata adding unit 56.

ステップS14において、メタデータ比較部53は、メタデータ抽出部52から供給される抽出メタデータと、記憶部23に記憶されているメタデータリスト23aに格納された代表メタデータおよび類似メタデータとを比較する。   In step S <b> 14, the metadata comparison unit 53 obtains the extracted metadata supplied from the metadata extraction unit 52 and the representative metadata and similar metadata stored in the metadata list 23 a stored in the storage unit 23. Compare.

ステップS15において、メタデータ比較部53は、メタデータ抽出部52から供給される抽出メタデータが、メタデータリスト23aに存在するか否かを判定する。   In step S15, the metadata comparison unit 53 determines whether or not the extracted metadata supplied from the metadata extraction unit 52 exists in the metadata list 23a.

図6は、記憶部23に記憶されているメタデータリスト23aの具体的な例を示す図である。   FIG. 6 is a diagram illustrating a specific example of the metadata list 23 a stored in the storage unit 23.

図6に示すように、メタデータリスト23aは、代表メタデータ列、類似メタデータ1列、類似メタデータ2列、類似メタデータ3列、・・・、類似メタデータn列(nは自然数)を格納している。   As shown in FIG. 6, the metadata list 23a includes a representative metadata column, a similar metadata 1 column, a similar metadata 2 column, a similar metadata 3 column,..., A similar metadata n column (n is a natural number). Is stored.

代表メタデータ列は、上述したように、入力画像の画像データ(を構成する内容データ)に付与する代表メタデータ群である。図6に示すように、代表メタデータ列は、例えば、“クリスマス”、“旅行”、“おいしい”、“子供の写真”、“集合写真”、“楽しい”、“2006年”、“釣り”、・・・等の代表メタデータから構成される。   As described above, the representative metadata column is a representative metadata group to be added to the image data of the input image (content data constituting the input image). As shown in FIG. 6, the representative metadata columns are, for example, “Christmas”, “Travel”, “Delicious”, “Children's photo”, “Group photo”, “Fun”, “2006”, “Fishing” It is composed of representative metadata such as.

類似メタデータ1列は、代表メタデータと関連付けられた類似メタデータ群である。図6に示すように、類似メタデータ1列は、例えば、“クリスマス”である代表メタデータに関連付けられた“Xmas”、“おいしい”である代表メタデータに関連付けられた“うまい”、“楽しい”である代表メタデータに関連付けられた“たのしい”、“2006年”である代表メタデータに関連付けられた“平成18年”、・・・等の類似メタデータから構成される。   The similar metadata 1 column is a group of similar metadata associated with the representative metadata. As illustrated in FIG. 6, the similar metadata 1 column includes, for example, “Xmas” associated with the representative metadata “Christmas”, “delicious” associated with the representative metadata “delicious”, “fun” “Fun” associated with the representative metadata “2006”, “2006” associated with the representative metadata “2006”, and so on.

類似メタデータ2列は、代表メタデータおよび類似メタデータ1列と関連付けられた類似メタデータ群である。図6に示すように、類似メタデータ2列は、例えば、“おいしい”である代表メタデータおよび“うまい”である類似メタデータ1列に関連付けられた“美味”、・・・等の類似メタデータから構成される。   The similar metadata 2 column is a similar metadata group associated with the representative metadata and the similar metadata 1 column. As illustrated in FIG. 6, the similar metadata 2 columns include, for example, similar metadata such as “delicious”,... Associated with the representative metadata “delicious” and the similar metadata 1 column “delicious”. Consists of data.

類似メタデータ3列乃至n列(nは自然数)は、類似メタデータ1列および2列と同様に、代表メタデータおよび類似メタデータ1列乃至n−1列に関連付けられた類似メタデータ群である。   Similar metadata 3 to n columns (n is a natural number) are similar metadata groups associated with representative metadata and similar metadata 1 to n-1 columns, similarly to similar metadata 1 and 2 columns. is there.

すなわち、図6に示すように、メタデータリスト23aにおいては、代表メタデータ列に属する代表メタデータと、類似メタデータ1列乃至n列に属する類似メタデータとが関連付けられて格納されている。   That is, as shown in FIG. 6, in the metadata list 23a, representative metadata belonging to the representative metadata column and similar metadata belonging to the similar metadata 1 to n columns are stored in association with each other.

言い換えれば、メタデータリスト23aにおいて、代表メタデータ列に属する代表メタデータは、メタデータ抽出部52により抽出メタデータが抽出された画像データ(を構成する内容データ)に付与されるメタデータであり、類似メタデータ1列乃至n列に属する類似メタデータは、抽出メタデータが抽出された画像データ(を構成する内容データ)には直接付与されずに、対応する代表メタデータに変換されてから画像データ(を構成する内容データ)に付与されるメタデータであるとも言える。   In other words, in the metadata list 23a, the representative metadata that belongs to the representative metadata column is metadata that is added to the image data (content data constituting the extracted data) from which the extracted metadata is extracted by the metadata extraction unit 52. The similar metadata belonging to columns 1 to n of the similar metadata is not directly attached to the image data from which the extracted metadata is extracted (content data constituting the extracted metadata), but is converted into corresponding representative metadata. It can also be said that it is metadata attached to image data (content data constituting the image data).

つまり、メタデータ比較部53は、例えば、図6のメタデータリスト23aに格納されている、代表メタデータ列に属する代表メタデータおよび類似メタデータ1列乃至n列に属する類似メタデータのなかに、メタデータ抽出部52により抽出された抽出メタデータと一致する代表メタデータまたは類似メタデータが存在するか否かを判定する。   That is, the metadata comparison unit 53 includes, for example, the representative metadata belonging to the representative metadata column and the similar metadata belonging to the similar metadata 1 to n columns stored in the metadata list 23a of FIG. Then, it is determined whether or not there is representative metadata or similar metadata that matches the extracted metadata extracted by the metadata extraction unit 52.

図5のフローチャートに戻り、ステップS15において、抽出メタデータがメタデータリスト23aに存在しないと判定された場合、その抽出メタデータと、代表メタデータおよび類似メタデータとが一致しないので、ステップS16において、メタデータリスト更新部54は、メタデータ比較部53から供給される抽出メタデータを、メタデータリスト23aの代表メタデータ列に追加する。これにより、入力画像の画像データから抽出された抽出メタデータが、図6のメタデータリスト23aに格納された代表メタデータ列に、代表メタデータとして追加される。   Returning to the flowchart of FIG. 5, if it is determined in step S15 that the extracted metadata does not exist in the metadata list 23a, the extracted metadata and the representative metadata and similar metadata do not match. The metadata list update unit 54 adds the extracted metadata supplied from the metadata comparison unit 53 to the representative metadata column of the metadata list 23a. Thus, the extracted metadata extracted from the image data of the input image is added as representative metadata to the representative metadata column stored in the metadata list 23a of FIG.

具体的には、メタデータ抽出部52により抽出された抽出メタデータが、例えば、“サッカー”であった場合、メタデータリスト更新部54は、その抽出された“サッカー”である抽出メタデータが、図6のメタデータリスト23aに格納された代表メタデータ(代表メタデータ列)および類似メタデータ(類似メタデータ1列乃至n列)のなかに存在しないので、その“サッカー”である抽出メタデータを、代表メタデータとして、メタデータリスト23aに格納された代表メタデータ列に追加する。   Specifically, if the extracted metadata extracted by the metadata extraction unit 52 is “soccer”, for example, the metadata list update unit 54 determines that the extracted metadata that is the extracted “soccer” is , Since it does not exist in the representative metadata (representative metadata column) and similar metadata (similar metadata 1 to n columns) stored in the metadata list 23a of FIG. The data is added as representative metadata to the representative metadata column stored in the metadata list 23a.

一方、ステップS15において、抽出メタデータがメタデータリスト23aに存在すると判定された場合、ステップS17において、メタデータ比較部53は、メタデータ抽出部52から供給される抽出メタデータと、メタデータリスト23aに格納されている類似メタデータ1列乃至n列に属する類似メタデータとが一致するか否かを判定する。   On the other hand, if it is determined in step S15 that the extracted metadata exists in the metadata list 23a, the metadata comparison unit 53, in step S17, extracts the extracted metadata supplied from the metadata extraction unit 52 and the metadata list. It is determined whether or not the similar metadata stored in the 23a matches the similar metadata belonging to the first column to the nth column.

ステップS17において、抽出メタデータと類似メタデータとが一致すると判定された場合、ステップS18において、メタデータ変換部55は、メタデータリスト23aに基づいて、メタデータ比較部53から供給される抽出メタデータを、その抽出メタデータと一致する類似メタデータに関連付けられている代表メタデータに変換し、変換により得られた代表メタデータをメタデータ付与部56に供給する。   If it is determined in step S17 that the extracted metadata and the similar metadata match, in step S18, the metadata converting unit 55 extracts the extracted metadata supplied from the metadata comparing unit 53 based on the metadata list 23a. The data is converted into representative metadata associated with similar metadata that matches the extracted metadata, and the representative metadata obtained by the conversion is supplied to the metadata adding unit 56.

具体的には、メタデータ抽出部52により抽出された抽出メタデータが、例えば、“うまい”であった場合、メタデータ変換部55は、“うまい”である抽出メタデータと、メタデータリスト23aに格納された類似メタデータ1列に属する“うまい”である類似メタデータとが一致するので、その“うまい”である抽出メタデータを、メタデータ1列に属している“うまい”である類似メタデータに関連付けられている“おいしい”である代表メタデータに変換する。   Specifically, when the extracted metadata extracted by the metadata extraction unit 52 is “delicious”, for example, the metadata conversion unit 55 includes the extracted metadata “delicious” and the metadata list 23a. Since the similar metadata that is “delicious” belonging to one column of similar metadata stored in the column matches, the extracted metadata that is “delicious” is similar to “delicious” that belongs to one column of metadata. Convert to “delicious” representative metadata associated with the metadata.

つまり、メタデータ変換部55は、メタデータ抽出部52により抽出された抽出メタデータと、メタデータリスト23aに格納された類似メタデータ1列乃至n列に属する類似メタデータとが一致する場合、その抽出メタデータを、類似メタデータに関連付けられている代表メタデータに変換する。   That is, when the extracted metadata extracted by the metadata extraction unit 52 matches the similar metadata belonging to the similar metadata 1 column to the n column stored in the metadata list 23a, the metadata conversion unit 55 The extracted metadata is converted into representative metadata associated with similar metadata.

一方、ステップS17において、抽出メタデータと類似メタデータとが一致しないと判定された場合、その抽出メタデータは代表メタデータと一致しており、代表メタデータに変換する必要がないので、ステップS18の処理をスキップし、処理は、ステップS19の処理に進む。   On the other hand, if it is determined in step S17 that the extracted metadata and the similar metadata do not match, the extracted metadata matches the representative metadata and does not need to be converted into the representative metadata. The process is skipped, and the process proceeds to the process of step S19.

具体的には、メタデータ抽出部52により抽出された抽出メタデータが、例えば、“おいしい”であった場合、メタデータ比較部53は、その“おいしい”である抽出メタデータと、メタデータリスト23aに格納された代表メタデータ列に属する“おいしい”である代表メタデータとが一致するので、その代表メタデータと一致している“おいしい”である抽出メタデータを変換せずにそのまま、メタデータ付与部56に供給する。   Specifically, when the extracted metadata extracted by the metadata extraction unit 52 is “delicious”, for example, the metadata comparison unit 53 includes the extracted metadata that is “delicious” and the metadata list. Since the representative metadata that is “delicious” belonging to the representative metadata column stored in 23a matches, the extracted metadata that is “delicious” that matches the representative metadata does not have to be converted without being converted. The data is supplied to the data adding unit 56.

ステップS19において、メタデータ付与部56は、メタデータ比較部53、メタデータリスト更新部54、またはメタデータ変換部55のいずれかから供給されるメタデータ(抽出メタデータまたは代表メタデータ)を、メタデータ抽出部52から供給される内容データに付与するメタデータ付与の処理を行う。   In step S <b> 19, the metadata adding unit 56 converts the metadata (extracted metadata or representative metadata) supplied from any of the metadata comparison unit 53, the metadata list update unit 54, or the metadata conversion unit 55. Processing for giving metadata to content data supplied from the metadata extraction unit 52 is performed.

ここで、図7のフローチャートを参照して、ステップS19の処理に対応する、メタデータ付与の処理の詳細について説明する。   Here, with reference to the flowchart of FIG. 7, the details of the metadata providing process corresponding to the process of step S19 will be described.

ステップS31において、メタデータ付与部56は、メタデータ比較部53、メタデータリスト更新部54、またはメタデータ変換部55のいずれかから、メタデータ(抽出メタデータまたは代表メタデータ)が供給されたか否かを判定する。   In step S31, the metadata giving unit 56 has received metadata (extracted metadata or representative metadata) from any of the metadata comparison unit 53, the metadata list update unit 54, or the metadata conversion unit 55. Determine whether or not.

すなわち、メタデータ抽出部52により入力画像の画像データから抽出メタデータが抽出された場合、メタデータ付与部56には、メタデータ比較部53、メタデータリスト更新部54、またはメタデータ変換部55のいずれかから、抽出メタデータまたは代表メタデータが供給されるので、ステップS31の処理によって、抽出メタデータまたは代表メタデータが抽出されたか否かを判定する。   That is, when the extracted metadata is extracted from the image data of the input image by the metadata extracting unit 52, the metadata adding unit 56 includes the metadata comparing unit 53, the metadata list updating unit 54, or the metadata converting unit 55. Therefore, it is determined whether the extracted metadata or the representative metadata is extracted by the process of step S31.

ステップS31において、メタデータが供給されたと判定された場合、ステップS32において、メタデータ付与部56は、その供給されたメタデータが、メタデータリスト更新部54から供給された抽出メタデータであるか否かを判定する。   If it is determined in step S31 that metadata has been supplied, in step S32, the metadata providing unit 56 determines whether the supplied metadata is extracted metadata supplied from the metadata list update unit 54. Determine whether or not.

ステップS32において、メタデータリスト更新部54から供給された抽出メタデータであると判定された場合、ステップS33において、メタデータ付与部56は、メタデータリスト更新部54から供給される抽出メタデータを、メタデータ抽出部52から供給される内容データに付加し、メタデータ付与の処理は終了する。   When it is determined in step S32 that the extracted metadata is supplied from the metadata list update unit 54, in step S33, the metadata providing unit 56 determines the extracted metadata supplied from the metadata list update unit 54. And adding to the content data supplied from the metadata extraction unit 52, the process of giving the metadata ends.

具体的には、例えば、入力画像の画像データから“サッカー”である抽出メタデータが抽出された場合、メタデータリスト23aには、“サッカー”であるメタデータは存在しないので、メタデータリスト更新部54は、“サッカー”である抽出メタデータをメタデータリスト23aに追加するとともに、その“サッカー”である抽出メタデータをメタデータ付与部56に供給する。そして、メタデータ付与部56は、メタデータリスト更新部54から供給される“サッカー”であるメタデータを内容データに付加する。   Specifically, for example, when the extracted metadata “soccer” is extracted from the image data of the input image, the metadata list 23a does not include the metadata “soccer”. The unit 54 adds the extracted metadata of “soccer” to the metadata list 23 a and supplies the extracted metadata of “soccer” to the metadata adding unit 56. Then, the metadata giving unit 56 adds the metadata “soccer” supplied from the metadata list updating unit 54 to the content data.

つまり、メタデータ付与部56においては、抽出メタデータがメタデータリスト23aに存在しない場合、再度、抽出メタデータと同一のメタデータが画像データ17aに付加される。   That is, in the metadata giving unit 56, when the extracted metadata does not exist in the metadata list 23a, the same metadata as the extracted metadata is added to the image data 17a again.

一方、ステップS32において、メタデータリスト更新部54から供給される抽出メタデータではないと判定された場合、ステップS34において、メタデータ付与部56は、その供給されたメタデータが、メタデータ変換部55から供給される代表メタデータであるか否かを判定する。   On the other hand, when it is determined in step S32 that the extracted metadata is not supplied from the metadata list update unit 54, in step S34, the metadata providing unit 56 determines that the supplied metadata is a metadata conversion unit. Whether or not the representative metadata is supplied from 55 is determined.

ステップS34において、メタデータ変換部55から供給される代表メタデータであると判定された場合、ステップS35において、メタデータ付与部56は、メタデータ変換部55から供給される代表メタデータを、メタデータ抽出部52から供給される内容データに付加し、メタデータ付与の処理は終了する。   If it is determined in step S34 that the metadata is the representative metadata supplied from the metadata conversion unit 55, in step S35, the metadata providing unit 56 converts the representative metadata supplied from the metadata conversion unit 55 into the metadata. This is added to the content data supplied from the data extraction unit 52, and the process of adding metadata ends.

具体的には、例えば、入力画像の画像データから“うまい”である抽出メタデータが抽出された場合、メタデータリスト23aには、“うまい”である類似メタデータが存在するので、メタデータ変換部55は、その“うまい”である抽出メタデータを、“うまい”である類似メタデータに関連付けられた“おいしい”である代表メタデータに変換する。そして、メタデータ付与部56は、メタデータ変換部55から供給される“おいしい”である代表メタデータを内容データに付加する。   Specifically, for example, when extracted metadata that is “delicious” is extracted from the image data of the input image, similar metadata that is “delicious” exists in the metadata list 23 a, so metadata conversion is performed. The unit 55 converts the extracted metadata that is “delicious” into the representative metadata that is “delicious” associated with the similar metadata that is “delicious”. Then, the metadata adding unit 56 adds representative metadata that is “delicious” supplied from the metadata conversion unit 55 to the content data.

つまり、メタデータ付与部56においては、抽出メタデータがメタデータリスト23aに格納された類似メタデータ1列乃至n列に存在する場合、その抽出メタデータと一致する類似メタデータに関連付けられた代表メタデータが画像データ17aに付加される。   That is, when the extracted metadata exists in the similar metadata 1 to n stored in the metadata list 23a, the metadata providing unit 56 represents the representative associated with the similar metadata that matches the extracted metadata. Metadata is added to the image data 17a.

一方、ステップS34において、メタデータ変換部55から供給された代表メタデータではないと判定された場合、ステップS36において、メタデータ付与部56は、メタデータ比較部53から供給される抽出メタデータ(つまり、メタデータリスト23aに格納された代表メタデータ列に属する代表メタデータと一致する抽出メタデータ)を、メタデータ抽出部52から供給される内容データに付加し、メタデータ付与の処理は終了する。   On the other hand, when it is determined in step S34 that the metadata is not the representative metadata supplied from the metadata conversion unit 55, in step S36, the metadata adding unit 56 extracts the extracted metadata supplied from the metadata comparison unit 53 ( In other words, the extracted metadata that matches the representative metadata belonging to the representative metadata column stored in the metadata list 23a is added to the content data supplied from the metadata extraction unit 52, and the process of giving metadata ends. To do.

具体的には、入力画像の画像データから“おいしい”である抽出メタデータが抽出された場合、メタデータリスト23aには、“おいしい”である代表メタデータが存在するので、メタデータ比較部53は、代表メタデータと一致する“おいしい”である抽出メタデータをメタデータ付与部56に供給する。そして、メタデータ付与部56は、メタデータ比較部53から供給される“おいしい”である抽出メタデータを内容データに付加する。   Specifically, when extracted metadata that is “delicious” is extracted from the image data of the input image, representative metadata that is “delicious” exists in the metadata list 23 a, so the metadata comparison unit 53. Supplies extracted metadata that is “delicious” that matches the representative metadata to the metadata adding unit 56. Then, the metadata adding unit 56 adds the extracted metadata that is “delicious” supplied from the metadata comparing unit 53 to the content data.

つまり、メタデータ付加部56においては、抽出メタデータがメタデータリスト23aに格納された代表メタデータ列に存在する場合、代表メタデータと一致する抽出メタデータが画像データ17aに付加される。   That is, in the metadata adding unit 56, when the extracted metadata exists in the representative metadata column stored in the metadata list 23a, the extracted metadata that matches the representative metadata is added to the image data 17a.

一方、ステップS31において、入力画像の画像データから抽出メタデータが抽出されなかったと判定された場合、元々メタデータが付与されていない画像データに対しては、メタデータを付与する必要がないので、ステップS32乃至S36の処理をスキップし、メタデータ付与の処理は終了する。   On the other hand, when it is determined in step S31 that the extracted metadata has not been extracted from the image data of the input image, it is not necessary to add metadata to image data to which metadata is not originally added. The process of steps S32 to S36 is skipped, and the process of giving metadata ends.

以上のようにして、メタデータ付与部56は、メタデータ比較部53、メタデータリスト更新部54、またはメタデータ変換部55のいずれかから供給される抽出メタデータまたは代表メタデータを内容データに付与する。   As described above, the metadata adding unit 56 converts the extracted metadata or representative metadata supplied from any of the metadata comparison unit 53, the metadata list update unit 54, or the metadata conversion unit 55 into content data. Give.

なお、説明の都合上、ステップS31,S32,S34の処理において、メタデータ付与部56によって、メタデータがどのブロックから供給されるかを判定する処理を追加して説明したが、実際には、メタデータ付与部56は、そのような判定処理を行わずに、メタデータ比較部53、メタデータリスト更新部54、またはメタデータ変換部55のいずれかから供給されてくる抽出メタデータまたは代表メタデータを、メタデータ抽出部52から供給される内容データに付加する。   For convenience of explanation, in the processes of steps S31, S32, and S34, the process of determining from which block the metadata is supplied by the metadata adding unit 56 has been described. The metadata adding unit 56 does not perform such a determination process, and the extracted metadata or the representative metadata supplied from any of the metadata comparison unit 53, the metadata list update unit 54, or the metadata conversion unit 55. Data is added to the content data supplied from the metadata extraction unit 52.

そして、図7のメタデータ付与の処理が終了すると、処理は、図5のステップS19の処理に戻り、以降の処理が実行される。   Then, when the metadata providing process of FIG. 7 ends, the process returns to the process of step S19 of FIG. 5, and the subsequent processes are executed.

ステップS20において、メタデータ付与部56は、メタデータ(抽出メタデータまたは代表メタデータ)が付与された内容データをエンコードし、エンコードにより得られる画像データを記録デバイス17に供給する。   In step S <b> 20, the metadata adding unit 56 encodes the content data to which the metadata (extracted metadata or representative metadata) is added, and supplies the image data obtained by the encoding to the recording device 17.

すなわち、ステップS20の処理によって、エンコードすることで得られる画像データは、ステップS12の処理でデコードすることで得られる画像データに対して、最適なメタデータが付与された画像データである。   That is, the image data obtained by encoding by the process of step S20 is image data to which optimum metadata is added to the image data obtained by decoding by the process of step S12.

ステップS21において、記録デバイス17は、メタデータ付与部56から供給される画像データを記憶して、画像データ格納処理は終了する。   In step S21, the recording device 17 stores the image data supplied from the metadata adding unit 56, and the image data storage process ends.

これにより、デジタルスチルカメラ1−1においては、デジタルスチルカメラ1−2から受信した入力画像に対して、最適なメタデータが付与された画像データ17aが記録デバイス17に格納され蓄積される。   Thereby, in the digital still camera 1-1, the image data 17a to which the optimum metadata is given is stored and accumulated in the recording device 17 with respect to the input image received from the digital still camera 1-2.

具体的には、入力画像から“旅行”、“うまい”、“家族と”である抽出メタデータが抽出された場合、メタデータ比較部53乃至メタデータ付与部56によって、この入力画像のメタデータが、“旅行”、“おいしい”、“家族と”に変換され、その変換されたメタデータが入力画像に付与され、蓄積される。またこれによって、メタデータリスト23aにおいては、新たに“家族と”である抽出メタデータが、代表メタデータ列に追加される。   Specifically, when extracted metadata of “travel”, “delicious”, and “with family” is extracted from the input image, the metadata of the input image is extracted by the metadata comparison unit 53 to the metadata adding unit 56. Are converted into “travel”, “delicious”, and “with family”, and the converted metadata is added to the input image and stored. As a result, in the metadata list 23a, the extracted metadata “family” is newly added to the representative metadata column.

以上のように、デジタルスチルカメラ1−1は、デジタルスチルカメラ1−2から受信した入力画像から抽出メタデータを抽出し、その抽出メタデータをメタデータリスト23aに基づいて代表メタデータに変換し、変換により得られた代表メタデータを入力画像に付与する。その結果、デジタルスチルカメラ1−2に蓄積されていた入力画像のメタデータを、デジタルスチルカメラ1−1を使用しているユーザに適したメタデータに変換することができる。   As described above, the digital still camera 1-1 extracts extracted metadata from the input image received from the digital still camera 1-2, and converts the extracted metadata into representative metadata based on the metadata list 23a. The representative metadata obtained by the conversion is added to the input image. As a result, the metadata of the input image stored in the digital still camera 1-2 can be converted into metadata suitable for the user using the digital still camera 1-1.

これにより、例えば、“おいしい”、“うまい”、“美味”、・・・等の関連性があって、類似した意味を持ったメタデータを、1つのメタデータ(代表メタデータ)に集約することができるため、例えば、撮像画像等のメタデータの付加されたコンテンツを、有効に分類することができる。   As a result, for example, metadata with similar meanings, such as “delicious”, “delicious”, “delicious”, etc., are aggregated into one metadata (representative metadata). Therefore, for example, content to which metadata such as a captured image is added can be effectively classified.

つまり、従来であれば、例えば、デジタルスチルカメラ1−1は、デジタルスチルカメラ1−2から新たに撮像画像を受信した際に、“うまい”であるメタデータが付与された撮像画像は、“おいしい”であるメタデータが付与された撮像画像と同じ意味のメタデータが付与されている撮像画像であるのに、異なるメタデータで管理されてしまうがゆえに、別々のカテゴリの撮像画像として管理されるが、本実施の形態のように、“うまい”である抽出メタデータを、“おいしい”である代表メタデータに変換することで、それらの撮像画像が別々のカテゴリであると誤認識がされずに、同一のカテゴリの撮像画像として管理することができる。   In other words, conventionally, for example, when the digital still camera 1-1 newly receives a captured image from the digital still camera 1-2, the captured image to which the metadata “delicious” is added is “ Although it is a captured image to which metadata having the same meaning as a captured image to which “delicious” metadata is added is managed with different metadata, it is managed as a captured image of a different category. However, as in this embodiment, by converting extracted metadata that is “delicious” into representative metadata that is “delicious”, the captured images are misrecognized as being in different categories. Without being managed as a captured image of the same category.

ところで、上述した例では、抽出メタデータがメタデータリスト23aに存在しない場合、その抽出メタデータを代表メタデータとして、メタデータリスト23aの代表メタデータ列に属するように追加するとして説明したが、その抽出メタデータが代表メタデータと関連性があり、類似した意味を持っている場合も考えられる。そこで、抽出メタデータがメタデータリスト23aに存在しない場合、その抽出メタデータをメタデータリスト23aに格納された代表メタデータ列に追加するのではなく、ユーザに対して、抽出メタデータを類似メタデータ1列乃至n列に追加するか否かを選択させ、ユーザが抽出メタデータを類似メタデータ1列乃至n列に追加すると判断したとき、抽出メタデータを類似メタデータとして登録するようにしてもよい。   By the way, in the above-described example, when the extracted metadata does not exist in the metadata list 23a, the extracted metadata is added as representative metadata so as to belong to the representative metadata column of the metadata list 23a. There may be a case where the extracted metadata is related to the representative metadata and has a similar meaning. Therefore, when the extracted metadata does not exist in the metadata list 23a, the extracted metadata is not added to the representative metadata column stored in the metadata list 23a, but the extracted metadata is given to the user. Whether to add data to the 1st column to the nth column is selected, and when the user determines to add the extracted metadata to the 1st column to the nth similar metadata, the extracted metadata is registered as the similar metadata. Also good.

以下、そのような場合における具体的な処理について説明する。   Hereinafter, specific processing in such a case will be described.

図8は、図1のデジタルスチルカメラ1−1による、画像データ格納処理について説明するフローチャートである。   FIG. 8 is a flowchart for explaining image data storage processing by the digital still camera 1-1 of FIG.

ステップS51乃至S55において、図5のステップS11乃至S15における処理と同様に、メタデータ抽出部52により、入力画像の画像データから抽出メタデータが抽出され、メタデータ比較部53により、抽出メタデータがメタデータリスト23aに存在するか否かが判定される。   In steps S51 to S55, the extracted metadata is extracted from the image data of the input image by the metadata extraction unit 52, and the extracted metadata is extracted by the metadata comparison unit 53, as in the processing in steps S11 to S15 of FIG. It is determined whether or not it exists in the metadata list 23a.

ステップS55において、抽出メタデータがメタデータリスト23aに存在しないと判定された場合、ステップS56において、メタデータリスト更新部54は、ユーザによる操作にしたがって、抽出メタデータをメタデータリスト23aに格納された類似メタデータn列に登録するか否かを判定する。   If it is determined in step S55 that the extracted metadata does not exist in the metadata list 23a, in step S56, the metadata list update unit 54 stores the extracted metadata in the metadata list 23a according to the operation by the user. It is determined whether or not to register in the similar metadata n column.

ステップS56において、抽出メタデータをメタデータリスト23aに格納された類似メタデータn列に登録すると判定された場合、ステップS57において、メタデータリスト更新部54は、メタデータ比較部53から供給される抽出メタデータを、メタデータリスト23aに格納された類似メタデータn列に追加する。これにより、入力画像の画像データから抽出された抽出メタデータが、図6のメタデータリスト23aに格納された類似メタデータn列に、類似メタデータとして追加される。   If it is determined in step S56 that the extracted metadata is registered in the similar metadata n column stored in the metadata list 23a, the metadata list update unit 54 is supplied from the metadata comparison unit 53 in step S57. The extracted metadata is added to the similar metadata n column stored in the metadata list 23a. Thereby, the extracted metadata extracted from the image data of the input image is added as similar metadata to the similar metadata n column stored in the metadata list 23a of FIG.

具体的には、例えば、入力画像の画像データから“delicious”である抽出メタデータが抽出された場合、メタデータリスト23aには、“delicious”である代表メタデータおよび類似メタデータがともに存在しないので、ユーザに対して、“delicious”である抽出メタデータを類似メタデータとして登録するか否かを選択させる。例えば、液晶パネル16に代表メタデータ列に属する代表メタデータを表示させて、ユーザが、“delicious”である抽出メタデータが、“おいしい”である代表メタデータと同様の意味であると判断した場合、メタデータリスト更新部54は、“delicious”である抽出メタデータを、“おいしい”である代表メタデータに関連付けられた類似メタデータとして、図6のメタデータリスト23aに格納された類似メタデータ3列に追加する。   Specifically, for example, when extracted metadata that is “delicious” is extracted from the image data of the input image, neither the representative metadata that is “delicious” nor the similar metadata exists in the metadata list 23a. Therefore, the user is allowed to select whether or not to register the extracted metadata that is “delicious” as similar metadata. For example, the representative metadata belonging to the representative metadata column is displayed on the liquid crystal panel 16, and the user determines that the extracted metadata “delicious” has the same meaning as the representative metadata “delicious”. In this case, the metadata list update unit 54 sets the extracted metadata that is “delicious” as the similar metadata associated with the representative metadata that is “delicious” and is stored in the metadata list 23a of FIG. Add to 3 columns of data.

これにより、図6のメタデータリスト23aにおいては、“おいしい”である代表メタデータと、“うまい”、“美味”、および“delicious”である類似メタデータとが関連付けられる。その結果、次回、ある入力画像から“delicious”である抽出メタデータが抽出された場合、その“delicious”である抽出メタデータは、“おいしい”である代表メタデータに変換される。   Thereby, in the metadata list 23a of FIG. 6, the representative metadata that is “delicious” and the similar metadata that is “delicious”, “delicious”, and “delicious” are associated with each other. As a result, when the extracted metadata that is “delicious” is extracted from a certain input image next time, the extracted metadata that is “delicious” is converted into representative metadata that is “delicious”.

一方、ステップS56において、抽出メタデータをメタデータリスト23aに格納された類似メタデータn列に登録しないと判定された場合、ステップS57の処理がスキップされ、処理は、ステップS58の処理に進む。   On the other hand, if it is determined in step S56 that the extracted metadata is not registered in the similar metadata n column stored in the metadata list 23a, the process of step S57 is skipped, and the process proceeds to the process of step S58.

ステップS58乃至S62において、図5のステップS17乃至S21と同様に、代表メタデータまたは抽出メタデータが内容データに付与され、そのメタデータが付与された内容データをエンコードすることにより得られる画像データが、記録デバイス17に記録され、画像データ格納処理は終了する。   In steps S58 to S62, similar to steps S17 to S21 in FIG. 5, the representative metadata or the extracted metadata is added to the content data, and the image data obtained by encoding the content data to which the metadata is added is obtained. , The image data storage process ends.

以上のように、デジタルスチルカメラ1−1は、デジタルスチルカメラ1−2から受信した入力画像から抽出メタデータを抽出し、抽出メタデータがメタデータリスト23aに存在しない場合、その抽出メタデータを類似メタデータとして登録することができる。   As described above, the digital still camera 1-1 extracts the extracted metadata from the input image received from the digital still camera 1-2. If the extracted metadata does not exist in the metadata list 23a, the extracted metadata is It can be registered as similar metadata.

また、上述した例では、抽出メタデータがメタデータリスト23aに存在しない場合、その抽出メタデータを代表メタデータとして、メタデータリスト23aの代表メタデータ列に属するように追加するとして説明したが、やみくもに代表メタデータを増やすことは、その分、撮像画像を分類するカテゴリが増えることにつながるため、撮像画像を管理する上で好ましくない場合も考えられる。そこで、抽出メタデータを代表メタデータとして、メタデータリスト23aに追加する場合には、ユーザに対して、その抽出メタデータを代表メタデータ列に追加するか否かを選択させ、ユーザが抽出メタデータを代表メタデータ列に追加すると判断したときだけ、抽出メタデータを代表メタデータとして登録するようにしてもよい。   In the above-described example, when the extracted metadata does not exist in the metadata list 23a, the extracted metadata is added as representative metadata so as to belong to the representative metadata column of the metadata list 23a. Increasing the representative metadata unnecessarily leads to an increase in the number of categories for classifying captured images, and thus may not be desirable in managing captured images. Therefore, when adding extracted metadata as representative metadata to the metadata list 23a, the user selects whether to add the extracted metadata to the representative metadata column, and the user selects the extracted metadata. The extracted metadata may be registered as representative metadata only when it is determined that data is to be added to the representative metadata column.

以下、そのような場合における具体的な処理について説明する。   Hereinafter, specific processing in such a case will be described.

図9は、図1のデジタルスチルカメラ1−1による、画像データ格納処理について説明するフローチャートである。   FIG. 9 is a flowchart for describing image data storage processing by the digital still camera 1-1 in FIG.

ステップS71乃至S75において、図5のステップS11乃至S15における処理と同様に、メタデータ抽出部52により、入力画像の画像データから抽出メタデータが抽出され、メタデータ比較部53により、抽出メタデータがメタデータリスト23aに存在するか否かが判定される。   In steps S71 to S75, similarly to the processing in steps S11 to S15 in FIG. 5, the metadata extraction unit 52 extracts the extracted metadata from the image data of the input image, and the metadata comparison unit 53 extracts the extracted metadata. It is determined whether or not it exists in the metadata list 23a.

ステップS75において、抽出メタデータがメタデータリスト23aに存在しないと判定された場合、ステップS76において、メタデータリスト更新部54は、ユーザによる操作にしたがって、抽出メタデータをメタデータリスト23aに格納された代表メタデータ列に登録するか否かを判定する。   If it is determined in step S75 that the extracted metadata does not exist in the metadata list 23a, in step S76, the metadata list update unit 54 stores the extracted metadata in the metadata list 23a according to the operation by the user. It is determined whether or not to register in the representative metadata column.

ステップS76において、抽出メタデータをメタデータリスト23aに格納された代表メタデータ列に登録すると判定された場合、ステップS77において、メタデータリスト更新部54は、メタデータ比較部53から供給される抽出メタデータを、メタデータリスト23aの代表メタデータ列に追加する。これにより、入力画像の画像データから抽出された抽出メタデータが、図6のメタデータリスト23aに格納された代表メタデータ列に、代表メタデータとして追加される。   If it is determined in step S76 that the extracted metadata is registered in the representative metadata column stored in the metadata list 23a, the metadata list update unit 54 extracts the data supplied from the metadata comparison unit 53 in step S77. The metadata is added to the representative metadata column of the metadata list 23a. Thus, the extracted metadata extracted from the image data of the input image is added as representative metadata to the representative metadata column stored in the metadata list 23a of FIG.

一方、ステップS76において、抽出メタデータをメタデータリスト23aに登録しないと判定された場合、ステップS77の処理がスキップされ、処理は、ステップS78の処理に進む。   On the other hand, if it is determined in step S76 that the extracted metadata is not registered in the metadata list 23a, the process of step S77 is skipped, and the process proceeds to the process of step S78.

つまり、この場合、入力画像から抽出された抽出メタデータは、メタデータリスト23aに存在しないが、メタデータリスト23aに格納された代表メタデータ列および類似メタデータ1列乃至n列のいずれにも追加されない。   In other words, in this case, the extracted metadata extracted from the input image does not exist in the metadata list 23a, but is included in any of the representative metadata column and the similar metadata columns 1 to n stored in the metadata list 23a. Not added.

例えば、他のユーザによってメタデータが付与された撮像画像には、そのユーザだけに有用となるメタデータが付与されていることも考えられる。そのようなメタデータは、メタデータリスト23aに登録しても使用しない可能性が高いので、ユーザに登録するか否かを選択させることで、使用しない可能性の高いメタデータの登録を防止できる。   For example, it is also conceivable that metadata that is useful only to the user is assigned to a captured image to which metadata is assigned by another user. Since such metadata is highly likely not to be used even if it is registered in the metadata list 23a, registration of metadata that is not likely to be used can be prevented by allowing the user to select whether or not to register. .

ステップS78乃至S82において、図5のステップS17乃至S21と同様に、代表メタデータまたは抽出メタデータが内容データに付与され、そのメタデータが付与された内容データをエンコードすることにより得られる画像データが、記録デバイス17に記録され、画像データ格納処理は終了する。   In steps S78 to S82, as in steps S17 to S21 of FIG. 5, the representative metadata or the extracted metadata is added to the content data, and the image data obtained by encoding the content data to which the metadata is added is obtained. , The image data storage process ends.

以上のように、抽出メタデータを代表メタデータとして、メタデータリスト23aに登録する前に、その抽出メタデータを登録するか否かを、ユーザに判断させることができる。これにより、不要な代表メタデータがメタデータリスト23aに登録されるのを未然に防止することができる。   As described above, before registering the extracted metadata as the representative metadata in the metadata list 23a, the user can determine whether or not to register the extracted metadata. As a result, it is possible to prevent unnecessary representative metadata from being registered in the metadata list 23a.

ところで、上述したように、記録デバイス17は、着脱可能な記録メディアであるので、常時、デジタルスチルカメラ1に装着されているとは限らないため、画像データ17aを記憶部23に記憶したほうがよい場合も考えられる。そこで、次に、図10および11を参照して、記録デバイス17に記録されている画像データ17aを、記憶部23にも記憶させる場合のデジタルスチルカメラ1の構成について説明する。   As described above, since the recording device 17 is a detachable recording medium, the recording device 17 is not always attached to the digital still camera 1, so it is better to store the image data 17 a in the storage unit 23. Cases are also conceivable. Next, the configuration of the digital still camera 1 when the image data 17a recorded in the recording device 17 is also stored in the storage unit 23 will be described with reference to FIGS.

図10は、デジタルスチルカメラ1の機能的構成の他の例を示すブロック図である。   FIG. 10 is a block diagram illustrating another example of the functional configuration of the digital still camera 1.

なお、図10では、図3と同様の箇所には、同一の符号が付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。   In FIG. 10, the same parts as those in FIG.

すなわち、図10のデジタルスチルカメラ1においては、メタデータ付与部56は、図3と同様に、メタデータ比較部53、メタデータリスト更新部54、またはメタデータ変換部55のいずれかから供給される抽出メタデータまたは代表メタデータを、メタデータ抽出部52から供給される内容データに付加する。そして、メタデータ付与部56は、抽出メタデータまたは代表メタデータが付与された内容データをエンコードし、エンコードにより得られる画像データを、記録デバイス17の他に、記憶部23にも供給する。   That is, in the digital still camera 1 of FIG. 10, the metadata adding unit 56 is supplied from any of the metadata comparison unit 53, the metadata list update unit 54, or the metadata conversion unit 55, as in FIG. The extracted metadata or representative metadata is added to the content data supplied from the metadata extraction unit 52. The metadata adding unit 56 encodes the content data to which the extracted metadata or the representative metadata is added, and supplies the image data obtained by the encoding to the storage unit 23 in addition to the recording device 17.

記憶部23は、メタデータリスト23aの他に、メタデータ付与部56から供給される画像データ17aを記憶する。   The storage unit 23 stores the image data 17a supplied from the metadata adding unit 56 in addition to the metadata list 23a.

なお、その他の構成は、図3における場合と同様である。   Other configurations are the same as those in FIG.

次に、図11を参照して、図10の記録デバイス17と記憶部23に記憶されている各種データの詳細な例について説明する。   Next, detailed examples of various data stored in the recording device 17 and the storage unit 23 in FIG. 10 will be described with reference to FIG.

なお、図11では、図4と同様に、説明を簡略にするために、図10のデジタルスチルカメラ1を構成するブロックのうち、記録デバイス17と記憶部23だけを記述している。また、図11では、図4と同様の箇所には、同一の符号が付してあり、その説明は繰り返しになるので省略する。   In FIG. 11, as in FIG. 4, only the recording device 17 and the storage unit 23 are described in the blocks constituting the digital still camera 1 of FIG. 10 for the sake of simplicity. Also, in FIG. 11, the same parts as those in FIG.

図11に示されるように、記憶部23には、代表メタデータと類似メタデータとを対応させて格納しているメタデータリスト23aの他に、メタデータリスト23aに基づいてメタデータ(抽出メタデータまたは代表メタデータ)が付与された画像データ17a1乃至17anが記憶される。 As shown in FIG. 11, the storage unit 23 stores metadata (extracted metadata) based on the metadata list 23a in addition to the metadata list 23a that stores representative metadata and similar metadata in association with each other. data or representative metadata) image data 17a 1 to 17a n granted that is stored.

また、図11に示されるように、記録デバイス17には、メタデータリスト23aに基づいてメタデータ(抽出メタデータまたは代表メタデータ)が付与された画像データ17a1乃至17anが記憶されている。 Further, as shown in FIG. 11, in the recording device 17, image data 17a 1 to 17a n metadata (extracted metadata or representative metadata) is granted on the basis of the metadata list 23a is stored .

つまり、図11において、記憶部23には、記録デバイス17と同様のメタデータリスト23aに基づいてメタデータ(抽出メタデータまたは代表メタデータ)が付与された画像データ17a1乃至17anが記憶されている。 That is, in FIG 11, the storage unit 23, the image data 17a 1 to 17a n metadata (extracted metadata or representative metadata) is assigned based on the same meta-data list 23a and the recording device 17 are stored ing.

これにより、記録デバイス17は、着脱可能な記録メディアであるので、例えば、記録デバイス17が他の機器に装着されて、画像データ17a1乃至17anを他の機器に提供している場合であっても、記憶部23が、記録デバイス17と同様の、画像データ17a1乃至17anを記憶しているので、ユーザは、それらの画像データ17a1乃至17anのなかから所望の画像データを検索して閲覧することが可能となる。 Thus, the recording device 17, since it is a detachable recording medium, for example, there in the case where the recording device 17 is provided by being attached to another device, the image data 17a 1 to 17a n to other devices even, storage unit 23, similar to the recording device 17 remembers the image data 17a 1 to 17a n, the user searches a desired image data from among these image data 17a 1 to 17a n Can be viewed.

なお、デジタルスチルカメラ1においては、着脱可能な記録メディアである記録デバイス17に、メタデータリスト23aを記録させるようにしてもよい。これにより、例えば、デジタルスチルカメラ1−1は、デジタルスチルカメラ1−2との間で、記録デバイス17を介して、メタデータリスト23aを相互に交換することが可能となる。   In the digital still camera 1, the metadata list 23a may be recorded on the recording device 17 that is a removable recording medium. Thereby, for example, the digital still camera 1-1 can exchange the metadata list 23a with the digital still camera 1-2 via the recording device 17.

以上のように、入力画像から抽出された抽出メタデータを代表メタデータに変換し、その代表メタデータをコンテンツに付与することで、最適なメタデータをコンテンツに付与することができ、ひいては、コンテンツを容易に管理することができる。   As described above, by converting the extracted metadata extracted from the input image into the representative metadata, and adding the representative metadata to the content, the optimum metadata can be attached to the content. Can be managed easily.

これにより、受信するコンテンツのメタデータと、あらかじめデジタルスチルカメラ1内で管理しているメタデータとが、違う表現ながらも同じ内容をさしている場合に、メタデータを統一して管理することが可能となる。   As a result, when the metadata of the received content and the metadata managed in advance in the digital still camera 1 indicate the same content while expressing differently, it is possible to manage the metadata in a unified manner It becomes.

具体的には、最適なメタデータをコンテンツに付与することで、ユーザが撮像画像を検索するとき、例えば、今までは、“おいしい”であるキーワード(メタデータ)では検索されなかった撮像画像に付与されていた“うまい”であるメタデータが、“おいしい”であるメタデータに変換されるので、その変換された“おいしい”であるメタデータが付与された撮像画像は、“おいしい”であるキーワード(メタデータ)でも検索される。つまり、ユーザは、真に欲しているコンテンツを取得することができる。   Specifically, by assigning optimal metadata to content, when a user searches for a captured image, for example, to a captured image that has not been searched with a keyword (metadata) that is “delicious” until now. Since the “delicious” metadata that has been assigned is converted to “delicious” metadata, the captured image with the converted “delicious” metadata is “delicious” It is also searched by keyword (metadata). That is, the user can acquire the content that the user really wants.

なお、本実施の形態では、デジタルスチルカメラ1を情報処理装置の一例として説明したが、それに限らず、例えば、音楽のコンテンツを再生する携帯型の音楽プレーヤ、パーソナルコンピュータ、ビデオカメラ、携帯電話機等、コンテンツを蓄積可能な機器であればよい。   In the present embodiment, the digital still camera 1 has been described as an example of an information processing apparatus. However, the present invention is not limited to this, and for example, a portable music player that reproduces music content, a personal computer, a video camera, a mobile phone, and the like Any device capable of storing content may be used.

また、本実施の形態では、入力画像の画像データから、1つの抽出メタデータが抽出される例を説明したが、複数の抽出メタデータが抽出された場合でも、それらの抽出メタデータに対して同様の処理が行われる。   In this embodiment, an example in which one extracted metadata is extracted from image data of an input image has been described. However, even when a plurality of extracted metadata is extracted, Similar processing is performed.

さらにまた、入力画像の画像データから抽出される抽出メタデータは、メタデータ抽出部52によって抽出されるだけでなく、入力画像に対応するメタデータ(抽出メタデータ)そのものを外部の機器から付与するようにしてもよい。   Furthermore, the extracted metadata extracted from the image data of the input image is not only extracted by the metadata extraction unit 52 but also metadata (extraction metadata) itself corresponding to the input image is given from an external device. You may do it.

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。   The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.

この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD)を含む)、光磁気ディスク(MD(Mini-Disk)(商標)を含む)、若しくは半導体メモリ等よりなる図2の記録デバイス17により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている図2のプログラムROM21等で構成される。   The recording medium is distributed to provide a program to the user separately from the computer, and includes a magnetic disk (including a flexible disk) on which the program is recorded, an optical disk (CD-ROM (Compact Disc-Read Only Memory)) 2), a magneto-optical disk (including MD (Mini-Disk) (trademark)), or a semiconductor memory or the like. The program ROM 21 shown in FIG. 2 in which the program provided to the user in the state is recorded.

また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。   The program for executing the series of processes described above is installed in a computer via a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary. You may be made to do.

なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   In the present specification, the step of describing the program stored in the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。   The embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.

本発明を適用したデジタルスチルカメラによる撮像画像の送受信について説明する図である。It is a figure explaining transmission / reception of the captured image by the digital still camera to which this invention is applied. デジタルスチルカメラの内部構成例を示している図である。It is a figure which shows the internal structural example of a digital still camera. デジタルスチルカメラの機能的構成の例を示すブロック図である。It is a block diagram which shows the example of a functional structure of a digital still camera. 図3の記録デバイスと記憶部に記憶されている各種データの詳細な例について説明する図である。It is a figure explaining the detailed example of the various data memorize | stored in the recording device and memory | storage part of FIG. デジタルスチルカメラによる、画像データ格納の処理について説明するフローチャートである。It is a flowchart explaining the process of image data storage by a digital still camera. メタデータリストの例を示す図である。It is a figure which shows the example of a metadata list. メタデータ付与の処理の詳細について説明するフローチャートである。It is a flowchart explaining the detail of the process of metadata provision. デジタルスチルカメラによる、画像データ格納処理について説明するフローチャートである。It is a flowchart explaining the image data storage process by a digital still camera. デジタルスチルカメラによる、画像データ格納処理について説明するフローチャートである。It is a flowchart explaining the image data storage process by a digital still camera. デジタルスチルカメラの機能的構成の他の例を示すブロック図である。It is a block diagram which shows the other example of a functional structure of a digital still camera. 図10の記録デバイスと記憶部に記憶されている各種データの詳細な例について説明する図である。It is a figure explaining the detailed example of the various data memorize | stored in the recording device of FIG. 10, and a memory | storage part.

符号の説明Explanation of symbols

1 デジタルスチルカメラ, 17 記録デバイス, 17a 画像データ, 18 CPU, 23 記憶部, 23a メタデータリスト, 51 入力部, 52 メタデータ抽出部, 53 メタデータ比較部, 54 メタデータリスト更新部, 55 メタデータ変換部, 56 メタデータ付与部   DESCRIPTION OF SYMBOLS 1 Digital still camera, 17 Recording device, 17a Image data, 18 CPU, 23 Memory | storage part, 23a Metadata list, 51 Input part, 52 Metadata extraction part, 53 Metadata comparison part, 54 Metadata list update part, 55 Meta Data conversion unit, 56 Metadata giving unit

Claims (11)

コンテンツから抽出メタデータを抽出する抽出手段と、
前記コンテンツに付与する代表メタデータと、前記代表メタデータに類似する類似メタデータとを関連付けて格納しているメタデータリストを記憶する第1の記憶手段と、
前記抽出メタデータと、記憶している前記メタデータリストに格納されている前記代表メタデータおよび前記類似メタデータとを比較する比較手段と、
前記抽出メタデータと前記類似メタデータとが一致する場合、前記抽出メタデータを、前記メタデータリストに格納されている前記代表メタデータであって、前記抽出メタデータと一致する前記類似メタデータに関連付けられている前記代表メタデータに変換する変換手段と、
変換により得られた前記代表メタデータを前記コンテンツに付与する付与手段と
を備える情報処理装置。
An extraction means for extracting extracted metadata from the content;
First storage means for storing a metadata list storing representative metadata to be given to the content and similar metadata similar to the representative metadata;
A comparison means for comparing the extracted metadata with the representative metadata and the similar metadata stored in the stored metadata list;
When the extracted metadata and the similar metadata match, the extracted metadata is the representative metadata stored in the metadata list, and the similar metadata that matches the extracted metadata. Conversion means for converting into the associated representative metadata;
An information processing apparatus comprising: an assigning unit that assigns the representative metadata obtained by the conversion to the content.
前記抽出メタデータと、前記代表メタデータおよび前記類似メタデータとが一致しない場合、前記抽出メタデータを、前記代表メタデータとして、前記メタデータリストに追加する更新手段をさらに備え、
前記付与手段は、前記抽出メタデータを前記コンテンツに付与する
請求項1に記載の情報処理装置。
When the extracted metadata does not match the representative metadata and the similar metadata, the extracted metadata is further provided as an update unit for adding the extracted metadata as the representative metadata to the metadata list,
The information processing apparatus according to claim 1, wherein the assigning unit assigns the extracted metadata to the content.
前記付与手段は、前記抽出メタデータと前記代表メタデータとが一致する場合、前記抽出メタデータを前記コンテンツに付与する
請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein, when the extracted metadata matches the representative metadata, the adding unit adds the extracted metadata to the content.
他の機器に蓄積されている前記コンテンツを入力する入力手段をさらに備え、
前記抽出手段は、入力された前記コンテンツから前記抽出メタデータを抽出する
請求項1に記載の情報処理装置。
An input means for inputting the content stored in another device;
The information processing apparatus according to claim 1, wherein the extraction unit extracts the extracted metadata from the input content.
前記更新手段は、前記抽出メタデータと、前記代表メタデータおよび前記類似メタデータとが一致しない場合、ユーザの操作にしたがって、前記抽出メタデータを、前記類似メタデータとして、前記メタデータリストに追加する
請求項2に記載の情報処理装置。
The update unit adds the extracted metadata as the similar metadata to the metadata list according to a user operation when the extracted metadata does not match the representative metadata and the similar metadata. The information processing apparatus according to claim 2.
前記代表メタデータが付与された前記コンテンツを記憶する第2の記憶手段をさらに備える
請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, further comprising a second storage unit that stores the content to which the representative metadata is assigned.
前記第1の記憶手段は、前記代表メタデータが付与された前記コンテンツを記憶する
請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the first storage unit stores the content to which the representative metadata is added.
前記抽出メタデータは、ユーザによって、前記コンテンツに付与された情報である
請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the extracted metadata is information given to the content by a user.
前記コンテンツは、撮像された画像である
請求項1に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the content is a captured image.
コンテンツに付与する代表メタデータと、前記代表メタデータに類似する類似メタデータとを関連付けて格納しているメタデータリストを記憶する記憶手段を有する情報処理装置の情報処理方法において、
前記コンテンツから抽出メタデータを抽出し、
前記抽出メタデータと、記憶している前記メタデータリストに格納されている前記代表メタデータおよび前記類似メタデータとを比較し、
前記抽出メタデータと前記類似メタデータとが一致する場合、前記抽出メタデータを、前記メタデータリストに格納されている前記代表メタデータであって、前記抽出メタデータと一致する前記類似メタデータに関連付けられている前記代表メタデータに変換し、
変換により得られた前記代表メタデータを前記コンテンツに付与する
ステップを含む情報処理方法。
In an information processing method of an information processing apparatus having storage means for storing a metadata list in which representative metadata to be given to content and similar metadata similar to the representative metadata are stored in association with each other,
Extracting extracted metadata from the content;
Comparing the extracted metadata with the representative metadata and the similar metadata stored in the stored metadata list;
When the extracted metadata and the similar metadata match, the extracted metadata is the representative metadata stored in the metadata list, and the similar metadata that matches the extracted metadata. Convert it to the associated representative metadata,
An information processing method including a step of assigning the representative metadata obtained by conversion to the content.
コンテンツに付与する代表メタデータと、前記代表メタデータに類似する類似メタデータとを関連付けて格納しているメタデータリストを記憶する記憶手段を有する情報処理装置の情報処理を、コンピュータに行わせるプログラムにおいて、
前記コンテンツから抽出メタデータを抽出し、
前記抽出メタデータと、記憶している前記メタデータリストに格納されている前記代表メタデータおよび前記類似メタデータとを比較し、
前記抽出メタデータと前記類似メタデータとが一致する場合、前記抽出メタデータを、前記メタデータリストに格納されている前記代表メタデータであって、前記抽出メタデータと一致する前記類似メタデータに関連付けられている前記代表メタデータに変換し、
変換により得られた前記代表メタデータを前記コンテンツに付与する
ステップを含むプログラム。
A program that causes a computer to perform information processing of an information processing apparatus having a storage unit that stores representative metadata to be assigned to content and metadata lists that store similar metadata similar to the representative metadata. In
Extracting extracted metadata from the content;
Comparing the extracted metadata with the representative metadata and the similar metadata stored in the stored metadata list;
When the extracted metadata and the similar metadata match, the extracted metadata is the representative metadata stored in the metadata list, and the similar metadata that matches the extracted metadata. Convert it to the associated representative metadata,
A program including a step of assigning the representative metadata obtained by the conversion to the content.
JP2006286452A 2006-10-20 2006-10-20 Information processing apparatus, method, and program Pending JP2008102845A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006286452A JP2008102845A (en) 2006-10-20 2006-10-20 Information processing apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006286452A JP2008102845A (en) 2006-10-20 2006-10-20 Information processing apparatus, method, and program

Publications (1)

Publication Number Publication Date
JP2008102845A true JP2008102845A (en) 2008-05-01

Family

ID=39437111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006286452A Pending JP2008102845A (en) 2006-10-20 2006-10-20 Information processing apparatus, method, and program

Country Status (1)

Country Link
JP (1) JP2008102845A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8643735B2 (en) 2010-03-30 2014-02-04 Sony Corporation Transmission apparatus, method, and program
US8648921B2 (en) 2010-03-30 2014-02-11 Sony Corporation Transmission apparatus, method, and program
JP2016162054A (en) * 2015-02-27 2016-09-05 日本放送協会 Ontology generation device, meta data output device, content acquisition device, ontology generation method, and ontology generation program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05250416A (en) * 1992-03-06 1993-09-28 Toshiba Eng Co Ltd Registering and retrieving device for data base
JP2006120125A (en) * 2004-10-20 2006-05-11 Toshiba Corp Document image information management apparatus and document image information management program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05250416A (en) * 1992-03-06 1993-09-28 Toshiba Eng Co Ltd Registering and retrieving device for data base
JP2006120125A (en) * 2004-10-20 2006-05-11 Toshiba Corp Document image information management apparatus and document image information management program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8643735B2 (en) 2010-03-30 2014-02-04 Sony Corporation Transmission apparatus, method, and program
US8648921B2 (en) 2010-03-30 2014-02-11 Sony Corporation Transmission apparatus, method, and program
JP2016162054A (en) * 2015-02-27 2016-09-05 日本放送協会 Ontology generation device, meta data output device, content acquisition device, ontology generation method, and ontology generation program

Similar Documents

Publication Publication Date Title
CN101101779B (en) Data recording and reproducing apparatus and metadata production method
JP5385598B2 (en) Image processing apparatus, image management server apparatus, control method thereof, and program
US8295650B2 (en) Information processing apparatus and method, and program
JP4656454B2 (en) Recording apparatus and method, reproducing apparatus and method, and program
US20070236583A1 (en) Automated creation of filenames for digital image files using speech-to-text conversion
US8665337B2 (en) Image sharing system, image managing server, and control method and program thereof
WO2008035688A1 (en) Recording device and method, program, and reproducing device and method
KR20070082027A (en) Search apparatus and method, and program
US9973649B2 (en) Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program
KR100733095B1 (en) Information processing apparatus and information processing method
US9203986B2 (en) Imaging device, imaging system, image management server, image communication system, imaging method, and image management method
WO2008016094A1 (en) Recording device and method, imaging device, reproduction device and method, and program
JP4274226B2 (en) Information processing apparatus and method, and program
JP2008102845A (en) Information processing apparatus, method, and program
JP2008268995A (en) Dictionary data generation device, character input device, dictionary data generation method and character input method
JP5047592B2 (en) Sentence publishing device with image, program, and method
CN102630001B (en) Image data recording apparatus and control method thereof
JP2005184610A (en) Camera, camera photographing support system, and camera with photographing aid function
JP4821462B2 (en) Recording apparatus and method, reproducing apparatus and method, and program
JP2008271239A (en) Camera, content creation method, and program
JP5372219B2 (en) Camera with image transmission function and image transmission method
JP2006079567A (en) Information control program, computer-readable recording medium recorded with information control program, and information controller
JP5657753B2 (en) Camera with image transmission function, display control method, and image transmission method
JP2004133721A (en) System and device for creating haiku (seventeen-syllabled poem)
JP2007158563A (en) Image editing system, apparatus, and method, electronic equipment, image transmission method, program, and program recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091014

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120403