JP2011008422A

JP2011008422A - Information input method, information input device and program

Info

Publication number: JP2011008422A
Application number: JP2009150093A
Authority: JP
Inventors: Eiichiro Toshima; 英一朗戸島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-06-24
Filing date: 2009-06-24
Publication date: 2011-01-13

Abstract

PROBLEM TO BE SOLVED: To more easily impart metadata in taking a photograph.SOLUTION: A command (a photographic object) instructing the metadata to be imparted is photographed by a user, the photographed command is analyzed to decide whether the command is metadata designation, and the metadata to be imparted are designated. When the photo shoot is performed when the metadata are designated, the designated metadata are automatically imparted.

Description

本発明は、画像入力の際に簡便に画像データにメタデータを付与する情報入力方法等に関する。 The present invention relates to an information input method for easily adding metadata to image data when inputting an image.

ユーザにとって、デジタル写真の撮影は、コスト面の負担が事実上ほとんどかからないので、気軽に行われることが多い。そのため、メディアの大容量化が撮影枚数の増加につながっている。故に、機器が管理するデジタル写真の枚数が増加し、デジタルカメラ等の表示画面が小さい携帯機器において、特に深刻な問題となっている。
このような増大に対する問題を解決するには、フィルタリング、すなわち、分類又は検索によるデジタル写真（画像データ）の絞り込みが有効である。画像データの場合、テキストのような内容に基づく絞込みが困難であるので、フィルタリングを行うためにはメタデータの充実が必要である。メタデータは、基本的には人手によって付与されており、大変な労力が必要であるため、メタデータの付与の自動化が要請されている。そこで、写真撮影時に個人情報を、通信機器から入手し、画像データと共に保存する装置が提案されている（特許文献１参照）。 For users, digital photography is often performed casually because there is virtually no cost burden. Therefore, the increase in the capacity of media has led to an increase in the number of shots. Therefore, the number of digital photographs managed by the device is increased, and this is a particularly serious problem in a portable device having a small display screen such as a digital camera.
Filtering, that is, narrowing down digital photographs (image data) by classification or search is effective in solving the problem against such increase. In the case of image data, since it is difficult to narrow down based on contents such as text, it is necessary to enhance metadata in order to perform filtering. Since metadata is basically assigned manually and requires a great amount of labor, automation of metadata assignment is required. In view of this, an apparatus that obtains personal information from a communication device and stores it together with image data at the time of taking a picture has been proposed (see Patent Document 1).

特開２００２−９４８５７号公報JP 2002-94857 A

しかしながら、特許文献１に記載の技術をデジタルカメラ等の製品に実装すると、多くのリソースを消費してしまうおそれがある。 However, when the technology described in Patent Document 1 is mounted on a product such as a digital camera, there is a possibility that many resources are consumed.

本発明はこのような問題点に鑑みなされたもので、画像データにメタデータをより簡便に付与することを目的とする。 The present invention has been made in view of such problems, and an object thereof is to more easily add metadata to image data.

そこで、本発明は、画像入力の指示に応じて画像データを入力する画像入力ステップと、前記画像入力ステップで入力された画像データに係る被写体を解析してメタデータ指定であるか否かを判定する判定ステップと、メタデータを入手する入手ステップと、前記判定ステップでメタデータ指定であると判定された場合に、前記入手ステップで入手されたメタデータを前記画像データに対して自動的に付与する自動付与ステップと、を有することを特徴とする。 In view of this, the present invention determines an image input step for inputting image data in response to an image input instruction and whether or not metadata designation is performed by analyzing a subject related to the image data input in the image input step. Determining step, obtaining step for obtaining metadata, and automatically assigning the metadata obtained in the obtaining step to the image data when it is determined that the metadata is designated in the judging step And an automatic giving step.

本発明によれば、画像データにメタデータをより簡便に付与することができる。 According to the present invention, metadata can be given to image data more easily.

情報入力装置の全体構成を示す図である。It is a figure which shows the whole structure of an information input device. メタデータ付与の一例を示す図である。It is a figure which shows an example of metadata provision. メタデータ指定の解析の一例を示す図である。It is a figure which shows an example of an analysis of metadata specification. 写真データベースの構成を示す図である。It is a figure which shows the structure of a photograph database. ＵＲＬ・メタデータ対応表の構成を示す図である。It is a figure which shows the structure of a URL and metadata corresponding table. 情報入力装置に係るメイン処理の一例を示すフローチャートである。It is a flowchart which shows an example of the main process which concerns on an information input device. メタデータ設定処理の一例を示すフローチャートである。It is a flowchart which shows an example of a metadata setting process. メタデータ抽出処理の一例を示すフローチャートである。It is a flowchart which shows an example of a metadata extraction process. メタデータ抽出処理の一例を示すフローチャートである。It is a flowchart which shows an example of a metadata extraction process. メタデータ終了処理の一例を示すフローチャートである。It is a flowchart which shows an example of a metadata end process. 撮影処理の一例を示すフローチャートである。It is a flowchart which shows an example of an imaging | photography process. メタデータ設定ON処理の一例を示すフローチャートである。It is a flowchart which shows an example of a metadata setting ON process. メタデータ設定OFF処理の一例を示すフローチャートである。It is a flowchart which shows an example of a metadata setting OFF process. 撮影処理の一例を示すフローチャートである。It is a flowchart which shows an example of an imaging | photography process.

以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜第１の実施形態＞
図１は、本実施形態に係る情報入力装置の構成を示す図である。
ＣＰＵ１は、マイクロプロセッサであり、画像処理、メタデータ抽出処理、撮影処理、比較処理、一覧処理等のための演算、論理判断等を行い、バス２を介してバス２に接続された各構成要素を制御する。バス２は、ＣＰＵ１の制御対象である各構成要素を指示するアドレス信号、コントロール信号を転送する。また、バス２を介して各構成要素間のデータ転送が行われる。ＲＯＭ３は、読出し専用の不揮発性メモリである。ブートプログラム、ＵＲＬ・メタデータ対応表等を用いたＣＰＵ１による各種処理で使用される初期データ等を記憶する。なお、ブートプログラムが実行されると、システム起動時に初期データがＲＡＭ４にロードされ、ＣＰＵ１は、制御プログラムを実行する。制御プログラムについては、後にフローチャートを参照して詳述する。ＲＡＭ４は、読み書き可能なランダムアクセスメモリであって、各構成要素からの各種データの一次記憶に用いられる。撮影処理のための画像データを記憶するバッファ、メタデータ設定値、メタデータ設定モードフラグ等の処理中に値の変更が行われる各種データが格納される。なお、メタデータ設定値は、付与すべきメタデータ、最終使用されたときの現在時刻、最終使用されたときの現在位置がまとめてＲＡＭ４に記憶される。 <First Embodiment>
FIG. 1 is a diagram illustrating a configuration of an information input device according to the present embodiment.
The CPU 1 is a microprocessor that performs operations for image processing, metadata extraction processing, imaging processing, comparison processing, list processing, logical determination, and the like, and each component connected to the bus 2 via the bus 2 To control. The bus 2 transfers an address signal and a control signal for instructing each component to be controlled by the CPU 1. In addition, data transfer between each component is performed via the bus 2. The ROM 3 is a read-only nonvolatile memory. Stores initial data used in various processes by the CPU 1 using a boot program, URL / metadata correspondence table, and the like. When the boot program is executed, initial data is loaded into the RAM 4 when the system is started, and the CPU 1 executes the control program. The control program will be described in detail later with reference to a flowchart. The RAM 4 is a readable / writable random access memory, and is used for primary storage of various data from each component. Various data whose values are changed during processing such as a buffer for storing image data for photographing processing, a metadata setting value, and a metadata setting mode flag are stored. Note that the metadata set value is stored in the RAM 4 as metadata to be given, the current time when it was last used, and the current position when it was last used.

入力装置５は、ボタン等である。表示装置６は、液晶ディスプレイ等である。撮影装置７は、被写体（写真等）を撮影するものであり、CMOSセンサ等を通じて写真データ（換言するならば、画像データ、撮影画像データ）を取り込む。ＲＴＣ８は、時刻をカウントして時間を測定（計数）するものであり、時々刻々と変化する時刻情報を維持、管理等する。ＧＰＳ９は、現在の位置（位置情報）を検出（センス）するものであり、移動に伴って時々刻々と変化する位置情報を維持、管理等する。ＦＭ１０は、フラッシュメモリ等の一括消去、追記書込み可能な不揮発性メモリである。ＦＭ１０は、情報入力装置で管理する写真データの管理に必要なデータを記憶する写真データベース等を格納する。
情報入力装置は、入力装置５等からの各種イベントに応じて作動する。入力装置５等からの割込みが発生すると（インタラプトが供給されると）、信号がＣＰＵ１に送られる。それに伴ってイベントが発生し、イベントに応じてＣＰＵ１がＲＯＭ３又はＲＡＭ４内に記憶される各種命令を読み出し、その実行によって各種の制御が行われる。例えば、ＣＰＵ１（コンピュータ）が、ＲＡＭ４に格納されたプログラムの手順に従って処理を行うことによって、情報入力装置における機能及び後述するフローチャートに係る処理が実現される。 The input device 5 is a button or the like. The display device 6 is a liquid crystal display or the like. The photographing device 7 photographs a subject (photograph or the like), and takes in photograph data (in other words, image data or photographed image data) through a CMOS sensor or the like. The RTC 8 counts time and measures (counts) time, and maintains and manages time information that changes every moment. The GPS 9 detects (senses) the current position (position information), and maintains and manages position information that changes every moment with movement. The FM 10 is a non-volatile memory capable of batch erasure and additional writing such as a flash memory. The FM 10 stores a photo database or the like that stores data necessary for managing photo data managed by the information input device.
The information input device operates in response to various events from the input device 5 or the like. When an interrupt from the input device 5 or the like occurs (when an interrupt is supplied), a signal is sent to the CPU 1. Along with this, an event occurs, and the CPU 1 reads various instructions stored in the ROM 3 or RAM 4 in accordance with the event, and various controls are performed by executing the instructions. For example, the CPU 1 (computer) performs processing according to the procedure of a program stored in the RAM 4, thereby realizing functions in the information input device and processing according to a flowchart described later.

図２は、情報入力装置によるメタデータの付与（メタデータ付与）の例を示した図である。
１枚目の写真データ２−１及び２枚目の写真データ２−２は、メタデータの付与が指示されていない状態で撮影された写真データであり、メタデータが付与されていない。
３枚目の写真データ２−３は、メタデータの付与の指示のために二次元バーコード（例えば、ＱＲコード（株式会社デンソーウェーブの商標））が撮影された写真データである。ＣＰＵ１は、二次元バーコードを解析し、文字列「場所＝東大寺」を抽出し、メタデータの付与の指示と解釈する。したがって、ＣＰＵ１は、４枚目の写真データ２−４及び５枚目の写真データ２−５に「場所＝東大寺」のメタデータを付与する。
６枚目の写真データ２−６は、二次元バーコードが撮影された写真データである。ＣＰＵ１は、二次元バーコードを解析し、「場所＝金閣寺」のメタデータの付与の指示であると解釈する。そして、ＣＰＵ１は、７枚目の写真データ２−７に「場所＝金閣寺」のメタデータを自動的に付与する。
このように、付与すべきメタデータを指示するコマンド（被写体）がユーザにより撮影されると、ＣＰＵ１は、撮影されたコマンドを解析してメタデータ指定であるか否かを判定し、付与すべきメタデータを指定する。また、ＣＰＵ１は、メタデータが指定されているときに写真撮影が行われると、指定されたメタデータを写真データに自動的に付与する。 FIG. 2 is a diagram illustrating an example of metadata assignment (metadata assignment) by the information input device.
The first photo data 2-1 and the second photo data 2-2 are photo data taken in a state where no metadata is instructed, and no metadata is assigned.
The third photograph data 2-3 is photograph data in which a two-dimensional barcode (for example, a QR code (trademark of Denso Wave Co., Ltd.)) is taken for giving an instruction to give metadata. The CPU 1 analyzes the two-dimensional barcode, extracts the character string “Place = Todaiji”, and interprets it as an instruction to give metadata. Therefore, the CPU 1 assigns metadata of “place = Todaiji” to the fourth photo data 2-4 and the fifth photo data 2-5.
The sixth photograph data 2-6 is photograph data obtained by photographing a two-dimensional barcode. The CPU 1 analyzes the two-dimensional barcode and interprets it as an instruction to give metadata of “place = Kinkakuji”. Then, the CPU 1 automatically assigns metadata of “place = Kinkakuji” to the seventh piece of photo data 2-7.
As described above, when a command (subject) for instructing metadata to be added is photographed by the user, the CPU 1 analyzes the photographed command to determine whether or not the metadata is designated, and should be given. Specify metadata. In addition, when taking a picture when the metadata is designated, the CPU 1 automatically assigns the designated metadata to the photograph data.

図３は、メタデータを指定した写真データ（メタデータ指定）の解析の例を示す図である。
解析例３−１は、テキストでメタデータが指定される例であり、写真データに係る被写体は、メタデータを文字列で表現したものである。ここで「場所＝東大寺」と書かれた画像（文字列画像）が撮影されると、ＣＰＵ１は、文字列画像から自動的に文字を抽出する（例えば、ＯＣＲ機能により文字列が抽出される）。そして、ＣＰＵ１は、その文字列を解析して、属性が「場所」であり、値が「東大寺」であるメタデータ指定であると解釈する。
解析例３−２は、二次元バーコードでメタデータが指定される例である。例示した二次元バーコードには、文字列「場所＝東大寺」がコード化されて格納されているとする。ＣＰＵ１は、二次元バーコードを解析することによって、文字列「場所＝東大寺」を抽出し、属性が「場所」であり、値が「東大寺」であるメタデータ指定であると解釈する。
解析例３−３は、ＵＲＬでメタデータが指定される例であり、写真データに係る被写体は、ＵＲＬを表したもの（ＵＲＬに係る表現）である。文字列画像又は二次元バーコードとしてＵＲＬ等の文字列が指定されると、まず、ＣＰＵ１は、ＵＲＬ（アドレス）に対応して付与すべきメタデータを格納した対応表（ＵＲＬ・メタデータ対応表）から「場所＝東大寺」を検索する。そして、ＣＰＵ１は、属性が「場所」であり、値が「東大寺」であるメタデータ指定であると解釈する。
解析例３−４は、ＵＲＬでメタデータが指定される例であり、写真データに係る被写体は、ＵＲＬを表したものである。ＣＰＵ１は、ＵＲＬ・メタデータ対応表を用いずに、実際にＵＲＬの示すウェブページにアクセスして情報を抜き出して「場所＝東大寺」を認識し、属性が「場所」であり、値が「東大寺」であるメタデータ指定であると解釈する。 FIG. 3 is a diagram illustrating an example of analysis of photo data (metadata designation) in which metadata is designated.
The analysis example 3-1 is an example in which metadata is designated by text, and the subject related to the photographic data represents the metadata as a character string. Here, when an image (character string image) written as “Place = Todaiji” is photographed, the CPU 1 automatically extracts characters from the character string image (for example, character strings are extracted by the OCR function). . Then, the CPU 1 analyzes the character string and interprets it as metadata designation having the attribute “location” and the value “Todaiji”.
Analysis example 3-2 is an example in which metadata is specified by a two-dimensional barcode. In the illustrated two-dimensional barcode, it is assumed that the character string “place = Todaiji” is encoded and stored. The CPU 1 analyzes the two-dimensional bar code, extracts the character string “place = Todaiji”, and interprets it as metadata designation with the attribute “place” and the value “Todaiji”.
The analysis example 3-3 is an example in which metadata is specified by a URL, and the subject related to the photographic data represents the URL (expression related to the URL). When a character string such as a URL is specified as a character string image or a two-dimensional barcode, first, the CPU 1 first stores a correspondence table (URL / metadata correspondence table) storing metadata to be assigned in correspondence with the URL (address). ) To search for “Place = Todaiji”. Then, the CPU 1 interprets it as a metadata designation having an attribute “location” and a value “Todaiji”.
Analysis example 3-4 is an example in which metadata is specified by a URL, and a subject related to photographic data represents a URL. The CPU 1 actually accesses the web page indicated by the URL without using the URL / metadata correspondence table, extracts the information, recognizes “location = Todaiji”, has the attribute “location”, and has the value “Todaiji” ”Is interpreted as metadata specification.

図４は、写真データを管理するための情報である写真データベースの構成の例を示す図である。４−１は、写真データであり、写真データベースは、撮影された画像データである写真データを記憶する。４−２は、撮影された写真データに付与されたメタデータであり、写真データベースは、メタデータを記憶する。属性の一例である「撮影日時」は、撮影が行われた日時を表す。例えば、「200510111200」は、撮影が行われた日時が「2005年10月11日12時0分」であることを表している。属性の一例である「撮影場所」は、その写真が撮影された場所（位置情報）を表す。例えば、「撮影場所＝東大寺」は、その写真が撮影された場所が東大寺であることを表している。 FIG. 4 is a diagram showing an example of the configuration of a photo database that is information for managing photo data. Reference numeral 4-1 denotes photograph data, and the photograph database stores photograph data that is photographed image data. 4-2 is metadata attached to the photographed photograph data, and the photograph database stores the metadata. “Shooting date and time” as an example of an attribute represents the date and time when shooting was performed. For example, “200510111200” represents that the date and time when the image was taken was “October 11, 2005 12:00:00”. “Capture location” as an example of an attribute represents a location (position information) where the photograph was taken. For example, “shooting location = Todaiji” indicates that the location where the photograph was taken is Todaiji.

図５は、ＵＲＬ・メタデータ対応表の構成の例を示す図である。ＵＲＬ・メタデータ対応表には、ＵＲＬに対して、付与すべきメタデータが規定されている。５−１は、ＵＲＬを示すフィールドであり、５−２は、付与すべきメタデータを示すフィールドである。ここで、ＣＰＵ１は、フィールド５−１に示すＵＲＬを検出した場合には、検出したＵＲＬに対応するフィールド５−２に示すメタデータを写真データに付与する。 FIG. 5 is a diagram showing an example of the configuration of the URL / metadata correspondence table. In the URL / metadata correspondence table, metadata to be added to the URL is defined. 5-1 is a field indicating a URL, and 5-2 is a field indicating metadata to be added. When the CPU 1 detects the URL shown in the field 5-1, the CPU 1 adds the metadata shown in the field 5-2 corresponding to the detected URL to the photo data.

上述した動作をフローチャートに従って説明する。図６は、情報入力装置の動作、より具体的にはＣＰＵ１の処理手順に係るフローチャートを示す図である。
ステップＳ６−１では、ＣＰＵ１は、システムを初期化する処理を行う。ここで、ＣＰＵ１は、各種パラメータの初期化、初期画面の表示等を行う。
ステップＳ６−２では、ＣＰＵ１は、ボタン押下等の入力装置５から何らかのイベントが発生するのを待つ。イベントが発生すると、ＣＰＵ１は、発生したイベントを判別し（ステップＳ６−３）、イベントの種類に応じて各種の処理を行う（ステップＳ６−４）。このとき、ＣＰＵ１は、図７で詳述するメタデータ設定処理、図１０で詳述するメタデータ終了処理、図１１で詳述する撮影処理を行う。また、ＣＰＵ１は、図１２で詳述するメタデータ設定モードON処理、図１３で詳述するメタデータ設定モードOFF処理、図１４で詳述する他の実施形態による撮影処理を行う。なお、その他の処理としては、詳細は記述しないが、写真削除処理、写真編集処理等の処理がある。
ステップＳ６−５では、ＣＰＵ１は、上述の各処理の結果を通知する処理を行う。例えば、ＣＰＵ１は、エラーがあった場合のエラー表示、正常終了の場合の終了表示等、通常広く行われる処理を行う。 The operation described above will be described according to the flowchart. FIG. 6 is a flowchart illustrating the operation of the information input device, more specifically, the processing procedure of the CPU 1.
In step S6-1, the CPU 1 performs processing for initializing the system. Here, the CPU 1 performs initialization of various parameters, display of an initial screen, and the like.
In step S6-2, the CPU 1 waits for an event to occur from the input device 5 such as a button press. When an event occurs, the CPU 1 determines the event that has occurred (step S6-3), and performs various processes according to the type of event (step S6-4). At this time, the CPU 1 performs a metadata setting process detailed in FIG. 7, a metadata end process detailed in FIG. 10, and a photographing process detailed in FIG. Further, the CPU 1 performs a metadata setting mode ON process detailed in FIG. 12, a metadata setting mode OFF process detailed in FIG. 13, and a photographing process according to another embodiment detailed in FIG. As other processing, although details are not described, there are processing such as photo deletion processing and photo editing processing.
In step S6-5, the CPU 1 performs a process of notifying the result of each process described above. For example, the CPU 1 performs processing that is normally performed widely, such as an error display when there is an error and an end display when the operation ends normally.

図７は、ステップＳ６−４の処理の一例であるメタデータ設定処理に係るフローチャートを示す図である。
ステップＳ７−１では、画像入力手段の一例であるＣＰＵ１は、撮影が行われると、撮影に関する処理を行い、写真データ（撮影画像）を取得する。ステップＳ７−２では、ＣＰＵ１は、取得した写真データに対して領域を分割する処理を行って処理の対象とする領域を抽出し、抽出した領域の解析処理を行う。解析の結果として、ＣＰＵ１は、二次元バーコードからは二次元バーコードが表現する文字列、文字列画像からはＯＣＲ処理等を施して変換した文字列を抽出する。
ステップＳ７−３では、ＣＰＵ１は、ＵＲＬを含む被写体（ＵＲＬ文字列）が撮影された場合には、ＵＲＬ文字列を解析し、サーバ等にアクセスしてウェブページの文字列を取得する。或いは、ＣＰＵ１は、ＵＲＬ文字列のまま次の処理を行う。ステップＳ７−４では、ＣＰＵ１は、取得した文字列を解析してメタデータを抽出する。ここで、取得した文字列がＵＲＬ、自然言語等で記述され、直接的なメタデータを示す文字列となっていない場合は、ＣＰＵ１は、例えば、図８、図９に示す処理を行い、メタデータを取得する。すなわち、入手手段の一例であるＣＰＵ１は、写真データに対応したメタデータを入手する。 FIG. 7 is a diagram illustrating a flowchart relating to metadata setting processing which is an example of processing in step S6-4.
In step S7-1, the CPU 1, which is an example of an image input unit, performs shooting processing and acquires photo data (captured image) when shooting is performed. In step S <b> 7-2, the CPU 1 performs a process for dividing the acquired photograph data to extract a region to be processed, and performs an analysis process for the extracted region. As a result of the analysis, the CPU 1 extracts a character string expressed by the two-dimensional barcode from the two-dimensional barcode and a character string converted by performing OCR processing or the like from the character string image.
In step S7-3, when a subject (URL character string) including a URL is photographed, the CPU 1 analyzes the URL character string and accesses a server or the like to obtain the character string of the web page. Alternatively, the CPU 1 performs the following process with the URL character string. In step S7-4, the CPU 1 analyzes the acquired character string and extracts metadata. Here, when the acquired character string is described in URL, natural language, or the like and is not a character string indicating direct metadata, the CPU 1 performs the processing shown in FIGS. Get the data. That is, the CPU 1 which is an example of the obtaining unit obtains metadata corresponding to the photo data.

ステップＳ７−５では、ＣＰＵ１は、取得（抽出）したメタデータをオペレータ（ユーザ）に提示する。ステップＳ７−６では、ＣＰＵ１は、ユーザに提示したメタデータに対し、ユーザが了解できるか否かの確認を行い、了解できない指示を受け付けた（OKでない）場合には、ステップＳ７−７の処理を行う。ステップＳ７−７では、ＣＰＵ１は、抽出したメタデータを廃棄してリターンする。他方、了解できる指示を受け付けた（OKである）場合には、ＣＰＵ１は、ステップＳ７−８の処理を行う。ステップＳ７−８では、ＣＰＵ１は、抽出したメタデータをメタデータ設定値としてＲＡＭ４に記憶する。
ステップＳ７−９では、ＣＰＵ１は、ＲＴＣ８から現在時刻を取得し、ＧＰＳ９から現在位置を取得し、メタデータ設定値としてＲＡＭ４に記憶し、リターンする。 In step S7-5, the CPU 1 presents the acquired (extracted) metadata to the operator (user). In step S7-6, the CPU 1 confirms whether or not the user can understand the metadata presented to the user, and if an instruction that cannot be accepted is accepted (not OK), the process of step S7-7. I do. In step S7-7, the CPU 1 discards the extracted metadata and returns. On the other hand, when an instruction that can be understood is accepted (it is OK), the CPU 1 performs the process of step S7-8. In step S7-8, the CPU 1 stores the extracted metadata in the RAM 4 as a metadata setting value.
In step S7-9, the CPU 1 acquires the current time from the RTC 8, acquires the current position from the GPS 9, stores it in the RAM 4 as a metadata setting value, and returns.

図８は、テーブルルックアップによりＵＲＬからメタデータを抽出する処理に係るフローチャートを示す図である。ステップＳ８−１では、ＣＰＵ１は、与えられたＵＲＬに対してＵＲＬ・メタデータ対応表をルックアップする。なお、ＵＲＬ・メタデータ対応表には、ＵＲＬに対応して付与すべきメタデータが格納されている。ステップＳ８−２では、ＣＰＵ１は、ルックアップの結果、該当するメタデータを取得し、メタデータとして出力する。
図９は、自然言語で記述された文字列からメタデータを抽出する処理に係るフローチャートを示す図である。ステップＳ９−１では、ＣＰＵ１は、対象となる自然言語で記述された文字列を構文解析する。ステップＳ９−２では、ＣＰＵ１は、解析の結果から重要語を抽出し、更に重要語の中から場所を示す単語をピックアップする。例えば、ＣＰＵ１は、この段階で単語「東大寺」を抽出する。ステップＳ９−３では、ＣＰＵ１は、抽出した単語からメタデータを生成して出力する。例えば、ＣＰＵ１は、「場所＝東大寺」というメタデータを生成する。
図１０は、ステップＳ６−４の処理の一例であるメタデータ終了処理に係るフローチャートを示す図である。ステップＳ１０−１では、ＣＰＵ１は、メタデータ設定値をすべて廃棄し、リターンする。 FIG. 8 is a flowchart illustrating processing for extracting metadata from a URL by table lookup. In step S8-1, the CPU 1 looks up the URL / metadata correspondence table for the given URL. The URL / metadata correspondence table stores metadata to be assigned corresponding to the URL. In step S8-2, the CPU 1 acquires corresponding metadata as a result of the lookup, and outputs it as metadata.
FIG. 9 is a flowchart illustrating processing for extracting metadata from a character string described in a natural language. In step S9-1, the CPU 1 parses the character string described in the target natural language. In step S9-2, the CPU 1 extracts an important word from the analysis result, and further picks up a word indicating a location from the important word. For example, the CPU 1 extracts the word “Todaiji” at this stage. In step S9-3, the CPU 1 generates and outputs metadata from the extracted word. For example, the CPU 1 generates metadata “place = Todaiji”.
FIG. 10 is a diagram illustrating a flowchart relating to metadata end processing which is an example of processing in step S6-4. In step S10-1, the CPU 1 discards all metadata setting values and returns.

図１１は、ステップＳ６−４の処理の一例である撮影処理に係るフローチャートを示す図である。
ステップＳ１１−１では、ＣＰＵ１は、各種の初期化の処理を行う。ステップＳ１１−２では、ＣＰＵ１は、撮影が行われると、写真データを取得する。ここで、ＣＰＵ１は、取得した写真データを写真データベースに新規に格納（エントリー）する。続いて、ＣＰＵ１は、撮影に伴って発生する通常のメタデータ（撮影時刻等）を取得した写真データに付与する。
ステップＳ１１−３では、判定手段の一例であるＣＰＵ１は、メタデータ設定値が存在するか否かを判定する。メタデータ設定値が存在しない場合（メタデータ指定でない場合）には、ＣＰＵ１は、設定すべきメタデータがないので、そのままリターンする。他方、メタデータ設定値が存在する場合（メタデータ指定である場合）には、ＣＰＵ１は、ステップＳ１１−４の処理を行う。すなわち、ＣＰＵ１は、写真データに係る被写体を解析した結果であるメタデータ設定値に基づいて、メタデータ指定であるか否かを判定する。 FIG. 11 is a diagram illustrating a flowchart relating to a photographing process which is an example of the process of step S6-4.
In step S11-1, the CPU 1 performs various initialization processes. In step S <b> 11-2, the CPU 1 acquires photo data when shooting is performed. Here, the CPU 1 newly stores (entries) the acquired photograph data in the photograph database. Subsequently, the CPU 1 assigns normal metadata (photographing time, etc.) generated with photographing to the acquired photograph data.
In step S11-3, the CPU 1, which is an example of a determination unit, determines whether a metadata setting value exists. When there is no metadata setting value (when metadata is not specified), the CPU 1 returns as it is because there is no metadata to be set. On the other hand, when there is a metadata setting value (when metadata is specified), the CPU 1 performs the process of step S11-4. That is, the CPU 1 determines whether or not the metadata is designated based on the metadata setting value that is the result of analyzing the subject related to the photographic data.

ステップＳ１１−４では、時間取得手段及び位置取得手段の一例であるＣＰＵ１は、現在時刻（時間情報）をＲＴＣ８から取得し、現在位置（位置情報）をＧＰＳ９から取得する。
ステップＳ１１−５では、ＣＰＵ１は、取得した現在時刻が以前取得した時刻から所定時間（例えば、１時間）以上、経過しているか否かを判定する。換言するならば、ＣＰＵ１は、メタデータ指定が行われてから写真データが入力されるまでの時間が予め指定された時間以上であるか否かを判定する。このとき、所定時間以上経過しているときはタイムアウトであり、第１の指定解除手段の一例であるＣＰＵ１は、メタデータ設定値が無効と解釈し、メタデータ指定を解除してそのままリターンする。他方、所定時間以上経過していないときは、ＣＰＵ１は、ステップＳ１１−６の処理を行う。
ステップＳ１１−６では、距離測定手段の一例であるＣＰＵ１は、取得した位置と以前取得した位置との距離（取得した２つの位置情報の間の距離）が所定距離（予め指定された距離）以上であるか否かを判定する。所定距離以上である場合には、ＣＰＵ１は、メタデータ設定値が無効と解釈し、そのままリターンする。なお、このとき、例えば、第２の指定解除手段の一例であるＣＰＵ１は、メタデータ指定を解除する。他方、所定距離未満である場合には、ＣＰＵ１は、ステップＳ１１−７の処理を行う。
ステップＳ１１−７では、自動付与手段の一例であるＣＰＵ１は、メタデータ設定値が有効であることを確認しているので、メタデータ設定値（メタデータ）を写真データに付与する。換言するならば、ＣＰＵ１は、メタデータ指定であると判定した場合に、入手したメタデータを写真データに対して自動的に付与する。ステップＳ１１−８では、ＣＰＵ１は、メタデータ設定値として記憶されている、時刻情報を現在時刻で更新し、位置情報を現在位置で更新してリターンする。 In step S11-4, the CPU 1 as an example of the time acquisition unit and the position acquisition unit acquires the current time (time information) from the RTC 8, and acquires the current position (position information) from the GPS 9.
In step S11-5, the CPU 1 determines whether or not the acquired current time has passed a predetermined time (for example, one hour) or more from the previously acquired time. In other words, the CPU 1 determines whether or not the time from when the metadata is specified to when the photo data is input is equal to or longer than a predetermined time. At this time, if a predetermined time or more has elapsed, it is time-out, and the CPU 1 as an example of the first designation cancellation means interprets that the metadata setting value is invalid, cancels the metadata designation, and returns. On the other hand, when the predetermined time or more has not elapsed, the CPU 1 performs the process of step S11-6.
In step S11-6, the CPU 1, which is an example of the distance measuring unit, determines that the distance between the acquired position and the previously acquired position (the distance between the two acquired pieces of position information) is equal to or greater than a predetermined distance (predesignated distance). It is determined whether or not. If the distance is equal to or greater than the predetermined distance, the CPU 1 interprets that the metadata setting value is invalid and returns as it is. At this time, for example, the CPU 1 which is an example of the second designation cancellation unit cancels the metadata designation. On the other hand, if the distance is less than the predetermined distance, the CPU 1 performs the process of step S11-7.
In step S11-7, the CPU 1, which is an example of an automatic assigning unit, confirms that the metadata setting value is valid, and therefore assigns the metadata setting value (metadata) to the photo data. In other words, when it is determined that the metadata is designated, the CPU 1 automatically gives the obtained metadata to the photo data. In step S11-8, the CPU 1 updates the time information stored as the metadata setting value with the current time, updates the position information with the current position, and returns.

＜第２の実施形態＞
第１の実施形態においては、メタデータの付与の指示を通常の撮影ボタンとは異なる特別なボタン等で与えていた。これに対し、本実施形態は、ある種のモード（メタデータ設定モードフラグ）を用意し、そのモード内で通常の撮影ボタンで撮影することで、メタデータを指定できるように構成する。この場合、ＣＰＵ１は、メタデータ設定モードフラグを図１２及び図１３に示すようにON、OFFする。付言するならば、ON及びOFFの切替えは、例えば、ユーザにより入力装置５を介して適宜行われる。
図１２は、ステップＳ６−４の処理の一例であるメタデータ設定モードON処理に係るフローチャートを示す図である。ステップＳ１２−１では、ＣＰＵ１は、ＲＡＭ４に設けられる領域内に確保されているメタデータ設定モードフラグをONに設定してリターンする。
図１３は、ステップＳ６−４の処理の一例であるメタデータ設定モードOFF処理に係るフローチャートを示す図である。ステップＳ１３−１では、ＣＰＵ１は、ＲＡＭ４に設けられる領域内に確保されているメタデータ設定モードフラグをOFFに設定してリターンする。 <Second Embodiment>
In the first embodiment, an instruction to give metadata is given by a special button or the like different from a normal shooting button. In contrast, the present embodiment is configured such that a certain mode (metadata setting mode flag) is prepared, and metadata can be designated by shooting with a normal shooting button in that mode. In this case, the CPU 1 turns on and off the metadata setting mode flag as shown in FIGS. In other words, switching between ON and OFF is appropriately performed by the user via the input device 5, for example.
FIG. 12 is a flowchart illustrating a metadata setting mode ON process that is an example of the process of step S6-4. In step S12-1, the CPU 1 sets the metadata setting mode flag reserved in the area provided in the RAM 4 to ON and returns.
FIG. 13 is a flowchart illustrating a metadata setting mode OFF process that is an example of the process of step S6-4. In step S13-1, the CPU 1 sets the metadata setting mode flag secured in the area provided in the RAM 4 to OFF and returns.

図１４は、ステップＳ６−４の処理の一例である撮影処理を、第２の実施形態に基づいて詳細化したフローチャートを示す図である。
ステップＳ１４−１では、ＣＰＵ１は、各種の初期化の処理を行う。ステップＳ１４−２では、ＣＰＵ１は、撮影が行われると、写真データを取得する。ここで、ＣＰＵ１は、取得した写真データを写真データベースに新規に格納する。続いて、ＣＰＵ１は、撮影に伴って発生する通常のメタデータ（撮影時刻等）を取得した写真データに付与する。
ステップＳ１４−３では、ＣＰＵ１は、メタデータ設定モードフラグがONであるか否か判定する。OFFである場合には、ＣＰＵ１は、通常の撮影処理をすべくステップＳ１４−４の処理を行う。他方、ONである場合には、ＣＰＵ１は、付与すべきメタデータを取得するためにステップＳ１４−１０の処理を行う。 FIG. 14 is a diagram illustrating a flowchart in which imaging processing, which is an example of processing in step S6-4, is detailed based on the second embodiment.
In step S14-1, the CPU 1 performs various initialization processes. In step S <b> 14-2, the CPU 1 acquires photo data when shooting is performed. Here, the CPU 1 newly stores the acquired photo data in the photo database. Subsequently, the CPU 1 assigns normal metadata (photographing time, etc.) generated with photographing to the acquired photograph data.
In step S14-3, the CPU 1 determines whether or not the metadata setting mode flag is ON. If it is OFF, the CPU 1 performs the process of step S14-4 to perform a normal shooting process. On the other hand, if it is ON, the CPU 1 performs the process of step S14-10 to acquire the metadata to be added.

ステップＳ１４−４では、ＣＰＵ１は、メタデータ設定値が存在するか否かを判定する。メタデータ設定値が存在しない場合には、ＣＰＵ１は、設定すべきメタデータがないので、そのままリターンする。他方、メタデータ設定値が存在する場合には、ＣＰＵ１は、ステップＳ１４−５の処理を行う。ステップＳ１４−５では、ＣＰＵ１は、現在時刻をＲＴＣ８から取得し、現在位置をＧＰＳ９から取得する。
ステップＳ１４−６では、ＣＰＵ１は、取得した現在時刻が以前取得した時刻から所定時間（例えば、１時間）以上、経過しているか否かを判定する。所定時間以上経過しているときはタイムアウトであり、ＣＰＵ１は、メタデータ設定値が無効と解釈して、そのままリターンする。他方、所定時間以上経過していない場合は、ＣＰＵ１は、ステップＳ１４−７の処理を行う。
ステップＳ１４−７では、ＣＰＵ１は、取得した位置が以前取得した位置から所定以上離れているか否かを判定する。所定以上離れている場合は、ＣＰＵ１は、メタデータ設定値が無効と解釈して、そのままリターンする。他方、所定以上離れていない場合は、ＣＰＵ１は、ステップＳ１４−８の処理を行う。
ステップＳ１４−８では、ＣＰＵ１は、メタデータ設定値が有効であることを確認しているので、メタデータ設定値（メタデータ）を写真データに付与する。ステップＳ１４−９では、ＣＰＵ１は、メタデータ設定値として記憶されている、時刻情報を現在時刻で更新し、位置情報を現在位置で更新してリターンする。 In step S14-4, the CPU 1 determines whether a metadata setting value exists. If there is no metadata setting value, the CPU 1 returns as it is because there is no metadata to be set. On the other hand, when the metadata setting value exists, the CPU 1 performs the process of step S14-5. In step S14-5, the CPU 1 acquires the current time from the RTC 8, and acquires the current position from the GPS 9.
In step S14-6, the CPU 1 determines whether or not the acquired current time has passed a predetermined time (for example, one hour) or more from the previously acquired time. When the predetermined time or more has elapsed, it is time-out, and the CPU 1 interprets that the metadata setting value is invalid and returns as it is. On the other hand, if the predetermined time or more has not elapsed, the CPU 1 performs the process of step S14-7.
In step S14-7, the CPU 1 determines whether or not the acquired position is more than a predetermined distance from the previously acquired position. If it is more than a predetermined distance, the CPU 1 interprets that the metadata setting value is invalid and returns as it is. On the other hand, if not more than a predetermined distance, the CPU 1 performs the process of step S14-8.
In step S14-8, since the CPU 1 confirms that the metadata setting value is valid, the CPU 1 gives the metadata setting value (metadata) to the photo data. In step S14-9, the CPU 1 updates the time information stored as the metadata setting value with the current time, updates the position information with the current position, and returns.

ステップＳ１４−１０では、ＣＰＵ１は、取得した写真データに対して領域を分割する処理を行い、処理の対象とする領域を抽出し、解析処理を行う。解析の結果、ＣＰＵ１は、二次元バーコードからは二次元バーコードが表現する文字列、文字列画像からはＯＣＲ処理等を施して変換した文字列を抽出する。
ステップＳ１４−１１では、ＣＰＵ１は、ＵＲＬを含む被写体（ＵＲＬ文字列）が撮影された場合には、ＵＲＬ文字列を解析し、サーバ等にアクセスしてウェブページの文字列を取得する。或いは、ＣＰＵ１は、ＵＲＬ文字列のまま次の処理を行う。ステップＳ１４−１２では、ＣＰＵ１は、取得した文字列を解析してメタデータを抽出する。ここで、取得した文字列がＵＲＬ、自然言語等で記述され、直接的なメタデータを示す文字列となっていない場合は、ＣＰＵ１は、例えば、図８、図９に示す処理を行い、メタデータを取得する。
ステップＳ１４−１３では、ＣＰＵ１は、抽出したメタデータをユーザに提示する。ステップＳ１４−１４では、ＣＰＵ１は、提示したメタデータに対しユーザが了解できるか否かの確認を行い、OKでない場合には、ＣＰＵ１は、抽出したメタデータを廃棄し（ステップＳ１４−１５）、リターンする。他方、OKである場合には、ＣＰＵ１は、ステップＳ１４−１６の処理を行う。ステップＳ１４−１６では、ＣＰＵ１は、抽出したメタデータをメタデータ設定値として記憶する。
ステップＳ１４−１７では、ＣＰＵ１は、ＲＴＣ８から現在時刻を取得し、ＧＰＳ９から現在位置を取得し、メタデータ設定値としてＲＡＭ４に記憶し、リターンする。 In step S <b> 14-10, the CPU 1 performs a process of dividing an area on the acquired photographic data, extracts an area to be processed, and performs an analysis process. As a result of the analysis, the CPU 1 extracts a character string expressed by the two-dimensional barcode from the two-dimensional barcode and a character string converted by performing OCR processing or the like from the character string image.
In step S14-11, when a subject (URL character string) including a URL is photographed, the CPU 1 analyzes the URL character string and accesses a server or the like to obtain the character string of the web page. Alternatively, the CPU 1 performs the following process with the URL character string. In step S14-12, the CPU 1 analyzes the acquired character string and extracts metadata. Here, when the acquired character string is described in URL, natural language, or the like and is not a character string indicating direct metadata, the CPU 1 performs the processing shown in FIGS. Get the data.
In step S14-13, the CPU 1 presents the extracted metadata to the user. In step S14-14, the CPU 1 checks whether or not the user can understand the presented metadata. If not, the CPU 1 discards the extracted metadata (step S14-15). Return. On the other hand, if it is OK, the CPU 1 performs the process of step S14-16. In step S14-16, the CPU 1 stores the extracted metadata as a metadata setting value.
In step S14-17, the CPU 1 acquires the current time from the RTC 8, acquires the current position from the GPS 9, stores it in the RAM 4 as a metadata setting value, and returns.

上述した各実施形態においては、ＣＰＵ１は、メタデータを文字列の形で付与、保管等するが、適切なバイナリ値で保管することもできる。また、ＣＰＵ１は、メタデータをXML表現等で保持することもできる。
また、上述した構成によれば、ある程度人間が介在することを容認しつつ、デジタルカメラの負荷を低減して、画像データにメタデータをより簡便に付与することができる。また、上述した構成によれば、画像データへのメタデータの付与を促進し、例えば地名情報の付与を促進し、人間にとって意味のあるフィルタリングを可能にすることができる。また、上述した構成によれば、操作性の高い情報入力方法を実現することができる。 In each of the embodiments described above, the CPU 1 assigns and stores metadata in the form of a character string, but can also store it in an appropriate binary value. Further, the CPU 1 can also hold metadata in XML representation or the like.
In addition, according to the above-described configuration, it is possible to more easily add metadata to image data while reducing the load on the digital camera while allowing human intervention to some extent. Further, according to the above-described configuration, it is possible to promote the provision of metadata to image data, for example, promote the provision of place name information, and enable filtering that is meaningful to humans. Moreover, according to the structure mentioned above, the information input method with high operativity is realizable.

＜その他の実施形態＞
上述した実施形態の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパソコン等の処理装置（ＣＰＵ１、プロセッサ）にて実行することでも実現できる。 <Other embodiments>
Each process of the embodiment described above can also be realized by executing software (program) acquired via a network or various storage media by a processing device (CPU1, processor) such as a personal computer.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the present invention described in the claims.・ Change is possible.

１ＣＰＵ、２バス、３ＲＯＭ、４ＲＡＭ、５入力装置、６表示装置、７撮影装置 1 CPU, 2 buses, 3 ROM, 4 RAM, 5 input device, 6 display device, 7 photographing device

Claims

An image input step for inputting image data in accordance with an image input instruction;
A determination step of analyzing the subject related to the image data input in the image input step and determining whether or not the metadata is specified;
An acquisition step to obtain metadata;
An automatic granting step of automatically giving the metadata obtained in the obtaining step to the image data when it is judged that the metadata is designated in the judging step;
An information input method characterized by comprising:

The information input method according to claim 1, wherein the subject is a representation of the metadata in a character string.

The subject is an expression related to a URL,
The information input method according to claim 1, wherein the obtaining step obtains metadata by converting the URL.

The subject is an expression related to a URL,
2. The information input method according to claim 1, wherein the obtaining step obtains metadata by accessing information according to the URL.

A time acquisition step for acquiring time information;
A first designation cancellation step of canceling the metadata designation when a time from when the metadata designation is performed to when the image data is input is equal to or longer than a predetermined time;
The information input method according to claim 1, further comprising:

A position acquisition step for acquiring position information;
A distance measuring step for measuring a distance between the two pieces of position information acquired in the position acquiring step;
A second designation for canceling the designation of metadata when the distance from the designation of the metadata measured in the distance measurement step to the input of the image data is equal to or greater than a predetermined distance A release step;
The information input method according to claim 1, further comprising:

Computer
Image input means for inputting image data in accordance with an image input instruction;
A determination unit that analyzes a subject related to the image data input by the image input unit and determines whether or not the metadata is specified;
A means of obtaining metadata,
When it is determined that the metadata is designated by the determination unit, an automatic grant unit that automatically gives the metadata acquired by the acquisition unit to the image data;
A program characterized by making it function.

Image input means for inputting image data in accordance with an image input instruction;
A determination unit that analyzes a subject related to the image data input by the image input unit and determines whether or not the metadata is specified;
A means of obtaining metadata,
When it is determined that the metadata is designated by the determination unit, an automatic grant unit that automatically gives the metadata acquired by the acquisition unit to the image data;
An information input device comprising: