JP2018081645A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】画像に関連する文章の整合性を容易に判定する技術を提供すること。【解決手段】情報処理装置において、情報処理装置は、画像から所定の項目に関する情報を画像情報として取得する画像取得部と、画像に関連する文章から所定の項目に関する情報をとして文章情報を取得する文章取得部と、画像情報と文章情報とを比較する比較部と、前記比較の結果、画像情報と文章情報との不整合が検出された場合に、画像及び文章の不整合に関する通知情報を生成する通知生成部と、を備える。【選択図】図１

Description

本発明は、画像に文章を付与する際に文章の誤入力を防ぐための技術に関する。

近年、画像と当該画像に関連する文章とを対応付けて管理するサービスが普及している。ユーザーは、画像に関連する文章を入力し、画像及び文章を関連付けて登録する。この場合、ユーザーが全ての画像に対して文章を付与しようとすると、文章の内容を思案する時間、及び文章を記述するのにかかるユーザへの負担が大きくなる。
これに対して、画像のメタ情報を利用して、画像に付与する文章を自動的に生成し画像に付与する技術がある。例えば、特許文献１には、被写体の属性情報に基づいて撮影画像データに対するコメント文を作成する技術が開示されている。これにより、画像に関連する文章を入力する際のユーザへの負担を軽減しようとしている。

特開２００６−３５０５５０号公報

しかしながら、ユーザーは、生成された文章を事後的に誤った内容に変更することがある。例えば、ユーザーは、画像に関連する文章を編集する際に被写体の名称などを誤り、画像の情報と整合しない文章に変更することがあった。かかる場合にユーザーは画像及び文章の不整合に気付かないことがあった。
そこで、本発明は、画像に関連する文章の整合性を容易に判定する技術を提供することを目的とする。

本発明の第一態様は、情報処理装置において、前記画像から所定の項目に関する情報を画像情報として取得する画像取得部と、前記画像に関連する文章から前記所定の項目に関する情報を文章情報として取得する文章取得部と、前記画像情報と前記文章情報とを比較する比較部と、前記比較の結果、前記画像情報と前記文章情報との不整合が検出された場合に、前記画像及び前記文章の不整合に関する通知情報を生成する通知生成部と、を備えることを特徴とする情報処理装置を提供する。

本発明の第二態様は、コンピュータが、画像と該画像に関する文章との不整合を検出する情報処理方法において、コンピュータが、前記画像から所定の項目に関する情報を画像情報として取得するステップと、コンピュータが、前記画像に関連する文章から前記所定の項目に関する情報を文章情報として取得するステップと、コンピュータが、前記画像情報と前記文章情報との不整合を検出するステップと、コンピュータが、前記画像情報と前記文章情報との不整合が検出された場合に、前記画像及び前記文章の不整合に関する通知情報を生成するステップと、を有することを特徴とする情報処理方法を提供する。
本発明の第三態様は、第二態様に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラムを提供する。

本発明によれば、画像に関連する文章の整合性を容易に判定することができる。

第１の実施形態の情報処理装置のソフトウェア構成のブロック図である。 情報処理装置の処理の例を説明する図である。 情報処理装置のハードウェア構成の例を示す図である。 登録画像及び関連文章の第１の表示例を示す図である。 画像文章情報テーブルのデータ構造の一例を示す図である。 第１の実施形態に係る情報処理装置の処理の流れの例を示す図である。 第２の実施形態の情報処理装置のソフトウェア構成のブロック図である。 画像の登録画面の例である。 登録画像及び関連文章の第２の表示例を示す図である。 チェック項目の選択画面の例を示す図である。 画像情報、文章情報及び比較項目のテーブルの第一の構造例の図である。 第２の実施形態に係る情報処理装置の処理の流れの例を示す図である。 登録画像及び関連文章の第３の表示例を示す図である。 関連文章に対応する登録画像の選択画面の例を示す図である。 画像情報及び文章情報に係るテーブルの第二の構造例を示す図である。 第３の実施形態に係る情報処理装置の処理の流れの例を示す図である。

以下、本発明の好ましい実施態様について、図面を参照しながら詳細に説明する。各図において、同一の構成については原則として同一の参照番号をふり、重複する説明は省略する。また、説明を具体化するために例示する数値等は、特に言及しない限りは、これに限定するものではない。
また、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。例えば、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されてもよい。

＜第１の実施形態＞
（情報処理装置１００のソフトウェア構成）
図１は、第１の実施形態の情報処理装置１００のソフトウェア構成を示すブロック図である。情報処理装置１００は、ＯＳやコンピュータプログラムにしたがってＣＰＵ１０１を動作させ、情報処理装置１００の後述する各デバイスを制御することにより、画像情報取得部１１、文章情報取得部１２、不整合検出部１３、通知情報生成部１４及び記憶部２０を実現する。
記憶部２０は、ユーザにより登録された登録画像と、当該登録画像に関連する関連文章とを記憶する記憶領域である。関連文書は、登録画像に関する文章であり、ユーザによって入力された文章である。また、関連文章は、情報処理装置１００により登録画像を基に自動で入力されてもよい。
画像情報取得部１１は、記憶部２０に記録された登録画像から画像情報を取得する機能を有する。画像情報は、登録画像の所定の項目に関する情報である。例えば、所定の項目は、登録画像の被写体、撮影日時及び撮影場所等の画像の属性である。
例えば、画像情報取得部１１は、登録画像を所定の物体認識方法により画像解析して被写体名称等の解析情報を取得する。被写体名称は、登録された登録画像に含まれる被写体の名称である。また、画像情報取得部１１は、登録画像に付随するメタ情報から、撮影場所及び撮影日時等の情報を取得してもよい。例えば、メタ情報は、ＧＰＳ（Global Positioning System）によって取得された撮影場所の位置情報であってもよい。また、メタ情
報は、画像を撮影した装置の内部時計から取得された撮影された日及び時刻等の情報であってもよい。なお、画像情報取得部１１は、画像取得部の一例である。
文章情報取得部１２は、記憶部２０に記録された関連文章から文章情報を取得する機能を有する。文章情報は、関連文章から自動で取得される所定の項目に関する情報である。
例えば、文章情報取得部１２は、所定の文章解析方法により関連文章から被写体名称、撮影場所及び撮影日時等の情報を取得する。なお、文章情報取得部１２は、文章取得部の一例である。
また、画像情報及び文章情報から取得される所定の項目は、共通しており、登録画像から取得した所定の項目を画像情報といい、関連文章から取得した所定の項目を文章情報という。所定の項目としては、例えば、被写体名称、撮影場所及び撮影日時等が含まれる。

不整合検出部１３は、登録画像の画像情報と、当該登録画像に関連する関連文章の文章情報とを比較し、比較の結果に基づきの不整合を検出する機能を有する。例えば、不整合検出部１３は、画像情報取得部１１によって取得された撮影日時と、文章情報取得部１２によって取得された撮影日時とを比較する。そして、比較の結果が異なる場合、撮影日時を不整合の項目として検出する。なお、不整合検出部１３は、比較部の一例である。
通知情報生成部１４は、画像情報と文章情報との不整合が検出された場合に、当該不整合に関する通知情報を生成する機能を有する。
例えば、通知情報生成部１４は、画像情報と文章情報との不整合に関するコメントを生成する。なお、通知情報生成部１４は、通知生成部の一例である。
表示部１５は、登録画像、関連文章及びコメントを表示する機能を有する。例えば、表示部１５は、通知情報生成部１４によって生成されたコメントを不整合が検出された関連文章に隣接する位置に表示する。

図２は、情報処理装置１００の処理の例を説明する図である。画面には、登録画像を表示するための領域５０と、登録画像に関する関連文章を入力するための領域６０とが含まれる。表示部１５は、領域５０に登録画像５１を表示させ、領域６０に関連文章６１を表示させる。登録画像には、撮影日時及び撮影場所等のメタ情報５２が含まれる。

画像情報取得部１１は、登録画像５１及びメタ情報５２から画像情報５５を取得する。例えば、画像情報取得部１１は、所定の物体認識方法により画像解析して登録画像５１から被写体名称を取得する。また、画像情報取得部１１は、メタ情報５２から撮影場所及び撮影日時を取得する。
文章情報取得部１２は、所定の文章解析方法により関連文書６１から文章情報６５を取得する。文章情報６５には、例えば、被写体名称、撮影場所及び撮影日時が含まれる。

不整合検出部１３は、登録画像の画像情報、及び当該登録画像に関連する関連文章の文章情報を比較し、比較の結果にしたがって不整合を検出する。例えば、不整合検出部１３は、画像情報５５の撮影日時と、文章情報の撮影日時とが一致しない場合に不整合の情報として撮影日時を検出する。
通知情報生成部１４は、不整合の情報として検出された撮影日時を用いてコメント７０を生成する。コメント７０は、例えば、「○月×日ではありませんか？」という内容である。情報処理装置１００は、関連文章６０にコメント７０を表示させる。

（情報処理装置のハードウェア構成）
図３は、情報処理装置１００のハードウェア構成の例を示す図である。図３において、ＣＰＵ（Central Processing Unit）１０１は、情報処理装置１００全体を制御する制御
部である。ＲＯＭ（Read Only Memory）１０２は、変更を必要としないプログラムやパラメータを格納するメモリである。ＲＡＭ（Random Access Memory）１０３は、外部記憶装置１０４またはインターネット１１４などから供給されるプログラムやデータを一時記憶するメモリである。外部記憶装置１０４は、情報処理装置１００に固定して設置されたハードディスクやメモリカード、あるいは情報処理装置１００から着脱可能な光ディスク、磁気や光カード、ＩＣカードなどを含む記憶装置である。
操作入力ＩＦ（Interface）１０５は、編集者の操作を受け、各種データを入力するポ
インティングデバイス１０９やキーボード１１０などの入力デバイスとのインターフェイスである。表示ＩＦ１０６は、情報処理装置１００の保持するデータや供給されたデータを表示するためのディスプレイ１１１などの表示装置とのインターフェイスである。ネットワークＩＦ１０７は、インターネット１０３などのネットワーク回線に接続するためのネットワークインタフェイスである。画像入力ＩＦ１０８は、画像入力デバイス１１３とのインターフェイスである。
バス１１２は、１０１〜１０８の各デバイスを通信可能に接続するシステムバスである。なお、以降の処理は情報処理装置１００のＣＰＵ１０１が外部記録装置１０４またはインターネット１１４などから供給されるプログラムを読み出して起動し、これらにしたがって各種デバイスを制御することにより実現される。

情報処理方法はそれぞれ単一のコンピュータで実現してもよいし、必要に応じた複数のコンピュータに各機能を分散して実現するようにしてもよい。複数のコンピュータで構成される場合は、互いに通信可能なようにLocal Area Network（ＬＡＮ）などで接続されている。

（ユーザインタフェースの例）
図４Ａ及び図４Ｂは、登録画像及び関連文章の第１の表示例を示す図である。
図４Ａの画面２０１は、情報処理装置１００による処理により表示される画面の例である。画面２０１には、登録画像２０２と関連文章２０３とが表示される。また、画面２０１には、登録画像と関連文章の比較する項目の内容として、項目２０４、項目２０５及び項目２０６が表示される。
また、チェック欄２０７、チェック欄２０８、チェック欄２０９は、項目２０４、項目２０５、項目２０６にそれぞれ対応している。表示部１５は、チェック欄へのクリックを検出すると、チェック欄の表示を変化させる。具体的には、表示部１５は、チェック欄２０７のクリックを検出すると、チェック欄２０７のチェックの外れた表示をチェック欄２１０のチェックが入った表示に変化させ、画面２０１を変化させる。
図４Ｂは、チェック欄がチェックされた場合の表示例を示す。

（テーブルのデータ構造）
図５は、画像文章情報テーブルのデータ構造の一例を示す図である。画像文章情報テーブル３０１は、記憶部２０に記録され、画像ＩＤ３０２、画像データ３０３及び関連文章３０４を対応付けるテーブルである。
画像ＩＤ３０２は、画像データを一意に識別するための識別子である。画像データ３０３は、ユーザによって登録された登録画像のデータである。例えば、画像データ３０３は、ＧＩＦ、ＪＰＥＧ、ＰＮＧ等の画像ファイルである。関連文章３０４は、ユーザによって登録された関連文章のデータである。
例えば、情報処理装置１００は、画像文章情報テーブル３０１から取得した画像データにより登録画像２０２を表示する。また、情報処理装置１００は、画像文章情報テーブル３０１において当該画像データに対応する関連文章３０４を、関連文章２０３として表示する。
なお、画像文章情報テーブル３０１に記録されている画像データ及び関連文章は、登録画像又は関連文章が記録されている記憶部２０のアドレス情報であってもよい。後述する他のテーブルにおいても同様である。

（処理の流れ）
図６は、第１の実施形態に係る情報処理装置１００の処理の流れの例を示す図である。表示部１５は、画面２０１に登録画像２０２と登録画像２０２に関連する関連文章２０３とを表示する（ステップＳ４０１）。例えば、図４Ａにおいて、表示部１５は、記憶部２０などから取得した登録画像２０２を画面２０１に表示する。また、表示部１５は、登録
画像２０２に対応する関連文章２０３を画面２０１に表示する。
画像情報取得部１１は、登録画像の画像情報を取得する（ステップＳ４０２）。例えば、図４Ｂにおいて、画像情報取得部１１は、チェック状態となっているチェック欄２１０に対応する項目２０４の撮影日時の情報を登録画像２０２から取得する。また、文章情報取得部１２は、関連文章２０３から撮影日時の情報を取得する。
なお、図４に示される、撮影日時、撮影場所及び被写体名称は、メタ情報又は画像解析により得られる項目の一例である。メタ情報から取得される項目としては、これに限定されず、撮影モード、レンズの種類及び被写体の状況等の登録画像から得られる情報であってもよい。
また、文章情報取得部１２は、関連文章の文章情報を取得する。例えば、図４Ｂにおいて、文章情報取得部１２は、チェック状態となっているチェック欄２１０に対応する項目２０４の撮影日時の情報を関連文章から取得する（ステップＳ４０３）。

不整合検出部１３は、取得した画像情報（撮影日時）と文章情報（撮影日時）を比較し、比較の結果に基づき、当該項目（撮影日時）に不整合があるか否かを判定する（ステップＳ４０４）。ここで通知情報生成部１４は、比較の結果が異なり、不整合があった場合（判定でＹＥＳの場合）は不整合があるという内容のコメント２１１を生成し、表示部１５により画面２０１にコメント２１１を表示させる（ステップＳ４０５）。比較の結果が異ならず、不整合がなかった場合（判定でＮＯの場合）、通知情報生成部１４は、コメントを生成せずに処理を終了させる。
図４Ｂの例では、画像情報として「５月５日」が取得されたのに対し、関連文章からは「５月６日」が取得されたため、画像情報と関連文章とが不整合と判定される。このため、コメント２１１として「５月５日ではありませんか？」が表示される。

このように関連文章が登録画像の情報と異なる場合に不整合の情報をコメントとして表示することで、ユーザは登録画像と関連文章との不整合に気付くことができる。なお、本実施態様ではコメント方法が吹出しになっているが、不整合のある関連文章の箇所の色を変化させる、下線を引く、警告のマークを出す等の表示方法であってもよい。

＜第２の実施形態＞
以下に、第２の実施形態を説明する。第１の実施形態においては、１枚の登録画像に対して、関連文章の不整合を検出する例を説明した。これに対して、第２の実施形態では、複数の登録画像と登録画像のそれぞれに付与されている関連文章を同時に比較し、不整合を通知する処理の例について説明する。
また、関連文章を修正する処理の例について説明する。なお、本実施形態の情報処理装置１５０のハードウェア構成は、第１の実施形態の図３と同様である。

（情報処理装置１５０のソフトウェア構成）
図７は、第２の実施形態の情報処理装置１５０のソフトウェア構成を示すブロック図である。第２の実施形態の情報処理装置１５０は、修正部１６を有する点で第１の実施形態の情報処理装置１５０と異なる。
修正部１６は、ユーザの指示に応じて、不整合検出部１３によって検出された不整合に対応する関連文章の部分を、画像情報に基づいて修正する機能を有する。例えば、登録画像及び関連文章の不整合に関するコメントが表示された際に、修正部１６は、ユーザによりコメントが押下された場合に、当該コメントの内容を関連文章に反映する修正を行う。

（ユーザインターフェースの例）
以下、第２の実施形態にかかる登録画像を登録する時の情報処理装置１５０の動作を図８Ａ、図８Ｂ、図９Ａ、図９Ｂ、図１０Ａ及び図１０Ｂを参照して説明する。
図８Ａ及び図８Ｂは、画像の登録画面の例である。図８Ａにおいて、情報処理装置１５
０は、画面５０１内に登録画像を表示するための領域５０２を表示させる。領域５０２には、既に登録画像として設定済みの登録画像５０３及び登録画像５０４が表示されている。さらに、図８Ｂにおいて、情報処理装置１５０は、領域５０２内に画像５０５が移動されたことを検出すると、画像５０５を登録画像と認識し、領域５０２内に画像５０５を登録画像５０６として表示させる。

図８において、ボタン５０７が押下された場合、画像情報取得部１１により、領域５０２内の登録画像５０３、登録画像５０４、登録画像５０６のメタ情報から撮影日時及び撮影場所等が画像情報として取得される。また、画像情報取得部１１により、登録画像の解析情報から被写体名称等が画像情報として取得される。
続いて、情報処理装置１５０は、領域５０２内の登録画像５０３、登録画像５０４及び登録画像５０６を記憶部２０の画像情報テーブル８０１（図１１参照）に格納する。画像情報テーブル８０１は、登録画像及び画像情報を対応付けるテーブルである。画像情報テーブルのデータ構造に関しては後述する。

図９Ａ及び図９Ｂは、登録画像及び関連文章の第２の表示例を示す図である。情報処理装置１５０は、図８Ｂのボタン５０７が押下された場合に、複数の登録画像と登録画像に対応する関連文章とを表示するための図９Ａの画面６０１を表示させる。
領域６０２は、登録画像を表示するための表示領域である。また、領域６０３は、登録画像に対応する関連文章の入力を受け付けるための文章入力領域である。

図９Ａの画面の構成について説明する。画面６０１は、各登録画像を表示し、各登録画像に対応する関連文章の入力を受け付けるための画面である。
領域６０２に登録画像６０４、登録画像６０５及び登録画像６０６が表示される。なお、登録画像６０４、登録画像６０５及び登録画像６０６は、図８の登録画像５０３、登録画像５０４及び登録画像５０６にそれぞれ対応する。
また、領域６０３には、文章入力領域６０７、文章入力領域６０８及び文章入力領域６０９が表示される。文章入力領域６０７は、登録画像６０４の関連文章を入力する領域である。また、文章入力領域６０８は、登録画像６０５の関連文章を入力する領域である。文章入力領域６０９は、登録画像６０６の関連文章を入力する領域である。

情報処理装置１５０は、文章入力領域６０７において、キーボードにより入力された関連文書又は外部記憶装置１０４などに登録されている関連文章を受け付ける。続いて、文章情報取得部１２は、関連文章を解析し、文章情報を取得する。続いて、文章情報取得部１２は、関連文章と当該関連文章から取得した文章情報とを記憶部２０の文章情報テーブル８１１（図１１参照）に格納する。文章情報テーブル８１１は、関連文章と文章情報とを対応付けるテーブルである。なお、文章情報テーブル８１１のデータ構造に関しては後述する。

不整合検出部１３によって文章情報と画像情報とに不整合が検出された場合、通知情報生成部１４は、不整合が検出された文章入力領域にコメント６１０を表示する。
また、修正部１６は、コメント６１０へのクリックを検出すると、文章入力領域の関連文章の内容をコメントの内容に応じて修正する。

図１０Ａ及び図１０Ｂは、チェック項目の選択画面の例を示す図である。
図１０Ａ及び図１０Ｂを用いてチェック項目の選択に関して説明する。情報処理装置１５０は、図９のボタン６１３の押下を検出すると、比較項目設定テーブル８２１（図１１参照）に格納されている比較する項目の情報を画面７０１に表示させる。例えば、情報処理装置１５０は、画面７０１に比較項目設定テーブル８２１に格納されている比較する項目として項目７０２、項目７０３、項目７０４を表示する。項目７０２は、撮影日時に関
する項目である。また、項目７０３は、撮影場所に関する項目である。また、項目７０４は、被写体名称に関する項目である。
チェック欄７０５、チェック欄７０６及びチェック欄７０７は、項目７０２、項目７０３及び項目７０４にそれぞれ対応している。情報処理装置１５０は、チェック欄へのクリックを検出すると、チェック欄の表示を変化させる。
ボタン７０９が押下された場合、画面７０１が閉じられ、不整合検出部１３は、チェック欄がチェック状態の項目に関し、文章情報テーブル８１１の項目と、対応する画像情報テーブル８０１の項目とをレコード毎に比較する。これにより、通知情報生成部１４は、チェックされた項目に応じてコメント６１１の表示を変化させる。
ボタン６１４は関連文章の入力および編集を完了させるボタンである。情報処理装置１５０は、ボタン６１４の押下を検出すると、画面６０１を閉じて関連文章の編集を完了させる。

（テーブルのデータ構造）
図１１は、画像情報、文章情報及び比較項目に係るテーブルの第一の構造例を示す図である。画像情報テーブル８０１は、登録画像及び画像情報を対応付けるテーブルである。画像情報テーブル８０１は、画像ＩＤ８０２、画像データ８０３、画像名８０４、撮影日時８０５、撮影場所８０６及び被写体名称８０７を対応付ける。
画像ＩＤ８０２は、登録画像を一意に識別するための識別子である。画像データ８０３は、登録画像のデータを示す。画像データ８０３は、登録画像のアドレス情報であってもよい。画像名８０４は、画像ファイルのファイル名である。撮影日時８０５は、画像の撮影日時を示す。撮影場所８０６は、画像の撮影場所を示す。被写体名称８０７は、登録画像から画像解析によって取得された被写体の名称である。
なお、被写体名称８０７には、被写体名称を１つ格納する場合に限定されず、画像解析によって登録画像から複数の被写体が検出された場合は、複数の被写体名称を格納してもよい。

文章情報テーブル８１１は、関連文章と文章情報とを対応付けるテーブルである。文章情報テーブル８１１は、文章ＩＤ８１２、関連文章８１３、撮影日時８１４、撮影場所８１５、被写体名称８１６及び画像ＩＤ８１７を対応付ける。
文章ＩＤ８１２は、関連文章を一意に識別するための識別子である。関連文章８１３は、文章入力領域に入力された関連文章のデータである。関連文章８１３は、関連文章のアドレス情報であってもよい。撮影日時８１４は、所定の文章解析方法によって関連文章から得られた撮影日時である。撮影場所８１５は、所定の文章解析方法によって関連文章から得られた撮影場所である。被写体名称８１６は、所定の文章解析方法によって関連文章から得られた被写体名称の情報である。
画像ＩＤ８１７は、登録画像を一意に識別するための識別子である。画像ＩＤ８１７は、画像情報テーブル８０１の画像ＩＤ８０２と対応している。また、不整合検出部１３は、画像ＩＤ８１３に基づいて、文章情報テーブル８１１のレコードに対応する画像情報テーブルのレコードを検索する。

なお、撮影日時８１４、撮影場所８１５及び被写体名称８１６は、１つの場合に限定されず、所定の文章解析方法によって複数取得された場合は、複数格納されてもよい。また、撮影日時８１４、撮影場所８１５及び被写体名称８１６が取得されなかった場合、データを入力しなくてもよい。
また、文章情報テーブル８１１の撮影日時８１４、撮影場所８１５、被写体名称８１６は、画像情報テーブル８０１の撮影日時８０５、撮影場所８０６、被写体名称８０７とそれぞれ比較される項目である。

比較項目設定テーブル８２１は、画像情報及び文章情報の比較に使用する項目の設定を
格納するためのテーブルである。比較項目設定テーブル８２１は、チェック項目８２２及び利用設定８２３を対応付ける。チェック項目８２２は、登録画像と、登録画像に対応する関連文章の比較に使用する項目名である。利用設定８２３は、チェック項目を比較に使用するか否かの設定を示す。
例えば、図１０において、撮影日時の項目７０２の撮影日時のチェック欄７０５がチェック状態であった場合、比較項目設定テーブル８２１の撮影日時のレコードの利用設定８２３に「利用する」が格納される。また、図１０において、被写体名称の項目７０４のチェック欄７０７がチェック状態でなかった場合、比較項目設定テーブル８２１の被写体名称のレコードの利用設定８２３に「利用しない」が格納される。また、情報処理装置１５０は、初期設定として、比較項目設定テーブル８２１の各レコードの利用設定８２３に「利用する」を登録してもよい。
なお、チェック項目８２２には、撮影日時、撮影場所及び被写体名称以外にも、チェック項目を設定してもよい。

（処理の流れ）
図１２は、第２の実施形態に係る情報処理装置１５０の処理の流れの例を示す図である。情報処理装置１５０は、図８においてボタン５０７が押下された場合に、画面５０１の領域５０２内の登録画像と、登録画像から取得された画像情報とを画像情報テーブル８０１のレコードに対応付けて登録する（ステップＳ９０１）。画像情報には、画像解析により得られた被写体名称、メタ情報から取得された撮影日時及び撮影場所などの項目が含まれる。
続いて、情報処理装置１５０は、関連文章を登録するための画面６０１（図９）に遷移させる。また、画像情報テーブル８０１の各比較対象の項目は、比較項目設定テーブル８２１のチェック項目８２２としてそれぞれ登録される。

続いて、情報処理装置１５０は、図９において画面６０１の領域６０３に関連文章の入力を受け付けた場合、文章情報取得部１２は、領域６０３から入力された関連文章を取得する。また、情報処理装置１５０は、所定の文章解析方法により関連文章から取得された文章情報を同じレコードに対応付けて文章情報テーブル８１１に登録する（ステップＳ９０２）。文章情報には、文章解析によって得られた被写体名称、撮影日時及び撮影場所などの項目が含まれる。

続いて、不整合検出部１３は、比較項目設定テーブル８２１の利用設定８２３を参照し（ステップＳ９０３）、比較対象の項目を特定する。具体的には、不整合検出部１３は、比較項目設定テーブル８２１の利用設定８２３が「利用する」になっているレコードを比較対象の項目として特定する。
続いて、不整合検出部１３は、特定した比較対象の項目に関し、画像情報テーブル８０１と文章情報テーブル８１１の対応するレコードを比較し、画像情報と文章情報とに不整合があるか否かを判定する（ステップＳ９０４）。なお、不整合検出部１３は、文章情報テーブル８１１の画像ＩＤに基づいて、画像情報テーブル８０１と文章情報テーブル８１１の対応するレコードを特定してもよい。

通知情報生成部１４は、画像情報と文章情報に不整合があった場合（判定でＹＥＳの場合）は画像情報テーブル８０１から不整合があったデータをコメントとして領域６０３内に表示させることで不整合を通知する（ステップＳ９０５）。例えば、登録画像６０５の画像情報の撮影日時が「５月５日」となっており、文章入力領域６０８の文章情報の撮影日時が「５月６日」となっている場合、通知情報生成部１４は、「５月５日ではありませんか」というコメント６１０を表示する。また、不整合検出部１３によって、文章入力領域６０９の文章情報の被写体名称が「星」で、登録画像６０６の画像情報の被写体名称が「夜景」であったため不整合が検出された場合、「夜景ではありませんか？」という内容
のコメント６１１を表示する。
一方、通知情報生成部１４は、不整合がなかった場合（判定でＮＯの場合）、何も通知せず、ステップＳ９０６の処理に移行する。

続いて、情報処理装置１５０は、比較項目設定テーブル８２１を変更するか否かを判定する（ステップＳ９０６）。図９Ａにおいて、情報処理装置１５０は、ボタン６１３が押下された場合（判定でＹＥＳの場合）、比較項目設定テーブル８２１を変更するための図１０Ａの画面７０１を表示させる。
情報処理装置１５０は、図１１の比較項目設定テーブル８２１の利用設定８２３を、画面７０１のチェック欄のチェックの有無に応じて変更（ステップＳ９０７）する。
例えば、情報処理装置１５０は、図１０においてチェック状態のチェック項目に対応するレコードの利用設定８２３を「利用する」に変更する。一方、情報処理装置１５０は、チェック状態でないチェック項目に対応するレコードの利用設定８２３を「利用しない」に変更する。
画面７０１のボタン７０９が押下された場合、情報処理装置１００は、ステップＳ９０３の処理に戻る。

一方、ステップＳ９０６において情報処理装置１５０は、図９において、ボタン６１３が押下されず、ボタン６１４が押下された場合（判定でＮＯの場合）は、ステップＳ９０８の処理に移行する。

続いて、修正部１６は、関連文章の修正があったか否かの判定を行う（ステップＳ９０８）。情報処理装置１００は、関連文章の修正がなかった場合（判定でＮＯの場合）、処理を終了させる。
一方、関連文章の修正があった場合（判定でＹＥＳの場合）、修正部１６は、関連文章の自動編集を行うかの判定を行う（ステップＳ９０９）。修正部１６は、コメント６１０のクリックを検出した場合（判定でＹＥＳの場合）は、コメント６１０に対応する修正データを生成し、修正データに基づいて関連文章を変更する。さらに、修正部１６は、修正データに基づいて文章情報テーブル８１１の文章情報を変更する。例えば、修正部１６は、図９Ａにおいてコメント６１０へのクリックを検出すると、コメント６１０に応じて「５月６日」を「５月５日」に修正する。また、修正部１６は、修正処理後にコメント６１０を領域６０３から消去する。続いて、情報処理装置１５０は、ステップＳ９０２の処理に戻り、修正後の関連文章に対して処理を行う。

＜第３の実施形態＞
第２の実施形態においては、１つの登録画像に対して１つの関連文章が登録され、不整合が検出された各々の関連文章に対して、不整合に関するコメントを表示した。第３の実施形態においては、複数の登録画像に対して１つの関連文章が登録され、当該１つの関連文章に対してコメントを表示する例について説明する。なお、本実施形態のハードウェア構成は、第１の実施形態の図３と同様である。また、本実施形態のソフトウェア構成は、第２の実施形態の図７と同様である。また、登録画像を登録するための登録画面は第２の実施形態の図８Ａ及び図８Ｂと同様である。

図８Ｂにおいて、情報処理装置１５０は、ボタン５０７が押下された場合、領域５０２内の登録画像５０３、登録画像５０４及び登録画像５０６から画像情報を取得する。続いて、情報処理装置１５０は、領域５０２内の登録画像５０３、登録画像５０４及び登録画像５０６と、各登録画像に対応する画像情報とを画像情報テーブル１２０１（図１５参照）に格納する。続いて、表示部１５は、関連文章を生成するための図１３の画面１００１に遷移させる。なお、画像情報テーブル１２０１のデータ構造に関しては後述する。

図１３Ａ及び図１３Ｂは、登録画像及び関連文章の第３の表示例を示す図である。画面１００１の構成について説明する。画面１００１は、複数の登録画像に対応する１つの関連文章の入力を受け付けるための画面である。
また、領域１００２は、複数の登録画像を表示するための領域である。領域１００３は、関連文章の入力を受け付ける文章入力領域である。
例えば、表示部１５は、領域１００２に登録画像１００４、登録画像１００５及び登録画像１００６を表示する。登録画像１００４、登録画像１００５、登録画像１００６は、図８Ｂにおいて登録された登録画像５０３、登録画像５０４、登録画像５０６にそれぞれ対応する。また、登録画像１００４、登録画像１００５、登録画像１００６は、画像情報テーブル１２０１（図１５参照）に登録される。
また、表示部１５は、領域１００３に文章入力領域１００７を表示する。情報処理装置１５０は、文章入力領域１００７にキーボードから入力された関連文章、又は外部記憶装置１０４などに登録されている関連文章を受け付ける。続いて、文章情報取得部１２は、受け付けた関連文章を解析し、文章情報を取得する。文章情報取得部１２は、関連文章と当該関連文章から取得した文章情報とを記憶部２０の文章情報テーブル１２１１（図１５参照）に格納する。なお、文章情報テーブル１２１１のデータ構造に関しては後述する。
ボタン１０１１は、関連文章の入力及び編集を終了するボタンである。情報処理装置１５０は、ボタン１０１１が押下されると、画面１００１を閉じて関連文章の編集を終了する。

図１４は、関連文章に対応する登録画像の選択画面の例を示す図である。
図１４を用いて関連文章に対応する登録画像の選択に関して説明する。情報処理装置１５０は、図１３のボタン１００９が押下された場合、各登録画像の画像名（例えば、ファイル名）を画面１１０１に表示させる。
例えば、画面１１０１には、各登録画像の画像名として項目１１０２、項目１１０３及び項目１１０４が表示されている。項目１１０２は、登録画像１００４のファイル名である。また、項目１１０３は、登録画像１００５のファイル名である。また、項目１１０４は、登録画像１００６のファイル名である。
チェック欄１１０５、チェック欄１１０６及びチェック欄１１０７は、項目１１０２、項目１１０３及び項目１１０４にそれぞれ対応している。例えば、図１４Ａにおいては、登録画像１００４及び登録画像１００５がチェック状態となっており、図１４Ｂにおいては、登録画像１００４及び登録画像１００６がチェック状態となっている。
チェック状態となっている登録画像のみが、不整合検出部１３により関連文章との不整合を検出する対象となる。
ボタン１１１０が押下された場合、情報処理装置１５０は、画面１１０１を閉じる。

（テーブルのデータ構造）
図１５は、画像情報及び文章情報に係るテーブルの第二の構造例を示す図である。画像情報テーブル１２０１は、画像ＩＤ１２０２、画像データ１２０３、チェック対象１２０４、画像名１２０５、撮影日時１２０６、撮影場所１２０７及び被写体名称１２０８を対応付ける。図１１の画像情報テーブル８０１と比較して、画像情報テーブル１２０１は、チェック対象１２０４を有する点で異なる。
チェック対象１２０４は、登録画像がチェック状態であるか否かを示す。例えば、図１４において登録画像がチェック状態となっている場合、チェック対象１２０４には「対象」が格納される。また、図１４において登録画像がチェック状態となっていない場合、チェック対象１２０４には「非対象」が格納される。

文章情報テーブル１２１１は、関連文章１２１２、撮影日時１２１３、撮影場所１２１４及び被写体名称１２１５を対応付ける。文章情報テーブル１２１１は、レコードが１つである点で文章情報テーブル８１１と異なる。
文章情報テーブル１２１１の撮影日時１２１３、撮影場所１２１４及び被写体名称１２１５は、画像情報テーブル１２０１の撮影日時１２０６、撮影場所１２０７及び被写体名称１２０８とそれぞれ比較される項目である。

（処理の流れ）
図１６は、第３の実施形態に係る情報処理装置１５０の処理の流れの例を示す図である。情報処理装置１５０は、図８において、画面５０１に表示されているボタン５０７のボタンが押下された場合に、各登録画像を取得し、画像情報テーブル１２０１に登録する。また、情報処理装置１５０は、初期設定として、各登録画像のレコードにおいてチェック対象の項目を「対象」で登録する。なお、各画像データのチェック対象の項目を「対象」とするか「非対象」とするかに関しては、あらかじめ設定されていてもよい。
続いて、画像情報取得部１１は、取得した各登録画像から画像情報を取得し、画像情報テーブルに登録する（ステップＳ１３０１）。例えば、画像情報取得部１１は、取得した画像データから画像解析により被写体名称を取得する。また、画像情報取得部１１は、取得した画像データのメタ情報から撮影日時及び撮影場所を取得する。画像情報取得部１１は、取得した被写体名称、撮影日時及び撮影場所を、同じレコードに対応付けて画像情報テーブル１２０１に登録する。
続いて、情報処理装置１５０は、図１３の画面１００１に遷移させる。続いて、文章情報取得部１２は、図１３において画面１００１の文章入力領域１００３において入力された関連文章を取得する。続いて、文章情報取得部１２は、取得した関連文章から撮影日時、撮影場所及び被写体名称等の文章情報を取得し、それぞれを文章情報テーブル１２１１の同じレコードに対応付けて登録する（ステップＳ１３０２）。

続いて、不整合検出部１３は、画像情報テーブル１２０１のチェック対象の項目が「対象」となっている各レコードの画像情報と、文章情報テーブル１２１１のレコードの文章情報とをそれぞれ参照する（ステップＳ１３０３）。続いて、不整合検出部１３は、各画像情報と文章情報とを比較し、比較の結果にしたがって不整合があるか否かを判定する（ステップＳ１３０４）。

通知情報生成部１４は、画像情報と文章情報とに不整合が検出された場合（判定でＹＥＳの場合）、不整合が検出された登録画像の項目に応じてコメントを生成し、表示部１５により文章入力領域１００３にコメントを表示させる（ステップＳ１３０５）。
例えば、図１３Ａのように、登録画像１００４の被写体名称が「海」で、文章入力領域１００７の被写体名称が「○○ちゃん」となっている。この場合、通知情報生成部１４は、コメント１００８として「海ではありませんか？」を表示させる。
また、登録画像１００５の被写体名称が「バーベキュー」となっており、文章入力領域１００７の被写体名称が「○○ちゃん」となっている。この場合、図１３Ｂのように、通知情報生成部１４は、コメント１０１０として「バーベキューではありませんか？」を表示させる。
一方、通知情報生成部１４は、画像情報と文章情報とに不整合が検出されなかった場合（判定でＮＯの場合）、コメントを表示しない。

続いて、情報処理装置１５０は、複数の登録画像に関し、チェック対象の登録画像を変更するか否かを判定する（ステップＳ１３０６）。例えば、図１３Ａにおいて、情報処理装置１５０は、ボタン１００９が押下された場合、チェック対象の登録画像を変更すると判定し（判定でＹＥＳの場合）、図１４Ａの画面１１０１を表示させる。
情報処理装置１５０は、画面１１０１のチェック欄のチェックの有無に応じて画像情報テーブル１２０１の「チェック対象」の項目を変更する（ステップＳ１３０７）。また、情報処理装置１５０は、図１３Ｂにおいてボタン１１１０が押下された場合、画像情報テーブル１２０１のチェック対象の項目を確定させてステップＳ１３０３の処理に戻る。こ
れにより、チェック対象として指定された登録画像に応じたコメントが表示される。
一方、情報処理装置１５０は、図１３においてボタン１０１１が押下された場合、チェック対象の登録画像を変更しないと判定し（判定でＮＯの場合）、コメントを変更しない。

続いて、情報処理装置１５０は、関連文章が修正されたか否かの判定を行う（ステップＳ１３０８）。情報処理装置１５０は、関連文章が修正された場合（判定でＹＥＳの場合）、ステップＳ１３０２の処理に戻り、修正された関連文章に対して上記の処理を行う。一方、情報処理装置１５０は、関連文章が修正されていなかった場合（判定でＮＯの場合）、処理を終了させ、関連文章の登録を完了させる。
以上のように、複数の登録画像に対して、１つの関連文章を入力する場合においても、それぞれの登録画像に適応した関連文章が入力されるように、適切なコメントが出力される。

＜その他の実施態様＞
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気登録媒体、不揮発性の半導体メモリでもよい。
また、プログラムの供給方法の手順としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを登録しておく。続いて、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

また、各実施態様の装置の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

第２の実施形態及び第３の実施形態において、文章情報テーブルのデータ構造について説明したが、これに限定されない。例えば、文章情報テーブルは、各々の文章情報の位置に関する項目を含んでもよい。表示部１５は、不整合が検出された文章情報の位置に対応付けてコメントを表示する。例えば、表示部１５は、不整合が検出された文章情報の位置に、コメントを表示するための吹出し画像の先端がくるように表示してもよい。
これにより、不整合が検出された位置をユーザに分かりやすく表示することができる。

１：情報処理装置１００、２：画像情報取得部１１、３：文章情報取得部１２、４：不整合検出部１３、５：通知情報生成部１４、６：表示部１５、７：記憶部２０

Claims (9)

1. 情報処理装置において、
   画像から所定の項目に関する情報を画像情報として取得する画像取得部と、
   前記画像に関連する文章から前記所定の項目に関する情報を文章情報として取得する文章取得部と、
   前記画像情報と前記文章情報とを比較する比較部と、
   前記比較の結果、前記画像情報と前記文章情報との不整合が検出された場合に、前記画像及び前記文章の不整合に関する通知情報を生成する通知生成部と、を備えることを特徴とする情報処理装置。
2. 前記所定の項目は、前記画像の撮影日時、撮影場所又は被写体名称を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記画像取得部は、前記画像を画像解析することにより前記画像情報を取得することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記画像取得部は、前記画像のメタ情報から前記画像情報を取得することを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記画像取得部及び前記文章取得部は、前記画像及び文章から、ユーザによって選択された所定の項目に関する情報を画像情報及び文章情報として取得することを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記画像取得部は、複数の画像のうちユーザによって選択された画像から画像情報を取得することを特徴とする請求項１〜５のいずれか１項に記載の情報処理装置。
7. ユーザの指示に応じて、検出された前記不整合に対応する前記文章の部分を、前記画像情報に基づいて修正する修正部をさらに有することを特徴とする請求項１〜６のいずれか１項に記載の情報処理装置。
8. コンピュータが、画像と該画像に関する文章との不整合を検出する情報処理方法において、
   コンピュータが、前記画像から所定の項目に関する情報を画像情報として取得するステップと、
   コンピュータが、前記画像に関連する文章から前記所定の項目に関する情報を文章情報として取得するステップと、
   コンピュータが、前記画像情報と前記文章情報との不整合を検出するステップと、
   コンピュータが、前記画像情報と前記文章情報との不整合が検出された場合に、前記画像及び前記文章の不整合に関する通知情報を生成するステップと、を有することを特徴とする情報処理方法。
9. 請求項８に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。