JP2007183821A - 画像に関連した文の設定 - Google Patents

Abstract

【課題】画像に関連した文を設定する際に、ユーザの負担を軽減することを可能とする。
【解決手段】画像に関連した画像関連文を設定する装置は、画像関連文設定の対象となる対象画像を表す対象画像ファイルを取得する対象画像取得部を備える。また、上記装置は、対象画像ファイルから対象画像に関連する画像関連情報を抽出する関連情報抽出部と、対象画像についての画像関連情報の内の少なくとも１つに基づき、対象画像についての画像関連文を設定する関連文設定部とを備える。
【選択図】図４

Description

本発明は、画像に関連した文を設定する技術に関する。

文書の作成を支援するために、ユーザにより入力された語句や文に基づき、見本となる文を生成したり選択したりする技術が知られている（例えば特許文献１）。

特開平８−２４９３１６ 特開平９−６９０８７ 特開平９−１５３０３３ 特開平１１−２５９４８０ 特開２０００−９００８６

上記従来の技術では、例えば画像と画像に関連する文とを含む手紙を作成する場合のように画像に関連する文を設定する際に、ユーザは画像の内容等に関する語句や文の入力といった煩雑な作業を強いられていた。なお、本明細書では、「文の設定」とは、文を作成したり所定の選択肢の中から文を選択したりすることによって文を定めることを意味している。また、「文」とは、所定の意味を有する文字列を意味しており、一組の主語と述語とを含む完結した言語表現に限らず、語や句等を含むものとしている。

本発明は、上述した従来の課題を解決するためになされたものであり、画像に関連した文を設定する際に、ユーザの負担を軽減することを可能とする技術を提供することを目的とする。

上記課題の少なくとも一部を解決するために、本発明の装置は、
画像に関連した画像関連文を設定する装置であって、
画像関連文設定の対象となる対象画像を表す対象画像ファイルを取得する対象画像取得部と、
前記対象画像ファイルから前記対象画像に関連する画像関連情報を抽出する関連情報抽出部と、
前記対象画像についての画像関連情報の内の少なくとも１つに基づき、前記対象画像についての画像関連文を設定する関連文設定部と、を備える。

この装置では、対象画像ファイルから画像に関連する画像関連情報が抽出され、抽出された対象画像についての画像関連情報の内の少なくとも１つに基づき、対象画像についての画像関連文が設定される。そのため、この装置では、画像に関連した文を設定する際に、ユーザの負担を軽減することができる。

上記装置において、
前記関連文設定部により設定される画像関連文は、前記抽出された画像関連情報自体以外の意味を表す語句を含む文であるとしてもよい。

このようにすれば、画像関連情報自体以外の意味を表す語句を含む画像関連文を設定する際に、ユーザの負担を軽減することができる。

また、上記装置において、
前記関連情報抽出部は、前記対象画像を解析することによって、前記対象画像中の被写体の種類を示す情報を画像関連情報として抽出し、
前記関連文設定部は、前記対象画像についての画像関連情報の内、少なくとも前記対象画像中の被写体の種類を示す画像関連情報に基づき、前記対象画像についての画像関連文を設定するとしてもよい。

このようにすれば、対象画像中の被写体に関連した画像関連文を設定する際に、ユーザの負担を軽減することができる。

また、上記装置において、さらに、
前記関連情報抽出部が前記対象画像中の複数の被写体のそれぞれについて被写体の種類を示す画像関連情報を抽出した場合に、前記抽出された画像関連情報に対応した複数の被写体の優先度を設定する優先度設定部を備え、
前記関連文設定部は、前記対象画像についての被写体の種類を示す画像関連情報の内、少なくとも前記優先度が所定の第１の閾値よりも高い被写体に対応した画像関連情報に基づき、前記対象画像についての画像関連文を設定するとしてもよい。

このようにすれば、対象画像中の優先度の高い被写体に関連した画像関連文を設定する際に、ユーザの負担を軽減することができる。

また、上記装置において、さらに、
それぞれ少なくとも１つの画像関連情報に対応付けられた複数のサンプル文が格納されたサンプル文記憶部を備え、
前記関連文設定部は、前記対象画像についての画像関連情報と、前記対象画像についての画像関連情報に対応付けられたサンプル文とに基づき、前記対象画像についての画像関連文を設定するとしてもよい。

このようにすれば、画像関連情報に基づき効率よく画像関連文を設定することができる。

また、上記装置において、
前記関連文設定部は、前記対象画像についての画像関連情報に対応付けられた少なくとも１つのサンプル文を前記サンプル文記憶部から検出し、検出されたサンプル文を前記対象画像についての画像関連情報に基づき変更し、変更されたサンプル文を前記対象画像についての画像関連文として設定するとしてもよい。

このようにすれば、サンプル文を画像関連情報に基づき変更することにより、対象画像によりマッチした画像関連文を設定することができる。

また、上記装置において、
前記関連文設定部は、前記対象画像についての画像関連文の候補を複数設定し、ユーザにより選択された１つの候補を前記対象画像についての画像関連文として設定するとしてもよい。

このようにすれば、よりユーザの希望に近い画像関連文を設定することができる。

また、上記装置において、さらに、
設定された前記対象画像についての画像関連文と前記対象画像とを含む出力用画像を設定する出力用画像設定部と、
設定された前記出力用画像を出力する出力部と、を備えるとしてもよい。

このようにすれば、画像関連文を設定すると共に画像関連文と対象画像とを含む出力用画像を出力する際に、ユーザの負担を軽減することができる。

また、上記装置において、さらに、
設定された前記対象画像についての画像関連文と前記対象画像とを含む出力用画像を設定する出力用画像設定部と、
設定された前記出力用画像を出力する出力部と、を備え、
前記出力用画像設定部は、前記対象画像中の領域の内の前記優先度が所定の第２の閾値よりも高い被写体を表す領域以外の領域に前記対象画像についての画像関連文を配置することによって、前記出力用画像を設定するとしてもよい。

このようにすれば、優先度の高い被写体が画像関連文の背後に隠れることを回避することができ、より好ましい出力用画像を設定することができる。

また、上記装置において、
前記対象画像取得部は、複数の画像ファイルを前記対象画像ファイルとして取得し、
前記関連文設定部は、前記複数の対象画像ファイルの表す複数の対象画像のそれぞれについて画像関連文を設定し、
前記出力用画像設定部は、前記複数の対象画像と前記複数の対象画像について設定された複数の画像関連文とを対応付けて配置することによって、前記出力用画像を設定するとしてもよい。

このようにすれば、複数の対象画像と複数の対象画像について設定された複数の画像関連文とが対応付けられて配置された出力用画像を設定する際に、ユーザの負担を軽減することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、文設定方法および装置、文作成方法および装置、文選択方法および装置、文出力方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．変形例：

Ａ．第１実施例：
図１は、本発明の第１実施例としての画像関連文設定装置の構成を概略的に示す説明図である。本実施例の画像関連文設定装置は、画像ファイルを対象画像ファイルとして取得し、対象画像ファイルの表す対象画像に関連した文（以下「画像関連文」と呼ぶ）を設定する装置である。ここで、「文の設定」とは、文を作成したり所定の選択肢の中から文を選択したりすることによって文を定めることを意味している。また、「文」とは、所定の意味を有する文字列を意味しており、一組の主語と述語とを含む完結した言語表現に限らず、語や句等を含むものとしている。本実施例の画像関連文設定装置は、また、設定された画像関連文と対象画像とを含む出力用画像を生成し、出力（例えば表示や印刷）する。

第１実施例の画像関連文設定装置１００（図１）は、コンピュータとして構成されている。画像関連文設定装置１００は、ＣＰＵ１１０と、液晶モニタ等の表示部１２０と、キーボードやマウス等の操作部１３０と、インターフェイス部（Ｉ／Ｆ部）１４０と、ＲＯＭやＲＡＭ等の内部記憶装置２００と、を備えている。これら画像関連文設定装置１００の構成要素は、バス１５０を介して互いに接続されている。なお、画像関連文設定装置１００は、ハードディスクドライブ等の外部記憶装置を備えていてもよい。

インターフェイス部１４０は、複数の入出力端子を備えており、外部機器との間でデータや情報のやり取りを行う。例えば、インターフェイス部１４０は、ケーブルを介してデジタルスチルカメラ３１０やスキャナ３２０と接続され、デジタルスチルカメラ３１０やスキャナ３２０により生成された画像ファイルの読み込みを行う。また、インターフェイス部１４０は、ケーブルを介してプリンタ３３０と接続され、プリンタ３３０に印刷データを供給する。なお、インターフェイス部１４０は、メモリカード等の記憶媒体やネットワークを介して画像ファイルの読み込みを行うものとしてもよい。読み込まれた画像ファイルは、内部記憶装置２００や図示しない外部記憶装置内に格納される。

内部記憶装置２００には、文設定処理部２１０と、表示処理部２２０と、印刷処理部２３０と、が格納される。文設定処理部２１０は、所定のオペレーティングシステムの下で、画像ファイルを対象画像ファイルとして取得すると共に対象画像についての画像関連文を設定するためのコンピュータプログラムである。表示処理部２２０は、表示部１２０を制御するディスプレイドライバである。印刷処理部２３０は、プリンタ３３０を制御するプリンタドライバである。ＣＰＵ１１０は、内部記憶装置２００から、これらのプログラムを読み出して実行することにより、後述の画像関連文設定処理を実現する。

文設定処理部２１０は、プログラムモジュールとして、対象画像取得部２１２と、関連情報抽出部２１３と、優先度設定部２１４と、関連文設定部２１５と、出力用画像設定部２１６と、を含んでいる。これらの各部の機能については、後述の画像関連文設定処理の説明において詳述する。

内部記憶装置２００には、また、辞書データベース（辞書ＤＢ）２４０と、設定条件テーブルＣＴと、が格納されている。辞書データベース２４０は、所定の言語で用いられる語句を、その読み方、意味、活用、用例、類語等と共に格納している。さらに、辞書データベース２４０は、複数のサンプル文データＳＤを格納している。サンプル文データＳＤは、画像関連文設定の基となるサンプル文を表すデータである。なお、辞書データベース２４０は、本発明におけるサンプル文記憶部に相当する。

設定条件テーブルＣＴは、後述の画像関連文設定処理の際にユーザが選択する画像関連文の設定条件を定義するテーブルである。図２は、設定条件テーブルＣＴの内容の一例を示す説明図である。本実施例では、画像関連文の設定条件として、「モード」と「種類」と「宛先」との３つの条件が定義されている。「モード」条件は、画像関連文の設定方法を特定するための条件であり、「作文」モードと「文選択」モードとが選択肢として定義されている。「作文」モードは、画像関連文を新たに作成することによって画像関連文を設定するモードである。ここで、「画像関連文を新たに作成する」の語は、サンプル文データＳＤ（図１）の表すサンプル文を基に画像関連文を作成すること、すなわち、サンプル文を修正・変更することによって画像関連文を作成することを含んでいる。一方、「文選択」モードは、サンプル文データＳＤの表すサンプル文を選択し、選択したサンプル文を画像関連文として設定するモードである。本実施例では、「文選択」モードは、サンプル文の選択の際の出典範囲（例えば、万葉集や日本のことわざ）によってさらに細分化されている。

また、設定条件テーブルＣＴにおける「種類」条件は、画像関連文の種類を特定するための条件であり、例えば「コメント」や「手紙」等が選択肢として定義されている。「手紙」は、その用途（例えば、礼状や近況報告）によってさらに細分化されている。また、「宛先」条件は、画像関連文を誰に対する文として設定するかを特定するための条件であり、例えば「友人」や「祖母」等が選択肢として定義されている。

図３は、画像関連文設定装置１００による画像関連文設定処理の流れを示すフローチャートである。また、図４は、画像関連文設定装置１００による画像関連文設定処理の概要を示す説明図である。本実施例の画像関連文設定装置１００による画像関連文設定処理は、画像ファイルを対象画像ファイルとして取得し、対象画像についての画像関連文を設定し、設定された画像関連文と対象画像とを含む出力用画像を生成して出力する処理である。なお、本実施例の画像関連文設定処理は、後述するように、「作文」モード（図２参照）が選択された場合の処理である。

ステップＳ１１０（図３）では、画像関連文設定装置１００の文設定処理部２１０（図１）が、画像関連文の設定条件を取得する。具体的には、文設定処理部２１０が、表示処理部２２０の制御の下、設定条件テーブルＣＴ（図２）に基づき設定条件の選択肢を表示部１２０に表示し、ユーザにより選択された条件を設定条件として取得する。例えば、文設定処理部２１０は、「モード」条件として「作文」と「文選択」との２つの選択肢をユーザに提示し、ユーザは、操作部１３０を介して所望するモードを選択する。他の条件についても同様である。本実施例では、図４（ａ）に示すように、「モード」条件として「作文」が選択され、「種類」条件として「手紙（近況報告）」が選択され、「宛先」条件として「祖母」が選択されたものとする。

ステップＳ１２０（図３）では、文設定処理部２１０の対象画像取得部２１２（図１）が、対象画像ファイルを取得する。対象画像ファイルは、画像関連文設定処理の対象となる画像（対象画像）を表す画像ファイルである。対象画像ファイルは、例えばユーザにより操作部１３０を介して指定される。対象画像取得部２１２は、ユーザの指定に応じて、インターフェイス部１４０を介してデジタルスチルカメラ３１０やスキャナ３２０等から対象画像ファイルを取得したり、内部記憶装置２００や図示しない外部記憶装置に格納された対象画像ファイルを取得したりする。図４（ｂ）には、取得した対象画像ファイルの表す対象画像の例を示している。

ステップＳ１３０（図２）では、関連情報抽出部２１３（図１）が、対象画像ファイルから画像関連情報を抽出する。ここで、画像関連情報とは、対象画像に関連する任意の情報を意味している。

例えば、画像関連情報は、対象画像中の被写体の種類を示す情報であってもよい。このとき、関連情報抽出部２１３は、対象画像中の被写体が予め設定された被写体の種類の区分の内のいずれに該当するかを判別することによって、画像関連情報を抽出する。被写体の種類の区分は、任意に設定可能である。例えば、被写体の種類の区分を、人物と人物以外との２種類に設定してもよいし、人物以外について家や車や山のように細分化して設定してもよい。あるいは、被写体の種類の区分を、山について特定の山（例えば富士山）を設定したり、花について特定の花（例えばひまわり）を設定したりするように、さらに細分化して設定してもよい。関連情報抽出部２１３は、対象画像を解析し、対象画像についての領域分割およびテンプレートマッチング等を行うことによって、画像関連情報として対象画像中の被写体の種類を示す情報を抽出することが可能である。図４（ｂ）の例では、画像関連情報として、１つの被写体（被写体１）が人物であるという情報と、別の被写体（被写体２）が家であるという情報とが抽出されている。

さらに、被写体の特徴と対象画像からは特定できない被写体に関する詳細情報との関係を予め登録しておくことにより、画像関連情報として被写体に関する詳細情報を抽出することも可能である。例えば、人物の顔の特徴と当該人物の属性情報（氏名、性別、年齢等）との関係を登録しておくことにより、人物の属性情報を画像関連情報として抽出することができる。図４（ｂ）の例では、画像関連情報として、被写体１の人物の氏名、性別、年齢が抽出されている。

ステップＳ１４０（図３）では、関連文設定部２１５（図１）が、辞書データベース２４０からサンプル文データＳＤを検出する。本実施例では、種々の設定条件に応じたサンプル文データＳＤが辞書データベース２４０内に準備されている。さらに、各サンプル文データＳＤは、少なくとも１つの画像関連情報に対応付けられている。関連文設定部２１５は、ステップＳ１１０で取得された設定条件とステップＳ１３０において抽出された画像関連情報とに基づき、サンプル文データＳＤを検出する。

図４の例では、関連文設定部２１５は、図４（ａ）に示す設定条件（近況報告の手紙を作文するという条件）用のサンプル文データＳＤの内、被写体が幼児（６歳のこども）であるという画像関連情報に対応付けられたサンプル文データＳＤを検出する。検出されたサンプル文データＳＤの表すサンプル文の例を図４（ｃ）に示す。ただし、図４（ｃ）に示した文における破線の下線付きの文字列の部分（Ｖ１〜Ｖ４）は、サンプル文では変数となっており、実際には図示した文字列は含まれていない。

ステップＳ１５０（図３）では、関連文設定部２１５（図１）が、ステップＳ１４０において検出されたサンプル文データＳＤとステップＳ１３０において抽出された画像関連情報とに基づいて、画像関連文を作成（作文）する。具体的には、関連文設定部２１５は、画像関連情報に基づき、サンプル文データＳＤの表すサンプル文を修正することにより、画像関連文を作成する。

作成された画像関連文の例を図４（ｃ）に示す。図４（ｃ）に示すように、例えば、人物の名前が「太郎」であるという画像関連情報（図４（ｂ）参照）に基づき、サンプル文の変数部分Ｖ１に当該名前が挿入される。このとき、被写体が幼児であるという画像関連情報に基づき、名前はひらがなによって挿入される。同様に、サンプル文の変数部分Ｖ２には、被写体が男性幼児であるという画像関連情報に基づき、男性の代名詞である「ぼく」の語が挿入される。サンプル文の変数部分Ｖ３には、人物以外の被写体が家であるという画像関連情報に基づき、「おうち」の語が挿入される。なお、サンプル文の変数部分Ｖ４には、「宛先」条件が「祖母」であるという情報と被写体が幼児であるという画像関連情報とに基づき、「おばあちゃん」の語が挿入される。このように関連文設定部２１５は、サンプル文データＳＤの表すサンプル文を修正することにより、図４（ｃ）に示すような画像関連文を作成する。

ステップＳ１６０（図３）では、関連文設定部２１５が、作成した画像関連文を表示部１２０に表示する。本実施例では、図４（ｃ）に示すように、画像関連文が対象画像と並べて表示される。なお、図４（ｃ）に示す画像関連文に付された破線の下線は、上述の変数部分を示すためのものであり、実際に表示部１２０上に表示されるものではない。

また、本実施例では、ユーザは、表示部１２０に表示された画像関連文の修正指示を操作部１３０を介して実行することができる。関連文設定部２１５は、ユーザによる修正指示に応じて、画像関連文の修正を行う。ユーザは、画像関連文が所望のものである場合には、例えば「ＯＫ」ボタンを選択することにより、画像関連文を確定させる。

ステップＳ１７０（図３）では、出力用画像設定部２１６（図１）が、出力用画像を設定する。出力用画像とは、表示部１２０やプリンタ３３０への最終的な出力のための画像であって、対象画像と画像関連文とを含む画像である。出力用画像設定部２１６は、対象画像と画像関連文との配置をユーザ指示に応じて設定し、出力用画像を作成する。

図４（ｄ）には、設定された出力用画像の例を示している。図４（ｄ）の例では、対象画像と画像関連文とが重複することなく別々の位置に配置されている。なお、図４（ｄ）の例では、出力用画像には、画像関連情報に基づき設定された差出人情報（○○たろう）と、画像関連文設定装置１００の図示しないタイマの出力に基づき設定された日付情報とが含まれている。

ステップＳ１８０（図３）では、文設定処理部２１０が、設定された出力用画像を出力する。具体的には、文設定処理部２１０は、表示処理部２２０の制御の下、出力用画像を表示部１２０上に表示する。あるいは、文設定処理部２１０は、印刷処理部２３０の制御の下、出力用画像をプリンタ３３０を用いて印刷する。

以上説明したように、本実施例の画像関連文設定装置１００による画像関連文設定処理では、対象画像ファイルから画像関連情報が抽出され、画像関連情報に基づき画像関連文が設定される。そのため、ユーザは、対象画像に関連した画像関連文の設定のために、設定条件を選択すると共に対処画像ファイルを指定するだけでよく、例えば画像の内容等に関する語句や文を入力するといった煩雑な作業を行う必要がない。従って、本実施例の画像関連文設定装置１００では、画像に関連した文を設定する際のユーザの負担を軽減することができる。

また、本実施例の画像関連文設定処理では、対象画像と画像関連文とを含む出力用画像が出力される。そのため、本実施例の画像関連文設定装置１００では、例えば画像付きの手紙のように、画像と当該画像に関連した文とを含む文書を作成する際のユーザの負担を軽減することができる。

なお、画像関連文設定装置１００は、被写体の種類を示す画像関連情報が複数抽出された場合に、すべての画像関連情報を画像関連文の設定に用いる必要はなく、優先度の高い被写体についての画像関連情報のみを用いるとしてもよい。図５は、被写体の種類を示す画像関連情報が複数抽出された場合における優先度の概念を示す説明図である。図５の例では、対象画像中に、気球と、緑地と、森林と、山と、車と、空との６種類の被写体が含まれており、それぞれの被写体に対応した６つの画像関連情報が抽出されたとする。この場合に、画像関連文設定装置１００の優先度設定部２１４（図１）は、各被写体に優先度を設定する。優先度設定部２１４による優先度の設定は、対象画像中における被写体の位置や被写体の占める領域の面積等に基づいて行われる。例えば、優先度設定部２１４は、対象画像の中心位置に近い被写体の優先度を高く設定する。この場合には、図５の例では、気球の優先度が高く設定される。あるいは、優先度設定部２１４は、対象画像中における被写体の占める領域の面積が大きいほど、優先度を高く設定する。このとき、同じ面積であっても被写体の種類に応じて優先度が変わるように、重み付けを考慮した優先度の設定が行われる。例えば図５の例では、気球や車のような一般に被写体領域の面積が小さくとも主要な被写体であることが多い被写体の優先度が、空や緑地といった主要な被写体であることが少ない被写体の優先度より高くなるように、優先度の重み付けが行われる。

また、例えば対象画像中に複数の人物が被写体として含まれている場合には、被写体が人物であることを示す画像関連情報が複数抽出される。この場合に、優先度設定部２１４は、予め登録された特徴を有する人物の優先度を高く設定するとしてもよい。この場合に、優先度の高い人物に対応した画像関連情報のみに基づき画像関連文が設定されるとしてもよい。

上述のように、優先度設定部２１４により各被写体に優先度が設定された場合、関連文設定部２１５（図１）は、複数の画像関連情報の内、優先度が所定の閾値よりも高い被写体に対応した画像関連情報のみに基づき、画像関連文を設定するとしてもよい。例えば、図５の例において、優先度の高い被写体である気球および車に対応した画像関連情報のみが画像関連文の設定に用いられるとしてもよい。このようにすれば、対象画像によりマッチした画像関連文の設定を実現することが可能となる。

Ｂ．第２実施例：
図６は、第２実施例における画像関連文設定処理の概要を示す説明図である。第２実施例における画像関連文設定処理の流れは、図３に示した第１実施例と同じである。第２実施例の画像関連文設定処理は、画像関連文設定の際の設定条件が第１実施例とは異なっている。すなわち、図６（ａ）に示すように、第２実施例の画像関連文設定処理では、ステップＳ１１０（図３）において、「モード」条件が「作文」であり「種類」条件が「コメント」である設定条件が取得される。

また、第２実施例の画像関連文設定処理では、ステップＳ１２０（図３）において、複数の対象画像ファイルが取得される。図６（ｂ）には、取得された３つの対象画像ファイルの表す３つの対象画像（対象画像１から対象画像３）を示している。

第２実施例の画像関連文設定処理においても、第１実施例と同様に、関連情報抽出部２１３（図１）による対象画像ファイルからの画像関連情報の抽出が行われる（図３のステップＳ１３０）。図６（ｂ）には、各対象画像ファイルから抽出された画像関連情報を示している。例えば、対象画像１を表す対象画像ファイルからは、被写体（被写体１）がイチゴでありその色が赤色であるという情報が、画像関連情報として抽出されている。また、対象画像２を表す対象画像ファイルからは、１つの被写体（被写体１）が人物であるという情報およびその人物の氏名、性別、年齢を特定する情報と、別の被写体（被写体２）が馬であるという情報とが、画像関連情報として抽出されている。また、対象画像３を表す対象画像ファイルからは、被写体（被写体１）が空でありその色が灰色であるという情報と、対象画像の撮影日を特定する情報と、対象画像の撮影場所を特定する情報とが、画像関連情報として抽出されている。なお、対象画像の撮影日を特定する情報や、対象画像の撮影場所を特定する情報は、対象画像ファイルの付属情報（例えばＥｘｉｆ情報）に基づき抽出することが可能である。ただし、対象画像の撮影場所を特定する情報は、例えば画像ファイルがＧＰＳ付きのデジタルスチルカメラにより生成された場合のように、対象画像ファイルの付属情報に撮影場所を特定する情報が含まれる場合のみ抽出可能である。

画像関連情報の抽出（図３のステップＳ１３０）の後には、第１実施例と同様に、各対象画像について、サンプル文の検出（図３のステップＳ１４０）、画像関連文の作成（図３のステップＳ１５０）、画像関連文の表示（図３のステップＳ１６０）が実行される。

図６（ｃ）には、各対象画像について設定された画像関連文が各対象画像に対応付けられて表示されている例を示している。例えば、対象画像１については、抽出された画像関連情報（被写体が食べ物であるイチゴでありその色が赤色であるという情報）に基づき「おいしそうな○○！」（○○は、変数部分）というサンプル文を表すサンプル文データＳＤが検出され、変数部分に被写体の名称（イチゴ）が挿入されることにより、「おいしそうなイチゴ！」という画像関連文が設定されている。なお、他にも「イチゴ食べたい」のような画像関連文が設定されてもよい。

また、対象画像２については、抽出された画像関連情報（１つの被写体が人物であって当該人物が男性の幼児で「太郎」という名前であるという情報、および別の被写体が馬であるという情報）に基づき「○○くん ○○に乗ったよ」（○○は、変数部分）というサンプル文を表すサンプル文データＳＤが検出され、変数部分に被写体１の名前（たろう）および被写体２の名称（馬）が挿入されることにより、「たとうくん 馬に乗ったよ」という画像関連文が設定されている。なお、他にも「乗馬、楽しいよ」のような画像関連文が設定されてもよい。

また、対象画像３については、抽出された画像関連情報（被写体が空でありその色が灰色であるという情報と対象画像の撮影日を特定する情報と対象画像の撮影場所を特定する情報）に基づき「撮影日 撮影場所 残念ながらガスの中」（撮影日および撮影場所は、変数部分）というサンプル文を表すサンプル文データＳＤが検出され、変数部分に撮影日および撮影場所が挿入されることにより、画像関連文が設定されている。この場合には、被写体が空でありその色が灰色であるという画像関連情報から、天気が曇りであるという情報が導かれ、上記のサンプル文が検出されている。また、撮影日および撮影場所の情報に基づき天気情報を提供するデータベースを用いて天気が曇りであるという情報が導かれるとしてもよい。

なお、図６（ｃ）に示すように、本実施例の画像関連文設定装置１００により設定される画像関連文は、抽出された画像関連情報自体以外の意味を表す語句を含んでいる。例えば、図６（ｃ）の右側に示す対処画像３について設定された画像関連文は、対象画像の撮影日が１０月３日であるという情報や対象画像の撮影場所が駒津峰山頂であるという情報自体以外の意味を表す語句（「残念ながらガスの中」）を含んでいる。

画像関連文の表示（図３のステップＳ１６０）の後には、出力用画像の設定および出力（図３のステップＳ１７０およびＳ１８０）が実行される。第２実施例では、出力用画像は、図６（ｃ）に示した画像関連文設定表示用の画像と同様の画像として設定される。すなわち、出力用画像は、複数の対象画像と複数の対象画像について設定された複数の画像関連文とが対応付けられて配置された画像として設定される。出力用画像は、第１実施例と同様に、表示部１２０に表示されたり、プリンタ３３０によって印刷されたりする。このような出力用画像を印刷することによって、例えばコメント付きのアルバムを作成することができる。

以上説明したように、第２実施例の画像関連文設定処理においても、対象画像ファイルから画像関連情報が抽出され、画像関連情報に基づき画像関連文が設定される。そのため、ユーザは、対象画像に関連した画像関連文の設定のために、設定条件を選択すると共に対処画像ファイルを指定するだけでよく、例えば画像の内容等に関する語句や文を入力するといった煩雑な作業を行う必要がない。従って、第２実施例の画像関連文設定装置１００でも、画像に関連した文を設定する際のユーザの負担を軽減することができる。

また、第２実施例の画像関連文設定処理では、複数の対象画像ファイルから画像関連情報が抽出され、画像関連情報に基づきそれぞれの対象画像についての画像関連文が設定され、複数の対象画像と複数の画像関連文とが対応付けられて配置された出力用画像が出力される。そのため、第２実施例の画像関連文設定装置１００では、コメント付きのアルバムのように、複数の画像と当該複数の画像のそれぞれに関連する文とを含む文書を作成する際のユーザの負担を軽減することができる。

Ｃ．第３実施例：
図７は、第３実施例における画像関連文設定処理の流れを示すフローチャートである。また、図８は、第３実施例における画像関連文設定処理の概要を示す説明図である。第３実施例の画像関連文設定処理は、設定条件の取得ステップ（図７のステップＳ２１０）において、「モード」条件（図２参照）が「文選択」である設定条件が取得された場合の処理である。図８には、図８（ａ）に示すように、「モード」条件が「文選択（万葉集）」であり、「種類」条件が「手紙（近況報告）」であり、「宛先」条件が「友人」である設定条件が取得された場合の画像関連文設定処理の例を示している。

設定条件の取得（図７のステップＳ２１０）、対象画像ファイルの取得（図７のステップＳ２２０）、および画像関連情報の抽出（図７のステップＳ２３０）は、図３に示した第１実施例における各ステップと同様に実行される。図８（ｂ）には、取得された対象画像ファイルの表す対象画像と、対象画像ファイルから抽出された画像関連情報（被写体が富士山であり、雪を被っているという情報）とを示している。

ステップＳ２４０（図７）では、関連文設定部２１５（図１）が、取得された設定条件と抽出された画像関連情報とに基づき、サンプル文データＳＤの検出を行う。ここで、第３実施例では、関連文設定部２１５が複数のサンプル文データＳＤを、画像関連文の候補として検出する。図８の例では、設定条件によって出典範囲は万葉集であると指定され（図８（ａ）参照）、かつ、被写体が富士山であり雪を被っているという画像関連情報が抽出されている。そのため、関連文設定部２１５は、辞書データベース２４０（図１）の中から、万葉集に収録された歌の内、富士山および雪を詠んだ歌を表すサンプル文データＳＤをすべて検出する。検出されたサンプル文データＳＤの表す歌（文）の例を図８（ｃ）中に示す。

ステップＳ２５０（図７）では、関連文設定部２１５（図１）が、検出されたサンプル文データＳＤの表す歌（文）を、画像関連文の候補として表示部１２０に表示する。表示部１２０における表示例を図８（ｃ）に示す。図８（ｃ）に示すように、複数の画像関連文の候補が並んで表示される。ユーザは、ラジオボタンによって複数の候補の中から、１つを選択する。これにより、選択された候補が画像関連文として設定される。

ステップＳ２６０（図７）では、出力用画像設定部２１６（図１）が、出力用画像を設定し、ステップＳ２７０では、文設定処理部２１０が、設定された出力用画像を出力する。図８（ｄ）には、出力用画像の例を示している。図８（ｄ）の例では、対象画像中に画像関連文が配置されている。このとき、抽出された画像関連情報に対応した被写体（図８（ｄ）の例では富士山）を表す領域を避けるようにして対象画像中にレイアウト枠が設定され、設定されたレイアウト枠内に画像関連文が配置される。なお、対象画像中の画像関連文の配置される位置に応じて、画像関連文の文字の色や大きさが調整されるとしてもよい。

また、図５に示した例のように、対象画像中に被写体が複数ある場合には、優先度が所定の閾値よりも高い被写体を表す領域以外の領域にレイアウト枠が設定され、設定されたレイアウト枠内に画像関連文が配置されるとしてもよい。例えば、図５の例では、気球および車を表す領域以外の領域にレイアウト枠が設定されるとしてもよい。このようにすれば、対象画像中の優先度の高い被写体が画像関連文の背後に隠れることがなく、より好ましい画像関連文の配置を設定することができる。

以上説明したように、第３実施例の画像関連文設定処理においても、対象画像ファイルから画像関連情報が抽出され、画像関連情報に基づき画像関連文が設定される。そのため、ユーザは、対象画像に関連した画像関連文の設定のために、設定条件を選択すると共に対処画像ファイルを指定するだけでよく、例えば画像の内容等に関する語句や文を入力するといった煩雑な作業を行う必要がない。従って、第３実施例の画像関連文設定装置１００でも、画像に関連した文を設定する際のユーザの負担を軽減することができる。

また、第３実施例の画像関連文設定装置１００は、複数の画像関連文の候補を検出し、ユーザにより選択された候補を画像関連文として設定するため、よりユーザの好みにあった画像関連文を設定することができると共に、画像関連文の設定の度に異なる候補を選択することによって異なる文書を作成することができる。

Ｄ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｄ１．変形例１：
上記各実施例における画像関連文設定装置１００（図１）の構成はあくまで一例であり、画像関連文設定装置１００の構成を他の構成とすることも可能である。例えば、画像関連文設定装置１００は、必ずしも出力用画像設定部２１６や優先度設定部２１４を備える必要はない。また、画像関連文設定装置１００は、必ずしも辞書データベース２４０や設定条件テーブルＣＴを有する必要はない。

また、上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

Ｄ２．変形例２：
上記各実施例において、設定条件テーブルＣＴ（図２）の内容はあくまで一例であり、設定条件テーブルＣＴに図２に示した条件以外の他の条件が含まれていてもよく、また、図２に示した条件の一部が設定条件テーブルＣＴに含まれないとしてもよい。例えば、差出人を特定するための「差出人」条件や、相手と自分との関係や親密度を表すための「人間関係」条件等が含まれるとしてもよい。また、ユーザによる設定条件の指定は、必ずしも画像関連文設定装置１００が提示する選択肢の中から選択することによって実行される必要はなく、ユーザが直接条件を入力することによって指定できるとしてもよい。

Ｄ３．変形例３：
上記各実施例における作文の処理（図３のステップＳ１５０）の態様はあくまで一例であり、作文の処理が他の態様により実行されるとしてもよい。例えば、作文の処理において、画像関連情報に基づきサンプル文の言葉遣いが変更されるとしてもよい。すなわち、被写体が女子の幼児（氏名：○○花子）であることを示す画像関連情報が抽出された場合には、図４（ｃ）に示す画像関連文において、「はなこです。お元気ですか？わたしは元気よ。・・・」のように、サンプル文が女子の言葉遣いに変更されるとしてもよい。あるいは、被写体が成人（氏名：松本○○）であることを示す画像関連情報が抽出された場合には、「松本です。ご無沙汰しています。・・・」のように、サンプル文が変更されるとしてもよい。他にもサンプル文の変更に用いる言葉遣いとしては、幼児ことばや敬語、方言等であってもよい。

また、画像関連文の設定において、必ずしもサンプル文データＳＤが用いられる必要はない。画像関連文は、抽出された画像関連情報に基づき設定されればよく、例えば、画像関連情報と形容詞や動詞等とが自動的に組み合わせられることにより、画像関連文が設定されるとしてもよい。

また、上記第１実施例および第２実施例において、第３実施例と同様に、複数の画像関連文の候補が設定され、ユーザにより選択された候補が画像関連文として設定されるとしてもよい。また、上記第１実施例および第２実施例において、第３実施例と同様に、対象画像中に画像関連文が配置されることによって出力用画像が設定されるとしてもよい。

Ｄ４．変形例４：
上記各実施例における画像関連情報の態様はあくまで一例であり、画像関連情報が他の態様で抽出されるとしてもよい。例えば、画像関連情報は、対象画像の撮影シーン（ポートレートやマクロ等）を特定するための情報として抽出されるとしてもよい。また、予め登録された情報を用いずとも、被写体が男性の年少の人物であるとか年老いた人物であるとかを示す情報を、画像関連情報として抽出するとしてもよい。あるいは、被写体が人物であるという画像関連情報が抽出された場合に、その人物の属性情報（氏名、性別、年齢等）をユーザに入力させることによって、人物の属性情報が抽出されるとしてもよい。

本発明の第１実施例としての画像関連文設定装置の構成を概略的に示す説明図である。 設定条件テーブルＣＴの内容の一例を示す説明図である。 画像関連文設定装置１００による画像関連文設定処理の流れを示すフローチャートである。 画像関連文設定装置１００による画像関連文設定処理の概要を示す説明図である。 被写体の種類を示す画像関連情報が複数抽出された場合における優先度の概念を示す説明図である。 第２実施例における画像関連文設定処理の概要を示す説明図である。 第３実施例における画像関連文設定処理の流れを示すフローチャートである。 第３実施例における画像関連文設定処理の概要を示す説明図である。

符号の説明

１００...画像関連文設定装置
１１０...ＣＰＵ
１２０...表示部
１３０...操作部
１４０...インターフェイス部
１５０...バス
２００...内部記憶装置
２１０...文設定処理部
２１２...対象画像取得部
２１３...関連情報抽出部
２１４...優先度設定部
２１５...関連文設定部
２１６...出力用画像設定部
２２０...表示処理部
２３０...印刷処理部
２４０...辞書データベース
３１０...デジタルスチルカメラ
３２０...スキャナ
３３０...プリンタ

Claims (12)

1. 画像に関連した画像関連文を設定する装置であって、
   画像関連文設定の対象となる対象画像を表す対象画像ファイルを取得する対象画像取得部と、
   前記対象画像ファイルから前記対象画像に関連する画像関連情報を抽出する関連情報抽出部と、
   前記対象画像についての画像関連情報の内の少なくとも１つに基づき、前記対象画像についての画像関連文を設定する関連文設定部と、を備える、装置。
2. 請求項１記載の装置であって、
   前記関連文設定部により設定される画像関連文は、前記抽出された画像関連情報自体以外の意味を表す語句を含む文である、装置。
3. 請求項１または請求項２のいずれかに記載の装置であって、
   前記関連情報抽出部は、前記対象画像を解析することによって、前記対象画像中の被写体の種類を示す情報を画像関連情報として抽出し、
   前記関連文設定部は、前記対象画像についての画像関連情報の内、少なくとも前記対象画像中の被写体の種類を示す画像関連情報に基づき、前記対象画像についての画像関連文を設定する、装置。
4. 請求項３記載の装置であって、さらに、
   前記関連情報抽出部が前記対象画像中の複数の被写体のそれぞれについて被写体の種類を示す画像関連情報を抽出した場合に、前記抽出された画像関連情報に対応した複数の被写体の優先度を設定する優先度設定部を備え、
   前記関連文設定部は、前記対象画像についての被写体の種類を示す画像関連情報の内、少なくとも前記優先度が所定の第１の閾値よりも高い被写体に対応した画像関連情報に基づき、前記対象画像についての画像関連文を設定する、装置。
5. 請求項１ないし請求項４のいずれかに記載の装置であって、さらに、
   それぞれ少なくとも１つの画像関連情報に対応付けられた複数のサンプル文が格納されたサンプル文記憶部を備え、
   前記関連文設定部は、前記対象画像についての画像関連情報と、前記対象画像についての画像関連情報に対応付けられたサンプル文とに基づき、前記対象画像についての画像関連文を設定する、装置。
6. 請求項５記載の装置であって、
   前記関連文設定部は、前記対象画像についての画像関連情報に対応付けられた少なくとも１つのサンプル文を前記サンプル文記憶部から検出し、検出されたサンプル文を前記対象画像についての画像関連情報に基づき変更し、変更されたサンプル文を前記対象画像についての画像関連文として設定する、装置。
7. 請求項１ないし請求項６のいずれかに記載の装置であって、
   前記関連文設定部は、前記対象画像についての画像関連文の候補を複数設定し、ユーザにより選択された１つの候補を前記対象画像についての画像関連文として設定する、装置。
8. 請求項１ないし請求項７のいずれかに記載の装置であって、さらに、
   設定された前記対象画像についての画像関連文と前記対象画像とを含む出力用画像を設定する出力用画像設定部と、
   設定された前記出力用画像を出力する出力部と、を備える、装置。
9. 請求項４記載の装置であって、さらに、
   設定された前記対象画像についての画像関連文と前記対象画像とを含む出力用画像を設定する出力用画像設定部と、
   設定された前記出力用画像を出力する出力部と、を備え、
   前記出力用画像設定部は、前記対象画像中の領域の内の前記優先度が所定の第２の閾値よりも高い被写体を表す領域以外の領域に前記対象画像についての画像関連文を配置することによって、前記出力用画像を設定する、装置。
10. 請求項８記載の装置であって、
    前記対象画像取得部は、複数の画像ファイルを前記対象画像ファイルとして取得し、
    前記関連文設定部は、前記複数の対象画像ファイルの表す複数の対象画像のそれぞれについて画像関連文を設定し、
    前記出力用画像設定部は、前記複数の対象画像と前記複数の対象画像について設定された複数の画像関連文とを対応付けて配置することによって、前記出力用画像を設定する、装置。
11. 画像に関連した画像関連文を設定する方法であって、
    （ａ）画像関連文設定の対象となる対象画像を表す対象画像ファイルを取得する工程と、
    （ｂ）前記対象画像ファイルから前記対象画像に関連する画像関連情報を抽出する工程と、
    （ｃ）前記対象画像についての画像関連情報の内の少なくとも１つに基づき、前記対象画像についての画像関連文を設定する工程と、を備える、方法。
12. 画像に関連した画像関連文を設定するためのコンピュータプログラムであって、
    画像関連文設定の対象となる対象画像を表す対象画像ファイルを取得する対象画像取得機能と、
    前記対象画像ファイルから前記対象画像に関連する画像関連情報を抽出する関連情報抽出機能と、
    前記対象画像についての画像関連情報の内の少なくとも１つに基づき、前記対象画像についての画像関連文を設定する関連文設定機能と、を、コンピュータに実現させる、コンピュータプログラム。

Images