JP2018190430A - テキスト生成装置、電子機器及びプログラム - Google Patents

Abstract

【課題】前後の画像のコメントと調和するコメントを作成することができるテキスト生成装置を提供する。【解決手段】画像に含まれる物体を検出する検出部と、前記物体に関する第１情報を取得する第１取得部と、前記画像の生成に関する第２情報を取得する第２取得部と、前記第１情報及び前記第２情報に基づいて、テキストを生成するテキスト生成部とを備える。【選択図】図１

Description

本発明は、テキスト生成装置、電子機器及びプログラムに関するものである。

従来、過去に撮影された画像に関する情報を用いて今回撮影された画像のコメントを作成する文書自動作成装置が知られている（例えば、特許文献１参照）。この文書自動作成装置によれば、過去に撮影された画像との関係を考慮したコメントを作成することができる。

特開２００８−２５７３５８号公報

しかしながら、この文書自動作成装置においては、今回撮影された画像に関する情報を過去に撮影された画像のコメントに反映させることはできなかった。このため、所定の期間内に一連の画像が撮影された場合等において、各画像に付されているコメントが前後の画像のコメントと調和しない場合があった。

本発明の目的は、前後の画像のコメントと調和するコメントを作成することができるテキスト生成装置、電子機器及びプログラムを提供することである。

本発明のテキスト生成装置は、画像に含まれる物体を検出する検出部と、前記物体に関する第１情報を取得する第１取得部と、前記画像の生成に関する第２情報を取得する第２取得部と、前記第１情報及び前記第２情報に基づいて、テキストを生成するテキスト生成部とを備える。

本発明の電子機器は、本発明のテキスト生成装置と、前記画像を生成する撮像部と、を備える。
本発明のプログラムは、コンピュータに画像に含まれる物体を検出する検出処理、前記物体に関する第１情報を取得する第１取得処理、前記画像の生成に関する第２情報を取得する第２取得処理、前記第１情報及び前記第２情報に基づいて、テキストを生成するテキスト生成処理、を実行させる。

本発明によれば、前後の画像のコメントと調和するコメントを作成することができる。

実施の形態に係るデジタルカメラの構成を示すブロック図である。 実施の形態に係るデジタルカメラにより撮影された画像及び画像のコメントの変化を示す図である。 実施の形態に係るデジタルカメラに記憶されているコメントファイルの内容を示す図である。 実施の形態に係るデジタルカメラの処理を示すフローチャートである。 実施の形態に係るデジタルカメラにおいてコメント更新の対象となる画像、及び予めコメントを取得する対象となる画像の範囲を示す図である。 実施の形態に係るデジタルカメラに記憶されているコメントテーブルの内容を示す図である。 実施の形態に係るデジタルカメラにより撮影された画像及び画像のコメントの変化を示す図である。 実施の形態に係るデジタルカメラにより撮影された画像及び画像のコメントの変化を示す図である。 実施の形態に係るデジタルカメラにより撮影された画像及び画像のコメントを示す図である。 実施の形態に係るデジタルカメラにより撮影された画像及び画像のコメントを示す図である。 実施の形態に係るデジタルカメラにより撮影された画像及び画像のコメントを示す図である。 実施の形態に係るデジタルカメラにより撮影された画像及び画像のコメントの変化を示す図である。

以下、図面を参照して本発明の実施の形態に係るデジタルカメラについて説明する。図１は、実施の形態に係るデジタルカメラ２の構成を示すブロック図である。デジタルカメラ２は、ＣＰＵ４を備え、ＣＰＵ４には、ＧＰＳ衛星から受信した信号に基づいて撮影位置を測定するＧＰＳ６、操作部８、ＬＣＤ表示部１０の表示制御を行う表示制御部１２、ＬＣＤ表示部１０に表示されるアイコンが指等でタッチされたことを検出するタッチパネル１３、被写体を撮影するための撮像素子１４、撮像素子１４から出力された撮像信号から生成された画像データを一時的に記憶するメモリ１６、画像データを記憶するメモリカード１８を着脱するメモリカードスロット１９が接続されている。

また、ＣＰＵ４には、撮影位置の位置情報等を記憶する情報記憶部２０、画像データに基づく画像のコメント等を記録するコメントファイルを記憶するファイル記憶部２２、コメントを構成するコメント素材をデータベースとして記憶するコメントデータベース２４、コメントデータベース２４に記憶されているコメント素材をつなぎ合わせて既存のコメント作成技術によりコメントを作成するコメント作成部２６、コメントデータベース２４から取得するコメント素材の等級（以下、表現レベルという。）を決定する際に参照されるコメントテーブルを記憶するテーブルデータベース２７、既存の顔認識技術により画像データに基づく画像から人の顔を認識する顔認識部２８、メールサーバを介して画像データ等の送受信を行う無線通信部３２が接続されている。

ここで、操作部８には、シャッタボタン（不図示）、撮影のシーンに適した撮影モード（例えば、オートモード、風景モード、料理モード等）を設定するモードダイヤル（不図示）等が含まれている。

図２は、実施の形態に係るデジタルカメラ２により撮影された画像及び画像のコメントを示す図である。図２に示すように、本実施の形態においては、デジタルカメラ２により撮影が行われる度に撮影された画像に対してコメントが付与される。例えば、１枚目に画像４２のような画像が撮影された場合、ＣＰＵ４は、コメント作成部２６により画像４２の画像データ等に基づいて「すず音と大沼ビール」のようなコメントを作成し、作成したコメントを画像４２に付与する。次に、２枚目に画像４４のような画像が撮影された場合、ＣＰＵ４は、コメント作成部２６により画像４４の画像データ等に基づいて「Ｗ旅館からの眺め」のようなコメントを作成し、作成したコメントを画像４４に付与する。次に、３枚目に画像４６のような画像が撮影された場合、ＣＰＵ４は、コメント作成部２６により画像４６の画像データ等に基づいて「Ｗ旅館にて夕食」のようなコメントを作成し、作成したコメントを画像４６に付与する。次に、４枚目に画像４８のような画像が撮影された場合、ＣＰＵ４は、コメント作成部２６により画像４８の画像データ等に基づいて「ごちそうにみんなにっこり」のようなコメントを作成し、作成したコメントを画像４８に付与する。

また、所定の条件で撮影が行われた場合、過去に撮影された画像のコメントが更新される。例えば、３枚目の画像４６が料理モードで撮影された場合、矢印Ａに示すように、１枚目の画像４２のコメント「すず音と大沼ビール」が「夕食前のすず音と大沼ビール」のように更新される。同様に、矢印Ｂに示すように、２枚目の画像４４のコメント「Ｗ旅館からの眺め」が「夕食前のＷ旅館からの眺め」のように更新される。また、４枚目の画像４８から検出された人の顔が笑顔であった場合、矢印Ｃに示すように、３枚目の画像４８のコメント「Ｗ旅館にて夕食」が「素晴らしいＷ旅館にて夕食」のように更新される。なお、コメントの更新の具体的な内容については後に詳しく説明する。

図３は、実施の形態に係るデジタルカメラ２に記憶されているコメントファイルの内容を示す図である。図３に示すように、本実施の形態においては、デジタルカメラ２により撮影が行われる度に、撮影された画像の画像データのファイル名、撮影日時、撮影位置、撮影時に設定されていた撮影モード、及び画像に付与されたコメントがコメントファイルに記録される。また、所定の条件で撮影が行われた場合には、これから撮影される画像のコメントを構成する予定の予備コメント素材がコメントデータベース２４から取得され、コメントファイルに記録される。なお、予備コメント素材の具体的な内容については後に詳しく説明する。

次に、図４に示すフローチャートを参照して実施の形態に係るデジタルカメラ２の処理について、３枚目の画像４６の撮影、及び４枚目の画像４８の撮影が行われた場合を例に説明する。

まず、シャッタボタンが操作されて３枚目の画像４６が撮影されると（ステップＳ１）、ＣＰＵ４は、撮影された画像４６の画像データをメモリ１６に一旦記憶する。次に、ＣＰＵ４は、ＧＰＳ６により測位された撮影位置の位置情報を取得し（ステップＳ２）、取得した位置情報、及び位置情報取得時の日時に関する日時情報を画像データのファイル名と共に情報記憶部２０に記憶する。

次に、ＣＰＵ４は、メモリ１６から画像データを読み出し、情報記憶部２０から位置情報及び日時情報を読み出し、画像データ、位置情報、及び日時情報の少なくとも一つを用いてコメントデータベース２４からコメント素材を取得する（ステップＳ３）。例えば、ＣＰＵ４は、撮影モードが料理モードに設定されている場合、「食」というコメント素材をコメントデータベース２４から取得する。また、位置情報に基づく撮影位置に基づいて、「Ｗ旅館」というコメント素材をコメントデータベース２４から取得する。また、日時情報に基づく撮影日時が「２０１２／８／１１ １８：３０」である場合、ＣＰＵ４は、「夕」というコメント素材をコメントデータベース２４から取得する。

次に、ＣＰＵ４は、コメント作成部２６により、「食」、「Ｗ旅館」、及び「夕」をつなぎ合わせた「Ｗ旅館にて夕食」というコメントを作成する（ステップＳ４）。

次に、ＣＰＵ４は、図３に示すように、画像４６の画像データのファイル名「ＤＳＣ００３．ｊｐｇ」、画像４６の撮影日時「２０１２／８／１１ １８：３０」、画像４６の撮影時の撮影位置「…」、画像４６の撮影時に設定されていた撮影モード名「料理モード」、及びコメント作成部２６により作成した画像４６のコメント「Ｗ旅館にて夕食」をコメントファイルに記録する（ステップＳ５）。

次に、ＣＰＵ４は、ファイル名「ＤＳＣ００３．ｊｐｇ」の画像データにタグ情報として位置情報及び日時情報を付加してＥｘｉｆ等の所定のファイル形式の画像データとしてメモリカード１８に記憶する（ステップＳ６）。

次に、ＣＰＵ４は、予備コメント素材を取得する必要性についての判定を行う（ステップＳ７）。例えば、撮影モードが料理モードに設定されているか否の判定を行う。予備コメント素材を取得する必要がない場合（ステップＳ７：Ｎｏ）、ステップＳ１０の処理に進む。

一方、予備コメント素材を取得する必要がある場合（ステップＳ７：Ｙｅｓ）、即ち、撮影モードが料理モードに設定されている場合、ＣＰＵ４は、「ごちそう」、「料理」、「食」、「飯」、「食事」の５つの表現レベルの予備コメント素材をコメントデータベース２４から取得する（ステップＳ８）。次に、ＣＰＵ４は、コメントファイルにおいて、次に撮影される画像の情報が記録される位置に取得した予備コメント素材を記録する（ステップＳ９）。例えば、図３に示すように、ファイル名「ＤＳＣ００３．ｊｐｇ」の行（３行目）の次の行（４行目）の予備コメント素材・レベル「Ａ」の欄に「ごちそう」のように記録する。同様に、予備コメント素材・レベル「Ｂ＋」の欄に「料理」、予備コメント素材・レベル「Ｂ」の欄に「食」、予備コメント素材・レベル「Ｂ−」の欄に「飯」、予備コメント素材・レベル「Ｃ」の欄に「食事」のように記録する。なお、料理モードにおいてコメントファイルに記録された予備コメント素材は、記録されてから例えば３０分経過後に削除される。

次に、ＣＰＵ４は、過去に撮影された画像のコメントを更新する必要性についての判定を行う（ステップＳ１０）。例えば、撮影モードが料理モードに設定されていること、及び撮影された画像から笑顔が認識されたことの少なくとも一つに該当するか否かの判定を行う。過去に撮影された画像のコメントを更新する必要がない場合（ステップＳ１０：Ｎｏ）、ＣＰＵ４は、３枚目の画像４６が撮影された場合における一連の処理を終了する。

一方、過去に撮影された画像のコメントを更新する必要がある場合（ステップＳ１０：Ｙｅｓ）、ＣＰＵ４は、画像４６の撮影時よりも所定の時間前までに撮影された画像のコメントを更新するコメントと決定する（ステップＳ１１）。例えば、図５に示すように、画像４６（１８：３０撮影）よりも３０分前までに撮影された画像４２（１８：０３撮影）のコメント「すず音と大沼ビール」、及び画像４４（１８：０５撮影）のコメント「Ｗ旅館からの眺め」を更新するコメントと決定する。

次に、ＣＰＵ４は、更新に用いるコメント素材を取得する（ステップＳ１２）。例えば、ＣＰＵ４は、過去のコメントに付するコメント素材として、「前」というコメント素材をコメントデータベース２４から取得する。また、図３に示すコメントファイルに記録されている撮影日時「２０１２／８／１１ １８：３０」に基づいて、「夕」というコメント素材をコメントデータベース２４から取得する。また、撮影モードが料理モードに設定されている場合、「食」というコメント素材をコメントデータベース２４から取得する。

次に、ＣＰＵ４は、コメントファイルに記録されているファイル名「ＤＳＣ００１．ｊｐｇ」の画像データに基づく画像４２のコメント「すず音と大沼ビール」を読み出し、コメント「すず音と大沼ビール」に「前」、「夕」、「食」をつなぎ合わせる。そして、図２の矢印Ａに示すように、画像４２のコメントを「すず音と大沼ビール」から「夕食前のすず音と大沼ビール」に更新し、更新後のコメントをコメントファイルに上書きする。

また、ＣＰＵ４は、コメントファイルに記録されているファイル名「ＤＳＣ００２．ｊｐｇ」の画像４４のコメント「Ｗ旅館からの眺め」を読み出し、コメント「Ｗ旅館からの眺め」に「前」、「夕」、「食」をつなぎ合わせる。そして、図２の矢印Ｂに示すように、画像４４のコメントを「Ｗ旅館からの眺め」から「夕食前のＷ旅館からの眺め」に更新し、更新後のコメントをコメントファイルに上書きする。

以上により、３枚目の画像４６が撮影された場合の処理が完了する。以下、続けて４枚目の画像４８が撮影された場合の処理について説明する。まず、４枚目の画像４８が撮影されると（ステップＳ１）、ＣＰＵ４は、画像４８撮影時の位置情報を取得し（ステップＳ２）、位置情報、日時情報を画像データのファイル名と共に情報記憶部２０に記憶する。

次に、ＣＰＵ４は、メモリ１６から画像データを読み出し、情報記憶部２０から位置情報及び日時情報を読み出し、画像データ、位置情報、及び日時情報の少なくとも一つを用いてコメントデータベース２４からコメント素材を取得する（ステップＳ３）。例えば、ＣＰＵ４は、顔認識部２８により画像データに基づく画像４８から人の顔を検出し、３人以上の人の顔を検出した場合、「みんな」というコメント素材をコメントデータベース２４から取得する。さらに、画像４８から検出された人の顔が笑顔であった場合、「にっこり」というコメント素材をコメントデータベース２４から取得する。

なお、図３に示すように、コメントファイルの今回撮影された画像に関する情報が記録される行（４行目）に予備コメント素材が記録されている場合、ＣＰＵ４は、更にコメントファイルから予備コメント素材を取得する。例えば、ＣＰＵ４は、予備コメント素材を取得する際に画像４８から検出された人の顔の笑顔度を「Ａ」、「Ｂ＋」、「Ｂ」、「Ｂ−」、「Ｃ」のように５段階で判定し、笑顔度が「Ａ」であれば、予備コメント素材・レベル「Ａ」の欄から予備コメント素材「ごちそう」を取得する。なお、画像４８から笑顔が認識されない場合、ＣＰＵ４は、標準レベルであるレベル「Ｂ」の予備コメント素材「食」を取得する。

次に、ＣＰＵ４は、コメント作成部２６により、「にっこり」、「みんな」、「ごちそう」をつなぎ合わせ、図２に示すように、４枚目の画像４８のコメントとして、「ごちそうにみんなにっこり」というコメントを作成する（ステップＳ４）。

次に、ＣＰＵ４は、図４に示すように、画像４８の画像データのファイル名「ＤＳＣ００４．ｊｐｇ」、画像４８の撮影日時「２０１２／８／１１ １８：３５」、画像４８の撮影位置「…」、画像４８の撮影時に設定されていた撮影モード「料理モード」、及びコメント作成部２６により作成した画像４８のコメント「ごちそうにみんなにっこり」をコメントファイルに記録する（ステップＳ５）。

次に、ＣＰＵ４は、ファイル名「ＤＳＣ００４．ｊｐｇ」の画像データにタグ情報として位置情報及び日時情報を付加してＥｘｉｆ等の所定のファイル形式の画像データとしてメモリカード１８に記憶する（ステップＳ６）。

次に、予備コメント素材を取得する必要性についての判定を行う（ステップＳ７）。ここで、４枚目の画像４８撮影時には、撮影モードが料理モードに設定されていることから、予備コメント素材を取得する必要がある（ステップＳ７：Ｙｅｓ）。このため、ＣＰＵ４は、３枚目の画像４６が撮影された場合の処理と同様に、「ごちそう」、「料理」、「食」、「飯」、「食事」の５つの表現レベルの予備コメント素材を取得し（ステップＳ８）、図３に示すように、ファイル名「ＤＳＣ００４．ｊｐｇ」の行（４行目）の次の行（５行目）の予備コメント素材の欄に記録する（ステップＳ９）。なお、笑顔が認識された場合にコメントファイルに記録された予備コメント素材は、記録されてから例えば１０分経過後に削除される。

次に、ＣＰＵ４は、過去に撮影された画像のコメントを更新する必要性の判定を行う（ステップＳ１０）。４枚目の画像４８撮影においては、料理モードにおいて笑顔が認識されており、過去に撮影された画像のコメントを更新する必要があるため（ステップＳ１０：Ｙｅｓ）、ＣＰＵ４は、更新するコメントの決定を行う（ステップＳ１１）。ここで、笑顔が認識された場合、ＣＰＵ４は、図５に示すように、画像４８（１８：３５撮影）よりも１０分前までに撮影された画像４６（１８：３０撮影）のコメント「Ｗ旅館の夕食」を更新するコメントと決定する。

次に、ＣＰＵ４は、更新に用いるコメント素材を取得する（ステップＳ１２）。例えば、料理モードで撮影された画像４８の笑顔度が「Ａ」である場合、ＣＰＵ４は、図６に示す料理モード用のコメントテーブルを参照し、笑顔度「Ａ」に対応する表現レベルの形容詞「素晴らしい」、名詞「ごちそう」、動詞「舌鼓を打つ」をコメント素材の候補として選定する。そして、選定した候補の中から、画像４６のコメント「Ｗ旅館の夕食」に付け加えるのに相応しい形容詞「素晴らしい」を更新に用いるコメント素材として特定し、コメント素材「素晴らしい」をコメントデータベース２４から取得する。

次に、ＣＰＵ４は、コメントファイルに記録されているファイル名「ＤＳＣ００３．ｊｐｇ」の画像４６のコメント「Ｗ旅館の夕食」を読み出し、コメント「Ｗ旅館の夕食」に「素晴らしい」をつなぎ合わせる。そして、図２の矢印Ｃに示すように、画像４６のコメントを「Ｗ旅館の夕食」から「素晴らしいＷ旅館の夕食」に更新し、更新したコメントをコメントファイルに上書きする。

この実施の形態に係るデジタルカメラ２によれば、過去に撮影された画像のコメントを更新することにより、所定の期間内に一連の画像が撮影された場合において、画像に付されたコメントを前後の画像のコメントと調和させることができる。また、これから撮影される画像のコメントに用いる予備コメント素材を予めコメントファイルに記録することにより、過去に撮影された画像のコメントを参照せずに、これから撮影される画像に適切なコメントを付与することができる。

また、更新するコメントを撮影時よりも所定の時間前までに撮影された画像のコメントに制限し、かつ、予備コメント素材を撮影時から所定の時間経過後に削除することにより、今回撮影した画像との関連が近い画像のコメントのみを更新し、コメントファイルに記録されている全てのコメントが更新されることを防止することができる。

なお、上述の実施の形態において、メモリカード１８から画像データが削除された場合、削除された画像データに基づく画像が撮影された時に更新されたコメントを元に戻すようにしてもよい。例えば、図７の上段に示すように、３枚目の画像４６の画像データがメモリカード１８から削除されたとする。この場合、ＣＰＵ４は、まず、図７の矢印Ｄに示すように、コメントファイルから画像４６の画像データに関する記録を削除する。

次に、ＣＰＵ４は、コメントファイルに記録されている、画像４６が撮影された時に更新された画像４２のコメント、及び画像４４のコメントを元のコメントに戻す。即ち、図７の矢印Ｅに示すように、画像４６の撮影時に更新された画像４２のコメント「夕食前のすず音と大沼ビール」を、画像４６が撮影される前のコメント「すず音と大沼ビール」に戻す。また、図７の矢印Ｆに示すように、画像４６の撮影時に更新された画像４４のコメント「夕食前のＷ旅館からの眺め」を、画像４６が撮影される前のコメント「Ｗ旅館からの眺め」に戻す。これにより、画像データが削除された場合においても、前後の画像のコメントとの関連を維持することができる。

なお、この場合さらに、画像４６の撮影時に取得された予備コメント素材を含むコメントを変更するようにしてもよい。例えば、ＣＰＵ４は、図７の矢印Ｇに示すように、画像４６の撮影時に取得された予備コメント素材「ごちそう」（図３参照）を含む、画像４８のコメント「ごちそうにみんなにっこり」を「みんなにっこり」のように変更するようにしてもよい。

なお、メモリカード１８から画像データが削除された場合、削除された画像データに関する記録をコメントファイルから削除する処理のみを行うようにしてもよい。例えば、図８の上段に示すように、３枚目の画像４６の画像データがメモリカード１８から削除された場合、ＣＰＵ４は、画像４６のコメントをコメントファイルから削除する処理のみを行い、削除の対象とならなかった画像４２、画像４４、画像４８のコメントは変更しないようにしてもよい。

また、上述の実施の形態において、撮影時のフォーカス位置に基づいて語順や長さの異なるコメントを作成するようにしてもよい。例えば、図９に示す画像が撮影され、「ともちゃん」、「うれしそう」、「美味しい」、「料理」、及び「食」というコメント素材がコメントデータベース２４から取得されたとする。そして、図９（ａ）に示すように、人の顔にフォーカス位置が合わせられていたとする。この場合、ＣＰＵ４は、人物である「ともちゃん」を主語としてコメントの語順及び長さを決定する。ここで、コメントの語順及び長さの決定は、既存の文書作成技術を用いて行う。次に、ＣＰＵ４は、コメント作成部２６により、決定した語順及び長さに基づいてコメント素材をつなぎ合わせ、「美味しい料理を食べてうれしそうなともちゃん」（文例１−１）、または、「ともちゃんは美味しい料理を食べてうれしそう」（文例１−２）のようなコメントを作成する。

一方、図９（ｂ）に示すように、人の顔ではなく料理にフォーカス位置が合わせられている場合、ＣＰＵ４は、人物である「料理」を主語としてコメントの語順及び長さを決定する。そして、コメント作成部２６により、決定した語順及び長さに基づいてコメント素材をつなぎ合わせ、「ともちゃんがうれしそうに食べた美味しい料理」（文例２−１）、または、「ともちゃんがうれしそうに食べた料理は美味かった」（文例２−２）のようなコメントを作成する。このように、撮影時のフォーカス位置に基づいてコメントの語順及び長さを決定することにより、撮影者の主観や意図を的確に反映させたコメントを作成することができる。

また、撮影時の撮影モードに基づいて語順や長さの異なるコメントを作成するようにしてもよい。例えば、図１０に示すような画像が撮影され、「健太」、「タマ」、「公園」、「遊」、及び「うれしそう」というコメント素材がコメントデータベース２４から取得されたとする。そして、図１０（ａ）に示すように、キッズモードが設定されていたとする。この場合、ＣＰＵ４は、子供である「健太」を主語としてコメントの語順及び長さを決定する。次に、ＣＰＵ４は、決定した語順及び長さに基づいてコメント素材をつなぎ合わせ、「公園でタマと遊んでうれしそうな健太」（文例３−１）、または、「健太は公園でタマと遊んでうれしそう」（文例３−２）のようなコメントを作成する。

一方、図１０（ｂ）に示すように、ペットモードが設定されている場合、ＣＰＵ４は、ペットである「タマ」を主語としてコメントの語順及び長さを決定する。そして、決定した語順及び長さに基づいてコメント素材をつなぎ合わせ、「公園で健太と遊んでうれしそうなタマ」（文例４−１）、または、「タマは公園で健太と遊んでうれしそう」（文例４−２）のようなコメントを作成する。

また、上述の実施の形態において、操作者の操作によりＧＰＳ６による測位機能のオン／オフを設定できるようにしてもよい。そして、ＧＰＳ６による測位機能がオンにされている場合とオフにされている場合とで異なるコメントを作成するようにしてもよい。例えば、図１１（ａ）に示すように、ＧＰＳ６による測位機能がオンにされ、風景モードで撮影が行われた場合、ＣＰＵ４は、風景モードに基づいて「素晴らしい眺め」というコメント素材をコメントデータベース２４から取得する。また、位置情報に基づいて、「観音崎」というコメント素材をコメントデータベース２４から取得する。また、日時情報に基づいて「初夏」というコメント素材をコメントデータベース２４から取得する。そして、コメント作成部２６により、「素晴らしい眺め」、「観音崎」、「初夏」をつなぎ合わせた「初夏の観音崎の素晴らしい眺め」（文例５−１）というコメントを作成する。

一方、図１１（ｂ）に示すように、ＧＰＳ６による測位機能がオフにされ、夕焼けモードで撮影が行われた場合、ＣＰＵ４は、夕焼けモードに基づいて「美しい夕暮れ」というコメント素材をコメントデータベース２４から取得する。また、撮影日時に基づいて「初夏」というコメント素材をコメントデータベース２４から取得する。そして、コメント作成部２６により、「美しい夕暮れ」と「初夏」をつなぎ合わせた「初夏の美しい夕暮れ」（文例６−１）というコメントを作成する。

また、上述の実施の形態において、操作者によりコメントファイルに記録されているコメントが編集された場合、コメントが編集された画像の前後に撮影された画像のコメントを更新するようにしてもよい。この場合、編集によって更新の対象となるコメントの範囲を、撮影時にステップＳ１１で更新の対象となったコメントの範囲よりも広くするようにしてもよい。例えば、図１２に示すように、４枚目の画像４８のコメント「ごちそうにみんなにっこり」が操作者により「ごちそうにみんな大満足」のように編集されたとする。

ここで、画像４８は、笑顔が認識された画像であるから、本来は１０分前までに撮影された画像４６のコメントが更新するコメントと決定されるが（図５参照）、編集がなされた場合には更新するコメントをそれよりも広い範囲で決定する。例えば、画像４８の１時間前までに撮影された画像４２、画像４４、画像４６（図５参照）のコメントを更新するコメントと決定する。そして、図１２に示すように、画像４２、画像４４、画像４６のコメントをそれぞれ更新する。コメントが編集される画像は一般的に操作者のお気に入りの画像である可能性が高いため、更新の対象となるコメントの範囲を広くすることにより、操作者が気に入っている画像のコメントの内容を広く前後のコメントに反映させることができる。

また、編集によりコメントに含まれるコメント素材が異なるコメント素材に変更された場合、コメントファイルに記録されている、同じコメント素材を含むコメントを全て変更するようにしてもよい。例えば、画像４６コメント「素晴らしいＷ旅館の夕食」が「素晴らしいＷ旅館の夕餐」に編集されたとする。この場合、ＣＰＵ４は、コメントファイルに記録されている「食」というコメント素材を含むコメントを全て「餐」というコメント素材を含むコメントに変更する。即ち、画像４２のコメント「夕食前のすず音と大沼ビール」を「夕餐前のすず音と大沼ビール」のように変更し、また、画像４４のコメント「夕食前のＷ旅館からの眺め」を「夕餐前のＷ旅館からの眺め」のように変更する。

また、上述の実施の形態において、コメントの語調を方言、男性言葉、女性言葉、敬語、ヤンキー言葉、ギャル語等に変更する編集が行われた場合、コメントデータに記録されている他のコメントの語調も合わせて変更するようにしてもよい。

また、上述の実施の形態において、予め人物の親密度や相関関係を登録しておき、コメントを作成、または更新する際に、人物の親密度や相関関係に基づいてコメントの語調を変化させるようにしてもよい。

また、上述の実施の形態においては、図５に示すように、更新するコメントの範囲を日時情報に基づいて、例えば、笑顔が認識された画像の前後１０分のように決定しているが、位置情報や新密度に基づいて更新するコメントの範囲を決定してもよい。

また、上述の実施の形態においては、撮影モードが料理モードに設定されているか否により予備コメント素材を取得する必要性についての判定を行っているが、風景モード等、他の撮影モードに設定されているか否により必要性の判定を行ってもよい。また、位置情報や日時情報、及び画像データに基づく画像に含まれる被写体像の特徴等、他の条件を用いて必要性の判定を行ってもよい。

また、上述の実施の形態においては、撮影モードが料理モードに設定されていること、及び撮影された画像から笑顔が認識されたことの少なくとも一つに該当するか否かにより過去に撮影された画像のコメントを更新する必要性についての判定を行っているが、位置情報や日時情報等、他の条件を用いて必要性の判定を行ってもよい。

また、上述の実施の形態において、取得した予備コメント素材を、コメントファイルの複数の行に記録してもよい。例えば、ファイル名「ＤＳＣ００３．ｊｐｇ」の画像４６が撮影されて予備コメント素材が取得された場合、取得された予備コメント素材を、図３に示す４行目〜１０行目に記録してもよい。これにより、例えば、画像４６が撮影されてから所定の時間内に複数の画像が連続して撮影された場合においても、複数の画像に画像４６のコメントを反映させることができる。

また、上述の実施の形態においては、図６に示すコメントテーブルを参照する場合、笑顔度に基づいてコメント素材の候補を選定しているが、他の条件に基づいてコメント素材の候補を選定してもよい。例えば、撮影時の気象条件に基づいて「Ａ」、「Ｂ＋」、「Ｂ」、「Ｂ−」、及び「Ｃ」の５段階の表現レベルを特定し、特定した表現レベルに対応するコメント素材の候補を図６に示すコメントテーブルを参照して選定するようにしてもよい。また、撮影時の位置情報に基づいて表現レベルを特定し、図６に示すコメントテーブルを参照してコメント素材の候補を選定するようにしてもよい。なお、位置情報を用いる場合、位置情報に基づく位置が観光地やレジャー施設のときには高い表現レベルを特定するようにしてもよい。

また、上述の実施の形態においては、コメントデータベース２４からコメント素材を取得する場合を例に説明しているが、ｗｅｂサーバ内にコメントデータベースを記憶するようにしてもよい。そして、ＣＰＵ４は、コメント素材を取得するために必要な位置情報等を無線通信部３２を介してｗｅｂサーバに送信する。ｗｅｂサーバは、デジタルカメラ２から位置情報等を受信すると、位置情報等に基づいてコメント素材を検出し、検出したコメント素材をデジタルカメラ２に対して送信する。デジタルカメラ２は、コメント素材を無線通信部３２を介してｗｅｂサーバから受信し、コメント作成部２６により受信したコメント素材をつなぎ合わせてコメントを作成する。これにより、デジタルカメラ２内に記憶するデータの容量を少なくすることができる。

また、上述の実施の形態においては、デジタルカメラ２に組み込まれたプログラムを用いて一連の処理を行っているが、該プログラムをインターネット等のネットワークを介してダウンロードし、スマートフォンやタブレット端末等を構成するコンピュータに組み込むことによって、上述の処理を行うことができるようにコンピュータを機能させるようにしてもよい。

また、該プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータ読み取り可能な記録媒体に記録されていてもよい。即ち、コンピュータ読み取り可能な記録媒体から読み取り、コンピュータに組み込むことによって、上述の処理を行うことができるようにコンピュータを機能させるようにしてもよい。

２…デジタルカメラ、４…ＣＰＵ、６…ＧＰＳ、８…操作部、１０…ＬＣＤ表示部、１２…表示制御部、１４…撮像素子、１６…メモリ、１８…メモリカード、２０…情報記憶部、２２…ファイル記憶部、２４…コメントデータベース、２６…コメント作成部、２７…テーブルデータベース

Claims (10)

1. 画像に含まれる物体を検出する検出部と、
   前記物体に関する第１情報を取得する第１取得部と、
   前記画像の生成に関する第２情報を取得する第２取得部と、
   前記第１情報及び前記第２情報に基づいて、テキストを生成するテキスト生成部と、
   を備えるテキスト生成装置。
2. 請求項１に記載のテキスト生成装置において、
   前記物体に関する状態を判断する状態判断部を有し、
   前記テキスト生成部は、前記物体に関する前記状態に基づいて前記テキストを生成する。
3. 請求項１または２に記載のテキスト生成装置において、
   前記画像は、写真であり、
   前記第２取得部で保持される前記第２情報は、前記画像の撮影に基づいた情報である。
4. 請求項３に記載のテキスト生成装置において、
   前記第２情報は、前記画像の撮影日時、前記画像の撮影モード、前記画像の撮影を行った場所、及び前記画像の撮影時にピントを合わせた領域情報の少なくともいずれか１つである。
5. 請求項１〜４のいずれか一項に記載のテキスト生成装置において、
   前記テキスト生成部は、前記画像が生成された時刻の前後所定内の時間に生成された画像の前記物体及び前記第１情報に基づいて、前記テキストを生成する。
6. 請求項１〜５のいずれか一項に記載のテキスト生成装置において、
   前記テキストを変更する変更部を有し、
   前記変更部は、操作者により前記画像に関する前記テキストが変更されると、前記画像が生成された時刻の前後所定内の時間に生成された画像に関する前記テキストを更新する。
7. 請求項２〜６のいずれか一項に記載のテキスト生成装置において、
   前記物体は、人物であり、
   前記状態は、顔の表情である。
8. 請求項２〜７のいずれか一項に記載のテキスト生成装置において、
   前記第１情報は、人物の名前、人物の親密度及び人物の相関関係の少なくともいずれか１つである。
9. 請求項１〜７のいずれか一項に記載のテキスト生成装置と、
   前記画像を生成する撮像部と、
   を備える電子機器。
10. コンピュータに
    画像に含まれる物体を検出する検出処理、
    前記物体に関する第１情報を取得する第１取得処理、
    前記画像の生成に関する第２情報を取得する第２取得処理、
    前記第１情報及び前記第２情報に基づいて、テキストを生成するテキスト生成処理、
    を実行させるためのプログラム。

Images