JP2004289560A - 画像記録再生方法および画像記録再生装置 - Google Patents

Abstract

【課題】ユーザーとしては簡単な操作や入力によって、または特に操作や入力を必要とすることなく、撮影された画像の内容や撮影時のカメラ制御状態などの画像に関連する事項を、装置のユーザーインターフェースとしてユーザーに的確に提示できるようにする。
【解決手段】ユーザーは、画像内容として「家族」「チワワ」「モモちゃん」などの文字を入力し、撮影場所として「自宅」などの文字を入力する。システム制御部は、その文字列データ、および取得した撮影日時のデータを、画像ファイルの定められた領域に記録する。再生時、システム制御部は、これらデータを読み出し、構文構成によって語を選択補充してメッセージ文を生成し、テキスト音声合成によって音声ナレーションを出力する。
【選択図】 図１８

Description

【０００１】
【発明の属する技術分野】
この発明は、ＤＳＣ（デジタルスチルカメラ）やカメラ付きＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などの、画像を撮影記録し、再生する装置、および、この画像記録再生装置での画像記録再生方法に関する。
【０００２】
【従来の技術】
ＤＳＣでは、撮影された画像が、定められたファイルフォーマットの画像ファイルとして、メモリカードなどのリムーバブル（着脱可能な）記録メディアに記録される。画像ファイルには、原画像（主画像）のデータのほかに、サムネイル画像（見出し用の縮小画像）のデータが付加され、原画像のデータとリンクされる。
【０００３】
再生時には、サムネイル画像のデータによって、ディスプレイ上にサムネイル画像が配列表示され、そのうちのユーザーによって選択された画像が、原画像のデータによってディスプレイ上に表示される。
【０００４】
ユーザーは、その表示された画像を見て、画像をプリントアウトし、パーソナルコンピュータに取り込み、または不要なものは廃棄する、などの処理を行う。
【０００５】
しかし、ＤＳＣの表示画面は、もともと小さく、ＤＳＣの小型化の要請によって、さらに小さくなる傾向にある。そのため、表示された画像を見ただけでは、どのような内容の画像であるかを確実に判断することが難しく、フォーカス状態や露出状態（画像の明るさ）などのカメラ制御状態を確実に判断することも難しい。勿論、サムネイル画像の配列表示状態では、その判断がいっそう難しい。
【０００６】
表示画面上に、画像内容などを示す文字を表示することも考えられているが、画面自体が小さいので、文字も大きくできないとともに、同時に多数の文字を表示できないため、画像内容などを十分に説明することは困難である。
【０００７】
特許文献１（特許第３０８１３０４号公報）には、通信衛星を利用した放送のビジネスニュース番組など、特定の視聴者にのみ配信する映像番組を制作するに際して、データベースに用意されている多数の画像データから番組制作用の素材として利用する画像を迅速に検索することができるように、各画像の内容を説明する文の音声データをデータベースに蓄積しておき、この音声データによる音声ナレーションを聞いて画像の内容を判断することが示されている。
【０００８】
【特許文献１】
特許第３０８１３０４号公報。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記の特許文献１に示されたような方法を、ＤＳＣによって撮影された画像に利用しようとすると、ユーザーは、撮影の都度、撮影された画像の内容を説明する文章を考え、ＤＳＣに文字を入力して、記録メディアに画像ファイルに対応づけてテキストファイルを記録し、または、文章を読み上げて、記録メディアに画像ファイルに対応づけて音声ファイルを記録しなければならず、ユーザーの負担が大きくなるだけでなく、記録メディアに記録されるファイルが多くなるとともに、フォーカス状態や露出状態などのカメラ制御状態については、ユーザーが的確に判断すること自体が難しいため、文章で的確に表現することも難しい。
【００１０】
そこで、この発明は、ユーザーとしては簡単な操作や入力によって、または特に操作や入力を必要とすることなく、しかも、画像ファイルとは別にテキストファイルや音声ファイルを記録することなく、撮影された画像の内容や撮影時のカメラ制御状態などの画像に関連する事項を、装置のユーザーインターフェースとしてユーザーに的確に提示することができるようにしたものである。
【００１１】
【課題を解決するための手段】
この発明の画像記録再生方法は、
画像を撮影し、定められたファイルフォーマットの画像ファイルとして記録メディアに記録する撮影記録工程と、
画像に関連する情報を、文字列データとして、前記画像ファイルの前記ファイルフォーマットで指定された領域に記録する情報記録工程と、
前記画像ファイルとして記録された画像の、原画像またはサムネイル画像を再生する画像再生工程と、
前記画像ファイルから前記画像関連情報の文字列データを読み出し、辞書解析および構文解析によって、画像についてのメッセージ文を生成する構文構成工程と、
その生成したメッセージ文から、テキスト音声合成によって、音声ナレーションのデータを生成するテキスト音声合成工程と、
を備えることを特徴とする。
【００１２】
文字列データとして画像ファイルに記録される画像関連情報は、ユーザーによって入力される画像内容や撮影場所などを示す情報、画像記録再生装置で取得される撮影日時などの撮影属性情報、画像記録再生装置で検出される撮影時のフォーカス状態や露出状態などのカメラ制御状態、などである。
【００１３】
したがって、この発明の画像記録再生方法では、ユーザーは、撮影時や撮影後において、画像内容や撮影場所などとして簡単かつ断片的な文字を入力するだけで、または、撮影属性情報やカメラ制御状態については、特別の操作や入力を行うことなく、画像再生時における画像記録再生装置の、構文構成によるメッセージ文の生成、およびテキスト音声合成による音声ナレーションのデータの生成によって、画像内容、撮影場所、撮影日、ピントが合っているか否かなどのカメラ制御状態などを、音声ナレーションで聴くことができ、自然語の音声によって画像を的確に判断することができる。
【００１４】
しかも、これらの画像関連情報は、文字列データとして画像ファイルのファイルフォーマットで指定された領域に記録されるので、音声ナレーション用に画像ファイルとは別にテキストファイルや音声ファイルを記録する必要がない。
【００１５】
【発明の実施の形態】
〔画像記録再生装置のシステム構成：図１〕
図１は、この発明の画像記録再生装置の一実施形態のシステム構成を示し、ＤＳＣシステムとして構成した場合である。
【００１６】
このＤＳＣシステムでは、被写体画像からの光が、撮像光学系１１を介して、ＣＣＤ撮像素子やＣＭＯＳ撮像素子などの撮像素子１２に投射されて、撮像素子１２からアナログ画像信号が得られ、そのアナログ画像信号が、信号処理部１３で、サンプルホールドされ、自動利得制御された後、デジタル画像データに変換される。
【００１７】
記録再生処理部１４では、画像記録時には、この信号処理部１３からの撮影された画像のデータが圧縮される。その圧縮画像データは、システム制御部１７によって、後述のようなファイルフォーマットの画像ファイルとして、リムーバブル記録メディア２５に記録され、リムーバブル記録メディア２５から読み出される。記録再生処理部１４では、画像再生時には、この読み出された画像ファイルの圧縮画像データが伸長される。
【００１８】
その伸長後の画像データは、表示処理部１５で表示用に処理されて、液晶ディスプレイなどのディスプレイ１６に供給され、ディスプレイ１６上に再生画像が表示される。
【００１９】
さらに、後述のように、リムーバブル記録メディア２５に記録される、または記録された画像ファイルの、ファイルフォーマットで指定された領域（欄、フィールド、タグなどと称される領域）に、画像関連情報として、ユーザーによって入力された画像内容や撮影場所を示す文字列データ、またはシステム制御部１７によって取得または検出された撮影属性情報やカメラ制御状態を示す文字列データが書き込まれ、画像再生時、それらの文字列データから、構文構成部１８で、辞書解析および構文解析によって、画像についてのメッセージ文が生成され、さらに、そのテキストから、テキスト音声合成部１９で、テキスト音声合成によって、音声ナレーションのデータが生成され、音声ナレーションが出力される。
【００２０】
システム制御部１７は、ＣＰＵ、このＣＰＵが実行すべき処理プログラムや後述のファイルフォーマット（ファイルシステム）が記述されたプログラムメモリ、およびＣＰＵのワークエリアなどとして機能するＲＡＭなどを備えるものである。
【００２１】
システム制御部１７には、カメラ操作部２１が、インターフェース２２を介して接続され、文字入力用のキー操作入力部２３が、インターフェース２４を介して接続されるとともに、メディア用スロットに装着されたリムーバブル記録メディア２５が、メディアドライブ２６を介して接続される。
【００２２】
リムーバブル記録メディア２５としては、メモリカード、カード型ＨＤＤ（ハードディスクドライブ）、リムーバブル光ディスクなどの、書き込み可能な、または書き込み消去可能な、好ましくは大容量化された書き換え可能な、不揮発性メディアを用いる。具体的に、以下の実施形態では、メモリカードを用いる。
【００２３】
テキスト音声合成部１９で生成された音声データは、Ｄ／Ａコンバータ２７でアナログ音声信号に変換され、その音声信号が音声増幅回路２８で増幅されてスピーカ２９に供給され、スピーカ２９から音声ナレーションが出力される。
【００２４】
さらに、この実施形態のＤＳＣシステムでは、ユーザーが音声を入力し、音声ファイルとしてリムーバブル記録メディア２５に記録することができるように、マイクロホン３１が設けられる。
【００２５】
このマイクロホン３１からのアナログ音声信号は、音声増幅回路３２で増幅されて、Ａ／Ｄコンバータ３３でデジタル音声データに変換され、その音声データが、システム制御部１７に取り込まれ、記録再生処理部１４で圧縮されて、音声ファイルとしてリムーバブル記録メディア２５に記録され、再生時には、記録再生処理部１４で伸長されて、システム制御部１７からＤ／Ａコンバータ２７に送出される。
【００２６】
〔ファイルフォーマットおよび画像関連情報：図２〜図７〕
（ファイルフォーマットの概要）
携帯型の撮影画像記録メディアのフォーマットとしては、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ：以下ではＥｘｉｆファイルフォーマットと称する）が広く使用されており、そのなかでも、ＤＳＣ用としては、ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅｓｙｓｔｅｍ：以下ではＤＣＦファイルシステムと称する）というファイルシステム（実体はＤＳＣ用フラッシュメモリのメディアファイルフォーマット）が広く採用されている。
【００２７】
ＤＣＦファイルシステムおよびその基本であるＥｘｉｆファイルフォーマットは、ＤＳＣの撮影画像に限らず、音声ファイルのメモリカード用フォーマットとして広く使用されている。
【００２８】
また、このＥｘｉｆファイルフォーマットおよびＤＣＦファイルシステムでは、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）などの既存のフォーマットによる画像データとともに、ファイル作成日時などのファイル付属情報やサムネイル画像データを一つのファイルに記録することができる。
【００２９】
なお、「サムネイル」は、Ｅｘｉｆ規格およびＤＣＦ規格でも定義されているように、見出し用の縮小画像であるが、場合によって「サムネイル画像」と称する。また、この発明で、サムネイル画像の配列表示とは、複数のサムネイル画像を、一行または一列に配置して表示し、または行列方向に２次元に配置して表示することである。
【００３０】
以下の実施形態では、リムーバブル記録メディア２５としては、上記のようにメモリカードを用い、そのファイルフォーマットとして、ＥｘｉｆファイルフォーマットおよびＤＣＦファイルシステムを用いる。
【００３１】
画像データの圧縮方式としては、ＪＰＥＧ圧縮方式を用いるが、将来のＪＰＥＧ２０００を初めとする進歩した圧縮方式や他の圧縮方式を用いることもできる。
【００３２】
メモリカードのファイルシステムとしては、ＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）やＦＡＴ３２が広く使用されているが、以下の実施形態では、メディア容量が２ＧＢｙｔｅを超える場合にもアクセス可能なＦＡＴ３２ファイルシステムを用いる。
【００３３】
ただし、Ｗｉｎｄｏｗｓ（登録商標）システムがサポートするＦＡＴやＮＴＦＳ（ＮＴ Ｆｉｌｅ Ｓｙｓｔｅｍ）を用いることもでき、リムーバブル記録メディア２５として光ディスクを用いる場合には、ＵＤＦ（Ｕｎｉｖｅｒｓａｌ Ｄｉｓｃ Ｆｏｒｍａｔ）およびその静止画対応ファイルフォーマットを用いることができる。
【００３４】
Ｅｘｉｆファイルフォーマットでは、（ａ）フォルダ名は英数字番号のみであり、その開始番号は１００である、（ｂ）フォルダ名およびファイル名に２バイトコードを使用することはできない、などの制限がある。
【００３５】
（画像ファイルフォーマット：図２〜図４）
＜ＤＣＦ基本ファイル：図２および図３＞
図２に、ＤＣＦファイルシステムに準拠する画像ファイルフォーマットの一例を示し、圧縮タグ“６”で圧縮サムネイルを有し、ＤＣＦ基本ファイルとしてＤＣＦ基本主画像データとＤＣＦ基本サムネイルデータを同一ファイル内に有する場合である。この場合、ファイル拡張子は“ＪＰＧ”である。
【００３６】
図３に、ＤＣＦ基本ファイル（拡張子“ＪＰＧ”）がＤＣＦ基本主画像とＤＣＦ基本サムネイルとからなることを概略的に示す。
【００３７】
図２に示すように、ＤＣＦ基本ファイル（Ｅｘｉｆ圧縮ファイル）は、ＳＯＩ（Ｓｔａｒｔ Ｏｆ Ｉｍａｇｅ）で開始し、これに続いて、最大６４ｋＢｙｔｅサイズのＥｘｉｆ付属情報用のＡＰＰ（アプリケーション・マーカーセグメント）１、拡張データ用に必要に応じて追加されるＡＰＰ２（図では省略）、ＪＰＥＧテーブル、およびＪＰＥＧ圧縮の基本主画像データが記録され、ＥＯＩ（Ｅｎｄ Ｏｆ Ｉｍａｇｅ）で終了する。
【００３８】
ＡＰＰ１は、ＡＰＰ１マーカーで開始し、これに続いて、ＡＰＰ１データ長、Ｅｘｉｆ識別コード、ＪＰＥＧテーブル、およびＥｘｉｆＩＦＤが記録される。ＥｘｉｆＩＦＤは、後述のような構造とされる。
【００３９】
さらに、ＥｘｉｆＩＦＤに続く第１ＩＦＤで、ＪＰＥＧ圧縮データのアドレスおよびデータ長が指定され、その指定されたアドレスに、ＪＰＥＧ圧縮の基本サムネイルデータが記録される。
【００４０】
このＪＰＥＧ圧縮の基本サムネイルデータ（圧縮サムネイル）は、ＳＯＩで開始し、これに続いて、ＪＰＥＧテーブル、およびＪＰＥＧ圧縮の基本サムネイルの生ストリームデータが記録され、ＥＯＩで終了する。
【００４１】
ＥｘｉｆＩＦＤには、付属情報として、Ｅｘｉｆバージョンに関するタグ、画像データの特性に関するタグ、画像構造に関するタグ、ユーザーコメントタグ、関連ファイル情報に関するタグ、日時に関するタグ、撮影条件に関するタグ、およびＩＦＤポインタ互換性が記録される。
【００４２】
関連ファイル情報タグでは、当該の画像ファイルと関連する音声ファイルなどのファイルとの相互リンクが規定される。
【００４３】
ユーザーコメントタグでは、ＥｘｉｆＩＦＤ内のユーザーコメント欄が指定される。そのユーザーコメント欄の先頭には、ユーザーコメントの文字コードタイプが、ＡＳＣＩＩ文字８字によって指定される。日本語の場合、文字コードは、ＡＳＣＩＩ，ＵｎｉｃｏｄｅまたはＪＩＳであり、最も望ましいのは、Ｕｎｉｃｏｄｅである。
【００４４】
日本でのパーソナルコンピュータの事情によってＳｈｉｆｔＪＩＳを用いる場合には、未定義コードに指定されて使用されるので、それに対応することを考えて、コード変換部や対応する翻訳部があることが望ましい。インターネット上からダウンロードしたファイルを蓄えたＤＣＦファイルシステムのメモリカードを用いる場合にも、海外からのダウンロードへの対応を考えて、コード変換部や対応する翻訳部があることが望ましい。
【００４５】
日時タグでは、ＥｘｉｆＩＦＤ内の日時フィールドが指定され、その日時フィールドには、システム制御部１７によって決定されたファイル作成日時（撮影日時）が、撮影属性情報として記録される。
【００４６】
＜ＤＣＦ拡張画像ファイルおよびＤＣＦサムネイルファイル：図４＞
ＤＣＦファイルシステムに準拠する画像ファイルフォーマットとしては、図４に概略的に示すように、同一フォルダ内でＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルを別ファイルのペアとして対応づけることもできる。この場合のＤＣＦサムネイルファイルの拡張子は、“ＴＨＭ”である。
【００４７】
この場合には、ＤＣＦサムネイルファイル内に、ＥｘｉｆＩＦＤを有するＡＰＰ１が記録され、そのＥｘｉｆＩＦＤ内に、ユーザーコメント欄および日時フィールドが指定される。
【００４８】
＜ファイルの種類および拡張子＞
ＤＣＦファイルシステムでは、撮影専用のファイルヘッダが設けられ、ここで圧縮データの種別によって画像ファイルであることが示され、さらには、図２および図３のようにＤＣＦ基本主画像とＤＣＦ基本サムネイルを同一ファイル内に有するＪＰＥＧ圧縮ＤＣＦ基本ファイルであることを示す拡張子“ＪＰＧ”、または図４のようにＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルが別ファイルでペアとなる場合のＤＣＦサムネイルファイルであることを示す拡張子“ＴＨＭ”が記録される。
【００４９】
＜画像関連情報＞
画像ファイルのファイルフォーマットとして、以上のようなファイルフォーマットを用いる場合には、ユーザーの入力による画像内容や撮影場所を示す文字列データ、およびシステム制御部１７の検出によるカメラ制御状態を示す文字列データが、ユーザーコメントデータとして、ＥｘｉｆＩＦＤ内のユーザーコメント欄に書き込まれ、構文構成およびテキスト音声合成による音声ナレーションの生成に供されるように、ＤＳＣシステムを構成する。
【００５０】
また、撮影日時（ファイル作成日時）を示す文字列データが、システム制御部１７によって撮影属性情報として、ＥｘｉｆＩＦＤ内の日時フィールドに書き込まれ、構文構成およびテキスト音声合成による音声ナレーションの生成に供されるように、ＤＳＣシステムを構成する。
【００５１】
＜フォルダ名およびファイル名＞
フォルダ名は、Ｅｘｉｆファイルフォーマットでは、上記（ａ）（ｂ）の制限のもとに、「数字３桁＋アルファベット５文字」が認められ、ＤＣＦファイルシステムでは、１バイトコードの集合として、「英字２文字のＩＭ＋英字５文字」が推奨されている。
【００５２】
そこで、この実施形態では、図３または図４に示すように、画像ファイル（ＤＣＦ基本ファイル、またはＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルのペア）とは別に、フォルダ名対照テーブルファイル９を設けて、後述のようにユーザーによって画像整理用に命名されるフォルダ名、例えば「家族」「花」「犬」などという文字列の２バイトコードと、ＤＣＦファイルシステムに準拠してシステム制御部１７によって登録される上記の「数字３桁＋アルファベット５文字」のフォルダ名、例えば「１０１ＡＡＡＡＡ」「１０２ＡＡＡＡＡ」「１０３ＡＡＡＡＡ」などというコードとをリンクさせる。
【００５３】
そして、後述のようにユーザーがユーザー命名のフォルダ名を選択したときには、システム制御部１７は、このフォルダ名対照テーブルファイル９から、その選択されたユーザー命名のフォルダ名に対応する自動登録のフォルダ名を読み出し、そのフォルダ名が付されたフォルダを呼び出すように、ＤＳＣシステムを構成する。
【００５４】
ファイル名は、ＤＣＦ基本ファイルおよびＤＣＦ拡張画像ファイルでは、「（先頭４文字の英字）＋（ファイル番号４文字）」からなるＤＣＦファイル名として、順番に並べて管理するものとされ、以下の実施形態でも、これに従う。
【００５５】
（音声ファイルフォーマット：図５）
図５に、Ｅｘｉｆ規格に準拠する音声ファイルフォーマットの一例を示し、「ＲＩＦＦ／ＷＡＶＥ ＭＰ３Ａｕｄｉｏ」の圧縮オーディオファイルの場合である。この場合、ファイル拡張子は“ＷＡＶ”または“ＭＰ３”である。
【００５６】
このＲＩＦＦファイルは、「チャンク」と呼ばれるデータブロックから構成され、最上位のＲＩＦＦチャンクでは、“ＲＩＦＦ”というチャンクＩＤ（ｃｋＩＤ）に続いて、ＲＩＦＦチャンクのチャンクサイズ（ｃｋＳｉｚｅ）、および“ＷＡＶＥ”タイプが指定され、さらに、フォーマットチャンクで、音声符号化方式や音声チャネル数などが指定される。
【００５７】
さらに、ファクトチャンクで、音声データのサンプル長が指定され、それに続いて、付属情報サブチャンクとして、ＩＮＦＯリストチャンクおよびＥｘｉｆリストチャンクが記録され、最後に、データチャンクとして、ＭＰ３圧縮形式のＷＡＶＥオーディオストリームデータが記録される。データチャンクは、チャンクＩＤ（ｃｋＩＤ）として、ＡＳＣＩＩ文字列“ｄａｔａ”（６４６１７４６１）を開始マーカーとする。
【００５８】
ＩＮＦＯリストチャンクでは、“ＬＩＳＴ”というチャンクＩＤ、ＩＮＦＯリストチャンクのチャンクサイズ、および“ＩＮＦＯ”というリストタイプの記録に続いて、音声ファイルのタイトル、ジャンル、ファイル作成年月日、コメント、アーティスト、および著作権情報が、それぞれＡＳＣＩＩ文字列で記載される。
【００５９】
Ｅｘｉｆリストチャンクでは、“ＬＩＳＴ”というチャンクＩＤ、Ｅｘｉｆリストチャンクのチャンクサイズ、および“ｅｘｉｆ”というＥｘｉｆ専用のリストタイプの記録に続いて、規格バージョン、関連画像ファイル名、音声ファイル作成日時、作成メーカー名、作成モデル名、メーカー用ノート、およびユーザーコメントｅｕｃｍというデータフィールドが記録される。
【００６０】
関連画像ファイル名は、当該の音声ファイルに関連する画像ファイルがある場合に、その画像ファイルを「ファイル名．拡張子」の形式で直接指定する（ポインタは許可されない）ものであり、音声ファイル作成日時は、当該の音声ファイルの作成日時を「年：月：日：時：分：秒．サブ秒」の形式でサブ秒まで記載するものである。
【００６１】
ユーザーコメントｅｕｃｍは、“ｅｕｃｍ”というチャンクＩＤ、およびユーザーコメントｅｕｃｍのチャンクサイズに続いて、チャンクデータ（ｃｋＤａｔａ）であるユーザーコメントが記載される。
【００６２】
このユーザーコメントでは、先頭８バイトで、ＡＳＣＩＩ大文字によって文字コードタイプが指定され、それに続いて、ユーザーコメント欄が設けられる。
【００６３】
文字コードは、Ｕｎｉｃｏｄｅが望ましい。日本でのパーソナルコンピュータの事情によってＳｈｉｆｔＪＩＳを用いる場合には、Ｕｎｄｅｆｉｎｅｄが指定される。
【００６４】
ユーザーコメント欄には、２バイトコード文字によるユーザーコメントデータとして、アーティスト名や曲名、ファイル作成日時、曲のさび部分の歌詞などが登録される。
【００６５】
（画像関連情報の書き込み読み出し制御：図６および図７）
図６に、図２および図３に示したＤＣＦ基本ファイル（拡張子“ＪＰＧ”）を用いる場合の、画像関連情報の書き込み読み出し制御の様子を示す。
【００６６】
この例は、ユーザーによって、画像内容として「家族」「チワワ」「モモちゃん」の各単語が入力され、撮影場所として「自宅」の単語が入力されるとともに、システム制御部１７によって、撮影日（撮影年月日）として「２００２年１１月２１日」が取得される場合である。
【００６７】
システム制御部１７は、入力された「家族」「チワワ」「モモちゃん」「自宅」の各単語に、ＦＡＴ３２ファイルシステムのクラスタ単位で文字列コードを指定して、ユーザーコメントデータの文字列データを生成し、ＤＣＦ基本ファイル内のＡＰＰ１内のＥｘｉｆＩＦＤ内のユーザーコメント欄に、アドレスで区切って記録し、撮影日時（ファイル作成日時）を、「年：月：日：時：分：秒．サブ秒」の形式でサブ秒まで取得して、同じＥｘｉｆＩＦＤ内の日時フィールドに、１６進数データの撮影属性情報として記録する。
【００６８】
これらユーザーコメントデータ（この例では画像内容情報および撮影場所情報）および撮影属性情報（撮影日時）に、ＤＣＦ基本ファイルへのポインタが付加されて、ソフトウェア処理上の登録キー情報クラス構造体が構成される。
【００６９】
ＤＣＦ基本ファイルへのポインタは、そのファイルフォーマットの論理ブロックアドレス（ＬＢＡ）または論理セクタ番号（ＬＳＮ）でベースアドレスを指定して、ＦＡＴ３２ファイルシステムのクラスタ単位でＥｘｉｆＩＦＤ内のユーザーコメント欄および日時フィールドに対して、データオブジェクト集合インスタンスの書き込み読み出しを制御するものである。
【００７０】
日時フィールドの撮影属性情報（撮影日時）は、システム制御部１７が取得し、ユーザーが記入することはできないので、ユーザーに対しては読み出し専用のパーミッション属性を持つデータである。
【００７１】
これに対して、画像内容情報および撮影場所情報は、ユーザーの入力によって記録されるので、書き込み読み出しの双方が可能なパーミッション属性を持つデータである。
【００７２】
上述したユーザー命名の２バイトコード文字列のフォルダ名も、同様に、ユーザーが変更可能なパーミッション属性を持つデータとする。
【００７３】
また、この場合のファイル拡張子“ＪＰＧ”は、ＤＣＦファイルシステムに準拠する一意のファイル拡張子であるので、ファイルを作成または削除する場合以外では、ソフトウェアによる変更が禁止される。
【００７４】
図７に、図４に示したようにＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルをペアで用いる場合の、画像関連情報の書き込み読み出し制御の様子を示す。
【００７５】
これは、ユーザーコメントデータ（この例では画像内容情報および撮影場所情報）および撮影属性情報（撮影日時）が、ＤＣＦサムネイルファイル（拡張子“ＴＨＭ”）内のＡＰＰ１内のＥｘｉｆＩＦＤ内のユーザーコメント欄および日時フィールドに記録され、ファイルへのポインタが、ＤＣＦサムネイルファイルへのポインタとなる点を除いて、図６に示したＤＣＦ基本ファイルを用いる場合と同じである。
【００７６】
〔ユーザーコメントデータの入力および記録：図８〜図１０〕
（キー操作入力部２３の例：図８）
画像内容や撮影場所などを示す文字列は、図１に示したキー操作入力部２３によって入力する。
【００７７】
図８に、キー操作入力部２３の一例を示す。この例は、携帯電話端末などのキー操作入力部と同様に、メニュー画面の開閉やメニュー項目の選択・決定などを行う操作キー２３１と、文字入力キー２３２とを備え、操作キー２３１の操作によって、文字入力キー２３２の入力モードを、同図（Ａ）のような数字入力モード、同図（Ｂ）のような仮名入力モード、または同図（Ｃ）のようなアルファベット入力モードに切り換えることができる場合である。
【００７８】
（画像内容および撮影場所の入力および記録：図９および図１０）
ユーザーは、以下のように、撮影時または撮影後、キー操作入力部２３での操作によって、フォルダ名を命名し、画像内容および撮影場所を入力して、画像ファイル内に記録することができる。
【００７９】
撮影時、撮影された画像は、図９（Ａ）に示すように、原画像１としてディスプレイ１６上に表示され、ユーザーは撮影状態を確認することができる。
【００８０】
この状態で、ユーザーがキー操作入力部２３でフォルダ名のメニューを呼び出す操作をすると、図９（Ｂ）に示すように、ディスプレイ１６上に、原画像１にオーバーレイされてフォルダ名メニュー画面２が表示され、ユーザーが命名できるフォルダ名が、「家族」「花」「犬」などというように幾つか提示される。
【００８１】
ユーザーは、原画像１の内容に応じて、そのうちの一つ、例えば「犬」を選択する。これによって、システム制御部１７は、そのユーザー指定のフォルダ名に対応づけるＤＣＦファイルシステムに準拠するフォルダ名を決定し、上述したフォルダ名対照テーブルファイル９に記述する。
【００８２】
フォルダ名を指定したら、ユーザーは、ユーザーコメントデータ用の文字入力画面を呼び出す。これによって、フォルダ名メニュー画面２に代えて、図９（Ｃ）に示すような文字入力画面３が表示される。この文字入力画面３は、画像内容記入欄３ａと撮影場所記入欄３ｂに区分されたものとされ、その撮影場所記入欄３ｂには、「場所：」のプロンプトが表示される。
【００８３】
ユーザーは、画像内容記入欄３ａに、画像内容として、例えば「家族」「チワワ」「モモちゃん」の文字列を、各単語の間に半角スペースまたはカンマを挿入して入力し、その後、キー操作入力部２３の＃キー２３２ａを押して、入力フォーカスを撮影場所記入欄３ｂに移動させ、「場所：」のプロンプトが表示されている箇所に、撮影場所として、例えば「自宅」の文字列を入力する。
【００８４】
これによって、システム制御部１７は、上述したフォルダ名対照テーブルファイル９を参照して、例えば「犬」というユーザー指定のフォルダ名に対応する「１０３ＡＡＡＡＡ」というＤＣＦファイルシステムに準拠するフォルダ名のフォルダをファイル保存先として、ユーザー入力の画像内容および撮影場所を示す文字列データを上述したようにＤＣＦ基本ファイル内またはＤＣＦサムネイルファイル内のユーザーコメント欄に書き込んだ上で、撮影された画像のファイル（ＤＣＦ基本ファイル、またはＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルのペア）をメモリカードに記録する。
【００８５】
このとき、図９（Ｃ）に示すように、文字入力画面３とともに撮影日提示画面４が表示されて、既にシステム制御部１７が取得している撮影日（撮影日時）が変更不可状態で提示されることが望ましい。
【００８６】
以上は、撮影された画像を記録する場合であるが、既に画像ファイルとして記録されている画像についても、ユーザーの操作によって、その画像がディスプレイ１６上に呼び出され、文字入力画面３が表示されて、画像内容または撮影場所が入力されることによって、未記録の画像内容情報または撮影場所情報が記録され、あるいは記録済みの画像内容情報または撮影場所情報が書き換えられる。
【００８７】
図１０に、この画像記録後の画像内容または撮影場所の記録または書き換えの例を示す。
【００８８】
この例では、ユーザーは、まず、フォルダ名のメニューを呼び出す操作をする。これによって、図１０左上に示すように、ディスプレイ１６上にフォルダ名メニュー画面２が表示される。
【００８９】
ユーザーは、そのうちから、呼び出すフォルダのフォルダ名、例えば「犬」を指示する。これによって、システム制御部１７は、上述したフォルダ名対照テーブルファイル９を参照して、例えば「犬」というユーザー指定のフォルダ名に対応する「１０３ＡＡＡＡＡ」というＤＣＦファイルシステムに準拠するフォルダ名のフォルダをファイル呼び出し先として、そのフォルダ内に記録されている各画像ファイル（ＤＣＦ基本ファイル、またはＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルのペア）を、ＤＣＦファイルシステムに準拠するファイル名中のファイル番号順に読み出し、それぞれのＤＣＦ基本サムネイルまたはＤＣＦサムネイルファイルのデータによって、図１０右上に示すように、ディスプレイ１６上にサムネイル画像Ａ，Ｂ，Ｃ‥‥を配列表示する。
【００９０】
この状態で、ユーザーは、アイコン形状のサムネイル画像の一つを選択する。これによって、システム制御部１７は、その選択された画像のファイル（ＤＣＦ基本ファイル、またはＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルのペア）中のＤＣＦ基本主画像またはＤＣＦ拡張画像ファイルのデータによって、図１０左下に示すように、ディスプレイ１６上に、選択された画像の原画像１を表示する。
【００９１】
次に、ユーザーは、ユーザーコメントデータ用の文字入力画面を呼び出す。これによって、図１０右下に示すように、ディスプレイ１６上に、原画像１にオーバーレイされて文字入力画面３および撮影日提示画面４が表示される。文字入力画面３は、画像内容記入欄３ａと撮影場所記入欄３ｂに区分されたものとされ、撮影日提示画面４には、記録済みの撮影日（撮影日時）が変更不可状態で表示される。
【００９２】
この状態で、ユーザーは、画像内容記入欄３ａに画像内容を示す文字列を入力し、または画像内容記入欄３ａに記入表示されている文字列を修正し、入力フォーカスを撮影場所記入欄３ｂに移動させて、撮影場所記入欄３ｂに撮影場所を示す文字列を入力し、または撮影場所記入欄３ｂに記入表示されている文字列を修正する。
【００９３】
これによって、システム制御部１７は、画像記録時と同様に、画像内容情報または撮影場所情報を記録し、あるいは画像内容情報または撮影場所情報を書き換える。
【００９４】
〔撮影時のカメラ制御状態：図１１〜図１６〕
上述した例は、ユーザー入力の画像内容および撮影場所を示す文字列データを画像ファイルに記録する場合であるが、撮影時のカメラ制御状態を画像ファイルに記録することもできる。カメラ制御状態は、システム制御部１７によって検出取得されるもので、ユーザーによって直接入力されるものではないが、ユーザーコメントデータとして画像ファイルに記録する。
【００９５】
さらに、カメラ制御状態については、画像をディスプレイ１６上でモニターするＥ−Ｅモードや、撮影された画像を画像ファイルとして記録する記録モードでも、音声ナレーションを出力することができる。
【００９６】
（カメラ撮像部の例：図１１）
図１１に、図１に示した撮像光学系１１、撮像素子１２、信号処理部１３、カメラ操作部２１およびシステム制御部１７、および図１では省略したフォーカス調整部３５およびフォーカスモーター３７を備えるカメラ撮像部の例を示す。ただし、図１に示したインターフェース２２は省略した。
【００９７】
この例では、撮像素子１２から得られるＲＧＢアナログ画像信号が、信号処理部１３のサンプルホールド回路１３１でサンプルホールドされ、ＡＧＣ回路１３２で自動利得制御された後、Ａ／Ｄコンバータ１３３でＲＧＢデジタル画像データに変換される。
【００９８】
変換後のＲＧＢ画像データは、クランプ回路１３４でオプティカル黒レベルがクランプされ、レンズ歪補正回路１３５でレンズ歪が補正され、欠陥ピクセル補正回路１３６で欠陥ピクセルのデータが補正され、ホワイトバランス回路１３７でホワイトバランスが設定され、ガンマ補正回路１３８でガンマ補正され、色補間回路１３９で色補間され、色空間変換回路１４１でＹＣｒＣｂ画像データに変換される。
【００９９】
変換後のＹＣｒＣｂ画像データは、エッジ検出回路１４２および疑似カラー抑圧回路１４３に供給され、エッジ検出回路１４２で画像エッジ部が検出されるとともに、疑似カラー抑圧回路１４３で疑似カラー成分が抑圧される。
【０１００】
そして、疑似カラー抑圧回路１４３の出力の画像データが、記録再生処理部１４に供給されるとともに、この画像データと、エッジ検出回路１４２の出力のエッジ検出信号が、フォーカス調整部３５に供給される。
【０１０１】
さらに、システム制御部１７からフォーカス調整部３５に、カメラ操作部２１でのモード設定に基づくフォーカスモード設定信号が供給されて、フォーカス調整部３５において、モニター中の画像の指定された領域におけるフォーカス状態が検出される。その検出結果のフォーカス状態を示す信号が、システム制御部１７によってフォーカス調整信号に変換され、そのフォーカス調整信号が、モーター駆動信号としてフォーカスモーター３７に供給されて、モニター中の画像の指定された領域が合焦状態となるように、撮像光学系１１が駆動される。
【０１０２】
また、システム制御部１７からＡＧＣ回路１３２に、カメラ操作部２１での露出設定に応じたゲイン制御信号が供給されて、サンプルホールド回路１３１でサンプルホールドされた画像信号のゲインが制御され、モニター中の画像の露出状態が制御される。
【０１０３】
（カメラ制御状態の音声ナレーション：図１２〜図１６）
上記のカメラ撮像部では、カメラ制御状態としては、図１２左上の表に示すように、撮影モードとして「オート」または「マニュアル」が検出され、フォーカス状態として「合焦」または「非合焦」が検出され、露出状態として「明るい」「普通」または「暗い」が検出される。表中の０，１，２は、モードまたは状態を示すデータ値である。
【０１０４】
ただし、露出状態は、オートモードでは、ゲイン小を「明るい」とし、ゲイン大を「暗い」とするものであり、マニュアルモードでは、動作中のゲイン制御信号と比較して、ゲイン小に設定するときを「明るい」とし、ゲイン大に設定するときを「暗い」とするものである。
【０１０５】
このカメラ制御状態については、上記のＥ−Ｅモードや記録モードでも、図１に示した構文構成部１８での構文構成およびテキスト音声合成部１９でのテキスト音声合成によって、音声ナレーションを出力することができる。
【０１０６】
図１２に、このようにＥ−Ｅモードまたは記録モードでカメラ制御状態の音声ナレーションを出力する場合の例を示す。
【０１０７】
この場合、Ｅ−Ｅモードでは、モニター中の画像が、画像５として示すようにディスプレイ１６上に表示されるとともに、そのときのカメラ制御状態を示すデータが、後述のような文字列データに置き換えられ、その文字列データから、構文構成によってメッセージ文が生成され、さらに、そのメッセージ文から、テキスト音声合成によって音声ナレーションが出力される。
【０１０８】
記録モードでは、撮影された画像が、画像５として示すようにディスプレイ１６上に表示され、Ｅ−Ｅモードと同様に、そのときのカメラ制御状態を示す文字列データに基づいて、音声ナレーションが出力されるとともに、その文字列データが、撮影された画像のファイルに書き込まれて、画像ファイルがメモリカードに記録される。
【０１０９】
図１３に、画像ファイルフォーマットとしてＤＣＦ基本ファイル（拡張子“ＪＰＧ”）を用いる場合の、カメラ制御状態の書き込み読み出し制御の様子を示す。
【０１１０】
これは、図６に示した、ユーザー入力の画像内容および撮影場所を示す文字列データが、ＤＣＦ基本ファイルに書き込まれ、ＤＣＦ基本ファイルから読み出される場合と同じで、すなわち、カメラ制御状態を示す文字列データは、ユーザーコメントデータとして、ＤＣＦ基本ファイル内のＡＰＰ１内のＥｘｉｆＩＦＤ内のユーザーコメント欄に書き込まれ、ユーザーコメント欄から読み出される。
【０１１１】
以下に、Ｅ−Ｅモードまたは記録モードで、音声ナレーションによってカメラ制御状態をメッセージする場合の、構文構成部１８での構文構成の様子を示す。ただし、構文構成部１８での構文構成およびテキスト音声合成部１９でのテキスト音声合成の具体的方法は、後記の〔構文構成（テキスト生成）：図２５および図２６〕および〔テキスト音声合成：図２７および図２８〕で詳細に示す。
【０１１２】
図１４に、Ｅ−Ｅモードで露出状態をメッセージする場合の構文構成の様子を示す。
【０１１３】
露出を明るくする場合には、図１２左上の表中に示した露出状態を示すデータによって、「露出」「明るく」という単語が選択されるとともに、構文パターンに付加する語として「を」「します」という語が選択されて、「露出を明るくします」というメッセージ文が生成され、音声ナレーションが出力される。
【０１１４】
露出を暗くする場合には、露出状態を示すデータによって、「露出」「暗く」という単語が選択されるとともに、構文パターンに付加する語として「を」「します」という語が選択されて、「露出を暗くします」というメッセージ文が生成され、音声ナレーションが出力される。
【０１１５】
図１５上段に、Ｅ−Ｅモードでフォーカス状態および撮影モードをメッセージする場合の構文構成の様子を示す。
【０１１６】
合焦した場合には、図１２左上の表中に示したフォーカス状態を示すデータによって、「ピント」「合いました」という単語が選択されるとともに、構文パターンに付加する語として「が」という語が選択されて、「ピントが合いました」というメッセージ文が生成され、音声ナレーションが出力される。
【０１１７】
マニュアル撮影である場合には、撮影モードの情報から、「マニュアル撮影」という単語が選択されるとともに、構文パターンに付加する語として「です」という語が選択されて、「マニュアル撮影です」というメッセージ文が生成され、音声ナレーションが出力される。
【０１１８】
合焦していない場合には、図示していないが、フォーカス状態を示すデータによって、「ピント」「合っていません」という単語が選択されるとともに、構文パターンに付加する語として「が」という語が選択されて、「ピントが合っていません」というメッセージ文が生成され、音声ナレーションが出力される。
【０１１９】
オート撮影である場合には、図示していないが、撮影モードの情報から、「オート撮影」という単語が選択されるとともに、構文パターンに付加する語として「です」という語が選択されて、「オート撮影です」というメッセージ文が生成され、音声ナレーションが出力される。
【０１２０】
なお、ユーザーは、カメラ操作部２１またはキー操作入力部２３での選択によって、露出状態、フォーカス状態、および撮影モードのうちの、いずれか一つまたは複数をメッセージさせることができるとともに、ユーザーが複数を選択した場合には、複数のメッセージ（音声ナレーション）が順次出力されるように、ＤＳＣシステムを構成する。
【０１２１】
さらに、記録モードでは、撮影日を音声ナレーションとしてメッセージすることもできる。撮影日（撮影日時）は、上述したように画像内容情報および撮影場所情報をユーザーコメントデータとして記録する場合と同様に、システム制御部１７によって取得され、撮影属性情報として、画像ファイルフォーマットとしてＤＣＦ基本ファイル（拡張子“ＪＰＧ”）を用いる場合には、図１３に示したように、ＤＣＦ基本ファイル内のＡＰＰ１内のＥｘｉｆＩＦＤ内の日時フィールドに記録されるものである。
【０１２２】
図１５下段に、記録モードで撮影日をメッセージする場合の構文構成の様子を示す。
【０１２３】
この例では、上述したファイル種類情報またはファイル拡張子によって、記録されるファイルの種類（この場合は画像ファイル）が判別されて、「画像」という単語が選択されるとともに、撮影日時のデータによって、「２００２年」「１１月２１日」という、年と月日に分けられた単語が選択され、構文パターンに付加する語として「この」「は」「の」「に」「撮影」「されました」という語が選択されて、「この画像は２００２年の１１月２１日に撮影されました」というメッセージ文が生成され、音声ナレーションが出力される。
【０１２４】
メッセージ中の動詞は、ファイルの種類に応じて選択されるもので、この場合には、画像データが画像ファイルとして記録されるので、動詞として「撮影」が選択される。
【０１２５】
これに対して、音声データが音声ファイルとして記録される場合には、撮影日時（撮影属性情報）の代わりに録音日時（録音属性情報）が記録され、動詞として「録音」が選択されて、「この音声は２００２年の１１月２１日に録音されました」というメッセージ文が生成され、画像データでもなく音声データでもないデータがファイルとして記録される場合には、撮影日時（撮影属性情報）や録音日時（録音属性情報）の代わりに記録日時（記録属性情報）が記録され、動詞として「記録」が選択されて、「このデータは２００２年の１１月２１日に記録されました」というメッセージ文が生成される。
【０１２６】
図１６に、Ｅ−Ｅモードから記録モードに移行する場合の、一連のユーザー操作およびシステム動作の例を時系列的に示す。
【０１２７】
ユーザーは、ＤＳＣシステムを起動させ、Ｅ−Ｅモードとして、ディスプレイ１６上に画像６を表示させる。ＤＳＣシステムでは、上述したようにフォーカス調整が実行され、画像７で示すように合焦状態になると、図１５上段に示したように「ピントが合いました」という音声ナレーションが出力される。
【０１２８】
ユーザーが、これを聞いて撮影操作をすると、システム制御部１７は、内部のメモリに記録されている内蔵音の音声データによって、「カシッ」というような擬音を発生させた後、記録処理を開始する。
【０１２９】
そして、画像ファイルの記録が終了すると、図１５下段に示したように「この画像は２００２年の１１月２１日に撮影されました」という音声ナレーションが出力される。ユーザーは、これを聞いて、画像が記録されたことを確認することができる。
【０１３０】
〔再生時の音声ナレーション：図１７〜図２４〕
この実施形態のＤＳＣシステムでは、画像記録後、ユーザーは、以下のような再生モードにおいて、画像を再生し、再生画像をディスプレイ１６上に表示させることができるとともに、構文構成部１８での構文構成およびテキスト音声合成部１９でのテキスト音声合成によって、再生画像についての音声ナレーションを出力させることができる。
【０１３１】
なお、この場合の構文構成およびテキスト音声合成の具体的方法も、後記の〔構文構成（テキスト生成）：図２５および図２６〕および〔テキスト音声合成：図２７および図２８〕で詳細に示す。
【０１３２】
（閲覧モード：図１７および図１８）
図１７に、図６または図７および図９に示したように、画像ファイル（ＤＣＦ基本ファイル、またはＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルのペア）に、ユーザーコメントデータとして画像内容情報および撮影場所情報が記録され、撮影属性情報として撮影日時が記録されている場合に、閲覧モードにおいて、画像内容、および撮影日と撮影場所を、音声ナレーションとしてメッセージする場合の例を示す。
【０１３３】
上述したように、画像内容情報および撮影場所情報は、文字列データとして、ＤＣＦ基本ファイル内またはＤＣＦサムネイルファイル内のＡＰＰ１内のＥｘｉｆＩＦＤ内のユーザーコメント欄に記録され、撮影日時は、「年：月：日：時：分：秒．サブ秒」という形式の１６進数データとして、同じＥｘｉｆＩＦＤ内の日時フィールドに記録されている。
【０１３４】
ユーザーは、図１０に示した方法と同様の方法によって、フォルダ名のメニューを呼び出す操作をし、呼び出すフォルダのフォルダ名、例えば「犬」を指示する。これによって、システム制御部１７は、上述したフォルダ名対照テーブルファイル９を参照して、例えば「犬」というユーザー指定のフォルダ名に対応する「１０３ＡＡＡＡＡ」というＤＣＦファイルシステムに準拠するフォルダ名のフォルダをファイル呼び出し先として、そのフォルダ内に記録されている各画像ファイル（ＤＣＦ基本ファイル、またはＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルのペア）を、ＤＣＦファイルシステムに準拠するファイル名中のファイル番号順に読み出し、それぞれのＤＣＦ基本サムネイルまたはＤＣＦサムネイルファイルのデータによって、図１７左上に示すように、ディスプレイ１６上にサムネイル画像Ａ，Ｂ，Ｃ‥‥を配列表示する。
【０１３５】
この状態で、ユーザーは、アイコン形状のサムネイル画像の一つを選択する。これによって、システム制御部１７は、その選択された画像のファイル（ＤＣＦ基本ファイル、またはＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルのペア）中のＤＣＦ基本主画像またはＤＣＦ拡張画像ファイルのデータによって、ディスプレイ１６上に、選択された画像の原画像１を表示する。
【０１３６】
同時に、このとき、システム制御部１７によって、その画像ファイルから、画像内容および撮影場所を示す文字列データ、および撮影日時のデータが読み出され、そのデータから、構文構成部１８での構文構成によって、メッセージ文が生成され、さらに、そのメッセージ文から、テキスト音声合成部１９でのテキスト音声合成によって、音声ナレーションが出力される。
【０１３７】
図１８上段に、閲覧モードで画像内容をメッセージする場合の構文構成の様子を示す。
【０１３８】
この例では、ユーザー指定のユーザー命名フォルダ名によって、「犬」という単語が選択され、画像内容を示す文字列データによって、「家族」「チワワ」「モモちゃん」という単語が選択されるとともに、構文パターンに付加する語として「この」「は」「の」「の」「です」という語が選択されて、「この犬は家族のチワワのモモちゃんです」というメッセージ文が生成され、音声ナレーションが出力される。
【０１３９】
図１８下段に、閲覧モードで撮影日と撮影場所をメッセージする場合の構文構成の様子を示す。
【０１４０】
この例では、上述したファイル種類情報またはファイル拡張子によって、記録されているファイルの種類（この場合は画像ファイル）が判別されて、「画像」という単語が選択されるとともに、撮影日時のデータによって、「２００２年」「１１月２１日」という、年と月日に分けられた単語が選択され、撮影場所を示す文字列データによって、「自宅」という単語が選択され、構文パターンに付加する語として「この」「は」「の」「に」「で」「撮影」「しました」という語が選択されて、「この画像は２００２年の１１月２１日に自宅で撮影しました」というメッセージ文が生成され、音声ナレーションが出力される。
【０１４１】
なお、ユーザーは、カメラ操作部２１またはキー操作入力部２３での選択によって、画像内容のメッセージ、および撮影日と撮影場所のメッセージのうちの、いずれか一方または双方を、音声ナレーションとして出力させることができるとともに、ユーザーが双方を選択した場合には、双方のメッセージ（音声ナレーション）が順次出力されるように、ＤＳＣシステムを構成する。
【０１４２】
（早見モード：図１９）
この実施形態のＤＳＣシステムでは、ユーザーは、ディスプレイ１６上にサムネイル画像を順次表示させ、表示されたサムネイル画像を順次選択することによって、サムネイル画像の表示状態のまま、それぞれの画像についての音声ナレーションを出力させることができる。
【０１４３】
図１９に、この早見モードで画像内容の音声ナレーションおよび撮影日と撮影場所の音声ナレーションを出力する場合の例を示す。
【０１４４】
この場合、ユーザーは、早見モードを選択した上で、フォルダ名のメニューを呼び出す操作をする。これによって、図１９左上に示すように、ディスプレイ１６上にフォルダ名メニュー画面２が表示される。
【０１４５】
ユーザーは、そのうちから、呼び出すフォルダのフォルダ名、例えば「犬」を指示する。これによって、システム制御部１７は、上述したフォルダ名対照テーブルファイル９を参照して、例えば「犬」というユーザー指定のフォルダ名に対応する「１０３ＡＡＡＡＡ」というＤＣＦファイルシステムに準拠するフォルダ名のフォルダをファイル呼び出し先として、そのフォルダ内に記録されている各画像ファイル（ＤＣＦ基本ファイル、またはＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルのペア）を、ＤＣＦファイルシステムに準拠するファイル名中のファイル番号順に読み出し、それぞれのＤＣＦ基本サムネイルまたはＤＣＦサムネイルファイルのデータによって、ディスプレイ１６上にサムネイル画像を順次表示する。
【０１４６】
ユーザーは、その順次表示されるサムネイル画像を順次選択する。これによって、システム制御部１７は、サムネイル画像データ（ＤＣＦ基本サムネイルまたはＤＣＦサムネイルファイルのデータ）によってサムネイル画像を表示した状態で、その選択された画像のファイル（ＤＣＦ基本ファイル、またはＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルのペア）から、画像内容および撮影場所を示す文字列データ、および撮影日時のデータを読み出し、構文構成部１８での構文構成およびテキスト音声合成部１９でのテキスト音声合成によって、図１８に示した「この犬は家族のチワワのモモちゃんです」および「この画像は２００２年の１１月２１日に自宅で撮影しました」というようなメッセージ文を生成し、音声ナレーションを出力する。
【０１４７】
さらに、システム制御部１７は、このように構文構成部１８によって、選択された画像についてのメッセージ文を生成しつつ、次にサムネイル画像を表示すべき、すなわち次にユーザーによって選択されるべき画像のファイル（ＤＣＦ基本ファイル、またはＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルのペア）から、サムネイル画像データ（ＤＣＦ基本サムネイルまたはＤＣＦサムネイルファイルのデータ）を読み出す。
【０１４８】
これによって、選択された画像についての音声ナレーションの終了後、直ちに、次のサムネイル画像がディスプレイ１６上に表示され、ユーザーは迅速かつ円滑に同一フォルダ内の各画像の内容などを知ることができる。
【０１４９】
（高速連写画像スライドショー再生モード：図２０および図２１）
この実施形態のＤＳＣシステムは、高速連写モードとして、複数枚の画像をコンマ数秒（１秒間に数回）というような短い時間間隔で連続して撮影し、画像ファイルとして記録する機能を備える構成とする。
【０１５０】
この高速連写モードでは、システム制御部１７によって、各画像の撮影日時が、「年：月：日：時：分：秒．サブ秒」の形式でサブ秒まで取得され、図６に示したＤＣＦ基本ファイル（拡張子“ＪＰＧ”）内または図７に示したＤＣＦサムネイルファイル（拡張子“ＴＨＭ”）内の、ＡＰＰ１内のＥｘｉｆＩＦＤ内の日時フィールドに記録される。
【０１５１】
また、この高速連写モードでも、ユーザーは、図９に示したように、フォルダ名を命名し、画像内容または撮影場所を示す文字列を入力することができ、それによって、システム制御部１７は、上述したフォルダ名対照テーブルファイル９を生成し、上記のＥｘｉｆＩＦＤ内のユーザーコメント欄に、画像内容または撮影場所を示す文字列データを記録するように、ＤＳＣシステムを構成する。
【０１５２】
そして、画像再生時、ユーザーは、高速連写画像スライドショー再生モードを選択することによって、以下に示すように、高速連写された各画像の原画像を、一定時間間隔で順次再生させ、ディスプレイ１６上に表示させることができるとともに、各画像の間の時間的な変化の様子を示す音声ナレーションを出力させることができる。
【０１５３】
具体的に、ユーザーが高速連写画像スライドショー再生モードを選択すると、図２０の左上に示すように、ディスプレイ１６上に、高速連写された各画像のサムネイル画像Ａ１，Ａ２，Ａ３‥‥が配列表示される。
【０１５４】
この状態で、ユーザーは、スライドショー再生のスタート画像およびエンド画像を順番に指示して、スライドショー再生の方向および範囲を指定する。
【０１５５】
図２０の例は、高速連写の最初の画像（サムネイル画像は画像Ａ１、原画像は画像ａ１）がスライドショー再生のスタート画像とされ、高速連写の５番目の画像（サムネイル画像は画像Ａ５、原画像は画像ａ５）がスライドショー再生のエンド画像とされ、順方向のスライドショー再生が指示された場合である。
【０１５６】
これによって、システム制御部１７は、定められた時間間隔で、例えば、１画像の表示時間を５秒とし、スライド送り時間を１秒として、スタート画像（画像ａ１）からエンド画像（画像ａ５）までの各画像を、順次再生し、ディスプレイ１６上に表示する。
【０１５７】
同時に、システム制御部１７は、次の画像を表示するまでの間に、次の画像の撮影日時とスタート画像（画像ａ１）の撮影日時との差分時間（ｔ２−ｔ１，ｔ３−ｔ１，ｔ４−ｔ１，ｔ５−ｔ１）を算出し、構文構成部１８によって、次の画像についてのメッセージ文として、その算出した差分時間を示す単語（秒数）を含むメッセージ文を生成し、テキスト音声合成部１９によって、次の画像の表示時に音声ナレーションとして出力する。
【０１５８】
具体的に、この例は、高速連写の時間間隔が０．２秒とされるとともに、高速連写モードにおいて、ユーザー入力の「家族」「チワワ」「モモちゃん」という文字列データが画像ファイルに記録された場合である。
【０１５９】
この場合、構文構成部１８での構文構成では、順方向のスライドショー再生として、（１）スタート画像（画像ａ１）については、「最初の」および「画像」という単語が選択され、（２）途中の画像（画像ａ２，ａ３，ａ４）については、それぞれの画像につき個別に、システム制御部１７によって算出された差分時間を示す「０．２」「０．４」または「０．６」という単語（秒数）が選択されるとともに、それぞれの画像につき共通に、順方向のスライドショー再生であることから、「秒後の」という単語が選択され、ユーザー入力の「家族」「チワワ」「モモちゃん」という文字列から、最下位の概念と認識される「モモちゃん」という単語が選択され、（３）エンド画像（画像ａ５）については、「最後の」および「画像」という単語が選択され、（４）スライドショー再生の対象となる全ての画像（画像ａ１〜ａ５）につき共通に、構文パターンに付加する語として「です」という語が選択される。
【０１６０】
これによって、スタート画像（画像ａ１）の表示時には、「最初の画像です」というメッセージ文が生成され、音声ナレーションが出力される。次の画像（画像ａ２）の表示時には、「０．２秒後のモモちゃんです」というメッセージ文が生成され、音声ナレーションが出力される。さらに次の画像（画像ａ３）の表示時には、「０．４秒後のモモちゃんです」というメッセージ文が生成され、音声ナレーションが出力される。さらに次の画像（画像ａ４）の表示時には、「０．６秒後のモモちゃんです」というメッセージ文が生成され、音声ナレーションが出力される。エンド画像（画像ａ５）の表示時には、「最後の画像です」というメッセージ文が生成され、音声ナレーションが出力される。
【０１６１】
したがって、ユーザーは、各画像の内容、および各画像の間の時間的な変化の様子を、容易に把握することができる。
【０１６２】
図２０の例は、順方向のスライドショー再生を行う場合であるが、図２１の左上に示すように、ディスプレイ１６上に、高速連写された各画像のサムネイル画像Ａ１，Ａ２，Ａ３‥‥が配列表示された状態で、ユーザーが、図２０の例とは逆に、例えば、高速連写の５番目の画像（サムネイル画像は画像Ａ５、原画像は画像ａ５）をスライドショー再生のスタート画像として指定し、高速連写の最初の画像（サムネイル画像は画像Ａ１、原画像は画像ａ１）をスライドショー再生のエンド画像として指定した場合には、以下のような逆方向のスライドショー再生が実行される。
【０１６３】
具体的に、この場合、システム制御部１７は、上記のような定められた時間間隔で、スタート画像（画像ａ５）からエンド画像（画像ａ１）までの各画像を、順次再生し、ディスプレイ１６上に表示すると同時に、図２０の例と同様に、次の画像の撮影日時とスタート画像（画像ａ５）の撮影日時との差分時間（ｔ５−ｔ４，ｔ５−ｔ３，ｔ５−ｔ２，ｔ５−ｔ１）を算出する。
【０１６４】
同時に、構文構成部１８での構文構成では、逆方向のスライドショー再生として、（１）スタート画像（画像ａ５）については、「最後の」および「画像」という単語が選択され、（２）途中の画像（画像ａ４，ａ３，ａ２）については、それぞれの画像につき個別に、システム制御部１７によって算出された差分時間を示す「０．２」「０．４」または「０．６」という単語（秒数）が選択されるとともに、それぞれの画像につき共通に、逆方向のスライドショー再生であることから、「秒前の」という単語が選択され、ユーザー入力の「家族」「チワワ」「モモちゃん」という文字列から、最下位の概念と認識される「モモちゃん」という単語が選択され、（３）エンド画像（画像ａ１）については、「最初の」および「画像」という単語が選択され、（４）スライドショー再生の対象となる全ての画像（画像ａ５〜ａ１）につき共通に、構文パターンに付加する語として「です」という語が選択される。
【０１６５】
これによって、スタート画像（画像ａ５）の表示時には、「最後の画像です」というメッセージ文が生成され、音声ナレーションが出力される。次の画像（画像ａ４）の表示時には、「０．２秒前のモモちゃんです」というメッセージ文が生成され、音声ナレーションが出力される。さらに次の画像（画像ａ３）の表示時には、「０．４秒前のモモちゃんです」というメッセージ文が生成され、音声ナレーションが出力される。さらに次の画像（画像ａ２）の表示時には、「０．６秒前のモモちゃんです」というメッセージ文が生成され、音声ナレーションが出力される。エンド画像（画像ａ１）の表示時には、「最初の画像です」というメッセージ文が生成され、音声ナレーションが出力される。
【０１６６】
したがって、ユーザーは、逆方向のスライドショー再生を行わせる場合にも、各画像の内容、および各画像の間の時間的な変化の様子を、容易に把握することができる。
【０１６７】
なお、エンド画像（図２０の順方向スライドショー再生の例では画像ａ５、図２１の逆方向スライドショー再生の例では画像ａ１）につき選択される単語、したがってエンド画像についてのメッセージ内容は、上記の例と変えることができ、例えば、図２０の順方向スライドショー再生の例では、「０．８秒後のモモちゃんです」というメッセージ文が生成され、音声ナレーションが出力されるようにし、図２１の逆方向スライドショー再生の例では、「０．８秒前のモモちゃんです」というメッセージ文が生成され、音声ナレーションが出力されるようにしてもよい。
【０１６８】
また、スタート画像についても、例えば、図２０の順方向スライドショー再生の例では、「最初のモモちゃんです」というメッセージ文が生成され、音声ナレーションが出力されるようにし、図２１の逆方向スライドショー再生の例では、「最後のモモちゃんです」というメッセージ文が生成され、音声ナレーションが出力されるようにしてもよい。
【０１６９】
（再生画像のカメラ制御状態の音声ナレーション：図２２〜図２４）
上述したように、画像記録時、カメラ制御状態をユーザーコメントデータとして画像ファイルに記録する場合には、画像再生時、再生画像のカメラ制御状態を音声ナレーションとしてメッセージすることができる。また、併せて、画像ファイルの日時フィールドに撮影属性情報として記録されている撮影日を音声ナレーションとしてメッセージすることができる。
【０１７０】
図２２上段に、再生モードでフォーカス状態および撮影モードをメッセージする場合の構文構成の様子を示す。
【０１７１】
再生画像が合焦している場合には、再生される画像ファイルのユーザーコメント欄に記録されているフォーカス状態を示すデータによって、「ピント」「合っています」という単語が選択されるとともに、構文パターンに付加する語として「は」という語が選択されて、「ピントは合っています」というメッセージ文が生成され、音声ナレーションが出力される。
【０１７２】
また、マニュアル撮影である場合には、再生される画像ファイルのユーザーコメント欄に記録されている撮影モードの情報から、「マニュアル撮影」という単語が選択されるとともに、構文パターンに付加する語として「です」という語が選択されて、「マニュアル撮影です」というメッセージ文が生成され、音声ナレーションが出力される。
【０１７３】
図２２下段に、再生モードで撮影日をメッセージする場合の構文構成の様子を示す。
【０１７４】
この例では、上述したファイル種類情報またはファイル拡張子によって、再生されるファイルの種類（この場合は画像ファイル）が判別されて、「画像」という単語が選択されるとともに、その再生される画像ファイルの日時フィールドに記録されている撮影日時のデータによって、「２００２年」「１１月２１日」という、年と月日に分けられた単語が選択され、構文パターンに付加する語として「この」「は」「の」「に」「撮影」「されました」という語が選択されて、「この画像は２００２年の１１月２１日に撮影されました」というメッセージ文が生成され、音声ナレーションが出力される。
【０１７５】
なお、この場合も、再生されるファイルが画像ファイルであることから、動詞として「撮影」が選択される。
【０１７６】
図２３に、再生モードで撮影日およびフォーカス状態をメッセージする場合の、一連のユーザー操作およびシステム動作の例を時系列的に示す。
【０１７７】
ユーザーは、図１０に示した方法と同様の方法によって、フォルダ名のメニューを呼び出す操作をし、呼び出すフォルダのフォルダ名、例えば「犬」を指示する。これによって、システム制御部１７は、上述したフォルダ名対照テーブルファイル９を参照して、例えば「犬」というユーザー指定のフォルダ名に対応する「１０３ＡＡＡＡＡ」というＤＣＦファイルシステムに準拠するフォルダ名のフォルダをファイル呼び出し先として、そのフォルダ内に記録されている各画像ファイル（ＤＣＦ基本ファイル、またはＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルのペア）を、ＤＣＦファイルシステムに準拠するファイル名中のファイル番号順に読み出し、それぞれのＤＣＦ基本サムネイルまたはＤＣＦサムネイルファイルのデータによって、ディスプレイ１６上にサムネイル画像Ａ，Ｂ，Ｃ‥‥を配列表示する。
【０１７８】
この状態で、ユーザーは、アイコン形状のサムネイル画像の一つを選択する。これによって、システム制御部１７は、その選択された画像のファイル（ＤＣＦ基本ファイル、またはＤＣＦ拡張画像ファイルとＤＣＦサムネイルファイルのペア）から、撮影日時のデータを読み出し、構文構成部１８での構文構成によって、図２２下段に示したように「この画像は２００２年の１１月２１日に撮影されました」というメッセージ文を生成し、テキスト音声合成部１９でのテキスト音声合成によって音声ナレーションとして出力する。
【０１７９】
さらに、システム制御部１７は、その選択された画像のファイルから、フォーカス状態を示すデータを読み出し、構文構成部１８での構文構成によって、図２２上段に示したように「ピントは合っています」というメッセージ文を生成し、テキスト音声合成部１９でのテキスト音声合成によって音声ナレーションとして出力する。
【０１８０】
同時に、システム制御部１７は、その選択された画像のファイル中の、ＤＣＦ基本主画像またはＤＣＦ拡張画像ファイルのデータによって、ディスプレイ１６上に、選択された画像の原画像１を表示する。
【０１８１】
ユーザーが、これを見て決定操作をすると、システム制御部１７は、内部のメモリに記録されている内蔵音の音声データによって、「ヒュッ」というような擬音を発生させるとともに、ユーザーの別の操作があるまで、原画像１の再生表示を継続する。
【０１８２】
図２４に、再生モードで露出状態をメッセージする場合の構文構成の様子を示す。
【０１８３】
再生画像の露出が明るい場合には、再生される画像ファイルのユーザーコメント欄に記録されている露出状態を示すデータによって、「露出」「明るい」という単語が選択されるとともに、構文パターンに付加する語として「は」「です」という語が選択されて、「露出は明るいです」というメッセージ文が生成され、音声ナレーションが出力される。
【０１８４】
再生画像の露出が暗い場合には、再生される画像ファイルのユーザーコメント欄に記録されている露出状態を示すデータによって、「露出」「暗い」という単語が選択されるとともに、構文パターンに付加する語として「は」「です」という語が選択されて、「露出は暗いです」というメッセージ文が生成され、音声ナレーションが出力される。
【０１８５】
〔構文構成（テキスト生成）：図２５および図２６〕
上述したように、図１の構文構成部１８では、画像記録時には画像ファイルに記録されるユーザーコメントデータまたは撮影属性情報をもとに、画像再生時には画像ファイルから読み出されたユーザーコメントデータまたは撮影属性情報をもとに、辞書解析および構文解析を実行して、記録される画像および再生される画像についてのメッセージ文が生成される。
【０１８６】
図２５に、この構文構成部１８の一例を示す。ただし、図１に示したインターフェース２２および２４は省略した。
【０１８７】
システム制御部１７から構文構成部１８には、画像関連情報、カメラ状態情報およびユーザー指示情報が送出される。
【０１８８】
画像関連情報は、ユーザーコメントデータ（ユーザー入力の画像内容または撮影場所を示す文字列データや、カメラ制御状態を示すデータ）、撮影属性情報（撮影日時のデータ）、ユーザー命名のフォルダ名、ファイル種類情報、ファイル拡張子などである。
【０１８９】
カメラ状態情報は、Ｅ−Ｅモード、記録モード、高速連写モード、再生モード（閲覧モード、早見モード、高速連写画像スライドショー再生モードなど）などのカメラモードを示す情報、使用されているアプリケーションが何語で起動されているかを示す情報、その時点の時間帯や季節を示す情報などである。
【０１９０】
ユーザー指示情報は、ユーザーによってカメラ操作部２１またはキー操作入力部２３で指示された、出力音声ナレーションの言語、速度（話速）、高さ（周波数）、音色、音量などを示す情報である。
【０１９１】
構文構成部１８は、制御部４１、情報抽出部４６およびテキスト生成部５０によって構成され、その制御部４１は、出力言語決定モジュール４２、出力内容決定モジュール４３および文体決定モジュール４４によって構成され、情報抽出部４６には、形態素境界判定部４７および翻訳装置部４８が設けられる。
【０１９２】
出力言語決定モジュール４２は、（ａ）アプリケーションの起動言語、（ｂ）ユーザー命名フォルダ名やユーザーコメントデータの文字列の言語、および（ｃ）ユーザー指定の言語から、テキスト生成部５０で生成するテキスト（メッセージ文）の言語を決定するものである。
【０１９３】
ただし、あらかじめ（ａ）（ｂ）（ｃ）の間に優先順位を設定しておいて、優先順位の高いものに従って出力言語を決定し、または、（ａ）（ｂ）（ｃ）を同一順位として、それらの間での多数決によって出力言語を決定するように構成する。
【０１９４】
（ｂ）の文字列の言語を判定する方法としては、文字列の文字コードの種別によって判定する方法、文字列の並びの特徴から判定する方法、文字列を辞書で引くことによって判定する方法などを採ることができる。
【０１９５】
出力内容決定モジュール４３は、テキスト生成部５０で生成するテキスト（メッセージ文）の内容を決定するものである。ユーザーは、ユーザー指示情報として、詳細な文を生成すべきか簡潔な文を生成すべきか、文の語数、メッセージに要する時間、および複数のメッセージを生成できる場合に生成すべき文の数や種類（画像内容メッセージ、撮影日撮影場所メッセージ、フォーカスメッセージ、露出状態メッセージ、撮影日メッセージなど）などを指示することができるように、ＤＳＣシステムを構成する。
【０１９６】
文体決定モジュール４４は、テキスト生成部５０で生成するテキスト（メッセージ文）の文体を決定するものである。ユーザーは、ユーザー指示情報として、丁寧な文体の文を生成すべきこと、くだけた文体の文を生成すべきこと、または特定の方言の文を生成すべきことなどを指示することができるように、ＤＳＣシステムを構成する。
【０１９７】
情報抽出部４６は、入力された画像関連情報、カメラ状態情報およびユーザー指示情報から、制御部４１によって指定された情報を抽出するもので、例えば、制御部４１がユーザーコメントデータをもとにテキストを生成することを指示したときには、ユーザーコメントデータの文字列データを抽出する。
【０１９８】
具体的に、そのユーザーコメントデータの文字列が２つ以上の意味をなす単位（形態素：単語や語句）から構成されている場合、情報抽出部４６は、形態素境界判定部４７によって、その文字列の形態素境界を判定して、単語や語句を抽出する。
【０１９９】
形態素境界判定部４７での形態素境界の判定は、最長一致法または分割数最小法のような経験則による方法、文法的な接続の可能性をチェックする方法、統計的な言語モデルを使用する方法などによって実行する。
【０２００】
また、ユーザーコメントデータの文字列が、形態素境界に空白などのデリミタを含む文字列である場合には、情報抽出部４６は、そのデリミタを手掛かりに、それぞれの単語や語句を抽出ことができる。
【０２０１】
また、ユーザーコメントデータの文字列の言語が、ユーザー指定の言語と異なる場合には、情報抽出部４６は、翻訳装置部４８の対訳辞書などによって、文字列から抽出した単語や語句をユーザー指定の言語に翻訳するように、または、単語や語句を抽出する前の文字列をユーザー指定の言語に翻訳し、翻訳後の文字列から単語や語句を抽出するように、構文構成部１８を構成することができる。
【０２０２】
テキスト生成部５０は、制御部４１からの、出力言語、出力内容および文体を指示する情報と、情報抽出部４６で抽出された単語や語句の情報とに基づいて、テキスト（メッセージ文）を生成するもので、図２６に示すように、文字列解析モジュール５１、テンプレート選択モジュール５４およびテンプレート適用モジュール５７によって構成される。
【０２０３】
文字列解析モジュール５１は、情報抽出部４６で得られた単語や語句を、ルールデータベース５２および辞書データベース５３と照らし合わせることによって、それぞれの単語や語句に、品詞情報などの言語的な情報を付与する。
【０２０４】
テキスト生成部５０でのテキスト生成は、単語や語句をテンプレートに当てはめることによって実現される。テンプレートとしては、「これは＜名詞／名詞句＞です」などが挙げられる。
【０２０５】
テンプレート選択モジュール５４は、制御部４１からの情報に基づいて、ルールデータベース５５および辞書データベース５６を用いて、適切なテンプレートを選択する。
【０２０６】
例えば、ユーザーコメントデータの画像内容を示す文字列をもとに画像内容メッセージを生成する場合には、それ用のテンプレートが選択され、撮影日および撮影場所を示す文字列をもとに撮影日撮影場所メッセージを生成する場合には、それ用のテンプレートが選択され、ユーザーコメントデータとしてのフォーカス状態や露出状態を示す文字列をもとにフォーカスメッセージや露出状態メッセージを生成する場合には、それ用のテンプレートが選択される。
【０２０７】
また、ユーザー指示情報に応じて、選択するテンプレートを変え、例えば、丁寧な文体の文を生成すべきことが指示された場合には、上記のように「これは＜名詞＞です」というテンプレートを選択し、くだけた文体の文を生成すべきことが指示された場合には、「これは＜名詞＞だよ」というテンプレートを選択する。
【０２０８】
テンプレート適用モジュール５７は、ルールデータベース５８および辞書データベース５９を用いて、入力された単語や語句を、テンプレート選択モジュール５４で選択されたテンプレートに当てはめて、テキスト（メッセージ文）を生成する。
【０２０９】
例えば、テンプレート選択モジュール５４で「これは＜名詞／名詞句＞です」というテンプレートが選択され、文字列解析モジュール５１によって単語や語句が名詞または名詞句であるとされた場合には、その単語や語句を、「これは＜名詞／名詞句＞です」というテンプレートの＜名詞／名詞句＞の部分に当てはめて、テキストを生成する。
【０２１０】
また、入力された単語や語句をそのまま当てはめないで、概念（ｔｈｅｓａｕｒｕｓ）辞書の、単語間の概念的な関係を示すデータを用いて、入力された単語や語句を、同じ概念の語、または上位概念を有する語などで置き換えて、テンプレートに当てはめるように、テキスト生成部５０を構成することもできる。
【０２１１】
例えば、ユーザーコメントデータの画像内容を示す文字列が「赤」「薔薇」であり、文字列解析モジュール５１で、それらが共に名詞であると解析され、テンプレート選択モジュール５４で、「これは＜“色”＞の＜“花”＞です」というテンプレート（“色”および“花”は概念）が選択された場合、概念辞書によって、赤の上位概念が色であり、「薔薇」の上位概念が花であることが分かるので、「赤」「薔薇」という単語は、選択されたテンプレートに当てはめることができると判定されて、「これは赤の薔薇です」という文が生成される。
【０２１２】
解析の結果、当該の単語や語句を、そのままテンプレートに当てはめることができないことが判明することもある。例えば、情報抽出部４６で「駅前で見かけた」という語句が抽出されたとする。この語句を解析すると、「名詞＋格助詞＋動詞＋助動詞」という品詞列が得られるが、これは、上記のテンプレートに当てはまらない。しかし、この語句に「もの」という形式名詞を追加することによって、語句全体が「駅前で見かけたもの」という名詞句になり、テンプレートに当てはめることができるようになる。このように、テンプレート適用モジュール５７では、入力された単語や語句を、選択されたテンプレートに当てはめることができるように変形する。
【０２１３】
なお、上述したカメラ状態情報によって、例えば、ＤＳＣシステムの使用時間帯に応じて、ユーザーに対する挨拶文のテキストを生成し、上記のメッセージ文に付加することもできる。
【０２１４】
〔テキスト音声合成：図２７および図２８〕
図１のテキスト音声合成部１９では、上記のように構文構成部１８で生成されたテキスト（メッセージ文）から、テキスト音声合成によって、音声ナレーション用の音声波形データを生成する。
【０２１５】
図２７に、テキスト音声合成部１９の一例を示す。上述したカメラ状態情報およびユーザー指示情報は、テキスト音声合成部１９にも送出される。
【０２１６】
この例のテキスト音声合成部１９は、言語処理部６１、韻律制御部７１および波形生成部８１によって構成される。
【０２１７】
言語処理部６１は、ルールデータベース６２および辞書データベース６３を用いて、構文構成部１８からのテキストを解析し、テキスト音声合成に必要な情報を抽出するもので、図２８に示すように、テキスト解析モジュール６４および韻律情報生成モジュール６７によって構成される。
【０２１８】
テキスト解析モジュール６４は、ルールデータベース６５および辞書データベース６６を用いて、入力テキストを解析して、形態素（単語や語句）に分割し、それぞれの形態素につき、品詞や読みなどの情報を得るものである。
【０２１９】
テキスト解析モジュール６４でのテキスト解析は、最長一致法または分割数最小法のような経験則による方法、文法的な接続の可能性をチェックする方法、統計的な言語モデルを使用する方法、正規文法や文脈文法などの文法を用いる方法などによって実行する。
【０２２０】
以上のテキスト解析によって、構文構成部１８から出力されたテキスト（メッセージ文）のそれぞれの単語や語句につき、品詞や読み、アクセント型などの情報が求められる。
【０２２１】
韻律情報生成モジュール６７は、テキスト解析モジュール６４の解析結果をもとに、ルールデータベース６８内の、ルール、統計的な言語モデル、決定木を用いて、アクセント核位置やポーズ位置の決定、フレージング処理など、入力テキストを音声で読み上げるために必要な情報を求めるものである。
【０２２２】
テキスト解析モジュール６４および韻律情報生成モジュール６７からなる言語処理部６１で得られた解析結果および情報は、音声記号列という中間的な表現形態で出力される。
【０２２３】
音声記号列は、ＩＰＡ（国際音声字母）やＳＡＭＰＡなどの一般的な発音記号を用いて記述してもよく、あるいは独自の発音記号を定めて記述してもよい。
【０２２４】
図２７の韻律制御部７１は、言語処理部６１から音声記号列を受け取り、ルールデータベース７２およびデータベース７３を用いて、それぞれの音（音素）の継続時間長および基本周波数を求めるもので、図２８に示すように、継続時間長決定モジュール７４および基本周波数決定モジュール７７によって構成される。
【０２２５】
継続時間長決定モジュール７４は、ルールデータベース７５およびデータベース７６中の、あらかじめ大量のデータから学習して得られた、音韻環境と音の継続時間長との関係を示すルールおよびデータを用いて、音声記号列を解析し、それぞれの音（音素）の長さを決定するものである。
【０２２６】
音韻環境とは、それぞれの音素の文における位置、アクセントやストレスの有無、ポーズの長さ、フレーズやアクセントの強さなどである。
【０２２７】
基本周波数決定モジュール７７は、ルールデータベース７８およびデータベース７９中の、あらかじめ大量のデータから学習して得られた、音韻環境と音の基本周波数との関係を示すルールおよびデータを用いて、音声記号列を解析し、それぞれの音（音素）のピッチを決定するものである。
【０２２８】
継続時間長決定モジュール７４および基本周波数決定モジュール７７からなる韻律制御部７１で求められたデータは、韻律データという中間的な表現形態で出力される。
【０２２９】
図２７および図２８の波形生成部８１は、韻律制御部７１から出力された韻律データに従って、音素の並び、継続時間長および基本周波数などを考慮して、素片データベース８２から適切な音声素片を選択し、必要に応じて変形を施した上で接続して、音声ナレーションの音声波形を示す音声データを生成するものである。
【０２３０】
さらに、この例では、ユーザーは、上述したユーザー指示情報によって、テキスト音声合成部１９で生成される音声ナレーションの音声波形につき、話速、声の高さ、音色、音声レベルなどを指定することができる。
【０２３１】
語の発音やアクセントは、年代によって変化するが、テキスト音声合成部１９の各部および各モジュールが、年代ごとにルール、辞書、データ、音声素片を保持し、ユーザーによって指定された年代のルール、辞書、データ、音声素片によって、解析、生成、決定などの処理を実行することによって、テキスト音声合成部１９から出力される音声ナレーションとして、ユーザーによって指定された年代の発話の特徴を反映したものが得られる。
【０２３２】
また、上述したカメラ状態情報によって、例えば、ＤＳＣシステムの使用時間帯に応じて、テキスト音声合成部１９で生成される音声ナレーションの音声波形につき、話速、声の高さ、音色、音声レベルなどを変化させ、例えば、朝には声を高くし、深夜には音声レベルを下げるなどの制御を行うことができる。また、季節や特定日に合わせて、テキスト音声合成による音声にＢＧＭを付加することもできる。
【０２３３】
図１で上述したように、テキスト音声合成部１９で生成された音声データは、Ｄ／Ａコンバータ２７でアナログ音声信号に変換され、その音声信号が音声増幅回路２８で増幅されてスピーカ２９に供給され、スピーカ２９から音声ナレーションが出力される。
【０２３４】
〔他の実施形態〕
上述した実施形態は、ユーザー入力の撮影場所を示す文字列データを、ユーザーコメントデータとして画像ファイルのユーザーコメント欄に書き込み、画像再生時、「この画像は２００２年の１１月２１日に自宅で撮影しました」というようなメッセージ文を生成し、音声ナレーションを出力する場合であるが、ＤＳＣシステムにＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機を設け、または接続できるようにし、このＧＰＳ受信機で測定された撮影位置を、ユーザーコメントデータとして画像ファイルのユーザーコメント欄に書き込み、画像再生時、「この画像は２００２年の１１月２１日に北緯３５度２５分、東経１３８度５４分の場所で撮影しました」というようなメッセージ文を生成し、音声ナレーションを出力するように、システムを構成することもできる。
【０２３５】
さらに、ＤＳＣシステムまたはＣＰＵ受信機が地図メモリを備え、撮影時、その地図メモリを参照して、ＧＰＳ受信機で測定された「北緯３５度２５分、東経１３８度５４分」というような撮影位置を、「山中湖近傍」というような撮影場所に変換して、ユーザーコメントデータとして画像ファイルのユーザーコメント欄に書き込み、画像再生時、「この画像は２００２年の１１月２１日に山中湖近傍で撮影しました」というようなメッセージ文を生成し、音声ナレーションを出力するように、システムを構成することもできる。
【０２３６】
なお、上述した実施形態は、画像ファイルフォーマットとしてＥｘｉｆファイルフォーマットのＤＣＦファイルシステムを用いる場合であるが、将来的に考えられるファイルフォーマットまたはファイルシステムを用いることもできる。
【０２３７】
また、上述した実施形態は、この発明をＤＳＣに適用した場合であるが、この発明は、ＤＳＣに限らず、カメラ付きＰＤＡやカメラ付き携帯電話端末などにも適用することができる。
【０２３８】
【発明の効果】
上述したように、この発明によれば、ユーザーとしては簡単な操作や入力によって、または特に操作や入力を必要とすることなく、しかも、画像ファイルとは別にテキストファイルや音声ファイルを記録することなく、撮影された画像の内容や撮影時のカメラ制御状態などの画像に関連する事項を、装置のユーザーインターフェースとしてユーザーに的確に提示することができる。
【０２３９】
しかも、ＤＳＣやカメラ付き携帯端末などの画像記録再生装置のディスプレイ画面が小さい場合でも、さらには、その小さい画面上にサムネイル画像が配列表示された状態でも、画像の一部または大部分を文字などによって覆うことなく、音声ナレーションによって画像内容などをユーザーに十分かつ明瞭に提示することができる。
【０２４０】
さらに、音声ナレーションの出力のために画像ファイルとは別の音声ファイルなどにアクセスする必要がないので、記録メディアが光ディスクのようなメディア上のシークに時間がかかるものである場合でも、画像の再生および音声ナレーションの出力のためのファイルへのアクセス時間が増加することがない。
【０２４１】
また、画像ファイルとは別に音声ファイルなどを記録する必要がないので、ファイル書き込み回数が増加することがなく、記録メディアとして、書き込み回数に制限のあるメモリや、一括して書き込み消去を行う必要のある、例えばフラッシュメモリを用いたメモリカードを用いる場合、記録メディアを長く使用することができる。
【図面の簡単な説明】
【図１】この発明の画像記録再生装置の一実施形態のＤＳＣシステムを示す図である。
【図２】画像ファイルフォーマットの一例を示す図である。
【図３】フォルダ名対照テーブルファイルと画像ファイルの一例を示す図である。
【図４】フォルダ名対照テーブルファイルと画像ファイルの他の例を示す図である。
【図５】音声ファイルフォーマットの一例を示す図である。
【図６】画像関連情報の書き込み読み出し制御の一例を示す図である。
【図７】画像関連情報の書き込み読み出し制御の他の例を示す図である。
【図８】キー操作入力部の一例を示す図である。
【図９】画像内容および撮影場所を示す文字の入力方法の一例を示す図である。
【図１０】画像内容および撮影場所を示す文字の入力方法の他の例を示す図である。
【図１１】カメラ撮像部の一例を示す図である。
【図１２】Ｅ−Ｅモードおよび記録モードでのカメラ制御状態の音声ナレーションの説明に供する図である。
【図１３】カメラ制御状態を示すデータの書き込み読み出し制御の一例を示す図である。
【図１４】Ｅ−Ｅモードでの露出状態の音声ナレーションの説明に供する図である。
【図１５】Ｅ−Ｅモードでのフォーカス状態の音声ナレーションおよび記録モードでの撮影日の音声ナレーションの説明に供する図である。
【図１６】Ｅ−Ｅモードから記録モードに移行する場合のユーザー操作およびシステム動作の一例を示す図である。
【図１７】閲覧モードでの音声ナレーションの説明に供する図である。
【図１８】閲覧モードでの構文構成の説明に供する図である。
【図１９】早見モードでの音声ナレーションの説明に供する図である。
【図２０】高速連写画像の順方向スライドショー再生の説明に供する図である。
【図２１】高速連写画像の逆方向スライドショー再生の説明に供する図である。
【図２２】再生モードでのフォーカス状態および撮影日のメッセージ文の説明に供する図である。
【図２３】再生モードでの一連のユーザー操作およびシステム動作の一例を示す図である。
【図２４】再生モードでの露出状態のメッセージ文の構文構成の説明に供する図である。
【図２５】構文構成部の一例を示す図である。
【図２６】構文構成部中のテキスト生成部の一例を示す図である。
【図２７】テキスト音声合成部の一例を示す図である。
【図２８】テキスト音声合成部の各部の具体例を示す図である。
【符号の説明】
主要部については図中に全て記述したので、ここでは省略する。

Claims (18)

1. 画像を撮影し、定められたファイルフォーマットの画像ファイルとして記録メディアに記録する撮影記録工程と、
   画像に関連する情報を、文字列データとして、前記画像ファイルの前記ファイルフォーマットで指定された領域に記録する情報記録工程と、
   前記画像ファイルとして記録された画像の、原画像またはサムネイル画像を再生する画像再生工程と、
   前記画像ファイルから前記画像関連情報の文字列データを読み出し、辞書解析および構文解析によって、画像についてのメッセージ文を生成する構文構成工程と、
   その生成したメッセージ文から、テキスト音声合成によって、音声ナレーションのデータを生成するテキスト音声合成工程と、
   を備える画像記録再生方法。
2. 請求項１の画像記録再生方法において、
   前記画像関連情報は、ユーザーによって入力される情報である画像記録再生方法。
3. 請求項１の画像記録再生方法において、
   前記画像関連情報は、撮影属性情報である画像記録再生方法。
4. 請求項１の画像記録再生方法において、
   前記画像関連情報は、画像撮影時のカメラ制御状態を示す情報である画像記録再生方法。
5. 請求項１の画像記録再生方法において、
   前記構文構成工程では、指定されたフォルダ名を含むメッセージ文を生成する画像記録再生方法。
6. 請求項１の画像記録再生方法において、
   前記構文構成工程では、前記画像ファイルのファイル種類情報またはファイル拡張子に応じて動詞を選択して、メッセージ文を生成する画像記録再生方法。
7. 請求項１の画像記録再生方法において、
   前記構文構成工程および前記画像再生工程では、ディスプレイ上で選択されたサムネイル画像のデータを含む画像ファイルから前記画像関連情報の文字列データを読み出してメッセージ文を生成しつつ、次にディスプレイ上で選択されるべきサムネイル画像のデータを含む画像ファイルからサムネイル画像データを読み出す画像記録再生方法。
8. 請求項１の画像記録再生方法において、
   前記撮影記録工程では、撮影モードの一つとして、複数の画像を１秒未満の定められた時間間隔で連続して撮影記録し、
   前記情報記録工程では、前記複数の画像の撮影日時を、サブ秒の単位まで記録し、
   前記画像再生工程では、前記複数の画像中の、指定された範囲内の原画像を、定められた時間間隔で連続して再生し、
   前記構文構成工程では、指定された範囲内の当該画像の撮影日時と再生開始画像の撮影日時との差分時間Ｔ（秒）を算出して、当該画像の再生時、「Ｔ秒後」または「Ｔ秒前」という語句を含むメッセージ文を生成する画像記録再生方法。
9. 画像を撮影する撮像手段と、
   その撮影された画像を、定められたファイルフォーマットの画像ファイルとして記録メディアに記録する画像記録手段と、
   画像に関連する情報を、文字列データとして、前記画像ファイルの前記ファイルフォーマットで指定された領域に記録する情報記録手段と、
   前記画像ファイルとして記録された画像の、原画像またはサムネイル画像を再生する画像再生手段と、
   前記画像ファイルから前記画像関連情報の文字列データを読み出し、辞書解析および構文解析によって、画像についてのメッセージ文を生成する構文構成手段と、
   その生成されたメッセージ文から、テキスト音声合成によって、音声ナレーションのデータを生成するテキスト音声合成手段と、
   を備える画像記録再生装置。
10. 請求項９の画像記録再生装置において、
    前記画像関連情報として文字を入力できる手段を備える画像記録再生装置。
11. 請求項９の画像記録再生装置において、
    前記画像関連情報として撮影属性情報を取得する手段を備える画像記録再生装置。
12. 請求項９の画像記録再生装置において、
    前記画像関連情報として画像撮影時のカメラ制御状態を検出する手段を備える画像記録再生装置。
13. 請求項９の画像記録再生装置において、
    前記構文構成手段は、指定されたフォルダ名を含むメッセージ文を生成する画像記録再生装置。
14. 請求項９の画像記録再生装置において、
    前記構文構成手段は、前記画像ファイルのファイル種類情報またはファイル拡張子に応じて動詞を選択して、メッセージ文を生成する画像記録再生装置。
15. 請求項９の画像記録再生装置において、
    前記構文構成手段および前記画像再生手段は、ディスプレイ上で選択されたサムネイル画像のデータを含む画像ファイルから前記画像関連情報の文字列データを読み出してメッセージ文を生成しつつ、次にディスプレイ上で選択されるべきサムネイル画像のデータを含む画像ファイルからサムネイル画像データを読み出す画像記録再生装置。
16. 請求項９の画像記録再生装置において、
    前記撮像手段は、撮影モードの一つとして、複数の画像を１秒未満の定められた時間間隔で連続して撮影し、
    前記情報記録手段は、前記複数の画像の撮影日時をサブ秒の単位まで記録し、
    前記画像再生手段は、前記複数の画像中の、指定された範囲内の原画像を、定められた時間間隔で連続して再生し、
    前記構文構成手段は、指定された範囲内の当該画像の撮影日時と再生開始画像の撮影日時との差分時間Ｔ（秒）を算出して、当該画像の再生時、「Ｔ秒後」または「Ｔ秒前」という語句を含むメッセージ文を生成する画像記録再生装置。
17. 撮影対象の画像のフォーカス状態または露出状態を検出する工程と、
    その検出結果の文字列データから、辞書解析および構文解析によって、画像についてのメッセージ文を生成する工程と、
    その生成したメッセージ文から、テキスト音声合成によって、音声ナレーションのデータを生成し、音声ナレーションを出力する工程と、
    画像を撮影し、定められたファイルフォーマットの画像ファイルとして記録メディアに記録する工程と、
    その画像ファイルとして記録された画像を再生する工程と、
    を備える画像記録再生方法。
18. 撮影対象の画像のフォーカス状態または露出状態を検出する手段と、
    その検出結果の文字列データから、辞書解析および構文解析によって、画像についてのメッセージ文を生成する手段と、
    その生成されたメッセージ文から、テキスト音声合成によって、音声ナレーションのデータを生成し、音声ナレーションを出力する手段と、
    画像を撮影し、定められたファイルフォーマットの画像ファイルとして記録メディアに記録する手段と、
    その画像ファイルとして記録された画像を再生する手段と、
    を備える画像記録再生装置。

Images