JP2007258934A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】 デジタルカメラには静止画像に音声も付与する機能があるが、撮影時には何を話すべきか分からないという課題がある。
【解決手段】被写体や撮影日時や場所などにあわせて質問し、被写体や撮影者の応答を記録する。一覧する際に質問を文字列として画像とともに表示し、ユーザが応答音声を再生するかどうかの判断材料とする。
【選択図】 図２

Description

本発明は、画像データに文字データや音声データを対応付けて保持する情報処理装置に関する。

デジタルカメラの普及に伴い、ＰＣ上で電子的に写真を記録し管理するアルバムソフトが活用されるようになってきた。静止画像について撮影日時などのメタデータを記録し、コメントなどを文字情報としてユーザが付与できるものもある。また、撮影と同時もしくは前後に録音された音声を、写真をブラウズする時に再生する機能を持つものがある。更には音楽を付けてスライドショーとして再生する機能を持つものもある。また、デジタルカメラから取り込んだ写真に音楽をつけスライドショーとして再生する機能を持つＤＶＤレコーダー等もある。このように従来プリントアウトするだけだった静止画像も、ディスプレイ上で音声とともに再生して楽しむという利用形態が普及する可能性がある。このため、画像データに音声データや文字データ等のメモを付与する技術の重要性が高まっていると言える。

従来のカメラにおいては、被写体の興味を引き撮影の合図を行うために、シャッター音などをカスタマイズする機能を持つものがある。特許文献１は、被写体への撮影開始の合図や機器の使用説明などをユーザが録音でき、シャッターとは異なるスイッチで再生が行えるものである。

特許文献２は、赤ちゃんや動物などの興味を引く音を用意しておき、撮影モードに合わせて再生するものである。これらは、撮影時に音声を再生することにより被写体や撮影者の興味を喚起し写真そのものの質を高めることをねらったものであり、写真に音声を付与するためのものではない。

一方、特許文献３のように、留守を告げるメッセージを再生し、訪問者の静止画像と録音した訪問者の用件を対応付けて記録するインターフォンがある。この例では、訪問者は何らかの用件があり話す内容は分かっている状況であり、留守を示す再生メッセージは話すタイミングを促すためのもので、再生メッセージは一種類でよく、記録しておく必要性もない。再生メッセージは記録せず、静止画と録音した用件のみを記録するものである。
特開平０９−１６３２０５号公報 特開２００２−１０７８０７号公報 特開昭６２−０９２６８８号公報

画像データと音声データを対応付けて保存する機能があっても、いざ撮影する時に何を言えばよいか分からないという理由で、利用される機会が限定されている。撮影時にキューとなるような指示を与えるようにしたとしても、留守番電話などのように「用件は？」「メッセージをどうぞ」と質問したのでは、何を言えばよいか分からないという課題は解決されない。状況に応じた具体的な質問を行う必要がある。

上記課題を解決するために本発明に係る情報処理装置は、画像データを取得する画像取得手段と、前記画像取得手段で取得した画像データに基づいて、記憶手段に記憶された複数の質問から質問を選択して出力する出力手段と、前記質問に対する応答内容を取得する取得手段と、前記画像取得手段で取得した画像データ及び前記取得手段で取得した応答内容とを対応付けて記憶する記憶手段とを備えたことを特徴とする。

また、上記課題を解決するために本発明に係る情報処理装置は、画像データを取得する画像取得手段と、前記画像取得手段で取得した画像データ以外の情報に基づいて、記憶手段に記憶された複数の質問から質問を選択して出力する出力手段と、前記質問に対する応答内容を取得する取得手段と、前記画像取得手段で取得した画像データ及び前記取得手段で取得した応答内容とを対応付けて記憶する記憶手段とを備えたことを特徴とする。

また、上記課題を解決するために本発明に係る情報処理装置は、画像データを取得する画像取得手段と、記憶手段に記憶された複数の質問から質問を取得して出力する出力手段と、前記質問に対する応答内容を取得する取得手段と、前記画像取得手段で取得した画像データ、前記出力手段で出力した質問及び前記取得手段で取得した応答内容とを対応付けて記憶する記憶手段とを備えたことを特徴とする。

本発明によれば、画像データに対する、音声データや文字データの付与を促進することができる。

以下、図面を参照しながら本発明の好適な実施例について説明していく。

実施例１では本発明に係る情報処理装置として、デジタルカメラを例にあげて説明する。

図１は、実施例１のデジタルカメラのブロック図である。１０１は質問に対する応答音声等を入力する音声入力部である。１０２は静止画像の撮像部である。１０３は質問音声や応答音声を出力する音声出力部である。１０４は撮影前のプレビューや撮影後のビューを行う画像表示部である。１０５は撮像操作や画像再生などのユーザの行う操作を入力する操作入力部である。１０６はユーザの指示を受けて操作を行う操作部である。１０７は質問ＤＢから質問を選択する質問選択部である。１０８は質問文と質問選択ルールを保存する質問ＤＢである。１０９は静止画像と質問と応答とを記録する記録部である。１１０は静止画像を解析し被写体の特徴を取り出す画像解析部である。１１１は撮影日時や撮影場所や撮影履歴などのメタデータを取得するメタデータ取得部である。１１２は静止画像と質問と応答とを記録する記録媒体である。これらの処理部が不図示の制御部の制御のもと処理を行う。

図２は実施例１に係るデジタルカメラで実行される処理のフローチャートである。該フローチャートは例えば記録部１０９に記録された制御プログラムに従って実行される。

ここでは、撮影モードとして、質問を行い応答を保存するインタビューモードを設けておき、そのモードで撮影が行われたときにこの処理がスタートする。まず、Ｓ２０１で静止画像を撮像し記録する。Ｓ２０２でその画像を解析し、被写体の特徴などを取り出す。Ｓ２０３で撮影時の時刻、撮影パラメータや撮影履歴などのメタデータを取得する。場所検知機能をもつ装置においては場所情報を取得してもよい。

Ｓ２０４で、被写体の特徴やメタデータの情報を使用し、質問ＤＢに保存された質問選択ルールを適用して質問を選択する。図３が質問選択ルールの例、図４が質問内容の例である。質問選択ルールは、被写体の特徴、メタデータの両方を用いて質問を選択するよう構成してもよいし、どちらか一方の情報のみを用いて質問を選択するよう構成してもよい。

次に、Ｓ２０５で選択された質問を、撮影された静止画像に対応付けて記録する。そして、Ｓ２０６で質問を出力する。該当する質問名の音声データを取り出して音声を再生するが、質問の提示は文字で行ってもよい。文字の場合には画像表示部１０４に表示する。

Ｓ２０７で応答を受信する。この場合は、応答音声を一定時間受信するものとする。一定時間が経過したら、Ｓ２０８で応答音声を撮影された静止画像に対応付けて応答音声を記録する。この際、応答音声を音声認識し、音声認識結果を記録するよう構成しても構わない。

なお図２では、Ｓ２０５で質問を静止画等に対応付けて記録したが、質問は記録せずに、Ｓ２０８で応答音声だけを記録するよう構成しても構わない。

このように、被写体の特徴やメタデータの情報を利用して質問を選択し、該質問に対する応答内容を静止画像と対応付けて記憶する構成とすることで、適切なメモの付与を促進することが可能となる。

実施例１では、デジタルカメラで画像を撮像した際に音声データを記録する例をあげて説明したが、実施例２では、あらかじめ撮像しておいた静止画像に質問と応答を付与する例をあげて説明する。

図５は実施例２にかかる情報処理装置のブロック図である。５０１は質問に対する応答文字列を入力する文字入力部である。５０２は質問に対する応答音声を入力する音声入力部である。５０３は質問音声や応答音声出力する音声出力部である。５０４は静止画像や質問文字列などを表示する画像表示部である。５０５は画像選択やコメント付与などのユーザの行う操作を入力する操作入力部である。５０６はユーザの指示を受けて操作を行う操作部である。５０７は質問ＤＢから質問を選択する質問選択部である。５０８は質問と質問選択ルールを保存する質問ＤＢである。５０９は静止画像と質問と応答とを記録する記録部である。５１０は静止画像を解析し被写体の特徴を取り出す画像解析部である。５１１は撮影日時や撮影場所や撮影履歴などのメタデータを取得するメタデータ取得部である。５１２は静止画像と質問と応答とメタデータを保存する写真ＤＢである。これらの処理部が不図示の制御部の制御のもと処理を行う。

図６は実施例２の処理の流れを示すフローチャートである。該フローチャートは例えば記録部５０９に記録された制御プログラムに従って実行される。

撮像装置で撮影した静止画像を写真ＤＢに保存しておき、静止画像に関する質問や応答などのコメントが付与されていない静止画像を選択してコメントを付与する場合にこの処理がスタートする。

Ｓ６０１で写真ＤＢから取り出した画像を解析し、被写体の特徴などを取り出す。Ｓ６０２で撮影時の時間や場所や撮影パラメータや撮影履歴などのメタデータを写真ＤＢから取得する。Ｓ６０３で、被写体の特徴やメタデータの情報を使用し、質問ＤＢに保存された質問選択ルールを適用して質問を選択する。質問選択ルールや質問内容は、実施例１の図３、図４に示すものと同じである。

次に、Ｓ６０４で選択された質問を撮影された静止画像に対応付けて記録する。Ｓ６０５で質問を出力する。該当する質問名の音声文字列を表示するが、音声を出力してもよい。

Ｓ６０６で応答を入力する。文字入力手段を用いて文字列として入力してもよいし、応答音声を入力してもよい。音声応答の場合には、質問出力から一定時間としてもよいし、開始および終了をユーザが指示するようにしてもよい。Ｓ６０７で応答の文字もしくは音声を静止画像に対応付けて記録する。

このような構成とすることで、ＤＢに記録してある画像データに音声データを付与する際に、適切なメモの付与を促進することが可能となる。

上記実施例では、画像データに音声データや文字データを対応付けて記憶する例を説明したが、実施例３では、質問と応答の対応付けがなされた静止画像を提示する場合の処理について説明する。

静止画像は同時に複数並べて表示しても内容を理解できるが、音声は複数同時に再生すると明瞭性が落ちるため、個別に一つ一つ再生する必要がある。複数画像が同時に提示されている場合、一つ一つの音声は、順序をつけて再生するか、音声マークのようなもので音声が付与されていることを示し、ユーザの指示を受けて再生するなどの方法がとられている。また、音声は実際に再生してみないと、何が録音されているかわからない。実際に聞いてみて、内容がつまらなくて失望すると、残りのものについても再生する意欲が無くなる可能性もある。音声の内容のヒントになるようなものが必要である。

図７は、実施例３に係る情報処理装置のブロック図である。７０１は静止画像のビューを行う画像表示部である。７０２は質問音声や応答音声の音声を出力する音声出力部である。７０３は画像再生などのユーザの行う操作を入力する操作入力部である。７０４はユーザの指示を受けて操作を行う操作部である。７０５は静止画像と質問と応答とメタデータを保存する写真ＤＢである。

図８は実施例３の処理の流れを示すフローチャートである。ここでは、静止画像表示の処理を、一つの静止画像の表示に限定して説明する。静止画像を表示するために選択したところで処理をスタートする。

８０１で対応付けされた応答音声データがあるかどうか判定し、無ければそのまま８０５まで進む。ある場合には、８０２で音声の再生マークの提示を行う。８０３で対応づけられた質問があるかどうかを判定し、無ければそのまま８０５まで進む。ある場合には、８０４で質問文字列を提示する。ここでは、質問文字列を表示してもよいし、音声出力しても構わない。最後に８０５で画像を表示する。画像や再生マークや文字列の対応付けが分かるような配置にしておく。

図９が実施例３の静止画像の表示の例であり、上記の処理を静止画像３枚分に対して行い、全体を配置して表示したものである。写真の下部に、質問文字列と音声再生マークが表示されている。

図１０は、実施例３で表示した静止画像に対応する音声の再生を行った例である。ユーザが、下の一枚の写真を選びその音声を再生した例で、ふきだしにある部分は表示されるのではなく音声として出力される。

以上のように、画像データをブラウズするときに質問文を同時に提示することで、ユーザがその音声応答を再生するかしないかの判断材料とすることができ、効率的な画像データのブラウズを可能とする。

実施例１では、画像を記録してから、質問の出力および応答の入力を行っているが、撮像のタイミングは、質問の前、質問の間、質問の後、応答の間、応答の後のいずれでもよい。

また実施例１では、画像記録と質問記録と応答記録を一連の動作として自動で行われているが、ユーザの指示を待ってそれぞれの処理に移るようにしてもよい。

また実施例１では、応答の入力を一定時間としているが、音声を検知して発声の終了をまって応答の入力の終了としてもよいし、ユーザの指示を受けて終了としてもよい。

また実施例１では、質問の出力が終了してから、応答音声の入力を行っているが、質問の出力開始と同時に応答音声に入力を行ってもよい。

また実施例１では、応答を音声で行う例を挙げているが撮像装置に文字入力手段を設けて文字で応答を入力してもよい。

また実施例１では、質問を文字と音声の両方で記憶しているが、音声のみを記録するようにしてもよい。

また実施例１で、質問音声の音量を変更する手段を備えるようにしてもよい。

また実施例１で、応答主体を撮影者か被写体か指定する手段を備えるようにしてもよい。応答主体が撮影者の場合には、質問音声の音量を下げたり、質問を文字で提示するなどしてもよい。応答主体が被写体の場合でも、被写体が人間でない場合には応答主体を撮影者としてそれにあわせた質問の出力を行うようにしてもよい。

また実施例１では、質問を文字と音声の両方で記憶しているが、文字列でのみ記憶し、音声合成を用いて出力時に音声を作成するようにしてもよい。

また実施例１では、デジタルカメラの例をあげて説明したが、本発明はこれに限られるものではない。撮像部を有する装置であれば何でもよく、複写機やデジタル複合機などでも構わない。また、外付けの撮像部を接続できる装置であっても良いことは言うまでもない。

実施例２では、コメントを付与したい静止画像をユーザが選択しているが、音声や文字コメントの対応づけのない静止画像をシステム側で検知し、ユーザにコメント付与を促すように提示してもよい。

実施例３では、静止画像の外部に文字列と再生マークを配置しているが、静止画像と重ねて表示してもよい。

実施例３では応答音声がある場合の表示について記述したが、応答が文字でなされている場合には応答文字列を表示する。質問文字列は表示してもしなくてもよい。

実施例３では質問文字列を表示しているが、音声認識を用いて応答音声を文字化して表示するようにしてもよい。

実施例３では質問文の文字列を表示しているが、質問の種別を示すアイコンを設けこれを表示してもよい。

実施例３では実施例２の撮像部を持たない構成での静止画像の表示を説明しているが、実施例１の撮像部を持つ構成では、写真ＤＢを記録媒体に置き換えることで実現できる。

また上記実施例では、質問選択の手法として、質問選択ルールを使用しているが、ユーザが候補の中から意図的に選択してもよいし、ランダムに提示するようにしてもよい。さらに新たな質問を、装置上で録音して増やす手段を設けてもよい。また新たな質問を、外部からダウンロードして増やす手段を設けてもよい。

また上記実施例では、画像データとして主に静止画像の例をあげて説明したが、動画像であってもよいことは言うまでもない。

なお、本発明の目的は次のようにしても達成される。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。このようにしても目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、本発明に係る実施の形態は、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、本発明に係る実施形態の機能は次のようにしても実現される。即ち、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。そして、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。この処理により前述した実施形態の機能が実現されることは言うまでもない。

実施例１に係るデジタルカメラのブロック図である。 実施例１の処理の流れを示すフローチャートである。 質問選択ルールの例である。 質問内容の例である。 実施例２に係る情報処理装置のブロック図である。 実施例２の処理の流れを示すフローチャートである。 実施例３に係る情報処理装置のブロック図である。 実施例３の処理の流れを示すフローチャートである。 実施例３の静止画像の表示の例である。 実施例３で表示した静止画像に対応する音声の再生を行った例である。

符号の説明

１０１ 質問に対する応答音声を入力する音声入力部。
１０２ 静止画像の撮像部。
１０３ 質問音声や応答音声の音声を出力する音声出力部。
１０４ 撮影前のプレビューや撮影後のビューを行う画像表示部。
１０５ 撮像操作や画像再生などのユーザの行う操作を入力する操作入力部。
１０６ ユーザの指示を受けて操作を行う操作部。
１０７ 質問ＤＢから質問を選択する質問選択部。
１０８ 質問と質問選択ルールを保存する質問ＤＢ。
１０９ 静止画像と質問と応答とを記録する記録部。
１１０ 静止画像を解析し被写体の特徴を取り出す画像解析部。
１１１ 撮影日時や撮影場所や撮影履歴などのメタデータを取得するメタデータ取得部。
１１２ 静止画像と質問と応答とを記録する記録媒体。

Claims (14)

1. 画像データを取得する画像取得手段と、
   前記画像取得手段で取得した画像データに基づいて、記憶手段に記憶された複数の質問から質問を選択して出力する出力手段と、
   前記質問に対する応答内容を取得する取得手段と、
   前記画像取得手段で取得した画像データ及び前記取得手段で取得した応答内容とを対応付けて記憶する記憶手段とを備えたことを特徴とする情報処理装置。
2. 画像データを取得する画像取得手段と、
   前記画像取得手段で取得した画像データ以外の情報に基づいて、記憶手段に記憶された複数の質問から質問を選択して出力する出力手段と、
   前記質問に対する応答内容を取得する取得手段と、
   前記画像取得手段で取得した画像データ及び前記取得手段で取得した応答内容とを対応付けて記憶する記憶手段とを備えたことを特徴とする情報処理装置。
3. 画像データを取得する画像取得手段と、
   記憶手段に記憶された複数の質問から質問を取得して出力する出力手段と、
   前記質問に対する応答内容を取得する取得手段と、
   前記画像取得手段で取得した画像データ、前記出力手段で出力した質問及び前記取得手段で取得した応答内容とを対応付けて記憶する記憶手段とを備えたことを特徴とする情報処理装置。
4. 前記質問を文字列として記憶し、文字列として表示する手段を更に備えたことを特徴とする請求項３記載の情報処理装置。
5. 前記質問を音声として記憶し、音声として再生する手段を更に備えたことを特徴とする請求項１乃至３のいずれかに記載の情報処理装置。
6. 前記取得手段は前記応答内容を文字列として取得することを特徴とする請求項１乃至３のいずれかに記載の情報処理装置。
7. 前記取得手段は前記応答内容を音声として取得することを特徴とする請求項１乃至３のいずれかに記載の情報処理装置。
8. 前記記憶手段は前記質問を文字列として記憶し、
   前記画像データと該画像データに対応付けられた質問内容の文字列を表示するよう制御する表示制御手段と、
   前記表示制御手段で表示された画像データに対応する応答内容を音声出力する音声出力手段を更に備えたことを特徴とする請求項３記載の情報処理装置。
9. 画像データ、該画像データに対応付けられた質問及び該質問に対応する応答内容を記憶する記憶手段と、
   前記記憶手段に記憶された画像データと該画像データに対応付けられた質問を関連付けて表示させる表示制御手段と、
   指示に基づいて前記表示制御手段により表示された質問に対応する応答内容を提示する提示手段とを備えたことを特徴とする情報処理装置。
10. 画像データを取得する画像取得工程と、
    前記画像取得工程で取得した画像データに基づいて、メモリに記憶された複数の質問から質問を選択して出力する出力工程と、
    前記質問に対する応答内容を取得する取得工程と、
    前記画像取得工程で取得した画像データ及び前記取得工程で取得した応答内容とを対応付けてメモリに記憶する記憶工程とを備えたことを特徴とする情報処理方法。
11. 画像データを取得する画像取得工程と、
    前記画像取得工程で取得した画像データ以外の情報に基づいて、メモリに記憶された複数の質問から質問を選択して出力する出力工程と、
    前記質問に対する応答内容を取得する取得工程と、
    前記画像取得工程で取得した画像データ及び前記取得工程で取得した応答内容とを対応付けてメモリに記憶する記憶工程とを備えたことを特徴とする情報処理方法。
12. 画像データを取得する画像取得工程と、
    メモリに記憶された複数の質問から質問を取得して出力する出力工程と、
    前記質問に対する応答内容を取得する取得工程と、
    前記画像取得工程で取得した画像データ、前記出力工程で出力した質問及び前記取得工程で取得した応答内容とを対応付けてメモリに記憶する記憶手段とを備えたことを特徴とする情報処理方法。
13. 画像データ、該画像データに対応付けられた質問及び該質問に対応する応答内容を記憶する記憶手段に記憶された画像データと該画像データに対応付けられた質問を関連付けて表示させる表示制御ステップと、
    指示に基づいて前記表示制御ステップで表示された質問に対応する応答内容を提示する提示ステップとを備えたことを特徴とする情報処理方法。
14. 請求項１０乃至１３のいずれかに記載の情報処理方法をコンピュータに実行させるための制御プログラム。

Images