JP2007082103A - 情報処理装置、情報処理方法 - Google Patents

Abstract

【課題】 画像に対してより簡便に音声アノテーションを付与する為の技術を提供すること。
【解決手段】 第１の画像が選択されている状態で音声が入力された場合、音声のデータを記録する（Ｓ１１０）。この記録動作中に、第１の画像以外の画像が選択された場合には、この記録動作を中断させ（Ｓ１１１）、この記録動作中に記録された音声データを、第１の画像に付与する音声アノテーションデータとして記録する（Ｓ１１３）。
【選択図】 図３

Description

本発明は、画像に対して音声アノテーションを付与する為の技術に関するものである。

従来、画像に音声アノテーションを付与する際には、アノテーション付与モードに入ってから画像を選択し、画像の選択中にボタンを押しながら発声した音声を録音し、録音した音声を音声アノテーションとして付与していた。

また、画像の選択中にボタンを押してから発声し、発声が終了してから再度ボタンを押して、ボタンの押下区間中に発声された音声を録音して音声アノテーションとして付与した。このような構成を開示している例として、例えば特許文献１がある。
特開２００３−０５１８６９号公報

従来の音声アノテーション付与方法では、画像選択モードと音声録音モードとがわかれており、手間がかかるという問題点があった。

本発明は以上の問題に鑑みて成されたものであり、画像に対してより簡便に音声アノテーションを付与する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。

即ち、画像を一覧表示する表示手段と、
前記表示手段に一覧表示されている画像のうち、所望の画像を選択する選択手段と、
音声情報を取得する取得手段と、
前記選択手段によって第１の画像が選択されている状態で音声情報が入力された場合、当該音声情報に基づくデータを記録する第１の記録手段と、
前記第１の記録手段による記録動作中に、前記第１の画像以外の画像が選択された場合には、前記第１の記録手段による記録動作を中断させると共に、当該記録動作中に記録された音声データを、前記第１の画像に付与する音声アノテーションデータとして記録する第２の記録手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。

即ち、画像を一覧表示する表示工程と、
前記表示工程で一覧表示されている画像のうち、所望の画像を選択する選択工程と、
音声情報を取得する取得工程と、
前記選択工程で第１の画像が選択されている状態で音声情報が入力された場合、当該音声情報に基づくデータを記録する第１の記録工程と、
前記第１の記録工程による記録動作中に、前記第１の画像以外の画像が選択された場合には、前記第１の記録工程による記録動作を中断させると共に、当該記録動作中に記録された音声データを、前記第１の画像に付与する音声アノテーションデータとして記録する第２の記録工程と
を備えることを特徴とする。

本発明の構成により、画像に対してより簡便に音声アノテーションを付与することができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。なお、以下の実施形態では、本発明の情報処理装置をディジタルカメラに適用した実施形態について説明するが、適用対象はこのような装置に限定するものではない。

［第１の実施形態］
図１は、本実施形態に係るディジタルカメラの外観を示す図である。同図に示す如く、本実施形態に係るディジタルカメラの一面には、ディスプレイ１、機能キー群２、確定キー３、クリアキー４、カーソルキー５、スピーカ６、マイク７が配置されている。また、上面には、ズームレバー８、シャッターボタン９が配置されている。

図２は、本実施形態に係るディジタルカメラのハードウェア構成を示すブロック図である。同図に示す如く、本実施形態に係るディジタルカメラは図１に示した各部に加え、更に、撮像部１０、メモリ１１、制御部１２、アノテーション付与部１３を有し、同図に示した各部はバス１４を介して互いに通信が可能となっている。

本実施形態に係るディジタルカメラを用いて撮像を行う場合には、先ず操作者は、機能キー群２やズームレバー８を操作して各種の撮像設定を行う。設定している内容の一部若しくは全部は、ディスプレイ１に表示される。また、設定された内容はデータとしてメモリ１１に格納される。そして操作者がシャッターボタン９を押下すると、制御部１２は撮像部１０を制御し、画像の撮像を行う。撮像部１０は、ＣＣＤ素子群を含む撮像系を構成するものであり、撮像した画像は画像データとしてメモリ１１に格納される。撮像した画像をメモリ１１に格納する際には、制御部１２は必要に応じてこの画像に対して適宜画像処理を行う。

そして、操作者が機能キー群２を用いて、撮像した画像をディスプレイ１に一覧表示する旨の操作を入力すると、制御部１２はメモリ１１に格納されている画像群を読み出して、ディスプレイ１に一覧表示する。

以下では、画像の一覧表示後、所望の画像に対して音声アノテーションを付与するために本実施形態に係るディジタルカメラが行う処理について説明する。

図３は、撮像した画像をディスプレイ１に一覧表示し、表示している画像のうち所望の画像に対して音声アノテーションを付与する為の処理のフローチャートである。なお、この処理は制御部１２によって行われるのであるが、同図のフローチャートに従った処理を制御部１２に実行させるためのプログラムやデータはメモリ１１に格納されている。制御部１２はこのプログラムやデータを用いて処理を実行するので、本実施形態に係るディジタルカメラは以下説明する各処理を行うことになる。

先ず、操作者がカーソルキー５を用いて音声アノテーションを付与する為のメニューを選択し、その後確定キー３を押下すると、制御部１２はこの一連の操作に応じて、音声アノテーションを付与するためのモードを設定する（ステップＳ１０１）。このモードを設定する際には、フラグＦ３を０にセットする。

次に、制御部１２はメモリ１１に格納されている撮像画像群を読み出し、ディスプレイ１に一覧表示すると共に、画像を選択するためのカーソルを初期位置に表示する（ステップＳ１０２）。カーソルの初期位置とは、例えば、表示されている画像のうち、左上隅の画像の表示位置である。

次に、操作者は、音声アノテーションを付与したい所望の画像（以下、第１の画像と呼称する場合がある）を選択すべく、カーソルキー５を操作して、カーソルの位置を第１の画像の表示位置に移動させる。そして第１の画像を選択している状態でマイク７に向かって音声アノテーションとしての音声を入力すると、制御部１２はこの音声入力を検知し、マイク７からの音がユーザの発声した音声区間であると判断する（ステップＳ１０３）。そして、制御部１２は入力された音声を音声情報として受信する。一方、音声入力を検知していない場合には、制御部１２は、マイク７からの音がユーザの発声した音声区間ではないと判断する（ステップＳ１０３）。

音声入力を検知した場合には処理をステップＳ１０４に進め、フラグＦ１を１にセットする（ステップＳ１０４）。一方、音声入力を検知していない場合には処理をステップＳ１０５に進め、フラグＦ１を０にセットする（ステップＳ１０５）。

次に、制御部１２は現在、カーソルが移動の最中であるのか否かを判断する（ステップＳ１０６）。即ち、カーソルキー５が操作されることで、第１の画像以外の画像が選択されたか否かを判断する。その結果、移動中である場合には処理をステップＳ１０７に進め、フラグＦ２を１にセットする（ステップＳ１０７）。一方、移動中ではない場合には処理をステップＳ１０８に進め、フラグＦ２を０にセットする（ステップＳ１０８）。

次に、制御部１２は、フラグＦ１，Ｆ２のそれぞれの値を参照し、フラグＦ１の値が１であり、且つフラグＦ２の値が０であるか否かを判断する（ステップＳ１０９）。即ち、本ステップでは、現在、音声入力を検知しており、且つ現在カーソルが移動中ではないという状況であるのか否かを判断している。

その結果、Ｆ１＝１且つＦ２＝０である場合には処理をステップＳ１１０に進め、ステップＳ１０３で検知した音声をデータとしてメモリ１１に記録する処理を行うと共に、フラグＦ３を１にセットする（ステップＳ１１０）。即ち、現在音声入力がなされていて、且つ現在カーソルが移動中ではない場合には、この入力されている音声のデータをメモリ１１に記録する。

一方、Ｆ１＝１且つＦ２＝０という条件が満たされていない場合には処理をステップＳ１１１に進め、メモリ１１への音声データの記録処理を中断する（ステップＳ１１１）。即ち、音声データの記録処理は、カーソルの移動を行わずに、音声を入力している間に行われるものであり、カーソルの移動を検知すると、これをトリガーにして、この記録処理を中断する。

次に、フラグＦ３の値を参照し（ステップＳ１１２）、Ｆ３＝１、即ち、カーソルの移動を検知する直前まで記録処理を行っていたのであれば、処理をステップＳ１１３に進める。そして、ステップＳ１１０でメモリ１１に記録した音声データを、第１の画像に付与する音声アノテーションデータとしてメモリ１１内に記録（管理）する（ステップＳ１１３）。

以上の説明により、本実施形態によって、画像の選択後、動作モードを変更することなく、直ちに音声入力を行うことで、この選択画像に対する音声アノテーションを付与することができる。

なお、以上の説明において、選択画像に対する音声アノテーションを付与するための各キー操作については、一例であって、操作方法については特に限定するものではない。また、キーの使用の代わりに音声入力を用いるようにしても良いし、外部装置に備わっているボタンやキーを用いるようにしても良い。

また、本実施形態では、音声データの記録処理を中断させたい場合には、音声入力時にカーソルを移動させていた。しかし、カーソルの移動なしに音声入力を終了させたい場合には、制御部１２は無音部分が所定時間続いていれば、音声データの記録処理を中断する、というようにしても良い。

なお、本実施形態では、マイク７はディジタルカメラ本体に配置されているものであったが、ディジタルカメラに対して外付けものであっても良い。その場合、ディジタルカメラ本体には、この外付けマイクをディジタルカメラ本体に接続するための端子や、外付けマイクから端子を介して入力される音声情報をＡ／Ｄ変換などの処理を行う処理デバイス等を設ける必要がある。

そして、この外付けマイクを上記マイク７として扱うことにより、この外付けマイク、端子、処理デバイス等を介して音声（音声情報）をディジタルカメラ本体内に取得することができる。

［第２の実施形態］
本実施形態では、ディスプレイ１に一覧表示されている画像の中に、既に音声アノテーションが付与されたものも含まれている形態について説明する。

図４は、撮像した画像をディスプレイ１に一覧表示し、表示している画像のうち所望の画像に対して音声アノテーションを付与する為の処理のフローチャートである。

ステップＳ２０１，Ｓ２０２ではそれぞれ、上記ステップＳ１０１，Ｓ１０２と同様の処理を行う。しかし、本実施形態では、既に音声アノテーションが付与されている画像については、付与されていない画像とは異なる表示形態でもって表示する。

図５（ａ）は、ステップＳ２０２における表示例を示す図である。同図に示す如く、音声アノテーションが付与されている画像には「音」なる文字が記されたアイコンがこの画像の下に表示されている。なお、既に音声アノテーションが付与されている画像を、付与されていない画像と異ならせて表示するための表示形態については特に限定するものではない。

次に、制御部１２は、現在選択している画像（第１の画像）に音声アノテーションが付与されているのか否かをチェックする（ステップＳ２０４）。そして第１の画像に音声アノテーションが付与されていない場合には処理をステップＳ２０７に進め、上記ステップＳ１０３からステップＳ１１３における処理を行う。即ち、この第１の画像に対して、音声アノテーションを付与する処理を行う。

一方、第１の画像に音声アノテーションが付与されている場合には、処理をステップＳ２０５に進め、この音声アノテーションのデータに従って音声の再生処理を行う（ステップＳ２０５）。再生された音声はスピーカ６を介して出力されることになる。なお、本ステップにおける処理は必須なものではなく省略しても良い。

そして次に、制御部１２は、これから入力しようとする音声でもって、この音声アノテーションを更新するのか否かを操作者に確認するための画面をディスプレイ１に表示する（ステップＳ２０６）。図５（ｂ）はステップＳ２０６で表示する確認画面の表示例を示す図である。

そして、操作者が確定キー３等を用いて、更新する旨の指示を入力した場合には、制御部１２はこれを検知し、ステップＳ２０７における処理を行う。即ち、第１の画像に付与されている音声アノテーションのデータを、ステップＳ２０７における処理で取得した音声データでもって更新する処理を行う（ステップＳ２０７）。

一方、操作者が確定キー３等を用いて、更新しない旨の指示を入力した場合には、制御部１２はこれを検知し、本処理を終了する。

なお、本実施形態では、音声データの記録処理の前に、音声アノテーションを更新するか否かを確認するための画面を表示し、更新するか否かの指示を受け付けているが、逆の順序でも良い。即ち、とりあえず、音声データの記録処理を行い、記録処理を中断すると、音声アノテーションを更新するか否かを確認するための画面を表示し、更新するか否かの指示を受け付ける。

また、ステップＳ２０７で取得した音声データでもって音声アノテーションのデータを更新する以外にも、例えば、この音声データを音声アノテーションのデータの続きに追加するような構成とするようにしても良い。その場合、ステップＳ２０６では、更新、追加の何れを行うのかを選択させるようにすれば良い。

以上の説明により、本実施形態によって、音声アノテーションの付いている画像が選択されたならば、音声アノテーションを再生して、音声アノテーションを上書きするか確認することによって、音声アノテーションを誤って上書きすることを防止できる。

［第３の実施形態］
本実施形態では、撮像した画像をディスプレイ１に一覧表示する際に、音声アノテーションが付与されていない画像のみを表示する。

図６は、撮像した画像のうち、音声アノテーションが付与されていない画像をディスプレイ１に一覧表示し、表示している画像のうち所望の画像に対して音声アノテーションを付与する為の処理のフローチャートである。

ステップＳ３０１では、ステップＳ１０１と同様の処理を行う。次に、ステップＳ３０２では、メモリ１１に格納されている撮像画像のうち、音声アノテーションが付与されていない撮像画像のみを読み出し、ディスプレイ１に表示する。そしてステップＳ３０４における処理、即ち、ステップＳ１０３からステップＳ１１３における処理を行う。これにより、確実に音声アノテーションが付与されていない画像のみに対して、音声アノテーションを付与することができる。

なお、以上の各実施形態において、音声の入力時には、全てのキーをロックするようにしても良い。このようにすると、所望の画像に音声アノテーションを正確に付けることができる。

また、上記各実施形態は適宜組み合わせて用いるようにしても良い。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係るディジタルカメラの外観を示す図である。 本発明の第１の実施形態に係るディジタルカメラのハードウェア構成を示すブロック図である。 撮像した画像をディスプレイ１に一覧表示し、表示している画像のうち所望の画像に対して音声アノテーションを付与する為の処理のフローチャートである。 撮像した画像をディスプレイ１に一覧表示し、表示している画像のうち所望の画像に対して音声アノテーションを付与する為の処理のフローチャートである。 （ａ）は、ステップＳ２０２における表示例を示す図であり、（ｂ）は、ステップＳ２０６で表示する確認画面の表示例を示す図である。 撮像した画像のうち、音声アノテーションが付与されていない画像をディスプレイ１に一覧表示し、表示している画像のうち所望の画像に対して音声アノテーションを付与する為の処理のフローチャートである。

Claims (7)

1. 画像を一覧表示する表示手段と、
   前記表示手段に一覧表示されている画像のうち、所望の画像を選択する選択手段と、
   音声情報を取得する取得手段と、
   前記選択手段によって第１の画像が選択されている状態で音声情報が入力された場合、当該音声情報に基づくデータを記録する第１の記録手段と、
   前記第１の記録手段による記録動作中に、前記第１の画像以外の画像が選択された場合には、前記第１の記録手段による記録動作を中断させると共に、当該記録動作中に記録された音声データを、前記第１の画像に付与する音声アノテーションデータとして記録する第２の記録手段と
   を備えることを特徴とする情報処理装置。
2. 前記表示手段は、音声アノテーションが付与されている画像を、音声アノテーションが付与されていない画像とは異なる表示形態でもって表示することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示手段は、音声アノテーションが付与されていない画像のみを一覧表示することを特徴とする請求項１に記載の情報処理装置。
4. 既に音声アノテーションが付与されている第２の画像が前記選択手段によって選択された場合、当該音声アノテーションを更新するか否かを確認するための画面を前記表示手段に表示する手段を更に備え、
   更新する指示が入力された場合、
   前記第２の画像が前記選択手段によって選択されている状態で音声情報が入力されると、前記第１の記録手段は、当該音声のデータを記録し、
   前記第２の記録手段は、前記第１の記録手段による記録動作中に、前記第２の画像以外の画像が選択された場合には、前記第１の記録手段による記録動作を中断させると共に、当該記録動作中に記録された音声データでもって当該音声アノテーションデータを更新することを特徴とする請求項１に記載の情報処理装置。
5. 画像を一覧表示する表示工程と、
   前記表示工程で一覧表示されている画像のうち、所望の画像を選択する選択工程と、
   音声情報を取得する取得工程と、
   前記選択工程で第１の画像が選択されている状態で音声情報が入力された場合、当該音声情報に基づくデータを記録する第１の記録工程と、
   前記第１の記録工程による記録動作中に、前記第１の画像以外の画像が選択された場合には、前記第１の記録工程による記録動作を中断させると共に、当該記録動作中に記録された音声データを、前記第１の画像に付与する音声アノテーションデータとして記録する第２の記録工程と
   を備えることを特徴とする情報処理方法。
6. コンピュータに請求項５に記載の情報処理方法を実行させる為のプログラム。
7. 請求項６に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。

Images