JP2021009564A - 情報処理システム、撮像装置、情報処理装置および制御方法 - Google Patents

Abstract

【課題】画像ファイルが大量にある場合においても所望の画像ファイルを簡便に選択できるようにする。【解決手段】ネットワークを介して撮像装置（２００）と情報処理装置（３００）とが接続される情報処理システム（１００）であって、前記撮像装置は、画像データとメタデータとを有する画像ファイルを生成する撮像手段と、前記画像ファイルの撮影時刻を記録した第１のリストを生成する第１の生成手段と、第１の画像ファイルを特定するための情報を含む入力情報と前記第１のリストとを前記情報処理装置に送信し、前記入力情報に対する応答として前記情報処理装置から送信される前記第１の画像ファイルの特定情報を受信する第１の通信手段と、前記特定情報および前記メタデータに基づいて、前記第１の画像ファイルを選択する選択手段とを有する。【選択図】図１

Description

本発明は、情報処理システム、撮像装置、情報処理装置および制御方法に関する。

特許文献１には、音声によって画像ファイルを選択し、選択した画像ファイルを送信する方法が記載されている。

特開２００２−２４７２５１号公報

しかしながら、特許文献１に記載されている方法では、ユーザが所望の画像ファイルを選択するためには、事前に画像ファイルの内容を確認する必要がある。そのため、画像ファイルが大量に存在する場合には、所望の画像ファイルの選択が非常に煩雑になる可能性がある。

そこで、本発明は、画像ファイルが大量にある場合においても所望の画像ファイルを簡便に選択できるようにすることを目的とする。

本発明に係る情報処理システムは、ネットワークを介して撮像装置と情報処理装置とが接続される情報処理システムであって、前記撮像装置は、画像データとメタデータとを有する画像ファイルを生成する撮像手段と、前記画像ファイルの撮影時刻を記録した第１のリストを生成する第１の生成手段と、第１の画像ファイルを特定するための情報を含む入力情報と前記第１のリストとを前記情報処理装置に送信し、前記入力情報に対する応答として前記情報処理装置から送信される前記第１の画像ファイルの特定情報を受信する第１の通信手段と、前記特定情報および前記メタデータに基づいて、前記第１の画像ファイルを選択する選択手段とを有し、前記情報処理装置は、前記撮像装置から送信される前記入力情報と前記第１のリストとを受信し、前記特定情報を前記撮像装置に送信する第２の通信手段と、発生したイベントと発生時刻とを関連付けた第２のリストを用いて、前記入力情報と前記第１のリストに基づいて前記特定情報を生成する第２の生成手段とを有する。

本発明によれば、画像ファイルが大量にある場合においても所望の画像ファイルを簡便に選択することができる。

実施形態１における情報処理システム１００の構成要素を説明するための図である。 撮像装置２００の構成要素を説明するための図である。 外部装置３００の構成要素を説明するための図である。 情報処理システム１００の適用例を説明するための図である。 情報処理システム１００の処理を説明するための図である。 撮像装置２００の動作例を説明するためのフローチャートである。 撮像装置２００の撮影処理の例を説明するためのフローチャートである。 画像ファイルのデータ構成の一例を説明するための図である。 撮影時刻リストの一例を説明するための図である。 イベントリストの一例を説明するための図である。 外部装置３００の動作例を説明するためのフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。

［実施形態１］
図１は、実施形態１における情報処理システム１００の構成要素を説明するための図である。情報処理システム１００は、撮像装置２００と、情報処理装置として動作可能な外部装置３００とを有する。撮像装置２００と外部装置３００とは、有線または無線のネットワークで通信可能に接続され、それぞれの通信部２１２、３０４を介して情報を送受信する。

図２は、撮像装置２００の構成要素を説明するためのブロック図である。以下では、撮像装置２００がデジタルカメラとして動作可能な場合を例として説明するが、これに限定されるものではない。撮像装置２００は、例えば、スマートフォンまたはタブレット端末として動作する装置であってもよい。

撮像装置２００は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）２０１、フラッシュメモリ２０２、メモリ２０３、撮像部２０４、ＲＴＣ（ｒｅａｌ−ｔｉｍｅ ｃｌｏｃｋ）２０５、表示制御部２０６およびディスプレイ２０７を有する。また、撮像装置２００は、音声情報取得部２０８、入力部２０９、メディアスロット２１０、通信部２１２および内部バス２１３を有する。

内部バス２１３に対して、ＣＰＵ２０１、フラッシュメモリ２０２、メモリ２０３、撮像部２０４、ＲＴＣ２０５、表示制御部２０６、音声情報取得部２０８、入力部２０９、メディアスロット２１０および通信部２１２が接続される。内部バス２１３に接続される構成要素は、内部バス２１３を介して互いにデータの入出力ができるように構成されている。

ＣＰＵ２０１は、撮像装置２００の構成要素を制御する。フラッシュメモリ２０２は、画像データやその他のデータ、ＣＰＵ２０１が動作するためのプログラムなどが格納される。メモリ２０３は、例えばＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）であり、ＣＰＵ２０１の主記憶装置として使用される。ＣＰＵ２０１は、フラッシュメモリ２０２に格納されているプログラムを実行することにより、撮像装置２００の構成要素を制御することができる。

撮像部２０４は、被写体像を撮像して画像データを出力する。撮像部２０４は、レンズ、絞り、シャッター、撮像素子、画像信号処理部などを有する。例えば、ＣＰＵ２０１がプログラムに従って生成した撮像制御信号が、撮像部２０４に対して供給される。撮像部２０４は、この撮像制御信号に基づいて、外部の被写体像を取り込み、デジタルの画像データに変換する。ＲＴＣ２０５は、現在の時刻を保持し、時刻情報を供給する。ＲＴＣ２０５は、内部に電源部を有し、常に計時機能を維持している。

表示制御部２０６は、ディスプレイ２０７に画像および各種情報の少なくとも一つを表示させるための表示信号を出力する。例えば、ＣＰＵ２０１がプログラムに従って生成した表示制御信号が、表示制御部２０６に対して供給される。表示制御部２０６は、この表示制御信号に基づいて表示信号を生成しディスプレイ２０７に出力する。例えば表示制御部２０６は、ＣＰＵ２０１が生成する表示制御信号に基づいて、グラフィカルユーザインターフェース（ＧＵＩ）をディスプレイ２０７に表示させたり、フラッシュメモリ２０２から読み出した画像データをディスプレイ２０７に表示させたりする。音声情報取得部２０８は、マイクロフォン、アナログ−デジタル変換器などを有する。音声情報取得部２０８は、音声によるデータの入力を音声情報に変換してフラッシュメモリ２０２に保存する。

入力部２０９は、ユーザ操作を受け付け、操作に応じた制御信号を生成してＣＰＵ２０１に供給する。例えば、入力部２０９は、キーボード、ポインティングデバイス、電子ダイヤル、タッチパネルなどの少なくとも一つを有する。ＣＰＵ２０１は、ユーザ操作に応じて入力部２０９で生成され供給される制御信号に基づき、撮像装置２００の構成要素を制御することができる。これにより、撮像装置２００に対し、ユーザ操作に応じた動作を行わせることができる。

メディアスロット２１０は、メモリカードなどの外部記憶媒体２１１が装着可能とされ、ＣＰＵ２０１の制御に基づいて、装着された外部記憶媒体２１１からのデータの読み出しや、外部記憶媒体２１１に対するデータの書き込みを行う。なお、外部記憶媒体２１１は、メモリカードに限らず、例えばＣＤやＤＶＤといったディスク記録媒体でもよい。通信部２１２は、撮像装置２００をネットワークに接続し、ＣＰＵ２０１の制御に基づき、ネットワークを介した外部装置３００との情報通信を制御する。

図３は、外部装置３００の構成要素を説明するためのブロック図である。外部装置３００は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）３０１、メモリ３０２、記憶部３０３、通信部３０４およびデータベース３０５を有する。ＣＰＵ３０１、メモリ３０２、記憶部３０３、通信部３０４およびデータベース３０５は、内部バス３０６を介して通信可能に接続される。

ＣＰＵ３０１は、外部装置３００の構成要素を制御する。メモリ３０２は、例えばＲＡＭであり、ＣＰＵ３０１の主記憶装置として使用される。記憶部３０３は、ＣＰＵ３０１が動作するためのプログラムなどが格納される。ＣＰＵ３０１は、記憶部３０３に格納されているプログラムを実行することにより、外部装置３００の構成要素を制御することができる。

通信部３０４は、外部装置３００をネットワークに接続し、ＣＰＵ３０１の制御に基づき、ネットワークを介した撮像装置２００との情報通信を制御する。データベース３０５には、イベントとそのイベントの発生時刻とを関連付けたイベントリストが格納される。

次に、情報処理システム１００の適用例について説明する。図４に、情報処理システム１００を適用可能なケース例のタイミングチャート４００を示す。図４に示すタイミングチャート４００は、あるサッカーの試合において、発生したイベントのタイミングとユーザの撮影タイミングとを時系列に表現したものである。

情報処理システム１００は、例えばユーザであるカメラマンがサッカーの試合において撮影した画像の中の任意の１枚を音声による指示で選択し、その画像ファイルにタグ付けを行うケースなどで利用される。図４は、そのサッカーの試合におけるイベント４０１と、イベントが起こった時刻４０２と、ユーザが画像を撮影した撮影時刻４０３とを示している。イベント４０１には、“キックオフ”、“選手Ａシュート”などがある。

例えば、撮影時刻４０４は、選手Ａがシュートする直前に、ユーザであるカメラマンによって画像が撮影された時刻を示している。実施形態１では、例えばユーザであるカメラマンが“選手Ａがシュートする直前の写真をあとで見る”と音声によって指示することで、この時刻４０４に撮影された画像の画像ファイルに“あとで見る”ということを示すタグを付加する。

次に、図５を参照して、情報処理システム１００で行われる処理の概要を説明する。撮像装置２００は、ステップＳ５０１で示すように、ユーザの操作に応じて撮影処理を行い、例えばサッカーの試合における画像を撮影する。なお、撮影する画像は１枚であってもよいし、複数枚でもよい。また、外部装置３００は、ステップＳ５０２で示すように、その試合、あるいはそれ以前に発生したイベントとそのイベントの発生時刻とを関連付けるイベントリストを生成する。このイベントリストは、随時更新される。

ステップＳ５０３において、ユーザにより音声指示の入力が行われ、撮像装置２００は、音声情報取得部２０８により情報を取得して、取得した情報を音声入力時刻とともに音声情報として保存する。この音声情報は、入力情報の一例である。音声指示は、タグを付ける画像ファイルを選択するためのものであり、“選手Ａがシュートする”といった試合で発生したイベントを表す言葉を含む。

ステップＳ５０４において、撮像装置２００は、音声情報および撮影時刻リストを外部装置３００に送信する。撮影時刻リストは、撮像装置２００が有する画像の撮影を行った時刻を示すリストである。撮影時刻リストは、撮像装置２００が撮影処理を行う毎に、画像の撮影時刻が記録されて更新される。

ステップＳ５０５において、外部装置３００は、撮像装置２００から受信した音声情報を解析し、ユーザが入力した音声指示を認識する。次に、ステップＳ５０６において、外部装置３００は、ステップＳ５０２において生成されたイベントリストの内から、ステップＳ５０４において受信した音声情報に対応するイベントの時刻を保持するイベントリストを選択する。そして、外部装置３００は、選択したイベントリストを用いて、ユーザが意図するイベントの発生時刻を検索する。

続いて、ステップＳ５０７において、外部装置３００は、ステップＳ５０６において検索したイベントの発生時刻を用いて、撮影時刻リストに含まれる撮影時刻の内からイベントの発生時刻に近い撮影時刻を絞り込み、画像の撮影時刻を取得する。ステップＳ５０８において、外部装置３００は、撮像装置２００から受信した音声情報に対する応答として、ステップＳ５０７において取得した撮影時刻を画像ファイルの選択に係る特定情報として撮像装置２００に送信する。

ステップＳ５０９において、撮像装置２００は、ステップＳ５０８において外部装置３００が送信した撮影時刻をメタデータとして持つ画像ファイルを選択し、選択した画像ファイルに音声指示に応じたタグを付加する。このようにして、情報処理システム１００によれば、例えばユーザがサッカーの試合において撮影した画像の中の任意の１枚に対して、ユーザが音声指示を入力することにより、タグ付けを行うことができる。

以下、ユーザが撮像装置２００を用いて撮影を行い、のちにユーザが撮像装置２００に音声を入力し、撮像装置２００のＣＰＵ２０１によって撮影した画像ファイルにタグを付ける処理について説明する。また、以下では、一例として、音声指示として“選手Ａがシュートする直前の画像をあとで見る”との音声が入力され、選手Ａがシュートする直前の画像の画像ファイルに“あとで見る”ということを示すタグを付ける例を適宜用いて説明する。

図６は、撮像装置２００の動作例を示すフローチャートである。
ステップＳ６０１において、ＣＰＵ２０１は、撮影を行うか否かを判定する。ＣＰＵ２０１が撮影を行うと判定した場合にはステップＳ６０２に進み、ＣＰＵ２０１が撮影を行わないと判定した場合にはステップＳ６０３に進む。

ステップＳ６０２において、撮像部２０４は、図７に示す撮影処理を行う。ステップＳ６０２での撮影処理を行った後、ＣＰＵ２０１はステップＳ６０１に進む。

図７は、撮像装置２００の撮影処理の一例を説明するためのフローチャートである。ステップＳ７０１において、撮像部２０４が画像データを生成する。ステップＳ７０１の処理は、ＣＰＵ２０１が撮像部２０４に対して撮影指示を出すことで開始される。撮像部２０４は、被写体像を取り込み、デジタルデータに変換する。また、撮像部２０４は、デジタルデータに対して、現像、ホワイトバランス、ＪＰＥＧ圧縮などの処理を行う。

ステップＳ７０２において、ＣＰＵ２０１が、画像ファイルを作成するために必要な撮影時のメタデータを生成する。メタデータは、画像データ以外の撮影時に関する値であり、例えば、画像サイズ、撮影日時などがある。例えば、画像サイズはステップＳ７０１において生成した画像データから取得し、撮影日時はＲＴＣ２０５から取得する。

ステップＳ７０３において、ＣＰＵ２０１が、画像データにメタデータを付加して画像ファイルを生成する。ＣＰＵ２０１は、ステップＳ７０１において画像処理を行った画像データに、ステップＳ７０２において生成した撮影時のメタデータを付加し、画像ファイルのフォーマットに沿って整形する。画像ファイルフォーマットには、例えば図８に示すようなＥｘｉｆ（ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）が利用できる。

次に、図８を参照して、Ｅｘｉｆ規格について説明する。図８は、ステップＳ７０３でＣＰＵ２０１が作成するＥｘｉｆ形式の画像ファイルのデータ構造の一例を説明するための図である。画像ファイル８００は、先頭に画像ファイルの開始を示すマーカ（ＳＯＩ）８０１を有し、その後にヘッダ部に相当するアプリケーションマーカ（ＡＰＰ１）８０２を有する。

アプリケーションマーカ（ＡＰＰ１）８０２は、下記の要素で構成される。
・サイズ（ＡＰＰ１ ｌｅｎｇｔｈ）８０３
・アプリケーションマーカの識別コード（ＡＰＰ１ ｉｄｅｎｔｉｆｉｅｒ ｃｏｄｅ）８０４
・画像データの作成日時（ｄａｔｅ ｔｉｍｅ）８０５
・画像の撮影日時（ｄａｔｅ ｔｉｍｅ ｏｒｉｇｉｎａｌ）８０６
・その他の撮影情報８０７
・サムネイル画像（ｔｈｕｍｂｎａｉｌ ｄａｔａ）８０８

また、画像ファイル８００に記録される画像データは、下記の要素で構成される。
・量子化テーブル（ＤＱＴ）８０９
・ハフマンテーブル（ＤＨＴ）８１０
・フレーム開始マーカ（ＳＯＦ）８１１
・スキャン開始マーカ（ＳＯＳ）８１２
・圧縮データ８１３

そして、画像ファイル８００は、画像ファイルの最後を示すマーカ（ＥＯＩ）８１４で終端される。例えば、ステップＳ７０２においてＲＴＣ２０５から取得した画像の撮影日時は、ステップＳ７０３において画像の撮影日時８０６のフィールドのフォーマットに変換され記録される。

ステップＳ７０４において、ＣＰＵ２０１が、ステップＳ７０３において作成した画像ファイルを外部記憶媒体２１１に書き込み記録する。

ステップＳ７０５において、ＣＰＵ２０１が、図９に一例を示すような画像の撮影時刻を一覧にした撮影時刻リストを作成する。図９は、撮影時刻リストの一例を説明するための図である。撮影時刻リスト９００は、例えば外部記憶媒体２１１にファイル形式で保存される。ここで述べられる時刻は、時、分、秒の情報だけでなく、年、月、日の日付の情報も含む。撮影時刻リストは、初期状態では一つの時刻情報も記録されていない空のファイルである。ステップＳ７０５において、ＣＰＵ２０１は、ステップＳ７０２においてＲＴＣ２０５から取得した撮影時刻を、撮影時刻リストの末尾に追加して、外部記憶媒体２１１の撮影時刻リストを更新する。以上により、撮影処理を終了し、図６に示すステップＳ６０１に戻る。

図６に戻り、ステップＳ６０１において撮影を行わないとＣＰＵ２０１が判定した場合に進むステップＳ６０３において、ＣＰＵ２０１は、音声入力があるか否かを判定する。ＣＰＵ２０１が音声入力があると判定した場合にはステップＳ６０４に進み、ＣＰＵ２０１が音声入力がないと判定した場合にはステップＳ６０７に進む。

ステップＳ６０４において、ＣＰＵ２０１は、音声入力の時刻をフラッシュメモリ２０２に保存する。

ステップＳ６０５において、音声情報取得部２０８が、複数の画像ファイルの内から画像ファイルを特定するための情報を取得し、ステップＳ６０４において保存した音声入力の時刻とともにフラッシュメモリ２０２に音声情報として保存する。この情報には、ユーザが特定したい画像ファイルの情報が含まれている。例えば、ユーザの“選手Ａがシュートする直前の写真をあとで見る”という音声が入力されると、音声情報取得部２０８は、入力された音声を変換し、音声入力の時刻とともにフラッシュメモリ２０２に音声情報として保存する。

ステップＳ６０６において、ＣＰＵ２０１は、音声情報およびステップＳ６０２での撮影処理で作成された撮影時刻リストを、通信部２１２によって外部装置３００に送信する。その後、ＣＰＵ２０１は、ステップＳ６０１に進む。

ステップＳ６０３において音声入力がないとＣＰＵ２０１が判定した場合に進むステップＳ６０７において、ＣＰＵ２０１は、外部装置３００からデータの受信があるか否かを判定する。ＣＰＵ２０１がデータの受信があると判定した場合にはステップＳ６０８に進み、ＣＰＵ２０１がデータの受信がないと判定した場合にはステップＳ６０１に進む。

ステップＳ６０８において、通信部２１２によってタグ情報とそのタグ情報を付加する画像ファイルの撮影時刻を外部装置３００から受信する。この例においては、タグ情報とは、ユーザが画像ファイルに付加することを意図する“あとで見る”タグであり、それを付加する画像ファイルの撮影時刻は“１９：２０：１６”である。このタグ情報およびそれを付加する画像ファイルの撮影時刻を決定する外部装置２０１における処理についての説明は後述する。

ステップＳ６０９において、ＣＰＵ２０１は、外部装置３００から受信した画像ファイルの撮影時刻を用いて、撮影した画像ファイルの内から対応する画像ファイルを選択する。この例では、ＣＰＵ２０１は、外部記憶媒体２１１に保存されている画像ファイルを１つずつ読み出し、Ｅｘｉｆ情報の画像の撮影日時（ｄａｔｅ ｔｉｍｅ ｏｒｉｇｉｎａｌ）に格納されている値を用いて“１９：２０：１６”と比較する。ＣＰＵ２０１は、比較の結果、同じ時刻である場合には、その画像ファイルをタグ情報を付加する画像ファイルとして選択して、比較を終了する。

ステップＳ６１０において、ＣＰＵ２０１は、ステップＳ６０９において選択された画像ファイルに対し、ステップＳ６０８において受信したタグ情報を付加する。その後、ステップＳ６０１に進む。

なお、実施形態１では、ステップＳ６０８において受信する画像ファイルの撮影時刻は、ある一時刻を示すものとしているが、実施形態１はこれに限定されるものではない。例えば、ユーザの入力音声が該当する場面が複数存在し、複数の時刻が受信された場合が考えられる。この場合、ステップＳ６０９において、ＣＰＵ２０１は、外部記憶媒体２１１に保存されている画像ファイルをすべて読み出し、受信した画像ファイルの撮影時刻と画像の撮影時刻が同じ時刻である画像ファイルすべてを選択し、タグ情報を付加するとしてもよい。

また、実施形態１では、ステップＳ６１０において画像ファイルに対し、タグ情報を付加しているが、実施形態１はこれに限定されるものではない。例えば、外部装置３００から画像ファイルに対する動作情報を送信し、外部装置３００から受信した動作情報に応じた動作を画像ファイルに行うようにしてもよい。動作の例として、“削除”という動作情報であれば、選択された画像ファイルを削除するなどの操作が考えられる。その他の例として、選択された画像ファイルに対し行う処理を、入力部２０９などを用いて事前に設定しておき、その設定に基づいて処理を行う例も考えられる。

外部装置３００における、音声情報からの画像ファイルの撮影時刻の検索について、図１０および図１１を用いて説明する。外部装置３００は、データベース３０５としてイベントとそのイベントの発生時刻とを関連付けるイベントリストを保持しており、イベントをキーとして時刻を検索できるようになっている。

図１０は、イベントリストの一例を説明するための図である。この例では、イベントリスト１０００は、あるサッカーの試合に対し、各時刻についてそれぞれの選手が行っている動作を時刻と関連付けた情報である。このイベントリスト１０００には、“選手Ａ”のような動作主体１００１と、“１９：２０：０９”のような時刻１００２と、“ドリブル“、“シュート”のような動作Ａ１００３と、“前”、“中”、“後”のような動作Ｂ１００４が関連付けて記録されている。

この動作Ｂ１００４は、ある動作Ａ１００３の中のより詳細な動作を示している。例えば、サッカーにおけるシュートシーンにおいては、シュートモーションに入った時点からインパクトまでが“前”、インパクトの瞬間が“中”、インパクト後、振りぬき動作を完了するまでが“後”である。このイベントリストは、例えば試合を撮影している映像から機械学習などによって自動で生成される。あるいは、試合を記録する記録者が手動で作成することも可能である。また、新しいイベントが発生すると随時更新される。

図１１は、外部装置３００が撮像装置２００から音声情報および撮影時刻リストを受信し、音声情報が示す画像が撮影された時刻を撮像装置２００に送信する処理の例を説明するためのフローチャートである。

ステップＳ１１０１において、外部装置３００は、前述したステップＳ６０５で取得された音声情報および前述したステップＳ７０５で作成された撮影時刻リストを、撮像装置２００から受信する。

ステップＳ１１０２において、ＣＰＵ３０１は、受信した音声情報を、場面を表す情報と音声入力時刻とから成る場面を特定するための情報と、それ以外の情報に分割する。

ステップＳ１１０３において、ＣＰＵ３０１は、場面を特定するための情報を用いて、対応する場面がイベントリストにあるか否かを判定する。対応する場面がイベントリストに存在するとＣＰＵ３０１が判定した場合には、ＣＰＵ３０１は、当てはまる場面の時刻を取得して、ステップＳ１１０４に進む。一方、対応する場面がイベントリストに存在しないとＣＰＵ３０１が判定した場合にはステップＳ１１０６に進む。

ステップＳ１１０４において、ＣＰＵ３０１は、ステップＳ１１０３において取得した場面の時刻が、受信した撮影時刻リストに存在するか否かを判定する。ＣＰＵ３０１が場面の時刻が撮影時刻リストに存在すると判定した場合にはステップＳ１１０５に進み、ＣＰＵ３０１が場面の時刻が撮影時刻リストに存在しないと判定した場合にはステップＳ１１０６に進む。

ステップＳ１１０５において、ＣＰＵ３０１は、存在した場面の時刻を音声情報に対応する画像ファイルの撮影時刻とし、ステップＳ１１０２において分割された場面を特定するための情報以外の情報とともに撮像装置２００に送信し処理を終了する。

ステップＳ１１０６において、ＣＰＵ３０１は、該当するファイルが存在しなかったことを、場面を特定するための情報以外の情報とともに撮像装置２００に送信し処理を終了する。

“選手Ａがシュートする直前の写真をあとで見る”という音声情報と、音声入力時刻である“１９：２０：２０”という音声情報と、撮影時刻リスト９００とを撮像装置２００から受信し、図１０に示したイベントリスト１０００から検索する例を考える。

まず、外部装置３００は、“選手Ａがシュートする直前の写真をあとで見る”という音声情報と、音声入力時刻である“１９：２０：２０”という音声情報と、撮影時刻リスト９００とを撮像装置２００から受信する（ステップＳ１１０１）。音声認識によって、“選手Ａがシュートする直前の写真をあとで見る”という音声情報は、“選手Ａ”、“シュート”、“前”といった場面を特定するための場面情報と、それ以外の情報とに分割される。ここでは、それ以外の情報とは“あとで見る”といったタグ情報である（ステップＳ１１０２）。

なお、音声認識の際、場面情報に分割できない音声情報の場合には、外部装置３００は、該当なしとして撮像装置２００に通知するようにしてもよい。分割された情報の内、音声入力時刻“１９：２０：２０”により、探索範囲は１９：２０：２０以前に限定される。また、“選手Ａ”という情報により、イベントリスト１０００のうち、探索されるイベントリストは選手Ａのものに限定される。その後、“シュート”、“前”という場面情報によって、時刻は“１９：２０：１０”と“１９：２０：１６”との２つに限定される（ステップＳ１１０３）。

最後に、外部装置３００は、図９に示した撮影時刻リスト９００にある時刻によってマッチングを行い、撮影時刻を絞り込む（ステップＳ１１０４）。撮影時刻リスト９００に時刻“１９：２０：１０”は存在せず、時刻“１９：２０：１６”は存在するため、撮影時刻として時刻“１９：２０：１６”が絞り込まれる。以上によって、“選手Ａがシュートする直前”という音声情報が示す画像が撮影された時刻が“１９：２０：１６”であると特定できる。外部装置３００は、この画像ファイルの撮影時刻“１９：２０：１６”を“あとで見る”というタグ情報とともに撮像装置２００に送信する（ステップＳ１１０５）。

なお、実施形態１では、イベントリスト１０００は選手それぞれに対して存在するとしているが、これに限定されるものではない。例えば、選手以外にも監督、審判、観客、ボール、試合進行など、その他の項目に対して存在してもよい。これによって、“キックオフ直後の写真”や“ボールがゴールラインを割った瞬間”などの音声情報に対しても、外部装置３００は、音声情報に対応する画像ファイルの撮影時刻を特定し、撮像装置２００に送信することができる。

以上説明したように、実施形態１によれば、撮像装置２００は、画像ファイルを特定するための情報を含む音声情報と撮影時刻リストを外部装置３００に送信する。そして、撮像装置２００は、音声情報に対する応答として外部装置３００から特定情報として送信される、対応する画像ファイルの撮影時刻を受信することで、画像ファイルを選択することができる。これによって、操作対象となる画像ファイルの候補が大量にある場合においても、音声入力によって簡便に、任意の画像ファイルを選択することができる。また、実施形態１によれば、画像ファイルは時刻によって選択される。これにより、例えば“選手Ａがシュートした時の選手Ｂの写真”といった、画像ファイルの被写体ではない動作主体を用いて、画像ファイルを選択することも可能になる。

［実施形態２］
実施形態１で説明した様々な機能、処理または方法は、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、マイクロプロセッサなどがプログラムを用いて実現することもできる。以下、実施形態２では、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、マイクロプロセッサなどを「コンピュータＸ」と呼ぶ。また、実施形態２では、コンピュータＸを制御するためのプログラムであって、実施形態１で説明した様々な機能、処理または方法を実現するためのプログラムを「プログラムＹ」と呼ぶ。

実施形態１で説明した様々な機能、処理または方法は、コンピュータＸがプログラムＹを実行することによって実現される。この場合において、プログラムＹは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＸに供給される。実施形態２におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、揮発性メモリ、不揮発性メモリなどの少なくとも一つを含む。実施形態２におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな記憶媒体である。

１００：情報処理システム
２００：撮像装置
３００：外部装置

Claims (8)

1. ネットワークを介して撮像装置と情報処理装置とが接続される情報処理システムであって、
   前記撮像装置は、
   画像データとメタデータとを有する画像ファイルを生成する撮像手段と、
   前記画像ファイルの撮影時刻を記録した第１のリストを生成する第１の生成手段と、
   第１の画像ファイルを特定するための情報を含む入力情報と前記第１のリストとを前記情報処理装置に送信し、前記入力情報に対する応答として前記情報処理装置から送信される前記第１の画像ファイルの特定情報を受信する第１の通信手段と、
   前記特定情報および前記メタデータに基づいて、前記第１の画像ファイルを選択する選択手段と
   を有し、
   前記情報処理装置は、
   前記撮像装置から送信される前記入力情報と前記第１のリストとを受信し、前記特定情報を前記撮像装置に送信する第２の通信手段と、
   発生したイベントと発生時刻とを関連付けた第２のリストを用いて、前記入力情報と前記第１のリストに基づいて前記特定情報を生成する第２の生成手段と
   を有することを特徴とする情報処理システム。
2. 前記特定情報は、画像ファイルの撮影時刻であることを特徴とする請求項１記載の情報処理システム。
3. 前記入力情報は、前記第１の画像ファイルを特定するための情報と、前記第１の画像ファイルに付加する情報とを含む音声情報であることを特徴とする請求項１または２記載の情報処理システム。
4. 前記撮像装置は、
   前記第１の通信手段により、前記入力情報に基づいて前記情報処理装置で生成されたタグ情報を前記特定情報とともに受信し、
   前記選択手段により選択された前記第１の画像ファイルに、受信した前記タグ情報を付加することを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。
5. 前記撮像装置は、
   前記第１の通信手段により、前記入力情報に基づいて前記情報処理装置で生成された動作情報を前記特定情報とともに受信し、
   前記選択手段により選択された前記第１の画像ファイルに、受信した前記動作情報に応じた動作を行うことを特徴とする請求項１から４のいずれか１項に記載の情報処理システム。
6. ネットワークを介して情報処理装置と接続される撮像装置であって、
   画像データとメタデータとを有する画像ファイルを生成する撮像手段と、
   前記画像ファイルの撮影時刻を記録した第１のリストを生成する生成手段と、
   第１の画像ファイルを特定するための情報を含む入力情報と前記第１のリストとを前記情報処理装置に送信し、前記入力情報に対する応答として前記情報処理装置から送信される前記第１の画像ファイルの特定情報を受信する通信手段と、
   前記特定情報および前記メタデータに基づいて、前記第１の画像ファイルを選択する選択手段と
   を有することを特徴とする撮像装置。
7. ネットワークを介して撮像装置と接続される情報処理装置であって、
   前記撮像装置から送信される、第１の画像ファイルを特定するための情報を含む入力情報と前記撮像装置での画像ファイルの撮影時刻を記録した第１のリストとを受信し、前記第１の画像ファイルの特定情報を前記撮像装置に送信する通信手段と、
   発生したイベントと発生時刻とを関連付けた第２のリストを用いて、前記入力情報と前記第１のリストに基づいて前記特定情報を生成する生成手段と
   を有することを特徴とする情報処理装置。
8. ネットワークを介して撮像装置と情報処理装置とが接続される情報処理システムの制御方法であって、
   画像データとメタデータとを有する画像ファイルを生成するステップと、
   前記画像ファイルの撮影時刻を記録した第１のリストを生成するステップと、
   第１の画像ファイルを特定するための情報を含む入力情報と前記第１のリストとを前記情報処理装置に送信するステップと、
   前記撮像装置から送信される前記入力情報と前記第１のリストとを受信し、発生したイベントと発生時刻とを関連付けた第２のリストを用いて、前記入力情報と前記第１のリストとに基づいて前記第１の画像ファイルの特定情報を生成するステップと、
   前記特定情報を前記撮像装置に送信するステップと、
   前記情報処理装置から送信される前記特定情報を受信し、前記特定情報および前記メタデータに基づいて、前記第１の画像ファイルを選択するステップと
   を有することを特徴とする制御方法。

Images