JP2015233188A5 - - Google Patents

Description

撮影時のユーザの状態の一例を示す説明図である。 ユーザが持って撮影を行う撮影端末の一構成例を示す概略斜視図である。 ユーザが装着して撮影を行う撮影端末の一構成例を示す概略斜視図である。 本開示の第１の実施形態に係る撮影端末およびサーバの機能構成を示す機能ブロック図である。 同実施形態に係るサーバの演算部の機能構成を示す機能ブロック図である。 記憶部に記録される情報例を示す説明図である。 同実施形態に係る音声を利用した動画像への特定フレーム情報付与処理を示すフローチャートである。 特定コマンドとそれにより画像データから抽出される内容との一例を示す説明図である。 特定コマンドによるフレーム抽出処理を説明する説明図である。 画像データのフレームにおける場所、人物特定処理を説明するための説明図である。 本開示の第２の実施形態に係る音声を利用した動画像への特定フレーム情報付与処理を示すフローチャートである。 特定指示情報とその具体例の一例を示す説明図である。 本開示の第３の実施形態において、ユーザが見ている画像を示すメインウィンドウとフレーム確認ウィンドウとの一例を示す説明図である。 フレーム確認ウィンドウの一構成例を示す説明図である。 フレーム確認ウィンドウによるフレーム抽出の始点を決定するときの画面内容を示す説明図である。 フレーム確認ウィンドウによるフレーム抽出の終点を決定するときの画面内容を示す説明図である。 特定コマンドで指示する場合の具体的動作を説明する説明図である。 図１７に続く、特定コマンドで指示する場合の具体的動作を説明する説明図である。 特定コマンド以外の音声で指示する場合の具体的動作を説明する説明図である。 本開示の実施形態に係る撮影端末のハードウェア構成の一例を示すハードウェア構成図である。 ＧＵＩを用いて特定指示情報を設定する場合の一例を示す説明図である。

なお、第３の撮影端末３０は、第１の撮影端末１０または第２の撮影端末２０と同様に構成してもよく、これらとは異なる構成であってもよい。また、これらの端末の制御は、それぞれ端末自体で行ってもよく、端末と通信可能に接続されたサーバや他の端末により行われてもよい。

［１．２．機能構成］
次に、本開示における情報処理装置の機能を有する装置による動画像の処理について説明する。本実施形態では、本開示における情報処理装置の機能を、撮影端末が備えるものとして説明するが、例えば撮影端末により取得された動画像がアップロードされるサーバが備えてもよい。図４に、撮影端末１００およびサーバ２００の機能構成の一例を示す。

音声取得部１２０は、音声データを取得する機能部であり、例えばマイク等を用いることができる。音声取得部１２０は、制御部１４０により撮像部１１０と連動して機能するように制御されることで、撮像部１１０により取得された画像データに対応する音声データを取得することができる。音声取得部１２０は、単体で機能することもでき、その場合には撮影端末１００は音声データのみを取得する。音声取得部１２０により取得された音声データは、制御部１４０により記憶部１７０に記録される。

特定指示情報抽出部１５２は、音声データを解析して特定指示情報を抽出する。特定指示情報は、画像データにおいてユーザが後から確認したい画像（フレーム）を抽出するために用いる情報である。本実施形態では、特定指示情報として、予め設定された特定コマンドを抽出する。特定コマンドは、例えば記憶部１７０に予め記憶されている。特定指示情報抽出部１５２は、音声データから特定コマンドを抽出し、フレーム抽出部１５４へ出力する。

フレーム特定情報付与部１５６は、フレーム抽出部１５４により抽出されたフレームに対して、当該フレームを特定するためのフレーム特定情報を付与する。フレーム特定情報は、ユーザが後から確認したい画像（フレーム）が存在する画像データ中の時間位置を特定する情報である。フレーム特定情報付与部１５６によってフレーム特定情報が付与された画像データは、制御部１４０によって記憶部１７０に記録される。

特定コマンドの例を図８に示す。図８に示す例では、例えば“Ｒｅｃｏｒｄ 〜〜”という特定コマンドを用いて、抽出したいフレームの時間位置の指定や、抽出する特定の人物、物体、場所等の指定を行うことができる。このとき、特定指示情報抽出部１５２は、少なくとも“Ｒｅｃｏｒｄ”に続く音声内容を確認し、画像データから当該特定コマンドで指定された内容を認識する。また、“Ｓｔｏｐ ｒｅｃｏｒｄ”のように先の特定コマンドを停止させる特定コマンド等もある。特定コマンドには、“Ｃａｐｔｕｒｅ”、“Ｒｅｐｒｏｄｕｃｅ”、“Ｍｏｖｅ”、“Ｓｅｌｅｃｔ”等のように、フレームの特定の仕方や機器操作等に関するコマンドを含んでもよい。

すなわち、例えば「さっきの時点」に対応する所定時間が１０分、起点を基準とした前後の時間が１０分に設定されている場合、特定コマンドが発生されてから１０分前を起点とし、その前後５分ずつ、または、１０分前から現在までの期間のフレームが抽出される。あるいは、フレーム抽出部１５４は、起点以後のフレームを指示があるまで継続して抽出対象としてもよい（期間Ｃ）。この「さっきの時点」に対応する所定時間及び起点を基準とした前後時間は任意に設定可能である。

なお、本実施形態では、特定指示情報として、音声データに含まれるユーザの発話内容や周囲の音声に含まれる所定の音声内容を用いる場合について説明したが、これらの情報に加えて、第１の実施形態にて利用した特定コマンドを含めてもよい。

例えば、上記実施形態では、画像データの解析処理、フレーム特定情報の付与処理を撮影端末１００で行ったが、本技術はかかる例に限定されず、サーバ２００側で行ってもよい。この場合、撮影端末１００により画像データおよび音声データが取得されると、所定のタイミングでこれらのデータがサーバ２００へ送信される。データ送信のタイミングは、例えば、ユーザが操作して撮影端末１００をサーバ２００に接続した時や、所定の時間間隔等としてもよい。あるいはリアルタイムに撮影端末１００からサーバ２００へデータ送信してもよい。サーバ２００は、画像データおよび音声データを受信すると、制御部２２０は、演算部２３０に対して、画像データへ特定フレーム情報を付与する処理を実行するよう指示する。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力された音声に応じて設定される特定指示情報に基づき、動画像における１または複数のフレームを抽出し、前記抽出されたフレームを特定するフレーム特定情報を記憶部に記録させる処理部を備える、情報処理装置。
（２）
前記特定指示情報は、入力された音声を解析して設定される、前記（１）に記載の情報処理装置。
（３）
前記音声は、前記動画像の取得とともに取得された音声である、前記（２）に記載の情報処理装置。
（４）
前記特定指示情報は、予め設定された特定コマンドである、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記特定指示情報には、時間情報が含まれる、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記処理部は、動画像の各フレームと前記特定指示情報との相関を解析する、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記処理部は、前記相関が所定よりも高い場合に、前記１または複数のフレームの抽出を行う、前記（６）に記載の情報処理装置。
（８）
前記処理部は、前記動画像に付加されている付加情報を用いて、前記動画像から前記特定指示情報と相関のある１または複数のフレームを抽出する、前記（６）に記載の情報処理装置。
（９）
前記付加情報は、動画像を取得したときの位置情報、予め登録された顔画像と照合した人物情報、シーン情報のうち少なくともいずれか１つを含む、前記（８）に記載の情報処理装置。
（１０）
前記処理部は、前記動画像を機械学習した結果として得られた推測情報に基づき、前記動画像から前記特定指示情報と相関のある１または複数のフレームを抽出する、前記（６）に記載の情報処理装置。
（１１）
前記処理部は、前記特定指示情報に基づいて抽出された１または複数のフレームを表示部に表示させる、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
動画像を取得する撮像部を備える、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記処理部は、前記フレーム特定情報とともに、動画像の各フレームと前記特定指示情報との相関の程度を示す情報も前記記憶部に記録させる、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記処理部は、前記抽出された１または複数のフレームを候補フレームとして表示部に提示させる、前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
入力された音声に応じて設定される特定指示情報に基づき、動画像における１または複数のフレームを抽出すること、
前記抽出されたフレームを特定するフレーム特定情報を記憶部に記録させること、
を含む、情報処理方法。
（１６）
コンピュータに、
入力された音声に応じて設定される特定指示情報に基づき、動画像における１または複数のフレームを抽出し、前記抽出されたフレームを特定するフレーム特定情報を記憶部に記録させる処理を実行させるためのプログラム。

Claims (16)

1. 入力された音声に応じて設定される特定指示情報に基づき、動画像における１または複数のフレームを抽出し、前記抽出されたフレームを特定するフレーム特定情報を記憶部に記録させる処理部を備える、情報処理装置。
2. 前記特定指示情報は、入力された音声を解析して設定される、請求項１に記載の情報処理装置。
3. 前記音声は、前記動画像の取得とともに取得された音声である、請求項２に記載の情報処理装置。
4. 前記特定指示情報は、予め設定された特定コマンドである、請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記特定指示情報には、時間情報が含まれる、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記処理部は、動画像の各フレームと前記特定指示情報との相関を解析する、請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記処理部は、前記相関が所定よりも高い場合に、前記１または複数のフレームの抽出を行う、請求項６に記載の情報処理装置。
8. 前記処理部は、前記動画像に付加されている付加情報を用いて、前記動画像から前記特定指示情報と相関のある１または複数のフレームを抽出する、請求項６に記載の情報処理装置。
9. 前記付加情報は、動画像を取得したときの位置情報、予め登録された顔画像と照合した人物情報、シーン情報のうち少なくともいずれか１つを含む、請求項８に記載の情報処理装置。
10. 前記処理部は、前記動画像を機械学習した結果として得られた推測情報に基づき、前記動画像から前記特定指示情報と相関のある１または複数のフレームを抽出する、請求項６に記載の情報処理装置。
11. 前記処理部は、前記特定指示情報に基づいて抽出された１または複数のフレームを表示部に表示させる、請求項１〜１０のいずれか１項に記載の情報処理装置。
12. 動画像を取得する撮像部を備える、請求項１〜１１のいずれか１項に記載の情報処理装置。
13. 前記処理部は、前記フレーム特定情報とともに、動画像の各フレームと前記特定指示情報との相関の程度を示す情報も前記記憶部に記録させる、請求項１〜１２のいずれか１項に記載の情報処理装置。
14. 前記処理部は、前記抽出された１または複数のフレームを候補フレームとして表示部に提示させる、請求項１〜１３のいずれか１項に記載の情報処理装置。
15. 入力された音声に応じて設定される特定指示情報に基づき、動画像における１または複数のフレームを抽出すること、
    前記抽出されたフレームを特定するフレーム特定情報を記憶部に記録させること、
    を含む、情報処理方法。
16. コンピュータに、
    入力された音声に応じて設定される特定指示情報に基づき、動画像における１または複数のフレームを抽出し、前記抽出されたフレームを特定するフレーム特定情報を記憶部に記録させる処理を実行させるためのプログラム。