JP2020188422A - 情報処理装置及び情報処理システム - Google Patents

Abstract

【課題】画像の撮像側と動画の格納側とにおいて、その画像における時刻を同期させる。【解決手段】サーバ装置１０において、画像データ取得部１１は、撮像装置２０の送信部２４により送信された画像データ、つまり、カメラ２００７によって撮像された画像及びマイク２００８によって収音された音声を含む画像データを、ネットワーク４０経由で取得する。時刻検出部１２は、画像データ取得部１１により取得された画像データに含まれる音声から時刻を検出する。前述したように、この音声には、時刻音が含まれているから、所定のアルゴリズムを用いてこの時刻音から時刻を検出する。時刻情報付与部１３は、時刻検出部１２により抽出された時刻を示す時刻情報を、画像データにおいて当該時刻が検出された位置に付与する。【選択図】図４

Description

本発明は、複数の装置間で画像データの時刻に関する同期をとるための技術に関する。

例えばサッカー等の競技や旅行等のレクリエーションの様子を撮像してその画像データをクラウドに保管し、その一部の画像データを抜き出して、いわゆるダイジェスト画像を作成する仕組みが知られている。例えば特許文献１には、競技中の各選手の移動情報を検出する動き検出手段と、スポーツ画像からボールの位置及び動きベクトルを検出するボール検出手段と、各選手の移動情報の大きさ及び各選手の位置、さらにはボール位置及びその動きベクトルに基づき、新たな撮像装置ワークの画像のフレーム位置を設定する撮像装置ワーク設定手段と、設定されたフレーム位置に基づき、スポーツ画像から新たな撮像装置ワークの画像を切り出す画像生成手段と、切り出した画像を出力する画像出力手段とを含むシステムが開示されている。

特開２００５−２２３４８７号公報

ところで、画像を撮像する撮像装置（つまり画像データの撮像側）と、その画像データを格納する格納装置であるサーバ装置（つまり画像データの格納側）との間はネットワークで接続されているが、撮像装置から送信された画像データが格納装置によって受信されるまでには或る程度の時間を要する。例えば撮像装置において或る時刻から撮像が開始されたとしても、その撮像開始時の画像データが格納装置に到達するまでには、撮像装置が実装する通信機能のスペックや通信環境によって、数秒〜数十秒程度の遅延が生じる。

音声を含む画像データをやりとりするストリーミング用のプロトコルとして、ＲＴＭＰ（Real Time Messaging Protocol） が知られているが、このプロトコルでは、撮像装置側において撮影開始時刻の指定が必須ではない。このＲＴＭＰのような撮影開始時刻の指定が必須ではないプロトコルを使用して撮像装置から格納装置へと画像データを送信した場合、格納装置側では、画像データの受信時の時刻から撮像が開始されたと認識するため、撮像装置側と格納装置側とで撮影開始時刻がずれてしまう。例えばダイジェスト画像として編集するなどの目的で、ユーザが画像データの一部を指定するとき又は指定された画像データが読み出されるとき、その指定や読み出しは撮像装置における撮影開始時刻からの経過時間によって指定されることがあるから、上記のように撮像装置側と格納装置側とで撮影開始時刻がずれると、ユーザが意図していた画像とは異なる画像が指定されたり読み出されたりしてしまうおそれがある。

そこで、本発明は、画像データの撮像側と格納側とにおいて、その画像データにおける時刻を同期させることを目的とする。

上記課題を解決するため、本発明は、撮像装置によって撮像された画像及び音声を含む画像データを取得する画像データ取得部と、取得された前記画像データに含まれる画像又は音声から時刻を検出する時刻検出部と、抽出された前記時刻を示す時刻情報を、前記画像データにおいて当該時刻が検出された位置に付与する時刻情報付与部とを備えることを特徴とする情報処理装置を提供する。

前記撮像装置から、撮像開始からの時間を特定するための情報を少なくとも含むタグ情報を取得するタグ情報取得部と、前記時刻情報付与部により前記画像データに付与された前記時刻情報を基準として、取得された前記タグ情報によって特定される時間に対応する、前記画像データの一部を特定する特定部と、前記特定部により特定された前記画像データの一部に対して前記タグ情報を付与するタグ情報付与部と、表示装置からの前記タグ情報を含む要求に応じて、当該タグ情報が付与された前記画像データの一部を配信する配信部とを備えるようにしてもよい。

また、本発明は、撮像装置と、放音装置と、前記情報処理装置とを備え、前記放音装置は、計時部と、前記計時部により計時されている時刻を示す時刻音を放音する放音部とを有し、前記撮像装置は、空間を撮像した画像と、前記放音部により放音された時刻音を含む音声とからなる画像データを生成する画像データ生成部と、生成された前記画像データを前記情報処理装置に送信する送信部とを有することを特徴とする情報処理システムを提供する。

また、本発明は、撮像装置と、前記情報処理装置とを備え、前記撮像装置は、時刻を示す時刻情報を画像として含む画像データを生成する画像データ生成部と、生成された前記画像データを前記情報処理装置に送信する送信部とを有することを特徴とする情報処理システムを提供する。

前記放音部は、前記時刻音として、前記計時部により計時された時刻を示す数字に対応するトーンダイヤルの音を放音し、前記時刻検出部は、前記画像データに含まれる音声から前記トーンダイヤルの音を検出し、当該トーンダイヤルの音に対応する数字に基づいて前記時刻を検出するようにしてもよい。

前記撮像装置又は前記放音装置が、周囲の音声を収音する収音部を備え、前記放音部は、前記収音部により収音された音声に応じた周波数、音量、放音回数又は放音期間で前記時刻音を放音するようにしてもよい。

前記放音部は、前記撮像装置が画像データに含めることが可能な音声の周波数又は音量で前記時刻音を放音するようにしてもよい。

計時部と、前記計時部により計時されている時刻を示す時刻情報を表示する表示部とを有する表示装置を備え、前記画像データ生成部は、前記表示部により表示された時刻情報を含む空間を撮像した画像データを生成するようにしてもよい。

前記撮像装置は、計時部を有し、前記画像データ生成部は、前記計時部により計時されている時刻を示す時刻情報を電子透かしとして重畳した画像データを生成するようにしてもよい。

複数の前記撮像装置を備え、前記撮像装置から前記情報処理装置に対して前記画像データを送信してから、当該情報処理装置によって当該画像データが受信されるまでに要する時間が、前記撮像装置によって異なるようにしてもよい。

本発明によれば、画像データの撮像側と格納側とにおいて、その画像データにおける時刻を同期させるができる。

情報処理システム１の装置構成の一例を示す図である。 サーバ装置１０のハードウェア構成を示す図である。 撮像装置２０のハードウェア構成を示す図である。 情報処理システム１の機能構成の一例を示す図である。 サーバ装置１０の動作の一例を示すフローチャートである。

［構成］
図１は情報処理システム１の装置構成を例示するブロック図である。情報処理システム１は、例えばサッカーを行っている様子を撮像し、その撮像画像のうちユーザによって指定された画像を選択して時系列に再生するための画像データを生成する、いわゆるダイジェスト編集を行うためのシステムである。このダイジェスト編集の対象となるものは、サッカー等の競技を撮像した画像に限らず、どのような画像であってもよい。ただし、情報処理システム１は、以下に説明するダイジェスト画像を編集するという目的に限らず、例えばユーザが指定した一部の画像を再生する等の種々の目的に利用し得る。

この情報処理システム１は、サーバ装置１０と、撮像装置２０と、表示装置３０とを含む。これらサーバ装置１０、撮像装置２０及び表示装置３０はネットワーク４０を介して通信可能に接続される。

サーバ装置１０は、本発明に係る情報処理装置の一例であり、画像データの格納、編集及び配信といった機能を有する。同図で示しているサーバ装置１０の数は例示であり、１以上であればよい。

撮像装置２０は、例えばスマートホン、デジタルカメラ、タブレット、又はウェアラブルデバイス等の撮像機能を備えた端末である。撮像装置２０によって撮像された画像を示す画像データは、無線又は有線を用いた通信により、ネットワーク４０経由でサーバ装置１０に送信される。同図で示している撮像装置２０の数は例示であり、１以上であればよい。

表示装置３０は、例えばスマートホン、タブレット、ウェアラブルデバイス、パーソナルコンピュータ、テレビジョン装置又はプロジェクタ等の表示機能を備えた端末である。表示装置３００は、サーバ装置１０によってダイジェスト編集された画像データを、無線又は有線を用いた通信によりネットワーク４０経由で取得し、この画像データに基づいて画像を表示する。なお、ここでいう画像とは、時間的に連続して撮像された動画であってもよいし、時系列に撮像された複数の静止画像の集合であってもよい。同図で示している表示装置３０の数は例示であり、１以上であればよい。

図２は、情報処理装置としてのサーバ装置１０のハードウェア構成を例示するブロック図である。サーバ装置１０のハードウェア構成の一例を示す図である。サーバ装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。サーバ装置１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

サーバ装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。

プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、後述する動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。サーバ装置１０の機能ブロックは、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。各種の処理は、１つのプロセッサ１００１によって実行されてもよいが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してサーバ装置１０に送信されてもよい。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本実施形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。ストレージ１００３は、演奏評価プログラムや後述する楽譜データ群を記憶する。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。送受信部は、送信部と受信部とで、物理的に、または論理的に分離された実装がなされてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロホン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバスによって接続される。バスは、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、サーバ装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

図３は、撮像装置２０のハードウェア構成を示す図である。撮像装置２０は、物理的にはサーバ装置１０と同様に、プロセッサ２００１、メモリ２００２、ストレージ２００３、通信装置２００４、入力装置２００５、出力装置２００６及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。撮像装置２０における各機能は、プロセッサ２００１、メモリ２００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ２００１が演算を行い、通信装置２００４による通信を制御したり、メモリ２００２及びストレージ２００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

通信装置２００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）及び時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、送受信アンテナ、アンプ部、送受信部、伝送路インターフェースなどは、通信装置１００４によって実現されてもよい。入力装置２００５は、撮像部としてのカメラ２００７、及び、収音部としてのマイク２００８を含む。出力装置２００６は、放音部としてのスピーカー２００９を含む。つまり、出力装置２００６は、放音装置として機能することができる。なお、撮像装置２０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

図４は、情報処理システム１の機能構成を例示するブロック図である。撮像装置２０において、計時部２１は時刻（つまり現在日時）を計測する。

撮像装置２０において、放音部２２は、例えばユーザによる所定の操作があったときに、計時部２１により計時されている時刻を示す時刻音を放音する。この時刻音は、所定のアルゴリズムに従って、計時部２１により計時されている時刻を示すようになっている。

撮像装置２０において、画像データ生成部２３は、カメラ２００７により空間を撮像した画像と、放音部２２により放音された時刻音を含み、マイク２００８によって収音された音声とからなる画像データを生成する。

撮像装置２０において、送信部２４は、画像データ生成部２３により生成された画像データをネットワーク４０経由でサーバ装置１０に送信する。また、送信部２４は、ユーザによる所定の操作に応じて、カメラ２００７によって撮像が開始されてからの経過時間（具体的には計時部２１により計時されている時刻に基づいて特定される経過時間）を示す情報を少なくとも含むタグ情報を、ネットワーク４０経由でサーバ装置１０に送信する。このタグ情報は、サーバ装置１０においてダイジェスト編集を行うために用いられる。

サーバ装置１０において、画像データ取得部１１は、撮像装置２０の送信部２４により送信された画像データ、つまり撮像装置２０のカメラ２００７によって撮像された画像及び撮像装置２０のマイク２００８によって収音された音声を含む画像データを、ネットワーク４０経由で取得する。

サーバ装置１０において、時刻検出部１２は、画像データ取得部１１により取得された画像データに含まれる音声から時刻を検出する。前述したように、画像データを構成する音声には時刻音が含まれているから、時刻検出部１２は、前述した所定のアルゴリズムを用いてこの時刻音から時刻を検出する。

サーバ装置１０において、時刻情報付与部１３は、時刻検出部１２により抽出された時刻を示す時刻情報を、画像データにおいて当該時刻が検出された位置に付与する。

サーバ装置１０において、タグ情報取得部１４は、撮像装置２０の送信部２４により送信されたタグ情報を取得する。

サーバ装置１０において、特定部１５は、時刻情報付与部１３により画像データに付与された時刻情報を基準として、タグ情報取得部１４により取得されたタグ情報によって特定される時間に対応する、画像データの一部を特定する。

サーバ装置１０において、タグ情報付与部１６は、特定部１５により特定された画像データの一部（画像部分データという）に対して、上記タグ情報を付与する。タグ情報が複数あれば、それぞれに対応する画像部分データも複数となり、これらの画像部分データの集合が、ダイジェスト画像を示す画像データに相当することになる。

サーバ装置１０において、配信部１７は、表示装置３０からのタグ情報を含む要求に応じて、タグ情報付与部１６によりそのタグ情報が付与された画像部分データを表示装置３０に配信する。これにより、表示装置３０においてダイジェスト画像を表示することができる。

[動作]
図５を用いて本実施形態の動作を説明する。撮影者たるユーザは撮像装置２０を操作して、カメラ２００７及びマイク２００８による撮像処理を開始させる。このときの撮像処理の開始時刻を、計時部２１により計測される時刻で、例えば「h1:m1:s1」（時：分：秒）とする。

ユーザは撮像を開始させたのちに所定の操作を行って、撮像装置２０の放音部２２から時刻音を放音させる。この時刻は計時部２１によって計測されている時刻で、例えば「h1:m1:s2」とする。時刻を示す時刻音を生成するアルゴリズムは、どのようなものであってもよいが、例えばトーンダイヤルなどの複数の周波数の音を組み合わせることで時刻を表現する方法が考えられる。例えば、時刻が１２時３４分５６秒であれば、１、２、３、４、５、６のそれぞれの数字に対応するトーンダイヤルの音を順番に放音することでその時刻を表現することが考えられる。

この時刻音は、撮像装置２０による撮像処理中に、マイク２００８によって周囲の雑音や人の発話音声等とともに収音され、画像データ生成部２３によって生成される画像データに含まれることになる。この画像データは、例えばＲＴＭＰ等のプロトコルに従い、撮像装置２０の送信部２４からネットワーク４０経由でサーバ装置１０に送信される。

図５において、サーバ装置１０の画像データ取得部１１は、撮像装置２０の送信部２４により送信されてくる画像データをネットワーク４０経由で取得して格納する（ステップＳ１１）。このとき、画像データ取得部１１が画像データの受信を開始したときの時刻を、サーバ装置１０の計時機能で計測される時刻で、例えば「h1:m1:s3」とする。サーバ装置１０においては、この画像データの受信開始時刻を、撮像データの撮像開始時刻とみなして、後述するタグにより指定された画像の一部を特定する。ここでは、撮像装置２０側における撮像開始時刻が「h1:m1:s1」であるのに対し、サーバ装置１０側における撮像開始時刻が「h1:m1:s3」であり、両者が数秒〜数十秒程度の差で異なっている。

次に、サーバ装置１０の時刻検出部１２は、画像データ取得部１１により取得された画像データにおいて時刻音を探索し、その時刻音が示す時刻を検出できたか否かを判断する（ステップＳ１２）。具体的には、時刻音がトーンダイヤルなどの複数の周波数の音を組み合わせで表現されている場合、時刻検出部１２は画像データ中の音声の周波数を解析して、トーンダイヤルに相当する特定の周波数の音を探索して時刻の検出を試みる。例えば、時刻検出部１２は、１、２、３、４、５、６のそれぞれの数字に対応するトーンダイヤルの音を順に検出した場合、これらのトーンダイヤルの音に対応する数字に基づいて、１２時３４分５６秒という時刻として検出する。

画像データの或る位置において時刻が検出されると（ステップＳ１２；ＹＥＳ）、サーバ装置１０の時刻情報付与部１３は、時刻検出部１２により抽出された時刻を示す時刻情報（ここでは、「h1:m1:s2」という文字列データ）を、画像データにおいてその時刻が検出された位置に付与する（ステップＳ１３）。

一方、ユーザは撮像装置２０による撮像を続けながら、又は撮像した画像を撮像装置２０において再生しながら、ダイジェスト画像に含めたいシーンに対してタグと呼ばれる識別子を付与する操作を行う。例えばサッカーでゴールを決めたなどのシーンに対しては、「いいね！」などの文字列を含むタグを付与する例が考えられる。この操作に応じて、撮像装置２０のタグ付与部２５は、上記の「いいね！」という文字列（タグ）を、画像データにおいてユーザにより指定された位置に付与する。撮像装置２０の送信部２４は、上記の「いいね！」という文字列（タグ）に加えて、画像データにおいてタグが付与された位置の、撮像開始からの経過時間（ここでは、ｘ分ｙ秒とする）を特定するための情報を含むタグ情報をネットワーク４０経由でサーバ装置１０に送信する。

これに応じて、サーバ装置１０のタグ情報取得部１４は、撮像装置２０の送信部２４により送信されてくるタグ情報を取得する（ステップＳ１４；ＹＥＳ）。

次に、サーバ装置１０の特定部１５は、時刻情報付与部１３により画像データに付与された時刻情報を基準として、タグ情報取得部１４により取得されたタグ情報に含まれる時間に対応する、画像部分データを特定する（ステップＳ１５）。前述したように、撮像装置２０側における撮像開始時刻「h1:m1:s1」と、サーバ装置１０側における撮像開始時刻（受信開始時刻）「h1:m1:s3」とは相違しているが、特定部１５は、画像データにおいて時刻を検出した時点の時刻を時刻音が示す「h1:m1:s2」に設定することで、上記のような撮像開始時刻の差を無くすことができる。特定部１５は、この「h1:m1:s2」を基準としてサーバ装置１０側における撮像開始時刻（受信開始時刻）「h1:m1:s3」を補正し、その補正後の撮像開始時刻（受信開始時刻）（これは「h1:m1:s1」になるはずである）からｘ分ｙ秒後の画像部分データをダイジェスト画像として特定する。

次に、サーバ装置１０のタグ情報付与部１６は、特定部１５により特定された画像部分データに対して、上記タグ情報を付与する（ステップＳ１６）。画像データの終了、つまり撮像が終了するまで（ステップＳ１７；ＹＥＳ）、このようなタグ情報付与の処理が複数回繰り返されることで、これらのタグ情報が付与された画像部分データの集合がダイジェスト画像を示す画像データとして生成されることになる。

ダイジェスト画像を示す画像データが生成されると、その画像データはサーバ装置１０に格納される。ダイジェスト画像を閲覧したいユーザは表示装置３０を操作して、例えば「いいね！」という文字列を含むタグ情報を指定する。このタグ情報を含む要求が表示装置３０からネットワーク４０を介してサーバ装置１０に送信される。サーバ装置１０の配信部１７は、表示装置３０からのタグ情報を含む要求に応じて、タグ情報付与部１６によりそのタグ情報が付与された画像部分データを表示装置３０に配信する。これにより、表示装置３０においてダイジェスト画像を表示することができる。

以上説明した実施形態によれば、ＲＴＭＰ等のプロトコルを改変することなく画像データの撮像側と格納側とにおいて、その画像データにおける時刻を同期させることができる。撮像装置２０には様々な種類やスペックのものがあるが、本実施形態によれば、撮像装置２０に時刻音を発生させる機能さえあればよいから、撮像装置２０の種類やスペックに依存せずに、画像データにおける時刻の同期が可能となる。

［変形例］
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の２つ以上の変形例を組み合わせて実施してもよい。

［変形例１］
実施形態においては、撮像装置２０が、放音装置である出力装置２００６（より具体的にはスピーカー２００９）を備えていたが、撮像装置と放音装置とが別体の装置であってもよい。撮影者たるユーザは撮像装置（例えばスマートホンやビデオカメラ）を操作して撮像処理を開始させ、こののちに、放音装置（例えばスマートウォッチ等のウェアラブル端末や単体のスピーカー端末）を操作して時刻音を放音させる。この時刻は放音装置が備える計時機能によって計測された時刻である。この場合、放音装置が備える計時機能によって計測された時刻を基準として、撮像装置及びサーバ装置間で画像データの時刻を同期させることになる。この変形例では、図４に例示した計時部２１及び放音部２２を放音装置が備え、図４に例示した画像データ生成部２３及び送信部２４を撮像装置が備えることになる。
さらに、上記の撮像装置と放音装置とタグ付け装置とがそれぞれ別体の装置であってもよい。

また、実施形態においては撮像装置２０がユーザによるタグ付け操作を受け付けていたが、撮像装置とタグ付けを行う装置（タグ付け装置）とが別体の装置であってもよい。撮影者たるユーザは撮像装置（例えばスマートホンやビデオカメラ）を操作して撮像処理を開始させ、その撮像装置２０による撮像を続けながら、又は撮像した画像を撮像装置２０において再生しながら、タグ付け装置（例えばスマートホンのリモコンや、スマートホンに接続されたスマートウォッチ等のウェアラブル端末）を操作してダイジェスト画像に含めたいシーンに対してタグを付与する。つまり、撮像装置２０がユーザによるタグ付け操作を受け付けて画像データにタグを付与する場合は、撮像装置２０がタグ付与部を備えているのに対し、撮像装置とタグ付け装置とが別体の装置である場合には、タグ付け装置がタグ付与部を備えることになる。

また、実施形態においては、撮像装置２０と表示装置３０とが別体の装置であったが、撮像装置２０と表示装置３０が１つの筐体に実装された装置であってもよい。

［変形例２］
画像データに含まれる時刻音以外の音声（つまり雑音や人の発話音声等）の影響を考慮して、その雑音等との関係から時刻を検出しやすいと考えられる周波数、音量、放音回数又は放音期間を選択して時刻音を放音するようにしてもよい。具体的には、例えば撮像装置２０（又は、変形例１で述べたように撮像装置と放音装置とが別体の装置の場合は放音装置）が、周囲の音声を収音するマイク２００８（収音部）を備えている。撮像装置２０（又は、変形例１で述べたように撮像装置と放音装置とが別体の装置の場合は放音装置）は、例えばユーザによる撮像開始の操作の前にマイク２００８により収音された音声を解析した結果から、時刻音の検出精度が高くなるような周波数、音量、放音回数又は放音期間を特定する。例えば周囲の音声の周波数が存在する帯域以外の周波数を時刻音の周波数として特定するとか、例えば周囲の音声の音量よりも大きな音量を時刻音の音量として特定するとか、例えば周囲の音声の音量が閾値を超える場合には、その閾値以下の場合に比べて多い放音回数又は長い放音期間を時刻音の放音回数又は放音期間として特定するといった例が考えられる。スピーカー２００９は、このようにして特定された周波数、音量、放音回数又は放音期間で時刻音を放音する。

［変形例３］
撮像装置２０のマイク２００８が収音可能な音の周波数又は音量に制限がある場合も想定される。例えば撮像装置２０のマイク２００８が収音可能な音の周波数の上限又は下限がある場合とか、撮像装置２０のマイク２００８が収音可能な音の周波数の音量に下限がある場合等である。この場合、撮像装置２０（又は、変形例１で述べたように撮像装置と放音装置とが別体の装置の場合は放音装置）は、撮像装置２０が収音して画像データに含めることが可能な音声の周波数又は音量を特定し、特定した周波数又は音量で時刻音を放音するようにしてもよい。撮像装置２０が収音して画像データに含めることが可能な音声の周波数又は音量を示す情報は、例えば撮像装置２０が予め記憶しておき、その記憶内容に基づいて特定した周波数又は音量でスピーカー２００９から時刻音を放音してもよい。また、変形例１で述べたように撮像装置と放音装置とが別体の装置の場合は、撮像装置２０が特定した時刻音の周波数又は音量を通信等により放音装置に通知し、放音装置は通知された周波数又は音量で時刻音を放音してもよい。

［変形例４］
画像データには音声と画像が含まれるから、音声ではなく、画像によって時刻情報を画像データに付与してもよい。つまり、撮像装置２０においては、時刻を示す時刻情報を画像又は音声として含む画像データを生成する画像データ生成部と、生成された画像データをサーバ装置１０に送信する送信部とを有していればよい。一方、サーバ装置１０の時刻検出部１２は、画像データ取得部１１により取得された画像データに含まれる画像又は音声から時刻を検出するものであればよい。

画像によって時刻情報を画像データに付与する場合、撮像装置２０は、時刻を示す時刻情報を画像として含む画像データを生成する画像データ生成部と、生成された画像データをサーバ装置１０に送信する送信部とを有する。時刻情報を画像として含む画像データを生成する方法は、具体的には以下のとおりである。

例えば、情報処理システム１が、時間を計測する計時部と、計時部により計時されている時刻を示す時刻情報を表示する表示部とを有する表示装置を備える。この表示装置は、例えば時刻を表示する時計である。この表示装置として、実施形態で説明した表示装置３０を用いてもよいし、表示装置３０とは異なる表示装置を用いてもよい。表示装置３０とは異なる表示装置を用いる場合、時刻を表示する表示装置と、ダイジェスト編集された画像データに基づいて画像を表示する表示装置とが異なることになる。画像データ生成部２３は、上記表示装置の表示部により表示された時刻情報を含む空間を撮像した画像データを生成する。これにより、時刻情報を画像として含む画像データが生成されることになる。サーバ装置１０の時刻検出部１２は、画像データ取得部１１により取得された画像データから時刻の表示に相当する画像を探索し、その画像が示す時刻を検出する。

また、撮像装置２０は時間を計測する計時部を有し、画像データ生成部２３は、ユーザにより所定の操作があったときに、計時部により計時されている時刻を示す時刻情報を重畳した画像データを生成するようにしてもよい。このときの重畳の方法は、例えば電子透かし等の、任意の情報を画像に重畳するための各種方法を用いればよい。これにより、時刻情報を画像として含む画像データが生成されることになる。サーバ装置１０の時刻検出部１２は、電子透かしの解読アルゴリズムを用いて、画像データ取得部１１により取得された画像データに重畳された時刻を検出する。

［その他の変形例］
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。例えばサーバ装置２００の機能の少なくとも一部が撮像装置１００又は表示装置３００に実装されてもよい。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。

本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

本明細書で使用する「判定（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining） した事を「判定」「決定」したとみなす事等を含み得る。また、「判定」、「決定」は、受信（receiving） （例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判定」「決定」したとみなす事等を含み得る。また、「判定」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）等した事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。

本発明は、情報処理システム１やサーバ装置１０において行われる処理のステップを備える情報処理方法として提供されてもよい。また、本発明は、サーバ装置２００において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にする等の形態で提供されたりすることが可能である。

ソフトウェア、命令等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）等の有線技術及び／又は赤外線、無線及びマイクロ波等の無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号等は、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び／又はシンボルは信号（シグナル）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ）は、キャリア周波数、セル等と呼ばれてもよい。

「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書或いは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書或いは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

１：情報処理システム、１０：サーバ装置、１１：画像データ取得部、１２：時刻検出部、１３：時刻情報付与部、１４：タグ情報取得部、１５：特定部、１６：タグ情報付与部、１７：配信部、２０：撮像装置、２１：計時部、２２：放音部、２３：画像データ生成部、２４：送信部、２５：タグ付与部、３０：表示装置、１００１：プロセッサ、１００２：メモリ、１００３：ストレージ、１００４：通信装置、１００５：入力装置、１００６：出力装置、２００１：プロセッサ、２００２：メモリ、２００３：ストレージ、２００４：通信装置、２００５：入力装置、２００６：出力装置、２００７：カメラ、２００８：マイク、２００９：スピーカー。

Claims (10)

1. 撮像装置によって撮像された画像及び音声を含む画像データを取得する画像データ取得部と、
   取得された前記画像データに含まれる画像又は音声から時刻を検出する時刻検出部と、
   抽出された前記時刻を示す時刻情報を、前記画像データにおいて当該時刻が検出された位置に付与する時刻情報付与部と
   を備えることを特徴とする情報処理装置。
2. 前記撮像装置から、撮像開始からの時間を特定するための情報を少なくとも含むタグ情報を取得するタグ情報取得部と、
   前記時刻情報付与部により前記画像データに付与された前記時刻情報を基準として、取得された前記タグ情報によって特定される時間に対応する、前記画像データの一部を特定する特定部と、
   前記特定部により特定された前記画像データの一部に対して前記タグ情報を付与するタグ情報付与部と、
   表示装置からの前記タグ情報を含む要求に応じて、当該タグ情報が付与された前記画像データの一部を配信する配信部と
   を備えることを特徴とする請求項１記載の情報処理装置。
3. 撮像装置と、
   放音装置と、
   請求項１又は２記載の情報処理装置とを備え、
   前記放音装置は、
   計時部と、
   前記計時部により計時されている時刻を示す時刻音を放音する放音部とを有し、
   前記撮像装置は、
   空間を撮像した画像と、前記放音部により放音された時刻音を含む音声とからなる画像データを生成する画像データ生成部と、
   生成された前記画像データを前記情報処理装置に送信する送信部とを有する
   ことを特徴とする情報処理システム。
4. 撮像装置と、
   請求項１又は２記載の情報処理装置とを備え、
   前記撮像装置は、
   時刻を示す時刻情報を画像として含む画像データを生成する画像データ生成部と、
   生成された前記画像データを前記情報処理装置に送信する送信部とを有する
   ことを特徴とする情報処理システム。
5. 前記放音部は、前記時刻音として、前記計時部により計時された時刻を示す数字に対応するトーンダイヤルの音を放音し、
   前記時刻検出部は、前記画像データに含まれる音声から前記トーンダイヤルの音を検出し、当該トーンダイヤルの音に対応する数字に基づいて前記時刻を検出する
   ことを特徴とする請求項３記載の情報処理システム。
6. 前記撮像装置又は前記放音装置が、周囲の音声を収音する収音部を備え、
   前記放音部は、前記収音部により収音された音声に応じた周波数、音量、放音回数又は放音期間で前記時刻音を放音する
   ことを特徴とする請求項３記載の情報処理システム。
7. 前記放音部は、前記撮像装置が画像データに含めることが可能な音声の周波数又は音量で前記時刻音を放音する
   ことを特徴とする請求項３記載の情報処理システム。
8. 計時部と、前記計時部により計時されている時刻を示す時刻情報を表示する表示部とを有する表示装置を備え、
   前記画像データ生成部は、前記表示部により表示された時刻情報を含む空間を撮像した画像データを生成する
   ことを特徴とする請求項４記載の情報処理システム。
9. 前記撮像装置は、計時部を有し、
   前記画像データ生成部は、前記計時部により計時されている時刻を示す時刻情報を電子透かしとして重畳した画像データを生成する
   ことを特徴とする請求項４記載の情報処理システム。
10. 複数の前記撮像装置を備え、
    前記撮像装置から前記情報処理装置に対して前記画像データを送信してから、当該情報処理装置によって当該画像データが受信されるまでに要する時間が、前記撮像装置によって異なる
    ことを特徴とする請求項３〜９のいずれか１項に記載の情報処理システム。

Images