JP2018117339A - 映像送信システム及び映像送信方法 - Google Patents

Abstract

【課題】カメラで撮影した映像と音声をデータの欠落なく、ネットワークを介して遠隔地で即座に確認、編集するのに有効な映像送信システムを提供する。【解決手段】映像送信システム１０は、撮像伝送装置１００、クラウドサーバー２００、表示装置２０５を備える。撮像伝送装置は、ビデオコーデック、ビデオバッファ、オーディオコーデック、オーディオバッファ、設定部、コントローラ、分割クリップ生成部、記憶部、通信部を備える。撮影の開始から停止までの間、分割クリップ生成部は、カメラより入力したビデオ信号とマイクより入力したオーディオ信号をビデオフレームとオーディオフレームの再生時間長に基づいて、複数のクリップファイルから構成されるショットを生成する。通信部は撮影中に、順次クリップファイルをクラウドサーバーに送信し、クラウドサーバーは、受信したクリップファイルを順次結合し、表示装置に最新の映像を提供する。【選択図】図１

Description

本開示は、映像信号と音声信号をサーバーに対して好適な構造の変換処理を施して伝送する映像送信システムに関する。

特許文献１は、クリップを伸張したときの累積誤差がオーディオデータの１フレーム分以上になると、クリップのオーディオデータの最後の１フレームを除いた他のビデオデータ及びオーディオデータを外部に出力することが可能なデータ伸張装置及びデータ伸張方法装置を開示する。これにより、ビデオデータとオーディオデータのクリップ長の累積誤差を防止して、ビデオデータとオーディオデータとの同期を合わせて外部に出力することができる。

特開平１１−３４１４９０号公報

本開示は、カメラで撮影した映像と音声を、データが欠落することなく、ネットワークを介して遠隔地で即座に確認、編集するのに有効な映像送信システム、及びそれを構成する撮像伝送装置及びクラウドサーバーを提供する。

本開示における撮像送信システムは、映像データ及び音声データをそれぞれ特定の時間で分割して第１のクリップを生成し、第１のクリップの生成後に第２のクリップを生成する分割クリップ生成部と、分割クリップ生成部が分割した第１のクリップと第２のクリップをネットワークを通じて順次サーバーへ送信する送信部と、送信された第１のクリップと第２のクリップを表示する表示装置と、を備える。分割クリップ生成部は、映像データの単位フレーム時間の倍数である第１の時間で、映像データを分割する映像出力部と、音声データの単位フレーム時間の倍数である第２の時間で、音声データを分割する音声出力部と、を備える。第１の時間の終点は、第２の時間の終点より前である。

本開示における撮像送信方法は、映像データ及び音声データをそれぞれ特定の時間で分割して第１のクリップを生成し、第１のクリップの生成後に第２のクリップを生成する分割クリップ生成ステップと、分割クリップ生成ステップで生成された第１のクリップと第２のクリップをネットワークを通じて順次サーバーへ送信する送信ステップと、送信された第１のクリップと第２のクリップを表示する表示ステップと、を備える。分割クリップ生成ステップは、映像データの単位フレーム時間の倍数である第１の時間で、映像データを分割する映像分割ステップと、音声データの単位フレーム時間の倍数である第２の時間で、音声データを分割する音声分割ステップと、を備える。第１の時間の終点は、第２の時間の終点より前である。

本開示における映像送信システムは、カメラで撮影中の映像を、遠隔地で即座に確認ができる。

実施の形態１における映像送信システムの構成を示すブロック図。 実施の形態１における撮像伝送装置の構成を示すブロック図。 実施の形態１におけるクラウドサーバーの構成を示すブロック図。 実施の形態１における多重化データの時間概念Ａを説明するための図。 実施の形態１における多重化データの時間概念Ｂを説明するための図。 実施の形態１におけるクリップファイルの構造を説明する図。 実施の形態１におけるクリップの時間概念を説明する図。 実施の形態１におけるショットの構造を説明する図。 実施の形態１における撮像伝送装置を説明するためのフローチャート。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１〜８を用いて、実施の形態１を説明する。

［１−１．構成］
図１は、実施の形態１にかかる映像送信システムの構成を示すブロック図である。映像送信システム１０は、互いにネットワーク網で接続される撮像伝送装置１００、クラウドサーバー２００及び表示装置２０５を有する。

図２は、実施の形態１にかかる撮像伝送装置の構成を示すブロック図である。撮像伝送装置１００は、ビデオコーデック１０１、ビデオバッファ１０２、オーディオコーデック１０３、オーディオバッファ１０４、設定部１０５、コントローラ１０６、分割クリップ生成部１０７、記憶部１０８、通信部１０９で構成される。また、分割クリップ生成部１０７は、映像出力部１１０、音声出力部１１１、ヘッダ出力部１１２で構成される。

撮像伝送装置１００は、カメラより入力したビデオ信号をビデオコーデック１０１で符号化し、ビデオバッファ１０２に一時蓄積する。ビデオバッファ１０２に蓄積されているビデオ符号化データは、デコード時に連続したビデオ信号を再現できる欠落のないデータである。また、撮像伝送装置１００は、マイクより入力したオーディオ信号をオーディオコーデック１０３で符号化し、オーディオバッファ１０４に一時蓄積する。オーディオバッファ１０４に蓄積されているオーディオ符号化データは、デコード時に連続したオーディオ信号を再現できる欠落がないデータである。

設定部１０５は、ユーザーインターフェースにより提示されたクリップの分割時間の候補（１０秒、３０秒、６０秒、１２０秒等）からユーザが選択したクリップの分割時間をコントローラ１０６へ伝送する。尚、ユーザ等により指定されたクリップの分割時間は、ユーザ等の入力後、一時保存されてからコントローラ１０６へ伝送しても良い。また、本願のクリップとは、一連の映像（映像信号及び音声信号を含む）を特定のファイルへ分割した際の個々のファイルを示した用語である。

コントローラ１０６は、設定部１０５で指定された分割時間に従い、ビデオバッファ１０２、オーディオバッファ１０４、分割クリップ生成部１０７を制御し、記憶部１０８に分割された複数のクリップファイルを生成する。生成されたクリップファイルは、コントローラ１０６の制御の下、通信部１０９により随時ネットワーク網を経由してクラウドサーバー２００に送信される。通信処理の過程でエラーが発生した場合、通信部１０９は再送制御を行い欠落のない完全なファイルをクラウドサーバー２００に送信する。

分割クリップ生成部１０７は、映像出力部１１０、音声出力部１１１、ヘッダ出力部１１２で構成される。分割クリップ生成部１０７は記憶部１０８に図５に示す構造のクリップファイルを生成する。分割クリップ生成部１０７の映像出力部１１０は、分割時間に到達するまで、１ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）毎にビデオ符号化データを記憶部１０８に記録させる。音声出力部１１１は、分割時間に到達するまで、そのビデオ符号化データに対応するオーディオ符号化データを記憶部１０８に記録させる。

分割時間に到達すると、ヘッダ出力部１１２によりヘッダデータを記録しクリップファイルの出力を完了する。この場合、最終ＧＯＰ以外の各ＧＯＰ毎のビデオ符号化データとオーディオ符号化データの各フレームの時間長を、図４Ａの「多重化データの時間概念Ａ」に示すフレーム長に記録制御するため、各ＧＯＰ終端の最終オーディオフレームと最終ビデオフレームとの再生終了時刻の差は、１オーディオフレーム未満となる。

また、撮影終了時も、ヘッダ出力部１１２よりヘッダデータを記録しクリップファイルの出力を完了する。この場合、最終ＧＯＰに関しては、ビデオ符号化データとオーディオ符号化データの各フレームの時間長を、図４Ｂの「多重化データの時間概念Ｂ」に示すフレーム長に記録制御するため、最終ＧＯＰ終端の最終ビデオフレームと最終オーディオフレームとの再生終了時刻の差は、１オーディオフレーム未満となる。

図３は、実施の形態１にかかるクラウドサーバーの構成を示すブロック図である。クラウドサーバー２００は、通信部２０１、記憶部２０２、コントローラ２０３、結合部２０４で構成される。

クラウドサーバー２００は、通信部２０１でクリップファイルを受信すると、記憶部２０２に格納する。

記憶部２０２は、通信部２０１及び結合部２０４からの映像を記憶する。

結合部２０４は、記憶部２０２からのクリップを受け取り、ショットファイルを生成し、記憶部２０２へショットファイルを伝送する。尚、本願のショットとは、撮影開始から停止までの一連の録画の単位を示した用語であり、このショットを分割した映像をクリップとしている。また、ショットには、クリップを２以上結合したファイルも便宜的にショットに含むものとする。ショットは図６に示すクリップを結合したものであるため、ショットファイルの再生時間長＝各クリップファイルの再生時間長（フレーム数）の合計と同一になる。

コントローラ２０３は、通信部２０１、記憶部２０２、結合部２０４に対して制御を行う。コントローラ２０３は、通信部２０１に対してクリップファイルを記憶部２０２に格納するように指示を行う。コントローラ２０３は、記憶部２０２にクリップファイルが記録されると、同じショットに属するクリップファイルがすでに記憶部２０２に格納されている場合は、結合部２０４へクリップファイルを伝送するよう指示を行う。コントローラ２０３は、結合部２０４に対してクリップファイルを結合し、ショットファイルを生成するように指示を行う。

コントローラ２０３は、記憶部２０２に保存されているショットファイルを、通信部２０１よりネットワーク網を経由して表示装置２０５に送信する。この場合、コントローラ２０３は、ショットファイルとともにクリップファイルを表示装置２０５に送信してもよい。

表示装置２０５は、ショットファイルを確認しながら映像編集するユーザへ映像を描写する。クリップファイルが送信される場合、表示装置２０５は、ユーザによる編集のために、クリップファイルによる映像を描写することもできる。

表示装置２０５は、最新のショットファイルをクラウドサーバー２００の通信部２０１より取得し、ユーザに再生確認する機能を提供する。ユーザは表示装置２０５に表示される映像を、フレーム精度で再生操作することが可能で、編集分割位置を決定する。また、クラウドサーバー２００でクリップファイル及びショットファイルを更新した場合は、コントローラ２０３は、通信部２０１より結合後の最新のショットファイルを表示装置２０５に送信する。

ここで、記憶部２０２に保存されるクリップファイル、ショットファイルは、ビデオの全フレームが揃っており、再生時間長はビデオのフレーム数の合計と同一で、図５に示すファイル構造で記録されている。そのため、ヘッダデータに記載されている、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ：再生時刻）と符号化データのアドレスの情報を参照することで、クリップ、ショットどちらも目的の映像、音声をシーク再生することができる。

図４Ａ及び図４Ｂは、実施の形態１にかかる多重化データの時間概念を説明する図である。本説明のようにビデオデータのフレーム長（本説明では３０ｆｐｓ）とオーディオデータのフレーム長（本説明では４８ｆｐｓ）は一般的に異なる。「ビデオフレーム長 ＞ オーディオフレーム長」の関係となるため、図４Ａ及び図４Ｂに示すような時間的構造となり、任意のＧＯＰ境界の位置でオーディオとビデオの再生終了時刻が常に一致するとは限らない。また、ビデオフレーム長が６０ｆｐｓの場合も同様に、「ビデオフレーム長＜オーディオフレーム長」となり、任意のＧＯＰ境界の位置でオーディオとビデオの再生時間が常に一致するとは限らない。

図５は、実施の形態１にかかる多重化データの保存形式であるクリップファイル（ＭＰ４）の構造を説明する図である。クリップファイルは、先頭からヘッダデータ、映像データであるビデオ符号化データ（Ｈ．２６４）、音声データであるオーディオ符号化データ（ＡＡＣ）の順で記憶される。ヘッダデータには、ビデオとオーディオのアドレス、時間情報、メタ情報等の管理情報が記録されている。ヘッダデータの後には、ビデオ符号化データとオーディオ符号化データがＧＯＰ毎にまとめて記録されており、クリップは複数のＧＯＰで構成されていることが通常である。ファイルの記録方法は、まず記録モードでファイルをオープンする。次にＧＯＰ＃０のビデオ符号化データとオーディオ符号化データ、ＧＯＰ＃１のビデオ符号化データとオーディオ符号化データを順に記録していき、最後にＧＯＰ＃ｎのビデオ符号化データとオーディオ符号化データを記録した後、ヘッダデータを記録してファイルをクローズする。

図６は、実施の形態１におけるクリップの時間概念を説明する図である。クリップ＃０では、先頭ビデオフレームと先頭オーディオフレームとは同一の再生開始時刻で生成される。クリップ＃０〜クリップ＃ｎ−１の最終オーディオフレームと最終ビデオフレームとの再生終了時刻は、図４Ａで説明したとおり任意のＧＯＰ境界で同一時刻にすることができないため、分割クリップ生成部１０７で分割する映像と音声は、映像を分割する時間よりも音声を分割する時間の方が長くなるように生成する。最も好適な実施としては、最終オーディオフレームと最終ビデオフレームとの再生終了時刻の差は、１オーディオフレーム未満の関係が成り立つ構造（クリップタイプＡ）である。

そのため、クリップ＃１〜クリップ＃ｎの先頭オーディオフレームと先頭ビデオフレームとの再生開始時刻の差は、各クリップの前のクリップの最終オーディオフレームと最終ビデオフレームの再生終了時刻の差と同一時間の１オーディオフレーム未満となる。例えば、図６のクリップ＃ｎの先頭オーディオフレームと先頭ビデオフレームとの再生開始時刻の差を時間αとすると、クリップ＃ｎ−１の最終オーディオフレームと最終ビデオフレームとの再生終了時刻の差も時間αとなる。また、最終クリップ＃ｎの映像と音声の終端は、映像終了時刻よりも音声終了時刻の方が早くなるように生成する。最も好適な実施としては、最終クリップ＃ｎの終端に関しては、最終ビデオフレームと最終オーディオフレームとは、再生終了時刻の差が１オーディオフレーム未満（時間β）の関係が成り立つ構造（クリップタイプＢ）で生成される。

このような時間構造のクリップを生成することで、各クリップは先頭ビデオフレームの再生時刻（Ｖ＿ＰＴＳ）を０基準に、先頭オーディオフレームの再生時刻（Ａ_ＰＴＳ）を０以上の値で定義することができ、クリップの再生時間長をビデオフレームベースで管理したクリップファイルを生成することができる。そのため、「全クリップファイルの再生時間の合計＝ショットの再生時間の合計」となる。

通常のファイルフォーマット（例えばＭＰ４）では、途中のクリップ構造をクリップタイプＢのように作成した場合、次のクリップファイルにおいて、先頭ビデオフレームより前のＰＴＳのオーディオフレームを定義することができないため、次のクリップファイルから、この先頭ビデオフレームより前のＰＴＳのオーディオフレームを削除する必要がある。その場合、クリップ跨ぎの再生時にプチ音等のノイズが発生することになる。逆に、クリップタイプＡのような途中クリップの構造であればクリップの終端と次のクリップの先頭ビデオフレームと先頭オーディオフレームは、連続したビデオ信号とオーディオ信号を符号化したデータとなる。従って、クリップ終端の最終ビデオフレームをデコードした映像は次のクリップの先頭ビデオフレームをデコードした映像と連続していることは言うまでもなく、クリップ終端の最終オーディオフレームと次のクリップの先頭オーディオフレームをデコードした音声は連続した波形になるため、クリップ跨ぎの再生時にプチ音等のノイズが発生することはない。

図７は、実施の形態１におけるショットの構造を説明する図である。本開示では、ショットは、設定で指定した時間毎にクリップとして分割され、それぞれのクリップは図５のクリップファイルとして保存される。各クリップは、図６に示すビデオフレームとオーディオフレームの構造であるため、各クリップを結合すると、クリップ間の映像と音声はシームレスに再生することが可能である。また、ショットの全ビデオフレームの再生時間に対して、オーディオの全体の再生時間は、最大で１オーディオフレーム短くなる構成となる。ショットファイルはビデオの再生長で時間の管理を行うことが可能な構造である。

［１−２．動作］
以上のように構成された撮像伝送装置１００及びクラウドサーバー２００について、その動作を以下説明する。

［１−２−１．撮像送信装置］
図８は、撮像伝送装置１００がビデオバッファ１０２とオーディオバッファ１０４に格納された符号化データを読み出し、クリップファイルを生成し、生成されたクリップファイルをクラウドサーバーに送信する動作を説明するためのフローチャートである。

まず、ステップＳ７００でビデオフレームの再生時刻を示す「Ｖ＿ＰＴＳ」と、オーディオフレームの再生時刻を示す「Ａ_ＰＴＳ」とのカウンターを０にセットする。

次に、ステップＳ７０１では、図５に示すクリップファイルを作成するため、記録モードでクリップファイルをオープンする。

次に、ステップＳ７０２でビデオバッファ１０２から１ＧＯＰ分のビデオ符号化データを読みだす。

次に、ステップＳ７０３で再生時刻（Ｖ＿ＰＴＳ）にＳ７０２で読みだしたＧＯＰの再生時間長を加算する。

ステップＳ７０４では、ステップＳ７０２で読みだした１ＧＯＰ分のビデオ符号化データを分割クリップ生成部１０７の映像出力部１１０により、記憶部１０８上に図５に示すクリップファイルの構造で記録する。

ステップＳ７０５では、再生時刻（Ａ_ＰＴＳ）に次に記録する予定のオーディオバッファ１０４内の１オーディオフレーム分の再生時間長を加算する。

ステップＳ７０６では、再生時刻（Ａ_ＰＴＳ）と再生時刻（Ｖ＿ＰＴＳ）を比較し、再生時刻（Ｖ＿ＰＴＳ）が遅い（大きい）場合（ステップＳ７０６でＹｅｓ）には、ステップＳ７０７でオーディオバッファ１０４から１フレーム分のオーディオ符号化データを読み出す。

ステップＳ７０８で、分割クリップ生成部１０７の音声出力部１１１により、記憶部１０８上に図５で示すクリップファイルの構造でオーディオ符号化データを記録する。

ステップＳ７０６で、「再生時刻（Ａ_ＰＴＳ）＜再生時刻（Ｖ＿ＰＴＳ）」が成立しない場合（ステップＳ７０６でＮｏ）は、ステップＳ７０９で撮影停止の条件をチェックする。

ステップＳ７０９で、「撮影停止フラグ＝ＯＮ」が成立していない場合（ステップＳ７０９でＮｏ）は、ステップＳ７１０でオーディオバッファ１０４から１フレーム分のオーディオ符号化データを読み出す。

次にステップＳ７１１で、分割クリップ生成部１０７の音声出力部１１１により、記憶部１０８上に図５で示すクリップファイルの構造でオーディオ符号化データを出力する。

次にステップＳ７１２では、設定部１０５で指定された分割時間と再生時刻（Ｖ＿ＰＴＳ）を比較し、「再生時刻（Ｖ＿ＰＴＳ）＜分割時間」が成立する（分割時間に満たない）場合（ステップＳ７１２でＹｅｓ）は、ステップＳ７０２以降のステップを繰り返すことで次のＧＯＰに関するクリップファイルの出力処理を継続する。

次にステップＳ７１２で、「再生時刻（Ｖ＿ＰＴＳ）＜分割時間」が成立しない（分割時間以上）場合（ステップＳ７１２でＮｏ）は、ステップＳ７１３でこれまで出力した映像及び音声に関するデータのアドレス、再生時間等の情報を、分割クリップ生成部１０７のヘッダ出力部１１２より、図５で示すクリップファイルの構造のヘッダデータとして記録する。

ステップＳ７１４でクリップファイルをクローズする。ここで、ステップＳ７１４で出力するクリップファイルは、図６に示すクリップタイプＡの構造となる。

次にステップＳ７１５では、ステップＳ７１４で作成されたクリップファイルを、通信部を経由してサーバーに送信する。ステップＳ７１５のクリップファイルの送信処理は、他のステップとは非同期で動作する。

次に、ステップＳ７１６でビデオフレームの再生時刻を示す「Ｖ＿ＰＴＳ」、オーディオフレームの再生時刻を示す「Ａ_ＰＴＳ」のカウンターをリセットし、ステップＳ７０１以降の処理により、次のクリップファイルを生成する。ここで、図６に示す通り、先頭オーディオの再生時刻（Ａ_ＰＴＳ）は０以上の値となる。

ステップＳ７０９で撮影停止フラグ=ＯＮが成立している場合（ステップＳ７０９でＹｅｓ）は、ステップＳ７１７でこれまで出力した映像及び音声に関するデータのアドレス、再生時間等の情報を、分割クリップ生成部１０７のヘッダ出力部１１２より図５で示すクリップファイルの構造のヘッダデータとして記録する。

ステップＳ７１８でクリップファイルをクローズする。ここで、ステップＳ７１８で出力するクリップファイルは、図６に示すクリップタイプＢの構造となる。

次にステップＳ７１９では、ステップＳ７１８で作成された最終クリップ＃ｎであるクリップファイルを、通信部を経由してクラウドサーバー２００に送信することで、すべてのクリップファイルの送信を完了する。

［１−３．効果等］
以上のように、本実施の形態において、撮像伝送装置１００は、ビデオコーデック１０１、ビデオバッファ１０２、オーディオコーデック１０３、オーディオバッファ１０４、設定部１０５、コントローラ１０６、分割クリップ生成部１０７、記憶部１０８、通信部１０９を備える。撮影の開始から停止までの間、分割クリップ生成部１０７は、カメラより入力したビデオ信号とマイクより入力したオーディオ信号をビデオフレームとオーディオフレームの再生時間長に基づいて、図６に示す時間概念の複数のクリップファイルから構成されるショットを生成する。

これにより、通信部１０９は撮影中に、順次クリップファイルをクラウドサーバー２００に送信することができ、クラウドサーバー２００では、受信したクリップファイルを順次結合することで、表示装置２０５に最新の映像を提供することが可能である。また、各クリップファイルはビデオフレーム、オーディオフレームに欠落がなく、結合したクリップは映像及び音声がシームレスでビデオフレームベースの管理ができるため、クラウドサーバー２００は編集に適した最新の映像ファイルを表示装置に提供することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

実施の形態１では、クリップの分割時間の設定の一例として、ユーザーインターフェースにより、クリップ分割時間の候補（１０秒、３０秒、６０秒、１２０秒等）からユーザが選択し、設定部１０５を経由してコントローラ１０６へ伝送する固定の分割時間の説明をした。しかし、最初のクリップ（クリップ＃０）は設定部１０５により短めの分割時間（１０秒等）を設定することで、通信部１０９より即座にクリップをクラウドサーバー２００に送信し、クリップ＃１以降は、クリップ＃０よりも長めの分割時間を設定する等、設定部１０５は各クリップを同一の分割時間にしなくてもよい。このようにすることで、クラウドサーバーはクリップ＃０のクリップファイルを即座に受信できるようになる。また、分割クリップ数も削減することが可能なため、ファイル伝送やファイル容量のオーバヘッドを削減することができる。

実施の形態１では、ショットファイル生成の一例として、コントローラ２０３がショットファイルを生成する説明をしたが、各クリップファイルはヘッダデータにビデオとオーディオの情報が管理されており、各クリップの符号化データは、デコードするとシームレスなデータであり、クリップの結合処理は表示装置２０５の再生時に実現してもよい。即ち、表示装置２０５が結合部を備えてもよい。また、クリップの結合処理は、任意区間のクリップを結合することにより行うことも可能であり、先頭から順に結合することに限定されない。

実施の形態１では、多重化データの時間概念の一例として、１ＧＯＰに含まれるビデオフレームを３０フレームの構成で説明したが、１ＧＯＰに含まれるビデオフレームの数は、任意のフレーム数で実現してもよく、可変の構成で実現してもよい。

実施の形態１では、多重化データの時間概念の一例として、ビデオデータのフレーム長を３０ｆｐｓの例で説明したが、フレーム長はどのような値でも、ＧＯＰ境界の任意の位置でオーディオとビデオの再生時間を常に一致させることはできないため、ビデオデータのフレーム長は３０ｆｐｓに限定されない。同様に、オーディオのフレーム長も４８ｆｐｓに限定されない。

実施の形態１では、クリップファイルの構造の一例として、ＭＰ４ファイルの構造で説明したが、１つのファイルで、時刻情報やメタデータを記述することにより多重化や任意時刻でのアクセス（ランダムアクセス）を容易に実現できるファイル構造であればよい。したがって、クリップファイルはＭＰ４ファイルに限定されない。

実施の形態１では、クリップの時間概念の一例として、クリップ＃ｎの終端に位置する最終ビデオフレームと最終オーディオフレームとの再生終了時刻の差を、１オーディオフレーム未満（時間β）の関係が成り立つ構造で説明した。しかしながら、クリップ＃ｎの終端に位置する最終ビデオフレームと最終オーディオフレームとの再生終了時刻の差をクリップ＃０〜ｎ−１と同様の構造にし、クラウドサーバー２００又は表示装置２０５でのクリップ結合時に終端の最終オーディオフレームを削除して、上記関係を実現してもよい。

実施の形態１では、クラウドサーバー２００とは別に表示装置２０５を設ける構成を説明したが、クラウドサーバー２００は表示装置２０５を備えてもよい。この場合、表示装置２０５はクラウドサーバー２００の記憶部２０２からショットファイル又はクリップファイルを受け取り表示する。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、（本開示の作用）に応じて適応的に映像記録処理、映像送信処理を行う撮像装置に適用可能である。具体的には、デジタルスチルカメラ、ムービー、カメラ機能付き携帯電話機、スマートフォンなどに、本開示は適用可能である。

１０ 映像送信システム
１００ 撮像伝送装置
１０１ ビデオコーデック
１０２ ビデオバッファ
１０３ オーディオコーデック
１０４ オーディオバッファ
１０５ 設定部
１０６ コントローラ
１０７ 分割クリップ生成部
１０８ 記憶部
１０９ 通信部
１１０ 映像出力部
１１１ 音声出力部
１１２ ヘッダ出力部
２００ クラウドサーバー
２０１ 通信部
２０２ 記憶部
２０３ コントローラ
２０４ 結合部
２０５ 表示装置

Claims (6)

1. 映像データ及び音声データをそれぞれ特定の時間で分割して第１のクリップを生成し、前記第１のクリップの生成後に第２のクリップを生成する分割クリップ生成部と、
   前記分割クリップ生成部が生成した前記第１のクリップと前記第２のクリップをネットワークを通じて順次サーバーへ送信する送信部と、
   送信された前記第１のクリップと前記第２のクリップを表示する表示装置と、を備える映像送信システムにおいて、
   前記分割クリップ生成部は、
   前記映像データの単位フレーム時間の倍数である第１の時間で、前記映像データを分割する映像出力部と、
   前記音声データの単位フレーム時間の倍数である第２の時間で、前記音声データを分割する音声出力部と、を備え、
   前記第１の時間の終点は、前記第２の時間の終点より前である、映像送信システム。
2. 請求項１に記載の映像送信システムにおいて、
   前記第１のクリップは、前記第１のクリップが生成された時よりも後に前記送信部より前記サーバーへ送信される、映像送信システム。
3. 請求項１又は２に記載の映像送信システムにおいて、
   前記表示装置は、互いに結合された前記第１のクリップと前記第２のクリップを表示する、映像送信システム。
4. 請求項１〜３のいずれかに記載の映像送信システムにおいて、
   さらに、前記特定の時間を設定する設定部を備える、映像送信システム。
5. 請求項４に記載の映像送信システムにおいて、
   前記設定部は、前記第１のクリップを生成するための特定の時間と前記第２のクリップを生成するための特定の時間が互いに異なるように設定する、映像送信システム。
6. 映像データ及び音声データをそれぞれ特定の時間で分割して第１のクリップを生成し、前記第１のクリップの生成後に第２のクリップを生成する分割クリップ生成ステップと、
   前記分割クリップ生成ステップで生成された前記第１のクリップと前記第２のクリップをネットワークを通じて順次サーバーへ送信する送信ステップと、
   送信された前記第１のクリップと前記第２のクリップを表示する表示ステップと、を備える映像送信方法において、
   前記分割クリップ生成ステップは、
   前記映像データの単位フレーム時間の倍数である第１の時間で、前記映像データを分割する映像分割ステップと、
   前記音声データの単位フレーム時間の倍数である第２の時間で、前記音声データを分割する音声分割ステップと、を備え、
   前記第１の時間の終点は、前記第２の時間の終点より前である、映像送信方法。

Images