JP2013229860A - 記録装置および記録システム - Google Patents

記録装置および記録システム Download PDF

Info

Publication number
JP2013229860A
JP2013229860A JP2013045751A JP2013045751A JP2013229860A JP 2013229860 A JP2013229860 A JP 2013229860A JP 2013045751 A JP2013045751 A JP 2013045751A JP 2013045751 A JP2013045751 A JP 2013045751A JP 2013229860 A JP2013229860 A JP 2013229860A
Authority
JP
Japan
Prior art keywords
mpeg4
data
box
format
file format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013045751A
Other languages
English (en)
Inventor
Seiji Hotta
誠司 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2013045751A priority Critical patent/JP2013229860A/ja
Priority to US13/790,203 priority patent/US8798441B2/en
Publication of JP2013229860A publication Critical patent/JP2013229860A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ビデオカメラと映像の伝送先との間でファイルフォーマットの整合性を取る。
【解決手段】記録媒体にMPEG4ファイルフォーマットで映像データと音声データとを記録する記録装置が提供される。第一の生成回路507は、MPEG4ファイルフォーマットのMOOV BOXに、映像データおよび音声データの多重化に関する多重化情報を格納したMPEG4データを生成する。第二の生成回路508は、MPEG4ファイルフォーマットのMOOF BOXに、多重化情報を格納したMPEG4データを生成し、生成したMPEG4データから第一の生成回路が生成したMPEG4データを再現するために必要となる再現情報を、MPEG4ファイルフォーマットの、再生時に無視される種類のデータを格納するためのBOXに格納して、送信装置を介して外部装置に出力する。コントローラは、MPEG4データを記録媒体に記録する。
【選択図】図5

Description

本開示は、たとえば動画の記録および送信が可能なビデオカメラおよび、ビデオカメラから送信された動画のデータを受信する受信装置に関する。
近年、インターネットを用いたデータ伝送技術の発達と低廉化とによって、ビデオカメラやデジタルカメラといった撮像装置にイーサーネットや無線LANといったネットワーク接続手段が内蔵されることが増えてきた。また、データ転送速度の高速化と高効率の映像圧縮技術によって、それらのネットワーク接続手段を用い、ビデオカメラやデジタルカメラが撮影している映像をパソコンやスマートフォンまたはサーバーなどに転送するシステムも現実のものとなっている。
たとえば特許文献1は、レンズ系を経て入射してくる被写体像(イメージ)を撮像素子によりデジタルのイメージデータに変換して保存するデジタルカメラを開示する。このデジタルカメラは、少なくともイメージデータを保存するメモリカードと、通信回線を介し外部との通信が可能な通信カードとが装着可能なカードスロットと、このカードスロットに装着されたカードの種別を検出する種別検出手段と、この種別判定手段がカードスロットに通信カードが接続されたことを検出した場合には、予め定められているファイルサーバと通信回線を介し通信する通信手段とを有している。このデジタルカメラは、通信手段により、イメージデータをファイルサーバへと送信する。これにより、デジタルカメラに通信カードが装着されている場合には、撮影して得たイメージデータを、通信回線を介しファイルサーバに送信することで、イメージデータをファイルサーバ内の保存することができる、と特許文献1では説明されている。
特許文献1における実施例はデジタルカメラである。しかしながら、近年の動画圧縮技術の高効率化から、ビデオカメラで撮影した映像を、通信カードを使ってパソコン、スマートフォン、またはサーバーなどに転送することも容易になりつつある。映像のフォーマットは種々存在しており、目的等に応じて使い分けられている。
特開2003−283900号公報
本開示は、ビデオカメラで撮影した映像(動画像)を、たとえばMPEG4のファイルフォーマットを用いて記録し、かつ、映像の伝送先でも記録しようとする場合に、ファイルフォーマットに関して整合性を取ることを可能とする記録装置を提供する。
本開示のある実施形態に係る記録装置は、記録媒体にMPEG4ファイルフォーマットで映像データと音声データとを記録する記録装置であって、送信装置と、MPEG4ファイルフォーマットのMOOV BOXに、映像データおよび音声データの多重化に関する多重化情報を格納したMPEG4データを生成する第一のMPEG4ファイルフォーマット生成回路と、MPEG4ファイルフォーマットのMOOF BOXに、多重化情報を格納したMPEG4データを生成する第二のMPEG4ファイルフォーマット生成回路であって、生成したMPEG4データから第一のMPEG4ファイルフォーマット生成回路が生成したMPEG4データを再現するために必要となる再現情報を、MPEG4ファイルフォーマットの、再生時に無視される種類のデータを格納するためのBOXに格納して、送信装置を介して外部装置に出力する第二のMPEG4ファイルフォーマット生成回路と、第一のMPEG4ファイルフォーマット生成回路が生成したMPEG4データを記録媒体に記録するコントローラとを備える。
本開示にかかる記録装置によれば、ビデオカメラで撮影した映像(動画像)を、たとえばMPEG4のファイルフォーマットを用いて記録し、かつ、映像の伝送先でも記録しようとする場合に、記録装置によって記録された映像のファイルフォーマットと、伝送先の機器によって記録された映像のファイルフォーマットとの間で整合性を取ることが可能となる。たとえば、ファイルのデータについて完全な同一性をとることが可能となる。
実施形態にかかるビデオカメラを含む映像システム構成例を示す図である。 実施形態にかかる第一の方法に基づくファイルフォーマットの構成例を示す図である。 実施形態にかかる第二の方法に基づくファイルフォーマットの構成例を示す図である。 実施形態にかかるメタファイルのファイルフォーマットの構成例を示す図である。 実施形態にかかるビデオカメラの構成を示す図である。 実施形態にかかる受信装置の構成を示す図である。 実施形態にかかるFREE BOX生成・追加回路がおこなう処理の手順を表す図である。 実施形態にかかる生成されるFREE BOXの構成例を示す図である。 実施形態にかかる入力されるストリームの構成例と、出力されるストリームの構成例を示す図である。 実施形態にかかるビデオカメラの構成例を示す図である。 実施形態にかかるビデオカメラから送信された動画のデータを受信する受信装置の構成例を示す図である。 実施形態にかかるビデオカメラが備えるMPEG4分割フィルタの機能を説明する図である。 実施形態にかかる生成されるFREE BOXの構成例を示す図である。 実施形態にかかるフラグメントストリームの例を示す図である。 実施形態にかかるMPEG4結合フィルタの動作を示すフローチャートである図である。 実施形態にかかるMPEG4ファイルの欠落部分を示す図である。 実施形態にかかるメタファイルの欠落部分を示す図である。 実施形態にかかる転送に用いるファイル名の命名規則の例を示す図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、本願発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
以下、図1〜4を参照しながら、まず本願発明者が見出した、これまでの技術の問題点を説明する。その後、本開示の実施形態を説明する。
なお、本開示では、「動画」とは、映像および音声を含むとする。よって「動画データ」は、「映像データ」と「音声データ」とを含む。また「動画ファイル」は、所与のファイルシステムが構築された記録媒体に格納された動画データを意味する。動画ファイルは、当該ファイルシステムにおける動画データの管理単位である。なお、動画には音声は必須ではない。
図1は、ビデオカメラを含む映像システム100の構成例を示す。なお、図1に示す構成例は、後に本開示にかかるビデオカメラを含む映像システム100としても参照する。
映像システム100は、ビデオカメラ101と、PC105とを備えている。
当該システム100におけるビデオカメラ101は、自身の内部に記録媒体102を備える。ただし、記録媒体102はビデオカメラ101に固定されている必然性はなく、取り外し可能なものであっても構わない。
ユーザーが録画開始ボタン103を押すことによって発する記録開始命令に従って、ビデオカメラ101は前記記録媒体102に映像および音声を含む動画のファイルの記録を開始する。この場合、具体的な記録媒体102としてはSDカードやハードディスクが用いられることが多い。また、記録媒体102に書き込まれる映像のファイルフォーマットとしては、圧縮効率の高さから、近年MPEG4(ISO/IEC 14496−12:2008)が用いられることが多い。ユーザーが録画開始ボタン103を再度押すことによって、記録終了命令が発せられ、ビデオカメラ101は動画ファイルの記録を終了する。
さらに、ビデオカメラ101は無線伝送装置104を備える。無線伝送装置104は、PC105に備えられた別の無線伝送装置107と無線通信をおこなう。ビデオカメラ101は、撮影している動画データをリアルタイムに無線伝送装置104を通じてPC105に伝送する。PC105の画面上では、ビデオカメラが撮影している動画がストリーミングとして表示される。なお、具体的な無線伝送装置104および107としては、無線LAN(たとえばWifi規格)、ブルートゥース、WIMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)などの通信規格に準拠する通信装置が考えられる。ただし伝送は必ずしも無線である必要はなく、イーサーネット規格やUSB規格に準拠した有線接続であってもかまわない。
また、PC105は、ビデオカメラ101の記録開始・終了に連動して、自身に備える記録媒体106に、受信した動画データを記録する。すなわち、ビデオカメラ101の記録媒体102に記録される動画データと同じ内容の動画データをPC105の記録媒体106にも記録する。この目的は、ひとつは記録の二重化による信頼性の向上、もうひとつは記録終了後にPC105に記録媒体102を挿し直して動画ファイルをコピーする手間の削減である。
しかしこの場合、以下に説明する2つの問題が発生することを本願発明者は見出した。
本願発明者が見出した一つ目の問題は、MPEG4のファイルフォーマットに関する。ISO/IEC 14496−12:2008で定められたMPEG4ファイルフォーマットでは、ファイル内の情報は「BOX」と呼ばれる単位に区切られて格納される。たとえば、画面サイズやコーデックの種類といった基本情報を格納するMOOV BOX、圧縮された映像データと音声データを格納するMDAT BOXなどが存在する。代表的なBOXの種類を表1に示す。
Figure 2013229860
MPEG4ファイルフォーマットでは、圧縮された映像データと音声データはMDAT BOXの中にストライピングされて格納される。すなわち、MDAT BOXの中に格納された情報だけを見ても、映像データおよび音声データの格納位置が判別できないフォーマットとなっている。これは、この映像データと音声データの分離情報は、MDAT BOX以外のボックスに格納されているからである。MPEG4ファイルを再生するプレイヤーは、その分離情報をもとにしてMDAT BOXから映像データと音声データを別けて取り出し、画面とスピーカーから再生する。
ISO/IEC 14496−12:2008で定められたMPEG4ファイルフォーマットでは、映像データと音声データとの分離情報を格納するために、大きく分けて2種類の方法が定義されている。図2は第一の方法に基づくファイルフォーマットの構成例を示し、図3は、第二の方法に基づくファイルフォーマットの構成例を示す。
第一の方法は、映像データと音声データをひとつのMDAT BOX(図2の「mdat」)に格納し、それらのデータの分離情報をすべてMOOV BOX(図2の「moov」)の中に記述する方法である。具体的には、MOOV BOXに含まれるSTBL(Sample Table Box:ISO/IEC 14496−12:2008の8.5章)以下に含まれる情報として映像と音声の多重化に関する情報を格納する。
この方法を用いると、映像データと音声データの分離情報が一か所にまとめて格納される。よって、映像データや音声データへのランダムアクセスが非常に容易になる。その理由は、MOOV BOX内の記述を解釈するだけで、MOOV BOXのどの位置にアクセスすれば所望の時間に対応する映像データにアクセスできるかがすぐにわかるためである。
一方で、この方法を用いると、ビデオカメラが自身の記録媒体に記録するMPEG4ファイルを生成しながら、同時に同じデータをリアルタイムにPCに転送し、受け取り側のPCで映像と音声をストリーミング再生することは不可能となる。なぜなら、映像データと音声データの分離情報がすべて確定しなければMOOV BOXを生成できず、結局MOOV BOXを動画ファイルの末尾に置かざるを得ないからである。そのため、受け取り側のPCは動画ファイルをすべて受け取り終わらないと映像データと音声データを分離することができない。つまり、動画ファイルを受信しながらの再生ができないということになる。
映像データと音声データとの分離情報を格納するための第二の方法は、図3に示すように、映像データと音声データを複数のMDAT BOX(図3の「mdat」)にわけて格納し、それぞれのMDAT BOX内の映像データと音声データの分離情報を、そのMDAT BOXとペアになったMOOF BOX(図3の「moof」)の中に記述する方法である。具体的には、MOOF BOXに含まれるTRAF(Frac Fragment:ISO/IEC 14496−12:2008の8.8.6章)以下に含まれる情報として映像と音声の多重化に関する情報を格納する。なお、このときのMOOV BOXには画面サイズやコーデックの種類といったごく基本的な情報のみが記述され、映像データと音声データの分離に関する情報は格納されない。
この方法を用いると、ビデオカメラが自身の記録媒体に動画データを記録するMPEG4ファイル生成しながら、同時に同じデータをリアルタイムにPCに転送し、受け取り側のPCで映像と音声をストリーミング再生することが可能となる。映像データと音声データの分離に関する情報が逐次転送されてくるためである。
しかし一方で、この方法を用いると、映像データや音声データへのランダムアクセスはやや複雑になる。所望の時間に対応する映像データに関する分離情報を読み出すにあたって、ファイルの先頭からすべてのBOXの構成を解釈し、MOOF BOXのみを取り出して、その中をひとつずつ読み出していく必要が生じるためである。
以上を総合すると、動画データを格納したMPEG4ファイルを記録媒体に記録する際には第一の方法によるファイルフォーマット(以下、「MPEG4第一形式」と呼ぶ。)が適していると言うことができる。一方、MPEG4ファイルをストリーミング再生するために転送する際には、第二の方法によるファイルフォーマット(以下、「MPEG4第二形式」と呼ぶ。)が適していると言うことができる。
言い換えれば、ビデオカメラ101が記録媒体102に動画データを記録するファイルフォーマットとしてはMPEG4第一形式を採用することが必要であり、その一方で、無線伝送装置104を通じてPC105に転送するファイルのフォーマットはMPEG4第二形式でなくてはならないということになる。
しかし、PC105の記録媒体106に動画ファイルを記録する目的として、ビデオカメラ101の記録媒体102に記録される動画ファイルのバックアップ記録という性格がある以上、記録媒体102および106に記録される動画ファイルはビット単位で全く同じデータであるべきである。なお、記録媒体102上の動画ファイルまたは記録媒体106上の動画ファイルのいずれを「バックアップ」と捉えるかは、ユーザーの運用形態による。
もちろん、共に映像データと音声データに過不足はないわけであるから、MPEG4第二形式からMPEG4第一形式にフォーマット変換をすることも可能である。しかしながら、MPEG4規格(ISO/IEC 14496−12:2008)ではMOOV BOX内のパラメータの記述順序を一意には定めていない。さらに、MOOV BOX内の情報のひとつであるCTTS(Composition Time to Sample。ISO/IEC 14496−12:2008のセクション8.6.1.3)のように、同じ意味のデータでも複数の記述法がある場合がある。そのため、伝送されてきたMPEG4第二形式の動画ファイルをフォーマット変換してMPEG4第一形式にしても、ビデオカメラ側で記録された動画ファイルとビット単位で同じファイルが生成できるとは、必ずしも言えない。
なお、上述したCTTSの場合、「SAMPLE OFFET=1」という値が10回連続するとき、「SAMPLE OFFET=1 / SAMPLE COUNT=1」を10回記述してもよいし、「SAMPLE OFFET=1 / SAMPLE COUNT=10」を1回だけ記述してもよい。両者は同じ意味である。しかしながら、記述内容が異なるため、データ量も異なり得る。したがって、上述したような、送信された動画ファイルと、その動画ファイルから変換されて得られた動画ファイルとが、ビット単位で同じであるとは限らない。
これは、ビデオカメラ101から転送されている動画データの映像をPC105の画面上でリアルタイムに視聴して確認したいという要求と、記録媒体102および106に記録される動画ファイルはビット単位で全く同じデータであるべきであるという要求とは、標準的なMPEG4ファイルの転送、および単純なファイルフォーマット変換によっては両立されないことを意味する。
本願発明者が見出した二つ目の問題は、動画ファイルに付随するメタファイルの転送に関する。ビデオカメラによっては、内蔵記録媒体にMPEG4ファイルフォーマットで動画ファイルを記録すると同時に、その動画に関する付随情報を別のファイル(以下、「メタファイル」と呼ぶ。)に書き込んで、同じ記録媒体に記録するものがある。このような動作が行われる理由は、標準的なMPEG4ファイルフォーマットには記述不能な情報を動画ファイルと共に残したいという要望があることに起因する。このような動作を行うビデオカメラとして、特にプロフェッショナル用途のビデオカメラが挙げられる。
具体的なメタファイルの例を図4と表2を用いて説明する。
図4は、メタファイルのファイルフォーマットの構成例を示す。図4に示すように、メタファイルは、ヘッダ部およびコンテンツ部を含む。ヘッダ部のデータ長は128バイトである。コンテンツ部は、各々が96バイトのデータ長を有する複数のブロックから構成されている。コンテンツ部の96バイトは、それぞれが動画ファイルに含まれるビデオの1フレームに対応し、そのフレームに関する付随情報が格納されている。つまり、最初の96バイトが動画ファイルに含まれるビデオの最初のフレームに関する付随情報であり、次の96バイトが動画ファイルに含まれるビデオの2枚目のフレームに関する付随情報である。
Figure 2013229860
表2は、コンテンツ部に含まれる情報を示す。表2中のLTC(Longitudeinal Time Code)やVITC(Vertical Interval Time Code)は、プロフェッショナル用途において映像のフレームを特定するために必須とされるパラメータである。また、UMID(Unique Material ID。SMPTE330M)はそのフレームに対して割り振られる世界で唯一のIDである。UMIDの中には、そのフレームを撮影していた時の緯度と経度の情報を含めることもできる。
ビデオカメラ101が上述したメタファイルを動画ファイルと共に記録媒体102に記録している場合、PC105の記録媒体106にも同じメタファイルを記録したいという要望が当然に生じる。つまり、メタファイルをビデオカメラ101からPC105にいかにして転送するかが課題となる。このとき、そのメタファイルがどの動画ファイルとペアであるかを明確にして転送しなければならないことに注意が必要である。
本願発明者は上述した種々の問題点を見出し、その問題を解決するための構成を創出した。
以下、本開示にかかる記録装置の実施形態を説明する。記録装置の実施形態として、ビデオカメラを例として挙げる。
[1.構成]
以下、図5を参照しながら、本開示にかかるビデオカメラを説明する。
図5は、本実施形態にかかるビデオカメラ500の構成を示す。
ビデオカメラ500は、撮像素子501と、マイク502と、センサー503と、録画開始・停止ボタン504と、H.264エンコーダー505と、AACエンコーダー505と、無線送出装置514と、プロセッサ550とを含む。
撮像素子501は、撮影対象を電気信号に変換する。マイク502は、音声を電気信号に変換する。撮像素子501から出力された信号はH.264エンコーダー505に入力される。ユーザーは録画開始・停止ボタン504を通じてビデオカメラに録画の開始と終了を通知する。録画開始・停止ボタン504の他の例としては、ビデオカメラ本体に備わった録画スイッチであってもよい。
H.264エンコーダー505およびAACエンコーダー505は、それぞれ、映像信号および音声信号を符号化するハードウェアである。
プロセッサ550は、たとえば集積回路によって実現された演算回路である。プロセッサ550は、たとえば1つの中央処理ユニット(CPU)である。プロセッサ550は、実行するコンピュータプログラムに応じて、種々の処理を行うことができる。それらの処理が同時に、または順次行われることにより、プロセッサ550は、あたかも異なる構成要素であるかのように機能する。図5には、そのような処理によって実現されるプロセッサ550の個々の機能を、別個の回路やモジュールとして記載している。すなわち、プロセッサ550は、MPEG4第一形式マクサー507と、MPEG4第二形式マクサー508と、メタファイル生成モジュール510と、MOOV BOX検出回路511と、FREE BOX生成・追加回路512と、ホストコントローラ513と、無線送出装置514の一部を含む。
上述のように、本開示では別個の回路やモジュールに参照符号を付し、それらが独立した構成要素として動作する例を説明する。上述のように、プロセッサ550が1つ設けられることにより、そのような回路やモジュールとして動作してもよい。なお、モジュールを回路と称してもよい。また、回路およびモジュールは、ハードウェアによって実現されてもよいし、ソフトウェアによって実現されてもよいし、ハードウェアとソフトウェアとの組み合わせによって実現されてもよい。
なお、プロセッサ550が無線送出装置514の一部を含むとして説明しているが、これは送信対象となるデータを用意する処理までをプロセッサ550が行うことを意図している。実際にデータを送信するためには、プロセッサ550とは異なる、変調回路などを含む送信回路が必要である。当該送信回路の構成は本開示の本質ではないため、説明は省略する。一般に知られた送信回路を用いることが可能である。
H.264エンコーダー505は入力された映像信号をH.264形式(ISO/IEC 14496−10)で圧縮する。同時に、マイク502から出力された信号はAACエンコーダー506に入力される。AACエンコーダーは入力された音声信号をAAC形式(ISO/IEC 14496−3)で圧縮する。
本実施形態にかかるビデオカメラ500は、2つのMPEG4多重化回路(マクサー)を備える。ひとつはMPEG4第一形式マクサー507である。このマクサーは、入力された映像データと音声データをひとつのMDAT BOXに多重化し、その多重化に関する情報のすべてをMOOV BOXに記述することによって、映像データと音声データをひとつのMPEG4ファイルフォーマットに格納する機能を持つ。もうひとつは、MPEG4第二形式マクサー508である。このマクサーは、入力された映像データと音声データを複数のMDAT BOXに分割して格納し、各MDAT BOX内での多重化に関する情報をMOOF BOXに記述することによって、映像データと音声データをひとつのMPEG4ファイルフォーマットに格納する機能を持つ。
なお、MPEG4第二形式マクサー508において映像データと音声データを複数のMDAT BOXに分割して格納する方法としては、あらかじめ定めた時間(例えば「2秒」など)の映像データと音声データが揃うたびにひとつのMDAT BOXに格納する方法や、GOP(Group of Pictures)単位でひとつのMDAT BOXに格納する方法、または映像データと音声データの合計サイズがあらかじめ定めた容量に達するたびにひとつのMDAT BOXに格納する方法などが考えられる。
ただしここで、MPEG4第一形式マクサー507とMPEG4第二形式マクサー508では、H.264エンコーダー505およびAACエンコーダー506から入力された映像データおよび音声データの多重化アルゴリズムを完全に一致させておかねばならない。すなわち、MPEG4第二形式マクサー508で生成される全てのMDAT BOXの中身を順番につなぎ合わせたデータが、MPEG4第一形式マクサーが生成するひとつのMDAT BOXの中身とビット単位で全く同じとなるように両マクサーは設計されていなければならない。出力されるMDAT BOXのみに注目すれば、MPEG4第一形式マクサー507とMPEG4第二形式マクサー508の違いは、映像と音声が多重化された全く同一のストリームデータを、ひとつのMDAT BOXに格納するか、複数のMDAT BOXに輪切りのようにして格納するかの違いでしかないように設計される。
また、MPEG4第一形式マクサー507は、ファイル形式切り替えスイッチ509に接続されている。これは、ユーザーが、MPEG4第一形式が出力するファイルフォーマットの形式を、ISOで規定されたMPEG4(ISO/IEC 14496−12:2008)に完全に準拠した形式とするか、MPEG4に類似するファイルフォーマットであるQuickTime Movie形式とするかを選択できるようにするためのものである。ISOで規定されたMPEG4とQuickTime Movie形式は、FTYP BOX内に記述する内容とMOOV BOX内に記述する内容のごく一部が異なるだけであるため、マクサーを兼用することが容易である。よって、このように出力形式の切り替えスイッチ509を接続している。
H.264エンコーダー505およびAACエンコーダー506から出力された映像と音声の各圧縮データは、ともにMPEG4第一形式マクサー507とMPEG4第二形式マクサー508の両方に入力される。
MPEG4第一形式マクサー507の出力は、MOOV BOX検出回路511を通過してホストコントローラ513に入力される。MOOV BOX検出回路511は、MPEG4第一形式マクサー507がMOOV BOXを生成したことを検知し、そのBOXの内容を抽出する機能を持つ。
また、ホストコントローラ513は、記録媒体515に適したファイルシステムを用いて、入力されたデータを記録媒体515にファイルとして記録する機能を持つ。これにより、本実施形態にかかるビデオカメラ500は、撮像素子501でとらえた映像とマイク502でとらえた音声をMPEG4第一形式のファイルとして記録媒体515に記録することができる。
一方、MPEG4第二形式マクサー508の出力は、FREE BOX生成・追加回路512を通過して無線送出装置514に入力される。FREE BOX生成・追加回路512の機能については後に詳述する。
無線送出装置514は、入力されたデータを、無線LANネットワークを通じて受信装置へと転送する機能を持つ。具体的には、例えばFTP(File Transfer Protocol:RFC765)を使って、入力されたデータをファイルとして受信装置に転送する方法などが考えられる。なお、無線送出装置514にはファイル形式切り替えスイッチ509の状態も入力される。これは、ビデオカメラが記録媒体515に記録しているファイル形式を受信装置に通知するためである。具体的には、例えばFTPでファイル転送をするにあたって、転送するファイルの拡張子をMP4(MPEG4形式の場合)またはMOV(QuickTime Movie形式の場合)のいずれかにする方法などが考えられる。なお、本実施の形態においてはネットワークを無線LANとしたが、必ずしも無線である必要はなく、有線ネットワークであっても本開示の効果を発揮するにあたりなんら支障はない。また、ネットワーク自体も必ずしもIPネットワークである必要はなく、ブルートゥースであってもよいし、USB等の単純なシリアル信号の転送であっても構わない。
センサー503の出力はメタファイル生成モジュールへと入力される。センサー503は映像と音声以外の情報を取得する素子であり、具体的な例としては、時計(TimeCode生成器を含む)やGPS(Global Positioning System)、ビデオカメラの状態取得回路(例えば記録媒体515の種類や、H.264エンコーダー505に設定されたターゲットビットレートなどを検出する回路)が考えられる。
メタファイル生成モジュール510は、入力されたデータを、あらかじめ規定したメタファイルの形式に成形する。具体的には、入力されたデータを、先に図4を用いて説明したファイル形式に格納する。メタファイル生成モジュール510の出力はホストコントローラ513に入力され、ホストコントローラ513は、記録媒体515にファイルとして入力された情報を書き出す。このとき、同じ記録媒体に記録された映像ファイルとの明確なペアリングがなされる。例えば、対応するメタファイルと映像ファイルは、拡張子を除いたファイル名を全く同じにして記録媒体515に記録される。これにより、どのメタファイルがどの映像ファイルに関する情報を格納しているのかが明確になるためである。
[2.動作]
以上のように構成されたビデオカメラ500の構成要素の動作を以下説明する。
以下に、FREE BOX生成・追加回路512の具体的な動作について図7および図9を参照しながら説明する。図7は、FREE BOX生成・追加回路512がおこなう処理の手順を表している。
FREE BOX生成・追加回路512に入力されるデータには、MPEG4第二形式マクサー508から出力されるMPEG4第二形式ストリーム701と、MOOV BOX検出回路511およびメタファイル生成モジュール510からの出力されるMOOV・メタファイル702の二種類がある。
MOOV・メタファイル702が入力された場合は、まずその入力されたデータの種別を判別する(ステップ703)。これは、どのモジュールから転送されてきたデータであるかということや、データの内容そのものをみることによって容易に判断が可能である。例えばデータの内容そのものから判断する場合であれば、MPEG4ファイルフォーマットのBOXであれば、データの先頭から5バイト目から8バイト目の範囲に入っている文字列でその種類を判定できることを利用できる。「moov」という文字列が入っていれば、それはMOOV BOXであると判別ができる。その部分がMPEG4のBOX名として存在しないバイト列である場合は、メタファイルであると判断することもできると考えられる。
次に、FREE BOX生成・追加回路512は、入力されたデータの種別に対応したシグネチャを決定する。シグネチャとは、入力されたデータの種別をあらわす4つのASCII文字である。シグネチャの例を表3に示す。例えば、入力されたデータがMOOV BOXであった場合のシグネチャは「moov」の4文字である。また、入力されたデータがメタファイルのヘッダ部であった場合は「rmhd」の4文字で、メタファイルのコンテンツ部であった場合は「rmit」の4文字である。その他、後述するように入力されるデータがMOOV BOXとメタファイル以外にもある場合も考えられるので、その場合は表3に示したように、それぞれについて固有のシグネチャを定義しておく。
Figure 2013229860
次に、FREE BOX生成・追加回路512は、MPEG4ファイルフォーマット規格に準拠した、FREE BOXをひとつ生成する(ステップ705)。このBOXのサイズは、入力されたMOOV・メタファイル702のサイズに12バイトを足したサイズである。図8は、ステップS705において生成されるFREE BOXの構成例を示す。最初の4バイトには、このFREE BOX全体のサイズ、すなわち入力されたMOOV・メタファイル702のサイズに12バイトを足したサイズがBIG ENDIANで書き込まれる。5バイト目から8バイト目はBOXの種類を記述する場所であるので、「free」の4文字が入る。続く9バイト目から12バイト目までには、ステップ704で選択したシグネチャを記述する。13バイト目からBOXの終端までのサイズは入力されたMOOV・メタファイル702のサイズと一致しているので、この部分に、入力されたMOOV・メタファイル702をそのままコピーする。こうすることにより、入力されたMOOV・メタファイル702がその種別を表すシグネチャと共に格納されたFREE BOXを生成することができる。このように生成されたFREE BOXは、MOOV・メタファイルを再現するための情報(再現情報)を含むことになる。
生成されたFREE BOXは、ステップS710においてFREE BOXバッファに一時的に記憶される。
一方で、FREE BOX生成・追加回路512は、入力されたMPEG4第二形式ストリームのBOX構成を解釈し、入力されたストリームがBOXの境界を含むか否かを常に監視する(ステップ706)。そして、BOXの切れ目を含まない場合は、入力されたMPEG4第二形式ストリームをそのまま出力する(ステップ708)。入力されたストリームがBOXの境界を含む場合は、先に説明した、MOOV・メタファイルから生成されたFREE BOXが、ステップS710におけるFREE BOXバッファに存在しないかどうかをチェックする(ステップ707)。存在しない場合は、なにもせずに、次に入力されるMPEG4第二形式ストリームの処理を継続する。FREE BOXバッファ710にFREE BOXが存在する場合は、BOXの境界部でそのFREE BOXを出力する。
以上の手順によれば、FREE BOX生成・追加回路512はMPEG4第二形式のストリームを受け取る。図9上段は、入力されるストリームの構成例を示す。すると、FREE BOX生成・追加回路512は、MPEG4第一形式のファイルから抽出されたMOOV BOXやメタファイルの内容を格納したFREE BOXが挿入されたMPEG4ファイルを出力する。図9下段は、出力されるストリームの構成例を示す。
この手順において注意すべきは、前記ステップ706においてBOXの境界を検出するときに、MOOF BOXとMDAT BOXの間に含まれる境界は無視しなければならないことである。MOOF BOXとMDAT BOXの間にFREE BOXを挿入してしまうと、MOOF BOXとMDAT BOXの距離が変わってしまうため、MOOF BOXの内部に記述された映像データと音声データの分離に関する情報が役に立たなくなってしまうからである。
着目すべきは、以上の手順によって出力されたMPEG4ファイルもまた、MPEG4第二形式に完全に準拠しているということである。FREE BOXの内容は映像の再生動作では無視されるため、映像の再生には影響を及ぼさない。すなわち、MPEG4(ISO/IEC 14496−2008)の再生に対応する再生装置・再生ソフトウェアであれば、図9下に示したMPEG4ファイルの再生は問題なくおこなうことができる。これにより、以下に説明する受信装置のリアルタイム視聴部分の生成が非常に容易になる。
なお、本実施の形態においてはMPEG4第一形式のデータから抽出するデータをMOOVのみとしたが、必ずしもそれのみに限る必要はない。例えば、MPEG4第一形式マクサーが独自にデータに追加するFREE BOXやSKIP BOXを抽出してFREE BOX生成・追加回路に入力してもよい。FREE BOXおよびSKIP BOXはいずれも、再生時に無視される種類のデータを格納するためのBOXである。他にも、MPEG4第一形式におけるMDAT BOXのサイズを抽出することも考えられる。以下に述べる、受信装置が計算しなければならないパラメータを減らすためである。なお、MDAT BOXのサイズの値は、MPEG4第二形式で現れるMDAT BOXのサイズの総和をとることで計算可能である。
なお、本実施の形態では説明を簡易にするために無線送出装置514を備えて映像データを送出するビデオカメラ500を「ビデオカメラ」と称したが、必ずしもいわゆる「ビデオカメラ」である必要はない。つまり、H.264エンコーダー505やAACエンコーダー506が処理するデータは必ずしも撮像素子やマイクから直接入力される必要はなく、外部接続端子などから映像信号と音声信号を入力する構成をもつ機器であっても、本開示の効果を発揮するにあたっては、なんら問題はない。
次に、図6を参照しながら、本開示にかかる受信装置の実施の形態について説明する。
図6は、本実施形態にかかる受信装置600の構成を示す。
受信装置600は、無線受信装置601と、MPEG4デコーダー602と、スクリーン603と、スピーカー614と、プロセッサ650とを含む。
本実施の形態における受信装置600は、ビデオカメラ500から受信した映像データをデコードしてスクリーン603とスピーカー614でリアルタイムに提示する。そして、その処理と並行して、ビデオカメラの記録媒体515に記録されるMPEG4第一形式のファイルと全く同じファイルを、受信装置600の記録媒体613にも記録する。
まず、プロセッサ650は、たとえば集積回路によって実現された演算回路である。プロセッサ650は、たとえば1つの中央処理ユニット(CPU)である。プロセッサ650もまた、実行するコンピュータプログラムに応じて、種々の処理を行うことができる。それらの処理が同時に、または順次行われることにより、プロセッサ650は、あたかも異なる構成要素であるかのように機能する。
図5のプロセッサ550に関して説明したと同様、図6においても、プロセッサ650の個々の機能を、別個の回路やモジュールとして記載している。
プロセッサ650は、無線受信装置601の一部と、ファイル形式決定回路604と、MPEG4BOX構成検出回路605と、FREE BOX解釈回路606と、FTYP BOX出力モジュール607と、MDAT BOX結合モジュール608と、MOOV BOX抽出モジュール609と、メタファイル抽出モジュール610と、MPEG4再構成モジュール611と、ホストコントローラ612とを含む。図6に関しても、別個の回路やモジュールに参照符号を付し、それらが独立した構成要素として動作する例を説明する。上述のように、プロセッサ650が1つ設けられることにより、そのような回路やモジュールとして動作してもよい。
なお、プロセッサ650が無線受信装置614の一部を含むとして説明しているが、これは、復調回路などを含む受信回路によって受信され、取得されたデータの処理をプロセッサ650が行うことを意図している。当該受信回路の構成は本開示の本質ではないため、説明は省略する。一般に知られた受信回路を用いることが可能である。
無線受信装置601は、ビデオカメラ500(図5)の備える無線送出装置514から出力されたMPEG4第二形式ストリームのデータを、無線LANを通じて受信する。具体的には、受信装置600がFTPサーバーとして動作し、MPEG4第二形式ストリームのデータを無線受信装置601を介してファイルとして受信する形態が考えられる。なお、ビデオカメラ500と同様に、本実施の形態においてはネットワークを無線LANとしたが、必ずしも無線である必要はなく、有線ネットワークであっても本開示の効果を発揮するにあたりなんら支障はない。また、ネットワーク自体も必ずしもIPネットワークである必要はなく、ブルートゥースであってもよいし、USB等の単純なシリアル信号の転送であっても構わない。
無線受信装置601が受信したデータは、MPEG4デコーダー602に入力される。MPEG4デコーダー602とは、MPEG4第二形式のファイルフォーマットからH.264でエンコードされた映像データとAACでエンコードされた音声データを取り出し、それらをスクリーン603とスピーカー614で視聴できるようにデコードするハードウェアまたはソフトウェアをいう。
MPEG4デコーダー602に入力されるデータはMPEG4第二形式ファイルフォーマットであるため、MPEG4デコーダー602はすべてのデータを受信し終わるのを待つことなしに、映像および音声をデコードしてスクリーン603とスピーカー614に供給することができる。これにより、受信装置の使用者は、図5で説明したビデオカメラで撮影している映像をリアルタイムに遠隔から視聴できる。
なお、先に説明したように、ビデオカメラ500から送信されるMPEG4第二形式ストリームはMPEG4規格(ISO/IEC 14496−2008)に完全に準拠したものであるから、MPEG4デコーダー602は、本実施の形態に特化した部品ではなく、一般のMPEG4デコーダーを用いることができる。これにより、受信装置をより低廉かつシンプルに製造することができる。
一方で、無線受信装置601は、受信したMPEG4第二形式ストリームをファイル形式決定回路604とMPEG4BOX構成検出回路605にも入力する。ファイル形式決定回路604は、ビデオカメラ500が記録媒体515に記録しているファイル形式を検出する。具体的には、無線受信装置601が受信したファイルの拡張子がMOVであるかMP4であるかをチェックし、前者であればMPEG4形式、後者であればQuickTime Movie形式であると判断するアルゴリズムが考えられる。ファイル形式決定回路604の判断結果はFTYP BOX出力モジュール607に通知され、FTYP BOX出力モジュール607は、通知された結果に対応するFTYP BOXをMPEG4再構成モジュール611に入力する。
また、MPEG4BOX構成検出回路605は、入力されたMPEG4第二形式ストリームのBOXの構成を解釈し、BOXの種類によってその内容を処理するモジュールを切り替える機能を持つ。入力されたMPEG4第二形式ストリームに含まれるMDAT BOXは、MDAT BOX結合モジュール608に渡される。MDAT BOX結合モジュール608は、入力された複数のMDATの中身を抽出し、ひとつのMDATに格納する機能をもつ。具体的には、入力されたMDAT BOXの先頭8バイト(BOXサイズとBOX種類の記述にあたる)を取り除いたものを順番につなぎ合わせ、最後に、つなぎ合わせたデータの合計サイズに8を足した値と「mdat」の文字列を、BOXサイズとBOX種類の記述としてデータの先頭に付加する動作をおこなう。こうして生成されたひとつのMDAT BOXは、MPEG4再構成モジュール611に入力される。
前述のように、ビデオカメラ500が備えるMPEG4第一形式マクサーとMPEG4第二形式マクサーは、出力するMDAT BOXのみに注目すれば、全く同一のストリームデータをひとつのMDAT BOXに格納するか、複数のMDAT BOXに輪切りのようにして格納するかの違いしかない。したがって、MDAT BOX結合モジュール608の出力するMDAT BOXは、ビデオカメラ500の記録媒体515に記録されるMPEG4第一形式のデータに含まれるMDAT BOXと完全に一致していることになる。
さらに、MPEG4BOX構成検出回路605は、入力されたストリームに含まれるFREE BOXを、FREE BOX解釈回路606に渡す。FREE BOX解釈回路606は、入力されたFREE BOXの中身に格納されたデータの種類を判別する。具体的には、FREE BOXの中身の先頭4バイトを表3と照らし合わせることで、格納されているデータの種類を判別する。
FREE BOX解釈回路606は、格納されているデータが、ビデオカメラ500の備えるMOOV BOX検出回路511とFREE BOX生成・追加回路512の機能によって格納されたMPEG4第一形式のMOOV BOXであると判断した場合は、そのFREE BOXをMOOV BOX抽出モジュール609に渡す。MOOV BOX抽出モジュール609は、FREE BOXの先頭12バイト(FREE BOXのサイズ表記と「free」の文字列、および表3で説明したシグネチャにあたる)を取り除くことでMOOV BOXを抽出し、MPEG4再構成モジュール611へと出力する。また、FREE BOX解釈回路606は、格納されているデータがメタファイルに関するデータであると判断した場合は、その内容をメタファイル抽出モジュール610に入力する。
一方で、MPEG4BOX構成検出回路605は、入力されたストリームに含まれるMOOF BOXについては、これを破棄する。映像データと音声データの分離に関する情報はFREE BOXに格納されたMOOV BOXに記述されているため、MPEG4第一形式のファイルを生成するにあたってMOOF BOXに格納された情報は必要とならないためである。
MPEG4再構成モジュール611は、FTYP BOX出力モジュール607とMDAT BOX結合モジュール608とMOOV BOX抽出モジュール609の出力を結合して、ひとつのMPEG4第一形式のストリームを生成する機能を持つ。具体的には、各モジュールの出力を図2の順番に並べて結合する。生成されたMPEG4第一形式のストリームは、ホストコントローラ612へと渡され、ホストコントローラ612は、入力されたデータを記録媒体613にファイルとして記録する。
メタファイル抽出モジュール610は、入力されたFREE BOXからメタファイルを生成する。具体的には、FREE BOXに格納されたデータがメタファイルのコンテンツ部であった場合はそれらを順番に結合し、メタファイルのヘッダ部であった場合は、前記の結合したメタファイルのコンテンツ部の前方にそのデータを付加する。これにより、ビデオカメラ500の記録媒体515に記録されるメタファイルと全く同一のデータが生成できる。生成されたデータはホストコントローラ612に渡され、ホストコントローラ612は、入力されたデータを記録媒体613にファイルとして記録する。この時、ホストコントローラは、対応する映像ファイルとメタファイルの明確なペアリングをおこなう。例えば、対応する映像ファイルとメタファイルは、拡張子を除いたファイル名を全く同じにして記録媒体613に記録される。これにより、どのメタファイルがどの映像ファイルに関する情報を格納しているのかが明確になるためである。
以上に説明したビデオカメラ500および受信装置600の動作により、受信装置600の使用者は、ビデオカメラ500で撮影している映像をリアルタイムに視聴しながら、ビデオカメラ500の記録媒体515に記録される映像ファイルとビット単位で全く同一のデータを受信装置600の記録媒体613にも得ることができる。
なお、本実施の形態では、受信装置600が備えるFREE BOX解釈回路606が、MOOV BOXとメタファイルの格納を検出する例のみについて説明したが、先に述べたようにビデオカメラ500がFREE BOXにそれ以外のデータを格納する場合には、他の情報を抽出してMPEG4再構成モジュール611へと出力する構成にしてもよい。
なお、本実施の形態では、ビデオカメラ500がMPEG4第一形式に関連する情報を格納するBOXとしてFREE BOXを使用したが、使用するBOXは、MPEG4規格において同様の機能を持つSKIP BOXであっても構わない。同様の機能とは、再生時に無視される種類のデータを格納するためのBOXである、という点において同じ機能を有していることを意味する。その場合は、受信装置600がMPEG4第一形式に関連する情報を取り出すBOXもSKIP BOXとなる。
以下では、図10および11を参照しながら、実際に本開示を実現するためのビデオカメラ1000および受信装置1100の構成例を説明する。
図10は、ビデオカメラ1000の構成例を示す。図5で説明したブロックと同一の機能を有するブロックについては、同じ符号を用い、それらの説明は省略する。また、図11は、ビデオカメラ1000から送信された動画のデータを受信する受信装置の構成例を示す。図6で説明したブロックと同一の機能を有するブロックについては、同じ符号を用い、それらの説明は省略する。
なお、図10および11では、CPUに対応する記載は省略している。しかしながら、図10においては、MPEG4分割フィルタ1001およびホストコントローラ1002がさらにCPUによって実現されればよい。また、図11においては、MPEG4結合フィルタ1101がさらにCPUによって実現されればよい。
図5で説明したビデオカメラ500と、図10に示すビデオカメラ1000との違いは、FREE BOX生成・追加回路512の後段にMPEG4分割フィルタ1001が存在することである。
また、図6で説明した受信装置600と、図11に示す受信装置1100との違いは、無線受信装置601の後段にMPEG4結合フィルタ1101が存在すること、およびMPEG4再構成モジュール1102およびメタファイル抽出モジュール1103が無線受信装置601にデータの読み出しを命令できることである。これらの違いはいずれも、ビデオカメラ500の無線送出装置514と受信装置600の無線受信装置601の間での通信が、通信障害によって一時中断された場合へ対応することを目的とした物である。すなわち、これらの新たな構成要素により、障害復旧後にすみやかに受信装置でのリアルタイムな視聴の復帰を可能にし、また受信装置の記録媒体613に記録する映像データを修復できるようにすることができる。
なお、本実施例では、MPEG4第二形式マクサー508において映像データと音声データを複数のMDAT BOXに分割して格納する方法としては、GOP(Group of Pictures)単位でひとつのMDAT BOXに格納する方法をとることとする。これは、MDAT BOXとそれと対となるMOOF BOXを抽出した時に、独立してその映像と音声を再生できるようにするためである。
次に、図12を参照しながら、ビデオカメラ1000が備えるMPEG4分割フィルタ1001の機能を説明する。
MPEG4分割フィルタ1001には、FREE BOX生成・追加回路512から出力されたMPEG4第二形式のストリーム1201が入力される。MPEG4分割フィルタ1001は、そのストリームに含まれるBOXの構成を順次解釈しながらMPEG4ストリームを複数のストリームに分割し、かつ分割後のそれぞれのストリームも、独立して再生可能な、MPEG4規格に準拠したストリームとすることを目的とするフィルタである。
MPEG4分割フィルタ1001は、まず変数MDAT_SUMと変数RMIT_SUMの値をゼロに初期化する(ステップ1202)。これらの変数は、ビデオカメラ1000から受信装置1100に送信したMDAT BOXのサイズの合計とメタファイルを格納したFREE BOXのサイズの合計を記録するために用いられる。
次に、入力されたストリームの構成を解釈し、入力されたストリームの中からFTYP BOXを探す(ステップ1203)。これは、必ず入力されたストリーム1201の先頭部分に出現している。発見されたFTYP BOXはFTYP BOXバッファに保存される(ステップ1204)。
次に、入力されたストリームの構成を解釈し、入力されたストリームの中からMOOV BOXを探す(1205)。これは、通常のMPEG4第二形式ストリームであればFTYP BOXの直後に出現している。発見されたMOOV BOXはMOOV BOXバッファに保存される(ステップ1206)。
次に、変数COUNTERの値をゼロに初期化する(ステップ1207)。この変数は、分割後のMPEG4ストリームに含まれるMDAT BOXの数を制御するために用いられる。
次に、先に説明した変数MDAT_SUMと変数RMIT_SUMの値を用いて、FREE BOXを生成する(ステップ1208)。図13は、生成されるFREE BOXの構成例を示す。図13のFREE BOXは、MDAT_SUMの値(8バイト)が12バイト目以降にビッグエンディアンで格納され、RMIT_SUMの値(8バイト)が20バイト目以降にビッグエンディアンで格納されている。また、それらの値に先立つ8バイト目から4バイトの領域には、「dsum」の4文字が記述される。これは、このFREE BOXに格納されているデータが変数MDAT_SUMと変数RMIT_SUMの値であることを示すためのシグネチャであり、表3で説明したシグネチャと同じ機能をもつものである。
次に、入力されたストリーム1201から次のBOXを受け取り、それがMDAT BOXか否かを判断する(ステップ1209)。もしそれがMDAT BOXであった場合には、MDAT_SUMの値を「そのMDAT BOX全体のサイズ−8バイト」ぶん増加させる(ステップ1210)。なお、ここで「−8バイト」は、MDAT BOXの先頭8バイト(サイズ記述とBOXの種類記述)を取り除き、正味のデータサイズを算出するためにおこなう減算である。また、変数COUNTERを1つ増加させる(ステップ1211)。
受け取ったBOXがMDAT BOXでなかった場合は、それがメタファイルのコンテンツを格納したFREE BOXか否かを判断する(ステップ1212)。例えば、表3で説明したシグネチャを使っている場合であれば、FREE BOXの先頭から8バイト目以降に「rmit」の4文字が格納されているか否かをチェックすればよい。もしそれがメタファイルのコンテンツを格納したFREE BOXであった場合は、変数RMIT_SUMの値を「そのFREE BOX全体のサイズ−12バイト」ぶん増加させる(ステップ1213)。なお、ここで「−12バイト」は、FREE BOXの先頭12バイト(サイズ記述とBOXの種類記述とシグネチャ)を取り除き、正味のデータサイズを算出するためにおこなう減算である。
次に、受け取ったBOXをMPEG4BOX結合モジュール1217に渡す(ステップ1214)。MPEG4BOX結合モジュール1217の機能については後述する。
次に、変数COUNTERの値が、あらかじめ定めた定数nよりも小さいか否かを判断する(ステップ1215)。定数nは、1以上の整数であり、分割後のMPEG4ストリームに含まれるMDAT BOXの最大数である。この値は、ビデオカメラ1000と受信装置1100の間の通信障害が復旧したときに、どれだけの早さで受信装置1100側でのリアルタイム視聴を復帰したいかによって定めるべき値であり、通信復旧後すぐに視聴復帰させたいのであれば小さな値、通信復旧と視聴復帰の間に時間がかかることが許されるのであれば大きな値を選択する。なお、大きな値を選択すれば、ビデオカメラ1000と受信装置1100間で通信するデータの総サイズは減少するため(ストリームの切れ目で送信するFTYP BOXとMOOV BOXの数が減るからである)、通信路への負担を減らすことができる。
ステップ1215の判断により、変数COUNTERの値が定数nよりも小さいと判断された場合は、ステップ1209の前に戻って、次のBOXの入力を待つ。n以上であると判断された場合は、MPEG4BOX結合モジュール1217に出力命令を送信し、その後、ステップ1207の前に戻って次のBOXの入力を待つ(ステップ1216)。
MPEG4BOX結合モジュール1217は、前記出力命令を受けると、(1)FTYP BOXバッファ(2)MOOV BOXバッファ(3)ステップ1208から渡された最新のFREE BOX(4)直前に受けた出力命令以降にステップ1214から渡された全てのBOX の4つを順番に結合し、そのデータを無線送出装置514へと入力する。
以上の処理により、FREE BOX生成・追加回路512から入力されたMPEG4第二形式ストリーム(図9下)は、MPEG4分割フィルタ1001により、複数の小さなMPEG4第二形式ストリーム(以下、これを「フラグメントストリーム」と呼ぶ)へと分割される。図14は、フラグメントストリームの例を示す。このフラグメントストリームはMPEG4規格に準拠しているため、MPEG4を再生可能なプレイヤーであれば、フラグメントストリーム単独で映像と音声を再生可能である。
無線送出装置514は、ひとつひとつのフラグメントストリームを、別のファイルとして受信装置1100へと転送する。例えば、それぞれを別の名前のファイルとして順次FTPで転送する方法が考えられる。図18は、各フラグメントストリームを別の名前のファイルとして順次FTPで転送する際のファイル名の命名規則の例を示す。図18に示すファイル名は「_」で区切られた5つの部分と拡張子の合計6部分から成る。1番目のセクションにはビデオカメラの型番、2番目のセクションにはそのビデオカメラの製造固有番号を記述している。これらにより、映像を送信しているビデオカメラの個体が特定できるようにするためである。3番目のセクションは2つの数字からなる。最初の数字はビデオカメラの状態をあらわし、1ならビデオカメラが録画をおこなっている状態、0ならビデオカメラは録画をおこなっていない状態であることを示す。この数字をみることにより、受信装置1100は、自機側で映像ファイルとメタファイルの記録をおこなうべきか否かを判断できる。2つめの数字は、ストリームの終端フラグである。録画動作の終了などをきっかけとしてFREE BOX生成・追加回路512から出力されるMPEG4第二形式ストリームが終端を迎えた場合、そのストリームの最終端に対応するフラグメントストリームに付加されるファイル名では、この値が1に設定される。それ以外では0である。これにより、受信装置1100がストリームの終端を容易に判別できる。さらに4番目のセクションは、FREE BOX生成・追加回路512から出力されるMPEG4第二形式ストリームごとに付加される固有番号である。単純な例としては、録画動作の終了などをきっかけとしてFREE BOX生成・追加回路512から出力されるMPEG4第二形式ストリームが切り替わるたびに、1つずつインクリメントする整数値が考えられる。この値をファイル名に入れておくことにより、通信障害等の理由で先に述べた「ストリームの終端フラグ」が1に設定されたファイルの転送が欠落した場合でも、この値が変化したことを以って、受信装置1100は、ストリームが切り替わったことを認識できるようになる。5つ目のセクションには、既に送信したフラグメントストリームのサイズの合計を記述する。この値は、録画動作の終了などをきっかけとしてFREE BOX生成・追加回路512から出力されるMPEG4第二形式ストリームが切り替わるたびにゼロにリセットする。受信装置1100は、この値と、自機が受信したフラグメントファイルの合計サイズを比較することで、通信障害等の理由でデータ転送の欠落が発生したか否かを簡単にチェックすることができる。最後の拡張子部分は、先に説明したようにファイル形式切り替えスイッチ509の状態を反映しており、「MOV」または「MP4」のいずれかの文字列である。
次に、図15を参照しながら、本実施例における受信装置1100が備えるMPEG4結合フィルタ1101の機能を説明する。
図15は、MPEG4結合フィルタ1101の動作を示すフローチャートである。
MPEG4結合フィルタ1101は、無線受信装置601の出力を入力データ1501とし、そこからMPEG4のファイルフォーマットにおけるBOXを解釈し、その内容を取得する。
まず、MPEG4結合フィルタ1101は、取得したBOXがFTYP BOXか否かを判断する(ステップ1502)。FTYP BOXでなかった場合は、次のBOXを解釈し、取得する。FTYP BOXであった場合は、そのBOXをMPEG4デコーダー602とMPEG4BOX構成検出回路605に渡す(ステップ1503)。ステップ1502とステップ1503は、受信装置1100がビデオカメラ1000の送出する映像データの途中から受信した場合でも、FTYP BOXから開始される正しい形式のMPEG4第二形式ストリームをMPEG4デコーダー602とMPEG4BOX構成検出回路605に渡すためにおこなわれる処理である。
次にMPEG4結合フィルタ1101は入力データ1501から次のBOXを解釈して取得する。このBOXは、FTYP BOXの次のBOXであるから、本実施例においては、常にMOOV BOXである。MPEG4結合フィルタ1101は、このBOXをMPEG4デコーダー602とMPEG4BOX構成検出回路605に渡す(ステップ1504)。
次に、変数CAPTURED_MDAT_SUMとCAPTURED_RMIT_SUMの値を共にゼロで初期化する(ステップ1505)。これらの変数は、通信障害などに起因するデータの欠落を検知するために使用される。
次にMPEG4結合フィルタ1101は入力データ1501から次のBOXを解釈して取得する。そして取得したBOXが「FTYP BOXまたはMOOV BOX」以外であるかを判断する(ステップ1505)。「FTYP BOXまたはMOOV BOX」であった場合は、再び入力データ1501から次のBOXを解釈して取得する。一方、「FTYP BOXまたはMOOV BOX」以外であった場合は、そのBOXが「dsum」をシグネチャにもつFREE BOXであるか否か、すなわち図12のステップ1208で生成されたFREE BOXであるか否かを判断する(ステップ1507)。
ステップ1507でBOXが「dsum」をシグネチャにもつFREE BOXであると判断した場合は、以下の処理をおこなう。まず、そのFREE BOXに記録されたMDAT_SUM(先に説明した図13参照)の値が、変数CAPTURED_MDAT_SUMと一致しているか否かの比較をおこなう(ステップ1508)。この値が一致しないということは、受信装置1100が受信したデータに欠落があったことを表している。その場合は、MPEG4結合フィルタ1101は、FREE BOXに記録されたMDAT_SUMの値と変数CAPTURED_MDAT_SUMの値をMPEG4再構成モジュール1102に通知し、MPEG4BOX構成検出回路605には、FREE BOXに記録されたMDAT_SUMの値と変数CAPTURED_MDAT_SUMの値の差分にあたる値のバイト数をコンテンツに持つMDAT BOXを生成して渡す(ステップ1509)。このとき、MDAT BOXのコンテンツに入れるデータの内容はなんでもよい。例えば、全てゼロという値で埋めたものであってもかまわない。その後、変数CAPTURED_MDAT_SUMにFREE BOXに記録されたMDAT_SUMの値を代入する(ステップ1510)。FREE BOXに記録されたMDAT_SUMの値と変数CAPTURED_MDAT_SUMの値を通知されたMPEG4再構成モジュール1102の動作については後に説明する。
次に、MPEG4結合フィルタ1101は、FREE BOXに記録されたRMIT_SUM(先に説明した図13参照)の値が、変数CAPTURED_RMIT_SUMと一致しているか否かの比較をおこなう(ステップ1511)。この値が一致しない場合は、MPEG4結合フィルタ1101は、FREE BOXに記録されたRMIT_SUMの値と変数CAPTURED_RMIT_SUMの値をメタファイル抽出モジュール1103に通知し、MPEG4BOX構成検出回路605には、FREE BOXに記録されたRMIT_SUMの値と変数CAPTURED_RMIT_SUMの値の差分にあたる値のバイト数をコンテンツに持ち、シグネチャが「rmit」のFREE BOXを生成して渡す(ステップ1512)。このとき、コンテンツに入れるデータの内容はなんでもよい。例えば、全てゼロという値で埋めたものであってもかまわない。その後、変数CAPTURED_RMIT_SUMにFREE BOXに記録されたRMIT_SUMの値を代入する(ステップ1513)。FREE BOXに記録されたRMIT_SUMの値と変数CAPTURED_RMIT_SUMの値を通知されたメタファイル抽出モジュール1103の動作については後に説明する。
以上の処理が終わった後は、MPEG4結合フィルタ1101は、BOXをMPEG4BOX構成検出回路605およびMPEG4デコーダー602に出力する(ステップ1514)。
次に、BOXがシグネチャ「rmit」を含むFREE BOXであるかを判断し(ステップ1515)、該当する場合は、そのFREE BOXのサイズから12バイトを引いた値を変数CAPTURED_RMIT_SUMに足す(ステップ1516)。12バイトを引くのは、FREE BOX自体のサイズ表記と「free」の4文字、およびシグネチャに該当する部分のサイズを引いて、メタファイルのコンテンツ部が格納されている部分のサイズのみを計算するためである。
次に、BOXがMDAT BOXであるかを判断し(ステップ1517)、該当する場合は、そのMDAT BOXのサイズから8バイトを引いた値を変数CAPTURED_MDAT_SUMに足す(ステップ1518)。8バイトを引くのは、MDAT BOX自体のサイズ表記と「mdat」の4文字に該当する部分のサイズを引いて、MDATのコンテンツのサイズのみを計算するためである。
以上の処理が終わった後は、再び次のBOXを解釈して取得し、ステップ1506以降の処理を繰り返す。これにより、通信障害等の理由で欠落した場所を除いて、ビデオカメラ1000が備えるFREE BOX生成・追加回路512が出力したMPEG4第二形式ストリームと全く同じストリームがMPEG4結合フィルタ1101からMPEG4BOX構成検出回路605に出力される。また、欠落した場所に関する情報も、MPEG4再構成モジュール1102およびメタファイル抽出モジュール1103には漏れなく通知されていることになる。同時に、MPEG4デコーダー602には通信障害等の理由で欠落した部分を取り除いたMPEG4第二形式ストリームが出力される。これにより、通信障害等の理由でビデオカメラ1000と受信装置1100との間の通信が途絶えても、通信の復帰後速やかに、受信装置1100の使用者は、ビデオカメラ1000で撮影している映像のリアルタイムな視聴をおこなうことができる。ビデオカメラ1000が映像の送信を開始しはじめてから時間の経った後に受信装置1100が映像の受信を開始した場合も同様である。
さて、MPEG4再構成モジュール1102がFTYP BOX出力モジュール607とMDAT BOX結合モジュール608からの出力をもとにMPEG4第一形式のストリームを構成する方法については先に説明した実施の形態の場合と同様である。ただし、本実施例においては、MPEG4結合フィルタ1101から通知された欠落に関する情報をもとにして、欠落したデータを補完する機能を有するところが、先の実施の形態との差異である。
先に説明したように、MPEG4再構成モジュール1102には、MPEG4結合フィルタ1101から、FREE BOXに記録されたRMIT_SUMの値と変数CAPTURED_RMIT_SUMの値に不一致を生じた場合の、それぞれの値が通知されている。ここで、通知された「FREE BOXに記録されたRMIT_SUMの値」が「a」で、「変数CAPTURED_RMIT_SUMの値」が「b」であったとする。この場合、MPEG4再構成モジュール1102が生成したMPEG4第一形式ストリームのデータのうち、MDAT BOXの先頭から「b+8バイト目」から「a+7バイト目」までのデータが欠落のために不正なデータ(図15のステップ1509でMPEG4結合フィルタ1101が独自に生成したデータ。例えば全てがゼロのデータ)となっていることを示している。図16は、MPEG4ファイルの欠落部分(斜線部)を示す。このとき、MPEG4再構成モジュール1102は、無線受信装置601を通じてビデオカメラ1000と通信し、ビデオカメラ1000が備えるホストコントローラ1002を用いて、記録媒体515に記録された対応するファイルの「b+8バイト目からa+7バイト目」のみを読みだし、前記の欠落部分に上書きする。これにより、通信障害等の理由によりデータに欠落部分が生じた場合でも、ビデオカメラから最低限のデータを改めてダウンロードしてくるだけで、「ビデオカメラ1000の記録媒体515に記録される映像ファイルとビット単位で全く同一のデータを受信装置1100の記録媒体613にも得る」という本開示にかかるシステムの目的を達成できる。
なお、図10では、ホストコントローラ1002とホストコントローラ513とは別個の構成要素としたが、これは一例に過ぎない。1つのホストコントローラで読み出し処理と書き込み処理の両方を行うことは可能であるため、ホストコントローラ1002とホストコントローラ513とを統合してもよい。
FREE BOXに記録されたRMIT_SUMの値と変数CAPTURED_RMIT_SUMの値を通知されたメタファイル抽出モジュール1103の動作も同様である。「FREE BOXに記録されたRMIT_SUMの値」を「c」、「変数CAPTURED_RMIT_SUMの値」が「d」の場合、メタファイル抽出モジュールが生成したメタファイルの中の、コンテンツ部の先頭から「dバイト目」から「c−1バイト目」までのデータが欠落のために不正なデータとなっていることを示している。図17は、メタファイルの欠落部分(斜線部)を示す。
メタファイル抽出モジュール1103は、無線受信装置601を通じてビデオカメラ1000と通信し、ビデオカメラ1000の備えるホストコントローラ1002を用いて、記録媒体515に記録された対応するメタファイルの「dバイト目からc−1バイト目」のみを読みだし、前記の欠落部分に上書きする。これにより、メタファイルに関しても、通信障害等の理由によりデータに欠落部分が生じた場合でも、ビデオカメラから最低限のデータを改めてダウンロードしてくるだけで、「ビデオカメラ1000の記録媒体515に記録される映像ファイルとビット単位で全く同一のデータを受信装置1100の記録媒体613にも得る」という本開示にかかるシステムの目的を達成できる。
[3.まとめおよび効果等]
実施形態に係る記録装置は、例えば、記録媒体にMPEG4ファイルフォーマットで映像データと音声データとを記録する記録装置500であって、送信装置514と、MPEG4ファイルフォーマットのMOOV BOXに、映像データおよび音声データの多重化に関する多重化情報を格納したMPEG4データを生成する第一のMPEG4ファイルフォーマット生成回路507と、MPEG4ファイルフォーマットのMOOF BOXに、多重化情報を格納したMPEG4データを生成する第二のMPEG4ファイルフォーマット生成回路508であって、生成したMPEG4データから第一のMPEG4ファイルフォーマット生成回路が生成したMPEG4データを再現するために必要となる再現情報を、MPEG4ファイルフォーマットの、再生時に無視される種類のデータを格納するためのBOXに格納して、送信装置を介して外部装置に出力する第二のMPEG4ファイルフォーマット生成回路508と、第一のMPEG4ファイルフォーマット生成回路が生成したMPEG4データを記録媒体に記録するコントローラ513とを備える。
第二のMPEG4ファイルフォーマット生成回路は、例えば、再現情報を、MPEG4ファイルフォーマットのFREE BOXおよびSKIP BOXのいずれかに格納したMPEG4データを生成する。
第二のMPEG4ファイルフォーマット生成回路は、例えば、第一のMPEG4ファイルフォーマット生成回路が生成するMOOV BOXを再現情報として、FREE BOXおよびSKIP BOXのいずれかに格納する。
送信装置は、例えば、第二のMPEG4ファイルフォーマット生成回路が生成したMPEG4データを複数に分割して外部装置600に送信する。
送信装置は、例えば、第二のMPEG4ファイルフォーマット生成回路が生成したMPEG4データのFTYP BOXおよびMOOV BOXに、第二のMPEG4ファイルフォーマット生成回路が生成したMPEG4データから抽出した一組以上のMOOF BOXおよびMDAT BOXの対を付加する。
送信装置は、例えば、外部装置への送信が完了した、MPEG4データのMDAT BOXの合計サイズに関する情報を、FREE BOXに格納して、分割後のMPEG4ファイルに付加する。
送信装置は、例えば、外部装置への送信が完了した、MDAT BOXの合計サイズに関する情報をSKIP BOXに格納して、分割後のMPEG4ファイルに付加する。
コントローラは、例えば、記録媒体に、映像データと音声データとを動画ファイルとして記録し、さらに、映像データまたは音声データに関連する情報を動画ファイルとは別にメタファイルとして記録し、第二のMPEG4ファイルフォーマット生成回路は、さらにメタファイルの内容を、再生時に無視される種類のデータを格納するためのBOXに格納して送信装置を介して外部装置に出力する。
第二のMPEG4ファイルフォーマット生成回路は、例えば、メタファイルの内容を、再現情報が格納された、MPEG4ファイルフォーマットのFREE BOXおよびSKIP BOXのいずれかに格納したMPEG4データを生成する。
メタファイルの内容は、例えば、タイムコードの情報を含む。
メタファイルの内容は、例えば、映像データに関する映像が撮影された位置の緯度および経度の情報を含む。
送信装置は、例えば、外部装置への送信が完了したメタファイルの合計サイズに関する情報を、再現情報が格納された、MPEG4ファイルフォーマットのFREE BOXおよびSKIP BOXのいずれかに格納して、MPEG4データを付加する。
実施形態に係る記録装置は、例えば、記録媒体にMPEG4ファイルフォーマットでデータを記録する記録装置600であって、MPEG4ファイルフォーマットでは、少なくとも、第一形式でMPEG4データを構成することが可能であり、第二形式のMPEG4データを受信する受信装置601と、再生時に無視される種類のデータを格納するためのBOXに、第二形式のMPEG4データから第一形式のMPEG4データを再現するための再現情報が格納されているか否かを検出する解釈回路606と、解釈回路によって再現情報が格納されていることが検出された場合に、再現情報から、第一形式のMPEG4データを構成するBOXデータを抽出する第1モジュール609と、BOXデータを利用して、第二形式のMPEG4データから第一形式のMPEG4データを構成する第2モジュール611と、第一形式のMPEG4データを記録媒体に記録するコントローラ612とを備える。
解釈回路は、例えば、MPEG4ファイルフォーマットのFREE BOXおよびSKIP BOXのいずれかに、再現情報が格納されているか否かを検出する。
MPEG4データのBOXには、例えば、映像データおよび音声データの多重化に関する多重化情報が格納されており、第1モジュールは、例えば、多重化情報を再現情報として抽出する。
MPEG4データのBOXには、例えば、映像データおよび音声データの多重化に関する多重化情報を格納したMOOV BOXが格納されている。
記録装置は、例えば、メタデータを抽出する第3モジュール610をさらに備え、MPEG4データは、映像データおよび音声データを含んでおり、解釈回路は、MPEG4データのBOXに、映像データおよび音声データの少なくとも一方に関連するメタデータが格納されているか否かを検出し、解釈回路によってメタデータが格納されていることが検出された場合に、第3モジュールはメタデータを抽出し、コントローラは、メタデータを記録媒体にさらに記録する。
解釈回路は、例えば、MPEG4ファイルフォーマットのFREE BOXおよびSKIP BOXのいずれかに、メタデータが格納されているか否かを検出する。
メタデータは、例えば、映像データおよび音声データに関連するタイムコードを含む。
メタデータは、例えば、映像が撮影された位置の緯度および経度の情報を含む。
実施形態に係る記録システムは、例えば、記録装置500を第一の装置として有し、記録装置600を第二の装置として有する記録システム100であって、第一の装置のコントローラは、第一形式のMPEG4データを第1の記録媒体102に記録し、第二の装置の第2モジュールは、第二形式のMPEG4データから、第1形式のMPEG4データと同一のデータを生成し、第二の装置のコントローラは、第2モジュールによって生成された第1形式のMPEG4データを、第1の記録媒体とは異なる第2の記録媒体106に記録する。
上述の構成により、ビデオカメラとそれに無線LAN等で接続されたPCにおいて、ビデオカメラが撮影している映像をPCでリアルタイムに視聴したいという要求と、ビデオカメラの内蔵記録媒体に記録される映像ファイルと全く同一の映像ファイルを前記PCにも同時に記録したいという要求を同時に満たすことが可能となる。また、映像ファイル以外のメタファイルも、対応する映像ファイルとのペアを明確にしてビデオカメラからPCに転送することができる。しかも、本開示で転送に用いるMPEG4ファイルフォーマットはMPEG4第二形式に準拠しているために一般的な映像ファイルプレーヤーでも再生することができるので、ユーザーの利便性が向上する。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、映像ファイルを記録し、同時にリアルタイムに映像データを外部装置に転送するビデオカメラに適用可能である。また本開示は、映像データをリアルタイムに受信しながら再生し、同時に映像データをファイルとして記録する受信装置に適用可能である。
101 ビデオカメラ
102 記録媒体
103 録画開始ボタン
104 無線伝送装置
105 PC
106 記録媒体
107 無線伝送装置
500 ビデオカメラ
501 撮像素子
502 マイク
503 センサー
504 録画開始・停止ボタン
505 H.264エンコーダー
506 AACエンコーダー
507 MPEG4第一形式マクサー
508 MPEG4第二形式マクサー
509 ファイル形式切り替えスイッチ
510 メタファイル生成モジュール
511 MOOV BOX検出回路
512 FREE BOX生成・追加回路
513 ホストコントローラ
514 無線送出装置
515 記録媒体
600 受信装置
601 無線受信装置
602 MPEG4デコーダー
603 スクリーン
604 ファイル形式決定回路
605 MPEG4BOX構成検出回路
606 FREE BOX解釈回路
607 FTYP BOX出力モジュール
608 MDAT BOX結合モジュール
609 MOOV BOX抽出モジュール
610 メタファイル抽出モジュール
611 MPEG4再構成モジュール
612 ホストコントローラ
613 記録媒体
614 スピーカー
1000 ビデオカメラ
1001 MPEG4分割フィルタ
1002 ホストコントローラ
1100 受信装置
1101 MPEG4結合フィルタ
1102 MPEG4再構成モジュール
1103 メタファイル抽出モジュール

Claims (21)

  1. 記録媒体にMPEG4ファイルフォーマットで映像データと音声データとを記録する記録装置であって、
    送信装置と、
    MPEG4ファイルフォーマットのMOOV BOXに、映像データおよび音声データの多重化に関する多重化情報を格納したMPEG4データを生成する第一のMPEG4ファイルフォーマット生成回路と、
    MPEG4ファイルフォーマットのMOOF BOXに、前記多重化情報を格納したMPEG4データを生成する第二のMPEG4ファイルフォーマット生成回路であって、生成した前記MPEG4データから前記第一のMPEG4ファイルフォーマット生成回路が生成したMPEG4データを再現するために必要となる再現情報を、前記MPEG4ファイルフォーマットの、再生時に無視される種類のデータを格納するためのBOXに格納して、前記送信装置を介して外部装置に出力する第二のMPEG4ファイルフォーマット生成回路と
    前記第一のMPEG4ファイルフォーマット生成回路が生成したMPEG4データを記録媒体に記録するコントローラと
    を備えた、記録装置。
  2. 前記第二のMPEG4ファイルフォーマット生成回路は、前記再現情報を、前記MPEG4ファイルフォーマットのFREE BOXおよびSKIP BOXのいずれかに格納したMPEG4データを生成する、請求項1に記載の記録装置。
  3. 前記第二のMPEG4ファイルフォーマット生成回路は、前記第一のMPEG4ファイルフォーマット生成回路が生成するMOOV BOXを前記再現情報として、前記FREE BOXおよび前記SKIP BOXのいずれかに格納する、請求項2に記載の記録装置。
  4. 前記送信装置は、前記第二のMPEG4ファイルフォーマット生成回路が生成したMPEG4データを複数に分割して前記外部装置に送信する、請求項1に記載の記録装置。
  5. 前記送信装置は、前記第二のMPEG4ファイルフォーマット生成回路が生成したMPEG4データのFTYP BOXおよびMOOV BOXに、前記第二のMPEG4ファイルフォーマット生成回路が生成したMPEG4データから抽出した一組以上のMOOF BOXおよびMDAT BOXの対を付加する、請求項4に記載の記録装置。
  6. 前記送信装置は、前記外部装置への送信が完了した、前記MPEG4データのMDAT BOXの合計サイズに関する情報を、前記FREE BOXに格納して、分割後のMPEG4ファイルに付加する、請求項4に記載の記録装置。
  7. 前記送信装置は、前記外部装置への送信が完了した、MDAT BOXの合計サイズに関する情報をSKIP BOXに格納して、分割後のMPEG4ファイルに付加する、請求項4に記載の記録装置。
  8. 前記コントローラは、前記記録媒体に、前記映像データと前記音声データとを動画ファイルとして記録し、さらに、前記映像データまたは前記音声データに関連する情報を前記動画ファイルとは別にメタファイルとして記録し、
    前記第二のMPEG4ファイルフォーマット生成回路は、さらに前記メタファイルの内容を、前記再生時に無視される種類のデータを格納するためのBOXに格納して前記送信装置を介して外部装置に出力する、請求項1に記載の記録装置。
  9. 前記第二のMPEG4ファイルフォーマット生成回路は、前記メタファイルの内容を、前記再現情報が格納された、前記MPEG4ファイルフォーマットの前記FREE BOXおよび前記SKIP BOXのいずれかに格納したMPEG4データを生成する、請求項8に記載の記録装置。
  10. 前記メタファイルの内容はタイムコードの情報を含む、請求項8に記載の記録装置。
  11. 前記メタファイルの内容は、前記映像データに関する映像が撮影された位置の緯度および経度の情報を含む、請求項8に記載の記録装置。
  12. 前記送信装置は、前記外部装置への送信が完了したメタファイルの合計サイズに関する情報を、前記再現情報が格納された、前記MPEG4ファイルフォーマットの前記FREE BOXおよび前記SKIP BOXのいずれかに格納して、前記MPEG4データを付加する、請求項9に記載の記録装置。
  13. 記録媒体にMPEG4ファイルフォーマットでデータを記録する記録装置であって、
    MPEG4ファイルフォーマットでは、少なくとも、第一形式でMPEG4データを構成することが可能であり、
    第二形式のMPEG4データを受信する受信装置と、
    再生時に無視される種類のデータを格納するためのBOXに、前記第二形式のMPEG4データから前記第一形式のMPEG4データを再現するための再現情報が格納されているか否かを検出する解釈回路と、
    前記解釈回路によって前記再現情報が格納されていることが検出された場合に、前記再現情報から、前記第一形式のMPEG4データを構成するBOXデータを抽出する第1モジュールと、
    前記BOXデータを利用して、前記第二形式のMPEG4データから前記第一形式のMPEG4データを構成する第2モジュールと
    前記第一形式のMPEG4データを記録媒体に記録するコントローラと
    を備えた記録装置。
  14. 前記解釈回路は、前記MPEG4ファイルフォーマットのFREE BOXおよびSKIP BOXのいずれかに、前記再現情報が格納されているか否かを検出する、請求項13に記載の記録装置。
  15. 前記MPEG4データの前記BOXには、映像データおよび音声データの多重化に関する多重化情報が格納されており、
    前記第1モジュールは、前記多重化情報を前記再現情報として抽出する、請求項13に記載の記録装置。
  16. 前記MPEG4データの前記BOXには、映像データおよび音声データの多重化に関する多重化情報を格納したMOOV BOXが格納されている、請求項15に記載の記録装置。
  17. メタデータを抽出する第3モジュールをさらに備え、
    前記MPEG4データは、映像データおよび音声データを含んでおり、
    前記解釈回路は、前記MPEG4データの前記BOXに、前記映像データおよび音声データの少なくとも一方に関連するメタデータが格納されているか否かを検出し、
    前記解釈回路によって前記メタデータが格納されていることが検出された場合に、前記第3モジュールは前記メタデータを抽出し、
    前記コントローラは、前記メタデータを前記記録媒体にさらに記録する、請求項13に記載の記録装置。
  18. 前記解釈回路は、前記MPEG4ファイルフォーマットのFREE BOXおよびSKIP BOXのいずれかに、前記メタデータが格納されているか否かを検出する、請求項17に記載の記録装置。
  19. 前記メタデータは、前記映像データおよび前記音声データに関連するタイムコードを含む、請求項18に記載の記録装置。
  20. 前記メタデータは、映像が撮影された位置の緯度および経度の情報を含む、請求項18に記載の記録装置。
  21. 請求項1に記載の記録装置を第一の装置として有し、
    請求項13に記載の記録装置を第二の装置として有する記録システムであって、
    前記第一の装置のコントローラは、前記第一形式のMPEG4データを第1の記録媒体に記録し、
    前記第二の装置の第2モジュールは、前記第二形式のMPEG4データから、前記第1形式のMPEG4データと同一のデータを生成し、
    前記第二の装置のコントローラは、前記第2モジュールによって生成された前記前記第1形式のMPEG4データを、前記第1の記録媒体とは異なる第2の記録媒体に記録する、記録システム。
JP2013045751A 2012-03-28 2013-03-07 記録装置および記録システム Pending JP2013229860A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013045751A JP2013229860A (ja) 2012-03-28 2013-03-07 記録装置および記録システム
US13/790,203 US8798441B2 (en) 2012-03-28 2013-03-08 Recording apparatus and recording system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012073216 2012-03-28
JP2012073216 2012-03-28
JP2013045751A JP2013229860A (ja) 2012-03-28 2013-03-07 記録装置および記録システム

Publications (1)

Publication Number Publication Date
JP2013229860A true JP2013229860A (ja) 2013-11-07

Family

ID=49235154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013045751A Pending JP2013229860A (ja) 2012-03-28 2013-03-07 記録装置および記録システム

Country Status (2)

Country Link
US (1) US8798441B2 (ja)
JP (1) JP2013229860A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015198407A (ja) * 2014-04-02 2015-11-09 キヤノン株式会社 画像記録装置およびその制御方法、並びにプログラム
KR20150126335A (ko) * 2015-10-27 2015-11-11 삼성전자주식회사 촬영장치 및 촬영영상 제공방법
KR20220086066A (ko) * 2020-12-16 2022-06-23 주식회사 인베트 영상을 분산처리 하는 포장 작업 관리 시스템
US11533420B2 (en) 2017-08-17 2022-12-20 Sony Group Corporation Server, method, non-transitory computer-readable medium, and system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170083868A (ko) * 2016-01-11 2017-07-19 삼성전자주식회사 데이터 이동 장치 및 데이터 이동 방법
CN110910916B (zh) * 2019-11-29 2021-08-03 四川效率源信息安全技术股份有限公司 一种基于文件结构的监控视频的雕复方法
CN113873187B (zh) * 2020-06-12 2023-03-10 华为技术有限公司 跨终端录屏方法、终端设备及存储介质
CN113542764A (zh) * 2021-07-12 2021-10-22 中国电信股份有限公司 视频快速启播方法、装置、电子设备及计算机可读介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276387A (ja) * 1999-03-23 2000-10-06 Toshiba Corp メタデータ登録方法および装置、データサーバ装置、並びにメタデータ登録用プログラムを記憶した記憶媒体
JP2003283900A (ja) 2002-03-22 2003-10-03 Sanyo Electric Co Ltd デジタルカメラ
US8214655B2 (en) * 2002-03-29 2012-07-03 Kabushiki Kaisha Toshiba Data structure of multimedia file format, encrypting method and device thereof, and decrypting method and device thereof
WO2005103906A1 (ja) * 2004-04-20 2005-11-03 Matsushita Electric Industrial Co., Ltd. 記録再生装置、およびコンテンツデータ保護システム
WO2006090852A1 (ja) * 2005-02-24 2006-08-31 Matsushita Electric Industrial Co., Ltd. データ再生装置
JP2006352458A (ja) 2005-06-15 2006-12-28 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4264833B2 (ja) * 2005-06-17 2009-05-20 ソニー株式会社 記録装置および方法、プログラム、並びに記録媒体
US20090129759A1 (en) 2006-06-26 2009-05-21 Noboru Mizuguchi Format Converter, Format Conversion Method and Moving Picture Decoding System
KR101355296B1 (ko) * 2010-08-09 2014-01-27 파나소닉 주식회사 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015198407A (ja) * 2014-04-02 2015-11-09 キヤノン株式会社 画像記録装置およびその制御方法、並びにプログラム
KR20150126335A (ko) * 2015-10-27 2015-11-11 삼성전자주식회사 촬영장치 및 촬영영상 제공방법
US11533420B2 (en) 2017-08-17 2022-12-20 Sony Group Corporation Server, method, non-transitory computer-readable medium, and system
KR20220086066A (ko) * 2020-12-16 2022-06-23 주식회사 인베트 영상을 분산처리 하는 포장 작업 관리 시스템
KR102421523B1 (ko) * 2020-12-16 2022-07-15 주식회사 인베트 영상을 분산처리 하는 포장 작업 관리 시스템

Also Published As

Publication number Publication date
US20130259441A1 (en) 2013-10-03
US8798441B2 (en) 2014-08-05

Similar Documents

Publication Publication Date Title
JP2013229860A (ja) 記録装置および記録システム
WO2019205872A1 (zh) 视频流处理方法、装置、计算机设备及存储介质
JP5193291B2 (ja) 2d映像メディア標準に基づいて3d映像ファイルを生成及び再生するためのシステム及び方法
JP4332365B2 (ja) メタデータ表示システム,映像信号記録再生装置,撮像装置,メタデータ表示方法
JP4332364B2 (ja) 映像記録システム,映像記録方法
US20120054370A1 (en) Data file transfer apparatus and control method of the data file transfer apparatus
US9900573B2 (en) Image storage apparatus, image reproducing apparatus, method of storing image, method of reproducing an image, recording medium and photographing apparatus
JP2016103830A (ja) 2d映像メディア標準に基づいて3d立体映像ファイルを生成及び再生するシステム及び方法
KR20130084345A (ko) Mp4 파일 구성 장치 및 복구 장치, mp4 파일 구성 방법 및 복구 방법
JP2007274142A (ja) 映像送信装置及び映像送信方法
US9264746B2 (en) Content distribution system, content distribution server, content distribution method, software program, and storage medium
JP6145748B2 (ja) 映像再生装置および映像記録装置
JP6118292B2 (ja) マルチメディアコンテンツのデュアルタイプ再生
JP6128329B2 (ja) 映像記録装置およびカメラデコーダ
US10104142B2 (en) Data processing device, data processing method, program, recording medium, and data processing system
US20110276662A1 (en) Method of constructing multimedia streaming file format, and method and apparatus for servicing multimedia streaming using the multimedia streaming file format
JP2010011287A (ja) 映像伝送方法および端末装置
KR101603976B1 (ko) 동영상 파일 결합 방법 및 그 장치
CN104219538A (zh) 一种音视频实时采集上传及数据处理方法及系统
JP6524865B2 (ja) コンテンツ管理装置、コンテンツ管理方法、及びコンテンツ管理プログラム
JP2007158434A (ja) カメラレコーダ
JP4756848B2 (ja) データ配信方法および情報処理装置
CN115250266B (zh) 视频处理方法及装置、流媒体设备及存储点播系统
US10354695B2 (en) Data recording control device and data recording control method
JP2009159314A (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141006