JP2011103617A - Video processing apparatus - Google Patents
Video processing apparatus Download PDFInfo
- Publication number
- JP2011103617A JP2011103617A JP2009258586A JP2009258586A JP2011103617A JP 2011103617 A JP2011103617 A JP 2011103617A JP 2009258586 A JP2009258586 A JP 2009258586A JP 2009258586 A JP2009258586 A JP 2009258586A JP 2011103617 A JP2011103617 A JP 2011103617A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- video
- recording
- file
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
Description
本発明は、複数の映像データを記録し、記録した複数の映像データを同期して再生する映像処理装置に関するものである。 The present invention relates to a video processing apparatus that records a plurality of video data and reproduces the recorded video data in synchronization.
近年、光ディスクや、半導体メモリなどのランダムアクセス可能な記録媒体に、映像や音声データをファイル化して記録する装置が一般的になり、例えば、放送局や映像制作会社などにおいても、このような記録媒体を備えた編集装置を利用して映像編集作業などが行なわれている。このような映像編集作業を行なうため、映像や音声データなどのコンテンツデータは、これらコンテンツの付加情報であるメタデータとともに記録媒体に記録され、メタデータを利用して編集作業等の効率化が図られている。 In recent years, devices for recording video and audio data as files on a randomly accessible recording medium such as an optical disk or a semiconductor memory have become common. For example, such a recording is also used in broadcasting stations and video production companies. Video editing work or the like is performed using an editing device equipped with a medium. In order to perform such video editing work, content data such as video and audio data is recorded on a recording medium together with metadata that is additional information of the content, and the editing work is made more efficient using the metadata. It has been.
一方、これらの方法により制作された映像を提示する環境として、マルチ画面や超高精細画面に映し出すことが挙げられる。ここで、例えば、マルチ画面において、高精細化するためには、1つのモニタの解像度にあわせた複数の映像を利用することができれば、高精細の観点から言えば最も効果的である。また、超高精細画面においても、複数の高精細映像(例えばハイビジョン映像)を組み合わせることで超高精細映像(ハイビジョン映像より高精細な映像)を生成することが可能である。 On the other hand, as an environment for presenting video produced by these methods, it is possible to display on a multi-screen or an ultra-high-definition screen. Here, for example, in order to achieve high definition in a multi-screen, it is most effective from the viewpoint of high definition if a plurality of videos matching the resolution of one monitor can be used. In addition, even on an ultra-high-definition screen, it is possible to generate an ultra-high-definition video (a higher-definition video than a high-definition video) by combining a plurality of high-definition videos (for example, a high-definition video).
これらの映像データ群を処理する場合には、マルチ画面や超高精細映像の一部となる映像データを、複数同時に同期再生することで、これらの映像データ群を再生する。すなわち、記録媒体に記録される複数の映像データを同期再生する必要がある。この同期再生において、メタデータの一部である同期時刻情報や空間座標等の情報を用いる方法がある。例えば、特許文献1では映像データにおけるフレーム間で同期をとるためのタイムコードを、分割画像の圧縮画像データに多重して記録し、再生時に多重されたタイムコードを参照することで映像出力の同期を図る技術を開示している。また、特許文献2では同期表示させたいデータを、提示の際の時間的または空間的な位置(空間座標)により指定し、これらの情報を各データと対応づけて記録媒体に記録し、再生する際に参照することで映像と文字等の同期再生を図る技術を開示している。
When these video data groups are processed, the video data groups are reproduced by simultaneously reproducing a plurality of pieces of video data that are part of a multi-screen or ultra-high definition video. That is, it is necessary to synchronously reproduce a plurality of video data recorded on the recording medium. In this synchronized playback, there is a method of using information such as synchronization time information and spatial coordinates, which are part of metadata. For example, in
しかしながら、上記従来の構成では、例えばユーザが様々なファイルの中から同一時刻にて同期記録されたファイル群を特定することが困難である課題がある。 However, in the conventional configuration, there is a problem that it is difficult for the user to specify a group of files that are recorded synchronously at the same time from among various files.
上記課題に鑑みて本発明の映像処理装置は、様々なファイルの中から同一時刻にて同期記録されたクリップ群を特定し、利便性を向上させる機能を提供することを目的とする。 In view of the above problems, an object of the video processing apparatus of the present invention is to provide a function for specifying a clip group that is recorded synchronously at the same time from various files and improving convenience.
上述した課題を解決するために、映像処理装置は、同時に表示すべき複数の映像データが入力される入力部と、前記複数の映像データを各々ファイル化し、映像ファイルとして記録媒体に記録する映像ファイル記録部と、前記映像データの時間的な位置づけを識別するための時間識別情報と前記映像データの空間的な位置づけを識別するため空間識別情報とを含む、前記映像ファイルに対応するファイル単位識別情報を生成するファイル単位識別情報生成部と、前記映像ファイルとともに、前記ファイル単位識別情報を前記記録媒体に記録する管理情報記録部と、を備える。 In order to solve the above-described problems, a video processing apparatus includes an input unit to which a plurality of video data to be displayed at the same time are input, and a video file that records each of the plurality of video data as a video file on a recording medium. File unit identification information corresponding to the video file, including a recording unit, temporal identification information for identifying temporal positioning of the video data, and spatial identification information for identifying spatial positioning of the video data And a management information recording unit that records the file unit identification information on the recording medium together with the video file.
上記の構成によって、映像処理装置は、記録媒体に記録される様々なクリップの中から同期記録されたクリップ群を特定し、同期再生することが可能になる。 With the above configuration, the video processing apparatus can specify a group of clips recorded in synchronization from various clips recorded on the recording medium, and perform synchronized playback.
以下、図面を参照しながら実施の形態について説明する。
(実施の形態1)
(1.構成)
(1−1.映像処理装置の構成)
図1は、実施の形態1における映像処理装置の構成を示すブロック図である。映像処理装置は、主記録再生部12と、副記録再生部13、14と、記録系映像処理部10と、再生系映像処理部11と、操作入力部15とを有する。このような映像処理装置は、映像制作事業者や映像システム事業者などを対象とした業務用を目的とするものであり、音楽コンサートや競技会場での映像提示などに利用されている。例えば、競技会場において、カメラで取得した映像データは、主記録再生部12や副記録部13、14を介して着脱可能な記録媒体に記録される。その後、編集室内において、他の映像データとともに、この記録媒体に記録された映像データを用いて編集作業が行なわれる。さらに、編集作業が完了した映像データ(いわゆる完パケ)を記録媒体から再生し、映像データをスポーツイベント等にて映像提示する。
Hereinafter, embodiments will be described with reference to the drawings.
(Embodiment 1)
(1. Configuration)
(1-1. Configuration of Video Processing Device)
FIG. 1 is a block diagram illustrating a configuration of a video processing apparatus according to the first embodiment. The video processing apparatus includes a main recording /
図1に示す映像処理装置において処理される映像データの概要を説明する。図2は、本実施の形態における映像処理装置で扱う複数の映像データの関係を模式的に示した図である。本実施の形態の映像処理装置は、図2に示す映像1、映像2のような空間的位置づけにある複数の映像を同期して処理する装置である。図2(1)のように複数の映像データ(図中では、映像1、2の2つの映像データ)を入力する。入力された映像データは、図2(2)のように映像1と映像2との合成画と、映像1と、映像2と、をそれぞれ別の記録媒体に記録する。本実施の形態では、映像1と映像2との合成画については主記録再生部12に、映像1と映像2との映像データについては2つの副記録再生部13、14にぞれぞれ記録される。また、同様に映像1と映像2との合成画については主記録再生部12を、映像1と映像2との映像データについては2つの副記録再生部13、14を用いて再生し、図2(3)のように映像1と映像2との合成画と、映像1と、映像2と、をユーザに提示する。
An outline of video data processed in the video processing apparatus shown in FIG. 1 will be described. FIG. 2 is a diagram schematically showing a relationship between a plurality of video data handled by the video processing apparatus according to the present embodiment. The video processing apparatus of the present embodiment is an apparatus that processes a plurality of videos in a spatial position, such as
ここで、空間的位置づけとは、全画面の中での映像データの位置づけであり、例えば、映像1は左半分の映像データであり、映像2は右半分の映像データである各映像データの相互関係を指す。また、空間識別情報とは、空間的位置づけを表すための識別子を指し、例えば、左半分の映像データである映像1を1、右半分の映像データである映像2を2とすればよい。
Here, the spatial positioning is the positioning of video data in the entire screen. For example,
次に、図1に示す映像処理装置を構成する各部について具体的に説明する。 Next, each part which comprises the video processing apparatus shown in FIG. 1 is demonstrated concretely.
記録系映像処理部10は、さらに、図1に示すように映像合成部100と、映像遅延部105、106と、第1コマンド多重部102と、第2コマンド多重部103、104と、から構成される。映像遅延部105と第2コマンド多重部103とが、副記録再生部13に提供される映像データを処理対象とする。映像遅延部106と第2コマンド多重部104とが、副記録再生部14に提供される映像データを処理対象とする。以下、各部の詳細を基本的な記録再生処理の流れに従って説明していく。
As shown in FIG. 1, the recording system
映像合成部100は、入力される複数の映像データを合成して1つの映像データを作成する。映像遅延部105、106は、映像データを遅延させるものであり、映像合成部100における映像データの遅延量と同じ量の遅延を行う。この遅延により、映像合成部100と映像遅延部105、106との出力時における各映像データの位相が一致することになる。なお、映像合成部100と映像遅延部105、106とには、例えば、業務用として一般的に利用されるSMPTE(Society of Motion Picture and Television Engineers)−292Mにて規格化されているHD−SDI(High Definition Serial Digitail Interface)を用いて映像データを入力すればよい。
The
第1コマンド多重部102は、主記録再生部12に提供するキー操作情報と、主記録再生部12と副記録再生部13、14との動作状態情報としてのコマンドと、を映像データに多重する。一方、第2コマンド多重部103、104は、副記録再生部13、14へ提供する指示情報としてのコマンドを多重する。この指示情報としてのコマンドは、主記録再生部12と副記録再生部13、14との同期動作を行うために利用している。第1コマンド多重部102と第2コマンド多重部103、104とは、多重するコマンドの内容(情報)の差異のみである。ここで、コマンドの映像データへの多重方法は、垂直ブランキング領域等に多重すればよく、一般的に広く利用されている技術であるため具体的な説明は省略する。
The first
図1において、操作入力部15は、ユーザからの操作を入力するためのブロックである。ユーザは例えば、「記録釦」、「再生釦」、「停止釦」等の釦操作にて操作を入力すればよい。操作入力部15は、このユーザにより入力された操作情報を第1コマンド多重部102へ提供する。
In FIG. 1, an
再生系映像処理部11は、さらに、図1に示すように第1コマンド分離部110と第2コマンド分離部111、112とから構成される。 The reproduction system video processing unit 11 further includes a first command separation unit 110 and second command separation units 111 and 112 as shown in FIG.
第1コマンド分離部110は、主記録再生部12の映像データに多重されているコマンドを分離して、映像データのみを出力する。同様に第2コマンド分離部111、112は、副記録再生部13、14の映像データに多重されているコマンドを分離して、映像データのみを出力する。第2コマンド分離部111は、副記録再生部13から出力される映像データを処理対象とし、第2コマンド分離部112は、副記録再生部14から出力される映像データを処理対象とする。第1コマンド分離部110と第2コマンド分離部111、112との差異は、対応する記録再生部の違いのみである。この分離された動作状態情報としてのコマンドは、再び、主記録再生部12に入力するため第1コマンド多重部102に提供され、第1コマンド多重部102にて映像データに多重し、主記録再生部12に提供されることになる。
The first command separation unit 110 separates the command multiplexed in the video data of the main recording /
主記録再生部12は、映像合成部100が出力する、複数の映像データを合成して生成した1つの映像データを、記録する。
The main recording / reproducing
副記録生成部13、14は、入力された複数の映像データを、映像遅延部105、106で遅延させた後、それぞれの映像データを記録する。
(1−2.主記録再生部の構成)
主記録再生部12のより詳細な構成について説明する。図3は主記録再生部12のより詳細な構成を示すブロック図である。主記録再生部12は、さらに同期運転制御部202と、コマンド制御部201と、コマンド分離部200と、コマンド多重部204と、記録再生部203と、記録媒体210と、から構成される。
The
(1-2. Configuration of main recording / reproducing unit)
A more detailed configuration of the main recording / reproducing
コマンド分離部200は、主記録再生部12に提供される映像データを処理対象とし、第1コマンド多重部102にて映像データに多重されたコマンドを分離する。この分離した操作情報としてのコマンドと、動作状態情報としてのコマンドと、をコマンド制御部201に提供するとともに、コマンド分離後の映像データを記録再生部203に提供する。
The
コマンド制御部201は、第1コマンド多重部102により供給されたコマンドを同期運転制御部202に提供する。また、同期運転制御部202から副記録再生部13、14への指示情報としてのコマンドを受信し、そのコマンドを記録再生部203に提供する。さらに、記録再生部203の動作状態(例えば、停止中、記録中、再生中等の動作を表すステータス情報)に基づいて動作状態情報としてのコマンドを作成し、コマンド多重部204に提供する。この動作状態情報としてのコマンドは、例えば、指示情報としてのコマンドに基づいて動作した記録再生部203のステータス情報を提供すればよく、例えば、記録時に、指示情報としてのコマンドが記録を示す「REC」であり、記録動作を開始した場合には、動作状態情報としてのコマンドも記録中を示す「STATUS_REC」とすればよい。
The
同期運転制御部202は、映像処理装置としてのモード遷移処理を行うブロックであり、コマンド制御部201から供給されたコマンド(操作情報と動作状態情報としてのコマンド)を解釈し、映像処理装置全体としての次の動作モードを決定する。その後、その決定した動作モードに従って、副記録再生部13、14も同じ動作をさせるために副記録再生部13、14への指示情報としてのコマンドをコマンド制御部201に供給する。ここで、動作モードとは、映像処理装置全体として動作状態を表す。このような動作モード及び動作モード遷移の処理は一般的な映像処理装置にて広く利用されている技術であり、具体的な説明は省略する。
The synchronous
記録再生部203は、コマンド分離部200から提供されたコマンド分離後の映像データ及び管理情報を、記録媒体210に映像ファイル及び管理情報ファイルとして記録し、また、記録媒体210に記録されている映像データ及び管理情報を再生するブロックである。また、記録再生部203は、記録時には記録される映像データを、再生時には、再生された映像データをコマンド多重部204に提供する。また、この記録再生部203の動作情報をステータス情報として保持してコマンド制御部201に提供する。
The recording /
なお、記録再生部203は、供給された映像データを圧縮符号化することもできる。圧縮符号化方式としては、例えば、広く利用されているMPEG(Moving Picture Experts Group)−2方式や、MPEG−4/AVC(Advanced Video Coding)方式、あるいは業務用のデジタルVTR(Video Tape Recoder)の規格の一つであるSMPTE(Society of Motion Picture and Television Engineers)−314M(DV−Based 25M)規格が挙げられる。なお、本実施の形態では、圧縮符号化方式に依存しないため、どのような圧縮符号化方式でも用いることができる。また、映像記録媒体210に十分な記録容量が確保できる場合には、映像データに対して圧縮符号化を施さなくてもよい。本実施の形態では、映像データの有効画素の輝度信号と色差信号を順番に並べて1つの映像ファイルとする非圧縮ファイル形式にて記録する形態を説明する。
Note that the recording /
記録媒体210は、映像データ及び管理情報を映像ファイル及び管理情報ファイルとして記録する媒体である。本実施の形態では、記録媒体210は、主記録再生部12に対して着脱可能な形態とする。記録媒体210は、半導体メモリやハードディスクドライブや光ディスク等のランダムアクセス可能な媒体であればよい。本実施の形態では、記録媒体210に半導体メモリを用いた形態を説明する。半導体メモリは、ファイルとして記録再生可能なようにFAT等のファイルシステムにて管理されていればよい(一般的な技術であるため具体的な説明は省略する)。
The
コマンド多重部204は、記録再生部203から提供された映像データに対して、同期運転制御部202からコマンド制御部201を介して提供される指示情報としてのコマンドを多重する。この指示情報としてのコマンドは、引き続き第2コマンド多重部103、104を介して副記録再生部13、14に供給される。
(1−3.副記録再生部の構成)
副記録再生部13、14のより詳細な構成について説明する。図4は、副記録再生部13、14のより詳細な構成を示すブロック図である。副記録再生部13、14は、コマンド制御部301と、コマンド分離部300と、コマンド多重部304と、記録再生部303と、記録媒体310と、から構成される。副記録再生部13、14と主記録再生部12とのブロック構成の差異は、同期運転制御部202を有するか否かのみである。
The
(1-3. Configuration of Sub-Recording / Reproducing Unit)
A more detailed configuration of the sub-recording / reproducing
コマンド制御部301とコマンド分離部300とコマンド多重部304と記録再生部303と記録媒体310とは、それぞれ主記録再生部12のコマンド制御部201とコマンド分離部200とコマンド多重部204と記録再生部203と記録媒体210とに対応し、主記録再生部12の各ブロックと同様の処理を行う。ただし、コマンド分離部300とコマンド多重部304にて多重又は分離されるコマンドの種類が異なる。コマンド分離部300では、主記録再生部12におけるコマンド分離部200とは異なり、指示情報としてのコマンドのみを分離し、コマンド多重部304では、動作状態情報としてのコマンドを多重するのみでよい。
(1−4.同期運転制御部の構成)
主記録再生部12を構成する同期運転制御部202のより詳細な構成について説明する。図5は、同期運転制御部202の構成を示すブロック図である。同期運転制御部202は、コマンド受信部500と、全体動作制御部501と、再生位置同期制御部502と、同一クリップ群検索部503と、コマンド発行部504と、基本コンテンツID生成部505と、から構成される。
The
(1-4. Configuration of Synchronous Operation Control Unit)
The more detailed structure of the synchronous
コマンド受信部500は、コマンド分離部200から提供された操作情報としてのコマンドと、動作状態情報としてのコマンドとを受信し、全体動作制御部501に提供する。
The
全体動作制御部501は、コマンド受信部500から提供されたコマンドから映像処理装置全体を制御するための指示情報としてのコマンドを決定し、その決定したコマンドをコマンド発行部504に提供する。全体動作制御部501では、例えば、動作状態情報としてのコマンドがすべての記録再生部において「停止状態」を表す状態(「STATUS_STOP」)であり、操作情報としてのコマンドが記録を表すコマンド(「REC」)を受信した場合には、記録開始(「REC_START」)を表す指示情報としてのコマンドをコマンド発行部504に提供する。このような動作モードの遷移は一般的な映像処理装置に広く利用されている技術であるため具体的な説明は省略する。さらに、全体動作制御部501は、再生準備及び再生時には、同一クリップ群を検索する目的で同一クリップ群検索部503を利用したり、各記録再生部の再生位置を一致させる目的で再生位置同期制御部502を利用したりする。一方、記録時には、全体動作制御部501は、基本コンテンツID生成部505に対して基本コンテンツIDの取得指示を出し、基本コンテンツID生成部505から基本コンテンツIDを取得する。
The overall
コマンド発行部504は、全体動作制御部501から供給された指示情報としてのコマンドをコマンド制御部201に提供する。
The
基本コンテンツID生成部505は、全体動作制御部501からの指示に基づきコンテンツIDの基本部分を生成し、生成した基本コンテンツIDを全体動作制御部501に提供する。
The basic content
同一クリップ群検索部503は、すべての記録再生部のすべてのスロットに挿入された記録媒体に記録されたクリップから同期再生するために関連付けられたクリップを検索する。そのために、同一クリップ群検索部503は、全体動作制御部501からの指示に基づき、主記録再生部12に記録されたクリップのコンテンツIDを取得する。
The same clip
同一クリップ群検索部503は、主記録再生部12において、記録再生部203から供給される記録媒体210に記録されているクリップの管理情報からコンテンツIDを取得して、全体動作制御部501に提供する。その後、全体動作制御部501は、同一コンテンツIDを検索する指示情報としてのコマンドを発行する。ここで、すべての記録再生部のすべてのスロットに挿入された記録媒体とは、主記録再生部12と副記録再生部13、14とに挿入されているすべての記録媒体210、310を指す。また、同一コンテンツIDを検索する指示情報としてのコマンドにより記録再生部におけるコマンド制御部201、301により同一クリップ群に属するか否かの判断を行うことになる。これら同一クリップ群検索部503とコマンド制御部201、301との連携により同一クリップ群を検索する目的を達成する。
The same clip
再生位置同期制御部502は、全体動作制御部501からの指示に基づき全記録再生部の再生開始位置(映像フレーム)を一致させるために再生開始位置を決定する。再生開始位置は、例えば、再生動作後の場合には主記録再生部12(記録再生部203)における現在の再生停止位置や、初めて再生する場合には先頭クリップの先頭位置などに設定すればよい。これらの再生位置管理は、例えば、クリップの映像データの先頭からのフレーム数で処理を行う。また、これらの再生位置管理はランダムアクセスが可能な記録媒体を用いた一般的な映像再生装置にて利用されている技術であり、具体的な説明は省略する。ここで、全体動作制御部501では、再生開始時あるいは再生開始前に、同一クリップ群検索部503にクリップ検索の指示を行い、その後に再生位置同期制御部502に対して再生位置制御の指示を行う。このことにより、再生時に同一クリップ群に属するクリップを検索し、同じ再生位置(フレーム位置)から再生することが可能である。この再生開始位置は、指示情報としてのコマンドとともにコマンド発行部504を介してコマンド制御部201、301に提供され、コマンド制御部201、301にて、映像データのSeek処理が行われる。すなわち、再生位置同期制御部502とコマンド制御部201、301との連携により全記録再生部の再生開始位置(映像フレーム)を一致させる目的を達成する。
(1−5.コマンド制御部の構成)
主記録再生部12を構成するコマンド制御部201、及び副記録再生部13、14を構成するコマンド制御部301のより詳細な構成について説明する。図6は、コマンド制御部201、301の構成を示すブロック図である。コマンド制御部201、301は、コマンド処理部400と、同一クリップ群判別部401と、記録再生制御部402と、再生位置Seek部403と、から構成される。
The playback position
(1-5. Configuration of command control unit)
A more detailed configuration of the
コマンド処理部400は、同期運転制御部202及びコマンド分離部200から提供されるコマンドを解釈して、同一クリップ群判別部401と記録再生制御部402と再生位置Seek部403とを利用して、記録再生部203、303を制御するブロックである。ただし、同期運転制御部202は、主記録再生部12のみに有するブロックであるため、副記録再生部13、14の場合には、コマンド処理部400は、同期運転制御部202からコマンドを提供されない。
The
記録再生制御部402は、コマンド処理部400からの指示に基づき、記録再生部203、303の記録再生等の動作を制御する。記録再生制御部402は、記録開始、記録停止、再生開始、再生停止等の記録媒体210、310を対象とした記録再生動作を制御する。記録再生制御部402における記録再生動作の制御は、一般的に広く利用されている技術であるため具体的な説明は省略する。
The recording /
同一クリップ群判別部401は、コマンド処理部400からの指示に基づき、コマンドに含まれて提供されるコンテンツIDから、各記録再生部に挿入されている記録媒体210、310において同一クリップ群のクリップの存在有無を判断する。この存在の有無に関する情報と、そのクリップ情報(例えばクリップ番号)をコマンド処理部400に提供する。同一クリップ群判別部401は、主記録再生部12にて使用されない。このため主記録再生部12では不要であり、省略してもよいが、本実施の形態では全記録再生部のコマンド制御部201、301の実装を同一にするために主記録再生部12においても本ブロックを有する形態としている。
Based on an instruction from the
再生位置Seek部403は、コマンド処理部400からの指示に基づき、記録再生部203、303に対して、コマンドに含まれて提供される再生開始位置(Seek先クリップ情報とその先頭からのフレーム数)にSeekさせる制御を行う。なお、再生位置Seek部403とはランダムアクセス可能な記録媒体を備える一般的な映像記録再生で利用されている技術であり、具体的な説明は省略する。
(1−6.記録生成部の構成)
主記録再生部12を構成する記録生成部203、及び副記録再生部13、14を構成する記録生成部303のより詳細な構成について説明する。図7は、記録再生部203、303の構成を示すブロック図である。記録再生部203、303は、映像ファイル記録部600と、ファイル単位識別情報生成部610と、管理情報記録部612と、映像ファイル再生部620と、ファイル単位識別情報再生部630と、管理情報再生部631と、から構成される。
Based on an instruction from the
(1-6. Configuration of Record Generation Unit)
A more detailed configuration of the
映像ファイル記録部600は、コマンド多重部204、304から供給された映像データを映像ファイルとして記録媒体210、310に記録するブロックであり、さらにフレーム単位識別情報多重部601と映像データ記録部602とから構成される。
The video file recording unit 600 is a block that records the video data supplied from the
フレーム単位識別情報多重部601は、映像ファイル記録部600に供給される映像データに対してフレーム単位の時間情報を多重して、映像データ記録部602に提供する。このフレーム単位の時間情報は、例えば、業務用映像記録再生装置で利用されるタイムコードや、H.264規格におけるAUD(Access Unit Delimiter)等のフレーム区切りの識別子を利用すればよい。映像データにおいてフレーム境界の区別ができ、映像データ先頭からのフレーム数が特定できれば本実施の形態における効果を発揮することができる。本実施の形態では、映像データの有効画素の輝度信号と色差信号を順番に並べて映像ファイルとする非圧縮ファイル形式としている。そのため、画素サイズから1フレーム当たりのデータサイズが特定でき、フレームを区別して、映像データの先頭からのフレーム数をカウントすることが可能である。映像データ記録部602は、供給された映像データを映像ファイルとして記録媒体210、310に記録する。
The frame unit identification information multiplexing unit 601 multiplexes frame unit time information with the video data supplied to the video file recording unit 600 and provides the multiplexed time information to the video data recording unit 602. The time information in units of frames is, for example, a time code used in a business video recording / reproducing apparatus, H.264, or the like. A frame delimiter identifier such as AUD (Access Unit Delimiter) in the H.264 standard may be used. If the frame boundaries can be distinguished in the video data and the number of frames from the top of the video data can be specified, the effect of this embodiment can be exhibited. In the present embodiment, a non-compressed file format is used in which a luminance signal and a color difference signal of effective pixels of video data are arranged in order and used as a video file. Therefore, the data size per frame can be specified from the pixel size, and the number of frames from the head of the video data can be counted by distinguishing the frames. The video data recording unit 602 records the supplied video data on the
映像データ記録部602は、ファイル化して記録媒体に記録する映像記録装置や、それを再生する映像再生装置に広く利用されている技術であるため具体的な説明は省略する。 The video data recording unit 602 is a technique widely used in a video recording apparatus that records a file as a file and records it on a recording medium, and a detailed description thereof will be omitted.
ファイル単位識別情報生成部610は、コマンド制御部201、301からのコマンドに基づきファイル単位の識別情報を生成する処理を行い、コンテンツIDを生成するためのコンテンツID生成部611を含む。ファイル単位の識別情報には、コンテンツID以外にも、例えば、映像の名称や映像データの区間長等のクリップの情報を適宜含めばよい。ファイル単位識別情報生成部610は、この生成されたファイル単位の識別情報を管理情報記録部612に提供する。コンテンツID生成部611の処理の具体的な説明は後述する。
The file unit identification information generation unit 610 includes a content ID generation unit 611 that performs processing for generating identification information for each file based on commands from the
管理情報記録部612は、ファイル単位識別情報生成部610にて生成された管理情報を記録媒体210、310に管理情報ファイルとして記録する。
The management information recording unit 612 records the management information generated by the file unit identification information generation unit 610 on the
映像ファイル再生部620は、記録媒体210、310に記録された映像データとしての映像ファイルを再生して、再生した映像データをコマンド多重部204、304に提供する。映像ファイル再生部620は、さらに、フレーム単位識別情報再生部621と映像データ再生部622とから構成される。まず、記録媒体210、310に記録された映像ファイルとしての映像データは、映像データ再生部622により再生され、再生映像データをコマンド多重部204、304に提供する。次にフレーム単位識別情報再生部621は、フレーム単位識別情報(クリップの映像データ先頭からのフレーム数)に基づいて再生中の現在再生位置(クリップとその先頭からのフレーム数)を管理し、コマンド制御部201、301からのSeek指示に従って映像データ中のSeekアドレスを決定する。このSeekアドレスは、映像データ先頭からのフレーム数により容易に算出され、映像データ再生部622に提供され、指定再生位置(フレーム)にSeekすることになる。
The video file playback unit 620 plays back a video file as video data recorded on the
管理情報再生部631は、記録媒体210、310に記録された管理情報ファイルを再生する。管理情報再生部631は、コマンド制御部201、301からの再生指示に基づき記録媒体210、310に記録された情報ファイルから管理情報を再生し、ファイル単位識別情報再生部630に提供する。
The management information playback unit 631 plays back the management information file recorded on the
ファイル単位識別情報再生部630は、管理情報に含まれるファイル単位識別情報(コンテンツID等)を再生する。この再生されたファイル単位識別情報は、各記録再生部のクリップ毎に管理され、例えば記録されている記録媒体が挿入されている間に保持しておけばよく、適宜、記録再生部203、303やコマンド制御部201、301により利用される。
(2.関連情報の説明)
(2−1.用語の説明)
ここで、本実施の形態で用いる用語について説明する。本実施の形態におけるショットとは、記録再生装置における各々の映像データの記録開始から終了までの1連続の記録区間に対応するクリップの総称を指す。また、クリップとは、ショットを構成する1要素であり、映像データと管理情報との総称を指す。例えば、1ショットが1クリップで構成される場合や、ファイルサイズの制限等により1ショットが複数のクリップで構成される場合もある。
The file unit identification information reproduction unit 630 reproduces file unit identification information (content ID or the like) included in the management information. The reproduced file unit identification information is managed for each clip of each recording / reproducing unit, and may be held, for example, while a recorded recording medium is inserted. And
(2. Explanation of related information)
(2-1. Explanation of terms)
Here, terms used in the present embodiment will be described. A shot in the present embodiment refers to a generic name of clips corresponding to one continuous recording section from the start to the end of recording of each video data in the recording / reproducing apparatus. A clip is one element that constitutes a shot, and is a generic term for video data and management information. For example, one shot may be composed of one clip, or one shot may be composed of a plurality of clips due to file size limitations.
さらに、記録再生装置の同期(同時)記録において、関連付けを行われたすべてのクリップを同一クリップ群と呼ぶ。すなわち、同一(同時)記録で作成された同一クリップ群は、ショットと等価になる。また、これらの同一クリップ群の関連付けを行う識別子をコンテンツIDと呼ぶ。このコンテンツIDは、管理情報の一部として記録される。なお、同時記録されていなくても、例えば記録後にコンテンツIDにより関連付けを行われていれば、同一クリップ群と呼ぶことにする。本実施の形態では、コンテンツIDにより関連付けが行われていれば発明の効果を発揮することが可能である。
(2−2.識別情報の概要)
本実施の形態における空間識別情報(空間的位置づけ)と時間識別情報(時間的位置づけ)とについて具体的に説明する。
Further, all the clips associated in the synchronous (simultaneous) recording of the recording / reproducing apparatus are referred to as the same clip group. That is, the same clip group created by the same (simultaneous) recording is equivalent to a shot. An identifier for associating these same clip groups is called a content ID. This content ID is recorded as part of the management information. Even if they are not recorded at the same time, for example, if they are associated by the content ID after recording, they will be referred to as the same clip group. In the present embodiment, the effect of the invention can be exhibited as long as the association is performed by the content ID.
(2-2. Overview of identification information)
The spatial identification information (spatial positioning) and the temporal identification information (temporal positioning) in the present embodiment will be specifically described.
本実施の形態における空間的位置づけとは、全画面の中で、例えば、図2に示すように映像1は左半分であり、映像2は右半分であることを示す空間的な関係を示す。例えば、超高精細映像を対象とする映像処理装置においては、1つの超高精細映像を空間的に2つに分割して扱う場合の映像データ相互の関係性を表す。また、マルチ画面においては、複数の画面の映像データ相互の関係性を表す。例えば、マルチ画面が左右2つの画面から構成されている場合、左側の画面に提示する映像データであるか、右側の画面で提示する映像データであるかを表す。空間識別情報は、例えば、左側に相当する映像データを1とし、右側に相当する映像データを2として左右の識別を行う。なお、本実施の形態では、映像合成部100にて合成される合成画も合わせて記録するが、この合成画は超高精細映像やマルチ画面全体を表す映像データとして効果を発揮する。例えば、ノンリニア編集機等で利用されているプロキシ編集におけるプロキシ映像として利用する場合や、再生時に所望の映像を検索する場合において、合成画のみの再生によって所望の映像を探し、その後、すべての映像データに対して、合成画と対応する再生位置にSeekすることにより映像検索処理の効率化に大きな効果を発揮する。また、本実施の形態では、これらの合成画の処理に対しても、空間識別情報に含んで処理を行えば、合成画でない映像データに対する処理との共通化が図れるため、空間識別情報に含んで処理を行うものとする。
Spatial positioning in the present embodiment indicates a spatial relationship indicating that, for example,
次に時間識別情報(時間的位置づけ)とは、映像データの記録再生における順番や記録再生時刻を識別するための情報である。本実施の形態の時間識別情報は、時間軸のサンプリング精度(粒度)により、映像フレーム単位での識別情報を表すフレーム単位識別情報(例えば記録再生時刻)と、映像ファイル(クリップ)単位での識別情報を表すファイル単位識別情報(例えば記録再生における順番)とに分類することができる。 Next, time identification information (temporal positioning) is information for identifying the order and recording / reproducing time in recording / reproducing video data. The time identification information of the present embodiment includes frame unit identification information (for example, recording / playback time) that represents identification information in video frame units and video file (clip) unit identifications based on sampling accuracy (granularity) on the time axis. It can be classified into file unit identification information (for example, order in recording / reproduction) representing information.
まずフレーム単位識別情報としての時間識別情報(フレーム単位時間識別情報と呼ぶ)について説明する。図8にフレーム単位時間識別情報の一例を示す。例えば、図8において、映像ファイル1−1と映像ファイル2−1とが記録媒体310に記録されており、それぞれの映像ファイルが空間識別情報により関連付けられている(例えば映像ファイル1−1が左側映像、映像ファイル2−1が右側映像)とする。この例において、同期して再生する場合には、映像ファイル1−1のFrame1と、映像ファイル2−1のFrame1とを同時に再生し、同時刻に出力すればよい。このように、フレーム単位識別情報とは、1つのクリップと対応するもう1つのクリップとの間の映像データにおけるフレームの同期を行うために利用される情報である。なお、映像データは、一般的にフレーム単位で区切られており、フレーム単位の時間情報は、例えば、業務用映像記録再生装置で利用されるタイムコードや、H.264規格におけるAUD(Access Unit Delimiter)等のフレーム区切りの識別子を利用すればよい。本実施の形態のように識別子を多重しなくても、映像データにおいてフレーム境界の区別ができ、映像データ先頭からのフレーム数が特定できれば本実施の形態の効果を発揮することができる。
First, time identification information (referred to as frame unit time identification information) as frame unit identification information will be described. FIG. 8 shows an example of the frame unit time identification information. For example, in FIG. 8, the video file 1-1 and the video file 2-1 are recorded on the
次にファイル単位識別情報としての時間識別情報(ファイル単位時間識別情報と呼ぶ)について説明する。図9にファイル単位時間識別情報の一例を示す。例えば、図9において、映像ファイル0−1が記録媒体210に、映像ファイル1−1と映像ファイル2−1とがそれぞれ記録媒体310に記録されており、各映像ファイルが空間識別情報により関連付けられている(例えば映像ファイル0−1が合成画映像、映像ファイル1−1が左側映像、映像ファイル2−1が右側映像)とする。さらに、映像ファイル1−1、映像ファイル1−2、映像ファイル1−3は、時間的に連続的な順番(例えば、連続記録されており、連続して再生することが望ましい場合)であるものとする。ここでファイル単位の時間的位置づけとは、映像ファイルの再生順番を示し、図9の例では、映像ファイル1−1、映像ファイル1−2、映像ファイル1−3の関係を指す。ファイル単位の時間識別情報としては、例えば、時間軸上の先頭から順番に1、2、3のように順番付けを行えばよい。同様に、映像ファイル0−1、映像ファイル0−2、映像ファイル0−3や、映像ファイル2−1、映像ファイル2−2、映像ファイル2−3もファイル単位時間識別情報にて関連付けされる。また、同一クリップ群は、空間識別情報とファイル単位時間識別情報とにより関連付けされるクリップの集合体である。この空間識別情報とファイル単位時間識別情報とをコンテンツIDとして記録することにより、関連性を容易に検出することが可能である。なお、本実施の形態では、ファイル単位識別情報は、ファイル単位時間識別情報と空間識別情報とを含む。また、これらのファイル単位時間識別情報は、例えば、ファイルサイズの制限、記録媒体の容量の制限等により1連続の記録を分割して記録媒体に記録する場合や、編集済みの複数のファイルを同一クリップ群として関連付け、連結して連続再生する場合に利用できる。
Next, time identification information (referred to as file unit time identification information) as file unit identification information will be described. FIG. 9 shows an example of file unit time identification information. For example, in FIG. 9, the video file 0-1 is recorded on the
なお、以上のように精度(粒度)の異なるファイル単位識別情報とフレーム単位識別情報という2つの時間識別情報を持つことにより、時間軸管理や再生同期処理の階層化を実現できる。この階層化により、あるクリップに対して複数の空間的、時間的に関連付けを行われていないクリップを含む記録媒体から同期再生すべきクリップを検索/抽出することが可能になる。最初にファイル単位識別情報を用いて映像ファイル間の関連付けを行い、その後、フレーム単位識別情報を用いて、映像ファイル中の映像データのフレーム単位の関連づけを行うことによって、検索や再生同期処理の効率化を図ることができる。
(2−3.クリップ群の構造)
次に同一クリップ群について具体的に説明する。図10に同一クリップ群の構成の一例を示す。前述したように、同一クリップ群は、空間識別情報とファイル単位時間識別情報と(すなわちコンテンツID)により関連付けされるクリップの集合体であり、図10のような時間軸と空間軸の2つの軸で関連付けられる構成となる。ここで、クリップ0−1、クリップ0−2、クリップ0−3は、映像合成部100にて合成された映像データを記録したクリップであり、直接的に空間的な位置づけを表すものではないが、便宜的に全体像を表す映像データとして空間識別情報にて関連付けを行う。例えば、空間識別情報を0として全体像を示す合成画を識別する。図10の例では、空間識別情報別には、合成画クリップ(クリップ0−1、クリップ0−2、クリップ0−3)と左側映像クリップ(クリップ1−1、クリップ1−2、クリップ1−3)と右側映像クリップ(クリップ2−1、クリップ2−2、クリップ2−3)とから成り、ファイル単位時間識別情報別には、3つの(最後の数字の1、2、3がファイル単位時間識別情報を表す)から成り立っている例を示している。
As described above, by having two pieces of time identification information, that is, file unit identification information and frame unit identification information having different accuracy (granularity), it is possible to realize hierarchical time axis management and reproduction synchronization processing. This hierarchization makes it possible to search / extract clips to be synchronized and reproduced from a plurality of recording media including clips that are not spatially and temporally related to a certain clip. First, the file unit identification information is used to associate video files, and then the frame unit identification information is used to associate the video data in the video file in units of frames. Can be achieved.
(2-3. Structure of clip group)
Next, the same clip group will be specifically described. FIG. 10 shows an example of the configuration of the same clip group. As described above, the same clip group is an aggregate of clips that are associated with space identification information and file unit time identification information (that is, content ID), and includes two axes, a time axis and a space axis as shown in FIG. It becomes the structure related by. Here, the clip 0-1, the clip 0-2, and the clip 0-3 are clips in which the video data synthesized by the
また、それぞれのクリップの構成の具体例を図11に示す。図11に示すように、クリップは管理情報ファイルと映像ファイルとから構成される。管理情報ファイルは、映像データ(ファイル)を管理するための管理情報(例えば、画素サイズや区間長)や、メタデータ等の付加情報を記録するためのファイルである。図12に管理情報の構成例を示す。一方、映像ファイルは、映像データを記録するためのファイルである。例えば、再生する場合には、管理情報ファイルとして記録される管理情報(例えば画素サイズ)を再生し、その管理情報に従って、映像ファイルを再生する。 A specific example of the configuration of each clip is shown in FIG. As shown in FIG. 11, a clip is composed of a management information file and a video file. The management information file is a file for recording management information (for example, pixel size and section length) for managing video data (file) and additional information such as metadata. FIG. 12 shows a configuration example of management information. On the other hand, the video file is a file for recording video data. For example, when reproducing, management information (for example, pixel size) recorded as a management information file is reproduced, and a video file is reproduced according to the management information.
次に本実施の形態における記録媒体210、310への記録形式について説明する。図13に記録媒体210、310におけるディレクトリ構造の一例を示す。本実施の形態では、記録媒体210、310に映像データとしての映像ファイルと、管理情報としての管理情報ファイルを記録する。また、主記録再生部12と副記録再生部13、14における記録形式やディレクトリ構造は共通である。したがって、記録媒体210、310におけるディレクトリ構成は、コンテンツディレクトリ700としての「Content」ディレクトリをトップディレクトリとして、映像ファイルを記録するためのビデオ格納用ディレクトリ701としての「Video」ディレクトリと、管理情報ファイルを記録するためのディレクトリ702としての「Meta」ディレクトリとから構成される。ビデオ格納用ディレクトリ701には、例えば、CLIP0001.yuv、CLIP0002.yuv、CLIP0003.yuvといった映像ファイルを格納する。管理情報格納用ディレクトリ702には、CLIP0001.txt、CLIP0002.txt、CLIP0003.txtといった管理情報ファイルを格納する。管理情報ファイルは、例えば、テキスト形式のファイルとして記録され、それぞれの要素の区切りはカンマで区切られているCSV(Comma Separated Value)形式として説明する。
Next, a recording format for
ここで、ファイル名や拡張子は任意の文字列でよく、コンテンツ管理が容易な方法を用いればよい。本実施の形態では、上述したようにファイル名に「CLIP」に番号を付与した文字列で、映像ファイルの拡張子を.yuv、管理情報ファイルの拡張子を.txtとして説明する。また、映像ファイルに対応する管理情報ファイルのファイル名を同じファイル名(拡張子を除く)とすることで、映像ファイルと管理情報ファイルの対応付けを行う。すなわち、例えば、映像ファイルCLIP0001.yuvに対応付ける管理情報ファイルの名前をCLIP0001.txtとする。さらに、本実施の形態では、CLIP0001.yuvとCLIP0001.txtとして記録されるクリップを「クリップ1」と呼び、同様にCLIP0002.yuvとCLIP0002.txtとして記録されるクリップを「クリップ2」、CLIP0003.yuvとCLIP0003.txtとして記録されるクリップを「クリップ3」と呼ぶことにする。
Here, the file name or extension may be an arbitrary character string, and a method that facilitates content management may be used. In this embodiment, as described above, the extension of the video file is a character string obtained by adding a number to “CLIP” in the file name. yuv, extension of management information file. This will be described as txt. Further, the management information file corresponding to the video file has the same file name (excluding the extension), thereby associating the video file with the management information file. That is, for example, the video file CLIP0001. The name of the management information file associated with yuv is CLIP0001. Let it be txt. Furthermore, in this embodiment, CLIP0001. yuv and CLIP0001. A clip recorded as txt is called “
これらのファイルは、記録媒体210、310(本実施の形態の場合は3つの記録媒体)に記録される。記録媒体210、310と同一クリップ群との関係の具体例を、図10を用いて説明する。例えば、記録媒体210に記録されるクリップ1(CLIP0001.yuvとCLIP0001.txt)は、図10のクリップ0−1に、記録媒体210に記録されるクリップ2は、図10のクリップ0−2に、記録媒体210に記録されるクリップ3は、図10のクリップ0−3に対応する。同様に、記録媒体310に記録されるクリップ1は、図10のクリップ1−1及び2−1に、記録媒体310に記録されるクリップ2は、図10のクリップ1−2及び2−2に、記録媒体310に記録されるクリップ3は、図10のクリップ1−3及び2−3に対応する。
These files are recorded on the
次に本実施の形態におけるコンテンツIDの役割について具体的に説明する。コンテンツIDは、同一クリップ群の関連付けを行うための識別子であり、ファイル単位時間識別情報と空間識別情報とを含む。 Next, the role of the content ID in this embodiment will be specifically described. The content ID is an identifier for associating the same clip group, and includes file unit time identification information and space identification information.
図14に本実施の形態におけるコンテンツIDの構成の1具体例を示す。コンテンツIDは、図14のように、記録開始時刻情報(Time Snap)、機器固有識別子(Device Node)、ファイル単位時間識別情報(Clip No)、空間識別情報(Video No)から構成される。記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)とは同一クリップ群であることを示す識別子として利用する。機器固有識別子(Device Node)が各映像処理装置においてユニークであるため、その記録開始時刻を付与することで、記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)とがすべてのショットでユニークであることが保証できる。これは、同機器で同一時刻に記録されるショットが1つであることによる。機器固有識別子(Device Node)と記録開始時刻情報(Time Snap)とを、同一クリップ群のすべてのクリップ(すなわち同じショット)に対して記録する。例えば、記録開始時刻情報(Time Snap)は、主記録再生部12としての記録再生部203において映像ファイルを記録媒体210に記録開始する際の時刻を取得し、その時刻と機器固有識別子(Device Node)とを副記録再生部13、14における記録再生部303に通知し、主記録再生部12と同じ値を記録すればよい。なお、この時刻は、Real Time Clock(RTC)機能を有する集積回路を利用して取得してもよいし、記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)とですべてのショットにおいてユニークであれば、クロックカウンタ等を利用して作成してもよい。記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)とにより、これらの値が完全一致した場合には、同一クリップ群であると判別することができる。
FIG. 14 shows a specific example of the configuration of the content ID in the present embodiment. As shown in FIG. 14, the content ID includes recording start time information (Time Snap), device unique identifier (Device Node), file unit time identification information (Clip No), and space identification information (Video No). The recording start time information (Time Snap) and the device unique identifier (Device Node) are used as an identifier indicating the same clip group. Since the device unique identifier (Device Node) is unique in each video processing apparatus, the recording start time information (Time Snap) and the device unique identifier (Device Node) are assigned to all shots by adding the recording start time. Can be guaranteed to be unique. This is because one shot is recorded at the same time by the same device. The device unique identifier (Device Node) and the recording start time information (Time Snap) are recorded for all clips in the same clip group (that is, the same shot). For example, the recording start time information (Time Snap) acquires the time when the recording /
ここで、ファイル単位時間識別情報(Clip No)と空間識別情報(Video No)とは、前述したファイル単位時間識別情報と空間識別情報とに対応する。ファイル単位時間識別情報(Clip No)は、クリップ(映像ファイル)を分割するたびに番号をインクリメントすればよい。また、空間識別番号は、例えば、本実施の形態のように記録再生部毎に決められた番号を記録してもよく、記録系映像処理部10に入力される映像データに空間識別番号を多重しておき、それを検出して記録してもよい。図15に同一クリップ群におけるコンテンツIDの1具体例を示す。図15では、横軸(時間軸)方向にファイル単位時間識別情報(Clip No)の値が変化(インクリメント)されており、縦軸(空間軸)方向に空間識別情報(Video No)の値が変化(インクリメント)していることを示している。ここで、図15における記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)とは、すべて同一値であるとする。
Here, the file unit time identification information (Clip No) and the space identification information (Video No) correspond to the file unit time identification information and the space identification information described above. The file unit time identification information (Clip No) may be incremented each time a clip (video file) is divided. The space identification number may be a number determined for each recording / playback unit as in the present embodiment, for example, and the space identification number is multiplexed with the video data input to the recording system
本実施の形態のコンテンツIDは、SMPTE(Society of Motion Picture and Television Engineers)−330Mにて規格化されているUnique Material Identifier (UMID)を拡張して利用している。UMIDにおいて、ランダム値とする領域(Rnd)にファイル単位時間識別情報(Clip No)と空間識別情報(Video No)とを割り当てれば容易に実現可能である。
(2−4.管理情報ファイルの構造)
次に、本実施の形態の管理情報ファイルの一例について具体的に説明する。図17は同一クリップ群における各クリップの管理情報ファイルの一例を示している。図17の例は、図10における同一クリップ群の例に対応しており、各管理情報ファイルの先頭からコンテンツID、画素サイズ、区間長を表す。コンテンツIDは、16進数のデータを文字列化した表記であり、画素サイズは「水平サイズx垂直サイズ」を表す文字列であり、区間長は、10進数表記である。
The content ID of the present embodiment is an extension of the Unique Material Identifier (UMID) standardized by SMPTE (Society of Motion Picture and Television Engineers) -330M. In UMID, it can be easily realized by assigning file unit time identification information (Clip No) and space identification information (Video No) to a random value area (Rnd).
(2-4. Structure of management information file)
Next, an example of the management information file of this embodiment will be specifically described. FIG. 17 shows an example of the management information file of each clip in the same clip group. The example of FIG. 17 corresponds to the example of the same clip group in FIG. 10, and represents the content ID, pixel size, and section length from the top of each management information file. The content ID is a notation obtained by converting hexadecimal data into a character string, the pixel size is a character string representing “horizontal size × vertical size”, and the section length is a decimal number notation.
例えば、クリップ0−1の管理情報ファイルCLIP0001.txtは、コンテンツIDが「20090924170632000000123456789012」で、画素サイズは、水平サイズ1920画素、垂直サイズ1080画素で、区間長が100フレームであることを示している。ここで、コンテンツIDの記録開始時刻情報(Time Snap)は、「2009092417063200」であり、2009年9月24日17時06分32秒を表している。ここで、本実施の形態では、時刻の精度が1秒単位であるためクリップの基本コンテンツIDのユニーク性を確保する目的で1秒以内に複数の記録を開始しないようにしておく。また、機器固有識別子(Device Node)は、「123456789012」であり、機器固有の識別子や番号であればよく、本実施の形態では「123456789012」の例を挙げているが、好ましくはUMIDにて定義されるように、機器の1394ネットワークアドレスやMACアドレスにより決定される全世界でユニークになる識別子がよい。また、ファイル単位時間識別情報(Clip No)と空間識別情報(Video No)とは、ともに00(16進数表記)である。 For example, the management information file CLIP0001. txt indicates that the content ID is “2009092417063200000012345789902”, the pixel size is 1920 pixels in the horizontal size, 1080 pixels in the vertical size, and the section length is 100 frames. Here, the recording start time information (Time Snap) of the content ID is “2009092417063200”, which represents 17:06:32 on September 24, 2009. Here, in this embodiment, since the time accuracy is in units of 1 second, a plurality of recordings are not started within 1 second in order to ensure the uniqueness of the basic content ID of the clip. Further, the device unique identifier (Device Node) is “123456789021” and may be any device unique identifier or number. In the present embodiment, an example of “12345789902” is given, but preferably it is defined by UMID. As described above, an identifier that is unique throughout the world determined by the 1394 network address or MAC address of the device is preferable. The file unit time identification information (Clip No) and the space identification information (Video No) are both 00 (hexadecimal notation).
また、本実施の形態では、左右2つの映像データを処理しているため、映像処理装置として、水平サイズ3840(1920の2倍)画素の超解像度映像の記録再生が可能である。さらに、合成画像としては、水平サイズを1/2にして、水平サイズ1920画素の映像データとすればよく、映像合成部100では、例えば、水平サイズのみを1/2に間引くローパスフィルタを用いればよい。映像合成して水平サイズ1920画素、垂直サイズ1080画素と一般的なハイビジョン映像の画素サイズにすることで、本実施の形態以外の一般的なハイビジョン映像を扱うための映像記録再生装置にて再生することも可能である。
なお、管理情報ファイルや映像ファイルのファイル名は、ファイルシステムの制約等により、各記録媒体210、310に対して同じファイル名で記録できない場合がある。このとき、各記録媒体210、310においてファイル名が一致しない。例えば、図17の例ではクリップ0−1とクリップ1−1の管理情報ファイル名が一致しているが、クリップ0−1の管理情報ファイル名がCLIP0001.txtであり、クリップ1−1の管理情報ファイル名がCLIP0123.txtとなるように一致しない場合もある。このような場合にも本実施の形態のコンテンツIDによれば同一クリップ群を特定することが可能である。
(2−5.コマンドの概要)
本実施の形態における映像処理装置は、前述したように映像データに多重されるコマンドにより動作を制御する。そこで、本実施の形態における映像処理装置の動作を具体的に説明する前に、このコマンドの種別や内容を具体的に説明する。図16に本実施の形態におけるコマンドの一例を示す。コマンドは、情報の内容や通信経路により操作情報と指示情報と動作状態情報とに分類される。
In this embodiment, since the left and right video data are processed, the video processing apparatus can record and reproduce a super-resolution video having a horizontal size of 3840 (twice 1920) pixels. Further, the synthesized image may be video data having a horizontal size of 1/2 and a horizontal size of 1920 pixels. For example, the
The file names of management information files and video files may not be recorded with the same file names on the
(2-5. Outline of command)
The video processing apparatus according to the present embodiment controls the operation by the command multiplexed on the video data as described above. Therefore, before specifically describing the operation of the video processing apparatus according to the present embodiment, the type and contents of this command will be specifically described. FIG. 16 shows an example of commands in the present embodiment. The commands are classified into operation information, instruction information, and operation state information according to the information content and communication path.
操作情報は、操作入力部15から第1コマンド多重部102を介して、同期運転制御部202に提供される操作情報を通知するコマンドである。具体的には、例えば、記録「REC」、停止「STOP」、再生「PLAY」のように操作入力部15の各操作キーに対応したコマンドを定義すればよい。
The operation information is a command for notifying operation information provided to the synchronous
指示情報は、同期運転制御部202からコマンド制御部201、301等を介して記録再生部203、303に提供される動作に関する指示情報を通知するコマンドである。具体的には、例えば、記録開始「REC_START」、記録分割「REC_SPLIT」、記録停止「REC_STOP」、再生準備「PLAY_CHECK」、再生Seek「PLAY_SEEK」、再生開始「PLAY_START」、再生停止「PLAY_STOP」のように各記録再生部の動作に関する各イベントに対応したコマンドを定義すればよい。
The instruction information is a command for notifying instruction information regarding an operation provided from the synchronous
なお、指示情報としてのコマンドには、付加情報を付与して送受信されることがある。具体的には、「REC_START」、「PLAY_CHECK」には付加情報としてコンテンツIDも含んで送受信する。このコンテンツIDは、記録再生処理する対象のクリップを指定するために利用する。さらに、「PLAY_SEEK」には付加情報として再生開始位置も含んで送受信する。 Note that commands as instruction information may be transmitted and received with additional information. Specifically, “REC_START” and “PLAY_CHECK” are transmitted / received including the content ID as additional information. This content ID is used to specify a clip to be recorded and reproduced. Further, “PLAY_SEEK” is transmitted and received as additional information including the playback start position.
動作状態情報は、主記録再生部12や副記録再生部13、14の動作状態を通知するためのコマンドで、主記録再生部12や副記録再生部13、14の記録再生部203、303から同期運転制御部202に提供される。動作状態情報としてコマンドとは、ステータス情報の意味合いが強いが、本実施の形態では、便宜上コマンドと呼んでいる。具体的には、例えば、記録中状態「STATUS_REC」、再生中状態「STATUS_PLAY」、停止中常態「STATUS_STOP」のように各記録再生部の動作状態を表すコマンドを定義すればよい。
(3.動作)
以上のように構成された映像処理装置の動作について、記録時と再生時とに分けて説明する。
(3−1.映像処理装置の記録動作)
映像処理装置の記録時の動作について、説明する。
The operation state information is a command for notifying the operation state of the main recording / reproducing
(3. Operation)
The operation of the video processing apparatus configured as described above will be described separately for recording and playback.
(3-1. Recording operation of video processing apparatus)
The operation of the video processing apparatus during recording will be described.
ユーザは、操作入力部15の「記録釦」を押下し、記録操作の開始を指示する。操作入力部15は、第1コマンド多重部102を介して、同期運転制御部202に、記録「REC」コマンドを通知する。
The user presses the “record button” of the
同期運転制御部202は、コマンド制御部201、301等を介して記録再生部203、303に、記録開始「REC_START」コマンドを通知する。コンテンツID生成部611は、「REC_START」コマンドを受信すると、コマンドの付加情報として提供される基本コンテンツIDに対して、ファイル単位時間識別情報(Clip No)と空間識別情報(Video No)とを上書きし、生成されたコンテンツIDをメモリに一時的に保持する。コンテンツIDの生成動作については、後述する。
The synchronous
ファイル単位時間識別情報(Clip No)は、記録開始からのクリップ数(クリップ分割数)を示し、記録開始時には0を設定する。また、空間識別情報(Video No)は、本実施の形態では、各記録再生部であらかじめ決められた番号(空間的位置づけ)を設定する。例えば、主記録再生部12にて記録されるクリップには、合成画を表す0を、1つ目の副記録再生部13にて記録されるクリップには、左側映像を表す1を、2つ目の副記録再生部14にて記録されるクリップには、右側映像を表す2を設定する。
The file unit time identification information (Clip No) indicates the number of clips (the number of clip divisions) from the start of recording, and is set to 0 at the start of recording. In the present embodiment, the space identification information (Video No) is set with a number (spatial positioning) determined in advance by each recording / playback unit. For example, the clip recorded by the main recording /
このようにして作成されたコンテンツIDは、管理情報記録部612に供給され、管理情報ファイルとして記録媒体210、310に記録される。ここで、メモリに一時的に保持されたコンテンツIDは記録分割時(「REC_SPLIT」コマンド受信時)に利用され、記録停止コマンド「REC_STOP」の受信の際にメモリから解放すればよい。
The content ID created in this way is supplied to the management information recording unit 612 and recorded in the
次に、「REC_SPLIT」コマンドは、記録分割(クリップの分割)時に同期運転制御部202から発行されるコマンドである。コンテンツID生成部611は、「REC_SPLIT」コマンドを受信すると、メモリに一時的に保持されたコンテンツIDを参照し、ファイル単位時間識別情報(Clip No)をインクリメントして再びメモリに一時的に保持するとともに、生成されたコンテンツIDを管理情報記録部612に供給し、管理情報ファイルとして記録媒体210、310に記録される。
Next, the “REC_SPLIT” command is a command issued from the synchronous
ユーザは、操作入力部15の「停止釦」を押下し、記録操作の停止を指示する。操作入力部15は、第1コマンド多重部102を介して、同期運転制御部202に、停止「STOP」コマンドを通知する。
The user presses the “stop button” of the
同期運転制御部202は、コマンド制御部201、301等を介して記録再生部203、303に、記録停止「REC_STOP」コマンドを通知する。コンテンツID生成部611は、「REC_STOP」コマンドを受信すると前述したように一時的にメモリに保持されているコンテンツIDを解放する。
(3−2.コンテンツIDの生成動作)
記録するためのコンテンツIDを生成する具体的な動作を説明する。コンテンツIDは、基本コンテンツID生成部505とコンテンツID生成部611とで生成される。基本コンテンツID生成部505では、記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)とを生成し、コンテンツID生成部611にてファイル単位時間識別情報(Clip No)と空間識別情報(Video No)とを生成する(以下、記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)とを基本コンテンツIDと呼ぶ)。すなわち、映像処理装置内に1つの基本コンテンツID生成部505にて、同一クリップ群に共通となる基本コンテンツIDを生成し、各記録再生部のコンテンツID生成部611にて、各クリップで異なる値となるそれぞれの空間識別情報に従った空間識別情報(Video No)やファイル単位時間識別情報(Clip No)を生成する。
The synchronous
(3-2. Content ID generation operation)
A specific operation for generating a content ID for recording will be described. The content ID is generated by the basic content
基本コンテンツID生成部505は、全体動作制御部501からの指示に基づいて基本コンテンツIDを生成する。全体動作制御部501は、記録開始時に基本コンテンツIDの生成指示を行う。基本コンテンツID生成部505は、その時の時刻(すなわち記録開始時の時刻)を記録開始時刻情報(Time Snap)として基本コンテンツIDを作成する。この時、機器固有識別子(Device Node)は、基本コンテンツID生成部505にてあらかじめ不揮発性メモリにて保持されているものとし、ファイル単位時間識別情報(Clip No)の値を0、空間識別情報(Video No)の値を0とする。基本コンテンツID生成部505において、Clip NoとVideo Noとの値を0に設定することは情報が無いことを意味する。この基本コンテンツIDは、記録開始「REC_START」コマンドとともに、コマンド制御部201、301等を介してコンテンツID生成部611に提供される。
The basic content
コンテンツID生成部611は、コマンド制御部201、301からのコマンドと基本コンテンツIDとに基づいて記録するためのコンテンツIDを生成する。従って、基本コンテンツIDに対してファイル単位時間識別情報(Clip No)と空間識別情報(Video No)とを付加する処理を行う。コンテンツID生成部611は、コマンドの内容によりコンテンツID生成の処理内容が異なる。例えば、コンテンツID生成部611が処理をする必要があるコマンドは、記録開始「REC_START」と記録分割(クリップの分割)「REC_SPLIT」コマンドと記録停止「REC_STOP」コマンドとに関してのみである。その他のコマンドを受信した場合には処理をする必要がない。
(3−3.映像処理装置の再生動作)
次に本実施の形態における映像処理装置の再生時の動作について具体的に説明する。図18は、再生動作における大まかな処理の流れを示すフロー図である。
The content ID generation unit 611 generates a content ID for recording based on the commands from the
(3-3. Playback operation of video processing apparatus)
Next, the operation at the time of reproduction of the video processing apparatus in the present embodiment will be specifically described. FIG. 18 is a flowchart showing a rough processing flow in the reproduction operation.
まず、再生クリップのコンテンツIDを取得する処理(S100)を行う。ここで再生クリップとは、再生する同一クリップ群の代表クリップを指し、例えばユーザから操作入力部15を介して選択される。例えば、合成画を記録再生するための主記録再生部12にて記録されるクリップ(空間識別情報の値が0となるクリップ)を代表クリップとする。
First, processing for obtaining the content ID of the playback clip (S100) is performed. Here, the playback clip refers to a representative clip of the same clip group to be played back, and is selected by the user via the
次に、S100にて取得された再生クリップのコンテンツIDから再生クリップ群(再生クリップとコンテンツIDで関連付けられる同一クリップ群に属するクリップ群)を特定する処理を行う(S101)。次に、主記録再生部12と、副記録再生部13、14との再生開始位置を同じ位置にするために、副記録再生部13、14においてSeekする処理を行う(S102)。次に、主記録再生部12及び副記録再生部13、14において再生開始処理を行う(S103)。これらの各ステップの処理は、同期運転制御部202にて順番に実行される。以下、これら各ステップの具体的な処理内容を説明する。
(3−4.映像処理装置の再生動作の詳細)
まずS100における再生するコンテンツIDを取得する処理の流れを図19に示す。S200において、操作入力部15は、ユーザからの操作により再生クリップを選択する。この選択は、例えば、一般的に広く行われているGUI(Graphical User Interface)画面上にサムネイル画(映像データの先頭画)を表示して選択すればよい。本実施の形態では、主記録再生部12における先頭画を同一クリップ群の代表画として表示し、選択可能な形態とする。
Next, a process of specifying a playback clip group (a clip group belonging to the same clip group associated with the playback clip and the content ID) from the content ID of the playback clip acquired in S100 is performed (S101). Next, in order to set the reproduction start position of the main recording / reproducing
(3-4. Details of Reproduction Operation of Video Processing Device)
First, FIG. 19 shows a flow of processing for acquiring a content ID to be reproduced in S100. In S200, the
次に、S200にて選択された再生クリップのコンテンツIDを取得する(S201)。これは、全体動作制御部501において、コマンド発行部504を介してコマンド制御部201に対して再生準備「PLAY_CHECK」コマンドを発行する。コマンド制御部201は、さらに記録再生部203に再生準備「PLAY_CHECK」コマンドを提供する。記録再生部203は、管理情報再生部631、ファイル単位識別情報再生部630を利用して管理情報中のコンテンツIDを取得し、再び全体動作制御部501に通知する。以上の処理により選択された再生クリップのコンテンツIDを取得できる。
Next, the content ID of the playback clip selected in S200 is acquired (S201). In this case, the overall
次に、S201にて取得した再生クリップのコンテンツID検索コマンドを発行する(S202)。これは、全体動作制御部501が、副記録再生部13、14に対してS201にて取得されたコンテンツIDとともに再生準備「PLAY_CHECK」コマンドを発行することで実現する。
Next, a playback clip content ID search command acquired in S201 is issued (S202). This is realized by the overall
次にS101における再生するクリップ(ファイル)を特定するための処理の流れを図20に示す。図20に示すS300、S301、S302の各処理は各記録再生部のコマンド制御部301にて処理される。まず始めに、コンテンツIDを検索するためのコマンドを受信する(S300)。このコマンドとは、S202においてコンテンツIDとともに発行される再生準備「PLAY_CHECK」コマンドであり、副記録再生部13、14のコマンド制御部301におけるコマンド処理部400にて受信する。
Next, FIG. 20 shows a flow of processing for specifying a clip (file) to be reproduced in S101. Each process of S300, S301, and S302 shown in FIG. 20 is processed by the
次に、再生クリップのコンテンツIDから同一クリップ群に属するクリップを特定する処理を行う(S301)。これは、S300にて受信した再生準備「PLAY_CHECK」コマンドと再生クリップのコンテンツIDとに基づき、コマンド制御部301のコマンド処理部400が、同一クリップ群判別部401に対して判別指示を出すことで処理を開始する。同一クリップ群判別部401は、コマンド処理部400からの指示と再生クリップのコンテンツIDとに基づき、再生クリップの同一クリップ群に属するクリップを判別する。この処理で同一クリップ群に属すると判断されたクリップを再生対象クリップ(再生クリップ群に属するクリップ)として特定する。この判別方法の具体的な処理は後述するが、1つのコンテンツIDに関連付けられる同一クリップ群に属するクリップが複数ある場合(例えば、ファイル単位時間識別情報にて複数のクリップが関連付けられている場合)もあるので、再生対象クリップのデータの保持は、リスト形式や配列等の複数データに対応可能な形式が望ましい。
Next, a process of specifying clips belonging to the same clip group from the content ID of the playback clip is performed (S301). This is because the
次に、S301にて特定したクリップを各々の記録再生部の再生対象とする処理を行う(S302)。これは、コマンド処理部400において再生対象のクリップ番号あるいは映像ファイル名等のリストを保持しておけばよい。
Next, processing for setting the clip specified in S301 as a reproduction target of each recording / reproducing unit is performed (S302). The
次にS102における再生位置にSeekする処理の流れを図21に示す。まず、主記録再生部12の現在再生位置を取得する処理を行う(S400)。これは、全体動作制御部501の指示に基づき再生位置同期制御部502が処理を行う。再生位置同期制御部502は、再生中に主記録再生部12における記録再生部203の動作を監視し、現在の再生位置を管理すればよい。ここで監視とは、適当な(例えば、1秒)単位で現在の再生位置のサンプリングを行い、現在再生中のクリップと、クリップの先頭からのフレーム数を取得し、保持あるいは更新する構成とすればよい。ここで、クリップとクリップの先頭からのフレーム数とを再生位置と呼び、再生開始位置とは、再生開始時の再生位置であり、再生開始する際の再生するクリップと、映像データ中における開始フレーム位置とを指す。なお、これらの再生位置の管理は、一般的に広く利用される技術であり、どのような方法を実装してもよい。再生位置同期制御部502は、例えば、再生停止中にも再生位置を保持しておけば、再生中以外にも現在の再生位置を取得することが可能となる。この時、再生位置同期制御部502は、その時点で保持している再生位置を全体動作制御部501に提供すればよい。
Next, FIG. 21 shows a flow of processing to seek to the reproduction position in S102. First, a process of acquiring the current playback position of the main recording /
次に、S400にて取得した現在再生位置を再生開始位置として決定する処理を行う(S401)。これは、再生位置同期制御部502から提供された現在の再生位置を、S402の処理が完了するまで一時的に保持しておけばよい。
Next, a process of determining the current reproduction position acquired in S400 as a reproduction start position is performed (S401). In this case, the current playback position provided from the playback position
次に、S401にて決定した再生開始位置と、「PLAY_SEEK」コマンドとを発行する処理を行う(S402)。「PLAY_SEEK」コマンドは、主記録再生部12と副記録再生部13、14との再生開始位置を一致させる目的でSeekを行うためのコマンドである。以上のS400、S401、S402の各処理は主記録再生部12における処理であり、次に説明するS403、S404の処理は、副記録再生部13、14における処理である。これは、本実施の形態では、主記録再生部12の現在再生位置に対応する再生位置を副記録再生部13、14の再生開始位置とするため、主記録再生部12では、主記録再生部12と同じ再生位置にSeek処理を行うためのS403、S404の処理は必要ないことによる。
Next, a process of issuing the playback start position determined in S401 and the “PLAY_SEEK” command is performed (S402). The “PLAY_SEEK” command is a command for performing seek for the purpose of matching the reproduction start positions of the main recording / reproducing
次に、S402にて発行された再生Seekコマンド「PLAY_SEEK」を受信する処理を行う(S403)。このコマンドは、コマンド多重部204やコマンド分離部300等を介して副記録再生部13、14におけるコマンド発行部301のコマンド処理部400にて受信される。コマンド処理部400は、受信した「PLAY_SEEK」コマンドと再生開始位置とを再生位置Seek部403に提供する。
Next, a process of receiving the playback seek command “PLAY_SEEK” issued in S402 is performed (S403). This command is received by the
次に、S403にて受信した再生開始位置にSeekする処理を行う(S404)。これは、再生位置Seek部403に提供された「PLAY_SEEK」コマンドと再生開始位置とに基づいて、再生位置Seek部403は、記録再生部303にSeek動作指示を行う。例えば、図10の例で説明すると、再生開始位置がクリップ0−1の30フレーム目である場合、再生位置Seek部403は、クリップ0−1に対して空間識別情報にて関連付けられるクリップ1−1及びクリップ2−1の30フレーム目にSeekするように制御すればよい。
Next, a process of seeking to the reproduction start position received in S403 is performed (S404). This is based on the “PLAY_SEEK” command provided to the playback position seek
次にS103における再生開始処理について具体的に説明する。まず同期運転制御部202は、S102における処理にてSeek処理を行った後、再生開始処理を実行する指示を出す。これは、操作入力部15が、ユーザの再生操作に基づき、操作コマンドとしての再生「PLAY」コマンドを発行する。この「PLAY」コマンドは、第1コマンド多重部102、コマンド分離部200、コマンド制御部201を介して同期運転制御部202に提供される。同期運転制御部202に提供されたコマンドは、コマンド受信部500を介して全体動作制御部501に提供される。全体動作制御部501は、例えば、すべての記録再生部が停止状態「STATUS_STOP」の場合には、「PLAY」コマンドの受信により、再生開始処理を行うことを決定し、この指示をコマンド発行部504に提供する。
Next, the reproduction start process in S103 will be specifically described. First, the synchronous
次にコマンド発行部504は、この指示情報としての「PLAY_START」コマンドをコマンド制御部201に提供する。次に、この「PLAY_START」コマンドは、コマンド制御部201のコマンド処理部400に提供され、再生開始処理が実行される。すなわち、前述したように記録再生制御部402に再生開始指示を提供し、各記録再生部の再生動作を行うことになる。
Next, the
以上、再生動作における処理について具体的に説明してきた。次に再生準備段階(「PLAY_CHECK」コマンドに対応する)で行われる同一クリップ群の判別処理について具体的に説明する。 The processing in the reproduction operation has been specifically described above. Next, the same clip group discrimination process performed in the playback preparation stage (corresponding to the “PLAY_CHECK” command) will be described in detail.
同一クリップ群判別部401における再生クリップと同一クリップ群に属するクリップであるか否かを判断する方法についてより具体的に説明する。同一クリップ群判別部401は、コマンド処理部400からの指示と再生クリップのコンテンツIDとに基づき、再生クリップと関連付けられるクリップであるか否かを判断する。図14に示すようにコンテンツIDの記録開始時刻情報(Time Snap)と機器固有識別子(Device Node)と(すなわち図14中の(1)として示される部分)が一致していれば、同一クリップ群である(関連付けられている)ことを判断できる。すなわち、再生クリップのコンテンツIDと記録媒体310に記録されている各クリップのコンテンツIDとを比較して、一致すれば、同一クリップ群に属するクリップであり(関連付けられている)、不一致であれば、同一クリップ群に属するクリップではない(関連付けられていない)と判断できる。この時、コンテンツIDのファイル単位時間識別情報(Clip No)、空間識別情報(Video No)に相当する部分(図14中の(2)として示される2byteの部分)をマスク(例えば、0000とする)して比較すればよい。この同一クリップ群判別部401の処理は各記録再生部にて行なわれる。すなわち、すべての記録再生部(映像処理装置全体)でみれば、再生クリップに対応した同一クリップ群(すなわち再生クリップ群)を検索したことになる。
(3−5.クリップ不整合時の動作)
次に記録媒体の挿入誤り等に起因するクリップの不整合の検出とその表示について説明する。本実施の形態では、記録媒体は着脱可能な形態であるため、一部の記録再生装置において、ユーザの誤挿入等の操作により再生時に所望のクリップが記録された記録媒体が挿入されていない場合や、誤った(所望のクリップが記録されていない)記録媒体が挿入されている場合がある。クリップ不整合とはこのような場合に、同一クリップ群を構成するクリップが一部不足している状態を指す。本実施の形態は、このようなクリップ不整合を検出し、その不整合を示す表示を行う際にも効果を発揮する。
A method for determining whether or not the clip belongs to the same clip group as the reproduction clip in the same clip
(3-5. Operation when clips are not aligned)
Next, detection and display of clip inconsistency caused by an insertion error of a recording medium will be described. In this embodiment, since the recording medium is detachable, the recording medium on which a desired clip is recorded at the time of reproduction is not inserted in some recording / reproducing apparatuses due to an operation such as an erroneous insertion by the user. In some cases, an incorrect recording medium (in which a desired clip is not recorded) is inserted. Clip misalignment refers to a state where a part of the clips constituting the same clip group is insufficient in such a case. The present embodiment is also effective in detecting such clip inconsistency and performing display indicating the inconsistency.
まずクリップの不整合の表示例について説明する。図10や図17の例のように記録された場合におけるクリップの不整合の表示例を図22に示す。本実施の形態では、図22に示すようにGUI画面上にダイアログと文字を表示することでユーザに提示する。図22の例では、区間長が230フレームを表示しており、これは1番目のクリップと2番目のクリップと3番目のクリップの区間長の総和である。また、クリップの状況としては、関連付けられているクリップが存在する場合には「○」、関連付けられているクリップが存在しない場合には「×」を表示している。ここで、図22における合成画とは、映像合成部100にて合成され、主記録再生部12にて記録されるクリップ(図10の例では空間識別情報が0であるクリップ)を指し、チャンネル1とは、左側の映像データを記録するクリップ(図10の例では空間識別情報が1であるクリップ)を、チャンネル2とは右側の映像データを記録するクリップ(図10の例では空間識別情報が2であるクリップ)を指す。また、図22の例では、クリップ2−2、クリップ1−3、クリップ2−3が存在しないことを表している。
First, a display example of clip inconsistency will be described. FIG. 22 shows a display example of clip inconsistency when recording is performed as in the examples of FIGS. 10 and 17. In the present embodiment, as shown in FIG. 22, a dialog and characters are displayed on the GUI screen and presented to the user. In the example of FIG. 22, the section length is 230 frames, which is the sum of the section lengths of the first clip, the second clip, and the third clip. As the status of the clip, “◯” is displayed when the associated clip exists, and “X” is displayed when the associated clip does not exist. Here, the synthesized image in FIG. 22 refers to a clip synthesized by the
次にクリップの不整合の検出処理について説明する。クリップの不整合の検出処理は、前述した同一クリップ群検索部503における同一クリップを検索するための制御処理と、同一クリップ群判別部401における同一クリップ群に属するクリップを判別する処理で実現できる。あるクリップ(以下、検索元クリップと呼ぶ)があるとすると、そのクリップに記録されているコンテンツIDを取得し、記録媒体210、310に記録されている各々のクリップのコンテンツIDと比較することで、同一クリップ群に属するクリップがないこと(すなわち、クリップ不整合)が検出できる。
Next, clip mismatch detection processing will be described. The clip mismatch detection process can be realized by the above-described control process for searching for the same clip in the same clip
この検索元クリップは、前述した再生処理での同一クリップ群検索における説明では、再生クリップに相当し、本実施の形態では、主記録再生部12に記録されたクリップが最も効率的であるが、その他の任意のクリップであっても同様の効果を発揮する。
This search source clip corresponds to a playback clip in the description of the same clip group search in the playback process described above, and in this embodiment, the clip recorded in the main recording /
これらの処理により検出されるクリップ不整合検出結果に基づいて図22に示すような表示を行えばよい。例えば、図22の例では、クリップ1−3、2−2、2−3は存在しない場合の例を示している。この場合、検索元クリップをクリップ0−1とすると、記録媒体210に同一クリップ群に属するクリップであるクリップ0−2とクリップ0−3とを検知ことができる。また、副記録再生部13における記録媒体310には、クリップ0−1と同じ同一クリップ群に属するクリップであるクリップ1−1とクリップ1−2とを検知することができる。同様に、副記録再生部14における記録媒体310について、クリップ2−1とクリップ2−2とが検知することができる。なお、図22の例では、クリップ1−3、2−2、2−3は存在しないので検知できないことになる。ここで、例えば、1番目のクリップは、空間識別情報にて関連付けられるすべての構成要素(すなわち合成画とチャンネル1と2)を満たしているので再生可能であり、その他の2番目、3番目のクリップはこの構成要素を満たしていないので正常に再生することができない(例えば、再生画に一部及び全画面に欠落が生じる可能性がある)。このような場合におけるクリップの不整合表示は、このような再生の可否や不足クリップの特定等において、ユーザの判断基準となる。特に記録媒体が着脱可能な形態である場合には、ユーザが誤操作する可能性があるため、このクリップの不整合の表示機能は、ユーザによる誤操作の検知あるいは解決するために重要な機能となる。
The display as shown in FIG. 22 may be performed based on the clip mismatch detection result detected by these processes. For example, the example of FIG. 22 shows an example in which the clips 1-3, 2-2, and 2-3 do not exist. In this case, if the search source clip is clip 0-1, clips 0-2 and clips 0-3, which are clips belonging to the same clip group on
なお、本実施の形態では管理情報ファイルはテキストファイルのCSV形式の例を用いて説明したが、マークアップ言語の1つであるXML(eXtensible Markup Language)形式を利用して記録してもよい。 In the present embodiment, the management information file has been described using an example of the CSV format of a text file. However, the management information file may be recorded using an XML (extensible Markup Language) format which is one of markup languages.
なお、本実施の形態では映像データとは別に管理情報ファイルを記録する方法を説明したが、管理情報ファイルを映像ファイルのヘッダに記録する方法でもよい。記録再生部203、303にて、このヘッダ部分のデータと映像データとを別々に記録再生すれば、その他のブロックは本実施の形態で説明した構成で本実施の形態の効果を発揮できる。
In the present embodiment, the method for recording the management information file separately from the video data has been described. However, a method for recording the management information file in the header of the video file may be used. If the data of the header portion and the video data are separately recorded and reproduced by the recording / reproducing
なお、本実施の形態では映像データにコマンドを多重して送受信する方法を説明したが、コマンド(情報)を送受信できればどのような通信部を用いてもよい。 In the present embodiment, the method of multiplexing and transmitting commands to video data has been described. However, any communication unit may be used as long as commands (information) can be transmitted and received.
なお、映像処理装置は、主記録再生部12と副記録再生部13、14とを含む1つの装置として説明したが、主記録再生部12及び副記録再生部13、14が、それぞれの別の1つの装置として実現してもよく、どのような装置構成でもよい。また、主記録再生部12及び副記録再生部13、14に限らず、本実施の形態の構成要素の少なくとも一部を別装置とし、映像処理システムとして、構成してもよい。
Although the video processing apparatus has been described as one apparatus including the main recording / reproducing
なお、本実施の形態では同期運転制御部202を主記録再生部12に含む構成例を説明したが、主記録再生部12に含まず、別の構成要素(例えば、操作入力部15)にて実現してもよい。この場合には、主記録再生部12のコマンド分離部200は、分離したコマンドを同期運転制御部202に提供するのではなく、コマンド制御部201のみにコマンドを提供するように変更し、副記録再生部13、14と同様に動作させればよい。
In this embodiment, the configuration example in which the synchronous
なお、本実施の形態では左右2つの映像データを用いる例を説明したが、空間識別情報(Video No)の最大値を変更すれば、2つ以上の映像データを扱うこともできる。この場合、本実施の形態では、コンテンツIDにおける空間識別情報(Video No)のサイズを1byteとして説明したが、適宜、サイズを変更してもよい。この空間識別情報(Video No)の最大値の変更により、マルチ画面にそれぞれ1つずつの映像データを提示する映像処理装置や、超高精細映像を複数の映像データを組み合わせて生成する方法に容易に展開可能である。 In this embodiment, an example in which two left and right video data are used has been described. However, if the maximum value of the space identification information (Video No) is changed, two or more video data can be handled. In this case, in the present embodiment, the size of the space identification information (Video No) in the content ID has been described as 1 byte, but the size may be changed as appropriate. By changing the maximum value of this space identification information (Video No), it is easy to use a video processing device that presents video data one by one on a multi-screen, or a method for generating ultra-high definition video by combining multiple video data. Can be deployed.
なお、本実施の形態ではファイル単位時間識別情報の値として、0からインクリメントして記録し、その値の番号順に再生する方法を説明したが、例えば、編集済みの映像データに対して再生順番に従ってファイル単位時間識別情報を付与してもよい。この場合には、ファイル単位時間識別情報の対応の番号順、すなわち、再生順番の順に再生されることになる。また、この場合には、記録時には、記録再生部203、303の映像データ記録部において記録される映像データは、本映像処理装置に入力された映像データではなく、各記録再生部に挿入されたそれぞれの記録媒体にあらかじめ記録されている映像ファイルとしての映像データを利用すればよい。再生時には、本実施の形態で説明した処理と同様に再生すればよい。
In the present embodiment, a method of incrementing from 0 as a value of file unit time identification information and recording and reproducing in the numerical order of the value has been described. For example, edited video data is reproduced according to the reproduction order. File unit time identification information may be added. In this case, the files are reproduced in the order of numbers corresponding to the file unit time identification information, that is, in the order of reproduction. In this case, at the time of recording, the video data recorded in the video data recording units of the recording / reproducing
本実施の形態にかかる映像処理装置は、複数の映像データを同時に扱う映像処理装置のユーザの利便性を飛躍的に向上させるもので、半導体メモリや光ディスク等を応用した映像処理装置や、2視点のステレオ画の提示による3次元映像処理装置や、マルチ画面や超高精細映像処理装置等に広く適用可能である。 The video processing apparatus according to the present embodiment dramatically improves the convenience of the user of the video processing apparatus that handles a plurality of video data at the same time. The present invention can be widely applied to 3D video processing apparatuses that present stereo images, multi-screen and ultra-high-definition video processing apparatuses, and the like.
10 記録系映像処理部
11 再生系映像処理部
12 主記録再生部
13 副記録再生部
14 副記録再生部
15 操作入力部
100 映像合成部
102 第1コマンド多重部
103 第2コマンド多重部
104 第2コマンド多重部
105 映像遅延部
106 映像遅延部
110 第1コマンド分離部
111 第2コマンド分離部
112 第2コマンド分離部
150 入力映像としての映像データ1
151 入力映像としての映像データ2
152 記録映像としての映像データ1と2の合成画
153 記録映像としての映像データ1
154 記録映像としての映像データ2
155 再生映像としての映像データ1と2の合成画
156 再生映像としての映像データ1と2
200 コマンド分離部
201 コマンド制御部
202 同期運転制御部
203 記録再生部
204 コマンド多重部
210 記録媒体
300 コマンド分離部
301 コマンド制御部
303 記録再生部
304 コマンド多重部
310 記録媒体
400 コマンド処理部
401 同一クリップ群判断部
402 記録再生制御部
403 再生位置Seek部
500 コマンド受信部
501 全体動作制御部
502 再生位置同期制御部
503 同一クリップ群検索部
504 コマンド受信部
505 基本コンテンツID生成部
600 映像ファイル記録部
601 フレーム単位識別情報多重部
602 映像データ記録部
610 ファイル単位識別情報生成部
611 コンテンツID生成部
612 管理情報記録部
620 映像ファイル再生部
621 フレーム単位識別情報再生部
622 映像データ再生部
630 ファイル単位識別情報再生部
631 管理情報再生部
700 コンテンツディレクトリ
701 ビデオ格納用ディレクトリ
702 管理情報格納用ディレクトリ
DESCRIPTION OF
151 Video data 2 as input video
152 Composite Image of
154 Video data 2 as recorded video
155 Composite image of
200
Claims (9)
前記複数の映像データを各々ファイル化し、映像ファイルとして記録媒体に記録する映像ファイル記録部と、
前記映像データの時間的な位置づけを識別するための時間識別情報と前記映像データの空間的な位置づけを識別するため空間識別情報とを含む、前記映像ファイルに対応するファイル単位識別情報を生成するファイル単位識別情報生成部と、
前記映像ファイルとともに、前記ファイル単位識別情報を前記記録媒体に記録する管理情報記録部と、
を備える映像処理装置。 An input unit for inputting a plurality of video data to be displayed simultaneously;
A video file recording unit that converts each of the plurality of video data into a file and records it as a video file on a recording medium;
A file for generating file unit identification information corresponding to the video file, including time identification information for identifying temporal positioning of the video data and spatial identification information for identifying spatial positioning of the video data A unit identification information generation unit;
A management information recording unit that records the file unit identification information on the recording medium together with the video file;
A video processing apparatus comprising:
当該映像処理装置固有の識別子と記録開始時刻とをさらに含む前記ファイル単位識別情報を生成する
請求項1記載の映像処理装置。 The file unit identification information generation unit
The video processing apparatus according to claim 1, wherein the file unit identification information further includes an identifier unique to the video processing apparatus and a recording start time.
前記映像ファイル記録部は、
前記フレーム単位識別情報が多重された映像データを映像ファイルとして記録する
請求項1又は2に記載の映像処理装置。 A frame unit identification information multiplexing unit that multiplexes frame unit time identification information for identifying temporal positioning indicating a frame delimiter for the video data input by the input unit;
The video file recording unit
The video processing apparatus according to claim 1, wherein the video data on which the frame unit identification information is multiplexed is recorded as a video file.
前記記録媒体に記録された前記映像ファイルの時間的な位置づけを識別するための時間識別情報と空間的な位置づけを識別するため空間識別情報とを含むファイル単位識別情報を再生するファイル単位識別情報再生部と、
前記ファイル単位識別情報にて関連付けられたクリップ群を検索するための同一クリップ検索部と、
前記ファイル単位識別情報にて関連付けられたクリップであるか否かを判別するための同一クリップ判別部と、
を備える映像処理装置。 A video data playback unit for playing back a video file consisting of video data recorded on a recording medium and to be displayed simultaneously;
File unit identification information reproduction for reproducing file unit identification information including time identification information for identifying the temporal position of the video file recorded on the recording medium and spatial identification information for identifying the spatial position And
The same clip search unit for searching for a clip group associated with the file unit identification information;
The same clip discriminating unit for discriminating whether or not the clip is associated with the file unit identification information;
A video processing apparatus comprising:
前記ファイル単位識別情報にて関連付けられたクリップに対して、クリップに対応した映像データの同一フレーム位置に、前記フレーム単位時間識別情報を用いてシークする再生位置Seek部と、
を備える請求項4記載の映像処理装置。 A frame unit identification information reproducing unit for reproducing frame unit time identification information for identifying a temporal position indicating a frame break in the video data;
A playback position seek unit that seeks to the clip associated with the file unit identification information using the frame unit time identification information at the same frame position of the video data corresponding to the clip;
The video processing apparatus according to claim 4.
前記ファイル単位識別情報再生部により再生される時間的識別情報に基づいて前記映像ファイルの再生順番を決定する
請求項5記載の映像処理装置。 The video data reproducing unit
The video processing apparatus according to claim 5, wherein the playback order of the video files is determined based on temporal identification information played back by the file unit identification information playback unit.
前記同一クリップ群検索で検出したクリップの不整合を表示する表示部と、
を備える請求項4から6の何れかに記載の映像処理装置。 The same clip group search unit for confirming the consistency of the clip associated with the file unit identification information;
A display unit for displaying inconsistencies of the clips detected in the same clip group search;
The video processing apparatus according to claim 4, further comprising:
前記映像合成部で合成した映像データを再生する第1の映像処理部と、
合成前の映像データを再生する第2の映像処理部と、を備え、
前記第1の映像処理部は、
現在再生位置を取得する再生位置同期制御部を備え、
前記再生位置Seek部は、
前記現在再生位置にシークする
請求項5又は6に記載の映像処理装置。 A video composition unit that composes the video data to create one video data;
A first video processing unit for reproducing the video data synthesized by the video synthesis unit;
A second video processing unit for playing back the video data before synthesis,
The first video processing unit includes:
It has a playback position synchronization control unit that acquires the current playback position,
The reproduction position seek part is
The video processing apparatus according to claim 5, wherein seek is performed at the current playback position.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009258586A JP2011103617A (en) | 2009-11-12 | 2009-11-12 | Video processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009258586A JP2011103617A (en) | 2009-11-12 | 2009-11-12 | Video processing apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011103617A true JP2011103617A (en) | 2011-05-26 |
Family
ID=44193754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009258586A Pending JP2011103617A (en) | 2009-11-12 | 2009-11-12 | Video processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011103617A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9767364B2 (en) | 2014-06-09 | 2017-09-19 | Fujitsu Limited | Footage extraction method, footage playback method, and device |
-
2009
- 2009-11-12 JP JP2009258586A patent/JP2011103617A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9767364B2 (en) | 2014-06-09 | 2017-09-19 | Fujitsu Limited | Footage extraction method, footage playback method, and device |
TWI659654B (en) * | 2014-06-09 | 2019-05-11 | 日商富士通股份有限公司 | Footage extraction method, footage playback method, and device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11240538B2 (en) | Methods and systems for network based video clip generation and management | |
JP4270379B2 (en) | Efficient transmission and reproduction of digital information | |
CN103125123B (en) | Playback device, playback method, integrated circuit, broadcasting system, and broadcasting method | |
US20080049574A1 (en) | Data Processor | |
US8676038B2 (en) | Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program | |
JP2010239654A (en) | Data decoding device for providing browsable slide show, decoding method thereof, and information storage medium therefor | |
WO2009136507A1 (en) | Link information generating device, image recording device, image reproducing device, recording medium, link information generating method, image recording method, image reproducing method, program, and integrated circuit | |
WO2006121049A1 (en) | Data processing device | |
US20050025460A1 (en) | Information-processing apparatus, information-processing method, program-recording medium, and program | |
JPWO2005122173A1 (en) | Data processing device | |
US8654178B2 (en) | Video recording apparatus and video reproducing apparatus | |
JP2007129368A (en) | Device and method for recording information | |
KR20010092278A (en) | Image recording apparatus and method, image reproducing apparatus and method, and recording medium | |
JP2011103617A (en) | Video processing apparatus | |
JP5034608B2 (en) | Recording method | |
JP2001292411A (en) | Image data recorder and image data recording method | |
WO2012123982A1 (en) | Recording device/method/medium and replaying device/method | |
JP2013058287A (en) | Recording device/method/medium and reproducing device/method | |
JP2007158431A (en) | Video recording device and video recording and reproducing device | |
WO2013031307A1 (en) | Recording device, method and medium, and playback device and method | |
JP5287338B2 (en) | Imaging device, video editing device, and video editing system | |
JPH1169302A (en) | Multiple video reproducing device | |
KR101447190B1 (en) | Input-output System for eding and playing of UHD image contents | |
JP2022156728A (en) | Video playback device and video recording medium | |
WO2012123981A1 (en) | Recording device/method/medium, replaying device/method |