JP2011199477A - 映像信号取り込み装置 - Google Patents

Abstract

【課題】映像、音声、ＴＣ（タイムコード）をコンピュータで取り込む際に、それぞれのデータの時間同期のずれを生じさせないようにする。
【解決手段】入力位相のあった映像データ、音声データ、ＴＣデータを映像信号取り込みボードに入力して、映像信号取り込みボードでフレーム番号を生成し、映像データ、音声データ、ＴＣデータに対して、取り込んだ時間が同じであれば、同じフレーム番号を付加する。また、映像データ取り込みアプリケーション内で、デバイスドライバから取り込んだ映像データ、音声データ、ＴＣデータに付加されたフレーム番号を、各々比較し、同じフレーム番号であれば、同じ時刻の入力データであると判断して各々の映像データ、音声データ、ＴＣデータを同期して外部に配信する。
【選択図】図１

Description

本発明は、映像信号取り込み装置に係り、特に、コンピュータなどで編集するために、映像信号を映像データ、音声データとして取り込む際に、タイムコードにより、映像データ、音声データの時間同期をとる映像信号取り込み装置に関する。

近年、コンピュータの性能向上に伴い、ＨＤＤ（ハードディスクドライブ）に格納した映像データをコンピュータで編集する製品が各社より発表されている。このような用途のためには、従来から使用されてきたアナログあるいはデジタルの映像信号を、コンピュータで取り込んで扱うことが可能な電子データ形式に映像データを変換する必要がある。例えば、アナログであれば、ＮＴＳＣ（National Television System Committee）信号と呼称される映像信号形式であり、デジタルであれば、ＨＤ−ＳＤＩ信号（High Definition Serial Digital Interface）と呼称される映像信号形式である。また、映像信号と一般に呼ばれる信号には、映像以外に音声やタイムコード（以下、「ＴＣ」と略す）、各種ユーザデータが映像データに重畳される、あるいは、同時に別のインタフェースを併用して運用される場合がある。

本明細書では、「映像信号」をこのような音声やＴＣなど各種データを表現する信号が含まれた信号という意味で説明に用いる。映像単体を示す場合は、「映像」、あるいは、「映像データ」という言葉を用いる。

従来の運用をふまえ、どのように映像信号が扱われているか述べると、デジタル放送システム系の例であれば、映像信号は、ＨＤ−ＳＤＩであり音声が重畳されている。また、ＴＣは、システム間で同じ時刻に合わせる必要からＨＤ−ＳＤＩとは別にＴＣ用の時刻信号入力を用意して全てのシステム機器に分配する。このときに、映像信号入力と時刻信号入力をコンピュータで取り込むには、コンピュータに専用ハードウェアを搭載する必要がある。すなわち、一般にキャプチャボードと呼ばれる種類の映像信号取り込みボードがこれに該当する。

また、映像データは、音声データに比べ、そのままではデータ量が多く、ＨＤＤに格納するには不向きであるので、画像圧縮技術を併用して映像データ量の削減をおこなうことが一般的になっている。この画像圧縮処理により、元のデータに比べて１／１０以下のデータ量に削減可能だが、画質を劣化させないようにデータ量を削減しようとするほど処理時間がかかるというトレードオフの面もある。ＨＤ（High Definition）画像のようなデータ処理量が多い画像に対しては、専用ＬＳＩなどのハードウェアにより圧縮するアプローチを取ることが多い。すなわち、このアプローチでは、キャプチャボードに画像圧縮ＬＳＩを搭載することになる。一方、音声データは、編集のしやすさを保持するという観点から非圧縮のままで扱う運用もある。

なお、特許文献１には、パーソナルコンピュータに外付けして、映像データのフレーム周波数に応じて生成されたタイムコードを外部に送信するタイムコード通知装置が開示されている。

特開２００４−３１２３０６号公報

映像信号をコンピュータに取り込む運用において、映像信号と時刻信号は別の信号線であり、また、映像信号に含まれる映像データと音声データのうち、映像データだけに画像圧縮処理をおこなう場合、映像、音声、ＴＣをコンピュータで取り込む際には、それぞれのデータの時間同期を取ることが難しいという問題点がある。その原因の一つ目は、コンピュータで二つ以上の信号を取り込む際のＯＳ（Operation System）の応答性の問題である。取り込み処理の実行を指示する映像データ取込みアプリケーションは、ＯＳ上で動作するが、ＯＳがシステム管理をする都合上、アプリケーションより優先度が高い処理が入る込むことがある。そのため、映像信号を取り込んだ後、時刻信号の取り込みに移行する間にＯＳの処理が入り込み、最悪で映像１フレームに相当する時間だけずれて時刻信号が取り込まれることがある。同期を取ることが難しい二つ目の原因は、画像圧縮処理の処理時間が長いことである。画像圧縮処理がハードウェアで実現された場合、１フレームの映像データを圧縮処理するのに、ハードウェアのパイプライン処理で並列動作をおこなうことで、２フレーム以上の時間を費やすこともある。

映像データ、音声データはＴＣを時刻情報として映像フレームの単位で時刻管理されるべきものであるから、このようなコンピュータで映像信号と時刻信号を取り込む機器を構成するには何らかの手段を用意する必要がある。

本発明は、上記問題点を解決するためになされたもので、その目的は、映像、音声、ＴＣをコンピュータで取り込む際に、それぞれのデータの時間同期のずれを生じさせないような映像信号取り込み装置を提供することにある。

本発明の映像信号取り込み装置は、映像信号と時刻信号とを入力しハードウェアで信号処理をおこなう映像信号取り込みボードと、ソフトウェアで信号処理をおこない映像データ、音声データ、デジタル時刻データなどのデジタルデータを配信する映像データ取り込みアプリケーションと、映像信号取り込みボードと映像データ取り込みアプリケーションとの信号処理を仲介するデバイスドライバとからなる。

入力位相のあった映像データ、音声データ、ＴＣデータを映像信号取り込みボードに入力して、映像信号取り込みボードでフレーム番号を生成し、映像データ、音声データ、ＴＣデータに対して、取り込んだ時間が同じであれば、同じフレーム番号を付加する。

また、映像データ取り込みアプリケーション内で、デバイスドライバから取り込んだ映像データ、音声データ、ＴＣデータに付加されたフレーム番号を、各々比較し、同じフレーム番号であれば、同じ時刻の入力データであると判断して各々の映像データ、音声データ、ＴＣデータを同期して外部に配信する。

本発明によれば、映像、音声、ＴＣをコンピュータで取り込む際に、それぞれのデータの時間同期のずれを生じさせないような映像信号取り込み装置を提供することができる。

本発明の一実施形態に係る映像信号取り込み装置の構成図である。 従来技術に係る映像信号取り込み装置に、外部から映像信号と時刻信号を入力している図である。 本発明の一実施形態に係る映像信号取り込み装置に、外部から映像信号と時刻信号を入力している図である。

以下、本発明に係る一実施形態を、図１ないし図３を用いて説明する。

先ず、図１を用いて本発明の一実施形態に係る映像信号取り込み装置の構成と動作を説明する。
図１は、本発明の一実施形態に係る映像信号取り込み装置の構成図である。

本実施形態の映像信号取り込み装置の構成は大きく分けて、映像信号取り込みボード１と、映像データ取り込みアプリケーション２９の二つから成る。

先ず、映像信号取り込みボード１の構成と動作を説明する。

映像信号取り込みボード１の内部構成は、図１に示されるように、同期信号検出部（映像信号に対する）２、同期信号検出部（時刻信号に対する）７、映像信号分離部４、フレーム番号多重部９、フレーム番号多重部１０、フレーム番号多重部１１、映像変換処理部１２、タイミング制御部１４、フレーム番号発生部１６から成る。

映像信号は、外部から映像信号入力３０として同期信号検出部２に入力される。

同期信号検出部２は、映像信号の内容を解析し、映像データと、音声データや各種データが重畳されている場合には、それらのデータ位置を探しだし、デジタル映像信号３として映像データや音声データなどをデジタルデータとして映像信号分離部４に出力する。

映像信号分離部４は、デジタル映像信号３から映像データ５と音声データ６に分離し、映像データ５は、フレーム番号多重部１１に、音声データ６は、フレーム番号多重部１０に出力する。

時刻信号は、外部から時刻信号入力３１として同期信号検出部７に入力される。

同期信号検出部７は、時刻信号の内容を解析し、デジタル時刻データ８としてＴＣをデジタル化してフレーム番号多重部９に出力する。

同期信号検出部２は、映像のフレームの区切りを検出すると、同期信号検出信号１３をタイミング制御部１４に出力する。タイミング制御部１４は、この同期信号検出信号１３から映像のフレームの変化点を管理する。このフレームの区切りと時刻信号入力３１から入力されるＴＣのフレームの区切りは同期している。これはシステム運用の観点からの大前提になる。そのため同期信号検出信号１３とＴＣに含まれるフレーム時刻の変化点の位相も同期していることになる。タイミング制御部１４は、フレームの区切りでタイミング信号１５をフレーム番号発生部１６に出力する。この信号によりフレーム単位に１ずつ値を更新したフレーム番号１７を、三つのフレーム番号多重部である、フレーム番号多重部９、フレーム番号多重部１０、フレーム番号多重部１１に出力する。よって、三つのフレーム番号多重部には、映像信号のフレームの区切りごとに１ずつ更新された値が入力される。

これらの三つのフレーム番号多重部は、それぞれ入力された映像データ５、音声データ６、デジタル時刻データ８と、フレーム番号１７との対応づけをおこない、各後段に出力する。実際の手法としては、メモリ上の隣り合った位置にデータとフレーム番号を格納するなどの対応づけるなどの方法が考えられる。このフレーム番号多重部での対応づけにより、これ以降の処理部では各データ毎の時間位相が異なっても、どの時点での入力データであったか把握することが可能になり、同期処理をおこなうことができるようになる。

フレーム番号多重部１１でフレーム番号１７と対応づけられた映像データ５は、映像変換処理部１２に入力される。映像変換処理部１３は、画像圧縮処理の実行や画像サイズの変更など、用途により様々な処理が考えられる。どのような処理がおこなわれるかで異なるが、画像圧縮処理であれば、処理時間に１フレーム時間やそれ以上の時間を費やすことがあり、音声データ６や、デジタル時刻データ８と比べ、時間位相は遅れて出力されることになる。またフレーム番号多重部１１の出力から映像変換処理部１２を介さないデータの経路も用意される。画像圧縮処理や画像サイズ変更処理などが不要な場合には、この経路を通り後段へ出力される。どの経路のデータを使用するかは、後段のデバイスドライバ１８が判断する。

これ以降、映像、音声、ＴＣの各データは、後段のデバイスドライバ１８に入力される。

次に、映像データ取り込みアプリケーション２９の構成と動作を説明する。

映像データ取り込みアプリケーション２９は、機器ＯＳ２８の管理下におかれており、機器を構成するいくつかのソフトウェアのうちの１アプリケーションソフトウェアである。また、映像信号取り込みボード１と映像データ取り込みアプリケーション２９の間にはデバイスドライバ１８が介在している。デバイスドライバ１８も、機器ＯＳ２８の管理下にある。

映像データ取り込みアプリケーション２９の内部構成は、図１に示されるように、フレーム番号比較部２０、格納データ配信部２２、状態遷移制御部２３、制御命令解析部２７から成る。

状態遷移制御部２３の動作のきっかけは、制御命令入力３３から入力され制御命令解析部２７で取り出した制御命令２６が入力されることであり、これにより、状態遷移制御部２３とデバイスドライバ１８との映像取り込みボード制御信号２４のやりとりが始まる。例えば、制御命令２６が「映像収録開始」という命令であった場合などが、これに該当する。映像取り込みボード制御信号２４により、映像信号取り込みボード１からデバイスドライバ１８を経由して、映像データ、音声データ、ＴＣがボード読み出しデータ１９として、フレーム番号比較部２０に入力される。

フレーム番号比較部２０は、映像データ、音声データ、ＴＣの各データに付加されたフレーム番号を比較し、同じフレーム番号のデータは同じ時刻に入力されたデータであると判断し、比較判断信号２１を格納データ配信部２２に出力する。これにより三つのデータの同期をとることが可能になる。

格納データ配信部２２は、映像データ、音声データ、ＴＣをシステムの用途に合わせたデータフォーマットに変換する。例えば、多重化して１本のデータ列に並び替える場合や、映像、音声が独立したデータのままである場合など、様々なフォーマットの種類が考えられる。三つのデータの同期をとるため、格納データ配信部２２にはメモリが搭載される。メモリ容量は、各データにどの程度の位相差が発生するかによるため、システムによって異なるが、位相差を吸収できるだけのメモリ容量が必要になる。フォーマット変換したデータは、格納データ出力３２として外部の、例えば、ＨＤＤやネットワークなどに配信する。この格納データ配信部２２の配信制御は、状態遷移制御部２３から格納データ配信制御信号２５を使用して制御される。

次に、本実施形態の映像信号取り込み装置における映像データ、音声データ、デジタル時刻データの流れを、従来技術の映像信号取り込み装置と比較して説明する。
図２は、従来技術に係る映像信号取り込み装置に、外部から映像信号と時刻信号を入力している図である。
図３は、本発明の一実施形態に係る映像信号取り込み装置に、外部から映像信号と時刻信号を入力している図である。

従来技術に係る映像信号取り込み装置の構成も、大きく分けて、映像信号取り込みボード、デバイスドライバ、映像データ取り込みアプリケーションからなる。

映像信号入力から、映像（Ｖ）、音声（Ａ）が同期して入力される。同じく時刻信号入力からデジタル時刻データが、映像信号入力と同期して入力される。この三つのデータの同期は、システム内で調整されるものである。

映像信号取り込みボードで取り込んだ、映像データ、音声データ、デジタル時刻データは、映像データが映像変換部の処理、例えば画像圧縮処理などによる処理遅延のため、他のデータより時間位相が遅れる。

さらにデバイスドライバを経由して、映像データ取り込みアプリケーションから三つのデータを取り込む際には、機器ＯＳによる優先度が高い割り込み処理のため、例えば、音声データを取り込んだ後に、デジタル時刻データを取り込もうとするが、この取り込みで時間差が生じ、データ読み込みが遅れることがある。

以上のように、従来技術に係る映像信号取り込み装置では、三つのデータの位相がそれぞれ異なってしまい、どの映像データと音声データが対応づけられるのかアプリケーションでは判別できなくなる。

これに対し、図３に示す本実施形態に係る映像信号取り込み装置では、映像信号入力と時刻信号入力からデータを取り込んだ時点で、フレーム番号発生部で生成したフレーム番号を、三つのデータに付加する。フレーム番号を付加する処理はハードウェアで並列で実行するため処理遅れの要素は無く、三つのデータの同じフレーム番号であれば、同じ時刻に入力されたデータになる。

その後、映像データは、映像変換処理部での処理で遅延し、また、デバイスドライバからの読み込みでデジタル時刻データなどの他のデータの位相がずれてしまっても、映像データ取り込みアプリケーション内のフレーム番号比較部で三つのデータに付加されたフレーム番号を比較することにより、同じフレーム番号のデータは、同じ時刻に入力されたデータと判断することができる。この比較結果に基づき、後段の格納データ配信部では各データの位相を合わせた配信が可能になる。

このように、映像データ、音声データ、デジタル時刻データの各々にフレーム番号をハードウェアで付加することで、後段のアプリケーションでは各データの同期をとることが可能になる映像信号取り込み装置が実現できる。

１…映像信号取り込みボード、２…同期信号検出部（映像信号に対する）、３…デジタル映像信号、４…映像信号分離部、５…映像データ、６…音声データ、７…同期信号検出部（時刻信号に対する）、８…デジタル時刻データ、９…フレーム番号多重部、１０…フレーム番号多重部、１１…フレーム番号多重部、１２…映像変換処理部、１３…同期信号検出信号、１４…タイミング制御部、１５…タイミング信号、１６…フレーム番号発生部、１７…フレーム番号、１８…デバイスドライバ、１９…ボード読み出しデータ、
２０…フレーム番号比較部、２１…比較判断信号、２２…格納データ配信部、２３…状態遷移制御部、２４…映像取り込みボード制御信号、２５…格納データ配信制御信号、２６…制御命令、２７…制御命令解析部、２８…機器ＯＳ、２９…映像データ取り込みアプリケーション、３０…映像信号入力、３１…時刻信号入力、３２…格納データ出力、３３…制御命令入力。

Claims (2)

1. 映像信号と時刻信号とを入力しハードウェアで信号処理をおこなう映像信号取り込みボードと、ソフトウェアで信号処理をおこない映像データ、音声データ、デジタル時刻データなどのデジタルデータを配信する映像データ取り込みアプリケーションと、前記映像信号取り込みボードと前記映像データ取り込みアプリケーションとの信号処理を仲介するデバイスドライバとからなる映像信号取り込み装置において、
   前記映像信号取り込みボードでフレーム番号を生成し、入力位相のあった前記映像データ、前記音声データ、前記デジタル時刻データに対して、取り込んだ時間が同じであれば、同じフレーム番号を付加することを特徴とする映像信号取り込み装置。
2. 前記映像データ取り込みアプリケーション内で、前記デバイスドライバから取り込んだ前記映像データ、前記音声データ、前記デジタル時刻データに付加されたフレーム番号を、各々比較し、同じフレーム番号であれば、同じ時刻の入力データであると判断して各々の前記映像データ、前記音声データ、前記デジタル時刻データを同期して外部に配信することを特徴とする請求項１記載の映像信号取り込み装置。

Images