JP2005020047A

JP2005020047A - 映像録画システム

Info

Publication number: JP2005020047A
Application number: JP2003177812A
Authority: JP
Inventors: Masao Funamoto; 昌男船本; Masaru Igawa; 勝井川; Takashi Okuyama; 崇奥山; Koichi Haneda; 功一羽田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-06-23
Filing date: 2003-06-23
Publication date: 2005-01-20

Abstract

【課題】個別に生成した動画データにおいて、タイムコードなどの時間情報がない、あるいは、同期するには不十分な時間精度であっても、独立した複数の映像をフレーム単位で同期させ、欠落したフレームの補完を行うことのできる映像録画システムを提供する。
【解決手段】アナログ映像をデジタル変換して録画する少なくとも２台の録画装置１１，１２と、少なくとも２台の録画装置１１，１２でデジタル化された動画データ１３，１４を、それぞれフレーム単位で相互に比較し、動画データ１３，１４の欠落したフレームを補完する同期比較装置１５とを備えた。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、アナログ映像をコンピュータ上で扱えるデジタルデータとしてデジタル録画する映像録画システムに関し、特に、デジタル録画された動画データの欠落データを補完する技術に関する。
【０００２】
【従来の技術】
従来、アナログ映像のデジタル録画において、録画装置の過負荷などにより、連続した動画フレームを生成できなかった場合には、直前に録画したフレームを連続して保存するなどして欠落した映像の補完を行っている。
【０００３】
また、録画装置の二重化などにより、録画している装置そのものがダウンした際に、正常に稼働している他方の録画装置で生成したデータを利用して動画データの保証を行う仕組みがある。この場合、システムダウンの頻度に合わせて、数分から長い場合は数時間の単位でシステムダウン中の動画データについて相互補完を行っている。
【０００４】
また、相互補完を行うためには、補完し合う２つ以上の動画データにおいて補完するフレームを決定するために映像の同期が必要になるが、一般的にはこの同期情報として映像に付随して記録された時間情報が用いられる（例えば、特許文献１参照）。
【０００５】
この特許文献１に記載の方法は、各フレームが映像データと非映像データとを有し、非映像データからタイムコードを生成するものであり、この方法によれば、同じ映像信号を記録した動画データをタイムコードにより比較同期を行い、補完すべき映像データの位置を決定する。
【０００６】
【特許文献１】
特開平１０−３３６５９３号公報
【０００７】
【発明が解決しようとする課題】
従来、欠落したフレームの補完は、欠落データを単純に前後のフレームデータで補完するか、又は前後のフレームの平均値などのデータで補完するため、全てのフレームを検証する必要が出てきた場合に、欠落した部分のフレームについては、捏造あるいは重複したフレームが存在しているだけで、本来そのタイミングでデジタル化されるはずであった映像信号を検証することができないという問題点があった。
【０００８】
また、録画装置などを多重化して、映像の欠落を補完しようとした場合、欠落した部分を補完するために、正常に録画されている他方の録画装置の動画データから、欠落した部分のフレーム位置を正確に決定しなければならない。
【０００９】
一般的に、この補完すべきフレーム位置を決定するためにはタイムコードを利用することになるが、このタイムコードは１つの録画装置上では一意に決定されているが、本来、多重化のために独立して動作している録画装置間での同期は保証されていない。
【００１０】
つまり、たとえ同じタイムコードを持つフレームであっても、各々の録画装置内の時間にずれがあった場合、そのずれの分だけ時間位置の異なる映像信号をデジタル化したフレームを指し示すことになってしまう。また、多重化などにより独立した装置の時間を同期させるためには、時間情報を提供するリファレンス装置を用意して各々の多重化した装置を接続し、リファレンス装置により提供された時間情報に同期させるシステムを構築するが、こういった時刻合わせのシステムは、数秒から数分の時間ずれを任意のタイミングで補正することが一般的であり、同期処理のタイミングは短くても数分、通常は数十分〜数時間単位での同期となる。
【００１１】
このためフレームをキャプチャする１／３０秒といった精度で、まったく同じ時刻情報を、独立した録画装置に提供することができないという問題点があった。
【００１２】
そこで、本発明の目的は、録画装置の性能が十分でない場合でもフレーム欠落のない完成された動画データが生成でき、また、個別に生成した動画データにおいて、タイムコードなどの時間情報がない、あるいは、同期するには不十分な時間精度であっても、独立した複数の映像をフレーム単位で同期させ、欠落したフレームの補完を行うことのできる映像録画システムを提供することにある。
【００１３】
【課題を解決するための手段】
本発明による映像録画システムは、アナログ映像をデジタル変換して録画する少なくとも２台の録画装置と、少なくとも２台の録画装置でデジタル化された動画データを、それぞれフレーム単位で相互に比較し、動画データの欠落したフレームを補完する同期比較装置とを備えたものである。
【００１４】
具体的には、本発明は、フレーム欠落のない動画データの生成を、多重化した録画装置により提供される動画データをフレーム単位で比較補完することで達成する。フレームの比較は、タイムコードなどの非映像データを用いずに、フレームの映像データから得られるデジタル情報（例えば、Ａ／Ｄ変換されたＲＧＢデータやＹＵＶデータ、あるいは、特開平４−１１１１８１号公報「動画像の変化点検出方法」に示されている、動画像の各フレームにおけるカラーヒストグラムを含む特徴量など）を利用して行い、多重化され正確な時間同期を行えない独立した録画装置によって提供された動画データであっても、相互にフレーム間の同期を行い、欠落したフレームを正確に補完することができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１６】
図１は、本発明の一実施の形態における映像録画システムの一例を示す構成図である。
【００１７】
図１において、映像録画システムは、録画装置Ａ１１、録画装置Ｂ１２、同期比較装置１５、蓄積装置１７、ストレージ１８から構成されている。
【００１８】
録画装置Ａ１１及び録画装置Ｂ１２には、アナログ映像の入力映像１０が入力され、この映像のソースとして放送、ビデオカメラ入力映像、ビデオテープ再生などを想定している。
【００１９】
録画装置Ａ１１及び録画装置Ｂ１２では、入力映像１０から提供された映像信号をデジタルデータ（例えば、Ａ／Ｄ変換されたＲＧＢデータやＹＵＶデータ）に変換する。
【００２０】
録画装置Ａ１１によりデジタルデータに変換された映像信号は動画データＡ１３としてプログラミング処理できる状態になる。同様に、録画装置Ｂ１２によりデジタルデータに変換された映像信号は動画データＢ１４としてプログラミング処理できる状態になる。
【００２１】
動画データＡ１３及び動画データＢ１４は、録画装置Ａ１１及び録画装置Ｂ１２に含まれてもよいし、独立した記憶媒体に保存されてもよい。
【００２２】
そして、生成される動画データＡ１３及び動画データＢ１４は連続したフレーム（静止画）として扱われ、それぞれのフレームは単体で処理できる。
【００２３】
同期比較装置１５は、動画データＡ１３と動画データＢ１４の内容を自由に読み書き可能であり、録画装置Ａ１１で生成した動画データＡ１３に、なんらかの理由によりフレームの欠落が生じた場合、同じ映像を録画している動画データＢ１４をフレーム単位で映像の比較を行い、動画データＡ１３において欠落が生じたフレームを動画データＢ１４より補完できる。
【００２４】
また、同様に同期比較装置１５は、録画装置Ｂ１２で生成した動画データＢ１４にフレームの欠落が生じた場合、動画データＡ１３の該当フレームをフレームの比較処理により決定し補完できる。同期比較装置１５により生成される完成された動画データＣ１６は、補完された動画データＡ１３あるいは補完された動画データＢ１４をそのまま利用して、動画データＣ１６としてもよいし、比較処理により保証された欠落のないフレームを連続して保存することで、新たに動画データＣ１６を生成してもよい。
【００２５】
同期比較装置１５は、上記の相互補完を録画時間全てに対して行い、最終的にフレームの欠落のない完成された動画データＣ１６を生成する。
【００２６】
同期比較装置１５により生成された動画データＣ１６は、目的に合わせて圧縮するなどして、蓄積装置１７により保存される。
【００２７】
保存されるデータは蓄積装置１７に内在してもよいし、ストレージ１８へ書き出して、他のシステムへ移動し利用することもできる。
【００２８】
次に、図２〜図４により、動画データＡ１３及び動画データＢ１４の同期について説明する。
【００２９】
図２は、図１で示した動画データＡ１３及び動画データＢ１４を示した図であり、それぞれフレーム集合体の動画データＡ２０及び動画データＢ２１で表現している。
【００３０】
一般的に動画データとは、連続して録画装置Ａ１１及び録画装置Ｂ１２に入力される映像を、時分割、例えば３０分の１秒毎に静止画として連続保存したものである。
【００３１】
１フレームとはその静止画の１つを指し、３０分の１秒毎に連続保存した場合は、連続した３０フレームを合わせて１秒の動画データとなることを意味する。図中は動画データの一部分のみを概念的に表記し、この実施の形態における比較による映像の同期処理を示したものである。
【００３２】
動画データＡ２０及び動画データＢ２１は、同じ入力映像１０から生成された動画データであり、その中に含まれるフレームは相互に一致する。
【００３３】
このため、任意のフレームを動画データＡ２０から選び、その映像と一致するフレームを動画データＢ２１から検索することで、本来独立したデータである動画データＡ２０及び動画データＢ２１をフレーム単位で同期させることができる。
【００３４】
こうして映像を同期させながら動画データをフレーム単位で比較することで、図２に示すように、動画データＡ２０で欠落したフレーム２２を、動画データＢ２１の当該フレーム２３で補完できる。
【００３５】
図３は、比較処理を行う際の任意のフレームの決定方法の一例を示した図であり、動画データＡ１３及び動画データＢ１４を、それぞれフレーム集合体の動画データＡ３０及び動画データＢ３１で表現したものである。
【００３６】
まず、動画データＡ３０に注目した場合、映像が大きく変化するフレームが存在する。これをシーン変化点フレームとして比較候補フレーム３２及び比較候補フレーム３３にマークする。
【００３７】
一方、動画データＢ３１においても、同様にシーン変化点を抽出し、抽出されたフレームを動画データＡ３０においてマークされた比較候補フレーム３２及び比較候補フレーム３３と比較することで、全てのフレームを比較することなく動画データＡ３０と動画データＢ３１の映像同期が行え、より素早く、図３に示すように、動画データＡ３０で欠落したフレーム３４を、動画データＢ３１の当該フレーム３５で補完できる。
【００３８】
なお、この変化点としては、特開平４−１１１１８１号公報の「動画像の変化点検出方法」に開示されている、動画像の各フレームにおけるカラーヒストグラムを含む特徴量などを利用してもよい。
【００３９】
図４は、あらかじめ全てのフレームに特徴のある図形データを埋め込むことで動画データの同期を行う仕組みを示した図であり、動画データＡ１３及び動画データＢ１４を、それぞれフレーム集合体の動画データＡ４０及び動画データＢ４１で表現したものである。
【００４０】
この実施の形態はフレームとして保存する静止画を比較のキーにしているが、入力される映像によっては、長時間ほとんど変化のない映像が続く場合も考えられる。
【００４１】
こういった映像を録画した場合の補完方法として、あらかじめ任意の図形を映像そのものに埋め込み、埋め込んだ図形をプログラム処理により抽出し比較のキーとする。
【００４２】
図形データは、映像として埋め込まれ、プログラミング処理により、図４の４２に示すように個別に抽出することができる。
【００４３】
また、埋め込まれる図形データは、フレーム毎に識別可能であれば形状は問わない。送信側で生成しているタイムコード自体を映像として埋め込んでもよい。
【００４４】
また、動画データの利用目的により、これら埋め込み情報が視聴の際に顕在しては困る場合は、電子透かしなどの技術を用いることで、視聴に影響のない方法で図形データ４２を埋め込む。
【００４５】
動画データＡ４０及び動画データＢ４１には、一致するフレームには同じ図形が埋め込まれており、動画データＡ４０の欠落フレーム４３を補完するためには、この図形データ４２を動画データＡ４０及び動画データＢ４１から抽出し、一致する図形データを比較することで動画データをマッチングし、図４に示すように、動画データＡ４０で欠落したフレーム４３を、動画データＢ４１の当該フレーム４４で補完できる。
【００４６】
次に、図５〜図８により、この実施の形態における同期比較装置１５の動作について説明する。
【００４７】
図５は、同期比較装置１５の基本動作を示すフローチャートである。
【００４８】
まず、同期比較装置１５は、録画装置Ａ１１及び録画装置Ｂ１２で生成された動画データＡ１３及び動画データＢ１４をデジタル情報として取得し（Ｓ５０）、デジタルデータとしてのフレーム情報を各々比較する（Ｓ５１）。
【００４９】
そして、比較処理において、動画データＡ１３又は動画データＢ１４にフレームの欠落部分があるかを判断する（Ｓ５２）。
【００５０】
そして、Ｓ５２でフレームの欠落部分があると判断されると、他方の動画データから取得した該当フレームにより欠落したフレームを補完し（Ｓ５３）、動画データＡ１３及び動画データＢ１４の比較終了かを判断する（Ｓ５４）。また、Ｓ５２でフレームの欠落部分がないと判断されると、動画データＡ１３及び動画データＢ１４の比較終了かを判断する（Ｓ５４）。
【００５１】
そして、Ｓ５４で動画データＡ１３及び動画データＢ１４の比較終了と判断されるまで、Ｓ５０〜Ｓ５４の処理を繰り返し、Ｓ５４で比較終了と判断され、動画データに含まれる全てのフレームに対して、フレーム補完処理が終わると、フレームが補完された最終的な動画データＣを出力し（Ｓ５５）、処理を終了する。
【００５２】
図６は、図２に示した比較処理における処理の流れを示すフローチャートである。
【００５３】
まず、録画装置Ａ１１及び録画装置Ｂ１２で生成された動画データＡ２０及び動画データＢ２１の同期を取るために、まず、動画データＡ２０から任意のフレームを取得する（Ｓ６０）。
【００５４】
そして、動画データＢ２１から比較するフレームを取得し（Ｓ６１）、Ｓ６０及びＳ６１で動画データＡ２０及び動画データＢ２１から取得したフレームを比較し、一致するかを判断する（Ｓ６２）。
【００５５】
そして、Ｓ６２で一致しないと判断されると、一致するまで、Ｓ６１に戻り、動画データＢ２１から新たなフレームを取得し、先に動画データＡ２０から取得してあったフレームと比較する。
【００５６】
そして、Ｓ６２で一致すると判断されると、同期完了としてフレームを順番に更新しながら比較を開始し（Ｓ６３）、各々の動画データより、順番に次のフレームを取得比較していき、欠落したフレームがあるかを判断し（Ｓ６４）、Ｓ６４で欠陥フレームがないと判断されるとＳ６３に戻り、Ｓ６４で欠陥フレームあると判断されると、同期している他方の動画データよりフレームを補完する（Ｓ６５）。
【００５７】
図７は、図３に示した比較処理における処理の流れを示すフローチャートである。
【００５８】
まず、録画装置Ａ１１及び録画装置Ｂ１２で生成された動画データＡ３０及び動画データＢ３１の同期を取るために、まず、動画データＡ３０からシーンの変化点を示す代表フレームを取得し（Ｓ７０）、動画データＢ３１からシーンの変化点を示す代表フレームを取得する（Ｓ７１）。
【００５９】
そして、Ｓ７０及びＳ７１で取得した代表フレームが一致するかを判断し（Ｓ７２）、Ｓ７２で一致しないと判断されると、Ｓ７１に戻り、一致するまで、動画データＢ３１から新たな代表フレームを取得し、先に動画データＡ３０から取得してあったフレームと比較する。
【００６０】
そして、Ｓ７２で一致すると判断されると、同期完了としてフレームを順番に更新しながら比較を開始し（Ｓ７３）、各々の動画データより、順番に次のフレームを取得比較していき、欠落したフレームがあるかを判断し（Ｓ７４）、Ｓ７４で欠陥フレームがないと判断されるとＳ７３に戻り、Ｓ７４で欠陥フレームあると判断されると、同期している他方の動画データよりフレームを補完する（Ｓ７５）。
【００６１】
これにより、映像に含まれる全てのフレームを比較対象とせず、代表フレームを比較対象とすることで、長時間にわたる録画であっても、欠落フレームを補完するために必要な比較フレームの総数をまびくことが可能となる。
【００６２】
図８は、図４に示した比較処理における処理の流れを示すフローチャートである。
【００６３】
まず、録画装置Ａ１１及び録画装置Ｂ１２で生成された動画データＡ４０及び動画データＢ４１の同期を取るために、まず、動画データＡ４０から埋め込まれている図形を取得し（Ｓ８０）、動画データＢ４１から埋め込まれている図形を取得する（Ｓ８１）。
【００６４】
そして、Ｓ８０及びＳ８１で取得した図形が一致するかを判断し（Ｓ８２）、Ｓ８２で一致しないと判断されると、Ｓ８１に戻り、一致するまで動画データＢ４１から新たな図形データを取得し、先に動画データＡ４０から取得してあった図形データと比較する。
【００６５】
そして、Ｓ８２で一致すると判断されると、同期完了としてフレームを順番に更新しながら比較を開始し（Ｓ８３）、各々の動画データより、順番に次のフレームから図形データを取得して比較していき、欠落したフレームがあるかを判断し（Ｓ８４）、Ｓ８４で欠陥フレームがないと判断されるとＳ８３に戻り、Ｓ７８で欠陥フレームあると判断されると、同期している他方の動画データよりフレームを補完する（Ｓ８５）。
【００６６】
これにより、映像に特徴がなく、比較しようとしたフレームにほとんど映像情報の変化がなかったとしても、任意のフレームを一意に決定しながらフレームの比較処理を行うことが可能となる。
【００６７】
この実施の形態では、２台の録画装置でデジタル変換された動画データをフレーム単位で比較して、同期を取り、欠落したフレームの補完を行うようにしたので、映像の録画においてフレームの欠落が発生した場合でも別の録画装置で生成した映像から、欠落したフレームを補完でき、最終的にフレーム欠落のない完成した動画データを作成することができる。また、映像にタイムコードがない、あるいは時刻情報が一致しない複数の動画データであっても、相互に同期を取ることができる。
【００６８】
なお、この実施の形態では、欠落したフレームの前後に、正常なフレームが存在する例で説明したが、欠落したフレームが完全にデータにならず、欠落したフレームの前後のフレームが連続した状態になった場合でも、フレーム単位で比較することにより、欠落箇所のフレームを特定し、そこに欠落したフレームを挿入することによりフレームを補完することも可能である。
【００６９】
また、この実施の形態では、録画装置が２台の例で説明したが、２台以上の録画装置で録画された動画データを比較して、欠落フレームの補完を行うことも可能である。
【００７０】
【発明の効果】
以上のように、本発明によれば、少なくとも２台の録画装置でデジタル化された動画データを、それぞれフレーム単位で相互に比較し、動画データの欠落したフレームを補完するようにしたので、映像の録画においてフレームの欠落が発生した場合でも別の録画装置で生成した映像から、欠落したフレームを補完でき、最終的にフレーム欠落のない完成した動画データを作成することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における映像録画システムの一例を示す構成図である。
【図２】本発明の一実施の形態の図１で示した動画データＡ及び動画データＢを示した図である。
【図３】本発明の一実施の形態の比較処理を行う際の任意のフレームの決定方法の一例を示した図である。
【図４】本発明の一実施の形態のあらかじめ全てのフレームに特徴のある図形データを埋め込むことで動画データの同期を行う仕組みを示した図である。
【図５】本発明の一実施の形態の同期比較装置の基本動作を示すフローチャートである。
【図６】本発明の一実施の形態の図２に示した比較処理における処理の流れを示すフローチャートである。
【図７】本発明の一実施の形態の図３に示した比較処理における処理の流れを示すフローチャートである。
【図８】本発明の一実施の形態の図４に示した比較処理における処理の流れを示すフローチャートである。
【符号の説明】
１０…入力映像、１１…録画装置Ａ、１２…録画装置Ｂ、１３…動画データＡ、１４…動画データＢ、１５…同期比較装置、１６…動画データＣ、１７…蓄積装置、１８…ストレージ、２０…動画データＡ、２１…動画データＢ、２２，２３…フレーム、３０…動画データＡ、３１…動画データＢ、３２，３３，３４，３５…フレーム、４０…動画データＡ、４１…動画データＢ、４２…図形データ、４３，４４…フレーム。

Claims

アナログ映像をデジタル変換して録画する少なくとも２台の録画装置と、
前記少なくとも２台の録画装置でデジタル化された動画データを、それぞれフレーム単位で相互に比較し、前記動画データの欠落したフレームを補完する同期比較装置とを備えたことを特徴とする映像録画システム。
請求項１記載の映像録画システムにおいて、
前記同期比較装置は、前記動画データの比較を行う際、前記フレームの画像データをそれぞれ比較し、その比較結果に基づいて前記各動画データ間の同期を取ることを特徴とする映像録画システム。
請求項１記載の映像録画システムにおいて、
前記同期比較装置は、前記動画データの比較を行う際、前記動画データの内容が大きく変化する変化点のフレームの画像データをそれぞれ比較し、その比較結果に基づいて前記各動画データ間の同期を取ることを特徴とする映像録画システム。
請求項１記載の映像録画システムにおいて、
前記アナログ映像は、その各フレームに、フレームを識別する図形が埋め込まれ、
前記同期比較装置は、前記動画データの比較を行う際、前記各フレームに埋め込まれた図形をそれぞれ比較し、その比較結果に基づいて前記各動画データ間の同期を取ることを特徴とする映像録画システム。
請求項４記載の映像録画システムにおいて、
前記図形は、電子透かしとして前記アナログ映像の各フレームに埋め込まれることを特徴とする映像録画システム。