JP2007096412A - 動画撮影装置及び動画送受信システム - Google Patents

Abstract

【課題】高解像度な撮像素子は一般にビデオ解像度撮像素子に比べてフレームレートが低く、動画としてリアルタイムにモニタするには適さない。高解像度で、高フレームレートの撮像素子は非常に高価で、また、動画として出力するにはフレームレートが低い。
【解決手段】高精細中間画像生成部８は、高精細撮像素子１から高精細撮像信号が出力された後、次のフレームの高精細撮像信号が出力されるまでの期間内に、ビデオ解像度撮像素子４から出力されるビデオ解像度撮像信号と、動きベクトル算出部７でビデオ解像度撮像信号から算出された動きベクトルと、高周波成分算出部６において、同じ時刻に撮像された高精細撮像素子３からの高精細フレームと、スケーリングされたビデオ解像度フレームとの差を演算して得た高周波成分とに基づいて、ビデオ解像度撮像信号よりも高解像度の中間フレーム信号を生成し、高精細撮像信号と共に出力する。
【選択図】図１

Description

本発明は動画撮影装置及び動画送受信システムに係り、特に高精細で高いフレームレートの動画を撮影するビデオカメラ、監視カメラ等の動画撮影装置及びその動画撮影装置で撮影して得た動画信号を送受信する動画送受信システムに関する。

従来、動画撮影装置すなわちビデオカメラや監視カメラ等として、撮影して得た動画信号をＮＴＳＣ方式映像信号として出力するアナログカメラが広く利用されている。また、近年、撮影して得た映像信号をデジタル処理して、ＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ(Moving Picture Experts Group)により圧縮符号化して伝送する、デジタルネットワークカメラも用いられている。これらの撮影画像の解像度は通常、ＶＧＡ（６４０ｘ４８０画素）ないしはＤ１（７４０ｘ４８０画素）までの解像度でＪＰＥＧやＭＰＥＧでエンコードされ伝送される。

防犯監視カメラの場合、犯罪の捜査や証拠能力を向上させるためには高解像な画像を必要としており、最近はＳＸＧＡ（１２８０ｘ１０２４画素）やＵＸＧＡ（１６００ｘ１２００画素）で出力するカメラもあるが、手元を拡大し確認する用途の場合は、３００万画素や５００万画素の解像度での高いフレームレート（例えば、３０ｆｐｓ）が求められている。

そこで、高解像度化を行う技術として、複数の撮像素子を利用する方法が開示されている（例えば、特許文献１参照）。この撮影装置では、同一の被写体に対して複数の光学像を生成し、それら複数の光学像を互いに異なる特性の複数の撮像素子により各々撮像してアナログ画像信号を出力すると共に、複数の撮像素子の露光量が互いに異なるように制御し、複数の撮像素子から出力されるアナログ画像信号をＡ／Ｄ変換してから一枚の画像に合成することにより、広ダイナミックレンジ画像を生成する構成である。

また、いわゆる３ＣＣＤ方式と呼ばれる撮影装置も知られている（例えば、特許文献２参照）。このものは、３つの撮像素子（ＣＣＤ）を組み合わせ、そのうちの１つの撮像素子、一般的にはＧ信号用の撮像素子を他の撮像素子の画素に対して、水平、垂直方向とも１／２画素ずらして配置し、信号処理により高精細な画像を出力する。

特開２００３−１０１８８６号公報 特開平７−１３１８００号公報

しかしながら、現在の高解像度な撮像素子は一般にビデオ解像度撮像素子に比べてフレームレートが低く、動画としてリアルタイムにモニタするには適さない。また、高解像度で、かつ、高フレームレートの撮像素子は非常に高価である。特に、デジタルカメラで現在一般的な３００万画素や５００万画素の高解像度の撮像素子ではフレームレートが３〜５ｆｐｓであるのが一般的であり、動画として出力するにはフレームレートが低い。動画像としては、ＮＴＳＣ方式映像信号が一秒間６０フィールド（３０フレーム）であり、一般的に一秒間に２４〜３０フレームあれば滑らかな動画として出力可能である。現在、ＶＧＡやＤ１といったビデオ解像度の撮像素子であれば、３０ｆｐｓのフレームレートで取り込みが可能であるが、部分的に拡大するには解像度が低い。

また、上記特許文献１記載の従来の動画撮影装置においては、複数の撮像素子を用いた高解像度化の構成には言及しているが、高フレームレート化の構成については特に記載されていない。更に、３ＣＣＤ方式で１／２画素ずらす方法は、３つの撮像素子の高精度な位置決め、張り合わせ技術が必要であり、生産コストが高くなるという問題がある。

本発明は以上の点に鑑みなされたもので、ビデオカメラ、監視カメラ等の撮影装置で動画を撮影する場合に、ビデオ解像度の撮像素子とデジタルカメラ用高解像度の撮像素子を利用し、安価な構成で高解像度かつ高フレームレート（例えば、３００万画素で３０ｆｐｓ）の動画を撮影し得る動画撮影装置及び動画送受信システムを提供することを目的とする。

上記の目的を達成するため、本発明は動画像の同一の被写体を、互いに解像度及びフレームレートのそれぞれ異なる２つの撮像素子で撮像して得られた第１及び第２の撮像信号に基づいて、単一の高精細の撮像信号を生成する動画撮影装置であって、
第１の撮像信号を第１のフレームレートで出力する第１の撮像素子と、第１の撮像信号よりも低解像度で、かつ、第１のフレームレートよりも高い第２のフレームレートで第２の撮像信号を第１の撮像信号と同期して出力する第２の撮像素子と、第２の撮像信号を第１の撮像信号と同じ解像度にスケーリングするスケーリング手段と、同じ時刻に出力された、第１の撮像信号とスケーリング手段から出力されるスケーリングされた第２の撮像信号との差分により高周波成分を抽出する高周波成分抽出手段と、複数フレームのスケーリングされた第２の撮像信号から動きベクトルを算出する動きベクトル算出手段と、第１の撮像素子から第１の撮像信号が出力された後、次のフレームの第１の撮像信号が出力されるまでの期間内に、第２の撮像素子から出力される第２の撮像信号と動きベクトルと高周波成分とに基づいて、第２の撮像信号よりも高解像度の中間フレーム信号を生成する中間フレーム信号生成手段と、第１の撮像信号と中間フレーム信号とを、単一の高精細の撮像信号として順次に第１のフレームレートより高いフレームレートで出力する出力手段とを有することを特徴とする。

この発明では、第１の撮像信号が第１の撮像素子から出力されてから、次のフレームの第１の撮像信号が第１の撮像素子から出力されるまでの期間内に、第２の撮像素子から出力される第２の撮像信号と動きベクトルと高周波成分とに基づいて、第２の撮像信号よりも高解像度の中間フレーム信号を生成し、その中間フレーム信号を第１の撮像信号と共に単一の高精細の撮像信号として順次に第１のフレームレートより高いフレームレートで出力するようにしたため、第２の撮像信号よりも高精細の撮像信号を第１のフレームレートよりも高いフレームレートで出力することができる。

また、上記の目的を達成するため、本発明は、動画像の同一の被写体を、互いに解像度及びフレームレートのそれぞれ異なる２つの撮像素子で撮像して得られた第１及び第２の撮像信号を符号化した符号化画像データを伝送路へ送信する動画送信装置と、伝送路を経て送信された符号化画像データを受信して高精細の撮像信号を得る動画受信装置とからなる動画送受信システムであって、
動画送信装置は、第１の撮像信号を第１のフレームレートで出力する第１の撮像素子と、第１の撮像信号よりも低解像度で、かつ、第１のフレームレートよりも高い第２のフレームレートで第２の撮像信号を出力する第２の撮像素子と、第１及び第２の撮像信号を高能率符号化し、かつ、多重化して符号化画像データを生成する符号化画像データ生成手段と、符号化画像データを伝送路へ送信する送信手段とを有し、
動画受信装置は、伝送路を介して符号化画像データを受信する受信手段と、受信手段で受信された符号化画像データから第１の撮像信号の符号化データと第２の撮像信号の符号化データとをそれぞれ分離する分離手段と、分離手段により分離された第１の撮像信号の符号化データを復号化して第１の画像データを得ると共に、分離された第２の撮像信号の符号化データを復号化して第２の画像データを得る復号化手段と、復号化手段により得られた第２の画像データを第１の画像データと同じ解像度にスケーリングするスケーリング手段と、復号化手段により得られた第１の画像データと、スケーリング手段によりスケーリングされた、第１の画像データと同時刻で出力されるべき第２の画像データとの差分により高周波成分を抽出する高周波成分抽出手段と、複数フレームのスケーリングされた第２の画像データから動きベクトルを算出する動きベクトル算出手段と、復号化手段より第１の画像データが出力されてから次のフレームの第１の画像データが出力されるまでの期間内に、復号化手段より出力される第２の画像データと動きベクトルと高周波成分とに基づいて、第２の画像データよりも高解像度の中間フレーム信号を生成する中間フレーム信号生成手段と、第１の画像データと中間フレーム信号とを、高精細の撮像信号として順次に第１のフレームレートより高いフレームレートで出力する出力手段とを有する構成としたことを特徴とする。

この発明では、動画受信装置において、復号化手段より高精細の第１の画像データが出力されてから次のフレームの第１の画像データが出力されるまでの期間内に、第２の画像データと動きベクトルと高周波成分とに基づいて、第２の画像データよりも高解像度の中間フレーム信号を生成し、その中間フレーム信号と第１の画像データとを、高精細の撮像信号として順次に第１のフレームレートより高いフレームレートで出力するようにしたため、第２の撮像信号及び第２の画像データよりも高精細の撮像信号を第１のフレームレートよりも高いフレームレートで出力することができる。

本発明によれば、第１の撮像信号を第１のフレームレートで出力する第１の撮像素子よりも高フレームレートで高解像度の動画を表示させることができ、高フレームレートであるので被写体をリアルタイムで動画で表示させることができ、監視用途の撮像装置などに適用して好適である。

また、本発明によれば、第１の撮像信号を出力する第１の撮像素子と第１の撮像信号よりも低解像度の第２の撮像信号を出力する第２の撮像素子とを使用するため、これらの撮像素子は、従来の１／２画素ずらしを行う撮像素子のように高精細な位置決め、貼り合わせ技術が不要な簡単な構成であり、また、高解像度でかつ高フレームレートの撮像素子に比べて安価な構成であるため、従来に比べて簡単で安価な構成により高解像度かつ高フレームレートの動画を取得できる。

更に、本発明によれば、動画受信装置において受信信号から生成した中間フレーム信号と第１の画像データとを、高精細の撮像信号として順次に第１のフレームレートより高いフレームレートで出力するようにしたため、ネットワーク等の伝送路上を伝送される高解像度、高フレームレートの画像データのデータ量を大幅に低減することができ、狭帯域の伝送路に適用して好適である。

次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる動画撮影装置の一実施の形態のブロック図を示す。本実施の形態に係る動画撮影装置は、高い解像度で、かつ、高いフレームレートの動画を撮影できる。図１に示すように、本実施の形態の動画撮影装置Ａは、レンズ１と、レンズ１から入射した光を分光し２つの撮像素子３及び４に同時に露光するためのプリズム２と、高解像度な画像を取得可能なデジタルカメラ用のＣＣＤもしくはＣＭＯＳセンサである高精細撮像素子３と、動画フレームレートで画像を取得可能なビデオ用のＣＣＤもしくはＣＭＯＳセンサであるビデオ解像度撮像素子４と、ビデオ解像度フレームを高解像度フレームと同じ解像度にバイキュービック法など既知の方法でスケーリングするスケーリング部５と、高解像度フレームとビデオ解像度フレームの差分による高周波成分を算出する高周波成分算出部６と、ビデオ解像度フレームから動きベクトルを算出する動きベクトル算出部７と、前記高周波成分とビデオ解像度フレームと動きベクトルとから高精細な中間フレームを算出する高精細中間画像生成部８と、例えばＪＰＥＧやＭＰＥＧなどで符号化する高能率符号・復号部９と、記録媒体１０から構成され、高精細、高フレームレートの動画をディスプレイＢに表示する。

次に、この動画撮影装置Ａの画像処理動作について、図２の模式図と共に説明する。なお、高精細撮像素子３はビデオ解像度撮像素子４に比べて高い解像度で、かつ、１／４倍のフレームレートで撮像信号を出力するものとして説明する。一例として、高精細撮像素子３は２０１６×１５１２画素（３００万画素）もしくは２５９２×１９４４画素（５００万画素）のデジタルカメラ用撮像素子であり、ビデオ解像度撮像素子４は６４０×４８０画素（３０万画素）もしくはＮＴＳＣ用ビデオカメラ用撮像素子である。

また、フレームレートとは、撮像素子の全画素のデータの取り込み速度のことであり、高精細撮像素子３は例えば３〜５ｆｐｓのフレームレートで駆動され、ビデオ解像度撮像素子４は例えば３０ｆｐｓのフレームレートで駆動されるが、ここでは、前述したように、高精細撮像素子３はビデオ解像度撮像素子４のフレームレートの１／４倍のフレームレートで撮像信号を出力するものとする。

まず、同一の被写体からの入射光をプリズム２で２分岐し、一方は高精細撮像素子３により撮像し、他方はビデオ解像度撮像素子４により撮像する。ビデオ解像度撮像素子４により撮像されたビデオ解像度の撮像信号は、スケーリング部５により公知の方法でスケーリングされて高解像度フレームと同じ解像度にまで拡大される。これは、後段の高周波成分算出部６でビデオ解像度フレームと高解像度フレーム間で差分をとるためには、フレーム内の空間位置を合わせる必要があるためである。スケーリング部５で画素数が拡大されたビデオ解像度の撮像信号は、高周波成分算出部６と動きベクトル算出部７にそれぞれ供給される。

高周波成分算出部６は、図２に示すように、同じ時刻に撮像された高精細撮像素子３からの高精細フレーム＃１（１００）と、ビデオ解像度撮像素子４からスケーリング部５を介して入力されるビデオ解像度フレーム＃１（１０１）との差を演算して、高周波成分１０４を算出する（図２のステップＳ１）。

また、動きベクトル算出部７は、ビデオ解像度撮像素子４からスケーリング部５を介して連続して入力される図２のビデオ解像度フレーム＃１（１０１）と＃２（１０２）とからブロック間マッチングにより動きベクトル１０５を算出する（図２のステップＳ２）。次に、高精細中間画像生成部８が、図２に模式的に示すように、ステップＳ１で高周波成分算出部６が算出した高周波成分１０４と、動きベクトル算出部７が算出した動きベクトル１０５とにより、ビデオ解像度フレーム＃２（１０２）の時刻での予測高周波成分である高周波成分１０６を算出する（図２のステップＳ３）。

続いて、高精細中間画像生成部８は、スケーリングされたビデオ解像度フレーム＃２（１０２）と算出した高周波成分１０６との和により、ビデオ解像度フレーム＃２（１０２）の時刻における高精細中間フレーム＃１（１０７）を算出する（図２のステップＳ４）。

同様に、動きベクトル算出部７が、ビデオ解像度撮像素子４からスケーリング部５を介して連続して入力される図２のビデオ解像度フレーム＃２（１０２）と＃３（１０３）とからブロック間マッチングにより動きベクトル１０８を算出し、その動きベクトル１０８と高周波成分算出部６が算出した高周波成分１０４とにより、ビデオ解像度フレーム＃３（１０３）の時刻での予測高周波成分である高周波成分１０９を算出し、更に高精細中間画像生成部８が、スケーリングされたビデオ解像度フレーム＃３（１０３）と算出した高周波成分１０９との和により、ビデオ解像度フレーム＃３（１０３）における時刻の高精細中間フレーム＃２（１１０）を算出する（図２のステップＳ５）。

図２に示すように、ビデオ解像度フレーム＃３（１０３）に続いてビデオ解像度撮像素子４から入力される次のビデオ解像度フレーム＃４（１１２）は、高精細フレーム＃１に続いて高精細撮像素子３から入力される次の高精細フレーム＃２（１１１）と同期して入力される。従って、次の高精細フレーム＃２（１１１）が入力されるまでに、２つの高精細中間フレーム１０７と１１０が生成される。

なお、高精細撮像素子３により撮像して得られた高精細フレーム＃１（１００）は、高周波成分算出部６で上記の高周波成分１０４の算出のために用いられるが、一方ではそのままスルーで出力され、更に高精細中間画像生成部８もスルーで出力されるため、高精細中間画像生成部８からは、高精細フレーム＃１（１００）、高精細中間フレーム＃１（１０７）、高精細中間フレーム＃２（１１０）が順次に高精細フレームとして出力される。この高精細フレームの数はビデオ解像度フレームのフレーム数と同数の３である。

高精細フレーム＃２（１１１）とビデオ解像度フレーム＃４（１１２）の入力以降も、上記のステップＳ１〜Ｓ５を繰り返すことにより、ビデオ解像度フレームのフレーム数と同数の高精細フレーム（高精細フレーム及び高精細中間フレーム）を生成することができ、高精細かつ高フレームレートな動画を得ることが可能となる。

高精細中間画像生成部８から出力された高精細フレーム及び高精細中間フレームは、図１の高能率符号・復号部９に供給され、ここでＭＰＥＧ方式などにより高能率圧縮符号化されて記録媒体１０に記録されると共に、符号化されることなくそのままスルーでディスプレイＢへ出力されてモニタ表示される。また、記録媒体１０から高能率圧縮符号化された高精細フレーム及び高精細中間フレームを再生して、高能率符号・復号部９に供給し、ここで復号した後ディスプレイＢへ出力して再生画像を表示させることもできる。

このように、本実施の形態によれば、ディスプレイＢにより高精細で高フレームレートの動画を表示させることができ、高フレームレートであるので被写体をリアルタイムで動画で表示させることができると共に、高解像度であるので部分的な拡大も可能である。また、使用する撮像素子は高精細撮像素子３とビデオ解像度撮像素子４であり、これらの撮像素子は、従来の１／２画素ずらしを行う撮像素子のように高精細な位置決め、貼り合わせ技術が不要な簡単な構成であり、また、高解像度でかつ高フレームレートの撮像素子に比べて安価な構成である。

次に、本発明になる動画送受信システムについて説明する。本発明になる動画送受信システムの第１の実施の形態は、図３の動画送信装置Ｃ及び図４の動画受信装置Ｄからなる。図３は本発明になる動画送受信システムの第１の実施の形態の送信側装置、すなわち、動画送信装置のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図３において、動画送信装置Ｃは、ネットワークカメラを構成しており、図１の動画撮影装置Ａと比較すると、図１の高能率符号・復号部９及び記録媒体１０の構成部分が、高能率符号化部１１及び送信部１２に変更されている点を除き、動画撮影装置Ａと同様の構成である。

これにより、図３において、高精細中間画像生成部８から出力された高精細フレーム及び高精細中間フレームからなる高解像度かつ高フレームレートの動画信号は、高能率符号化部１１に供給されてＭＰＥＧ方式などの高能率圧縮符号化方式で符号化された後、送信部１２に供給され、ここでパケット化されてから出力端子１３を介してインターネットプロトコルによりネットワーク（図示せず）上に送信される。

ネットワーク上に送信された符号化動画信号である画像データは、図４のブロック図に示す動画受信装置Ｄの入力端子２０を介して受信部２１で受信された後、復号化部２２に供給されて映像信号に復号化される。動画受信装置Ｄの復号化部２２から出力された映像信号はディスプレイＥに供給されて画像として表示される。

このように、本実施の形態によれば、動画送信装置Ｃで撮影した動画を遠隔地にある動画受信装置Ｄへ伝送し、動画受信装置ＤによりディスプレイＥに高解像度、かつ、高フレームレートの動画を表示させることができるため、例えば、動画送信装置Ｃを監視カメラとして用いて、遠隔地に設置されている動画受信装置Ｄへ監視対象の動画を送信して受信させ、ディスプレイＥにより高精細で高フレームレートの監視対象の動画を監視員に表示させることができる。この場合は、高フレームレートであるので監視対象を動画によりリアルタイムで監視できると共に、高解像度であるので部分的な拡大も十分に識別可能である。

更に、使用する撮像素子は高精細撮像素子３とビデオ解像度撮像素子４であり、これらの撮像素子は、従来の１／２画素ずらしを行う撮像素子のように高精細な位置決め、貼り合わせ技術が不要な構成であり、また、高解像度でかつ高フレームレートの撮像素子に比べて安価な構成である。なお、動画受信装置Ｄはハードウェアで構成されても、プログラムに基づき動作するＰＣ（パソコン）のソフトウェアとして実現されても構わない。この場合のコンピュータプログラムも本発明に含まれる。

次に、本発明になる動画送受信システムの第２の実施の形態について説明する。本発明になる動画送受信システムの第２の実施の形態は、図５の動画送信装置Ｆ及び図６の動画受信装置Ｇからなる。図３及び図４に示した動画送受信システムの第１の実施の形態では、図４に示したように動画受信装置Ｄの構成が簡易であるという利点があるが、ネットワーク上を高解像度、高フレームレートの大量の画像データが流れることになり、ネットワークの帯域が制限されている場合は使うことができない。

そこで、図５及び図６に示す動画送受信システムの第２の実施の形態では、高解像度の中間フレームの生成は受信側で行うようにすることで、第１の実施の形態に比べてネットワーク上の画像データ量を大幅に削減するようにしたものである。この第２の実施の形態について図５に示す動画送信装置Ｆと図６に示す動画受信装置Ｇとを参照して説明する。

図５は本発明になる動画送受信システムの第２の実施の形態における動画送信装置のブロック図を示す。同図中、図３と同一構成部分には同一符号を付し、その説明を省略する。図５の動画送信装置Ｆにおいて、同一の被写体が、高精細撮像素子３とビデオ解像度撮像素子４とにより撮影され、高精細撮像素子３による撮影により得られた高精細フレームと、ビデオ解像度撮像素子４による撮影により得られたビデオ解像度フレームとは、それぞれ高能率符号化部２４に供給され、ここでＭＰＥＧなどの所定の符号化方式により高能率圧縮符号化されて、符号化高精細画像データと符号化ビデオ解像度画像データとに変換される。

高能率符号化部２４から取り出された符号化高精細画像データと符号化ビデオ解像度画像データとは、多重化部２５に供給されてフレームの順番が決められた上で多重化される。この多重化方法としては、例えば図２に示した高精細フレーム１００、１１１、ビデオ解像度フレーム１０１〜１０３、１１２が図２に示す時間順で出力される場合、高精細フレーム＃１（１００）、ビデオ解像度フレーム＃１（１０１）、ビデオ解像度フレーム＃２（１０２）、ビデオ解像度フレーム＃３（１０３）、高精細フレーム＃２（１１１）、ビデオ解像度フレーム＃４（１１２）・・・の順で時系列的に合成（時分割多重）する方法がある。多重化部２５から出力された多重化画像データは、送信部２６でパケット化されてから出力端子２７を介してインターネットプロトコルによりネットワーク（図示せず）上に送信される。

図６は本発明になる動画送受信システムの第２の実施の形態における動画受信装置のブロック図を示す。図６に示す動画受信装置Ｇは、受信部３０と、受信画像データから符号化高精細画像データと符号化ビデオ解像度画像データとに分離する分離部３１と、ビデオ解像度フレームを高解像度フレームと同じ解像度にバイキュービック法など既知の方法でスケーリングするスケーリング部３３と、高解像度フレームとビデオ解像度フレームの差分による高周波成分を算出する高周波成分算出部３４と、ビデオ解像度フレームから動きベクトルを算出する動きベクトル算出部３５と、前記高周波成分とビデオ解像度フレームと動きベクトルとから高精細な中間フレームを算出する高精細中間画像生成部３６とから構成され、高精細、高フレームレートの動画を生成してディスプレイＨに表示する。

この動画受信装置Ｇの動作について説明する。図５の動画送信装置Ｆからネットワーク上に送信された符号化動画信号である画像データの多重化信号は、図６に示す動画受信装置Ｇの入力端子２９を介して受信部３０で受信され、分離部３１で符号化高精細画像データと符号化ビデオ解像度画像データとに分離され、それぞれ復号化部３２で復号化される。

符号化高精細画像データは復号化部３２で復号化されて高精細画像データである高精細フレームとされた後高周波成分算出部３４に供給される。また、符号化ビデオ解像度画像データは復号化部３２で復号化されてビデオ解像度画像データであるビデオ解像度フレームとされた後、スケーリング部３３に供給されて高精細フレームと同じ解像度に変換されてから高周波成分算出部３４と動きベクトル算出部３５にそれぞれ供給される。

高周波成分算出部３４は、同じ時刻に撮像された復号化部３２からの高精細フレームと、スケーリング部５を介して入力されるビデオ解像度フレームとの差を演算して、高周波成分を算出すると共に、入力された高精細フレームをそのまま出力する。動きベクトル算出部３５は、スケーリング部３３を介して連続して入力される２つのビデオ解像度フレームとからブロック間マッチングにより動きベクトルを算出する。

高精細中間画像生成部３６は、高周波成分算出部３４が算出した高周波成分と、動きベクトル算出部３５が算出した動きベクトルとにより、次に入力されるビデオ解像度フレームの時刻での予測高周波成分である高周波成分を算出した後、この高周波成分をスケーリング部３３からの次に入力されるビデオ解像度フレームと加算して、次に入力されるビデオ解像度フレームの時刻における高精細中間フレームを算出する。ただし、高周波成分算出部３４から高精細フレームが入力されたときはそのままスルーで出力する。

以下、上記と同様の動作が繰り返され、図１の動画撮影装置Ａ内のスケーリング部５、高周波成分算出部６、動きベクトル算出部７及び高精細中間画像生成部８からなる回路部と同様の動作により、高精細中間画像生成部３６からはビデオ解像度フレームのフレーム数と同数の高精細フレーム（高精細フレーム及び高精細中間フレーム）を生成することができ、高精細かつ高フレームレートな動画を得ることが可能となる。この高精細中間画像生成部３６から出力された高精細フレームは、ディスプレイＨに供給されて高精細画像として表示される。

このように、本実施の形態では、動画受信装置Ｇ側にて高精細中間フレームを生成することにより、ネットワーク上を伝送される高解像度、高フレームレートの画像データのデータ量を大幅に低減するようにしたため、ネットワークの帯域が制限されている場合でも使用可能である。また、本実施の形態も、図３及び図４と共に説明した動画送受信システムの第１の実施の形態と同様に監視用途に適した構成である。

なお、この動画受信装置Ｇはハードウェアで構成されても、プログラムにより動作するＰＣ（パソコン）のソフトウェアとして実現されても構わない。この場合のコンピュータプログラムも本発明に含まれる。

本発明は、高精細で高いフレームレートの動画を撮影するビデオカメラ、監視カメラ等の動画撮影装置、動画送信装置、動画受信装置に利用できる。

本発明の動画撮影装置の一実施の形態のブロック図である。 図１の動画撮影装置において、高精細フレームとビデオ解像度フレームから高精細中間フレームを生成する方法を説明する模式図である。 本発明の動画送受信システムの第１の実施の形態における動画送信装置のブロック図である。 本発明の動画送受信システムの第１の実施の形態における動画受信装置のブロック図である。 本発明の動画送受信システムの第２の実施の形態における動画送信装置のブロック図である。 本発明の動画送受信システムの第２の実施の形態における動画受信装置のブロック図である。

符号の説明

１ レンズ
２ プリズム
３ 高精細撮像素子、
４ ビデオ解像度撮像素子
５、３３ スケーリング部
６、３４ 高周波成分算出部
７、３５ 動きベクトル算出部
８、３６ 高精細中間画像生成部
９高能率符号化・復号化部
１０ 記録媒体
１１、２４ 高能率符号化部
１２、２６ 送信部
２１、３０ 受信部
２２ 復号化部
２５ 多重化部
３１ 分離部
３２ 復号化部
Ａ 動画撮影装置
Ｂ、Ｅ、Ｈ ディスプレイ
Ｃ、Ｆ 動画送信装置
Ｄ、Ｇ 動画受信装置

Claims (2)

1. 動画像の同一の被写体を、互いに解像度及びフレームレートのそれぞれ異なる２つの撮像素子で撮像して得られた第１及び第２の撮像信号に基づいて、単一の高精細の撮像信号を生成する動画撮影装置であって、
   前記第１の撮像信号を第１のフレームレートで出力する第１の撮像素子と、
   前記第１の撮像信号よりも低解像度で、かつ、前記第１のフレームレートよりも高い第２のフレームレートで前記第２の撮像信号を前記第１の撮像信号と同期して出力する第２の撮像素子と、
   前記第２の撮像信号を前記第１の撮像信号と同じ解像度にスケーリングするスケーリング手段と、
   同じ時刻に出力された、前記第１の撮像信号と前記スケーリング手段から出力されるスケーリングされた前記第２の撮像信号との差分により高周波成分を抽出する高周波成分抽出手段と、
   複数フレームの前記スケーリングされた前記第２の撮像信号から動きベクトルを算出する動きベクトル算出手段と、
   前記第１の撮像素子から前記第１の撮像信号が出力された後、次のフレームの前記第１の撮像信号が出力されるまでの期間内に、前記第２の撮像素子から出力される前記第２の撮像信号と前記動きベクトルと前記高周波成分とに基づいて、前記第２の撮像信号よりも高解像度の中間フレーム信号を生成する中間フレーム信号生成手段と、
   前記第１の撮像信号と前記中間フレーム信号とを、前記単一の高精細の撮像信号として順次に前記第１のフレームレートより高いフレームレートで出力する出力手段と
   を有することを特徴とする動画撮影装置。
2. 動画像の同一の被写体を、互いに解像度及びフレームレートのそれぞれ異なる２つの撮像素子で撮像して得られた第１及び第２の撮像信号を符号化した符号化画像データを伝送路へ送信する動画送信装置と、前記伝送路を経て送信された前記符号化画像データを受信して高精細の撮像信号を生成する動画受信装置とからなる動画送受信システムであって、
   前記動画送信装置は、
   前記第１の撮像信号を第１のフレームレートで出力する第１の撮像素子と、
   前記第１の撮像信号よりも低解像度で、かつ、前記第１のフレームレートよりも高い第２のフレームレートで前記第２の撮像信号を出力する第２の撮像素子と、
   前記第１及び第２の撮像信号を高能率符号化し、かつ、多重化して前記符号化画像データを生成する符号化画像データ生成手段と、
   前記符号化画像データを前記伝送路へ送信する送信手段とを有し、
   前記動画受信装置は、
   前記伝送路を介して前記符号化画像データを受信する受信手段と、
   前記受信手段で受信された前記符号化画像データから前記第１の撮像信号の符号化データと前記第２の撮像信号の符号化データとをそれぞれ分離する分離手段と、
   前記分離手段により分離された前記第１の撮像信号の符号化データを復号化して第１の画像データを得ると共に、分離された前記第２の撮像信号の符号化データを復号化して第２の画像データを得る復号化手段と、
   前記復号化手段により得られた前記第２の画像データを前記第１の画像データと同じ解像度にスケーリングするスケーリング手段と、
   前記復号化手段により得られた前記第１の画像データと、前記スケーリング手段によりスケーリングされた、前記第１の画像データと同時刻で出力されるべき前記第２の画像データとの差分により高周波成分を抽出する高周波成分抽出手段と、
   複数フレームの前記スケーリングされた前記第２の画像データから動きベクトルを算出する動きベクトル算出手段と、
   前記復号化手段より前記第１の画像データが出力されてから次のフレームの前記第１の画像データが出力されるまでの期間内に、前記復号化手段より出力される前記第２の画像データと前記動きベクトルと前記高周波成分とに基づいて、前記第２の画像データよりも高解像度の中間フレーム信号を生成する中間フレーム信号生成手段と、
   前記第１の画像データと前記中間フレーム信号とを、前記高精細の撮像信号として順次に前記第１のフレームレートより高いフレームレートで出力する出力手段とを有する
   ことを特徴とする動画送受信システム。
   
   
   
   

Images