JP2013247663A - 映像再生装置、映像再生方法及び映像符号化方法 - Google Patents

Abstract

【課題】 符号化して伝送する映像信号のフレームレートよりも高いフレームレートの映像信号から得られた付加情報をもとに、フレームレート変換をする技術を提供する。
【解決手段】 入力される映像信号から動き判定情報を含む付加情報を分離する付加情報分離手段と、前記映像信号と前記付加情報から補間映像を生成する補間映像生成手段とを備えた映像再生装置。また、入力される映像信号から動き判定情報を含む付加情報を分離する付加情報分離工程と、前記映像信号と前記付加情報から補間映像を生成する補間映像生成工程とを含んだ映像再生方法。また、入力される映像信号からフレーム間引きを行い、前記映像信号から動き判定を行い、前記フレーム間引きの結果と前記動き判定の結果とを多重化する映像符号化方法。
【選択図】 図３

Description

本発明の実施形態は、映像符号・復号化、再生装置及び方法に関する。

先行技術として、映像送信側では映像符号化(MPEG2規格準拠,H.264規格準拠)技術、映像の受信側ではFRC(フレームレートコンバータ)技術がある。しかし一般に高いフレームレートで映像符号化、伝送を行うと伝送する符号化データが多くなるという問題がある。符号化データのビットレートが伝送路の帯域を超えてしまうと、映像データとして安定して伝送することができない。そこで、映像のフレームを間引くことでフレームレートを下げて符号化し伝送するということが行われる。

また、復号した映像信号のフレームレートとパネル駆動のフレームレートが異なる場合に、FRC技術を用いて補間をするが、補間する前後のフレームから得られる情報を用いて補間信号を生成するため、送られてくるフレーム間の途中で静止状態から動きが発生する場合などにうまく補間信号を生成することができなかった。

符号化して伝送する映像信号のフレームレートよりも高いフレームレートの映像信号から得られた付加情報をもとに、フレームレート変換をする技術への要望がある。が、かかる要望を充分に実現するための手段は知られていない。

特表２００９−５３３００２号公報

本発明の実施の形態は、符号化して伝送する映像信号のフレームレートよりも高いフレームレートの映像信号から得られた付加情報をもとに、フレームレート変換をする技術を提供することを目的とする。

上記課題を解決するために、実施形態によれば映像再生装置は、入力される映像信号から動き判定情報を含む付加情報を分離する付加情報分離手段と、前記映像信号と前記付加情報から補間映像を生成する補間映像生成手段とを備えた。

本発明の一実施形態におけるＤＴＶの内部構造の一例を示すブロック図。 同実施形態の付加情報構造体例を示す図。 同実施形態における映像復号化、再生装置の構成を示す図。 同実施形態の符号化フレーム間引き及び動き判定の付加情報の説明図。 同実施形態における映像符号化装置の構成を示す図。 同実施形態におけるフレーム補間説明図。 実施形態に係わる装置の映像符号・復号化方法の一例を示すフローチャート。 従来例におけるフレーム補間説明図。

以下、実施形態を図１乃至図８を参照して説明する。

図１は、本実施形態におけるＤ（Ｄｉｇｉｔａｌ）ＴＶ１の内部構造の一例を示すブロック図である。

ＤＴＶ１は、装置各部の動作を制御する制御部１５６を備えている。制御部１５６は、ＣＰＵ（Central Processing Unit）等を内蔵している。制御部１５６は、操作部１１６から入力される操作信号や、リモートコントローラ１１７から送信され受信部１１８を介して受信される操作信号に応じて、ＲＯＭ（Read Only Memory）１５７に予め記憶されたシステム制御プログラム及び各種処理プログラムを起動させる。制御部１５６は、起動したプログラムに従って、ＲＡＭ（Random Access Memory）１５８をワークメモリとして装置各部の動作を制御する。

入力端子１４４は、ＢＳ／ＣＳデジタル放送受信用のアンテナ１４３が受信した衛星デジタルテレビジョン放送信号を衛星デジタル放送用のチューナ１４５に供給する。チューナ１４５は、受信したデジタル放送信号のチューニングを行い、チューニングしたデジタル放送信号をＰＳＫ（Phase Shift Keying）復調器１４６に送信する。PSK復調器１４６は、ＴＳ（Transport Stream）の復調を行い、復調したＴＳをＴＳ復号器１４７ａに供給し、ＴＳ復号器１４７ａは、TSをデジタル映像信信号、デジタル音声信号、およびデータ信号を含むデジタル信号に復号した後、信号処理部１００にこれを出力する。ここでのデジタル映像信号とはＤＴＶ１が出力可能な映像に関するデジタル信号であり、音声信号はＤＴＶ１が出力可能な音声に関するデジタル信号である。またデータ信号とは、例えばＤＴＶ１が電子番組表であるＥＰＧ（Electronic Program Guide）を生成するときに使用する情報である番組関連情報等を含む、放送波の放送番組に関する情報に関するデジタル信号である。この番組関連情報には、放送番組のタイトル、この番組の詳細情報、番組開始時刻、番組終了時刻等の情報が含まれている。

入力端子１４９は、地上波デジタル放送受信用のアンテナ１４８が受信した地上波デジタルテレビジョン放送信号を地上波デジタル放送用のチューナ１５０に供給する。チューナ１５０は、受信したデジタル放送信号のチューニングを行い、チューニングしたデジタル放送信号をそれぞれのＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調器１５１に送信する。ＯＦＤＭ復調器１５１は、ＴＳの復調を行い、復調したＴＳをそれぞれのＴＳ復号器１４７ｂに供給し、ＴＳ復号器１４７ｂは、ＴＳをデジタル映像信号及び音声信号等に復号した後、信号処理部１００にこれを出力する。

アンテナ１４８は、地上波アナログ放送信号も受信可能である。受信された地上波アナログ放送信号は、図示しない分配器によって分配されて、アナログチューナ１６８に供給される。アナログチューナ１６８は、受信したアナログ放送信号のチューニングを行い、チューニングしたアナログ放送信号をアナログ復調器１６９に送信する。アナログ復調器１６９はアナログ放送信号の復調を行い、復調したアナログ放送信号を信号処理部１００に出力する。また、ＤＴＶ１は、一例として、アンテナ１４８が接続される入力端子１４９にＣＡＴＶ（Common Antenna Television）用のチューナを接続することによってＣＡＴＶも視聴することができる。

信号処理部１００は、ＴＳ復号器１４７ａ、１４７ｂ、または制御部１５６から出力されたデジタル信号に、適切な信号処理を施す。より具体的には、信号処理部１００はデジタル信号を映像信号、デジタル音声信号、およびデータ信号に分離する。分離された映像信号はグラフィック処理部１５２に、音声信号は音声処理部１５３に出力される。また信号処理部１００は、アナログ復調器１６９から出力された放送信号を、所定のデジタルフォーマットの映像信号及び音声信号に変換する。デジタルに変換された映像信号はグラフィック処理部１５２に、音声信号は音声処理部１５３に出力される。また信号処理部１００は、ライン入力端子１３７からの入力信号にも所定のデジタル信号処理を施す。

ＯＳＤ（On Screen Display）信号生成部１５４は、制御部１５６の制御に従って、ＵＩ（ユーザ・インタフェース）画面などを表示するためのＯＳＤ信号を生成する。また信号処理部１００においてデジタル放送信号から分離されたデータ信号は、ＯＳＤ信号生成部１５４により適切なフォーマットのＯＳＤ信号に変換され、グラフィック処理部１５２に出力される。

グラフィック処理部１５２は、信号処理部１００から出力されるデジタルの映像信号のデコード処理を行う。デコードされた映像信号は、ＯＳＤ信号生成部１５４から出力されたＯＳＤ信号と重ね合わせて合成され、映像処理部１５５に出力される。グラフィック処理部１５２は、デコードされた映像信号またはＯＳＤ信号を、映像処理部１５５に選択的に出力することもできる。

映像処理部１５５は、グラフィック処理部１５２から出力された信号に対して画質の補正を行った上で、表示部１２０で表示可能なフォーマットのアナログ映像信号に変換する。映像処理部１５５でアナログに変換された映像信号は、表示部１２０に表示される。

表示部１２０はＬＣＤ（Liquid Crystal Display）によって構成されており、液晶によって画像を表示する。バックライト１２１は表示部１２０を後方より照射する。また、バックライト１２１は照射する光の強さまたは照射時間によって、表示する映像の輝度を調整することが可能である。

音声処理部１５３は、入力された音声信号を、スピーカ１１０で再生可能なフォーマットのアナログ音声信号に変換する。アナログに変換された音声信号は、スピーカ１１０に出力されて再生される。

カードホルダ１６１は、カードＩ／Ｆ（Interface）１６０を介して制御部１５６に接続されている。メモリカード１１９は、このカードＩ／Ｆ１６０に装着可能である。メモリカード１１９は、例えばＳＤ（Secure Digital）メモリカード、ＭＭＣ（Multimedia Card）及びＣＦ（Compact Flash(登録商標)）カード等の記憶媒体である。カードホルダ１６１に装着されたメモリカード１１９、及び制御部１５６は、カードＩ／Ｆ１６０を介して情報の書込み／読み出しを行うことができる。

ＵＳＢ（Universal Serial Bus）端子１３３は、ＵＳＢ Ｉ／Ｆ１６６を介して制御部１５６に接続されている。ＵＳＢ端子１３３は、一般的なＵＳＢ対応ポートとして使用される。ＵＳＢ端子１３３には、例えばハブを介して、携帯電話、デジタルカメラ、各種メモリカードに対するカードリーダ／ライタ、ＨＤＤ、キーボード等が接続される。制御部１５６は、ＵＳＢ端子１３３を介して接続される機器との間で、情報の通信（送受信）を行うことができる。

ＨＤＤ１７０はＤＴＶ１に内蔵される磁気記憶媒体であってＤＴＶ１が有する各種情報を記憶する機能を有している。

通信部１６２は、例えば無線ＬＡＮ通信モジュールであり無線によって装置外部のルーターやモデム経由でインターネットとの接続を行うことができる。外部からの映像のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）配信を受信することができる。このＩＰ配信に関しては後述にて説明を行う。

次に、図４を参考とし、図５を用いて本実施形態における映像符号化装置の実施例を説明する。ここでは、撮像手段でのフレームレートが120fps（フレーム・パー・セカンド）、符号化する映像のレートが30fpsの場合について説明する。

映像符号化装置５０は例えば映像のＩＰ配信業者のもとにあり、撮像手段（カメラ）５１、動き判定手段５２、フレーム間引き手段５３、映像信号符号化手段５４、多重化手段５５と映像信号出力手段５６とから構成されている。

撮像手段５１で取得した映像信号(図４(A))に対し動き判定手段５２では、現在のフレームと前フレーム間とで差分を取り、有意差があるか否かを判定する。例えば大きな有意差がある場合は、動（大）、小さな優位差がある場合は動（小）、差が無い場合は静止と判別する。差が無い場合は0をセットする。これをフレーム全体(Depth 1bitのフレーム信号が生成される)について判定を行う。前後のフレームに対して静止及び動きが少ない部分に関しては、補間は容易な為（例えばフレーム間の移動を等速直線運動とみなしても出力結果の差は少ない）、FRC（補間映像生成手段）で補間させる。

他方で動きの大きいフレームを符号化させるために、動き判定手段５２の結果(図４(B)) に基づき、変化の大きいフレームを符号化のフレームレートに応じてフレーム間引き手段５３が抽出した映像信号(図４(C))を映像信号符号化手段５４に送り、映像符号化を行い、多重化手段５５に送る。

所謂４ｋ２ｋのフレームでは、画素単位に判定すると１ＭＢ程度の結果が得られ、簡単にはランレングス圧縮などの手段により、更に圧縮を施すとよい。画素単位に判定するかわりに8x8画素単位等のブロックごとに判定してもよい。

またフレーム単位で符号化するかわりに更に時間軸方向で符号化(符号化伝送される映像間隔をまとめる)してもよい。例えば簡単には前後のフレームの差分をとるなどしてもよい。

この動き判定手段５２の結果(図４(B))は間引かれたフレーム位置を特定させる為に、タイムスタンプ（PTS（Presentation Time Stamp）等）もしくは、フレームカウント情報と共に付加情報（図２）として多重化手段へ送付し、映像、音声と共に多重化する。

多重化の方法としては、例えば、付加情報を映像音声と異なるトラックとして多重化する方法がある。このような方法を用いることにより、既存の復号化手段を用いることが可能となる。

重ねて説明すれば動き判定結果を用いた付加情報は、例えば符号化伝送される映像フレームのピクチャレイヤーのUserデータとして多重化することができる。またこの付加情報は、別ストリームとして伝送し、PTS等の時間情報で映像フレームと関連付けを行う形態としてもよい。

フレーム間引き手段５３では、設定された情報に従って撮像手段から得られる信号を間引き(図４(C))、映像信号符号化手段５４で符号化を実施し、多重化手段５５で、先の動き判定結果の付加情報と共に多重化され、映像信号出力手段５６に送られ符号化された映像信号が出力される。

このフレーム間引きは、固定フレームレート設定(例えば30fps)の他に、入力される映像データのフレームレートに応じたレート設定(1/2,1/3,1/4など)とする、伝送路のトラフィック情報をもとに判断(出力バッファの残量をもとに間引く)する、動き判定結果をもとに間引くか否かを判断するなど各種の運用形態を構成できる。

次に、図６を参考とし、図３を用いて本実施形態おける映像復号化、再生装置の実施例を説明する。ここでは、復号して得られる映像信号のフレームレートが30fps、付加情報が120fpsの映像信号をもとに付加されていることを前提に、映像出力するレートを120fpsとした場合について説明する。尚、図８は従来技術でのFRC処理によって映像信号を補間した場合について記載している。

この映像復号化、再生装置３０は例えばあらかた映像処理部１５５内にあり、映像信号入力手段３１、付加情報分離手段３２、映像信号復号手段３３、補間映像生成手段３４と映像信号出力手段３５とから構成されている。映像信号出力手段３５は、表示部１２０に相当する。映像信号入力手段３１は、放送やケーブルＴＶ、また場合によりメモリカード１１９などの媒体や、ＨＤＤ１７０またはＵＳＢ端子１３３に接続された記録装置でもよいが、通信部１６２を介するＩＰ配信の受信の例として説明する。

映像信号入力手段３１を経由して得られた信号から、付加情報分離手段３２によって、符号化映像信号と付加情報とに分離する。分離された符号化映像信号は、映像信号復号手段３３で復号化(図６(Ｃ))され、補完映像生成手段３４に送られる。このとき復号手段から復号化された映像信号の時間情報（PTS等）は付加情報にキーフレーム(図６(Ｃ))として送付する為、必ずしも付加しなくても良い。

一方、分離された付加情報(120fpsでの動き判定結果、(図６(Ｂ)))は、符号化されている場合は復号処理した後、映像信号復号手段３３で復号化された30fpsの映像信号と共に、補間映像生成手段３４に送られる。ここでは、付加情報（図２）のフレームタイプを参照し、復号化された30fpsのキーフレームを元に120fps出力に対して不足する補間フレームの映像信号を生成し(図６(Ｃ))、映像出力順に映像信号出力手段３５に送られ、120fpsとなった映像信号が出力される。

次に、図６を用いて図３の補間映像生成手段３４の動作を説明する。

補間映像生成手段３４に入力される信号は、復号された映像信号(図６(Ｃ))と動き判定情報(図６(Ｂ))となる。補間映像の各画素の生成においては、動き判定情報を参照し、動き判定情報の結果が0(動きなし)であった場合は、現フレーム(復号された映像信号)を使って補間映像信号を生成する。動き判定情報の結果が１(動きあり)であった場合は、次フレーム(復号された映像信号)の映像信号も用い、利用するフレームレートコンバータのアルゴリズムに従って、補間映像信号を生成する(図６(Ｄ))。

このように動き判定情報(図６(Ｂ))を用いることで、動き判定情報を使わないでフレームレートコンバートした場合(図６(Ｂ))に比べて、より高精度に元信号(撮像手段５１の出力、図６(Ａ))に動きのあるブロック（以下 ＢＫ)などが追従する補間映像信号を生成できる。

図７は、実施形態に係わる装置の映像符号（図７（ａ））・復号（図7（ｂ））化方法の要部の一例を示すフローチャートである。

ステップＳ７１： 動き判定手段５２が、フレーム間で差分を取り、有意差があるか否かを判定する。

ステップＳ７２： フレーム間引き手段５３が、この判定結果に基づき、変化の大きいフレームを符号化のフレームレートに応じて抽出する。

ステップＳ７３： 映像信号符号化手段５４が、映像符号化を行う。

ステップＳ７４： 多重化手段５５が、映像と付加情報の多重化を行う。

ステップＳ７６： 付加情報分離手段３２が、符号化映像信号と付加情報とを分離する。

ステップＳ７７： 映像信号復号手段３３が、符号化映像信号を復号化する。

ステップＳ７８： 補間映像生成手段３４が、不足する補間フレームの映像信号を生成する。

ステップＳ７９： 映像信号出力手段３５が、映像信号を出力する。

以上のように符号化して伝送する映像信号のフレームレートよりも高いフレームレートの映像信号から動き判定を行い、フレーム間における変化が大きいフレームのみを符号化フレームレートに応じて抽出し、符号化処理を行う。

別途、フレームの時間情報、動き判定結果を伝送することで、より高精度なフレーム補間処理を可能とすることができる。結果、映像符号化する際にフレームレートを低く抑えることができ、伝送するデータレートを低く抑えることが可能となる。

（実施形態の補足）
（１）符号化時、フレーム間で動き判定を行い、符号化フレームレートに応じて変化の大きいフレームを抽出し、符号化処理を行い、変化の小さいフレームに対しては、フレームレート変換処理にてフレーム補間を行う。

（２）（１）において検出した動き判定結果に時間情報（フレームの位置情報）を付加して、復号後のフレームレート変換に用いる付加情報とする。

（３）補間フレームは（２）で得られた付加情報に基づき、時間情報順に映像信号出力手段へ出力する。

（４）動き判定結果は、画素単位に判定、8x8画素単位等のブロックごとに判定、符号化処理のマクロブロック単位で判定などによる。

（５）動き判定結果の符号化方法 (例えば動きあり：１、静止：０の1bit表現) は、フレーム単位で符号化、さらに時間軸方向で符号化(符号化伝送される映像間隔をまとめる)などである。

（６）動き判定結果を用いた付加情報は、音声、映像とは異なるトラック情報として、多重化する。

あるいは、符号化伝送される映像フレームのピクチャレイヤーのUserデータとして多重化、あるいは別ストリームとして伝送し、PTS等の時間情報で関連付けを行う。

（７）付加情報を用いたフレームレート変換の処理方法は、動きなしと判定された部分は、前フレームの映像信号で補間。 動きありと判定された部分は、FRCのアルゴリズムに従って、前後フレーム間の映像信号で補間する。

例えば本願と同一出願人の出願である特願P2012-40295号に記載の技術では高フレームレートで映像符号化、伝送した場合に伝送する符号化データが多くなるという問題を解決する為に、伝送するフレームレートより高いフレームレートの映像信号から得られた動き判定結果を映像信号とパネル駆動のフレームレートの差分を補間するFRCモジュールへ与えることにより、高精度のFRC処理を可能とし、それにより伝送するデータレートを低く抑える技術について記載されている。

しかしながらこの技術ではFRC処理にて動き判定の付加情報をもとに補間フレームを生成することで、補間フレームの精度を上げることができるが、激しい動きのシーンや、符号化フレームレートが低い場合等、参照フレーム間で変化が大きい場合は、精度は低くなってしまう問題があった。

以上説明した実施例によればこの先行技術と比べた効果として、符号化して伝送する映像信号のフレームレートよりも高いフレームレートの映像信号から動き判定を行い、別途動き判定結果を伝送することで、より高精度なFRC処理を可能とすることができる。結果、映像符号化する際にフレームレートを低く抑えることができ、伝送するデータレートを低く抑えることが可能となる。

即ち映像符号化時に符号化する映像信号のフレームレートよりも高いフレームレートの映像信号から動き判定を行い、フレーム間における変化が大きいフレームのみを符号化フレームレートに応じて抽出し、符号化処理を行い、別途タイムスタンプもしくは、フレームカウント情報を及び動き判定結果を伝送する。これにより変化の激しい部分については、符号化して伝送し、変化の少ない部分についてはFRC処理でフレーム補間することとなり、その結果伝送するデータレートを低く抑えることが可能となる。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１…ＤＴＶ、３０…映像復号化、再生装置、３１…映像信号入力手段、３２…付加情報分離手段、３３…映像信号復号手段、３４…補間映像生成手段、３５…映像信号出力手段、５０…映像符号化装置、…５１撮像手段（カメラ）、５２…動き判定手段、５３…フレーム間引き手段、５４…映像信号符号化手段、５５…多重化手段、５６…映像信号出力手段、１１０…スピーカ、１２０…表示部、１２１…バックライト、１００…信号処理部、１１６…操作部、１１７…リモートコントローラ、１１８…受信部、１１９…メモリカード、１３３…ＵＳＢ端子、１４３…アンテナ、１４４…入力端子、１４５…チューナ、１４６…ＰＳＫ復調器、１４７…ＴＳ復号器、１４８…アンテナ、１４９…入力端子、１５０…チューナ、１５１…ＯＦＤＭ復調器、１５２…グラフィック処理部、１５３…音声処理部、１５４…ＯＳＤ信号生成部、１５５…映像処理部、１５６…制御部、１５７…ＲＯＭ、１５８…ＲＡＭ、１６０…カードＩ／Ｆ、１６１…カードホルダ、１６２…通信部、１６６…ＵＳＢ Ｉ／Ｆ、１６８…アナログチューナ、１６９…アナログ復調器。

Claims (6)

1. 入力される映像信号から動き判定情報を含む付加情報を分離する付加情報分離手段と、
   前記映像信号と前記付加情報から補間映像を生成する補間映像生成手段とを
   備えた映像再生装置。
2. 前記付加情報は、前記映像信号よりフレームレートの高い映像信号から得られた結果である請求項１に記載の映像再生装置。
3. 前記付加情報は、更に前記映像信号よりフレームレートの高い映像信号のフレーム間の動き判定結果である請求項２に記載の映像再生装置。
4. 更に前記補間映像を出力する映像信号出力手段を備えた請求項１に記載の映像再生装置。
5. 入力される映像信号から動き判定情報を含む付加情報を分離する付加情報分離工程と、
   前記映像信号と前記付加情報から補間映像を生成する補間映像生成工程とを
   含んだ映像再生方法。
6. 入力される映像信号からフレーム間引きを行い、
   前記映像信号から動き判定を行い、
   前記フレーム間引きの結果と前記動き判定の結果とを多重化する映像符号化方法。

Images