JP2008252262A - 符号化装置及び動画像の変化点検出方法 - Google Patents

Abstract

【課題】従来の符号化装置では、シーン変化点を誤検出する場合があった。
【解決手段】本発明にかかる符号化装置は、動画像における画像データと音声データとを所定の周期毎に符号化する符号化装置であって、画像データを符号化するとともに画像データの輝度成分に基づき輝度成分累算値ＹＬの算出を行なうビデオ符号化ユニット１０と、音声データを符号化するとともに音声データの音声レベルＡＬを算出するオーディオ符号化ユニット３０と、同一周期で生成された輝度成分累算値ＹＬ及び音声レベルＡＬがともに予め設定された規定値以下となった時点を変化点通知信号として出力する符号化コントローラ４０と、を有するものである。
【選択図】図１

Description

本発明は符号化装置及び動画像の変化点検出方法に関し、特に画像データをデコードするビデオ符号化ユニットと音声データを符号化するオーディオ符号化ユニットとを有する符号化装置及び符号化装置における動画像の変化点検出方法に関する。

テレビ放送などを録画するビデオレコーダでは、入力される動画像のシーン変化を検出して、その検出点にチャプタ番号等を付与して、動画像の検索性を向上させることが行なわれている。このようなシーン変化を検出する方法として、入力される動画像データのうち音声データを用いる方法が提案されている。特許文献１（以下、従来例１と称す）には音声レベルの変化点をシーン変化点として検出する方法が開示されている。

従来例１にかかるシーン変化点検出方法のフローチャートを図４に示す。図４に示すように、従来例１では、前状態と現状態とで音声レベルの無音状態から有音状態への変化、あるいはその逆の変化を検出ことで、シーン変化点を検出する。そして、この検出結果に基づきその後の画像データの符号化を制御する。

一方、シーン変化点検出方法の他の例が特許文献２（以下、従来例２と称す）に開示されている。従来例２では、まず入力され映像エンコーダを用いて動画像データを符号化し、音声エンコーダを用いて音声データを符号化する。そして、符号化したデータに基づき特徴点（シーン変化点）を検出する。
特開平０９−８４０２３号公報 特開２００１−３３９６８５号公報

しかしながら、従来例１のように音声データのみからシーン変化点を検出した場合、画像は無画像となっていないにもかかわらず、音声が無音となる場面をシーン変化点として誤検出する、あるいはシーン変化点の見落としが発生する問題がある。

一方、従来例２では、シーン変化点の検出を符号化後のデータを用いて行なう。一般的に符号化されたデータは、データの容量を圧縮するためにシーンの並べ替え（リオーダリング）が行なわれており、さらに符号化されたデータは符号列となっているためにそのままの状態から画像の状態や音声の状態を知ることができない。すなわち、従来例２では、シーン変化点を検出するためには符号化データを復号するためのデコーダが必要になる。このことより、従来例２の方法を使用した場合、装置の規模と処理時間とが増大する問題がある。

本発明にかかる符号化装置は、動画像における画像データと音声データとを所定の周期毎に符号化する符号化装置であって、前記画像データを符号化するとともに前記画像データの輝度成分に基づき輝度成分累算値の算出を行なうビデオ符号化ユニットと、前記音声データを符号化するとともに前記音声データの音声レベルを算出するオーディオ符号化ユニットと、同一周期で生成された前記輝度成分累算値及び前記音声レベルがともに予め設定された規定値以下となった時点を変化点通知信号として出力する符号化コントローラと、を有するものである。

また、本発明にかかる動画像の変化点検出方法は、入力画像データの符号化と、入力音声データの符号化とを所定の周期毎に行なう符号化装置における動画像の変化点検出方法であって、前記入力画像データの輝度成分に基づき輝度成分累算値を算出し、前記入力音声データの音声レベルの解析し、同一周期で生成された前記輝度成分累算値及び前記音声レベルがともに予め設定された規定値以下となった時点を変化点として検出するものである。

本発明にかかる符号化装置は、画像データの輝度成分累算値及び音声データの音声レベルに基づき変化点の検出を行なう。これによって、本発明にかかる符号化装置は、音声レベルのみが小さくなる、あるいは画像データの輝度値のみが小さくなるなどの場合をシーン変化点として検出する、あるいはシーン変化点の見落とすことがない。なお、これらのシーン変化点の誤検出を以下ではシーン変化点の検出精度と称す。

本発明にかかる符号化装置によれば、シーン変化の検出精度を向上させることが可能である。

実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。本実施の形態にかかる符号化装置１のブロック図を図１に示す。図１に示すように、符号化装置１は、ビデオ符号化ユニット１０、画像データバッファ２０、オーディオ符号化ユニット３０、符号化コントローラ４０、第１のバッファ（例えば、ビデオ符号化データバッファ）５０、第２のバッファ（例えば、オーディオ符号化データバッファ）６０、システムストリーム生成ユニット７０を有している。なお、符号化装置１は、上位システム（不図示）上に搭載される装置の一つである。上位システムには、例えばＣＰＵ（中央演算処理装置）、ハードディスクなどの記録媒体、動画像データを再生するデコーダなどが搭載される。

ここで、画像データバッファ２０は、ビデオ符号化ユニット１０に制御されるものであって、ビデオ符号化ユニット１０で行なわれる処理において発生する中間データの記憶装置となる。ビデオ符号化データバッファ５０は、ビデオ符号化ユニット１０で生成される画像ＥＳ（Elementary Stream：エレメンタリストリーム）を蓄積する。オーディオ符号化データバッファ６０は、オーディオ符号化ユニット３０が生成する音声ＥＳを蓄積する。システムストリーム生成ユニット７０は、ビデオ符号化データバッファ５０に蓄積された画像ＥＳとオーディオ符号化データバッファ６０に蓄積された音声ＥＳとを多重化してＭＰＥＧ２（Moving Picture Experts Group 2）に準拠したトランスポートストリームを生成する。このトランスポートストリームは、上位システムに出力され、例えばハードディスクなどの記憶媒体に記憶される。また、システムストリーム生成ユニット７０は、映像ＥＳと音声ＥＳとを多重化したデータとしてプログラムストリームの生成を行なうことも可能である。以下では、ビデオ符号化ユニット１０、オーディオ符号化ユニット３０、符号化コントローラ４０について詳細に説明する。

ビデオ符号化ユニット１０は、所定の周期で入力される画像データの符号化をその周期毎に行なうとともにその周期において符号化した画像データの輝度成分累算値を出力する。また、ビデオ符号化ユニット１０は、各周期の画像データの符号化が完了するたびに画像符号化完了通知ＶＥを符号化コントローラ４０に対して出力する。ビデオ符号化ユニット１０は、ビデオ入力ユニット１１、ビデオ出力ユニット１２、メモリインタフェース１３、ホストインタフェース１４、動き検索ユニット１５、ＤＣＴ／Ｑ処理ユニット１６、可変長符号化ユニット１７、ローカルバス１８を有している。ビデオ符号化ユニット１０の各ブロックはローカルバス１８を介して互いに接続される。

ビデオ入力ユニット１１は、入力される動画像データを４：２：０形式のデータフォーマットに変換する。変換後のデータは、輝度成分の比率が４に対して、緑色差成分又は青色差成分の比率が２となるデータである。ビデオ入力ユニット１１は、このフォーマット変換と同時に画像データの解像度変換処理及びノイズ除去処理を行なう。ビデオ入力ユニット１１が出力するデータは、メモリインタフェース１３を介して画像データバッファ２０に蓄積される。

ビデオ出力ユニット１２は、ビデオ入力ユニット１１に入力された画像データ、又は、画像データの一部をデコードしたローカルデコード画像を出力する。メモリインタフェース１３は、画像データバッファ２０とのデータの送受信を制御する。ホストインタフェース１４は、ビデオ符号化ユニット１０とその他のブロックとの間のインタフェースである。

動き検索ユニット１５は、画像データの輝度成分を利用して異なる周期で符号化される画像データ間の動きベクトル検索を行なう。また、動き検索ユニット１５は、動きベクトル検索と同時に現周期で符号化される画像データ内の輝度成分を累算して輝度成分累算値ＹＬを出力する。

ＤＣＴ／Ｑ処理ユニット１６は、画像データに対してＤＣＴ（離散コサイン変換）、逆ＤＣＴ、量子化、逆量子化などの処理を行ない、画像データを符号化する。可変長符号化ユニット１７は、ＤＣＴ／Ｑ処理ユニット１６で処理された画像データをＭＰＥＧ２に準拠した映像ＥＳに変換して、画像データバッファ２０に格納する。また、可変長符号化ユニット１７は、１周期分の画像データに対する処理が完了すると、処理の完了を通知する画像符号化完了通知ＶＥを出力する。

なお、可変長符号化ユニット１７が生成する映像ＥＳは、データの圧縮率が向上するように、画像データの再生順序とは異なる順序で画像データを並べられることがある。また、画像ＥＳは、符号化後の画像データに基づきそのデータ列が生成されるため、データ列に含まれる画像データの内容を知る場合は、データ列のデコード処理を行なわなければならない。また、可変長符号化ユニット１７が出力する画像ＥＳはビデオ符号化データバッファ５０に蓄積される。

オーディオ符号化ユニット３０は、入力される音声データの符号化を所定の周期で行なうとともにその周期において符号化した音声データの音声レベルＡＬを出力する。また、オーディオ符号化ユニット３０は、各周期の音声データの符号化が完了するたびに音声符号化完了通知ＡＥを符号化コントローラ４０に対して出力する。オーディオ符号化ユニット３０は、音声符号化処理ユニット３１を有している。

音声符号化処理ユニット３１は、入力される音声データの符号化を所定の周期で行ない、音声ＥＳを出力する。また、音声符号化処理ユニット３１は、例えば１周期内の音声データから音の大きさの平均値を算出して音声レベルを出力する。また、音声符号化処理ユニット３１は、各周期の音声データの符号化が完了するたびに音声符号化完了通知ＡＥを符号化コントローラ４０に対して出力する。なお、音声符号化処理ユニット３１が出力する音声ＥＳは、オーディオ符号化データバッファ６０に蓄積される。

符号化コントローラ４０は、ビデオ符号化ユニット１０とオーディオ符号化ユニット３０の制御と変化点の検出とを行なう。なお、符号化コントローラ４０は、変化点の検出結果として変化点通知を上位システムに対して行なう。符号化コントローラ４０は、符号化コントロールユニット４１、映像音声同期処理ユニット４２、変化点検出処理ユニット４３を有している。

符号化コントロールユニット４１は、ホストインタフェース１４と音声符号化処理ユニット３１とに次の周期の符号化の開始通知を行なう。この開始通知に基づきビデオ符号化ユニット１０とオーディオ符号化ユニット３０は、次の周期の符号化処理を開始する。映像音声同期処理ユニット４２は、可変長符号化ユニット１７から出力される画像符号化完了通知ＶＥと音声符号化処理ユニット３１から出力される音声符号化完了通知ＡＥとに基づき、符号化された画像データと音声データとが復号化された場合の表示時間（ＰＴＳ：Presentation Time Stamp）を計算する。そして、映像音声同期処理ユニット４２は、この計算結果に基づき画像データと音声データとの同期関係を示す同期タイミング信号を出力する。

変化点検出処理ユニット４３は、動き検索ユニット１５が出力する輝度成分累算値ＹＬと、音声符号化処理ユニット３１が出力する音声レベルＡＬと、映像音声同期処理ユニット４２が出力する同期タイミング信号とが入力される。変化点検出処理ユニット４３は、まず同期タイミング信号に基づき輝度成分累算値ＹＬと音声レベルＡＬとが同じ表示時間のものであるかを判断する。続いて、輝度成分累算値ＹＬと音声レベルＡＬとが同じ表示時間のものであると判明した場合、輝度成分累算値ＹＬと予め設定された規定値（輝度成分累算値に対応する規定値を以下では第１の閾値と称する）とを比較し、音声レベルＡＬと予め設定された規定値（音声レベルに対応する規定値を以下では第２の閾値と称する）とを比較する。そして、輝度成分累算値ＹＬが第１の閾値以下であって、かつ、音声レベルＡＬが第２の閾値以下であった場合に変化点通知を上位システムに対して行なう。なお、輝度成分累算値ＹＬと音声レベルＡＬとのうち少なくとも一方が閾値よりも大きな場合、変化点通知は行なわない。

また、変化点検出処理ユニット４３は、前周期の輝度成分累算値ＹＬを保持する。そして、前周期の輝度成分累算値ＹＬと現周期の輝度成分累算値ＹＬとを比較して、その差が所定値（以下、判断基準値と称す）以上である場合にも変化点通知を行なうことが可能である。

次に、本実施の形態にかかる符号化装置１において動画像の変化点を検出する場合の動作について説明する。変化点の検出を行なう動作のフローチャートを図２に示す。図２に示すように、符号化装置１は、画像符号化処理を開始する（ステップＳ１０）。そして、音声符号化処理ユニット３１での音声データの符号化の完了と可変長符号化ユニット１７での画像データの符号化の完了とに基づき画像符号化完了通知ＶＥと音声符号化完了通知ＡＥとが映像音声同期処理ユニット４２に通知される。続いて、映像音声同期処理ユニット４２は画像符号化完了通知ＶＥと音声符号化完了通知ＡＥとに基づき同期タイミング信号を出力する。

次に、この同期タイミング信号に基づき変化点検出処理ユニット４３は、動き検索ユニット１５から輝度成分累算値ＹＬを取得するとともに、音声符号化処理ユニット３１から音声レベルＡＬを取得する（ステップＳ１１）。変化点検出処理ユニット４３は、まず取得した現周期の輝度成分累算値ＹＬと前周期の輝度成分累算値ＹＬとの差を算出して、算出した値と判断基準値とを比較する（ステップＳ１２）。ステップＳ１２にて、算出した値が判断基準値よりも大きな場合、その時点でシーン変化があったと判断して変化点通知を行なう（ステップＳ１５）。ステップＳ１５の処理が完了すると現周期の画像符号化処理を終了する（ステップＳ１６）。

一方、ステップＳ１２で算出した値が判断基準値よりも小さな場合、輝度成分累算値ＹＬと第１の閾値とを比較する（ステップＳ１３）。ステップＳ１３にて、輝度成分累算値ＹＬが第１の閾値よりも大きな場合、シーン変化はないと判断してステップＳ１６に進み現周期の画像符号化処理を終了する。

ステップＳ１３にて輝度成分累算値ＹＬが第１の閾値よりも小さな場合、シーン変化がある可能性があるため、音声レベルと第２の閾値とを比較してシーン変化を確認する（ステップＳ１４）。ステップＳ１４にて、音声レベルが第２の閾値よりも大きな場合、画像の輝度が低下しながらもシーンが続いていると判断されるため、変化点の検出は行なわずにステップＳ１６に進み現周期の画像符号化処理を終了する。一方、ステップＳ１４にて音声レベルが第２の閾値よりも小さな場合、画像の輝度も低下して音声も小さいと判断されるため、ステップＳ１５に進み変化点通知を行なう。ステップＳ１５の処理が完了すると現周期の画像符号化処理を終了する（ステップＳ１６）。

上記の動作フローにおいて変化点が検出されるシーン変化の例と、変化点が検出されないシーン変化の例と、を図３に示す。図３（ａ）、（ｂ）は、変化点が検出される場合の例であり、図３（ｃ）、（ｄ）は、変化点が検出されない場合の例である。

図３（ａ）に示す例は、画像がＰ１からＰ８へとシフトするが、Ｐ４とＰ５とで画面の輝度が大きく変化する。また、音声もＰ４とＰ５との間で大きなレベルから小さなレベルへと変化する。この場合、ステップＳ１２の判断を経てステップＳ１５の処理が行なわれ、変化点が検出される。

図３（ｂ）に示す例は、画像がＰ１からＰ８へとシフトするが、Ｐ２からＰ６にかけて画像の輝度が徐々に低下する。そのため、ステップＳ１２の判断だけでは変化点は検出されない。従って、輝度成分累算値が第１の閾値以下となる画像Ｐ６が入力されるまでステップＳ１３の判断を行なう。そして、画像Ｐ６が入力されると、ステップＳ１３で輝度成分累算値ＹＬが第１の閾値を下回りステップＳ１４の処理に実行される。そして、画像Ｐ６に対応する時間の音声レベルは、第２の閾値よりも小さいため、これによって変化点が検出される。

図３（ｃ）に示す例は、画像がＰ１からＰ８へとシフトするが、Ｐ２からＰ６にかけて画像の輝度が徐々に低下する。一方、音声は画像の輝度が低下しても所定の音声レベルを維持する。そのため、輝度成分累算値が第１の閾値以下となる画像Ｐ６が入力され、ステップＳ１３からステップＳ１４に処理が移行しても、ステップＳ１４で音声レベルが第２の閾値以上である。従って、ステップＳ１４の後はステップＳ１６の処理に移行して、符号化処理が終了される。つまり、変化点は検出されない。

図３（ｄ）に示す例は、画像がＰ１からＰ８へとシフトするが、画像の輝度は所定の輝度レベルを維持する。一方、音声レベルは時間とともに低下し、画像Ｐ４と画像Ｐ５との間で第２の閾値を下回る。この場合、画像の輝度が所定の輝度レベルを維持するためステップＳ１３の判断によってＮＯの枝に進むためステップＳ１４は実行されない。従って、変化点は検出されない。

本実施の形態かかる符号化装置１は、変化点検出処理ユニット４３が周期の間の輝度成分累算値ＹＬの大きな変化に基づくシーン変化点の検出に加え、現周期の輝度成分累算値ＹＬ及び音声レベルＡＬの絶対値に基づいたシーン変化点の検出を行なう。これによって、前周期と現周期との間で輝度成分累算値ＹＬの変化が小さなフェードアウト画像などであっても、輝度成分累算値ＹＬが第１の閾値を下回った時点をシーン変化点として検出可能である。また、このような場合に、音声レベルＡＬについても第２の閾値と比較することで、画像の輝度レベルが低下しながらも音声が出力されるようなシーンをシーン変化点として誤検出することを防止可能である。また、輝度成分累算値ＹＬと音声レベルＡＬとの２つの値についてともに閾値を下回る場合についてのみシーン変化点を検出することで、音声レベルは第２の閾値以下となるものの画像の輝度成分累算値ＹＬが第１の閾値以上の値を維持するようなシーンをシーン変化点として誤検出することを防止する。つまり、本実施の形態にかかる符号化装置１は、輝度成分累算値ＹＬと音声レベルＡＬの２つの値に基づきシーン変化点を検出することで、シーン変化点の検出精度を向上させることが可能である。

また、本実施の形態にかかる符号化装置１は、輝度成分累算値ＹＬをビデオ符号化ユニット１０において画像データの符号化に必要な動き検索ユニット１５にて行なう。動き検索ユニット１５は、その動作として輝度成分を利用しているため、特別な回路を追加することなく輝度成分累算値ＹＬを算出することが可能である。また、本実施の形態にかかる符号化装置１は、音声レベルＡＬを音声符号化処理ユニット３１において音声の符号化と同時に生成する。つまり、音声レベルＡＬも特別な回路を追加することなく生成することが可能である。このようなことから、本実施の形態にかかる符号化装置１は、高精度なシーン検出を回路規模の増加を伴うことなく行なうことが可能である。さらに、画像データ及び音声データの符号化と同時に輝度成分累算値ＹＬ及び音声レベルＡＬを算出することで、符号化後にこれらを算出する場合に比べ、その算出時間を削減することが可能である。つまり、本実施の形態にかかる符号化装置１は、シーン変化点検出にかかる時間を削減することが可能である。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、ビデオ符号化ユニット１０及びオーディオ符号化ユニット３０で生成される画像ＥＳ及び音声ＥＳは、ＭＰＥＧ２に限らず、ＭＰＥＧ１、ＭＰＥＧ４、Ｈ．２６４等の規格に準拠したデータであっても良い。また、上記実施の形態では、画像データバッファ２０、ビデオ符号化データバッファ５０、オーディオ符号化データバッファ６０をそれぞれ異なるブロックとして記載したが、これらは１つのシンクロナスＤＲＡＭ（ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory）で実現することも可能である。

実施の形態１にかかる符号化装置のブロック図である。 実施の形態１にかかる符号化装置におけるシーン変化点検出のフローチャートを示す図である。 実施の形態１にかかる符号化装置においてシーン変化点を検出する動画像とシーン変化点を検出しない動画像の例を示す図である。 従来の符号化装置におけるシーン変化点検出のフローチャートを示す図である。

符号の説明

１ 符号化装置
１０ ビデオ符号化ユニット
１１ ビデオ入力ユニット
１２ ビデオ出力ユニット
１３ メモリインタフェース
１４ ホストインタフェース
１５ 動き検索ユニット
１６ ＤＣＴ／Ｑ処理ユニット
１７ 可変長符号化ユニット
１８ ローカルバス
２０ 画像データバッファ
３０ オーディオ符号化ユニット
３１ 音声符号化処理ユニット
４０ 符号化コントローラ
４１ 符号化コントロールユニット
４２ 映像音声同期処理ユニット
４３ 変化点検出処理ユニット
５０ ビデオ符号化データバッファ
６０ オーディオ符号化データバッファ
７０ システムストリーム生成ユニット
ＡＥ 音声符号化完了通知
ＡＬ 音声レベル
ＶＥ 画像符号化完了通知
ＹＬ 輝度成分累算値

Claims (6)

1. 動画像における画像データと音声データとを所定の周期毎に符号化する符号化装置であって、
   前記画像データを符号化するとともに前記画像データの輝度成分に基づき輝度成分累算値の算出を行なうビデオ符号化ユニットと、
   前記音声データを符号化するとともに前記音声データの音声レベルを算出するオーディオ符号化ユニットと、
   同一周期で生成された前記輝度成分累算値及び前記音声レベルがともに予め設定された規定値以下となった時点を変化点通知信号として出力する符号化コントローラと、
   を有する符号化装置。
2. 前記ビデオ符号化ユニットは、画像データの輝度成分に基づき前記画像データ内の動きの検出と、前記画像データの前記輝度成分の累積値を計算する動き検索ユニットを有する請求項１に記載の符号化装置。
3. 前記ビデオ符号化ユニットは、１周期分の画像データの符号化が完了したことを通知する画像符号化完了通知を出力する可変長符号化ユニットを有し、
   前記オーディオ符号化ユニットは、前記１周期分の音声データの符号化が完了したことを通知する音声符号化完了通知を出力する音声符号化処理ユニットを有し、
   前記符号化コントローラは、前記画像符号化完了通知と前記音声符号化完了通知とに基づき同期タイミングを検出して検出タイミング信号を出力する映像音声同期処理ユニットと、
   前記検出タイミング信号に基づき前記輝度成分累算値及び前記音声レベルを取得し、前記輝度成分累算値及び前記音声レベルがともに前記既定値以下となった場合に前記変化点通知信号を出力する変化点検出ユニットとを有する
   請求項１又は２に記載の符号化装置。
4. 前記変化点検出ユニットは、前周期の前記輝度成分累算値及び前記音声レベルと現周期の前記輝度成分累算値及び前記音声レベルとの差が所定値以上であった場合に前記変化点通知信号を出力する請求項３に記載の符号化装置。
5. 前記ビデオ符号化ユニットによって符号化された画像データを蓄積する第１のバッファと、
   前記オーディオ符号化ユニットによって符号化された音声データを蓄積する第２のバッファと、
   前記第１のバッファに蓄積された符号化画像データと前記第２のバッファに蓄積された符号化音声データとを多重化して出力するシステムストリーム生成ユニットと、
   を有する請求項１乃至４のいずれか１項に記載の符号化装置。
6. 入力画像データの符号化と、入力音声データの符号化とを所定の周期毎に行なう符号化装置における動画像の変化点検出方法であって、
   前記入力画像データの輝度成分に基づき輝度成分累算値を算出し、
   前記入力音声データの音声レベルの解析し、
   同一周期で生成された前記輝度成分累算値及び前記音声レベルがともに予め設定された規定値以下となった時点を変化点として検出する動画像の変化点検出方法。

Images