JP2011124824A

JP2011124824A - 画像処理装置、画像処理方法

Info

Publication number: JP2011124824A
Application number: JP2009281259A
Authority: JP
Inventors: Masaru Suzuki; 賢鈴木; Takahiro Watanabe; 崇弘渡邉; Eiji Irie; 英二入江
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2009-12-11
Filing date: 2009-12-11
Publication date: 2011-06-23

Abstract

【課題】簡易な処理でモザイク効果を有する画像処理装置、画像処理方法を提供する。
【解決手段】入力したトランスポートストリームからビデオストリームを分離するＴＳ分離部１０３と、分離されたビデオストリームのビットレートを計測するビットレート計測部１０４と、ビットレートに基づき、分離されたビデオストリームのフレーム抜き取りを制御するフレーム抜き取り制御部１０５と、フレーム抜き取り制御されたビデオストリームを復号するビデオ復号部１０７と、を備える画像処理装置。
【選択図】図１

Description

本発明は、デジタルコンテンツの画像処理装置、画像処理方法において、より簡易な処理でモザイク効果を実現する技術に関するものである。

アナログのスクランブル技術では、アナログコンテンツの断片を表示することにより、アナログコンテンツの雰囲気を視聴者に伝えることができるため、有料コンテンツの購入につなげることができた。

これに対し、デジタルのスクランブル技術では、暗号解除前は全くコンテンツが表示されない為、デジタルコンテンツに対して一定期間のプレビューやモザイク等の画像処理が必要であった。

図８は、従来のモザイク処理装置の構成を示すブロック図である。

特殊効果部４００は、高能率符号化部４０１が画像を符号化する際の符号化はブロック単位の情報に基づいて、画像を複数のブロックに分割し、その画像内の所定のブロック複数個それぞれについて、ブロック内の全ての画素の値を、そのブロック内の全ての画素の値の平均値で置き換えるというモザイク処理を行う。つまり、特殊効果部４００は、そのモザイク処理された領域の境界とブロックの境界とが一致するようにモザイクモザイク処理を行う。そして、高能率符号化部４０１が、特殊効果部４００でモザイク処理された画像を入力し、その画像をブロック単位毎に、符号化して、その符号化データをモザイク処理装置外部に出力する。

特開平１１−１３４４７９号公報

しかしながら、従来のモザイク画像処理では依然複雑な特殊効果処理及び符号化処理が必要となるため、スクランブルされたデジタルコンテンツの表示はプレビューによる一定時間のみの表示が主流となっておりコンテンツを表示できる時間が短く、コンテンツの雰囲気を伝えることが難しかった。そのためより簡易な処理でモザイク効果を有する画像処理装置、画像処理方法が望まれている。

本発明の画像処理装置は、入力したトランスポートストリームからビデオストリームを分離するＴＳ分離部と、前記分離されたビデオストリームのビットレートを計測するビットレート計測部と、前記ビットレートに基づき、前記分離されたビデオストリームのフレーム抜き取りを制御するフレーム抜き取り制御部と、前記フレーム抜き取り制御されたビデオストリームを復号するビデオ復号部と、を備える。

また、本発明の画像処理方法は、入力したトランスポートストリームからビデオストリームを分離するステップと、前記分離されたビデオストリームのビットレートを計測するステップと、前記ビットレートに基づき、前記分離されたビデオストリームのフレーム抜き取りを制御するステップと、前記フレーム抜き取り制御されたビデオストリームを復号するステップと、を備える。

本発明の画像処理装置、画像処理方法によれば、より簡易な処理でモザイク効果を有する画像処理が可能となり、ユーザーはスクランブルされたデジタルコンテンツの雰囲気を知ることが出来、有料コンテンツの購入促進を図ることが可能となる。

以上のように本発明の画像処理装置、画像処理方法によれば、より簡易な処理でモザイク効果を有する画像処理が可能となり、ユーザーはスクランブルされたデジタルコンテンツの雰囲気を知ることが出来、有料コンテンツの購入促進を図ることが可能となる。

本発明の実施例１における画像処理装置の構成図本発明の実施例１における画像処理装置のフレーム抜き取り制御部の構成図本発明の実施例１における画像処理装置のビデオエラー生成部の構成図ビットレートと抜き取り率の関係を示す図本発明の実施例１における画像処理装置のフレームの抜き取りを示す図本発明の実施例１における画像処理装置の無効データを用いたフレームの抜き取りを示す図本発明の実施例２における画像処理装置の構成図従来例のモザイク処理装置の構成図

以下本発明を実施するための最良の形態について、図面を参照しながら説明する。

図１は、実施例１に係る画像処理装置の構成を示すブロック図である。

図１に示すように、本実施例による画像処理装置は、アンテナから取得した放送波を受信処理するチューナー１０１と、スクランブルされた放送波を復号するＣＡＳ部１０２と、復号された放送波（トランスポートストリーム）を映像（ビデオストリーム）と音声や他のデータに分けるＴＳ分離部１０３と、ビデオストリームの時間当たりの情報量であるビットレートを計測するビットレート計測部１０４と、ビットレートにしたがって適当にビデオストリームのフレームを欠落させるフレーム抜き取り制御部１０５と、ビデオストリームを復号するビデオ復号部１０７と、ビデオ復号部の復号時エラーの発生率を計測するビデオエラー計測部１０８と、エラーの発生率にしたがってビデオストリームの一部を破損させるビデオエラー生成部１０６と、を有している。

ＣＡＳ部１０２はフレーム抜き取り制御部１０５およびビデオエラー生成部１０６に対して、処理の制御を行う。トランスポートストリームがノンスクランブルの場合は、ＣＡＳ部１０２は復号処理は不要となる。フレーム抜き取り制御部１０５およびビデオエラー生成部１０６も画像処理を行わず、通常の映像が出力される。トランスポートストリームがスクランブルされている場合、ＣＡＳ部１０２はトランスポートストリームを復号するとともに、フレーム抜き取り制御部１０５およびビデオエラー生成部１０６に対して、処理を開始させて、画像処理された映像が出力される。トランスポートストリームがスクランブルでかつユーザーにより視聴契約処理がなされた場合、ＣＡＳ部１０２はフレーム抜き取り制御部１０５およびビデオエラー生成部１０６に対して、処理を停止させて、通常の映像が出力される。

フレーム抜き取り制御部１０５およびビデオエラー生成部１０６の詳細を、それぞれ図２、図３を用いて説明する。

図２は、フレーム抜き取り制御部１０５の具体的な構成を示すものである。ＴＳ復号部
１０３で出力されたビデオストリームはフレーム判定部２０１において、フレームの種類を判別される。フレームの種類に応じたＩフレーム、Ｐフレーム、Ｂフレームのそれぞれのフレーム抜き取り部２０２、２０３、２０４において、それぞれの抜き取り率によってフレームのデータが欠落する。それぞれの抜き取り率は、フレーム抜き取り率決定部２０５にて、ビットレートに応じて決定される。

図４はフレーム抜き取り率決定部２０５における、ビットレートとＩフレーム、Ｐフレーム、Ｂフレームの抜き取り率の関係をグラフで示した例である。図４では、Ｉフレームをビットレートによらずすべて欠落させることにより、静止している部分の映像はまったく出力せず、Ｂフレーム、Ｐフレームの動きのある部分の映像のみを出力している。これにより映像の全体像は分からないものの、動きのある一部の映像だけを出力することになり、不完全ながら雰囲気を伝えることができる映像となる。さらに、ビットレートが高くなるにつれてＢフレーム、Ｐフレームの抜き取り率を高くすることにより、高ビットレートの映像でも、動きのある部分がはっきり見えすぎてしまうことを防ぐ。

図５に、フレーム抜き取り制御部１０５を通過する前後のビデオ・ストリームの例を模式的に示した。現在のビットレートが１０Ｍｂｐｓの場合、図４よりＩフレーム、Ｂフレーム、Ｐフレームの抜き取り率はそれぞれ１００％、約５０％、約５０％となる。したがってＩフレームはすべて抜き取り、Ｂフレーム、Ｐフレームについても抜き取り率に応じてデータを欠落させている。一方、ＭＰＥＧの時刻情報であるＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）とＤＴＳ（ＤｅｃｏｄｉｎｇＴｉｍｅＳｔａｍｐ）のデータは欠落しないため、データ長が短くなっても再生タイミングは元のまま保持される。

一方、Ｉフレーム、Ｐフレーム、Ｂフレームそれぞれのフレーム抜き取り部２０２、２０３、２０４がデータを欠落させるのではなく、無効なデータと置換することによっても同等の効果を得ることが可能である。その場合のビデオストリームの例を図６に示す。

図３は、ビデオエラー生成部１０６の具体的な構成を示すものである。ビデオエラー計測部１０８で計測したビデオデコードのエラー率をもとに、改ざん率決定部３０１は改ざん率を決定する。ペイロード改ざん部３０２は、ビデオストリームに対して乱数発生部３０３で生成した乱数を、改ざん率決定部３０１で決定された改ざん率に従って置き換える。それにより、正常なビデオストリームはランダムに一部破損することとなる。ビデオ復号部１０７は一部破損したビデオストリームをデコードすることにより、最終的な映像出力の映像が一部正常に表示されなくなる。

ペイロード改ざん部３０２における、改ざん率は次の式で導出することが出来る。

上記の数式において、A_t は改ざん率、A_t-1 は直前に出力した改ざん率、αはフィードバック係数、Eは想定エラー率、E_t-1は直前の計測エラー率である。フィードバック係数αを適切に設定すれば、計測エラー率E_tは想定エラー率E_tの値に近づけることが可能である。

例えば、フレーム抜き取り制御部１０５だけ有して、ビデオエラー生成部１０６が無い場合、ビデオストリームのデータによっては元画像に近い鮮明な映像が出力されてしまう可能性がある。例えば、Ｉフレームのデータ量がＢ、Ｐフレームより少ない映像の場合、ビデオ復号部１０７でデコードされるＢ、Ｐフレームのデータ量が比較的多くなり、より鮮明な映像が出力されてしまう。ビデオエラー生成部１０６を有する場合は、ビデオストリームのデータを一様に破壊するため、どのようなビデオストリームのデータでも平均的に不明瞭な映像を出力することが可能である。また、ビデオエラー生成部１０６はフィードバック制御のため、初期状態では改ざん率が想定より小さくなってしまうことが考えられる。その場合でもフレーム抜き取り制御部１０５でＩフレームをすべて抜くように設定しておけば、初期状態によらず鮮明な映像が出力されてしまうことはない。

このように、フレーム抜き取り制御部１０５とビデオエラー生成部１０６を両方有することにより、相互に効果を補完することが可能となる。

実施例１は画像処理装置のみがモザイク機能を制御する例である。次に、放送波を用いて放送局がモザイク機能を制御する例を検討する。

放送局が放送波にモザイク記述子を追加することができる。画像処理装置１０はＣＡＳ部１０２でスクランブルを復号した後に、モザイク記述子を有無を確認する。モザイク記述子には、モザイクフラグ、抜き取り率、エラー率が配置されている。モザイクフラグが有効の場合、ＣＡＳ部１０２は図７に示すとおり、モザイク記述子に記述されている抜き取り率をフレーム抜き取り制御部１０５に、エラー率をビデオエラー生成部１０６に通知する。フレーム抜き取り制御部１０５とビデオエラー生成部１０６は、それにしたがって動作する。それにより、放送局がモザイク記述子を通してきめ細かいモザイク機能の制御を行うことが可能となる。

本発明によれば、より簡易な処理でモザイク効果を有する画像処理が可能となり、ユーザーはスクランブルされたデジタルコンテンツの雰囲気を知ることが出来、有料コンテンツの購入促進を図ることが可能となり、画像処理装置、画像処理方法として有用である。

１、１０画像処理装置
１０１チューナー
１０２ＣＡＳ部
１０３ＴＳ分離部
１０４ビットレート計測部
１０５フレーム抜き取り制御部
１０６ビデオエラー生成部
１０７ビデオ復号部
１０８ビデオエラー計測部
２０１フレーム判定部
２０２Ｉフレーム抜き取り部
２０３Ｐフレーム抜き取り部
２０４Ｂフレーム抜き取り部
２０５フレーム抜き取り率決定部
３０１改竄率決定部
３０２ペイロード改竄部
３０３乱数発生部
４００特殊効果部
４０１高能率符号化部

Claims

入力したトランスポートストリームからビデオストリームを分離するＴＳ分離部と、
前記分離されたビデオストリームのビットレートを計測するビットレート計測部と、
前記ビットレートに基づき、前記分離されたビデオストリームのフレーム抜き取りを制御するフレーム抜き取り制御部と、
前記フレーム抜き取り制御されたビデオストリームを復号するビデオ復号部と、
を備える画像処理装置。
前記フレーム抜き取り制御部は、
前記分離されたビデオストリームのフレームの種別を識別するフレーム判定部と、
前記ビットレートに基づきフレーム抜き取り率を決定するフレーム抜き取り率決定部と、
を備え、
前記フレーム抜き取り率に基づき、前記識別されたフレームからデータを欠落させるフレーム抜き取り部と、
を備えることを特徴とする請求項1記載の画像処理装置。
前記フレーム抜き取り部は、前記識別されたフレームがＩフレームの場合、前記Ｉフレームのデータを全て欠落させる
ことを特徴とする請求項２記載の画像処理装置。
前記ビデオストリームを復号する際のエラー発生率を計測するビデオエラー計測部と、
前記エラー発生率に基づき、前記フレーム抜き取り制御されたビデオストリームを破損させるビデオエラー生成部と、
をさらに備える請求項１記載の画像処理装置。
前記ビデオエラー生成部は、
前記エラー発生率に基づき、前記フレーム抜き取り制御されたビデオストリームの改竄率を決定する改竄率決定部と、
乱数を発生させる乱数発生部と、
前記改竄率に基づき前記乱数を置き換え、前記置き換えた乱数に基づき前記フレーム抜き取り制御されたビデオストリームを破損させるペイロード改竄部と、
を備えることを特徴とする請求項４記載の画像処理装置。
ユーザーの視聴契約状況に基づきトランスポートストリームのスクランブルを解除し、前記スクランブルを解除したトランスポートストリームを前記ＴＳ分離部に出力するＣＡＳ部をさらに備え、
前記ＣＡＳ部は、ユーザーが視聴契約している場合、前記フレーム抜き取り制御部及び前記ビデオエラー生成部の処理を停止させる
ことを特徴とする請求項４記載の画像処理装置。
入力したトランスポートストリームからビデオストリームを分離するステップと、
前記分離されたビデオストリームのビットレートを計測するステップと、
前記ビットレートに基づき、前記分離されたビデオストリームのフレーム抜き取りを制御するステップと、
前記フレーム抜き取り制御されたビデオストリームを復号するステップと、
を備える画像処理方法。