JP2009159478A

JP2009159478A - 動画像処理回路

Info

Publication number: JP2009159478A
Application number: JP2007337494A
Authority: JP
Inventors: Keiun Sho; 慶雲蒋; Toshiya Takahashi; 敏哉高橋; Kazuhiro Akemi; 和弘明見; Hidenao Bito; 英直尾藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-12-27
Filing date: 2007-12-27
Publication date: 2009-07-16
Also published as: US20090167954A1

Abstract

【課題】安定した動画像処理を行うことのできる動画像処理回路１を実現することを目的とする。
【解決手段】デコード処理部１１と、ＲＧＢ変換処理部１２と、グラフィック処理部１３と、デコード処理部１１とＲＧＢ変換処理部１２とグラフィック処理部１３とを制御する制御部１５とを有する。
【選択図】図３

Description

本発明は、動画像処理回路に関し、特に所定の圧縮方式でエンコードされた動画像データをデコードするデコード処理部と、デコードされた動画像データの色空間を、異なる色空間に変換する色空間変換処理部と、色空間変換された動画像データをグラフィック処理するグラフィック処理部とを有する動画像処理回路に関する。

近年、ビデオカメラ等で撮影されたデジタルの動画像や、受信した放送のデジタルの動画像を、そのまま液晶表示装置（以下、［ＬＣＤ］という。）等の表示装置に表示するのではなく、所定のグラフィック処理を行った後に、表示することが行われている。

ここで、デジタルの動画像は、その容量を小さくするため、および、誤り訂正を行うために所定の圧縮方式で圧縮（エンコード）され、記録媒体に記録されたり、または、インターネット回線や放送を通じて配信されている。このため、デジタルの動画像を再生するには、所定の圧縮方式でエンコードされた動画像データをデコード処理し、フレーム単位の画像の集合である動画像データにするデコード処理部が用いられている。

ここで、カラーの画像を表示するための色空間、すなわちカラースペース、には種々の方式があり、それぞれ一長一短があるため、目的に応じて最適の方式が使用されている。例えば、放送分野においては、色空間としてYUVが用いられているが、グラフィック処理では色空間としてＲＧＢが用いられている。

このため、デコードされた動画像を、所定のグラフィック処理を行うためには、グラフィック処理の前に、色空間ＹＵＶの動画像データ（以下、「ＹＵＶデータ」という。）を、色空間ＲＧＢの動画像データ以下、「ＲＧＢデータ」という。）に変換する色空間変換処理部と、変換されたＲＧＢ信号をグラフィック処理するグラフィック処理部とを有する動画像処理回路とが必要となる。ここで、フレーム速度が３０ｆｐｓであるビデオ信号を、デコード処理と、色空間変換処理と、グラフィック処理とを行うには、１つの静止画像について１／３０秒間で前記３つの処理を完了する必要がある。

しかし、動画像処理回路の速度は所定の速度であるため、映像の情報量が多くグラフィック処理に時間を要する場合等には、動画像処理回路が、１／３０秒間で、前記３つの処理を完了することができないことがある。処理を完了することができない場合には、いわゆる、「フレーム落ち」が発生する。しかし、公知の動画像処理回路においては、デコード処理、色空間変換処理およびグラフィック処理は、いずれも、先入れ先出し（ＦＩＦＯ：First In、 First Out）方式であるため、どのフレームが欠落するかは解らず、結果として不安定な動画像を表示装置に出力してしまうことがあった。特に、携帯電話等の携帯可能な動画像表示機器においては、搭載できるメモリ容量に制限があることから、不安定な動画像が発生しやすい傾向にあった。

なお、特開２００３−１５０１４１号公報には、所定の圧縮方式でエンコードされた動画像データを入力バッファに、デコードされたＹＵＶ信号データを中間バッファに、そして色空間変換されたＲＧＢデータを出力バッファに、それぞれ記憶し、デコード処理、色空間変換処理および出力処理を、並列処理する方法が開示されている。

しかし、特開２００３−１５０１４１号公報の方法は、デコード処理と色空間変換処理に関するものであり、より負荷の大きなグラフィック処理については開示されていない。
特開２００３−１５０１４１号公報

本発明は、安定した動画像処理を行うことのできる動画像処理回路を実現することを目的とする。

本願発明の一態様によれば、所定の圧縮方式でエンコードされた動画像データをデコードするデコード処理部と、デコード処理部でデコードされた動画像データの色空間を、異なる色空間に変換する色空間変換処理部と、色空間変換処理部で色空間変換された動画像データをグラフィック処理するグラフィック処理部と、デコード処理部と色空間変換処理部とグラフィック処理部とを制御する制御部とを有することを特徴とする動画像処理回路が提供される。

本発明によれば、安定した動画像処理を行うことのできる動画像処理回路を実現することができる。

以下、図面を参照して本発明の実施の形態を説明する。
＜動画像処理回路の構成＞
最初に、図１および図２を用いて、本発明の実施の形態にかかる動画像処理回路１を有する携帯電話１００、および携帯電話１００の映像処理部２００の構成について説明する。図１は、本実施の形態にかかる動画像処理回路１を有する携帯電話１００の外観図であり、図２は、動画像処理回路１を有する映像処理部２００の構成を示す構成図である。

図１に示すように、携帯電話１００は、表示部であるＬＣＤ１８と、ユーザーが様々な指示を行う指示入力部１７と、スピーカーである音声出力部２０５と、マイクである音声入力部２０８と、図示しないチューナ用のアンテナ２０２等を有する。

携帯電話１００は、通常の携帯電話としての電話機能に加えて、映像情報端末としての機能を有しており、携帯電話１００は、例えばデジタルテレビ放送を受信し、ユーザーの所望のグラフィック処理を施した後に、表示部であるＬＣＤ１８に表示する。

次に、図２を用いて、動画像処理回路１を有する映像処理部２００の構成を説明する。
映像制御部２０１は、映像処理部２００の各部を統括して制御し、チューナ選択、オーディオやビデオ等のコンテンツのファイルシステム管理、エンコードおよびデコード時の制御、再生モード設定、またはユーザーインターフェース制御等の処理動作を行う。

指示入力部１７は、ユーザーの各スイッチ操作に応じた操作信号を映像制御部２０１に出力する。
チューナ２０３は、アンテナ２０２で受信したワンセグ放送のデジタル信号を受信する。
記憶部２０７は、映像制御部２０１を動作させるためのファームウエア、再生および制御に必要なアプリケーションプログラム、プログラムの設定データ、ビデオ等のコンテンツの管理に必要な管理データ、そしてビデオ等のコンテンツデータを記憶する。

ＬＣＤ制御部１４は、バックライトとＬＣＤコントローラとを有し、ユーザー操作に基づく表示画面に応じたデータを映像制御部２０１からバス２０４を介して入力することによりＬＣＤ１８を制御する。

音声出力部２０５は、オーディオ信号を内蔵されたアンプで増幅して出力する。
メディアプレイヤ２０４は、ＮＡＮＤ型フラッシュメモリ等の外部記憶メディアと情報を入出力する。
インターフェース（Ｉ／Ｆ）部２０６は、ＵＳＢ端子や拡張コネクタ等を有し、外部機器が接続されたとき、データの入出力を制御する。

そして、動画像処理回路１は、後述のようにチューナ２０３等からのビデオデータの処理を行う。

次に、図３を用いて、本実施の形態にかかる動画像処理回路１の構成について説明する。図３は、本実施の形態にかかる動画像処理回路１の構成を示した構成図である。
図３に示すように、動画像処理回路１は、所定の圧縮方式でエンコードされたデジタルビデオデータ、すなわち動画像データをデコードし、ＹＵＶデータを出力するデコード処理部１１と、ＹＵＶデータを、異なる色空間であるＲＧＢに変換し、ＲＧＢデータを出力する色空間変換処理部であるＲＧＢ変換処理部１２と、ＲＧＢデータをグラフィック処理し、ＬＣＤ駆動部１４を介して表示部であるＬＣＤ１８に出力するグラフィック処理部１３と、デコード処理部１１とＲＧＢ変換処理部１２とグラフィック処理部１３とを制御する制御部１５と、バッファメモリ１９、２０とを、有する。

デコード処理部１１は、デジタル放送等を経由して入力されたデジタルビデオ信号に対して、例えば、周波数デインタリーブ処理及び時間デインタリーブ処理等の後、ビタビ復号処理及びリードソロモン復号処理を行い、フレーム単位のＹＵＶデータを出力する。

ここで、画像信号の色空間について説明する。光の三原色である赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）の輝度情報を用いるＲＧＢは、色空間の基本であり、コンピューターグラフィクス分野で広く用いられている。これに対して、多数の視聴者に効率よく映像を伝送する必要がある放送等の分野では、映像の画質もさることながら、映像の記録およびハンドリングに要するデータ量の低減化が求められるため、ＹＵＶが広く用いられている。ＹＵＶは、輝度情報（Ｙ）と2つの色差情報（青−輝度（Ｕ）、赤−輝度（Ｖ））を使って色を表現する色空間である。そして、ＹＵＶは、人間の視覚が色の変化よりも明るさの変化に対して敏感であるという特性を利用して、色度を抑え、輝度により広い帯域やビット数を割くことにより、少ない損失で効率の良い伝送や圧縮を行うことができる。

なお、本明細書において、［ＹＵＶ］という時には、狭義のＹＵＶに限られるものではなく、輝度情報と2つの色差情報からなる種々の色空間、すなわち色差コンポーネントである色空間を意味し、例えば、YUV、YIQ、YCC（ＹＣｂＣｒ）またはYＰbPr等を意味する。YIQは、NTSCテレビ放送で、YUVまたはYCCは、PALテレビやJFIF形式のJPEG画像で用いられている。なお、現在のデジタルビデオの分野では、慣習的に、YUVと呼称していても、実際にはYCbCrのことを指している。

本実施の形態にかかるＲＧＢ変換処理部１２に、入力されるデジタルビデオの画像信号の色空間は、ＹＵＶである。このため、ＲＧＢ変換処理部１２は、YUVデータをRGBデータに変換することで、グラフィック処理部１３のグラフィック処理が可能となる。

グラフィック処理部１３は、上位アプリケーション等からの指示により、入力された動画像を加工処理する。上位アプリケーションからの指示は、例えば、ユーザーが指示入力部１７を介して入力する。グラフィック処理部１３が行う動画像の加工処理としては、例えば、３Ｄ化処理、すなわち３次元化処理である。

グラフィック処理部１３により加工処理されたＲＧＢデータは、ＬＣＤコントローラを有するＬＣＤ制御部１４を介して、表示部であるＬＣＤ１８（液晶表示装置）に出力される。

そして、本実施の形態にかかる動画像処理回路１においては、デコード処理部１１とＲＧＢ変換処理部１２とグラフィック処理部１３とを制御する制御部１５を有する。制御部１５は、共通情報部１６の情報を基に、予め定められた優先順位に基づいて、デコード処理部１１、ＲＧＢ変換処理部１２またはグラフィック処理部１３のいずれか１つの処理の開始を制御する。言い換えれば、動画像処理回路１においては、デコード処理部１１、ＲＧＢ変換処理部１２およびグラフィック処理部１３は、従来のＦＩＦＯ方式ではなく、制御部１５からの処理の開始の制御信号が入力されない限り、次のフレームの処理を開始できない。すなわち、図３に示すように、動画像処理回路１が用いるバッファメモリ１９、２０のフレームバッファ数は、０〜Ｎの（Ｎ＋１）個と有限である。

このため、動画像処理回路１においては、このフレームバッファ中に蓄積されているフレームの中から、次の処理を開始するフレームが、制御部１５に、より予め定められた優先順位と、共通情報部１６の各フレーム情報とを基に選択される。ここで、動画像処理回路１における優先順位が、動画像データ、すなわちフレームの時間情報の場合には、選択されたフレームよりも前にフレームバッファに蓄積されていたフレームは、次の処理が行われることなく、いわゆる、フレーム落ちとなる。

すなわち、動画像処理回路１における、予め定められた優先順位は、動画像データの時間情報、または、デコード処理部１１、ＲＧＢ変換処理部１２、もしくはグラフィック処理部１３の処理時間の情報に基づいており、例えば、指示入力部１７を介して上位アプリケーションまたはユーザーが予め指示する。動画像データの時間情報とは、動画像データを構成している各フレームのＰＴＳ（Presentation Time Stamp）情報であり、時間情報を優先順位として用いた場合には、最新のフレームに対して優先して処理が行われる。

デコード処理部１１、ＲＧＢ変換処理部１２またはグラフィック処理部１３の処理時間の情報は、上位アプリケーション等が予め設定したフレームバッファ数、制限処理時間等、または、それぞれの処理部が前フレームの処理に実際に要した処理時間の情報であり、共通情報部１６に記憶されている。処理時間の情報を優先順位として用いた場合には、最も時間を要する処理に最も適した処理が行われるが、多くの場合には、グラフィック処理部１３の処理に最も適した処理が行われる。

なお、共通情報部１６には、デコード処理部１１、ＲＧＢ変換処理部１２およびグラフィック処理部１３のそれぞれの処理部が、処理を行っているフレームの情報がリアルタイムで入力され、制御部１５は、共通情報部１６の情報から、いずれか１つの処理を開始する処理部を選択する。なお、図３においては、共通情報部１６は制御部１５の一部として図示しているが、共通情報部１６は制御部１５から分離し独立した部でもよい。また、図３においては、バッファメモリ１９は、デコード処理部１１およびＲＧＢ変換処理部１２の共用のバッファメモリとして図示しているが、それぞれが独立したバッファメモリを有していてもよいし、逆にデコード処理部１１、ＲＧＢ変換処理部１２およびグラフィック処理部１３が１の共用のバッファメモリを有していてもよい。

＜動画像処理回路の処理＞
次に、図５を用いて、本実施の形態にかかる動画像処理回路１による画像信号処理の流れを説明する。図５は、本実施の形態にかかる動画像処理回路１による処理の流れを説明するためのフローチャートである。

＜ステップＳ１１＞
最初に、初期パラメータが動画像処理回路１の制御部１５に、指示入力部１７または上位アプリケーションから入力され、初期設定が行われる。初期パラメータは、制御部１５が制御に用いる優先順位のパラメータ情報等である。また、同時にグラフィック処理部１３が行うグラフィック処理の内容が、指示入力部１７または上位アプリケーションから制御部１５に入力される。

＜ステップＳ１２＞
動画像処理回路１に、ビデオデータが入力される。

＜ステップＳ１３＞
動画像処理回路１の制御部１５は、デコード処理部１１、ＲＧＢ変換処理部１２またはグラフィック処理部１３のいずれの処理を開始するかを、予め定められた優先順位に基づいて判断し制御する。もちろん、処理の開始時には、デコード処理のみが処理開始可能な状態であるが、時間の経過につれて、３つの処理のいずれを開始するかを制御部１５が判断するため、ランダムにフレーム落ちが発生することがなく、動画像処理回路１の動作が安定である。

＜ステップＳ１３〜Ｓ１６＞
制御部１５が、デコード処理部１１の処理の開始を選択し制御した場合には、デコード処理部１１は、入力されたデジタルビデオ信号に対して、デコード処理を行い、フレーム単位のＹＵＶデータを出力する。そして、処理したフレームの情報を共通情報部に出力する。

＜ステップＳ１７〜Ｓ１９＞
制御部１５が、ＲＧＢ変換処理部１２の処理の開始を選択し制御した場合には、ＲＧＢ変換処理部１２は、デコード処理部１１が出力したＹＵＶデータをRGBデータに変換し出力する。そして、処理したフレームの情報を共通情報部に出力する。

＜ステップＳ２０〜Ｓ２２＞
制御部１５が、グラフィック処理部１３の処理の開始を選択し制御した場合には、グラフィック処理部１３は、ＲＧＢ変換処理部１２が出力したRGBデータを、上位アプリケーションからの指示に従い所定のグラフィック処理を行い、ＬＣＤ制御部１４を介してＬＣＤ１８に出力する。そして、処理したフレームの情報を共通情報部に出力する。

なお、制御部１５は、上記それぞれの処理の開始を制御するのみであり、ステップＳ１４〜ステップＳ２２の各処理の完了を待つことなく、制御部１５は、ステップＳ２３以降の処理を行うことができる。

＜ステップＳ２３＞
制御部１５は、次のビデオデータの入力がある（Ｙｅｓ）場合には、ステップＳ１２において次のビデオデータを入力する。制御部１５は、次のビデオデータの入力がない（Ｎｏ）場合には、ステップＳ１３において、次に処理を開始する処理を選択する。

上記の説明のように、本実施の形態にかかる動画像処理回路１は、デコード処理部１１とＲＧＢ変換処理部１２とグラフィック処理部１３とを制御する制御部１５を有するため、これら３つの処理がＦＩＦＯ方式ではなく、制御部１５の制御により処理される方式である。このため、不安定な動画像処理が発生しがたく、安定した動画像処理を行うことが、できる。

次に、図６を用いて、本実施の形態にかかる動画像処理回路１における、いわゆるフレーム落ちについて説明する。図６は、フレーム落ち現象を説明するための説明図である。図６において横軸は時間経過を示しており、Ｆ１〜ＦＮは、フレーム単位のフレームデータを示している。なお、図６においては、説明を簡単にするために、フレームバッファ数が２と極端に少ない場合を例に説明する。

例えば、デコード処理部で、Ｆ１、Ｆ２、Ｆ３、Ｆ４の４つのフレームが処理された場合、フレームバッファ数が２しかないため、時間ｔ１において、Ｆ３は、ＲＧＢ変換処理されないで、いわゆる、フレーム落ちする。また、時間ｔ２において、Ｆ２は、グラフィック処理時に、Ｆ２よりも最新のＦ４があるため、Ｆ２はグラフィック処理されないでいわゆる、フレーム落ちする。上記は、制御部１５が、動画像データの時間情報に基づいて、最新のフレームを優先して処理の開始を制御している例である。

このように、動画像処理回路１は、制御部１５が、予め定められた優先順位に基づいて、デコード処理部１１、ＲＧＢ変換処理部１２またはグラフィック処理部１３のいずれか１つの処理の開始を制御するため、上位アプリケーションまたはユーザーが所望する安定した動画像処理をすることができる。

さらに、動画像処理回路１は、優先順位が、動画像データの時間情報に基づく場合には最新のフレームを優先してＬＣＤ１８に表示することができる。一方、動画像処理回路１は、優先順位が、デコード処理部１１、ＲＧＢ変換処理部１２またはグラフィック処理部１３の処理時間の情報に基づく場合には、それぞれの処理に最も適した処理が行われ、特にグラフィック処理部１３において最も適したグラフィック処理が行われるため、ユーザーは所望のグラフィック処理された動画像を見ることができる。

本実施の形態の動画像処理回路１は、メモリ搭載量に制限のある携帯機器、特に、携帯電話に用いることで、顕著な効果を奏することができる。すなわち、所定の圧縮方式でエンコードされた動画像データをデコードするデコード処理部１１と、前記デコード処理部１１でデコードされた動画像データの色空間を、異なる色空間に変換する色空間変換処理部と、前記色空間変換処理部で色空間変換された動画像データをグラフィック処理するグラフィック処理部１３と、前記デコード処理部１１と前記色空間変換処理部と前記グラフィック処理部１３とを制御する制御部１５とを有する動画像処理回路１を具備した携帯電話１００である。また携帯電話１００の動画像処理回路１は、前記デコードされた画像データの色空間がYUVであり、前記色空間変換処理部が、色空間がYUVの信号を、色空間がRGBの信号に変換する。さらに、携帯電話１００の動画像処理回路１は、前記制御部１５が、予め定められた優先順位に基づいて、前記デコード処理部１１、前記色空間変換処理部または前記グラフィック処理部１３のいずれか１つの処理の開始を制御する。そして、携帯電話１００の動画像処理回路１は、前記優先順位が、動画像データの時間情報、または、前記デコード処理部１１、前記色空間変換処理部、もしくは前記グラフィック処理部１３の処理時間の情報に基づいている。また、携帯電話１００の動画像処理回路１は、前記所定の圧縮方式でエンコードされた動画像データが、デジタルビデオデータである。

また、動画像処理回路１は、動画を３Ｄ化処理する際に特に、顕著な効果を奏することができる。

次に、図７は、本実施の形態の動画像処理回路１の変形例の動画像処理回路２の構成を、表示した構成図である。動画像処理回路２の構成および動作は、動画像処理回路１の構成および動作と類似しているため、同じ構成要素には同じ符号を付し説明は省略する。

図７に示す動画像処理回路２のデコード処理部１１は、入力された動画像データを全て、ＦＩＦＯ方式でデコードする。そして、制御部１５は予め定められた優先順位に基づいて、色空間変換処理部であるＲＧＢ変換処理部１２またはグラフィック処理部１３のいずれかの処理の開始を制御する。すなわち、動画像処理回路２は、所定の圧縮方式でエンコードされた動画像データをＦＩＦＯ方式でデコードするデコード処理部と、前記デコード処理部でデコードされた動画像データの色空間を、異なる色空間に変換する色空間変換処理部と、前記色空間変換処理部で色空間変換された動画像データをグラフィック処理するグラフィック処理部と、前記色空間変換処理部と前記グラフィック処理部とを制御する制御部とを有する動画像処理回路であり、動画像処理回路２の、デコード処理部は、入力された動画像データを、FIFO方式でデコード処理する。

動画像処理回路２は、動画像処理回路１が有する効果に加えて、制御部１５の動作が比較的簡単となるため、動画像処理回路の設計が容易である。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

実施の形態にかかる動画像処理回路を有する携帯電話の外観図である実施の形態にかかる動画像処理回路を有する映像処理部の構成を示す構成図である。実施の形態にかかる動画像処理回路の構成を示した構成図である。実施の形態にかかる動画像処理回路が用いるフレームバッファを説明するための説明図である。実施の形態にかかる動画像処理回路による処理の流れを説明するためのフローチャートである。実施の形態にかかる動画像処理回路によるフレーム落ちについて説明するための説明図である。実施の形態にかかる動画像処理回路の構成を示した構成図である。

符号の説明

１…動画像処理回路１１…デコード処理部１２…ＲＧＢ変換処理部１３…グラフィック処理部１８…ＬＣＤ１５…制御部１６…共通情報部１７…指示入力部１００…携帯電話

Claims

所定の圧縮方式でエンコードされた動画像データをデコードするデコード処理部と、
前記デコード処理部でデコードされた動画像データの色空間を、異なる色空間に変換する色空間変換処理部と、
前記色空間変換処理部で色空間変換された動画像データをグラフィック処理するグラフィック処理部と、
前記デコード処理部と前記色空間変換処理部と前記グラフィック処理部とを制御する制御部とを
有することを特徴とする動画像処理回路。
前記制御部が、予め定められた優先順位に基づいて、前記デコード処理部、前記色空間変換処理部または前記グラフィック処理部のいずれか１つの処理の開始を制御することを特徴とする請求項１に記載の動画像処理回路。
前記優先順位が、動画像データの時間情報、または、前記デコード処理部、前記色空間変換処理部、もしくは前記グラフィック処理部の処理時間の情報に基づいていることを特徴とする請求項１または請求項２に記載の動画像処理回路。
前記デコード処理部は、入力された動画像データを、FIFO方式でデコードすることを特徴とする請求項１から請求項３のいずれか１項に記載の動画像処理回路。
前記所定の圧縮方式でエンコードされた動画像データが、デジタルビデオデータであり、
前記デコードされた画像データの色空間がYUVであり、
前記色空間変換処理部が、色空間がYUVの信号を、色空間がRGBの信号に変換することを特徴とする請求項１から請求項４のいずれか１項に記載の動画像処理回路。