JP2011082610A - Video device using a plurality of processors, and image processing method - Google Patents
Video device using a plurality of processors, and image processing method Download PDFInfo
- Publication number
- JP2011082610A JP2011082610A JP2009230716A JP2009230716A JP2011082610A JP 2011082610 A JP2011082610 A JP 2011082610A JP 2009230716 A JP2009230716 A JP 2009230716A JP 2009230716 A JP2009230716 A JP 2009230716A JP 2011082610 A JP2011082610 A JP 2011082610A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- image
- timing
- control data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
この発明は、複数のプロセサを利用する映像装置および画像処理方法に関する。 The present invention relates to a video apparatus and an image processing method using a plurality of processors.
近年は、データ処理を行うプロセサの処理能力が高くなり、プロセサが種々な画像処理に利用されることが多くなっている(特許文献1参照)。また、プロセサを複数用いてより高度な画像処理を行うことも提案されている(特許文献2または特許文献3参照)。
In recent years, the processing capacity of processors that perform data processing has increased, and the processors are often used for various image processing (see Patent Document 1). It has also been proposed to perform more advanced image processing using a plurality of processors (see
特許文献1では、ノイズ除去や鮮鋭化などの高画質化技術を組み合わせて用いている。特許文献1の高画質化動作は、単一の画像処理プロセサ内での動作となっている。そのため、画像データを処理して得た高画質化に関するデータを画像処理モジュール(高画質化エンジンHVE)に適用する場合に、高画質化データを処理対象画像データに適用するタイミングを取ることに困難はない。具体的には、例えばフレーム単位での高画質化に関するデータを画像処理モジュールへフレーム単位で適用するタイミングを取ることは容易である。しかし、複数のプロセサを組み合わせて高画質化処理を行う場合で、かつ、画像データ用の通信路と高画質化に関するデータ用の通信路が論理的に独立している場合では、両データのタイミングを取ることが困難となる場合がある。
In
特許文献2の画像処理装置は、画像処理を行う機能マクロを複数備えている。先行して画像処理を行う第1機能マクロは、その処理後の画像データを記憶手段に格納し、続いて次の処理を行う第2機能マクロは記憶手段から画像データを読み込んで画像処理を行っている。その際、第1機能マクロ、第2機能マクロはそれぞれ処理するフレームを監視するようになっている(要約、段落0010〜0011参照)。ここでの複数機能マクロは複数の機能マクロ演算コア(複数のプロセサに対応)で処理されるが、複数機能マクロ間で画像データとその高画質化データのタイミングを合わせようとすると他機能マクロ処理状況の監視が必要となる。
The image processing apparatus of
特許文献3の画像処理装置は、バスインタフェースで接続された複数のプロセサで構成されている。各プロセサエレメント(PE)は他の全てのプロセサエレメント(PE)に対して画像データ処理状況を通知するようになっている(要約、段落0009参照)。ここでの画像処理は複数プロセサエレメントで処理されるが、複数プロセサエレメント間で画像データとその高画質化データのタイミングを合わせようとすると、全てのプロセサエレメントに対して画像データ処理状況の通知が必要となり、処理が複雑化する。 The image processing apparatus disclosed in Patent Literature 3 includes a plurality of processors connected by a bus interface. Each processor element (PE) notifies the image data processing status to all other processor elements (PE) (see summary, paragraph 0009). The image processing here is performed by a plurality of processor elements. However, if the timing of the image data and the image quality enhancement data is matched between the plurality of processor elements, the image data processing status is notified to all the processor elements. It becomes necessary and the processing becomes complicated.
この発明の課題の1つは、複数のプロセサを組み合わせて高画質化処理を行う場合で、かつ、画像データ用の通信路と高画質化に関するデータ用の通信路が異なる場合に、できるだけ処理の複雑化を避けつつ、両データのタイミングを取ることである。 One of the problems of the present invention is that processing is performed as much as possible when a plurality of processors are combined to perform image quality improvement processing, and when a communication channel for image data and a data communication channel for image quality improvement are different. It is time to take both data while avoiding complexity.
この発明の一実施の形態に係る映像装置(100)は、ソース機器(10)からフレーム単位の画像データおよびこの画像データに関する制御データ(高画質化に関するデータ)を異なる経路(通信路1、通信路2)を介して別々に受け取り、受け取った前記制御データに基づき受け取った前記画像データに対して画像処理を行うシンク機器(20)を含む。
The video apparatus (100) according to the embodiment of the present invention transmits image data in units of frames from the source device (10) and control data (data related to high image quality) relating to the image data to different paths (
この映像装置(100)は、前記ソース機器(10)から前記シンク機器(20)へ時間的遅延を伴って前記画像データが届くタイミングと、前記ソース機器(10)から前記シンク機器(20)へ時間的遅延を伴って前記制御データが届くタイミングの間にずれが生じる場合に、先に届く方のタイミングと後に届く方のタイミングを合わせ、タイミングを合わせた前記制御データに基づき前記画像データを画像処理(高画質化処理)するように構成される。 The video device (100) includes a timing at which the image data arrives from the source device (10) to the sink device (20) with a time delay, and the source device (10) to the sink device (20). When a deviation occurs between the timings when the control data arrives with a time delay, the timing of the earlier arrival and the timing of the later arrival are matched, and the image data is converted into an image based on the control data with the timing matched. It is configured to perform processing (high image quality processing).
あるいは、この映像装置(100)は、複数フレームの前記画像データに対応する複数の前記制御データを平均化(平滑化)し、この平均化した制御データに基づき、この平均化した制御データが得られた際に届いている前記画像データを画像処理(高画質化処理)するように構成される。ここで処理される画像データは、平均化された制御データの生成に用いた複数フレームの画像データのどれかに対応できるため、処理される画像データのタイミングとその平均化制御データ(高画質化に関するデータ)のタイミングを合わせることが容易となる。 Alternatively, the video device (100) averages (smooths) the plurality of control data corresponding to the image data of a plurality of frames, and obtains the averaged control data based on the averaged control data. The image data received when the image data is received is subjected to image processing (high image quality processing). Since the image data processed here can correspond to any of the multiple frames of image data used to generate the averaged control data, the timing of the image data to be processed and the averaged control data (higher quality) It is easy to synchronize the timing of data.
この発明によれば、あるプロセサから別のプロセサへ送られる画像データおよび制御データ(画像データの高画質化に関するデータ)の到着時刻に差が生じても、その差を吸収して、適切な高画質化処理の制御を行うことができる。 According to the present invention, even if a difference occurs in the arrival time of image data and control data (data related to image quality enhancement of image data) sent from one processor to another processor, the difference is absorbed and an appropriate high It is possible to control image quality improvement processing.
以下、図面を参照してこの発明の種々な実施の形態を説明する。図1は、この発明の一実施の形態に係る映像装置において、複数プロセサを用いて高画質化処理(ノイズ低減処理、鮮鋭度改善処理、および/または、図示しない画像階調性改善/色再現性改善/動画の動き平滑化処理など)を行うシステムの構成例を説明する図である。図1は、この発明を実施するにあたり前提となる構成(複数のプロセサを組み合わせて高画質化処理を行うもので、かつ、画像データ用の通信路1と高画質化に関するデータ用の通信路2が論理的に独立している構成)を概略的に示している。
Hereinafter, various embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows an image quality improvement process (noise reduction process, sharpness improvement process, and / or image gradation improvement / color reproduction not shown) using a plurality of processors in a video apparatus according to an embodiment of the present invention. FIG. 2 is a diagram for explaining an example of the configuration of a system that performs a performance improvement / moving motion smoothing process). FIG. 1 shows a precondition for implementing the present invention (a combination of a plurality of processors for performing image quality improvement processing, and a
ここで、「通信路1と通信路2が論理的に独立している」とは、次の状態を含む:(1)通信路1の伝送経路と通信路2の伝送経路が物理的に分かれている状態(これらの伝送経路が物理的に分かれていれば、両者は論理的にも独立できる);(2)通信路1の伝送経路と通信路2の伝送経路が物理的に同じ(あるいは共通)だが、論理的には、通信路1の通信内容と通信路2の通信内容を互いに独立・分離して伝送できる状態。換言すれば、「通信路1と通信路2が論理的に独立している」とは、通信路1と通信路2が広い意味合いで異なる経路であることを意味している。つまり、ここにいう「異なる経路」は、論理的に独立しているものであればよい。
Here, “
図1の映像装置100は、第1プロセサ101を含むソース機器10と、第2プロセサ102を含むシンク機器20と、これらのプロセサ間をつなぐデータ通信路103および104を含んでいる。データ通信路103は画像データ用の通信路1として用いられ、データ通信路104は制御データ(高画質化に関するデータ)用の通信路2として用いられる。ソース機器10は、例えば、デジタルTVに内装される第1の回路基板、STB(Set Top Box)、デジタルビデオレコーダ、AV機能を持つPC(Personal Computer)などに対応させることができる。シンク機器20は、例えば、デジタルTVに内装される第2の回路基板、ビデオプロジェクタ、AV機能を持つPCなどに対応させることができる。
The
ソース機器10からは、例えばフレーム単位の画像データおよびこの画像データに関する制御データ(高画質化に関するデータ)が、異なる(物理的あるいは論理的に分かれた)通信路1および通信路2を介して、シンク機器20へ送られる。シンク機器20は、通信路1および通信路2を介して送られてきたデータを別々に受け取り、受け取った制御データに基づき受け取った画像データに対して画像処理を行う。
From the
映像装置100が例えばデジタルTVの場合、ソース機器10をデジタルTV内蔵のチューナ側回路基板(第1の回路基板)とすることができ、シンク機器20をデジタルTV内蔵の表示部側回路基板(第2の回路基板)とすることができる。この場合、通信路102および通信路103は、デジタルTV内の基板間配線あるいは特定のデジタル伝送路とすることができる。このデジタル伝送路としては、HDMI(High-Definition Multimedia Interface)やIEEE802.3標準の伝送路が考えられる。
When the
一方、映像装置100が映像ソース供給源(TVチューナ等)を持たないビデオプロジェクタやビデオモニタの場合は、ソース機器10を装置100外部のSTBやデジタルビデオレコーダまたはデジタルビデオプレーヤとすることができ、シンク機器20を装置100内部の表示部側回路基板とすることができる。この場合は通信路102および通信路103を一般的な機器間デジタル伝送路とすることができる。この機器間デジタル伝送路には、HDMIやIEEE802.3標準、あるいはUSB(Universal Serial Bus)やIEEE1394標準の信号線路を用いることができる。
On the other hand, when the
映像装置100は、ソース機器10およびシンク機器20の双方を含むように構成され、さらに、図示しないTVチューナおよび表示装置の少なくとも1つを具備した映像装置とすることができる。また、映像装置100を、図示しないハードディスクレコーダおよび光デスクレコーダの少なくとも1つを具備した映像装置とすることもできる。
The
ここでは、通信路102および通信路103として、物理的に独立した2つの信号線路を例示しているが、これらの通信路は物理的には1本の信号線路でもよい。画像データの変調方法と制御データの変調方法を変えるなどしてこれらのデータを多重化すれば、1本の信号線路を用いる場合でも、これらのデータを論理的に分離した形で個別伝送できる。また、通信路102および通信路103は、有線伝送路に限らず、電磁波を用いた無線伝送路で構成することもできる。データ伝送に光を用いる場合は、1本の光ファイバでもって、多重化された画像データおよび制御データを個別伝送する方法もある。
Here, as the
以下、図1のシステム構成が適用される映像装置100の具体例として、デジタルTVを例にとって説明を続ける。デジタルTVなどのシステムでは、複数の画像処理プロセサを用いる場合があり、通常は複数のデータ通信路を用いて制御用データと画像データを同期して送受信し高画質化処理を行う。複雑化を避けるため図1ではプロセサを2つだけ例示しているが、プロセサは3個以上使用される場合もある。この例では、データ通信路として、画像データ用通信路1にHDMI、制御データ用通信路2にIEEE802.3標準の伝送路を想定している。すなわち、図1の例では、そのままでは画像データと制御用データを同期させることが困難なプロセサ間通信を必要とする、マルチプロセサシステムを想定している。
Hereinafter, description will be continued by taking a digital TV as an example of the
図2は、図1のシステムにおける複数プロセサの内部構成の一例を説明する図である。図2の構成における画像処理は、プロセサ101では主にソフトウェア(ファームウエア)、プロセサ102では主にハードウェアで実現されているものとして説明する。しかし、ソフトウェア、ハードウェアの処理形態には特に限定されない。プロセサ101は、圧縮符号化データのデコーダ211、第1のノイズ除去モジュール212、第1の鮮鋭化モジュール213などを含む。デコーダ211は、MPEG−2あるいはH.264/AVCなどで圧縮符号化された入力動画像データ220が入力されると、そのデコードを行う。入力動画像データ220の具体例としては、デジタル放送のMPEGストリームに含まれるAV情報、デジタルビデオレコーダ/デジタルビデオプレーヤによるビデオ再生ストリームに含まれるAV情報などがある。
FIG. 2 is a diagram illustrating an example of an internal configuration of a plurality of processors in the system of FIG. The image processing in the configuration of FIG. 2 will be described assuming that the
デコーダ211でデコードされたAV情報のうち、ビデオ情報は、第1のノイズ除去モジュール212および第1の鮮鋭化モジュール213などにより、高画質化処理を受ける。この高画質化処理は、適宜複数段階行うことができる(ノイズ除去モジュール212/鮮鋭化モジュール213は、図示しないが、1A以外に、1B、1C、…等が存在し得る)。
Of the AV information decoded by the
ノイズ除去モジュール212/鮮鋭化モジュール213においては、デコーダ211で抽出した量子化パラメータQP(Quantization Parameter)や動きベクトルなどを用いることで、ノイズ除去や鮮鋭化などの高画質化処理を行うことができる。これらのデータ(量子化パラメータQPや動きベクトルなど圧縮ストリーム中のデータそのものや、量子化パラメータQPや動きベクトルなどを高画質化処理で使用するために適切に変換した値)を、高画質化データ(高画質化のためのデータあるいは高画質化に関するデータ)222と呼ぶことにする。高画質化データ222は、プロセサ101内の高画質化処理ブロック(ノイズ除去モジュール/鮮鋭化モジュールなど)で利用することもできるが、その利用形態については、ここでは省略する。
The
プロセサ101による処理の結果得られた画像データ221は、通信路103(通信路1)を介してプロセサ102に送信され、バッファB1に格納される。プロセサ102は、ノイズ除去モジュール214および鮮鋭化モジュール215などを用いて、バッファB1に格納された画像データ221に対して更なる高画質化処理を行う。一般には、プロセサ102において、多段の高画質化処理が行われる(図示しないが、除去ノイズ除去モジュール/鮮鋭化モジュールなどは、2A、2B、2C、…のように、多段に存在し得る)。
図2の構成では、通信路104(通信路2)を介してバッファB2に格納された高画質化データ222が、適宜、高画質化処理に適用される。高画質化処理を行う場合、制御ソフトウェア216は、バッファB2内の高画質化データ222を参照し、高画質化モジュール(ノイズ除去モジュール214/鮮鋭化モジュール215など)を制御する。
In the configuration of FIG. 2, the image
処理対象の画像データが動画情報を含む場合、高画質化データ222は、画像フレーム毎に変化するのが一般的である。そのため、プロセサ102における高画質化処理では、高画質化データ222を抽出した画像フレームに対してその高画質化データ222を適用することで、高い画質改善効果を得られる場合が多い。この場合、時間経過とともに変化する画像フレーム各々にどの高画質化データ222が対応するのかが分かっていると、高画質化処理のための制御を行いやすい。換言すると、画像データ221と高画質化データ222について、どの画像フレームとどの高画質化データが対応するのかが判明していれば制御がし易くなる。
When the image data to be processed includes moving image information, the image
しかし、この実施の形態で例示するシステムのように、同期の取りにくい複数通信路1、2で別々のデータが送出され、また、複数通信路1、2を介して接続される2つのプロセサのうちの一方がソフトウェアで実現されているような場合、画像データ221と高画質化データ222の同期が取りにくいことになる。
However, as in the system exemplified in this embodiment, separate data is transmitted on the
そこで、入力動画像データ220がプロセサ101の各処理を受けた後、通信路1を介してプロセサ102の高画質化処理モジュール(214、215)用バッファB1に到達するまでの遅延時間Td1と、プロセサ101で取得した高画質化データ222が送信されてから通信路2の通信方式を介してプロセサ102の制御ソフトウェア216用バッファB2に到達するまでの遅延時間Td2を、予め計測する。そして、計測された遅延時間Td1とTd2、またはそれらの差分ΔTdを、遅延差データ225としてメモリ217に記憶しておく。そうすれば、記憶された遅延差データ225を用いて、高画質化データ222と画像データ221の対応(同期)を取ることができる。すなわち、遅延差データ225を用いて、高画質化データ222と画像データ221のタイミングを合わせることができる。
Therefore, a delay time Td1 until the input moving
具体的には、遅延差Tdによるタイミングずれを解消するために、遅延が小さいほうのデータを適切にバッファリングすることで対応が可能となる。例えば、Td1<Td2であれば、バッファB1からデータを取り出すタイミングを、バッファB2からデータを取り出すタイミングよりもΔTd(=Td2−Td1)だけ遅らせればよい。このΔTdはメモリ217に記憶された遅延差データ225から分かる。逆に、Td1>Td2であれば、バッファB2からデータを取り出すタイミングを、バッファB1からデータを取り出すタイミングよりもΔTd*(=Td1−Td2)だけ遅らせればよい。このΔTd*もメモリ217に記憶された遅延差データ225から分かる。
Specifically, in order to eliminate the timing shift due to the delay difference Td, it is possible to cope with the problem by appropriately buffering the data with the smaller delay. For example, if Td1 <Td2, the timing for extracting data from the buffer B1 may be delayed by ΔTd (= Td2−Td1) from the timing for extracting data from the buffer B2. This ΔTd is known from the
図3は、図1のシステムにおける複数プロセサの内部構成の他例を説明する図である。図3の例において、プロセサ101と102のデコーダや高画質化処理ブロック(ノイズ除去モジュール/鮮鋭化モジュール)の役割は図2の例と同様である。以下では、図2の例と異なる点を中心に説明を行う。まず、デコーダ211から得た高画質化データ222を、平滑化モジュール(または平均化モジュール)317の処理により複数フレームに渡って平滑化を行い、平滑化されたデータを高画質化データ321としてプロセサ102へ送出する。平滑化の具体的な方法は加算平均でもよい。プロセサ102の制御ソフトウェア216は、複数の画像フレームについて平滑化された高画質化データの値(バッファB2に記憶される)を用いて、高画質化処理ブロック(ノイズ除去モジュール214/鮮鋭化モジュール215など)を制御する。
FIG. 3 is a diagram illustrating another example of the internal configuration of a plurality of processors in the system of FIG. In the example of FIG. 3, the roles of the decoders of the
図3の例では、バッファB2に記憶された高画質化データの値は、複数の画像フレームに対応している。そのため、バッファB2から取り出された高画質化データの値は、同じタイミングでバッファB1から取り出される画像フレームに対応するように構成できる。例えばバッファB2に記憶された高画質化データの値が15フレーム分の平均値に対応している場合、バッファB1からのデータ取り出しタイミングとバッファB2からのデータ取り出しタイミングのずれが当該15フレーム分の範囲内であれば、通信路1と通信路2の間に遅延時間の差があっても、プロセサ102における高画質化処理は、ほぼ有効に行うことができる。(バッファB2内の高画質化データは、通常は、対応する15フレームの画像のどれに対しても、ほぼ適正な制御データとなっているため。)
なお、図3の構成では、画像データと制御データ(高画質化データ)がプロセサ101からプロセサ102へ到着するタイミングに(平均化の範囲内で)多少のずれがあっても、そのタイミング合わせは不要となる。そのため、タイミング合わせのだけのためにバッファB1およびB2を設ける必要はない。しかし、例えば物理的には1本の伝送路(あるいは配線)で通信路1と通信路2が兼用される場合で、画像データを断続的に伝送する合間に制御データを挿入するとき(画像データと制御データの時分割伝送)は、バッファB1およびB2を用いることになる。この場合、通信路1と通信路2は物理的には1つであっても論理的には2つと考えられ、論理通信路1の画像データ(バッファB1に格納)と論理通信路2の制御データ(バッファB2に格納)はバッファB1およびB2によって分離抽出されることになる。
In the example of FIG. 3, the value of the high image quality data stored in the buffer B2 corresponds to a plurality of image frames. Therefore, the value of the high quality image data extracted from the buffer B2 can be configured to correspond to the image frame extracted from the buffer B1 at the same timing. For example, when the value of the high quality data stored in the buffer B2 corresponds to the average value for 15 frames, the difference between the data extraction timing from the buffer B1 and the data extraction timing from the buffer B2 If it is within the range, even if there is a difference in delay time between the
In the configuration of FIG. 3, even if there is a slight deviation (within the range of averaging) in the timing at which the image data and the control data (high quality data) arrive from the
図4は、図1のシステムにおける複数プロセサの内部構成のさらに他の例を説明する図である。図4の例において、プロセサ101と102のデコーダや高画質化処理ブロック(ノイズ除去モジュール/鮮鋭化モジュール)の役割は図2の例と同様である。以下では、図2の例と異なる点を中心に説明を行う。まず、プロセサ101内に、カウンタ417を設ける。プロセサ101内の高画質化処理最終段部分の出力データに対応する画像データ425に対し、カウンタ417のカウント値422を、電子透かし重畳モジュール418により重畳する。(ここで周知の電子透かし技術を用いたのは、重畳されたカウント値が画像データに悪影響しないように配慮したためである。画像データに悪影響がでない方法であれば、電子透かし以外の方法を用いてもよい。)このカウント値422が重畳された画像データ425が、プロセサ101の出力データとして送信路1に送出される。
FIG. 4 is a diagram for explaining still another example of the internal configuration of a plurality of processors in the system of FIG. In the example of FIG. 4, the roles of the decoders of the
一方、高画質化データ222には、データ追加モジュール416によりカウンタ417のカウント値423(カウント値422と同じか、それに1対1で対応した値)が追加され、高画質化データ421として送信路2に送出される。電子透かしによるカウント値422の重畳タイミングと、そのカウント値に対応する高画質化データ222の同期を取る方法はいくつか考えられる。具体的には、プロセサ101内の処理ブロックで、カウント値423(カウント値422に対応)の伝送を、それに対応する画像データ425の伝送と同時に行うように構成することが可能である。あるいは、電子透かし処理に伴うプロセサ101内の遅延量を予め計測してその遅延量計測値を図2のメモリ217と同様なメモリ(図4には図示せず)に格納しておき、その格納した計測値をバッファB1またはB2の読み出しタイミング制御に用いることも可能である。
On the other hand, the
プロセサ102では、電子透かし復号モジュール419により画像データ425に対して電子透かしの復号を行い、重畳されたカウント値424を取り出し、制御ソフトウェア216に渡す。制御ソフトウェア216は、渡されたカウント値424と、高画質化データ421に追加されたカウント値423が一致するタイミングで、高画質化制御を行うことができる。
In the
図4の構成では、画像データと制御データ(高画質化データ)がプロセサ101からプロセサ102へ到着するタイミングにずれがあっても、画像データのカウント値と制御データのカウント値の照合により、画像データと制御データのタイミングずれの悪影響(画像データを不適切な制御データで画像処理してしまうこと)を払拭できる。図4の構成では、画像データのカウント値と制御データのカウント値の照合処理が行われる間、画像データと制御データのうち先にプロセサ102に届いた側を一時的に保持しておくために、バッファB1およびB2を設けている。
In the configuration of FIG. 4, even if there is a difference in the timing at which the image data and the control data (high quality data) arrive from the
図5は、高画質化データのバッファ制御の一例を説明するフローチャートである。この処理は、例えば図2の構成に適用できる。ここで、プロセサ102には、高画質化データを保持するためのリングバッファparam2[i](そのサイズはNで、iはポインタ)が設けられているものとする。このリングバッファparam2[i]は、図2の構成ではバッファB2に対応する。
FIG. 5 is a flowchart for explaining an example of buffer control of high-quality data. This process can be applied to the configuration of FIG. 2, for example. Here, it is assumed that the
図5の処理が始まると、プロセサ102は、プロセサ101から高画質化データ222が到着するのを待つ(ST50)。高画質化データ222が到着すると、その到着データはリングバッファparam2[i]に格納される(ST52)。この格納が済むと、リングバッファparam2[i]のポインタiが1つインクリメントされる(ST54)。i<Nの間は(ST56ノー)、ST50〜ST54の処理が反復される。iがN以上になると(ST56イエス)、ポインタiはゼロにリセットされ、図5の処理は最初から実行される。このようにして、プロセサ101からの高画質化データ222がバッファB2に格納される。
When the process of FIG. 5 starts, the
図6は、高画質化処理の制御の一例を説明するフローチャートである。この処理も、例えば図2の構成に適用できる。ここでは、ある高画質化データに対する該当画像データの遅延量を、Lフレームで表すことにする。 FIG. 6 is a flowchart for explaining an example of the control of the image quality improvement processing. This process can also be applied to the configuration of FIG. Here, the delay amount of the corresponding image data with respect to certain high quality data is expressed by L frames.
図6の処理が始まると、プロセサ102は、プロセサ101から画像データ221のビデオフレームが到着するのを待つ(ST60)。到着した画像データ221のビデオフレームは、バッファB1に格納される。この格納が済むと、パラメータj=i−Lが算出される(ST62)。ここで、iは図5で説明したポインタiを指し、jはリングバッファparam2[j]のポインタを指す。また、Lは画像データ221と、それに対応する高画質化データ222との間の遅延のずれ分をフレーム単位で示したものである。
When the processing of FIG. 6 starts, the
jが0以下のときは(ST64イエス)、jはN(バッファB2のサイズ)分インクリメントされる(ST66)。jが0より大きいときは(ST64ノー)、jのインクリメント処理はスキップされる。その後、リングバッファparam2[j](つまりバッファB2)のポインタjが示す格納内容を用い、ポインタjに対応する画像データのビデオフレームに対して、高画質化処理(ノイズ低減処理、鮮鋭度改善処理など)が、1段ないし多段に渡って、実行される(ST68)。 When j is 0 or less (ST64 YES), j is incremented by N (the size of buffer B2) (ST66). When j is larger than 0 (NO in ST64), the increment process of j is skipped. Thereafter, using the stored contents indicated by the pointer j of the ring buffer param2 [j] (that is, the buffer B2), the image quality improvement processing (noise reduction processing, sharpness improvement processing) is performed on the video frame of the image data corresponding to the pointer j. Etc.) is executed in one or more stages (ST68).
プロセサ101からプロセサ102へ時間的遅延を伴って画像データが届くタイミングと、プロセサ101からプロセサ102へ時間的遅延を伴って高画質化データ(制御データ)が届くタイミングの間にずれがない場合、あるいはこのタイミングにずれがあってもその影響を実質的に回避できる構成を採る場合(図3の構成を用いる場合)には、L=0とみなす、すなわちj=iとすることで対応できる。
When there is no deviation between the timing at which image data arrives from the
図7は、高画質化データの平均化処理の一例を説明するフローチャートである。この処理は、例えば図3の構成に適用できる。ここでは、等倍速で平均化するフレーム数をnで指定し、特殊再生の倍速数をvで指定することにする。また、図示しないが、プロセサ101には、高画質化データを保持するためのリングバッファparam1[i](サイズはM)と、カウンタpが設けられているものとする。ここで、カウンタpは、動画データ220のシーンが変化した後の最初のn*vフレーム未満のデータ処理に用いるカウンタである。
FIG. 7 is a flowchart for explaining an example of the averaging process of the high quality image data. This process can be applied to the configuration of FIG. 3, for example. Here, the number of frames to be averaged at the normal speed is designated by n, and the speed of special reproduction is designated by v. Although not shown, it is assumed that the
まず、リングバッファparam1[i]のポインタiをゼロにリセットし(ST70)、カウンタpもゼロにリセットする(ST72)。その後、プロセサ101では、高画質化のためのデータD(高画質化データ222に対応)が生成され(ST74)、生成されたデータDがリングバッファparam1[i]に格納される(ST76)。ここで、リングバッファparam1[i]のサイズMよりカウンタpが小さければ(ST78イエス)、カウンタpは1カウント分インクリメントされる(ST80)。カウンタpの値がサイズM以上のときは(ST78ノー)、ST80はスキップされる。
First, the pointer i of the ring buffer param1 [i] is reset to zero (ST70), and the counter p is also reset to zero (ST72). Thereafter, the
続いて、param1[i]をサイズMのリングバッファとみなして、ポインタi(始めはi=0)から、n*v個分の高画質化データの値の平均値を算出する(ST82)。ここで、p<n*vの場合は、p個の平均値を算出する。 Subsequently, param1 [i] is regarded as a ring buffer of size M, and an average value of n * v image quality enhancement data values is calculated from the pointer i (initially i = 0) (ST82). Here, when p <n * v, p average values are calculated.
高画質化データ値の平均値算出が済んだら、ポインタiが1つインクリメントされる(ST84)。インクリメントした結果iがM以上になったら(ST86イエス)、リングバッファparam1[i]のポインタiをゼロにリセットする(ST88)。i<Mの間は(ST86ノー)、ポインタiのゼロリセットはしない。 When the average value of the high quality data values has been calculated, the pointer i is incremented by one (ST84). When the increment result i becomes M or more (YES in ST86), the pointer i of the ring buffer param1 [i] is reset to zero (ST88). While i <M (NO in ST86), the pointer i is not reset to zero.
続いてストリームに変更があったか否かがチェックされる。具体的には、動画データ220にシーン変化があったか否かがチェックされる。シーン変化がなければ(ST90ノー)、ST74に戻り、次の高画質化のためのデータDが生成される。シーン変化があったときは(ST90イエス)、ST70に戻り、図7の処理が始めから実行される。
It is then checked whether the stream has changed. Specifically, it is checked whether or not there is a scene change in the moving
図7の処理では、早送り(FF)あるいは早戻し(REW)などの特殊再生において、入力動画データ220が実時間のv倍の速度で投入される場合には、平滑化を行うフレーム数を、通常再生の場合のv倍にすることで対応している。
In the processing of FIG. 7, in the special reproduction such as fast forward (FF) or fast reverse (REW), when the input moving
なお、再生速度が非常に大きくなると、画像内容の視認性が低下して高画質化処理自体が意味を持たなくなる。そこで、上記v倍の速度に適切な閾値を設け、高速再生時には高画質化処理自体を停止するように構成することも可能である。例えば、vの閾値を3とし、3倍速以下では高画質化処理を行うが、3倍速より速い場合では高画質化処理をしない(入力動画データを加工せずにそのまま表示に用いる)ように構成できる。 Note that if the playback speed becomes very high, the visibility of the image content decreases, and the image quality improvement processing itself becomes meaningless. In view of this, it is possible to provide an appropriate threshold value for the v times speed and to stop the high image quality processing itself during high-speed playback. For example, the threshold value of v is set to 3, and the image quality improvement processing is performed at 3 × speed or lower, but the image quality improvement processing is not performed when it is faster than 3 × speed (the input moving image data is used for display without being processed). it can.
<実施の形態の効果>
(1)全般的な効果
プロセサ101からプロセサ102へ送られる画像データおよび制御データ(画像データの高画質化に関するデータ)の到着時刻に差が生じても、その差を吸収して、適切な高画質化処理の制御を行うことができる。
<Effect of Embodiment>
(1) General effects Even if a difference occurs in the arrival time of image data and control data (data related to image quality enhancement of image data) sent from the
(2)図2の構成の効果
高画質化データ222と画像データ221がプロセサ101からプロセサ102へ到達するまでの遅延時間の差(タイミングずれ)を解消し、高画質化処理対象の画像フレームと高画質化のためのデータが同期して処理を行うようにすることができる。
(2) Effect of Configuration in FIG. 2 A difference (timing difference) in delay time until the image
(3)図3の構成の効果
高画質化データ222を平滑化することにより得た高画質化データ321は、平滑化(平均化)が有効な範囲では急峻な変化をすることがなくなる。そのため、高画質化制御時に、フレーム毎の高画質化データの急峻な変化による高画質化処理の悪影響(一時的な画質劣化)を排除することができる。
(3) Effect of Configuration in FIG. 3 The high
(4)図4の構成の効果
高画質化データ421と画像データ425の到達の遅延時間が特定できない場合でも、高画質化データと画像データのフレームを同期して高画質化処理を行うことができる。
(4) Effect of Configuration in FIG. 4 Even when the delay time of arrival of the
<実施の形態のまとめ>
この発明の一実施の形態に係る映像装置では、複数のプロセサ間で、画像データおよび高画質に関するデータが論理的に異なる通信路(通信路1、通信路2)を介して送信される。その場合、
1.予め特定された到着時刻の差(図6の例ではST62のLフレームに対応)を利用して、高画質に関するデータを適用するフレームを決定する(図2参照)。あるいは、
2.高画質化に関するデータを複数のフレームに渡って平均化(平滑化)して求めることで、フレーム毎の画像変化による高画質化処理の結果の変動を吸収する(図3参照)。もしくは、
3.高画質化に関するデータと同期したカウントデータを、(画像データの表示にカウントデータが影響しないように)電子透かしなどを用いて画像データに重畳し、このカウントデータを利用して、画像データとこの画像データ用の高画質化データが対応するように両データの同期を取る(図4参照)。
<Summary of Embodiment>
In the video apparatus according to the embodiment of the present invention, image data and data relating to high image quality are transmitted between a plurality of processors via logically different communication paths (
1. A frame to which data relating to high image quality is applied is determined using the difference in arrival times specified in advance (corresponding to the L frame of ST62 in the example of FIG. 6) (see FIG. 2). Or
2. By calculating (smoothing) data relating to high image quality over a plurality of frames, fluctuations in the result of high image quality processing due to image changes for each frame are absorbed (see FIG. 3). Or
3. The count data synchronized with the data related to high image quality is superimposed on the image data using a digital watermark or the like (so that the count data does not affect the display of the image data). Both data are synchronized so that the high-quality data for image data corresponds (see FIG. 4).
なお、この発明は前述した実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。 In addition, this invention is not limited to embodiment mentioned above, In the implementation stage, it can change variously in the range which does not deviate from the summary. In addition, the embodiments may be appropriately combined as much as possible, and in that case, the combined effect can be obtained. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the column of the effect of the invention Can be obtained as an invention.
100…複数のプロセサを利用する映像装置、10…ソース機器、20…シンク機器、101…第1プロセサ(第1の高画質化処理プロセサ)、102…第2プロセサ(第2の高画質化処理プロセサ)、103…通信路1、104…通信路2、211…圧縮符号化データのデコーダ、212…第1のノイズ除去モジュール、213…第1の鮮鋭化モジュール、214…第2のノイズ除去モジュール、215…第2の鮮鋭化モジュール、216…制御ソフトウェア(制御モジュール)、217…遅延差データを記憶するメモリ、317…平滑化モジュール(平均化モジュール)、416…データ追加モジュール(カウント値付加モジュール)、422…カウンタ、418…電子透かし重畳モジュール、419…電子透かし復号モジュール、B1…画像データを記憶する第1バッファ、B2…制御データ(高画質化に関するデータ)を記憶する第2バッファ。
DESCRIPTION OF
Claims (9)
前記ソース機器から前記シンク機器へ時間的遅延を伴って前記画像データが届くタイミングと、前記ソース機器から前記シンク機器へ時間的遅延を伴って前記制御データが届くタイミングの間にずれが生じる場合に、先に届く方のタイミングと後に届く方のタイミングを合わせ、タイミングを合わせた前記制御データに基づき前記画像データを画像処理するように構成された制御モジュール、または、
複数フレームの前記画像データに対応する複数の前記制御データを平均化し、この平均化した制御データに基づき、この平均化した制御データが得られた際に届いている前記画像データを画像処理するように構成された制御モジュールを具備する映像装置。 A video device including a sink device that separately receives image data and control data related to the image data from a source device via different paths and performs image processing on the received image data based on the received control data. And
When there is a difference between the timing at which the image data arrives from the source device to the sink device with a time delay and the timing at which the control data arrives from the source device to the sink device with a time delay A control module configured to perform image processing on the image data based on the control data in which the timing of the earlier arrival and the later arrival timing are matched, or
A plurality of the control data corresponding to the image data of a plurality of frames are averaged, and the image data received when the averaged control data is obtained is subjected to image processing based on the averaged control data A video apparatus comprising a control module configured as described above.
時間的遅延を伴って前記画像データが前記第1バッファに記憶されるタイミングと、時間的遅延を伴って前記制御データが前記第2バッファに記憶されるタイミングの間にずれが生じる場合に、先に記憶した方の読み出しタイミングが後に記憶した方の読み出しタイミングと合うように、前記第1バッファおよび前記第2バッファが制御される請求項1に記載の映像装置。 The sink device has a first buffer for storing the image data sent via one of the different paths, and a second buffer for storing the control data sent via the other one of the different paths. Including
When a deviation occurs between the timing at which the image data is stored in the first buffer with a time delay and the timing at which the control data is stored in the second buffer with a time delay, The video apparatus according to claim 1, wherein the first buffer and the second buffer are controlled so that a read timing stored in the second buffer matches a read timing stored later.
前記ソース機器から前記シンク機器へ時間的遅延を伴って前記画像データが届くタイミングと、前記ソース機器から前記シンク機器へ時間的遅延を伴って前記制御データが届くタイミングの間にずれが生じる場合に、先に届く方のタイミングと後に届く方のタイミングを合わせ、タイミングを合わせた前記制御データに基づき前記画像データを画像処理し、または、
複数フレームの前記画像データに対応する複数の前記制御データを平均化し、この平均化した制御データに基づき、この平均化した制御データが得られた際に届いている前記画像データを画像処理する画像処理方法。 In a method using a sink device that separately receives image data and control data related to the image data from a source device via different paths, and performs image processing on the received image data based on the received control data,
When there is a difference between the timing at which the image data arrives from the source device to the sink device with a time delay and the timing at which the control data arrives from the source device to the sink device with a time delay , Match the timing of the one that arrives first and the timing of the one that arrives later, image-process the image data based on the control data that matches the timing, or
An image that averages a plurality of the control data corresponding to the image data of a plurality of frames and performs image processing on the image data that arrives when the averaged control data is obtained based on the averaged control data Processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009230716A JP5178680B2 (en) | 2009-10-02 | 2009-10-02 | Video apparatus and image processing method using a plurality of processors |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009230716A JP5178680B2 (en) | 2009-10-02 | 2009-10-02 | Video apparatus and image processing method using a plurality of processors |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011082610A true JP2011082610A (en) | 2011-04-21 |
JP5178680B2 JP5178680B2 (en) | 2013-04-10 |
Family
ID=44076253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009230716A Expired - Fee Related JP5178680B2 (en) | 2009-10-02 | 2009-10-02 | Video apparatus and image processing method using a plurality of processors |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5178680B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116737097A (en) * | 2022-09-30 | 2023-09-12 | 荣耀终端有限公司 | Screen projection image processing method and electronic equipment |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000069000A (en) * | 1999-04-19 | 2000-03-03 | Hitachi Telecom Technol Ltd | Communication system using isdn line |
JP2001045448A (en) * | 1999-07-30 | 2001-02-16 | Nec Corp | Video data synchronization system for digital tv broadcast |
JP2006020147A (en) * | 2004-07-02 | 2006-01-19 | Sony Corp | Information processing apparatus and method, record medium, and program |
JP2006031481A (en) * | 2004-07-16 | 2006-02-02 | Sony Corp | Information processing system, information processing method, and computer program |
JP2007274679A (en) * | 2006-03-09 | 2007-10-18 | Sony Corp | Frame rate conversion system, frame rate conversion method, transmitter, receiver equipment |
WO2009095732A1 (en) * | 2008-01-31 | 2009-08-06 | Thomson Licensing | Method and system for look data definition and transmission over a high definition multimedia interface |
-
2009
- 2009-10-02 JP JP2009230716A patent/JP5178680B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000069000A (en) * | 1999-04-19 | 2000-03-03 | Hitachi Telecom Technol Ltd | Communication system using isdn line |
JP2001045448A (en) * | 1999-07-30 | 2001-02-16 | Nec Corp | Video data synchronization system for digital tv broadcast |
JP2006020147A (en) * | 2004-07-02 | 2006-01-19 | Sony Corp | Information processing apparatus and method, record medium, and program |
JP2006031481A (en) * | 2004-07-16 | 2006-02-02 | Sony Corp | Information processing system, information processing method, and computer program |
JP2007274679A (en) * | 2006-03-09 | 2007-10-18 | Sony Corp | Frame rate conversion system, frame rate conversion method, transmitter, receiver equipment |
WO2009095732A1 (en) * | 2008-01-31 | 2009-08-06 | Thomson Licensing | Method and system for look data definition and transmission over a high definition multimedia interface |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116737097A (en) * | 2022-09-30 | 2023-09-12 | 荣耀终端有限公司 | Screen projection image processing method and electronic equipment |
Also Published As
Publication number | Publication date |
---|---|
JP5178680B2 (en) | 2013-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI397823B (en) | Method, apparatus, network and system for generating and facilitating mobile high-definition multimedia interface | |
JP5179508B2 (en) | Data stream reproducing method and data stream reproducing apparatus for distributing and switching contents between data streams | |
US8620134B2 (en) | Video and audio reproducing apparatus and video and audio reproducing method for reproducing video images and sound based on video and audio streams | |
EP1956848A2 (en) | Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method | |
JP6184408B2 (en) | Receiving apparatus and receiving method thereof | |
KR19990001778A (en) | Caption data processing circuit and method | |
TW201720171A (en) | Method for fast channel change and corresponding device | |
JP5178680B2 (en) | Video apparatus and image processing method using a plurality of processors | |
US10694240B2 (en) | Method for decoding an audio/video stream and corresponding device | |
JP4104577B2 (en) | Image transmission apparatus, image transmission method, transmission system, and video surveillance system | |
JP2004350292A (en) | Asynchronous transmission stream receiver of digital broadcast receiving system employing dvb-asi mode and method for transmitting asynchronous transport stream thereof | |
WO2014115295A1 (en) | Video display device and video display method | |
JP4850041B2 (en) | Video playback system, video playback synchronization method, and video playback terminal | |
WO2010146780A1 (en) | Playback device and content playback method | |
US20060132504A1 (en) | Content combining apparatus and method | |
JP2006191538A (en) | Compressed stream decoding instrument and compressed stream decoding method | |
JP2009212588A (en) | Descrambling apparatus | |
JP2010213362A (en) | Method and system for memory management of vertical format converter | |
KR100348263B1 (en) | apparatus for digital interface | |
KR101634558B1 (en) | Method and apparatus for playing multi-angle video | |
JP2006019997A (en) | Moving picture data transfer system | |
US20170171598A1 (en) | Broadcast receiving apparatus and controlling method thereof | |
WO2017038480A1 (en) | Content processing device, content processing method, and program | |
JP2007096404A (en) | Video reproducing apparatus | |
JP2010166337A (en) | Communication equipment, method for controlling communication equipment, control program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120605 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130108 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160118 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |