JP2012253453A - 電子機器及び画像処理方法 - Google Patents
電子機器及び画像処理方法 Download PDFInfo
- Publication number
- JP2012253453A JP2012253453A JP2011122671A JP2011122671A JP2012253453A JP 2012253453 A JP2012253453 A JP 2012253453A JP 2011122671 A JP2011122671 A JP 2011122671A JP 2011122671 A JP2011122671 A JP 2011122671A JP 2012253453 A JP2012253453 A JP 2012253453A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- pixel
- processing target
- pixel block
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 5
- 239000013598 vector Substances 0.000 claims abstract description 173
- 230000009467 reduction Effects 0.000 claims abstract description 29
- 238000002156 mixing Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 104
- 238000011156 evaluation Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000011946 reduction process Methods 0.000 description 4
- 239000000872 buffer Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 206010044048 Tooth missing Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 208000008312 Tooth Loss Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0247—Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/106—Determination of movement vectors or equivalent parameters within the image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
【課題】動物体を含む動画像が再生される際に生じるフリッカを低減できる電子機器及び画像処理方法を提供すること。
【解決手段】実施形態によれば、電子機器は、動き探索手段、フリッカ低減手段及び表示制御手段を具備する。動き探索手段は、動画像データ内の処理対象のフレームに含まれる複数の画素ブロックに対応する複数の動きベクトルを含む第1ベクトル群を決定し、前記決定された第1ベクトル群を用いて、前記処理対象のフレームに含まれる複数の画素に対応する、前記処理対象のフレームの一つ前のフレームに含まれる複数の画素を決定する。フリッカ低減手段は、前記処理対象のフレームに含まれる画素と、当該画素に対応する、前記一つ前のフレームに含まれる画素とをブレンディングして前記処理対象のフレームが再生される際に生じるフリッカを低減する。表示制御手段は、前記処理対象のフレームを画面に表示するように制御する。
【選択図】図3
【解決手段】実施形態によれば、電子機器は、動き探索手段、フリッカ低減手段及び表示制御手段を具備する。動き探索手段は、動画像データ内の処理対象のフレームに含まれる複数の画素ブロックに対応する複数の動きベクトルを含む第1ベクトル群を決定し、前記決定された第1ベクトル群を用いて、前記処理対象のフレームに含まれる複数の画素に対応する、前記処理対象のフレームの一つ前のフレームに含まれる複数の画素を決定する。フリッカ低減手段は、前記処理対象のフレームに含まれる画素と、当該画素に対応する、前記一つ前のフレームに含まれる画素とをブレンディングして前記処理対象のフレームが再生される際に生じるフリッカを低減する。表示制御手段は、前記処理対象のフレームを画面に表示するように制御する。
【選択図】図3
Description
本発明の実施形態は、動画像データを再生する電子機器及び該機器に適用される画像処理方法に関する。
動画像データが再生されるとき、画面に表示される動画像にフリッカが生じることがある。フリッカは、動画像が再生される際に生じる時間軸方向のちらつき(ノイズ)である。このフリッカを低減するために、例えば、処理対象のフレーム内の画素と、当該画素と同じ位置にある一つ前のフレーム内の画素とを用いて、画素値をブレンディングする方法が用いられている。このブレンディングによって、フレーム間での画素値の変化が小さくなるので、動画像が再生される際に生じるフリッカを低減することができる。
また、時間軸方向の変化が小さい領域(静止領域)と大きい領域(非静止領域)とに対して上述のようなブレンディングを施した場合、静止領域ではフリッカを低減できる一方、非静止領域では画像がぼけたように見える可能性がある。すなわち、非静止領域に含まれる画素にブレンディングが施された際には、フリッカではないフレーム間の画素値の変化が小さく変更されてしまう可能性がある。そのため、フレーム内の静止領域を検出し、検出された静止領域に含まれる画素にのみブレンディングを施す方法も提案されている。
しかし、この静止領域に含まれる画素にのみブレンディングを施す方法では、動物体を含む非静止領域に生じたフリッカを低減することは困難である。
また、処理対象のフレーム内の画素が動物体に含まれる画素である場合、当該画素と、同じ位置にある一つ前のフレーム内の画素とは対応していない可能性がある。つまり、動物体に含まれる画素では、フレーム間でその位置が移動していることがある。そのため、処理対象のフレーム内の画素と、当該画素と同じ位置にある一つ前のフレーム内の画素とを用いて画素値をブレンディングする方法では、対応しない画素同士がブレンディングされることにより、ユーザが、表示される画像に違和感を覚える可能性がある。
本発明は、動物体を含む動画像が再生される際に生じるフリッカを低減できる電子機器及び画像処理方法を提供することを目的とする。
実施形態によれば、電子機器は、動き探索手段、フリッカ低減手段及び表示制御手段を具備する。動き探索手段は、動画像データ内の処理対象のフレームに含まれる複数の画素ブロックに対応する複数の動きベクトルを含む第1ベクトル群を決定し、前記決定された第1ベクトル群を用いて、前記処理対象のフレームに含まれる複数の画素に対応する、前記処理対象のフレームの一つ前のフレームに含まれる複数の画素を決定する。フリッカ低減手段は、前記処理対象のフレームに含まれる画素と、当該画素に対応する、前記一つ前のフレームに含まれる画素とをブレンディングすることによって、前記処理対象のフレームが再生される際に生じるフリッカを低減する。表示制御手段は、前記ブレンディングされた画素を含む処理対象のフレームを画面に表示するように制御する。
以下、実施の形態について図面を参照して説明する。
図1は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばタブレットタイプのパーソナルコンピュータ(PC)10として実現される。また、この電子機器は、スマートフォン、PDA、ノートブックタイプのPC、テレビジョン受信機等としても実現され得る。図1に示すように、本コンピュータ10は、コンピュータ本体11とタッチスクリーンディスプレイ17とから構成される。
図1は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばタブレットタイプのパーソナルコンピュータ(PC)10として実現される。また、この電子機器は、スマートフォン、PDA、ノートブックタイプのPC、テレビジョン受信機等としても実現され得る。図1に示すように、本コンピュータ10は、コンピュータ本体11とタッチスクリーンディスプレイ17とから構成される。
コンピュータ本体11は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ17には、LCD(liquid crystal display)17A及びタッチパネル17Bが組み込まれている。タッチパネル17Bは、LCD17Aの画面を覆うように設けられる。タッチスクリーンディスプレイ17は、コンピュータ本体11の上面に重ね合わせるように取り付けられている。
コンピュータ本体11の上側面には、本コンピュータ10を電源オン/電源オフするためのパワーボタン、音量調節ボタン、メモリカードスロット等が配置されている。コンピュータ本体11の下側面には、スピーカ等が配置されている。コンピュータ本体の右側面には、例えばUSB(universal serial bus)2.0規格のUSBケーブルやUSBデバイスを接続するためのUSBコネクタ13、HDMI(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子1等が設けられている。この外部ディスプレイ接続端子1は、デジタル映像信号を外部ディスプレイに出力するために用いられる。
図2は、本コンピュータ10のシステム構成を示す図である。
本コンピュータ10は、図2に示されるように、CPU101、主メモリ103、I/Oコントローラ104、グラフィクスコントローラ105、サウンドコントローラ106、BIOS−ROM107、LANコントローラ108、ソリッドステートドライブ(SSD)109、Bluetooth(登録商標)モジュール110、無線LANコントローラ112、エンベデッドコントローラ(EC)113、EEPROM114、HDMI制御回路2等を備える。
本コンピュータ10は、図2に示されるように、CPU101、主メモリ103、I/Oコントローラ104、グラフィクスコントローラ105、サウンドコントローラ106、BIOS−ROM107、LANコントローラ108、ソリッドステートドライブ(SSD)109、Bluetooth(登録商標)モジュール110、無線LANコントローラ112、エンベデッドコントローラ(EC)113、EEPROM114、HDMI制御回路2等を備える。
CPU101は、本コンピュータ10内の各部の動作を制御するプロセッサである。CPU101は、SSD109から主メモリ103にロードされる、オペレーティングシステム(OS)201、動画像再生プログラム202、各種アプリケーションプログラム等を実行する。動画像再生プログラム202は、動画像データを再生することによって動画像をディスプレイ17に表示する動画像再生機能を有する。動画像再生プログラム202は、例えばユーザによる操作に応じて、指定された動画像データを再生する。動画像データは、例えばSSD109のような記憶装置に格納されたデータである。動画像データは、ネットワークを介して受信されたデータであってもよい。また、動画像データは、USBフラッシュメモリやSDカードのような外部記憶メディアに格納されたデータであってもよい。動画像再生プログラム202は、符号化(圧縮符号化)された動画像データを復号することによって動画像データを再生する。
動画像再生プログラム202は、さらに、再生される動画像に生じるフリッカを低減(補正)するフリッカ低減機能を有する。動画像再生プログラム202は、例えば、処理対象の画像フレームに含まれる画素と、当該画素に対応する、処理対象の画像フレームの一つ前のフレーム(以下、一つ前のフレームとも称する)に含まれる画素とを、所定の重み係数を用いて加算し、この加算された値を第1画素に設定することによって、処理対象の画像フレームに生じるフリッカを低減する。
タブレットタイプのコンピュータ10では、一般に、通常のノートブックタイプやデスクトップタイプのコンピュータよりも、ユーザとディスプレイ17との間の距離(視聴距離)が短く、またユーザがディスプレイ17を見る角度が変動しやすい。さらに、タブレットタイプのコンピュータ10では、ディスプレイ17に用いられる液晶の応答速度が遅いことがある。そのため、フリッカのようなノイズが、ユーザによる動画像の観賞等に影響を与えやすい。動画像再生プログラム202は、タブレットタイプのコンピュータ10のようにフリッカ等のノイズの影響を受けやすい構成においても、ユーザが快適に観賞できる動画像を表示する。
また、動画像再生プログラム202では、複数のフレームを用いた演算や、フレーム内の多数の画素を用いた演算を要するため、演算量が大きくなる可能性がある。このような演算は、例えば、1画素毎の演算ではなく、複数の画素(例えば、8画素)の演算を同時に実行できるような並列演算のための命令(コマンド)を用いることによって実現される。そのため、コンピュータ10には、並列演算のためのコマンド群が格納されていてもよい。
また、CPU101は、BIOS−ROM107に格納されたBIOSも実行する。BIOSは、ハードウェア制御のためのプログラムである。CPU101には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、CPU101は、PCI EXPRESS規格のシリアルバスなどを介してグラフィクスコントローラ105との通信を実行する機能も有している。
グラフィクスコントローラ105は、本コンピュータ10のディスプレイモニタとして使用されるLCD17Aを制御する表示コントローラである。このグラフィクスコントローラ105によって生成される表示信号はLCD17Aに送られる。LCD17Aは、表示信号に基づいて映像を表示する。
HDMI端子1は、前述の外部ディスプレイ接続端子である。HDMI端子1は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを1本のケーブルでテレビのような外部ディスプレイ装置に送出することができる。HDMI制御回路2は、HDMIモニタと称される外部ディスプレイ装置にデジタル映像信号をHDMI端子1を介して送出するためのインタフェースである。
I/Oコントローラ104は、CPU101に接続され、PCI(Peripheral Component Interconnect)バス上の各デバイス及びLPC(Low Pin Count)バス上の各デバイスを制御する。また、I/Oコントローラ104は、SSD109を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。
I/Oコントローラ104は、タッチパネル17Bを制御するためのUSBコントローラを内蔵している。タッチパネル17Bは、LCD17Aの画面上で入力を行うためのポインティングデバイスである。ユーザは、タッチパネル17Bを用いて、LCD17Aの画面に表示されたグラフィカルユーザインタフェース(GUI)等を操作することができる。例えば、ユーザは、画面に表示されたボタンをタッチすることによって、当該ボタンに対応する機能の実行を指示することができる。また、このUSBコントローラは、例えば、USBコネクタ13に接続されたUSB2.0規格のケーブルを介して外部機器との通信を実行する。
さらに、I/Oコントローラ104は、サウンドコントローラ106との通信を実行する機能も有している。サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18Bに出力する。LANコントローラ108は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスである。無線LANコントローラ112は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。Bluetoothモジュール110は、外部機器とのBluetooth通信を実行する通信モジュールである。
EC113は、電力管理のためのエンベデッドコントローラを含む1チップマイクロコンピュータである。EC113は、ユーザによるパワーボタンの操作に応じて本コンピュータ10を電源オン/電源オフする機能を有している。
次いで、図3を参照して、動画像再生プログラム202の一機能構成を説明する。動画像再生プログラム202は、上述のように、動画像データを再生する動画像再生機能と、再生される動画像に生じるフリッカを低減するためのフリッカ低減機能とを有する。
フリッカ低減機能では、例えば、入力画像フレーム(処理対象のフレームとも称する)と参照画像フレーム(処理対象のフレームの一つ前のフレームとも称する)との間で画素値をブレンディングすることによって、フリッカが低減される。入力画像フレーム内の画素Xと当該画素に対応する参照画像フレーム内の画素Yとは、例えば、重み係数Wを用いてブレンディングされる。また、この重み係数は、例えば、一次関数や非線形関数に基づいて算出される。したがって例えば、次式により、ブレンディングによって新たに設定される画素XBが算出される。
XB=WX−(1−W)Y
なお、重み係数Wは、例えば、入力画像フレームと参照画像フレームとの差分(例えば、|X−Y|)に応じて変更される必要がある。これは、フレーム間の差分が大きい領域では、画素値のブレンディングによって、エッジがぼけたり、動物体の近傍で残像のような誤差伝搬が発生するためである。フレーム間の差分に基づいて重み係数を変更することにより、フリッカが低減され、且つエッジ部の画素がぼけないように、入力画像フレームの画質を調整することができる。
XB=WX−(1−W)Y
なお、重み係数Wは、例えば、入力画像フレームと参照画像フレームとの差分(例えば、|X−Y|)に応じて変更される必要がある。これは、フレーム間の差分が大きい領域では、画素値のブレンディングによって、エッジがぼけたり、動物体の近傍で残像のような誤差伝搬が発生するためである。フレーム間の差分に基づいて重み係数を変更することにより、フリッカが低減され、且つエッジ部の画素がぼけないように、入力画像フレームの画質を調整することができる。
しかし、参照画像フレームと入力画像フレームとの間の変化(差分信号)は、フリッカだけでなく、動画像に捉えられた動物体によっても生じる。したがって、参照画像フレームに対する入力画像フレームの変化が、フリッカと動物体のいずれによって生じているかを差分信号に基づいて判断することは困難である。また、静止物体(背景等を含む)では、参照画像フレーム上でのその静止物体の位置と入力画像フレーム上での該静止物体の位置とが同じである可能性が高い。しかし、動物体では、例えば参照画像フレームから入力画像フレームまでの間に移動しているので、参照画像フレーム上での動物体の位置と入力画像フレーム上での該動物体の位置とが異なる可能性がある。そのため、参照画像フレームと入力画像フレームとで同じ位置にある画素をブレンディングした場合、例えば、背景の画素と動物体上の画素とがブレンディングされるので、画像に生じているフリッカを適切に低減することができない。また、このブレンディングによって生じた誤差が後続するフレームに伝搬するので(すなわち、ブレンディングが施された画素を含むフレームが、後続するフレームのフリッカ低減処理に用いられるので)、後続するフレームにおいてもフリッカが適切に低減された画像を表示することができなくなる可能性がある。
そのため、動画像再生プログラム202は、処理対象のフレームに対して、処理対象のフレームと一つ前のフレームとの間での動きを考慮したフリッカ低減処理を施す。より具体的には、処理対象のフレームに対応する動きベクトルを決定し、決定された動きベクトルに基づいて、処理対象のフレーム内の第1画素と、この第1画素に対応する一つ前のフレーム内の第2画素とを決定する。そして、これら第1画素と第2画素とをブレンディングすることによって、処理対象のフレームに生じるフリッカを低減する。
動画像再生プログラム202は、動画像復号部31、フレーム遅延部32、動き探索部34、動きベクトル割り当て部35、フリッカ低減部36、及び表示制御部37を備える。
動画像復号部31は、動画像データを復号することによって、復号された動画像データを生成する。動画像データは、例えば圧縮符号化されたデータである。動画像復号部31は、ユーザによって動画像データの再生が指示されたこと、ネットワークを介して動画像データを受信したこと、動画像データを含むUSBフラッシュメモリ、SDカード等の記憶メディアを検出したこと等に応じて、該動画像データを復号する。
復号された動画像データは、複数の画像フレーム(以下、フレームとも云う)を含む。動画像復号部31は、複数の画像フレームを、先頭のフレームから順に1フレームずつ、処理対象のフレームTに設定する。そして、動画像復号部31は、設定された処理対象のフレームTをフレーム遅延部32及び動き探索部34に出力する。
フレーム遅延部32は、処理対象のフレームTをフレームバッファ33に格納(バッファリング)しておくことによって、処理対象の一つ前のフレーム(T−1)を動き探索部34に出力する。
動き探索部34は、フレーム遅延部32によって出力された一つ前のフレーム(T−1)と、動画像復号部31によって出力された処理対象のフレームTとを用いて、一つ前のフレーム(T−1)と処理対象のフレームTとの間の中間フレーム(T−0.5)の画素ブロック毎の動きベクトルを算出する。動き探索部34は、例えば、中間フレーム(T−0.5)と処理対象のフレームTとの間の動きを推定することによって、中間フレーム(T−0.5)の画素ブロック毎の動きベクトルを算出する。画素ブロックは、例えば4×4画素のブロックである。また、中間フレーム(T−0.5)の画素ブロック毎の動きベクトルには、補間フレームを生成するためのフレーム補間処理によって既に算出された動きベクトルを利用してもよい。動き探索部34は、算出された中間フレーム(T−0.5)の画素ブロック毎の動きベクトルを、動き割り当て部35に出力する。また、動き探索部34は、算出された中間フレーム(T−0.5)の画素ブロック毎の動きベクトルを示す情報、処理対象のフレームTを示す情報、一つ前のフレーム(T−1)を示す情報等を、画像情報記憶部38に格納する。画像情報記憶部38は、動画像データが再生される際に用いられる各種の情報を格納するための記憶領域である。
動きベクトル割り当て部35は、動き探索部34によって出力された、中間フレーム(T−0.5)の画素ブロック毎の動きベクトルを用いて、処理対象のフレームT内の複数の画素ブロックに割り当てられる複数の動きベクトルを決定する。そして、動きベクトル割り当て部35は、決定された動きベクトルに基づいて、処理対象のフレームT内の複数の画素ブロックと、それら複数の画素ブロックそれぞれに対応する、一つ前のフレーム(T−1)内の画素ブロックとを決定する。
中間フレーム(T−0.5)の画素ブロック毎の動きベクトルを用いて、処理対象のフレームT内の複数の画素ブロックに割り当てられる複数の動きベクトルを探索する方法には、例えば、シンメトリックサーチが考えられる。図4は、シンメトリックサーチによって、処理対象の画素ブロックの動きを探索する例を示す。シンメトリックサーチでは、処理対象のフレーム43と一つ前のフレーム41との間の中間フレーム42を中心に動きが探索される。図4に示す例では、中間フレーム42の画素ブロック毎の動きベクトルが決定されていることを想定する。なお、中間フレーム42の画素ブロック毎の動きベクトルは、中間フレーム42から処理対象のフレーム43への動きを示すベクトルである。
例えば、中間フレーム42内の画素ブロック421に注目する場合、この画素ブロック421に対応する動きベクトル42A(mv)に基づいて、画素ブロック421に対応する、処理対象のフレーム43内の画素ブロック432が検出される。画素ブロック432は、画素ブロック421を動きベクトル42Aに従って移動させた領域に対応するブロックである。また、動きベクトル42Aに対称(すなわち、シンメトリック)な動きベクトル41A(−mv)に基づいて、画素ブロック421に対応する、一つ前のフレーム41内の画素ブロック412が検出される。画素ブロック412は、画素ブロック421を動きベクトル41Aに従って移動させた領域に対応するブロックである。これらのことに基づいて、シンメトリックサーチでは、処理対象のフレーム43内の画素ブロック432と一つ前のフレーム内の画素ブロック412とが対応することを決定する。
しかし、シンメトリックサーチでは中間フレーム42を中心に動きが探索されるので、処理対象フレーム43内の画素には、中間フレーム42内の画素ブロックが動きベクトルに基づいて移動する領域に含まれない画素が存在する可能性がある。つまり、処理対象フレーム43内の画素に対応する、中間フレーム42内の画素が決定されない可能性がある。また同様に、一つ前のフレーム41内の画素に対応する、中間フレーム42内の画素が決定されない可能性がある。そしてその場合には、処理対象フレーム43内の画素と一つ前のフレーム41内の画素との対応を決定することができない。つまり、処理対象フレーム43内に、一つ前のフレーム41内の画素との対応が取れていない歯抜け領域(動き情報を参照できない領域)が存在してしまう。
そのため、シンメトリックサーチでは、例えば、この歯抜け領域に含まれる画素に対応する動きベクトルとして零ベクトルを用いることにより、当該画素に対応する、一つ前のフレーム41内の画素を決定する。すなわち、歯抜け領域に含まれる画素については、処理対象のフレーム43内と一つ前のフレーム41内とで同じ位置にある画素同士を対応付ける。また、例えば、歯抜け領域に含まれる画素に対応する動きベクトルとして、当該画素の近傍にある画素に対応する動きベクトルを用いることにより、当該画素に対応する、一つ前のフレーム41内の画素を決定する。しかし、このような方法で決定された画素では、処理対象のフレーム43と一つ前のフレーム41との間の動きに基づかない画素同士が対応付けられている可能性があるので、そのような画素を用いてフリッカ低減のためのブレンディングを行った場合には、処理対象のフレーム内に境界のような不連続な領域が生じる可能性がある。したがってユーザは、表示される動画像に違和感を覚える可能性がある。
そのため、本実施形態では、処理対象のフレームT内の複数の画素ブロックに対応する複数の動きベクトル(第1動きベクトル群)を、中間フレーム(T−0.5)内の複数の画素ブロックに対応する複数の動きベクトル(第2動きベクトル群)を用いて決定することによって、処理対象のフレームT内の複数の画素ブロックそれぞれに対応する、一つ前のフレーム(T−1)内の画素ブロックが決定される。
より具体的には、動きベクトル割り当て部35は、まず、処理対象のフレームTを所定のサイズの画素ブロックに分割する。画素ブロックは、上述のように、例えば4×4画素のブロックである。次に、動きベクトル割り当て部35は、処理対象のフレームT内の複数の画素ブロックの内、処理対象の画素ブロックを設定する。動きベクトル割り当て部35は、例えば、処理対象のフレームT内の左上端に設定された画素ブロックから順に、処理対象の画素ブロックに設定する。
次いで、動きベクトル割り当て部35は、中間フレーム(T−0.5)に設定された画素ブロックの内、処理対象の画素ブロックに対応する位置の画素ブロックと、その画素ブロックに隣接する画素ブロックとに注目する。例えば、動きベクトル割り当て部35は、中間フレーム(T−0.5)に設定された画素ブロックの内、処理対象の画素ブロックに対応する位置の画素ブロックを中心とする3×3の画素ブロック(9つの画素ブロック)を、注目画素ブロックに設定する。そして、動きベクトル割り当て部35は、それら注目画素ブロックに対応する動きベクトルを候補動きベクトルに設定する。例えば、動きベクトル割り当て部35は、3×3の画素ブロックが注目画素ブロックに設定されている場合、その3×3の注目画素ブロックに対応する9つの動きベクトルを候補動きベクトルに設定する。
そして、動きベクトル割り当て部35は、中間フレーム(T−0.5)の画素ブロック毎の動きベクトルの内、処理対象の画素ブロックを最も参照する動きベクトルを選択する。具体的には、動きベクトル割り当て部35は、設定された複数の候補ベクトルそれぞれの評価値f(x)を次式により算出する。
なお、SrcT-0.5(i,j)は、1つの注目画素ブロックに含まれる複数の画素の内の、(i,j)で示される位置に対応する1つの画素を示す。SrcTは、処理対象の画素ブロックに含まれる全ての画素を示す。また、mvは、1つの注目画素ブロックに対応する動きベクトルを示し、mvxは動きベクトルmvの水平成分を示し、mvyは動きベクトルmvの垂直成分を示す。したがって、算出される評価値f(x)は、注目画素ブロックを動きベクトルmvに基づいて移動させた場合に、移動させた注目画素ブロックの画素SrcT-0.5(i+mvx, j+mvy)と処理対象の画素ブロックの画素SrcTとが重なり合う領域の大きさを示す。この大きさは、例えば画素数で表される。なお、動きベクトル割り当て部35は、算出された評価値f(x)に重み付けして算出してもよい。例えば、動きベクトル割り当て部35は、算出された評価値f(x)に、処理対象の画素ブロックに近い位置にある注目画素ブロックほど大きな重みをかけて、その値を評価値f(x)として用いる。
次いで、動きベクトル割り当て部35は、次式に示すように、処理対象の画素ブロックの動きベクトルMVに、候補ベクトルの内、評価値f(x)が最大である動きベクトルを設定する。
MV=max f(x)
そして、動きベクトル割り当て部35は、決定された処理対象の画素ブロックの動きベクトルに基づいて、処理対象の画素ブロックに対応する、一つ前のフレーム(T−1)内の画素ブロックを決定する。つまり、決定された動きベクトルに基づいて示される位置にある画素ブロックを、処理対象の画素ブロックに対応する、一つ前のフレーム(T−1)内の画素ブロックに設定する。動きベクトルを用いることによってフレーム間での動きが考慮されるので、処理対象の画素ブロックが動物体に含まれる場合であっても、処理対象のフレームTに含まれる画素ブロックと一つ前のフレーム(T−1)に含まれる画素ブロックとを正しく対応付けることができる。
MV=max f(x)
そして、動きベクトル割り当て部35は、決定された処理対象の画素ブロックの動きベクトルに基づいて、処理対象の画素ブロックに対応する、一つ前のフレーム(T−1)内の画素ブロックを決定する。つまり、決定された動きベクトルに基づいて示される位置にある画素ブロックを、処理対象の画素ブロックに対応する、一つ前のフレーム(T−1)内の画素ブロックに設定する。動きベクトルを用いることによってフレーム間での動きが考慮されるので、処理対象の画素ブロックが動物体に含まれる場合であっても、処理対象のフレームTに含まれる画素ブロックと一つ前のフレーム(T−1)に含まれる画素ブロックとを正しく対応付けることができる。
動きベクトル割り当て部35は、上述の手順を繰り返すことによって、処理対象のフレームT内の複数の画素ブロックそれぞれに対応する、一つ前のフレーム(T−1)内の画素ブロックを決定する。動きベクトル割り当て部35は、処理対象のフレームT内の複数の画素ブロックと、それら複数の画素ブロックそれぞれに対応する、一つ前のフレーム(T−1)内の画素ブロックとを示す情報をフリッカ低減部36に出力する。また、動きベクトル割り当て部35は当該情報を画像情報記憶部38に格納する。なお、処理対象の画素ブロックの動きを探索する例については、図5から図7を参照して後述する。
フリッカ低減部36は、動きベクトル割り当て部35によって出力された、処理対象のフレームT内の複数の画素ブロックと、それら複数の画素ブロックそれぞれに対応する、一つ前のフレーム(T−1)内の画素ブロックとを示す情報を用いて、処理対象のフレームTが再生される際に生じるフリッカを低減する。フリッカ低減部36は、動きベクトル割り当て部35によって出力された情報を用いて、処理対象のフレームT内の画素ブロックに含まれる画素と、一つ前のフレーム(T−1)内の、対応する画素ブロックに含まれる画素とをブレンディングする。つまり、フリッカ低減部36は、動きベクトルに基づいて対応する画素同士をブレンディングする。
より具体的には、フリッカ低減部36は、処理対象のフレームTに設定された複数の画素ブロックの内、処理対象の画素ブロックを設定する。そして、フリッカ低減部36は、動きベクトル割り当て部35によって出力された情報に基づいて、一つ前の画像フレーム(T−1)内の対応する画素ブロックを決定する。
次いで、フリッカ低減部36は、処理対象の画素ブロック内の第1画素と、決定された画素ブロック内の対応する第2画素とをブレンディングした値を、第1画素に設定する。例えば、画素ブロックが4×4画素のブロックである場合、フリッカ低減部36は、処理対象の画素ブロック内の16個の画素と決定された画素ブロック内の16個の画素とを、位置が対応する画素同士でそれぞれブレンディングする。このブレンディングは、例えば、画素値の重み付き加算である。また、この重み付けに用いられる重み係数Wは、例えば、所定の値や、処理対象のフレームTと一つ前のフレーム(T−1)とのフレーム間差分に基づいて決定される値である。
フリッカ低減部36は、処理対象のフレームT内に設定された全ての画素ブロック(画素)に対してブレンディングを施す。このブレンディングにより、処理対象のフレームTが再生される際に生じるフリッカを低減することができる。フリッカ低減部36は、フリッカが低減された処理対象のフレームTを表示制御部37に出力する。
そして、表示制御部37は、フリッカ低減部36によって出力された処理対象のフレームを画面(LCD17A)に表示する。つまり、表示制御部37は、フリッカが低減された、処理対象の画像フレームを順次表示する。
そして、表示制御部37は、フリッカ低減部36によって出力された処理対象のフレームを画面(LCD17A)に表示する。つまり、表示制御部37は、フリッカが低減された、処理対象の画像フレームを順次表示する。
以上の構成により、動物体を含む動画像が再生される際に生じるフリッカを低減できる。動きベクトル割り当て部35は、中間フレーム(T−0.5)の画素ブロック毎の動きベクトルを用いて、処理対象のフレームTの画素ブロック毎の動きベクトルを決定する。そして、動きベクトル割り当て部35は、決定された動きベクトルを用いることによりフレーム間の動きが考慮された、処理対象のフレームT内の画素ブロックと、この画素ブロックに対応する、一つ前のフレーム(T−1)内の画素ブロックとを決定する。これにより、フリッカ低減部36は、フレーム間の動きが考慮された、対応する2つの画素ブロックを用いて、処理対象のフレームTが再生される際に生じるフリッカを低減できる。
図5から図7は、動きベクトル割り当て部35によって、処理対象の画素ブロック521に動きベクトルが割り当てられる例を示す。以下では、処理対象のフレーム52に含まれる複数の画素ブロックの内、画素ブロック521が処理対象の画素ブロックに設定されていることを想定する。動きベクトル割り当て部35は、中間フレーム51の画素ブロック毎の動きベクトルの内、処理対象の画素ブロック521に対応する位置近傍の動きベクトル群53から、処理対象の画素ブロック521に最も適した動きベクトルを選択する。具体的には、動きベクトル割り当て部35は、動きベクトル群53に含まれる動きベクトルそれぞれが、処理対象の画素ブロック521の動きベクトルに適している度合いを示す評価値を算出する。
例えば、図5を参照して、画素ブロック511に対応する動きベクトル51Aの評価値が算出される例について説明する。動きベクトル51Aは、中間フレーム51内の画素ブロック511が、処理対象の画像フレーム52では画素ブロック522で示される領域に移動することを示す。つまり、動きベクトル51Aは、画素ブロック511と画素ブロック522とが対応することを示す。そして、この画素ブロック522と処理対象の画素ブロック521とで重複している画素の数が、動きベクトル51Aの評価値として算出されるので、動きベクトル51Aの評価値は0である。
また、図6を参照して、画素ブロック512に対応する動きベクトル51Bの評価値が算出される例について説明する。動きベクトル51Bは、中間フレーム51内の画素ブロック512が、処理対象の画像フレーム52では画素ブロック523で示される位置に移動することを示す。つまり、動きベクトル51Bは、画素ブロック512と画素ブロック523とが対応することを示す。そして、この画素ブロック523と処理対象の画素ブロック521とで重複している画素の数が、動きベクトル51Bの評価値として算出されるので、動きベクトル51Bの評価値は9である。
同様にして、動きベクトル群53に含まれる全ての動きベクトルの評価値が算出される。そして、図7に示すように、算出された評価値が最大である動きベクトル51Bが、処理対象の画素ブロック521の動きベクトル(MV)52Aに決定される。
上述のように、中間フレーム51の画素ブロック毎の動きベクトルの内、処理対象の画素ブロック521に最も当てはまる動きベクトルを、処理対象の画素ブロック521の動きベクトル52Aに設定する。以上の処理を、処理対象のフレーム52内の全ての画素ブロックに対して行うことにより、全ての画素ブロックのそれぞれに対応する動きベクトルが決定される。これにより、シンメトリックサーチの場合のような歯抜け領域が生じることなく、処理対象のフレーム内の全ての画素ブロックについて、対応する一つ前のフレーム内の画素ブロックを決定することができる。また、動画像データに対してフレーム補間処理や動きを利用したフレーム内(空間方向)のノイズ除去処理等が施される場合には、このフレーム補間処理やノイズ除去処理において既に算出された補間フレームの画素ブロック毎の動きベクトルを、処理対象フレーム内の画素ブロック毎の動きベクトルの決定に利用することができる。そのため、処理対象のフレームTと一つ前のフレーム(T−1)とを用いて、処理対象フレーム内の画素ブロック毎の動きベクトルを算出するよりも計算コストを抑制することができる。
次いで、図8を参照して、コンピュータ10によって実行される動画像再生処理の手順の例について説明する。
まず、動画像復号部31は、動画像データの再生が要求されたか否かを判定する(ブロックB10)。動画像データは、例えば圧縮符号化されたデータである。動画像データの再生が要求されていない場合(ブロックB10のNO)、ブロックB10に戻り、再度動画像データの再生が要求されたか否かを判定する。
まず、動画像復号部31は、動画像データの再生が要求されたか否かを判定する(ブロックB10)。動画像データは、例えば圧縮符号化されたデータである。動画像データの再生が要求されていない場合(ブロックB10のNO)、ブロックB10に戻り、再度動画像データの再生が要求されたか否かを判定する。
動画像データの再生が要求されている場合(ブロックB10のYES)、動画像復号部31は動画像データを復号する(ブロックB11)。そして、動画像復号部31は、復号された動画像データに含まれる複数の画像フレームの内の一つの画像フレームを処理対象のフレームTに設定する(ブロックB12)。フレームに生じているフリッカを低減するための処理には処理対象のフレームTとその一つ前のフレーム(T−1)とが用いられるので、動画像復号部31は、例えば、複数の画像フレームを、先頭から2番目のフレームから順に処理対象のフレームTに設定する。その場合、表示制御部37は、先頭のフレームがそのまま画面17に表示されるように制御する。
次いで、動き探索部34は、処理対象のフレームTとその一つ前のフレーム(T−1)との間の中間フレーム(T−0.5)の画素ブロック毎の動きベクトルを算出する(ブロックB13)。つまり、動き探索部34は、中間フレーム(T−0.5)と処理対象のフレームTとの間の動きを推定する。画素ブロックは、例えば4×4画素のブロックである。また、中間フレーム(T−0.5)の画素ブロック毎の動きベクトルには、中間フレーム(T−0.5)を生成するために既に算出された動きベクトルを利用してもよい。
また、動きベクトル割り当て部35は、処理対象のフレームTを複数の画素ブロックに分割する(ブロックB14)。画素ブロックは、上述のように、例えば4×4画素のブロックである。そして、動きベクトル割り当て部35は、中間フレーム(T−0.5)の画素ブロック毎の動きベクトルを用いて、処理対象のフレームTの画素ブロック毎の動きベクトルを決定するための動きベクトル選択処理を実行する(ブロックB15)。動きベクトル選択処理の手順については、図9に示すフローチャートを参照して後述する。
次いで、フリッカ低減部36は、処理対象のフレームTの画素ブロック毎の動きベクトルに基づいて、処理対象のフレームTと一つ前のフレーム(T−1)とを用いて、処理対象のフレームTに生じているフリッカを低減するためのフリッカ低減処理を実行する(ブロックB16)。フリッカ低減処理の手順については、図10に示すフローチャートを参照して後述する。
そして、表示制御部37は、フリッカ低減処理が施された処理対象のフレームが画面17に表示されるように制御する(ブロックB17)。次いで、動画像復号部31は、現在の処理対象のフレームTに後続する画像フレームがあるか否かを判定する(ブロックB18)。後続する画像フレームがある場合(ブロックB18のYES)、ブロックB12に戻り、その後続する画像フレームを新たな処理対象のフレームTに設定することによって、新たな処理対象のフレームTに対して上述の処理が施される。
後続する画像フレームがない場合(ブロックB18のNO)、すなわち、動画像データ内の全ての画像フレームが画面17に表示された場合、動画像再生処理を終了する。
なお、動画像データの先頭のフレームについて、動きベクトル選択処理とフリッカ低減処理とを行ってもよい。その場合には、例えば、先頭のフレームと先頭から2枚目のフレームとの間の中間フレームの画素ブロック毎の動きベクトルを用いて、先頭のフレームの画素ブロック毎の動きベクトルが決定され、先頭のフレームと先頭から2枚目のフレームとを用いて、先頭のフレームに生じているフリッカが低減される。また、動き探索部34は、ブロックB13で動きベクトルを算出する際に、処理対象のフレームTとその一つ前のフレーム(T−1)との間にシーンチェンジが発生しているか否かを検出してもよい。そして、処理対象のフレームTとその一つ前のフレーム(T−1)との間にシーンチェンジが発生している場合には、処理対象のフレームに対してフリッカ低減処理が施されない。これは、シーンチェンジに対応するフレームが再生される際にはフリッカが生じないためであり、また、そのようなフレームにフリッカ低減処理が施されることによって、不要な誤差伝搬が生じることを抑制するためである。
次いで、図9を参照して、処理対象のフレームTの画素ブロック毎の動きベクトルを決定するための動きベクトル選択処理の手順の例について説明する。
まず、動きベクトル割り当て部35は、処理対象のフレームT内の複数の画素ブロックの内、処理対象の画素ブロックを設定する(ブロックB21)。具体的には、動きベクトル割り当て部35は、例えば、処理対象のフレームT内の左上端に設定された画素ブロックから順に、処理対象の画素ブロックに設定する。
まず、動きベクトル割り当て部35は、処理対象のフレームT内の複数の画素ブロックの内、処理対象の画素ブロックを設定する(ブロックB21)。具体的には、動きベクトル割り当て部35は、例えば、処理対象のフレームT内の左上端に設定された画素ブロックから順に、処理対象の画素ブロックに設定する。
そして、動きベクトル割り当て部35は、中間フレーム(T−0.5)に設定された画素ブロックの内、処理対象の画素ブロックに対応する位置の画素ブロックと、その画素ブロックに隣接する画素ブロックとに注目し、それら注目する画素ブロックの動きベクトルを候補動きベクトルに設定する(ブロックB22)。例えば、動きベクトル割り当て部35は、中間フレーム(T−0.5)に設定された画素ブロックの内、処理対象の画素ブロックに対応する位置の画素ブロックを中心とする3×3の画素ブロックの動きベクトルを候補動きベクトルに設定する。
次いで、動きベクトル割り当て部35は、設定された複数の候補動きベクトルそれぞれの評価値を算出する(ブロックB23)。候補動きベクトルの評価値は、図5及び図6を参照して説明した通り、例えば、候補動きベクトルで示される画素ブロックと処理対象の画素ブロックとで重複している画素の数を示す。動きベクトル割り当て部35は、算出された候補動きベクトルそれぞれの評価値に基づいて、評価値が最大である候補動きベクトルを選択することによって、処理対象の画素ブロックの動きベクトルを決定する(ブロックB24)。
次いで、動きベクトル割り当て部35は、決定された動きベクトルに基づいて、処理対象の画素ブロックに対応する、一つ前の画像フレーム(T−1)内の画素ブロックを決定する(ブロックB25)。つまり、動きベクトル割り当て部35は、処理対象の画像フレームTと一つ前の画像フレーム(T−1)との間の動きを考慮して、画像フレームT内の処理対象の画素ブロックに対応する、一つ前の画像フレーム(T−1)内の画素ブロックを決定する。
そして、動きベクトル割り当て部35は、対応する一つ前の画像フレーム(T−1)内の画素ブロックが決定されていない画素ブロックがあるか否かを判定する(ブロックB26)。対応する一つ前の画像フレーム(T−1)内の画素ブロックが決定されていない画素ブロックがある場合(ブロックB26のYES)、ブロックB21に戻り、新たな処理対象の画素ブロックを設定し、その画素ブロック対応する一つ前の画像フレーム(T−1)内の画素ブロックを決定する。対応する一つ前の画像フレーム(T−1)内の画素ブロックが決定されていない画素ブロックがない場合(ブロックB26のNO)、すなわち、全ての画素ブロックに対応する、一つ前の画像フレーム(T−1)内の画素ブロックが決定された場合、動きベクトル選択処理を終了する。
また、図10のフローチャートは、処理対象のフレームTに生じるフリッカを低減するためのフリッカ低減処理の手順の例を示す。
まず、フリッカ低減部36は、処理対象のフレームTに設定された複数の画素ブロックの内、処理対象の画素ブロックを設定する(ブロックB31)。そして、フリッカ低減部36は、設定された処理対象の画素ブロックに対応する、一つ前の画像フレーム(T−1)内の画素ブロックを検出する(ブロックB32)。
まず、フリッカ低減部36は、処理対象のフレームTに設定された複数の画素ブロックの内、処理対象の画素ブロックを設定する(ブロックB31)。そして、フリッカ低減部36は、設定された処理対象の画素ブロックに対応する、一つ前の画像フレーム(T−1)内の画素ブロックを検出する(ブロックB32)。
次いで、フリッカ低減部36は、処理対象の画素ブロック内の画素と、検出された画素ブロック内の対応する画素とをブレンディングする(ブロックB33)。例えば、画素ブロックが4×4画素のブロックである場合、フリッカ低減部36は、処理対象の画素ブロック内の16個の画素と決定された画素ブロック内の16個の画素とを、位置が対応する画素同士でそれぞれブレンディングする。このブレンディングは、例えば、画素値の重み付け加算である。また、この重み付けに用いられる値は、例えば、所定の値や、差分に基づいて決定される値である。このブレンディングにより、処理対象の画素ブロックに生じるフリッカを低減することができる。
そして、フリッカ低減部36は、ブレンディングが施されていない画素ブロックがあるか否かを判定する(ブロックB34)。ブレンディングが施されていない画素ブロックがある場合(ブロックB34のYES)、ブロックB31に戻り、新たな処理対象の画素ブロックを設定することによって、その画素ブロックに対してブレンディングが施される。ブレンディングが施されていない画素ブロックがない場合(ブロックB34のNO)、すなわち、全ての画素ブロックに対してブレンディングが施された場合、フリッカ低減処理を終了する。
以上説明したように、本実施形態によれば、動物体を含む動画像が再生される際に生じるフリッカを低減できる。動きベクトル割り当て部35は、中間フレーム(T−0.5)の画素ブロック毎の動きベクトルを用いて、処理対象のフレームTの画素ブロック毎の動きベクトルを決定する。そして、動きベクトル割り当て部35は、決定された動きベクトルを用いることにより、フレーム間の動きを考慮して、処理対象のフレームT内の画素ブロックと、この画素ブロックに対応する、一つ前のフレーム(T−1)内の画素ブロックとを決定する。すなわち、動きベクトルを用いて、フレーム間で移動している動物体(動物体に対応する画素ブロック)を追跡することができる。そして、フリッカ低減部36は、フレーム間の動きが追跡された2つの画素ブロックを用いることにより、処理対象のフレームTが再生される際に生じるフリッカを低減することができる。
なお、本実施形態の動画像再生処理の手順は全てソフトウェアによって実行することができる。このため、動画像再生処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
202…動画像再生プログラム、31…動画像復号部、32…フレーム遅延部、33…フレームバッファ、34…動き探索部、35…動きベクトル割り当て部、36…フリッカ低減部、37…表示制御部、38…画像情報記憶部。
Claims (7)
- 動画像データ内の処理対象のフレームに含まれる複数の画素ブロックに対応する複数の動きベクトルを含む第1ベクトル群を決定し、前記決定された第1ベクトル群を用いて、前記処理対象のフレームに含まれる複数の画素に対応する、前記処理対象のフレームの一つ前のフレームに含まれる複数の画素を決定する動き探索手段と、
前記処理対象のフレームに含まれる画素と、当該画素に対応する、前記一つ前のフレームに含まれる画素とをブレンディングすることによって、前記処理対象のフレームが再生される際に生じるフリッカを低減するフリッカ低減手段と、
前記ブレンディングされた画素を含む処理対象のフレームを画面に表示するように制御する表示制御手段とを具備する電子機器。 - 前記動き探索手段は、前記処理対象のフレームと前記一つ前のフレームとの間の中間フレームに含まれる複数の画素ブロックに対応する複数の動きベクトルを含む第2ベクトル群を用いて、前記第1ベクトル群を決定する請求項1記載の電子機器。
- 前記動き探索手段は、前記中間フレームに含まれる複数の画素ブロックの内の1以上の画素ブロックについて、処理対象のフレームに含まれる複数の画素ブロックの内の第1画素ブロックと、前記1以上の画素ブロックの内の第2画素ブロックを、当該第2画素ブロックに対応する動きベクトルに基づいて移動した領域とが重なり合う領域の大きさを示す評価値を算出し、前記算出された評価値が最大である第2画素ブロックに対応する動きベクトルを、前記第1画素ブロックに対応する動きベクトルに設定する請求項2記載の電子機器。
- 前記1以上の画素ブロックは、前記中間フレームに含まれる複数の画素ブロックの内、前記第1画素ブロックと当該第1画素ブロックの近傍の画素ブロックとに対応する位置にある画素ブロックを含む請求項3記載の電子機器。
- 前記動き探索手段は、前記第1ベクトル群に含まれる複数の動きベクトルに、前記第2ベクトル群に含まれる複数の動きベクトルの内の1つの動きベクトルをそれぞれ設定する請求項2記載の電子機器。
- 前記フリッカ低減手段は、前記処理対象のフレームに含まれる画素と、当該画素に対応する、前記一つ前のフレームに含まれる画素とを所定の重み係数を用いて加算し、前記加算された値を当該処理対象のフレームに含まれる画素に設定することによって、前記フリッカを低減する請求項1記載の電子機器。
- 動画像データ内の処理対象のフレームに含まれる複数の画素ブロックに対応する複数の動きベクトルを含む第1ベクトル群を決定し、前記決定された第1ベクトル群を用いて、前記処理対象のフレームに含まれる複数の画素に対応する、前記処理対象のフレームの一つ前のフレームに含まれる複数の画素を決定し、
前記処理対象のフレームに含まれる画素と、当該画素に対応する、前記一つ前のフレームに含まれる画素とをブレンディングすることによって、前記処理対象のフレームが再生される際に生じるフリッカを低減し、
前記ブレンディングされた画素を含む処理対象のフレームを画面に表示するように制御する画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011122671A JP5148732B2 (ja) | 2011-05-31 | 2011-05-31 | 電子機器及び画像処理方法 |
US13/366,029 US20120307156A1 (en) | 2011-05-31 | 2012-02-03 | Electronic apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011122671A JP5148732B2 (ja) | 2011-05-31 | 2011-05-31 | 電子機器及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012253453A true JP2012253453A (ja) | 2012-12-20 |
JP5148732B2 JP5148732B2 (ja) | 2013-02-20 |
Family
ID=47261432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011122671A Expired - Fee Related JP5148732B2 (ja) | 2011-05-31 | 2011-05-31 | 電子機器及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120307156A1 (ja) |
JP (1) | JP5148732B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9571749B2 (en) * | 2015-05-26 | 2017-02-14 | Novatek Microelectronics Corp. | Flicker detecting method for image capturing device |
IN2015CH03209A (ja) * | 2015-06-25 | 2015-07-10 | Wipro Ltd | |
CN106652874B (zh) * | 2017-01-04 | 2020-02-14 | 京东方科技集团股份有限公司 | 组合像素的灰阶补偿装置、方法以及显示装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11266440A (ja) * | 1998-03-17 | 1999-09-28 | Hitachi Ltd | 画像信号の走査変換回路及び画像復号化装置 |
JP3295437B2 (ja) * | 1991-03-29 | 2002-06-24 | 日本放送協会 | 表示装置 |
JP2003032676A (ja) * | 2001-07-19 | 2003-01-31 | Mega Chips Corp | 画像復号方法及びプログラム |
JP2008177648A (ja) * | 2007-01-16 | 2008-07-31 | Nippon Hoso Kyokai <Nhk> | 動画像データ復号装置、及びプログラム |
JP2009253660A (ja) * | 2008-04-07 | 2009-10-29 | Panasonic Corp | 動きベクトル検出装置、動きベクトル検出方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5598514A (en) * | 1993-08-09 | 1997-01-28 | C-Cube Microsystems | Structure and method for a multistandard video encoder/decoder |
US7124195B2 (en) * | 2001-10-17 | 2006-10-17 | Velcero Broadband Applications, Llc | Broadband network system configured to transport audio or video at the transport layer, and associated method |
CN101953167B (zh) * | 2007-12-20 | 2013-03-27 | 高通股份有限公司 | 减少光晕的图像插值 |
US20090208123A1 (en) * | 2008-02-18 | 2009-08-20 | Advanced Micro Devices, Inc. | Enhanced video processing using motion vector data |
-
2011
- 2011-05-31 JP JP2011122671A patent/JP5148732B2/ja not_active Expired - Fee Related
-
2012
- 2012-02-03 US US13/366,029 patent/US20120307156A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3295437B2 (ja) * | 1991-03-29 | 2002-06-24 | 日本放送協会 | 表示装置 |
JPH11266440A (ja) * | 1998-03-17 | 1999-09-28 | Hitachi Ltd | 画像信号の走査変換回路及び画像復号化装置 |
JP2003032676A (ja) * | 2001-07-19 | 2003-01-31 | Mega Chips Corp | 画像復号方法及びプログラム |
JP2008177648A (ja) * | 2007-01-16 | 2008-07-31 | Nippon Hoso Kyokai <Nhk> | 動画像データ復号装置、及びプログラム |
JP2009253660A (ja) * | 2008-04-07 | 2009-10-29 | Panasonic Corp | 動きベクトル検出装置、動きベクトル検出方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5148732B2 (ja) | 2013-02-20 |
US20120307156A1 (en) | 2012-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI803590B (zh) | 藉由所關注區域之制定的異步時間及空間翹曲 | |
US10042469B2 (en) | Methods and apparatus for reducing perceived pen-to-ink latency on touchpad devices | |
JP5245783B2 (ja) | フレーム補間装置、方法、及びプログラム、フレームレート変換装置、映像再生装置、映像表示装置 | |
US8797365B2 (en) | Image transmission method, device, and computer-readable storage medium storing image transmission program | |
WO2020143191A1 (en) | Image frame prediction method, image frame prediction apparatus and head display apparatus | |
WO2019242488A1 (zh) | 丢帧补偿方法、装置、存储介质及终端 | |
JP5269964B2 (ja) | 電子機器及び映像処理方法 | |
US8982135B2 (en) | Information processing apparatus and image display method | |
JP5462882B2 (ja) | 写実的画像形成の処理負荷を分散するためのシステム及び方法 | |
JP2011257502A (ja) | 画像安定化装置、画像安定化方法、及びプログラム | |
EP2223530A2 (en) | Temporal image prediction | |
KR101659914B1 (ko) | 고화질 비디오에 대한 디인터레이싱 및 프레임률 업컨버전 | |
WO2023160617A9 (zh) | 视频插帧处理方法、视频插帧处理装置和可读存储介质 | |
JP5148732B2 (ja) | 電子機器及び画像処理方法 | |
US20220382053A1 (en) | Image processing method and apparatus for head-mounted display device as well as electronic device | |
KR102683890B1 (ko) | 선택적 모션-보상된 프레임 보간 | |
US8385430B2 (en) | Video signal processing apparatus and video signal processing method | |
CN114285958A (zh) | 图像处理电路、图像处理方法和电子设备 | |
US12033234B2 (en) | Graphics processing system | |
US9275468B2 (en) | Fallback detection in motion estimation | |
US20140099039A1 (en) | Image processing device, image processing method, and image processing system | |
WO2020238276A1 (zh) | 一种视图控件的滑动控制方法、装置、设备和存储介质 | |
US8811804B2 (en) | Methods and systems for reducing moving image data volume while maintaining luminance data of the moving image | |
JP2013251765A (ja) | 映像処理装置及び映像処理方法 | |
CN111179310B (zh) | 视频数据处理方法、装置、电子设备及计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121128 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |