JP2010034850A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2010034850A JP2010034850A JP2008194876A JP2008194876A JP2010034850A JP 2010034850 A JP2010034850 A JP 2010034850A JP 2008194876 A JP2008194876 A JP 2008194876A JP 2008194876 A JP2008194876 A JP 2008194876A JP 2010034850 A JP2010034850 A JP 2010034850A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion blur
- unit
- processing
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000033001 locomotion Effects 0.000 claims abstract description 278
- 238000012545 processing Methods 0.000 claims abstract description 267
- 238000003384 imaging method Methods 0.000 claims abstract description 123
- 238000011156 evaluation Methods 0.000 claims abstract description 117
- 230000003068 static effect Effects 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims description 106
- 230000008569 process Effects 0.000 claims description 78
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 208000012661 Dyskinesia Diseases 0.000 abstract description 43
- 230000015556 catabolic process Effects 0.000 abstract description 14
- 238000006731 degradation reaction Methods 0.000 abstract description 14
- 230000009467 reduction Effects 0.000 description 49
- 238000001914 filtration Methods 0.000 description 26
- 238000001514 detection method Methods 0.000 description 24
- 238000009877 rendering Methods 0.000 description 21
- 239000010410 layer Substances 0.000 description 19
- 239000002131 composite material Substances 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 14
- 230000006866 deterioration Effects 0.000 description 13
- 230000007246 mechanism Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
Abstract
【解決手段】入力された動画像データにおける処理対象フレームについて、領域毎の静動判定の結果と、撮像時の撮像情報とに基づいて動きぼけ付加処理を行う。例えば動領域と判定された領域について、シャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報等の撮像情報により、動きぼけ量を示す評価値を生成し、評価値に基づいて動きぼけ付加処理を行う。これによって、フレーム内の領域毎に動きベクトルを検出するという処理負担の大きい処理を不要とする。
【選択図】図1
Description
このような動きの不自然さによる動画像の劣化は、一般的にモーションジャーキネス(Motion Jerkiness)と呼ばれる(参考文献:ANSI T1.801.02-1996)。
動画像撮像装置500は、動画像を撮像してMPEG(Moving Picture Experts Group)などの規格で符号化し、この符号化された画像データをDVD(Digital Versatile Disc)などの記録媒体700に記録するものであり、具体的には次のような構成を有している。
また動画像撮像装置500は、符号化処理部530により符号化された画像データを所定の伝送路を介して外部へ送信する送信処理部540と、符号化処理部530により符号化された画像データをDVDなどの記録媒体700に記録する記録処理部550を備える。
即ち動画像再生装置600は、所定の伝送路を介して伝送されてくる符号化された画像データを受信する受信処理部610と、記録媒体700から符号化された画像データを読み出す読出処理部620を有する。
また動画像再生装置600は、受信処理部610及び読出処理部620から出力される符号化された画像データを復号する復号処理部630と、復号処理部630によって復号された画像信号を表示するディスプレイなどの表示出力部640とを備える。
しかしながら、通常、絞り機構511を絞りすぎると回折現象により像がぼやけてしまう。このため、動画像撮像装置500では、絞り機構511によって光量を調節するのに加えて、シャッタ速度を短くすることで適切な露光制御を行っている。
また、絞り機構が設けられていない動画像撮像装置では、シャッタ速度を変更することで露光制御を行っている。
すなわち、従来の動画像撮像装置500では、シャッタ速度を短くしすぎると、人間の視覚特性によって画像の動きに滑らかさを欠いた現象となって現れてしまう。
そこで上記特許文献1に記載されているように、本出願人は先に、動画像についての動きベクトルを検出し、動きベクトルを用いて動画像に適切に動きぼけを付加する技術を提案した。
ところが、例えば動画像を構成する各フレームの各領域毎に動きベクトルを検出する処理は、処理負担が大きく、簡易な装置やシステムには不向きとなる場合がある。
そこで本発明は、処理負担の少ない簡易な手法で、動画像に適切に動きぼけを付加し、ジャーキネス劣化を低減できる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
また上記動きぼけ付加手段は、上記動画像データの各処理対象画像について、上記静動判定手段によって動領域と判定された領域に、上記撮像情報に基づいて動きぼけを付加する処理を行う。
また上記静動判定手段は、静領域か動領域かの判定結果と、上記撮像情報とに基づいて領域毎の評価値を生成し、上記動きぼけ付加手段は、上記評価値に基づいて、上記動画像データの各処理対象画像に動きぼけを付加する処理を行う。
また上記静動判定手段は、上記撮像情報取込手段からの複数種類の撮像情報を用いた重み付け演算処理により上記評価値を生成する。
また上記動きぼけ付加手段では、上記撮像情報としての絞り値情報による絞り値が大きいほど動きぼけ量を大きくする動きぼけ付加処理が行われる。
また上記動きぼけ付加手段では、上記撮像情報としての焦点距離情報による焦点距離が遠いほど動きぼけ量を大きくする動きぼけ付加処理が行われる。
また上記動きぼけ付加手段では、上記撮像情報としてのジャイロスコープ回転量情報によるジャイロスコープ回転量が大きいほど動きぼけ量を大きくする動きぼけ付加処理が行われる。
また記録媒体の再生動作により動画像データを再生する再生手段をさらに備え、上記再生手段で再生された動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される。
また動画像データを受信する受信手段をさらに備え、上記受信手段で受信された動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される。
本発明のプログラムは、上記静動判定ステップと上記動きぼけ付加処理ステップを演算処理装置に実行させるプログラムである。
また撮像情報とは、例えばシャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報(例えば撮像装置の水平方向、垂直方向の動きを示す情報)などである。
これらの静動判定結果と撮像情報にもとづいて、動画像についてジャーキネス劣化が発生しやすい領域に動きぼけを付加する。これによって、フレーム内の領域毎に動きベクトルを検出するという処理負担の大きい処理を不要とする。
特に、動きベクトル検出等の負担の重い処理を行わなくて良いことから、簡易に適切な動きぼけ付加処理を行うことができ、装置の簡易化、低コスト化に適している。
説明は次の順序で行う。
[1.基本構成例]
[2.第1の実施の形態:動画像撮像装置]
[2−1:動画像撮像装置の全体構成]
[2−2:撮像情報及び評価値生成]
[2−3:動きぼけ付加部の構成例及び動作]
[2−4:まとめ]
[3.第2の実施の形態:再生・受信装置]
[4.プログラム]
まず本発明の実施の形態の画像処理装置としての基本的な構成例を図1で説明する。後述する第1の実施の形態は、この図1の画像処理装置100の構成を含む動画像撮像装置であり、第2の実施の形態は、この図1の画像処理装置100の構成を含む再生・受信装置となる。
撮像した動画像を表示装置を用いて表示した際には、人間の視覚特性上において不自然に感じるジャーキネス劣化が生じることがある。
そこで実施の形態では、入力された動画像が撮像された際の撮像情報を用いて、適切に動きぼけを付加することでジャーキネス劣化の発生を低減する。これによって画質劣化の少ない高画質な画像信号を生成して出力し、高画質化処理を実現する。
画像取込部11は画像データを当該画像処理装置100に取り込む部位としている。例えば撮像装置などから動画像としての画像データDDを取得する。そして画像データDDを動領域判定部2及び動きぼけ付加部3に供給する。
取り込まれた画像データDDに対応しては、撮像情報CIとして、シャッタ速度、絞り値、焦点距離、ジャイロスコープ情報などの撮影時の情報が存在する。画像取込部1は、取り込んだ画像データDDについての、これらの撮像情報CIを抽出し、動領域判定部2に供給する。
また、動領域判定部2は、撮像情報CIを基にして、動物体におけるジャーキネス劣化の発生度合いを示す評価値を生成し、動きぼけ付加部3に与える。
[2−1:動画像撮像装置の全体構成]
第1の実施形態として、被写体を撮像して、その撮像した動画像に上述した動きぼけ付加処理を施して出力する動画像撮像装置200の構成について、図2を参照して説明する。
この動画像撮像装置200は、図2に示すように、撮像光学系10として、絞り機構11、光学レンズ系12、撮像素子部13を備える。
光学レンズ系12は、絞り機構11により光量が調節された被写体光を撮像素子部13の受光面に集光させる。
撮像素子部13は、光学レンズ系12により集光された光を受光面で受光し、画像信号に変換する。そして所定の信号処理を行って動画像としての画像データDDを出力する。
撮像素子部13から出力される画像データDDは、動きぼけ付加部30及び動領域判定部40に供給される。
なお、画像データDDは、例えばフレームレート60fpsのプログレッシブ形式の単位画像から構成されるものとするが、プログレッシブ形式に限定されるものではなく、インタレース方式で動画像の単位画像が構成されているようにしても良い。
撮像動作制御としては、制御部20は、撮像時に撮像光学系10に対してレンズ駆動によるフォーカス制御、ズーム制御を行う。また絞り機構11の開閉制御や撮像素子部13でのシャッタ速度制御、信号ゲイン制御などにより露光調整制御を行う。また例えばジャイロセンサ14からの動画像撮像装置200自体の動きの検出に基づいた、ぶれ補正処理制御などを行う。
各制御動作についての詳述は避けるが、本例の画像処理に関する処理として、制御部20は撮像情報CIを出力するものとなる。即ち上記のような撮像時の制御動作からは、得られる画像データDDについてのシャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報などを得ることができるが、これらを撮像情報CIとして動領域判定部40に供給する。
動きぼけ付加部30は、その構成及び処理については図6〜図18で詳述するが、動領域判定部40から与えられる評価値に基づき、入力される画像データDDに対して、擬似的に動きぼけを発生させる。この場合、ジャーキネス発生と見込まれる領域にその発生量に応じた動きぼけ付加を行う。適応的に動きぼけ付加を行うことでジャーキネス劣化を低減させた出力画像データODを出力する。
送信処理部60は、圧縮されたデータストリームに対して、所定の送信用のエンコード及び変調処理を行い、外部機器に送信出力する。
記録処理部70は、圧縮されたデータストリームに対して、所定の記録用のエンコード及び変調処理を行い、例えば光ディスクその他の記録媒体90に記録する。
なお制御部20は、撮像情報CIを送信処理部60、記録処理部70にも与える。送信処理部60、記録処理部70は、送信データ、または記録データに撮像情報CIを重畳させて送信や記録を行うこともできる。
このような構成の動画像撮像装置200では、動領域判定部40が、画像データDDのフレーム毎に動領域を判定する。そして動領域に対して動きぼけ付加部30で動きぼけを付加するわけであるが、動領域判定部40は、この動きぼけ付加処理のために評価値を生成して動きぼけ付加部30に与える。この評価値は、撮像情報CIを用いて生成する。
制御部20が動領域判定部40に与える撮像情報CIは、シャッタ速度情報S、絞り値情報F、焦点距離情報D、ジャイロスコープ回転量情報GX(水平方向の回転量)、GY(垂直方向の回転量)とする。
そして動領域判定部40が生成する評価値Eは、例えばフレーム内の各動領域について、それぞれどの程度の動きぼけを付加するかを示す情報となる。
この図3,図4は、動領域判定部40が、制御部20から与えられる撮像情報CIに応じて評価値Eを制御するためのテーブルである。この図3,図4において評価値Eを縦軸とし、その値の高低を示しているが、評価値Eが「高い」というのは、被写体の動きが大きく、ジャーキネス劣化が大きい状態であって、動きぼけ量を多く付加すべきことを意味するものとする。
上述のように制御部20は、撮像素子部13の駆動における電子シャッタ機能の制御情報から、撮像時のシャッタ速度を得ることが出来る。
動領域判定部40は、供給されたシャッタ速度情報で示されるシャッタ速度が、画像データDDのフレームレートよりも高速な場合、その速度の比率に応じて動領域の評価値を増加させる。また、シャッタ速度情報で示されるシャッタ速度がフレームレートと同等の場合には評価値を下げ、動きぼけ付加処理が無効になるようにする。
なお、フレームレートは「fps」即ち「フレーム/秒」で表され、例えばフレームレート=60fpsでは、1秒間に60フレームであることを意味するが、この場合、撮像素子における1フレームの電子シャッタの露光時間は、通常は、最大1/60秒である。これがここでいうシャッタ速度である。一般に露光制御などのために電子シャッタ制御が行われるが、その場合、1フレーム期間のうちで露光期間を変化させる。例えば1/60秒のうちの露光時間(シャッタ速度)を1/120秒、1/180秒、1/1000秒などのように変化させることで露光調整が行われる。
動領域判定部40は、このような意味でのシャッタ速度Sを、当該フレームレートにおける本来のシャッタ速度(例えば1/60秒)と比較して評価値Eを生成する。
Es=fs(S)
で評価値を操作する。関数fs(x)が線形増加関数であるとすれば、図3(a)に実線で示すようになる。
なお、非線形関数であってもよく、例えば図中に破線で示すようにシャッタ速度Sに応じた評価値Eを生成するものであってもよい。
制御部20は、撮像光学系10の制御情報から、撮像時の絞り値Fを得ることが出来る。
動領域判定部40は、絞り値Fが小さい場合、被写界深度が浅くなり被写体前後がぼけやすくなるためジャーキネス劣化が発生しにくいと判断し、評価値Eを下げる。一方、絞り値Fが大きい場合、被写界深度が深くなり画像全体に渡ってシャープになるため、ジャーキネス劣化が発生しやすいと判断し、評価値Eを上げる。
ここで絞り値Fについての評価値をEfとすると、
Ef=ff(F)
で評価値を操作する。関数ff(x)は、図に示すような線形増加関数に限らず、非線形関数であっても構わない。
動領域判定部40は、焦点距離Dが短い(広角)場合、被写界深度は深くなるため、それだけ見ればジャーキネス劣化が発生しやすいが、この場合、手振れや動体の動きは画面上では相対的に小さくなるため、総合的にはジャーキネス劣化が発生しにくいと判断し、評価値を下げる。
一方、焦点距離Dが長い(望遠)場合、被写界深度は浅くなり、それだけ見ればジャーキネス劣化が発生しにくいが、この場合、手振れや動体の動きは相対的に画面上で大きくなり、総合的に見ればジャーキネス劣化が発生しやすいと判断し、評価値を上げる。
ここで、焦点距離Dについての評価値をEdとすると、
Ed=fd(D)
で評価値を操作する。関数fd(x)は、図に示すような線形増加関数に限らず、非線形関数であっても構わない。
動領域判定部40は、水平方向の回転量GX(垂直軸に対する回転量)が小さい場合、画面の動きは小さく、ジャーキネス劣化が発生しにくいと判断し、水平方向の評価値EXを下げる。一方、回転量GXが大きい場合、ジャーキネス劣化が発生しやすいと判断し、水平方向の評価値EXを上げる。ここで、回転量GXについての、水平方向の評価値をEgxとすると、
Egx=fgx(GX)
で評価値を操作する。関数fgx(x)は、図に示すような線形増加関数に限らず、非線形関数であっても構わない。
動領域判定部40は、垂直方向の回転量GY(水平軸に対する回転量)が小さい場合、画面の動きは小さく、ジャーキネス劣化が発生しにくいと判断し、垂直方向の評価値EYを下げる。一方、回転量GYが大きい場合、ジャーキネス劣化が発生しやすいと判断し、垂直方向の評価値EYを上げる。ここで、回転量GYについての、垂直方向の評価値をEgyとすると、
Egy=fgy(GY)
で評価値を操作する。関数fgy(Y)は、図に示すような線形増加関数に限らず、非線形関数であっても構わない。
動領域判定部40の構成例を図5に示す。
動領域判定部40は、動領域検出部41、フレームメモリ42、評価値生成部43を備える。
動領域検出部41は、入力される画像データDDの現在のフレーム画像と、1フレーム前のフレーム画像の差分を求め、動いている領域(動領域)を検出する。
領域とは、画素単位でもよいし、複数画素による画素ブロック単位でもよい。
即ち動領域検出部41は、現フレームの画像をフレームメモリ42に記憶しつつ、前フレームの画像をフレームメモリ42から読み出して、領域毎に差分計算を行う。そして計算結果により、各領域が「動領域」であるか「静領域」であるかを示す検出結果値を出力する。例えば動領域を「1」、静領域を「0」として示す情報として、現フレームの各領域毎の検出結果情報を生成し、評価値生成部43に供給する。
このとき、各撮像情報CIに対する制御は、図3,図4に示したテーブルに従う。最終的な評価値は、これらのテーブルによる操作を組み合わせて出力する。
Ex=ws×Es+wf×Ef+wd×Ed+wgx×Egx
Ey=ws×Es+wf×Ef+wd×Ed+wgy×Egy
なお、評価値Exは、水平方向に付加すべきぼけ量を示す値、評価値Eyは、垂直方向に付加すべきぼけ量を示す値である。
また、wsはシャッタ速度Sに基づく評価値Esに与える重み係数、wfは絞り値Fに基づく評価値Efに与える重み係数、wdは焦点距離Dに基づく評価値Edに与える重み係数、wgxは水平回転量GXに基づく評価値Egxに与える重み係数、wgyは垂直回転量GYに基づく評価値Egyに与える重み係数である。
例えばフレーム内の静領域については、動領域検出部41での検出結果「0」をそのまま評価値Eとし(評価値E=0)、動きぼけ付加部30が、動きぼけを付加しない領域として認識できるようにする。
そして動領域については、動領域検出部41での検出結果「1」に対して、評価値生成部43の演算処置で上記Ex,Eyの式のように撮像情報CIに基づいた演算を行い、撮像情報CIに応じて評価値を調整するものとなる。
つまり動領域について、撮像情報CIに基づいて求められる上記Ex,Eyを評価値とし、動きぼけ付加部30に対して、付加する動きぼけ量を示す情報とする。
また、ジャイロセンサ14の検出に基づく回転量として水平方向、垂直方向の回転量を用いることで、水平、垂直のそれぞれの評価値Ex,Eyを求めているが、方向性による区別をつけずに1つの評価値Eを算出してもよい。
逆に、動きの方向を45°方向、135°方向なども検出して、水平方向、垂直方向、45°方向、135°方向のそれぞれの評価値を算出することも考えられる。
またシャッタ速度情報S、絞り値情報F、焦点距離情報D、ジャイロスコープ回転量情報GX(水平方向の回転量)、GY(垂直方向の回転量)の全てを用いなくても良い。つまりこれらの一部を評価値Eの算出に用いても良い。
また動領域検出部の検出結果を2値(「0」か「1」)ではなく、多値で扱っても良い。この場合、静止領域では検出結果が「0」となり、動きの大きい領域では検出結果が大きくなり、動きの小さい領域では検出結果が小さくなる。この検出結果をMとし、上記のようにして求められた評価値Ex,Eyに乗ずることによって最終的な評価値を算出しても良い。
また、上記例では、シャッタ速度情報S、絞り値情報F、焦点距離情報D、ジャイロスコープ回転量情報GX、GYから、それぞれ評価値Es、Ef、Ed、Egx、Egyを関数演算で求め、その後、評価値Es、Ef、Ed、Egx、Egyについて重み付け加算を行うとしたが、シャッタ速度情報S、絞り値情報F、焦点距離情報D、ジャイロスコープ回転量情報GX、GYを、直接用いて評価値Eを算出することもできる。
動きぼけ付加部30は、撮像素子部13から供給される画像データDDに対して、動領域判定部40からの評価値Eに基づいて動きぼけを付加する。
この動きぼけ付加部30の構成例及び動作を説明していく。
動きぼけ付加部30は、画像データDD、および動領域判定部40からの評価値Eを入力とし、入力される動画像を構成する1フレーム毎の画像データDDに対して動きぼけの付加を行ってジャーキネス劣化が低減した出力画像ODを出力する。
また、評価値Eを基に、処理対象フレーム中の対応画素および縮小画像生成処理部32において生成された縮小面中の対応画素から、出力画像を構成する各画素の画素値を算出し出力する動きぼけレンダリング処理部31を備える。
動きぼけ付加部30は、縮小画像生成処理部32と動きぼけレンダリング処理部31により各画素に適切な量の動きぼけを付加し、ジャーキネス劣化を低減した画像を出力する。
図7は、動きぼけ付加処理の概要を示すものである。特に、図6中の縮小画像生成処理部32と動きぼけレンダリング処理部31において行われる処理内容の概要を説明するためのものである。
縮小画像生成処理部32では、処理対象フレームである元画像に対し、詳しくは後述する空間フィルタリング処理を実行し、その結果として第1縮小面を作成する。
第1縮小面は、元画像よりも一定の比率だけ縮小され、画素数が減少した画像である。
さらに縮小画像生成処理部32は、得られた第1縮小面に対し、同様の空間フィルタリング処理を実行し、結果として得られる第2縮小面を作成する。
このような要領で縮小画像生成処理部32は、再帰的にフィルタ処理を用いることで、所定の階層数の縮小画像(第1縮小面〜第n縮小面)の生成を行う。
動きぼけレンダリング処理部31は、例えば図7中に示す元画像の各画素について、元画像である基底面、第1縮小面、および第2縮小面から、動きぼけ付加対象の画素に対応する位置の画素値を各面から抽出し、レンダリング方式に重み付け加算を実行する。
各面が有する画素数はそれぞれ異なるため、動きぼけ付加対象の画素に対応する位置の画素が各縮小面に存在しない場合、詳しくは後述する周辺の画素からの補間処理を行い、画素値を抽出する。
基底面及び各縮小面から抽出したそれぞれの画素値に対する重み係数(w0、w1、w2)は、評価値Eに依存して決める。
例えば、評価値Eが大きい値の場合、つまり付加する動きぼけの量が大きい場合ほど、高階層の縮小面から抽出した画素の重み係数を大きくする。図7の例においては第2縮小面から抽出した画素の重み係数を大きくすることになる。
一方、評価値Eが小さい値の場合、つまり付加する動きぼけの量が少ない場合ほど、低階層の縮小面から抽出した画素の重み係数を大きくする。例えば図7の例においては基底面から抽出した画素の重み係数を大きくする。
このような重み付け加算の結果として、ジャーキネス劣化を低減した画像が生成される。
縮小画像生成処理部32で行われる処理は、入力される画像データDDに対し空間フィルタリング処理を実行することである。また、その結果として得られる縮小画像に対し(または画像として構成されなくても、前段のフィルタリング処理の結果として得られる複数の画素を用いて)、さらに同様の空間フィルタリング処理を繰り返す。これにより階層的な縮小画像データRSDを生成する。
上記空間フィルタリング処理は、フィルタリング処理前の画像中において複数画素を有する領域の画素情報を用いて行われ、処理の前後にて一定の比率だけ縮小され、画素数が減少した画像を生成する。そのためフィルタリング処理後の各画素は、フィルタリング処理前の画像中における当該領域をぼかした画素、として出力されるわけである。
図8は、縮小画像生成を行うフィルタ処理の具体例における、縮小前後の画素の対応関係について示すものである。
図8の例では、縮小前の画像において、分割領域R11として示した4×4画素を用いたフィルタリングを実行し、縮小後の画像における画素P11を出力することを表現している。分割領域R12,R21についても同様に画素P12,P21を示している。
結果として、縮小後の画像は、縮小前の画像と比べ、垂直・水平方向にそれぞれ1/4の画素数となっている。
なお4×4画素ブロックを用いるのは、あくまで一例であり、N×Nの画素ブロックを用いて同様の処理を行えば、垂直・水平方向にそれぞれ1/Nの画素数を有する縮小画像が生成できる。
この場合、第1縮小面に4×4画素の分割領域を用いたフィルタリングを実行することにより、第2縮小面の各画素は、元画像における16×16画素の領域の画素値を平均化したぼけ画素として生成されることになる。
必要に応じて、第2縮小面の生成後に第3縮小面以降を同じ要領で生成することも可能であり、階層数を増やしても処理の内容は変わらない。
図8では分割領域として4×4画素の方形領域の例を示したが、フィルタリングを実行する分割領域は、方形でなくても構わない。
むしろ図8に示した4×4画素を用いたフィルタのような等方型フィルタでは、後段の動きぼけレンダリング処理で動きぼけを付加した場合、画質上の問題が発生してしまう場合もあり得る。それは、付加したい所望の動きぼけのみでなく、動きと直交する方向に低解像度化した結果生じるぼけが支配的になってしまう現象である。
例えば、水平方向の動きに応じた動きぼけを付加したい場合、動きぼけの方向である水平のみでなく、垂直方向にもローパスフィルタリングされた縮小画像を用いるため、垂直方向の解像度が低下した画像になってしまう。
つまり画像内容としての動き方向に応じてぼけを付加することでジャーキネスを低減するときに、動き方向とは直交方向にもぼけが付加され、それが視覚上適切な画像とならない場合がある。
図9においては、まず、入力される画像データDD(基底面)に4×1タップの長方形フィルタ処理を実行し、水平方向の画素数が1/4、垂直方向の画素数は変化しない、水平方向1/4縮小画像を生成している。
例えば基底面における領域R011、R012、R021についてのそれぞれのフィルタ処理で得られた画素は、水平方向1/4縮小画像における画素P111、P112、P121となる。
なお4×1画素領域を用いたのは、あくまで一例であり、所望の縮小率に応じて変更できる。
フィルタの内容は、例えばボックスフィルタなどのローパスフィルタである。
例えば水平方向1/4縮小画像における領域R111についてのフィルタ処理で得られた画素は、水平方向1/16縮小画像における画素P211となる。
このように、水平方向の動きぼけ付加用として、垂直方向の解像度低下を防ぐため、水平方向のみ多階層の縮小画像を生成する。
図10においても、図9の場合と同様に、まず、入力される画像データDDに1×4タップの長方形フィルタ処理を実行し、水平方向の画素数が変化せず、垂直方向の画素数が1/4となった、垂直方向1/4縮小画像を生成している。フィルタの内容は、例えばボックスフィルタなどのローパスフィルタである。
例えば基底面における領域R011、R012、R021についてのそれぞれのフィルタ処理で得られた画素は、垂直方向1/4縮小画像における画素P111、P112、P121となる。
例えば垂直方向1/4縮小画像における領域R111についてのフィルタ処理で得られた画素は、垂直方向1/16縮小画像における画素P211となる。
このように、垂直方向の動きぼけ付加用として、水平方向の解像度低下を防ぐため、垂直方向のみ多階層の縮小画像を生成する。
上記までに説明する方法は、各方向の動きぼけ付加用として独立に縮小画像を生成するため、後段の動きぼけレンダリング処理において、各画素に付加する動きぼけの方向に応じて、適応的に各方向の縮小画像から画素を選択または合成する必要が生じる。この方法については、動きぼけレンダリング処理部3の説明において述べる。
下記の<具体例:条件1>をその例として用いる。
縮小画像生成方向:水平・垂直
縮小画像階層数:水平および垂直に各3層(第3縮小面まで)
動きぼけ生成方向:動きぼけレンダリング時に水平・垂直から移動速度の絶対値が大きい方を選択(詳細は後述)
フィルタ前後の縮小率
第1縮小面:1/4
第2縮小面:1/16
第3縮小面:1/64
図11は、<具体例:条件1>の設定における、縮小画像生成処理部32の構成例を示すものである。
上記の水平・垂直の各方向に1次元フィルタを用いて縮小面生成処理を実行する場合の処理フローを示しており、生成された各縮小面は縮小画像データRSDとして出力される。
即ち入力画像データDDに対して、1次元フィルタ処理21−1で水平方向1/4縮小画像を生成する。さらに1次元フィルタ処理21−1の結果について1次元フィルタ処理21−2で水平方向1/16縮小画像を生成する。さらに1次元フィルタ処理21−2の結果について1次元フィルタ処理21−3で水平方向1/64縮小画像を生成する。
また、入力画像データDDに対して、1次元フィルタ処理22−1で垂直方向1/4縮小画像を生成する。さらに1次元フィルタ処理22−1の結果について1次元フィルタ処理22−2で垂直方向1/16縮小画像を生成する。さらに1次元フィルタ処理22−2の結果について1次元フィルタ処理22−3で垂直方向1/64縮小画像を生成する。
これらの結果として得られた6個の縮小画像データRSDが出力されることになる。
上記の<具体例:条件1>の設定においては、生成する水平・垂直方向の階層数は3と決めていたが、図12はこれを限定せず、水平方向の縮小面階層数をMx、垂直方向の縮小面階層数をMyと表現して一般化している処理フローである。
1次元フィルタ処理21−1・・・21−Mxにより、Mx階層の水平方向縮小画像が生成され、また1次元フィルタ処理22−1・・・22−Myにより、My階層の垂直方向縮小画像が生成される。これらが縮小画像データRSDとして出力される。
なお、図示及び説明は省略するが、縮小画像生成方向について、水平・垂直方向のみから斜め方向も含めた構成へと拡張することもできる。
上記<具体例:条件1>の設定にて、水平・垂直のいずれかの方向に1/4縮小するフィルタを想定し、横軸は4画素ごとを1ブロックと考えた場合の座標を示しており、縦軸はフィルタとして各画素に乗ずる加重である。
4タップのボックスフィルタの他、7タップのテントフィルタ、10タップの階段フィルタ、13タップのガウシアンフィルタを例として図示しており、所謂FIRローパスフィルタであれば採用可能であることを示している。
これは、タップ数が小さいほど発生する恐れが高まる、折り返し現象に起因する画質劣化を低減できるためである。
また、フィルタタップ数の増加に伴い、隣接する分割領域に属する画素を重複してフィルタ処理を行うことになるが、それは問題とならない。
いま、水平方向の縮小画像を生成しているものとして、各縮小画像からの画素をどのように重み付け加算することで、出力画素の画素値を算出するかを、この図を用いて説明する。フィルタタップ数は7の場合を例として用いている。なお、垂直方向もこれに準じて行えばよいため、図は省略する。
このように、各縮小画像においてフィルタを4画素シフトしつつ実行することにより、用いる画素が隣接するフィルタと重複しても問題なく、フィルタの前後で1/4だけ縮小された、次層の縮小面が作成される。当然、縮小率が異なる場合も同様の方法で実現可能である。
動きぼけレンダリング処理部31は、入力された画像データDDと、縮小画像生成処理部32で生成された階層的な縮小画像を用いて、動きぼけを含んだ出力画像の各画素値を算出する。
動きぼけレンダリング処理部31には、画像データDD、縮小画像データRSDおよび評価値E(例えば水平方向の評価値Ex及び垂直方向の評価値Ey)が入力し、各画素に適切な量の動きぼけが付加された出力画像データODを出力する。
レンダリングパラメータとは、言い換えれば、後段のレンダリング処理において、画像データDDおよび縮小画像データRSD中の当該画素の各々に、どれだけの重みを乗じて加算処理を実行するか、を示すデータである。後に具体的な例を用いてより明確に説明する。
縮小画像データRSDには、画像データDD中の各縮小画像において、当該画素に位置的に対応する画素の画素値を、補間処理によって生成する、合成画素算出処理が行われる(S2)。
この処理が必要な理由および具体的な処理内容の例については、詳しくは後述する。
最後に、画像データDDの当該画素、および、縮小画像データRSDから生成された各合成画素、のそれぞれに重みを付けて加算処理することにより、当該画素に対応する出力画素の画素値を算出する、レンダリング処理が行われる。重みの情報は、入力されるレンダリングパラメータ中にあるものとする。
縮小画像生成処理部32においては、図示するように、縮小画像データRSDとして、水平および垂直に各3層の縮小画像が作成されている。
また合成画素算出処理部32−1〜32−3には、画像データDDから処理対象の当該画素が入力されるのとタイミングを合わせて、3層の垂直縮小画像から各々に画素が入力され、後述する合成画素値の算出処理が行われる。
これら合成画素算出処理部33−1〜33−3、32−1〜32−3で算出された各縮小画像に対する合成画素は、セレクタ34へと入力される。
上記<具体例:条件1>は、各画素に水平および垂直方向のいずれか一方の動きぼけを選択的に付加する条件である。
そのため、評価値判定部35では、評価値Ex,Eyを基に、動きを付加する方向が水平と垂直のいずれであるかを示す選択情報と、付加する動きぼけの方向に対する各合成画素値に乗ずる重みを示す重み情報、を生成する。
そして選択情報は、セレクタ34へ供給され、重み情報は、重み付け画素加算処理部36へ供給される。
重み付け画素加算処理部36には、既に入力された画像データDDから処理対象の当該画素が入力されている。
さらに、上記の通り、合成画素値のうち方向選択された各画素値が入力される。
また、評価値判定部35から各画素値に対する重み情報が入力している。
この重み付け画素加算処理部36では、重み情報を基に、入力した各画素値に対し、詳しくは後述する重み付け画素加算処理を実行し、出力する画素値を算出する。
図17は、合成画素算出処理および重み付け画素加算処理の内容について、具体例を示して説明するための図である。画像データDDと縮小画像データRSDについて、上記図14と同様に、各画素を示している。
後段の重み付け画素加算処理部36の処理では、前記の通り、画像データDDの当該画素、および、縮小画像データRSDから生成された各合成画素、のそれぞれに重みを付けて加算処理することにより、当該画素に対応する出力画素の画素値を算出するわけである。
しかし、各縮小画像には常に、画像データDD中の当該画素に対応する画素が存在するわけではないため、各縮小画像における対応画素を補間処理により算出しなくてはならない。
例えば、図17中の画像データDDで「20」の番号を振られている画素L0(20)に位置的に対応する、各縮小画像中における画素は存在しない。これは、画像データDDにフィルタリングを実行して、第1の縮小画像である1/4縮小画像を生成する際、L0(20)がフィルタの位相中心ではない画素であるためであり、1/4縮小面以降、位置的に対応する画素は存在しないわけである。
ここでは、例として線形補間法を用いて、L1(20)’、L2(20)’、L3(20)’を算出する場合を考える。
なお、ここでは線形補間による合成画素値算出の方法を示したが、補間の方式は、スプライン補間など、より高次な計算法を用いて算出することも可能である。
各画素に水平および垂直方向のいずれか一方の動きぼけを選択的に付加する、上記<具体例:条件1>に準じた評価値判定部35では、既に入力されている評価値Ex,Eyを基に、動きを付加する方向が水平と垂直のいずれであるかを示す選択情報と、付加する動きぼけの方向に対する各合成画素値に乗ずる重みを示す重み情報、を生成する。
Ex≧Eyのとき:水平方向のぼけ付加
Ex<Eyのとき:垂直方向のぼけ付加
これを基に、動きぼけを付加する方向についての選択情報を、セレクタ34へと出力する。この例の場合、セレクタ34へ送る情報量は、1画素の動きぼけ付加に対して1ビットでよい。
重み付け画素加算処理部36には、画像データDDの当該画素L0(N)、およびセレクタ34で選択された、水平・垂直方向のどちらか一方について、各縮小画像から生成された合成画素が各々入力される。
以下では、<具体例:条件1>の水平・垂直方向用に3層の縮小画像が生成されている場合であるとし、さらに付加する動きベクトル方向がセレクタ34において、水平方向に決定されているものとする。
このとき、各水平縮小画像中の画素から生成された合成画素をL1(N)’、L2(N)’、L3(N)’と表現する。
各画素値に与える重みを生成する手段であるが、<具体例:条件1>の場合を想定し、重みw0〜w3を決定する方法の例を示す。
当該画素の位置的に対応する評価値Ex,Eyのうち、値が大である成分の値をVと記す。そして以下の重み決定ルールに基づいて、順に分け与えていく。
V≦1であればw1=0,w2=0,w3=0とし、手順5へ。
手順2:V−w0>4−1であればw1=3。
そうでない場合、w1=V−w0,w2=0,w3=0とし、手順5へ。
手順3:V−(w0+w1)>16−4であればw2=12。
そうでない場合、w2=V−(w0+w1),w3=0とし、手順5へ。
手順4:w3=V−(w0+w1+w2)。
手順5:w0〜w3の各値をVで除算して規格化。
図中のテーブルの1列目は、選択された方向の評価値E(評価値Ex,Eyのいずれか)を示しており、2〜5列目は、各縮小面から抽出した各画素に乗ずる重みの値を示している。
数値はあくまで一例であり、限定するものではないが、評価値Eが小さいほど、各縮小面の重みの値は、小さい階層(基底面や第1縮小面)の重みの値を大とし、逆にベクトル絶対値が大きいほど、大きい階層(第3縮小面や第2縮小面)の重みの値を大とすべきである。
そしてこの重み付け画素加算処理36は、ジャーキネス劣化を低減した出力画像データODとなる。
以上、第1の実施の形態の動画像撮像装置200について説明してきたが、この実施の形態によれば、人間の視覚特性上、より自然にジャーキネス劣化が低減された動画像を出力することができる。
特に、本実施の形態では、撮像され、入力された画像データDDにおける処理対象画像(例えば1フレームの画像データ)について、領域毎の静動判定の結果と、撮像時の撮像情報CIとに基づいて動きぼけ付加処理を行う。
そして動領域判定部40における静動判定は、フレーム内の領域(画素単位或いは複数画素による画素ブロック単位)毎について動領域か静領域かを判定する処理であり、例えば前後フレームの比較などの簡易な処理で可能である。
また撮像情報CIとして、例えばシャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報(撮像装置の水平方向、垂直方向の動きを示す情報)を用いて、付加すべきぼけ量を示す評価値Eを生成する。
即ち静動判定結果によって検出される動領域について、撮像情報にもとづいて適切なぼけ量を付加させる評価値Eが生成され、動画像についてジャーキネス劣化が発生しやすい領域に適切な量の動きぼけを付加することができる。
このため、フレーム内の領域毎に動きベクトルを検出するという処理負担の大きい処理を不要としつつ、人間の視覚特性上、より自然にジャーキネス劣化が低減された動画像を出力することができる。
また、動きベクトル検出等の負担の重い処理を行わなくて良いことから、簡易に適切な動きぼけ付加処理を行うことができ、装置の簡易化、低コスト化に適している。
さらに、空間フィルタ処理は、階層的なフィルタリングを実行した結果得られる、各階層の画素値を重み付け加算して出力する。そのため、各階層において行うフィルタは、少ないタップ数で実現可能である。また、そのフィルタのタップ数は、付加する動きぼけの量に依存せず、固定タップ数で行うことが可能である。
このような再帰的な処理による実現は、特にハードウェアによる処理実装に適している。当然に、ソフトウェア、また組合せによる実現も可能である。
したがって、この動画像撮像装置200によって送信された送信データ、及び記録媒体90に記録された記録データの再生を行う再生装置は、この実施の形態に示したような動きぼけ付加処理を行うことなく、既存の再生処理工程を行うだけで、ジャーキネス効果が低減された動画像を表示装置に表示させることができる。
第2の実施の形態としての再生・受信装置300の構成を図19に示す。
この再生・受信装置300は、放送などの媒体で送られる画像データの受信や、記録媒体91に記録された画像データを再生して、表示する装置としている。
再生処理部120は、記録媒体91に対して画像データの再生動作を行い、再生したデータストリームを動画像復号化処理部130及び制御部170に供給する。
制御部170は、このような画像データから撮像情報を抽出する。そして抽出された撮像情報CIを動領域判定部150に供給する。
動領域判定部150、動きぼけ付加部140は、上記第1の実施の形態の動領域判定部40、動きぼけ付加部30と同様である。即ち動領域判定部150は、各フレーム内の領域毎について動領域か静領域かを判定する静動判定処理を行い、また撮像情報CIとして、例えばシャッタ速度情報、絞り値情報、焦点距離情報、ジャイロスコープ回転量情報等を用いて、付加すべきぼけ量を示す評価値Eを生成する。
また動きぼけ付加部140は、評価値Eに基づいて、入力される画像データDDに対して動きぼけ付加処理を行って、ジャーキネス劣化が低減された出力画像データODを出力する。
画像表示部160では、動きぼけ付加部140で処理された出力画像データODについて表示出力を行う。
また実施の形態は、図1の画像処理装置100としての基本構成を含む動画像撮像装置200、再生・受信装置300として説明したが、本発明の画像処理装置は画像処理を行う各種機器に適用できる。例えば画像通信装置、画像記録装置、ゲーム機器、ビデオ編集機、携帯電話機などが想定される。
また上記してきた画像処理装置100,動画像撮像装置200、再生・受信装置300の構成は、複数の処理部の論理的集合構成であり、各構成として示した処理部が同一筐体内にあるものには限らない。
本発明はさらに、汎用のパーソナルコンピュータその他の情報処理装置において、動画像再生や記録等を行う際に、上記の画像処理装置1としての動作を実行することも当然想定される。
即ち、上述した画像処理装置1を構成する各処理部は、例えばFPGA等によって設計されるハードウェアによって実現されることもできるが、各処理部によって実現される画像処理をコンピュータ等の情報処理機器に実行させるようにしても良い。
例えば上述の動領域判定部2(40,150)、撮像情報CIを取得する機能部位としての画像取込部1、及び動きぼけ付加部3(30、140)の動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像処理を実現できる。
まず動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定ステップを演算処理装置に実行させる。
また、動画像データが撮像装置による撮像により生成された際の撮像情報を取り込む撮像情報取込ステップを演算処理装置に実行させる。
また、動画像データに対し、静動判定ステップでの判定結果と、撮像情報取込ステップで取り込んだ撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加処理ステップを演算処理装置に実行させる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
Claims (14)
- 動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定手段と、
上記動画像データに対し、上記静動判定手段の判定結果と、上記動画像データが撮像装置による撮像により生成された際の撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加手段と、
を備えた画像処理装置。 - 上記動きぼけ付加手段は、上記動画像データの各処理対象画像について、上記静動判定手段によって動領域と判定された領域に、上記撮像情報に基づいて動きぼけを付加する処理を行う請求項1に記載の画像処理装置。
- 上記静動判定手段は、静領域か動領域かの判定結果と、上記撮像情報とに基づいて領域毎の評価値を生成し、
上記動きぼけ付加手段は、上記評価値に基づいて、上記動画像データの各処理対象画像に動きぼけを付加する処理を行う請求項2に記載の画像処理装置。 - 上記静動判定手段は、複数種類の撮像情報を用いた重み付け演算処理により上記評価値を生成する請求項3に記載の画像処理装置。
- 上記動きぼけ付加手段では、上記撮像情報としてのシャッタ速度情報によるシャッタ速度が速いほど動きぼけ量を大きくする動きぼけ付加処理が行われる請求項1に記載の画像処理装置。
- 上記動きぼけ付加手段では、上記撮像情報としての絞り値情報による絞り値が大きいほど動きぼけ量を大きくする動きぼけ付加処理が行われる請求項1に記載の画像処理装置。
- 上記動きぼけ付加手段では、上記撮像情報としての焦点距離情報による焦点距離が遠いほど動きぼけ量を大きくする動きぼけ付加処理が行われる請求項1に記載の画像処理装置。
- 上記動きぼけ付加手段では、上記撮像情報としてのジャイロスコープ回転量情報によるジャイロスコープ回転量が大きいほど動きぼけ量を大きくする動きぼけ付加処理が行われる請求項1に記載の画像処理装置。
- 上記動きぼけ付加手段は、
動画像データに対し、動画像を構成する各単位画像を処理対象画像とし、上記処理対象画像から1つ以上の解像度の異なる縮小画像を生成する縮小画像生成部と、
上記処理対象画像の注目画素に位置的に対応する画素を上記縮小画像から抽出し、上記静動判定手段の判定結果と上記撮像情報とに基づく値を基に、上記注目画素および上記縮小画像から抽出した1つ以上の抽出画素について、重み付け加算処理を行って、上記処理対象画像に動きぼけを付加する画素合成処理部と、
を有する請求項1に記載の画像処理装置。 - 被写体を撮像して動画像を生成する撮像手段をさらに備え、
上記撮像手段での撮像によって得られた動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される請求項1に記載の画像処理装置。 - 記録媒体の再生動作により動画像データを再生する再生手段をさらに備え、
上記再生手段で再生された動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される請求項1に記載の画像処理装置。 - 動画像データを受信する受信手段をさらに備え、
上記受信手段で受信された動画像データが、上記静動判定手段と上記動きぼけ付加手段に入力される請求項1に記載の画像処理装置。 - 動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定ステップと、
上記動画像データに対し、上記静動判定ステップでの判定結果と、上記動画像データが撮像装置による撮像により生成された際の撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加処理ステップと、
を有する画像処理方法。 - 動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎の静動判定を行う静動判定ステップと、
上記動画像データに対し、上記静動判定ステップでの判定結果と、上記動画像データが撮像装置による撮像により生成された際の撮像情報とに基づいて動きぼけを付加する処理を行う動きぼけ付加処理ステップと、
を演算処理装置に実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008194876A JP4674620B2 (ja) | 2008-07-29 | 2008-07-29 | 画像処理装置、画像処理方法、及びプログラム |
US12/510,524 US8264552B2 (en) | 2008-07-29 | 2009-07-28 | Image processing apparatus, image processing method, and recording medium |
CN2009101590109A CN101640759B (zh) | 2008-07-29 | 2009-07-29 | 图像处理设备和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008194876A JP4674620B2 (ja) | 2008-07-29 | 2008-07-29 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010034850A true JP2010034850A (ja) | 2010-02-12 |
JP4674620B2 JP4674620B2 (ja) | 2011-04-20 |
Family
ID=41607927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008194876A Expired - Fee Related JP4674620B2 (ja) | 2008-07-29 | 2008-07-29 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8264552B2 (ja) |
JP (1) | JP4674620B2 (ja) |
CN (1) | CN101640759B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160066425A (ko) * | 2014-12-02 | 2016-06-10 | 삼성전자주식회사 | 이미지 블러링 방법 및 장치 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2968878A1 (fr) | 2010-12-14 | 2012-06-15 | Thomson Licensing | Procede et dispositif pour generer des images comportant du flou cinetique |
EP2521091B1 (en) * | 2011-05-03 | 2016-04-20 | ST-Ericsson SA | Estimation of motion blur in a picture |
KR101896026B1 (ko) * | 2011-11-08 | 2018-09-07 | 삼성전자주식회사 | 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법 |
CN104335243B (zh) * | 2012-05-18 | 2017-07-18 | 汤姆逊许可公司 | 一种处理全景画面的方法及装置 |
CN103945241A (zh) | 2014-05-12 | 2014-07-23 | 腾讯科技(深圳)有限公司 | 一种流媒体数据的统计方法、系统及相关装置 |
JP6473434B2 (ja) * | 2016-10-14 | 2019-02-20 | 矢崎総業株式会社 | 表示装置 |
JP6543280B2 (ja) * | 2017-01-31 | 2019-07-10 | 矢崎総業株式会社 | 表示装置 |
KR102543529B1 (ko) * | 2018-08-14 | 2023-06-15 | 현대모비스 주식회사 | 이미지 블러링 처리장치 및 그 방법 |
CN109086740B (zh) * | 2018-08-25 | 2019-08-23 | 上海首安工程技术有限公司 | 分级式渡口安检机构 |
US11423516B2 (en) | 2019-03-29 | 2022-08-23 | Tobii Ab | Gaze enhanced natural motion blur |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS639393A (ja) * | 1986-06-30 | 1988-01-16 | Sony Corp | 高能率符号の復号装置 |
JPS6424582A (en) * | 1987-07-20 | 1989-01-26 | Sony Corp | Decoder for high efficiency code |
JP2003006648A (ja) * | 2001-06-26 | 2003-01-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
WO2006068293A1 (ja) * | 2004-12-21 | 2006-06-29 | Sony Corporation | 画像処理装置と画像処理方法および画像処理プログラム |
JP2007142702A (ja) * | 2005-11-17 | 2007-06-07 | Nikon Corp | 画像処理装置 |
JP2007274299A (ja) * | 2006-03-31 | 2007-10-18 | Sony Corp | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
WO2008096818A1 (ja) * | 2007-02-07 | 2008-08-14 | Sony Corporation | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5062968B2 (ja) | 2004-08-11 | 2012-10-31 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4766333B2 (ja) * | 2004-12-21 | 2011-09-07 | ソニー株式会社 | 画像処理装置と画像処理方法および画像処理プログラム |
JPWO2007063819A1 (ja) * | 2005-11-29 | 2009-05-07 | パイオニア株式会社 | 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体 |
CN101146202A (zh) * | 2006-09-11 | 2008-03-19 | 索尼株式会社 | 图像数据处理设备、方法、程序及记录介质 |
JP4666012B2 (ja) * | 2008-06-20 | 2011-04-06 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JP4613990B2 (ja) * | 2008-07-31 | 2011-01-19 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
-
2008
- 2008-07-29 JP JP2008194876A patent/JP4674620B2/ja not_active Expired - Fee Related
-
2009
- 2009-07-28 US US12/510,524 patent/US8264552B2/en not_active Expired - Fee Related
- 2009-07-29 CN CN2009101590109A patent/CN101640759B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS639393A (ja) * | 1986-06-30 | 1988-01-16 | Sony Corp | 高能率符号の復号装置 |
JPS6424582A (en) * | 1987-07-20 | 1989-01-26 | Sony Corp | Decoder for high efficiency code |
JP2003006648A (ja) * | 2001-06-26 | 2003-01-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
WO2006068293A1 (ja) * | 2004-12-21 | 2006-06-29 | Sony Corporation | 画像処理装置と画像処理方法および画像処理プログラム |
JP2007142702A (ja) * | 2005-11-17 | 2007-06-07 | Nikon Corp | 画像処理装置 |
JP2007274299A (ja) * | 2006-03-31 | 2007-10-18 | Sony Corp | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
WO2008096818A1 (ja) * | 2007-02-07 | 2008-08-14 | Sony Corporation | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160066425A (ko) * | 2014-12-02 | 2016-06-10 | 삼성전자주식회사 | 이미지 블러링 방법 및 장치 |
KR102245745B1 (ko) * | 2014-12-02 | 2021-04-28 | 삼성전자 주식회사 | 이미지 블러링 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
US8264552B2 (en) | 2012-09-11 |
JP4674620B2 (ja) | 2011-04-20 |
CN101640759A (zh) | 2010-02-03 |
CN101640759B (zh) | 2012-12-26 |
US20100026827A1 (en) | 2010-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4674620B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
JP4703710B2 (ja) | オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置及び方法 | |
JP5341010B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
JP6056702B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
WO2011090107A1 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
WO2019124289A1 (ja) | 装置、制御方法および記憶媒体 | |
JP2012142827A (ja) | 画像処理装置および画像処理方法 | |
EP1874039A1 (en) | Image processing device and image processing program | |
JP5490236B2 (ja) | 画像処理装置および方法、画像表示装置および方法 | |
JP5197801B2 (ja) | 動画再生システム及び撮影装置 | |
JP2016181023A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2006217355A (ja) | 撮像装置 | |
JP5919086B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP5566196B2 (ja) | 画像処理装置及びその制御方法 | |
JP5130171B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
JP2011135537A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP6995490B2 (ja) | 映像再生装置とその制御方法及びプログラム | |
WO2011033675A1 (ja) | 画像処理装置および画像表示装置 | |
JPWO2007026452A1 (ja) | 画像処理装置、及び画像処理方法 | |
JP5083086B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2010226314A (ja) | 動画処理装置、動画処理方法及び動画処理プログラム | |
JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 | |
JP6708490B2 (ja) | 画像処理方法および画像処理装置 | |
JP2012142828A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100506 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101228 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110110 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4674620 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |