JP2013182339A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2013182339A JP2013182339A JP2012044507A JP2012044507A JP2013182339A JP 2013182339 A JP2013182339 A JP 2013182339A JP 2012044507 A JP2012044507 A JP 2012044507A JP 2012044507 A JP2012044507 A JP 2012044507A JP 2013182339 A JP2013182339 A JP 2013182339A
- Authority
- JP
- Japan
- Prior art keywords
- detail
- addition
- frame
- image processing
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 5
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 15
- 230000007423 decrease Effects 0.000 claims description 9
- 235000019557 luminance Nutrition 0.000 description 20
- 230000002238 attenuated effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 239000000470 constituent Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Picture Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Image Analysis (AREA)
Abstract
【課題】画像のボケを利用しないで画像に奥行き感を与える画像処理装置、画像処理方法及びプログラムを提供することである。
【解決手段】実施形態によれば、画像処理装置は、ディテール抽出手段と、ディテール加算手段と、ディテール加算制御手段とを具備する。ディテール抽出手段は、1フレームの画像信号からディテール成分を抽出する。ディテール加算手段は、ディテール抽出手段により抽出されたディテール成分を1フレームの画像信号に加算する。ディテール加算制御手段は、ディテール加算手段によるディテール成分の加算量を制御する。
【選択図】図3
【解決手段】実施形態によれば、画像処理装置は、ディテール抽出手段と、ディテール加算手段と、ディテール加算制御手段とを具備する。ディテール抽出手段は、1フレームの画像信号からディテール成分を抽出する。ディテール加算手段は、ディテール抽出手段により抽出されたディテール成分を1フレームの画像信号に加算する。ディテール加算制御手段は、ディテール加算手段によるディテール成分の加算量を制御する。
【選択図】図3
Description
本発明の実施形態は画像情報を処理する画像処理装置、画像処理方法及びプログラムに関する。
従来、画像に奥行き感を与える様々な画像処理が研究されている。一例として、画像のボケを利用し、ボケ量を距離に応じて変化させることにより、画像に立体感を与える手法が開発されている。
従来の画像処理装置は画像のボケを利用するので、原画像の凹凸等のディテール成分が失われるという課題があった。
本発明の目的は、画像のボケを利用しないで画像に奥行き感を与える画像処理装置、画像処理方法及びプログラムを提供することである。
本発明の目的は、画像のボケを利用しないで画像に奥行き感を与える画像処理装置、画像処理方法及びプログラムを提供することである。
実施形態によれば、画像処理装置は、ディテール抽出手段と、ディテール加算手段と、ディテール加算制御手段とを具備する。ディテール抽出手段は、1フレームの画像信号からディテール成分を抽出する。ディテール加算手段は、ディテール抽出手段により抽出されたディテール成分を1フレームの画像信号に加算する。ディテール加算制御手段は、ディテール加算手段によるディテール成分の加算量を制御する。
以下、実施形態について図面を参照して説明する。
図1は、本発明の一実施形態に係る画像処理装置の一例としてのノートブックタイプのパーソナルコンピュータ10の外観を示す斜視図である。コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成される。ディスプレイユニット12には、LCD(liquid crystal display)17が組み込まれている。ディスプレイユニット12は、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間を回動自在にコンピュータ本体11に取り付けられている。
図1は、本発明の一実施形態に係る画像処理装置の一例としてのノートブックタイプのパーソナルコンピュータ10の外観を示す斜視図である。コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成される。ディスプレイユニット12には、LCD(liquid crystal display)17が組み込まれている。ディスプレイユニット12は、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間を回動自在にコンピュータ本体11に取り付けられている。
コンピュータ本体11は、薄い箱形の筐体を有しており、その上面には、キーボード13、コンピュータ10を電源オン/電源オフするためのパワーボタン14、入力操作パネル15、タッチパッド16、スピーカ18A,18Bなどが配置される。入力操作パネル15上には、各種操作ボタンが設けられている。
コンピュータ本体11の右側面には、外部機器を接続するためのコネクタ、例えばUSB(universal serial bus)2.0規格のUSBケーブルやUSBデバイスを接続するためのUSBコネクタ19が設けられている。USBコネクタ19には、図2に示すように、デジタルカメラ20、ビデオカメラ等の撮像機器が接続される。コンピュータ本体11の背面にも、外部機器を接続するためのコネクタ、例えばHDMI(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子(図示せず)が設けられている。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。
図2は、コンピュータ10のシステム構成を示す図である。コンピュータ10は、CPU(central processing unit)101、ノースブリッジ102、主メモリ103、サウスブリッジ104、GPU(Graphics Processing Unit)(表示コントローラ)105、VRAM(ビデオRAM:random access memory)105A、サウンドコントローラ106、BIOS−ROM(basic input/output system-read only memory)107、LAN(local area network)コントローラ108、ハードディスクドライブ(HDD)109、光ディスクドライブ(ODD)110、USBコントローラ111A、カードコントローラ111B、無線LANコントローラ112、エンベデッドコントローラ/キーボードコントローラ(EC/KBC)113、EEPROM(electrically erasable programmable ROM)114等を備える。
CPU101は、コンピュータ10内の各部の動作を制御するプロセッサである。CPU101は、HDD109から主メモリ103にロードされる、オペレーティングシステム(OS)201、及びディテール加算アプリケーションプログラム202のような各種アプリケーションプログラムを実行する。ディテール加算アプリケーションプログラム202は、例えばHDD109等に格納された静止画、動画等の各種画像データを再生する際に遠近感を与えるソフトウェアであり、処理後の画像データをLCD17に表示する。CPU101は、BIOS−ROM107に格納されたBIOSも実行する。BIOSは、ハードウェア制御のためのプログラムである。
ノースブリッジ102は、CPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵される。ノースブリッジ102は、例えば、PCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
GPU105は、コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。GPU105によって生成される表示信号はLCD17に送られる。GPU105は、HDMI制御回路3およびHDMI端子2を介して、外部ディスプレイ1にデジタル画像(動画、静止画)信号を送出することもできる。
HDMI端子2は、前述の外部ディスプレイ接続端子である。HDMI端子2は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを1本のケーブルでテレビのような外部ディスプレイ1に送出することができる。HDMI制御回路3は、HDMIモニタと称される外部ディスプレイ1にデジタル映像信号をHDMI端子2を介して送出するためのインタフェースである。
サウスブリッジ104は、PCI(Peripheral Component Interconnect)バス上の各デバイス及びLPC(Low Pin Count)バス上の各デバイスを制御する。サウスブリッジ104は、HDD109及びODD110を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18BまたはHDMI制御回路3に出力する。LANコントローラ108は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスである。無線LANコントローラ112は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。LANコントローラ108、または無線LANコントローラ112により、コンピュータ10がインターネットに接続される。USBコントローラ111Aは、USBコネクタ19を介して接続される、例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、USBコントローラ111Aは、デジタルカメラ20に格納されている画像データファイルを受信するために使用される。カードコントローラ111Bは、コンピュータ本体11に設けられたカードスロット(図示せず)に挿入される、SDカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
EC/KBC113は、電力管理のためのエンベデッドコントローラと、キーボード13及びタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。EC/KBC113は、ユーザによるパワーボタン14の操作に応じてコンピュータ10を電源オン/電源オフする機能を有している。
図3はディテール加算アプリケーションプログラム202の機能構成を示すブロック図である。
カメラ20から入力された画像、あるいはLANコントローラ108、無線LANコントローラ112によりインターネットからダウンロードした画像がHDD109に格納されている。ディテール加算アプリケーションプログラム202は1フレームの画像毎に処理して遠近感を与えるものであり、静止画にも動画にも等しく適用可能であり、単に画像と称する場合は、静止画像、動画像のいずれをも示す。
HDD109から読み出された画像信号がディテール加算モジュール220、ディテール成分抽出モジュール222、顔検出モジュール224、肌色検出モジュール226、画面分割モジュール230に入力される。
ディテール成分抽出モジュール222は入力画像のディテール成分を抽出し、ディテール成分加算モジュール220に供給する。ディテール成分抽出モジュール222は、例えばラプラシアンフィルタを用いて画像のエッジを検出するものである。顔検出モジュール224は入力画像から顔領域を検出し、検出した顔領域の座標を示す領域情報をディテール成分加算制御モジュール228に供給する。顔領域の検出手法には制限がなく、周知のいずれの手法も利用できる。肌検出モジュール226は入力画像から肌色領域を検出し、検出した肌色領域の領域情報をディテール成分加算制御モジュール228に供給する。肌色領域の検出手法にも制限がなく、周知のいずれの手法も利用できる。
画面分割モジュール230は入力画像(1フレーム)を所定数(例えば、8×8)の小領域に分割し、小領域毎の画像情報をヒストグラム算出モジュール232、平均輝度算出モジュール234に供給する。ヒストグラム算出モジュール232は小領域毎の画像信号のヒストグラムを算出し、算出した小領域毎のヒストグラムをヒストグラム類似度検出モジュール235に供給する。ヒストグラム類似度検出モジュール235はヒストグラムが類似している(ヒストグラムの差が所定値以下)小領域があるか否かを判定し、類似しているヒストグラムを有する小領域の領域情報をディテール成分加算制御モジュール228に供給する。平均輝度算出モジュール234は小領域毎の画像信号の平均輝度を算出し、算出した小領域毎の平均輝度を平均輝度類似度検出モジュール236に供給する。平均輝度類似度検出モジュール236は平均輝度が類似している(平均輝度の差が所定値以下)小領域があるか否かを判定し、類似している平均輝度を有する小領域の領域情報をディテール成分加算制御モジュール228に供給する。
ディテール成分加算制御モジュール228は顔検出モジュール224から供給された顔領域の情報、肌色検出モジュール226から供給された肌色領域の情報、ヒストグラム類似度検出モジュール235から供給された類似しているヒストグラムを有する小領域の情報、平均輝度類似度検出モジュール236から供給された類似している平均輝度を有する小領域の情報に応じて、1フレーム内のディテール成分の加算量を場所により制御したり、画面全体へのディテール成分の加算量を一定にするように、加算制御信号をディテール成分加算モジュール220に供給する。ディテール成分加算モジュール220は入力された画像信号に対してディテール成分抽出モジュール222から供給されたディテール成分を加算する。ディテール成分の加算量はディテール成分加算制御モジュール228から供給される加算制御信号に応じて可変(減衰)される。ディテール成分加算制御モジュール228はディテール成分が加算された画像信号を出力する。出力信号LCD17、あるいは外部ディスプレイ1に表示される。
図4はディテール成分加算モジュール220の動作原理を示す図である。ディテール成分検出モジュール222は入力画像信号に鮮鋭化フィルタ処理を施し、画像内の濃度値の変化箇所(輪郭、エッジ)を強調する。鮮鋭化フィルタとしては二次微分を行うラプラシアンフィルタを用いることができる。例えば、3×3のラプラシアンフィルタの係数の一例は下記である。
−1,−1,−1
−1, 8,−1
−1,−1,−1
ディテール成分検出モジュール222は入力画像信号の濃度値の変化箇所を強調するためのディテール成分を出力する。このディテール成分がディテール成分加算モジュール220で入力信号に加算されることにより、輪郭、エッジが強調された画像信号が得られる。
−1, 8,−1
−1,−1,−1
ディテール成分検出モジュール222は入力画像信号の濃度値の変化箇所を強調するためのディテール成分を出力する。このディテール成分がディテール成分加算モジュール220で入力信号に加算されることにより、輪郭、エッジが強調された画像信号が得られる。
ディテール成分加算制御モジュール228は加算量を画面内の場所に応じて可変制御するための加算制御信号をディテール成分加算モジュール220に供給する。ディテール成分抽出モジュール220により抽出されたディテール成分を画像信号に一律に加算すると、画面全体の輪郭、エッジが強調されるが、遠近感は生じない。遠近感を生じさせるためには、近距離ほど輪郭、エッジを強調し、遠距離になるにつれて強調度を弱めることが必要である。ディテール成分の加算量が増加するとエッジ、輪郭の強調度が強くなり、加算量が減少するとエッジの強調度が弱くなる。そのため、本実施形態では、画面内の各場所の距離に応じて、ディテール成分の加算量を変化させるため、ディテール成分加算モジュール220はディテール成分の加算量を画面内の各場所の距離に応じて可変する。
遠近感を与えるディテール成分加算の可変(グラデーション処理)の一例は、画像の構図を解析して消失点を検出し、ディテールの加算量を消失点に向かって徐々に減衰することがある。これにより、消失点の周囲の近距離にあるエッジ、輪郭は非常に強調され、消失点に向かって強調度が弱まり、遠近感が与えられる。なお、消失点の検出のための構図解析には種々の周知の構図解析が利用可能である。
構図が解析できない場合、本実施形態では以下の推定を行う。一般的な画像の構図では、画面の下側は地面であることが多く、近距離であり、画面の上側が空であることが多く、遠距離である。画面の下端が最も近距離で、上端が最も遠距離であり、下端から上端に向かって距離が徐々に増加していると推定できる。そのため、ディテール成分加算制御モジュール228は画面の下端から上端に向かってディテール成分の加算量を減衰させる加算制御信号をディテール成分加算モジュール220に供給する。これにより、ディテール成分加算モジュール220は、下端から上端になるにつれて加算量が減衰するように画像信号にディテール成分を加算する。これにより、距離に応じてエッジの強調量が徐々に変化して(グラデーション処理)、手前ほどエッジが強調され、遠近感が強調される。以上は原則であり、以下のような例外処理を行う。
(i)顔領域内ではグラデーション処理をオフする。
(ii)肌色領域内ではグラデーション処理をオフする。
(iii)ヒストグラムが類似する領域内のグラデーション処理をオフする。
(iv)平均輝度が類似する領域内のグラデーション処理をオフする。
(i)、(ii)の領域内は距離が同じであると推定できる。(iii)、(iv)の領域は背景(室内の場合は壁、屋外の場合は空等)であり、やはり距離が同じであると推定できる。そのため、これらの領域内ではディテール成分の加算量を可変すると、不自然な遠近感が与えられるので、本実施形態ではこれらの領域内では加算量の減衰(グラデーション処理)を行なわず、検出したディテール成分を一定量だけ加算する。言い換えると、エッジ・輪郭強調の度合いは原則、画面の下端から上端に向かって減少するが、(i)から(iv)の領域内ではエッジ・輪郭強調の度合いの減少処理を行わない。
(v)画面全体に対する顔領域の割合が所定値以上の場合は画面全体のグラデーション処理をオフする。
(vi)画面全体に対する肌色領域の割合が所定値以上の場合は画面全体のグラデーション処理をオフする。
(vii)ヒストグラムが類似する領域の数が所定の数より多い場合は画面全体のグラデーション処理をオフする。
(viii)平均輝度が類似する領域の数が所定の数より多い場合は画面全体のグラデーション処理をオフする。
(v)〜(viii)の場合は、画面が全体的に平面的(等距離)であると推定できるので、加算量の減衰(グラデーション処理)を行うと、不自然になるので、検出したディテール成分の一定量を均一に加算することにより、エッジ・輪郭を画面全体で均一に強調する。
図5は実施形態のディテール加算処理の動作を示すフローチャートである。ブロックB12で1フレームの画像信号が、例えば、HDD109から読み出され、あるいはカメラ20から入力され、ディテール加算モジュール220、ディテール成分抽出モジュール222、顔検出モジュール224、肌色検出モジュール226、画面分割モジュール230に入力される。ブロックB14で、ディテール成分抽出モジュール222は入力画像のディテール成分を抽出し、ディテール成分加算モジュール220に供給する。
ブロックB16で、顔検出モジュール224は入力画像から顔領域を検出し、検出した顔領域の情報をディテール成分加算制御モジュール228に供給する。ブロックB18で、ディテール成分加算制御モジュール228は顔領域についてはグラデーション処理をオフと設定する。図示していないが、画面全体に対する顔領域の割合が所定値以上の場合は画面全体のグラデーション処理をオフする。
ブロックB20で、肌色検出モジュール226は入力画像から肌色領域を検出し、検出した肌色領域の情報をディテール成分加算制御モジュール228に供給する。ブロックB22で、ディテール成分加算制御モジュール228は肌色領域についてはグラデーション処理をオフと設定する。図示していないが、画面全体に対する肌色領域の割合が所定値以上の場合は画面全体のグラデーション処理をオフする。
ブロックB24で、画面分割モジュール230は入力画像(1フレーム)を所定数(例えば、8×8)の小領域に分割する。ブロックB26で、ヒストグラム類似度検出モジュール235はヒストグラムが類似している小領域があるか否かを判定し、類似しているヒストグラムを有する小領域の情報をディテール成分加算制御モジュール228に供給する。ブロックB28で、ディテール成分加算制御モジュール228はヒストグラムが類似している小領域のグラデーション処理をオフと設定する。図示していないが、ヒストグラムが類似している小領域の数が所定の数より多い場合は画面全体のグラデーション処理をオフする。
ブロックB30で、平均類似度検出モジュール236は平均輝度が類似している小領域があるか否かを判定し、類似している平均輝度を有する小領域の情報をディテール成分加算制御モジュール228に供給する。ブロックB32で、ディテール成分加算制御モジュール228は平均輝度が類似している小領域のグラデーション処理をオフと設定する。図示していないが、平均輝度が類似している小領域の数が所定の数より多い場合は画面全体のグラデーション処理をオフする。
ブロックB34で、ディテール成分加算モジュール220は入力画像信号に対してディテール成分を加算するが、画面の下端から上端に向かって加算するディテール量を減衰する。例えば、下端は抽出したディテール成分を100%加算するが、中央部は50%加算し、上端は加算しないことにより、加算するディテール量が減衰する。これにより、画面の下端ほどエッジが強調され、上端になるにつれてエッジの強調量が弱まり(ディテール成分加算のグラデーション処理)、遠近感が強調される。加算するディテール量の減衰は下端から上端にかけて一定(線形)に減衰してもよいし、関数的(曲線)、段階的に変更しても良い。さらに、加算ディテール量を減衰することにより可変したが、減衰のみに限らず、画面の下半分領域では抽出したディテール量を増幅し、画面の上半分領域では抽出したディテール量を減衰しても良い。
加算するディテール量の変化(グラデーション処理)はディテール加算制御モジュール228により制御され、顔領域、肌色領域、ヒストグラムが類似する領域、平均輝度が類似する領域内ではグラデーション処理を行なわず、ディテール成分を一定量加算し、ヒストグラムが類似する領域の数や平均輝度が類似する領域の数が所定の数より多い場合には、画面全体に加算するディテール量が一定になるように処理する。これらの領域内で加算されるディテール成分は一定量であれば良く、制限は全く無い。例えば、顔領域の開始位置の減衰量としたり、顔領域の終了位置の減衰量としたり、それらの平均減衰量としたり、あるいは所定割合(50%)の減衰量としてもよい。
ブロックB36で次のフレームの処理があるか否か判定され、次のフレームの処理があればブロックB12に戻り、無ければ終了する。
図6(a)は画像信号の一例である。図6(a)では、中央に位置する手前から奥に向かって延びる道路に人物が位置し、道路の両側が風景である。この場合、画面の左側I、右側IIIは下端から上端に向かって被写体までの距離が近距離から遠距離に変化するので、図6(b)に示すように、下端から上端に向かってディテールの加算量が徐々に減少する。このため、下端ほどエッジが強調され、上端になるにつれてエッジの強調量が減衰し、自然な遠近感が生じる。画面の中央IIは人物の顔領域を含むので、図6(c)に示すように、下端から上端に向かってディテールの加算量が徐々に減少するが、顔領域については一定のディテール量が加算される。このため、顔以外の部分にのみ遠近感が生じ、顔領域については一定のエッジ強調がなされる。
以上説明したように、実施形態によれば、画像にディテール成分を加算し、距離によって加算量を可変することにより、輪郭の強調感を距離に応じて可変することができ、画像に遠近感を与えることができる。また、加算量の可変(グラデーション処理)を必要としない領域を検出し、検出した領域内ではグラデーション処理を行なわずに、一定量のディテール成分を加算する。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示される複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。実施形態はノートブック型のパーソナルコンピュータとして説明したが、実施する形態はこれに限らず、画像を再生、表示するものであれば、どのような装置、製品にも適用可能である。対象とする画像は静止画、動画のいずれも適用可能である。ディテール成分の検出はラプラシアンフィルタに限らず、他のエッジ・輪郭強調処理を利用してもよい。ディテール成分加算のグラデーション処理を行わない領域は上記4つに限らず、適宜変更可能である。例えば、顔検出モジュール224、肌色検出モジュール226の両方を設けることは必須ではなく、何れか一方でも良いし、ヒストグラム算出モジュール232、平均輝度算出モジュール234の両方を設けることは必須ではなく、何れか一方でも良い。
11…コンピュータ本体、12…ディスプレイユニット、19…USBコネクタ、101…CPU、103…主メモリ、109…HDD、111A…USBコントローラ、112…無線LANコントローラ、201…OS、202…ディテール加算アプリケーションプログラム。
実施形態によれば、画像処理装置は、ディテール抽出手段と、検出手段と、ディテール加算手段と、ディテール加算制御手段とを具備する。ディテール抽出手段は、1フレームの画像信号からディテール成分を抽出する。検出手段は、1フレームの画像信号から顔領域または肌色領域を検出する。ディテール加算手段は、ディテール抽出手段により抽出されたディテール成分を1フレームの画像信号に加算する。ディテール加算制御手段は、ディテール加算手段によるディテール成分の加算量を、顔領域または肌色領域では一定とし、顔領域または肌色領域以外では画面の下端から上端に向かって減少させる。
Claims (12)
- 1フレームの画像信号からディテール成分を抽出するディテール抽出手段と、
前記ディテール抽出手段により抽出されたディテール成分を前記1フレームの画像信号に加算するディテール加算手段と、
前記ディテール加算手段によるディテール成分の加算量を制御するディテール加算制御手段と、
を具備する画像処理装置。 - 前記ディテール加算制御手段は、画面の下端から上端に向かってディテール成分の加算量を減少する請求項1記載の画像処理装置。
- 前記ディテール加算制御手段は、画面内の近距離領域から遠距離領域に向かってディテール成分の加算量を減少する請求項1記載の画像処理装置。
- 前記1フレームの画像信号から顔領域または肌色領域を検出する検出手段をさらに具備し、
前記ディテール加算制御手段は、前記検出手段により検出された顔領域あるいは肌色領域に関しては加算量の減少を行なわず、ディテール成分の一定量を加算する請求項1乃至請求項3のいずれか一項記載の画像処理装置。 - 前記1フレームの画像信号から顔領域または肌色領域を検出する検出手段をさらに具備し、
前記ディテール加算制御手段は、画面に対する前記検出手段により検出された顔領域あるいは肌色領域の割合が所定値以上の場合、画面全体へディテール成分の一定量を加算する請求項1乃至請求項3のいずれか一項記載の画像処理装置。 - 前記1フレームの画像信号を分割する複数の小領域毎のヒストグラムを算出する算出手段をさらに具備し、
前記ディテール加算制御手段は、前記算出手段により算出されたヒストグラムの差が所定値以下である小領域に関しては加算量の減少を行なわず、ディテール成分の一定量を加算する請求項1乃至請求項5のいずれか一項記載の画像処理装置。 - 前記1フレームの画像信号を分割する複数の小領域毎のヒストグラムを算出する算出手段をさらに具備し、
前記ディテール加算制御手段は、前記算出手段により算出されたヒストグラムの差が所定値以下である小領域の数が所定の数より多い場合、画面全体へディテール成分の一定量を加算する請求項1乃至請求項5のいずれか一項記載の画像処理装置。 - 前記1フレームの画像信号を分割する複数の小領域毎の平均輝度を算出する算出手段をさらに具備し、
前記ディテール加算制御手段は、前記算出手段により算出された平均輝度の差が所定値以下である小領域に関しては加算量の減少を行なわず、ディテール成分の一定量を加算する請求項1乃至請求項7のいずれか一項記載の画像処理装置。 - 前記1フレームの画像信号を分割する複数の小領域毎の平均輝度を算出する算出手段をさらに具備し、
前記ディテール加算制御手段は、前記算出手段により算出された平均輝度の差が所定値以下である小領域の数が所定の数より多い場合、画面全体へディテール成分の一定量を加算する請求項1乃至請求項7のいずれか一項記載の画像処理装置。 - 前記ディテール抽出手段は、1フレームの画像信号を処理するラプラシアンフィルタを具備する請求項1乃至請求項9のいずれか一項記載の画像処理装置。
- 1フレームの画像信号からディテール成分を抽出し、
抽出されたディテール成分を前記1フレームの画像信号に加算し、
前記ディテール成分の加算量を制御する画像処理方法。 - コンピュータにより実行されるプログラムであって、前記プログラムは前記コンピュータを、
1フレームの画像信号からディテール成分を抽出するディテール抽出手段と、
前記ディテール抽出手段により抽出されたディテール成分を前記1フレームの画像信号に加算するディテール加算手段と、
前記ディテール加算手段によるディテール成分の加算量を制御するディテール加算制御手段として動作させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012044507A JP5306500B2 (ja) | 2012-02-29 | 2012-02-29 | 画像処理装置、画像処理方法及びプログラム |
US13/682,301 US8953883B2 (en) | 2012-02-29 | 2012-11-20 | Image processing apparatus, image processing method, and computer-readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012044507A JP5306500B2 (ja) | 2012-02-29 | 2012-02-29 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013182339A true JP2013182339A (ja) | 2013-09-12 |
JP5306500B2 JP5306500B2 (ja) | 2013-10-02 |
Family
ID=49002947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012044507A Expired - Fee Related JP5306500B2 (ja) | 2012-02-29 | 2012-02-29 | 画像処理装置、画像処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8953883B2 (ja) |
JP (1) | JP5306500B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017092604A (ja) * | 2015-11-05 | 2017-05-25 | キヤノン株式会社 | 映像信号処理装置、映像信号処理方法、及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09233423A (ja) * | 1996-02-27 | 1997-09-05 | Fuji Photo Film Co Ltd | デジタルプリンタの画像データ変換方法 |
JPH11196317A (ja) * | 1997-12-26 | 1999-07-21 | Minolta Co Ltd | 撮像装置 |
JP2002150440A (ja) * | 2000-11-13 | 2002-05-24 | Fujitsu General Ltd | 監視対象物検出装置 |
JP2008021163A (ja) * | 2006-07-13 | 2008-01-31 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JP2009245363A (ja) * | 2008-03-31 | 2009-10-22 | Mitsubishi Heavy Ind Ltd | 行動認識システム及びその方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3149603B2 (ja) | 1993-03-01 | 2001-03-26 | 松下電器産業株式会社 | 非線形信号処理装置及びその回路 |
JP3461626B2 (ja) * | 1995-07-28 | 2003-10-27 | シャープ株式会社 | 特定画像領域抽出方法及び特定画像領域抽出装置 |
US6404900B1 (en) * | 1998-06-22 | 2002-06-11 | Sharp Laboratories Of America, Inc. | Method for robust human face tracking in presence of multiple persons |
US6782049B1 (en) * | 1999-01-29 | 2004-08-24 | Hewlett-Packard Development Company, L.P. | System for selecting a keyframe to represent a video |
US6792135B1 (en) * | 1999-10-29 | 2004-09-14 | Microsoft Corporation | System and method for face detection through geometric distribution of a non-intensity image property |
US7130446B2 (en) * | 2001-12-03 | 2006-10-31 | Microsoft Corporation | Automatic detection and tracking of multiple individuals using multiple cues |
KR100455294B1 (ko) * | 2002-12-06 | 2004-11-06 | 삼성전자주식회사 | 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치 |
JP4258735B2 (ja) | 2004-10-21 | 2009-04-30 | 富士フイルム株式会社 | 画像処理方法、装置及びプログラム並びにプリンタ |
JP2006166337A (ja) | 2004-12-10 | 2006-06-22 | Ikegami Tsushinki Co Ltd | スキン・ディテール回路 |
US8316301B2 (en) * | 2005-08-04 | 2012-11-20 | Samsung Electronics Co., Ltd. | Apparatus, medium, and method segmenting video sequences based on topic |
US7869631B2 (en) * | 2006-12-11 | 2011-01-11 | Arcsoft, Inc. | Automatic skin color model face detection and mean-shift face tracking |
US8218831B2 (en) * | 2008-06-30 | 2012-07-10 | Cisco Technology, Inc. | Combined face detection and background registration |
US8295557B2 (en) * | 2009-01-12 | 2012-10-23 | Arcsoft Hangzhou Co., Ltd. | Face image processing method |
US8280158B2 (en) * | 2009-10-05 | 2012-10-02 | Fuji Xerox Co., Ltd. | Systems and methods for indexing presentation videos |
-
2012
- 2012-02-29 JP JP2012044507A patent/JP5306500B2/ja not_active Expired - Fee Related
- 2012-11-20 US US13/682,301 patent/US8953883B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09233423A (ja) * | 1996-02-27 | 1997-09-05 | Fuji Photo Film Co Ltd | デジタルプリンタの画像データ変換方法 |
JPH11196317A (ja) * | 1997-12-26 | 1999-07-21 | Minolta Co Ltd | 撮像装置 |
JP2002150440A (ja) * | 2000-11-13 | 2002-05-24 | Fujitsu General Ltd | 監視対象物検出装置 |
JP2008021163A (ja) * | 2006-07-13 | 2008-01-31 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JP2009245363A (ja) * | 2008-03-31 | 2009-10-22 | Mitsubishi Heavy Ind Ltd | 行動認識システム及びその方法 |
Also Published As
Publication number | Publication date |
---|---|
US8953883B2 (en) | 2015-02-10 |
JP5306500B2 (ja) | 2013-10-02 |
US20130223738A1 (en) | 2013-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109379625B (zh) | 视频处理方法、装置、电子设备和计算机可读介质 | |
CN109218802B (zh) | 视频处理方法、装置、电子设备及计算机可读介质 | |
CN109168068B (zh) | 视频处理方法、装置、电子设备及计算机可读介质 | |
US10957093B2 (en) | Scene-based foveated rendering of graphics content | |
CN104375797B (zh) | 一种信息处理方法及电子设备 | |
TWI556639B (zh) | 用於將互動特徵加入視頻之技術 | |
WO2020248900A1 (zh) | 全景视频的处理方法、装置及存储介质 | |
US8274567B2 (en) | Image processing method, apparatus and system | |
US20130083248A1 (en) | Electronic apparatus and video processing method | |
US20130051663A1 (en) | Fast Adaptive Edge-Aware Matting | |
CN113168038A (zh) | 一种显示图像的方法、装置 | |
CN113196378A (zh) | 改进高动态范围显示器的混合层中的可见性的方法和系统 | |
US9020260B2 (en) | Image processing apparatus, image processing method and recording medium | |
WO2019047409A1 (zh) | 图像处理方法、系统、可读存储介质及移动摄像设备 | |
US9374478B1 (en) | Adaptive image sharpening | |
CN113170068A (zh) | 视频帧亮度滤波器 | |
EP2911115B1 (en) | Electronic device and method for color extraction | |
JP5306500B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN109559319B (zh) | 一种法线贴图的处理方法及终端 | |
CN108932142B (zh) | 一种画面捕捉方法及终端 | |
US11373340B2 (en) | Display apparatus and controlling method thereof | |
JP6579101B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20200320122A1 (en) | Electronic device and control method thereof | |
US8873939B2 (en) | Electronic apparatus, control method of electronic apparatus, and computer-readable storage medium | |
AU2015271981A1 (en) | Method, system and apparatus for modifying a perceptual attribute for at least a part of an image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130625 |
|
LAPS | Cancellation because of no payment of annual fees |