JP2020160490A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2020160490A JP2020160490A JP2019055934A JP2019055934A JP2020160490A JP 2020160490 A JP2020160490 A JP 2020160490A JP 2019055934 A JP2019055934 A JP 2019055934A JP 2019055934 A JP2019055934 A JP 2019055934A JP 2020160490 A JP2020160490 A JP 2020160490A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- predetermined
- region
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000004458 analytical method Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims description 52
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 239000011148 porous material Substances 0.000 description 21
- 230000007717 exclusion Effects 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000000611 regression analysis Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
被写体画像を取得する取得手段と、
前記取得手段によって取得された被写体画像の所定の領域に対し所定の処理を施す処理手段と、
前記所定の処理により情報が欠如する領域を特定する特定手段と、
前記特定手段によって特定された領域を除いて前記処理手段による前記所定の処理を実行するよう制御する制御手段と、
を備えることを特徴とする。
図1は、本実施形態に係る撮像装置1の機能的構成を示すブロック図である。図1に示すように、撮像装置1は、制御部101、記憶部102、表示部103、通信部104、操作部105、撮像部106、第1の画像処理部107、画像メモリ108、解析部109、第2の画像処理部110、点灯制御部111、発光部112等を備えて構成されている。制御部101と各部はバスにより接続されている。
やCMOS(Complementary Metal-Oxide Semiconductor)等のイメージセンサ等からなる撮像素子、A/D変換回路等を備えて構成され、撮像レンズ106aを通過した光学像を撮像素子により2次元の画像信号に変換し、被写体の画像データ(RGBの画像データ)を取得する。
解析部109は、特定手段、制御手段、輝度分布取得手段、肌理情報取得手段、検出手段、補正手段、解析手段、修正手段として機能する。
第2の画像処理部110は、処理手段、加工手段として機能する。
次に、撮像装置1の解析部109及び第2の画像処理部110の動作について説明する。
図2は、解析部109及び第2の画像処理部110により実行される処理の概略を示す図である。図2のG1は、第1の画像処理部107で処理された画像データを元画像として、元画像における特異領域及びその周辺のY成分画像(輝度成分画像)を模式的に示した図である。図2のG1において、斜線51は特異領域を表し、ドット52は肌の肌理(キメ)を表し、陰影部53は肌にかかった陰影を表す。この陰影とは、例えば、顔の器官やしわ等による凹凸によって発生するものもあれば、髪、睫毛、眉、もしくはそれらの影によって発生するものもある。図2において、G1全体に肌理52が存在する。また特異領域51(吹き出物等の異物の画像)だけでなく、その特異領域周辺には、陰影53が存在する。
図3に示すように、解析部109は、肌解析部20、保護マップデータ設定部21、低域データ生成部22、エッジ情報生成部23、領域分割部24、陰影用保護マップ生成部25、肌理用保護マップ生成部26を備えて構成されている。また、第2の画像処理部110は、保護マップ境界信頼性判定部27、補正処理部28、透過合成処理部29、合成処理部30を備えて構成されている。以下、図3を参照して、解析部109と第2の画像処理部110の処理について説明する。
例えば、保護マップデータ設定部21は、まず、記憶部102に記憶されている基本の楕円サイズの保護除外領域を有する基本の保護マップを読み出す。次いで、肌解析部20において算出された毛穴サイズデータの平均データ(size_ave)と毛穴サイズデータの標準偏差データ(size_sd)を足し合わせた値に基づいて毛穴サイズの半径を求め、求めた半径を基本の保護マップの楕円の半径に足した保護除外領域を有する保護マップM1、求めた半径を基本の保護マップの楕円の半径から引いた楕円サイズの保護除外領域を有する保護マップM2を生成する。
なお、毛穴サイズは、一般的には個人差が少ないため、予め2種類のサイズの保護マップM1、M2を生成して記憶部102に記憶することとしてもよい。また、本実施形態ではテンプレートとして2種類のサイズの保護マップM1,M2を生成することとしたが、これに限らず、サイズに応じて複数種生成してもよい。サイズが多ければ多い程、より精度の高い特異領域の補正が可能となる。
面積共有率は、大サイズの保護マップと小サイズの保護マップのそれぞれにおける保護マップの面積に対する保護エッジ(保護対象領域に追加された面積)の面積の割合である。保護エッジの割合が少ない方(共有率が低い方)が信頼度が高い。
境界回帰分析一致率は、大サイズの保護マップと小サイズの保護マップのそれぞれにおいて、保護除外領域との境界に回帰分析を行った場合に回帰分析結果の範囲内にどのくらい境界値があるかを示す値である。境界回帰分析一致率が少ない場合、信頼度を下げる。
なお、上述の信頼度の算出手法は例示であって、信頼度判断の考え方や具体的な方法についてはこれに限定されるものではない。
尚、上記の補正処理は、主に平滑化処理(肌状態を滑らかにする処理、透明感をもたせる処理)が用いられるが、この他、色補正処理(より自然な肌色に補正する処理)も用いる場合もある。
補正処理部28は、大サイズの保護マップで補正処理されたYUV各成分画像と、小サイズの保護マップで補正処理されたYUV各成分画像を透過合成処理部29に出力する。
したがって、被写体画像の特異領域に所定の処理を施すことによって不自然に見えてしまうことを抑制することができる。
肌理のみを保護する場合、元画像のY成分画像に基づいて、保護除外領域のサイズの異なる複数の肌理用保護マップを生成し、複数の肌理用保護マップの夫々を用いて元画像のYUV成分画像に補正処理を施し、複数の肌理用保護マップの夫々を用いて補正処理された画像領域の夫々の信頼度を求め、信頼度に基づいて画素ごとにα値を算出して複数の肌理用保護マップの夫々を用いて補正された複数の画像の透過合成を行う。また、Y成分画像から取得した肌理情報を透過合成した画像に付加して所定のα値で元画像のYUV成分画像に合成する。
陰影のみを保護する場合、元画像のY成分画像に基づいて、保護除外領域のサイズの異なる複数の陰影用保護マップを生成し、複数の陰影用保護マップの夫々を用いて元画像のYUV成分画像に補正処理を施し、複数の陰影用保護マップの夫々を用いて補正処理された画像領域の夫々の信頼度を求め、信頼度に基づいて画素ごとにα値を算出して複数の陰影用保護マップの夫々を用いて補正された複数の画像の透過合成を行う。そして、透過合成した画像を所定のα値で元画像のYUV成分画像に合成する。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
[付記]
<請求項1>
被写体画像を取得する取得手段と、
前記取得手段によって取得された被写体画像の所定の領域に対し所定の処理を施す処理手段と、
前記所定の処理により情報が欠如する領域を特定する特定手段と、
前記特定手段によって特定された領域を除いて前記処理手段による前記所定の処理を実行するよう制御する制御手段と、
を備えることを特徴とする画像処理装置。
<請求項2>
前記被写体画像における輝度の分布状態を取得する輝度分布取得手段を更に備え、
前記特定手段は、前記輝度分布取得手段によって取得された輝度分布の状態に基づいて前記情報が欠如する領域を特定することを特徴とする請求項1記載の画像処理装置。
<請求項3>
前記特定手段により特定される領域は、前記被写体画像における被写体の陰影状態を示す領域であることを特徴とする請求項1又は2に記載の画像処理装置。
<請求項4>
前記取得手段によって取得された被写体画像から被写体の肌理情報を取得する肌理情報取得手段と、
前記肌理情報取得手段によって取得された肌理情報に基づいて、前記被写体画像を加工する加工手段と、
をさらに備えることを特徴とする請求項1〜3のいずれか一項に記載の画像処理装置。
<請求項5>
前記被写体画像から、その周辺とは異なる特異領域を検出する検出手段と、
前記検出手段によって検出された特異領域を前記周辺に対し目立たなくするよう補正する補正手段と、
を備え、
前記加工手段は、前記補正手段によって目立たなくなるよう補正された特異領域に対し、前記肌理情報取得手段によって取得された肌理情報に基づいて加工することを特徴とする請求項4に記載の画像処理装置。
<請求項6>
前記処理手段は、
前記所定の領域を囲む形状を模した複数種のサイズのマスクデータを用いて、このマスクデータによって囲まれる前記所定の領域を含む画像領域で前記所定の処理を夫々施し、
前記複数種のサイズのマスクデータの夫々を用いて前記所定の処理が施された画像領域の夫々の信頼性情報を取得する信頼性情報取得手段と、
前記信頼性情報取得手段によって取得された信頼性情報に基づき、前記処理手段が処理した夫々のマスクデータ内の所定の処理の結果を影響度を変えて合成する合成手段と、
をさらに備えることを特徴とする請求項1〜5のいずれか一項に記載の画像処理装置。
<請求項7>
前記被写体画像を輝度情報から解析する解析手段と、
前記解析手段による解析結果に基づいて、前記複数種のマスクデータの形状を修正する修正手段と、
をさらに備えることを特徴とする請求項6記載の画像処理装置。
<請求項8>
前記所定の処理は、平滑化処理であることを特徴とする請求項1〜7のいずれか一項に記載の画像処理装置。
<請求項9>
前記被写体画像は、人の肌領域を含む画像であることを特徴とする請求項1〜8のいずれか一項に記載の画像処理装置。
<請求項10>
画像処理装置における画像処理方法であって、
被写体画像を取得する工程と、
処理手段により前記取得された被写体画像の所定の領域に対し所定の処理を施す工程と、
前記所定の処理により情報が欠如する領域を特定する工程と、
前記特定された領域を除いて前記処理手段により前記所定の処理を実行するよう制御する工程と、
を含むことを特徴とする画像処理方法。
<請求項11>
コンピュータを、
被写体画像を取得する取得手段、
前記取得手段によって取得された被写体画像の所定の領域に対し所定の処理を施す処理手段、
前記所定の処理により情報が欠如する領域を特定する特定手段、
前記特定手段によって特定された領域を除いて前記処理手段による前記所定の処理を実行するよう制御する制御手段、
として機能させるためのプログラム。
101 制御部
102 記憶部
103 表示部
104 通信部
105 操作部
106 撮像部
106a 撮像レンズ
107 第1の画像処理部
108 画像メモリ
109 解析部
20 肌解析部
21 保護マップデータ設定部
22 低域データ生成部
23 エッジ情報生成部
24 領域分割部
25 陰影用保護マップ生成部
26 肌理用保護マップ生成部
27 保護マップ境界信頼性判定部
110 第2の画像処理部
28 補正処理部
29 透過合成処理部
30 合成処理部
111 点灯制御部
112 発光部
Claims (11)
- 被写体画像を取得する取得手段と、
前記取得手段によって取得された被写体画像の所定の領域に対し所定の処理を施す処理手段と、
前記所定の処理により情報が欠如する領域を特定する特定手段と、
前記特定手段によって特定された領域を除いて前記処理手段による前記所定の処理を実行するよう制御する制御手段と、
を備えることを特徴とする画像処理装置。 - 前記被写体画像における輝度の分布状態を取得する輝度分布取得手段を更に備え、
前記特定手段は、前記輝度分布取得手段によって取得された輝度分布の状態に基づいて前記情報が欠如する領域を特定することを特徴とする請求項1記載の画像処理装置。 - 前記特定手段により特定される領域は、前記被写体画像における被写体の陰影状態を示す領域であることを特徴とする請求項1又は2に記載の画像処理装置。
- 前記取得手段によって取得された被写体画像から被写体の肌理情報を取得する肌理情報取得手段と、
前記肌理情報取得手段によって取得された肌理情報に基づいて、前記被写体画像を加工する加工手段と、
をさらに備えることを特徴とする請求項1〜3のいずれか一項に記載の画像処理装置。 - 前記被写体画像から、その周辺とは異なる特異領域を検出する検出手段と、
前記検出手段によって検出された特異領域を前記周辺に対し目立たなくするよう補正する補正手段と、
を備え、
前記加工手段は、前記補正手段によって目立たなくなるよう補正された特異領域に対し、前記肌理情報取得手段によって取得された肌理情報に基づいて加工することを特徴とする請求項4に記載の画像処理装置。 - 前記処理手段は、
前記所定の領域を囲む形状を模した複数種のサイズのマスクデータを用いて、このマスクデータによって囲まれる前記所定の領域を含む画像領域で前記所定の処理を夫々施し、
前記複数種のサイズのマスクデータの夫々を用いて前記所定の処理が施された画像領域の夫々の信頼性情報を取得する信頼性情報取得手段と、
前記信頼性情報取得手段によって取得された信頼性情報に基づき、前記処理手段が処理した夫々のマスクデータ内の所定の処理の結果を影響度を変えて合成する合成手段と、
をさらに備えることを特徴とする請求項1〜5のいずれか一項に記載の画像処理装置。 - 前記被写体画像を輝度情報から解析する解析手段と、
前記解析手段による解析結果に基づいて、前記複数種のマスクデータの形状を修正する修正手段と、
をさらに備えることを特徴とする請求項6記載の画像処理装置。 - 前記所定の処理は、平滑化処理であることを特徴とする請求項1〜7のいずれか一項に記載の画像処理装置。
- 前記被写体画像は、人の肌領域を含む画像であることを特徴とする請求項1〜8のいずれか一項に記載の画像処理装置。
- 画像処理装置における画像処理方法であって、
被写体画像を取得する工程と、
処理手段により前記取得された被写体画像の所定の領域に対し所定の処理を施す工程と、
前記所定の処理により情報が欠如する領域を特定する工程と、
前記特定された領域を除いて前記処理手段により前記所定の処理を実行するよう制御する工程と、
を含むことを特徴とする画像処理方法。 - コンピュータを、
被写体画像を取得する取得手段、
前記取得手段によって取得された被写体画像の所定の領域に対し所定の処理を施す処理手段、
前記所定の処理により情報が欠如する領域を特定する特定手段、
前記特定手段によって特定された領域を除いて前記処理手段による前記所定の処理を実行するよう制御する制御手段、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019055934A JP7400198B2 (ja) | 2019-03-25 | 2019-03-25 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019055934A JP7400198B2 (ja) | 2019-03-25 | 2019-03-25 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020160490A true JP2020160490A (ja) | 2020-10-01 |
JP7400198B2 JP7400198B2 (ja) | 2023-12-19 |
Family
ID=72643218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019055934A Active JP7400198B2 (ja) | 2019-03-25 | 2019-03-25 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7400198B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001118064A (ja) * | 1999-10-20 | 2001-04-27 | Nippon Hoso Kyokai <Nhk> | 画像処理装置 |
JP2004303193A (ja) * | 2003-03-20 | 2004-10-28 | Omron Corp | 画像処理装置 |
JP2006018467A (ja) * | 2004-06-30 | 2006-01-19 | Canon Inc | 画像処理装置及び方法 |
JP2006133874A (ja) * | 2004-11-02 | 2006-05-25 | Canon Inc | 画像処理方法及びその装置 |
-
2019
- 2019-03-25 JP JP2019055934A patent/JP7400198B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001118064A (ja) * | 1999-10-20 | 2001-04-27 | Nippon Hoso Kyokai <Nhk> | 画像処理装置 |
JP2004303193A (ja) * | 2003-03-20 | 2004-10-28 | Omron Corp | 画像処理装置 |
JP2006018467A (ja) * | 2004-06-30 | 2006-01-19 | Canon Inc | 画像処理装置及び方法 |
JP2006133874A (ja) * | 2004-11-02 | 2006-05-25 | Canon Inc | 画像処理方法及びその装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7400198B2 (ja) | 2023-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5547730B2 (ja) | 顔検知を用いた顔及び肌の自動美化 | |
CN110111245B (zh) | 图像处理方法、装置、终端及计算机可读存储介质 | |
JP5463866B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP4214420B2 (ja) | 瞳色補正装置およびプログラム | |
US9135726B2 (en) | Image generation apparatus, image generation method, and recording medium | |
JP6859611B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN109191393B (zh) | 基于三维模型的美颜方法 | |
CN108682050B (zh) | 基于三维模型的美颜方法和装置 | |
JP2017523491A (ja) | 3dスキャンされるオブジェクトに関する色情報を収集するためのシステム、方法、装置、及びコンピュータ可読記憶媒体 | |
US20170154437A1 (en) | Image processing apparatus for performing smoothing on human face area | |
CN111526279B (zh) | 图像处理装置、图像处理方法和记录介质 | |
CN109639959A (zh) | 图像处理装置、图像处理方法以及记录介质 | |
JP2018106720A (ja) | 画像処理装置及びその方法 | |
JP7114335B2 (ja) | 画像処理装置、画像処理装置の制御方法、及び、プログラム | |
US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored | |
JP7292905B2 (ja) | 画像処理装置及び画像処理方法、及び撮像装置 | |
JP5203159B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
JP7400198B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7383891B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4742068B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
JP2019074795A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN111083345B (zh) | 独照生成装置和方法及其非易失性计算机可读媒体 | |
JP2021193624A (ja) | 認識装置、認識方法及び認識プログラム | |
JP2005128600A (ja) | 画像処理方法及び被写体撮影システム | |
CN111047520B (zh) | 图像处理装置、图像处理方法以及记录介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7400198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |