JP2021069004A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2021069004A JP2021069004A JP2019192719A JP2019192719A JP2021069004A JP 2021069004 A JP2021069004 A JP 2021069004A JP 2019192719 A JP2019192719 A JP 2019192719A JP 2019192719 A JP2019192719 A JP 2019192719A JP 2021069004 A JP2021069004 A JP 2021069004A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- image
- color
- image data
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 154
- 238000003672 processing method Methods 0.000 title claims 3
- 238000012937 correction Methods 0.000 claims abstract description 101
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 78
- 230000008569 process Effects 0.000 claims description 59
- 230000008859 change Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 description 86
- 238000011161 development Methods 0.000 description 54
- 230000003287 optical effect Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
Description
まず、本実施形態における画像処理装置を有する撮像装置について説明する。
<撮像装置の外観>
図1は、本実施形態における画像処理装置を有する撮像装置の一例を示す外観図である。図1(a)は撮像装置の前面の外観を示しており、図1(b)は撮像装置の背面の外観を示している。撮像装置101は、光学部102、撮像ボタン103、ストロボ104、距離画像取得部105、表示部106、及び操作ボタン107を有する。
図2は、本実施形態における画像処理装置を有する撮像装置の内部構成例を示すブロック図である。CPU201は、各構成部の処理に関わり、ROM(Read Only Memory)202やRAM(Random Access Memory)203に格納された命令を順に読み込み、解釈し、その解釈結果に従って処理を実行する。ROM202は、CPU201により実行されるプログラムなどを記憶する。RAM203は、CPU201により実行されるプログラムや各種画像データなどを記憶する。
図3は、本実施形態における画像処理装置としての画像処理部208の機能構成例を示すブロック図である。現像パラメータ設定部301は、RAM203から取得したRAW画像データの撮影情報や制御部205から得られるユーザ操作に応じた情報に基づいて、現像パラメータを設定する。現像パラメータは、ホワイトバランスなどを含む。
図4は、第1の実施形態における画像処理部208の処理例を示すフローチャートである。図4には、ライティング補正処理の例を示している。図4に示す処理において、画像処理部208は、先ず、カラー画像データに対応する法線画像データを生成する。また、画像処理部208は、ユーザ操作などに基づいて設定された現像パラメータに基づいてRAW画像データに対して現像処理を施しカラー画像データを生成する。また、画像処理部208は、ユーザ操作などに基づいて設定された照明パラメータを現像パラメータに含まれるホワイトバランスの変化量に基づいて補正する。そして、画像処理部208は、距離画像データと法線画像データ、及び補正した照明パラメータに基づいて、カラー画像データに対してライティング補正処理を施し光沢感を補正した補正画像データを生成する。なお、本実施形態におけるライティング補正処理は、光沢成分生成処理と光沢成分付与処理とを有する。以下、図4を参照して、画像処理部208の動作手順の詳細について説明する。
ここでは、図4に示したステップS401において法線生成部303が行う法線画像生成処理について説明する。本実施形態における法線画像生成処理は、距離画像データに基づいて法線画像データを取得する。法線生成部303は、先ず、距離画像データにおける各画素の2次元的な座標値と各画素に格納された距離値とに基づいて、画素毎に3次元的な座標値を算出する。法線生成部303は、次に、3次元的な座標値に基づいて、画素毎に対応する法線ベクトルを算出する。
ここでは、図4に示したステップS405において照明パラメータ補正部306が行う照明パラメータ補正処理について説明する。図9は、第1の実施形態における照明パラメータ補正処理の例を示すフローチャートである。本実施形態における照明パラメータ補正処理は、現像パラメータに含まれるホワイトバランス値の変化量に基づいて、照明パラメータに含まれる光源色パラメータを補正する。
ここでは、図4に示したステップS406において光学成分生成部307が行う光沢成分生成処理につて説明する。本実施形態における光沢成分生成処理は、距離画像データ及び法線画像データに基づき、ユーザ操作によって設定された照明パラメータに応じてカラー画像データに対して仮想照明として仮想光源を加えることにより光沢成分画像データを生成する。仮想照明による光沢の強度は、既存の鏡面反射を表すBlinn−PhongモデルやTorrance-Sparrowモデル等に従って算出することができる。本実施形態では、光学成分生成部307は、まず照明パラメータに含まれる仮想照明の位置、強度αに基づき、下記の(式7)に従って光沢強度画像データSを生成する。
前述した説明では、ホワイトバランス処理後のカラー画像データに対して光沢成分画像データを加えるようにしているが、処理の順序はこれに限らない。ホワイトバランス処理前のカラー画像データに対して光沢成分画像データを加え、その後、ホワイトバランス処理を施してもかまわない。以下、この場合の処理手順について図4に示したフローチャートに従い、前述した画像処理部208の動作との差分を説明する。具体的には、図4に示したステップS404〜S407の処理が異なる。
ステップS404において、現像処理部302は、RAW画像データに対してノイズリダクション処理やデモザイク処理を施し各画素にRGB値が画素値として格納されたカラー画像データIを生成する。なお、ホワイトバランス処理は、このステップS404の処理では行わず、以降のステップS407において行う。
前述した第1の実施形態では、画像処理部208は、ホワイトバランス値の変更量のみに基づいて照明パラメータ(光源色パラメータ)を補正する。以下に説明する第2の実施形態では、画像処理部208は、ホワイトバランス値とカラー画像データの高輝度領域の色とに基づいて照明パラメータ(光源色パラメータ)を補正する。前述した第1の実施形態では、光沢成分の色が光源色と等しくなる被写体が主な対象となるが、被写体の反射特性によって光沢成分の色が光源色とは異なる場合もある。第2の実施形態では、撮影画像中に反射特性の異なる被写体が存在する場合においても違和感なく撮影画像における被写体の立体感を補正することが可能となる。
<第2実施形態における画像処理部の動作>
図11は、第2の実施形態における画像処理部208の処理例を示すフローチャートである。図11には、ライティング補正処理の例を示している。
ステップS1101において、法線生成部303は、RAM203から取得した距離画像データに基づきカラー画像データに対応する法線画像データを生成する。
ステップS1102において、現像パラメータ設定部301は、RAM203から取得したRAW画像データに含まれる撮影情報と制御部205から取得したユーザ操作に応じた情報とに基づいて現像パラメータを設定する。
ステップS1103において、照明パラメータ設定部304は、制御部205から取得したユーザ操作に応じた情報に基づいて照明パラメータ設定する。
ステップS404において、現像処理部302は、現像パラメータ設定部301により設定された現像パラメータに基づいて、RAM203から取得したRAW画像データに現像処理を施してカラー画像データを生成する。
ステップS1108において、光沢成分付与部308は、現像処理部302から取得したカラー画像データと光沢成分生成部307により生成された光沢成分画像データとを合成することによって、光沢感を補正した補正画像データを生成する。
ステップS1109において、画像処理部208は、ステップS1108において生成した補正画像データを表示部106に出力することで補正画像データを表示する。
ステップS1110において、画像処理部208は、制御部206から取得したユーザ操作に応じた情報に基づいて、ライティング補正処理を終了するか否かを判定する。ライティング補正処理を終了すると判定した場合(YES)にはステップS1111へ進み、ライティング補正処理を終了しないと判定した場合(NO)にはステップS1102へ進む。
ここでは、図11に示したステップS1106において照明パラメータ補正部306が行う照明パラメータ補正処理について説明する。本実施形態における照明パラメータ補正処理は、現像パラメータに含まれるホワイトバランス値の変化量と、カラー画像データにおける高輝度領域の色情報とに基づいて、照明パラメータに含まれる光源色パラメータを補正する。図12は、第2の実施形態における照明パラメータ補正処理の例を示すフローチャートである。
補正後の光源色パラメータM’に更新する。そして、補正後の光源色パラメータM’に基づいて、照明パラメータ設定画面の光沢色入力領域702〜704に表示する値や光源色表示領域701に表示する色を更新する。以上の処理により、照明パラメータ補正部306は照明パラメータに含まれる光源色パラメータを補正する。
前述した説明では、ホワイトバランス処理後のカラー画像データに対して光沢成分画像データを加えるようにしているが、処理の順序はこれに限らない。ホワイトバランス処理前のカラー画像データに対して光沢成分画像データを加え、その後、ホワイトバランス処理を施してもかまわない。以下、この場合の処理手順について図11に示したフローチャートに従い、前述した画像処理部208の動作との差分を説明する。具体的には、図11に示したステップS1104及びステップS1106〜S1108の処理が異なる。
ステップS1104において、現像処理部302は、RAW画像データに対してノイズリダクション処理やデモザイク処理を施し各画素にRGB値が画素値として格納されたカラー画像データIを生成する。
ステップS1106において、照明パラメータ補正部306は、現像パラメータとカラー画像データにおける高輝度領域の色情報とに基づいて光源色パラメータを補正する。ここでは、図12に示したフローチャートに従って処理を行うが、ステップS1204、S1205での処理が異なる。ステップS1204では、照明パラメータ補正部306は、まず、前述した(式9)に従ってホワイトバランス値に基づく補正を行い光源色パラメータL”を取得する。次に、照明パラメータ補正部306は、下記の(式14)に従い高輝度領域の色情報に基づく補正を行う。
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (9)
- 撮影画像と仮想光源による光沢成分画像とを合成して補正画像を生成する画像処理装置であって、
前記仮想光源の光源色を設定する設定手段と、
前記撮影画像の色調に基づいて、設定された前記仮想光源の光源色を補正する第1の補正手段と、
補正された前記仮想光源の光源色での前記撮影画像の被写体に対応する前記光沢成分画像を生成する生成手段と、
前記撮影画像と生成された前記光沢成分画像を合成して前記補正画像を生成する合成手段とを有することを特徴とする画像処理装置。 - 前記第1の補正手段は、前記撮影画像の色調が変更された場合に、前記色調の変更量に基づいて、設定された前記仮想光源の光源色を補正することを特徴とする請求項1記載の画像処理装置。
- 設定された前記色調に応じて前記撮影画像を補正する第2の補正手段を有し、
前記合成手段は、補正された前記撮影画像と生成された前記光沢成分画像とを合成することを特徴とする請求項1又は2記載の画像処理装置。 - 前記撮影画像から輝度が所定のしきい値より高い高輝度領域を抽出する抽出手段を有し、
前記第1の補正手段は、前記撮影画像の色調及び前記高輝度領域の色情報に基づいて、設定された前記仮想光源の光源色を補正することを特徴とする請求項1〜3の何れか1項に記載の画像処理装置。 - 前記仮想光源の光源色を表示する表示手段を有することを特徴とする請求項1〜4の何れか1項に記載の画像処理装置。
- 前記生成手段は、前記撮影画像に対応する距離画像、前記距離画像から生成される法線画像、及び補正された前記仮想光源の光源色の情報を含む前記仮想光源に係る情報に基づいて、前記光沢成分画像を生成することを特徴とする請求項1〜5の何れか1項に記載の画像処理装置。
- 前記第1の補正手段による前記仮想光源の光源色の補正を行うか否かを切り換え可能であることを特徴とする請求項1〜6の何れか1項に記載の画像処理装置。
- 撮影画像と仮想光源による光沢成分画像とを合成して補正画像を生成する画像処理方法であって、
前記仮想光源の光源色を設定する設定工程と、
前記撮影画像の色調に基づいて、設定された前記仮想光源の光源色を補正する第1の補正工程と、
補正された前記仮想光源の光源色での前記撮影画像の被写体に対応する前記光沢成分画像を生成する生成工程と、
前記撮影画像と生成された前記光沢成分画像を合成して前記補正画像を生成する合成工程とを有することを特徴とする画像処理方法。 - 撮影画像と仮想光源による光沢成分画像とを合成して補正画像を生成する画像処理装置のコンピュータに、
前記仮想光源の光源色を設定する設定ステップと、
前記撮影画像の色調に基づいて、設定された前記仮想光源の光源色を補正する第1の補正ステップと、
補正された前記仮想光源の光源色での前記撮影画像の被写体に対応する前記光沢成分画像を生成する生成ステップと、
前記撮影画像と生成された前記光沢成分画像を合成して前記補正画像を生成する合成ステップとを実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019192719A JP2021069004A (ja) | 2019-10-23 | 2019-10-23 | 画像処理装置、画像処理方法、及びプログラム |
US17/071,864 US11265524B2 (en) | 2019-10-23 | 2020-10-15 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019192719A JP2021069004A (ja) | 2019-10-23 | 2019-10-23 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021069004A true JP2021069004A (ja) | 2021-04-30 |
JP2021069004A5 JP2021069004A5 (ja) | 2022-10-31 |
Family
ID=75586502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019192719A Pending JP2021069004A (ja) | 2019-10-23 | 2019-10-23 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11265524B2 (ja) |
JP (1) | JP2021069004A (ja) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016213718A (ja) | 2015-05-11 | 2016-12-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
-
2019
- 2019-10-23 JP JP2019192719A patent/JP2021069004A/ja active Pending
-
2020
- 2020-10-15 US US17/071,864 patent/US11265524B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20210127103A1 (en) | 2021-04-29 |
US11265524B2 (en) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11948282B2 (en) | Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data | |
US10997696B2 (en) | Image processing method, apparatus and device | |
KR102338576B1 (ko) | 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법 | |
KR102306304B1 (ko) | 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체 | |
US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
JP6576083B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2019109805A1 (zh) | 图像处理方法和装置 | |
KR102266649B1 (ko) | 이미지 처리 방법 및 장치 | |
CN108846807B (zh) | 光效处理方法、装置、终端及计算机可读存储介质 | |
JP2020528622A (ja) | 画像処理方法、装置および機器 | |
KR102304784B1 (ko) | 더블 카메라 기반 이미징 방법 및 장치 | |
KR20200023651A (ko) | 미리보기 사진 블러링 방법 및 장치 및 저장 매체 | |
JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
CN107872631B (zh) | 基于双摄像头的图像拍摄方法、装置及移动终端 | |
CN108052883B (zh) | 用户拍照方法、装置及设备 | |
JP2018163648A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2021044710A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6896811B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2017138927A (ja) | 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム | |
JP2019062436A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7321772B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2021069004A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7102192B2 (ja) | 画像処理装置、その制御方法、プログラム | |
WO2020084894A1 (ja) | マルチカメラシステム、制御値算出方法及び制御装置 | |
WO2018180860A1 (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221021 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221021 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240416 |