JP2014142836A - Processing apparatus, processing system, processing method, and program - Google Patents
Processing apparatus, processing system, processing method, and program Download PDFInfo
- Publication number
- JP2014142836A JP2014142836A JP2013011331A JP2013011331A JP2014142836A JP 2014142836 A JP2014142836 A JP 2014142836A JP 2013011331 A JP2013011331 A JP 2013011331A JP 2013011331 A JP2013011331 A JP 2013011331A JP 2014142836 A JP2014142836 A JP 2014142836A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- dimensional image
- dimensional
- subject
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 114
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000012937 correction Methods 0.000 claims abstract description 53
- 238000003384 imaging method Methods 0.000 claims description 29
- 230000007547 defect Effects 0.000 abstract description 20
- 238000006243 chemical reaction Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 17
- 206010000496 acne Diseases 0.000 description 13
- 208000002874 Acne Vulgaris Diseases 0.000 description 12
- 238000003702 image correction Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、処理装置、処理システム、処理方法及びプログラムに関する。 The present invention relates to a processing apparatus, a processing system, a processing method, and a program.
近年、デジタルスチールカメラやデジタルビデオカメラ等の普及により、撮影機会が著しく増えている。カメラ等を用いた撮影では、コマーシャル撮影や証明写真の様な商用撮影から、一般的なスナップ写真に至るまで、人物が被写体となる場合が多い。 In recent years, with the spread of digital still cameras, digital video cameras, and the like, photography opportunities have increased significantly. In photography using a camera or the like, a person often becomes a subject from commercial photography such as commercial photography and ID photography to general snapshot photography.
撮影に使用されるカメラは、撮像素子の高解像度化が進んだことにより、簡単に高画質画像の撮影が可能になっている。このため、従来であれば気にならなかった様な被写体上の欠点や不要物までもが撮影された画像に鮮明に再現される様になってきている。 Cameras used for photographing can easily shoot high-quality images as the resolution of the image sensor has increased. For this reason, defects and unnecessary objects on the subject that were not noticed in the past are clearly reproduced in the captured image.
人物の顔を被写体とする場合には、被写体上の欠点や不要物としては、例えばニキビ、シミ、傷、小皺、ホクロ、無精髭等が挙げられる。特にコマーシャルや証明写真等に用いられる画像では、最終画像を見る側に与える印象が非常に重要になるため、上記した様な欠点や不要物を除去する画像修正作業が必要になる。 In the case of using a human face as a subject, examples of defects and unnecessary items on the subject include acne, stains, scratches, gavel, mole, and stubble. In particular, in an image used for commercials, ID photographs, and the like, the impression given to the viewer of the final image is very important, and thus the above-described image correction work for removing defects and unnecessary objects is necessary.
画像修正作業は、例えば市販されている画像処理ソフト等を用いて行うのが一般的であるが、例えば顔の肌部にある上記欠点を違和感無く除去するには高い技術と豊富な経験とを必要とする。更に、上記したニキビやシミ等の欠点や不要物が複数且つ広範囲に存在する場合には、高い技術を駆使したとしても非常に手間の掛かる作業となる。 Image correction work is generally performed using, for example, commercially available image processing software. However, for example, high technology and abundant experience are required to remove the above-mentioned defects on the skin of the face without a sense of incongruity. I need. Furthermore, when there are a plurality of defects and unnecessary items such as acne and stains in a wide range, even if a high technology is used, it is very laborious.
特に人物の肌は、被写体の中でも非常に見慣れた部位であるだけに、人間の視覚は肌の微妙な変化に敏感になっている。したがって、画像修正作業により上記欠点や不要物を除去出来たとしても、例えば修正箇所とその周辺部分との間で僅かでも連続性が欠けると全体として違和感のある画像として認識されてしまう可能性がある。 In particular, human skin is sensitive to subtle changes in skin because human skin is a very familiar part of the subject. Therefore, even if the above-mentioned defects and unnecessary objects can be removed by the image correction work, for example, if there is a slight continuity between the corrected portion and its peripheral portion, there is a possibility that the image will be recognized as an uncomfortable image as a whole. is there.
そこで、顔画像の肌部から上記欠点や不要物を除去する技術として、欠点や不要物が無い顔画像の統計的特徴量モデルを用いて、修正対象の顔画像データから欠点等の要素を除去する画像処理方法が提案されている（例えば、特許文献１参照）。 Therefore, as a technique for removing the above-mentioned defects and unnecessary objects from the skin portion of the face image, elements such as defects are removed from the face image data to be corrected using a statistical feature quantity model of the face image having no defects and unnecessary objects. An image processing method has been proposed (see, for example, Patent Document 1).
しかしながら、特許文献１に係る画像処理方法では、欠点や不要物を有さない複数の顔画像を統計処理した統計的特徴量モデルが予め必要となる。また、顔画像からの欠点や不要物の除去精度を向上させるために、顔部位毎の統計的特徴量モデルを予め用意する必要があり、簡易な作業で画像から欠点や不要物等を除去出来ない可能性がある。 However, in the image processing method according to Patent Document 1, a statistical feature amount model obtained by statistically processing a plurality of face images having no defects or unnecessary objects is required in advance. In addition, in order to improve the accuracy of removing defects and unwanted objects from the face image, it is necessary to prepare a statistical feature model for each facial part in advance, and defects and unwanted objects can be removed from the image with simple operations. There is no possibility.
本発明は上記に鑑みてなされたものであって、簡易な作業で画像から欠点や不要物を違和感無く除去することが可能な処理装置を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a processing apparatus capable of removing defects and unnecessary objects from an image without a sense of incongruity by a simple operation.
本発明の一態様の処理装置によれば、被写体の二次元画像データ及び前記被写体の三次元画像データを取得する取得手段と、前記二次元画像データから参照領域を取得する参照領域取得手段と、前記参照領域が展開された前記三次元画像データに基づいて、前記二次元画像データに対応する二次元の参照画像を生成する生成手段と、前記二次元画像データから選択される修正領域を、前記参照画像の前記修正領域に対応する領域を用いて置換する置換手段と、を有する。 According to the processing apparatus of one aspect of the present invention, an acquisition unit that acquires two-dimensional image data of a subject and three-dimensional image data of the subject, a reference region acquisition unit that acquires a reference region from the two-dimensional image data, Based on the three-dimensional image data in which the reference area is developed, a generating means for generating a two-dimensional reference image corresponding to the two-dimensional image data, and a correction area selected from the two-dimensional image data, Replacement means for performing replacement using a region corresponding to the correction region of the reference image.
本発明の実施形態によれば、簡易な作業で画像から欠点や不要物を違和感無く除去することが可能な処理装置を提供できる。 According to the embodiment of the present invention, it is possible to provide a processing apparatus capable of removing defects and unnecessary objects from an image without a sense of incongruity by a simple operation.
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。 Hereinafter, embodiments for carrying out the invention will be described with reference to the drawings. In the drawings, the same components are denoted by the same reference numerals, and redundant description may be omitted.
〔第１の実施形態〕
＜処理システムのハードウェア構成＞
図１に、第１の実施形態の処理システム５００のハードウェア構成を例示する。
[First Embodiment]
<Hardware configuration of processing system>
FIG. 1 illustrates a hardware configuration of a processing system 500 according to the first embodiment.
図１に示す様に、処理システム５００は、撮像装置１００、処理装置１０１を有する。 As illustrated in FIG. 1, the processing system 500 includes an imaging device 100 and a processing device 101.
撮像装置１００は、被写体を撮像し、被写体の二次元画像データ及び三次元画像データを取得して内部メモリ又は記憶媒体に一時保存する。三次元画像データは、被写体を取り囲む空間における被写体表面の離散的な三次元座標情報であり、例えばステレオ法やレーザーレンジファインダによって取得できる。例えば、ステレオ法では、異なる２つの位置から撮影された被写体画像上の位置差異に基づく三角測量により奥行き推定を行うことで、三次元画像データを取得できる。 The imaging apparatus 100 images a subject, acquires 2D image data and 3D image data of the subject, and temporarily stores them in an internal memory or a storage medium. The three-dimensional image data is discrete three-dimensional coordinate information on the surface of the subject in a space surrounding the subject, and can be acquired by, for example, a stereo method or a laser range finder. For example, in the stereo method, three-dimensional image data can be acquired by performing depth estimation by triangulation based on a position difference on a subject image taken from two different positions.
処理装置１０１は、撮像装置Ｉ／Ｆ部１０２、制御部１０３、主記憶部１０４、補助記憶部１０５、外部記憶装置Ｉ／Ｆ部１０６、ネットワークＩ／Ｆ部１０７、操作部１０８、表示部１０９を有し、それぞれバスＢを介して相互に接続されている。 The processing device 101 includes an imaging device I / F unit 102, a control unit 103, a main storage unit 104, an auxiliary storage unit 105, an external storage device I / F unit 106, a network I / F unit 107, an operation unit 108, and a display unit 109. Are connected to each other via a bus B.
撮像装置Ｉ／Ｆ部１０２は、例えばＵＳＢ（Universal Serial Bus）等のデータ伝送路を介して接続される撮像装置１００と処理装置１０１とのインターフェイスである。処理装置１０１は、撮像装置Ｉ／Ｆ部１０２を介して撮像装置１００から、被写体の二次元画像データ及び三次元画像データを取得できる。 The imaging device I / F unit 102 is an interface between the imaging device 100 and the processing device 101 connected via a data transmission path such as USB (Universal Serial Bus). The processing apparatus 101 can acquire 2D image data and 3D image data of a subject from the imaging apparatus 100 via the imaging apparatus I / F unit 102.
制御部１０３は、コンピュータの中で、各部の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部１０３は、主記憶部１０４に記憶されたプログラムを実行する演算装置であり、入力装置や記憶装置からデータを受け取り、演算、加工した上で、出力装置や記憶装置等に出力する。 The control unit 103 is a CPU (Central Processing Unit) that performs control of each unit, calculation of data, and processing in the computer. The control unit 103 is an arithmetic device that executes a program stored in the main storage unit 104. The control unit 103 receives data from an input device or a storage device, calculates and processes the data, and outputs the data to an output device or a storage device. .
主記憶部１０４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等であり、制御部１０３が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェア等のプログラムやデータを記憶又は一時保存する記憶装置である。 The main storage unit 104 is a ROM (Read Only Memory), a RAM (Random Access Memory), or the like, and a storage device that stores or temporarily stores programs and data such as an OS and application software that are basic software executed by the control unit 103 It is.
補助記憶部１０５は、ＨＤＤ（Hard Disk Drive）等であり、アプリケーションソフトウェア等に関連するデータを記憶する記憶装置である。 The auxiliary storage unit 105 is an HDD (Hard Disk Drive) or the like, and is a storage device that stores data related to application software or the like.
外部記憶装置Ｉ／Ｆ部１０６は、例えばＵＳＢ等のデータ伝送路を介して接続される例えばフラッシュメモリ等の記憶媒体１１０と処理装置１０１とのインターフェイスである。処理装置１０１は、記憶媒体１１０に一時保存された撮像装置１００の画像データを、外部記憶装置Ｉ／Ｆ部１０６を介して取得することも可能である。 The external storage device I / F unit 106 is an interface between the processing device 101 and a storage medium 110 such as a flash memory connected via a data transmission path such as a USB. The processing device 101 can also acquire the image data of the imaging device 100 temporarily stored in the storage medium 110 via the external storage device I / F unit 106.
また、記憶媒体１１０に格納されたプログラムが外部記憶装置Ｉ／Ｆ部１０６を介して処理装置１０１にインストールされると、インストールされたプログラムは処理装置１０１により実行可能となる。 Further, when the program stored in the storage medium 110 is installed in the processing device 101 via the external storage device I / F unit 106, the installed program can be executed by the processing device 101.
ネットワークＩ／Ｆ部１０７は、有線及び／又は無線回路等のデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークを介して接続された通信機能を有する周辺機器と処理装置１０１とのインターフェイスである。処理装置１０１は、撮像装置１００によって取得された被写体の画像データを、ネットワークを介して取得することも可能である。 The network I / F unit 107 has a communication function connected via a network such as a LAN (Local Area Network) or a WAN (Wide Area Network) constructed by a data transmission path such as a wired and / or wireless circuit. This is an interface between the device and the processing apparatus 101. The processing apparatus 101 can also acquire the image data of the subject acquired by the imaging apparatus 100 via a network.
操作部１０８は、例えばハードキーで構成されるキースイッチやマウス、タッチパネル機能を備えるＬＣＤ（Liquid Crystal Display）等で構成される。 The operation unit 108 includes, for example, a key switch including a hard key, a mouse, an LCD (Liquid Crystal Display) having a touch panel function, and the like.
表示部１０９は、例えば液晶や有機ＥＬ等のディスプレイであり、画像や操作用アイコン等を表示し、処理装置１０１が有する機能をユーザが利用する際に各種設定を行うユーザインタフェースとして機能する。なお、タッチパネル機能を備えるＬＣＤを設けることで、操作部１０８と表示部１０９とを一体に構成しても良い。 The display unit 109 is a display such as a liquid crystal display or an organic EL display, and displays an image, an operation icon, and the like, and functions as a user interface for performing various settings when the user uses the functions of the processing apparatus 101. Note that the operation unit 108 and the display unit 109 may be integrally configured by providing an LCD having a touch panel function.
＜処理装置の機能構成＞
図２は、第１の実施形態の処理装置１０１の機能構成を例示するブロック図である。また、図３から図６に第１の実施形態の処理装置１０１における画像処理過程で使用する画像データ等の例を示し、図２に示す処理装置１０１の各機能と併せて説明する。
<Functional configuration of processing device>
FIG. 2 is a block diagram illustrating a functional configuration of the processing apparatus 101 according to the first embodiment. 3 to 6 show examples of image data and the like used in the image processing process in the processing apparatus 101 of the first embodiment, and will be described together with each function of the processing apparatus 101 shown in FIG.
図２に示す様に、処理装置１０１は、取得手段としての被写体情報取得部１２１、参照領域取得部１２２、生成手段としての参照画像生成部１２３、陰影付加手段としての陰影情報付加部１２４、置換手段としての画像置換処理部１２５を有する。 As illustrated in FIG. 2, the processing apparatus 101 includes a subject information acquisition unit 121 as an acquisition unit, a reference area acquisition unit 122, a reference image generation unit 123 as a generation unit, a shadow information addition unit 124 as a shadow addition unit, and a replacement. An image replacement processing unit 125 is provided as means.
≪被写体の画像情報取得≫
処理装置１０１では、まず被写体情報取得部１２１が、撮像装置１００で撮像された被写体の二次元画像データ及び三次元画像データを取得する。
≪Get subject image information≫
In the processing device 101, first, the subject information acquisition unit 121 acquires 2D image data and 3D image data of the subject imaged by the imaging device 100.
図３（ａ）に被写体情報取得部１２１が取得した被写体の二次元画像データ２００、図３（ｂ）に被写体の三次元画像データ２１０の例を示す。図３（ｂ）に示す点２１１は撮像装置１００の位置、四角形２１２は撮像装置１００によって撮像される被写体の二次元画像データ２００の画角を示している。 FIG. 3A shows an example of the subject two-dimensional image data 200 acquired by the subject information acquisition unit 121, and FIG. 3B shows an example of the subject three-dimensional image data 210. A point 211 illustrated in FIG. 3B indicates the position of the imaging device 100, and a square 212 indicates the angle of view of the two-dimensional image data 200 of the subject imaged by the imaging device 100.
≪参照情報の取得≫
次に、参照領域取得部１２２が、二次元画像データ２００において例えばニキビや無精髭等の除去対象要素が無い部分から参照領域を取得する。例えば被写体の二次元画像データ２００のニキビ等を除去対象要素とする場合には、二次元画像データ２００においてニキビ等の除去対象要素が無く、理想的だと考えられる肌領域から参照領域を取得する。参照領域は、例えば被写体の二次元画像データ２００の肌領域内において、濃度特性や周波数特性の変動が安定した部分から自動的に抽出して取得できる。または、ユーザにより選択された領域を参照領域として取得しても良い。
≪Get reference information≫
Next, the reference area acquisition unit 122 acquires a reference area from a portion in the 2D image data 200 where there is no element to be removed such as acne or stubble. For example, when acne or the like in the 2D image data 200 of the subject is used as a removal target element, there is no removal target element such as a pimple in the 2D image data 200, and a reference region is acquired from an ideal skin region. . For example, the reference region can be automatically extracted and acquired from a portion in which fluctuations in density characteristics and frequency characteristics are stable in the skin region of the two-dimensional image data 200 of the subject. Alternatively, an area selected by the user may be acquired as a reference area.
≪参照領域展開画像の生成≫
参照画像生成部１２３は、三次元画像データ２１０を被写体の二次元画像データ２００と同一構図になるように視点変換し、視点変換された三次元画像データ２１０に対して参照領域を展開して参照画像を生成する。
≪Generation of reference area expanded image≫
The reference image generation unit 123 converts the viewpoint of the 3D image data 210 so as to have the same composition as the 2D image data 200 of the subject, and expands and refers to the reference area for the converted 3D image data 210. Generate an image.
図３（ｃ）に、参照画像生成部１２３により二次元画像データ２００に合わせて視点変換された三次元画像データ２１０を例示する。視点変換された三次元画像データ２１０は、図３（ａ）に示す被写体の二次元画像データ２００と構図が一致しているのが分かる。 FIG. 3C illustrates the three-dimensional image data 210 that has been subjected to viewpoint conversion in accordance with the two-dimensional image data 200 by the reference image generation unit 123. It can be seen that the viewpoint-converted 3D image data 210 has the same composition as the 2D image data 200 of the subject shown in FIG.
次に、参照画像生成部１２３が、視点変換された三次元画像データ２１０に対して、参照領域取得部１２２により取得された二次元画像データ２００の参照領域を展開して参照領域展開画像を生成する。 Next, the reference image generation unit 123 expands the reference region of the two-dimensional image data 200 acquired by the reference region acquisition unit 122 with respect to the viewpoint-converted three-dimensional image data 210 to generate a reference region expanded image. To do.
図４は、参照画像生成部１２３による三次元画像データ２１０への参照領域の展開方法を説明する図である。 FIG. 4 is a diagram for explaining a method of developing a reference area into the three-dimensional image data 210 by the reference image generation unit 123.
三次元画像データ２１０は、被写体表面の三次元座標で構成され、図４（ａ）に示す様に各座標点を格子点とする格子面２１３等で構成される形状データであるとも言える。格子面としては、例えば三角形、四角形等の多角形の形状等がある。 The three-dimensional image data 210 is constituted by three-dimensional coordinates on the surface of the subject, and it can be said that the three-dimensional image data 210 is shape data constituted by a lattice surface 213 having lattice points as coordinate points as shown in FIG. Examples of the lattice plane include a polygonal shape such as a triangle and a quadrangle.
図４（ｂ）に示す様に、参照画像生成部１２３は、二次元画像データ２００から取得される参照領域２３０の法線方向２３１が、参照領域２３０を展開する格子面２１３の法線方向２１４と一致する様に参照領域２３０の方向変換を行う。次に、参照画像生成部１２３は、方向変換した参照領域２３０を格子面２１３の形状と一致する様に切り取り、切り取った画像データ２３２を三次元画像データ２１０の格子面２１３に貼り付ける。 As illustrated in FIG. 4B, the reference image generation unit 123 determines that the normal direction 231 of the reference area 230 acquired from the two-dimensional image data 200 is the normal direction 214 of the lattice plane 213 that expands the reference area 230. The direction of the reference area 230 is changed so as to coincide with. Next, the reference image generation unit 123 cuts the direction-converted reference region 230 so as to match the shape of the lattice plane 213, and pastes the cut image data 232 on the lattice plane 213 of the three-dimensional image data 210.
参照画像生成部１２３は、この様に、三次元画像データ２１０を構成する全ての格子面に対して、参照領域２３０を方向転換して切り取った画像データを貼り付けて三次元の参照領域展開画像を生成する。 In this way, the reference image generation unit 123 pastes the image data obtained by changing the direction of the reference area 230 to all the lattice planes constituting the three-dimensional image data 210 and pasting the three-dimensional reference area expanded image. Is generated.
次に、参照画像生成部１２３は、生成した三次元の参照領域展開画像に対して投影変換処理を行うことで、二次元の参照画像を生成する。図４（ｃ）は、参照画像生成部１２３によって生成された参照画像２４０の例である。図４（ｃ）に示す様に、全ての格子面に対して参照領域２３０が展開された三次元画像データ２１０を投影変換することで、三次元画像データ２１０及び二次元画像データ２００と同一構図の二次元の参照画像が生成される。 Next, the reference image generation unit 123 generates a two-dimensional reference image by performing a projection conversion process on the generated three-dimensional reference area development image. FIG. 4C is an example of the reference image 240 generated by the reference image generation unit 123. As shown in FIG. 4C, the same composition as the three-dimensional image data 210 and the two-dimensional image data 200 is obtained by projecting and transforming the three-dimensional image data 210 in which the reference regions 230 are expanded on all lattice planes. A two-dimensional reference image is generated.
参照画像２４０は、離散的な三次元座標を格子点とする格子面によって構成される三次元画像データ２１０に基づいて生成されており、三次元画像データ２１０の格子面よりも小さい凹凸（例えば、小さい傷や皺等）は全て除去されている。また、参照画像２４０は、除去対象要素の無い理想的な画像として取得された参照領域を用いて生成されるため、ニキビやシミ等による局所的な濃度及び色変化を伴う被写体上の欠点や不要物も存在しない。 The reference image 240 is generated based on the three-dimensional image data 210 constituted by a lattice surface having discrete three-dimensional coordinates as lattice points, and has a concavity and convexity smaller than the lattice surface of the three-dimensional image data 210 (for example, All small scratches, wrinkles, etc.) have been removed. In addition, since the reference image 240 is generated using a reference area acquired as an ideal image without a removal target element, there are disadvantages and unnecessary on the subject with local density and color change due to acne, spots, etc. There is no thing.
≪陰影情報の付加≫
次に、陰影情報付加部１２４が陰影情報を取得して参照画像２４０に陰影を付加する。
≪Adding shadow information≫
Next, the shadow information adding unit 124 acquires the shadow information and adds a shadow to the reference image 240.
図５に示す様に、陰影情報２５０は、二次元画像データ２００から被写体の目や鼻等の構造物を除いた大局的な濃度変化を表すものであり、例えば二次元画像データ２００にぼかしフィルタを適用することで取得できる。陰影情報付加部１２４は、この様に取得した陰影情報２５０を参照画像２４０に乗算することで、被写体の二次元画像データ２００の目や鼻等に対応する陰影情報を付加した参照画像２４０を生成する。 As shown in FIG. 5, the shadow information 250 represents a global density change obtained by removing structures such as the subject's eyes and nose from the two-dimensional image data 200. Can be obtained by applying. The shadow information adding unit 124 multiplies the reference image 240 by the acquired shadow information 250 to generate a reference image 240 to which the shadow information corresponding to the eyes, nose, etc. of the two-dimensional image data 200 of the subject is added. To do.
≪除去対象要素の除去≫
画像置換処理部１２５は、二次元画像データ２００から選択されるニキビ等の除去対象要素を含む修正領域を、参照画像２４０の修正領域に対応する領域を用いて置換することで、二次元画像データ２００から除去対象要素を修正する。
≪Removal of removal target element≫
The image replacement processing unit 125 replaces the correction area including the removal target element such as acne selected from the two-dimensional image data 200 by using an area corresponding to the correction area of the reference image 240, thereby obtaining the two-dimensional image data. The removal target element is corrected from 200.
参照画像２４０は、上記した様に、三次元画像データ２１０における格子面より小さい凹凸や、被写体表面のニキビや皺等の欠点や不要物等が無い状態で生成されている。したがって、二次元画像データ２００における欠点や不要物を除去する修正領域を、参照画像２４０の修正領域に対応する領域を用いて置換することで、二次元画像データ２００から除去対象要素を除去することができる。 As described above, the reference image 240 is generated in a state in which there are no irregularities smaller than the lattice plane in the three-dimensional image data 210, defects such as acne and wrinkles on the subject surface, unnecessary objects, and the like. Therefore, the removal target element is removed from the two-dimensional image data 200 by replacing the correction region in the two-dimensional image data 200 that removes defects and unnecessary objects with the region corresponding to the correction region of the reference image 240. Can do.
以下、図６に基づいて、被写体の二次元画像データ２００の除去対象要素（例えばニキビ等）が存在する領域を修正する場合について説明する。 Hereinafter, based on FIG. 6, the case where the area | region where the removal object element (for example, acne etc.) of the to-be-photographed object's two-dimensional image data 200 exists is corrected is demonstrated.
二次元画像データ２００を修正する場合には、画像置換処理部１２５が、除去対象要素を含む二次元画像データ２００の修正領域２７０を取得する。 When the two-dimensional image data 200 is corrected, the image replacement processing unit 125 acquires the correction region 270 of the two-dimensional image data 200 including the removal target element.
画像置換処理部１２５は、表示部１０９に表示される二次元画像データ２００からユーザにより選択された領域を修正領域２７０として取得できる。また、画像置換処理部１２５は、被写体の二次元画像データ２００をフーリエ変換して周波数領域のデータを算出し、除去対象要素の周波数に相当する領域のデータを抽出して逆フーリエ変換して除去対象要素の領域を特定することで、修正領域２７０を自動抽出することによって取得しても良い。なお、修正領域２７０は複数箇所であっても良い。 The image replacement processing unit 125 can acquire the region selected by the user from the two-dimensional image data 200 displayed on the display unit 109 as the correction region 270. Further, the image replacement processing unit 125 calculates the frequency domain data by performing Fourier transform on the two-dimensional image data 200 of the subject, extracts the data in the region corresponding to the frequency of the removal target element, and removes it by inverse Fourier transform. The correction area 270 may be automatically extracted by specifying the area of the target element. The correction area 270 may be a plurality of places.
また、画像置換処理部１２５は、修正領域２７０を取得すると、次に参照画像２４０の修正領域２７０に対応する領域を置換領域２４１として取得する。 In addition, when the image replacement processing unit 125 acquires the correction area 270, the image replacement processing unit 125 next acquires an area corresponding to the correction area 270 of the reference image 240 as the replacement area 241.
次に画像置換処理部１２５は、取得した二次元画像データ２００の修正領域２７０と、参照画像２４０の置換領域２４１とを、任意の割合で混合した混合画像２７１を生成する。 Next, the image replacement processing unit 125 generates a mixed image 271 in which the correction region 270 of the acquired two-dimensional image data 200 and the replacement region 241 of the reference image 240 are mixed at an arbitrary ratio.
混合する割合は、参照画像２４０の置換領域２４１に対する混合係数Ｍ（０≦Ｍ≦１）と、二次元画像データ２００の修正領域２７０に対する混合係数Ｎ（＝１−Ｍ）とによって決定される。画像置換処理部１２５は、混合係数Ｍ，Ｎを変化させることで、二次元画像データ２００から除去対象要素を除去する程度を変えることができる。 The mixing ratio is determined by the mixing coefficient M (0 ≦ M ≦ 1) for the replacement area 241 of the reference image 240 and the mixing coefficient N (= 1−M) for the correction area 270 of the two-dimensional image data 200. The image replacement processing unit 125 can change the degree of removal of the removal target element from the two-dimensional image data 200 by changing the mixing coefficients M and N.
画像置換処理部１２５は、混合係数Ｍを１とすることで、二次元画像データ２００から除去対象要素を完全に除去することができる。また、混合係数Ｍを１より小さい数値にすることで、修正後の二次元画像データ２００に違和感が生じない様に処理を施すこともできる。図６は、混合係数Ｍを１とした場合であり、二次元画像データ２００から例えばニキビ等の除去対象要素が完全に除去されている。 The image replacement processing unit 125 can completely remove the removal target element from the two-dimensional image data 200 by setting the mixing coefficient M to 1. Further, by setting the mixing coefficient M to a value smaller than 1, it is possible to perform processing so that the corrected two-dimensional image data 200 does not feel uncomfortable. FIG. 6 shows a case where the mixing coefficient M is set to 1, and the removal target element such as acne is completely removed from the two-dimensional image data 200.
この様に、画像置換処理部１２５は、二次元画像データ２００の修正領域２７０を参照画像２４０の置換領域２４１を用いた混合画像２７１に置換することで、除去対象要素が修正された二次元画像データ２００を得ることができる。 In this manner, the image replacement processing unit 125 replaces the correction area 270 of the two-dimensional image data 200 with the mixed image 271 using the replacement area 241 of the reference image 240, thereby correcting the removal target element. Data 200 can be obtained.
＜画像修正処理の流れ＞
図７に、第１の実施形態の処理装置１０１における画像修正処理のフローチャートを例示し、図８から図１１に例示する表示部１０９に表示される画面と共に全体の処理内容について説明する。
<Flow of image correction processing>
FIG. 7 illustrates a flowchart of image correction processing in the processing apparatus 101 according to the first embodiment, and the entire processing content is described together with screens displayed on the display unit 109 illustrated in FIGS. 8 to 11.
二次元画像データ２００の修正を行う場合には、まずステップＳ１にて、被写体情報取得部１２１が、撮像装置１００から被写体の二次元画像データ２００及び三次元画像データ２１０を取得する。 When the two-dimensional image data 200 is to be corrected, first, the subject information acquisition unit 121 acquires the two-dimensional image data 200 and the three-dimensional image data 210 of the subject from the imaging device 100 in step S1.
図８は、被写体情報取得部１２１により取得された被写体の二次元画像データ２００の表示部１０９への表示例を示す図である。図８に示す様に、表示部１０９の画面左側には被写体の二次元画像データ２００、画面右側上段には画像処理メニューを表すボタン、画面右側下段には選択したメニューに対応するダイアログ画面が表示される。 FIG. 8 is a diagram illustrating a display example of the two-dimensional image data 200 of the subject acquired by the subject information acquisition unit 121 on the display unit 109. As shown in FIG. 8, the two-dimensional image data 200 of the subject is displayed on the left side of the display unit 109, a button representing an image processing menu is displayed on the upper right side of the screen, and a dialog screen corresponding to the selected menu is displayed on the lower right side of the screen. Is done.
画像処理メニューは、例えば「Ａ．参照情報の取得」、「Ｂ．三次元形状の視点変換」、「Ｃ．修正領域の指定」、「Ｄ．除去対象要素の除去」等の中から選択することができる。 The image processing menu is selected from, for example, “A. Acquisition of reference information”, “B. Three-dimensional shape viewpoint conversion”, “C. Specification of correction region”, “D. Removal of removal target element”, etc. be able to.
図７のフローに戻り、次にステップＳ２にて、参照領域取得部１２２が、被写体の二次元画像データ２００から除去対象要素を含まない参照領域を取得する。図８に示す様に、画面右側上段で「Ａ．参照情報の取得」のメニューが選択されると、画面右側下段に「Ａ．参照情報の取得」に対応するダイアログ画面が表示される。 Returning to the flow of FIG. 7, in step S <b> 2, the reference area acquisition unit 122 acquires a reference area that does not include the removal target element from the two-dimensional image data 200 of the subject. As shown in FIG. 8, when the menu “A. Acquisition of reference information” is selected on the upper right side of the screen, a dialog screen corresponding to “A. Acquisition of reference information” is displayed on the lower right side of the screen.
参照領域の指定は、ユーザにより表示部１０９の二次元画像データ２００上に表示されている矩形オブジェクト２８０がマウス等の操作部１０８で移動及び変形されることで行われる。矩形オブジェクト２８０の大きさは、画面右側下段ダイアログ画面に表示される「矩形オブジェクトのサイズ」をキーボード等の操作部１０８で数値入力することで調整できる。また、領域指定を行う形状は矩形に限るものではない。 The designation of the reference area is performed by the user moving and deforming the rectangular object 280 displayed on the two-dimensional image data 200 of the display unit 109 with the operation unit 108 such as a mouse. The size of the rectangular object 280 can be adjusted by numerically inputting the “rectangular object size” displayed on the lower right dialog screen of the screen using the operation unit 108 such as a keyboard. Further, the shape for specifying the region is not limited to a rectangle.
矩形オブジェクト２８０によって囲まれた領域は、画面右側下段の「ＯＫ」ボタンがクリックされることで、参照領域取得部１２２により参照領域２３０として取得される。「キャンセル」ボタンがクリックされると、矩形オブジェクト２８０を用いて参照領域２３０の選択が再度実行される。図８に示す例では、３００×３００画素の大きさの矩形オブジェクト２８０がニキビ等の除去対象要素が無い肌領域に表示されており、この領域が参照領域２３０として選択されている。参照領域２３０が選択されると、参照領域取得部１２２が、二次元画像データ２００から参照領域２３０を取得する。 The area surrounded by the rectangular object 280 is acquired as the reference area 230 by the reference area acquisition unit 122 when the “OK” button on the lower right side of the screen is clicked. When the “Cancel” button is clicked, the selection of the reference area 230 is performed again using the rectangular object 280. In the example shown in FIG. 8, a rectangular object 280 having a size of 300 × 300 pixels is displayed in a skin area without an element to be removed such as acne, and this area is selected as the reference area 230. When the reference area 230 is selected, the reference area acquisition unit 122 acquires the reference area 230 from the two-dimensional image data 200.
なお、図８では参照領域２３０をユーザに選択させる方法について例示しているが、参照領域取得部１２２は、例えば二次元画像データ２００の肌領域の周波数解析等に基づいて参照領域２３０を自動抽出しても良い。 Although FIG. 8 illustrates a method for allowing the user to select the reference region 230, the reference region acquisition unit 122 automatically extracts the reference region 230 based on, for example, frequency analysis of the skin region of the two-dimensional image data 200. You may do it.
図７のフローに戻り、ステップＳ２にて、参照領域２３０が取得されると、ステップＳ３にて、被写体の二次元画像データ２００と同一構図になるように三次元画像データ２１０の視点変換が行われる。 Returning to the flow of FIG. 7, when the reference area 230 is acquired in step S2, the viewpoint conversion of the 3D image data 210 is performed so that the composition is the same as that of the 2D image data 200 of the subject in step S3. Is called.
図９は、表示部１０９に表示される被写体の三次元画像データ２１０の視点変換操作を例示する図である。図９に示す様に、画像処理メニューから「Ｂ．三次元形状の視点変換」が選択されると、画面右側下段に「Ｂ．三次元形状の視点変換」に対応するダイアログ画面が表示される。また、画面左側には視点変換された被写体の三次元画像データ２１０が表示される。 FIG. 9 is a diagram illustrating a viewpoint conversion operation of the three-dimensional image data 210 of the subject displayed on the display unit 109. As shown in FIG. 9, when “B. Three-dimensional shape viewpoint conversion” is selected from the image processing menu, a dialog screen corresponding to “B. Three-dimensional shape viewpoint conversion” is displayed on the lower right side of the screen. . Further, the 3D image data 210 of the subject whose viewpoint has been converted is displayed on the left side of the screen.
画面右側下段のダイアログ画面には、被写体情報取得部１２１により取得された三次元画像データ２１０と視点情報が表示される。視点情報は、視点の向きを表す２点のアンカーポイント２９１，２９２であり、マウス等の操作部１０８で移動させることができる。 In the dialog screen on the lower right side of the screen, the 3D image data 210 and viewpoint information acquired by the subject information acquisition unit 121 are displayed. The viewpoint information is two anchor points 291 and 292 representing the direction of the viewpoint, and can be moved by the operation unit 108 such as a mouse.
画面左側には、アンカーポイント２９１，２９２の位置によって決定される視点から見た三次元画像データ２１０が、被写体の二次元画像データ２００の上に重畳された合成画像２９０として表示される。 On the left side of the screen, the 3D image data 210 viewed from the viewpoint determined by the positions of the anchor points 291 and 292 is displayed as a composite image 290 superimposed on the 2D image data 200 of the subject.
三次元画像データ２１０は、ユーザによるアンカーポイント２９１，２９２の操作に合わせて随時変化して合成画像２９０として表示される。このため、ユーザは、二次元画像データ２００と視点変換された三次元画像データ２１０との重なり具合を確認しながら、アンカーポイント２９１，２９２の位置の微調整を行うことができる。したがって、ユーザは、視点変換された三次元画像データ２１０が二次元画像データ２００に精度良く重なる様に、三次元画像データ２１０の視点変換を行うことができる。 The three-dimensional image data 210 changes as needed according to the operation of the anchor points 291 and 292 by the user, and is displayed as a composite image 290. For this reason, the user can finely adjust the positions of the anchor points 291 and 292 while confirming the overlapping state of the two-dimensional image data 200 and the three-dimensional image data 210 subjected to viewpoint conversion. Therefore, the user can perform the viewpoint conversion of the 3D image data 210 so that the 3D image data 210 subjected to the viewpoint conversion overlaps the 2D image data 200 with high accuracy.
被写体の二次元画像データ２００と視点変換された三次元画像データ２１０とが同一構図になった所で、画面右側下段の「ＯＫ」ボタンがクリックされると、三次元画像データ２１０の視点変換が確定される。視点変換をやり直す場合は、「キャンセル」ボタンをクリックすることで、再度視点変換を実行できる。 When the 2D image data 200 of the subject and the 3D image data 210 that has undergone viewpoint conversion have the same composition, when the “OK” button at the lower right side of the screen is clicked, the viewpoint conversion of the 3D image data 210 is performed. Confirmed. When redoing the viewpoint conversion, the viewpoint conversion can be executed again by clicking the “Cancel” button.
図７のフローに戻り、ステップＳ３にて三次元画像データ２１０の視点変換が終了すると、ステップＳ４にて、参照画像生成部１２３が、視点変換された三次元画像データ２１０に二次元画像データ２００の参照領域２３０を展開して参照領域展開画像を生成する。 Returning to the flow of FIG. 7, when the viewpoint conversion of the three-dimensional image data 210 is completed in step S <b> 3, the reference image generation unit 123 adds the two-dimensional image data 200 to the three-dimensional image data 210 subjected to the viewpoint conversion in step S <b> 4. The reference area 230 is expanded to generate a reference area expanded image.
次にステップＳ５にて、参照画像生成部１２３が、参照領域展開画像を投影変換することで二次元の参照画像２４０を生成する。続いてステップＳ６にて、陰影情報付加部１２４が、参照画像２４０に陰影情報を付加する。 Next, in step S <b> 5, the reference image generation unit 123 generates a two-dimensional reference image 240 by projecting the reference area development image. Subsequently, in step S <b> 6, the shadow information adding unit 124 adds shadow information to the reference image 240.
ステップＳ７では、ユーザにより被写体の二次元画像データ２００からニキビ等の除去対象要素が存在する修正領域２７０が指定される。なお、修正領域２７０は、上記した様に自動抽出されても良い。 In step S <b> 7, the user designates a correction area 270 where an element to be removed such as acne exists from the two-dimensional image data 200 of the subject. The correction area 270 may be automatically extracted as described above.
図１０は、表示部１０９に表示される被写体の二次元画像データ２００から修正領域２７０の指定操作を例示する図である。 FIG. 10 is a diagram exemplifying an operation for designating the correction area 270 from the two-dimensional image data 200 of the subject displayed on the display unit 109.
図１０に示す様に、画面右側上段で「Ｃ．修正領域の指定」のメニューが選択されると、画面右側下段に「Ｃ．修正領域の指定」に対応するダイアログ画面、画面左側には被写体の二次元画像データ２００が表示される。修正領域２７０の指定は、ユーザにより二次元画像データ２００上に表示される矩形オブジェクト２８０がマウス等の操作部１０８を用いて移動及び変形されることで行われる。 As shown in FIG. 10, when the menu “C. Specify correction area” is selected on the upper right side of the screen, a dialog screen corresponding to “C. The two-dimensional image data 200 is displayed. The correction area 270 is specified by the user moving and transforming the rectangular object 280 displayed on the two-dimensional image data 200 using the operation unit 108 such as a mouse.
矩形オブジェクト２８０の大きさは、画面右側下段ダイアログ画面に表示される「矩形オブジェクトのサイズ」をキーボード等の操作部１０８で数値入力することで調整できる。また、領域指定を行う形状は矩形に限るものではない。 The size of the rectangular object 280 can be adjusted by numerically inputting the “rectangular object size” displayed on the lower right dialog screen of the screen using the operation unit 108 such as a keyboard. Further, the shape for specifying the region is not limited to a rectangle.
矩形オブジェクト２８０によって囲まれた領域は、画面右側下段の「ＯＫ」ボタンをクリックすることで、二次元画像データ２００において修正を所望する修正領域２７０として決定される。修正領域２７０が決定されると、画像置換処理部１２５は、二次元画像データ２００の修正領域２７０と、参照画像２４０から修正領域２７０に対応する置換領域２４１を取得する。 The area surrounded by the rectangular object 280 is determined as a correction area 270 desired to be corrected in the two-dimensional image data 200 by clicking the “OK” button on the lower right side of the screen. When the correction area 270 is determined, the image replacement processing unit 125 acquires the correction area 270 of the two-dimensional image data 200 and the replacement area 241 corresponding to the correction area 270 from the reference image 240.
修正領域２７０の指定をやり直す場合には、「キャンセル」ボタンをクリックすることで、ユーザは修正領域２７０の選択を再度実行できる。 When redoing the correction area 270, the user can select the correction area 270 again by clicking the “Cancel” button.
図７のフローに戻り、次のステップＳ８では、画像置換処理部１２５が、二次元画像データ２００の修正領域２７０と、参照画像２４０の置換領域２４１とを所定の割合で混合して混合画像２７１を生成し、修正領域２７０を混合画像２７１に置換する。画像置換処理部１２５により、二次元画像データ２００の修正領域２７０が混合画像２７１に置換されることで、二次元画像データ２００の修正領域２７０に存在していた除去対象要素が除去されることとなる。 Returning to the flow of FIG. 7, in the next step S <b> 8, the image replacement processing unit 125 mixes the correction region 270 of the two-dimensional image data 200 and the replacement region 241 of the reference image 240 at a predetermined ratio to mix the image 271. And the correction area 270 is replaced with the mixed image 271. By replacing the correction area 270 of the two-dimensional image data 200 with the mixed image 271 by the image replacement processing unit 125, the removal target element existing in the correction area 270 of the two-dimensional image data 200 is removed. Become.
図１１は、表示部１０９に表示される二次元画像データ２００の修正操作を例示する図である。 FIG. 11 is a diagram illustrating a correction operation for the two-dimensional image data 200 displayed on the display unit 109.
図１１に示す様に、画面右側上段で「Ｄ．除去対象要素の除去」のメニューが選択されると、画面右側下段に、「Ｄ．除去対象要素の除去」に対応するダイアログ画面、画面左側には被写体の二次元画像データ２００が表示される。 As shown in FIG. 11, when the “D. Removal target element removal” menu is selected on the upper right side of the screen, a dialog screen corresponding to “D. Removal target element removal” is displayed on the lower right side of the screen. The two-dimensional image data 200 of the subject is displayed.
画面右側下段のダイアログ画面には、二次元画像データ２００の修正領域２７０と、参照画像２４０の修正領域２７０に対応する置換領域２４１とが表示され、その間に混合割合を設定するスライドバー２７２が表示される。スライドバー２７２をマウス等の操作部１０８で左右に動かすと、二次元画像データ２００にはスライドバー２７２の位置に応じた混合割合で生成された混合画像２７１が表示される。 In the lower right dialog screen, a correction area 270 of the two-dimensional image data 200 and a replacement area 241 corresponding to the correction area 270 of the reference image 240 are displayed, and a slide bar 272 for setting the mixing ratio is displayed therebetween. Is done. When the slide bar 272 is moved to the left or right with the operation unit 108 such as a mouse, the two-dimensional image data 200 displays a mixed image 271 generated at a mixing ratio corresponding to the position of the slide bar 272.
ユーザは、設定した混合割合で生成された混合画像２７１で修正領域２７０が置換された二次元画像データ２００を確認しながら、違和感の無い最適な混合割合を設定することができる。 The user can set an optimal mixing ratio without a sense of incongruity while confirming the two-dimensional image data 200 in which the correction area 270 is replaced with the mixed image 271 generated at the set mixing ratio.
画面右側下段の「ＯＫ」ボタンがクリックされると、画像置換処理部１２５により混合画像２７１が被写体の二次元画像データ２００の修正領域２７０に置換され、二次元画像データ２００から除去対象要素が除去された画像が生成される。 When the “OK” button on the lower right side of the screen is clicked, the mixed image 271 is replaced with the correction region 270 of the subject two-dimensional image data 200 by the image replacement processing unit 125, and the removal target element is removed from the two-dimensional image data 200. The generated image is generated.
二次元画像データ２００において、複数の領域を修正する場合には、図７のフローにおけるステップＳ７及びステップＳ８を繰り返し行うことで、複数の領域の修正を実行できる。 When correcting a plurality of areas in the two-dimensional image data 200, the correction of the plurality of areas can be executed by repeatedly performing steps S7 and S8 in the flow of FIG.
以上で説明した様に、第１の実施形態の処理システム５００及び処理装置１０１によれば、画像処理実行者が画像処理に不慣れであっても、例えば被写体の顔画像の肌部からニキビ、シミ、傷等の欠点や不要物を簡易な操作で違和感無く除去することが可能になる。 As described above, according to the processing system 500 and the processing apparatus 101 of the first embodiment, even if the image processing performer is unfamiliar with image processing, for example, acne and stains from the skin of the face image of the subject. It is possible to remove defects such as scratches and unnecessary objects without a sense of incongruity by a simple operation.
〔第２の実施形態〕
次に、第２の実施形態について図面に基づいて説明する。なお、第１の実施形態と同一の構成又は処理については、説明を省略する場合がある。
[Second Embodiment]
Next, a second embodiment will be described based on the drawings. Note that the description of the same configuration or processing as in the first embodiment may be omitted.
＜処理システムの構成＞
第２の実施形態の処理システム５００のハードウェア構成は、図１に示す第１の実施形態の処理システム５００のハードウェア構成と同一である。
<Configuration of processing system>
The hardware configuration of the processing system 500 of the second embodiment is the same as the hardware configuration of the processing system 500 of the first embodiment shown in FIG.
図１２は、第２の実施形態における処理装置１０１の機能構成を例示するブロック図である。 FIG. 12 is a block diagram illustrating a functional configuration of the processing apparatus 101 according to the second embodiment.
図１２に示す様に、第２の実施形態の処理装置１０１は、取得手段としての被写体・光源・視点情報取得部１２６、参照領域取得部１２２、参照画像生成部１２３、陰影情報付加部１２４、画像置換処理部１２５を有する。 As shown in FIG. 12, the processing apparatus 101 according to the second embodiment includes a subject / light source / viewpoint information acquisition unit 126, a reference region acquisition unit 122, a reference image generation unit 123, a shadow information addition unit 124 as an acquisition unit, An image replacement processing unit 125 is included.
被写体・光源・視点情報取得部１２６は、撮像装置１００から被写体の二次元画像データ及び三次元画像データを取得すると共に、撮像装置１００の撮影時における光源情報、視点情報を取得する。 The subject / light source / viewpoint information acquisition unit 126 acquires the two-dimensional image data and the three-dimensional image data of the subject from the imaging apparatus 100 and also acquires the light source information and viewpoint information when the imaging apparatus 100 is shooting.
また、陰影情報付加部１２４は、被写体・光源・視点情報取得部１２６により取得された光源情報と視点情報に基づいて参照画像に陰影情報を付加する。 Further, the shadow information adding unit 124 adds shadow information to the reference image based on the light source information and the viewpoint information acquired by the subject / light source / viewpoint information acquiring unit 126.
≪被写体の画像情報取得≫
被写体・光源・視点情報取得部１２６は、被写体の二次元画像データ及び三次元画像データ、撮影時の光源情報、撮影時の視点情報を取得する。
≪Get subject image information≫
The subject / light source / viewpoint information acquisition unit 126 acquires two-dimensional image data and three-dimensional image data of a subject, light source information at the time of shooting, and viewpoint information at the time of shooting.
光源情報は、被写体に対する光源の位置、輝度及び色情報であり、例えば被写体の二次元画像データから推定演算により取得可能である。また、視点情報は、被写体を撮像する撮像装置１００の被写体に対する位置情報である。 The light source information is the position, brightness, and color information of the light source with respect to the subject, and can be obtained by estimation calculation from the two-dimensional image data of the subject, for example. The viewpoint information is position information with respect to the subject of the imaging apparatus 100 that captures the subject.
≪陰影情報の付加≫
陰影情報付加部１２４が、光源情報及び視点情報に基づいて、参照領域展開画像に陰影情報を付加する方法について説明する。
≪Adding shadow information≫
A method in which the shadow information adding unit 124 adds the shadow information to the reference area developed image based on the light source information and the viewpoint information will be described.
一般的に肌の反射光は、二色性反射モデルに基づき、拡散反射光と鏡面反射光の線形和で表される。拡散反射光は肌構造に起因する肌陰影、鏡面反射光は肌表面の光沢を表す。 Generally, the reflected light of the skin is represented by a linear sum of diffuse reflected light and specular reflected light based on a dichroic reflection model. The diffuse reflection light represents the skin shadow caused by the skin structure, and the specular reflection light represents the gloss of the skin surface.
拡散反射光は、肌への入射光が肌表面層内部で乱反射することにより生じる成分であり、観測方向に依存せず、あらゆる方向に均一の強度で観測される。拡散反射光を表す拡散反射モデルとしては、例えばLambertモデルがある。以下に示す式（１）は、Lambertモデルによる拡散反射成分dを表す式である。 Diffuse reflected light is a component generated by irregularly reflecting light incident on the skin inside the skin surface layer, and is observed with uniform intensity in all directions, regardless of the observation direction. As a diffuse reflection model representing diffuse reflection light, for example, there is a Lambert model. Equation (1) shown below is an equation representing the diffuse reflection component d by the Lambert model.
鏡面反射光は、肌への入射光が肌表面で反射することで生じる成分であり、入射光の入射方向に対する正反射方向で最も強く観測され、肌物体色に依存することなく光源色をそのまま反射する性質を持っている。鏡面反射光を表す鏡面反射モデルとしては、例えばPhongモデルがある。以下に示す式（２）は、Phongモデルによる前記鏡面反射成分sを表す式である。 Specular reflection light is a component that occurs when light incident on the skin is reflected by the skin surface, and is observed most strongly in the regular reflection direction relative to the incident direction of the incident light, and the light source color remains unchanged regardless of the skin object color. It has the property of reflecting. As a specular reflection model representing specular reflection light, for example, there is a Phong model. Equation (2) shown below is an equation representing the specular reflection component s according to the Phong model.
陰影情報付加部１２４は、二次元画像データの参照領域が展開された参照領域展開画像に拡散反射成分と鏡面反射成分の両反射モデルを適用することで、被写体の肌領域の陰影情報を参照領域展開画像に付加する。両反射モデルが適用された参照領域展開画像は、参照画像生成部１２３によって二次元に投影変換されることで、陰影情報が付加された参照画像が生成される。 The shadow information adding unit 124 applies the both reflection models of the diffuse reflection component and the specular reflection component to the reference region expanded image in which the reference region of the two-dimensional image data is expanded, so that the shadow information of the subject skin region is referred to as the reference region. It is added to the developed image. The reference area development image to which both reflection models are applied is two-dimensionally projected and converted by the reference image generation unit 123, thereby generating a reference image to which shadow information is added.
例えば図４（ａ）に示す様に、三次元画像データ２１０を構成する任意の格子面２１３に着目すると、格子面２１３に対応する固有色パラメータkdは、格子面２１３に展開される参照領域２３０の色情報に該当する。また、法線ベクトルは、格子面２１３の法線方向２１４となる。 For example, as shown in FIG. 4A, when attention is paid to an arbitrary lattice plane 213 constituting the three-dimensional image data 210, the unique color parameter k d corresponding to the lattice plane 213 is a reference area developed on the lattice plane 213. 230 color information. The normal vector is the normal direction 214 of the lattice plane 213.
図１３は、任意の格子面２２１の法線方向に直交する水平方向から見た光源情報及び視点等の位置関係を示す模式図である。 FIG. 13 is a schematic diagram showing the positional relationship between the light source information and the viewpoint as seen from the horizontal direction orthogonal to the normal direction of the arbitrary lattice plane 221.
図１３には、格子面２２１の任意点３０１から光源３１０の方向を示す単位光源ベクトルＬ３０２、任意点３０１から撮像装置１００の方向を示す単位視点ベクトルＶ３０３、格子面２２１の法線ベクトルＮ２２２、撮像装置１００の位置から任意点３０１に入射される光の格子面２２１に対する正反射ベクトルＲ３０４が示されている。 In FIG. 13, a unit light source vector L302 indicating the direction of the light source 310 from the arbitrary point 301 on the lattice plane 221, a unit viewpoint vector V303 indicating the direction of the imaging device 100 from the arbitrary point 301, a normal vector N222 of the lattice plane 221, and the imaging A specular reflection vector R304 with respect to the grating plane 221 of light incident on the arbitrary point 301 from the position of the apparatus 100 is shown.
以下に示す式（３）は、正反射ベクトルＲ３０４の計算式である。 The following formula (3) is a formula for calculating the regular reflection vector R304.
なお、頂点毎に反射モデルの計算を行う場合には、例えば三角格子面を構成する格子点間の画素値を線形補間することで、三角格子面内の陰影情報が再現される。 In addition, when calculating a reflection model for every vertex, the shadow information in a triangular lattice plane is reproduced by linearly interpolating the pixel value between the lattice points which comprise a triangular lattice plane, for example.
≪白飛び画像部位の復元≫
ここで、撮影時に光が強く当たり過ぎることで、撮像装置１００により取得される画像において、例えば被写体の顔の肌部が部分的に白く飛んでしまう（調子が欠損してしまう）場合がある。この様な白飛び画像部位を含む画像であっても、三次元画像データ２１０に二次元画像データ２００の参照領域２３０を展開すると共に、上記した反射モデルを適用することで、白飛び画像部位を復元することができる。
≪Restoring the whiteout image part≫
Here, when the image is acquired by the imaging apparatus 100 due to excessively strong light at the time of shooting, for example, the skin portion of the face of the subject may partially fly white (the tone may be lost). Even for an image including such a whiteout image portion, by expanding the reference region 230 of the two-dimensional image data 200 on the three-dimensional image data 210 and applying the reflection model described above, Can be restored.
式（１）の拡散反射モデルに三次元画像データ２１０を構成する格子面の法線情報を適用することで、白飛び画像部位についても拡散反射成分を計算できる。また、式（２）の鏡面反射モデルに、三次元画像データ２１０を構成する格子面の法線情報と視点情報とから式（３）により求められる正反射ベクトルを適用することで、白飛び画像部位の鏡面反射成分を算出できる。したがって、陰影情報付加部１２４は、白飛び画像部位を含む全領域に対して拡散反射成分と鏡面反射成分との線形和を適用することで、参照領域展開画像全体に陰影情報を付加できる。 By applying the normal information of the lattice plane constituting the three-dimensional image data 210 to the diffuse reflection model of Expression (1), the diffuse reflection component can also be calculated for the overexposed image portion. In addition, by applying the regular reflection vector obtained by Expression (3) from the normal information and viewpoint information of the lattice plane constituting the three-dimensional image data 210 to the specular reflection model of Expression (2), The specular reflection component of the part can be calculated. Therefore, the shadow information adding unit 124 can add the shadow information to the entire reference area development image by applying the linear sum of the diffuse reflection component and the specular reflection component to the entire area including the overexposed image portion.
参照画像生成部１２３は、上記した様に陰影情報が付加された参照領域展開画像を投影変換することで、白飛び画像部位が復元された参照画像２４０を生成することができる。 The reference image generation unit 123 can generate the reference image 240 in which the whiteout image portion is restored by projecting and converting the reference area development image to which the shadow information is added as described above.
＜画像処理の流れ＞
図１４に、第２の実施形態の処理装置１０１における画像修正処理のフローチャートを例示し、全体の処理の概要について説明する。
<Image processing flow>
FIG. 14 illustrates a flowchart of image correction processing in the processing apparatus 101 according to the second embodiment, and an overview of the overall processing is described.
処理装置１０１において画像修正処理を実行する場合には、まずステップＳ１１にて、被写体・光源・視点情報取得部１２６が、被写体の二次元画像データ２００、三次元画像データ２１０、撮影時の光源情報及び視点情報を取得する。 When the image correction process is executed in the processing apparatus 101, first, in step S11, the subject / light source / viewpoint information acquisition unit 126 performs subject 2D image data 200, 3D image data 210, and light source information at the time of shooting. And obtain viewpoint information.
次にステップＳ１２にて、被写体の二次元画像データ２００と同一構図になる様に、視点情報に基づいて三次元画像データ２１０の視点変換が自動で行われる。 Next, in step S12, viewpoint conversion of the three-dimensional image data 210 is automatically performed based on the viewpoint information so as to have the same composition as the subject two-dimensional image data 200.
ステップＳ１３では、参照領域取得部１２２が、二次元画像データ２００からユーザにより選択される参照領域２３０を取得する。 In step S <b> 13, the reference area acquisition unit 122 acquires the reference area 230 selected by the user from the two-dimensional image data 200.
ステップＳ１４では、参照画像生成部１２３が、視点変換された三次元画像データ２１０に参照領域２３０を展開して参照領域展開画像を生成する。 In step S14, the reference image generation unit 123 expands the reference area 230 on the viewpoint-converted 3D image data 210 to generate a reference area expanded image.
次に陰影情報付加部１２４が、ステップＳ１５にて三次元画像データ２１０の表面を構成する全格子面における拡散反射成分を算出し、ステップＳ１６にて鏡面反射成分を算出し、参照領域展開画像に適用する。 Next, the shadow information adding unit 124 calculates the diffuse reflection component on all the lattice planes constituting the surface of the three-dimensional image data 210 in step S15, calculates the specular reflection component in step S16, and generates the reference region expanded image. Apply.
ステップＳ１７では、参照画像生成部１２３が、拡散反射成分と鏡面反射成分とが付加された参照領域展開画像を投影変換することで、陰影情報が付加された参照画像を生成する。参照画像生成部１２３により参照画像が生成されると、二次元画像データ２００の修正処理を行うことが可能になる。 In step S <b> 17, the reference image generation unit 123 generates a reference image to which shadow information is added by projecting and converting the reference area development image to which the diffuse reflection component and the specular reflection component are added. When the reference image is generated by the reference image generation unit 123, the two-dimensional image data 200 can be corrected.
次にステップＳ１８にて、ユーザにより二次元画像データ２００から修正領域２７０が指定されると、ステップＳ１９にて、画像置換処理部１２５が、修正領域２７０と参照画像２４０の置換領域２４１とを混合した混合画像２７１で修正領域２７０を置換する。 Next, when the correction area 270 is designated from the two-dimensional image data 200 by the user in step S18, the image replacement processing unit 125 mixes the correction area 270 and the replacement area 241 of the reference image 240 in step S19. The corrected area 270 is replaced with the mixed image 271 thus obtained.
以上の処理により、被写体の二次元画像データ２００から、修正領域２７０に含まれる除去対象要素を除去することができる。また、ユーザにより二次元画像データ２００における白飛び画像部位が修正領域２７０として指定された場合には、白飛び画像部位が復元された参照画像２４０に修正領域２７０が置換されることで、二次元画像データ２００の白飛び画像部位が復元される。 Through the above processing, the removal target element included in the correction area 270 can be removed from the two-dimensional image data 200 of the subject. In addition, when a whiteout image portion in the two-dimensional image data 200 is designated as the correction region 270 by the user, the correction region 270 is replaced with the reference image 240 in which the whiteout image portion is restored, so that two-dimensional The whiteout image portion of the image data 200 is restored.
二次元画像データ２００において、複数の領域を修正する場合には、ステップＳ１８及びステップＳ１９の処理を繰り返し行うことで、複数の領域の修正を実行できる。 In the case where a plurality of areas are corrected in the two-dimensional image data 200, the correction of the plurality of areas can be executed by repeatedly performing the processes of step S18 and step S19.
以上で説明した様に、第２の実施形態の処理システム５００又は処理装置１０１によれば、画像処理実行者が画像処理に不慣れであっても、例えば人物の顔画像の肌部から欠点や不要物を除去する画像修正を簡易な操作で違和感無く行うことができる。また、二次元画像データ２００における白飛び画像部位を、同様に簡易な操作で違和感無く復元することが可能になる。 As described above, according to the processing system 500 or the processing apparatus 101 of the second embodiment, even if the image processing person is not familiar with the image processing, for example, the defect or unnecessary from the skin portion of the human face image. Image correction for removing objects can be performed with a simple operation without a sense of incongruity. In addition, it is possible to similarly restore a whiteout image portion in the two-dimensional image data 200 by a simple operation without a sense of incongruity.
〔第３の実施形態〕
次に、第３の実施形態について図面に基づいて説明する。なお、第１又は第２の実施形態と同一の構成又は処理については、説明を省略する場合がある。
[Third Embodiment]
Next, a third embodiment will be described based on the drawings. Note that description of the same configuration or processing as in the first or second embodiment may be omitted.
＜処理装置の構成＞
図１５は、第３の実施形態の処理装置１０１のハードウェア構成例を示す図である。
<Configuration of processing device>
FIG. 15 is a diagram illustrating a hardware configuration example of the processing apparatus 101 according to the third embodiment.
図１５に示す様に、処理装置１０１は、撮像部１１１、制御部１０３、主記憶部１０４、補助記憶部１０５、外部記憶装置Ｉ／Ｆ部１０６、ネットワークＩ／Ｆ部１０７、操作部１０８、表示部１０９を有する。 As illustrated in FIG. 15, the processing device 101 includes an imaging unit 111, a control unit 103, a main storage unit 104, an auxiliary storage unit 105, an external storage device I / F unit 106, a network I / F unit 107, an operation unit 108, A display unit 109 is included.
撮像部１１１は、被写体を撮像し、被写体の二次元画像データ及び三次元画像データを取得し、主記憶部１０４又は補助記憶部１０５に保存する。 The imaging unit 111 images a subject, acquires two-dimensional image data and three-dimensional image data of the subject, and stores them in the main storage unit 104 or the auxiliary storage unit 105.
処理装置１０１は、撮像部１１１により取得された被写体の二次元画像データに対して、三次元画像データを用いて生成される参照画像を用いて画像修正処理を行うことができる。 The processing apparatus 101 can perform image correction processing on the two-dimensional image data of the subject acquired by the imaging unit 111 using a reference image generated using the three-dimensional image data.
なお、第３の実施形態に係る処理装置１０１は、例えばデジタルスチールカメラ、デジタルビデオカメラ、携帯電話、携帯ゲーム機、タブレット型ＰＣであり、本発明は撮像機能を有する各種機器に適用可能である。 Note that the processing apparatus 101 according to the third embodiment is, for example, a digital still camera, a digital video camera, a mobile phone, a portable game machine, or a tablet PC, and the present invention can be applied to various devices having an imaging function. .
第３の実施形態の処理装置１０１によれば、撮像部１１１で撮像した二次元画像データに対して、欠点や不要物を除去する画像修正を簡易な操作で違和感無く行うことが可能である。 According to the processing apparatus 101 of the third embodiment, it is possible to perform image correction for removing defects and unnecessary objects on the two-dimensional image data imaged by the imaging unit 111 with a simple operation without a sense of incongruity.
ここまで、上記各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に係る処理装置１０１が有する機能は、上記に説明を行った各処理手順を、上記各実施形態に係る処理装置１０１にあったプログラミング言語でコード化したプログラムとしてコンピュータで実行することで実現することができる。よって、上記各実施形態に係る処理装置１０１を実現するためのプログラムは、コンピュータが読み取り可能な記憶媒体１１０に格納することができる。 Up to this point, the present invention has been described based on each of the above embodiments. However, the function of the processing apparatus 101 according to the above embodiment is different from the processing procedures described above in the processing according to each of the above embodiments. It can be realized by executing the program as a program coded in a programming language suitable for the apparatus 101. Therefore, the program for realizing the processing apparatus 101 according to each of the above embodiments can be stored in the computer-readable storage medium 110.
よって、上記各実施形態に係るプログラムは、フロッピー（登録商標）ディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）などの記憶媒体１１０に記憶させることによって、これらの記憶媒体１１０から、処理装置１０１にインストールすることができる。また、処理装置１０１は、ネットワークＩ／Ｆ部１０７を有していることから、上記各実施形態に係るプログラムは、インターネット等の電気通信回線を介してダウンロードし、インストールすることもできる。 Therefore, the program according to each of the above embodiments is stored in the storage medium 110 such as a floppy (registered trademark) disk, a CD (Compact Disc), a DVD (Digital Versatile Disk), and the like. 101 can be installed. In addition, since the processing apparatus 101 includes the network I / F unit 107, the program according to each of the above embodiments can be downloaded and installed via an electric communication line such as the Internet.
以上、実施形態に係る処理装置、処理システム、処理方法及びプログラムについて説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。 The processing apparatus, processing system, processing method, and program according to the embodiments have been described above, but the present invention is not limited to the above-described embodiments, and various modifications and improvements can be made within the scope of the present invention. .
１００ 撮像装置
１０１ 処理装置
１１１ 撮像部（撮像手段）
１２１ 被写体情報取得部（取得手段）
１２２ 参照領域取得部（参照領域取得手段）
１２３ 参照画像生成部（生成手段）
１２４ 陰影情報付加部（陰影付加手段）
１２５ 画像置換処理部（置換手段）
１２６ 被写体・光源・視点情報取得部（取得手段）
２００ 二次元画像データ
２１０ 三次元画像データ
２４０ 参照画像
２７０ 修正領域
２７１ 混合画像
５００ 処理システム
DESCRIPTION OF SYMBOLS 100 Imaging device 101 Processing apparatus 111 Imaging part (imaging means)
121 Subject information acquisition unit (acquisition means)
122 Reference area acquisition unit (reference area acquisition means)
123 Reference image generation unit (generation means)
124 Shading information adding unit (shading adding means)
125 Image replacement processing unit (replacement means)
126 Subject / light source / viewpoint information acquisition unit (acquisition means)
200 Two-dimensional image data 210 Three-dimensional image data 240 Reference image 270 Correction area 271 Mixed image 500 Processing system
Claims (11)
前記二次元画像データから参照領域を取得する参照領域取得手段と、
前記参照領域が展開された前記三次元画像データに基づいて、前記二次元画像データに対応する二次元の参照画像を生成する生成手段と、
前記二次元画像データから選択される修正領域を、前記参照画像の前記修正領域に対応する領域を用いて置換する置換手段と、
を有することを特徴とする処理装置。 Acquisition means for acquiring two-dimensional image data of a subject and three-dimensional image data of the subject;
Reference region acquisition means for acquiring a reference region from the two-dimensional image data;
Generating means for generating a two-dimensional reference image corresponding to the two-dimensional image data based on the three-dimensional image data in which the reference region is developed;
Replacement means for replacing a correction area selected from the two-dimensional image data using an area corresponding to the correction area of the reference image;
A processing apparatus comprising:
ことを特徴とする請求項１に記載の処理装置。 The generating means, for each lattice plane having a three-dimensional coordinate constituting the three-dimensional image data as a lattice point, transforms the reference region into the shape of the lattice plane by changing the direction in the normal direction of the lattice plane. The processing apparatus according to claim 1, wherein the reference area is developed into the three-dimensional image data by pasting.
ことを特徴とする請求項１又は２に記載の処理装置。 3. The processing apparatus according to claim 1, wherein the generation unit generates the two-dimensional reference image by projecting the three-dimensional image data in which the reference region is developed.
ことを特徴とする請求項１から３の何れか一項に記載の処理装置。 The processing apparatus according to claim 1, further comprising shadow adding means for adding shadow information to the reference image.
ことを特徴とする請求項４に記載の処理装置。 The processing apparatus according to claim 4, wherein the shadow adding unit generates the shadow information by applying a blur filter to the two-dimensional image data, and adds the shadow information to the reference image.
ことを特徴とする請求項４に記載の処理装置。 The shadow adding means adds the shadow information to the three-dimensional image data in which the reference region is developed based on a diffuse reflection component and a specular reflection component obtained using light source information and viewpoint information. The processing apparatus according to claim 4.
ことを特徴とする請求項１から６の何れか一項に記載の処理装置。 The replacement unit generates a mixed image in which a correction region selected from the two-dimensional image data and a region corresponding to the correction region of the reference image are mixed at a predetermined ratio, and the correction region is the mixed image. The processing apparatus according to any one of claims 1 to 6, wherein
ことを特徴とする請求項１から７の何れか一項に記載の処理装置。 The processing apparatus according to claim 1, further comprising an imaging unit configured to capture the subject and generate the two-dimensional image data and the three-dimensional image data.
請求項１から８の何れか一項に記載の処理装置と、
を有することを特徴とする処理システム。 An imaging device that images the subject and generates the two-dimensional image data and the three-dimensional image data;
A processing apparatus according to any one of claims 1 to 8,
A processing system comprising:
前記二次元画像データから参照領域を取得する参照領域取得ステップと、
前記参照領域が展開された前記三次元画像データに基づいて、前記二次元画像データに対応する二次元の参照画像を生成する生成ステップと、
前記二次元画像データから選択される修正領域を、前記参照画像の前記修正領域に対応する領域を用いて置換する置換ステップと、
を有することを特徴とする処理方法。 Obtaining two-dimensional image data of the subject and three-dimensional image data of the subject;
A reference region acquisition step of acquiring a reference region from the two-dimensional image data;
Generating a two-dimensional reference image corresponding to the two-dimensional image data based on the three-dimensional image data in which the reference region is developed; and
A replacement step of replacing a correction region selected from the two-dimensional image data with a region corresponding to the correction region of the reference image;
A processing method characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013011331A JP6088260B2 (en) | 2013-01-24 | 2013-01-24 | Processing apparatus, processing system, processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013011331A JP6088260B2 (en) | 2013-01-24 | 2013-01-24 | Processing apparatus, processing system, processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014142836A true JP2014142836A (en) | 2014-08-07 |
| JP6088260B2 JP6088260B2 (en) | 2017-03-01 |
Family
ID=51424059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013011331A Expired - Fee Related JP6088260B2 (en) | 2013-01-24 | 2013-01-24 | Processing apparatus, processing system, processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6088260B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018504071A (en) * | 2014-11-06 | 2018-02-08 | デューライト・リミテッド・ライアビリティ・カンパニーＤｕｅｌｉｇｈｔ Ｌｌｃ | Image sensor apparatus and method for simultaneously capturing flash illumination images and ambient illumination images |
| US10652478B2 (en) | 2012-09-04 | 2020-05-12 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US10785401B2 (en) | 2016-09-01 | 2020-09-22 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
| US10904505B2 (en) | 2015-05-01 | 2021-01-26 | Duelight Llc | Systems and methods for generating a digital image |
| US10924688B2 (en) | 2014-11-06 | 2021-02-16 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
| US10931897B2 (en) | 2013-03-15 | 2021-02-23 | Duelight Llc | Systems and methods for a digital image sensor |
| US11375085B2 (en) | 2016-07-01 | 2022-06-28 | Duelight Llc | Systems and methods for capturing digital images |
| US11455829B2 (en) | 2017-10-05 | 2022-09-27 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US11463630B2 (en) | 2014-11-07 | 2022-10-04 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09305798A (en) * | 1996-05-10 | 1997-11-28 | Oki Electric Ind Co Ltd | Image display device |
| JP2001209796A (en) * | 2000-01-26 | 2001-08-03 | Minolta Co Ltd | Image processor, area extracting method and recording medium |
| JP2004265406A (en) * | 2003-02-28 | 2004-09-24 | Eastman Kodak Co | Method and system for improving portrait image processed in batch mode |
| JP2006018467A (en) * | 2004-06-30 | 2006-01-19 | Canon Inc | Image processing apparatus and image processing method |
| KR20070068501A (en) * | 2005-12-27 | 2007-07-02 | 박현 | Automatic denoising of 2d color face images using recursive pca reconstruction |
| JP2011107877A (en) * | 2009-11-16 | 2011-06-02 | Sony Corp | Image processing apparatus, image processing method, and program |
| WO2012001949A1 (en) * | 2010-06-30 | 2012-01-05 | 日本電気株式会社 | Color image processing method, color image processing device, and color image processing program |
-
2013
- 2013-01-24 JP JP2013011331A patent/JP6088260B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09305798A (en) * | 1996-05-10 | 1997-11-28 | Oki Electric Ind Co Ltd | Image display device |
| JP2001209796A (en) * | 2000-01-26 | 2001-08-03 | Minolta Co Ltd | Image processor, area extracting method and recording medium |
| JP2004265406A (en) * | 2003-02-28 | 2004-09-24 | Eastman Kodak Co | Method and system for improving portrait image processed in batch mode |
| JP2006018467A (en) * | 2004-06-30 | 2006-01-19 | Canon Inc | Image processing apparatus and image processing method |
| KR20070068501A (en) * | 2005-12-27 | 2007-07-02 | 박현 | Automatic denoising of 2d color face images using recursive pca reconstruction |
| JP2011107877A (en) * | 2009-11-16 | 2011-06-02 | Sony Corp | Image processing apparatus, image processing method, and program |
| WO2012001949A1 (en) * | 2010-06-30 | 2012-01-05 | 日本電気株式会社 | Color image processing method, color image processing device, and color image processing program |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10652478B2 (en) | 2012-09-04 | 2020-05-12 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US12003864B2 (en) | 2012-09-04 | 2024-06-04 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US11025831B2 (en) | 2012-09-04 | 2021-06-01 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US10931897B2 (en) | 2013-03-15 | 2021-02-23 | Duelight Llc | Systems and methods for a digital image sensor |
| US11394894B2 (en) | 2014-11-06 | 2022-07-19 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
| JP7179461B2 (en) | 2014-11-06 | 2022-11-29 | デューライト・リミテッド・ライアビリティ・カンパニー | Image sensor apparatus and method for simultaneously capturing flash and ambient illumination images |
| US10924688B2 (en) | 2014-11-06 | 2021-02-16 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
| JP2021119701A (en) * | 2014-11-06 | 2021-08-12 | デューライト・リミテッド・ライアビリティ・カンパニーDuelight Llc | Image sensor device and method for simultaneously capturing flash illumination image and ambient illumination image |
| JP2018504071A (en) * | 2014-11-06 | 2018-02-08 | デューライト・リミテッド・ライアビリティ・カンパニーＤｕｅｌｉｇｈｔ Ｌｌｃ | Image sensor apparatus and method for simultaneously capturing flash illumination images and ambient illumination images |
| US11463630B2 (en) | 2014-11-07 | 2022-10-04 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
| US11356647B2 (en) | 2015-05-01 | 2022-06-07 | Duelight Llc | Systems and methods for generating a digital image |
| US10904505B2 (en) | 2015-05-01 | 2021-01-26 | Duelight Llc | Systems and methods for generating a digital image |
| US11375085B2 (en) | 2016-07-01 | 2022-06-28 | Duelight Llc | Systems and methods for capturing digital images |
| US12003853B2 (en) | 2016-09-01 | 2024-06-04 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
| US10785401B2 (en) | 2016-09-01 | 2020-09-22 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
| US11455829B2 (en) | 2017-10-05 | 2022-09-27 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US11699219B2 (en) | 2017-10-05 | 2023-07-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6088260B2 (en) | 2017-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6088260B2 (en) | Processing apparatus, processing system, processing method, and program | |
| JP6395423B2 (en) | Image processing apparatus, control method, and program | |
| Zakharchenko et al. | Quality metric for spherical panoramic video | |
| JP3450833B2 (en) | Image processing apparatus and method, program code, and storage medium | |
| JP6525617B2 (en) | Image processing apparatus and control method thereof | |
| US9609181B2 (en) | Image signal processor and method for synthesizing super-resolution images from non-linear distorted images | |
| JP7007348B2 (en) | Image processing equipment | |
| CN107451952B (en) | Splicing and fusing method, equipment and system for panoramic video | |
| JP5886242B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6683307B2 (en) | Optimal spherical image acquisition method using multiple cameras | |
| JP5956756B2 (en) | Video processing apparatus and control method thereof | |
| US20220101615A1 (en) | Computer system for forensic analysis using motion video | |
| JP2009211513A (en) | Image processing apparatus and method therefor | |
| JP5832211B2 (en) | Image processing apparatus, image processing method, and program | |
| TWI615808B (en) | Image processing method for immediately producing panoramic images | |
| Vangorp et al. | Perception of perspective distortions in image-based rendering | |
| JP5059788B2 (en) | Method and system for obtaining multiple views of an object with real-time video output | |
| JP2016213574A (en) | Image processing apparatus and control method of image processing apparatus | |
| KR101529820B1 (en) | Method and apparatus for determing position of subject in world coodinate system | |
| KR101632514B1 (en) | Method and apparatus for upsampling depth image | |
| JP2005063041A (en) | Three-dimensional modeling apparatus, method, and program | |
| CN112967201B (en) | Image illumination adjustment method and device, electronic equipment and storage medium | |
| JP5645448B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2015200918A (en) | Image processor, method, and program | |
| JP7119854B2 (en) | Changed pixel region extraction device, image processing system, changed pixel region extraction method, image processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170203 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6088260 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |