JP2017147764A - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2017147764A JP2017147764A JP2017101331A JP2017101331A JP2017147764A JP 2017147764 A JP2017147764 A JP 2017147764A JP 2017101331 A JP2017101331 A JP 2017101331A JP 2017101331 A JP2017101331 A JP 2017101331A JP 2017147764 A JP2017147764 A JP 2017147764A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- specifying
- predetermined subject
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、撮像装置、撮像制御方法及びプログラムに関する。 The present invention relates to an imaging apparatus, an imaging control method, and a program.
撮影画像内に検出される人物の顔部分に対して美肌／美白にするための画像処理を施す美顔機能を備えたカメラ（撮像装置）に関する技術が知られている（特許文献１及び２参照）。 A technique relating to a camera (imaging device) having a beauty function for performing image processing for making skin / whitening a human face portion detected in a captured image is known (see Patent Documents 1 and 2). .
しかしながら、上述したような特許文献１及び２に記載の技術では、撮影画像内に人物が存在するにもかかわらず、その人物の顔が検出できないような場合には美肌／美白にするための画像処理を施すことができない。また、人物の顔を対象とした美肌／美白処理に限らず、顔以外の肌部分に対する美肌／美白処理や、食べ物や風景などの人物以外の物体に対する本来の色を鮮明にするような特有の画像処理についても同様であり、撮影画像内に対象となる物体が存在するにもかかわらず、その物体が検出できない場合には、その物体に対して物体特有の画像処理を施すことができないという問題があった。 However, in the techniques described in Patent Documents 1 and 2 as described above, when a person is present in a photographed image and the face of the person cannot be detected, an image for making skin whitening / whitening is performed. It cannot be processed. In addition to skin / whitening treatment for human faces, skin / whitening treatment for skin parts other than the face, and original colors for objects other than humans such as food and landscape The same applies to image processing. If the object cannot be detected even though the target object exists in the captured image, the object-specific image processing cannot be performed on the object. was there.
本発明は、このような状況に鑑みてなされたものであり、撮影画像内の物体に対する物体特有の画像処理の実行をより効果的に制御できるようにすることである。
ことを目的とする。
The present invention has been made in view of such a situation, and is to enable more effective control of execution of object-specific image processing on an object in a captured image.
For the purpose.
上記目的を達成するため、本発明の一態様の撮像装置は、
撮像手段と、
前記撮像手段により撮像された撮影画像内における所定の被写体に対応する画像領域を、当該被写体に関する第１の観点の特徴情報を用いて特定する第１の領域特定手段と、
前記所定の被写体に関する前記第１の観点とは異なる第２の観点の特徴情報を用いて前記撮影画像内における画像領域を特定する第２の領域特定手段と、
前記所定の被写体に対応する画像領域を対象として所定の画像処理を実行する画像処理手段と、
前記画像処理手段により実行させる画像処理が前記所定の被写体に特有の画像処理である場合に、前記第２の領域特定手段により特定された画像領域を対象として画像処理を実行させる制御手段と、
前記所定の被写体が撮影範囲内に存在すべき状況であるか否かを、前記所定の被写体に関する特徴情報を用いずに判定する判定手段と、
を備え、
前記制御手段は、前記判定手段による判定結果に応じて、前記画像処理手段による前記所定の被写体に特有の画像処理の対象となる画像領域の特定を、前記第１の領域特定手段と前記第２の領域特定手段のいずれで行うかを選択するものであり、前記判定手段により前記所定の被写体が撮影範囲内に存在すべき状況であると判定されたことを条件として、前記画像処理手段に対して、前記第２の領域特定手段により特定された画像領域を対象とした前記所定の被写体に特有の画像処理を実行させる、
ことを特徴とする。
In order to achieve the above object, an imaging device of one embodiment of the present invention includes:
Imaging means;
First area specifying means for specifying an image area corresponding to a predetermined subject in a photographed image taken by the imaging means using feature information of the first viewpoint related to the subject;
Second area specifying means for specifying an image area in the captured image using feature information of a second viewpoint different from the first viewpoint regarding the predetermined subject;
Image processing means for executing predetermined image processing on an image region corresponding to the predetermined subject;
Control means for executing image processing on the image area specified by the second area specifying means when the image processing executed by the image processing means is image processing specific to the predetermined subject;
Determining means for determining whether or not the predetermined subject should be present within a shooting range without using feature information relating to the predetermined subject;
With
The control means specifies the image area to be subjected to the image processing specific to the predetermined subject by the image processing means according to the determination result by the determination means, the first area specifying means and the second area Of the image processing means, on the condition that the predetermined subject is determined to be in the photographing range by the determination means. And executing image processing specific to the predetermined subject for the image region specified by the second region specifying means,
It is characterized by that.
本発明によれば、撮影画像内の物体に対する物体特有の画像処理の実行をより効果的に制御することができる。 According to the present invention, execution of object-specific image processing on an object in a captured image can be more effectively controlled.
以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
＜第１の実施形態＞
図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。
<First Embodiment>
FIG. 1 is a block diagram showing a hardware configuration of an imaging apparatus according to an embodiment of the present invention.
The imaging device 1 is configured as a digital camera, for example.
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
The imaging apparatus 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
The
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。
このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
The
An input /
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
Although not shown, the
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens unit is configured by a lens that collects light, for example, a focus lens or a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。
The image sensor includes a photoelectric conversion element, AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) the subject image, accumulates the image signal for a predetermined time, and sequentially supplies the accumulated image signal as an analog signal to the AFE.
The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. Through various signal processing, a digital signal is generated and output as an output signal of the
Hereinafter, the output signal of the
入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。 出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
The
The
The
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
A
図２は、このような撮像装置１の機能的構成のうち、撮影処理を実行するための機能的構成を示す機能ブロック図である。
撮影処理とは、撮像処理を実行したあとに美肌／美白処理を実行して撮像画像の人の顔に美肌／美白効果を付与する一連の処理をいう。
FIG. 2 is a functional block diagram showing a functional configuration for executing a photographing process among the functional configurations of the imaging apparatus 1 as described above.
The photographing process refers to a series of processes for performing a skin beautification / whitening process after performing an image capturing process to impart a skin beautifying / whitening effect to a human face of a captured image.
撮影処理を実行する場合には、図２に示すように、ＣＰＵ１１において、撮像制御部５１と、顔検出部５２と、処理対象領域特定部５３と、状況判定部５４と、美肌／美白処理部５５と、記憶制御部５６と、が機能する。
When executing the shooting process, as shown in FIG. 2, in the
また、記憶部１９の一領域には、画像記憶部７１が設定される。
画像記憶部７１には、撮像画像のデータが記憶される。
In addition, an image storage unit 71 is set in one area of the
The image storage unit 71 stores captured image data.
撮像制御部５１は、撮像を行うように撮像部１６を制御する。その結果、撮像部１６から撮像画像が出力される。
The imaging control unit 51 controls the
顔検出部５２は、撮像部１６から取得した撮像画像を、撮影範囲に人物の顔が含まれているか否かを画像解析により検出する。顔検出部５２は、顔検出として、人物に対応する画像領域を対象として人物に撮影条件を合わせるための画像処理、即ち、人物までの距離にフォーカスを合わせるための画像処理または人物の明るさに露出条件を合わせるための画像処理を実行する。
The
処理対象領域特定部５３は、取得した撮像画像内における美肌／美白処理を施す処理対象となる領域（以下、「処理対象領域」という。）を特定する。
The processing target
状況判定部５４は、撮影範囲に人物の顔が含まれるべき状況であるか否かを撮影画像の解析以外の方法で判断する。人物の顔が含まれるべき状況とは、撮像画像に人物の顔が含まれている蓋然性が高い状況であり、当該状況を撮像装置１の状況や撮像装置１を取り巻く周囲の環境等から推測する。人物の顔が含まれるべき状況は、例えば、自分撮りのモードを選択した場合である。
具体的には、状況判定部５４は、撮影範囲に人物の顔が含まれるべき状況として、例えば、自分撮りモードが設定されているか否かを判定する。状況判定部５４は、自分撮りモードが設定されている場合には、撮影範囲に人物の顔が含まれるべき状況であると判定し、自分撮りモードが設定されていない場合には、撮影範囲に人物の顔が含まれるべき状況でないと判定する。
The
Specifically, the
美肌／美白処理部５５は、処理対象領域特定部５３によって特定された処理対象領域に対して美肌／美白処理を施す。美肌／美白処理は、肌が美しくみえたり、美しい白い肌になったりするような加工を施す処理であり、既存の周知の美肌／美白に関する画像処理技術を用いる。
The skin beautification /
記憶制御部５６は、撮像画像を記憶させるように画像記憶部７１を制御する。
The
図３は、図２の機能的構成を有する図１の撮像装置１が実行する撮影処理の流れを説明するフローチャートである。
撮影処理は、ユーザによる入力部１７への撮影処理開始の操作により開始される。
FIG. 3 is a flowchart for explaining the flow of imaging processing executed by the imaging apparatus 1 of FIG. 1 having the functional configuration of FIG.
The photographing process is started by an operation for starting the photographing process on the
ステップＳ１１において、撮像制御部５１は、撮像処理する。撮像制御部５１は、撮像を行うように撮像部１６を制御する。撮像処理の結果、撮像部１６から撮像画像が出力される。
In step S11, the imaging control unit 51 performs imaging processing. The imaging control unit 51 controls the
ステップＳ１２において、顔検出部５２は、撮影範囲に人物の顔が含まれているか否かを撮影画像の解析により検出する。
In step S12, the
ステップＳ１３において、顔検出部５２は、人物の顔が検出されたか否かを判定する。
人物の顔が検出された場合には、ステップＳ１３においてＹＥＳと判定されて、処理はステップＳ１４に進む。
人物の顔が検出されない場合には、ステップＳ１３においてＮＯと判定されて、処理はステップＳ１５に進む。
In step S <b> 13, the
If a human face is detected, it is determined as YES in step S13, and the process proceeds to step S14.
If no person's face is detected, NO is determined in step S13, and the process proceeds to step S15.
ステップＳ１４において、処理対象領域特定部５３は、検出された人物の顔部分を処理対象領域として特定する。
In step S14, the processing target
ステップＳ１５において、状況判定部５４は、撮影範囲に人物の顔が含まれるべき状況であるか否かを撮影画像の解析以外の方法で判断する。状況判定部５４は、撮影範囲に人物の顔が含まれるべき状況として、例えば、自分撮りモードが設定されているか否かを判定する。状況判定部５４は、自分撮りモードが設定されている場合には、撮影範囲に人物の顔が含まれるべき状況であると判定し、自分撮りモードが設定されていない場合には、撮影範囲に人物の顔が含まれるべき状況でないと判定する。
In step S <b> 15, the
ステップＳ１６において、状況判定部５４は、人物の顔が含まれるべき状況であるか否かを判定する。
人物の顔が含まれるべき状況である場合には、ステップＳ１６においてＹＥＳと判定されて、処理はステップＳ１７に進む。
人物の顔が含まれるべき状況でない場合には、ステップＳ１６においてＮＯと判定されて、処理はステップＳ１９に進む。
In step S <b> 16, the
If the situation should include a human face, YES is determined in step S16, and the process proceeds to step S17.
If the situation does not include a human face, NO is determined in step S16, and the process proceeds to step S19.
ステップＳ１７において、処理対象領域特定部５３は、撮影画像内の肌色に相当する部分を処理対象領域として特定する。
In step S17, the processing target
ステップＳ１８において、美肌／美白処理部５５は、特定された処理対象領域に対して美肌／美白処理を実行する。
In step S <b> 18, the skin beautification /
ステップＳ１９において、記憶制御部５６は、撮影画像を画像記憶部７１に記録させる。
その後、撮影処理は終了する。
In step S <b> 19, the
Thereafter, the photographing process ends.
なお、上述した実施形態においては、人物の顔が検出され、かつ、人物の顔が含まれるべき状況である場合にのみ、美肌／美白処理を実行するように構成してもよい。
また、上述した実施形態においては、人物の顔の検出よりも、人物の顔が含まれるべき状況であるか否かを優先的に判断して美肌／美白処理を実行するように構成してもよい。
In the above-described embodiment, the skin beautification / whitening process may be executed only when a human face is detected and the human face should be included.
In the embodiment described above, the skin / whitening process may be executed by preferentially determining whether or not the human face should be included rather than detecting the human face. Good.
＜第２の実施形態＞
上述した実施形態では、人物の顔が検出された場合には顔部分に美肌／美白処理を実行するが、人物の顔が検出されなかった場合であっても、人物の顔が含まれるべき状況ならば、肌色部分に対して美肌／美白処理を実行するように構成したが、本実施形態では、人物の顔が検出された場合に顔部分に美肌／美白処理を実行する撮影モード（以下、「通常の撮影モード」という。）と、人物の顔が含まれるべき状況である場合に肌色部分に対して美肌／美白処理を実行する撮影モード（以下、「非顔検出判定モード」という。）と、を選択的に切り換えるように構成する。即ち、本実施形態では、非顔検出判定モード下において、撮影画像の画像解析以外の方法で判定するように構成する。
なお、第２の実施形態では、第１の実施形態と共通する事項についての説明は省略する。即ち、第２の実施形態では、撮像装置１におけるハードウェア構成及び機能構成が同一であるため説明を省略する。
<Second Embodiment>
In the above-described embodiment, when the face of a person is detected, the skin / whitening process is performed on the face portion. However, even when the face of the person is not detected, the face of the person should be included. In this embodiment, the skin beautifying / whitening process is executed on the skin color portion. However, in the present embodiment, when a human face is detected, a shooting mode (hereinafter referred to as skinning / whitening processing) is executed on the face portion. "Normal shooting mode") and a shooting mode for performing skin beautification / whitening processing on the skin-colored part in a situation where a human face should be included (hereinafter referred to as "non-face detection determination mode"). And are selectively switched. In other words, the present embodiment is configured to perform determination using a method other than image analysis of a captured image in the non-face detection determination mode.
Note that in the second embodiment, description of matters common to the first embodiment is omitted. That is, in the second embodiment, the hardware configuration and the functional configuration in the imaging apparatus 1 are the same, and thus the description thereof is omitted.
図４は、第２の実施形態における図２の機能的構成を有する図１の撮像装置１が実行する撮影処理の流れを説明するフローチャートである。
撮影処理は、ユーザによる入力部１７への撮影処理開始の操作により開始される。
FIG. 4 is a flowchart for explaining the flow of imaging processing executed by the imaging apparatus 1 of FIG. 1 having the functional configuration of FIG. 2 in the second embodiment.
The photographing process is started by an operation for starting the photographing process on the
ステップＳ３１において、撮像制御部５１は、撮像処理を実行する。撮像制御部５１は、撮像を行うように撮像部１６を制御する。撮像処理の結果、撮像部１６から撮像画像が出力される。
In step S31, the imaging control unit 51 executes an imaging process. The imaging control unit 51 controls the
ステップＳ３２において、撮像制御部５１は、美肌／美白処理が禁止されているか否かを判定する。
美肌／美白処理が禁止されている場合には、ステップＳ３２においてＹＥＳと判定されて、処理はステップＳ４１に進む。
美肌／美白処理が禁止されていない場合には、ステップＳ３２においてＮＯと判定されて、処理はステップＳ３３に進む。
In step S32, the imaging control unit 51 determines whether skin beautification / whitening processing is prohibited.
If the skin / whitening process is prohibited, YES is determined in step S32, and the process proceeds to step S41.
If the skin / whitening process is not prohibited, NO is determined in step S32, and the process proceeds to step S33.
ステップＳ３３において、撮像制御部５１は、非顔検出判定モードか否かを判定する。
非顔検出判定モードである場合には、ステップＳ３３においてＹＥＳと判定されて、処理はステップＳ３４に進む。
非顔検出判定モードでない場合には、ステップＳ３３においてＮＯと判定されて、処理はステップＳ３７に進む。
In step S33, the imaging control unit 51 determines whether or not the non-face detection determination mode is set.
If it is the non-face detection determination mode, YES is determined in step S33, and the process proceeds to step S34.
If it is not the non-face detection determination mode, it is determined as NO in step S33, and the process proceeds to step S37.
ステップＳ３４において、状況判定部５４は、撮影範囲に人物の顔が含まれるべき状況であるか否かを撮影画像の解析以外の方法で判定する。状況判定部５４は、撮影範囲に人物の顔が含まれるべき状況として、例えば、自分撮りモードが設定されているか否かを判定する。状況判定部５４は、自分撮りモードが設定されている場合には、撮影範囲に人物の顔が含まれるべき状況であると判定し、自分撮りモードが設定されていない場合には、撮影範囲に人物の顔が含まれるべき状況でないと判定する。
In step S <b> 34, the
ステップＳ３５において、状況判定部５４は、人物の顔が含まれるべき状況であるか否かを判定する。
人物の顔が含まれるべき状況である場合には、ステップＳ３５においてＹＥＳと判定されて、処理はステップＳ３６に進む。
人物の顔が含まれるべき状況でない場合には、ステップＳ３５においてＮＯと判定されて、処理はステップＳ４１に進む。
In step S35, the
If the situation should include a human face, YES is determined in step S35, and the process proceeds to step S36.
If the situation does not include a human face, NO is determined in step S35, and the process proceeds to step S41.
ステップＳ３６において、処理対象領域特定部５３は、撮影画像内の肌色に相当する部分を処理対象領域として特定する。
In step S36, the processing target
ステップＳ３７において、顔検出部５２は、撮影範囲に人物の顔が含まれているか否かを撮影画像の解析により検出する。
In step S37, the
ステップＳ３８において、顔検出部５２は、人物の顔が検出されたか否かを判定する。
人物の顔が検出された場合には、ステップＳ３８においてＹＥＳと判定されて、処理はステップＳ３９に進む。
人物の顔が検出されない場合には、ステップＳ３８においてＮＯと判定されて、処理はステップＳ４１に進む。
In step S38, the
When a person's face is detected, it is determined as YES in Step S38, and the process proceeds to Step S39.
If no person's face is detected, NO is determined in step S38, and the process proceeds to step S41.
ステップＳ３９において、処理対象領域特定部５３は、検出された人物の顔部分を処理対象領域として特定する。
ステップＳ４０において、美肌／美白処理部５５は、特定された処理対象領域に対して美肌／美白処理を実行する。
In step S39, the processing target
In step S <b> 40, the skin beautification /
ステップＳ４１において、記憶制御部５６は、撮影画像を画像記憶部７１に記録させる。
その後、撮影処理は終了する。
In step S <b> 41, the
Thereafter, the photographing process ends.
したがって、従来の美肌や美白の処理を実施することを特徴とする撮像装置においては、顔を検出することができない場合は美肌や美白処理がスキップされるため、顔検出性能によって美肌や美白がかったりかからなかったりしていたが、例えば、メガネや髪が目にかっていて顔検出が外れやすい場合等の状況も含めて、顔検出できてもできなくても、美肌や美白などの肌に対する処理を実施するので、常に美肌と美白などの肌に対する処理が施された撮像画像を記録（撮影）することができる。 Therefore, in the conventional imaging device that performs the skin beautification and whitening processing, if the face cannot be detected, the skin beautification or whitening processing is skipped. Although it was not applied, for example, in cases where face detection is likely to be missed due to eyeglasses or hair, treatment for skin such as beautifying skin or whitening, even if face detection is not possible Therefore, it is possible to always record (capture) a captured image that has been processed for skin such as beautifying skin and whitening.
以上のように構成される撮像装置１は、撮像部１６と、顔検出部５２と、処理対象領域特定部５３と、美肌／美白処理部５５と、を備える。
顔検出部５２は、撮像部１６により撮像された撮影画像内における所定の被写体に対応する画像領域を、当該被写体に関する第１の観点の特徴情報を用いて特定する。
処理対象領域特定部５３は、所定の被写体に関する第１の観点とは異なる第２の観点の特徴情報を用いて撮影画像内における画像領域を特定する。
美肌／美白処理部５５は、所定の被写体に対応する画像領域を対象として所定の被写体に特有の画像処理を実行する。
また、美肌／美白処理部５５は、画像処理が所定の被写体に特有の第１の画像処理である場合に、処理対象領域特定部５３により特定された画像領域を対象として画像処理を実行する。
これにより、撮像装置１においては、画像処理が所定の被写体に特有の第１の画像処理である場合に、処理対象領域特定部５３により特定された画像領域を対象として画像処理を実行するため、撮影画像内の物体に対する物体特有の画像処理の実行をより効果的に制御することができる。
The imaging device 1 configured as described above includes the
The
The processing target
The skin beautification /
Further, when the image processing is the first image processing specific to a predetermined subject, the skin beautification /
Thereby, in the imaging device 1, when the image processing is the first image processing specific to a predetermined subject, the image processing is executed for the image region specified by the processing target
また、撮像装置１は、第１の観点の特徴情報を用いて特定する顔検出部５２と、を備える。
美肌／美白処理部５５は、顔検出部５２により所定の被写体に対応する画像領域を特定できなかった場合に、処理対象領域特定部５３により特定された画像領域を対象として前記画像処理手段に第１の画像処理を実行する。
これにより、撮像装置１においては、顔検出部５２により所定の被写体に対応する画像領域を特定できなかった場合でも、処理対象領域特定部５３により特定された画像領域を対象として所定の被写体に特有の画像処理を実行するために、撮影画像内の物体に対する物体特有の画像処理の実行をより効果的に制御することができる。
In addition, the imaging device 1 includes a
When the
Thereby, in the imaging apparatus 1, even when the
第２の観点は、第１の観点よりも、所定の被写体に対応する画像領域を特定する精度は低いが、第１の画像処理の対象となる画像領域を特定できる確率は高い。
これにより、撮像装置１においては、画像領域の精度を高めることができ、撮影画像内の物体に対する物体特有の画像処理の実行をより効果的に制御することができる。
The second aspect is less accurate than the first aspect in specifying an image area corresponding to a predetermined subject, but has a high probability of specifying an image area to be subjected to the first image processing.
Thereby, in the imaging device 1, the accuracy of the image region can be increased, and execution of object-specific image processing on the object in the captured image can be more effectively controlled.
また、美肌／美白処理部５５は、実行する画像処理が第２の画像処理である場合に、顔検出部５２により特定された画像領域を対象として画像処理を実行する。
これにより、撮像装置１においては、顔検出を利用して、画像領域を特定することができる。
Further, when the image processing to be executed is the second image processing, the skin beautification /
Thereby, in the imaging device 1, an image area can be specified using face detection.
また、撮像装置１は、所定の被写体が撮影範囲内に存在すべき状況であるか否かを、所定の被写体に関する特徴情報を用いずに判定する状況判定部５４と、を備える。
美肌／美白処理部５５は、状況判定部５４により所定の被写体が撮影範囲内に存在すべき状況であると判定されたことを条件として、顔検出部５２により特定された画像領域を対象とした所定の被写体に特有の画像処理を実行する。
これにより、撮像装置１においては、撮影画像内の物体に対する物体特有の画像処理の実行をより効果的に制御することができる。
Further, the imaging apparatus 1 includes a
The skin beautification /
Thereby, in the imaging device 1, execution of the image processing peculiar to the object with respect to the object in the captured image can be controlled more effectively.
美肌／美白処理部５５は、顔検出部５２により所定の被写体に対応する画像領域を特定できず、かつ、状況判定部５４により所定の被写体が撮影範囲内に存在すべき状況であると判定されたことを条件として、顔検出部５２により特定された画像領域を対象とした第１の画像処理を実行する。
これにより、撮像装置１においては、撮影画像内の物体に対する物体特有の画像処理の実行をより効果的に制御することができる。
The skin beautification /
Thereby, in the imaging device 1, execution of the image processing peculiar to the object with respect to the object in the captured image can be controlled more effectively.
顔検出部５２は、所定の被写体が撮影範囲内に存在するか否かの判定と、所定の被写体に特有の画像処理を実行する画像領域の特定の両方を行う。
処理対象領域特定部５３は、所定の被写体が撮影範囲内に存在するか否かの判定は行わずに、所定の被写体に特有の画像処理を実行する画像領域の特定のみを行う。
これにより、撮像装置１においては、より確実に画像領域の特定を行うことができ、撮影画像内の物体に対する物体特有の画像処理の実行をより効果的に制御することができる。
The
The processing target
Thereby, in the imaging device 1, it is possible to more reliably specify an image region, and it is possible to more effectively control execution of object-specific image processing on an object in a captured image.
状況判定部５４により所定の被写体が撮影範囲内に存在すべき状況であると判定されなかった場合には、顔検出部５２により所定の被写体が撮影範囲内に存在すると判定されたことを条件として、美肌／美白処理部５５に対して、顔検出部５２により特定された画像領域を対象とした所定の被写体に特有の画像処理を実行させる。
これにより、撮像装置１においては、より効率的に、撮影画像内の物体に対する物体特有の画像処理の実行をより効果的に制御することができる。
If the
Thereby, in the imaging device 1, execution of the image processing peculiar to the object with respect to the object in the captured image can be more effectively controlled.
美肌／美白処理部５５は、顔検出部５２または処理対象領域特定部５３による領域特定結果と、状況判定部５４により判定結果に応じて、画像処理を実行する。
これにより、撮像装置１においては、より効率的に、撮影画像内の物体に対する物体特有の画像処理の実行をより効果的に制御することができる。
The skin beautification /
Thereby, in the imaging device 1, execution of the image processing peculiar to the object with respect to the object in the captured image can be more effectively controlled.
美肌／美白処理部５５は、状況判定部５４による判定結果に応じて、所定の被写体に特有の画像処理の対象となる画像領域の特定を、処理対象領域特定部５３と顔検出部５２のいずれで行うかを選択する。
これにより、撮像装置１においては、より効率的に、撮影画像内の物体に対する物体特有の画像処理の実行をより効果的に制御することができる。
The skin beautification /
Thereby, in the imaging device 1, execution of the image processing peculiar to the object with respect to the object in the captured image can be more effectively controlled.
また、撮像装置１では、第１の観点の特徴情報は、所定の被写体の形状の特徴であり、第２の観点の特徴情報は、所定の被写体の色の特徴である。
顔検出部５２は、少なくとも所定の被写体の形状の特徴を用いて画像領域を特定する。 処理対象領域特定部５３は、所定の被写体の形状の特徴を用いずに画像領域を特定する。
これにより、撮像装置１においては、異なる観点で画像領域を特定するために、より確実に、撮影画像内の物体に対する物体特有の画像処理の実行をより効果的に制御することができる。
In the imaging apparatus 1, the feature information of the first viewpoint is a feature of the shape of the predetermined subject, and the feature information of the second viewpoint is a feature of the color of the predetermined subject.
The
Thereby, in the imaging device 1, in order to specify an image region from a different viewpoint, it is possible to more effectively control execution of object-specific image processing on an object in a captured image.
顔検出部５２は、所定の被写体の形状の特徴と色の特徴の両方を用いて画像領域を特定する。
処理対象領域特定部５３は、所定の被写体の色の特徴のみを用いて画像領域を特定する。
これにより、撮像装置１においては、より確実に、撮影画像内の物体に対する物体特有の画像処理の実行をより効果的に制御することができる。
The
The processing target
Thereby, in the imaging device 1, execution of the image processing peculiar to the object with respect to the object in the captured image can be more effectively controlled.
また、撮像装置１では、所定の被写体は、人物である。
顔検出部５２は、撮像部１６により撮像された撮影画像内における人物の顔に対応する画像領域を、人物の顔の特徴情報を用いた顔検出処理により特定する。
処理対象領域特定部５３は、顔検出処理を行わずに、人物に特有の画像処理を実行する画像領域を特定する。
これにより、撮像装置１においては、人物の顔に対応する画像領域を、顔検出処理により特定ことができ、撮影画像内の人物に対する物体特有の画像処理の実行をより効果的に制御することができる。
In the imaging device 1, the predetermined subject is a person.
The
The processing target
Thereby, in the imaging device 1, an image region corresponding to a person's face can be specified by face detection processing, and execution of object-specific image processing on a person in a captured image can be more effectively controlled. it can.
処理対象領域特定部５３は、人物の顔が撮影範囲内に存在すべき状況であるか否かを、顔検出処理による顔の検出結果を用いずに判定する。
これにより、撮像装置１においては、顔検出処理による顔の検出結果を用いずに判定するため、撮影画像内の人物に対する物体特有の画像処理の実行をより効果的に制御することができる。
The processing target
Thereby, in the imaging device 1, since it determines without using the face detection result by a face detection process, execution of the image process peculiar to the object with respect to the person in a picked-up image can be controlled more effectively.
状況判定部５４は、顔検出処理を行わずに、人物の肌の色に対応する色を有する画像領域を、人物に特有の画像処理を実行する画像領域として特定する。
これにより、撮像装置１においては、人物の肌の色に対応する色を有する画像領域を、人物に特有の画像処理を実行する画像領域として特定するために、撮影画像内の人物の肌に対する物体特有の画像処理の実行をより効果的に制御することができる。
The
Thereby, in the imaging device 1, in order to identify an image area having a color corresponding to the color of the person's skin as an image area for performing image processing peculiar to the person, an object for the person's skin in the captured image The execution of the specific image processing can be controlled more effectively.
美肌／美白処理部５５は、第１の画像処理として、人物の肌に対応する画像領域を対象として美肌または美白に係る画像処理を実行する。
これにより、撮像装置１においては、撮影画像内の人物に対する物体特有の肌の色（美肌または美白）の画像処理の実行をより効果的に制御することができる。
As the first image processing, the skin beautifying /
Thereby, in the imaging device 1, execution of the image processing of the skin color peculiar to the object (beautiful skin or whitening) for the person in the captured image can be controlled more effectively.
美肌／美白処理部５５は、第２の画像処理として、人物に対応する画像領域を対象として人物に撮影条件を合わせるための画像処理を実行する。
これにより、撮像装置１においては、人物に対応する画像領域を対象として人物に撮影条件を合わせるための画像処理を用いることができ、撮影画像内の人物に対する物体特有の肌の色（美肌または美白）の画像処理の実行をより効果的に制御することができる。
The skin beautification /
Thereby, in the imaging device 1, image processing for adjusting the shooting condition to the person for the image region corresponding to the person can be used, and the skin color peculiar to the object for the person in the shot image (skinned or whitened) ) Can be more effectively controlled.
第２の画像処理は、人物までの距離にフォーカスを合わせるための画像処理または人物の明るさに露出条件を合わせるための画像処理である。
これにより、撮像装置１においては、人物までの距離にフォーカスを合わせるための画像処理または人物の明るさに露出条件を合わせるための従来の顔検出技術による画像処理を用いることができ、撮影画像内の人物に対する物体特有の肌の色（美肌または美白）の画像処理の実行をより効果的に制御することができる。
The second image processing is image processing for focusing on the distance to the person or image processing for adjusting the exposure condition to the brightness of the person.
As a result, the imaging apparatus 1 can use image processing for focusing on the distance to the person or image processing by conventional face detection technology for matching the exposure condition to the brightness of the person. It is possible to more effectively control the execution of image processing of the skin color (skinned or whitened) peculiar to an object for a person.
以上のように構成される撮像装置１は、撮像部１６と、顔検出部５２と、美肌／美白処理部５５と、状況判定部５４と、を備える。
顔検出部５２は、撮像部１６により撮像された撮影画像内における人物の肌部分に対応する画像領域を特定するための領域特定処理を実行する。
美肌／美白処理部５５は、顔検出部５２により特定された画像領域を対象として美肌または美白に係る画像処理を実行する。
状況判定部５４は、撮影者である人物が撮影範囲内に存在すべき所定の状況であるか否かの判定に係る所定の判定情報を取得する。
美肌／美白処理部５５は、状況判定部５４により取得した所定の判定情報に基づいて、撮影者である人物が撮影範囲内に存在すべき所定の状況であると判定される場合には、領域特定手段による人物の形状に係る特徴検出よりも、人物の色に係る特徴検出を優先した領域特定処理を実行するとともに、この領域特定処理により特定された画像領域に対して美肌または美白に係る画像処理を実行するように制御する。
これにより、撮像装置１においては、状況判定部５４により取得した所定の判定情報に基づいて、撮影者である人物が撮影範囲内に存在すべき所定の状況であると判定される場合には、領域特定手段による人物の形状に係る特徴検出よりも、人物の色に係る特徴検出を優先した領域特定処理を実行するために、撮影画像内の物体に対する物体特有の画像処理の実行をより効果的に制御することができる。
The imaging device 1 configured as described above includes the
The
The skin beautification /
The
If the skin beautification /
Thereby, in the imaging device 1, based on the predetermined determination information acquired by the
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.
上述の実施形態では、単一の撮像部１６を備えるように構成して、自分撮りを行う状況（本実施形態においては、自分撮りモードに設定）になった状況を判定するように構成したが、例えば、撮像装置１を自分撮り用の撮像部と、それ以外の撮像部を備えるように構成して、自分撮り用の撮像部に切り替えた場合や、撮像装置１において撮像部とモニターのいずれか／もしくは両方の角度や向きを可変可能に構成した場合において、自分撮りができると思われる位置関係になった場合の状況を判定するように構成してもよい。
In the above-described embodiment, the camera is configured so as to include the
また、上述した実施形態では、人の顔が含まれるべき状況として、自分撮りを行うような状況を説明したが、これに限られない。例えば、撮影の直近の状態でライブビュー画像等において顔が検出されていたような場合に、撮影時には顔が検出されなかったとしても顔が含まれている可能性が高いために、人の顔が含まれるべき状況としてもよい。また、顔は、髪領域に隣接しているため、例えば、肌色領域と、肌色領域に隣接して黒や茶等の髪領域との関係性を判定して、人の顔が含まれるべき状況としてもよい。また、顔検出の結果、顔検出の基準には満たさないが、基準に近いもの、例えば、顔パーツが基準にそぐわない等の場合に、人の顔が含まれるべき状況としてもよい。具体的には、第２の観点を精度の低い顔検出とした場合は、第１の観点を精度の高い顔検出とした場合よりも、所定の被写体に対応する画像領域を特定する精度は低いが、第１の画像処理の対象となる画像領域を特定できる確率は高いものとして構成することができる。 Further, in the above-described embodiment, the situation where the self-portrait is performed is described as the situation where the human face should be included, but the present invention is not limited to this. For example, when a face is detected in a live view image or the like immediately after shooting, it is highly possible that the face is included even if the face is not detected during shooting. May be included in the situation. In addition, since the face is adjacent to the hair area, for example, the relationship between the skin color area and the hair area such as black or brown adjacent to the skin color area should be determined to include a human face It is good. In addition, as a result of face detection, the face detection criteria may be included when the face detection criteria are not met but the criteria are close to the criteria, for example, face parts do not meet the criteria. Specifically, when the second aspect is face detection with low accuracy, the precision of specifying an image region corresponding to a predetermined subject is lower than when the first viewpoint is face detection with high accuracy. However, it can be configured with a high probability that the image area to be subjected to the first image processing can be specified.
また、上述した実施形態では、顔の肌の色を好適な状態にする表面の質感を変える美肌／美しいとされる白い肌の色にする美白処理を行ったが、例えば、肌に限らない対象を好適な状態にする処理を施すようにしてもよい。 Further, in the above-described embodiment, the whitening process for changing the texture of the surface that changes the facial skin color to a suitable state / the white skin color that is considered to be beautiful has been performed. You may make it perform the process which makes a suitable state.
また、上述した実施形態では、顔検出機能の無い撮像装置に、顔検出の機能の代替機能として搭載するように構成してもよい。 Further, in the above-described embodiment, the imaging apparatus having no face detection function may be mounted as an alternative function of the face detection function.
また、上述した実施形態では、人の顔の肌に対して、美肌／美白処理を施すように構成したが、人の肌でもよく、また、口等でもよい。また、対象は、人に限らず、被写体そのものを撮影画像の色をそのままではなく美しく見せたり鮮やかに見せたりするような処理を施すように構成してもよい。具体的には、リンゴ（リンゴの鮮やかな赤色を、表面をなめらかに、光沢感のツヤ）や山（鮮やかな緑）でもよい。この場合、対象となる被写体が含まれるべき状況をモードや指示等を判定して行う。 In the above-described embodiment, the skin of a person's face is configured to be subjected to skin beautification / whitening, but may be human skin, mouth, or the like. Further, the target is not limited to a person, and the subject itself may be configured to perform a process that makes the photographed image look beautiful or vivid rather than as it is. Specifically, it may be an apple (the bright red color of the apple, the surface is smooth and glossy) or a mountain (bright green). In this case, the situation in which the subject subject is to be included is determined by determining the mode, instruction, and the like.
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮影処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
In the above-described embodiment, the imaging apparatus 1 to which the present invention is applied has been described using a digital camera as an example, but is not particularly limited thereto.
For example, the present invention can be applied to general electronic devices having a photographing processing function. Specifically, for example, the present invention can be applied to a notebook personal computer, a printer, a television receiver, a video camera, a portable navigation device, a mobile phone, a smartphone, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 2 is merely an example and is not particularly limited. That is, it is sufficient that the imaging apparatus 1 has a function capable of executing the above-described series of processing as a whole, and what functional blocks are used to realize this function is not particularly limited to the example of FIG.
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
The recording medium including such a program is not only constituted by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalent scope thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像手段と、
前記撮像手段により撮像された撮影画像内における所定の被写体に対応する画像領域を、当該被写体に関する第１の観点の特徴情報を用いて特定する第１の領域特定手段と、
前記所定の被写体に関する前記第１の観点とは異なる第２の観点の特徴情報を用いて前記撮影画像内における画像領域を特定する第２の領域特定手段と、
前記所定の被写体に対応する画像領域を対象として前記所定の画像処理を実行する画像処理手段と、
前記画像処理手段により実行させる画像処理が前記所定の被写体に特有の第１の画像処理である場合に、前記第２の領域特定手段により特定された画像領域を対象として画像処理を実行させる制御手段と、
を備えたことを特徴とする撮像装置。
［付記２］
前記制御手段は、前記第１の領域特定手段により前記所定の被写体に対応する画像領域を特定できなかった場合に、前記第２の領域特定手段により特定された画像領域を対象として前記画像処理手段に前記第１の画像処理を実行させる、
ことを特徴とする付記１に記載の撮像装置。
［付記３］
前記第２の領域特定手段は、前記第１の領域特定手段よりも、前記所定の被写体に対応する画像領域を特定する精度は低いが、前記第１の画像処理の対象となる画像領域を特定できる確率は高い、
ことを特徴とする付記１または２に記載の撮像装置。
［付記４］
前記制御手段は、前記画像処理手段により実行させる画像処理が第２の画像処理である場合に、前記第１の領域特定手段により特定された画像領域を対象として画像処理を実行させる、
ことを特徴とする付記１乃至３の何れか１つに記載の撮像装置。
［付記５］
前記所定の被写体が撮影範囲内に存在すべき状況であるか否かを、前記所定の被写体に関する特徴情報を用いずに判定する第１の判定手段と、を備え、
前記制御手段は、前記第１の判定手段により前記所定の被写体が撮影範囲内に存在すべき状況であると判定されたことを条件として、前記画像処理手段に対して、前記第１の領域特定手段により特定された画像領域を対象とした前記第１の画像処理を実行させる、
ことを特徴とする付記１乃至３の何れか１つに記載の撮像装置。
［付記６］
前記制御手段は、前記第１の領域特定手段により前記所定の被写体に対応する画像領域を特定できず、かつ、前記第１の判定手段により前記所定の被写体が撮影範囲内に存在すべき状況であると判定されたことを条件として、前記画像処理手段に対して、前記第１の領域特定手段により特定された画像領域を対象とした前記第１の画像処理を実行させる、
ことを特徴とする付記５に記載の撮像装置。
［付記７］
前記第１の領域特定手段は、前記所定の被写体が撮影範囲内に存在するか否かの判定と、前記画像処理手段が画像処理を実行する画像領域の特定の両方を行い、
前記第２の領域特定手段は、前記所定の被写体が撮影範囲内に存在するか否かの判定は行わずに、前記画像処理手段が画像処理を実行する画像領域の特定のみを行う、
ことを特徴とする付記５に記載の撮像装置。
［付記８］
前記第１の判定手段により前記所定の被写体が撮影範囲内に存在すべき状況であると判定されなかった場合には、前記第１の領域特定手段により前記所定の被写体が撮影範囲内に存在すると判定されたことを条件として、前記画像処理手段に対して、前記第１の領域特定手段により特定された画像領域を対象とした前記第１の画像処理を実行させる、
ことを特徴とする付記５に記載の撮像装置。
［付記９］
前記制御手段は、前記第１の領域特定手段または第２の領域特定手段による領域特定結果と、前記第１の判定手段による判定結果に応じて、前記画像処理手段による画像処理の実行を制御する、
ことを特徴とする付記５に記載の撮像装置。
［付記１０］
前記制御手段は、前記第１の判定手段による判定結果に応じて、前記画像処理手段による前記所定の被写体に特有の画像処理の対象となる画像領域の特定を、前記第１の領域特定手段と前記第２の領域特定手段のいずれで行うかを選択する、
ことを特徴とする付記５に記載の撮像装置。
［付記１１］
前記第１の観点の特徴情報は、前記所定の被写体の形状の特徴であり、
前記第２の観点の特徴情報は、前記所定の被写体の色の特徴であり、
前記第１の領域特定手段は、少なくとも前記所定の被写体の形状の特徴を用いて前記画像領域を特定し、
前記第２の領域特定手段は、前記所定の被写体の形状の特徴を用いずに前記画像領域を特定する、
ことを特徴とする付記１乃至１０の何れか１つに記載の撮像装置。
［付記１２］
前記第１の領域特定手段は、前記所定の被写体の形状の特徴と色の特徴の両方を用いて前記画像領域を特定し、
前記第２の領域特定手段は、前記所定の被写体の色の特徴のみを用いて前記画像領域を特定する、
ことを特徴とする付記１１に記載の撮像装置。
［付記１３］
前記所定の被写体は、人物であり、
前記第１の領域特定手段は、前記撮像手段により撮像された撮影画像内における人物の顔に対応する画像領域を、人物の顔の特徴情報を用いた顔検出処理により特定し、
前記第２の領域特定手段は、前記顔検出処理を行わずに、人物に特有の画像処理を実行する画像領域を特定する、
ことを特徴とする付記１乃至１２の何れか１つに記載の撮像装置。
［付記１４］
人物の顔が撮影範囲内に存在すべき状況であるか否かを、前記顔検出処理による顔の検出結果を用いずに判定する第２の判定手段を更に備える、
ことを特徴とする付記１３に記載の撮像装置。
［付記１５］
前記第２の領域特定手段は、前記顔検出処理を行わずに、人物の肌の色に対応する色を有する画像領域を、前記人物に特有の画像処理を実行する画像領域として特定する、
ことを特徴とする付記１４に記載の撮像装置。
［付記１６］
前記画像処理手段は、前記第１の画像処理として、人物の肌に対応する画像領域を対象として美肌または美白に係る画像処理を実行する、
ことを特徴とする付記１５に記載の撮像装置。
［付記１７］
前記画像処理手段は、第２の画像処理として、人物に対応する画像領域を対象として人物に撮影条件を合わせるための画像処理を実行する、
ことを特徴とする付記４に記載の撮像装置。
［付記１８］
前記第２の画像処理は、人物までの距離にフォーカスを合わせるための画像処理または人物の明るさに露出条件を合わせるための画像処理である、
ことを特徴とする付記１７に記載の撮像装置。
［付記１９］
撮像手段と、
前記撮像手段により撮像された撮影画像内における人物の肌部分に対応する画像領域を特定するための領域特定処理を実行する領域特定手段と、
前記領域特定手段により特定された画像領域を対象として美肌または美白に係る画像処理を実行する画像処理手段と、
撮影者である人物が撮影範囲内に存在すべき所定の状況であるか否かの判定に係る所定の判定情報を取得する取得手段と、 前記取得手段により取得した前記所定の判定情報に基づいて、撮影者である人物が撮影範囲内に存在すべき所定の状況であると判定される場合には、前記領域特定手段による人物の形状に係る特徴検出よりも、人物の色に係る特徴検出を優先した領域特定処理を実行するとともに、この領域特定処理により特定された画像領域に対して前記画像処理手段による美肌または美白に係る画像処理を実行するように制御する制御手段と、
を備えたことを特徴とする撮像装置。
［付記２０］
撮像手段を備える撮像装置で実行される撮像制御方法であって、
前記撮像手段により撮像された撮影画像内における所定の被写体に対応する画像領域を、当該被写体に関する第１の観点の特徴情報を用いて特定する第１の領域特定ステップと、
前記所定の被写体に関する前記第１の観点とは異なる第２の観点の特徴情報を用いて前記撮影画像内における画像領域を特定する第２の領域特定ステップと、
前記所定の被写体に対応する画像領域を対象として前記所定の画像処理を実行する画像処理ステップと、
前記画像処理ステップにより実行させる画像処理が前記所定の被写体に特有の第１の画像処理である場合に、前記第２の領域特定ステップにより特定された画像領域を対象として画像処理を実行させる制御ステップと、
を含むことを特徴とする撮像制御方法。
［付記２１］
撮像手段を備える撮像装置を制御するコンピュータを、
前記撮像手段により撮像された撮影画像内における所定の被写体に対応する画像領域を、当該被写体に関する第１の観点の特徴情報を用いて特定する第１の領域特定手段、
前記所定の被写体に関する前記第１の観点とは異なる第２の観点の特徴情報を用いて前記撮影画像内における画像領域を特定する第２の領域特定手段、
前記所定の被写体に対応する画像領域を対象として前記所定の画像処理を実行する画像処理手段、
前記画像処理手段により実行させる画像処理が前記所定の被写体に特有の第１の画像処理である場合に、前記第２の領域特定手段により特定された画像領域を対象として画像処理を実行させる制御手段、
として機能させることを特徴とするプログラム。
［付記２２］
撮像手段を備える撮像装置で実行される撮像制御方法であって、
前記撮像手段により撮像された撮影画像内における人物の肌部分に対応する画像領域を特定するための領域特定処理を実行する領域特定ステップと、
前記領域特定ステップにより特定された画像領域を対象として美肌または美白に係る画像処理を実行する画像処理ステップと、
撮影者である人物が撮影範囲内に存在すべき所定の状況であるか否かの判定に係る所定の判定情報を取得する取得ステップと、
前記取得ステップにより取得した前記所定の判定情報に基づいて、撮影者である人物が撮影範囲内に存在すべき所定の状況であると判定される場合には、前記領域特定ステップによる人物の形状に係る特徴検出よりも、人物の色に係る特徴検出を優先した領域特定処理を実行するとともに、この領域特定処理により特定された画像領域に対して前記画像処理ステップによる美肌または美白に係る画像処理を実行するように制御する制御ステップと、
を含むことを特徴とする撮像制御方法。
［付記２３］
撮像手段を備える撮像装置を制御するコンピュータを、
前記撮像手段により撮像された撮影画像内における人物の肌部分に対応する画像領域を特定するための領域特定処理を実行する領域特定手段、 前記領域特定手段により特定された画像領域を対象として美肌または美白に係る画像処理を実行する画像処理手段、
撮影者である人物が撮影範囲内に存在すべき所定の状況であるか否かの判定に係る所定の判定情報を取得する取得手段、
前記取得手段により取得した前記所定の判定情報に基づいて、撮影者である人物が撮影範囲内に存在すべき所定の状況であると判定される場合には、前記領域特定手段による人物の形状に係る特徴検出よりも、人物の色に係る特徴検出を優先した領域特定処理を実行するとともに、この領域特定処理により特定された画像領域に対して前記画像処理手段による美肌または美白に係る画像処理を実行するように制御する制御手段、
として機能させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
Imaging means;
First area specifying means for specifying an image area corresponding to a predetermined subject in a photographed image taken by the imaging means using feature information of the first viewpoint related to the subject;
Second area specifying means for specifying an image area in the captured image using feature information of a second viewpoint different from the first viewpoint regarding the predetermined subject;
Image processing means for executing the predetermined image processing on an image area corresponding to the predetermined subject;
Control means for executing image processing on the image area specified by the second area specifying means when the image processing executed by the image processing means is first image processing specific to the predetermined subject. When,
An imaging apparatus comprising:
[Appendix 2]
The control means targets the image area specified by the second area specifying means when the image area corresponding to the predetermined subject cannot be specified by the first area specifying means. To execute the first image processing,
The imaging apparatus according to Supplementary Note 1, wherein
[Appendix 3]
The second area specifying unit specifies an image area to be subjected to the first image processing, although the accuracy of specifying the image area corresponding to the predetermined subject is lower than that of the first area specifying unit. The probability of being able to do is high,
The imaging apparatus according to appendix 1 or 2, wherein:
[Appendix 4]
The control means causes the image processing to be executed on the image area specified by the first area specifying means when the image processing executed by the image processing means is second image processing.
The imaging apparatus according to any one of supplementary notes 1 to 3, wherein:
[Appendix 5]
First determination means for determining whether or not the predetermined subject should be present in a shooting range without using feature information relating to the predetermined subject;
The control means determines the first region identification for the image processing means on the condition that the first determination means determines that the predetermined subject should be in the shooting range. Executing the first image processing on the image area specified by the means;
The imaging apparatus according to any one of supplementary notes 1 to 3, wherein:
[Appendix 6]
In the situation where the control means cannot specify the image area corresponding to the predetermined subject by the first area specifying means, and the predetermined subject should exist within the photographing range by the first determination means. The image processing unit is made to execute the first image processing for the image region specified by the first region specifying unit, on condition that it is determined that there is
The imaging apparatus according to appendix 5, which is characterized in that.
[Appendix 7]
The first area specifying means performs both determination of whether or not the predetermined subject exists within a shooting range, and specifies an image area where the image processing means executes image processing,
The second area specifying means does not determine whether or not the predetermined subject exists within the photographing range, and only specifies an image area where the image processing means performs image processing.
The imaging apparatus according to appendix 5, which is characterized in that.
[Appendix 8]
If the first determination unit does not determine that the predetermined subject should be in the shooting range, the first region specifying unit determines that the predetermined subject exists in the shooting range. On the condition that it is determined, the image processing unit is caused to execute the first image processing for the image region specified by the first region specifying unit.
The imaging apparatus according to appendix 5, which is characterized in that.
[Appendix 9]
The control means controls execution of image processing by the image processing means according to the area specifying result by the first area specifying means or the second area specifying means and the determination result by the first determining means. ,
The imaging apparatus according to appendix 5, which is characterized in that.
[Appendix 10]
The control means specifies the image area to be subjected to image processing specific to the predetermined subject by the image processing means according to the determination result by the first determination means as the first area specifying means. Select which of the second region specifying means to perform,
The imaging apparatus according to appendix 5, which is characterized in that.
[Appendix 11]
The feature information of the first aspect is a feature of the shape of the predetermined subject,
The feature information of the second aspect is a color feature of the predetermined subject,
The first area specifying means specifies the image area using at least the shape characteristic of the predetermined subject,
The second area specifying means specifies the image area without using the shape feature of the predetermined subject.
The imaging apparatus according to any one of appendices 1 to 10, characterized in that:
[Appendix 12]
The first area specifying means specifies the image area using both the shape feature and the color feature of the predetermined subject,
The second area specifying means specifies the image area using only the color characteristics of the predetermined subject.
The imaging apparatus according to
[Appendix 13]
The predetermined subject is a person,
The first area specifying means specifies an image area corresponding to a person's face in a captured image captured by the imaging means by face detection processing using person face feature information;
The second area specifying means specifies an image area for performing image processing peculiar to a person without performing the face detection processing.
The imaging apparatus according to any one of appendices 1 to 12, characterized in that:
[Appendix 14]
A second determination means for determining whether or not a person's face should be in the shooting range without using a face detection result of the face detection process;
The imaging apparatus according to
[Appendix 15]
The second area specifying unit specifies an image area having a color corresponding to a skin color of a person as an image area for performing image processing peculiar to the person without performing the face detection process.
The imaging apparatus according to
[Appendix 16]
The image processing means executes, as the first image processing, image processing relating to skin beautification or whitening for an image region corresponding to human skin,
The imaging apparatus according to
[Appendix 17]
The image processing means executes, as second image processing, image processing for matching a shooting condition to a person for an image region corresponding to the person.
The imaging apparatus according to appendix 4, wherein the imaging apparatus is characterized.
[Appendix 18]
The second image processing is image processing for focusing on the distance to the person or image processing for adjusting the exposure condition to the brightness of the person.
[Appendix 19]
Imaging means;
Area specifying means for executing an area specifying process for specifying an image area corresponding to a skin portion of a person in a captured image captured by the imaging means;
Image processing means for executing image processing relating to beautifying skin or whitening for the image area specified by the area specifying means;
An acquisition unit that acquires predetermined determination information related to determination of whether or not a person who is a photographer is in a predetermined situation that should be present within the shooting range, and When it is determined that the person who is the photographer is in a predetermined situation that should exist within the shooting range, the feature detection related to the color of the person is performed rather than the feature detection related to the shape of the person by the region specifying means. Control means for performing priority area specifying processing, and controlling the image area specified by the area specifying process to execute image processing relating to skin beautification or whitening by the image processing means;
An imaging apparatus comprising:
[Appendix 20]
An imaging control method executed by an imaging device including an imaging unit,
A first region specifying step of specifying an image region corresponding to a predetermined subject in the captured image picked up by the image pickup means using the feature information of the first viewpoint related to the subject;
A second region specifying step of specifying an image region in the photographed image using feature information of a second viewpoint different from the first viewpoint regarding the predetermined subject;
An image processing step for executing the predetermined image processing on an image area corresponding to the predetermined subject;
A control step of executing image processing on the image region specified by the second region specifying step when the image processing executed by the image processing step is first image processing specific to the predetermined subject; When,
An imaging control method comprising:
[Appendix 21]
A computer for controlling an imaging apparatus including an imaging means;
First area specifying means for specifying an image area corresponding to a predetermined subject in a captured image picked up by the image pickup means by using feature information of the first viewpoint related to the subject;
Second area specifying means for specifying an image area in the captured image using feature information of a second viewpoint different from the first viewpoint regarding the predetermined subject;
Image processing means for executing the predetermined image processing on an image region corresponding to the predetermined subject;
Control means for executing image processing on the image area specified by the second area specifying means when the image processing executed by the image processing means is first image processing specific to the predetermined subject. ,
A program characterized by functioning as
[Appendix 22]
An imaging control method executed by an imaging device including an imaging unit,
An area specifying step for executing an area specifying process for specifying an image area corresponding to a skin portion of a person in a captured image captured by the imaging means;
An image processing step for performing image processing relating to beautifying skin or whitening for the image region specified by the region specifying step;
An acquisition step of acquiring predetermined determination information related to determination of whether or not a person who is a photographer is in a predetermined situation that should exist within the shooting range;
Based on the predetermined determination information acquired in the acquisition step, when it is determined that the person who is the photographer is in a predetermined situation that should exist within the shooting range, the shape of the person in the region specifying step is In addition to performing feature identification processing that prioritizes feature detection related to a person's color over the feature detection, image processing related to skin beautification or whitening by the image processing step is performed on the image region identified by the region identification processing. A control step for controlling to execute;
An imaging control method comprising:
[Appendix 23]
A computer for controlling an imaging apparatus including an imaging means;
Area specifying means for executing an area specifying process for specifying an image area corresponding to a skin portion of a person in a photographed image captured by the imaging means; skin beautification targeted for the image area specified by the area specifying means; Image processing means for performing image processing relating to whitening;
Acquisition means for acquiring predetermined determination information related to determination of whether or not a person who is a photographer is in a predetermined situation that should exist within the shooting range;
Based on the predetermined determination information acquired by the acquisition unit, when it is determined that the person who is the photographer is in a predetermined situation that should exist within the shooting range, the shape of the person by the region specifying unit is In addition to performing feature identification processing that prioritizes feature detection related to the color of a person, image processing relating to skin or whitening by the image processing means is performed on the image region identified by the region identification processing. Control means for controlling to execute,
A program characterized by functioning as
１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・顔検出部５２・・・処理対象領域特定部，５４・・・状況判定部，５５・・・美肌／美白処理部，５６・・・記憶制御部，７１・・・画像記憶部 DESCRIPTION OF SYMBOLS 1 ... Imaging device, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Bus, 15 ... Input-output interface, 16 ... Imaging part, 17 ... Input unit, 18 ... output unit, 19 ... storage unit, 20 ... communication unit, 21 ... drive, 31 ... removable media, 51 ... imaging control unit, 52 ... face Detection unit 52: processing target area specifying unit, 54: status determination unit, 55: skin beautification / whitening processing unit, 56: storage control unit, 71: image storage unit
本発明は、画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.
本発明は、画像に対する画像解析処理の実行をより効果的に制御できるようにすることを目的とする。 The present invention aims to allow better control the execution of the image analysis processing against the image.
請求項１は、画像を取得して画像解析処理を行う画像処理装置であって、前記画像を第１解析方法で解析する第１解析手段と、前記画像を前記第１解析方法とは異なる第２解析方法で解析する第２解析手段と、前記画像内に所定対象物が存在すべき特定状況にあるか否かを判別する判別手段と、前記判別手段で前記特定状況にあることを判別した場合に、前記第２解析手段により前記画像を解析するよう制御する制御手段と、を具備したことを特徴とする。
請求項９は、画像を取得して画像解析処理を行う画像処理装置であって、前記画像を第１解析方法で解析する第１解析手段と、前記画像を前記第１解析方法とは異なる第２解析方法で解析する第２解析手段と、前記第１解析手段による解析と前記第２解析手段による解析を制御する制御手段と、を具備し、前記第１解析手段は、画像内を複数の特徴要素で画像解析する前記第１解析方法で前記画像を解析し、前記第２解析手段は、画像内を前記複数の特徴要素の内の一部の特徴要素で画像解析する前記第２解析方法で前記画像を解析する、ことを特徴とする。
請求項１０は、画像を取得して画像解析処理を行う画像処理装置であって、前記画像を第１解析方法で解析する第１解析手段と、前記画像を前記第１解析方法とは異なる第２解析方法で解析する第２解析手段と、前記第１解析手段による解析と前記第２解析手段による解析を制御する制御手段と、を具備し、前記第１解析手段は、画像内を第１特徴要素で画像解析する前記第１解析方法で前記画像を解析し、前記第２解析手段は、画像内を前記第１特徴要素を用いずに第２特徴要素で画像解析する前記第２解析方法で前記画像を解析する、ことを特徴とする。
A first aspect of the present invention is an image processing apparatus that acquires an image and performs an image analysis process, wherein the first analysis unit analyzes the image by a first analysis method, and the image is different from the first analysis method . there a second analysis means for analyzing in two analysis methods, and determine by means for determining whether a particular situation should exist Jo Tokoro object in the image, in the specific situation in the previous SL determination means And a control means for controlling the second analysis means to analyze the image when it is determined .
A ninth aspect of the present invention is an image processing apparatus that acquires an image and performs an image analysis process, wherein the first analysis unit analyzes the image by a first analysis method, and the image is different from the first analysis method. (2) a second analysis means for analyzing by the analysis method, and a control means for controlling the analysis by the first analysis means and the analysis by the second analysis means, wherein the first analysis means includes a plurality of images in the image. The second analysis method in which the image is analyzed by the first analysis method for analyzing an image by a feature element, and the second analysis means performs image analysis by using a part of the plurality of feature elements in the image. And analyzing the image.
A tenth aspect of the present invention is an image processing apparatus that acquires an image and performs an image analysis process, wherein the first analysis unit analyzes the image by a first analysis method, and the image is different from the first analysis method. A second analysis means for analyzing by the two analysis methods; and a control means for controlling the analysis by the first analysis means and the analysis by the second analysis means, wherein the first analysis means has a first portion in the image. The second analysis method, wherein the image is analyzed by the first analysis method for analyzing the image by the feature element, and the second analysis means analyzes the image by the second feature element without using the first feature element in the image. And analyzing the image.
本発明によれば、画像に対する画像解析処理の実行をより効果的に制御することができる。
According to the present invention, it is possible to control the execution of the image analysis processing against the image more effectively.
Claims (9)
前記撮像手段により撮像された撮影画像内における所定の被写体に対応する画像領域を、当該被写体に関する第１の観点の特徴情報を用いて特定する第１の領域特定手段と、
前記所定の被写体に関する前記第１の観点とは異なる第２の観点の特徴情報を用いて前
記撮影画像内における画像領域を特定する第２の領域特定手段と、
前記所定の被写体に対応する画像領域を対象として所定の画像処理を実行する画像処理手段と、
前記画像処理手段により実行させる画像処理が前記所定の被写体に特有の画像処理である場合に、前記第２の領域特定手段により特定された画像領域を対象として画像処理を実行させる制御手段と、
前記所定の被写体が撮影範囲内に存在すべき状況であるか否かを、前記所定の被写体に関する特徴情報を用いずに判定する判定手段と、
を備え、
前記制御手段は、前記判定手段による判定結果に応じて、前記画像処理手段による前記所定の被写体に特有の画像処理の対象となる画像領域の特定を、前記第１の領域特定手段と前記第２の領域特定手段のいずれで行うかを選択するものであり、前記判定手段により前記所定の被写体が撮影範囲内に存在すべき状況であると判定されたことを条件として、前記画像処理手段に対して、前記第２の領域特定手段により特定された画像領域を対象とした前記所定の被写体に特有の画像処理を実行させる、
ことを特徴とする撮像装置。 Imaging means;
First area specifying means for specifying an image area corresponding to a predetermined subject in a photographed image taken by the imaging means using feature information of the first viewpoint related to the subject;
Second area specifying means for specifying an image area in the captured image using feature information of a second viewpoint different from the first viewpoint regarding the predetermined subject;
Image processing means for executing predetermined image processing on an image region corresponding to the predetermined subject;
Control means for executing image processing on the image area specified by the second area specifying means when the image processing executed by the image processing means is image processing specific to the predetermined subject;
Determining means for determining whether or not the predetermined subject should be present within a shooting range without using feature information relating to the predetermined subject;
With
The control means specifies the image area to be subjected to the image processing specific to the predetermined subject by the image processing means according to the determination result by the determination means, the first area specifying means and the second area Of the image processing means, on the condition that the predetermined subject is determined to be in the photographing range by the determination means. And executing image processing specific to the predetermined subject for the image region specified by the second region specifying means,
An imaging apparatus characterized by that.
前記撮像手段により撮像された撮影画像内における所定の被写体に対応する画像領域を、当該被写体に関する第１の観点の特徴情報を用いて特定する第１の領域特定手段と、
前記所定の被写体に関する前記第１の観点とは異なる第２の観点の特徴情報を用いて前記撮影画像内における画像領域を特定する第２の領域特定手段と、
前記所定の被写体に対応する画像領域を対象として所定の画像処理を実行する画像処理手段と、
前記画像処理手段により実行させる画像処理が前記所定の被写体に特有の画像処理である場合に、前記第２の領域特定手段により特定された画像領域を対象として画像処理を実行させる制御手段と、
を備え、
前記第１の観点の特徴情報は、前記所定の被写体の形状の特徴であり、
前記第２の観点の特徴情報は、前記所定の被写体の色の特徴であり、
前記第１の領域特定手段は、前記所定の被写体の形状の特徴と色の特徴の両方を用いて前記画像領域を特定し、
前記第２の領域特定手段は、前記所定の被写体の形状の特徴を用いずに前記所定の被写体の色の特徴のみを用いて前記画像領域を特定する、
ことを特徴とする撮像装置。 Imaging means;
First area specifying means for specifying an image area corresponding to a predetermined subject in a photographed image taken by the imaging means using feature information of the first viewpoint related to the subject;
Second area specifying means for specifying an image area in the captured image using feature information of a second viewpoint different from the first viewpoint regarding the predetermined subject;
Image processing means for executing predetermined image processing on an image region corresponding to the predetermined subject;
Control means for executing image processing on the image area specified by the second area specifying means when the image processing executed by the image processing means is image processing specific to the predetermined subject;
With
The feature information of the first aspect is a feature of the shape of the predetermined subject,
The feature information of the second aspect is a color feature of the predetermined subject,
The first area specifying means specifies the image area using both the shape feature and the color feature of the predetermined subject,
The second area specifying means specifies the image area using only the color feature of the predetermined subject without using the shape feature of the predetermined subject.
An imaging apparatus characterized by that.
前記撮像手段により撮像された撮影画像内における人物の肌部分に対応する画像領域を特定するための領域特定処理を実行する領域特定手段と、
前記領域特定手段により特定された画像領域を対象として美肌または美白に係る画像処理を実行する画像処理手段と、
撮影者である人物が撮影範囲内に存在すべき所定の状況であるか否かの判定に係る所定の判定情報を取得する取得手段と、
前記取得手段により取得した前記所定の判定情報に基づいて、撮影者である人物が撮影範囲内に存在すべき所定の状況であると判定される場合には、前記領域特定手段による人物の形状に係る特徴検出よりも、人物の色に係る特徴検出を優先した領域特定処理を実行するとともに、この領域特定処理により特定された画像領域に対して前記画像処理手段による美肌または美白に係る画像処理を実行するように制御する制御手段と、
を備えたことを特徴とする撮像装置。 Imaging means;
Area specifying means for executing an area specifying process for specifying an image area corresponding to a skin portion of a person in a captured image captured by the imaging means;
Image processing means for executing image processing relating to beautifying skin or whitening for the image area specified by the area specifying means;
Acquisition means for acquiring predetermined determination information related to determination of whether or not a person who is a photographer is in a predetermined situation that should exist within the shooting range;
Based on the predetermined determination information acquired by the acquisition unit, when it is determined that the person who is the photographer is in a predetermined situation that should exist within the shooting range, the shape of the person by the region specifying unit is In addition to performing feature identification processing that prioritizes feature detection related to the color of a person, image processing relating to skin or whitening by the image processing means is performed on the image region identified by the region identification processing. Control means for controlling to execute;
An imaging apparatus comprising:
前記撮像手段により撮像された撮影画像内における所定の被写体に対応する画像領域を、当該被写体に関する第１の観点の特徴情報を用いて特定する第１の領域特定ステップと、
前記所定の被写体に関する前記第１の観点とは異なる第２の観点の特徴情報を用いて前記撮影画像内における画像領域を特定する第２の領域特定ステップと、
前記所定の被写体に対応する画像領域を対象として所定の画像処理を実行する画像処理ステップと、
前記画像処理ステップにより実行させる画像処理が前記所定の被写体に特有の画像処理である場合に、前記第２の領域特定ステップにより特定された画像領域を対象として画像処理を実行させる制御ステップと、
前記所定の被写体が撮影範囲内に存在すべき状況であるか否かを、前記所定の被写体に関する特徴情報を用いずに判定する判定ステップと、
を含み、
前記制御ステップは、前記判定ステップによる判定結果に応じて、前記画像処理ステップによる前記所定の被写体に特有の画像処理の対象となる画像領域の特定を、前記第１の領域特定ステップと前記第２の領域特定ステップのいずれで行うかを選択するものであり、前記判定ステップにより前記所定の被写体が撮影範囲内に存在すべき状況であると判定されたことを条件として、前記画像処理ステップに対して、前記第２の領域特定ステップにより特定された画像領域を対象とした前記所定の被写体に特有の画像処理を実行させる、
ことを特徴とする撮像制御方法。 An imaging control method executed by an imaging device including an imaging unit,
A first region specifying step of specifying an image region corresponding to a predetermined subject in the captured image picked up by the image pickup means using the feature information of the first viewpoint related to the subject;
A second region specifying step of specifying an image region in the photographed image using feature information of a second viewpoint different from the first viewpoint regarding the predetermined subject;
An image processing step for executing predetermined image processing on an image region corresponding to the predetermined subject;
A control step for executing image processing on the image region specified by the second region specifying step when the image processing executed by the image processing step is image processing specific to the predetermined subject;
A determination step of determining whether or not the predetermined subject should be present in a shooting range without using feature information relating to the predetermined subject;
Including
In the control step, according to the determination result in the determination step, the image region to be subjected to image processing specific to the predetermined subject in the image processing step is specified as the first region specifying step and the second region specifying step. The region specifying step is performed, and the image processing step is performed on the condition that the determination step determines that the predetermined subject should be in the shooting range. The image processing specific to the predetermined subject for the image region specified by the second region specifying step is executed,
An imaging control method characterized by the above.
前記撮像手段により撮像された撮影画像内における所定の被写体に対応する画像領域を、当該被写体に関する第１の観点の特徴情報を用いて特定する第１の領域特定手段、
前記所定の被写体に関する前記第１の観点とは異なる第２の観点の特徴情報を用いて前記撮影画像内における画像領域を特定する第２の領域特定手段、
前記所定の被写体に対応する画像領域を対象として所定の画像処理を実行する画像処理手段、
前記画像処理手段により実行させる画像処理が前記所定の被写体に特有の画像処理である場合に、前記第２の領域特定手段により特定された画像領域を対象として画像処理を実行させる制御手段、
前記所定の被写体が撮影範囲内に存在すべき状況であるか否かを、前記所定の被写体に関する特徴情報を用いずに判定する判定手段、
として機能させ、
前記制御手段は、前記判定手段による判定結果に応じて、前記画像処理手段による前記所定の被写体に特有の画像処理の対象となる画像領域の特定を、前記第１の領域特定手段と前記第２の領域特定手段のいずれで行うかを選択するものであり、前記判定手段により前記所定の被写体が撮影範囲内に存在すべき状況であると判定されたことを条件として、前記画像処理手段に対して、前記第２の領域特定手段により特定された画像領域を対象とした前記所定の被写体に特有の画像処理を実行させる、
ことを特徴とするプログラム。 A computer for controlling an imaging apparatus including an imaging means;
First area specifying means for specifying an image area corresponding to a predetermined subject in a captured image picked up by the image pickup means by using feature information of the first viewpoint related to the subject;
Second area specifying means for specifying an image area in the captured image using feature information of a second viewpoint different from the first viewpoint regarding the predetermined subject;
Image processing means for executing predetermined image processing on an image area corresponding to the predetermined subject;
Control means for executing image processing on the image area specified by the second area specifying means when the image processing executed by the image processing means is image processing specific to the predetermined subject;
A determination unit that determines whether or not the predetermined subject should be present within a shooting range without using feature information about the predetermined subject;
Function as
The control means specifies the image area to be subjected to the image processing specific to the predetermined subject by the image processing means according to the determination result by the determination means, the first area specifying means and the second area Of the image processing means, on the condition that the predetermined subject is determined to be in the photographing range by the determination means. And executing image processing specific to the predetermined subject for the image region specified by the second region specifying means,
A program characterized by that.
前記撮像手段により撮像された撮影画像内における所定の被写体に対応する画像領域を、当該被写体に関する第１の観点の特徴情報を用いて特定する第１の領域特定ステップと、
前記所定の被写体に関する前記第１の観点とは異なる第２の観点の特徴情報を用いて前記撮影画像内における画像領域を特定する第２の領域特定ステップと、
前記所定の被写体に対応する画像領域を対象として所定の画像処理を実行する画像処理ステップと、
前記画像処理ステップにより実行させる画像処理が前記所定の被写体に特有の画像処理である場合に、前記第２の領域特定ステップにより特定された画像領域を対象として画像処理を実行させる制御ステップと、
を含み、
前記第１の観点の特徴情報は、前記所定の被写体の形状の特徴であり、
前記第２の観点の特徴情報は、前記所定の被写体の色の特徴であり、
前記第１の領域特定ステップは、前記所定の被写体の形状の特徴と色の特徴の両方を用いて前記画像領域を特定し、
前記第２の領域特定ステップは、前記所定の被写体の形状の特徴を用いずに前記所定の被写体の色の特徴のみを用いて前記画像領域を特定する、
ことを特徴とする撮像制御方法。 An imaging control method executed by an imaging device including an imaging unit,
A first region specifying step of specifying an image region corresponding to a predetermined subject in the captured image picked up by the image pickup means using the feature information of the first viewpoint related to the subject;
A second region specifying step of specifying an image region in the photographed image using feature information of a second viewpoint different from the first viewpoint regarding the predetermined subject;
An image processing step for executing predetermined image processing on an image region corresponding to the predetermined subject;
A control step for executing image processing on the image region specified by the second region specifying step when the image processing executed by the image processing step is image processing specific to the predetermined subject;
Including
The feature information of the first aspect is a feature of the shape of the predetermined subject,
The feature information of the second aspect is a color feature of the predetermined subject,
In the first area specifying step, the image area is specified using both a shape characteristic and a color characteristic of the predetermined subject,
The second region specifying step specifies the image region using only the color feature of the predetermined subject without using the shape feature of the predetermined subject.
An imaging control method characterized by the above.
前記撮像手段により撮像された撮影画像内における所定の被写体に対応する画像領域を、当該被写体に関する第１の観点の特徴情報を用いて特定する第１の領域特定手段、
前記所定の被写体に関する前記第１の観点とは異なる第２の観点の特徴情報を用いて前
記撮影画像内における画像領域を特定する第２の領域特定手段、
前記所定の被写体に対応する画像領域を対象として所定の画像処理を実行する画像処理手段、
前記画像処理手段により実行させる画像処理が前記所定の被写体に特有の画像処理である場合に、前記第２の領域特定手段により特定された画像領域を対象として画像処理を実行させる制御手段、
として機能させ、
前記第１の観点の特徴情報は、前記所定の被写体の形状の特徴であり、
前記第２の観点の特徴情報は、前記所定の被写体の色の特徴であり、
前記第１の領域特定手段は、前記所定の被写体の形状の特徴と色の特徴の両方を用いて前記画像領域を特定し、
前記第２の領域特定手段は、前記所定の被写体の形状の特徴を用いずに前記所定の被写体の色の特徴のみを用いて前記画像領域を特定する、
ことを特徴とするプログラム。 A computer for controlling an imaging apparatus including an imaging means;
First area specifying means for specifying an image area corresponding to a predetermined subject in a captured image picked up by the image pickup means by using feature information of the first viewpoint related to the subject;
Second area specifying means for specifying an image area in the captured image using feature information of a second viewpoint different from the first viewpoint regarding the predetermined subject;
Image processing means for executing predetermined image processing on an image area corresponding to the predetermined subject;
Control means for executing image processing on the image area specified by the second area specifying means when the image processing executed by the image processing means is image processing specific to the predetermined subject;
Function as
The feature information of the first aspect is a feature of the shape of the predetermined subject,
The feature information of the second aspect is a color feature of the predetermined subject,
The first area specifying means specifies the image area using both the shape feature and the color feature of the predetermined subject,
The second area specifying means specifies the image area using only the color feature of the predetermined subject without using the shape feature of the predetermined subject.
A program characterized by that.
前記撮像手段により撮像された撮影画像内における人物の肌部分に対応する画像領域を特定するための領域特定処理を実行する領域特定ステップと、
前記領域特定ステップにより特定された画像領域を対象として美肌または美白に係る画像処理を実行する画像処理ステップと、
撮影者である人物が撮影範囲内に存在すべき所定の状況であるか否かの判定に係る所定の判定情報を取得する取得ステップと、
前記取得ステップにより取得した前記所定の判定情報に基づいて、撮影者である人物が撮影範囲内に存在すべき所定の状況であると判定される場合には、前記領域特定ステップによる人物の形状に係る特徴検出よりも、人物の色に係る特徴検出を優先した領域特定処理を実行するとともに、この領域特定処理により特定された画像領域に対して前記画像処理ステップによる美肌または美白に係る画像処理を実行するように制御する制御ステップと、
を含むことを特徴とする撮像制御方法。 An imaging control method executed by an imaging device including an imaging unit,
An area specifying step for executing an area specifying process for specifying an image area corresponding to a skin portion of a person in a captured image captured by the imaging means;
An image processing step for performing image processing relating to beautifying skin or whitening for the image region specified by the region specifying step;
An acquisition step of acquiring predetermined determination information related to determination of whether or not a person who is a photographer is in a predetermined situation that should exist within the shooting range;
Based on the predetermined determination information acquired in the acquisition step, when it is determined that the person who is the photographer is in a predetermined situation that should exist within the shooting range, the shape of the person in the region specifying step is In addition to performing feature identification processing that prioritizes feature detection related to a person's color over the feature detection, image processing related to skin beautification or whitening by the image processing step is performed on the image region identified by the region identification processing. A control step for controlling to execute;
An imaging control method comprising:
前記撮像手段により撮像された撮影画像内における人物の肌部分に対応する画像領域を特定するための領域特定処理を実行する領域特定手段、
前記領域特定手段により特定された画像領域を対象として美肌または美白に係る画像処理を実行する画像処理手段、
撮影者である人物が撮影範囲内に存在すべき所定の状況であるか否かの判定に係る所定の判定情報を取得する取得手段、
前記取得手段により取得した前記所定の判定情報に基づいて、撮影者である人物が撮影範囲内に存在すべき所定の状況であると判定される場合には、前記領域特定手段による人物の形状に係る特徴検出よりも、人物の色に係る特徴検出を優先した領域特定処理を実行するとともに、この領域特定処理により特定された画像領域に対して前記画像処理手段による美肌または美白に係る画像処理を実行するように制御する制御手段、
として機能させることを特徴とするプログラム。 A computer for controlling an imaging apparatus including an imaging means;
Area specifying means for executing an area specifying process for specifying an image area corresponding to a skin portion of a person in a captured image captured by the imaging means;
Image processing means for performing image processing relating to skin beautification or whitening on the image area specified by the area specifying means;
Acquisition means for acquiring predetermined determination information related to determination of whether or not a person who is a photographer is in a predetermined situation that should exist within the shooting range;
Based on the predetermined determination information acquired by the acquisition unit, when it is determined that the person who is the photographer is in a predetermined situation that should exist within the shooting range, the shape of the person by the region specifying unit is In addition to performing feature identification processing that prioritizes feature detection related to the color of a person, image processing relating to skin or whitening by the image processing means is performed on the image region identified by the region identification processing. Control means for controlling to execute,
A program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017101331A JP2017147764A (en) | 2017-05-23 | 2017-05-23 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017101331A JP2017147764A (en) | 2017-05-23 | 2017-05-23 | Image processing apparatus, image processing method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014267014A Division JP6149854B2 (en) | 2014-12-29 | 2014-12-29 | Imaging apparatus, imaging control method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017147764A true JP2017147764A (en) | 2017-08-24 |
Family
ID=59681642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017101331A Pending JP2017147764A (en) | 2017-05-23 | 2017-05-23 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017147764A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109157831A (en) * | 2018-08-06 | 2019-01-08 | 光锐恒宇（北京）科技有限公司 | Implementation method, device, intelligent terminal and the computer readable storage medium of game |
| CN109447896A (en) * | 2018-09-21 | 2019-03-08 | 维沃移动通信（杭州）有限公司 | A kind of image processing method and terminal device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005202543A (en) * | 2004-01-14 | 2005-07-28 | Canon Inc | Object extracting method |
| JP2009060379A (en) * | 2007-08-31 | 2009-03-19 | Casio Comput Co Ltd | Imaging device and its program |
| JP2010028418A (en) * | 2008-07-18 | 2010-02-04 | Panasonic Corp | Imaging apparatus |
-
2017
- 2017-05-23 JP JP2017101331A patent/JP2017147764A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005202543A (en) * | 2004-01-14 | 2005-07-28 | Canon Inc | Object extracting method |
| JP2009060379A (en) * | 2007-08-31 | 2009-03-19 | Casio Comput Co Ltd | Imaging device and its program |
| JP2010028418A (en) * | 2008-07-18 | 2010-02-04 | Panasonic Corp | Imaging apparatus |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109157831A (en) * | 2018-08-06 | 2019-01-08 | 光锐恒宇（北京）科技有限公司 | Implementation method, device, intelligent terminal and the computer readable storage medium of game |
| CN109447896A (en) * | 2018-09-21 | 2019-03-08 | 维沃移动通信（杭州）有限公司 | A kind of image processing method and terminal device |
| CN109447896B (en) * | 2018-09-21 | 2023-07-25 | 维沃移动通信（杭州）有限公司 | Image processing method and terminal equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6149854B2 (en) | Imaging apparatus, imaging control method, and program | |
| JP5293206B2 (en) | Image search apparatus, image search method and program | |
| JP5713055B2 (en) | Imaging apparatus, imaging method, and program | |
| US8610812B2 (en) | Digital photographing apparatus and control method thereof | |
| KR20100055946A (en) | Method and apparatus for generating thumbnail of moving picture | |
| JP6720881B2 (en) | Image processing apparatus and image processing method | |
| US8988545B2 (en) | Digital photographing apparatus and method of controlling the same | |
| US20100188520A1 (en) | Imaging device and storage medium storing program | |
| US9253406B2 (en) | Image capture apparatus that can display review image, image capture method, and storage medium | |
| CN105744144A (en) | Image creation method and image creation apparatus | |
| US9674437B2 (en) | Imaging apparatus, imaging method and computer readable recording medium having program for performing interval shooting | |
| KR20130035207A (en) | Image processing device, image processing metho and recording medium | |
| JP5663923B2 (en) | Imaging apparatus, imaging method, and program | |
| JP2017147764A (en) | Image processing apparatus, image processing method, and program | |
| JP2014187551A (en) | Image acquisition device, image acquisition method and program | |
| JP6897036B2 (en) | Image processing equipment, image processing methods and programs | |
| JP6033006B2 (en) | Image processing apparatus, control method thereof, control program, and imaging apparatus | |
| JP6648424B2 (en) | Detection device, detection method, program, and focusing device | |
| JP2017157043A (en) | Image processing device, imaging device, and image processing method | |
| JP2014225763A (en) | Imaging apparatus, control method of the same, program, and storage medium | |
| KR20100098122A (en) | Image processing method and apparatus, and digital photographing apparatus using thereof | |
| JP5374612B2 (en) | Image data identification method, imaging apparatus, program, and storage medium | |
| JP6357922B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2013141104A (en) | Imaging apparatus | |
| JP6610713B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170529 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170529 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180320 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180517 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180626 |